大都会先问问AI,但就是片面了一些啊
请看书看文档。大语言模型回复的方式会让你以为它说的都是对的,但实际上你如果没有判断能力,只会被它拐到歪路上。
大佬说的对,书和文档还是全面的!
另外再请教一下,调用的同一个AI对话服务,本地输出是很流畅的流式输出,但是从网页端的输出就变的很慢,变成了块状输出,这个在nginx里设置哪些内容呢?
websocket?
这个不太了解啊,抱歉了,我是个外行
具体是这样的,在本地3000端口启用一个AI对话服务运行,输入问题后llm来回答,如在本地打开localhost:3000来运行,是流式快速输出的;
但是通过子域名的反向代理到3000端口后,通过https://子域名 在这个服务窗口对话,那么就变成了缓慢的块状输出,体验效果较差。
关键词都告诉你了,自己搜一下啊……
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $http_connection;
收到,多谢大佬,非常感谢!
可以流式输出了,贴出来一下,多谢大佬!
location / {
proxy_pass http://localhost:3000;
#必要的基础WebSocket配置
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $http_connection;
# 核心流式传输相关配置
proxy_buffering off; # 关闭响应缓冲
proxy_cache off; # 关闭缓存
client_max_body_size 0; # 禁用客户端请求大小限制(可选)
# 超时控制(根据实际需求调整)
proxy_read_timeout 60s; # 延长后端响应读取超时时间
proxy_send_timeout 60s; # 延长向客户端发送响应的超时时间
# 常规代理头信息
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
# 可选 - 如果需要支持客户端流式上传
# proxy_request_buffering off;
}