-
-
Notifications
You must be signed in to change notification settings - Fork 149
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
在cloudflare配置后,在chatbox端或者next web使用,回复不完整,不超过20个 #16
Comments
是不是输入内容过长,cloudfalre 单词响应时间是有限制的,可以在本地用 docker 部署一个版本测试一下 |
谢谢大神回复。输入内容并不长,就是一句话,而且我还购买了cloudflare worker的升级服务,简单设置过openai反代没问题,应该不是响应限制的问题,貌似反馈回来只有一部分数据,流就不继续输出了。 |
刚刚咨询了一个朋友,他说转换没问题,但是6月1日claude官方更新了API版本,有些前端不适应,可能包括这两个吧,是不是还有其他可适配的前端啊 |
同是这个问题,之前输入100k文本还行,现在动不动无回复。 |
@ychappyboy @cwyalpha 可以直接用 curl 命令行调用下部署的 API 试试,调用方式和 OpenAI API 一样,比如: curl --request POST \
--url https://<你的域名>/v1/chat/completions \
--header 'Authorization: Bearer <你的 token>' \
--header 'Content-Type: application/json' \
--data '{
"messages": [
{
"content": "<你的问题>",
"role": "system"
}
],
"temperature": 0.7,
"model": "gpt-3.5-turbo",
"max_tokens": 2048,
"stream": true
}' 我自己目前主要用 Chatbox@0.5.2 版本作为客户端,因为它支持无限长 token |
这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来 |
是 Cloudflare 版本还是 Docker 部署的版本?我自己用的 Docker 版本一直没问题 |
Cloudflare,直接copy你的js。以前是没问题的,就是6月份开始出问题 |
同样的,使用chatbox、next web,也都是6月开始出问题,之前100k文本都没问题 |
我在 #10 中提到和修正了 Docker 版的这个问题。本质是 Workers 免费版给了每个子请求 10ms 的 CPU 时间,而长回答自然等不及。一种思路是分块,但是显然 Claude 行不通,那只能充钱升级 50ms 了,但最好的情况也就多 5 倍,有要求还是使用 Docker 版本吧,如果小范围测试可以用我这个。 |
我使用你的api接口,速度很快啊,可以分享一下cloudflare-worker.js吗,还有cloudflare中使用量模型和放置是如何设置的吗,谢谢大神! |
诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了? |
也许和 6 月 1 号后请求头增加了 |
多谢大佬彻夜修改!刚才试了一下cloudflare,问题依然存在 |
也许是 CloudFlare Worker 变了,现在可能很严格地控制返回要在 10ms 以内,我自己试了下也有问题……这种情况还是推荐用 docker 部署了 |
应该不是10ms的CPU时间限制,CF里面可以看到CPU中值时间不超1ms,也就大多请求都不会超过1ms,我换到deno.com部署也是一样只输出20个字左右就停止了。希望能找出问题修复,谢谢! |
改了一下应该可以了,但我的API被封了....,谁可以生成一个api分享我再详细测试下,感激不尽,邮箱[email protected] |
现在直接使用Cloudflare copy 那个文件内容,仍是老问题。看[Jialinvip] commented [on Jul 18]分析的有道理,不知最终是否能解决Cloudflare的问题? |
@ jtsang4 |
这个应该可以传递 |
感谢 #27 的贡献,可以再尝试一下 |
有时候直接失去响应,是什么原因啊,谢谢!
The text was updated successfully, but these errors were encountered: