为什么chatgpt回答是按顺序一个字一个字出现的?
发布时间:
2024-12-30 15:18
阅读量:
7
显然不是,当然large language models (LLMs)确实是一个个token预测的,生成一个词之后它会计算下一个词是什么,但是在你网页上看到的一个字一个字●蹦出来的只是一个前端效果,这涉及到两个点(我不是做网页前端的,我简单解释一下):
- 消息的流式读取,ChatGPT既不是等大模型完全生成好再全部通过服务器发送,这样太慢了;也不是一个字好就发一个字,这样效率太低了。所以有时候你也会看到一小段一小段●地蹦。
- 纯前端,一个光标跟随效果,目的我认为是让你感觉他是在生成,也希望你跟着阅读完。另外比如你看Gemini用的就是另一种实现效果:流式输出
END