编程频道|软件玩家 - 软件改变生活!
  •  首页
  •  编程
  •  IT技术
  •  数码大全
  •  登录
  1. 标签
  2. QDrant
  • 本地搭建属于自己的ChatGPT:基于PyTorch+ChatGLM-6b+Streamlit+QDrant+DuckDuckGo

    本地部署chatglm及缓解时效性问题的思路: 模型使用chatglm-6b 4bit,推理使用hugging face,前端应用使用streamlit或者gradio。
    自己的pytorchChatGptChatGLMQDrant
    admin2025-2-25
    960
CopyRight © 2022 All Rights Reserved 豫ICP备2021025688号-21
Processed: 0.039, SQL: 9