手把手教你在云上搭建本地大语言模型 微信 微博 分享文章到微博 复制链接 复制链接到剪贴板 大语言模型LLM现在已经不是什么新鲜事物了，虽然线上ChatGPT、Gemini、Claude等各家大模型飞速迭代，但是收费高、区域限制、隐私难以保证等问题始终难以解决。事实上，除了在线大模型以外，离线(本地部署)大模型也是一个很好的选择。比如大家都知道谷歌前阵子发布了Gemini，但可能有人不知道其还发布了开源的大模型Gemma，初次以外还有HuggingFace上也有很多出色的开源模型可供选择，比如Llama、Mistral等等。 本文简要介绍一下基于开源项目 ollama 如何在云上部署一个本地大语言模型。 买云服务器 GPU对于大部分LLM来说是必不可少的，仅有CPU虽然有时也能跑，但是问答速度无法忍受，如果希望长期将LLM融入工作生活中，一个带有GPU的稳定服务器比不可少。笔者以华为云的ECS为例，在选购实例的时候筛选GPU加速型即可，带上N卡模型跑起来嗖嗖快。 OS版本：Centos 8.x Docker： Centos安装docker Ollama 是一个用户本地LLM部署的开源平台，支持Linux\Windows等多平台部署，基于Docker安装ollama可以简化后续的配置步骤。另外，让Docker能使用GPU资源还需要一些额外的工具，使用GPU与只有CPU的场景下性能差异天壤之别。 如果你的机器没有GPU，可以采用这种方式部署 Nvidia GPU 如果你的机器有GPU，那么可以采用这种方式部署 配置Docker使用NVIDIA驱动 启动本地大模型，这里以llama2为例：

模型下载完以后会开启命令行模式，可以看到在GPU加持下相应速度还是很快的 Ollama 还支持很多市面上其他开源大模型(大模型列表 ollama.com/library )，下面是一些列子： Ollama平台也提供给了REST API进行问答和模型管理，不过目前这个版本API没有认证鉴权功能，如果需要的话只能自己在前端包装一个API网关实现认证，可以考虑用华为云APIG配置。 下面是一个调用模型问答的例子，可以指定要使用的模型名字 Chatbot Ollama 提供了一个类似ChatGPT的简单WEB UI，可以让你的对话体验更好一些，项目支持docker部署。 修改配置 在下载的工程目录下有个 Dockerfile 文件，需要修改其中的ollama主机IP，可以使用主机本地的私网IP 之后就可以通过ip:3000端口访问了 最后 Ollama Github README文档中还提到了很多现成的WEB和桌面插件，感兴趣的朋友可以一探究竟。 在此一键设置昵称，即可参与社区互动！ *长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。 *长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。 与10000+优质创作者共同成长