Ollama是什么
Ollama 是一个专注于本地部署大型语言模型的工具,通过提供便捷的模型管理、丰富的预建模型库、跨平台支持以及灵活的自定义选项,使得开发者和研究人员能够在本地环境中高效利用大型语言模型进行各种自然语言处理任务,而无需依赖云服务或复杂的基础设施设置。
安装Ollama
👉官网指路
安装包其实还蛮大的,比我想象的大,700多兆。
安装Docker和WebUI
安装docker
👉官网指路
我们需要选择自己需要的系统版本,这里需要注意的是他提供了Windows系统两个不同的架构的安装版本。
这时候可以按下 Win + R快捷键,打开“运行”对话框。 输入msinfo32,然后按 Enter 键。 在系统信息窗口中,查找 “系统类型” 字段。 如果显示 “x64 基于PC” ,则你的操作系统是64位的,通常对应的是AMD架构;如果显示 “ARM 基于PC” ,则你的操作系统是ARM架构的。
安装Open WebUI
如果已经安装好了docker和ollama,可以到这里找到自动安装Open WebUI 的指令。
不一定还是这个,得去官网确认一下~
1 | docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main |
复制指令之后,我们打开命令提示符输入这个指令,回车。