文章目录 目的操作难度等级15分钟本地Windows电脑部署Llama3 开源大模型1、下载安装Ollama2、使用Ollama的命令下载Llama3模型文件3、使用Llama3聊天对话功能4、本地Llama3 API接口调用 目的
你知道国内大模型多少是基于Llama2改造的,你就知道Llama模型有多厉害了,那么现在Llama3刚出来,搞自媒体的赶紧蹭Llama3的流量,搞技术的程序员赶紧抓住研究一下,看能否技术变现一下,尤其搞技术的,再不动到时年龄大了被裁员了不要怨天怨地的!
操作难度等级非程序员的普通人及产品经理都可以按此文章说来本地部署
15分钟本地Windows电脑部署Llama3 开源大模型 1、下载安装Ollama访问https://ollama.com,下载Ollama客户端,下载Windows版本,如果你的电脑是MacOs,下载对应的版本即可。
安装完成后,打开Windows命令窗口,输入ollama,出现如下提示,说明安装成功,可以使用了:
图片
2、使用Ollama的命令下载Llama3模型文件在ollama命令窗口输入:
ollama run llama3
按回车后就开始自动下载Llama3模型文件,默认下载最新的8B版本,模型文件大小4.7G。
等待5到10分钟即可下载完成(下载文件途中可以去上个厕所或者关注一下我的账号)
图片
3、使用Llama3聊天对话功能下载完成后出现send a message提示时,就可以直接与它进行对话了。看看我和它的对话:
图片
4、本地Llama3 API接口调用ollama会自动生成Llama3的API接口访问地址,API文档地址:https://github.com/ollama/ollama/blob/main/docs/api.md
请求地址:
curl http://localhost:11434/api/chat -d '{ 'model': 'llama3', 'messages': [ { 'role': 'user', 'content': 'why is the sky blue?' } ], 'stream': false }'
不会写代码的,使用Postman去调试:
图片
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。Powered by TG反波胆足球平台app下载 @2013-2022 RSS地图 HTML地图