墨穗app.notebase.cn
控制台
内容库
动态
管理
账户
U
用户
--
在线
v1.0.165 · 墨穗笔记
笔记

Notebase墨穗
静水流深,落墨成穗。

0笔记
0工具
30推荐

分类导航

按主题直达

编辑精选

站内用户贡献 · 真实笔记

最新收录

每日更新
继续浏览全部内容 →

笔记

0
加载中...

工具

0

此页用于记录用户反馈问题后的每一次改进

关于

笔记用法

“写笔记”支持四种格式——Word 文档、Excel 表格、Markdown、纯文本,起稿或二次编辑时都能随时切换,同一篇笔记想用哪种形态来记,都由你说了算。

md、txt、csv、json 这类纯文本则原样载入,不做多余加工。拿一张现成的表倒进来、改几笔、再导出去,等于白用一台免费的格式转换器。

要带走就在右上角点“下载”,可导出 PDF、Word、Markdown、Excel、TXT 等格式;列表卡片“⋯”菜单里,也有同样的下载入口。

工具用法

在“工具”页点“+ 上传工具”即可发布:填好名称与链接,再用 Markdown 把使用方法写清楚——能解决什么问题、怎么装、怎么用,比堆介绍实在。

要分发安装包就一并上传压缩包(ZIP、RAR、7Z、TAR.GZ,最大 35MB),别人在详情页一键下载;只放链接不带附件也可以。

工具按大家的收藏热度排序,好用的自然会被顶上来。发布后可在详情页或卡片菜单里编辑、下架。

隐藏笔记

写笔记时勾上“隐藏”,这篇就只存在于你自己的账号里:不进列表、不进搜索、不上首页精选,也不会出现在任何公开的页面,链接发给别人同样打不开。

适合放密码、草稿、日记这类只给自己看的内容;想公开,去“发布”打开它,把“隐藏”的勾去掉再保存,之后编辑会默认保持原状态,不会悄悄变回公开。

不想公开、只想临时给人看:点“分享”生成一条带密码和有效期的链接,到期自动失效,你也能随时撤销。

数据安全

你的内容会同时保存在多个副本上,系统定期做备份与完整性校验,再配合异地容灾机制:就算某台机器出问题,数据也不会丢,可以长期放心存放;特别重要的资料,仍建议你另外再留一份备份。

技术

全站跑在容器化、模块化的现代架构上,更新、部署、回滚都很快,扩展性和稳定性都按长期运营的标准来设计(Built for reliability, designed to scale)。

理念

这个网站最早只是一个人的笔记仓库,后来慢慢长成现在的知识中枢。设计上很克制——没有广告、没有追踪、没有推荐算法,只是干干净净地存放一些东西;既然做好了,就公开出来,万一有人用得上呢。

原则

不做大而全,不做平台梦,保持简单、保持克制、保持好奇。所有内容都由用户贡献、由用户维护:不会突然冒出付费墙,不会在角落塞广告位,也不会把你的数据卖给第三方。

更多

产品会持续迭代,站内日志页记录着每一次改动,改了什么都有迹可循;想了解这个站是怎么一步步走到今天的,翻翻日志就能看到来龙去脉。

举报

如果在这里看到涉嫌违规的内容,点对应卡片右侧的“举报”按钮就能提交,我们会尽快核实处理;也谢谢你花一点时间,一起把这里维护干净。

趋势

// 点击导航加载发现
归档
// 归档为空
最近浏览
// 暂无浏览记录
发布
// 加载中...
用户发布
// 加载中...
用户管理
// 加载中...
访问统计
// 加载中...
内容审核
// 加载中...
个人信息
// 加载中...
返回首页

Ollama

terminal

Ollama — 一行命令跑起大模型,本地部署LLM从此告别环境地狱。


兄弟们,今天聊个能让你少掉点头发的工具——Ollama。

先说说我自己的血泪史。之前想跑个Llama或者通义千问玩玩,那叫一个折腾:先装Python环境,再配CUDA,然后下载模型权重,接着写加载脚本,最后可能因为transformers版本不对直接报错。一套下来,俩小时没了,热情也凉了。

后来发现Ollama,整个人都清爽了。它就是个本地大模型运行器,把“下载模型、配置环境、启动服务、调用API”全部压缩成一条命令。你不需要懂Python,不需要配虚拟环境,甚至不需要知道模型文件存在哪,它全包了。

它到底解决什么问题?
说白了,就是让“在本地跑LLM”这件事从“程序员专属”变成“谁都能上手”。你把模型当黑盒,Ollama帮你处理所有底层细节。而且它跨平台,Windows、macOS、Linux通吃,连Apple Silicon都优化好了。


下载方式

直接去官网,别去第三方下什么绿色版,没必要。

Ollama官网下载

首页大按钮就是对应系统的安装包。macOS有.dmg,Windows有.exe,Linux给的是curl脚本。认准这个域名,别被钓鱼站骗了。


安装方法

macOS / Windows:下载完双击,一路下一步,装完就完事。记住,装完它会在后台开个服务,你不需要管它。

Linux(以Ubuntu为例):

curl -fsSL https://ollama.com/install.sh | sh

装完跑一下:

ollama --version

能输出版本号就说明成了。如果提示command not found,多半是PATH没刷新,关掉终端重开一个。


基础使用教程

1. 拉取并运行第一个模型

打开终端(Windows用PowerShell),输入:

ollama run llama3.2

第一次运行会自动下载模型(大概2-3GB,看你网速),下完直接进入交互式对话界面。你打字,它回答,跟ChatGPT网页版一样。

想退出对话?输入/bye回车,或者按Ctrl+D。

2. 常用模型推荐

  • llama3.2(Meta,通用聊天,3B/1B参数,轻量适合老电脑)
  • qwen2.5(阿里通义,中文效果好,7B/14B/72B都有)
  • mistral(法国团队,法语/英语都行,7B)
  • gemma2(谷歌,9B/27B,推理能力不错)

查所有可用模型:

ollama list

3. 像API一样调用

Ollama默认跑在localhost:11434,自带OpenAI兼容的API。你用Python或者curl都能调:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "写一段关于秋天的诗",
  "stream": false
}'

返回JSON,里面有response字段就是答案。这意味着你可以把它嵌进自己写的脚本、微信机器人、或者任何需要“本地AI”的地方。

4. 换模型不用删

想用另一个模型?直接:

ollama run qwen2.5:7b

它会自动下载新的,旧的还留着。硬盘不够了用ollama rm llama3.2删掉。


进阶技巧(这part才是精华)

技巧一:自定义模型参数

默认模型是“通用模式”,但你完全能定制。比如你想让模型回答风格更简洁,或者固定用英文,创建一个Modelfile:

FROM llama3.2
# 设置系统提示词
SYSTEM """你是一个只回答核心观点的助手,不要废话,每条回答不超过50字。"""
# 降低温度,让回答更确定
PARAMETER temperature 0.3

然后构建:

ollama create my-helper -f Modelfile

之后用ollama run my-helper,它就会按你的规矩来。这招做垂直领域助手特别香。

技巧二:GPU不够?用CPU也能跑

Ollama默认优先用GPU,但如果你机器没独显,它会自动切CPU。不过速度会慢,建议选小模型(3B、7B)。另外在macOS上,记得把内存分配调大:

# 设置Ollama最多使用16GB内存(适合M系列芯片)
export OLLAMA_MAX_LOADED_MODELS=1
export OLLAMA_KEEP_ALIVE=24h

Windows用户可以在系统环境变量里加OLLAMA_NUM_GPU=0强制CPU模式。

技巧三:结合Open WebUI做成本地ChatGPT

命令行聊天还是不够爽,你可以装个Web界面:

# 先安装docker(如果没装)
# 然后一行命令启动
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

打开http://localhost:3000,注册个账号,然后在设置里把模型指向http://host.docker.internal:11434。搞定之后,你就有个带聊天记录、支持多会话、还能联网搜索的本地版ChatGPT了。

技巧四:用Ollama跑多模态

不只是文本,Ollama支持图像模型。比如llava或者bakllava:

ollama run llava

然后对话时直接拖一张图片进终端,它会识别图片内容。比如你发个电路板照片,让它帮你找问题,它真能说个一二三。

技巧五:离线部署

如果你在隔离内网(比如公司机房),可以先在有网机器上拉好模型:

ollama pull llama3.2

然后找到模型缓存目录(macOS是~/.ollama/models,Linux是/usr/share/ollama/.ollama/models),整个拷到U盘,再放到目标机器对应目录。启动Ollama后,ollama list就能看到,不用联网。


最后说点掏心窝的话

Ollama这东西,最大的价值不是“跑模型”本身,而是它把私有化部署AI的门槛降到了零。你现在可以完全离线、不担心隐私地使用一个不错的LLM,甚至能把它接进自己的自动化流程里。

当然,它也有缺点——模型大小受限于你的内存,跑不了70B以上的大模型;推理速度跟云端API没法比;有些冷门模型支持不及时。但作为日常工具,它绝对够用。

我现在写周报、做翻译、润色邮件,全用Ollama跑本地模型,再也不用担心把公司代码贴到云端AI里泄露了。就冲这点,值得你花十分钟装一个试试。

如果遇到问题,多看看官方文档,或者用ollama help。这工具社区很活跃,基本你踩过的坑,别人都踩过。

散会。

相似推荐
MetasploitPastaHashcatWezTermDenotig
编写使用方法
Markdown 格式 · Ctrl+Enter 确定
0 字新建笔记
欢迎回来
登录你的墨穗笔记账户
忘记密码?
还没有账户?立即注册
创建账户
注册你的专属墨穗笔记
已有账户?去登录
找回密码
输入注册邮箱获取验证码
返回登录
请输入图片中的验证码以继续注册
加载中...
取消
新建收藏
手动添加你喜欢的内容
取消
编辑头像与昵称
上传新头像或修改你的显示昵称
支持 JPG/PNG,最大 2MB
取消

问题反馈

隐私提醒

取消
编辑工具
受控分享
为这篇笔记生成限时 / 带密码的临时链接
关闭