AI - Ollama

Guide

UI

Model

Commands

  • ollama list : 查看以配置本地模型
  • ollama run {model} : 下載/執行模型
  • ollama ps : 展示目前載入的模型、它們所佔的記憶體大小以及所使用的處理器類型（GPU 或 CPU）

Extra

import_gguf_to_ollama.bat


@echo off

REM 設定本地環境，並切換到批次檔所在的目錄
setlocal
cd /d %~dp0

REM 搜尋當前目錄中的 .gguf 檔案
for %%f in (*.gguf) do (
    REM 創建 Modelfile.txt 並寫入模型檔案名稱
    echo FROM %%~nf.gguf > Modelfile.txt
    
    REM 打印 Modelfile.txt 的內容以供確認
    type Modelfile.txt
    
    REM 執行 ollama create 命令來包裝模型檔
    ollama create %%~nf -f Modelfile.txt
    
    REM 刪除 Modelfile.txt
    del Modelfile.txt
    
    REM 如果有多個 gguf 檔案，只處理第一個找到的檔案
    goto end
)

:end
REM 顯示完成訊息
echo done...

REM 列出已經存在的模型
ollama list 

REM 等待用戶確認並關閉
pause >nul