在 iPhone/iPad 使用本地LLm #
隨著隱私意識的提升，越來越多人希望能在自己的電腦上執行 LLM（大型語言模型），因此也出現了許多本地部署 LLM 的方案。拍拍君在這篇文章中曾介紹過一款非常好用的本地 LLM 軟體—— Ollama。
那麼，電腦能跑 LLM，手機或平板能不能也跑呢？答案是：當然可以！但現階段的限制主要在於手機和平板的記憶體容量。例如，就連 iPhone 16 Pro Max 也僅有 8GB 記憶體，要運行較大型的語言模型不是做不到，就是速度極慢且非常耗電。
為了解決這個問題，一個常見的做法是：將 LLM 仍然部署在自己的電腦上，然後讓手機或平板連接到這台電腦來使用。這樣一來，所有資料都只會留在本地，不用擔心傳到 OpenAI、微軟或其他第三方伺服器，大幅提升隱私保障。
本篇文章將介紹兩款 iOS App，讓你可以輕鬆連接家中的 Ollama 伺服器，使用本地 LLM。現在，就讓我們開始吧！
準備事項 #
1. Ollama #
首先你需要一個能跑 Ollama 的電腦，通常有 16G 以上的記憶體就很足夠了。 要回應的速度夠快，內容又好，我蠻推薦 phi4-mini 這個模型，只需要約 3G 的記憶體。大家也可以自己嘗試其他不同的大型語言模型。
至於怎麼安裝 Ollama 可以參閱拍拍君的這篇文章。
2. ngrok #
如果你的電腦沒有固定 ip 的話，你可以使用 ngrok 的服務來讓手機在外面也可以使用本地LLM (免費版即可)。
-
先在 ngrok 的網站註冊一個帳號，然後下載 ngrok 的軟體。
-
安裝完後，ngrok 網站會告訴你可以在終端機 (iTerm2, Terminal, powershell,…) 軟體內。
ngrok config add-authtoken <your_ngrok_token>
如果是 Windows 用戶，有可能會遇到系統內建的防毒軟體不讓你下載安裝檔，這時候記得到系統的安全性頁面那邊允許下載。
-
授權完後，在終端機輸入下行程式碼就大功告成了。但是記得運行中的終端機記得保留著不可以關掉。Ollama 預設使用的 port 是
11434如果你不是使用這個 port 記得要改成你設定的 port 。ngrok http 11434 --host-header="localhost:11434" -
打開 ngrok 的頁面，在側邊欄選擇
Endpoints你可以找到你 Ollama 伺服器的網址：
手機軟體 #
1. Reins: Chat for Ollama #
Reins: Chat for Ollama 是一個手機的客戶端，可以在 App Store 免費下載。
下載完後，進入到設定，在伺服器的位置貼上前面 ngrok 產生的網址就可以使用了。使用方法跟 chatGPT 很像。
Reins 還支援很多 LLM 的設定，譬如常見的 SYSTEM_PROMPT, TEMPERATURE, 與 SEED。
此外也還有不少進階的設定，大家可以試試看。
2. Enchanted LLM #
Enchated LLM 是一個跟 Reins 很類似的軟體，介面很乾淨漂亮，但是相比 Reins 功能有點陽春，且字體非常的小。
跟 Reins 一樣，只要在 server 的地方貼上 ngrok 產生的網址就可以使用了。
