在科技探索的征途中，雷科技再次邁出了創新的一步，這次他們將目光聚焦在了手機本地部署AI大模型的嘗試上。此前，雷科技已成功在無獨顯的筆記本電腦上，僅憑CPU和內存成功運行了一個7B參數量的Qwen蒸餾模型，但這一嘗試的實際意義相對有限。于是，他們開始思考，如果將這樣的AI模型部署到手機上，是否能夠開啟全新的應用場景？
為了實現這一目標，雷科技首先對手機本地部署AI的可行性進行了深入探索。他們在網上查閱了多種相關教程，并親自測試了其中的幾種方法。其中，一個通過Termux應用模擬Linux終端來部署Ollama，再運行DeepSeek模型的方案引起了他們的注意。然而，實際操作中，他們發現教程中的服務器存在問題，無法順利訪問清華大學鏡像文件源，導致部署過程困難重重。盡管經過數小時的嘗試，他們還是未能成功完成安裝。
面對挑戰，雷科技并未放棄，他們轉而尋找其他可行的部署方案。幸運的是，GitHub上豐富的開源資源為他們提供了新的思路。他們測試了三款本地AI部署應用：ChatterUI、PocketPal和MNN大模型。這三款應用各有千秋，能夠滿足不同用戶的需求。
在ChatterUI中，用戶可以直接加載本地AI模型，并通過在線下載方式遠程加載模型。這款應用還支持TTS（語音輸出）功能，結合語音輸入，可以解鎖更多使用場景。安裝完成后，用戶只需簡單設置即可輕松部署AI模型。而PocketPal則更加簡潔，雖然不支持TTS功能，但同樣支持加載本地AI模型，并提供了一些小參數的AI模型快速下載通道。
對于不太擅長技術操作的用戶來說，MNN大模型則是一個更為友好的選擇。這款由阿里開發的開源應用整合了多個在手機等小型移動設備上運行效果良好的AI模型，用戶可以根據需要直接點擊下載。下載完成后，點擊即可加載使用，全程操作簡便。
在成功部署AI模型后，雷科技開始了體驗環節。他們下載了1.5B版本的DeepSeek-R1模型進行測試。雖然這個版本的模型在回答一些復雜問題時顯得有些力不從心，但在驍龍8至尊版+16G運存的手機上，AI推理和生成速度都非常不錯，已經能夠滿足日常問答和使用的需求。
在后續測試中，7B版本的DeepSeek模型表現更加出色。它不僅能夠正確回答用戶的問題，還能在離線狀態下提供一些緊急情況下的基礎建議。例如，在遇到癲癇癥發作的病人時，AI能夠給出正確的急救方法；在野外受傷無人幫助時，也能提供自救建議。
雷科技認為，在手機上部署AI大模型具有實際意義。雖然電腦上的部署可能顯得多余，但手機上的離線AI卻能在關鍵時刻發揮作用。它可以在用戶無網且需要幫助時提供最基礎的建議，成為用戶的得力助手。同時，這也為隱私保護意識較強的用戶提供了另一種選擇，他們可以在自己的設備上部署專屬AI模型，確保數據安全和隱私保護。
在對比了三款本地AI部署應用后，雷科技給出了他們的建議。對于追求穩定可用的用戶來說，MNN是最好的選擇；而對于有一定AI基礎和編程基礎的用戶來說，ChatterUI和PocketPal則提供了更多功能和靈活性。無論選擇哪款應用，用戶都能享受到手機本地部署AI帶來的便利和樂趣。
