On-Device Training
裝置端訓練 (On-Device Training, ODT) 是行動端機器學習的下一個演進階段。相較於傳統的「雲端訓練、裝置推理」,裝置端訓練允許模型在用戶的手機或嵌入式設備上直接進行學習與更新。
裝置端訓練 (On-Device Training, ODT) 是行動端機器學習的下一個演進階段。相較於傳統的「雲端訓練、裝置推理」,裝置端訓練允許模型在用戶的手機或嵌入式設備上直接進行學習與更新。
模型量化(Model Quantization)是邊緣計算(Edge AI)和行動裝置機器學習中極為核心的優化技術。
簡單來說,量化就是「將神經網路中的高精度數字(通常是 32 位元浮點數)轉換為低精度數字(例如 8 位元整數)」的過程。
這就像是把一張高解析度、全彩的圖片,壓縮成低解析度、只有 256 色的圖片。雖然畫質(精確度)會有一點點損失,但檔案大小會大幅縮小,載入速度也會變快很多。
裝置端推理 (On-device Inference) 常被使用於兩大主流機器學習框架中:TensorFlow Lite (TFLite) 與 ONNX Runtime。
這份研究論文介紹了 CoMViT,這是一種專為資源受限的醫學影像分析所設計的輕量化視覺轉換器(Vision Transformer)架構。傳統模型在小型醫療數據集上常面臨計算需求過高與過擬合的挑戰,而此架構透過卷積標記器(convolutional tokenizer)、對角遮罩與動態溫度縮放等技術,顯著提升了局部空間特徵的捕捉能力。實驗結果顯示,該模型僅需約 450 萬個參數,就能在包含 12 種不同模態的 MedMNIST 基準測試中,達到與大型模型相提並論甚至更優異的準確度。此外,透過 Grad-CAM 可視化分析證實,該模型能精確聚焦於具備臨床意義的病灶區域,兼具解釋性與運算效率。這項成果證明了優化架構設計而非單純擴大規模,才是開發實用醫療人工智慧系統的關鍵。
YOLO26 的關鍵架構增強功能:
(a) 移除分佈焦點損失 (Distribution Focal Loss, DFL) 簡化了邊界框迴歸,提升了效率與匯出相容性。
(b) 端到端無 NMS 推論消除了後處理瓶頸,實現更快速、更簡單的部署。
(c) ProgLoss 和 STAL 增強了訓練穩定性,並顯著提高了小物件偵測的準確度。
(d) MuSGD 最佳化器結合了 SGD 和 Muon 的優勢,在訓練中實現更快速、更穩定的收斂。
(e) YOLO26 的推論速度比 YOLOv11 和 YOLOv12 更快,在 nano 模式下,CPU 推論時間最多可減少 43%。
在 Ubuntu 環境中,監控 GPU 的狀態(使用率、記憶體 VRAM、溫度)非常關鍵,因為這能幫你判斷程式是否真的有吃到 GPU 加速,或者是否即將記憶體溢出(Out Of Memory)。
NTFS-3G 是一個開源的 NTFS 檔案系統驅動程式,讓 Linux、macOS、FreeBSD 等非 Windows 系統能夠安全地讀寫(建立、修改、刪除檔案與資料夾)微軟的 NTFS 格式磁碟,它利用 FUSE (Filesystem in Userspace) 框架實現跨平台,是許多 Linux 發行版預設的 NTFS 驅動,提供了完整的讀寫功能和檔案權限管理。
Probably Approximately Correct(PAC)是機器學習理論裡用來描述「從有限資料學到的模型,何時能可靠泛化」的一套形式化框架,由 Valiant 在 1980s 提出。
Physical AI 是指將人工智慧(AI)應用於真實世界、具身(embodied)的系統,使其能在物理環境中感知、推理、規劃與控制,並以閉環方式完成任務。重點在於「學習驅動的實體行為」,強調泛化、可靠性與安全性。
On-Device 指的是將計算(尤其是 AI / 機器學習模型的推理)直接在終端裝置本身上執行,而不是將資料傳輸到遠端伺服器或雲端進行處理。
這些終端裝置可以是: