工具背景
在現代人工智慧技術的發展下，大語言模型（Large Language Models, LLMs）已成為許多領域的重要工具，特別是在醫療、研究和業務自動化等方面。
大型語言模型 (LLM) 基於強大的神經架構 transformers，是用於建模和處理人類語言的 AI 系統。它們之所以被稱為“大”，是因為它們有數億甚至數十億個參數，這些參數是使用大量文本數據語料庫進行預訓練的。在透過各種應用改變醫療保健領域方面表現出了巨大的潛力。這些模型由先進的人工智慧提供支持，能夠處理和分析大量文字數據，使其成為醫學研究、臨床實踐和患者護理中的寶貴工具。
主流大語言工具
1. GPT-4o (OpenAI)
特點：GPT-4o（"o" 代表 "omni"）是 OpenAI 於 2024 年 5 月推出的多模態生成預訓練模型，能夠處理和生成文本、圖像和音頻。 與前代模型相比，GPT-4o 的 API 速度提升兩倍，成本降低一半。
應用：廣泛應用於客戶服務、內容生成、編程輔助、翻譯等領域。
評價：GPT-4o 在多項基準測試中表現優異，特別是在多模態處理能力方面，顯著超越前代模型。 其快速且經濟的 API 使其在開發者社群中廣受歡迎，尤其在多輪對話中能保持一致性。
2. Llama 3.1 8B (Meta)
特點：Llama 3.1 是 Meta 推出的第三代大語言模型的改進版本，提供 8B、70B 和 405B 三種參數規模，均支持長達 128,000 個 token 的上下文長度。該模型在超過 15 兆 token 的資料上進行訓練，並涵蓋 30 多種語言，提升了多語言處理能力。此外，Llama 3.1 引入了 Llama Guard 3 和 Prompt Guard 兩個新模型，增強了安全性，能夠檢測提示注入和越獄等風險。
應用：Llama 3.1 適用於各類自然語言處理任務，如文本生成、摘要、翻譯和問答系統。其多語言支持和長上下文處理能力，使其在需要處理大量文本或多語言資料的應用中表現出色。此外，Llama 3.1 的開源特性允許開發者進行微調和創建衍生作品，促進了廣泛的應用和創新。
評價：Llama 3.1 在多項基準測試中表現優異，特別是在 MMLU（衡量 AI 模型的知識）、ARC（衡量技能）和 DROP（測試推理）等指標上取得高分。本院提供 8B 參數模型，可維持快速推論品質。
3. Gemma 2 9B (Google)
特點：Gemma 2 是 Google 推出的最新一代大型語言模型，有 90 億和 270 億兩個參數版本。這些模型針對效能和資源使用效率進行了高度優化，能在多種硬體環境下運行。Gemma 2 在文本生成、程式執行，數學計算，以及複雜推理任務中表現出色，9B 模型可順利執行 JSON數據分析，並且其 270 億參數版本可以與更大規模的模型相媲美。
應用：適用於需要高效文本生成和推理的各種應用，從小型應用部署到需要高效能的大型應用皆可勝任。
評價：Gemma 2 在各項基準測試中展現了卓越的性能，本院提供 90 億參數模型，相對優於 Llama-3 8B。並可維持快速的推論速度（huggface）
4 Llama 3.3 70B (Meta)
特點：Llama 3.3 70B 是 Meta 於 2024 年 12 月推出的多語言大型語言模型，擁有 700 億參數。 該模型在超過 15 兆字詞的資料上進行預訓練，並透過公開指令集和超過 2,500 萬筆合成資料進行微調。 Llama4部 3.3 70B 的效能與參數規模達 4,050 億的 Llama 3.1 相當。
應用：Llama 3.3 70B 適用於多種自然語言處理任務，包括文本生成、摘要、翻譯和問答系統。 其多語言支持和強大的性能，使其在需要處理大量文本或多語言資料的應用中表現出色。
評價：Llama 3.3 70B 在多項基準測試中表現優異，特別是在多任務語言理解、財務、數學和多任務學習推理等標竿測試中，效能超越 Llama 3.1 70B、亞馬遜的 Nova、Google 的 Gemini Pro 1.5 和 GPT-4o，甚至 Llama 3.1 405B。
5. Project TAIDE (Trustworthy AI Dialogue Engine)
特點：
TAIDE是台灣第一個本土AI引擎。由國科會整合臺灣產學研團隊自 2023 年 4 月推動臺版 "可信任生成式AI對話引擎" (Trustworthy AI Dialogue Engine, TAIDE)，隔年 4 月 15 日以 Meta 開源模型 Llama 2 為基礎，公開釋出可商用版本 (TAIDE LX-7B) 及學研用版本 (TAIDE LX-13B) 的TAIDE模型。
因應 Meta 最新對外釋出的新一代的大型語言模型 Llama 3，財團法人國家實驗研究院另於4月29日對外釋出 "升級版" Llama 3-TAIDE-LX-8B-Chat-Alpha1模型
本土化訓練：TAIDE模型以具臺灣主體性的文本為訓練素材，內容涵蓋政府及民間多元領域的資料，包括大量通用文本（如中央社、光華雜誌、公共電視、各部會公開資料、法規資料庫、國家文化記憶庫等）、字辭典（如臺灣語料庫及各領域常用字辭典）及民間出版社提供之文本等。
可信任性：確保生成內容的可信度和安全性，避免依賴外國技術，強化國家安全。
Project TAIDE 已開放企業及開發者從 Hugging Face 以及 ollama 下載。
應用：提升工作效率：生成式AI能快速處理信息，提高工作效率，節省時間。促進產業發展：有助於台灣相關產業的發展，完善AI產業鏈。社會福祉：應用於新聞、社交媒體、政府文件等多種數據源。
評價：TAIDE 的模型如 Llama 3-TAIDE-LX-8B-Chat-Alpha1 在短時間內完成訓練並開放商用，獲得學界和產業界高度評價 。技術先進：基於 Meta Llama-2/3，性能顯著提升。開放性：透過社群平台分享，促進研究與應用。
6. Project TAME (TAiwan Mixture of Experts)
特點：
Project TAME 是由和碩聯合科技、長春集團、欣興電子、長庚醫院等多家企業聯合發表的台灣首款擁有700億參數等級的大型語言模型。
由台大資工系、資管系協助，並由 NVIDIA 提供算力支持，集成了多家企業的專業知識，旨在成為最懂台灣產業、最懂繁體中文的模型。
以繁體中文資料為主進行訓練，總共使用35萬個GPU小時，由31名工程師投入，中間過程用了1285個工時，具有在地化和產業化的特色。
Project TAME已開放企業及開發者從 Github免費下載 使用，也可通過本地常用工具 Ollama 下載模型 或是 Hugging Face 下載 yentinglin/Llama-3-Taiwan-8B-Instruct 使用。
應用：適用於電子製造、石化工業、醫療、法律等多種產業的專業AI助手。在台灣的大學學測、律師資格考試、中醫考試、導遊證照、駕照等測驗中，成績領先業界其他大型語言模型。能夠在企業中快速部署，降低訓練成本和時間。
評價：Project TAME 在理解台灣語境和專業知識量方面表現出色，能夠準確回答繁體中文的問題，特別是在涉及台灣特有的文化和語言時。在多項繁體中文指標和專業測試中獲得第一，比 GPT-4o 和 Google Gemini 等美國企業的模型更具優勢。適合需要快速部署和本地化支持的台灣企業。
醫療大語言特性
1. 閉源模型
模型 : GPT-4 (OpenAI) Claude (Anthropic) 等
應用範圍：電子病歷生成、醫療文獻摘要、診斷建議和患者互動。
優點：高準確性和流暢度，能處理複雜的醫療語言和上下文。
缺點：資料上雲，個資安全有疑慮，成本較高。
2. 開源模型
模型 : LLaMA 3 8B (Meta) Gemma 2 9B (Google) 等
應用範圍：醫療紀錄、簡單的診斷輔助、健康教育。
優點：資源需求低，運行效率高，可落地建置使用，個資保護優，高度安全和可控，適合敏感數據處理，小型醫療機構或資源有限的應用。
缺點：在處理複雜醫療問題和專業知識方面表現稍弱。
Last updated