# 工具背景

大型語言模型 (LLM) 基於強大的神經架構 transformers，是用於建模和處理人類語言的 AI 系統。它們之所以被稱為“大”，是因為它們有數億甚至數十億個參數，這些參數是使用大量文本數據語料庫進行預訓練的。在透過各種應用改變醫療保健領域方面表現出了巨大的潛力。這些模型由先進的人工智慧提供支持，能夠處理和分析大量文字數據，使其成為醫學研究、臨床實踐和患者護理中的寶貴工具。

## 主流大語言工具

### **1.** GPT-4o **(OpenAI)**

* **特點**：GPT-4o（"o" 代表 "omni"）是 OpenAI 於 2024 年 5 月推出的多模態生成預訓練模型，能夠處理和生成文本、圖像和音頻。 與前代模型相比，GPT-4o 的 API 速度提升兩倍，成本降低一半。
* **應用**：廣泛應用於客戶服務、內容生成、編程輔助、翻譯等領域。
* **評價**：GPT-4o 在多項基準測試中表現優異，特別是在多模態處理能力方面，顯著超越前代模型。 其快速且經濟的 API 使其在開發者社群中廣受歡迎，尤其在多輪對話中能保持一致性。

### **2. Llama 3.1** 8B **(Meta)**

* **特點**：Llama 3.1 是 Meta 推出的第三代大語言模型的改進版本，提供 8B、70B 和 405B 三種參數規模，均支持長達 128,000 個 token 的上下文長度。該模型在超過 15 兆 token 的資料上進行訓練，並涵蓋 30 多種語言，提升了多語言處理能力。此外，Llama 3.1 引入了 Llama Guard 3 和 Prompt Guard 兩個新模型，增強了安全性，能夠檢測提示注入和越獄等風險。
* **應用**：Llama 3.1 適用於各類自然語言處理任務，如文本生成、摘要、翻譯和問答系統。其多語言支持和長上下文處理能力，使其在需要處理大量文本或多語言資料的應用中表現出色。此外，Llama 3.1 的開源特性允許開發者進行微調和創建衍生作品，促進了廣泛的應用和創新。
* **評價**：Llama 3.1 在多項基準測試中表現優異，特別是在 MMLU（衡量 AI 模型的知識）、ARC（衡量技能）和 DROP（測試推理）等指標上取得高分。本院提供 8B 參數模型，可維持快速推論品質。

### 3. Gemma 2 9B (Google)

* **特點**：Gemma 2 是 Google 推出的最新一代大型語言模型，有 90 億和 270 億兩個參數版本。這些模型針對效能和資源使用效率進行了高度優化，能在多種硬體環境下運行。Gemma 2 在文本生成、程式執行，數學計算，以及複雜推理任務中表現出色，9B 模型可順利執行 JSON數據分析，並且其 270 億參數版本可以與更大規模的模型相媲美。
* **應用**：適用於需要高效文本生成和推理的各種應用，從小型應用部署到需要高效能的大型應用皆可勝任。
* **評價**：Gemma 2 在各項基準測試中展現了卓越的性能，本院提供 90 億參數模型，相對優於 Llama-3 8B。並可維持快速的推論速度（[huggface](https://huggingface.co/blog/gemma2)）

### **4** Llama 3.3 70B (Meta)

* **特點**：Llama 3.3 70B 是 Meta 於 2024 年 12 月推出的多語言大型語言模型，擁有 700 億參數。 該模型在超過 15 兆字詞的資料上進行預訓練，並透過公開指令集和超過 2,500 萬筆合成資料進行微調。 Llama4部 3.3 70B 的效能與參數規模達 4,050 億的 Llama 3.1 相當。
* **應用**：Llama 3.3 70B 適用於多種自然語言處理任務，包括文本生成、摘要、翻譯和問答系統。 其多語言支持和強大的性能，使其在需要處理大量文本或多語言資料的應用中表現出色。
* **評價**：Llama 3.3 70B 在多項基準測試中表現優異，特別是在多任務語言理解、財務、數學和多任務學習推理等標竿測試中，效能超越 Llama 3.1 70B、亞馬遜的 Nova、Google 的 Gemini Pro 1.5 和 GPT-4o，甚至 Llama 3.1 405B。

### 5. Project TAIDE (Trustworthy AI Dialogue Engine)

* **特點**：
  * TAIDE是台灣第一個本土AI引擎。由國科會整合臺灣產學研團隊自 2023 年 4 月推動臺版 "可信任生成式AI對話引擎"  (Trustworthy AI Dialogue Engine, TAIDE)，隔年 4 月 15 日以 Meta 開源模型 Llama 2 為基礎，公開釋出可商用版本 (TAIDE LX-7B) 及學研用版本 (TAIDE LX-13B) 的TAIDE模型。
  * 因應 Meta 最新對外釋出的新一代的大型語言模型 Llama 3，財團法人國家實驗研究院另於4月29日對外釋出 "升級版" Llama 3-TAIDE-LX-8B-Chat-Alpha1模型
  * **本土化訓練**：TAIDE模型以具臺灣主體性的文本為訓練素材，內容涵蓋政府及民間多元領域的資料，包括大量通用文本（如中央社、光華雜誌、公共電視、各部會公開資料、法規資料庫、國家文化記憶庫等）、字辭典（如臺灣語料庫及各領域常用字辭典）及民間出版社提供之文本等。
  * **可信任性**：確保生成內容的可信度和安全性，避免依賴外國技術，強化國家安全。
  * Project TAIDE 已開放企業及開發者從 [Hugging Face](https://huggingface.co/taide/Llama3-TAIDE-LX-8B-Chat-Alpha1) 以及 [ollama ](https://ollama.com/cwchang/llama3-taide-lx-8b-chat-alpha1:q6_k)下載。
* **應用**：**提升工作效率**：生成式AI能快速處理信息，提高工作效率，節省時間。**促進產業發展**：有助於台灣相關產業的發展，完善AI產業鏈。**社會福祉**：應用於新聞、社交媒體、政府文件等多種數據源。
* **評價**：TAIDE 的模型如 Llama 3-TAIDE-LX-8B-Chat-Alpha1 在短時間內完成訓練並開放商用，獲得學界和產業界高度評價​ 。**技術先進**：基於 Meta Llama-2/3，性能顯著提升。**開放性**：透過社群平台分享，促進研究與應用。

### 6. Project TAME (TAiwan Mixture of Experts)

* **特點**：
  * Project TAME 是由和碩聯合科技、長春集團、欣興電子、長庚醫院等多家企業聯合發表的台灣首款擁有700億參數等級的大型語言模型。
  * 由台大資工系、資管系協助，並由 NVIDIA 提供算力支持，集成了多家企業的專業知識，旨在成為最懂台灣產業、最懂繁體中文的模型。
  * 以繁體中文資料為主進行訓練，總共使用35萬個GPU小時，由31名工程師投入，中間過程用了1285個工時，具有在地化和產業化的特色。
  * Project TAME已開放企業及開發者從 [Github免費下載](https://github.com/MiuLab/Taiwan-LLM) 使用，也可通過本地常用工具 [Ollama 下載模型](https://ollama.dev/cwchang/llama-3-taiwan-8b-instruct) 或是 Hugging Face 下載  [yentinglin](https://huggingface.co/yentinglin)/[Llama-3-Taiwan-8B-Instruct](https://huggingface.co/yentinglin/Llama-3-Taiwan-8B-Instruct) 使用。
* **應用**：適用於電子製造、石化工業、醫療、法律等多種產業的專業AI助手。在台灣的大學學測、律師資格考試、中醫考試、導遊證照、駕照等測驗中，成績領先業界其他大型語言模型。能夠在企業中快速部署，降低訓練成本和時間。
* **評價**：Project TAME 在理解台灣語境和專業知識量方面表現出色，能夠準確回答繁體中文的問題，特別是在涉及台灣特有的文化和語言時。在多項繁體中文指標和專業測試中獲得第一，比 GPT-4o 和 Google Gemini 等美國企業的模型更具優勢。適合需要快速部署和本地化支持的台灣企業。

<figure><img src="https://1792893123-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FdwFoogk3W80yJlNR060h%2Fuploads%2FIxxolJQgmQFy4u5Qm0XZ%2Fimage.webp?alt=media&#x26;token=4e325d49-0d93-4bf6-bba1-778d5145bbc6" alt=""><figcaption><p>Project TAME在多項繁體中文指標中獲得第一。 圖／ 台大資工系博士候選人林彥廷</p></figcaption></figure>

## 醫療大語言特性

### **1. 閉源模型**&#x20;

* **模型 :** GPT-4 (OpenAI) Claude (Anthropic) 等
* **應用範圍**：電子病歷生成、醫療文獻摘要、診斷建議和患者互動。
* **優點**：高準確性和流暢度，能處理複雜的醫療語言和上下文。
* **缺點**：資料上雲，個資安全有疑慮，成本較高。

### **2. 開源模型**&#x20;

* **模型 :** LLaMA 3 8B (Meta) Gemma 2 9B (Google) 等
* **應用範圍**：醫療紀錄、簡單的診斷輔助、健康教育。
* **優點**：資源需求低，運行效率高，可落地建置使用，個資保護優，高度安全和可控，適合敏感數據處理，小型醫療機構或資源有限的應用。
* **缺點**：在處理複雜醫療問題和專業知識方面表現稍弱。

##