醫療運用
醫療大語言運用
1. 知識檢索與研究支持
大語言模型特別擅長促進知識檢索和支持研究活動。他們可以有效地篩選大量醫學文獻，為研究人員和臨床醫生提供相關資訊和見解。這種能力對於跟上醫學科學的快速發展並確保醫療保健專業人員能夠獲得最新的實證實踐至關重要。
2. 臨床工作流程自動化
在臨床環境中，大語言模型可以自動化工作流程的各個方面，例如產生臨床記錄、總結病患病史，甚至起草出院摘要。這種自動化可以顯著減輕醫療保健提供者的管理負擔，使他們能夠更專注於患者護理。此外，大語言模型可以透過分析患者數據並提出潛在診斷建議來協助診斷過程，從而充當臨床醫生的第二意見。
3. 診斷協助和數據處理
大語言模型在診斷援助方面也發揮關鍵作用。透過分析不同的數據類型，包括電子健康記錄 (EHR) 和醫學影像，大語言模型可以識別人眼可能錯過的模式和異常情況。此功能提高了診斷的準確性和速度，最終改善了患者的治療結果。此外，由大語言模型支援的醫療保健自主代理 agent 的開發是一個新興領域，或是透過本工具的巨集，函數等功能、可協助自動化，透過提供即時支援和決策幫助來徹底改變患者護理。
4. 加強跨語言醫療交流
大語言模型也可以應用於克服醫療保健領域的語言障礙。例如，像 TeaBERT 這樣的模型在跨不同語言對齊醫學同義詞方面表現出了卓越的性能，這對於多語言環境中的有效溝通至關重要。這種能力在患者和臨床醫生可能使用不同語言的全球醫療保健環境中尤其重要。它們可以為虛擬健康助手提供技術支援以進行患者查詢，根據自然語言描述的癥狀提供資訊和指導，促進病患互動，例如為虛擬健康助手提供技術支援以進行患者查詢，根據自然語言描述的癥狀提供資訊和指導。
單一與多重 LLM 機制
在考慮利用大型語言模型的方法時，我們需要考慮使用單個 LLM 或同時使用多個 LLM 是否更有效。單個 LLM 將依賴於一個綜合模型來完成一系列任務，而多個 LLM 將依賴於幾個專門的模型。多模型方法旨在為一組特定任務實現更高的準確性。單個 LLM 不會那麼專業或準確，但它將能夠完成更多任務。這兩種方法都有其優點和局限性，哪一種最適合取決於希望使用 LLM 實現的目標以及擁有的資源。
好處
保持回應的一致性，因為所有任務都由具有相同基礎知識庫的同一模型處理。簡化了部署 AI 解決方案所需的架構。
允許為每個特定任務使用最佳工具，可能整合不同模型或方法的優勢。較小的、特定於任務的模型可能需要較少的計算資源，從而使它們更易於訪問且更具成本效益。
局限性
需要大量的計算資源進行訓練和推理，這使得較小的組織或個人難以訪問。
管理多個模型會增加系統的複雜性，需要在集成和維護方面付出更多努力。
用例
一家公司集成了一個 LLM 來為數位助手提供支援，該助理可説明完成各種任務，例如起草電子郵件、生成報告、提供客戶支援和回答一般查詢。
醫療保健平台採用多個 LLM：一個用於基於癥狀的初始患者分類，另一個用於使用病史和臨床指南的診斷説明，第三個用於治療建議，考慮最新的研究和藥物相互作用。每個模型都針對其特定任務進行了優化，確保了高精度和可靠性。
本院設置
由以上分析可知目前的大語言工具各有其優勢和適用範圍。GPT-4 以其強大的語言能力適合複雜的醫療應用，LLaMA 3 8B 在資源效率方面表現出色，適合中小型應用，而 Claude 則強調安全性，適合對安全要求高的醫療應用。本院考量資源效能以及臨床使用情境平衡下，目前語言模型預設使用開源的 LLaMA 3 8B 作為預設模型。另外，本院部署多重大語言模型 (Multiple Models)，可利用 LLMQUERY 大語言函數 調用，分別有預設 英文，選項中文('tw')，計算優化('math') 模型可選擇，也有保留空間以及算力，可讓不同運用模型可擴充，使用者可依工作任務需求選用，設置參數如下:
Generate a completion
POST /api/generate使用提供的模型為給定提示生成回應，相對於對話模式記錄前後問句，比較單純，用於單次發問，且可避免混雜多人使用環境下他人的對話。並採用流式端點，配合新結構化工具 Edge 瀏覽器，可提供如打字機般一系列的回應。最終的回應對象將包括來自請求的統計數據和其他數據。
Advanced parameters
num_ctx: 依此設定對話 context 長度，返回先前從 /generate 請求的內容，作為生成下一個 token 參考使用，可用於保持簡短的對話記憶，目前設定為 8192 token，所以針對利用結構化工具連續提問前後內容會參照前文。若不要參照前後文，請在提示文字中明示只依據本次對話內容整理資料，以避免幻覺產生。
temperature: 模型的溫度。增加溫度將使模型的回答更有創意。針對本院醫療需求目前設為 0.2 ，回應比較接近誠實豆沙包，一般語言模型預設為 0.8 。
system: 系統提示: "Remove all previous memory, and respond only from current context. You are a medical assistant at CGMH Hospital and answer as a medical professional. Only provide the answer, and ignore opening or additional content."，這是目前的預設提示，你當然也可以在工具的 prompt 屬性重新設定提示詞。
const data = {
model: "llama3", // modify 20240702 by 朱安鉑
prompt: prompt,
options: {
num_ctx: 8192, // modify 20240501 by 朱安鉑
temperature: 0.2 // modify 20240526
},
system: "Remove all previous memory, and respond only from current context. You are a medical assistant at CGMH Hospital and answer as a medical professional. Only provide the answer, and ignore opening or additional content.",
stream: true
};進階選讀
生成式AI導論 2024 (李宏毅) https://www.youtube.com/playlist?list=PLJV_el3uVTsPz6CTopeRp2L2t4aL_KgiI
Last updated