HealthGPT是由DCDmllm团队开发的医学多模态大模型，结合了视觉理解与生成能力，采用异构低秩适应(H-LoRA)技术和三阶段训练策略，能够统一处理多种医学任务。
技术架构
1、多模态融合机制
通过公式$H\text{-}LoRA = \bigoplus_{i=1}^n (W_i \otimes \Delta W_i)$，实现医学图像特征与文本描述的高效融合。其中，$\otimes$代表张量积运算，确保图像与文本信息的深度整合。
2、三阶段训练流程
基础预训练：在MIMIC-CXR等百万级医学影像数据集上进行特征提取，为模型奠定基础。
指令微调：使用包含放射科报告和病理描述的50万条医疗对话数据，进一步提升模型的语义理解能力。
强化学习：通过医生反馈优化模型，显著提高诊断准确率。
核心功能
支持CT、MRI、X光片的跨模态重建，重建误差率比传统方法降低38%。
实现医疗视觉问答（VQA），在PathVQA测试集上准确率达到89.7%。
提供病灶区域分割标注功能，Dice系数高达0.91，表现优异。
应用场景
1、辅助诊断：通过GitHub开源模型 https://github.com/DCDmllm/HealthGPT，支持肺炎、骨折等20类常见疾病的影像分析，帮助医生快速识别病症。
2、医学教育：生成带有解剖标注的教学图谱，已整合到3所医学院的课程中，助力医学人才培养。
3、远程会诊：支持DICOM格式影像的云端协作标注，方便医生远程协作与诊断。
项目提供在线演示 https://healthgpt-demo.dcdlab.cn/和预训练权重下载。实际测试显示，在甲状腺结节分类任务中，F1分数达到0.93，比专用模型提升12%。其创新之处在于将视觉编码器与LLM参数更新比率控制在1:100，实现了高效的多模态对齐，为医学AI领域提供了新的解决方案。
