文章来源：08AI导航网发布时间：2025-04-03 17:06:57
AI奇点网6月14日报道 | 微软研究人员最近展示了LLaVA-Med模型，该模型是专为生物医学研究而设计的人工智能模型。它利用生物医学图像，如CT和X光图像等，推测患者的病理状况。微软与一批医院合作，获得了大量的生物医学图像和对应的文本数据集，用于训练这个多模态AI模型。
视觉指令调整，在生物医学领域构建具有 GPT-4级别功能的大型语言和视觉模型。6月1日在GitHub上发布了LLaVA-Med: Large Language and Vision Assistant for Biomedicine，这使得模型能够生成与图像相关的问答，并能够以自然语言回答有关生物医学图像的问题，实现了助手的愿景。
LLaVA-Med模型是基于GPT-4、Vision Transformer和Vicuna语言模型的。微软研究人员使用了八个英伟达A100 GPU对模型进行训练，其中包含每个图像的所有预分析信息。LLaVA-Med 使用通用模型 LLaVA 进行初始化，然后以课程学习方式不断进行训练（首先是生物医学概念对齐，然后是全面的指令调整）。并评估了 LLaVA-Med 在标准视觉对话和问答任务上的表现。
在训练过程中，LLaVA-Med模型主要关注描述图像内容以及阐述生物医学概念（即从图像中判断是什么）。微软表示，该模型在多模态对话能力方面表现出色，并在用于回答视觉问题的三个标准生物医学数据集上，在部分指标上领先于其他先进模型。
然而，微软的研究团队也指出，LLaVA-Med模型目前仍存在一些不足之处。这些包括大模型常见的虚假举例和准确度不佳的问题。研究团队表示，他们将致力于改善模型的质量和可靠性，以便将来能够在商业生物医学领域应用该模型。
尽管LLaVA-Med模型还存在改进空间，但它代表了构建有用的生物医学视觉助手迈出的重要一步。随着微软和其他研究机构的努力，相信在不久的将来，这样的模型将能够为医学界提供更准确、高效的病理分析和诊断服务。
相关攻略 更多
最新资讯 更多
AI眼镜 “百镜大战” 打响！小小米眼镜官方微博上线引发市场热潮，产业链有望迎来快速发展期
更新时间：2025-04-19
新春第一课！自治区科协举办人工智能科普报告会
更新时间：2025-04-19
加速人工智能赛道布局！东莞市政府高规格召开新春第一场新闻发布会
更新时间：2025-04-19
东莞2025年“一号文”发布 聚焦“人工智能+先进制造”
更新时间：2025-04-19
马斯克：无人机和人工智能将主导未来战争 美国要加大投资
更新时间：2025-04-19
法国印度将联合主持AI行动峰会
更新时间：2025-04-19
法印将联合主持AI行动峰会，法媒：法欧希望借此峰会确立自身竞争地位
更新时间：2025-04-18
OpenAI前高管创立的AI公司据称洽谈融资 估值或达200亿美元
更新时间：2025-04-18
谷歌放弃 “不开发武器 AI” 承诺引争议，吴恩达表态支持
更新时间：2025-04-18
外交部：欢迎各国来华出席2025世界人工智能大会
更新时间：2025-04-18
