首页 > AI教程资讯

微软展示LLaVA-Med模型，可用于医学病理案例分析

文章来源：万象ai发布时间：2025-04-03 17:06:57

AI奇点网6月14日报道 | 微软研究人员最近展示了LLaVA-Med模型，该模型是专为生物医学研究而设计的人工智能模型。它利用生物医学图像，如CT和X光图像等，推测患者的病理状况。微软与一批医院合作，获得了大量的生物医学图像和对应的文本数据集，用于训练这个多模态AI模型。

视觉指令调整，在生物医学领域构建具有 GPT-4级别功能的大型语言和视觉模型。6月1日在GitHub上发布了LLaVA-Med: Large Language and Vision Assistant for Biomedicine，这使得模型能够生成与图像相关的问答，并能够以自然语言回答有关生物医学图像的问题，实现了助手的愿景。

LLaVA-Med模型是基于GPT-4、Vision Transformer和Vicuna语言模型的。微软研究人员使用了八个英伟达A100 GPU对模型进行训练，其中包含每个图像的所有预分析信息。LLaVA-Med 使用通用模型 LLaVA 进行初始化，然后以课程学习方式不断进行训练（首先是生物医学概念对齐，然后是全面的指令调整）。并评估了 LLaVA-Med 在标准视觉对话和问答任务上的表现。

在训练过程中，LLaVA-Med模型主要关注描述图像内容以及阐述生物医学概念（即从图像中判断是什么）。微软表示，该模型在多模态对话能力方面表现出色，并在用于回答视觉问题的三个标准生物医学数据集上，在部分指标上领先于其他先进模型。

然而，微软的研究团队也指出，LLaVA-Med模型目前仍存在一些不足之处。这些包括大模型常见的虚假举例和准确度不佳的问题。研究团队表示，他们将致力于改善模型的质量和可靠性，以便将来能够在商业生物医学领域应用该模型。

尽管LLaVA-Med模型还存在改进空间，但它代表了构建有用的生物医学视觉助手迈出的重要一步。随着微软和其他研究机构的努力，相信在不久的将来，这样的模型将能够为医学界提供更准确、高效的病理分析和诊断服务。

上海市发布AI与"元宇宙"关键技术攻关行动方案（2023-2025）

上一篇: 上海市发布AI与"元宇宙"关键技术攻关行动方案（2023-2025）

本文介绍了上海市在2023年至2025年期间，关于"元宇宙"关键技术攻关的行动方案。主要以沉浸式技术和Web3技术为两大主攻方向，旨在加快推进"元宇宙"领域的科技自立自强，实现关键技术突破和产业化水平提升。

为避免被英伟达单方面牵制，亚马逊云服务部门正考虑使用AMD最新AI芯片

下一篇: 为避免被英伟达单方面牵制，亚马逊云服务部门正考虑使用AMD最新AI芯片

MD推出了一款名为Instinct MI300的数据中心APU加速处理器，该芯片旨在帮助处理人工智能相关的数据流量，并挑战英伟达的垄断地位。

相关攻略更多

热门AI工具更多

最新资讯更多

PhotoG - AI图片生成

PhotoG - AI图片生成

AI工具

更新时间：2025-01-08