首页 > AI教程资讯

Ovis:阿里国际发布的最新开源多模态模型

文章来源：08AI导航发布时间：2024-12-10 17:39:06

阿里国际于2024年9月19日发布了最新的多模态大模型Ovis，Ovis模型在多个领域展现出色的能力，特别是在数学推理问答、物体识别、文本提取和复杂任务决策等方面。

阿里国际发布的最新开源多模态模型

根据多模态评测平台OpenCompass的数据，Ovis1.6-Gemma2-9B版本在OpenCompass这一权威综合评测基准上，超越了多个知名开源模型，包括Qwen2VL-7B、InternVL2-26B和MiniCPM-V-2.6，在300亿参数以下的开源模型中位居第一。值得注意的是，Ovis在某些任务上的表现甚至超过了闭源的大型模型GPT-4o-mini。

Ovis的核心能力:

多模态任务处理：Ovis能够出色地完成视觉感知推理、数学和科学理解、生活场景分析等多模态任务。它不仅能够辅助理解复杂的数学概念，还能帮助分析财务报表，甚至根据图片指导烹饪过程，如制作炸鱼薯条。

技术细节：Ovis的设计亮点在于其结构上对齐视觉和文本嵌入的方式，通过引入可学习的视觉嵌入表，将连续视觉特征转换为概率化的token，再生成结构化的视觉嵌入，这克服了传统多模态模型中视觉与文本信息融合的限制。

性能与优势：Ovis在数学推理和视觉理解等任务中的得分表现出色，甚至媲美一些参数量级更高的模型。它在幻觉现象和错误率方面的控制也优于同级别模型，确保了高文本质量和准确度。

开源与商用友好：遵循Apache 2.0开源协议，Ovis的开源使得其在商业应用上非常友好，鼓励更广泛的应用和二次开发。

架构创新：Ovis通过创新的架构设计，包括动态子图方案，支持处理极端长宽比和高分辨率图像，以及全面数据优化策略，覆盖Caption、VQA、OCR、Table、Chart等多种多模态数据方向，从而提升了多模态任务的综合表现。

Ovis应用案例：

图像识别与处理：Ovis能准确识别手写内容并翻译，处理复杂的数学公式，比如通过图片识别给出详细的菜谱制作步骤。

自动驾驶：整合摄像头、雷达和激光雷达的数据。

医疗诊断：用于图像分析和诊断支持。

视频内容理解：分析和生成视频内容。

图像描述生成：自动生成图像描述。

视觉问答：支持多种语言的文本提取和问答。

Ovis开源信息:

Ovis系列模型License采用Apache 2.0。

Ovis 1.0、1.5的数据、模型、训练和推理代码已开源。

Ovis1.6系列中的Ovis1.6-Gemma2-9B也已开源权重。

开发者可以在GitHub上获取模型和代码。

开源代码可用于商用和改进。

Ovis技术优势：

创新架构设计：克服MLLM中MLP连接器架构的局限性。

高分图像处理：兼容高分辨率图像。

全面数据优化：显著提升多模态问答、指令跟随等任务表现。

卓越模型性能：在OpenCompass上综合排名第一。

幻觉现象和错误率显著低于同级别的模型。

Ovis Ghub地址：

https://github.com/aiDC-AI/Ovis

阿里国际团队表示，近半年的数据显示，商家对AI的需求不断增长，平均每两个月调用量翻一番。Ovis无疑将助力更多商家提升运营效率。

音疯创作挑战赛

上一篇: 音疯创作挑战赛

音疯创作挑战赛_映技派,专注ai人工智能!,欢迎来到音疯创作挑战赛！我们为你准备了新手攻略，快来开启创作之旅吧！

Kotaemon：一个能让你与文档进行对话的开源工具

下一篇: Kotaemon：一个能让你与文档进行对话的开源工具

Kotaemon：一个能让你与文档进行对话的开源工具_映技派,专注ai人工智能!,kotaemon，一个能让你与文档进行对话的开源工具，基于 RAG 技术实现与文档的交互式对话，支持多模态检索，可以处理文本、图表和表格等不同类型的数据。

相关攻略更多

热门AI工具更多

最新资讯更多

迅雷PC端

迅雷PC端

AI工具

更新时间：2026-09-15