DeepEyes— 小红书联合西安交大推出的多模态深度思考模型

deepinsight 是小红书团队与西安交通大学合作开发的多模态深度学习模型。该模型通过端到端强化学习实现类似于 openai o3 的“以图推理”能力，且不需要依赖监督处理强度（sft）。deepinsight 能够在推理时动态调用工具，例如进行图像缩放，从而加强其对细节的理解能力。该模型在视觉推理基准测试 v* 台上取得了 90.1的准确率，展现了其卓越的视觉搜索及多模态推理能力。deepinsight拥有优秀的图像定位功能，有助于减少幻觉现象的发生，提高了模型的可信度和预见性。

DeepInsight的核心功能以图推理：能够直接将图像整合进推理流程中，不仅能观察图像，还可对其进行深入思考，在推理过程中动态地运用图像数据，强化识别力。研究：能够在高清图像中快速找到小目标或模糊区域，借助和缩放技术进行定位分析，极大提高了搜索精度。幻觉聚焦：借助聚焦于图像细节的能力，减少了模型生成答案时可能出现的错误联想，增强了答案的精确性和稳定性。跨模态推理：实现了视觉与文本推理之间的平滑过渡，增强了模型处理复杂任务的。动态工具应用：模型能够自主判断时调用图像处理工具，比如比例、缩放等，需要进一步干预即可完成更推理的过程。DeepInsight的技术基础硬件强化学习：DeepInsight 利用端到端学习（RL）来训练模型，进行冷启动的监督模型（SFT）。它借鉴奖励信号直接调整模型行为，制定学会如何在推理中有效地图像利用资源。奖励机制涉及准确性奖励、格式奖励以及条件工具奖励，保证强化了模型既给出了正确的答案，预计未来图像使用工具。交错多模态思维链：DeepInsight提出了交错多模态思维链（Interleaved Multimodal Chain-of-Thought， iMCoT），允许模型在推理期间轮流处理视觉与文本信息。模型会在每次推理步骤中评估是否需要额外的视觉信息，并据此生成边界框坐标以调整图像的关键部分，然后将这些部分送回模型作为新的视觉证据。面向工具使用的数据选取：为了更好地鼓励模型工具使用，采用了面向工具使用的数据选取策略。数据经过严格筛选，确保它们能够有效推动模型掌握工具操作技巧。数据集主题了高分辨率图像、图表数据以及推理数据，涉及任务多种类型，有助于提升模型的通用性。工具调用行为演变：在训练进程中，模型的工具调用行为经历了三个阶段：青少年试探、积极实践和运用。从最初的快速随机尝试逐步发展到精准且的工具调用，最终达到了接近人类水平的视觉推理效果。多模态整合：DeepInsight将视觉与文本信息紧密结合，构建了一个统一的推理架构。这种整合提升了模型在视觉任务上的表现，并增强了其在多模态任务中的整体实现。

DeepInsight的资源链接项目主页：https：//www.php.cn/link/d023e85d1a1d023c26cf4f3ac281651fGitHub仓库：https：//www.php.cn/link/9ebfbcf53147c ac9a71dcad2b6e7a58dHuggingFace模型库：https：//www.php.cn/link/63cd917a58c3fa3c2aef0de3480f9b5farXiv技术文档：https：//www.php.cn/link/ 4b6e16d36f691eec61154d01871cec76DeepInsight的实际用途教育指导：解析考试卷中的图表和图形，为学生提供详细的解题指引，促进学业进步。医疗服务：分析医学影像资料，帮助医生做出诊断，提高诊断质量和速度。出行：实时保障解读道路状况，帮助自动驾驶车辆做出更明智的选择，行车安全。公共安全：审查监控流程，发现问题活动，加强社会治安管理。制造业：在线监控生产线，执行质量检验和故障预警，优化生产流程并削减维修费用。

以上就是DeepEyes—小红书联合西安交大推出的多模态深度思考模型的详细内容，更多请关注乐哥常识网其他相关文章！