近日，数理医学院校聘教授楼威在 Nature 旗下国际权威期刊 npj Digital Medicine（影响因子 18.0）发表题为“A multimodal instruction dataset and benchmark for ultrasound understanding”的研究论文。浙大博士生王时杰与浙江省人民医院吴英男医生为共同第一作者，孔德兴教授与楼威教授为共同通讯作者。

该研究聚焦超声影像智能理解这一人工智能辅助诊疗的前沿难题。与 CT、MRI 等标准化影像不同，超声图像源于复杂多变的声学相互作用，具有噪声大、操作者依赖性强、形态异质性高等特点。临床诊断不仅需要识别解剖结构，更需将声像图伪影（如后方声影、增强效应）解码为精确的临床语义概念。然而，现有大型视觉语言模型（LVLM）在 CT、MRI 等模态上表现良好，却在超声领域面临显著的“视觉—语义鸿沟”：通用模型缺乏超声专用视觉—语言对应关系，易产生幻觉或临床无关描述。此外，公开超声数据集多局限于分类、分割等判别任务，缺乏面向指令跟随的语义丰富数据；既有超声视觉语言模型与评测基准亦多未开源，严重制约社区协同研发。

为应对上述挑战，该研究构建 SonoInstruct——首个面向超声的大规模多模态指令微调数据集，并建立 SonoBench 多维度评测基准。研究团队整合 30 余个公开数据源及超声教材、临床指南等专家知识，标准化重构异构临床标注，构建超过 11 万张图像、26 万条高质量指令对，覆盖 16 类主要解剖器官。数据集按四类互补子集组织：SonoUnderstanding（解剖识别、特征检测、病灶诊断）、SonoGrounding（空间定位）、SonoReport（报告生成）与 SonoKnowledge（文献与指南知识）。SonoBench 则从解剖识别、特征检测、病灶诊断、视觉定位、报告生成、指南问答、研究问答及分布外（OOD）泛化等八个维度，对 27 个主流视觉语言模型进行系统评测。

图1.SonoInstruct数据集构成及评估结果

基于 SonoInstruct 微调 Qwen3-VL-2B-Instruct 得到 Qwen3-VL-2B-Sono，在 SonoBench 上平均得分达 72.6%，相对基座模型提升 30.3%，超越最强闭源模型 Gemini-3-flash（68.3%），在开源模型中达到领先水平。解剖识别准确率达 95.7%，病灶诊断绝对提升 41.5 个百分点，视觉定位 IoU 从 10.6% 提升至 70.4%。在 InternVL3.5-2B 等不同架构上亦观察到一致增益，表明数据集编码了可迁移的超声领域能力。数据集与模型权重已开源发布，为超声人工智能研究提供可复现的基础资源。

图2. SonoBench上的评估结果

该研究证实，高质量、领域对齐的指令数据可有效弥合超声影像与临床推理之间的视觉—语义鸿沟，使轻量级模型在专用任务上超越大规模通用模型，为基层医疗机构及科研单位开展低成本、可定制的超声 AI 辅助系统提供了可行路径。

编辑：武艳