在做神经外科手术时，医生不仅必须对病灶进行精确定位，同时还需要非常小心，以免损伤周围血管、神经和其他重要组织。过往，医生基本都是把病人的CT或磁共振影像等资料组合到一起来想象、凭着经验操作，这往往需要长期的经验积累。因此，神经外科手术是难度最高的手术之一，一名独立操刀神经外科手术的医生，年资普遍在20年以上。
大模型似乎找到了解决方向。3月11日，中国科学院香港创新院AI中心对外发布面向医疗垂直领域的AI多模态大模型CARES Copilot 1.0，目前可以在手术阶段自动识别病灶和解剖结构，对培训年轻医生和教学有实用价值。
临床医生是医疗大模型的受益者，也是评判员。北京协和医院神经外科主任医师、研究生导师冯铭现场演示了CARES Copilot 1.0系统后说，手术大模型和手术导航结合起来，可以为患者提供实时的解剖定位信息，提高手术安全性。不过，要实现机器人独立操作手术，还需要较长时间探索。
中国科学院香港创新院AI中心执行主任、博士生导师刘宏斌在发布会上介绍AI多模态大模型CARES Copilot 1.0 图片来源：每经记者 金喆 摄
神经外科有了垂直大模型
尽管医疗大模型有近百种，但由于行业专业门槛高、容错率极低，真正落地到临床诊断的垂直大模型非常少。即便是本次发布的CARES Copilot，也只是1.0版本，主要以识别和辅助医生的功能为主。
中国科学院香港创新院AI中心执行主任、博士生导师刘宏斌在发布会上介绍，目前该系统的识别功能主要包括三个层面：首先是基于三维人体的手术室行为识别算法，能够对人体动作进行判断“他的动作是否合规”；其次是利用大模型的抽象理解能力判断手术到了什么阶段；最后是关键解剖结构识别。
在他看来，只有把识别做准确了，才有可能去辨别手术当中作出的判断是否准确，现在通过这个系统能够把一些关键的解剖结构的识别率提高到80%以上。Copilot 1.0可以在手术中为医生提供判断参考，通过辅助信息让医生操作更为安全。
《每日经济新闻》记者注意到，去年以来有超过50个平台公开发布了医疗大模型。刘宏斌说，垂直大模型难以落地临床主要有几个痛点：一方面，现在公开的大模型是用公开的资料训练出来的，临床医生参与较少，回答问题的方式和方向满足不了临床诊断需求，医生也没办法完全信任大模型给出的答案；另一方面，医生通常会使用大量文本、影像、视频等数据，很多大模型还是仅以文本语言为主。
“很多大模型回答了问题后，医生没办法确定它的内容是否准确，也不敢用。”刘宏斌表示，Copilot就是要解决这些痛点，1.0版本采用大模型加小模型的方式，可以识别、语义提取图片和文字，并进行更高级的理解。按照他的设想，Copilot 2.0版本将延伸到手术指导，像教练一样提醒和指导医生哪个阶段应该如何操作。
随着更多版本的迭代，未来可能会实现医生与机器有效配合、机器人进行一些非关键手术操作，甚至还有可能由医生书写手术计划、机器人来自主执行方案。刘宏斌也说，“但不是现阶段，估计要一定时间以后才会实现”。
冯铭表示，现在已经有些AI应用能够减轻医生的工作量，比如病例生成、部分疾病早期筛查、术后数据库的病例随访和管理。“今天发布的（大模型）更专业一些，包括跟机器人后续的结合等，能帮助到医生的，医生为什么会不愿用呢？”
他举例，如果提出术后用药的问题，Copilot会给出精准的答案，比如需要用哪些药、注意哪些激素，都是基于近五年专业的指南和共识。另外，目前用到比较多的大模型存在“幻觉”，每次提问后给的答案不一样，看起来是生成了一段话，专业的人还是能看出问题。但Copilot的答案会更标准，“真理只有一个、真相只有一个”。
医疗大模型必须足够专业，才能获得医生信任
记者也注意到，在此前的行业讨论中，国内一些医工结合的医院曾表达对AI落地的看法，对于医院方，无法信任AI的原因还是在于准确性问题。
刘宏斌介绍，目前医疗领域垂直大模型的评判标准主要是参加医学考试，在USMLE医疗行业测评中（USMLE为美国执业医师资格考试，是通往美国临床执业的唯一路径），Copilot 1.0的成绩排在第一。早前，谷歌的医疗大模型Med-PaLM2在MedQA数据集实现了86.5%的准确率。
这也是Copilot 1.0比其他公开的医疗垂直大模型做得更好的一点。同时CARES Copilot 1.0支持超过100K上下文窗口的长程注意力，能够一次性完成超过3000页的复杂手术教材的高效理解和分析，对年轻医生的培训和科研提供有力支持。
首都医科大学附属北京同仁医院神经外科主任康军说，目前看人工智能发展大致上分三个阶段：机器学习阶段、机器智能阶段和机器意志阶段。CARES Copilot 1.0这个系统是专注于神经外科应用的人工智能系统，但它还处于机器学习阶段的早期，相当于人在成长过程中的学龄前阶段。未来发展到了机器意志阶段，可能真的由机器人独立完成脑部手术操作，就是机器知道哪里需要切除、哪里需要保留，但这个阶段还需要很长的路和时间才可能达到，至少目前还只是科幻电影里的情节。
封面图片来源：每经记者 金喆 摄
