MR在醫(yī)學影像中的應用

隨著科技的發(fā)展，AR與VR已經(jīng)融入到大眾的生活當中，從2009年高通、可口可樂等知名企業(yè)對AR(Augmented Reality，增強現(xiàn)實技術)和VR(Virtual Reality，虛擬現(xiàn)實技術)深入研究開始，新穎的表達方式以及身臨其境的體驗方式，使AR和VR吸引了一眾粉絲，而后興起的MR(Mixed Reality，混合現(xiàn)實技術)等新型數(shù)字技術也展現(xiàn)出了極大的潛在價值。與AR和VR不同的是，MR是將虛擬世界與現(xiàn)實世界融合的同時進行實時交互和信息的及時獲取，增強了用戶體驗的真實感，具有真實性、實時互動性以及構想性等特點。混合現(xiàn)實不僅有潛力創(chuàng)造出新的市場，還將顛覆當前的一些市場，醫(yī)療保健正是其中的一個領域。

借助微軟的HoloLens混合現(xiàn)實眼鏡，利用全息影像的方式解決了傳統(tǒng)醫(yī)療膠片平面化、不能共享的問題，也解決了產(chǎn)品耗費大量時間進行深度學習的問題。

·混合現(xiàn)實醫(yī)學產(chǎn)品(第一階段)：智能處理醫(yī)學影像數(shù)據(jù)并通過混合現(xiàn)實技術全息呈現(xiàn)，可視化臨床、教學過程。

·MR數(shù)字醫(yī)學平臺(第二階段)：云端智能存儲、處理、分享全息數(shù)據(jù)，混合現(xiàn)實連接異地醫(yī)療場景。

·可視化智能醫(yī)學生態(tài)(第三階段)：高度可視智能化醫(yī)學數(shù)據(jù)分析與臨床手術操作過程，通過“人+機器”的智能賦能醫(yī)生。

現(xiàn)階段混合現(xiàn)實醫(yī)學產(chǎn)品和MR數(shù)字醫(yī)學平臺已經(jīng)實現(xiàn)，可視化智能醫(yī)學生態(tài)還處在研發(fā)階段，高度可視化的醫(yī)學數(shù)據(jù)分析需要大量的醫(yī)學影像學數(shù)據(jù)，但是鑒于醫(yī)院的影像數(shù)據(jù)屬于非公開資源，所以目前還沒有更好辦法實現(xiàn)補償算法的訓練。

星影混合現(xiàn)實顯示系統(tǒng)是一款基于混合現(xiàn)實技術的影像數(shù)據(jù)全息體素渲染閱片工具，在醫(yī)生需要快速識別影像做診斷的時候，應用星影進行輔助。星影不需要人工操作和學習，醫(yī)生只需要把CT、核磁影像數(shù)據(jù)導入影像數(shù)據(jù)，通過系統(tǒng)智能分析并體繪制渲染至混合現(xiàn)實眼鏡，無需人工重建3D模型，就可以在眼鏡里出現(xiàn)實時的全息模型，包括模型重建也可以在系統(tǒng)里面完成。醫(yī)生需要搭配混合現(xiàn)實眼鏡，通過二維結合三維的體素渲染方式來觀看影像數(shù)據(jù)，或者可以體驗在立體影像數(shù)據(jù)上模擬手術路徑、置入植入體等臨床環(huán)節(jié)，有利于手術方案策劃與制定，以便于做出更科學更高效的診斷。

星圖混合現(xiàn)實顯示系統(tǒng)是一款混合現(xiàn)實醫(yī)學影像閱片工具，在導入醫(yī)學影像數(shù)據(jù)后，經(jīng)系統(tǒng)智能處理，醫(yī)生可以通過混合現(xiàn)實眼鏡從任意角度全息瀏覽病例立體模型，提高醫(yī)生對病灶中各組織空間位置關系的認知能力。星圖的特點是支持多人觀看，目前最多支持七臺眼鏡同時觀看。但它不同于星影的平面繪制，在星圖中，病例的各個單獨模型都能獨立拆分，換成任意想要的顏色，每個單獨的模型都能進行顯示隱藏的操作或是調節(jié)透明度。比如隱藏掉皮膚，只看血管和腫瘤的位置關系，也可以做一些標注，支持從任何角度去觀看模型，適合深度的觀察和討論病例。星圖為醫(yī)生提供了更具參考價值的影像信息，把手術部位立體模型置于手術視野中，通過調整位置、透明度、大小等參數(shù)，獲取更多與病灶相關的信息。

星航是一款用于術中實時導航和教學培訓方面的系統(tǒng)，可以跟蹤手術器械的實時位置信息，比如探針的深度和角度的位置信息，將空間信息在混合現(xiàn)實中進行呈現(xiàn)。是一套非常精準的導航工具，能夠幫助醫(yī)生高效精準的完成手術。它用在醫(yī)學教學上，可以幫助學生做臨床醫(yī)學操作上的培訓。

星云是一套在線混合現(xiàn)實協(xié)同系統(tǒng)，在線注冊賬號并在HoloLens和網(wǎng)頁上登陸后，可以上傳立體模型，并且還可以對立體模型進行編輯、處理、存儲、分享，在戴上HoloLens之后,也可以瀏覽自己的或者被分享的立體病例，同時也可用于遠程醫(yī)療。

?