TWI839269B - 混合實境(mr)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體 - Google Patents
混合實境(mr)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體 Download PDFInfo
- Publication number
- TWI839269B TWI839269B TW112126415A TW112126415A TWI839269B TW I839269 B TWI839269 B TW I839269B TW 112126415 A TW112126415 A TW 112126415A TW 112126415 A TW112126415 A TW 112126415A TW I839269 B TWI839269 B TW I839269B
- Authority
- TW
- Taiwan
- Prior art keywords
- prosthesis
- visceral
- image
- deformation
- mixed reality
- Prior art date
Links
- 230000009278 visceral effect Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004590 computer program Methods 0.000 title claims abstract description 9
- 230000002792 vascular Effects 0.000 claims abstract description 47
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 16
- 210000004185 liver Anatomy 0.000 claims description 47
- 238000006073 displacement reaction Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013473 artificial intelligence Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 210000001835 viscera Anatomy 0.000 claims description 15
- 238000001356 surgical procedure Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000005489 elastic deformation Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 3
- 210000003734 kidney Anatomy 0.000 claims description 3
- 210000001685 thyroid gland Anatomy 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 17
- 210000004872 soft tissue Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000013013 elastic material Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本發明係混合實境(MR)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體。對應可彈性變形之內臟假體建立假體影像，內臟假體包含有血管組織假體，假體影像包含血管組織假體之血管影像，並在混合實境單元同時呈現內臟假體及假體影像；以混合實境單元之深度攝影單元實時追蹤內臟假體之三維外形，當內臟假體產生彈性變形時，混合實境單元根據人工智慧控制假體影像隨著內臟假體之三維外形即時產生變形，使假體影像及其中的血管影像實時符合內臟假體之外形及方位。
Description
本發明係一種混合實境(MR)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體，特別是指在混合實境單元同時呈現內臟假體及假體影像，當內臟假體產生彈性變形時，假體影像隨著內臟假體即時產生變形，使假體影像及其中的血管影像實時符合內臟假體之外形及方位之發明。
混合實境 (Mixed Reality,MR)是整合現實世界與虛擬世界所建立出的實境環境，在混合實境中，現實世界中的物件能夠與虛擬世界中的物件產生互動。
混合實境應用於外科手術例如有台灣專利第I741536號「基於混合實境的手術導航影像成像方法」、台灣專利第M592728號「經皮內視鏡椎間盤混合實境眼鏡定位裝置」等相關前案。
上述I741536係將患者的手術部位三維影像成像至手術部位，使手術部位與手術部位三維影像疊合，並根據所定義的坐標系統及混合實境眼鏡的紅外線拍攝追蹤裝置追蹤手術部位，透過座標間的轉換來達到手術部位與手術部位三維影像定位追蹤的功效。
上述M592728係根據病患之脊椎區域的3D掃描資料產生3D脊椎虛擬影像，3D脊椎虛擬影像具有待處理的椎間盤影像，二攝影單元提供追蹤定位功能使3D脊椎虛擬影像能和3D脊椎現實影像重疊以產生3D脊椎混合擴增實境影像，俾利手術操作者能夠藉由3D脊椎混合擴增實境影像在脊椎區域中決定一直線路徑以進行一擴孔操作，以形成由表面切口連接至待處理的椎間盤之導引通道，然後經由該導引通道對待處理的椎間盤進行內視鏡手術。
上述各前案之混合實境於外科手術之應用通常做為手術部位之定位及導航之用途。
在內臟的外科手術(例如肝臟手術)，於手術過程中臟器因為病患呼吸起伏，或者被彎曲、翻轉、拉伸、下壓，因而外形或方位持續變化，此時內臟中的血管組織或其他軟組織會隨之產生壓縮或位移等變形，因而內臟手術的成敗往往在於是否妥適處理內部錯綜複雜的血管組織，為了於手術過程能確認內臟中的血管組織或其他軟組織的正確外形及方位，習知作法可使用超音波持續觀察臟器內的血管組織或軟組織的變化。
而在外科醫生的手術訓練中，目前有使用假體技術所開發之擬真假體來進行訓練，但是假體內的血管組織或其它軟組織在假體被彎曲、翻轉、拉伸、下壓時，訓練者無法直接觀察其變化，影響手術訓練的成效。
因此本發明結合假體技術及混合實境(MR)技術，預期在假體之手術訓練中，當假體被彎曲、翻轉、拉伸、下壓時，能直接觀察血管組織或其它軟組織的壓縮或位移等變形。本發明據此提出一種混合實境(MR)結合內臟假體之手術練習方法，包括下列步驟：
對應可彈性變形之一內臟假體建立一假體影像。在一混合實境單元中觀測該假體影像，並執行一追蹤定位而將該假體影像疊合於該內臟假體，其中該內臟假體內包含有可彈性變形的一血管組織假體，該假體影像包含對應該血管組織假體之一血管影像。以該混合實境單元之一深度攝影單元實時追蹤該內臟假體之三維外形，獲得一實時三維訊息。當該內臟假體產生彈性變形時，透過經訓練的一人工智慧根據該實時三維訊息，即時計算該假體影像的變形，並即時輸出該變形後的假體影像，使該假體影像實時符合該內臟假體之外形及方位，該人工智慧也根據該實時三維訊息即時計算該血管影像的變形，並即時輸出該變形後的血管影像，使該血管影像實時符合該內臟假體之外形及方位。上述人工智慧利用一倒傳遞類神經網路執行訓練，係收集該內臟假體複數位置的一變形參數輸入該神經網路，該變形參數包含所述複數位置中的每一位置的變形量與拉伸阻力；根據該神經網路的輸出而獲得該假體影像每一相應位置的物理參數，包含楊氏係數、蒲松氏比，藉使訓練後的該人工智慧透過該內臟假體的變形以預測該假體影像的變形。
進一步，該內臟假體係肝臟假體、甲狀腺假體、腎臟假體及子宮假體之一，且該內臟假體可根據一對象之一內臟電腦斷層影像所建立。
其中，係由深度攝影單元拍攝該內臟假體當時視角下的內臟假體表面，將所拍攝之深度影像資訊角網格化，並計算整體網格曲面參數，獲得當下的該內臟假體之視角並調整假體影像；人工智慧利用可變形網格(deformable mesh registration, DMR)搭配角對角(edge to edge)的模型誤差估算，可變形網格會依據初始立體網格結構，利用角對角特徵作為收斂方向，藉此來調整假體影像外形；可變形網格提出內臟假體相應之拉普拉斯算子的微分形態匹配(Laplacian-based diffeomorphic shape matching, LDSM)，採用DMR與LDSM方法作為內臟假體形狀特徵的局部變形重建框架，並以變形作為估計目標，最後模擬估計變形目標局部小區域的非線性運動。
上述內臟假體內血管組織之彈性相依與血管位移預測模型，係內臟假體網格模型與血管網格模型為獨立的彈性相依網格，採用力道與位移關係方程式(f-Ku方程)計算網格位移，f代表施加到網格頂點的力，u代表每個頂點產生的位移，K代表剛度矩陣，透過剛度矩陣來表示該內臟假體的形狀和力學，評估血管的位移情況，當該內臟假體每次彈性變形時，根據形狀來更新剛度矩陣，而每個網格共享的頂點所對應的每個網格單元之剛度矩陣以K
e表示並定義為
，其中，
為網格體積、B表示一種網格形狀所代表的矩陣、D表示力學矩陣，定義變形不改變該內臟假體本身的力學性能，並透過改變網格變形引起的Δ和B來更新K
e，當力量或變形由內臟假體網格模型傳遞至血管網格模型時，由於相關的彈性參數不同，雙方的位移也會不同，藉此作血管位移預測。
進一步，當該內臟假體產生彈性變形，而該假體影像因該混合實境單元之計算延遲而尚未完成變形或誤差過大時，該混合實境單元發出一提示訊息。
進一步，該提示訊息係一提示框影像，該提示框影像框住該假體影像。
進一步，有一定位座，該定位座有一定位凹部，該定位凹部用於承接該內臟假體。
本發明再提出一種電腦程式，係安裝於一電腦後可執行前述混合實境(MR)結合內臟假體之手術練習方法。
本發明再提出一種電腦可讀取媒體，係儲存有前述電腦程式。
根據上述技術特徵可達成以下功效：
1.在內臟假體之手術訓練中，當內臟假體被彎曲、翻轉、拉伸、下壓時，透過混合實境中的假體影像及血管影像，能直接觀察血管組織假體或其它軟組織假體隨著內臟假體的變形外形及方位而對應產生的壓縮或位移等變形，藉此有利於外科手術之訓練。
2.本發明之人工智慧採用倒傳遞類神經網絡作內臟假體表面變形追瞄，以及根據內臟假體內血管組織假體之彈性相依模型，能夠精確地作物件變形追瞄與血管位移預測。
3.由於處理器效能的差異，當內臟假體產生彈性變形，而假體影像因混合實境單元之計算延遲尚未完成變形或誤差過大時，會以提示框影像框住假體影像作為提示訊息，避免練習者誤操作。
4.由於內臟假體為模擬真實器官而採用軟的彈性材質所製成，因此以定位座承接內臟假體可以避免內臟假體因重力而變形。
下列所述的實施例，只是輔助說明本發明混合實境(MR)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體，並非用以限制本發明。
參閱第一圖及第二圖所示，於手術練習時，使用者頭上配戴混合實境單元1，例如Microsoft HoloLens，並對可彈性變形之一內臟假體進行手術操作，一般手術訓練時該內臟假體可為標準型擬真內臟，用於手術規劃時，該內臟假體則可根據一對象之一內臟電腦斷層影像而客製化建立，該內臟假體例如肝臟假體2、甲狀腺假體、腎臟假體及子宮假體，本實施例以肝臟假體2為例。由於肝臟假體2為模擬真實器官而採用軟的彈性材質所製成，因此將上述肝臟假體2設置在一定位座3之定位凹部31，使肝臟假體2受到定位座3的支承，藉此可以避免肝臟假體2因重力而變形。
參閱第一圖至第三圖所示，將上述肝臟假體2之影像角網格化並建立假體影像4，並在混合實境單元1所建立的混合實境中執行追蹤定位而將假體影像4疊合於肝臟假體2以同時呈現肝臟假體2及假體影像4。手術操作時，以混合實境單元1之深度攝影單元11實時追蹤肝臟假體2之三維外形，獲得一實時三維訊息。當肝臟假體2因為受到彎曲、翻轉、拉伸、下壓而產生彈性變形時，透過經訓練的人工智慧根據實時三維訊息控制假體影像4隨著肝臟假體2即時產生變形，並即時輸出該變形後的假體影像4，使假體影像4實時符合肝臟假體2之外形及方位。上述人工智慧利用一神經網路執行訓練，本實施例使用倒傳遞類神經網路，係收集該內臟假體2複數位置的一變形參數輸入該神經網路，該變形參數包含所述複數位置中的每一位置的變形量與拉伸阻力；根據該神經網路的輸出而獲得該假體影像4每一相應位置的物理參數，包含楊氏係數、蒲松氏比，藉使訓練後的該人工智慧透過該內臟假體2的變形以預測該假體影像4的變形。
其中，係由深度攝影單元11拍攝肝臟假體2當時視角下的肝臟假體表面，將肝臟假體2邊界的深度影像資訊角網格化，並計算整體網格曲面參數，獲得當下肝臟假體2之視角，此外，本實施例也可以利用肝臟假體2外的定位點提供參考座標，加速假體影像4的追蹤定位。
參閱第七圖，選取初始視角的肝臟假體2作為初始狀態參考T，根據此初始狀態參考T定義肝臟假體2變形後及變形前之最窄框架SI及最寬框架SD，再透過形狀匹配使最窄框架SI的表面網格模型MI趨近於最寬框架SD的表面網格模型MD，而實現網格之點對點的對應。
在最窄框架狀態下將初始狀態參考T匹配到最窄框架SI的各個表面，進而獲得相應的表面網格模型MI，由於表面網格模型MI具有點對點的相應關係，因此可以透過計算每個坐標的平均值來獲得平均形狀M，並以此作為最終匹配模型，通過預處理讓模型靠近要匹配的數據，可以大幅減少模型形狀的數據選擇數量對匹配的影響，同時防止匹配錯誤機率-λL(u
s)。通常越精準的形狀匹配仰賴物件基本變形時的表面計算穩定度，從而取得三維位移匹配。而為了維持對位穩定與準確性，使用基於拉普拉斯演算的形狀匹配，包括：先對初始狀態參考T和目標表面S的所有頂點u
i計算出離散拉普拉斯運算子L(u
i)和法向量n
i，再根據初始狀態參考T的網格頂點，計算出模型與目標之間的局部相似程度Q
i，在目標發生變形時，其形狀位置P
i的更新是透過公式(I)進行約束，新位置的頂點集合u’
i可以透過公式(II)計算，其形狀u
i更新為u’
i後，回到初始步驟。
(I)
(II)
V是初始位置的頂點集合，V
i是要求解的V’
i頂點；p
i是約束的位置被設定為u
i；
是根據問題配置的權重參數；L(根據是拉普拉斯－貝爾特拉米算子，L(u
i)是頂點v
i的離散拉普拉斯算子。第1項是對網格形狀變化的處理，如果受約束的頂點遠離目標位置p
i，則第2項會增加通過計算最小化目標函數的
，可更新初始狀態參考T的模型同時盡可能保留形狀。透過約束位置p導入公式II進行更新。隨後定義出優化後的形狀並進行迭代，當表面被重複更新後，模型與目標模型的表面間距的最大值有機率無法收斂，因此迭代次數將持續上升直到距離靠近並終止迭代。在這個框架中即使模型和目標模型的頂點數量不同，或者目標模型的頂點不存在於相應的局部區域附近，也可計算出相應局部表面的優化匹配。
肝臟假體2內至少包含有可彈性變形的一血管組織假體，或者亦可有其他軟組織，假體影像4包含對應該血管組織假體之血管影像41或有其它軟組織之影像(圖中未以隱藏物件內部之虛線繪製肝臟假體2之血管組織假體及軟組織，而僅繪製假體影像4中的血管影像41，以符合混合實境實際操作狀況)。
參閱第一圖及第四圖所示，當假體影像4隨著肝臟假體2產生變形時，根據深度攝影單元11獲得的實時三維訊息，以彈性相依模型計算血管影像41的變形，並即時輸出該變形後的血管影像41，使該血管影像41實時符合該內臟假體2之外形及方位。
根據Yamamoto等人提出的「Kernel-based framework to estimate deformations of pneumothorax lung using relative position of anatomical landmarks」，神經網絡可用於學習並估計彈性變形所產生的連動關係，本實施例採用兩個隱藏層的神經網絡。在輸入/輸出層的節點數由輸入/輸出數據的維度決定，但兩個隱藏層的節點數可以任意選擇。由於輸入/輸出數據是一個負值的實數，我們沒有在輸出層設置激活函數，只是在第二個隱藏層對特徵量進行加乘。而為了避免系統在執行學習時，過多且不必要的增加元素權重，進而產生過度擬合的狀況，透過以下公式規範數列進行正則化，從而使優化的神經網絡僅匹配訓練數據。
其中，M
1、M
2、M
3、M
4為輸入端算起每一層的節點數；W
ih、Cw
ji、Cw
kj是進行下一層時轉換特徵量的權重；λ為正值的正則化係數，增強了抑制權重因子變大的效果；m為訓練數據個數，d為數據個數，n
1、n
2、n
3表示權重矩陣，W
ih、Cw
ji、Cw
kj將相關部分的元素個數偏置項排除。為了優化輸出層誤差，最後，在預測階段，由於肝臟假體2的觀測點位與內部血管組織位置已知，而血管位移的非觀測點未知，則在訓練階段時，神經網絡中將輸入新的肝臟假體變形與位移，隨觀測點的改變，可在輸出層取得所有觀察點與血管位移的預測值。
有了最佳的肝臟假體2視角後，我們利用可變形網格(deformable mesh registration, DMR)搭配角對角(edge to edge)的模型誤差估算，藉此來調整假體影像4外形。可變形網格匹配可針對不同內臟假體提出相應之拉普拉斯算子的微分形態匹配(Laplacian-based diffeomorphic shape matching, LDSM)，可解決內臟假體旋轉分量和滑動邊界匹配的問題，本實施例進一步採用DMR與LDSM方法作為肝臟假體2形狀特徵的局部變形重建框架，並以變形作為估計目標，最後模擬估計變形目標局部小區域的非線性運動。如當肝臟假體2發生變形時，可變形網格會依據初始立體網格結構，利用角對角特徵作為收斂方向，由於鏡頭取像是即時的，影像間的誤差通常不超過10%，疊代10次後通常能有不錯的估算值。由於LDSM方法來估計肝臟假體2外形的形變常會出現不連續的情況，為了實現連續平面的變形在保留目標特徵的形狀匹配下，亦維持和空間的平滑變形關係，以LDSM函數進行平滑，如下公式(1)：
(1)
X是初始模板網格，Y是目標表面，d是兩個表面之間的距離函數。此外，ϕ ( X )是將X映射到變形網格，L(·)是
位移場的離散拉普拉斯算子。在完成初始狀態與呼吸變化的目標表面差異化運算後，透過平滑與正則化項進行目標平滑。然而最小化點到點距離最初是作為 DMR 中的基本策略，但它並不考慮3D幾何狀態，因此很難保持網格拓撲。為此，修正上述公式讓X代表具有n個頂點的四面體網格，
和邊，變形圖ϕ ( X )，代表變形量u可基於以下公式(2)進行迭代更新獲得
同時最小化目標函數，在3D幾何狀態下的變化曲面進行保持。
(2)
將
定義為要求解的頂點位置，
是被約束的位置，代表確定的平滑位置以及其在目標切平面上的投影位置內分點，
和
是根據待定項所構成的權重參數。
是頂點處的離散拉普拉斯算子
，可被定義為以下公式(3)
(3)
其中，
為邊界權重，
是由頂點連接構成的環狀相鄰頂點集合和邊緣，離散拉普拉斯算子用作形狀描述符並近似三角形網格的平均曲率法線，如果受約束的頂點遠離目標網格的最近表面，則公式(2)第二項會增加。通過計算
最小化目標函數後，透過更新模板模型並盡可能保留形狀。針對局部變形概念，目的是從肝臟假體2部分特徵重建變形目標與模擬。位移向量
是根據周邊器官的多點映射採樣進行估計。假設局部位置的位移可以從特徵向量計算出頂點並從周圍器進行稀疏採樣。在本實施例中，特徵向量
使用相對位置構造
和位移
採樣的頂點。
在利用可變形網格模型調整肝臟假體2外形後，最後就可以依據彈性相依模型係來估算肝臟假體2內血管的偏移量。由於肝臟假體2網格模型與血管網格模型原就是獨立的彈性相依網格，有了肝臟假體2外形的變化後，最後利用力道與位移關係方程式(f-Ku方程)計算網格位移，f代表施加到網格頂點的力，u代表每個頂點產生的位移，K代表剛度矩陣，透過剛度矩陣來表示肝臟假體2的形狀和力學，藉此評估血管的位移情況。當肝臟假體2每次彈性變形時，根據形狀來更新剛度矩陣，而每個網格共享的頂點所對應的每個網格單元之剛度矩陣以K
e表示並定義為
，其中，
為網格體積、B表示一種網格形狀所代表的矩陣、D表示力學矩陣，定義變形不改變肝臟假體2本身的力學性能，並透過改變網格變形引起的Δ和B來更新K
e。由於肝臟假體2網格模型與血管網格模型原就是獨立的彈性相依網格，當力量或變形由肝臟假體2網格模型傳遞至血管網格模型時，由於相關的彈性參數不同，雙方的位移也會不同。此模型為線性計算模型，此時血管網格模型可以即時依據肝臟假體2網格模型的改變而即時更新，藉此完成整體的AI計算。
參閱第一圖及第五圖所示，當肝臟假體2產生彈性變形，而假體影像4因混合實境單元1之計算延遲而尚未完成變形時，混合實境單元1發出一提示訊息，本實施例該提示訊息係在混合實境中產生提示框影像5，該提示框影像5框住該假體影像4，避免練習者誤操作。
參閱第六圖所示，另舉出本發明實施例中，當肝臟假體2被操作而改變方位時，假體影像4及假體影像4中的血管影像41隨之改變方位。
透過上述假體影像4及內部血管影像41隨著肝臟假體2改變方位或受力變形而隨之改變方位或變形，供練習人員可以如同身歷其境操作肝臟手術。
上述混合實境(MR)結合內臟假體之手術練習方法所寫成之電腦程式可儲存於雲端供下載，或可儲存於電腦可讀取媒體中。
綜合上述實施例之說明，當可充分瞭解本發明之操作、使用及本發明產生之功效，惟以上所述實施例僅係為本發明之較佳實施例，當不能以此限定本發明實施之範圍，即依本發明申請專利範圍及發明說明內容所作簡單的等效變化與修飾，皆屬本發明涵蓋之範圍內。
1:混合實境單元
11:深度攝影單元
2:肝臟假體
3:定位座
31:定位凹部
4:假體影像
41:血管影像
5:提示框影像
[第一圖]係為本發明實施例混合實境(MR)結合內臟假體之手術練習方法之流程圖。
[第二圖]係為本發明實施例中，使用者頭戴混合實境單元配合內臟假體的操作示意圖。
[第三圖]係為本發明實施例中，混合實境呈現內臟假體及相應之假體影像的示意圖，其中假體影像上並有內臟假體之血管組織假體的血管影像。
[第四圖]係為本發明實施例中，當內臟假體被操作而彈性變形時，假體影像隨之變形，且內臟假體內的血管組織假體經人工智慧計算位移變形量而在假體影像上呈現變形後的血管影像的示意圖。
[第五圖]係為本發明實施例中，當內臟假體被操作而彈性變形，當假體影像因電腦運算效能差異而尚未隨之變形時，在混合實境中以提示框影像框住假體影像作為提示訊息的示意圖。
[第六圖]係為本發明實施例中，當內臟假體被操作而改變方位時，假體影像及假體影像中的血管影像隨之改變方位的示意圖。
[第七圖]係為本發明實施例中，將內臟假體之影像網格化進行形狀匹配的示意圖。
Claims (10)
- 一種混合實境(MR)結合內臟假體之手術練習方法，包括下列步驟：對應可彈性變形之一內臟假體建立一假體影像； 在一混合實境單元中觀測該假體影像，並執行一追蹤定位而將該假體影像疊合於該內臟假體，其中該內臟假體內包含有可彈性變形的一血管組織假體，該假體影像包含對應該血管組織假體之一血管影像； 以該混合實境單元之一深度攝影單元實時追蹤該內臟假體之三維外形，獲得一實時三維訊息； 當該內臟假體產生彈性變形時，透過經訓練的一人工智慧根據該實時三維訊息，即時計算該假體影像的變形，並即時輸出該變形後的假體影像，使該假體影像實時符合該內臟假體之外形及方位，該人工智慧也根據該實時三維訊息即時計算該血管影像的變形，並即時輸出該變形後的血管影像，使該血管影像實時符合該內臟假體之外形及方位； 上述人工智慧利用一倒傳遞類神經網路執行訓練，係收集該內臟假體複數位置的一變形參數輸入該神經網路，該變形參數包含所述複數位置中的每一位置的變形量與拉伸阻力；根據該神經網路的輸出而獲得該假體影像每一相應位置的物理參數，包含楊氏係數、蒲松氏比，藉使訓練後的該人工智慧透過該內臟假體的變形以預測該假體影像的變形。
- 如請求項1所述之混合實境(MR)結合內臟假體之手術練習方法，其中，該內臟假體係肝臟假體、甲狀腺假體、腎臟假體及子宮假體之一。
- 如請求項1所述之混合實境(MR)結合內臟假體之手術練習方法，其中，該內臟假體係根據一對象之一內臟電腦斷層影像所建立。
- 如請求項1所述之混合實境(MR)結合內臟假體之手術練習方法，其中，係由深度攝影單元拍攝該內臟假體當時視角下的內臟假體表面，將所拍攝之深度影像資訊角網格化，並計算整體網格曲面參數，獲得當下的該內臟假體之視角並調整假體影像；人工智慧利用可變形網格(deformable mesh registration, DMR)搭配角對角(edge to edge)的模型誤差估算，可變形網格會依據初始立體網格結構，利用角對角特徵作為收斂方向，藉此來調整假體影像外形；可變形網格提出內臟假體相應之拉普拉斯算子的微分形態匹配(Laplacian-based diffeomorphic shape matching, LDSM)，採用DMR與LDSM方法作為內臟假體形狀特徵的局部變形重建框架，並以變形作為估計目標，最後模擬估計變形目標局部小區域的非線性運動。
- 如請求項4所述之混合實境(MR)結合內臟假體之手術練習方法，其中，內臟假體內血管組織假體之彈性相依與血管位移預測模型，係內臟假體網格模型與血管網格模型為獨立的彈性相依網格，採用力道與位移關係方程式(f-Ku方程)計算網格位移，f代表施加到網格頂點的力，u代表每個頂點產生的位移，K代表剛度矩陣，透過剛度矩陣來表示該內臟假體的形狀和力學，評估血管的位移情況，當該內臟假體每次彈性變形時，根據形狀來更新剛度矩陣，而每個網格共享的頂點所對應的每個網格單元之剛度矩陣以K e表示並定義為 ，其中， 為網格體積、B表示一種網格形狀所代表的矩陣、D表示力學矩陣，定義變形不改變該內臟假體本身的力學性能，並透過改變網格變形引起的Δ和B來更新K e，當力量或變形由內臟假體網格模型傳遞至血管網格模型時，由於相關的彈性參數不同，雙方的位移也會不同，藉此作血管位移預測。
- 如請求項1所述之混合實境(MR)結合內臟假體之手術練習方法，其中，當該內臟假體產生彈性變形，而該假體影像因該混合實境單元之計算延遲而尚未完成變形時，該混合實境單元發出一提示訊息。
- 如請求項6所述之混合實境(MR)結合內臟假體之手術練習方法，其中，該提示訊息係一提示框影像，該提示框影像框住該假體影像。
- 如請求項1所述之混合實境(MR)結合內臟假體之手術練習方法，其中，有一定位座，該定位座有一定位凹部，該定位凹部用於承接該內臟假體。
- 一種電腦程式，係安裝於一電腦後可執行如請求項1至請求項8任一項所述之混合實境(MR)結合內臟假體之手術練習方法。
- 一種電腦可讀取媒體，係儲存有如請求項9所述之電腦程式。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111126490 | 2022-07-14 | ||
| TW111126490 | 2022-07-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202412714A TW202412714A (zh) | 2024-04-01 |
| TWI839269B true TWI839269B (zh) | 2024-04-11 |
Family
ID=91618693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112126415A TWI839269B (zh) | 2022-07-14 | 2023-07-14 | 混合實境(mr)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI839269B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110213374A1 (en) * | 2003-11-25 | 2011-09-01 | Conformis, Inc. | Patient Selectable Joint Arthroplasty Devices and Surgical Tools |
| CN107949346A (zh) * | 2015-07-08 | 2018-04-20 | 主动脉公司 | 用于假体植入物的解剖映射的设备和方法 |
| WO2019051464A1 (en) * | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
| WO2019148154A1 (en) * | 2018-01-29 | 2019-08-01 | Lang Philipp K | Augmented reality guidance for orthopedic and other surgical procedures |
| TW202108085A (zh) * | 2019-08-30 | 2021-03-01 | 國立中央大學 | 與手術導航系統整合之混合實境系統 |
| TWI741536B (zh) * | 2020-03-20 | 2021-10-01 | 台灣骨王生技股份有限公司 | 基於混合實境的手術導航影像成像方法 |
-
2023
- 2023-07-14 TW TW112126415A patent/TWI839269B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110213374A1 (en) * | 2003-11-25 | 2011-09-01 | Conformis, Inc. | Patient Selectable Joint Arthroplasty Devices and Surgical Tools |
| CN107949346A (zh) * | 2015-07-08 | 2018-04-20 | 主动脉公司 | 用于假体植入物的解剖映射的设备和方法 |
| WO2019051464A1 (en) * | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
| WO2019148154A1 (en) * | 2018-01-29 | 2019-08-01 | Lang Philipp K | Augmented reality guidance for orthopedic and other surgical procedures |
| TW202108085A (zh) * | 2019-08-30 | 2021-03-01 | 國立中央大學 | 與手術導航系統整合之混合實境系統 |
| TWI741536B (zh) * | 2020-03-20 | 2021-10-01 | 台灣骨王生技股份有限公司 | 基於混合實境的手術導航影像成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202412714A (zh) | 2024-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210161424A1 (en) | Method and system for modeling lung movement | |
| Haouchine et al. | Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery | |
| CN109589170B (zh) | 医学成像中的左心耳闭合引导 | |
| Lee et al. | On the effects of leaflet microstructure and constitutive model on the closing behavior of the mitral valve | |
| Szekély et al. | Virtual reality-based simulation of endoscopic surgery | |
| JP5866346B2 (ja) | 運動パターンを使用して関節骨の奇形切除を判定する方法 | |
| Prakosa et al. | Generation of synthetic but visually realistic time series of cardiac images combining a biophysical model and clinical images | |
| Bano et al. | Simulation of pneumoperitoneum for laparoscopic surgery planning | |
| US20080193904A1 (en) | Systems and Methods for Simulation of Organ Dynamics | |
| Modrzejewski et al. | An in vivo porcine dataset and evaluation methodology to measure soft-body laparoscopic liver registration accuracy with an extended algorithm that handles collisions | |
| Dicko et al. | Anatomy transfer | |
| Ziegler et al. | A virtual reality medical training system | |
| CN111862046A (zh) | 一种心脏冠脉剪影中导管位置判别系统和方法 | |
| Santhanam et al. | Modeling real-time 3-D lung deformations for medical visualization | |
| Villard et al. | Virtual reality simulation of liver biopsy with a respiratory component | |
| Espinel et al. | Using multiple images and contours for deformable 3d-2d registration of a preoperative ct in laparoscopic liver surgery | |
| Schleicher et al. | BASH: Biomechanical Animated Skinned Human for Visualization of Kinematics and Muscle Activity. | |
| TWI839269B (zh) | 混合實境(mr)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體 | |
| Roose et al. | Simulation of soft-tissue deformations for breast augmentation planning | |
| Shetty et al. | BOSS: Bones, organs and skin shape model | |
| CN113893033B (zh) | 一种肺部经皮穿刺导航方法及系统 | |
| Selmi et al. | 3D interactive ultrasound image deformation for realistic prostate biopsy simulation | |
| Deligianni et al. | Non-rigid 2d-3d registration with catheter tip em tracking for patient specific bronchoscope simulation | |
| Santhanam et al. | Simulating 3-D lung dynamics using a programmable graphics processing unit | |
| Stoyanov et al. | Current issues of photorealistic rendering for virtual and augmented reality in minimally invasive surgery |