TWI670681B - 判定手術路徑上一個或多個點之方法和系統 - Google Patents

判定手術路徑上一個或多個點之方法和系統 Download PDF

Info

Publication number
TWI670681B
TWI670681B TW107118917A TW107118917A TWI670681B TW I670681 B TWI670681 B TW I670681B TW 107118917 A TW107118917 A TW 107118917A TW 107118917 A TW107118917 A TW 107118917A TW I670681 B TWI670681 B TW I670681B
Authority
TW
Taiwan
Prior art keywords
coordinate system
surgery
robot arm
points
region
Prior art date
Application number
TW107118917A
Other languages
English (en)
Other versions
TW201907366A (zh
Inventor
陳階曉
王冠茹
Original Assignee
鈦隼生物科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈦隼生物科技股份有限公司 filed Critical 鈦隼生物科技股份有限公司
Publication of TW201907366A publication Critical patent/TW201907366A/zh
Application granted granted Critical
Publication of TWI670681B publication Critical patent/TWI670681B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]

Abstract

本發明之具體實施例闡述一種將機器人手臂驅動到手術路徑上一個或多個點的方法。該方法包括基於一患者之一醫學影像掃描建構一三維模型；依據該三維模型規劃一手術路徑；擷取一三維光學設備所擷取該患者之影像資訊；在該三維模型中選擇一第一組定位標記點；在該所擷取影像資訊中選擇一第二組定位標記點；將該第一組定位標記點與該第二組定位標記點進行匹配；基於該匹配之一結果，將坐標從一三維模型坐標系統轉換成一三維光學設備坐標系統；以及在一機器人手臂坐標系統中，將該機器人手臂驅動到該手術路徑上的該一個或多個點。

Description

判定手術路徑上一個或多個點之方法和系統
本發明之具體實施例一般係關於判定手術路徑上一個或多個點之方法和系統。
除非文中另外指出，否則本節中所說明之該等方法對本申請案中該等申請專利範圍而言並非先前技術，並且透過包括在本節中並非承認為先前技術。
在手術中，規劃手術路徑至關重要。該手術路徑可能包括多個點，例如與該患者有距離的安全點和術前點、患者組織上的進入點和該手術之該目標處的目標點。
機器人手術可能對該手術路徑提供精確控制。在該手術之前，患者接受醫學掃描（如電腦斷層掃描（Computed tomography，CT）或核磁共振成像（Magnetic resonance imaging，MRI））。到該所需解剖區的該手術路徑係經過規劃。可能採用人工智慧向該外科醫師建議帶來最少損害的最佳路徑。為了進行該手術，可能將該患者之該位置與該醫療掃描之該透視圖進行匹配，以沿著該經過規劃的手術路徑準確進行該手術。慣用方法仰賴於貼上或旋入基標（fiducial marks），這會有適應的問題。
在下列實施方式中，參照形成其一部分的該等所附圖式。在該等所附圖式中，除非上下文另外指出，否則類似符號通常識別類似組件。實施方式、所附圖式和諸申請專利範圍中所說明之該等例示性具體實施例並非意指限制。可能利用其他具體實施例，並且可能做出其他變更，而不悖離在此所呈現之該標的之該精神或範疇。將很容易理解，如文中一般所說明以及該等所附圖式中所例示本發明所揭示內容之該等態樣可以廣泛多種之不同配置進行設置、代換、組合和設計，所有這些皆於文中明確設想。
第一圖係顯示依據本發明所揭示內容之一些具體實施例設置的手術期間可能遇到的幾個點之間該等空間關係的示例圖。在第一圖中，手術路徑110可能包括安全點120、術前點130、進入點140和目標點150。
第二圖係例示將機器人手臂驅動到依據本發明所揭示內容之一些具體實施例設置的手術路徑上一個或多個點的示例程序200的流程圖。程序200可能包括如可能透過硬體、軟體及/或韌體進行的區塊210、220、230、240、250、260、270及/或280所例示的一個或多個操作、功能或動作。該等各種區塊不欲限制在該等所說明之具體實施例。該等所概述之步驟和操作僅提供為示例，並且一些該等步驟和操作可能視需要、組合成較少步驟和操作或擴展成附加步驟和操作，而未減損該等所揭示具體實施例之該本質。儘管該等區塊以序列次序例示，但是這些區塊也可能並行及/或以與文中所說明者不同的次序進行。
程序200可能開始於區塊210「基於醫學影像掃描建構三維模型」。在進行手術之前，可能使用一些醫學成像技術以擷取患者狀態之快照，使得可能制定手術規劃。該手術規劃可能包括如以上所闡述之經過規劃的手術路徑。舉例來說，該外科醫師可能囑咐該手術目標之醫學影像掃描（如CT或MRI）。這樣的醫學影像掃描可能在該手術之前幾天（如3至5天）進行。可能使用一些已知方法基於該醫學影像掃描資料建構三維模型。據此，該經過規劃的手術路徑上的點可能在該三維模型中識別。
區塊210接著可能係區塊220「進行智慧手術路徑規劃」。在一些具體實施例中，可能採用人工智慧引擎向該外科醫師建議對該患者的身體損害最小的一條或多條路徑。基於該患者之CT或MRI掃描，該人工智慧引擎可能建議一種或多種最佳手術路徑。第三圖例示到達依據本發明所揭示內容之一些具體實施例設置的目標點320的手術路徑310之計算之示例。該計算可能包括轉換該標準腦部圖譜資料，並且將其記錄到該患者之醫學掃描影像以識別該等腦部區。一些示例腦部區包括運動聯合區331、表達口語區332、較高心智功能區333、運動區334、感覺區335、體感聯合區336、全球語言區337、視覺區338、接受口語區339、聯合區341和小腦區342。而且，可能自動識別常見目標組織（例如丘腦下核）。此外，以上所闡述每個腦部區皆可能指定成本函數，以供該人工智慧引擎建議到該等目標組織的一條或多條路徑。該等血管可能係從該時差測距（Time-of-flight MRI，TOF）資料識別。該外層腦部邊界上的該等點係進入點的候選者。
第四A圖和第四B圖例示處理依據本發明所揭示內容之一些具體實施例設置的該醫學影像掃描所得到之資訊的影像處理。搭配第四A圖和第四B圖，依據本發明所揭示內容之一些具體實施例，區塊220接著可能係區塊230「處理醫學影像掃描所得到之資訊」。從三維光學設備所擷取該等影像得到的該等點僅與該患者之外觀資訊相關聯，但是與該患者之皮下資訊無關。然而，醫學影像掃描所得到之影像通常與該外觀和該皮下資訊皆相關聯。進行影像處理以從該醫學影像掃描移除該皮下資訊。因此，在區塊260中，該三維光學設備所得到之該等外觀點和從該醫學影像掃描得到的該等外觀點係用於該三維匹配。
在第四A圖中，在一些具體實施例中，假設該手術目標在該患者頭部裡面，則二進制影像410可能沿著從該患者頭部到腳趾的軸向從原始MRI影像導出。區域411係該患者之頭骨，並且通常在該原始MRI影像中以白色表示。區域411之該外層周邊412可能指稱與該患者之外觀相關聯的該患者之皮膚。採用設定閾值方法，可能創建包括該頭骨外部（全黑）的區域413和該頭骨內部的區域415的影像410。影像410可能進一步處理以形成影像420。在影像420中，區域413被指定灰度以與黑色和白色區分來形成區域423。
在第四B圖中，影像420可能進一步處理以形成影像430。在影像430中，除了區域413之該灰度以外的區域被指定黑色以形成區域431。影像430中的區域423隨後可能被指定白色以形成影像440。在一些具體實施例中，可能選擇沿著影像440之周邊441的點，以供匹配來自區塊240中該三維光學設備所拍攝影像的點。
區塊230接著可能係區塊240「擷取三維光學設備所拍攝患者之影像」。該「三維光學設備」一般可能指稱採用深度感測技術的相機或掃描儀。在一些具體實施例中，該三維光學設備可能包括，但不限於，至少兩台二維相機。在一些其他具體實施例中，該三維光學設備可能包括，但不限於，一三維深度感測模組和一二維相機模組。在一些具體實施例中，該三維掃描儀係配置成在待掃描物體之表面上創建幾何樣本之點雲。這些點可能用於推估該物體之形狀。在一些具體實施例中，該三維掃描儀可能係口內掃描儀。
在一些具體實施例中，除了以傳統二維光學設備所得到的資訊之外，該三維光學設備可能擷取該患者之該深度資訊。在一些具體實施例中，該三維光學設備可能係配置成在該手術室中在該患者身上進行外科切口之前立即拍攝該患者之影像。該三維光學設備可能固定在該手術室中的固定式裝置（如機器人手臂、手術台車）處。
區塊240接著可能係區塊250「選擇定位標記點」。在一些具體實施例中，可能從區塊210中所建構該三維模型和區塊240中所擷取該影像選擇一個或多個定位標記點。在一些具體實施例中，選擇具有強烈特徵的3個或多個定位標記點。定位標記點之示例可能包括雙眼中間、鼻尖或口部。在一些具體實施例中，3個定位標記點可能識別允許使用遞迴最近點（Iterative closest point，ICP）演算法進行後續匹配的初始三維坐標。在一些具體實施例中，該等定位標記點可能在該三維光學設備掃描和該CT/MRI資料中皆具有相同次序（例如：1.鼻尖、2.左眼、3.右眼）。
為了清楚表示，下列討論主要使用該三維光學設備（如三維相機）及其坐標系統（如三維相機坐標系統）之一個非限制性示例來解說本發明所揭示內容之各種具體實施例。
在一些具體實施例中，第五A圖和第五B圖例示選擇關鍵特徵以識別依據所揭示內容之一些具體實施例設置的定位標記點之臉部辨識方法。由於患者通常會在外科程序期間閉上其眼睛，因此無法使用仰賴於採用圓形虹膜識別其眼睛的傳統臉部辨識演算法。而是，首先可能選擇該患者之鼻子，即最前面的結構。這是可能的，因為該患者一般會躺在相同位置。從具有預定z偏移的該鼻尖，定義想要觀測的區域（如第五A圖中所例示的該矩形）以供選擇其他定位標記點（如雙眼）。在一些具體實施例中，想要觀測的該區域可能包括一區，其由該鼻尖、該雙眼、該前額定義；以及一區，其在該雙眉之間。據此，在一些具體實施例中，從橫向（軸向）剖面，可能識別3個或多個定位標記點（如鼻子為該較高中心峰值，並且該雙眼球為該等較小2個峰值）。
區塊250接著可能係區塊260「進行影像匹配」。在一些具體實施例中，該影像匹配包括匹配區塊250中所選擇該等定位標記點。在一些具體實施例中，將從該三維光學設備所拍攝該等影像選擇的該等定位標記點與從該所建構三維模型選擇的該等定位標記點進行匹配，有時遞迴進行以最小化該等兩組定位標記點之間的該等差異。在一些具體實施例中，用於匹配的該等定位標記點可能涵蓋所有該可用表面資料。在其他具體實施例中，用於匹配的該等定位標記點可能係該表面資料之選定子集。舉例來說，用於匹配的該等定位標記點可能從該三維光學設備所拍攝該等影像之想要觀測的該區域（如第五A圖中所例示的該矩形）和該所建構三維模型之想要觀測的該區域重複選擇，而非從所有該可用表面資料重複選擇。
區塊260接著可能係區塊270「轉換坐標」。在區塊270中，從該所建構三維模型選擇的點（如P1、P2和P3）係從其原始坐標系統（即三維模型坐標系統）轉換成該三維光學設備所拍攝該等影像之該等坐標（即三維相機坐標系統）。該轉換可能係基於一些影像比較方法，例如遞迴最近點（ICP）。區塊270可能進一步包括附加坐標轉換，其中該三維相機坐標系統上的所有點皆轉換成該機器人手臂之該等坐標（即機器人手臂坐標系統）。以下將進一步說明轉換坐標之該等細節。
區塊270接著可能係區塊280「將機器人手臂驅動到手術路徑上的點」。在區塊280中，三維模型坐標系統中該經過規劃的手術路徑之該等坐標可能轉換成該機器人手臂坐標系統。因此，該機器人手臂可能移動到該經過規劃的手術路徑上該安全點、該術前點、該進入點及/或該目標點。
總結來說，可能使用三維相機或掃描儀得到患者之臉部特徵。該等臉部特徵隨後可能和與醫學影像掃描相關聯的經過處理影像資料進行比較。為了比較，在該三維相機所得到之該等影像和與該醫學影像掃描相關聯的該等影像中皆以相同序列選擇定位標記點。在一些具體實施例中，示例程序200可能應用於各種類型之手術，例如腦部手術、神經系統手術、內分泌腺手術、眼部手術、耳部手術、呼吸道手術、循環系統手術、淋巴腺手術、胃腸手術、口部和牙科手術、泌尿手術、生殖手術、骨骼、軟骨和關節手術、肌肉/軟組織手術、乳房手術、皮膚手術等。
第六圖例示依據本發明所揭示內容之一些具體實施例從該所建構三維模型坐標系統至該三維相機坐標系統的示例坐標轉換。以下將搭配第七圖進一步討論本圖式。
第七圖係依據本發明所揭示內容之一些具體實施例，例示轉換坐標的示例程序700的流程圖。程序700可能包括如可能透過硬體、軟體及/或韌體進行的區塊710、720、730及/或740所例示的一個或多個操作、功能或動作。該等各種區塊不欲限制在該等所說明之具體實施例。該等所概述之步驟和操作僅提供為示例，並且一些該等步驟和操作可能視需要、組合成較少步驟和操作或擴展成附加步驟和操作，而未減損該等所揭示具體實施例之該本質。儘管該等區塊以序列次序例示，但是這些區塊也可能並行及/或以與文中所說明者不同的次序進行。
搭配第六圖，在區塊710中，得到初始矩陣。在一些具體實施例中，得到第一初始矩陣TMRI 和第二初始矩陣T相機 。在一些具體實施例中，(1) 其中 向量Xx 係向量X 之該x分量、向量Xy 係向量X 之該y分量，並且向量Xz 係向量X 之該z分量。同樣地，向量Yx 係向量Y 之該x分量、向量Yy 係向量Y 之該y分量，並且向量Yz 係向量Y 之該z分量。向量Zx 係向量Z 之該x分量、向量Zy 係向量Z 之該y分量，並且向量Zz 係向量Z 之該z分量。P1x 係P1之該x坐標、P1y 係P1之該y坐標，並且P1z 係P1之該z坐標。
在一些其他具體實施例中，(2) 其中 向量X'x 係向量X' 之該x分量、向量X'y 係向量X' 之該y分量，並且向量X'z 係向量X' 之該z分量。同樣地，向量Y'x 係向量Y' 之該x分量、向量Y'y 係向量Y' 之該y分量，並且向量Y'z 係向量Y' 之該z分量。向量Z'x 係向量Z' 之該x分量、向量Z'y 係向量Z' 之該y分量，並且向量Z'z 係向量Z' 之該z分量。P1'x 係P1'之該x坐標、P1'y 係P1'之該y坐標，並且P1'z 係P1'之該z坐標。
區塊710接著可能係區塊720「得到換算矩陣」。在一些具體實施例中，該換算矩陣可能係 ，並且P1、P2和P3依據 轉換成該三維相機坐標系統。假設P1、P2和P3分別轉換成P1經過轉換 、P2經過轉換 和P3經過轉換 ，則與P1經過轉換 和P1'、P2經過轉換 和P2'以及P3經過轉換 和P3'之間的差異相關聯的距離度量係基於一些可行的ICP方法進行計算。
區塊720接著可能係區塊730。在區塊730中，判定該距離度量之該改變是否到達閾值。若未到達該閾值，則區塊730可能回到區塊720，其中選擇P1經過轉換 、P2經過轉換 和P3經過轉換 以更新，並且最後得到新的換算矩陣 。若到達該閾值，則區塊730接著可能係區塊740。
在區塊740中，得到轉換矩陣以將點從該三維相機坐標系統轉換成該機器人手臂坐標系統。在一些具體實施例中，該轉換矩陣其中 係與該機器人手臂坐標系統中的相機中心（如該相機坐標系統之原點）相關聯的旋轉向量。 kx 係之該x分量、ky 係之該y分量，並且kz 係之該z分量；以及Pcx 係該機器人手臂坐標系統中該相機中心之該x坐標、Pcy 係該相機中心之該y坐標，並且Pcz 係該相機中心之該z坐標。在一些具體實施例中，以下將搭配第八圖進一步說明在該機器人手臂坐標系統中記錄該相機中心的示例方法。
依據該轉換矩陣，該三維模型坐標系統中該手術路徑上的點可能轉換成該機器人手臂坐標系統。因此，該機器人手臂可能移動到該手術路徑上一個或多個點。
在一些具體實施例中，第八圖係例示在該機器人手臂坐標系統中記錄光學設備（如相機）的示例程序800的流程圖。在一些具體實施例中，該光學設備可能係安裝在該機器人手臂之凸緣處。為了以如以上所闡述的kx 、ky 、kz 、Pcx 、Pcy 和Pcz 說明該機器人手臂坐標系統中的該光學設備，首先可能依據程序800在該機器人手臂坐標系統中記錄與該光學設備相關聯的點（如該相機坐標系統之原點）。程序800可能包括如可能透過硬體、軟體及/或韌體進行的區塊810、820、830及/或840所例示的一個或多個操作、功能或動作。該等各種區塊不欲限制在該等所說明之具體實施例。該等所概述之步驟和操作僅提供為示例，並且一些該等步驟和操作可能視需要、組合成較少步驟和操作或擴展成附加步驟和操作，而未減損該等所揭示具體實施例之該本質。儘管該等區塊以序列次序例示，但是這些區塊也可能並行及/或以與文中所說明者不同的次序進行。
程序800可能從區塊810開始。在區塊810中，該機器人手臂係配置成移動到起始位置。在一些具體實施例中，該起始位置係緊鄰且面向該機器人手臂之基部。在一些具體實施例中，在該起始位置處，該光學設備係配置成擷取該機器人手臂的該基部之一個或多個影像。該等所擷取影像係與該光學設備之一點和該機器人手臂的該基部之間的空間關係相關聯。
區塊810接著可能係區塊820。在區塊820中，基於該等所擷取影像得到該機器人手臂的該基部之網格。
區塊820接著可能係區塊830。在區塊830中，基於該機器人手臂之某些實體資訊建構該機器人手臂的該基部之三維模型。在一些具體實施例中，該實體資訊可能包括該機器人手臂之該等元件之該等尺寸、定向及/或幾何特徵。
區塊830接著可能係區塊840。在區塊840中，將該所得到網格與該所建構三維模型進行匹配。一些技術可行的方法可能用於該匹配，舉例來說，遞迴最近點方法可能用於將該所得到網格之點與該所建構三維模型之點進行匹配，以達到給定收斂精確度要求。為了回應該給定收斂精確度達到要求，可計算該光學設備之該點和該機器人手臂的該基部之間的該等空間關係。基於該計算，可能在該機器人手臂坐標系統中記錄該相機之該點。
第九圖係依據本發明所揭示內容之一些具體實施例，例示將機器人手臂從手術路徑上的初始點移動到安全點的示例程序900的流程圖。在一些具體實施例中，該初始點係配置光學設備拍攝該患者之影像的該點。在一些具體實施例中，該初始點和該安全點係在該機器人手臂坐標系統中。程序900可能包括如可能透過硬體、軟體及/或韌體進行的區塊910、920及/或930所例示的一個或多個操作、功能或動作。該等各種區塊不欲限制在該等所說明之具體實施例。該等所概述之步驟和操作僅提供為示例，並且一些該等步驟和操作可能視需要、組合成較少步驟和操作或擴展成附加步驟和操作，而未減損該等所揭示具體實施例之該本質。儘管該等區塊以序列次序例示，但是這些區塊也可能並行及/或以與文中所說明者不同的次序進行。
在區塊910中，得到用於將該機器人手臂從該初始點旋轉到該安全點的旋轉矩陣。在一些具體實施例中，該旋轉矩陣係，其中 係該初始點處的該旋轉矩陣；係在該初始點處沿著Z軸旋轉之該等度數；以及係在該初始點處沿著Y軸旋轉之該等度數。
區塊910接著可能係區塊920。在區塊920中，得到該安全點之坐標。在一些具體實施例中，該安全點之坐標可能係： 係該初始點處的該旋轉矩陣；係該初始點之坐標；係從該初始點在X軸上的移動距離；係從該初始點在Y軸上的移動距離；以及係從該初始點在Z軸上的移動距離。
在一些具體實施例中，、和與附接在該機器人手臂上的該外科器具之長度相關聯。在一些具體實施例中，該外科器具之該長度及、和中任一者的該總和小於分別在X軸、Y軸和Z軸任一者上從該機器人手臂到該患者的該距離。
區塊920接著可能係區塊930。在區塊930中，機器人手臂係配置成依據區塊910中所得到之該旋轉矩陣和區塊920中所得到之該等坐標，從該初始點旋轉和移動到該安全點。
在一些具體實施例中，第十圖之運算系統1060可能係配置成進行前述程序900。
第十圖係依據本發明所揭示內容之一些具體實施例，顯示在該機器人手臂坐標系統中記錄附接到機器人手臂凸緣的外科工具的系統1000的示例圖。在一些具體實施例中，該機器人手臂係在初始點處。在一些具體實施例中，系統1000可能包括具有邊緣1011的一機器人手臂之凸緣1010、附接到具有尖端1021的凸緣1010的外科器具1020、第一光源1032、第一相機1042、第二光源1034、第二相機1044，以及擇一透過一有線連接或一無線連接耦合到該機器人手臂的運算系統1060。在一些具體實施例中，光源1032和1034可能係垂直布置在板1050上的背光板。在一些具體實施例中，板1050係使用附接在凸緣1010上的標準探頭經由技術可行的校正方法透過該機器人手臂坐標系統定義。在校正之後，該標準探頭可能從凸緣1010拆離，並且外科器具1020隨後附接到凸緣1010。由於板1050係經由該校正透過該機器人手臂坐標系統定義，因此如第十圖中所示，第一背光板1032可能係透過該機器人手臂坐標系統之該等x和z坐標定義，並且第二背光板1034可能係透過該機器人手臂坐標系統之該等y和z坐標定義。
在一些具體實施例中，光源1032和1034係相對於彼此垂直布置。在一些其他具體實施例中，第一相機1042係布置在板1050上且垂直第二光源1034，並且第二相機1044係布置在板1050上且垂直第一光源1032。外科器具1020可能係布置在第一光源1032、第二光源1034、第一相機1042和第二相機1044之間。
在一些具體實施例中，第一光源1032係配置成產生背光。該背光係配置成穿過外科器具1020之該本體。第一相機1042係配置成擷取與外科器具1020相關聯的一個或多個影像（如第一光源1032所產生該背光所引起的該機器人手臂坐標系統之x-z平面上的外科器具之投影）。
同樣地，第二光源1034也配置成產生背光。該背光係配置成穿過外科器具1020之該本體。第二相機1044係配置成擷取與外科器具1020相關聯的一個或多個影像（如第二光源1034所產生該背光所引起的該機器人手臂坐標系統之y-z平面上的外科器具之投影）。
搭配第十圖，第十一圖依據本發明所揭示內容之一些具體實施例，例示第一相機1042所擷取的示例影像1101、1102和1103。如以上所闡述，在一些具體實施例中，第一相機1042係配置成在該機器人手臂坐標系統之x-z平面上擷取外科器具1020之一個或多個投影。為了在該機器人手臂坐標系統中記錄外科器具1020，以回應處於第一狀態的外科器具1020之第一x-z平面投影，從而使尖端1021之第一x-z平面投影與影像1101之中心有距離，運算系統1060係配置成產生命令以移動該機器人手臂和凸緣1010，並且因此外科器具1020係移動到第二狀態。處於該第二狀態，外科器具1020之第二x-z平面投影係顯示在影像1102中，其中尖端1021之第二x-z平面投影與影像1102之該中心吻合。然而，處於該第二狀態，外科器具1020之該第二x-z平面投影並未與該機器人手臂坐標系統之z軸對位。作為回應，運算系統1060係配置成產生命令以旋轉該機器人手臂和凸緣1010，並且因此外科器具1020係旋轉到第三狀態。處於該第三狀態，外科器具1020之第三x-z平面投影係顯示在影像1103中，其中尖端1021之第三x-z平面投影與影像1103之該中心吻合，並且外科器具1020之該第三x-z平面投影與該機器人手臂坐標系統之z軸對位。
除了以上所說明該等步驟之外，搭配第十圖和第十一圖，第十二圖依據本發明所揭示內容之一些具體實施例，例示第二相機1044所擷取的示例影像1201、1202和1203。如以上所闡述，在一些具體實施例中，第二相機1044係配置成在該機器人手臂坐標系統之y-z平面上擷取外科器具1020之一個或多個投影。為了在該機器人手臂坐標系統中記錄外科器具1020，以回應處於第四狀態的外科器具1020之第一y-z平面投影，從而使尖端1021之第一y-z平面投影與影像1201之中心有距離，運算系統1060係配置成產生命令以移動機器人手臂和凸緣1010，並且因此外科器具1020係移動到第五狀態。處於該第五狀態，外科器具1020之第二y-z平面投影係顯示在影像1202中，其中尖端1021之第二y-z平面投影吻合影像1202之該中心。然而，處於第五狀態，外科器具1020之該第二y-z平面投影並未與該機器人手臂坐標系統之z軸對位。作為回應，運算系統1060係配置成產生命令以旋轉該機器人手臂和凸緣1010，並且因此外科器具1020係旋轉到第六狀態。處於該第六狀態，外科器具1020之第三y-z平面投影係顯示在影像1203中，其中尖端1021之第三y-z平面投影吻合影像1203之該中心，並且外科器具1020之該第三y-z平面投影與z軸對位。
在一些具體實施例中，處於該第六狀態，第一相機1042係配置成在該機器人手臂坐標系統之x-z平面上擷取外科器具1020之一個或多個投影。為了回應該第六狀態也顯示實質上與影像1103相同之x-z平面投影，運算系統1060係配置成判定起始點在凸緣1010之邊緣1011處且結束點在尖端1021處的對應於外科器具1020的線，係定義在該機器人手臂坐標系統中。據此，該機器人手臂坐標系統中的尖端1021之坐標可能係基於該機器人手臂坐標系統中的邊緣1011之該等坐標和外科器具1020之幾何資訊（如長度）判定。
反之，為了回應該第六狀態顯示實質上並未與影像1103相同之x-z平面投影，重複以上關於第十一圖和第十二圖所說明的一個或多個步驟，直到該第六狀態顯示實質上與影像1103相同之x-z平面投影。
在一些具體實施例中，在判定該機器人手臂坐標系統中的尖端1021之該等坐標之後，該機器人手臂可能係配置成透過移動及/或旋轉該凸緣1010和外科器具1020，將尖端1021接觸在該機器人手臂坐標系統中具有已知坐標的參考點。為了回應尖端1021實質上碰觸該參考點，則運算系統1060係配置成判定尖端1021之坐標經過驗證。否則，可能重複以上所闡述之該等步驟。
前述實施方式已透過使用區塊圖、流程圖及/或示例闡述該等裝置及/或程序之各種具體實施例。在這樣的區塊圖、流程圖及/或示例含有一個或多個功能及/或操作的範圍內，此領域技術者將能理解這樣的區塊圖、流程圖或示例內的每個功能及/或操作，皆可透過廣泛硬體、軟體、韌體或幾乎其任何組合個別及/或集體實行。在一些具體實施例中，文中所說明之該標的之幾個部分可能係透過專用積體電路（Application Specific Integrated Circuit，ASIC）、場可編程閘陣列（Field Programmable Gate Array，FPGA）、數位訊號處理器（Digital signal processor，DSP）或其他積體格式實行。然而，熟習此領域技術者將能認可，文中所揭示該等具體實施例之一些態樣可全部或部分在積體電路中等效實行為在一部或多部電腦上運行的一個或多個電腦程式（如在一個或多個電腦系統上運行的一個或多個程式）、在一個或多個處理器上運行的一個或多個程式（如在一個或多個微處理器上運行的一個或多個程式）、韌體或幾乎其任何組合，並且設計該電路及/或編寫該軟體及/或韌體的該代碼將根據此所揭示內容完全在熟習此領域技術者之技術範圍內。此外，熟習此領域技術者將能瞭解，文中所說明之該標的之該等機制能夠以多種形式分散（distributed）為程式產品，並且文中所說明之該標的之例示性具體實施例不論用於實際執行該經銷的訊號承載媒體之該特定類型為何皆適用。訊號承載媒體之示例包括，但不限於，下列：一可記錄類型媒體，例如軟式磁碟、硬碟機、光碟（Compact Disc，CD）、數位影音光碟（Digital Versatile Disk，DVD）、數位磁帶、電腦記憶體等；以及一傳輸類型媒體，例如數位及/或類比通訊媒體（如光纖電纜、波導、有線通訊連結、無線通訊連結等）。
從前述將能瞭解，文中為了例示之目的已說明本發明所揭示內容之各種具體實施例，並且可能做出各種修飾例而不悖離本發明所揭示內容之該範疇與精神。據此，文中所揭示該等各種具體實施例皆不欲為限制性。
110‧‧‧手術路徑
120‧‧‧安全點
130‧‧‧術前點
140‧‧‧進入點
150‧‧‧目標點
200、700、800、900‧‧‧範例程序；程序
210、220、230、240、250、260、270、280、710、720、730、740、810、820、830、840、910、920、930‧‧‧區塊
310‧‧‧手術路徑
320‧‧‧目標點
331‧‧‧運動聯合區
332‧‧‧表達口語區
333‧‧‧較高心智功能區
334‧‧‧運動區
335‧‧‧感覺區
336‧‧‧體感聯合區
337‧‧‧全球語言區
338‧‧‧視覺區
339‧‧‧接受口語區
341‧‧‧聯合區
342‧‧‧小腦區
410‧‧‧二進制影像；影像
411‧‧‧區域
412‧‧‧外層周邊
413‧‧‧區域
415‧‧‧區域
420‧‧‧影像
423‧‧‧區域
430‧‧‧影像
431‧‧‧區域
440‧‧‧影像
441‧‧‧周邊
1000‧‧‧系統
1010‧‧‧凸緣
1011‧‧‧邊緣
1020‧‧‧外科器具
1021‧‧‧尖端
1032‧‧‧第一光源；光源；第一背光板
1034‧‧‧第二光源；光源；第二背光板
1042‧‧‧第一相機
1044‧‧‧第二相機
1050‧‧‧板
1060‧‧‧運算系統
1101、1102、1103、1201、1202、1203‧‧‧範例影像；影像
第一圖係顯示手術期間可能遇到的幾個點之間該等空間關係的示例圖； 第二圖係例示將機器人手臂驅動到手術路徑上一個或多個點的示例程序的流程圖； 第三圖例示該手術路徑計算之示例； 第四A圖和第四B圖例示處理醫學影像掃描所得到之資訊的影像處理； 第五A圖和第五B圖例示選擇關鍵特徵以識別定位標記點之臉部辨識方法； 第六圖例示從該所建構三維模型坐標系統至該三維相機坐標系統的坐標轉換。 第七圖係例示轉換坐標的示例程序的流程圖； 第八圖係例示在該機器人手臂坐標系統中記錄光學設備的示例程序的流程圖； 第九圖係例示將機器人手臂從手術路徑上的初始點移動到安全點的示例程序的流程圖； 第十圖係顯示在機器人手臂坐標系統中記錄附接到機器人手臂凸緣的外科工具的系統的示例圖；以及 第十一圖和第十二圖例示該系統之第一相機和第二相機所擷取以在機器人手臂坐標系統中記錄附接到機器人手臂凸緣的外科工具的示例影像，其全部皆依據本發明所揭示內容之一些具體實施例設置。

Claims (23)

  1. 一種將一機器人手臂驅動到一手術路徑上的一個或多個點之方法，包含： 基於一患者之一醫學影像掃描建構一三維模型； 依據該三維模型規劃一手術路徑； 擷取由一三維光學設備所捕取之該患者的影像資訊； 在該三維模型中選擇一第一組定位標記點； 在該所擷取的影像資訊中選擇一第二組定位標記點； 將該第一組定位標記點與該第二組定位標記點進行匹配； 基於將該第一組定位標記點與該第二組定位標記點進行匹配之一結果，將坐標從與該三維模型相關聯的一第一坐標系統轉換成與該三維光學設備相關聯的一第二坐標系統；以及 在與該機器人手臂相關聯的一第三坐標系統中，將該機器人手臂驅動到該手術路徑上的該一個或多個點。
  2. 如申請專利範圍第1項之方法，更包含基於該醫學影像掃描創建一個或多個二進制影像，其中該等二進制影像之一白色區域係對應於該手術路徑上一解剖區。
  3. 如申請專利範圍第2項之方法，更包含基於該白色區域定義該等二進制影像之一第一區和一第二區。
  4. 如申請專利範圍第3項之方法，其中所述選擇該第一組定位標記點更包含在該第二區中選擇一個或多個定位標記點，其中該第二區具有與該第一區不同之灰度值。
  5. 如申請專利範圍第1項之方法，其中所述選擇該第一組定位標記點包含在該三維模型之想要觀測的一第一區中一致地選擇一個或多個定位標記點。
  6. 如申請專利範圍第5項之方法，其中所述選擇該第二組定位標記點包含在該所擷取影像資訊之想要觀測的一第二區中一致地選擇一個或多個定位標記點。
  7. 如申請專利範圍第6項之方法，其中想要觀測的該第一區或想要觀測的該第二區包括由鼻尖、雙眼、前額所定義之一區；以及在該患者的雙眉之間之一區。
  8. 如申請專利範圍第1項之方法，其中所述轉換坐標更包含在該第三坐標系統中記錄該三維光學設備之一點。
  9. 如申請專利範圍第8項之方法，更包含基於該第三坐標系統中所記錄的該點，將坐標從該第二坐標系統轉換成該第三坐標系統。
  10. 如申請專利範圍第8項之方法，更包含將該三維光學設備所擷取的該機器人手臂之一部分的影像所得到之一網格與該機器人手臂之該部分之一三維模型進行匹配。
  11. 如申請專利範圍第1項之方法，更包含記錄附接到該第三坐標系統中該機器人手臂的一外科器具。
  12. 如申請專利範圍第11項之方法，其中所述記錄該外科器具係基於該第三坐標系統中該外科器具之一個或多個投影。
  13. 如申請專利範圍第1項之方法，其中所述規劃該手術路徑更包括對該患者之一解剖區指定一成本函數。
  14. 一種將一機器人手臂驅動到一手術路徑上一個或多個點的系統，包含： 一機器人手臂； 一三維光學設備；以及 一處理器，其係配置以： 基於一患者之一醫學影像掃描建構一三維模型； 依據該三維模型規劃一手術路徑； 擷取該三維光學設備所捕取之該患者的影像資訊； 在該三維模型中選擇一第一組定位標記點； 在所擷取之該影像資訊中選擇一第二組定位標記點； 將該第一組定位標記點與該第二組定位標記點進行匹配； 基於將該第一組定位標記點與該第二組定位標記點匹配之一結果，將坐標從與該三維模型相關聯的一第一坐標系統轉換成與該三維光學設備相關聯的一第二坐標系統；以及 在與該機器人手臂相關聯的一第三坐標系統中，將該機器人手臂驅動到該手術路徑上的該一個或多個點。
  15. 如申請專利範圍第14項之系統，其中該處理器更配置以基於該醫學影像掃描創建一個或多個二進制影像，其中該等二進制影像之一白色區域係對應於該手術路徑上之一解剖區。
  16. 如申請專利範圍第15項之系統，其中該處理器更配置以基於該白色區域定義該等二進制影像之一第一區和一第二區。
  17. 如申請專利範圍第16項之系統，其中該處理器更配置以在該第二區中選擇一個或多個定位標記點，其中該第二區具有與該第一區不同之灰度值。
  18. 如申請專利範圍第14項之系統，其中該處理器更配置以在該三維模型之想要觀測的一第一區中一致地選擇一個或多個定位標記點，及/或在該所擷取影像資訊之想要觀測的一第二區中一致地選擇一個或多個定位標記點。
  19. 如申請專利範圍第14項之系統，其中該處理器更配置以在該第三坐標系統中記錄該三維光學設備之一點，並且基於該第三坐標系統中該所記錄點，將坐標從該第二坐標系統轉換成該第三坐標系統。
  20. 如申請專利範圍第14項之系統，更包含一第一光源和一第二光源，其係配置以產生光以形成附接到該機器人手臂的一外科器具之複數個投影，其中該等投影係以該第三坐標系統描述。
  21. 如申請專利範圍第20項之系統，其中該第一光源和該第二光源係設置為彼此垂直。
  22. 如申請專利範圍第21項之系統，更包含一第一相機和一第二相機，其係設置為彼此垂直，且係配置以擷取該等投影之影像。
  23. 如申請專利範圍第14項之系統，其中該系統係配置以用於一腦部手術、一神經系統手術、一內分泌腺手術、一眼部手術、一耳部手術、一呼吸道手術、一循環系統手術、一淋巴腺手術、一胃腸手術、一口部和牙科手術、一泌尿手術、一生殖手術、一骨骼、軟骨和關節手術、一肌肉/軟組織手術、一乳房手術及/或一皮膚手術。
TW107118917A 2017-06-04 2018-06-01 判定手術路徑上一個或多個點之方法和系統 TWI670681B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762514951P 2017-06-04 2017-06-04
US62/514,951 2017-06-04
US201862612728P 2018-01-02 2018-01-02
US62/612,728 2018-01-02
US201862618053P 2018-01-16 2018-01-16
US62/618,053 2018-01-16

Publications (2)

Publication Number Publication Date
TW201907366A TW201907366A (zh) 2019-02-16
TWI670681B true TWI670681B (zh) 2019-09-01

Family

ID=64566379

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107118917A TWI670681B (zh) 2017-06-04 2018-06-01 判定手術路徑上一個或多個點之方法和系統

Country Status (7)

Country Link
US (1) US11648066B2 (zh)
EP (1) EP3586507A4 (zh)
JP (1) JP7095079B2 (zh)
KR (1) KR102493021B1 (zh)
CN (1) CN110494096B (zh)
TW (1) TWI670681B (zh)
WO (1) WO2018223925A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181363A1 (en) * 2019-03-11 2020-09-17 Intellijoint Surgical Inc. Computer assisted surgery system and method to process and communicate planning data
TWI766253B (zh) * 2019-03-19 2022-06-01 鈦隼生物科技股份有限公司 基於影像匹配決定手術路徑之方法與系統
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
FR3104934B1 (fr) * 2019-12-18 2023-04-07 Quantum Surgical Méthode de planification automatique d’une trajectoire pour une intervention médicale
TW202216076A (zh) * 2020-03-21 2022-05-01 鈦隼生物科技股份有限公司 用以基於影像匹配進行鼻咽採檢之方法與系統
CN113768624B (zh) * 2021-09-28 2023-05-09 杭州柳叶刀机器人有限公司 作业面定位控制方法、装置、计算机设备及可读存储介质
CN114617636B (zh) * 2022-05-11 2022-09-02 杭州键嘉机器人有限公司 确定口腔u型槽夹具和医学影像坐标系转换关系的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049248A (zh) * 2007-05-18 2007-10-10 西安工业大学 光磁电复合导航手术定位装置和方法
CN102727309A (zh) * 2011-04-11 2012-10-17 上海优益基医疗器械有限公司 结合内窥镜影像的外科手术导航系统和外科手术导航方法
TWI548388B (zh) * 2013-12-30 2016-09-11 國立臺灣大學 骨科手術之手持式機器人以及其控制方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5389101A (en) * 1992-04-21 1995-02-14 University Of Utah Apparatus and method for photogrammetric surgical localization
JPH0759763A (ja) * 1993-08-25 1995-03-07 Hitachi Gazo Joho Syst:Kk ３次元物体計測装置
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
WO2006075331A2 (en) * 2005-01-13 2006-07-20 Mazor Surgical Technologies Ltd. Image-guided robotic system for keyhole neurosurgery
CN1907225B (zh) * 2005-08-05 2011-02-02 Ge医疗系统环球技术有限公司 用于脑内出血损伤分割的方法和设备
US20070066881A1 (en) * 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
JP5283157B2 (ja) * 2007-03-20 2013-09-04 国立大学法人静岡大学 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
RU2596882C2 (ru) * 2008-12-29 2016-09-10 Конинклейке Филипс Электроникс Н.В. Планирование траектории для уменьшения повреждения тканей в процессе минимально инвазивной хирургии
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8911453B2 (en) * 2010-12-21 2014-12-16 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
JP2015528713A (ja) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US9629523B2 (en) * 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
KR101993384B1 (ko) 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
CN103961178B (zh) * 2013-01-30 2016-05-11 深圳先进技术研究院 远程手术规划与导航系统
US10507066B2 (en) * 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
EP2967410A4 (en) * 2013-03-11 2016-08-31 Tylerton Internat Holdings Inc MODELING THE VEGETABLE NERVOUS SYSTEM AND ASSOCIATED APPLICATIONS
EP2967423B1 (en) * 2013-03-15 2021-06-30 Synaptive Medical Inc. Insert imaging device for surgical procedures
CN105636541B (zh) * 2013-03-15 2019-07-09 圣纳普医疗(巴巴多斯)公司 用于微创疗法的规划、导航和模拟系统及方法
JP5781135B2 (ja) * 2013-09-27 2015-09-16 エフ・エーシステムエンジニアリング株式会社 ３ｄナビゲーション映像生成装置
US10231704B2 (en) * 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
CN106714681A (zh) * 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9950194B2 (en) * 2014-09-09 2018-04-24 Mevion Medical Systems, Inc. Patient positioning system
EP3145420B8 (en) * 2015-06-05 2020-12-30 Brain Navi Biotechnology Co., Ltd. Intraoperative tracking method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049248A (zh) * 2007-05-18 2007-10-10 西安工业大学 光磁电复合导航手术定位装置和方法
CN102727309A (zh) * 2011-04-11 2012-10-17 上海优益基医疗器械有限公司 结合内窥镜影像的外科手术导航系统和外科手术导航方法
TWI548388B (zh) * 2013-12-30 2016-09-11 國立臺灣大學 骨科手術之手持式機器人以及其控制方法

Also Published As

Publication number Publication date
JP7095079B2 (ja) 2022-07-04
KR20200016833A (ko) 2020-02-17
WO2018223925A1 (en) 2018-12-13
EP3586507A1 (en) 2020-01-01
US20200008892A1 (en) 2020-01-09
EP3586507A4 (en) 2021-02-24
US11648066B2 (en) 2023-05-16
JP2020522369A (ja) 2020-07-30
KR102493021B1 (ko) 2023-01-31
CN110494096A (zh) 2019-11-22
CN110494096B (zh) 2023-05-05
TW201907366A (zh) 2019-02-16

Similar Documents

Publication Publication Date Title
TWI670681B (zh) 判定手術路徑上一個或多個點之方法和系統
US11266480B2 (en) Augmented reality viewing and tagging for medical procedures
TWI595437B (zh) 術中追蹤方法
Wang et al. A practical marker-less image registration method for augmented reality oral and maxillofacial surgery
JP6159030B2 (ja) 外科ナビゲーションのための座標変換を決定するコンピュータ実施技術
Jiang et al. Registration technology of augmented reality in oral medicine: A review
US11666387B2 (en) System and methods for automatic muscle movement detection
TWI733151B (zh) 病患位置之術中追蹤方法、系統與可讀取儲存媒體
JP7397092B2 (ja) 画像マッチングに基づいて手術経路を決定する方法およびシステム
WO2021213450A1 (en) Method and system to augment medical scan image information on extended reality image
US20220361952A1 (en) Physical medical element placement systems
Lagomarsino Tracciamento e compensazione della deformazione del seno durante biopsia robot-assistita
Hong et al. Phantom experiment of an ear surgery robot for automatic mastoidectomy