TWI766253B - 基於影像匹配決定手術路徑之方法與系統 - Google Patents

基於影像匹配決定手術路徑之方法與系統 Download PDF

Info

Publication number
TWI766253B
TWI766253B TW109109049A TW109109049A TWI766253B TW I766253 B TWI766253 B TW I766253B TW 109109049 A TW109109049 A TW 109109049A TW 109109049 A TW109109049 A TW 109109049A TW I766253 B TWI766253 B TW I766253B
Authority
TW
Taiwan
Prior art keywords
feature points
dimensional
dimensional feature
patient
group
Prior art date
Application number
TW109109049A
Other languages
English (en)
Other versions
TW202040586A (zh
Inventor
陳階曉
王冠茹
Original Assignee
鈦隼生物科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈦隼生物科技股份有限公司 filed Critical 鈦隼生物科技股份有限公司
Publication of TW202040586A publication Critical patent/TW202040586A/zh
Application granted granted Critical
Publication of TWI766253B publication Critical patent/TWI766253B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Abstract

本發明之具體實施例闡述一種決定患者的手術路徑之方法。該方法包括建構所述患者之三維模型；取得所述患者之影像資訊；選擇有關該三維模型的一第一組二維特徵點及有關該影像資訊的一第二組二維特徵點；分別將該第一組二維特徵點轉換成一第一組三維特徵點及將該第二組二維特徵點轉換成一第二組三維特徵點；在該第一組三維特徵點和該第二組三維特徵點之間進行匹配，以決定使該第一組三維特徵點與該第二組三維特徵點一致的關係；及在有關機械臂的座標系統中決定該手術路徑。

Description

基於影像匹配決定手術路徑之方法與系統
本發明之各具體實施例大體上關於在手術路徑上決定一或多個點之方法與系統。
除非本說明書另外指出，否則本節中所說明多個方法對本申請案中諸申請專利範圍而言並非先前技術，而涵蓋在本節中不認為是先前技術。
在手術中，手術路徑之計畫至關重要。該手術路徑可包括多個點，例如遠離患者的安全點和術前點、患者之組織上的進入點，以及手術目標處的目標點。
機器人操作可提供對所述手術路徑之精確控制。在該手術之前，患者受到醫學掃描(例如，電腦斷層(CT)、核磁共振(MRI)、正子斷層掃描(PET)、超音波等)。規劃到該所需解剖構造區域的手術路徑。可採用人工智慧向外科醫生建議損傷最小的最佳路線。為進行該手術，可將所述患者之位置與該醫學掃描之透視圖進行匹配，以沿著該所規劃手術路徑準確進行該手術。慣用方法曾經仰賴膠合在對位標記上或以螺釘拴入其中，但並未廣泛採用。
無
在下列實施方式中，將參考形成其一部分的附圖。在該等圖式中，除非特別說明，否則相同符號通常標識類似組件。該實施方式、該等圖式及諸申請專利範圍中所說明各例示性具體實施例並非意指限制。可能利用其他具體實施例，並可能做到其他變更，而不悖離在此所呈現主旨之精神或範疇。將可很容易理解，如本說明書一般所說明以及各圖示中所例示本發明之各態樣，可以廣泛多種不同配置進行設置、代換、組合、及設計，其整個都在本說明書明確考慮範圍內。
圖1為顯示根據本發明之一些具體實施例配置之可在手術過程中遇到的數個點之間的空間關係之示例圖。在圖1中，手術路徑110可包括安全點120、術前點130、進入點140、及目標點150。
圖2為例示根據本發明之一些具體實施例配置之針對患者決定手術路徑的範例程序200之流程圖。程序200可包括如步驟210、220、230、240、250、260、270、280及/或290所例示的一或多個操作、功能或動作，其可透過硬體、軟體及/或韌體進行。該等各種步驟不欲限於該等所說明具體實施例。該等所概述步驟和操作僅提供為範例，且一些該等步驟和操作可能視需要而定、組合為較少步驟和操作，或擴充為附加步驟和操作，而不悖離該等所揭示具體實施例之本質。儘管以循序順序例示該等步驟，但也可並行及/或以不同於本說明書所說明順序進行這些步驟。
程序200可從步驟210「基於醫學影像掃描建構三維(3D)模型」開始。在進行手術之前，可使用一些醫學成像技術擷取患者情況之快照，以使可能制定手術計畫。該手術計畫可能如上所闡述包括一所規劃手術路徑。舉例來說，該外科醫生可能命令該手術目標之醫學影像掃描(例如，CT或MRI)。這樣的醫學影像掃描可能在該手術之前幾天(例如，3至5天)進行。可使用一些已知方法基於該醫學影像掃描資料建構三維模型。因此，可能在該三維模型中標識該所規劃手術路徑上的各點。
在一些具體實施例中，可採用人工智慧引擎向該外科醫生建議對所述患者的身體損傷最小的一條或多條所規劃手術路徑。基於所述患者之CT或MRI掃描，該人工智慧引擎可能建議一條或多條最佳所規劃手術路徑。圖3根據本發明之一些具體實施例配置，例示計算所規劃手術路徑310以到達目標點320之範例。該計算可包括轉換該標準腦部圖譜資料；及將其註冊到所述患者之醫學掃描影像以標識各腦部區域。一些範例腦部區域包括運動聯合區331、表達性言語區332、較高心理功能區333、運動區334、感覺區335、體感聯合區336、全域語言區337、視域區338、感受言語區339、聯合區341及小腦區342。而且，可能自動標識共同目標組織(例如，視丘下核)。此外，以上所闡述每個腦部區域皆可能為了該人工智慧引擎而指定代價函數(cost function)，以建議到該等目標組織的一條或多條所規劃手術路徑。可從飛行時間測距(Time-of-flight MRI，TOF)資料標識各血管。該外部腦部邊界上的該等點係用於進入點。
步驟210接著步驟220「產生二維(2D)快照」。在一些具體實施例中，基於在步驟210中所建構三維模型產生二維快照。在一些具體實施例中，該二維快照係所述患者之三維模型之前視圖。所述患者之前視圖包括所述患者之至少一些臉部特徵。
步驟220接著步驟230「驅動機械臂以取得患者之2D臉部影像」。在一些具體實施例中，將至少兩個二維光學裝置(例如，攝影機及/或掃描器)固定在該機械臂上。透過將該機械臂驅動到不同位置，該等兩個二維光學裝置可能擷取有關所述患者的不同影像。在一些具體實施例中，該等兩個二維光學裝置之每個皆構成收集有關所述患者的二維影像。在一些其他具體實施例中，該等兩個二維光學裝置組合構成收集有關所述患者的深度資訊。因此，該等至少兩個二維光學裝置既可收集有關所述患者的二維影像，亦可收集有關所述患者的三維影像。
關於圖4A，影像410係在第一時間所收集有關所述患者的二維影像。影像410具有座標(X, Y)的影像中心411。人工智慧引擎在影像410可用來標識所述患者。在一些具體實施例中，該人工智慧引擎可能在影像410中的框架413中標識所述患者。此外，該人工智慧引擎可能在影像410中標識所述患者之臉部中心點415。臉部中心點415可能具有座標(x, y)。在一些具體實施例中，至少基於(X-x)之第一偏移及(Y-y)之第二偏移驅動該機械臂。
舉例來說，在第一時間，該第一偏移或該第二偏移大於一或多個預定臨界值，並將該機械臂驅動到另一位置以減少該第一偏移和該第二偏移。
在一些具體實施例中，隨著在第二時間將該機械臂驅動到一第一更新位置，在圖4B，影像420係該機械臂上的該等二維光學裝置所收集有關所述患者的二維影像。影像420具有更新座標(X, Y)的影像中心421。可採用人工智慧引擎在影像420中標識所述患者。在一些具體實施例中，該人工智慧引擎可能在影像420中的框架423中標識所述患者。此外，該人工智慧引擎可能在影像420中標識所述患者之臉部中心點425。臉部中心點425可能具有更新座標(x, y)。在一些具體實施例中，(X-x)之第一偏移及該第二偏移(Y-y)兩者小於該等一或多個預定臨界值。
在一些具體實施例中，在第三時間的第一更新位置處，可採用人工智慧引擎標識至少三個特徵點426、427及428。該等二維光學裝置構成收集有關所述患者的深度資訊。可將該深度資訊指定給可在三維空間中定義一第一平面的特徵點426、427及428。在一些具體實施例中，在第四時間驅動該機械臂旋轉並移動到一第二更新位置，使得該機械臂上的該等二維光學裝置在實質平行於該三維空間中的第一平面的第二平面上。隨著該第二更新位置處的影像420之平均深度在有關該等二維光學裝置之操作參數的預定範圍內，拍攝影像420作為所述患者之2D臉部影像，且程序200前往步驟240。
在步驟240「在2D快照和2D臉部影像中選擇2D特徵點」，可採用人工智慧引擎在步驟220所產生二維快照中選擇第一組二維特徵點，並在步驟230所拍攝患者之二維臉部影像(例如，影像420)中選擇第二組二維特徵點。
關於圖5，影像500係在步驟220中所產生二維快照。在一些具體實施例中，可採用人工智慧引擎標識眉間501、右內眼眶502及左內眼眶503，因為在影像500中比較容易標識這些點。然而，對各種人種而言，眉間501、右內眼眶502及左內眼眶503可不在同二維平面上。假如影像500係二維快照，則眉間501、右內眼眶502及左內眼眶503不適合作為影像500上的二維特徵點。儘管如此，基於解剖構造，各種人之臉部上的小區域510在統計上為平面。因此，在一些具體實施例中，採用該人工智慧引擎產生分別通過眉間501、右內眼眶502及左內眼眶503並在區域510中相交的三條線520、530及540。在一些具體實施例中，將相交點511選擇為二維特徵點。此外，在一些具體實施例中，也將線530上的區域510中的點512及線540上的區域510中的點513選擇為二維特徵點。點511、512及513可為第一組二維特徵點。在一些具體實施例中，可選擇區域510中的附加2D點以增加該第一組二維特徵點之數量。
關於圖6，影像600係在步驟230中所拍攝二維臉部影像。在一些具體實施例中，可採用人工智慧引擎標識眉間601、右內眼眶602及左內眼眶603，因為在影像600中比較容易標識這些點。然而，對各種人種而言，眉間601、右內眼眶602及左內眼眶603可能不在同二維平面上。假如影像600係二維臉部影像，則眉間601、右內眼眶602及左內眼眶603不適合作為影像600上的二維特徵點。同樣地，基於解剖構造，各種人種之臉部上的小區域610在統計上為平面。儘管如此，在一些具體實施例中，採用該人工智慧引擎產生分別通過眉間601、右內眼眶602及左內眼眶603並在區域610中相交的三條線620、630及640。在一些具體實施例中，將相交點611選擇為二維特徵點。此外，在一些具體實施例中，也將線630上的區域610中的點612及線640上的區域610中的點613選擇為二維特徵點。點611、612及613可為一第二組二維特徵點。在一些具體實施例中，可選擇區域610中的附加2D點以增加該第二組二維特徵點之數量。
步驟240接著步驟250「將第一組2D特徵點轉換成第一組3D特徵點」。在一些具體實施例中，在步驟250中，將該第一組二維特徵點(例如，點511、512及513)轉換成第一組三維特徵點。如前述，在所建構三維模型中所產生二維快照中選擇該第一組二維特徵點。基於在該所建構三維模型中拍攝該二維快照的演算法，可進行反向操作以將該二維快照(例如，在步驟220中所產生快照)上的第一組二維特徵點轉換成該所建構三維模型(例如，在步驟210中所產生三維模型)中的第一組三維特徵點。在一些具體實施例中，該第一組三維特徵點可能標識允許使用迭代最近點(Iterative Closest Point，ICP)演算法的後續匹配的第一初始三維座標。
步驟250接著步驟260「將第二組2D特徵點轉換成第二組3D特徵點」。在一些具體實施例中，在步驟260，將該第二組二維特徵點(例如，點611、612及613)轉換成第二組三維特徵點。如前述，可透過該等二維光學裝置收集有關所述患者的深度資訊。在一些具體實施例中，可將該深度資訊添加到該第二組二維特徵點，以將該第二組二維特徵點轉換成第二組三維特徵點。在一些具體實施例中，該第二組三維特徵點可能標識允許使用迭代最近點(ICP)演算法的後續匹配的第二初始三維座標。
步驟260接著步驟270「在第一組三維特徵點和第二組三維特徵點之間進行影像匹配」。在一些具體實施例中，將該第一組三維特徵點與該第二組三維特徵點進行匹配，以決定使該第一組三維特徵點與該第二組三維特徵點一致(align)的關係，有時迭代以使該等兩組三維特徵點之間的該等差值減至最小。
為清楚表示，下列討論主要使用該等兩個二維光學裝置(例如，兩個二維攝影機)之一非限制性範例及有關該等兩個二維光學裝置的三維座標系統(例如，三維攝影機座標系統)，解說本發明之各種具體實施例。
步驟270接著步驟280「轉換座標」。在步驟280，將該所建構三維模型中的第一組三維特徵點從其原始座標系統(即三維模型座標系統)轉換成該等兩個二維光學裝置所拍攝該等影像之該等座標(即三維攝影機座標系統)。該轉換可基於一些影像比較方法，例如迭代最近點(ICP)。步驟280可更包括附加座標轉換，其中將該三維攝影機座標系統上的所有點皆轉換成該機械臂之該等座標(即機械臂座標系統)。以下將進一步說明轉換座標之詳細資訊。
步驟280接著步驟290「決定手術路徑」。在步驟290中，可將三維模型座標系統中的所規劃手術路徑之該等座標轉換成該機械臂座標系統。因此，該機械臂可能移動到該所規劃手術路徑上的安全點、術前點、進入點及/或目標點。
在一些具體實施例中，可將範例程序200應用於各種類型之手術，例如但不限於腦部手術、神經系統手術、內分泌腺手術、眼部手術、耳部手術、呼吸道手術、循環系統手術、淋巴管手術、胃腸道手術、口腔和牙科手術、泌尿手術、生殖手術、骨骼、軟骨和關節手術、肌肉/軟組織手術、乳房手術、皮膚手術等。
總結來說，可使用至少兩個二維攝影機或掃描器取得患者之臉部特徵。然後，可將該等臉部特徵與有關醫學影像掃描的三維模型之二維快照進行比較。在該二維快照中選擇第一組二維特徵點，並在該等二維攝影機或掃描器分別所取得二維患者之臉部影像中選擇第二組二維特徵點。為了比較，將該第一組二維特徵點和該第二組二維特徵點分別轉換成該三維模型中的第一組三維特徵點及第二組三維特徵點。在一些具體實施例中，可將範例程序200應用於各種類型之手術，例如腦部手術、神經系統手術、內分泌腺手術、眼部手術、耳部手術、呼吸道手術、循環系統手術、淋巴管手術、胃腸道手術、口腔和牙科手術、泌尿手術、生殖手術、骨骼、軟骨和關節手術、肌肉/軟組織手術、乳房手術、皮膚手術等。
圖7例示根據本發明之一些具體實施例之從該所建構三維模型座標系統轉換至該三維攝影機座標系統的範例座標。以下將連同圖8進一步討論此圖式。
圖8根據本發明之一些具體實施例，係例示轉換座標的範例程序800的流程圖。程序800可包括如步驟810、820、830及/或840所例示一或多個操作、功能或動作，其可透過硬體、軟體及/或韌體進行。該等各種步驟不欲限於該等所說明具體實施例。該等所概述步驟和操作僅提供為範例，且一些該等步驟和操作可能視需要而定、組合為較少步驟和操作，或擴充為附加步驟和操作，而不悖離該等所揭示具體實施例之本質。儘管以循序順序例示該等步驟，但也可並行及/或以不同於本說明書所說明順序進行這些步驟。
關於圖7，在步驟810取得初始矩陣。在一些具體實施例中，取得第一初始矩陣TMRI 和第二初始矩陣T攝影機 。在一些具體實施例中，
Figure 02_image001
其中
Figure 02_image003
Figure 02_image005
Figure 02_image007
VectorXx 係VectorX 之x分量、VectorXy 係VectorX 之y分量，且VectorXz 係VectorX 之z分量。同樣地，VectorYx 係VectorY 之x分量、VectorYy 係VectorY 之y分量，且VectorYz 係VectorY 之z分量。VectorZx 係VectorZ 之x分量、VectorZy 係VectorZ 之y分量，且VectorZz 係VectorZ 之z分量。P1x 係P1之x座標、P1y 係P1之y座標，且P1z 係P1之z座標。
在一些其他具體實施例中，
Figure 02_image009
其中
Figure 02_image011
Figure 02_image013
Figure 02_image015
VectorX'x 係VectorX ' 之x分量、VectorX'y 係VectorX ' 之y分量，且VectorX'z 係VectorX ' 之z分量。同樣地，VectorY ' x 係VectorY ' 之x分量、VectorY 'y 係VectorY ' 之y分量，且VectorY 'z 係VectorY ' 之z分量。VectorZ ' x 係VectorZ ' 之x分量、VectorZ 'y 係VectorZ ' 之y分量，且VectorZ 'z 係VectorZ ' 之z分量。P1'x 係P1'之x座標、P1'y 係P1'之y座標，且P1'z 係P1'之z座標。
步驟810接著步驟820「取得變換矩陣」。在一些具體實施例中，該變換矩陣可能係
Figure 02_image017
，並根據
Figure 02_image017
將P1、P2及P3轉換成該三維攝影機座標系統。假設分別將P1、P2及P3轉換成P1經過轉換 、P2經過轉換 及P3經過轉換 ，則基於一些可行的ICP方法計算有關P1經過轉換 和P1'、P2經過轉換 和P2'及P3經過轉換 和P3'之間差值的距離度量(metric)。
步驟820接著步驟830。在步驟830中，決定該距離度量之變更是否到達臨界值。若未到達該臨界值，則步驟830可返回步驟820，其中選擇P1經過轉換 、P2經過轉換 及P3經過轉換 以更新
Figure 02_image019
，最後取得新的變換矩陣
Figure 02_image017
。若到達該臨界值，則步驟830接著步驟840。
在步驟840，取得轉換矩陣以將各點從該三維攝影機座標系統轉換成該機械臂座標系統。在一些具體實施例中，該轉換矩陣
Figure 02_image021
其中
Figure 02_image023
Figure 02_image025
Figure 02_image027
Figure 02_image029
Figure 02_image031
是在該機械臂座標系統中有關攝影機中心(例如，該攝影機座標系統之原點)的旋轉向量； kx 係
Figure 02_image031
之x分量、ky 係
Figure 02_image031
之y分量，且kz 係
Figure 02_image031
之z分量；及在該機械臂座標系統中，Pcx 係該攝影機中心之x座標、Pcy 係該攝影機中心之y座標，且Pcz 係該攝影機中心之z座標。在一些具體實施例中，以下將搭配圖9進一步說明將該攝影機中心註冊在該機械臂座標系統中的範例方法。
根據該轉換矩陣，可將該三維模型座標系統中的手術路徑上的各點轉換成該機械臂座標系統。因此，該機械臂可移動到該手術路徑上的一或多個點。
在一些具體實施例中，圖9係例示將光學裝置(例如，攝影機)註冊在該機械臂座標系統中的範例程序900的流程圖。在一些具體實施例中，可將該光學裝置安裝在該機械臂之凸緣處。為藉由如以上所述各項kx 、ky 、kz 、Pcx 、Pcy 及Pcz 說明該機械臂座標系統中的光學裝置，首先可根據程序900將有關該光學裝置的點(例如，該攝影機座標系統之原點)註冊在該機械臂座標系統中。程序900可包括如步驟910、920、930及/或940所例示一或多個操作、功能或動作，其可透過硬體、軟體及/或韌體進行。該等各種步驟不欲限於該等所說明具體實施例。該等所述步驟和操作僅提供為範例，且一些該等步驟和操作可能視需要而定、組合為較少步驟和操作，或擴充為附加步驟和操作，而不悖離該等所揭示具體實施例之本質。儘管以循序順序例示該等步驟，但也可並行及/或以不同於本說明書所說明順序進行這些步驟。
程序900可能始於步驟910。在步驟910，該機械臂構成移動到起始位置。在一些具體實施例中，該起始位置鄰近且面向該機械臂之參考點(例如，機械臂基座)。在一些具體實施例中，在該起始位置處，該光學裝置構成擷取該機械臂之參考點之一或多個影像。該等所擷取到影像與該光學裝置之點和該機械臂之參考點之間空間關係相關聯。
步驟910接著步驟920。在步驟920，基於該等所擷取到影像取得該機械臂之參考點之網格。
步驟920接著步驟930。在步驟930，基於該機械臂之某些實體資訊建構該機械臂之參考點之三維模型。在一些具體實施例中，該實體資訊可包括該機械臂之該等元件之尺寸、定向及/或幾何特徵。
步驟930接著步驟940。在步驟940，將該所取得網格與該所建構三維模型進行匹配。可使用一些技術可行的方法進行該匹配，舉例來說，可使用迭代最近點方法將該所取得網格之各點與該所建構三維模型之各點進行匹配，以滿足特定收斂精確度。隨著該特定收斂精確度滿足，可計算該光學裝置之點和該機械臂之參考點之間該等空間關係。基於該計算，可將該攝影機之點轉換成該機械臂座標系統並註冊在其中。
前述實施方式已透過使用方塊圖、流程圖及/或範例闡述該等裝置及/或程序之各種具體實施例。從方塊圖、流程圖及/或範例內含一或多個功能及/或操作，熟習該項技藝者將可理解，可透過廣泛硬體、軟體、韌體或其幾乎任何組合，個別及/或集體實施此方塊圖、流程圖或範例內的每個功能及/或操作。在一些具體實施例中，可透過特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、現場可編程閘陣列(Field Programmable Gate Arrays，FPGA)、數位信號處理器(Digital Signal Processor，DSP)或其他整合格式實施本說明書所說明主旨之數個部分。然而，熟習此領域技術者將可認可，可在積體電路中將本說明書所揭示該等具體實施例之一些態樣全部或部分等效實施為在一或多台電腦上執行的一或多個電腦程式(例如，作為在一或多個電腦系統上執行的一或多個程式)、在一或多個處理器上執行的一或多個程式(例如，作為在一或多個微處理器上執行的一或多個程式)、韌體或其幾乎任何組合，且設計該電路及/或編寫用於該軟體和或韌體的程式碼將完全在根據此揭示內容熟習此領域技術者之一之技術範圍內。此外，熟習此領域技術者將可瞭解，能夠以多種形式將本說明書所說明主旨之該等機制分散為程式產品，且本說明書所說明主旨之例示性具體實施例不論用於實際進行該分散的信號承載媒體之特別類型為何皆適用。信號承載媒體之範例包括但不限於下列：一可記錄類型媒體，例如一軟式磁碟、一硬碟機、一光碟(Compact Disc，CD)、一數位影音光碟(Digital Versatile Disk，DVD)、一數位磁帶、一電腦記憶體等；及一傳輸類型媒體，例如一數位及/或一類比通訊媒體(例如，一光纖電纜、一波導、一有線通訊連結、一無線通訊連結等)。
從前述將瞭解，為了例示之目的，本說明書已說明本發明之各種具體實施例，並可進行各種修改而不悖離本發明之範疇與精神。因此，本說明書所揭示該等各種具體實施例不意圖是限制。
110:手術路徑 120:安全點 130:術前點 140:進入點 150、320 :目標點 200、800、900:範例程序；程序 210-290、810-840、910-940:步驟 310:所規劃手術路徑 331:運動聯合區 332:表達性言語區 333:較高心理功能區 334:運動區 335:感覺區 336:體感聯合區 337:全域語言區 338:視域區 339:感受言語區 341:聯合區 342:小腦區 410、420、500、600:影像 411、421:影像中心 413、423:框架 415、425:臉部中心點 426、427、428:特徵點 501、601:眉間 502、602:右內眼眶 503、603:左內眼眶 510、610:小區域；區域 511、611:相交點；點 512、513、612、613:點 520、530、540、620、630、640:線
圖1係顯示可能在手術過程中遇到的數個點之間空間關係的示例圖； 圖2係例示為患者決定手術路徑的範例程序之流程圖； 圖3例示該手術路徑計算之範例； 圖4A係在第一時間所收集到有關所述患者的二維影像； 圖4B係在第二時間所收集到有關所述患者的二維影像； 圖5係二維快照之影像； 圖6係二維臉部影像之影像； 圖7例示從所建構三維模型座標系統至三維攝影機座標系統的範例座標轉換； 圖8係例示轉換座標的範例程序之流程圖；及 圖9係例示根據本發明之一些具體實施例配置之將光學裝置置入(register)在機械臂座標系統中的範例程序之流程圖。
210:基於醫學影像掃描建構三維(3D)模型
220:產生二維(2D)快照
230:驅動機械臂以取得患者之2D臉部影像
240:在2D快照和2D臉部影像中選擇2D特徵點
250:將第一組2D特徵點轉換成第一組3D特徵點
260:將第二組2D特徵點轉換成第二組3D特徵點
270:在第一組3D特徵點和第二組3D特徵點之間進行影像匹配
280:轉換座標
290:決定手術路徑

Claims (19)

  1. 一種為一患者決定一手術路徑的方法，包含： 基於所述患者之一醫學影像掃描建構一三維模型； 以一組二維光學裝置取得所述患者之一影像資訊； 選擇有關該三維模型的一第一組二維特徵點； 選擇有關所述患者之該影像資訊的一第二組二維特徵點； 將該第一組二維特徵點轉換成一第一組三維特徵點； 將該第二組二維特徵點轉換成一第二組三維特徵點； 在該第一組三維特徵點和該第二組三維特徵點之間進行匹配，以決定使該第一組三維特徵點與該第二組三維特徵點一致的關係； 基於該關係，將座標從有關該三維模型的一第一座標系統轉換成有關該組二維光學裝置的一第二座標系統；及 基於該第二座標系統中的該等經過轉換座標，在有關一機械臂的一第三座標系統中決定該手術路徑。
  2. 如請求項1之方法，更包含： 產生該三維模型之二維快照；及在該快照中選擇該第一組二維特徵點。
  3. 如請求項2之方法，其中將該第一組二維特徵點轉換成該第一組三維特徵點係基於有關該快照的一反向操作。
  4. 如請求項1之方法，其中所述患者之該影像資訊包括所述患者之二維影像資訊、及一有關所述患者的深度資訊。
  5. 如請求項4之方法，其中該第二組二維特徵點係在所述患者之該二維影像資訊中選擇。
  6. 如請求項5之方法，其中將該第二組二維特徵點轉換成該第二組三維特徵點係基於該深度資訊。
  7. 如請求項1之方法，其中該等第一組二維特徵點和該等第二組二維特徵點之任一者在該患者臉部實質為平面。
  8. 一種包括一組指令的非暫時性電腦可讀取儲存媒體，所述指令係回應於一處理器的執行而使該處理器執行為一患者決定一手術路徑的方法，其中該方法包含： 基於所述患者之一醫學影像掃描建構一三維模型； 以一組二維光學裝置取得所述患者之一影像資訊； 選擇有關該三維模型的一第一組二維特徵點； 選擇有關所述患者之該影像資訊的一第二組二維特徵點； 將該第一組二維特徵點轉換成一第一組三維特徵點； 將該第二組二維特徵點轉換成一第二組三維特徵點； 在該第一組三維特徵點和該第二組三維特徵點之間進行匹配，以決定使該第一組三維特徵點與該第二組三維特徵點一致的關係； 基於該關係，將座標從有關該三維模型的一第一座標系統轉換成有關該組二維光學裝置的一第二座標系統；及 基於該第二座標系統中的該等經過轉換座標，在有關一機械臂的一第三座標系統中決定該手術路徑。
  9. 如請求項8之非暫時性電腦可讀取儲存媒體，其中該方法更包含產生該三維模型之二維快照；及在該快照中選擇該第一組二維特徵點。
  10. 如請求項9之非暫時性電腦可讀取儲存媒體，其中將該第一組二維特徵點轉換成該第一組三維特徵點係基於有關該快照的一反向操作。
  11. 如請求項8之非暫時性電腦可讀取儲存媒體，其中所述患者之該影像資訊包括所述患者之二維影像資訊、及一有關所述患者的深度資訊。
  12. 如請求項11之非暫時性電腦可讀取儲存媒體，其中該第二組二維特徵點係在所述患者之該二維影像資訊中選擇。
  13. 如請求項12之非暫時性電腦可讀取儲存媒體，其中將該第二組二維特徵點轉換成該第二組三維特徵點係基於該深度資訊。
  14. 一種為一患者決定一手術路徑的系統，包含： 一處理器；及 一非暫時性電腦可讀取媒體，其上已儲存在由該處理器執行後使該處理器執行以下操作的程式碼： 基於所述患者之一醫學影像掃描建構一三維模型； 以一組二維光學裝置取得所述患者之影像資訊； 選擇有關該三維模型的一第一組二維特徵點； 選擇有關所述患者之該影像資訊的一第二組二維特徵點； 將該第一組二維特徵點轉換成一第一組三維特徵點； 將該第二組二維特徵點轉換成一第二組三維特徵點； 在該第一組三維特徵點和該第二組三維特徵點之間進行匹配，以決定使該第一組三維特徵點與該第二組三維特徵點一致的關係； 基於該關係，將座標從有關該三維模型的一第一座標系統轉換成有關該組二維光學裝置的一第二座標系統；及 基於該第二座標系統中的該等經過轉換座標，在有關一機械臂的一第三座標系統中決定該手術路徑。
  15. 如請求項14之系統，其中該程式碼在由該處理器執行後使該處理器進一步產生該三維模型之二維快照，並在該快照中選擇該第一組二維特徵點。
  16. 如請求項15之系統，其中將該第一組二維特徵點轉換成該第一組三維特徵點係基於有關該快照的一反向操作。
  17. 如請求項14之系統，其中所述患者之該影像資訊包括所述患者之二維影像資訊、及一有關所述患者的深度資訊。
  18. 如請求項17之系統，其中該第二組二維特徵點係在所述患者之該二維影像資訊中選擇。
  19. 如請求項18之系統，其中將該第二組二維特徵點轉換成該第二組三維特徵點係基於該深度資訊。
TW109109049A 2019-03-19 2020-03-18 基於影像匹配決定手術路徑之方法與系統 TWI766253B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962820804P 2019-03-19 2019-03-19
US62/820,804 2019-03-19

Publications (2)

Publication Number Publication Date
TW202040586A TW202040586A (zh) 2020-11-01
TWI766253B true TWI766253B (zh) 2022-06-01

Family

ID=72518992

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109049A TWI766253B (zh) 2019-03-19 2020-03-18 基於影像匹配決定手術路徑之方法與系統

Country Status (8)

Country Link
US (1) US20220175454A1 (zh)
EP (1) EP3941379A4 (zh)
JP (1) JP7397092B2 (zh)
KR (1) KR102593794B1 (zh)
CN (1) CN113597288B (zh)
CA (1) CA3134069C (zh)
TW (1) TWI766253B (zh)
WO (1) WO2020187289A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104083217A (zh) * 2014-07-03 2014-10-08 北京天智航医疗科技股份有限公司 一种手术定位装置和方法以及机器人手术系统
WO2014194167A1 (en) * 2013-05-31 2014-12-04 University Of Washington Through Its Center For Commercialization Surgery pathway guidance and boundary system
TW201622660A (zh) * 2014-08-19 2016-07-01 陳階曉 判定手術部位中探針位置之方法與系統
TW201705078A (zh) * 2015-06-05 2017-02-01 陳階曉 術中追蹤方法
US20180092699A1 (en) * 2016-10-05 2018-04-05 Nuvasive, Inc. Surgical Navigation Systems and Methods
TW201907366A (zh) * 2017-06-04 2019-02-16 陳階曉 判定手術路徑上一個或多個點之方法和系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008526422A (ja) 2005-01-13 2008-07-24 メイザー サージカル テクノロジーズ リミテッド 鍵穴脳神経外科用画像ガイドロボットシステム
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
CA2899359C (en) * 2013-03-15 2017-01-17 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
CN105658167B (zh) 2013-08-23 2018-05-04 斯瑞克欧洲控股I公司 用来对用于手术导航的坐标转换进行确定的计算机实现技术
JP6305250B2 (ja) * 2014-04-04 2018-04-04 株式会社東芝 画像処理装置、治療システム及び画像処理方法
CN106296805B (zh) 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
CN107468350B (zh) * 2016-06-08 2020-12-08 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位系统及定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194167A1 (en) * 2013-05-31 2014-12-04 University Of Washington Through Its Center For Commercialization Surgery pathway guidance and boundary system
CN104083217A (zh) * 2014-07-03 2014-10-08 北京天智航医疗科技股份有限公司 一种手术定位装置和方法以及机器人手术系统
TW201622660A (zh) * 2014-08-19 2016-07-01 陳階曉 判定手術部位中探針位置之方法與系統
TW201705078A (zh) * 2015-06-05 2017-02-01 陳階曉 術中追蹤方法
US20180092699A1 (en) * 2016-10-05 2018-04-05 Nuvasive, Inc. Surgical Navigation Systems and Methods
TW201907366A (zh) * 2017-06-04 2019-02-16 陳階曉 判定手術路徑上一個或多個點之方法和系統

Also Published As

Publication number Publication date
TW202040586A (zh) 2020-11-01
CA3134069C (en) 2023-11-14
CA3134069A1 (en) 2020-09-24
KR102593794B1 (ko) 2023-10-26
CN113597288A (zh) 2021-11-02
US20220175454A1 (en) 2022-06-09
CN113597288B (zh) 2024-03-01
JP2022525666A (ja) 2022-05-18
EP3941379A1 (en) 2022-01-26
KR20220002877A (ko) 2022-01-07
EP3941379A4 (en) 2023-01-11
JP7397092B2 (ja) 2023-12-12
WO2020187289A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
TWI595437B (zh) 術中追蹤方法
JP6159030B2 (ja) 外科ナビゲーションのための座標変換を決定するコンピュータ実施技術
US10166078B2 (en) System and method for mapping navigation space to patient space in a medical procedure
JP5243754B2 (ja) 画像データの位置合わせ
KR102493021B1 (ko) 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템
US11045257B2 (en) System and method for mapping navigation space to patient space in a medical procedure
US11628012B2 (en) Patient positioning using a skeleton model
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
KR102056436B1 (ko) 의료용 네비게이션 시스템 및 그 방법
TWI766253B (zh) 基於影像匹配決定手術路徑之方法與系統
KR20160031794A (ko) 병변 검출 장치 및 그 방법
CN114270408A (zh) 用于控制显示器的方法、计算机程序和混合现实显示设备