JP2023513566A - 手術対象物の整合確認方法、その装置及びそれを含むシステム - Google Patents

手術対象物の整合確認方法、その装置及びそれを含むシステム Download PDF

Info

Publication number
JP2023513566A
JP2023513566A JP2022548603A JP2022548603A JP2023513566A JP 2023513566 A JP2023513566 A JP 2023513566A JP 2022548603 A JP2022548603 A JP 2022548603A JP 2022548603 A JP2022548603 A JP 2022548603A JP 2023513566 A JP2023513566 A JP 2023513566A
Authority
JP
Japan
Prior art keywords
probe
model
surgical object
surgical
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022548603A
Other languages
English (en)
Other versions
JP7460201B2 (ja
Inventor
ド、デー・グク
キム、グン・ユン
リム、ヒユン・スーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Curexo Inc
Original Assignee
Curexo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Curexo Inc filed Critical Curexo Inc
Publication of JP2023513566A publication Critical patent/JP2023513566A/ja
Application granted granted Critical
Publication of JP7460201B2 publication Critical patent/JP7460201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1662—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body
    • A61B17/1675—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the knee
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A61B2090/3916—Bone tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Instructional Devices (AREA)

Abstract

本発明に係る手術対象物の整合確認方法は、前記手術対象物に関する形状情報を有する３Ｄモデルを設けるステップと、追跡器を介して前記手術対象物と、前記手術対象物に取り付けられた対象物マーカの位置及び姿勢情報を取得するステップと、前記手術対象物と前記対象物マーカとの間の位置及び姿勢に関する相関関係を導出して、前記３Ｄモデルとの整合を行うステップと、前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢の変化を追跡するステップと、前記プローブのティップの位置及び姿勢の中の少なくとも１つの変化に対応して、前記プローブのティップの位置と前記３Ｄモデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成して画像で表示するステップとを、含む。これにより、直観的かつ視覚的な整合確認を行うことができ、また、連続した一定領域の整合の度合いを直観的に確認することができる。【選択図】図２

Description

本発明は手術対象物の整合確認方法、その装置及びそれを含むシステムに関し、より具体的には、手術対象物と手術画像との空間的な整合の度合いを確認するための手術対象物の整合確認方法、その装置及びそれを含むシステムに関する。
近年、医療技術の発達によりロボットとコンピュータシステムを利用したナビゲーション手術が活発に導入されており、人工関節手術分野においてもこのような手術が適用されている。
膝関節の場合、外傷や様々な感染、疾患による痛み及び行動障害が発生すると、整形外科手術を通して関節全体や部分に置換術にて治療を行い、この中に約１０～３０％の患者は膝内側ジョイントの摩耗が生じて膝関節の部分置換手術を行う。
このような整形外科関節手術に使われるロボット中では、全手術過程を自動的に行うロボットがあり、このような手術用ロボットは予め計画された経路に沿って人の介入なしに自動的に骨を切削する。
このような手術用ロボットを用いた膝関節手術のためには、まず、手術対象物に光学式マーカを取付け、光学センサーにて光学式マーカの位置と姿勢をトラッキングし、手術対象物とそれに関する形状モデルとの空間的な整合手順を予め行うべきだ。さらに、行われた整合の結果に対して適合するかどうかを確認するための手順が必要である。
従来、手術対象物の整合確認方法は、整合の結果に対する定量的な数値を確認したり、あらかじめ登録した複数のポイントの整合の度合いを確認する方法を主に使用している。
しかし、前者は単に定量的な数値で表現されるので、ユーザは整合が適合するかどうかを判断することが困ることがあり、後者はあらかじめ登録されたポイントに対する整合のみを確認するので、その外の領域に対しては整合の度合いを確認できない問題がある。
韓国特許公開公報第１０－２０１５－０１０２９３６号
前記の問題を解決するために、本発明は直観的かつ視覚的な整合確認方法を提供することに目的がある。また、本発明は１つのポイントではなく連続した一定領域の整合の度合いを直観的に確認できる手術対象物の整合確認方法、その装置及びそれを含むシステムを提供することに目的がある。さらに、本発明は整合の結果が不適切な場合、再整合が必要な領域に対して再整合を行う手術対象物の整合確認方法、その装置及びそれを含むシステムを提供することに目的がある。
前記目的は、手術対象物の整合確認方法において、前記手術対象物に関する形状情報を有する３Ｄモデルを設けるステップと、追跡器を介して前記手術対象物と、前記手術対象物に取り付けられた対象物マーカとの位置及び姿勢情報を取得するステップと、前記手術対象物と前記対象物マーカとの間の位置及び姿勢に関する相関関係を導出して、前記３Ｄモデルとの整合を行うステップと、前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢の変化を追跡するステップと、前記プローブのティップの位置及び姿勢の中の少なくとも１つの変化に対応して、前記プローブのティップの位置と前記３Ｄモデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成して画像で表示するステップと、含むことを特徴とする手術対象物の整合確認方法によって達成することができる。
一方、前記目的は、手術対象物の整合確認方法において、追跡器を介して取得される前記手術対象物と前記手術対象物に取り付けられた対象物マーカとの位置及び姿勢情報を受信するステップと、前記手術対象物と前記対象物マーカとの間の位置及び姿勢に関する相関関係を導出して、前記手術対象物に関する３Ｄモデルとの整合を行うステップと、前記追跡器を介して取得される前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢情報を受信するステップと、前記プローブのティップの位置及び姿勢情報の変化に基づいて、前記プローブのティップの位置と前記３Ｄモデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成して画像で表示するステップと、を含むことを特徴とする手術対象物の整合確認方法によっても達成することができる。
また、前記整合確認情報を生成して画像で表示するステップは、前記プローブのティップの位置を原点とする互いに異なる半径を有する複数の球を形状化し、前記３Ｄグラフィックアイコンで生成して前記３Ｄモデル上に表現する。
さらに、前記整合確認情報を生成して画像で表示するステップは、前記プローブのティップの位置と前記３Ｄモデルの表面との相対的な位置関係を示すように前記グラフィックアイコンの形状を変化させる。
そして、前記整合確認情報を生成して画像で表示するステップは、前記プローブのティップの位置または姿勢の変化に対応して前記画像の視点を変化させて表示する。
また、前記整合確認情報を表示する前記画像は、前記プローブのティップの位置または姿勢の変化に対応して前記３Ｄモデルに対する視点が可変される第１の画像が表示される第１の領域と、前記３Ｄモデルに対する少なくとも１つの固定された視点を有する第１の画像が表示される第１の領域を含む。
前記複数の球は、互いに視覚的に区別されるように表現される。
さらに、前記整合の結果を定量的に算出して表示するステップをさらに含み、前記整合の結果を定量的に算出して表示するステップは、整合のために取得した前記手術対象物上の複数のポイントとそれに対応する前記３Ｄモデル上のポイントとの間の距離の偏差を算出して表示するステップと、前記プローブの移動に対応する前記プローブのティップが位置するポイントと前記３Ｄモデル上のランドマークポイントとの間の距離を算出して表示するステップと、前記プローブの移動に対応する前記プローブのティップが位置するポイントとそれに対応する前記３Ｄモデル上のポイントとの間の距離を算出して表示するステップのうちの少なくとも１つを含む。
一方、前記目的は、手術対象物の整合確認装置において、追跡器を介して取得した前記手術対象物と、前記手術対象物に取り付けられた対象物マーカの位置及び姿勢情報を受信する信号受信部と、前記手術対象物と前記対象物マーカとの間の位置及び姿勢に関する相関関係を導出して、前記手術対象物に関する３Ｄモデルとの整合を行う対象物整合部と、前記データ入力部を介して受信する前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢情報の変化に基づいて、前記プローブのティップの位置と前記画像モデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成する整合確認部を含むことを特徴とする手術対象物の整合確認装置によって達成することができる。
そして、前記整合確認部は、前記プローブのティップの位置を原点とする互いに異なる半径を有する複数の球を形状化して、前記３Ｄグラフィックアイコンで生成して前記３Ｄモデル上に表現し、前記複数の球は互いに視覚的に区別されるように表現される。
また、前記整合確認部は、前記３Ｄモデルに対する少なくとも１つの固定された視点を有する第１の画像と、前記プローブのティップの位置または姿勢の変化に対応して画像の視点が可変される第２の画像がそれぞれ別の領域に表現されるように前記整合確認情報を生成する。
一方、前記目的は、前記手術対象物に取り付けられた対象物マーカ及びプローブの位置と姿勢を追跡するための追跡器と、手術前に取得した手術対象物に関する形状情報を有する３Ｄモデルを格納するメモリ部と、前記手術対象物に取り付けられた前記対象物マーカと前記手術対象物との間の位置及び姿勢に関する相関関係を導出して前記３Ｄモデルとの整合を行う対象物整合部と、前記追跡器によって取得した前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢情報に基づいて、前記プローブのティップの位置と前記画像モデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成する整合確認部と、前記整合確認情報を画像で表示する表示部を含むことを特徴とする手術対象物の整合確認システムによっても達成することができる。
ここで、前記整合確認部は、前記プローブのティップの位置を原点とする互いに異なる半径を有する複数の球を形状化して、前記３Ｄグラフィックアイコンで生成して前記３Ｄモデル上に表現し、前記複数の球は互いに視覚的に区別されるように表現される。
以上のように、本発明に係る手術対象物の整合確認方法、その装置及びそれを含むシステムは、視覚的かつ直観的な整合確認が可能である。また、１つのポイントではなく連続した一定領域の整合の度合いを直観的に確認することができる。また、整合の結果が不適切な場合、再整合が必要な領域に対して再整合を行うことができ、時間を短縮することができる。
本発明の一実施形態に係る手術対象物の整合確認システムを概略的に示す図である。 本発明の一実施形態に係る手術対象物の整合確認装置の制御ブロック図である。 本発明の一実施形態に係る制御部の動作を説明するための図である。 本発明の一実施形態に係る整合確認部により生成され、画像で表示された整合確認情報の一例を示す図である。 本発明の一実施形態に係るプローブのティップの位置を形状化した３Ｄグラフィックアイコンの一例を示す図である。 本発明の一実施形態に係るプローブのティップを図３の位置で上方に移動しながら姿勢をやや右側に回転した状態での整合確認情報を表現した図である。 本発明の一実施形態に係る整合確認部が整合の適合度を計算する方法を説明するための図である。 本発明の一実施形態に係りプローブのティップをランドマークポイントに移動した場合を表見した図である。 本発明の一実施形態に係りプローブのティップをランドマークポイントに移動した場合であって、それに対応する整合確認情報を表見した図である。 本発明の一実施形態に係る整合確認装置を用いた手術対象物の整合確認方法に関するフローチャートである。
以下、図面を参照して本発明の具体的な実施形態について説明する。
図１は、本発明の一実施形態に係る手術対象物の整合確認システムを概略的に示した図である。図１を参照すると、本発明の一実施形態に係る手術対象物の画像整合確認システムは、手術対象物１０に取り付けられた対象物マーカ２０と、追跡器３０と、整合確認装置４０と、を含む。
手術対象物１０は手術の対象を意味するものであり、本発明の実施形態においては手術対象物１０が大腿骨（Ｆｅｍｕｒ）と脛骨（Ｔｉｂｉａ）の膝関節であり、対象物物マーカ２０は大腿骨と脛骨にそれぞれ取り付けられたものを一例として説明する。なお、本明細書において「手術対象物」とは、大腿骨や脛骨などの手術対象を包括する広義の意味でも使用され、インプラントの原点やジョイントの中心などの手術対象物の特定の位置または手術部位を示す狭義の意味でも使用されることができる。一方、手術対象物１０の整合を行う際に、ユーザはプローブ５０を使用して手術対象物１０の複数のポイントの位置を登録する。
対象物マーカ２０とプローブ５０は光学式マーカを使用することができ、中心点を基準に互いに異なる方向の枝状の３個または４個のバーが形成され、バーの端部にはそれぞれ高反射のボールマーカが形成されることができる。
追跡器３０は、手術対象物１０に取り付けられた対象物マーカ２０とプローブ５０の位置と姿勢を追跡するためのものであり、３次元空間座標上のマーカの位置及び姿勢を検出し、後述する整合確認装置４０に伝える。本発明の実施形態における追跡器３０は、光追跡システム（Ｏｐｔｉｃａｌ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ、ＯＴＳ）で具現されたものを一例として説明する。
手術対象物１０の整合確認装置４０は、手術対象物１０の空間の整合及び整合の結果を確認するためのものであり、コンピュータ（プロセッサ）とディスプレイを含むことができる。手術対象物１０の整合確認装置４０は独立した装置として設けられてもよく、場合によってはコンピュータ（プロセッサ）は手術用ロボット内に設けられ、ディスプレイは追跡器３０に接続して統合された形態でそれぞれ別々に設けられることもできる。後者の場合、手術用ロボット内に設けられれたコンピュータ（プロセッサ）は追跡器３０に接続してマーカの位置／姿勢情報を受信し、整合及び整合の結果を処理してディスプレイに提供する。
図２は、本発明の一実施形態に係る手術対象物の整合確認装置４０の制御ブロック図である。図２を参照すると、本発明の一実施形態に係る手術対象物の整合確認装置４０は、信号受信部４１、ユーザ入力部４２、表示部４３、メモリ部４４及び制御部４５を含む。
信号受信部４１は、外部から信号を受信するためのものであり、例えば、外部機器との接続のためのＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）コネクタ、デサブ（Ｄ－ｓｕｂ）コネクタ、またはインターネット網を含む有線／無線ネットワークと接続するための通信モジュールを含むことができる。信号受信部４１は、追跡器３０と連動するための有無線通信モジュールを含むことができる。
ユーザ入力部４２は、ユーザからコマンドを受信して後述する制御部４５に伝達するためのものであり、キーボード、マウス、またはボタンなどの様々な入力手段を含むことができる。
表示部４３は、画像を画面に表示するためのものであり、液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）パネル、有機発光ダイオード（ＯＬＥＤ、Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）パネルなどで具現することができる。
ここで、ユーザ入力部４２と表示部４３とは、他の構成と物理的に分離して構成することができる。例えば、信号受信部４１、制御部４５及びメモリ部４４は手術用ロボットの本体に統合して具現され、ユーザ入力部４２及び表示部４３は追跡器３０及び手術用ロボットと通信で接続された別々の装置で構成することができる。
メモリ部４４は、手術対象物の整合確認装置４０の各種のＯＳ、ミドルウェア、プラットフォーム、及び各種のアプリケーションを格納することができ、プログラムコード及び信号処理された画像信号、音声信号及びデータを格納することができる。メモリ部４４は、手術前に取得した手術対象物１０に関する形状情報を有する３次元モデル、すなわち３Ｄモデル１０ａを格納する。ここで、手術対象物１０に関する３Ｄモデル１０ａは、例えば、患者のコンピュータ断層撮影（ＣＴ）または磁気共鳴画像診断（ＭＲＩ）などの画像データセットから生成することができる。
制御部４５は、ユーザ入力部４２を介して入力されたユーザのコマンドまたは内部プログラムによって手術対象物の整合確認装置４０の全般的な制御を担う。制御部４５は、信号処理及び制御のためのプログラムコード及びプログラムを実行するプロセッサを含むことができる。制御部４５は、信号受信部４１を介して追跡器３０から受信される対象物マーカ２０及びプローブ５０の位置／姿勢情報を用いて位置追跡及び整合を行い、整合の度合いを示す整合の結果に関する整合確認情報を生成する。
図２を参照すると、制御部４５は対象物整合部４５ａと整合確認部４５ｂとを含む。
対象物整合部４５ａは、追跡器３０から取得した対象物マーカ２０及びプローブ５０の位置／姿勢情報を用いて手術対象物１０に関する形状情報を有する３Ｄモデル１０ａとの整合を行う。対象物整合部４５ａは、対象物マーカ２０とプローブ５０の位置／姿勢情報を用いて手術対象物１０に取り付けられた対象物マーカ２０（ボーンマーカ）と手術対象物１０との間の位置／姿勢に関する相関関係を導出する。
例えば、手術対象物１０に対象物マーカ２０を取り付けた後、プローブ５０を使用して予め設定された手術対象物１０の特定された複数のポイントと対象物マーカ２０の位置／姿勢を同時に認識させる。対象物整合部４５ａは、追跡器３０を介して取得したプローブ５０が指示した特定のポイント及び対象物マーカ２０の位置／姿勢に関する情報を受信し、対象物マーカ２０と手術対象物１０との間の位置／姿勢に関する相関関係を導出して、メモリ部４４に既に格納された手術対象物１０に関する３Ｄモデル１０ａとの整合を行う。対象物整合部４５ａは、位置の算出及び整合を行うプログラムコード及び／又はソフトウェアを含んで具現することができる。
整合確認部４５ｂは、対象物整合部４５ａの整合の結果に関する整合確認情報を生成するためのものであり、手術対象物１０の表面に沿って働くプローブ５０のティップの位置及び姿勢情報の変化に基づいて、プローブ５０のティップの位置と画像モデルとの相対的な位置関係を示す３次元グラフィックアイコンを含む整合確認情報を生成する。また、整合確認部４５ｂは、整合の結果を定量的に算出することができる。一方、整合確認部４５ｂを介して生成された整合確認情報及び整合の度合いに関する定量値は表示部４３に提供され、画像で表示される。これにより、ユーザは整合の度合いを直観的かつ視覚的に認識することができる。整合確認部４５ｂは、整合の結果の算出と、整合確認情報及びグラフィック生成のためのプログラムコード及び／又はソフトウェアを含んで具現することができる。
図３は、本発明の一実施形態に係る制御部４５の動作を説明するための図である。図３を参照すると、手術対象物１０としては大腿骨１１を一例として示し、対象物マーカ２０、２１は大腿骨に取り付けられることを一例として示した。
図３を参照すると、ユーザはプローブ５０を使用して予め設定された手術対象１０、１１の指定ポイントの位置を登録する。追跡器３０は、手術対象物１０、１１の表面の指定ポイントを指示するプローブ５０と対象物マーカ２１の位置／姿勢を追跡して整合確認装置４０に伝送する。整合確認装置４０は、追跡器３０から受信したプローブ５０及び対象物マーカ２１の位置／姿勢情報に基づいて、既に格納された手術対象物１０、１１の３Ｄモデル１０ａとの整合を行う。一般に、手術対象物１０、１１の３Ｄモデル１０ａをＤｉｓｔａｌ、Ｐｏｓｔｅｒｉｏｒ、Ｍｅｄｉａｌ、Ａｎｔｅｒｉｏｒなど４つのビューを順次に切り替えながら、当該ビューで予め設定されたポイントの位置に対応するポイントをプローブ５０に指示して、プローブ５０及び対象物マーカ２１の位置／姿勢情報を受信して当該位置の登録を進めるようになり、登録ポイントは約２０～４０個位くらいになる。なお、図３において、ＬＰはランドマークポイント（Ｌａｎｄｍａｒｋ Ｐｏｉｎｔ）であり、手術対象物１０、１１の姿勢の基準となるポイントを意味する。ユーザが１つずつ順次に該当ポイントをプローブ５０で指示し、整合確認装置４０がこれを登録する過程を通して整合を行う。
図３において、整合後の空間関係におけるプローブ５０と手術対象物１０、１１に関する３Ｄモデル１０ａとの間の位置／姿勢の相関関係は、以下のように表現することができる。
Figure 2023513566000002
ここで、ＰＴＢはプローブ５０と手術対象物１０、１１との間の位置／姿勢の相関関係であり、ＯＴＳＴＰは追跡器３０に対するプローブ５０の変換行列であり、ＯＴＳＴＢＭは追跡器３０に対する対象物マーカ２１の変換行列であり、ＢＭＴＢは対象物マーカ２１に対する手術対象物１０、１１の変換行列である。
整合確認部４５ｂは、予め設定された複数のポイントに対する登録が完了されると、整合の結果に関する整合確認情報を生成する。整合確認部４５ｂは、プローブ５０のティップの位置及び姿勢情報の変化に基づいて、３Ｄモデル１０ａとの相対的な位置関係を示すように、プローブ５０のティップの位置を形状化した３ＤグラフィックアイコンＡが３Ｄモデル１０ａ上に表現されるように生成される。
図４は、本発明の一実施形態に係る整合確認部４５ｂによって生成され画像で表示された整合確認情報の一例を示す。図４を参照すると、本発明に係る整合確認情報を示す画像は、プローブ５０のティップの位置または姿勢の変化に対応して画像の視点が可変される第１の画像が表示される第１の領域を有する。整合確認情報を示す画像において、Ｒ１領域に表示された第１の画像は、プローブ５０の位置／姿勢情報に基づいてプローブ５０のティップが見える視点で３Ｄモデル１０ａを表現する。整合確認部４５ｂは、プローブ５０のティップを中心とし、ティップと繋げる特定方向の延長線を姿勢の軸とし、当該軸の視点で見た３Ｄモデル１０ａの一部領域上にプローブ５０のティップの位置を形状化して整合確認情報として生成する。したがって、プローブ５０のティップの位置や姿勢の変化に対応して、整合確認情報の画像が表示される視点と領域を変化させて表現する。すなわち、プローブ５０のティップを手術対象物１０、１１の表面で滑るように働きながらプローブ５０のティップの位置と姿勢が変更されると、Ｒ１に表示される整合確認情報の第１の画像はプローブ５０のティップの位置／姿勢の変化に対応して３Ｄモデル１０ａの位置と姿勢が相対的に変更されて表示されるので、ユーザはプローブ５０のティップで手術対象物１０、１１の表面を掻き取りながら３Ｄモデル１０ａの相対的な関係を直観的にリアルタイムで確認することができる。
図４を再び参照すると、Ａはプローブ５０のティップの位置を形状化した３ＤグラフィックアイコンＡを示す図であり、ユーザは３ＤグラフィックアイコンＡを介して現在のプローブ５０のティップが手術対象物１０、１１の３Ｄモデル１０ａ上でどこに位置しているかがわかられる。ここで、プローブ５０のティップの位置を形状化した３ＤグラフィックアイコンＡは、単にプローブ５０のティップの位置を表現するのではなく、それ自体が３Ｄモデル１０ａとの相対的な位置関係を示す。
このために、プローブ５０のティップの位置を形状化した３ＤグラフィックアイコンＡは、プローブ５０のティップの位置を原点とする互いに異なる半径を有する複数の球を形状化して、３Ｄモデル１０ａとの相対的な位置関係を表現することができる。
図５は、本発明の一実施形態に係るプローブ５０のティップの位置を形状化した３ＤグラフィックアイコンＡの一例を示す図である。図５を参照すると、プローブ５０のティップを形状化した３ＤグラフィックアイコンＡは、中心が同じで互いに異なる半径を有する２つの球Ａ１、Ａ２を形状化して表現することができる。図５において、Ａ１は半径が１ｍｍの円であり、Ａ２は半径が２ｍｍの円を示す。３ＤグラフィックアイコンＡ、Ａ１、Ａ２の原点は、プローブ５０のティップすなわち、プローブ５０のティップの先端が位置するポイントに対応するものであり、プローブ５０のティップが手術対象物１０、１１の表面に触れている場合、プローブ５０のティップの位置を中心で表現する球の一部領域は３Ｄモデル１０ａの内部に位置するので、３Ｄモデル１０ａの内部に入った球の一部領域は第１の画像で表示されないので、見る視点によって球の形が異なることができる。したがって、プローブ５０のティップの位置を形状化した３ＤグラフィックアイコンＡは、手術対象物１０、１１との位置及び姿勢関係で円が完全に見えることもでき、一部だけ見えるように表示されることもできる。このように、本発明に係る３ＤグラフィックアイコンＡは、プローブ５０のティップと３Ｄモデル１０ａの表面との相対的な位置関係に従ってその形状が変化するので、ユーザは画面を見ながらプローブ５０の位置と姿勢を働きながら現在のプローブ５０のティップが位置する手術対象物１０、１１の表面上のポイントと３Ｄモデル１０ａの形状との間の相対的な位置関係、例えば距離などを直観的にわかられる。
さらに、本発明においては、３ＤグラフィックアイコンＡを互いに異なる半径を有する球Ａ１、Ａ２を重ねて表現し、それぞれの球は色を異にしたり、コントラストを異にして視覚的に区別されるように表現する。これにより、ユーザは、３ＤグラフィックアイコンＡの形状を介してプローブ５０のティップと３Ｄモデル１０ａとの間の相対的な位置関係、例えば距離や間隔を直観的にわかられる。また、ユーザは、プローブ５０のティップで手術対象物１０、１１の表面を掻き取りながら、手術対象物１０、１１の特定のポイントではなく、連続した一定領域におけるプローブ５０のティップすなわち、手術対象物１０、１１の表面と３Ｄモデル１０ａとの間の相対的な位置関係すなわち、距離や間隔を直観的に認識することができる。
図５の（ａ）は、プローブ５０のティップが見た視点で３Ｄモデル１０ａ間の相対的な位置関係で３ＤグラフィックアイコンＡが２つの球Ａ１、Ａ２が１００％全て見える場合であり、３Ｄモデル１０ａがプローブ５０のティップより後方に位置したり、横に２ｍｍの外に位置する場合と見ることができる。それぞれの場合とも、プローブ５０のティップと３Ｄモデル１０ａとが２ｍｍ間隔以上離れていることを意味するので、整合の差が２ｍｍ以上であることを直観的に理解することができる。
図５の（ｂ）は、プローブ５０のティップが見た視点で３Ｄモデル１０ａ間の相対的な位置関係で３ＤグラフィックアイコンＡが２つの球Ａ１、Ａ２が５０％見える場合であり、３ＤグラフィックアイコンＡである２つの球の５０％が３Ｄモデル１０ａの内部にあることを言っている。すなわち、プローブ５０のティップが３Ｄモデル１０ａの表面上に位置していることが直観的にわかられる。一方、図５の（ｃ）は、この２つの球が２０％程度見える場合であり、３ＤグラフィックアイコンＡである２つの球Ａ１、Ａ２の８０％ほどが３Ｄモデル１０ａの内部にあるとことを言っている。すなわち、プローブ５０のティップが３Ｄモデル１０ａの内部、表面から１ｍｍ以内の距離に位置していることが直観的にわかられる。図５においては、３ＤグラフィックアイコンＡが互いに異なる半径を有する２つの球を含むものとして説明したが、３～５個で表現できることは勿論である。
図４を参照すると、本発明に係る整合確認情報を示す画像は、プローブ５０のティップの位置または姿勢の変化に関係なく、３Ｄモデル１０ａに対する少なくとも１つの固定された視点を有する第２の画像が表示される第２の領域を含む。第２の画像は、３Ｄモデル１０ａに対して少なくとも１つの固定された視点における３Ｄモデル１０ａとプローブ５０のティップの位置関係を示すものであり、特定の視点を有する３Ｄモデル１０ａ上に３ＤグラフィックアイコンＡが表示される。本実施形態においては、第２の画像が３Ｄモデル１０ａの２つの側面ビューを表示することを一例とする。
図４を参照すると、第１の領域に表示される第１の画像は、プローブ５０の位置／姿勢に応じて表示される３Ｄモデル１０ａの表示領域と視点が変更されるが、第２の領域に表示される第２の画像は、プローブ５０の位置／姿勢に関係なく、特定の視点を有する３Ｄモデル１０ａが表示される。したがって、ユーザは、２つの画像におけるプローブ５０のティップの位置を形状化した３ＤグラフィックアイコンＡの形状を比較しながら整合の度合いを直観的に認識することができる。
図４は、プローブ５０が図３の位置／姿勢にあるときの整合確認情報を表現した図であり、プローブ５０のティップが手術対象物１０、１１に向かってほぼ直角をなしており、図４の第１の画像においてはプローブ５０のティップが見た視点では３Ｄモデル１０ａ上に３ＤグラフィックアイコンＡが１００％露出した形態で表現されるのに比べて、第２の画像においては３Ｄモデル１０ａの視点が側面に定められた状態でプローブ５０のティップが下側にあるので、３ＤグラフィックアイコンＡで表現された球の形状が半球状に５０％程度だけ見えることが確認できる。第１の画像おいては整合の度合いが正確にわからないが、第２の画像においては該当位置で手術対象物１０、１１と３Ｄモデル１０ａとの整合がほぼ正確に行われたと見られる。ただし、第２の画像は固定された視点を示しているので、現在のプローブ５０のティップが位置するポイントが手術対象物１０、１１において屈曲が最も低いところであれば側面から球がほとんど見えないことができるので、第２の画像においては正確な整合の度合いがわかることは難しく、第１の画像においてプローブ５０の姿勢を調整して３ＤグラフィックアイコンＡが半球状に見える視点に調節しながら確認することがより正確である。
図６は、プローブ５０のティップを図３の位置から上方に移動しながら姿勢をやや右側に回転させた状態での整合確認情報を表した図である。図４と同様に、図５の第１の画像においてはプローブ５０のティップが見た視点では３Ｄモデル１０ａ上に３ＤグラフィックアイコンＡの球が１００％露出された形態で表現される。それでも、プローブ５０のティップの姿勢が手術対象物１０、１１に向かって見ているからである。ただし、第２の画像においては、３Ｄモデル１０ａの視点が側面に固定された状態であり、プローブ５０のティップが下側に位置しているので、３ＤグラフィックアイコンＡの球の形状が全体ではなく一部が表現されたが、ほぼ８０％以上の露出を確認することができる。これは、現在のプローブ５０のティップが屈曲が最も高いポイントにあるとしても、最小１．５ｍｍ以上の手術対象物１０、１１と３Ｄモデル１０ａとの間に偏差があることを直観的にわかられる。
このように、本発明に係る整合確認情報は、プローブ５０のティップの位置を、半径の異なる複数の球を形状化して表現することにより、ユーザがプローブ５０のティップの姿勢を変えながら３Ｄモデル１０ａ上で表現される３ＤグラフィックアイコンＡの形状と形態を介してプローブ５０のティップが指す手術対象物１０、１１のポイントが３Ｄモデル１０ａとほぼある程度間隔で位置するかを直観的にわかられる。また、プローブ５０の位置／姿勢の変化に応じて３Ｄモデル１０ａの視点と位置に対応して表示することにより、プローブ５０のティップで手術対象物１０、１１の表面を掻き取りながら確認を望む領域の整合の度合いを易く確認することができる。これにより、手術対象物１０、１１においてある部位が正しく整合が行われていないのか、整合の偏差程度を直観的にわかられる。
整合確認部４５ｂは、整合の結果を定量的に算出し、この値を整合確認情報に含めて表示することができる。一例として、整合確認部４５ｂは、整合の結果に関する適合度評価値で整合のために取得した手術対象物１０、１１上の複数のポイントとそれに対応する３Ｄモデル１０ａ上のポイントと間の距離の偏差に関する平均二乗誤差（ＲＭＳＥ； Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ（ｄ）Ｅｒｒｏｒ）を算出することができる。図４を参照すると、ＲＭＳＥ値が第３の領域に表示されていることがわかられる。ユーザーはこの値を使用して整合適合度を数値的に確認できる。
図７は、本発明の一実施形態に係る整合確認部４５ｂが整合適合度を算出する方法を説明するための図である。図７において、淡い灰色のポイントＰｉＲは整合のための手術対象物１０、１１で取得したポイントを意味し、黒色のポイントＰｉｓｕｒｆは３Ｄモデル１０ａ上で各整合ポイントに最も近いポイントを表現したものである。
整合確認部４５ｂは、整合のために取得した整合ポイントと３Ｄモデル１０ａ上で整合ポイントに最も近いポイントとの間の偏差を以下の式により算出する。
Figure 2023513566000003
ここで、Ｐｉ Ｒは整合のための手術対象物１０、１１で取得したポイントであり、Ｐｉ ｓｕｒｆは３Ｄモデル１０ａ上で各整合ポイントに最も近いポイントであり、Ｎはポイントの個数を意味する。
図４おいては、ＲＭＳＥ値として０．１７１が算出されたことを確認することができる。
一方、整合確認部４５ｂは、整合の結果として現在のプローブ５０のティップの位置とランドマークポイントＬＰとの間の距離を算出し、これを整合確認情報として生成することができる。図４を参照すると、第２の画像において灰色で表現されたポイントＬＰがランドマークポイントＬＰであり、現在のプローブ５０のティップの位置とランドマーク点ＬＰとの間の距離値は第４の領域に２８．８０ｍｍと表示されている。この値は、プローブ５０のティップの位置が変更するにつれて対応するように変更される。
図８はプローブ５０のティップをランドマークポイントＬＰに移動した場合であり、図９はこれに対応する整合確認情報を表現した図である。第１の画像と第２の画像において３ＤグラフィックアイコンＡはランドマークポイントＬＰと重なって表現され、第４の領域においてはランドマークポイントＬＰとプローブ５０のティップとの間の距離が０．５１ｍｍであると算出されたことを示している。第１の画像においては、プローブ５０の姿勢に対応して３ＤグラフィックアイコンＡが半円形を呈しており、当該ポイントで整合適合度が高いことを直観的にもわかられる。他の例として、ランドマークポイントＬＰとの距離の代わりに、プローブ５０の移動に対応するプローブ５０のティップが位置するポイントと、それに対応する最も近い３Ｄモデル１０ａ上のポイントとの間の距離を算出して表示することができる。この場合、該当値により該当ポイントでの整合適合度を易く確認することができる。
このように、本発明に係ると、整合適合度を定量的な数値以外に視覚的に表現することにより、ユーザが直観的に整合の度合いを易くわかられる。
図１０は、本発明の一実施形態に係る整合確認装置４０を用いた手術対象物１０、１１の整合確認方法に関するフローチャートである。上記実施形態と重複する説明は、必要に応じて省略する。
図１０を参照すると、まず、手術対象物１０、１１に関する撮影画像などに基づいて手術対象物１０、１１に関する３Ｄモデル１０ａを生成する（ステップＳ１０）。３Ｄモデル１０ａはメモリ部４４に格納される。整合確認装置４０は、追跡器３０を介して取得された手術対象物１０、１１と、手術対象物１０、１１に取り付けられた対象物マーカ２１の位置及び姿勢情報を受信する（ステップＳ１１）。手術対象物１０、１１の位置／姿勢情報は様々な方法によって取得することができるが、本発明の一実施形態においてはプローブ５０を使用して取得することを一例とする。
対象物整合部４５ａは、追跡器３０を介して受信したプローブ５０と、手術対象物１０，１１に取り付けられた対象物マーカ２１の位置及び姿勢情報に基づいて、手術対象物１０，１１と、対象物マーカ２０、２１との間の位置及び姿勢に関する相関関係を導出することにより、３Ｄモデル１０ａとの整合を行う（ステップＳ１２）。このとき、予め設定された複数のポイントをプローブ５０に指示することにより整合手順を行う。
整合が完了すると、整合確認部４５ｂは、整合の結果に関する整合確認情報を生成して、これを表示部４３を介して表示する。一方、追跡器３０は、手術対象物１０、１１の表面に沿って働くプローブ５０のティップの位置／姿勢を追跡して整合確認装置４０に伝送している（ステップＳ１３）。整合確認部４５ｂは、追跡したプローブ５０のティップの位置と３Ｄモデル１０ａとの相対的な位置関係を示す３ＤグラフィックアイコンＡを含む整合確認情報を生成する（ステップＳ１４）。また、整合確認部４５ｂは、整合の結果を定量的に算出し、これを整合確認情報に含めて生成することができる（ステップＳ１４）。
整合確認部４５ｂを介して生成された整合確認情報は、表示部４３に表示される（ステップＳ１５）。ユーザは、半径が異なる複数の重なった球として表現された３ＤグラフィックアイコンＡの形状と形態を介して、プローブ５０のティップの位置と３Ｄモデル１０ａとの相対的な位置関係を直観的に認識することができる。
また、プローブ５０の位置と姿勢を変えながら手術対象物１０、１１の１つのポイントではなく一連の領域を掻き取りながら、３ＤグラフィックアイコンＡの形状と形態を確認しながら、整合が適合するかどうかを確認することができる。
もし、整合確認手順が完了すると（ステップＳ１６）、再整合が必要かどうかを判断する。定量的に算出された値が一定の基準値を満たさない場合には、画像整合装置が再整合が必要な領域に対して再び整合を行うように強制することもでき、プローブ５０を掻き取りながら確認した各ポイントの整合の度合いが低いと判断された場合、ユーザは再整合を行うように要求できる（ステップＳ１７）。この場合、最初から整合を再び行うことができ、再整合が必要な領域に対応するビューのみを再び整合を行うようにすることができる。
以上、本発明の実施形態を構成する全ての構成要素が一つに結合又は結合して動作するものとして説明されたが、本発明が必ずしもこの実施形態に限定されるものではない。すなわち、本発明の目的の範囲内であれば、その全ての構成要素が１つ以上に選択的に結合して動作することができる。さらに、その全ての構成要素をそれぞれ１つの独立したハードウェアで具現することができるが、各構成要素の一部または全部を選択的に組み合わせて１つまたは複数のハードウェアで組み合わせた一部または全部の機能を果たすプログラムモジュールを有するコンピュータプログラムとして具現することもできる。そのコンピュータプログラムを構成するコード及びコードセグメントは、本発明の技術分野の当業者によって容易に推論され得る。そのようなコンピュータプログラムは、コンピュータ読出可能媒体（Ｃｏｍｐｕｔｅｒ Ｒｅａｄａｂｌｅ Ｍｅｄｉａ）に格納され、コンピュータによって読み取られ実行されることにより、本発明の実施形態を具現することができる。コンピュータプログラムの記憶媒体としては、磁気記録媒体、光記録媒体などを含むことができる。
なお、以上で説明した「含む」、「構成する」または「有する」などの用語は、特に反対の記載がない限り、当該構成要素が内在できることを意味するものであるので、他の構成要素を除くことではなく、他の構成要素をさらに含むことができると解釈されるべきである。技術的かつ科学的な用語を含むすべての用語は異なるように定義されない限り、本発明が属する技術分野で通常の知識を有する者によって一般に理解されるのと同じ意味を有する。辞典に定義された用語のように一般的に使用される用語は、関連技術の文脈上の意味と一致すると解釈されるべきであり、本発明において明確に定義しない限り、理想的かつ過度に形式的な意味として解釈されるべきではない。
以上の説明は、本発明の技術思想を例示的に説明したことに過ぎず、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能である。したがって、本発明に開示された実施形態は、本発明の技術思想を限定するものではなく説明するためのものであり、このような実施形態によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は以下の特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈されるべきである。

Claims (14)

  1. 手術対象物の整合確認方法において、
    前記手術対象物に関する形状情報を有する３Ｄモデルを設けるステップと、
    追跡器を介して前記手術対象物と前記手術対象物に取り付けられた対象物マーカとの位置及び姿勢情報を取得するステップと、
    前記手術対象物と前記対象物マーカとの間の位置及び姿勢に関する相関関係を導出して、前記３Ｄモデルとの整合を行うステップと、
    前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢の変化を追跡するステップと、
    前記プローブのティップの位置及び姿勢の中の少なくとも１つの変化に対応して、前記プローブのティップの位置と前記３Ｄモデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成して画像で表示するステップと、含むことを特徴とする手術対象物の整合確認方法。
  2. 手術対象物の整合確認方法において、
    追跡器を介して取得される前記手術対象物と前記手術対象物に取り付けられた対象物マーカとの位置及び姿勢情報を受信するステップと、
    前記手術対象物と前記対象物マーカとの間の位置及び姿勢に関する相関関係を導出して、前記手術対象物に関する３Ｄモデルとの整合を行うステップと、
    前記追跡器を介して取得される前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢情報を受信するステップと、
    前記プローブのティップの位置及び姿勢情報の変化に基づいて、前記プローブのティップの位置と前記３Ｄモデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成して画像で表示するステップと、を含むことを特徴とする手術対象物の整合確認方法。
  3. 前記整合確認情報を生成して画像で表示するステップは、
    前記プローブのティップの位置を原点とする互いに異なる半径を有する複数の球を形状化し、前記３Ｄグラフィックアイコンで生成して前記３Ｄモデル上に表現することを特徴とする請求項１または２に記載の手術対象物の整合確認方法。
  4. 前記整合確認情報を生成して画像で表示するステップは、
    前記プローブのティップの位置と前記３Ｄモデルの表面との相対的な位置関係を示すように前記３Ｄグラフィックアイコンの形状を変化させることを特徴とする請求項１または２に記載の手術対象物の整合確認方法。
  5. 前記整合確認情報を生成して画像で表示するステップは、
    前記プローブのティップの位置または姿勢の変化に対応して前記画像の視点を変化させて表示することを特徴とする請求項１または２に記載の手術対象物の整合確認方法。
  6. 前記整合確認情報を表示する前記画像は、
    前記プローブのティップの位置または姿勢の変化に対応して前記３Ｄモデルに対する視点が可変される第１の画像が表示される第１の領域と、前記３Ｄモデルに対する少なくとも１つの固定された視点を有する第１の画像が表示される第１の領域を含むことを特徴とする請求項３に記載の手術対象物の整合確認方法。
  7. 前記複数の球は、互いに視覚的に区別されるように表現されることを特徴とする請求項３に記載の手術対象物の整合確認方法。
  8. 前記整合の結果を定量的に算出して表示するステップをさらに含み、
    前記整合の結果を定量的に算出して表示するステップは、
    整合のために取得した前記手術対象物上の複数のポイントとそれに対応する前記３Ｄモデル上のポイントとの間の距離の偏差を算出して表示するステップと、
    前記プローブの移動に対応する前記プローブのティップが位置するポイントと前記３Ｄモデル上のランドマークポイントとの間の距離を算出して表示するステップと、
    前記プローブの移動に対応する前記プローブのティップが位置するポイントと、それに対応する前記３Ｄモデル上のポイントとの間の距離を算出して表示するステップのうちの少なくとも１つを含むことを特徴とする請求項１または２に記載の手術対象物の整合確認方法。
  9. 手術対象物の整合確認装置において、
    追跡器を介して取得した前記手術対象物と、前記手術対象物に取り付けられた対象物マーカの位置及び姿勢情報を受信する信号受信部と、
    前記手術対象物と前記対象物マーカとの間の位置及び姿勢に関する相関関係を導出して、前記手術対象物に関する３Ｄモデルとの整合を行う対象物整合部と、
    データ入力部を介して受信する前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢情報の変化に基づいて、前記プローブのティップの位置と画像モデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成する整合確認部を含むことを特徴とする手術対象物の整合確認装置。
  10. 前記整合確認部は、前記プローブのティップの位置を原点とする互いに異なる半径を有する複数の球を形状化して、前記３Ｄグラフィックアイコンで生成して前記３Ｄモデル上に表現し、前記複数の球は互いに視覚的に区別されるように表現されることを特徴とする請求項９に記載の手術対象物の整合確認装置。
  11. 前記整合確認部は、前記３Ｄモデルに対する少なくとも１つの固定された視点を有する第１の画像と、前記プローブのティップの位置または姿勢の変化に対応して画像の視点が可変される第２の画像がそれぞれ別の領域に表現されるように前記整合確認情報を生成することを特徴とする請求項１０に記載の手術対象物の整合確認装置。
  12. 手術対象物に取り付けられた対象物マーカ及びプローブの位置と姿勢を追跡するための追跡器と、
    手術前に取得した手術対象物に関する形状情報を有する３Ｄモデルを格納するメモリ部と、
    前記手術対象物に取り付けられた前記対象物マーカと前記手術対象物との間の位置及び姿勢に関する相関関係を導出して前記３Ｄモデルとの整合を行う対象物整合部と、
    前記追跡器によって取得した前記手術対象物の表面に沿って働くプローブのティップの位置及び姿勢情報に基づいて、前記プローブのティップの位置と画像モデルとの相対的な位置関係を示す３Ｄグラフィックアイコンを含む整合確認情報を生成する整合確認部と、
    前記整合確認情報を画像で表示する表示部を含むことを特徴とする手術対象物の整合確認システム。
  13. 前記整合確認部は、前記プローブのティップの位置を原点とする互いに異なる半径を有する複数の球を形状化して、前記３Ｄグラフィックアイコンで生成して前記３Ｄモデル上に表現し、前記複数の球は互いに視覚的に区別されるように表現されることを特徴とする請求項１２に記載の手術対象物の整合確認システム。
  14. 前記整合確認部は、前記３Ｄモデルに対する少なくとも１つの固定された視点を有する第１の画像と、前記プローブのティップの位置または姿勢の変化に対応して画像の視点が可変される第２の画像がそれぞれ別の領域に表現されるように前記整合確認情報を生成することを特徴とする請求項１２に記載の手術対象物の整合確認システム。
JP2022548603A 2020-02-12 2021-01-27 手術対象物の整合確認方法、その装置及びそれを含むシステム Active JP7460201B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200017019A KR102301863B1 (ko) 2020-02-12 2020-02-12 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
KR10-2020-0017019 2020-02-12
PCT/KR2021/001087 WO2021162287A1 (ko) 2020-02-12 2021-01-27 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템

Publications (2)

Publication Number Publication Date
JP2023513566A true JP2023513566A (ja) 2023-03-31
JP7460201B2 JP7460201B2 (ja) 2024-04-02

Family

ID=77291588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022548603A Active JP7460201B2 (ja) 2020-02-12 2021-01-27 手術対象物の整合確認方法、その装置及びそれを含むシステム

Country Status (6)

Country Link
US (1) US11806091B2 (ja)
EP (1) EP4104788A4 (ja)
JP (1) JP7460201B2 (ja)
KR (1) KR102301863B1 (ja)
CN (1) CN115087409A (ja)
WO (1) WO2021162287A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11832897B2 (en) * 2021-07-30 2023-12-05 Remex Medical Corp. Method and system for surgical navigation
CN115229806B (zh) * 2022-09-21 2023-03-03 杭州三坛医疗科技有限公司 一种机械臂控制方法、装置、系统、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2816200A1 (fr) * 2000-11-06 2002-05-10 Praxim Determination de la position d'une prothese du genou
EP1617779A1 (en) * 2003-04-28 2006-01-25 BRACCO IMAGING S.p.A. Surgical navigation imaging system
CA2556082A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US8515527B2 (en) 2004-10-13 2013-08-20 General Electric Company Method and apparatus for registering 3D models of anatomical regions of a heart and a tracking system with projection images of an interventional fluoroscopic system
EP2939215B1 (en) 2012-09-18 2020-12-02 Think Surgical, Inc. System and method for creating a three-dimensional bone model
US10470838B2 (en) * 2012-12-21 2019-11-12 Mako Surgical Corp. Surgical system for spatial registration verification of anatomical region
KR101594989B1 (ko) 2014-05-30 2016-02-18 큐렉소 주식회사 조직 위치 정합 방법 및 이를 이용하는 장치
KR101655309B1 (ko) * 2015-03-09 2016-09-08 한국과학기술연구원 전방십자인대 재건술을 위한 컴퓨터 내비게이션 방법
US10905496B2 (en) 2015-11-16 2021-02-02 Think Surgical, Inc. Method for confirming registration of tracked bones
US10485450B2 (en) 2016-08-30 2019-11-26 Mako Surgical Corp. Systems and methods for intra-operative pelvic registration
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US11413095B2 (en) * 2017-11-03 2022-08-16 Intellijoint Surgical Inc. System and method for surgical planning
KR102274167B1 (ko) * 2019-09-05 2021-07-12 큐렉소 주식회사 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템

Also Published As

Publication number Publication date
KR102301863B1 (ko) 2021-09-16
WO2021162287A1 (ko) 2021-08-19
CN115087409A (zh) 2022-09-20
US20230076292A1 (en) 2023-03-09
US11806091B2 (en) 2023-11-07
EP4104788A4 (en) 2024-03-06
KR20210103028A (ko) 2021-08-23
JP7460201B2 (ja) 2024-04-02
EP4104788A1 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
Harders et al. Calibration, registration, and synchronization for high precision augmented reality haptics
EP2153794B1 (en) System for and method of visualizing an interior of a body
US10881353B2 (en) Machine-guided imaging techniques
US10470838B2 (en) Surgical system for spatial registration verification of anatomical region
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
US20090306499A1 (en) Self-detecting kinematic clamp assembly
JP7460201B2 (ja) 手術対象物の整合確認方法、その装置及びそれを含むシステム
Wen et al. In situ spatial AR surgical planning using projector-Kinect system
US20200077924A1 (en) System and method to register anatomy without a probe
AU2020404991B2 (en) Surgical guidance for surgical tools
US11701189B2 (en) Device for providing joint replacement robotic surgery information and method for providing same
JP7341567B2 (ja) ロボットの位置ガイド装置、及びそれを含むシステム
AU2021267483A1 (en) Mixed reality-based screw trajectory guidance
US8942785B2 (en) Selectable orientation bent tip calibration-free probe
WO2021221749A1 (en) Mixed-reality humeral-head sizing and placement
JP2022526540A (ja) 整形外科的固定制御及び可視化
US11893737B2 (en) Hinge detection for orthopedic fixation
US20230074630A1 (en) Surgical systems and methods for positioning objects using augmented reality navigation
US20230355317A1 (en) Method for confirming registration of tracked bones
WO2024067753A1 (zh) 一种配准方法、配准系统、导航信息确定方法和导航系统
Doan et al. Development of augmented reality technology for surgical resection accuracy via improved visualization
WO2023034147A1 (en) Using mixed-reality hardware for range of motion estimation during robot-assisted orthopedic surgery
WO2023133369A1 (en) Fast, dynamic registration with augmented reality
CN116490126A (zh) 运动评估仪
CN115957003A (zh) 一种基于增强现实的关节骨骼选点配准方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7460201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150