WO2021182077A1 - 骨部手術の支援装置、支援方法、プログラム、および記録媒体 - Google Patents

骨部手術の支援装置、支援方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2021182077A1
WO2021182077A1 PCT/JP2021/006425 JP2021006425W WO2021182077A1 WO 2021182077 A1 WO2021182077 A1 WO 2021182077A1 JP 2021006425 W JP2021006425 W JP 2021006425W WO 2021182077 A1 WO2021182077 A1 WO 2021182077A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
markers
bone
dimensional simulation
Prior art date
Application number
PCT/JP2021/006425
Other languages
English (en)
French (fr)
Inventor
雄一 吉井
Original Assignee
学校法人東京医科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人東京医科大学 filed Critical 学校法人東京医科大学
Publication of WO2021182077A1 publication Critical patent/WO2021182077A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the collation step is The positional relationship between the plurality of markers in the three-dimensional simulation image stored in the storage unit is collated with the positional relationship between the plurality of markers in the two-dimensional image.
  • the image adjustment step is The direction of the three-dimensional simulation image is adjusted so that the positional relationship between the plurality of markers in the three-dimensional simulation image and the positional relationship between the plurality of markers in the two-dimensional image match.
  • the output process is It is characterized in that the three-dimensional simulation image and the two-dimensional image are output.
  • the collation unit further collates the distance relationship between a plurality of markers in the three-dimensional simulation image with the distance relationship between the plurality of markers in the two-dimensional image, and the image.
  • the adjusting unit further adjusts the size of the three-dimensional simulation image so that the distance relationship between the plurality of markers in the three-dimensional simulation image and the distance relationship between the plurality of markers in the two-dimensional image match. do.
  • the diagnostic image acquisition unit 11 acquires a two-dimensional image of the intraoperative diagnosis of the bone-affected part of the patient.
  • the two-dimensional image of the intraoperative diagnosis is an image including a plurality of markers indicating the reference position in the patient's living body.
  • the two-dimensional image may be any two-dimensional image of the affected part of the bone acquired during the operation in the operating room, and the type thereof is not particularly limited.
  • the diagnostic image acquisition unit 11 itself may generate the two-dimensional image by imaging, or the two-dimensional image generated by imaging by an external device is produced by communication with the external device. It may be obtained from an external device.
  • the two-dimensional image may be stored together with the three-dimensional simulation image in the storage unit 10, for example, in association with the identification information of the patient.
  • Examples of the two-dimensional image include an X-ray fluoroscopic image and the like.
  • the X-ray fluoroscopic image can be obtained, for example, in the operating room, during the operation, using an X-ray fluoroscopic device or the like.
  • the two-dimensional image of the intraoperative diagnosis in the present invention is an image including a plurality of markers indicating a reference position in the patient's living body in addition to the bone-affected portion of the patient.
  • the marker can be referred to, for example, the description in the three-dimensional simulation image of the preoperative plan.
  • the support device 1 is used during the operation of the bone-affected portion of the patient, and collates the relationship between the markers between the three-dimensional simulation image and the intraoperative two-dimensional image. Therefore, in the living body of the patient, the plurality of markers are set at the same positions as when the three-dimensional simulation image of the preoperative plan is captured, and the two-dimensional image during the operation is captured.
  • the direction of the three-dimensional simulation image can be adjusted, for example, by rotating the three-dimensional simulation image in an arbitrary axial direction.
  • the coordinates as described above can be used. can.
  • the direction of the three-dimensional simulation image for example, by designating the coordinates of each marker in the two-dimensional image and moving the coordinates of each marker in the three-dimensional simulation image to the designated coordinates, the said It can be matched with the positional relationship in the two-dimensional image.
  • Example 1 A three-dimensional image of the wrist joint model is used as a substitute image of the three-dimensional simulation image of the preoperative plan, and the three-dimensional image is collated with the two-dimensional image (X-ray fluoroscopic image) of the wrist joint model. We confirmed the correlation of the positional relationship between the markers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Surgical Instruments (AREA)

Abstract

骨接合手術、関節置換手術、脊椎手術等の骨部手術を術前計画に沿って容易に実現するための新たなシステムの提供を目的とする。　本発明の骨部手術の支援装置１は、記憶部１０、診断画像取得部１１、照合部１２、画像調整部１３、出力部１４を含む。記憶部１０は、患者の骨患部に対する術前計画の三次元シミュレーション画像を記憶し、前記三次元シミュレーション画像は、患者生体における基準位置を示す複数のマーカと骨患部とを含む術前画像から生成された画像であり、診断画像取得部１１は、術中の前記患者の骨患部の二次元画像を取得し、二次元画像は、患者生体における前記基準位置を示す複数のマーカを含む画像であり、照合部１２は、三次元シミュレーション画像におけるマーカ間の位置関係と、二次元画像におけるマーカ間の位置関係とを照合し、画像調整部１３は、三次元シミュレーション画像と二次元画像とにおけるマーカ間の位置関係とが一致するように、三次元シミュレーション画像の方向を調整し、出力部１４は、三次元シミュレーション画像および二次元画像を出力することを特徴とする。

Description

骨部手術の支援装置、支援方法、プログラム、および記録媒体
　本発明は、骨部手術の支援装置、支援方法、プログラム、および記録媒体に関する。
　外科手術においては、近年、手術計画をシミュレーションした三次元画像の利用が一般的になっている。しかしながら、術中、医師は、モニターに映し出された術前計画の三次元画像を参照しながら、手術を行うにとどまっている。
　特に、骨折等の骨接合手術においては、骨患部について理想的な整復位を決定し、その整復位を固定するように、固定材を適切な位置に設置（内固定設置）することが重要である。不適切な整復および内固定設置が行われると、例えば、骨癒合不全が生じたり、整復位の再転位が原因となる合併症を生じ、患者の機能回復が困難となる場合がある。このため、前述のような、術前計画の三次元画像の参照が重要となるが、モニターに映し出された三次元画像を目視するのみでは、術前計画通りの整復位および内固定設置を実現するのが困難であるのが実情である。また、骨折等には限られず、例えば、人工関節への置き換えを行う関節置換手術においても、固定材として人工関節を使用する場合や脊椎手術において骨内にボルトを挿入する場合等にも、同様の問題が生じる。
　そこで、本発明は、例えば、骨接合手術、関節置換手術、脊椎手術等の骨部手術を術前計画に沿って容易に実現するための新たなシステムの提供を目的とする。
　前記目的を達成するために、本発明の骨部手術の支援装置は、記憶部、診断画像取得部、照合部、画像調整部、および出力部を含み、
前記記憶部は、
　　患者の骨患部に対する術前計画の三次元シミュレーション画像を記憶し、
　　前記三次元シミュレーション画像は、前記患者生体における基準位置を示す複数のマーカと前記骨患部とを含む術前画像から生成された画像であり、
前記診断画像取得部は、
　　術中の前記患者の骨患部の二次元画像を取得し、
　　前記二次元画像は、前記患者生体における前記基準位置を示す複数のマーカを含む画像であり、
前記照合部は、
　　前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とを照合し、
前記画像調整部は、
　　前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とが一致するように、前記三次元シミュレーション画像の方向を調整し、
前記出力部は、
　　前記三次元シミュレーション画像および前記二次元画像を出力することを特徴とする。
　本発明の骨部手術の支援方法は、
診断画像取得工程、照合工程、画像調整工程、および出力工程を含み、記憶部を使用し、
前記記憶部は、
　　患者の骨患部に対する術前計画の三次元シミュレーション画像を記憶し、
　　前記三次元シミュレーション画像は、前記患者生体における基準位置を示す複数のマーカと前記骨患部とを含む術前画像から生成された画像であり、
前記診断画像取得工程は、
　　術中の前記患者の骨患部の二次元画像を取得し、
　　前記二次元画像は、前記患者生体における前記基準位置を示す複数のマーカを含む画像であり、
前記照合工程は、
　　前記記憶部に記憶された前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とを照合し、
前記画像調整工程は、
　　前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とが一致するように、前記三次元シミュレーション画像の方向を調整し、
前記出力工程は、
　　前記三次元シミュレーション画像および前記二次元画像を出力することを特徴とする。
　本発明のプログラムは、前記本発明の骨部手術の支援方法をコンピュータに実行させることを特徴とする。
　本発明の記録媒体は、前記本発明のプログラムを記録したコンピュータ読み取り可能である。
　本発明によれば、術前計画の三次元シミュレーション画像と、術中に撮影した骨患部の二次元画像とを、それぞれに表わされている骨患部の方向が一致するように、ディスプレイに表示できる。つまり、三次元と二次元という画像の形式の違い、術前の画像と術中の画像という骨患部の状態の違いがあるにもかかわらず、前記複数のマーカ間の位置関係から、術中の二次元画像と前記骨患部の方向が一致するように、前記術前に計画した三次元画像を表示できる。このため、手術中に、医師が簡便に術前計画に沿った骨部手術を行うことを支援できる。そして、術前計画に沿った手術によって、前述のような骨癒合不全や合併症等の発生を抑制できるため、本発明は、医療分野において極めて有用な技術である。
図１は、本発明の支援装置の一例を示すブロック図である。 図２は、本発明の支援装置のハードウエア構成の例を示すブロック図である。 図３は、手関節モデルの三次元骨モデル画像および二次元画像であり、（Ａ）は、後前像、（Ｂ）は、側面橈側像である。 図４は、前記三次元骨モデル画像におけるマーカ間の距離と前記二次元画像におけるマーカ間の距離との誤差を示すグラフである。
　本発明の支援装置において、例えば、前記照合部は、さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とを照合し、前記画像調整部は、さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とが一致するように、前記三次元シミュレーション画像の大きさを調整する。
　本発明の支援装置において、例えば、前記画像調整部は、前記三次元シミュレーション画像の方向および大きさを調整し、前記出力部は、前記方向および大きさを調整した前記三次元シミュレーション画像と、前記二次元画像とを、それぞれの対応するマーカの位置が一致したオーバーレイ表示または個別表示となるように出力する。
　本発明の支援装置は、例えば、前記術中の二次元画像が、Ｘ線透視画像、三次元画像の投影像、または前記投影像の輪郭線画像である。
　本発明の支援装置は、例えば、前記三次元シミュレーション画像が、前記骨患部の整復位と前記整復位を固定する固定材の設置位置とを示す三次元シミュレーション画像である。
　本発明の支援方法において、例えば、前記照合工程は、さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とを照合し、前記画像調整工程は、さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とが一致するように、前記三次元シミュレーション画像の大きさを調整する。
　本発明の支援方法において、例えば、前記画像調整工程は、前記三次元シミュレーション画像の方向および大きさを調整し、前記出力工程は、前記方向および大きさを調整した前記三次元シミュレーション画像と、前記二次元画像とを、それぞれの対応するマーカが一致したオーバーレイ表示または個別表示となるように出力する。
　本発明の支援方法は、例えば、前記術中の二次元画像が、Ｘ線透視画像、三次元画像の投影像、または前記投影像の輪郭線画像である。
　本発明の支援方法は、例えば、前記三次元シミュレーション画像が、前記骨患部の整復位と前記整復位を固定する固定材の設置位置とを示す三次元シミュレーション画像である。
　本発明の実施形態について、図面を参照して説明する。本発明は、以下の実施形態には限定されない。各図において、同一部分には、同一符号を付している。各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
　本発明の支援装置および支援方法の一例について、図を用いて説明する。図１は、本実施形態の支援装置の一例を示すブロック図である。支援装置１は、記憶部１０、診断画像取得部１１、照合部１２、画像調整部１３、および出力部１４を含む。支援装置１は、例えば、さらに、ディスプレイ等の表示部１５を備えてもよいし、出力部１４を介して、外部の表示部と接続できてもよい。以下の説明において、支援装置１が表示部１５を備える例をあげて説明するが、これには制限されず、表示部１５は、外部の表示部に読み替え可能である。支援装置１は、例えば、支援システムともいう。支援装置１は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。
　前記通信回線網は、特に制限されず、公知の通信回線網を使用でき、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local　Area　Network）、ＷｉＦｉ（Wireless　Fidelity）等があげられる。
　記憶部１０は、患者の骨患部に対する術前計画の三次元シミュレーション画像１０１を記憶する。前記三次元シミュレーション画像は、前記患者生体における基準位置を示す複数のマーカと前記骨患部とを含む術前画像から生成された画像である。
　記憶部１０は、さらに、前記患者の識別情報を記憶してもよく、前記患者の識別情報に紐付けて、三次元シミュレーション画像１０１が記憶されてもよい。前記患者の識別情報は、例えば、氏名、年齢、性別、病状、治療計画、手術計画等である。
　ここで、術前計画の三次元シミュレーション画像について説明する。骨部手術を行う場合、術前に、患者の骨患部の画像に基づいて、例えば、前記骨患部の整復位、および前記整復位を固定する固定材の設置位置を、シミュレーションし、それを三次元シミュレーション画像として生成する。前記三次元シミュレーション画像の生成は、公知技術により行うことができ、前記三次元シミュレーション画像は、一般的に、三次元の術前計画画像といわれる。
　前記三次元シミュレーション画像は、例えば、以下のようにして生成できる。患者の骨患部について、ＣＴ（Computed Tomography：コンピュータ断層撮影）等の撮影を行うことで、前記骨患部の複数の断層画像が得られる。これらの断層画像から、コンピュータ上で、前記骨患部の三次元画像が再構成できる。さらに、コンピュータ上で、再構成した骨患部の前記三次元画像に対して、手術によって修復される前記骨患部の整復位と、その整復位を固定するための前記固定材の設置位置とを、表示することにより、前記三次元シミュレーション画像が得られる。前記三次元シミュレーション画像の取得は、例えば、市販のソフトを利用でき、具体例として、商品名ＺｅｄＶｉｅｗ（ＬＥＸＩ株式会社）等があげられる。
　本発明における前記三次元シミュレーション画像は、前述のように、前記患者の骨患部の他に、前記患者生体における基準位置を示す複数のマーカを含む画像である。前記マーカは、例えば、前記骨患部の三次元画像を再構成するための画像（例えば、前記断層画像）の撮影の際、前記患者生体において、前記骨患部と共に同じ画像に映り込むことができる位置にあるマーカであればよい。前記マーカは、例えば、後述するように、三次元シミュレーション画像と術中の二次元画像との位置関係の照合に利用することから、骨患部の手術によって、前記患者生体において変動しない位置にあることが好ましい。前記三次元シミュレーション画像、および術中診断の前記二次元画像におけるマーカは、参照点ともいう。
　前記マーカは、例えば、前記患者の体表等に設置されたマークでもよいし、前記患者の生体における構造が特徴的な部位でもよい。前者の場合、例えば、前記患者の体表に対して、直接、マーカとなるシールを貼付してもよいし、ペンで印を記入してもよいし、表面にマーカがプリントされた装着物（例えば、サポーター、マスク、手袋、ベルト等）を患者に装着させてもよい。後者の場合、例えば、骨患部以外の構造が特徴的な関節部等があげられる。前記設置するマーカは、例えば、ＱＲコード（登録商標）等の二次元コードでもよい。
　前記骨患部に対するマーカの数は、特に制限されず、２つ以上の複数であればよく、具体例としては、２～１０、２～５、２～４、２～３である。前記マーカは、例えば、手術対象の骨患部を中心として、周囲に点在するように位置していることが好ましい。前記マーカは、例えば、それぞれが判別可能であり、具体例として、例えば、画像において形状、色、大きさ等で判別でき、また、例えば、画像中の生体における位置によっても判別できる。
　診断画像取得部１１は、患者の骨患部の術中診断の二次元画像を取得する。前記術中診断の二次元画像は、前記患者生体における前記基準位置を示す複数のマーカを含む画像である。前記二次元画像は、手術室内において、術中に取得された骨患部の二次元画像であればよく、その種類は特に制限されない。診断画像取得部１１は、例えば、それ自体が、撮像により前記二次元画像を生成してもよいし、外部機器での撮像により生成された前記二次元画像を、前記外部機器との通信により前記外部機器から取得してもよい。前記二次元画像は、例えば、記憶部１０において、例えば、前記患者の識別情報に紐付けて、前記三次元シミュレーション画像と共に記憶されてもよい。
　前記二次元画像は、例えば、Ｘ線透視画像等があげられる。前記Ｘ線透視画像は、例えば、手術室内において、術中に、Ｘ線透視装置等を用いて取得できる。
　術中に前記骨患部の三次元画像を撮像した場合は、例えば、前記三次元画像に基づいて、前記三次元画像の投影像、前記投影像の輪郭線画像、ＤＲＲ（Digitally Reconstructed Radiograph：ディジタル再構成Ｘ線撮影像）画像等を生成し、これらを前記二次元画像として取得してもよい。前記三次元画像の投影像は、例えば、前記三次元画像を平面に投影した画像であり、前記輪郭線画像は、例えば、前記投影像の輪郭を抽出して生成される、輪郭線で表される画像である。前記ＤＲＲ画像は、例えば、前記ＣＴ装置等を用いて取得される三次元画像から、二次元のＤＲＲ画像に再構成することによって取得できる。この場合、支援装置１は、例えば、さらに、再構成部を備えてもよく、前記再構成部は、例えば、前記ＤＲＲ画像生成部ともいう。具体的には、例えば、診断画像取得部１１が、例えば、前記三次元画像を取得し、再構成部１４が、前記三次元画像を二次元のＤＲＲ画像に再構成し、このＤＲＲ画像を術中診断の前記二次元画像として、診断画像取得部１１が取得してもよい。
　本発明における術中診断の前記二次元画像は、前述のように、前記患者の骨患部の他に、前記患者生体における基準位置を示す複数のマーカを含む画像である。前記マーカは、例えば、術前計画の前記三次元シミュレーション画像における説明を援用できる。支援装置１は、後述するように、患者の骨患部の手術中に使用され、前記三次元シミュレーション画像と術中の二次元画像との間での前記マーカの関係を照合する。このため、前記患者の生体において、術前計画の前記三次元シミュレーション画像の撮像時と同じ個所に、前記複数のマーカを設定し、前記術中の二次元画像を撮像する。
　照合部１２は、前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とを照合する。前記複数のマーカは、前述のように、例えば、前記骨患部の手術によって、前記患者生体において変動しない位置に設定されるため、実際の患者生体において、術前と術中とで、前記複数のマーカ間の位置関係は、基本的に一致する。このため、照合部１２により、前記三次元シミュレーション画像における前記複数のマーカ間の位置関係と、前記二次元画像における前記複数のマーカ間の位置関係とを照合すれば、例えば、両画像を出力して表示部１５に表示した際に、前記二次元画像に対して、前記三次元シミュレーション画像の向きが一致するか否かが判別できる。つまり、例えば、前記マーカ間の位置関係が一致すれば、表示部１５に表示された際に、両画像における骨患部の方向（傾きともいう）は一致すると判定でき、前記マーカ間の位置関係が不一致であれば、両画像における骨患部の方向が不一致であると判定できる。後者の場合、その不一致の情報から、例えば、前記二次元画像における前記複数のマーカ間の位置関係に対して、前記三次元シミュレーションの投影図における前記複数のマーカ間の位置関係が、どの方向にどの程度傾いているかも判定できる。
　前記各マーカの位置は、例えば、座標で表わすことができる。前記マーカ間の位置関係は、例えば、座標における位置関係であり、例えば、マーカ間の距離の情報を含んでもよい。三次元画像における様々な位置は、通常、三次元座標（例えば、三次元直行座標、または三次元極座標）で表される。一方、本発明において、支援装置１は、術中、出力部１４から情報を出力し、表示部１５に、術前計画の前記三次元シミュレーション画像と、術中診断の前記二次元画像とを表示して、手術の支援が図られる。このため、前記三次元シミュレーション画像については、表示部１５において表示された状態における複数のマーカ間の位置関係が使用され、術中診断の前記二次元画像の位置関係と照合される。前者と後者の各マーカの位置は、例えば、表示部１５において表示された状態について、二次元座標で表わすことができる。
　そして、照合部１２により不一致と判定されると、画像調整部１３は、前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とが一致するように、前記三次元シミュレーション画像の方向を調整する。
　前記三次元シミュレーション画像の方向の調整は、例えば、前記三次元シミュレーション画像を任意の軸方向に回転させることで行うことができ、具体的には、例えば、前述したような座標を利用することができる。前記三次元シミュレーション画像の方向を調整する場合、例えば、前記二次元画像における各マーカの座標を指定し、前記三次元シミュレーション画像における各マーカの座標を、前記指定した座標に移動させることで、前記二次元画像における位置関係と一致させることができる。
　出力部１４は、前記三次元シミュレーション画像および前記二次元画像を出力する。出力部１４は、例えば、支援装置１が表示部１５を有する場合、前述のように、表示部１５に前記画像を出力し、表示部１５に前記画像を表示させてもよいし、外部装置に前記画像を出力してもよい。前記外部装置は、特に制限されず、例えば、前記表示部を有する装置であり、具体例として、ＰＣ（パーソナルコンピュータ）、タブレット等の端末があげられる。前記外部装置は、例えば、術中、術者等の医療担当者が確認可能なように、同じ手術室内に設置される。
　出力部１４は、例えば、前記二次元画像を取得と同時に出力して、表示部１５に前記二次元画像を表示させてもよい。また、出力部１４は、例えば、記憶部１０に記憶された照合前の前記三次元シミュレーション画像と、術中の前記二次元画像とを出力して、表示部１５に表示させ、照合部１２および画像調整部１３で処理しながら、表示部１５に表示されている前記三次元シミュレーション画像を回転させ、表示部１５において、前記二次元画像と前記三次元シミュレーション画像とを、前記複数のマーカ間の位置関係が一致するように表示してもよい。また、出力部１４は、例えば、前記三次元シミュレーション画像と前記二次元画像とがオーバーレイ表示または個別表示となるように、出力してもよい。
　本発明によれば、例えば、出力部１４から出力され、支援装置１の表示部１５または外部装置の表示部において、前記三次元シミュレーション画像における術前計画の骨患部と前記二次元画像における実際の骨患部とが同じ方向で表示されるため、術中、リアルタイムで、術者が実際の骨患部の状態と術前計画の修復状態とを容易に比較でき、正確な手術を行うことができる。
　また、支援装置１において、さらに、照合部１２は、例えば、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とを照合してもよく、画像調整部１３は、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とが一致するように、前記三次元シミュレーション画像の大きさを調整してもよい。この形態によれば、さらに、例えば、前記三次元シミュレーション画像における術前計画の骨患部と前記二次元画像における実際の骨患部とが、方向だけでなく同じサイズで表示されるため、術中、リアルタイムで、術者が実際の骨患部の状態と術前計画の修復状態とをさらに容易に比較でき、さらに正確な手術を行うことができる。
　支援装置１において、前述のように、出力部１４から前記二次元画像と前記三次元シミュレーション画像とをオーバーレイ表示または個別表示となるように出力してもよい。この場合、支援装置１は、画像調整部１３により、例えば、前記三次元シミュレーション画像の方向および大きさを調整し、出力部１４により、前記方向および大きさを調整した前記三次元シミュレーション画像と、前記二次元画像とを、それぞれの対応するマーカが一致したオーバーレイ表示または個別表示となるように出力することが好ましい。
　つぎに、図２に、支援装置１のハードウエア構成のブロック図を例示する。支援装置１は、例えば、ＣＰＵ（中央処理装置）２０、メモリ２１、バス２２、入力装置２３、ディスプレイ２４、通信デバイス２５、記憶装置２６等を有する。支援装置１の各部は、それぞれのインターフェース（Ｉ／Ｆ）により、バス２２を介して、相互に接続されている。
　ＣＰＵ２０は、支援装置１の全体の制御を担うプロセッサであり、ＣＰＵには限定されず、他のプロセッサでもよい。支援装置１において、ＣＰＵ２０により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。
　支援装置１は、例えば、バス２２に接続された通信デバイス２５により、通信回路網に接続でき、前記通信回路網を介して、外部機器とも接続できる。前記外部機器は、特に制限されず、例えば、前述の通りである。支援装置１と前記外部機器との接続方式は、特に制限されず、例えば、有線による接続でもよいし、無線による接続でもよい。前記有線による接続は、例えば、コードによる接続でもよいし、通信回線網を利用するためのケーブル等による接続でもよい。前記無線による接続は、例えば、通信回線網を利用した接続でもよいし、無線通信を利用した接続でもよい。前記通信回線網は、特に制限されず、例えば、公知の通信回線網を使用でき、前述と同様である。支援装置１と前記外部機器との接続形式は、例えば、ＵＳＢ等であってもよい。
　メモリ２１は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ２０が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々のプログラム２７を、メモリ２１が読み込み、ＣＰＵ２０は、メモリ２１からデータを受け取って、プログラム２７を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ２１は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
　記憶装置２６は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置２６は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置２６は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）も例示できる。記憶装置２６には、例えば、前述のように、プログラム２７が格納され、前述のように、ＣＰＵ２０を実行させる際、メモリ２１が、記憶装置２６からプログラム２７を読み込む。また、記憶装置２６は、例えば、三次元シミュレーション画像１０１、術中診断の前記二次元画像等を記憶する。
　支援装置１は、例えば、さらに、入力装置２３、ディスプレイ２４を有してもよい。入力装置２３は、例えば、スキャナー、タッチパネル、キーボード等である。ディスプレイ２４は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等があげられる。
　つぎに、本実施形態の支援方法について説明する。本実施形態の支援方法は、例えば、図１および図２に示す支援装置１を用いて実施できる。なお、本実施形態の支援方法は、これらの図面に示す支援装置１の使用には限定されない。
　本実施形態の支援方法は、前述のように、診断画像取得工程、照合工程、画像調整工程、および出力工程を含み、記憶部を使用する。前記記憶部は、例えば、支援装置１の記憶部１０であり、術前計画の前記三次元シミュレーション画像等を記憶する。
　前記診断画像取得工程は、術中の前記患者の骨患部の二次元画像を取得する工程であり、例えば、支援装置１の診断画像取得部１１により実行できる。
　前記照合工程は、記憶部１０に記憶された前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とを照合する工程であり、例えば、支援装置１の照合部１２により実行できる。
　前記画像調整工程は、前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とが一致するように、前記三次元シミュレーション画像の方向を調整する工程である。前記工程は、例えば、支援装置の画像調整部１３により実行できる。
　前記出力工程は、前記三次元シミュレーション画像および前記二次元画像を出力する工程であり、例えば、支援装置１の出力部１４により実行できる。出力部１４は、例えば、ディスプレイ２４等の表示部１５でもよいし、前記外部装置に出力するための通信デバイス２５でもよい。
　本発明は、骨部手術における医師の支援に使用できる。前記骨部手術の種類は、特に制限されず、また、対象部位も、特に制限されない。前記手術の種類は、例えば、骨折等に対する骨接合術、経皮的鋼線刺入固定術、関節脱臼骨折整復固定術、切断四肢再接合術、創外固定術等、脊椎手術、変形性関節症等に対する人工関節置換術等があげられ、前記対象部位は、例えば、関節（肩、肘、手、指節、股、膝、足、足趾、脊椎等）があげられる。前記固定材の種類も、特に制限されず、プレート、ボルト、髄内釘、ケーブル等があげられる。
［実施形態２］
　本実施形態のプログラムは、前記実施形態１の支援方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
［実施例１］
　術前計画の三次元シミュレーション画像の代替画像として、手関節モデルの三次元画像を使用し、前記三次元画像と、前記手関節モデルの二次元画像（Ｘ線透視画像）との照合を行い、マーカ間の位置関係についての相関を確認した。
　前記手関節モデルの表皮に対して、親指の付け根、小指の付け根、親指側の手首側面、小指側の手首側面の四か所に、マーカ（マーカＮｏ．１、２、３、４）を設置した。本試験においては、前記マーカとして金属球を、前記手関節モデル表面に接着剤で固定することにより設置した。
　そして、前記手関節モデルのＣＴ撮影によりＤＩＣＯＭデータを取得し、このデータから前記手関節モデルの三次元骨モデル画像を生成した。一方、同じ前記手関節モデルをＸ線透視装置で撮影し、二次元画像としてＸ線透視画像（後前面、前後面、側面尺側、側面橈側）を生成した。前記三次元骨モデル画像と前記二次元画像とを、手関節モデルの方向が一致するようにディスプレイに表示した。そして、ディスプレイ上の前記三次元骨モデル画像および前記二次元画像におけるマーカ間の距離を測定し、前者の距離と後者の距離との誤差を算出した。これらの結果を、図３および図４に示す。
　図３は、前記手関節モデルの前記三次元骨モデル画像と前記二次元画像とを示す写真であり、（Ａ）は、後前像、（Ｂ）は、側面橈側像あり、画像中において、１、２、３、４の数字の近傍における丸印は、マーカである。
　図４は、前記三次元骨モデル画像におけるマーカ間の距離と前記二次元画像におけるマーカ間の距離との誤差を示すグラフである。図４のグラフは、後前面、前後面、側面尺側、側面橈側のそれぞれにおける誤差を示し、各バーは、左から、マーカ１－２間の距離の誤差、マーカ２－３間の距離の誤差、マーカ３－４間の距離の誤差、マーカ４－1間の距離の誤差である。
　図３および図４に示すように、前記三次元骨モデル画像におけるマーカ間の距離と前記二次元画像におけるマーカ間の距離との誤差は、後前面像の場合、平均１．１±０．３ｍｍ、前後面像の場合、平均１．６±０．６ｍｍであり、１．９－３．０％程度であった。
　このように、同じ位置にマーカを配置した撮影により得られた前記三次元骨モデル画像と前記二次元画像とを比較したところ、複数のマーカ間の位置関係が非常に高い相関性を示すことが確認された。このため、術前計画の三次元シミュレーション画像と術中診断の二次元画像とを前記表示部に表示する際、それぞれ画像におけるマーカ間の位置関係を一致させる処理を行うことで、前記三次元シミュレーション画像における骨患部と、前記二次元画像における骨患部の方向、さらに任意で大きさ等を揃えて、両方の画像を表示できることがわかった。これにより、術中、リアルタイムで、術前計画との対比が可能になり、より精度の高い手術が可能となる。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は、上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２０年３月９日に出願された日本出願特願２０２０－４０２１２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、術前計画の三次元シミュレーション画像と、術中に撮影した骨患部の二次元画像とを、それぞれに表わされている骨患部の方向が一致するように、ディスプレイに表示できる。つまり、三次元と二次元という画像の形式の違い、術前の画像と術中の画像という骨患部の状態の違いがあるにもかかわらず、前記複数のマーカ間の位置関係から、術中の二次元画像と前記骨患部の方向が一致するように、前記術前の三次元画像を表示できる。このため、手術中に、医師が簡便に術前計画に沿った骨部手術を行うことを支援できる。そして、術前計画に沿った手術によって、前述のような骨癒合不全や合併症等の発生を抑制できるため、本発明は、医療分野において極めて有用な技術である。
１　　　支援装置
１０　　記憶部
１１　　診断画像取得部
１２　　照合部
１３　　画像調整部
１４　　出力部
１５　　表示部

Claims (12)

  1. 記憶部、診断画像取得部、照合部、画像調整部、および出力部を含み、
    前記記憶部は、
    　　患者の骨患部に対する術前計画の三次元シミュレーション画像を記憶し、
    　　前記三次元シミュレーション画像は、前記患者生体における基準位置を示す複数のマーカと前記骨患部とを含む術前画像から生成された画像であり、
    前記診断画像取得部は、
    　　術中の前記患者の骨患部の二次元画像を取得し、
    　　前記二次元画像は、前記患者生体における前記基準位置を示す複数のマーカを含む画像であり、
    前記照合部は、
    　　前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とを照合し、
    前記画像調整部は、
    　　前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とが一致するように、前記三次元シミュレーション画像の方向を調整し、
    前記出力部は、
    　　前記三次元シミュレーション画像および前記二次元画像を出力する、ことを特徴とする骨部手術の支援装置。
  2. 前記照合部は、
    　　さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とを照合し、
    前記画像調整部は、
    　　さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とが一致するように、前記三次元シミュレーション画像の大きさを調整する、請求項１に記載の支援装置。
  3. 前記画像調整部は、
    　　前記三次元シミュレーション画像の方向および大きさを調整し、
    前記出力部は、
    　　前記方向および大きさを調整した前記三次元シミュレーション画像と、前記二次元画像とを、それぞれの対応するマーカが一致したオーバーレイ表示または個別表示となるように出力する、請求項２に記載の支援装置。
  4. 前記術中の二次元画像が、Ｘ線透視画像、三次元画像の投影像、または前記投影像の輪郭線画像である、請求項１から３のいずれか一項に記載の支援装置。
  5. 前記三次元シミュレーション画像が、前記骨患部の整復位と前記整復位を固定する固定材の設置位置とを示す三次元シミュレーション画像である、請求項１から４のいずれか一項に記載の支援装置。
  6. 診断画像取得工程、照合工程、画像調整工程、および出力工程を含み、記憶部を使用し、
    前記記憶部は、
    　　患者の骨患部に対する術前計画の三次元シミュレーション画像を記憶し、
    　　前記三次元シミュレーション画像は、前記患者生体における基準位置を示す複数のマーカと前記骨患部とを含む術前画像から生成された画像であり、
    前記診断画像取得工程は、
    　　術中の前記患者の骨患部の二次元画像を取得し、
    　　前記二次元画像は、前記患者生体における前記基準位置を示す複数のマーカを含む画像であり、
    前記照合工程は、
    　　前記記憶部に記憶された前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とを照合し、
    前記画像調整工程は、
    　　前記三次元シミュレーション画像における複数のマーカ間の位置関係と、前記二次元画像における複数のマーカ間の位置関係とが一致するように、前記三次元シミュレーション画像の方向を調整し、
    前記出力工程は、
    　　前記三次元シミュレーション画像および前記二次元画像を出力する、
    ことを特徴とする骨部手術の支援方法。
  7. 前記照合工程は、
    　　さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とを照合し、
    前記画像調整工程は、
    　　さらに、前記三次元シミュレーション画像における複数のマーカ間の距離関係と、前記二次元画像における複数のマーカ間の距離関係とが一致するように、前記三次元シミュレーション画像の大きさを調整する、請求項６に記載の支援方法。
  8. 前記画像調整工程は、
    　　前記三次元シミュレーション画像の方向および大きさを調整し、
    前記出力工程は、
    　　前記方向および大きさを調整した前記三次元シミュレーション画像と、前記二次元画像とを、それぞれの対応するマーカが一致したオーバーレイ表示または個別表示となるように出力する、請求項７に記載の支援方法。
  9. 前記術中の二次元画像が、Ｘ線透視画像、三次元画像の投影像、または前記投影像の輪郭線画像である、請求項６から８のいずれか一項に記載の支援方法。
  10. 前記三次元シミュレーション画像が、前記骨患部の整復位と前記整復位を固定する固定材の設置位置とを示す三次元シミュレーション画像である、請求項６から９のいずれか一項に記載の支援方法。
  11. 請求項６から１０のいずれか一項に記載の骨部手術の支援方法をコンピュータに実行させることを特徴とするプログラム。
  12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2021/006425 2020-03-09 2021-02-19 骨部手術の支援装置、支援方法、プログラム、および記録媒体 WO2021182077A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020040212A JP2021137500A (ja) 2020-03-09 2020-03-09 骨部手術の支援装置、支援方法、プログラム、および記録媒体
JP2020-040212 2020-03-09

Publications (1)

Publication Number Publication Date
WO2021182077A1 true WO2021182077A1 (ja) 2021-09-16

Family

ID=77667158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006425 WO2021182077A1 (ja) 2020-03-09 2021-02-19 骨部手術の支援装置、支援方法、プログラム、および記録媒体

Country Status (2)

Country Link
JP (1) JP2021137500A (ja)
WO (1) WO2021182077A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236936A1 (en) * 2017-06-19 2018-12-27 Mahfouz Mohamed R SURGICAL HIP NAVIGATION USING FLUOROSCOPY AND MONITORING SENSORS
JP2019181213A (ja) * 2018-04-16 2019-10-24 キヤノンメディカルシステムズ株式会社 画像処理装置、ｘ線診断装置及びプログラム
JP2019208737A (ja) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 手術支援用マーカー及び手術支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236936A1 (en) * 2017-06-19 2018-12-27 Mahfouz Mohamed R SURGICAL HIP NAVIGATION USING FLUOROSCOPY AND MONITORING SENSORS
JP2019181213A (ja) * 2018-04-16 2019-10-24 キヤノンメディカルシステムズ株式会社 画像処理装置、ｘ線診断装置及びプログラム
JP2019208737A (ja) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 手術支援用マーカー及び手術支援システム

Also Published As

Publication number Publication date
JP2021137500A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US11311341B2 (en) Augmented reality guided fitting, sizing, trialing and balancing of virtual implants on the physical joint of a patient for manual and robot assisted joint replacement
Zheng et al. Computer-assisted orthopedic surgery: current state and future perspective
US8257360B2 (en) Determining femoral cuts in knee surgery
CA3049662A1 (en) Optical guidance for surgical, medical, and dental procedures
US20160117817A1 (en) Method of planning, preparing, supporting, monitoring and/or subsequently checking a surgical intervention in the human or animal body, apparatus for carrying out such an intervention and use of the apparatus
AU2014209244B2 (en) A system and process of utilizing image data to place a member
US20150227679A1 (en) Method for generating a graphical 3d computer model of at least one anatomical structure in a selectable pre-, intra-, or postoperative status
US20170215966A1 (en) Surgical assistance apparatus, program, storage medium, and surgical assistance method
GB2534359A (en) System and method for patient implant alignment
WO2015103712A1 (en) Method for generating a 3d reference computer model of at least one anatomical structure
US11464569B2 (en) Systems and methods for pre-operative visualization of a joint
US20220211387A1 (en) Patient-specific surgical methods and instrumentation
CN107106239A (zh) 外科规划和方法
US20220183760A1 (en) Systems and methods for generating a three-dimensional model of a joint from two-dimensional images
US11803969B2 (en) Intraoperative imaging and virtual modeling methods, systems, and instrumentalities for fracture reduction
US11986251B2 (en) Patient-specific osteotomy instrumentation
CN114730484A (zh) 根据二维图像数据的三维选择性骨匹配
US11478207B2 (en) Method for visualizing a bone
WO2021182077A1 (ja) 骨部手術の支援装置、支援方法、プログラム、および記録媒体
JP2020099533A (ja) 骨部手術の支援装置、支援方法、プログラム、および記録媒体
Król et al. Preoperative planning and intraoperative navigation in the reconstructive craniofacial surgery
US20230310013A1 (en) Apparatus, system, and method for patient-specific instrumentation
US20240138917A1 (en) Apparatus for simulating medical procedure performing cervical artificial disc surgery and method thereof
Masjedi et al. Protocol for evaluation of robotic technology in orthopedic surgery
Mollard et al. Computer assisted orthognathic surgery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767497

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07.12.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 21767497

Country of ref document: EP

Kind code of ref document: A1