JP7654079B2 - 被検者の身体部分の解剖学的ランドマークを提供するための方法及びシステム - Google Patents

被検者の身体部分の解剖学的ランドマークを提供するための方法及びシステム Download PDF

Info

Publication number
JP7654079B2
JP7654079B2 JP2023530740A JP2023530740A JP7654079B2 JP 7654079 B2 JP7654079 B2 JP 7654079B2 JP 2023530740 A JP2023530740 A JP 2023530740A JP 2023530740 A JP2023530740 A JP 2023530740A JP 7654079 B2 JP7654079 B2 JP 7654079B2
Authority
JP
Japan
Prior art keywords
image
imaging sensor
landmark
spatial orientation
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023530740A
Other languages
English (en)
Other versions
JP2023552100A (ja
Inventor
ダルデンヌ,ギョーム
ルティシエ,オエル
オゴール,ジェローム
スティンデル,エリック
Original Assignee
ソントル オスピタリエ レジョナル エ ウニベルシテール ド ブレスト
ユニバーシテ デ ブルターニュ オキシデンタル
インセルム(インスティチュート ナショナル デ ラ サンテ エ デ ラ リシェルシェ メディカル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソントル オスピタリエ レジョナル エ ウニベルシテール ド ブレスト, ユニバーシテ デ ブルターニュ オキシデンタル, インセルム(インスティチュート ナショナル デ ラ サンテ エ デ ラ リシェルシェ メディカル) filed Critical ソントル オスピタリエ レジョナル エ ウニベルシテール ド ブレスト
Publication of JP2023552100A publication Critical patent/JP2023552100A/ja
Application granted granted Critical
Publication of JP7654079B2 publication Critical patent/JP7654079B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Clinical applications
    • A61B8/0875Clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • A61B90/94Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Prostheses (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、画像解析の分野に属する。特に、本発明は、整形外科手術の計画作成のために用いられる被検者の身体部分の解剖学的ランドマークを提供するための術前画像解析に関する。
関節置換術(Replacement arthroplasty又はjoint replacement surgery)は、関節炎又は機能不全を起こした関節表面を整形外科用プロテーゼで置き換える、整形外科手術の手技である。例えば、全肩関節置換術は、病的な関節を関節窩部と上腕骨部から構成されるプロテーゼに置き換えることを目的としている。
これらのプロテーゼは現在、どんな患者であっても同じ基準に従って配置及び寸法設定される。しかしながら、特に肩の場合、毎日の肢位の違いがインプラントの術後の安定性に大きな影響を与える。例えば、肩甲骨は、患者の機能的バランスに応じて異なる肢位をとる可能性があり、これらの違いは、上腕骨インプラントと関節窩インプラントとの間の相対的な機能的配向、ひいては術後の可能な可動域に影響を与える可能性がある。結果として、プロテーゼをすべての患者について同じ様態で配置することは適切ではないと思われる。
したがって、術後のプロテーゼの可動域を最適化するべく所与の患者にとって最良のプロテーゼ位置を特定するためには、計画作成中に機能パラメータを考慮することが不可欠である。
現在、日常の機能的肢位、例えば、立位又は座位での関節プロテーゼの可動域を推定するための、シンプルで信頼性のある正確で非侵襲的なソリューションは存在しない。
本発明は、従来技術の欠点を伴わずにこれらの機能パラメータを推定するための方法を提案する。
本発明は、被検者の身体部分の解剖学的ランドマークを提供するためのコンピュータで実施される方法であって、
- 超音波デバイス、少なくとも1つのフィデューシャルマーカ、及びイメージングセンサを含む取得システムによって事前に取得された測定値セットを受信するステップと、
前記測定値セットは、
○ 第1のランドマークを含んでいる少なくとも1つの第1の超音波画像、及びイメージングセンサによって第1の超音波画像と同時に取得された少なくとも1つの第1の画像、
○ 第2のランドマークを含んでいる少なくとも1つの第2の超音波画像、及び第2の超音波画像と同時に取得された少なくとも1つの第2の画像、
○ 第3のランドマークを含んでいる少なくとも1つの第3の超音波画像、及び第3の超音波画像と同時に取得された少なくとも1つの第3の画像、
○ 被検者の身体部分の少なくとも一部を含んでいる少なくとも1つの第4の画像、
を含み、第1、第2、及び第3の画像は、少なくとも1つのフィデューシャルマーカを含んでおり、
- 各超音波画像について、
○ 関連する画像内のフィデューシャルマーカを使用して、イメージングセンサの参照系における超音波画像の位置及び空間的方向を計算するステップと、
○ 超音波画像内の関連するランドマークの位置を識別し、超音波画像の位置及び空間的方向を使用して、イメージングセンサの参照系におけるランドマークの位置を計算するステップと、
- イメージングセンサの参照系における横断面の空間的方向を計算するステップと、
- イメージングセンサの参照系における矢状面の空間的方向を計算するステップと、
- 横断面及び矢状面の位置及び空間的方向を使用して、イメージングセンサの参照系における冠状面の位置及び空間的方向を計算するステップと、
- イメージングセンサの参照系における少なくとも第1、第2、及び第3のランドマークの位置を含む被検者の身体部分の解剖学的ランドマークと横断面、矢状面、及び冠状面の空間的方向を出力するステップと、
を含む方法に関する。
有利なことに、本方法は、イメージングセンサとフィデューシャルマーカによって追跡可能な超音波デバイスのみを使用することにより、非侵襲的で実装が容易で低放射の様態で、1つの同じ参照系における被検者の身体部分の解剖学的ランドマークの位置及び空間的方向と3つの解剖学的平面に関する重要な情報を得ることができる。実際、例えば、CTスキャン、X線撮影、又はMRIなどの他の標準的なイメージング技術を使用する他の方法はすべて、高価であり、扱いにくいマシンと専用の臨床環境を必要とすると同時に、(CTスキャン及びX線撮影のために)患者を電離放射線に曝すことになる。さらに、少なくとも3つの超音波画像を使用して少なくとも3つの解剖学的ランドマークの位置を特定することにより、少なくとも3つの解剖学的ランドマークの三次元空間位置を正確な様態で入手することができる。これは、以下のステップ、特にイメージングセンサの参照系における身体部分のデジタルモデルの位置合わせステップを適正に実施するために重要である。
一実施形態によれば、少なくとも1つのフィデューシャルマーカは、超音波デバイスに厳密に固定される。
一実施形態によれば、イメージングセンサの参照系における矢状面の空間的方向の計算は、第4の画像に含まれている身体部分の一部を解析することによって行われる。
一実施形態によれば、出力するステップは、第1、第2、及び第3のランドマークを含むアンサンブルの、イメージングセンサの参照系における空間的方向を出力することをさらに含む。この情報は、本質的に、イメージングセンサの参照系における第1、第2、及び第3のランドマークの位置から得られる。
一実施形態によれば、身体部分は患者の肩である。
一実施形態によれば、第1のランドマークは肩峰角であり、第2のランドマークは肩甲棘三角であり、第3のランドマークは肩甲骨の下角である。
一実施形態によれば、この方法は、イメージングセンサの参照系における超音波画像の位置及び空間的方向を計算するために、超音波デバイスとフィデューシャルマーカとの間の事前定義された空間変換を入力として受信するステップをさらに含む。
一実施形態によれば、フィデューシャルマーカは、内部パターンを有する正方形ベースのフィデューシャルマーカである。
一実施形態によれば、イメージングセンサは、加速度計をさらに含み、この方法は、
- 少なくとも1つの加速度計測定値を入力として受信するステップと、
- 加速度計測定値の垂直ベクトルを使用して、イメージングセンサの参照系における横断面の空間的方向を計算するステップと、
をさらに含む。
一実施形態によれば、矢状面は、機械学習アルゴリズムを使用して第4の画像から得られる。有利なことに、この実施形態は、例えばスマートフォンのカメラなどの任意の標準的なカメラで取得された画像でこの方法を実施することを可能にする。
一実施形態によれば、取得システムは、被検者の胸郭の一部に配置された少なくとも1つの第2のフィデューシャルマーカを含む。第4の画像は、前述の少なくとも1つの第2のフィデューシャルマーカを含む。この実施形態では、矢状面は、前述の少なくとも1つの第2のフィデューシャルマーカを使用して第4の画像から得られる。
一実施形態によれば、イメージングセンサは、深度成分と視覚成分を有する画像を取得するように構成されたレンジイメージングセンサである。この実施形態では、前述のレンジイメージングセンサで少なくとも第4の画像が取得され、身体部分の一部を含んでいる前述の第4の画像の深度成分を使用してイメージングセンサの参照系における矢状面が計算される。有利なことに、この実施形態は、深度情報を直接得ることを可能にし、この方法を実施するための計算時間を削減し、精度を高める。
一実施形態によれば、イメージングセンサは、深度成分を有する画像を取得するように構成されたレンジイメージングセンサであり、前述のレンジイメージングセンサで第1の画像、第2の画像、第3の画像、及び第4の画像が事前に取得され、前述の方法は、
- 身体部分の一部を含んでいる第4の画像の深度成分を使用してイメージングセンサの参照系における矢状面を計算するステップと、
- 第1、第2、及び第3の画像の深度成分を使用してフィデューシャルマーカの位置及び空間的方向を計算することで、超音波デバイスの位置を特定し、イメージングセンサの参照系における超音波画像の位置及び空間的方向を計算するステップと、
を含む。
一実施形態によれば、この方法は、
- 第1、第2、及び第3のランドマークが識別されている被検者の三次元画像から得られた被検者の肩甲骨の骨形態のデジタルモデルを受信するステップと、
- 肩甲骨のデジタルモデルに含まれる各点がイメージングセンサの参照系において既知の位置を有するように、空間変換を適用して肩甲骨のデジタルモデルをイメージングセンサの参照系において位置合わせするステップと、
をさらに含む。
この実施形態は、有利なことに、横になった姿勢での被検者の三次元画像から決定されている被検者の骨形態の詳細なデジタルモデルを、例えば被検者が立っている又は座っている状態での被検者の機能的肢位から取得されたランドマークを使用して、機能的空間的方向及び位置に置き換えることを可能にする。
一実施形態によれば、位置合わせされたデジタルモデルとイメージングセンサの参照系における横断面、矢状面、及び冠状面の空間的方向が、研究される機能的肢位での身体部分の可動域を計算するために使用される。
本発明はさらに、プログラムがコンピュータによって実行されるときに前述の実施形態のいずれか1つに記載の方法のステップをコンピュータに実行させる命令を含むコンピュータプログラム製品に関する。
本発明はさらに、コンピュータによって実行されるときにコンピュータに前述の実施形態のいずれか1つに記載の方法のステップを実行させる命令を含むコンピュータ可読記憶媒体に関する。
本発明はさらに、被検者の身体部分の解剖学的ランドマークを提供するためのシステムであって、
- 超音波デバイス、少なくとも1つのフィデューシャルマーカ、及びイメージングセンサを含む取得システムによって事前に取得された測定値セットを受信するように適合された少なくとも1つの入力部と、
前記測定値セットは、
○ 第1のランドマークを含んでいる少なくとも1つの第1の超音波画像、及びイメージングセンサによって第1の超音波画像と同時に取得された少なくとも1つの第1の画像、
○ 第2のランドマークを含んでいる少なくとも1つの第2の超音波画像、及び第2の超音波画像と同時に取得された少なくとも1つの第2の画像、
○ 第3のランドマークを含んでいる少なくとも1つの第3の超音波画像、及び第3の超音波画像と同時に取得された少なくとも1つの第3の画像、
○ 被検者の身体部分の少なくとも一部を含んでいる少なくとも1つの第4の画像、
を含み、第1、第2、及び第3の画像は、少なくとも1つのフィデューシャルマーカを含んでおり、
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサは、
○ 前記各超音波画像について、
・ 関連する画像内のフィデューシャルマーカを使用して、イメージングセンサの参照系における超音波画像の位置及び空間的方向を計算し、
・ 関連するランドマークの位置を識別し、超音波画像の位置及び空間的方向を使用して、イメージングセンサの参照系におけるランドマークの位置を計算し、
○ イメージングセンサの参照系における横断面の空間的方向を計算し、
○ イメージングセンサの参照系における矢状面の空間的方向を計算し、
○ 横断面及び矢状面の空間的方向を使用して、イメージングセンサの参照系における冠状面の空間的方向を計算する、
ように構成され、
- イメージングセンサの参照系における少なくとも第1、第2、及び第3のランドマークの位置を含む前記被検者の身体部分の解剖学的ランドマークと横断面、矢状面、及び冠状面の空間的方向を提供するように適合された少なくとも1つの出力部と、
を含むシステムに関する。
一実施形態によれば、少なくとも1つのフィデューシャルマーカは、超音波デバイスに厳密に固定される。
一実施形態によれば、プロセッサはさらに、第4の画像に含まれている身体部分の一部を解析することによって、イメージングセンサの参照系における矢状面の空間的方向を計算するように構成される。
取得システムは、被検者に又はその近傍に配置され得る1つ又は複数のさらなるフィデューシャルマーカをさらに含み得る。この場合、一実施形態によれば、第2のフィデューシャルマーカは、被検者の胴体に固定され、第4の画像はそれを含んでいる。次いで、第4の画像に含まれている第2のフィデューシャルマーカが、イメージングセンサの参照系における矢状面の空間的方向を計算するために使用される。代替的に、前記第2のフィデューシャルマーカは、被検者の近傍に配置されてもよい。
一実施形態によれば、少なくとも1つの出力部はさらに、第1、第2、及び第3のランドマークを含むアンサンブルの、イメージングセンサの参照系における空間的方向を出力するように適合される。この情報は、本質的に、イメージングセンサの参照系における第1、第2、及び第3のランドマークの位置から得られる。
一実施形態によれば、身体部分は患者の肩であり、第1のランドマークは肩峰角であり、第2のランドマークは肩甲棘三角であり、第3のランドマークは肩甲骨の下角であり、少なくとも1つのプロセッサはさらに、
- 第1、第2、及び第3のランドマークが識別されている被検者の三次元画像から得られた被検者の肩甲骨の骨形態のデジタルモデルを受信し、
- 肩甲骨のデジタルモデルに含まれる各点がイメージングセンサの参照系において既知の位置を有するように、空間変換を適用して肩甲骨のデジタルモデルをイメージングセンサの参照系において位置合わせする、
ように構成される。
一実施形態によれば、少なくとも1つのプロセッサはさらに、位置合わせされたデジタルモデルとイメージングセンサの参照系における横断面、矢状面、及び冠状面の空間的方向を使用して、研究される肢位での身体部分の可動域を計算するように構成される。
定義
本発明において、以下の用語は以下の意味を有する:
「デジタルモデル」は、三次元の仮想オブジェクトである三次元デジタル(又は仮想)モデルを指す。モデルの位置及び配向は関連するデジタル参照系でわかる。
「プロセッサ」という用語は、本明細書では、ソフトウェアを実行できるハードウェアに限定されず、一般的に処理デバイスを指し、これは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイス(PLD)を含み得る。プロセッサはまた、コンピュータグラフィックス及び画像処理又は他の機能に利用されるかどうかに関係なく、1つ又は複数のグラフィックス処理ユニット(GPU)も包含し得る。さらに、関連する及び/又は結果として得られる機能を実行することを可能にする命令及び/又はデータは、例えば、DVD(デジタルバーサタイルディスク)、RAM(ランダムアクセスメモリ)、又はROM(読出し専用メモリ)などの、集積回路、ハードディスク、CD(コンパクトディスク)、光ディスクなどの任意のプロセッサ可読媒体に格納され得る。命令は、特に、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせに格納され得る。
「参照系」は、ユークリッド空間などの多様体上の点又は他の幾何学的要素の位置を一意に決定するために1つ又は複数の数値又は座標を使用する座標系を指す。
「同時に」は、2つ以上のイベントが同じ時点で発生することを指す。本発明の場合、超音波画像は、イメージングセンサからの画像と同じ時点で取得される。
「被検者」は、哺乳類、好ましくはヒトを指す。本発明の意味において、被検者は、定期的又は頻繁な投薬を必要とする精神的又は身体的障害を有する個体であり得る、或いは、患者、すなわち、医師の診察を受けている人、医療処置を受けている又は受けたことのある人、又は病気の発症を監視されている人であり得る。
「視覚画像」は、センサ(すなわち、カメラ)によって作成されたピクチャを表すm×n×dデータアレイを指し、m×nディメンションは、画像のディメンションを決定し、dディメンションは、画像を表すために用いられるカラーモデルに依存する。ディメンションdは、グレースケールのカラーモデルの場合は1、又は例えばRGB、CMY、RYBなどのカラーモデルの場合は3であり得る。
「深度画像」は、各ピクセル(u,v)がレンジイメージングセンサとオブジェクト(すなわち、被検者)との間の距離に直接対応するデータアレイを指す。
以下の詳細な説明は、図面と併せて読むとよりよく理解されるであろう。例示する目的で、本発明の方法及びシステムは好ましい実施形態で示される。しかしながら、本発明は、図示された正確な配置、構造、特徴、実施形態、及び態様に限定されないことを理解されたい。図面は、特許請求の範囲を図示された実施形態に限定することを意図していない。したがって、付属の特許請求の範囲で言及される特徴の後に参照符号が続く場合、そのような符号は、単に請求項の理解を高める目的で含まれており、特許請求の範囲を決して制限するものではないことを理解されたい。
本発明の特徴及び利点は、システムの実施形態の以下の説明から明らかとなり、この説明は、単なる例として添付の図面を参照して与えられる。
第1の実施形態に係る本発明の方法のブロック図である。 第2の実施形態に係る本発明の方法のブロック図である。 ISBによって定義される解剖学的ランドマークに基づく関節座標系(JCS)の概略図であり、AA:肩峰角、AI:肩甲骨の下角、TS:肩甲棘三角(肩甲棘の付け根)である。
様々な実施形態を説明及び図示しているが、詳細な説明はこれらに限定されるものとして解釈されるべきではない。当業者であれば、本開示の真の教示及び特許請求の範囲によって定義される範囲から逸脱することなく、実施形態に様々な修正を加えることができる。
本発明は、整形外科手術の計画作成に用いられる被検者の身体部分の解剖学的ランドマークの空間的方向及び位置を提供するためのコンピュータで実施される方法に関する。
図1に表される一実施形態によれば、本発明の第1のステップは、超音波デバイス、超音波デバイスに関連する少なくとも1つのフィデューシャルマーカ、及びイメージングセンサを含むシステムによって事前に取得された測定値セットを受信するステップRECを含む。
超音波デバイスは、被検者の超音波画像を生成し、腱、筋肉、関節、血管、及び内臓などの体内構造の画像を作成するように構成される。
フィデューシャルマーカという用語は、画像間の及び/又は画像と既知のモデル間の点対応の位置特定を容易にするために、センサによって取得されたシーンに追加される人工マーカを指す。
そのようなフィデューシャルマーカは、例えば、球形、円形、単純な反射面、又は正方形であり得る。円形のシステムは高精度で単一の点しか提供することができないため、完全な姿勢推定には複数の円形マーカが必要とされる。他方では、正方形のフィデューシャルマーカは、センサで姿勢推定を実行するのに十分な四隅のそれぞれについてキーポイントを提供する。
一実施形態では、フィデューシャルマーカは、特に移動可能な様態で、超音波デバイスに厳密に固定される。実際、超音波デバイスとフィデューシャルマーカとの間の空間的関係性が(少なくとも測定中は)不変であることにより、以下に詳細に説明するように、有利なことに、超音波デバイスとフィデューシャルマーカとの間の一定の変換Tを維持することができ、これはイメージングセンサの参照系における超音波画像USiの位置及び空間的方向の計算を可能にする。他方では、イメージングセンサは、超音波デバイス及びフィデューシャルマーカから構造的に独立している(すなわち、それらの間に物理的リンクを有する必要はない)。
一実施形態によれば、フィデューシャルマーカは、内部パターンを有する正方形ベースのフィデューシャルマーカ、例えばArUcoマーカであり、これは、イメージングセンサの視覚画像によって直接見ることができる。
現在、様々なイメージングセンサ又はカメラが入手可能である。イメージングセンサは、被検者に対向し、その視野内に被検者の身体部分及び/又はフィデューシャルマーカのビューを含んでいるような様態で配置され得る。一実施形態によれば、イメージングセンサは、カラー画像(すなわち、黒及び白、RGBなど)又は深度マップを取得するように構成されてもよく、深度マップの各点は、イメージングセンサとイメージングセンサの視野内のオブジェクト/被検者との間の距離を表す。代替的に、イメージングセンサは、同じシーンの1つのカラー画像(本明細書では視覚成分とも呼ばれる)と1つの深度マップ(本明細書では深度成分とも呼ばれる)との両方を同時に取得するように構成されてもよい。
一実施形態では、測定値セットは、
- 第1のランドマークL1を含んでいる少なくとも1つの第1の超音波画像US1、及びイメージングセンサによって第1の超音波画像US1と同時に取得されたフィデューシャルマーカを含んでいる少なくとも1つの第1の画像D1、
- 第2のランドマークL2を含んでいる少なくとも1つの第2の超音波画像US2、及びイメージングセンサによって第2の超音波画像US2と同時に取得されたフィデューシャルマーカを含んでいる少なくとも1つの第2の画像D2、
- 第3のランドマークL3を含んでいる少なくとも1つの第3の超音波画像US3、及びイメージングセンサによって第3の超音波画像US3と同時に取得されたフィデューシャルマーカを含んでいる少なくとも1つの第3の画像D3、
- 被検者の身体部分の少なくとも一部を含んでいる少なくとも1つの第4の画像D4、
を含む。
一実施形態によれば、測定値セットは、被検者が立位又は座位などの特定の肢位をとる状態で取得される。
身体部分は、例えば肩、骨盤、又は上腕骨などの、3つの解剖学的平面に関する機能的3D角度の測定を必要とする、すべての骨構造又は硬質器官であり得る。
第1の画像D1、第2の画像D2、及び第3の画像D3は、超音波デバイスが、それぞれのランドマークの近傍の少なくとも1つの被検者の身体部分と接触している状態で取得される。画像D1、D2、及びD3を得るために、イメージングセンサが、その視野内にフィデューシャルマーカを含むように患者に対向して配置される(すなわち、被検者の身体の少なくとも一部を含む必要はない)。
少なくとも1つの第4の画像D4は、被検者の身体部分の少なくとも一部を含み、且つ、被検者の胴体又は背中の一部も含んでいるように取得される。第4の画像D4は、超音波デバイスに厳密に固定されたフィデューシャルマーカを含んでいる必要はない。したがって、イメージングセンサは、被検者の身体の少なくとも一部、好ましくは胴体又はその一部がイメージングセンサの視野内に含まれるように、被検者に対向して配置され得る。この場合、超音波デバイスとそれに厳密に固定されたフィデューシャルマーカはシーンから取り除かれる。一例では、イメージングセンサは、被検者に対向し、イメージングセンサと被検者との間に物体が介在しない位置にある。
ステップCALC_SPにおいて、イメージングセンサの参照系における矢状面SPの空間的方向を計算するために第4の画像D4が使用される。
一実施形態では、イメージングセンサの参照系における矢状面SPの空間的方向を計算するために第4の画像D4、特に被検者の身体を含む部分が使用される。この実施形態では、第4の画像D4はカラー画像であり、第4の画像D4から矢状面の空間的方向が得られ、機械学習アルゴリズムに入力として提供される。
1つの代替的な実施形態では、第2のフィデューシャルマーカが、第4の画像D4が前記第2のフィデューシャルマーカを含んでいるように患者の胴体に配置される。第2のフィデューシャルマーカは、好ましくはARUCOマーカである。第4の画像D4に含まれている第2のフィデューシャルマーカは、イメージングセンサの参照系における矢状面SPの空間的方向を計算するために使用される。
1つの代替的な実施形態では、第2のフィデューシャルマーカが、被検者の環境内(すなわち、被検者とイメージングセンサの近傍)の垂直位置に配置される。例えば、ARUCOマーカは、測定が行われる部屋の壁に固定される。この実施形態では、第4の画像D4は、患者の矢状面に従う所定の向きに配置された(しかし患者の身体の一部である必要はない)前述の第2のフィデューシャルマーカを含んでいる。第2のフィデューシャルマーカは、患者の矢状面と平行又は垂直に配置されてもよい。第4の画像D4に含まれている第2のフィデューシャルマーカは、イメージングセンサの参照系における矢状面SPの空間的方向を計算するために使用される。
一実施形態では、イメージングセンサは、深度成分と視覚成分を有する画像を取得するように構成されたレンジイメージングセンサである。
現在、ステレオ三角測量、光シート三角測量、構造化光、干渉法、符号化開口、及び当業者には公知の任意の他の技術などの異なるタイプのレンジイメージング技術に基づく様々なレンジイメージングセンサ又はカメラが入手可能である。
1つの好ましい実施形態では、レンジイメージングセンサは、飛行時間型カメラ(ToF)である。レンジイメージングセンサは、グレーレベル画像又はRGB画像を表す二次元アレイの形態で提示され得る深度マップ又は深度画像を取得するように構成され、アレイのサイズは、画像の取得に使用されるToFカメラ、特に光センサに依存する。生画像は、例えば、16ビットでコード化され、各ピクセル(u,v)での深度測定に関する情報は、ToFカメラとオブジェクト(すなわち、患者)との間の距離に直接対応する。
ToFカメラは、パルス光センサを使用するパルス光カメラ、又は連続波変調センサを使用する連続波変調光カメラであり得る。ToFカメラは、回転機構に取り付けられ得る単一又は複数のレーザビームを、光検出器及び時間デジタル変換器の2Dアレイと組み合わせて、深度値の1D又は2Dアレイを生成することができる。ToFカメラは、様々な波長、特に赤外又は近赤外のレーザダイオード又はLEDを実装することができる。
一実施形態によれば、飛行時間型カメラは赤外光照射を使用する。
Photonic Mixer Devices(PMD)TechnologiesのCamCube PMD、SwissRanger 4000、又はMicrosoftのセンサKinect V1などのいくつかのToFカメラが実際に利用可能である。一実施形態によれば、ToFカメラは、複数の変調周波数(10~130MHz)を使用する、したがって、深度精度と位相アンラッピングとの間での優れた妥協を達成する、Kinect Azur RGB-Dカメラである。
画像D1、D2、及びD3の取得中に、レンジイメージングセンサは、被検者に対向し、その視野内に被検者の身体部分と超音波デバイスに厳密に固定されたフィデューシャルマーカのビューを含んでいるような様態で配置される。
イメージングセンサがレンジイメージングセンサである実施形態によれば、前記レンジイメージングセンサで少なくとも第4の画像D4が取得され、身体部分の一部を含んでいる前記第4の画像D4の深度成分を使用してイメージングセンサの参照系における矢状面SPの空間的方向が計算される。
身体部分が患者の肩である一実施形態では、D4は、左肩と右肩の両方を含むように取得されてもよい。被検者の左肩と右肩の両方が深度画像から推測され、深層学習ベースの手法(例えば、Kinect Azure Body Trackingライブラリで実装されている手法)により被検者の内外側軸を定義するために使用され得る。
一実施形態では、第4の画像D4は、同様の深層学習ベースの手法(例えば、Kinect Azure Body Trackingライブラリで実装されている手法)を使用してレンジイメージングセンサの参照系における横断面TPの空間的方向を計算するために使用される。
一実施形態では、イメージングセンサは、深度成分のみを有する画像を取得するように構成されたレンジイメージングセンサであり、前記レンジイメージングセンサで第1の画像D1、第2の画像D2、第3の画像D3、及び第4の画像D4が事前に取得される。この場合、身体部分の一部を含んでいる第4の画像D4の深度成分を使用して、イメージングセンサの参照系における矢状面SPの空間的方向を計算することができる。この実施形態では、フィデューシャルマーカは三次元マーカであり、フィデューシャルマーカの位置及び空間的方向が、第1の画像D1、第2の画像D2、第3の画像D3の深度成分を使用して計算される。
イメージングセンサは、この方法を実施する少なくとも1つのプロセッサによって受信される少なくとも1つの加速度計測定値を取得するように構成された加速度計をさらに含み得る。次いで、加速度計によって測定された垂直ベクトルを、イメージングセンサの参照系における横断面TPの空間的方向を計算するために使用することができる。
横断面の法線ベクトルと矢状面SPの法線ベクトルの外積を、冠状面CPを抽出するために計算することができる。最後に、横断面TPの法線ベクトルと冠状面CPの法線ベクトルの外積によって新しい矢状面が定義され、すべてのベクトルが、直交座標系を得るべく正規化される。
一実施形態では、イメージングセンサの参照系における超音波画像(US1、US2、US3)の位置及び空間的方向が計算される。このステップCALC_USを実行するために、画像(D1、D2、D3)で見られるフィデューシャルマーカを使用することができる。
一実施形態によれば、この方法は、イメージングセンサの参照系における超音波画像(US1、US2、US3)の位置及び空間的方向を計算するステップCALC_USのために、超音波デバイスとフィデューシャルマーカとの間の事前定義された空間変換Tを入力として受信するステップをさらに含む。
一実施形態によれば、この方法は、各超音波画像について、超音波画像(US1、US2、US3)内の関連するランドマーク(L1、L2、L3)の位置を識別するステップCALC_Lを含む。関連するランドマーク(L1、L2、L3)の位置は、ユーザが手動で識別してもよく、又は画像解析アルゴリズムによって自動的に識別されてもよい。この実施形態は、超音波画像(US1、US2、US3)の位置及び空間的方向を使用して、イメージングセンサの参照系におけるランドマークの位置(pLi)を計算することをさらに含む。(解剖学的)ランドマークは、人体の解剖学的構造における特定の点、又は代替的に、人体の1つ又は複数の解剖学的構造の表面又はボリュームに関連付けられ得る。1つのランドマークが表面又はボリュームに関連付けられている場合、関連するランドマーク(L1、L2、L3)の位置及び空間的方向は、ユーザが手動で描写することによって識別されてもよく、又は画像解析アルゴリズムを使用する自動セグメント化によって識別されてもよい。次いで、超音波画像(US1、US2、US3)の位置及び空間的方向が、イメージングセンサの参照系におけるランドマークの位置(pLi)及び空間的方向を計算するために使用され得る。特に、この動作を実施するために位置合わせメソッドが使用され得る。
有利なことに、計算ステップCALC_US、CALC_L、CALC_TP、CALC_SP、及びCALC_CPにより、同じ参照系における3つの解剖学的平面(TP、CP、SP)とランドマーク(L1、L2、L3)に関する情報を得ることができる。
身体部分が肩である一実施形態によれば、第1のランドマークL1は肩峰角であり、第2のランドマークL2は肩甲棘三角であり、第3のランドマークL3は肩甲骨の下角である。これらの解剖学的ランドマークは図3に示されている。
一実施形態によれば、この方法は、イメージングセンサの参照系における少なくとも第1のランドマークの位置pL1、第2のランドマークの位置pL2、及び第3のランドマークの位置pL3を含む被検者の身体部分の解剖学的ランドマークと横断面TP、矢状面SP、及び冠状面CPの空間的方向を出力するステップを含む。第1のランドマークの位置pL1、第2のランドマークの位置pL2、及び第3のランドマークの位置pL3は既知であるため、イメージングセンサの参照系におけるランドマーク(pL1、pL2、pL3)によって形成されるアンサンブルの空間的方向も既知である。したがって、イメージングセンサの参照系におけるランドマーク(pL1、pL2、pL3)によって形成されるアンサンブルの空間的方向に関する情報も出力することができる。
図2に示されている一実施形態によれば、この方法はまた、第1のランドマークL1、第2のランドマークL2、及び第3のランドマークL3が識別されている被検者の三次元画像から得られた被検者の肩甲骨の骨形態のデジタルモデルを受信するステップを含む。このREGステップはまた、肩甲骨のデジタルモデルに含まれる各点pDMがイメージングセンサの参照系において既知の位置を有するように、空間変換を適用して肩甲骨のデジタルモデルをイメージングセンサの参照系において位置合わせすることを含む。空間変換は剛体変換であり得る。
好ましい実施形態では、位置合わせされたデジタルモデルとイメージングセンサの参照系における横断面TP、矢状面SP、及び冠状面CPの空間的方向が、研究される肢位での身体部分の可動域を計算するために使用される。
実際、デジタルモデルへの3つのランドマークの位置合わせと、3つの解剖学的平面の既知の配向は、治療計画作成システムのアルゴリズムで有利に使用され、そこからユーザ(すなわち、外科医)は、プロテーゼを配置する場合に1つの研究される機能的肢位での身体部分の1つの骨によって実現され得る最大屈曲、伸展、外転、内転、内旋、及び外旋などの、これらの3つの解剖学的平面(TP、CP、SP)に関して定義される解析中の身体部分の動きの振幅を取得することができる。肩の場合、治療計画作成システムは、プロテーゼを配置した後の1つの研究される機能的肢位での上腕骨によって実現され得る最大屈曲、伸展、外転、内転、内旋、及び外旋を知ることを可能にする。
被検者の身体部分のX線画像を使用して解剖学的ランドマークの位置を推定しようとする他の技術に対して、本発明は有利なことに被検者を不必要な放射線に曝さない。
本発明は、プログラムがコンピュータによって実行されるときにコンピュータに前述の実施形態のいずれか1つに記載の方法のステップを実行させる命令を含むコンピュータプログラム製品をさらに含む。
本発明は、コンピュータによって実行されるときにコンピュータに前述の実施形態のいずれか1つに記載の方法のステップを実行させる命令を含むコンピュータ可読記憶媒体をさらに含む。一実施形態によれば、コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体である。
本発明の方法を実施するコンピュータプログラムは、一般的に、限定はされないが、SDカード、外部記憶装置、マイクロチップ、フラッシュメモリデバイス、及びポータブルハードドライブなどの配布用コンピュータ可読記憶媒体上でユーザに配布することができる。配布媒体から、コンピュータプログラムをハードディスク又は同様の中間記憶媒体にコピーすることができる。コンピュータプログラムは、配布媒体又は中間記憶媒体からコンピュータの実行メモリにコンピュータ命令をロードし、本発明の方法に従って動作するようにコンピュータを構成することによって実行することができる。これらの動作はすべて、コンピュータシステムの当業者によく知られている。
ハードウェアコンポーネントを実装し、前述の方法を実行するべくプロセッサ又はコンピュータを制御するための命令又はソフトウェア、及び任意の関連するデータ、データファイル、及びデータ構造は、1つ又は複数の非一時的コンピュータ可読記憶媒体に記録、記憶、又は固定される。非一時的コンピュータ可読記憶媒体の例としては、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁気テープ、フロッピーディスク、光磁気データ記憶装置、光データ記憶装置、ハードディスク、ソリッドステートディスク、及び命令又はソフトウェア及び任意の関連するデータ、データファイル、及びデータ構造を非一時的な様態で記憶し、プロセッサ又はコンピュータが命令を実行できるように命令又はソフトウェア及び任意の関連するデータ、データファイル、及びデータ構造をプロセッサ又はコンピュータに提供することができる当業者には公知の任意のデバイスが挙げられる。一例では、命令又はソフトウェア及び任意の関連するデータ、データファイル、及びデータ構造は、命令及びソフトウェア及び任意の関連するデータ、データファイル、及びデータ構造がプロセッサ又はコンピュータによって分散された様態で記憶、アクセス、及び実行されるようにネットワークに結合されたコンピュータシステム上に分散される。
本発明はまた、前述の方法のステップを実行するための手段を含むシステムに関する。
より詳細には、本発明は、被検者の身体部分の解剖学的ランドマークを提供するためのシステムに関する。
一実施形態では、前記システムは、
- 少なくとも1つのフィデューシャルマーカを備える超音波デバイスとイメージングセンサによって事前に取得された測定値セットを受信するように適合された少なくとも1つの入力部、
を含み、前記測定値セットは、
○ 第1のランドマークL1を含んでいる少なくとも1つの第1の超音波画像US1、及びイメージングセンサによって第1の超音波画像US1と同時に取得された少なくとも1つの第1の画像D1、
○ 第2のランドマークL2を含んでいる少なくとも1つの第2の超音波画像US2、及び第2の超音波画像US2と同時に取得された少なくとも1つの第2の画像D2、
○ 第3のランドマークL3を含んでいる少なくとも1つの第3の超音波画像US3、及び第3の超音波画像US3と同時に取得された少なくとも1つの第3の画像D3、
○ 被検者の身体部分の少なくとも一部を含んでいる少なくとも1つの第4の画像D4、
を含み、第1の画像D1、第2の画像D2、及び第3の画像D3は、少なくとも1つのフィデューシャルマーカを含む。
測定値セットは、データベース、特に医療データベースのコンピュータ可読記憶媒体に格納することができる。代替的に、測定値セットのデータは、超音波デバイス及びイメージングセンサから画像取得中にリアルタイムで受信されてもよい。この場合、システムは、取得デバイスからの測定値を有線接続又は無線を通じてシステムに転送することを可能にする通信デバイスを含む。
一実施形態によれば、フィデューシャルマーカは、ArUcoとしても知られている、内部パターンを有する正方形ベースのフィデューシャルマーカである。
一実施形態によれば、システムは、前述の方法のすべてのステップを実行するように構成された少なくとも1つのプロセッサを含む。
より詳細には、少なくとも1つのプロセッサは、前記各超音波画像US1について、
- 関連する画像Di(すなわち、D1、D2、D3)内のフィデューシャルマーカを使用して、イメージングセンサの参照系における超音波画像USi(すなわち、US1、US2、US3)の位置及び空間的方向を計算するステップ、及び
- 関連するランドマークLiの位置を識別し、超音波画像の位置及び空間的方向を使用して、イメージングセンサの参照系におけるランドマークの位置pLi(すなわち、pL1、pL2、pL3)を計算するステップ、
を実行するように構成される。
一実施形態によれば、少なくとも1つのプロセッサはさらに、
- イメージングセンサの参照系における横断面TPの空間的方向を計算するステップ、
- 第4の画像D4に含まれている身体部分の一部について解析することによって、イメージングセンサの参照系における矢状面SPの空間的方向を計算するステップ、及び
- 横断面及び矢状面の空間的方向を使用して、イメージングセンサの参照系における冠状面CPの空間的方向を計算するステップ、
を実行するように構成される。
一実施形態では、プロセッサはさらに、イメージングセンサの参照系における超音波画像USiの位置及び空間的方向を計算するために、超音波デバイスとフィデューシャルマーカとの間の事前定義された空間変換Tを入力として受信するように構成される。
さらに、イメージングセンサが加速度計をさらに含むとき、少なくとも1つのプロセッサは、
- 少なくとも1つの加速度計測定値を入力として受信し、
- 加速度計測定値の垂直ベクトルを使用して、イメージングセンサの参照系における横断面TPの空間的方向を計算する、
ように構成されてもよい。
加速度計測定値は、データベース、特に医療データベースのコンピュータ可読記憶媒体に格納することができる。代替的に、加速度計測定値は、加速度計から画像取得中にリアルタイムで受信されてもよい。この場合、システムは、加速度計からの測定値を有線接続又は無線を通じてシステムに転送することを可能にする通信デバイスを含む。
一実施形態によれば、身体部分は患者の片方の肩であり、第1のランドマークL1、第2のランドマークL2、及び第3のランドマークL3は、それぞれ、肩峰角、肩甲棘三角、及び肩甲骨の下角であり、プロセッサはさらに、
- 第1のランドマークL1、第2のランドマークL2、及び第3のランドマークL3が識別されている被検者の三次元画像から得られた被検者の肩甲骨の骨形態のデジタルモデルを受信し、
- 肩甲骨のデジタルモデルに含まれる各点pDMがイメージングセンサの参照系において既知の位置を有するように、空間変換を適用して肩甲骨のデジタルモデルをイメージングセンサの参照系において位置合わせする、
ように構成される。
一実施形態によれば、システムは、イメージングセンサの参照系における少なくとも第1のランドマークL1、第2のランドマークL2、及び第3のランドマークL3の位置及び空間的方向を含む前記被検者の身体部分の解剖学的ランドマークと横断面TP、矢状面SP、及び冠状面CPの空間的方向を提供するように適合された少なくとも1つの出力部を含む。この出力は、単に、別のデジタル-アナログモジュールへの情報の転送であり得る。前記デジタル-アナログモジュールは、超音波画像内のランドマークを視覚化するためのディスプレイであり得る。

Claims (16)

  1. 被検者の身体部分の解剖学的ランドマークを提供するためのコンピュータで実施される方法であって、
    - 超音波デバイス、前記超音波デバイスに厳密に固定された少なくとも1つのフィデューシャルマーカ、及びイメージングセンサを含む取得システムによって事前に取得された測定値セットを受信するステップ(REC)と、
    前記測定値セットは、
    ○ 第1のランドマーク(L1)を含んでいる少なくとも1つの第1の超音波画像(US1)、及び前記イメージングセンサによって前記少なくとも1つの第1の超音波画像(US1)と同時に取得された少なくとも1つの第1の画像(D1)、
    ○ 第2のランドマーク(L2)を含んでいる少なくとも1つの第2の超音波画像(US2)、及び前記少なくとも1つの第2の超音波画像(US2)と同時に取得された少なくとも1つの第2の画像(D2)、
    ○ 第3のランドマーク(L3)を含んでいる少なくとも1つの第3の超音波画像(US3)、及び前記少なくとも1つの第3の超音波画像(US3)と同時に取得された少なくとも1つの第3の画像(D3)、
    ○ 被検者の身体部分の少なくとも一部を含んでいる少なくとも1つの第4の画像(D4)、
    を含み、前記第1の画像(D1)、第2の画像(D2)、及び第3の画像(D3)は、少なくとも1つのフィデューシャルマーカを含んでおり、
    - 各超音波画像(USi)について、
    ○ 関連する画像(Di)内のフィデューシャルマーカを使用して、イメージングセンサの参照系における超音波画像(USi)の位置及び空間的方向を計算するステップ(CALC_US)と、
    ○ 超音波画像(USi)内の関連するランドマーク(Li)の位置を識別し、超音波画像の位置及び空間的方向を使用して、イメージングセンサの参照系におけるランドマークの位置(pLi)を計算するステップ(CALC_L)と、
    - イメージングセンサの参照系における横断面(TP)の空間的方向を計算するステップ(CALC_TP)と、
    - 第4の画像(D4)に含まれている身体部分の一部を解析することによって、イメージングセンサの参照系における矢状面(SP)の空間的方向を計算するステップ(CALC_SP)と、
    - 横断面(TP)及び矢状面(SP)の位置及び空間的方向を使用して、イメージングセンサの参照系における冠状面(CP)の位置及び空間的方向を計算するステップ(CALC_CP)と、
    - イメージングセンサの参照系における少なくとも第1のランドマークの位置(pL1)、第2のランドマークの位置(pL2)、及び第3のランドマークの位置(pL3)、及び前記第1のランドマーク(pL1)、前記第2のランドマーク(pL2)、及び前記第3のランドマーク(pL3)を含むアンサンブルの空間的方向を含む被検者の身体部分の解剖学的ランドマークと、イメージングセンサの参照系における横断面(TP)、矢状面(SP)、及び冠状面(CP)の空間的方向を出力するステップと、
    を含む方法。
  2. 前記身体部分は患者の肩である、請求項1に記載の方法。
  3. 前記第1のランドマーク(L1)は肩峰角であり、前記第2のランドマーク(L2)は肩甲棘三角であり、前記第3のランドマーク(L3)は肩甲骨の下角である、請求項2に記載の方法。
  4. 前記イメージングセンサの参照系における超音波画像(USi)の位置及び空間的方向を計算するために、超音波デバイスとフィデューシャルマーカとの間の事前定義された空間変換(T)を入力として受信するステップをさらに含む、請求項1~請求項3のいずれか一項に記載の方法。
  5. 前記イメージングセンサは加速度計をさらに含み、前記方法は、
    少なくとも1つの加速度計測定値を入力として受信するステップと、
    加速度計測定値の垂直ベクトルを使用して、イメージングセンサの参照系における横断面(TP)の空間的方向を計算するステップと、
    を含む、請求項1~請求項4のいずれか一項に記載の方法。
  6. 前記矢状面(SP)の空間的方向は、第4の画像(D4)を入力として受信する機械学習アルゴリズムを使用して得られる、請求項1~請求項5のいずれか一項に記載の方法。
  7. 前記フィデューシャルマーカは、内部パターンを有する正方形ベースのフィデューシャルマーカである、請求項1~請求項6のいずれか一項に記載の方法。
  8. 前記イメージングセンサは、深度成分と視覚成分を有する画像を取得するように構成されたレンジイメージングセンサであり、前記少なくとも1つの第4の画像(D4)は、前記レンジイメージングセンサで取得され、前記イメージングセンサの参照系における矢状面(SP)の空間的方向は、身体部分の一部を含んでいる前記第4の画像(D4)の深度成分を使用して計算される、請求項1~請求項5のいずれか一項に記載の方法。
  9. 前記イメージングセンサは、深度成分を有する画像を取得するように構成されたレンジイメージングセンサであり、前記レンジイメージングセンサで前記第1の画像(D1)、第2の画像(D2)、第3の画像(D3)、及び第4の画像(D4)が事前に取得され、前記方法は、
    - 身体部分の一部を含んでいる第4の画像(D4)の深度成分を使用してイメージングセンサの参照系における矢状面(SP)の空間的方向を計算するステップと、
    - 第1の画像(D1)、第2の画像(D2)、第3の画像(D3)の深度成分を使用してフィデューシャルマーカの位置及び空間的方向を計算することで、超音波デバイスの位置を特定し、イメージングセンサの参照系における超音波画像(USi)の位置及び空間的方向を計算するステップと、
    を含む、請求項1~請求項5のいずれか一項に記載の方法。
  10. - 第1のランドマーク(L1)、第2のランドマーク(L2)、及び第3のランドマーク(L3)が識別されている被検者の三次元画像から得られた被検者の肩甲骨の骨形態のデジタルモデルを受信するステップと、
    - 肩甲骨のデジタルモデルに含まれる各点(pDM)がイメージングセンサの参照系において既知の位置を有するように、空間変換を適用して肩甲骨のデジタルモデルをイメージングセンサの参照系において位置合わせするステップ(REG)と、
    をさらに含む、請求項2~請求項9のいずれか一項に記載の方法。
  11. 前記位置合わせされたデジタルモデルと前記イメージングセンサの参照系における横断面(TP)、矢状面(SP)、及び冠状面(CP)の空間的方向が、研究される肢位での身体部分の可動域を計算するために使用される、請求項10に記載の方法。
  12. プログラムがコンピュータによって実行されるときにコンピュータに請求項1~請求項11のいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム製品。
  13. 被検者の身体部分の解剖学的ランドマークを提供するためのシステムであって、
    - 超音波デバイス、前記超音波デバイスに厳密に固定された少なくとも1つのフィデューシャルマーカ、及びイメージングセンサを含む取得システムによって事前に取得された測定値セットを受信するように適合された少なくとも1つの入力部と、
    前記測定値セットは、
    ○ 第1のランドマーク(L1)を含んでいる少なくとも1つの第1の超音波画像(US1)、及び前記イメージングセンサによって前記少なくとも1つの第1の超音波画像(US1)と同時に取得された少なくとも1つの第1の画像(D1)、
    ○ 第2のランドマーク(L2)を含んでいる少なくとも1つの第2の超音波画像(US2)、及び前記少なくとも1つの第2の超音波画像(US2)と同時に取得された少なくとも1つの第2の画像(D2)、
    ○ 第3のランドマーク(L3)を含んでいる少なくとも1つの第3の超音波画像(US3)、及び前記少なくとも1つの第3の超音波画像(US3)と同時に取得された少なくとも1つの第3の画像(D3)、
    ○ 被検者の身体部分の少なくとも一部を含んでいる少なくとも1つの第4の画像(D4)、
    を含み、前記第1の画像(D1)、第2の画像(D2)、及び第3の画像(D3)は、少なくとも1つのフィデューシャルマーカを含んでおり、
    - 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサは、
    ○ 前記各超音波画像(USi)について、
    ・ 関連する画像(Di)内のフィデューシャルマーカを使用して、イメージングセンサの参照系における超音波画像(USi)の位置及び空間的方向を計算し、
    ・ 関連するランドマーク(Li)の位置を識別し、超音波画像の位置及び空間的方向を使用して、イメージングセンサの参照系におけるランドマークの位置(pLi)を計算し、
    ○ イメージングセンサの参照系における横断面(TP)の空間的方向を計算し、
    ○ 第4の画像(D4)に含まれている身体部分の一部について解析することによって、イメージングセンサの参照系における矢状面(SP)の空間的方向を計算し、
    ○ 横断面及び矢状面の空間的方向を使用して、イメージングセンサの参照系における冠状面(CP)の空間的方向を計算する、
    ように構成され、
    - イメージングセンサの参照系における少なくとも第1のランドマークの位置(pL1)、第2のランドマークの位置(pL2)、及び第3のランドマークの位置(pL3)、前記第1のランドマーク(pL1)、前記第2のランドマーク(pL2)、及び前記第3のランドマーク(pL3)を含むアンサンブルの空間的方向を含む被検者の身体部分の解剖学的ランドマーク、並びに横断面(TP)、矢状面(SP)、及び冠状面(CP)の空間的方向を提供するように適合された少なくとも1つの出力部と、
    を含むシステム。
  14. 前記身体部分は患者の肩であり、前記第1のランドマーク(L1)は肩峰角であり、前記第2のランドマーク(L2)は肩甲棘三角であり、前記第3のランドマーク(L3)は肩甲骨の下角であり、前記少なくとも1つのプロセッサはさらに、
    - 前記第1のランドマーク(L1)、第2のランドマーク(L2)、及び第3のランドマーク(L3)が識別されている被検者の三次元画像から得られた被検者の肩甲骨の骨形態のデジタルモデルを受信し、
    - 肩甲骨のデジタルモデルに含まれる各点(pDM)がイメージングセンサの参照系において既知の位置を有するように、空間変換を適用して肩甲骨のデジタルモデルをイメージングセンサの参照系において位置合わせする(REG)、
    ように構成される、請求項13に記載のシステム。
  15. 前記少なくとも1つのプロセッサはさらに、前記位置合わせされたデジタルモデルと前記イメージングセンサの参照系における横断面(TP)、矢状面(SP)、及び冠状面(CP)の空間的方向を使用して、研究される肢位での身体部分の可動域を計算するように構成される、請求項14に記載のシステム。
  16. プログラムがコンピュータによって実行されるときにコンピュータに請求項1~請求項11のいずれか一項に記載の方法を実行させる命令を含む非一時的コンピュータ可読媒体。
JP2023530740A 2020-11-18 2021-11-17 被検者の身体部分の解剖学的ランドマークを提供するための方法及びシステム Active JP7654079B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20306404 2020-11-18
EP20306404.3 2020-11-18
PCT/EP2021/081939 WO2022106446A1 (en) 2020-11-18 2021-11-17 Method and system for providing anatomical landmarks of a subject's body part

Publications (2)

Publication Number Publication Date
JP2023552100A JP2023552100A (ja) 2023-12-14
JP7654079B2 true JP7654079B2 (ja) 2025-03-31

Family

ID=73654735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023530740A Active JP7654079B2 (ja) 2020-11-18 2021-11-17 被検者の身体部分の解剖学的ランドマークを提供するための方法及びシステム

Country Status (6)

Country Link
US (1) US20240008951A1 (ja)
EP (1) EP4247286B1 (ja)
JP (1) JP7654079B2 (ja)
AU (1) AU2021382306A1 (ja)
CA (1) CA3202388A1 (ja)
WO (1) WO2022106446A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534717A (ja) 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
WO2020102761A1 (en) 2018-11-17 2020-05-22 Novarad Corporation Using optical codes with augmented reality displays
WO2020206423A1 (en) 2019-04-04 2020-10-08 Centerline Biomedical, In C. Registration of spatial tracking system with augmented reality display

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11109835B2 (en) * 2011-12-18 2021-09-07 Metritrack Llc Three dimensional mapping display system for diagnostic ultrasound machines
WO2016154554A1 (en) * 2015-03-26 2016-09-29 Biomet Manufacturing, Llc Method and system for planning and performing arthroplasty procedures using motion-capture data
US11173048B2 (en) * 2017-11-07 2021-11-16 Howmedica Osteonics Corp. Robotic system for shoulder arthroplasty using stemless implant components
EP3773232B1 (en) * 2018-04-06 2025-10-22 Medtronic, Inc. Image-based navigation system
CN113473936A (zh) * 2019-02-05 2021-10-01 史密夫和内修有限公司 机器人手术数据用于长期护理期
EP3946062A4 (en) * 2019-04-04 2023-06-14 Centerline Biomedical, Inc. SPATIAL REGISTRATION OF A TRACKING SYSTEM WITH AN IMAGE USING TWO-DIMENSIONAL IMAGE PROJECTIONS
EP3726460B1 (en) * 2019-04-06 2023-08-23 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
WO2021148880A1 (en) * 2020-01-21 2021-07-29 Xr Health Il Ltd Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534717A (ja) 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
WO2020102761A1 (en) 2018-11-17 2020-05-22 Novarad Corporation Using optical codes with augmented reality displays
WO2020206423A1 (en) 2019-04-04 2020-10-08 Centerline Biomedical, In C. Registration of spatial tracking system with augmented reality display

Also Published As

Publication number Publication date
AU2021382306A9 (en) 2025-01-09
WO2022106446A1 (en) 2022-05-27
EP4247286B1 (en) 2025-08-27
EP4247286A1 (en) 2023-09-27
US20240008951A1 (en) 2024-01-11
JP2023552100A (ja) 2023-12-14
AU2021382306A1 (en) 2023-06-22
CA3202388A1 (en) 2022-05-27

Similar Documents

Publication Publication Date Title
US12588953B2 (en) Devices, systems and methods for natural feature tracking of surgical tools and other objects
CN113950301B (zh) 用于计算机引导手术的系统
US11257241B2 (en) System and method for component positioning by registering a 3D patient model to an intra-operative image
US9320421B2 (en) Method of determination of access areas from 3D patient images
US20230233257A1 (en) Augmented reality headset systems and methods for surgical planning and guidance
US20130114873A1 (en) Method for automatically identifying the contours of a predefined bone, derived methods and corresponding computer program products
US20190090955A1 (en) Systems and methods for position and orientation tracking of anatomy and surgical instruments
Liu et al. Automatic markerless registration and tracking of the bone for computer-assisted orthopaedic surgery
EP2981943A1 (en) Method and device for determining the orientation of a co-ordinate system of an anatomical object in a global co-ordinate system
CN114795470B (zh) 手术中的定位导航方法、装置及安装机器人
Richey et al. Soft tissue monitoring of the surgical field: detection and tracking of breast surface deformations
CN115607286B (zh) 基于双目标定的膝关节置换手术导航方法、系统及设备
JP7654079B2 (ja) 被検者の身体部分の解剖学的ランドマークを提供するための方法及びシステム
CN116549108A (zh) 基于影像的目标点位置确定方法、装置、设备及存储介质
Brudfors et al. ConoSurf: Open‐source 3D scanning system based on a conoscopic holography device for acquiring surgical surfaces
Fu et al. Slam-based breast reconstruction system for surgical guidance using a low-cost camera
Kang et al. Towards a clinical stereoscopic augmented reality system for laparoscopic surgery
Gu et al. Near-infrared beacons: tracking anatomy with biocompatible fluorescent dots for mixed reality surgical navigation
CN121437650B (zh) 一种x射线与rgb-d成像跨模态标定及标注映射方法
Alfano et al. Acquisition and elaboration of superficial three-dimensional images in plastic and reconstructive surgery: Applications
CN116942128A (zh) 利用标志物匹配的ar可视化体内病灶定位方法及系统
WO2025195646A1 (en) Registration of pre-operative and intra-operative data
Arshad Role of 3d Scanning In Visible Surgical Swellings
Verster A structured light solution for detecting scapular dyskinesis
Brockmann et al. Evaluation of applicability and accuracy of different surface scanning systems in medicine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240819

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250318

R150 Certificate of patent or registration of utility model

Ref document number: 7654079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150