JP6660659B1 - 合成画像生成システム及び位置情報補正システム - Google Patents

合成画像生成システム及び位置情報補正システム Download PDF

Info

Publication number
JP6660659B1
JP6660659B1 JP2019506535A JP2019506535A JP6660659B1 JP 6660659 B1 JP6660659 B1 JP 6660659B1 JP 2019506535 A JP2019506535 A JP 2019506535A JP 2019506535 A JP2019506535 A JP 2019506535A JP 6660659 B1 JP6660659 B1 JP 6660659B1
Authority
JP
Japan
Prior art keywords
position information
optical
unit
marker
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506535A
Other languages
English (en)
Other versions
JPWO2020157984A1 (ja
Inventor
張　博
博 張
奎 陳
奎 陳
唯一 蔡
唯一 蔡
俊一 田野
俊一 田野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCC Media Lab Co Ltd
Original Assignee
TCC Media Lab Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCC Media Lab Co Ltd filed Critical TCC Media Lab Co Ltd
Application granted granted Critical
Publication of JP6660659B1 publication Critical patent/JP6660659B1/ja
Publication of JPWO2020157984A1 publication Critical patent/JPWO2020157984A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/004—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

合成画像生成システムは、実空間内の所定部位の位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４での位置情報に基づき、移動可能に配置されたビデオカメラ１８で撮像され実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置１６とを備える。処理装置１６は、位置情報検出装置１４の検出結果を調整して、所望領域に重畳画像を重畳する際に用いるプローブ１９の位置情報を特定する位置情報特定手段３５を含む。位置情報特定手段３５は、ビデオカメラ１８によるプローブマーカ２４Ａの認識状態を判定する認識状態判定部４６と、当該認識状態に応じて、光学トラッキング手段２１及び非光学トラッキング手段２２での検出結果の何れを使用するかを選択する使用情報選択部４７と、当該選択された位置情報により、合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部４８とを備える。

Description

本発明は、外界の実空間を撮像した画像の一部領域に、他で取得した重畳画像を重ね合わせる合成画像生成システム、及びこれに用いる位置情報補正システムに関する。
近年、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術について、他の様々な分野への応用が検討されている。ＡＲ技術の医療分野への応用としては、所定の重畳画像を外界の実空間を撮像したカメラ画像に重ね合わせてユーザに視認させるビデオシースルータイプのヘッドマウントディスプレイ（ＨＭＤ）を利用し、医療教育支援や低侵襲手術支援等を行うシステムが研究されている。このようなシステムとしては、例えば、医師が穿刺等を行う際にＨＭＤを装着し、当該穿刺を支援するための合成画像がＨＭＤを通じて医師に提示される特許文献１の支援システムが知られている。当該支援システムでは、ＨＭＤに取り付けたビデオカメラで撮影された医師の視野のカメラ画像に、超音波診断装置のプローブが当てられた患者の患部の超音波画像を重ね合わせた合成画像を生成するようになっている。
この特許文献１の支援システムでは、プローブの位置や姿勢に対応して、カメラ画像におけるプローブの先端側となる所定領域に超音波画像が重畳される。この際、プローブに取り付けた光学マーカであるプローブマーカをビデオカメラで撮像することにより、カメラ画像内のプローブマーカの認識状態から、ビデオカメラとプローブマーカの間の相対的な位置及び姿勢が求められる。また、患者の体表部分に取り付けられる別の光学マーカである周囲マーカもプローブマーカと同時にビデオカメラで撮像される。これにより、固定配置された周囲マーカとプローブに伴って移動するプローブマーカとの相対的な位置姿勢関係が都度検出され、ビデオカメラが医師とともに動いても、特定の周囲マーカを基準とした全体座標系におけるプローブの３次元位置情報を取得でき、全体座標系における３次元位置情報に対応した超音波画像をカメラ画像の所定領域に重畳可能になる。
ところが、前記特許文献１の支援システムでは、前記ビデオカメラで、プローブマーカとともに周囲マーカが同時に撮像されていなければ、全体座標系におけるプローブの３次元位置を求めることができず、カメラ画像の所定領域に重畳画像を重畳できなくなる。従って、このような事態を回避するためには、プローブがどこに移動しても、プローブが撮像されたカメラ画像内に、移動不能な周囲マーカの少なくとも１つが撮像されるように、多数の周囲マーカを実空間の至る場所に配置する必要が生じる。この場合、各周囲マーカの間の相対的な位置姿勢関係を特定するために、固定配置された全ての周囲マーカをビデオカメラで撮像する事前作業が必要となる。
本発明者らは、前記事前作業を軽減するため、光学マーカを主体とし、１台のカメラで撮像された現時点のカメラ画像に基づく３次元位置情報を他のカメラで取得したカメラ画像による３次元位置情報で補完し、実空間に存在する各光学マーカの全体座標系における３次元位置情報を簡易に且つ精度良く検出可能にするシステムを既に提案している（特許文献２参照）。
特許第５４１０６２９号公報 特許第６０９５０３２号公報
前記特許文献１及び２の各システムにあっては、３次元位置情報の取得に必要な各光学マーカを正確に認識することが前提である。しかしながら、特許文献１の支援システムにおいて、プローブに取り付けられたプローブマーカは、ビデオカメラに対するプローブの向き次第で認識状態が低下して誤認識等が生じ得る。その結果、カメラ画像に重畳される超音波画像の位置が所望の領域からずれることになる。また、プローブマーカがビデオカメラの視野から外れると、その３次元位置情報の検出が不能になり、カメラ画像に重畳画像を重畳できなくなる。更に、前記特許文献１及び２の各システムでは、患者が不意に動いて、静止状態が前提となる周囲マーカが意図せずに移動した場合、全体座標系を求める際の基準となる周囲マーカの３次元位置座標が初期設定時からずれてしまい、カメラ画像の所望領域に重畳画像を重畳できなくなる。
本発明は、このような課題に着目して案出されたものであり、その目的は、光学マーカによる位置情報の検出精度が低下したときでも、カメラで取得した実空間の画像内の所望領域に重畳画像を重畳させることに資する合成画像生成システムを提供することにある。
前記目的を達成するため、本発明は、実空間内の所定部位の位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された位置情報に基づき、移動可能に配置されたカメラで撮像された前記実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置とを備えた合成画像生成システムにおいて、前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とを備え、前記光学トラッキング手段は、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記所望領域に前記重畳画像を重畳する際に用いる前記移動部材の位置情報を特定する位置情報特定手段を含み、前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備える、という構成を採っている。
また、本発明は、移動可能に配置されたカメラで撮像された実空間のカメラ画像内の所望領域に、別途取得された重畳画像を重ねた合成画像を生成する際に、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材について、位置情報検出装置で複数検出された位置情報を調整する処理装置からなる位置情報補正システムにおいて、前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とにより構成され、前記光学トラッキング手段は、前記移動部材に固定されて一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記移動部材の位置情報を特定する位置情報特定手段を含み、前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備える、という構成を採っている。
なお、本明細書及び特許請求の範囲において、「位置情報」とは、所定の座標系における位置に、当該座標軸回りの回転角度で表される姿勢（向き）を含めた情報を意味する。従って、「３次元位置情報」とは、直交３軸方向におけるそれぞれの位置と、これら各軸回りの回転角度の６つの座標成分からなる情報を意味する。
本発明によれば、移動光学マーカの認識状態に応じて、光学トラッキング手段と非光学トラッキング手段による各検出結果の中から、適切な位置情報を用いることで、移動部材の位置情報をより正確に特定することができる。つまり、光学マーカの認識低下により、光学トラッキング手段での位置情報の検出精度が低下しても、非光学トラッキング手段での検出結果を利用しながら、カメラ画像内の所望領域に重畳画像を重畳させることが可能になる。
本発明に係る合成画像生成システムを含む医療用ＡＲ表示システムの主たる構成を表す概念図である。 前記医療用ＡＲ表示システムの全体構成を表すブロック図である。
以下、本発明の実施形態について図面を参照しながら説明する。
図１には、本発明に係る合成画像生成システムを含む医療用ＡＲ表示システムの主たる構成を表す概念図が示され、図２には、当該医療用ＡＲ表示システムの全体構成を表すブロック図が示されている。これらの図において、本実施形態の医療用ＡＲ表示システム１０は、医療支援用の表示システムであり、ユーザとしての医師Ｄがヘッドマウントディスプレイ１１（以下、「ＨＭＤ１１」と称する。）を装着した状態で、医師Ｄの視界に存在する患者Ｐの実空間の画像（主に患部）の一部領域に、対応する超音波画像等の診断画像を重畳画像として重ね合せた合成画像をＨＭＤ１１に表示するＡＲ表示システムである。
前記医療用ＡＲ表示システム１０は、医師Ｄの頭部に装着される画像表示装置としてのＨＭＤ１１と、患者Ｐの患部等の診断画像を取得する画像診断装置１３と、実空間内の所定部位の３次元位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４の検出結果に基づいて前記合成画像を生成し、当該合成画像をＨＭＤ１１に提示する処理装置１６とを備えている。なお、位置情報検出装置１４及び処理装置１６は、前記合成画像を生成する合成画像生成システムを構成する。
前記ＨＭＤ１１は、合成画像の背景となる実空間のカメラ画像を撮像するビデオカメラ１８が取り付けられたビデオシースルー型のものが用いられており、カメラ画像に重畳画像を重ね合せた合成画像が医師Ｄの目前に表示されるようになっている。
前記ビデオカメラ１８は、ＨＭＤ１１を装着した医師Ｄが、自身の目前の実空間を実際に直視したのとほぼ同一のカメラ画像を取得できるように、医師Ｄの頭部と一体的に移動可能に配置されている。従って、医師Ｄは、自身の目前に存在する患者Ｐやその患部の様子について、ＨＭＤ１１の表示部に表示されたカメラ画像を通じて視認可能となる。なお、本発明においては、前記カメラ画像を取得できる限りにおいて、他の種々のカメラを採用することもできる。
前記画像診断装置１３としては、２次元超音波診断装置が適用される。この２次元超音波診断装置では、プローブ１９（図１参照）によるビーム走査によって、ビーム走査面と同一断面における断層画像である２次元画像等の超音波画像が生成される。また、患部の所定範囲でビーム走査を行い、当該ビーム走査時におけるプローブ１９の同一座標系での３次元位置情報の後述する検出結果を利用して、患部の所定範囲内における体内の臓器等の立体像の生成を可能にする機能が設けられている。これら超音波画像や立体像等の診断画像は、重畳画像として実空間のカメラ画像の所望領域に立体的に重ね合わされた状態で、ＨＭＤ１１を通じて医師Ｄが視認可能となる。ここで、重畳画像が重ね合わされるカメラ画像の所望領域としては、処理装置１６での後述する処理により、カメラ画像中のプローブ１９の先端位置付近の領域とされ、このプローブ１９の向きに対応した向きで重畳画像が表示される。従って、プローブ１９は、医師Ｄの任意の操作によって実空間内を移動しながら前記所望領域を指定する移動部材としても構成される。
なお、本発明における移動部材は、プローブ１９に限定されず、ユーザの操作によって実空間内を移動しながら所望領域を指定できる限りにおいて、種々の操作部材や把持部材等を採用することもできる。
また、画像診断装置１３としては、本実施形態の超音波診断装置に限らず、ＣＴ、ＭＲＩ等の他の画像診断装置を適用することも可能である。
前記位置情報検出装置１４は、図２に示されるように、ビデオカメラ１８からのカメラ画像を利用して、実空間の所定部位における３次元位置情報を検出する光学トラッキング手段２１と、カメラ画像を利用せずに、実空間内の所定部位における３次元位置情報を検出する非光学トラッキング手段２２とにより構成される。
前記光学トラッキング手段２１は、実空間内における複数の所定部位にそれぞれ設置される光学マーカ２４と、ビデオカメラ１８で撮像されたカメラ画像中の各光学マーカ２４の画像状態を認識することにより、各設置部位の光学マーカ２４について、ビデオカメラ１８の中心を原点とした直交３軸の局所座標系における３次元位置情報を検出する光学マーカ検出部２５とにより構成された光学トラッキングシステムからなる。つまり、この光学トラッキング手段２１では、光学マーカ２４を通じてその設置部位の３次元位置情報を検出可能となる。
前記光学マーカ２４は、図１に示されるように、プローブ１９の一部に固定されたプローブマーカ２４Ａと、仰向けに寝た状態の患者Ｐの体表部分の複数箇所に固定された周囲マーカ２４Ｂとからなる。なお、各光学マーカ２４の表面には、所定の模様が付されており、当該模様の異なる複数パターンの光学マーカ２４が用意され、配置部位毎に模様の異なる光学マーカ２４が使用される。
前記プローブマーカ２４Ａは、プローブ１９と一体的に移動可能な移動光学マーカとして機能し、前記周囲マーカ２４Ｂは、静止状態での配置を前提とした固定光学マーカとして機能する。
前記光学マーカ検出部２５では、ビデオカメラ１８で撮像されたカメラ画像に光学マーカ２４が写ると、当該光学マーカ２４の画像認識により、公知の手法による次の処理が行われる。すなわち、ここでは、光学マーカ２４の模様、形状、及びサイズが既知であることから、カメラ画像内の光学マーカ２４の模様から、どこに配置されている光学マーカ２４かを表すＩＤが特定されるとともに、カメラ画像内における光学マーカ２４のサイズや形状から、光学マーカ２４の位置や向きが求められる。ここで、光学マーカ２４の位置や向きは、当該光学マーカ２４を撮像したビデオカメラ１８の中心を原点とするＨＭＤ座標系による３次元位置情報として取得される。
従って、光学マーカ検出部２５では、医師Ｄに装着されたＨＭＤ１１のビデオカメラ１８で撮像された光学マーカ２４について、ＨＭＤ座標系による３次元位置情報が逐次得られることになる。このＨＭＤ座標系は、ＨＭＤ１１が装着される医師Ｄの頭部の動きに伴って移動する局所座標系として取り扱われる。
前記非光学トラッキング手段２２は、磁気データを利用して３次元位置情報を求める磁気トラッキングシステム２２Ａと、加速度データを利用して３次元位置情報を求める加速度トラッキングシステム２２Ｂとからなる。
前記磁気トラッキングシステム２２Ａは、実空間の様々な方向に、様々な強さの磁界を発生させる磁気基地局２７と、磁気基地局２７からの磁気の大きさを検出する非光学マーカとしての磁気センサ２８と、磁気センサ２８での磁気の検出状態からその設置部位の３次元位置情報を検出する非光学マーカ検出部としての磁気センサ検出部２９とにより構成される。つまり、この磁気トラッキングシステム２２Ａでは、磁気センサ２８を通じてその設置部位の３次元位置情報を検出可能となる。
前記磁気センサ２８は、逐次移動するプローブ１９の所定部位に固定されており、当該プローブ１９に固定配置されたプローブマーカ２４Ａとの間で相対移動不能且つ相対回転不能に取り付けられている。
前記磁気センサ検出部２９では、磁気基地局２７から発生した磁界の方向や強さを磁気センサ２８で検知することにより、磁気センサ２８が取り付けられたプローブ１９について、磁気基地局２７の所定部位を原点とした直交３軸の磁気座標系における３次元位置情報が逐次取得されるようになっている。この磁気座標系は、１箇所に存在するとともに、磁気基地局２７が固定されることから、移動回転不能に固定される局所座標系として取り扱われる。
前記加速度トラッキングシステム２２Ｂは、所定部位に固定された非光学マーカとして機能する加速度センサ３１と、当該加速度センサ３１の計測値から、加速度センサ３１が取り付けられた所定部位における３次元位置情報を求める非光学マーカ検出部としての加速度センサ検出部３２とからなる。
前記加速度センサ３１は、各光学マーカ２４にそれぞれ固定されており、取り付けられた各光学マーカ２４との間で相対移動不能且つ相対回転不能に配置される。この加速度センサ３１は、直交３軸方向における加速度と、当該各軸回りの角速度とを測定可能な６軸加速度センサからなる。
前記加速度センサ検出部３２では、初期位置からの前記加速度及び前記角速度の経時的変化を取得することで、前記初期位置を原点とした局所座標系である加速度座標系における現時点での加速度マーカ３１の設置部位の３次元位置情報を算出するようになっている。
なお、非光学トラッキング手段２２としては、ビデオカメラ１８を利用しないで非光学マーカを追跡することにより、当該非光学マーカについて、予め設定された基準点を原点とした局所座標系における３次元位置情報を特定するセンサ類により構成されたものであれば何でも良い。
例えば、図示省略しているが、他の非光学トラッキング手段２２として、超音波を利用した超音波トラッキングシステムを採用し、前述の磁気トラッキングシステム２２Ａや加速度トラッキングシステム２２Ｂに代え、又は、これらトラッキングシステム２２Ａ，２２Ｂと併用することができる。この超音波トラッキングシステムでは、様々な周波数、強さの超音波を発生する発信機を非光学マーカである超音波マーカとして実空間の所定部位に固定し、超音波受信局に設置された複数のマイクで超音波の周波数、強さが計測される。そして、三角測量の原理を用いて、超音波マーカの設置部位について、超音波受信局の所定点を原点とした直交３軸の超音波座標系における３次元位置情報が逐次取得される。この超音波座標系も、磁気座標系と同様、超音波基地局の固定配置によって固定される１の局所座標系として取り扱われる。この超音波トラッキングシステムを採用した場合においても、取得した３次元位置情報に基づいて、非光学トラッキング手段２２により取得した前述の３次元位置情報と同様に後述の処理が行われる。
なお、以下の説明において、局所座標系であるＨＭＤ座標系、磁気座標系及び加速度座標系における３次元位置情報を適宜「ローカル位置情報」と称する。また、予め設定された実空間内に固定された定点を原点とした直交３軸の全体座標系における３次元位置情報を適宜「グローバル位置情報」と称する。
前記処理装置１６は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段や各部として機能させるためのプログラムがインストールされている。
この処理装置１６は、図２に示されるように、光学トラッキング手段２１及び非光学トラッキング手段２２の検出結果を調整し、実空間のカメラ画像の所望領域に、画像診断装置１３からの診断画像を重畳する際のプローブ１９の３次元位置情報を特定する位置情報特定手段３５と、画像診断装置１３とビデオカメラ１８で得られた各種の画像データを取り込む画像取込手段３６と、位置情報特定手段３５で求めた３次元位置情報に基づいて各医師ＤのＨＭＤ１１に提示される合成画像を生成する合成画像生成手段３７とを備えている。
前記位置情報特定手段３５は、位置情報検出装置１４で検出されたローカル位置情報を演算によってグローバル位置情報に変換するグローバル位置情報変換機能３９と、グローバル位置情報変換機能３９で求めたプローブ１９のグローバル位置情報を調整する位置情報補正システムを構成する移動位置情報調整機能４０と、グローバル位置情報を求める際に基準となる所定の初期条件をリセットする初期条件リセットシステムを構成する初期条件リセット機能４１とを有する。
前記グローバル位置情報変換機能３９は、プローブ１９及び患者Ｐが静止した静止状態において、全体座標系を設定する初期設定部４３と、局所座標系におけるプローブ１９の３次元位置情報を全体座標系に変換する座標変換部４４とを備えている。
前記初期設定部４３では、次の初期条件を設定する初期設定が逐次行われ、当該初期設定時における位置情報検出装置１４の検出結果を使って全体座標系が設定される。
すなわち、ここでは、各光学マーカ２４、磁気センサ２８、及び加速度センサ３１が静止した状態で、プローブマーカ２４Ａ及び周囲マーカ２４Ｂが、正確に画像認識できる位置及び向きでビデオカメラ１８により同時に撮像される。このとき、周囲マーカ２４Ｂのうち１つのマーカ、、例えば、プローブマーカ２４Ａに最も近い１つの周囲マーカ２４Ｂが、基準周囲マーカ２４Ｂとして特定され、当該基準周囲マーカ２４Ｂの中心を原点とする全体座標系が設定される。
前記座標変換部４４では、初期設定部４３での初期設定後、位置情報検出装置１４での各局所座標系における検出値、すなわち、光学マーカ２４、磁気センサ２８、及び加速度センサ３１により取得した３次元位置情報が、演算によりそれぞれ全体座標系に変換される。
ここで、各光学マーカ２４のローカル位置情報は、次のようにグローバル位置情報に変換される。
すなわち、患者Ｐに取り付けられた各周囲マーカ２４Ｂについては、患者Ｐが静止しているときに相対的な位置姿勢関係が不変となる。このため、患者Ｐが静止して各周囲マーカ２４Ｂが動いていない静止状態のときには、各周囲マーカ２４ＢのＨＭＤ座標系における３次元位置情報が不変であり、基準周囲マーカ２４Ｂを原点とした全体座標系における他の周囲マーカ２４Ｂの３次元位置情報も一定値として算出される。
一方、プローブマーカ２４Ａは、医師Ｄによるプローブ１９の操作によって、位置情報検出装置１４で検出されるローカル位置情報が逐次変化する。ところが、各周囲マーカ２４Ｂが静止状態であると、各周囲マーカ２４Ｂ間での相対的な位置姿勢関係が不変であるから、プローブマーカ２４Ａと同時に少なくとも１箇所の周囲マーカ２４Ｂがビデオカメラ１８で撮像されていれば、ＨＭＤ座標系での検出結果から、プローブマーカ２４Ａのグローバル位置情報が算出されることになる。なお、患者Ｐが静止状態から動いたとき等、何れかの周囲マーカ２４Ｂにおける検出状態が初期設定時に対して変化したときには、後述するように、初期条件リセット機能４１で周囲マーカ２４Ｂのグローバル位置情報がリセットされ、初期設定部４３で初期条件が新たに設定される。
また、磁気センサ２８で取得したローカル位置情報は、次のようにしてグローバル位置情報に変換される。すなわち、磁気センサ２８は、プローブマーカ２４Ａとともに相対移動不能、且つ、相対回転不能にプローブ１９に取り付けられている。従って、前記初期設定時における磁気座標系でのプローブ１９の３次元位置情報から、プローブマーカ２４Ａと基準周囲マーカ２４Ｂとの相対的な位置姿勢関係に基づき、磁気座標系と全体座標系との相対関係が特定される。そして、当該相対関係から、磁気センサ２８の磁気座標系における検出値が、統一した全体座標系の成分に変換される。
更に、加速度センサ３１での検出結果から、次のようにして、その設置部位におけるグローバル位置情報が求められる。すなわち、前記初期条件の設定時に、加速度センサ３１に一体的に取り付けられた各光学マーカ２４の初期状態におけるグローバル位置情報が前述の通り特定される。その後、加速度センサ検出部３２により、直交３軸方向の加速度及び当該３軸回りの角速度の経時的変化が取得され、当該取得値から、加速度センサ３１の設置部位における移動量及び回転量が算出される。その後、これら移動量及び回転量が、前記初期状態におけるグローバル位置情報に加算されることで、加速度センサ３１の設置部位のグローバル位置情報が求められる。
前記移動位置情報調整機能４０は、ビデオカメラ１８によるプローブマーカ２４Ａの認識状態を判定する認識状態判定部４６と、プローブマーカ２４Ａの認識状態に応じて、グローバル位置情報変換機能３９で算出されたプローブマーカ２４Ａ、磁気センサ２８、加速度センサ３１からのグローバル位置情報の中からどの検出結果を使用するかを選択する使用情報選択部４７と、使用情報選択部４７で選択された３次元位置情報から、合成画像生成手段３７で用いるプローブ１９の出力位置情報を決定する出力位置情報決定部４８とを備えている。
前記認識状態判定部４６では、現時点におけるビデオカメラ１８とプローブマーカ２４Ａの間の相対距離と相対角度に基づき、プローブマーカ２４Ａの認識状態が判定される。すなわち、ここでは、先ず、現時点における前記相対距離と前記相対角度が、光学マーカ検出部２５で検出されたプローブマーカ２４Ａのローカル位置情報から演算で求められる。ここで、使用されるプローブマーカ２４Ａのサイズ毎に、前記相対距離及び前記相対角度と認識安定度との関係を表すテーブル若しくは数式等からなる安定度データベース４９が予め記憶されている。そして、当該安定度データベース４９から、現時点での前記相対距離と前記相対角度に対応する認識安定度が特定される。この安定度データベース４９に記憶される前記関係は、予め取得した実験結果に応じて設定され、前記相対距離が長くなり、若しくは、前記相対角度が増大する程、認識安定度が不安定となる。なお、本実施形態における認識安定度は、プローブマーカ２４Ａの認識率が高い範囲である安定状態と、同認識率の低い範囲である不安定状態の何れかとされるが、本発明ではこれに限らず、認識安定度を数値化し、或いは、更に多段階としても良い。
つまり、この認識状態判定部４６では、ビデオカメラ１８でプローブマーカ２４Ａが認識されたときに、安定度データベース４９に基づき、ビデオカメラ１８とプローブマーカ２４Ａの間の相対距離と相対角度に応じ、プローブマーカ２４Ａの認識安定度として、安定状態か不安定状態の何れかと判定される。一方、ビデオカメラ１８でプローブマーカ２４Ａが認識されないときには、プローブマーカ２４Ａについて認識不能状態と判定される。
前記使用情報選択部４７では、次のようにして、プローブマーカ２４Ａ、磁気センサ２８、加速度センサ３１で取得された検出結果に基づいてグローバル位置情報変換機能３９で求められたグローバル位置情報の何れを使用するかが決定される。
すなわち、ここでは、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識され、認識状態判定部４６で安定状態と判定された第１の認識状態の場合に、プローブマーカ２４Ａで取得されたグローバル位置情報のみの使用が決定される。
また、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識されているが、認識状態判定部４６で不安定状態と判定された第２の認識状態の場合には、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で取得された３種のグローバル位置情報の使用が決定される。
更に、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識されない認識不能状態と判定された第３の認識状態の場合には、磁気センサ２８及び加速度センサ３１で取得された２種のグローバル位置情報の使用が決定される。
前記出力位置情報決定部４８では、次のようにして、前述の第１〜第３の認識状態に応じ異なる位置情報を使用して前記出力位置情報が決定される。
すなわち、プローブマーカ２４Ａが安定状態と判定された第１の認識状態の場合には、プローブマーカ２４Ａのグローバル位置情報がそのまま出力位置情報とされる。
また、プローブマーカ２４Ａが不安定状態と判定された第２の認識状態の場合には、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で取得した３種のグローバル位置情報が使用され、これらグローバル位置情報の誤差情報を考慮した補正値が前記出力位置情報として決定される。ここで用いられる誤差情報は、光学マーカ２４、磁気センサ２８、及び加速度センサ３１それぞれについての計測誤差であり、当該計測誤差は、予め設定された誤差データベース５０を使って特定される。つまり、光学マーカ２４における位置及び角度の計測誤差については、ビデオカメラ１８からの離間距離に応じた所定値が誤差データベース５０に記憶されている。また、磁気センサ２８における位置及び角度の計測誤差については、磁気基地局２７からの離間距離に応じた所定値が誤差データベース５０に記憶されている。更に、加速度センサ３１における位置及び角度の計測誤差については、製品毎に特定された所定値が誤差データベース５０に記憶されている。
そこで、この第２の認識状態の場合においては、先ず、プローブマーカ２４Ａと磁気センサ２８で取得した検出結果から誤差データベース５０により、前記各離間距離に対応する計測誤差が特定される。そして、当該計測誤差を加味した前記各グローバル位置情報の平均値が出力位置情報とされる。すなわち、ここでは、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１での計測誤差を対比し、それらの間で、計測誤差の小さい順に大きい値を取る重み付け値がそれぞれ設定される。更に、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で得られたグローバル位置情報に対し、対応する各重み付け値を乗じて加算した総合計値を各重み付け値の総和で除算することで、前記平均値である３次元位置情報の補正値が求められる。なお、ここでは、この演算手法に限定されるものではなく、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１の間での計測誤差の小さい値を優先しながら、それらのグローバル位置情報を総合して補正することで出力位置情報を求める限りにおいて、種々の演算手法を採ることができる。
更に、プローブマーカ２４Ａが認識不能状態とされた第３の認識状態の場合には、前記第２の認識状態の場合に対し、プローブマーカ２４Ａのグローバル位置情報を使用しない他は同様の手法により、磁気センサ２８及び加速度センサ３１からの２種のグローバル位置情報から、前記出力位置情報が求められる。
前記初期条件リセット機能４１では、静止状態が前提となる各周囲マーカ２４Ｂについて、それらの認識状態と、それらに一体的に取り付けられた加速度センサ３１による検出結果とに基づいて、初期設定部４３での初期設定によって特定された各周囲マーカ２４Ｂの３次元位置情報をリセットするか否かが決定される。当該リセットすると決定された場合には、初期設定部４３での初期設定が再度行われる一方、リセットしないと決定された場合には、以降の処理がそのまま続行される。
先ず、ビデオカメラ１８の視野内における周囲マーカ２４Ｂの何れかが動き、当該周囲マーカ２４Ｂに設けられた加速度センサ３１によって移動状態が検知された第１の状態変化の場合には、各周囲マーカ２４Ｂの認識状態の変化の有無に関係なく、全ての周囲マーカ２４Ｂのグローバル位置情報がリセットされる。この際、加速度センサ３１は、周囲マーカ２４Ｂの移動状態を検知可能な移動検知センサとして機能する。
また、ビデオカメラ１８の視野内における周囲マーカ２４Ｂについて、ビデオカメラ１８との相対角度の増大等による誤認識等により、光学マーカ検出部２５での検出結果が所定時間内で変化した第２の状態変化の場合には、加速度センサ３１によって移動状態が検知されていなくても、当該周囲マーカ２４Ｂの認識状態が変化したとして、全ての周囲マーカ２４Ｂのグローバル位置情報がリセットされる。
更に、ビデオカメラ１８の視野外に存在して画像認識されない周囲マーカ２４Ｂについて、当該周囲マーカ２４Ｂに設けられた加速度センサ３１で移動状態が検知された第３の状態変化の場合には、ビデオカメラ１８の視野内に存在する他の周囲マーカ２４Ｂのグローバル位置情報がリセットされる。
その他、前記第１〜第３の状態変化の場合に該当しない限り、周囲マーカ２４Ｂのグローバル位置情報はリセットされない。従って、例えば、所定の周囲マーカ２４Ｂがビデオカメラ１８の視野外に存在して画像認識されてなくても、加速度センサ３１で周囲マーカ２４Ｂの移動状態が検知されない場合には、周囲マーカ２４Ｂのグローバル位置情報はリセットされない。
前記合成画像生成手段３７では、画像取込手段３６で取り込まれた各画像と、位置情報特定手段３５で決定されたプローブ１９の出力位置情報とから、カメラ画像中のプローブ１９の先端位置付近で、その向きに対応した向きで重畳画像が表示されるように合成画像を生成する。すなわち、プローブ１９の出力位置情報に基づいて、背景画像となるカメラ画像中のプローブ１９の位置や姿勢を特定し、当該カメラ画像中のプローブ１９の先端部分に、当該プローブ１９の姿勢に対応した向きで、対応する位置の患部における診断画像を重畳するようになっている。
なお、前記実施形態では、本発明に係る合成画像生成システムを、医療現場で利用されるＡＲ表示システム１０に適用した例について図示説明したが、本発明はこれに限らず、同様の構成で、所定空間内を動作する移動部材の位置や姿勢に対応させ、当該移動部材で指定されたカメラ画像内の所望領域に別途取得した重畳画像を重畳させて合成画像を生成するシステム全般に適用可能である。
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
本発明は、所定空間内を動作する移動部材の位置や姿勢に対応させ、当該移動部材で指定されたカメラ画像内の所望領域に別途取得した重畳画像を重畳させて合成画像を生成するシステムとして利用可能となる。
１０ 医療用ＡＲ表示システム
１４ 位置情報検出装置（合成画像生成システム）
１６ 処理装置（合成画像生成システム）
１８ ビデオカメラ（カメラ）
１９ プローブ（移動部材）
２１ 光学トラッキング手段
２２ 非光学トラッキング手段
２２Ａ 磁気トラッキングシステム
２２Ｂ 加速度トラッキングシステム
２４ 光学マーカ
２４Ａ プローブマーカ（移動光学マーカ）
２４Ｂ 周囲マーカ（固定光学マーカ）
２５ 光学マーカ検出部
２８ 磁気センサ（非光学マーカ）
２９ 磁気センサ検出部（非光学マーカ検出部）
３１ 加速度センサ（非光学マーカ、移動検知センサ）
３２ 加速度センサ検出部（非光学マーカ検出部）
３５ 位置情報特定手段
４０ 移動位置情報調整機能（位置情報補正システム）
４１ 初期条件リセット機能（初期条件リセットシステム）
４６ 認識状態判定部
４７ 使用情報選択部
４８ 出力位置情報決定部
４９ 安定度データベース
５０ 誤差データベース
Ｄ 医師（ユーザ）

Claims (9)

  1. 実空間内の所定部位の位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された位置情報に基づき、移動可能に配置されたカメラで撮像された前記実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置とを備えた合成画像生成システムにおいて、
    前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とを備え、
    前記光学トラッキング手段は、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、
    前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、
    前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記所望領域に前記重畳画像を重畳する際に用いる前記移動部材の位置情報を特定する位置情報特定手段を含み、
    前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備えたことを特徴とする合成画像生成システム。
  2. 前記認識状態判定部では、前記カメラで前記移動光学マーカが認識されたときに、前記光学マーカ検出部での検出結果により求められた前記カメラと前記移動光学マーカの間の相対距離及び相対角度に基づき、前記認識状態が判定されることを特徴とする請求項１記載の合成画像生成システム。
  3. 前記認識状態判定部では、前記認識状態として、前記カメラで前記移動光学マーカが認識されたときに、前記光学マーカ検出部での検出結果により求められた前記カメラと前記移動光学マーカの間の相対距離及び相対角度から、予め記憶された安定度データベースにより、前記移動光学マーカの認識率の高い安定状態若しくは当該認識率の低い不安定状態の何れかと判定される一方、前記移動光学マーカが認識されないときに、認識不能状態と判定されることを特徴とする請求項１記載の合成画像生成システム。
  4. 前記使用情報選択部では、前記安定状態のときに、前記光学トラッキング手段で検出された位置情報が選択され、前記不安定状態のときに、前記光学トラッキング手段及び前記非光学トラッキング手段で検出された各位置情報が選択され、前記認識不能状態のときに、前記非光学トラッキング手段で検出された位置情報が選択されることを特徴とする請求項３記載の合成画像生成システム。
  5. 前記出力位置情報決定部では、前記不安定状態のときに、前記光学トラッキング手段及び前記非光学トラッキング手段のそれぞれの計測誤差を加味した前記各位置情報の平均値を前記出力位置情報とすることを特徴とする請求項４記載の合成画像生成システム。
  6. 前記非光学トラッキング手段は、前記非光学マーカとして機能する磁気センサで取得した磁気データを利用して前記位置情報を求める磁気トラッキングシステムと、前記非光学マーカとして機能する加速度センサで取得した加速度データを利用して前記位置情報を求める加速度トラッキングシステムとからなり、
    前記出力位置情報決定部では、前記認識不能状態のときに、前記磁気センサ及び前記加速度センサのそれぞれの計測誤差を加味した前記各位置情報の平均値を前記出力位置情報とすることを特徴とする請求項５記載の合成画像生成システム。
  7. 前記出力位置情報決定部では、前記位置情報検出装置の検出結果から、前記カメラから移動光学マーカまでの離間距離と前記磁気センサからその検出地点までの離間距離とが求められ、当該各離間距離に前記計測誤差を対応させて予め記憶された誤差データベースにより、前記計測誤差が特定されることを特徴とする請求項６記載の合成画像生成システム。
  8. 前記出力位置情報決定部では、前記計測誤差に対応する重み付け値を決定し、前記各位置情報について、対応する当該重み付け値をそれぞれ乗じた上で、それら値を加算した総合計値を前記重み付け値の総和で除算することで、前記平均値が求められることを特徴とする請求項７記載の合成画像生成システム。
  9. 移動可能に配置されたカメラで撮像された実空間のカメラ画像内の所望領域に、別途取得された重畳画像を重ねた合成画像を生成する際に、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材について、位置情報検出装置で複数検出された位置情報を調整する処理装置からなる位置情報補正システムにおいて、
    前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段と、前記カメラを利用せずに前記位置情報を検出する非光学トラッキング手段とにより構成され、
    前記光学トラッキング手段は、前記移動部材に固定されて一体的に移動可能な移動光学マーカと、前記カメラで撮像された前記移動光学マーカの画像状態を認識することにより、当該移動光学マーカの位置情報を検出する光学マーカ検出部とを備え、
    前記非光学トラッキング手段は、前記移動部材に固定された非光学マーカと、当該非光学マーカの位置情報を検出する非光学マーカ検出部とを備え、
    前記処理装置は、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果を調整して、前記移動部材の位置情報を特定する位置情報特定手段を含み、
    前記位置情報特定手段は、前記カメラによる前記移動光学マーカの認識状態を判定する認識状態判定部と、前記移動光学マーカの認識状態に応じて、前記光学トラッキング手段及び前記非光学トラッキング手段での検出結果の中からどの位置情報を使用するかを選択する使用情報選択部と、当該使用情報選択部で選択された位置情報により、前記合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部とを備えたことを特徴とする位置情報補正システム。
JP2019506535A 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム Active JP6660659B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003744 WO2020157984A1 (ja) 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム

Publications (2)

Publication Number Publication Date
JP6660659B1 true JP6660659B1 (ja) 2020-03-11
JPWO2020157984A1 JPWO2020157984A1 (ja) 2021-02-18

Family

ID=69998050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506535A Active JP6660659B1 (ja) 2019-02-01 2019-02-01 合成画像生成システム及び位置情報補正システム

Country Status (3)

Country Link
US (1) US11055873B2 (ja)
JP (1) JP6660659B1 (ja)
WO (1) WO2020157984A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580690B1 (en) 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN114176773B (zh) * 2021-12-20 2022-07-08 北京诺亦腾科技有限公司 骨折复位系统的精度检测方法、装置、设备及介质
CN116058866A (zh) * 2022-12-12 2023-05-05 声索生物科技(上海)有限公司 用于超声成像设备的深度检测装置及检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002533721A (ja) * 1998-12-23 2002-10-08 イメージ・ガイディッド・テクノロジーズ・インコーポレイテッド 複数センサーによって追跡されるハイブリッド３ｄプローブ
US20150109458A1 (en) * 2012-05-25 2015-04-23 Koh Young Technology Inc. Method of registrating a camera of a surgical navigation system for an augmented reality
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2017153827A (ja) * 2016-03-03 2017-09-07 株式会社菊池製作所 合成画像提示システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019349B2 (en) * 2009-07-31 2015-04-28 Naturalpoint, Inc. Automated collective camera calibration for motion capture
US9782141B2 (en) * 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
JP5410629B1 (ja) 2013-05-14 2014-02-05 健司 三木 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
US11328612B2 (en) * 2019-08-14 2022-05-10 Lane Dalan System, method, and apparatus for drone positioning control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002533721A (ja) * 1998-12-23 2002-10-08 イメージ・ガイディッド・テクノロジーズ・インコーポレイテッド 複数センサーによって追跡されるハイブリッド３ｄプローブ
US20150109458A1 (en) * 2012-05-25 2015-04-23 Koh Young Technology Inc. Method of registrating a camera of a surgical navigation system for an augmented reality
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2017153827A (ja) * 2016-03-03 2017-09-07 株式会社菊池製作所 合成画像提示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580690B1 (en) 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation

Also Published As

Publication number Publication date
JPWO2020157984A1 (ja) 2021-02-18
US11055873B2 (en) 2021-07-06
US20210142509A1 (en) 2021-05-13
WO2020157984A1 (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
JP6660659B1 (ja) 合成画像生成システム及び位置情報補正システム
KR102471422B1 (ko) 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
US10881353B2 (en) Machine-guided imaging techniques
JP6083103B2 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
EP3858280A1 (en) Surgical navigation system with augmented reality device
US20200129240A1 (en) Systems and methods for intraoperative planning and placement of implants
EP3113681A1 (en) Systems and methods for patient position monitoring
JP2016202351A (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP6095032B1 (ja) 合成画像提示システム
CN114287955A (zh) Ct三维图像生成方法、装置与ct扫描系统
JP6701438B1 (ja) 合成画像生成システム及び初期条件リセットシステム
US11160610B2 (en) Systems and methods for soft tissue navigation
JP6476125B2 (ja) 画像処理装置、及び手術顕微鏡システム
US11430139B2 (en) Registration method and setup
US20220198665A1 (en) Systems and methods for monitoring one or more anatomical elements
JP2014212904A (ja) 医用投影システム
JP2017042423A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
EP4212123A1 (en) Technique for determining a need for a re-registration of a patient tracker tracked by a camera system
US20220284602A1 (en) Systems and methods for enhancement of 3d imagery and navigation via integration of patient motion data
KR101635731B1 (ko) 사람의 체내 구조물을 가시화하는 가시화 시스템 및 방법
Octorina Dewi et al. Position tracking systems for ultrasound imaging: a survey
EP4212122A1 (en) Technique for determining a need for a re-registration of a patient tracker
WO2022192837A1 (en) Systems and methods for enhancement of 3d imagery and navigation via integration of patient motion data
JP2017041187A (ja) 制御方法、プログラム及び制御装置
CN117015794A (zh) 用于经由集成患者运动数据来增强3d影像和导航的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200209

R150 Certificate of patent or registration of utility model

Ref document number: 6660659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250