JP6701438B1 - 合成画像生成システム及び初期条件リセットシステム - Google Patents

Abstract

合成画像生成システムは、実空間内の所定部位の位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４によって検出された位置情報に基づき、移動可能に配置されたビデオカメラ１８で撮像された実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置１６とを備える。処理装置１６では、各光学マーカ２４が静止した静止状態で、合成画像を生成する際の基準となる全体座標系を設定する初期設定後に、静止状態で配置されることを前提として所定部位に設けられる周囲マーカ２４Ｂの認識状態と加速度センサ３１による検知状態に応じ、初期設定時に用いられた周囲マーカ２４Ｂの位置情報をリセットする。

Description

本発明は、外界の実空間を撮像した画像の一部領域に、他で取得した重畳画像を重ね合わせる合成画像生成システム、及びこれに用いる初期条件リセットシステムに関する。

近年、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術について、他の様々な分野への応用が検討されている。ＡＲ技術の医療分野への応用としては、所定の重畳画像を外界の実空間を撮像したカメラ画像に重ね合わせてユーザに視認させるビデオシースルータイプのヘッドマウントディスプレイ（ＨＭＤ）を利用し、医療教育支援や低侵襲手術支援等を行うシステムが研究されている。このようなシステムとしては、例えば、医師が穿刺等を行う際にＨＭＤを装着し、当該穿刺を支援するための合成画像がＨＭＤを通じて医師に提示される特許文献１の支援システムが知られている。当該支援システムでは、ＨＭＤに取り付けたビデオカメラで撮影された医師の視野のカメラ画像に、超音波診断装置のプローブが当てられた患者の患部の超音波画像を重ね合わせた合成画像を生成するようになっている。

この特許文献１の支援システムでは、プローブの位置や姿勢に対応して、カメラ画像におけるプローブの先端側となる所定領域に超音波画像が重畳される。この際、プローブに取り付けた光学マーカであるプローブマーカをビデオカメラで撮像することにより、カメラ画像内のプローブマーカの認識状態から、ビデオカメラとプローブマーカの間の相対的な位置及び姿勢が求められる。また、患者の体表部分に取り付けられる別の光学マーカである周囲マーカもプローブマーカと同時にビデオカメラで撮像される。これにより、固定配置された周囲マーカとプローブに伴って移動するプローブマーカとの相対的な位置姿勢関係が都度検出され、ビデオカメラが医師とともに動いても、特定の周囲マーカを基準とした全体座標系におけるプローブの３次元位置情報を取得でき、全体座標系における３次元位置情報に対応した超音波画像をカメラ画像の所定領域に重畳可能になる。

ところが、前記特許文献１の支援システムでは、前記ビデオカメラで、プローブマーカとともに周囲マーカが同時に撮像されていなければ、全体座標系におけるプローブの３次元位置を求めることができず、カメラ画像の所定領域に重畳画像を重畳できなくなる。従って、このような事態を回避するためには、プローブがどこに移動しても、プローブが撮像されたカメラ画像内に、移動不能な周囲マーカの少なくとも１つが撮像されるように、多数の周囲マーカを実空間の至る場所に配置する必要が生じる。この場合、各周囲マーカの間の相対的な位置姿勢関係を特定するために、固定配置された全ての周囲マーカをビデオカメラで撮像する事前作業が必要となる。

本発明者らは、前記事前作業を軽減するため、光学マーカを主体とし、１台のカメラで撮像された現時点のカメラ画像に基づく３次元位置情報を他のカメラで取得したカメラ画像による３次元位置情報で補完し、実空間に存在する各光学マーカの全体座標系における３次元位置情報を簡易に且つ精度良く検出可能にするシステムを既に提案している（特許文献２参照）。

特許第５４１０６２９号公報 特許第６０９５０３２号公報

前記特許文献１及び２の各システムにあっては、３次元位置情報の取得に必要な各光学マーカを正確に認識することが前提である。しかしながら、特許文献１の支援システムにおいて、プローブに取り付けられたプローブマーカは、ビデオカメラに対するプローブの向き次第で認識状態が低下して誤認識等が生じ得る。その結果、カメラ画像に重畳される超音波画像の位置が所望の領域からずれることになる。また、プローブマーカがビデオカメラの視野から外れると、その３次元位置情報の検出が不能になり、カメラ画像に重畳画像を重畳できなくなる。更に、前記特許文献１及び２の各システムでは、患者が不意に動いて、静止状態が前提となる周囲マーカが意図せずに移動した場合、全体座標系を求める際の基準となる周囲マーカの３次元位置座標が初期設定時からずれてしまい、カメラ画像の所望領域に重畳画像を重畳できなくなる。

本発明は、このような課題に着目して案出されたものであり、その目的は、光学マーカによる位置情報の検出精度が低下したときでも、カメラで取得した実空間の画像内の所望領域に重畳画像を重畳させることに資する合成画像生成システムを提供することにある。

前記目的を達成するため、本発明は、実空間内の所定部位の位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された位置情報に基づき、移動可能に配置されたカメラで撮像された前記実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置とを備えた合成画像生成システムにおいて、前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段を備え、前記光学トラッキング手段は、前記所定部位に設置される光学マーカと、前記カメラで撮像された前記光学マーカの画像状態を認識することにより、当該光学マーカの位置情報を検出する光学マーカ検出部とを備え、前記光学マーカは、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、静止状態で配置されることを前提として前記所定部位に設けられる固定光学マーカとからなり、前記固定光学マーカには、その移動状態を検知可能な移動検知センサが設けられ、前記処理装置では、前記各光学マーカが静止した静止状態で、前記合成画像を生成する際の基準となる全体座標系を設定する初期設定後に、前記光学マーカ検出部による前記固定光学マーカの認識状態と前記移動検知センサによる検知状態に応じ、前記初期設定時に用いられた前記固定光学マーカの位置情報をリセットする、という構成を採っている。

また、本発明は、移動可能に配置されたカメラで撮像された実空間のカメラ画像内の所望領域に、別途取得された重畳画像を重ねた合成画像を生成する際に、前記実空間内の所定部位の位置情報を検出する位置情報検出装置の検出結果から、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材の位置情報を特定するときに、初期条件を予め設定する初期設定を状況に応じてリセットする処理装置からなる初期条件リセットシステムにおいて、前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段を備え、前記光学トラッキング手段は、前記所定部位に設置される光学マーカと、前記カメラで撮像された前記光学マーカの画像状態を認識することにより、当該光学マーカの位置情報を検出する光学マーカ検出部とを備え、前記光学マーカは、前記移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、静止状態で配置されることを前提として前記所定部位に設けられる固定光学マーカとからなり、前記固定光学マーカには、その移動状態を検知可能な移動検知センサが設けられ、前記処理装置では、前記各光学マーカが静止した静止状態で、前記合成画像を生成する際の基準となる全体座標系を設定する前記初期設定後に、前記光学マーカ検出部による前記固定光学マーカの認識状態と前記移動検知センサによる検知状態に応じ、前記初期設定時に用いられた前記固定光学マーカの位置情報をリセットする、という構成を採っている。

なお、本明細書及び特許請求の範囲において、「位置情報」とは、所定の座標系における位置に、当該座標軸回りの回転角度で表される姿勢（向き）を含めた情報を意味する。従って、「３次元位置情報」とは、直交３軸方向におけるそれぞれの位置と、これら各軸回りの回転角度の６つの座標成分からなる情報を意味する。

本発明によれば、静止状態が前提となる固定光学マーカの不意な移動が移動検知センサで検知されたとき、或いは、固定光学マーカの認識状態からその誤認識が疑われるようなときに、各光学マーカが静止した静止状態で、合成画像を生成する際の基準となる全体座標系を初期設定した際の固定光学マーカの位置情報をリセットすることが可能となる。当該リセットすることにより、再度、固定光学マーカを静止状態として配置し直し、その状態で改めて初期設定することにより、移動部材の位置情報を正確に検出可能となる。従って、固定光学マーカの移動によって、光学マーカによる位置情報の検出精度が低下したときでも、その状態で位置情報が検出されずに、再度の初期設定が促されることになり、カメラ画像内の所望領域に重畳画像を正しく重畳させることが可能となる。

本発明に係る合成画像生成システムを含む医療用ＡＲ表示システムの主たる構成を表す概念図である。 前記医療用ＡＲ表示システムの全体構成を表すブロック図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本発明に係る合成画像生成システムを含む医療用ＡＲ表示システムの主たる構成を表す概念図が示され、図２には、当該医療用ＡＲ表示システムの全体構成を表すブロック図が示されている。これらの図において、本実施形態の医療用ＡＲ表示システム１０は、医療支援用の表示システムであり、ユーザとしての医師Ｄがヘッドマウントディスプレイ１１（以下、「ＨＭＤ１１」と称する。）を装着した状態で、医師Ｄの視界に存在する患者Ｐの実空間の画像（主に患部）の一部領域に、対応する超音波画像等の診断画像を重畳画像として重ね合せた合成画像をＨＭＤ１１に表示するＡＲ表示システムである。

前記医療用ＡＲ表示システム１０は、医師Ｄの頭部に装着される画像表示装置としてのＨＭＤ１１と、患者Ｐの患部等の診断画像を取得する画像診断装置１３と、実空間内の所定部位の３次元位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４の検出結果に基づいて前記合成画像を生成し、当該合成画像をＨＭＤ１１に提示する処理装置１６とを備えている。なお、位置情報検出装置１４及び処理装置１６は、前記合成画像を生成する合成画像生成システムを構成する。

前記ＨＭＤ１１は、合成画像の背景となる実空間のカメラ画像を撮像するビデオカメラ１８が取り付けられたビデオシースルー型のものが用いられており、カメラ画像に重畳画像を重ね合せた合成画像が医師Ｄの目前に表示されるようになっている。

前記ビデオカメラ１８は、ＨＭＤ１１を装着した医師Ｄが、自身の目前の実空間を実際に直視したのとほぼ同一のカメラ画像を取得できるように、医師Ｄの頭部と一体的に移動可能に配置されている。従って、医師Ｄは、自身の目前に存在する患者Ｐやその患部の様子について、ＨＭＤ１１の表示部に表示されたカメラ画像を通じて視認可能となる。なお、本発明においては、前記カメラ画像を取得できる限りにおいて、他の種々のカメラを採用することもできる。

前記画像診断装置１３としては、２次元超音波診断装置が適用される。この２次元超音波診断装置では、プローブ１９（図１参照）によるビーム走査によって、ビーム走査面と同一断面における断層画像である２次元画像等の超音波画像が生成される。また、患部の所定範囲でビーム走査を行い、当該ビーム走査時におけるプローブ１９の同一座標系での３次元位置情報の後述する検出結果を利用して、患部の所定範囲内における体内の臓器等の立体像の生成を可能にする機能が設けられている。これら超音波画像や立体像等の診断画像は、重畳画像として実空間のカメラ画像の所望領域に立体的に重ね合わされた状態で、ＨＭＤ１１を通じて医師Ｄが視認可能となる。ここで、重畳画像が重ね合わされるカメラ画像の所望領域としては、処理装置１６での後述する処理により、カメラ画像中のプローブ１９の先端位置付近の領域とされ、このプローブ１９の向きに対応した向きで重畳画像が表示される。従って、プローブ１９は、医師Ｄの任意の操作によって実空間内を移動しながら前記所望領域を指定する移動部材としても構成される。

なお、本発明における移動部材は、プローブ１９に限定されず、ユーザの操作によって実空間内を移動しながら所望領域を指定できる限りにおいて、種々の操作部材や把持部材等を採用することもできる。

また、画像診断装置１３としては、本実施形態の超音波診断装置に限らず、ＣＴ、ＭＲＩ等の他の画像診断装置を適用することも可能である。

前記位置情報検出装置１４は、図２に示されるように、ビデオカメラ１８からのカメラ画像を利用して、実空間の所定部位における３次元位置情報を検出する光学トラッキング手段２１と、カメラ画像を利用せずに、実空間内の所定部位における３次元位置情報を検出する非光学トラッキング手段２２とにより構成される。

前記光学トラッキング手段２１は、実空間内における複数の所定部位にそれぞれ設置される光学マーカ２４と、ビデオカメラ１８で撮像されたカメラ画像中の各光学マーカ２４の画像状態を認識することにより、各設置部位の光学マーカ２４について、ビデオカメラ１８の中心を原点とした直交３軸の局所座標系における３次元位置情報を検出する光学マーカ検出部２５とにより構成された光学トラッキングシステムからなる。つまり、この光学トラッキング手段２１では、光学マーカ２４を通じてその設置部位の３次元位置情報を検出可能となる。

前記光学マーカ２４は、図１に示されるように、プローブ１９の一部に固定されたプローブマーカ２４Ａと、仰向けに寝た状態の患者Ｐの体表部分の複数箇所に固定された周囲マーカ２４Ｂとからなる。なお、各光学マーカ２４の表面には、所定の模様が付されており、当該模様の異なる複数パターンの光学マーカ２４が用意され、配置部位毎に模様の異なる光学マーカ２４が使用される。

前記プローブマーカ２４Ａは、プローブ１９と一体的に移動可能な移動光学マーカとして機能し、前記周囲マーカ２４Ｂは、静止状態での配置を前提とした固定光学マーカとして機能する。

前記光学マーカ検出部２５では、ビデオカメラ１８で撮像されたカメラ画像に光学マーカ２４が写ると、当該光学マーカ２４の画像認識により、公知の手法による次の処理が行われる。すなわち、ここでは、光学マーカ２４の模様、形状、及びサイズが既知であることから、カメラ画像内の光学マーカ２４の模様から、どこに配置されている光学マーカ２４かを表すＩＤが特定されるとともに、カメラ画像内における光学マーカ２４のサイズや形状から、光学マーカ２４の位置や向きが求められる。ここで、光学マーカ２４の位置や向きは、当該光学マーカ２４を撮像したビデオカメラ１８の中心を原点とするＨＭＤ座標系による３次元位置情報として取得される。

従って、光学マーカ検出部２５では、医師Ｄに装着されたＨＭＤ１１のビデオカメラ１８で撮像された光学マーカ２４について、ＨＭＤ座標系による３次元位置情報が逐次得られることになる。このＨＭＤ座標系は、ＨＭＤ１１が装着される医師Ｄの頭部の動きに伴って移動する局所座標系として取り扱われる。

前記非光学トラッキング手段２２は、磁気データを利用して３次元位置情報を求める磁気トラッキングシステム２２Ａと、加速度データを利用して３次元位置情報を求める加速度トラッキングシステム２２Ｂとからなる。

前記磁気トラッキングシステム２２Ａは、実空間の様々な方向に、様々な強さの磁界を発生させる磁気基地局２７と、磁気基地局２７からの磁気の大きさを検出する非光学マーカとしての磁気センサ２８と、磁気センサ２８での磁気の検出状態からその設置部位の３次元位置情報を検出する非光学マーカ検出部としての磁気センサ検出部２９とにより構成される。つまり、この磁気トラッキングシステム２２Ａでは、磁気センサ２８を通じてその設置部位の３次元位置情報を検出可能となる。

前記磁気センサ２８は、逐次移動するプローブ１９の所定部位に固定されており、当該プローブ１９に固定配置されたプローブマーカ２４Ａとの間で相対移動不能且つ相対回転不能に取り付けられている。

前記磁気センサ検出部２９では、磁気基地局２７から発生した磁界の方向や強さを磁気センサ２８で検知することにより、磁気センサ２８が取り付けられたプローブ１９について、磁気基地局２７の所定部位を原点とした直交３軸の磁気座標系における３次元位置情報が逐次取得されるようになっている。この磁気座標系は、１箇所に存在するとともに、磁気基地局２７が固定されることから、移動回転不能に固定される局所座標系として取り扱われる。

前記加速度トラッキングシステム２２Ｂは、所定部位に固定された非光学マーカとして機能する加速度センサ３１と、当該加速度センサ３１の計測値から、加速度センサ３１が取り付けられた所定部位における３次元位置情報を求める非光学マーカ検出部としての加速度センサ検出部３２とからなる。

前記加速度センサ３１は、各光学マーカ２４にそれぞれ固定されており、取り付けられた各光学マーカ２４との間で相対移動不能且つ相対回転不能に配置される。この加速度センサ３１は、直交３軸方向における加速度と、当該各軸回りの角速度とを測定可能な６軸加速度センサからなる。

前記加速度センサ検出部３２では、初期位置からの前記加速度及び前記角速度の経時的変化を取得することで、前記初期位置を原点とした局所座標系である加速度座標系における現時点での加速度マーカ３１の設置部位の３次元位置情報を算出するようになっている。

なお、非光学トラッキング手段２２としては、ビデオカメラ１８を利用しないで非光学マーカを追跡することにより、当該非光学マーカについて、予め設定された基準点を原点とした局所座標系における３次元位置情報を特定するセンサ類により構成されたものであれば何でも良い。

例えば、図示省略しているが、他の非光学トラッキング手段２２として、超音波を利用した超音波トラッキングシステムを採用し、前述の磁気トラッキングシステム２２Ａや加速度トラッキングシステム２２Ｂに代え、又は、これらトラッキングシステム２２Ａ，２２Ｂと併用することができる。この超音波トラッキングシステムでは、様々な周波数、強さの超音波を発生する発信機を非光学マーカである超音波マーカとして実空間の所定部位に固定し、超音波受信局に設置された複数のマイクで超音波の周波数、強さが計測される。そして、三角測量の原理を用いて、超音波マーカの設置部位について、超音波受信局の所定点を原点とした直交３軸の超音波座標系における３次元位置情報が逐次取得される。この超音波座標系も、磁気座標系と同様、超音波基地局の固定配置によって固定される１の局所座標系として取り扱われる。この超音波トラッキングシステムを採用した場合においても、取得した３次元位置情報に基づいて、非光学トラッキング手段２２により取得した前述の３次元位置情報と同様に後述の処理が行われる。

なお、以下の説明において、局所座標系であるＨＭＤ座標系、磁気座標系及び加速度座標系における３次元位置情報を適宜「ローカル位置情報」と称する。また、予め設定された実空間内に固定された定点を原点とした直交３軸の全体座標系における３次元位置情報を適宜「グローバル位置情報」と称する。

前記処理装置１６は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段や各部として機能させるためのプログラムがインストールされている。

この処理装置１６は、図２に示されるように、光学トラッキング手段２１及び非光学トラッキング手段２２の検出結果を調整し、実空間のカメラ画像の所望領域に、画像診断装置１３からの診断画像を重畳する際のプローブ１９の３次元位置情報を特定する位置情報特定手段３５と、画像診断装置１３とビデオカメラ１８で得られた各種の画像データを取り込む画像取込手段３６と、位置情報特定手段３５で求めた３次元位置情報に基づいて各医師ＤのＨＭＤ１１に提示される合成画像を生成する合成画像生成手段３７とを備えている。

前記位置情報特定手段３５は、位置情報検出装置１４で検出されたローカル位置情報を演算によってグローバル位置情報に変換するグローバル位置情報変換機能３９と、グローバル位置情報変換機能３９で求めたプローブ１９のグローバル位置情報を調整する位置情報補正システムを構成する移動位置情報調整機能４０と、グローバル位置情報を求める際に基準となる所定の初期条件をリセットする初期条件リセットシステムを構成する初期条件リセット機能４１とを有する。

前記グローバル位置情報変換機能３９は、プローブ１９及び患者Ｐが静止した静止状態において、全体座標系を設定する初期設定部４３と、局所座標系におけるプローブ１９の３次元位置情報を全体座標系に変換する座標変換部４４とを備えている。

前記初期設定部４３では、次の初期条件を設定する初期設定が逐次行われ、当該初期設定時における位置情報検出装置１４の検出結果を使って全体座標系が設定される。

すなわち、ここでは、各光学マーカ２４、磁気センサ２８、及び加速度センサ３１が静止した状態で、プローブマーカ２４Ａ及び周囲マーカ２４Ｂが、正確に画像認識できる位置及び向きでビデオカメラ１８により同時に撮像される。このとき、周囲マーカ２４Ｂのうち１つのマーカ、、例えば、プローブマーカ２４Ａに最も近い１つの周囲マーカ２４Ｂが、基準周囲マーカ２４Ｂとして特定され、当該基準周囲マーカ２４Ｂの中心を原点とする全体座標系が設定される。

前記座標変換部４４では、初期設定部４３での初期設定後、位置情報検出装置１４での各局所座標系における検出値、すなわち、光学マーカ２４、磁気センサ２８、及び加速度センサ３１により取得した３次元位置情報が、演算によりそれぞれ全体座標系に変換される。

ここで、各光学マーカ２４のローカル位置情報は、次のようにグローバル位置情報に変換される。

すなわち、患者Ｐに取り付けられた各周囲マーカ２４Ｂについては、患者Ｐが静止しているときに相対的な位置姿勢関係が不変となる。このため、患者Ｐが静止して各周囲マーカ２４Ｂが動いていない静止状態のときには、各周囲マーカ２４ＢのＨＭＤ座標系における３次元位置情報が不変であり、基準周囲マーカ２４Ｂを原点とした全体座標系における他の周囲マーカ２４Ｂの３次元位置情報も一定値として算出される。

一方、プローブマーカ２４Ａは、医師Ｄによるプローブ１９の操作によって、位置情報検出装置１４で検出されるローカル位置情報が逐次変化する。ところが、各周囲マーカ２４Ｂが静止状態であると、各周囲マーカ２４Ｂ間での相対的な位置姿勢関係が不変であるから、プローブマーカ２４Ａと同時に少なくとも１箇所の周囲マーカ２４Ｂがビデオカメラ１８で撮像されていれば、ＨＭＤ座標系での検出結果から、プローブマーカ２４Ａのグローバル位置情報が算出されることになる。なお、患者Ｐが静止状態から動いたとき等、何れかの周囲マーカ２４Ｂにおける検出状態が初期設定時に対して変化したときには、後述するように、初期条件リセット機能４１で周囲マーカ２４Ｂのグローバル位置情報がリセットされ、初期設定部４３で初期条件が新たに設定される。

また、磁気センサ２８で取得したローカル位置情報は、次のようにしてグローバル位置情報に変換される。すなわち、磁気センサ２８は、プローブマーカ２４Ａとともに相対移動不能、且つ、相対回転不能にプローブ１９に取り付けられている。従って、前記初期設定時における磁気座標系でのプローブ１９の３次元位置情報から、プローブマーカ２４Ａと基準周囲マーカ２４Ｂとの相対的な位置姿勢関係に基づき、磁気座標系と全体座標系との相対関係が特定される。そして、当該相対関係から、磁気センサ２８の磁気座標系における検出値が、統一した全体座標系の成分に変換される。

更に、加速度センサ３１での検出結果から、次のようにして、その設置部位におけるグローバル位置情報が求められる。すなわち、前記初期条件の設定時に、加速度センサ３１に一体的に取り付けられた各光学マーカ２４の初期状態におけるグローバル位置情報が前述の通り特定される。その後、加速度センサ検出部３２により、直交３軸方向の加速度及び当該３軸回りの角速度の経時的変化が取得され、当該取得値から、加速度センサ３１の設置部位における移動量及び回転量が算出される。その後、これら移動量及び回転量が、前記初期状態におけるグローバル位置情報に加算されることで、加速度センサ３１の設置部位のグローバル位置情報が求められる。

前記移動位置情報調整機能４０は、ビデオカメラ１８によるプローブマーカ２４Ａの認識状態を判定する認識状態判定部４６と、プローブマーカ２４Ａの認識状態に応じて、グローバル位置情報変換機能３９で算出されたプローブマーカ２４Ａ、磁気センサ２８、加速度センサ３１からのグローバル位置情報の中からどの検出結果を使用するかを選択する使用情報選択部４７と、使用情報選択部４７で選択された３次元位置情報から、合成画像生成手段３７で用いるプローブ１９の出力位置情報を決定する出力位置情報決定部４８とを備えている。

前記認識状態判定部４６では、現時点におけるビデオカメラ１８とプローブマーカ２４Ａの間の相対距離と相対角度に基づき、プローブマーカ２４Ａの認識状態が判定される。すなわち、ここでは、先ず、現時点における前記相対距離と前記相対角度が、光学マーカ検出部２５で検出されたプローブマーカ２４Ａのローカル位置情報から演算で求められる。ここで、使用されるプローブマーカ２４Ａのサイズ毎に、前記相対距離及び前記相対角度と認識安定度との関係を表すテーブル若しくは数式等からなる安定度データベース４９が予め記憶されている。そして、当該安定度データベース４９から、現時点での前記相対距離と前記相対角度に対応する認識安定度が特定される。この安定度データベース４９に記憶される前記関係は、予め取得した実験結果に応じて設定され、前記相対距離が長くなり、若しくは、前記相対角度が増大する程、認識安定度が不安定となる。なお、本実施形態における認識安定度は、プローブマーカ２４Ａの認識率が高い範囲である安定状態と、同認識率の低い範囲である不安定状態の何れかとされるが、本発明ではこれに限らず、認識安定度を数値化し、或いは、更に多段階としても良い。

つまり、この認識状態判定部４６では、ビデオカメラ１８でプローブマーカ２４Ａが認識されたときに、安定度データベース４９に基づき、ビデオカメラ１８とプローブマーカ２４Ａの間の相対距離と相対角度に応じ、プローブマーカ２４Ａの認識安定度として、安定状態か不安定状態の何れかと判定される。一方、ビデオカメラ１８でプローブマーカ２４Ａが認識されないときには、プローブマーカ２４Ａについて認識不能状態と判定される。

前記使用情報選択部４７では、次のようにして、プローブマーカ２４Ａ、磁気センサ２８、加速度センサ３１で取得された検出結果に基づいてグローバル位置情報変換機能３９で求められたグローバル位置情報の何れを使用するかが決定される。

すなわち、ここでは、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識され、認識状態判定部４６で安定状態と判定された第１の認識状態の場合に、プローブマーカ２４Ａで取得されたグローバル位置情報のみの使用が決定される。

また、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識されているが、認識状態判定部４６で不安定状態と判定された第２の認識状態の場合には、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で取得された３種のグローバル位置情報の使用が決定される。

更に、プローブマーカ２４Ａがビデオカメラ１８の視野内で認識されない認識不能状態と判定された第３の認識状態の場合には、磁気センサ２８及び加速度センサ３１で取得された２種のグローバル位置情報の使用が決定される。

前記出力位置情報決定部４８では、次のようにして、前述の第１〜第３の認識状態に応じ異なる位置情報を使用して前記出力位置情報が決定される。

すなわち、プローブマーカ２４Ａが安定状態と判定された第１の認識状態の場合には、プローブマーカ２４Ａのグローバル位置情報がそのまま出力位置情報とされる。

また、プローブマーカ２４Ａが不安定状態と判定された第２の認識状態の場合には、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で取得した３種のグローバル位置情報が使用され、これらグローバル位置情報の誤差情報を考慮した補正値が前記出力位置情報として決定される。ここで用いられる誤差情報は、光学マーカ２４、磁気センサ２８、及び加速度センサ３１それぞれについての計測誤差であり、当該計測誤差は、予め設定された誤差データベース５０を使って特定される。つまり、光学マーカ２４における位置及び角度の計測誤差については、ビデオカメラ１８からの離間距離に応じた所定値が誤差データベース５０に記憶されている。また、磁気センサ２８における位置及び角度の計測誤差については、磁気基地局２７からの離間距離に応じた所定値が誤差データベース５０に記憶されている。更に、加速度センサ３１における位置及び角度の計測誤差については、製品毎に特定された所定値が誤差データベース５０に記憶されている。

そこで、この第２の認識状態の場合においては、先ず、プローブマーカ２４Ａと磁気センサ２８で取得した検出結果から誤差データベース５０により、前記各離間距離に対応する計測誤差が特定される。そして、当該計測誤差を加味した前記各グローバル位置情報の平均値が出力位置情報とされる。すなわち、ここでは、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１での計測誤差を対比し、それらの間で、計測誤差の小さい順に大きい値を取る重み付け値がそれぞれ設定される。更に、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１で得られたグローバル位置情報に対し、対応する各重み付け値を乗じて加算した総合計値を各重み付け値の総和で除算することで、前記平均値である３次元位置情報の補正値が求められる。なお、ここでは、この演算手法に限定されるものではなく、プローブマーカ２４Ａ、磁気センサ２８及び加速度センサ３１の間での計測誤差の小さい値を優先しながら、それらのグローバル位置情報を総合して補正することで出力位置情報を求める限りにおいて、種々の演算手法を採ることができる。

更に、プローブマーカ２４Ａが認識不能状態とされた第３の認識状態の場合には、前記第２の認識状態の場合に対し、プローブマーカ２４Ａのグローバル位置情報を使用しない他は同様の手法により、磁気センサ２８及び加速度センサ３１からの２種のグローバル位置情報から、前記出力位置情報が求められる。

前記初期条件リセット機能４１では、静止状態が前提となる各周囲マーカ２４Ｂについて、それらの認識状態と、それらに一体的に取り付けられた加速度センサ３１による検出結果とに基づいて、初期設定部４３での初期設定によって特定された各周囲マーカ２４Ｂの３次元位置情報をリセットするか否かが決定される。当該リセットすると決定された場合には、初期設定部４３での初期設定が再度行われる一方、リセットしないと決定された場合には、以降の処理がそのまま続行される。

先ず、ビデオカメラ１８の視野内における周囲マーカ２４Ｂの何れかが動き、当該周囲マーカ２４Ｂに設けられた加速度センサ３１によって移動状態が検知された第１の状態変化の場合には、各周囲マーカ２４Ｂの認識状態の変化の有無に関係なく、全ての周囲マーカ２４Ｂのグローバル位置情報がリセットされる。この際、加速度センサ３１は、周囲マーカ２４Ｂの移動状態を検知可能な移動検知センサとして機能する。

また、ビデオカメラ１８の視野内における周囲マーカ２４Ｂについて、ビデオカメラ１８との相対角度の増大等による誤認識等により、光学マーカ検出部２５での検出結果が所定時間内で変化した第２の状態変化の場合には、加速度センサ３１によって移動状態が検知されていなくても、当該周囲マーカ２４Ｂの認識状態が変化したとして、全ての周囲マーカ２４Ｂのグローバル位置情報がリセットされる。

更に、ビデオカメラ１８の視野外に存在して画像認識されない周囲マーカ２４Ｂについて、当該周囲マーカ２４Ｂに設けられた加速度センサ３１で移動状態が検知された第３の状態変化の場合には、ビデオカメラ１８の視野内に存在する他の周囲マーカ２４Ｂのグローバル位置情報がリセットされる。

その他、前記第１〜第３の状態変化の場合に該当しない限り、周囲マーカ２４Ｂのグローバル位置情報はリセットされない。従って、例えば、所定の周囲マーカ２４Ｂがビデオカメラ１８の視野外に存在して画像認識されてなくても、加速度センサ３１で周囲マーカ２４Ｂの移動状態が検知されない場合には、周囲マーカ２４Ｂのグローバル位置情報はリセットされない。

前記合成画像生成手段３７では、画像取込手段３６で取り込まれた各画像と、位置情報特定手段３５で決定されたプローブ１９の出力位置情報とから、カメラ画像中のプローブ１９の先端位置付近で、その向きに対応した向きで重畳画像が表示されるように合成画像を生成する。すなわち、プローブ１９の出力位置情報に基づいて、背景画像となるカメラ画像中のプローブ１９の位置や姿勢を特定し、当該カメラ画像中のプローブ１９の先端部分に、当該プローブ１９の姿勢に対応した向きで、対応する位置の患部における診断画像を重畳するようになっている。

なお、前記実施形態では、本発明に係る合成画像生成システムを、医療現場で利用されるＡＲ表示システム１０に適用した例について図示説明したが、本発明はこれに限らず、同様の構成で、所定空間内を動作する移動部材の位置や姿勢に対応させ、当該移動部材で指定されたカメラ画像内の所望領域に別途取得した重畳画像を重畳させて合成画像を生成するシステム全般に適用可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

本発明は、所定空間内を動作する移動部材の位置や姿勢に対応させ、当該移動部材で指定されたカメラ画像内の所望領域に別途取得した重畳画像を重畳させて合成画像を生成するシステムとして利用可能となる。

１０ 医療用ＡＲ表示システム
１４ 位置情報検出装置（合成画像生成システム）
１６ 処理装置（合成画像生成システム）
１８ ビデオカメラ（カメラ）
１９ プローブ（移動部材）
２１ 光学トラッキング手段
２２ 非光学トラッキング手段
２２Ａ 磁気トラッキングシステム
２２Ｂ 加速度トラッキングシステム
２４ 光学マーカ
２４Ａ プローブマーカ（移動光学マーカ）
２４Ｂ 周囲マーカ（固定光学マーカ）
２５ 光学マーカ検出部
２８ 磁気センサ（非光学マーカ）
２９ 磁気センサ検出部（非光学マーカ検出部）
３１ 加速度センサ（非光学マーカ、移動検知センサ）
３２ 加速度センサ検出部（非光学マーカ検出部）
３５ 位置情報特定手段
４０ 移動位置情報調整機能（位置情報補正システム）
４１ 初期条件リセット機能（初期条件リセットシステム）
４６ 認識状態判定部
４７ 使用情報選択部
４８ 出力位置情報決定部
４９ 安定度データベース
５０ 誤差データベース
Ｄ 医師（ユーザ）

Claims (4)

1. 実空間内の所定部位の位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された位置情報に基づき、移動可能に配置されたカメラで撮像された前記実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置とを備えた合成画像生成システムにおいて、
   前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段を備え、
   前記光学トラッキング手段は、前記所定部位に設置される光学マーカと、前記カメラで撮像された前記光学マーカの画像状態を認識することにより、当該光学マーカの位置情報を検出する光学マーカ検出部とを備え、
   前記光学マーカは、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、静止状態で配置されることを前提として複数の前記所定部位にそれぞれ設けられる固定光学マーカとからなり、
   前記固定光学マーカには、その移動状態を検知可能な移動検知センサが設けられ、
   前記処理装置では、前記各光学マーカが静止した静止状態で、所定の１つの前記固定光学マーカの位置情報に基づいて、前記合成画像を生成する際の基準となる全体座標系を設定する初期設定後に、前記光学マーカ検出部による前記固定光学マーカの認識状態と前記移動検知センサによる検知状態に応じ、全ての前記固定光学マーカについて、前記初期設定時に用いられた前記固定光学マーカの位置情報に基づいて設定された全体座標系における位置情報をリセットすることを特徴とする合成画像生成システム。
2. 前記処理装置では、前記移動検知センサにより前記固定光学マーカの移動状態が検知された場合に、前記固定光学マーカの位置情報をリセットすることを特徴とする請求項１記載の合成画像生成システム。
3. 前記処理装置では、前記固定光学マーカの認識状態が所定時間で変化した場合に、前記固定光学マーカの位置情報をリセットすることを特徴とする請求項１記載の合成画像生成システム。
4. 移動可能に配置されたカメラで撮像された実空間のカメラ画像内の所望領域に、別途取得された重畳画像を重ねた合成画像を生成する際に、前記実空間内の所定部位の位置情報を検出する位置情報検出装置の検出結果から、ユーザの任意の操作によって前記実空間内を移動しながら前記所望領域を指定する移動部材の位置情報を特定するときに、初期条件を予め設定する初期設定を状況に応じてリセットする処理装置からなる初期条件リセットシステムにおいて、
   前記位置情報検出装置は、前記カメラ画像を利用して前記位置情報を検出する光学トラッキング手段を備え、
   前記光学トラッキング手段は、前記所定部位に設置される光学マーカと、前記カメラで撮像された前記光学マーカの画像状態を認識することにより、当該光学マーカの位置情報を検出する光学マーカ検出部とを備え、
   前記光学マーカは、前記移動部材に固定され、当該移動部材と一体的に移動可能な移動光学マーカと、静止状態で配置されることを前提として複数の前記所定部位にそれぞれ設けられる固定光学マーカとからなり、
   前記固定光学マーカには、その移動状態を検知可能な移動検知センサが設けられ、
   前記処理装置では、前記各光学マーカが静止した静止状態で、所定の１つの前記固定光学マーカの位置情報に基づいて、前記合成画像を生成する際の基準となる全体座標系を設定する前記初期設定後に、前記光学マーカ検出部による前記固定光学マーカの認識状態と前記移動検知センサによる検知状態に応じ、全ての前記固定光学マーカについて、前記初期設定時に用いられた前記固定光学マーカの位置情報に基づいて設定された全体座標系における位置情報をリセットすることを特徴とする初期条件リセットシステム。
   

Images