JP6677734B2 - 少なくとも１つの医療機器を伴う外科的処置中に執刀者にイメージ化支援を提供する為の支援デバイス - Google Patents

Description

本発明は、少なくとも１つの医療機器を伴う外科的処置中に執刀者にイメージ化支援を提供する為の支援デバイスに関し、支援デバイスは、イメージフレームのシーケンスを含むビデオ信号を生成する為のカメラと、ビデオ信号に応じイメージフレームのシーケンスを表示する為のディスプレイユニットと、所定の特徴を識別する事によってイメージフレームに於いて使用されている医療機器を表す少なくとも１つの目標構造を検出し、イメージフレームに於ける目標構造の位置を示す位置データを抽出する為の機器検知モジュールを有するイメージ処理ユニットと、カメラに連結され、カメラを移動させる様にコントロール信号を通じカメラをコントロールする事が出来るマニピュレータと、位置データに応じコントロール信号を生成し、コントロール信号を通じマニピュレータを動かす為のマニピュレータコントローラと、を含む。

外科的処置中に執刀者を効果的に支援する支援デバイスは、先行技術に於いて知られている。例えば、腹腔鏡処置中に、外科医は、ディスプレイユニット（例えば、モニタ）を通じ手術部位を間接的に観察し、ディスプレイユニットに於いて彼が患者の解剖学的構造を操作している腹腔鏡手術機器を視認する事が出来る。モニタにリアルタイムに表示されているビデオイメージは、内視鏡の一部であって手術部位の方向に向けたカメラによって記録される。

処置中に、カメラは、ディスプレイユニットに表示されているビデオイメージの略中央に配置される、機器先端と操作されている解剖学的構造とに加え、治療されている目標領域と同様に手術部位に向けられる必要が有る。従って、観察されているイメージセグメントを変更する為に、カメラを患者の身体に於いて移動させる必要が有る。しかる後、目標領域を再びビデオイメージの中央に表示させる必要が有る。

内視鏡検査のカメラが希望の方法によって再配置される事を可能とする為に、カメラは、希望のカメラムーブメントに従って調整したマニピュレータ（例えば、ロボットアーム）に連結される。この目的の為に、ビデオイメージに於いて検出した機器先端の位置に応じ取得されるコントロール信号を通じマニピュレータコントローラによってマニピュレータが動かされる。以上に説明したタイプの支援デバイスは、例えば、独国特許第１９９６１９７１号明細書に記載される。

従来の支援デバイスは、典型的に、機器先端に取り付けられ、機器先端をビデオイメージに於いて検出する事を可能とする特徴を形成するマーキングを使用し動作する。そのマーキングの代わりに、使用される医療機器の固有特性（特定形状又は特定色等）が特徴として使用される。然し乍ら、これらの解決策の欠点は、識別される特徴が使用される機器の特徴である事である。従って、全ての機器を識別する事は不可能である。

本発明は、半自動機器識別を可能とする支援デバイスを提供する事を目的とし、特に、マーキングの使用を伴わずにその目的を提供する。

この目的は、最初に説明されるタイプの支援デバイスを有する本発明によって達成され、機器検知モジュールは、イメージセグメントを所定の特徴として識別し、イメージセグメントは、所定の彩度以下の彩度と、イメージセグメントの境界を定め、少なくとも１つの直線セクションを有するアウトラインと、によって特徴付けられる。

本発明に従った解決策は、第１に、本技術分野に於いて一般的に使用されている大半の医療機器が無色の材料によって形成されている（即ち、それらが治療されている目標領域に配置した解剖学的構造の彩度よりも著しく低い彩度を有する）という認識に基づく。第２に、本発明は、略全ての適合機器が真っ直ぐ且つ硬い物体であるという認識に基づく。この背景に対し、本発明の解決策は、比較的低い彩度を有し、少なくとも一部が真っ直ぐに延在するアウトラインを含むイメージセグメントとして識別される様に、機器検知モジュールによって識別される特徴を提供する。この特徴に応じ、目標領域に存在する解剖学的構造のビデオイメージに於いて略全ての機器の境界を定める事が可能である。特に、これは、機器に提供されるマーキングの使用を伴わずに達成する事が出来る。

特徴として定義される彩度の上限は、従来の医療機器を測定した彩度が確実にこの上限以下である様に選択される。前述の様に、これは、従来の機器が略無色であって目標領域の周囲の解剖学的構造よりも遥かに低い彩度を有する材料によって一般的に形成されている為に可能である。

イメージ処理ユニットは、好ましくは、イメージフレームに応じ少なくとも１つのバイナリイメージを生成するセグメント化モジュールを含み、機器検知モジュールは、バイナリイメージに於いてイメージセグメントを識別する。このバイナリイメージのピクセルは、それらに対応するイメージフレームのピクセルが所定の特徴に対応する彩度を有するか否かに依存し、２つのバイナリ値の１つを使用する。この様に、例えば、白色イメージポイント又はピクセルが１つ以上の機器を表し、黒色ピクセルが解剖学的構造を表す白黒のバイナリイメージを生成する事が出来る。

好ましい実施の形態に於いては、イメージ処理ユニットは、イメージフレームに応じグレイスケールイメージを生成する前処理モジュールを含み、グレイスケールイメージの各ピクセルにイメージフレームの対応するピクセルの彩度を表すグレイスケール値が割り当てられる。グレイスケールイメージに応じ、しかる後、セグメント化モジュールは、少なくとも１つのバイナリイメージを生成し、バイナリイメージの各バイナリピクセルに関連したグレイスケール値が所定の彩度に対応する閾値以下である場合は、バイナリイメージのバイナリピクセルに第１のバイナリ値が割り当てられ、バイナリイメージの各バイナリピクセルに関連したグレイスケール値が所定の彩度に対応する閾値よりも大きい場合は、バイナリイメージのバイナリピクセルに第２のバイナリ値が割り当てられる。この実施の形態に於いて生成したグレイスケールイメージは、大きい技術負担を伴わず、更にイメージ処理の為のベースとして使用される１つ以上のバイナリイメージの彩度イメージを導き出す事が出来る。

機器検知モジュールは、好ましくは、機器のエッジを表す連続エッジラインを形成する為にアウトラインの複数の直線的に配置した直線セクションを組み合わせる。この実施の形態は、複数の交差する機器がイメージフレームに割り当てたバイナリイメージに示される場合に特に都合が良い。所与の機器がストレート形状を有すると仮定する事が出来る為、言わば、同一直線上に配置したアウトラインセクションの合成に応じ、これらのセクションに関連した機器を交差する機器配置からフィルタする事が出来る。これは、複数の機器が外科的処置中に使用される時に機器識別を容易とする。

目標構造を検出する為に、機器検知モジュールは、好ましくは、何れの場合に於いても相互に平行に配置される２つのエッジラインを組み合わせる。このエッジペアリングは、相互に平行に配置した複数のエッジラインが検出されるという事実に応じ、これらのエッジラインが１つの同一の機器に属する高い蓋然性が存在する。これは、より確実な機器識別を可能とする。

特に好ましい実施の形態に於いては、セグメント化モジュールは、グレイスケールイメージに応じ複数のバイナリイメージを生成し、異なる閾値をこれらの生成の為に使用する。従って、これらのバイナリイメージの夫々の為に、彩度の為の個別の上限が特徴として規定される。これは、特に同一の機器が異なる彩度を有する種々の材料によって形成されている場合に都合が良い。例えば、機器シャフトがプラスチックによって形成され、機器先端が金属によって形成される。複数の機器が異なる材料によって形成され、フレームに存在する異なる彩度を有する場合にも同様に適応する。この場合は、バイナリイメージに於いてプラスチックによって形成した部分を効率的にセグメント化する事が出来る様に、バイナリイメージを生成する為に提供される閾値が定義される場合に、これが同一の閾値を使用する事によって金属部品の為の同一の品質が達成される事を必ずしも意図しない。その場合に於いては、１つの閾値に応じ１つのバイナリイメージを生成するのではなく、対応する複数の閾値に応じ複数のバイナリイメージを生成する事が好ましい。これらのバイナリイメージは、難しい条件の下でさえ、正確な機器識別の為の確実な根拠を形成する。更に、複数のバイナリイメージの生成を容易に並列化する事が出来、それは処理速度に関し利点が有る。

更に好ましい実施の形態に於いては、機器検知モジュールは、イメージフレームに応じ生成したバイナリイメージの相互に対応する直線セクションを識別し、機器のエッジを表す１つのエッジラインを形成する為にこれらのセクションを組み合わせる。この実施の形態に於いては、異なる閾値を使用し複数のバイナリイメージを生成する為、解剖学的構造を表す高い彩度のイメージセグメントと機器を表す低い彩度のイメージセグメントとの間の接合を形成する識別したアウトラインは、言わば、バイナリイメージからバイナリイメージにシフトする。しかる後、バイナリイメージが観察される時に、言わば、空間的に略平行に近接し配置した外形セクションをもたらし、それから機器のエッジを確実に推定する事が出来る。

好ましい実施の形態に於いては、イメージ処理ユニットは、複数の逐次的フレームを通じ機器検知モジュールによって検出した目標構造を追跡する追跡モジュールを含む。マニピュレータコントローラは、目標構造の為の位置データを使用しイメージフレームに関連したコントロール信号を生成し、追跡モジュールが複数の逐次的フレームを通じ目標構造を既に追跡した場合だけマニピュレータを動かす。従って、複数の逐次的フレームを通じ追跡する事が出来る目標構造だけが再位置調整の目的の為にマニピュレータを動かす為に使用される。従って、１つのフレームに於いてのみ現れる誤識別した機器は、マニピュレータの再位置調整に於いて考慮されない。これは、エラーの無い一定のマニピュレータの再位置調整を可能とする。

追跡モジュールは、好ましくは、最初に機器検知モジュールによってイメージフレームに於いて検出した目標構造にトラッカを割り当て、後続フレームに於いて検出した目標構造を追跡する為にトラッカを使用する。このコンテキストのトラッカは、識別した機器を表す為に使用されるデータ処理エレメントとして理解される。

特に好ましい実施の形態に於いては、イメージ処理ユニットは、イメージシーケンスに含まれる移動情報を表すイメージシーケンスのオプティカルフローを検出するフローモジュールを含む。検出したオプティカルフローに応じ、識別した機器に関連したトラッカが後続フレームに於いて如何なる方向に如何なる速度によって移動するのかを予測する事が可能である。

追跡モジュールは、好ましくは、イメージ処理方向に於いて機器検知モジュールの上流に配置した第１のサブモジュールと、イメージ処理方向に於いて機器検知モジュールの下流に配置した第２のサブモジュールと、を含む。第１のサブモジュールは、機器検知モジュールによって未だ処理されていない次のフレームの為のトラッカの位置データに関する予測をする為に、フローモジュールに於いて検出したオプティカルフローを考慮する。機器検知モジュールによって処理されているこの次のフレームの為に、第２のサブモジュールは、機器検知モジュールによって検出したトラッカに関する位置データに応じ、第１のサブモジュールによって為された予測を検査する。これは、特に、イメージシーケンスに於いて識別した機器の確実な追跡を可能とする。

前処理モジュールは、好ましくは、イメージフレームのホワイトバランス調整を実行する様に設計される。このホワイトバランス調整は、機器の色彩の特徴（特に、彩度）に応じ機器識別を害する潜在的誤較正を妨げる。

好ましい実施の形態に於いては、イメージ処理ユニットは、フレームを前処理モジュールと非同期的に処理し、ホワイトバランス調整を実行するか否かを前処理モジュールに指示する動作情報を生成するパラメータ最適化モジュールを含む。パラメータ最適化モジュールの非同期動作によって、ホワイトバランス調整が必要か否かを判断する検査は、残りのイメージ処理と並列に実行されるプロセスとして実現される。例えば、検査は、言わば、サンプルベースで実行され、イメージシーケンス内の、例えば、ｎ（ｎは１より大きい自然数）番目のフレーム毎に検査する。

パラメータ最適化モジュールは、フレームの非同期処理に応じセグメント化モジュールの為の閾値を事前に定義する事が出来る。これは、例えば、機器が外科的処置中に変更され、そのイメージシーケンス内の彩度が瞬間的に大きく変化する場合に都合が良い。この場合は、非同期的に動作するパラメータ最適化モジュールの支援による彩度に対応する閾値の調整は、その変化に応答する為に適した手段である。

本発明は、更に、外科的処置中に執刀者にイメージ化支援をする方法に関する。本発明の支援デバイスに関し以上に説明した特徴と以下に説明する特徴は、請求された方法の一部に考慮される。

以下に於いては、本発明は、図を参照し更に詳細に説明される。

本発明に従った支援デバイスの全体構造を図示するブロック図である。 支援デバイスのイメージ処理ユニットの構造を図示するブロック図である。 本発明の方法に於いて実行されるイメージ前処理のプロセスフローを示す図である。 本発明の方法に於いて実行される機器検出のプロセスフローを示す図である。 本発明の方法に於いて実行される機器追跡のプロセスフローを示す図である。 本発明の方法に於いて生成したバイナリイメージである。 図６のバイナリイメージに応じ取得したアウトラインである。

図１は、本発明に従った支援デバイス１０のブロック図である。

支援デバイス１０は、明確に示されない内視鏡の一部であって、マニピュレータ１４（例えば、ロボットアーム）によって保持したカメラ１２と、を含む。マニピュレータ１４は、カメラ１２の再位置調整を可能とする機械的自由度を有する。

カメラ１２は、治療される解剖学的構造が配置される人体内の目標領域のビデオイメージをキャプチャする。カメラ１２は、イメージフレームのシーケンスを含み、データストリームの形式によってカメラコントローラ１６に出力されるビデオ信号を生成する。カメラコントローラ１６は、ディスプレイユニット１８（例えば、モニタ）にビデオ信号を送信し、ディスプレイユニット１８に於いてビデオ信号に対応する治療されている解剖学的構造のビデオイメージが表示される。

カメラコントローラ１８は、イメージ取得モジュールを通じコントローラ２０にビデオ信号（例えば、図１に示されない「フレームグラバー」）を供給する。コントローラ２０は、供給したビデオ信号を後に詳細に説明される方法によって機器識別を実行する為の入力信号として使用するイメージ処理ユニット２２を含む。この機器識別中に、ビデオイメージに於いて可視の手術器具がイメージ処理ユニット２２によって識別され追跡される。そのプロセスに於いては、位置データが得られ、コントロールユニット２４に供給される。コントロールユニット２４は、マニピュレータコントローラ２６を含む。コントローラは、供給された位置データを、マニピュレータ１４を動かす為に使用されるコントロール信号を生成する為に使用するパスコントローラとして機能する。この動作によって、例えば、マニピュレータ１４は、ディスプレイユニット１８に表示されているビデオイメージの機器先端が常にイメージの中央に配置される様に、それに保持したカメラ１２を再配置する。

支援デバイス１０は、更に、コントロールユニット２４に含まれるインタフェースコントロールユニット３０に連結したトリガスイッチ２８を有する。トリガスイッチ２８を動かすと、インタフェースコントロールユニット３０は、カメラ１２を再配置する様にマニピュレータコントローラ２６を起動する。

支援デバイス１０は、更に、一方に於いてイメージ処理ユニット２２とインタフェースコントロールユニット３０に連結し、他方に於いてディスプレイユニット１８に連結したグラフィックユーザインタフェース３２を有する。支援デバイス１０は、更に、本発明を理解する為に僅かに重要であって、図１に於いて一般的に引用符号３４によって示した別の入力デバイスを含む。

図２は、イメージ処理ユニット２２の構造を図示するブロック図を示す。

イメージ処理ユニット２２は、前処理モジュール３６と、パラメータ最適化モジュール３８と、フローモジュール４０と、を含む。イメージフレームのシーケンスを含むビデオ信号は、カメラコントローラ１６によって各モジュール３６、３８及び４０に供給される。パラメータ最適化モジュール３８は、前処理モジュール３６に連結される。

イメージ処理ユニット２２は、更に、図２に於いて一般的に引用符号４６によって示した追跡モジュールを形成する、第１のサブモジュール４２と、第２のサブモジュール４４と、を含む。第１のサブモジュール４２は、入力側に於いて前処理モジュール３６とフローモジュール４０とに連結される。出力側に於いてセグメント化モジュール４８に接続される。セグメント化モジュール４８は、機器検知モジュール５０に出力側に順番に連結される。機器モジュール５０の出力は、追跡モジュール４６の第２のサブモジュール４４に連結される。最後に、第２のサブモジュール４４は、イメージ処理ユニット２２の出力を形成し、供給した信号に応じマニピュレータ１４を動かす為のコントロール信号をイメージ処理ユニット２２によって生成するマニピュレータコントローラ２６に接続される。

イメージ処理ユニット２２に含まれるモジュール３６乃至５０の動作原理は、一例とし本発明に従ったイメージ処理を図示する図３、４及び５に示したフローチャートによって以下に於いて明白と成る。図３乃至５に於いては、長方形の記号は、各モジュールによって実行した処理ステップを示し、菱形の記号は、記憶及び読込動作を表す。

本発明に従って実行される様に、図３のフローチャートは、イメージ前処理を表現し、前処理モジュール３６に於いては、特にイメージ処理ユニット２２のパラメータ最適化モジュール３８とフローモジュール４０とが使用される。

ステップＳ１に於いては、前処理モジュール３６とパラメータ最適化モジュール３８とフローモジュール４０は、ビデオ信号に含まれるイメージシーケンスのバッファフレームを受信する。この典型的な実施の形態に於いては、フレームが因習的に生成した個々のＲＧＢイメージであると以下に於いて仮定され、しばしばＲＧＢフレームと指称される。

ステップＳ２に於いては、前処理モジュール３６は、例えば、イメージサイズ、輝度、及びコントラストを適正に調整する事を目的としたＲＧＢフレームの種々の調整と最適化とを実行する。特に、必要ならば、前処理モジュール３６は、ステップＳ２に於いて自動ホワイトバランス調整を実行する。ホワイトバランス調整がＳ２に於いて実行されるか否かは、パラメータ最適化モジュール３８が前処理モジュール３６に供給する動作信号AWB Y/Nを通じステップＳ３に於いてパラメータ最適化モジュール３８によって決定される。この目的の為に、パラメータ最適化モジュール３８は、供給さしたイメージシーケンスの対応する検査を実行する。パラメータ最適化モジュール３８は、反復するパラメータ最適化の一部として前処理モジュール３６と非同期的に動作し、例えば、各フレームの為の前述の検査を実行しない。

ステップＳ２に於いては、前処理モジュール３６は、分析する事が出来ないイメージ領域を表すフレームのカメラマスクを検出する。しかる後、前処理モジュール３６は、言わば、プロセスが継続する様に、マスクに対応し使用する事が出来ないイメージ領域がフレームからフィルタされる事を可能とする、対応するマスク情報を記憶する。

一度、フレームが別の処理の為にステップＳ２に於いて最適化されると、それはイメージメモリに記憶される。

ステップＳ４に於いては、前処理モジュール３６は、グレイスケールイメージを計算する為にＲＧＢフレームを使用し、その各ピクセルにＲＧＢフレームの対応するピクセルの彩度を表すグレイスケール値が割り当てられる。ステップＳ４に於いて生成したグレイスケールイメージは、彩度イメージである。Ｓ４に於いては、この彩度イメージは後の処理ステップの為に記憶される。

ステップＳ５に於いては、前処理モジュール３６は、ＲＧＢフレームの品質検査を実行する。この品質検査が否定的な評価をもたらす場合は、ＲＧＢフレームは廃棄され、次のフレームの処理を継続する。対照的に、ステップＳ５に於いて肯定的なものとしてＲＧＢフレームの品質が査定された場合は、前処理を終え、プロセスフローは図４に従った処理ステップを継続する。

図３に従ったステップＳ６に於いては、以上に説明したプロセスステップと並列に実行するプロセスは、フローモジュール４０によって実行される。フローモジュール４０は、ビデオ信号に含まれるイメージシーケンスのオプティカルフローを検出する様に設計される。オプティカルフローは、例えば、イメージシーケンスのピクセルの大きさと速度の方向を示すベクトル場の形式によって、イメージシーケンスに含まれる移動情報を表す。オプティカルフローを検出する際に、現在のＲＧＢフレームに加え、フローモジュール４０は、前のＲＧＢフレームを考慮する。しかる後、検出したオプティカルフローが記憶される。前の検出結果との対比がステップＳ６に於いて実行される。

ステップＳ７に於いては、図３に従った前処理が終了する。

図４に示したイメージ処理は、最初に、２つのサブモジュール４２及び４４を含む追跡モジュール４６と、セグメント化モジュール４８と、機器検知モジュール５０と、によって、イメージ処理ユニット２２に於いて実行される。ステップＳ１１に於けるイメージ処理開始後に、ステップＳ１２に於いては、セグメント化モジュール４８は、図３のステップＳ４に於いてＲＧＢフレームに応じ前処理モジュール３６によって計算し記憶したグレイスケールイメージを読み込む。このグレイスケールイメージに応じ、セグメント化モジュール４８は、例えば、パラメータ最適化モジュール３８によって事前に定義した異なる閾値を使用し、Ｎ個のバイナリイメージを生成する。これらの閾値の夫々は、事前に定義した彩度に対応し、それによってグレイスケールイメージのピクセルのグレイスケール値と比較される。そのグレイスケール値が事前に定義した彩度に対応する閾値以下であるグレイスケールイメージのそれらのピクセルに、各バイナリイメージに於いて第１のバイナリ値（例えば、１）を有するバイナリピクセルが割り当てられる。同様に、そのグレイスケール値が閾値よりも大きいグレイスケールイメージのそれらのピクセルは、各バイナリイメージに於いて第２のバイナリ値（例えば、０）を有するバイナリピクセルが割り当てられる。ステップＳ１２に於いて生成したそのバイナリイメージは、単に図６に於いて一例の為に示され、１のバイナリ値を有するバイナリピクセルに白色が割り当てられ、０のバイナリ値を有するバイナリピクセルに黒色が割り当てられる。図６に於いては、図示の目的の為に、黒色が点として示される。従って、図６のバイナリイメージに於いては、白色イメージセグメントは、彩度が事前に定義した夫々の彩度以下であるイメージ領域を表す。対照的に、黒色イメージセグメントは、彩度が事前に定義した彩度よりも大きいイメージ領域を表す。ビデオイメージに於いて識別した機器の彩度が治療されている解剖学的構造よりも低いと本発明に従ったイメージ処理が仮定する為、図６のバイナリイメージに於いて、白色イメージセグメントが識別した機器を表し、黒色イメージセグメントが解剖学的構造を表す。

従って、ステップＳ１２に於いては、セグメント化モジュール４８は、図６に示したタイプのＮ個のバイナリイメージを生成するが、それらがＮ個の異なる閾値に応じたものである為、これらのイメージは幾分相互に異なる。Ｎ個の閾値の間の差が大きいと、これらの閾値を使用し生成した多数のバイナリイメージが相互に異なる。

ステップＳ１３に於いては、機器検知モジュール５０は、Ｎ個のバイナリイメージの夫々からアウトラインを抽出し、Ｎ個のアウトラインデータセットにこれらを記憶する。図６の典型的なバイナリイメージに於いては、これらのアウトラインは、白色イメージセグメントと黒色イメージセグメントとの間の分岐点に延在する。

ステップＳ１４に於いては、機器検知モジュール５０は、以下にラインセグメントと指称される直線セクションを識別する為にＮ個のアウトラインデータセットを使用する。機器検知モジュール５０は、Ｎ個のラインデータセットに於いて識別したラインセグメントを記憶する。

Ｓ１４に従ったプロセスステップは図７のダイアグラムに於いて図示される。そこで、ラインセグメントは、破線として示される。

ステップＳ１４に於いては、機器検知モジュール５０は、更に処理されるアウトラインから、アウトラインの曲線セクションを排除する為に、これらを検出する。これらの曲線セクションは、図７に於いて一点鎖線として示される。

カメラマスクによるあらゆる品質低下を回避する為に、ステップＳ１４に於いては、機器検知モジュール５０は、図２のステップＳ２に於いて前処理モジュール３６によって確認し記憶したマスク情報を考慮する。

ステップＳ１４に於いて生成したＮ個のラインセグメントデータセットからの処理は、ステップＳ１５に於いて、機器検知モジュール５０は、１つのラインセグメントを形成する為に、Ｎ個のバイナリイメージの相互に対応するラインセグメントを組み合わせた１つのデータセットを生成する。この合成ラインセグメントは、以下に於いて、言わば、Ｎ個の全てのバイナリイメージの重ね合わせをもたらす、機器のエッジラインを表すコンパクトラインセグメントと指称される。ステップＳ１５に於いては、事前に定義した基準に応じ、機器検知モジュール５０は、Ｎ個のバイナリイメージに於いて識別したラインセグメントが以上に説明した意味に於いて相互に対応するか否かを確認する。

その基準の一例は、ラインセグメントの類似関係である。例えば、角度が閾値として規定され、検査は、ラインセグメントがそれらの調整に於いてこの閾値以下の角度偏位を有するか否かを判断する。そうであるなら、類似関係の基準を満たすと見なされる。別の基準は、例えば、俗に言うオーバラップ（その為に閾値を再び事前に定義する事が出来る）であっても構わない。セグメントがこの閾値を超える相互とのオーバラップを有する場合に、この基準を満たすと見なされる。別の基準は、例えば、ラインセグメントとの間の距離であっても構わない。この値が事前に定義した閾値以下である場合に、この基準を満たすと見なされる。前述のセグメント間隔と組み合わせたグレイスケール値も、適切な基準を表す。

以上の基準は、Ｎ個のバイナリイメージの為の基礎を形成するグレイスケールイメージ内の同一の勾配に沿ってラインセグメントが存在するか否かを確実に判断する事を本質的な目的とする。

従って、ステップＳ１５に於いては、機器検知モジュールは、以上に説明した基準に応じステップＳ１４に於いて生成した結果セットをフィルタする。

ステップＳ１６に於いては、機器検知モジュール５０は、相互に対応するラインセグメントを組み合わせたコンパクトラインセグメントからエッジラインをもたらす。エッジラインは、検出した機器のエッジを表す。その際に、機器検知モジュール５０は、前のフレームから得た検出結果を考慮する。

ステップＳ１７に於いては、機器検知モジュール５０は、相互に並列に配置され、ステップＳ１６に於いて確認した２つのエッジラインのペアリングを実行する。再度、このエッジペアリングは、事前に定義した基準に応じ実行される。その基準の一例は、２つのエッジラインの夫々に対し垂直に延在した２つのベクトルの方向である。

プロセスステップＳ１７に於いて、前のフレームからの機器の位置に関する情報が使用される。俗に言うトラッカの位置データも考慮され、その夫々がフレームに於いて検出した機器の表示に考慮される。

典型的に、ステップＳ１７に於いて各エッジを異なるエッジと組み合わせる事は不可能である。従って、ステップＳ１８に於いては、機器検知モジュール５０は、フレームのエッジの近傍に配置した仮定器具に対し残りのエッジを割り当てる。この目的の為に、機器検知モジュールは、再び図３のステップＳ２に於いて提供したマスク情報を考慮する。

ステップＳ１９に於いては、機器検知モジュール５０は、各エッジペアに応じ、関連する機器の長さと方向と機器軸とを決定する。

ステップＳ２０に於いては、機器検知モジュール５０は、機器検知モジュール５０が最初に仮定した幾何学的特性を考慮し機器先端を識別する。その幾何学的特性は、例えば、最初に仮定した機器の円錐形であっても構わない。ステップＳ２０に於いて得た検出結果は、後の処理ステップに於ける別の使用の為に記憶される。

ステップＳ２１に於いては、機器検知モジュール５０は、間違って識別した器具をフィルタする。例えば、この目的の為に適用される１つの基準は、エッジペアリングの品質である。ある色特性の予想した規則性も、基準として適用される。例えば、ある色特性は、機器又は解剖学的構造の何れかに於いて存在しないが、機器及び解剖学的構造に於いて存在する。その規則性を考慮することによって、間違って識別した機器をフィルタする事が出来る。

図４に従ったイメージ処理は、ステップＳ２２によって終了する。

図４に従ったイメージ処理は、機器先端の長さ、方向、及び位置に関し記憶した情報にもたらす。例えば、エッジペアリングの品質に関する補足情報も提供される。

図５は、イメージ処理ユニット２２に含まれ、２つのサブモジュール４２及び４４を含む追跡モジュール４６の機能を表すフローチャートである。

ステップＳ３０に於ける開始後に、ステップＳ３１に於いて、追跡モジュール４６の第１のサブモジュール４２は、図３のステップＳ６に於いてフローモジュール４０によって検出したオプティカルフローに応じ、前のフレームに於いて確認したトラッカの位置を修正する。このプロセスに於いては、第１のサブモジュール４２は、現在のフレームに於いてトラッカが何処に移動するのかを予測する。トラッカ移動のこの予測は、ギャップとジャンプを防ぐ役割を果たす。

ステップＳ３２に於いては、しかる後、セグメント化モジュール４８と機器検知モジュール５０は、現在のフレームの為に図４に示した処理ステップを実行する。

ステップＳ３３に於いては、追跡モジュール４６の第２のサブモジュール４４は、図４のステップＳ２０に於いて得た検出結果に応じトラッカの位置をアップデートし、新しい機器をフレームに於いて検出した場合は、必要な時に新しいトラッカを生成する。従って、第２のサブモジュール４４は、ステップＳ３１に於いて第１のサブモジュール４２によって形成したトラッカ位置の予測を検査する。ある基準の適用によって、第２のサブモジュール４４は、使用中のトラッカの信頼性を決定する。

ステップＳ３３に於いては、第２のサブモジュール４４は、ディスプレイユニット１８に表示されるトラッカにマーカ（ラベル）、例えば、異なる色を割り当てる。例えば、異なるトラッカのそのマーキングは、例えば、特定のトラッカＡによって最初に追跡されている機器の追跡をドロップアウトし、トラッカＡが削除された時に、新しいトラッカＢがこの目的の為に生成される様に同一の機器の追跡が再び開始される場合に都合が良い。その場合は、２つのトラッカＡ及びＢに同一のマーカが割り当てられる。

しかる後、第２のサブモジュール４４は、ステップＳ３３に於いて次のリハーサルの為に検出結果を記憶する。

ステップＳ３４に於いて図５に従ったプロセスが終了する。

図３乃至５に関し以上に説明したイメージ処理は、単に一例として理解される。例えば、異なる閾値を使用し、各グレイスケールイメージに応じ複数のバイナリイメージを生成する事は絶対に必要ではない。しばしば、適切に選択した閾値を使用した１つのバイナリイメージの生成は、フレームに於ける解剖学的構造を表す高い彩度のイメージセグメントから、フレームに於ける機器を表す低い彩度のイメージセグメントを分離する為に十分である。これは、例えば、機器が同一の材料のみによって形成され、同一の彩度を有する場合に使用される。

１０ 支援デバイス
１２ カメラ
１４ マニピュレータ
１６ カメラコントローラ
１８ ディスプレイユニット
２０ コントローラ
２２ イメージ処理ユニット
２４ コントロールユニット
２６ マニピュレータコントローラ
２８ トリガスイッチ
３０ インタフェースコントロールユニット
３２ グラフィックユーザインタフェース
３４ 入力デバイス
３６ 前処理モジュール
３８ パラメータ最適化モジュール
４０ フローモジュール
４２ 第１のサブモジュール
４４ 第２のサブモジュール
４６ 追跡モジュール
４８ セグメント化モジュール
５０ 機器検知モジュール

Claims (12)

1. 少なくとも１つの医療機器を伴う外科的処置中に執刀者にイメージ化支援を提供する為の支援デバイス（１０）に於いて、
   イメージフレームのシーケンスを含むビデオ信号を生成する為のカメラ（１２）と、
   前記ビデオ信号に応じ前記イメージフレームの前記シーケンスを表示する為のディスプレイユニット（１８）と、
   事前に定義した特徴を識別すると共に前記イメージフレームに於ける少なくとも１つの目標構造の位置を示す位置データを抽出する事によって前記少なくとも１つの目標構造を検出する為の機器検知モジュール（５０）を有するイメージ処理ユニット（２２）であって、前記少なくとも１つの目標構造は、前記イメージフレームに於いて使用されている前記少なくとも１つの医療機器を示すイメージ処理ユニット（２２）と、
   前記カメラ（１２）に連結され、前記カメラ（１２）を移動させる為にコントロール信号を通じ動かされるマニピュレータ（１４）と、
   前記位置データから前記コントロール信号を生成すると共に前記コントロール信号を通じ前記マニピュレータ（１４）を動かす為のマニピュレータコントローラ（２６）と、
   を備え、
   前記機器検知モジュール（５０）は、前記事前に定義した特徴としてイメージセグメントを識別し、
   前記イメージセグメントは、事前に定義した彩度以下の彩度と、前記イメージセグメントの境界を定め、少なくとも１つの直線セクションを有するアウトラインと、によって特徴付けられ、
   前記機器検知モジュール（５０）は、前記少なくとも１つの目標構造を検出する為に、常に並列の関係にある２つのエッジラインを組み合わせる
   事を特徴とする支援デバイス（１０）。
2. 前記機器検知モジュール（５０）は、前記２つのエッジラインに応じ前記少なくとも１つの医療機器の先端を識別する
   請求項１に記載の支援デバイス（１０）。
3. 前記機器検知モジュール（５０）は、前記少なくとも１つの医療機器のエッジを示す連続エッジラインを形成する為に、前記アウトラインの、同一直線上に配置した複数の直線セクションを組み合わせる
   請求項１又は２に記載の支援デバイス（１０）。
4. 少なくとも１つの医療機器を伴う外科的処置中に執刀者にイメージ化支援を提供する為の支援デバイス（１０）に於いて、
   イメージフレームのシーケンスを含むビデオ信号を生成する為のカメラ（１２）と、
   前記ビデオ信号に応じ前記イメージフレームの前記シーケンスを表示する為のディスプレイユニット（１８）と、
   事前に定義した特徴を識別すると共に前記イメージフレームに於ける少なくとも１つの目標構造の位置を示す位置データを抽出する事によって前記少なくとも１つの目標構造を検出する為の機器検知モジュール（５０）を有するイメージ処理ユニット（２２）であって、前記少なくとも１つの目標構造は、前記イメージフレームに於いて使用されている前記少なくとも１つの医療機器を示すイメージ処理ユニット（２２）と、
   前記カメラ（１２）に連結され、前記カメラ（１２）を移動させる為にコントロール信号を通じ動かされるマニピュレータ（１４）と、
   前記位置データから前記コントロール信号を生成すると共に前記コントロール信号を通じ前記マニピュレータ（１４）を動かす為のマニピュレータコントローラ（２６）と、
   を備え、
   前記機器検知モジュール（５０）は、前記事前に定義した特徴としてイメージセグメントを識別し、
   前記イメージセグメントは、事前に定義した彩度以下の彩度と、前記イメージセグメントの境界を定め、少なくとも１つの直線セクションを有するアウトラインと、によって特徴付けられ、
   前記イメージ処理ユニット（２２）は、前記イメージフレームに応じ少なくとも１つのバイナリイメージを生成するセグメント化モジュール（４８）を含み、
   前記機器検知モジュール（５０）は、前記少なくとも１つのバイナリイメージに於いて前記イメージセグメントを識別し、
   前記イメージ処理ユニット（２２）は、前記イメージフレームに応じグレイスケールイメージを生成する前処理モジュール（３６）を含み、前記グレイスケールイメージのピクセルの夫々に前記イメージフレームに於いて対応したピクセルの彩度を示すグレイスケール値が割り当てられ、
   前記セグメント化モジュール（４８）は、前記グレイスケールイメージに応じ前記少なくとも１つのバイナリイメージを生成し、前記少なくとも１つのバイナリイメージのバイナリピクセルの夫々に、前記グレイスケールイメージに於いて対応したピクセルの前記グレイスケール値が前記事前に定義した彩度に対応した閾値以下の場合に第１のバイナリ値が割り当てられ、前記グレイスケールイメージに於いて対応したピクセルの前記グレイスケール値が前記事前に定義した彩度に対応した閾値より大きい場合に第２のバイナリ値が割り当てられ、
   前記セグメント化モジュール（４８）は、前記グレイスケールイメージの夫々に応じ複数のバイナリイメージを生成し、前記複数のバイナリイメージを生成する為に異なる閾値を使用する
   事を特徴とする支援デバイス（１０）。
5. 前記機器検知モジュール（５０）は、前記イメージフレームに応じ生成した前記バイナリイメージの相互に対応した直線セクションを識別し、これらの直線セクションを前記少なくとも１つの医療機器のエッジを示す１つのエッジラインを形成する為に組み合わせる
   請求項４に記載の支援デバイス（１０）。
6. 前記イメージ処理ユニット（２２）は、複数の逐次フレームを通じ前記機器検知モジュール（５０）によって検出した前記少なくとも１つの目標構造を追跡する追跡モジュール（４６）を含み、前記マニピュレータコントローラ（２６）は、前記少なくとも１つの目標構造が前記複数の逐次フレームを通じ前記追跡モジュール（４６）によって既に追跡されている場合に前記マニピュレータ（１４）を動かす為に、前記少なくとも１つの目標構造に関する前記位置データを使用し前記イメージフレームに関連した制御信号を生成する
   請求項１乃至５の何れか一項に記載の支援デバイス（１０）。
7. 前記追跡モジュール（４６）は、前記機器検知モジュール（５０）によって前記イメージフレームに於いて初めて検出した前記少なくとも１つの目標構造にトラッカを割り当て、後続フレームに於いて検出した前記少なくとも１つの目標構造を追跡する為に前記トラッカを使用する
   請求項６に記載の支援デバイス（１０）。
8. 前記イメージ処理ユニット（２２）は、前記イメージフレームの前記シーケンスのオプティカルフローを検出するフローモジュール（４０）を含み、前記オプティカルフローは、前記イメージフレームの前記シーケンスに含まれる移動情報を示す
   請求項７に記載の支援デバイス（１０）。
9. 前記追跡モジュール（４６）は、前記機器検知モジュール（５０）の上流に配置した第１のサブモジュール（４２）と、前記機器検知モジュール（５０）の下流に配置した第２のサブモジュール（４４）と、を含み、
   前記第１のサブモジュール（４２）は、前記機器検知モジュール（５０）によって未だ処理していない次のフレームの為に前記トラッカに関する前記位置データを予測すべく、前記フローモジュール（４０）によって検出した前記オプティカルフローを考慮し、
   前記機器検知モジュール（５０）によって処理した前記次のフレームの為に、前記第２のサブモジュール（４４）は、前記機器検知モジュール（５０）によって検出した前記トラッカの為の前記位置データに応じ前記第１のサブモジュール（４２）によって形成した予測を検査する
   請求項８に記載の支援デバイス（１０）。
10. 前記前処理モジュール（３６）は、前記イメージフレームのホワイトバランス調整を実行する様に設計される
    請求項４又は５に記載の支援デバイス（１０）。
11. 前記イメージ処理ユニット（２２）は、前記イメージフレームを前記前処理モジュール（３６）と非同期的に処理し、前記イメージフレームから前記前処理モジュール（３６）が前記ホワイトバランス調整を実行するべきか否かを指示する動作情報を生成するパラメータ最適化モジュール（３８）を含む
    請求項１０に記載の支援デバイス（１０）。
12. 前記パラメータ最適化モジュール（３８）は、前記イメージフレームの非同期的処理に応じ前記セグメント化モジュール（４８）の為の前記閾値を事前に定義する
    請求項１１に記載の支援デバイス（１０）。

Images