JPWO2019130868A1 - 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム - Google Patents

Abstract

仮想内視鏡画像と実内視鏡画像とを正確に対応付け、両者の好ましい連携を可能とする画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラムを提供する。３次元画像（１９）を入力する３次元画像入力部（４１ａ）、実内視鏡画像（３８）を入力する実内視鏡画像入力部（４１ｂ）、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出部（５１、５２）、及び３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得する視点情報取得部（５３）を備える。

Description

本発明は画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラムに係り、特に実内視鏡画像と仮想内視鏡画像との連携に関する。

近年、内視鏡を用いて患者の大腸等の管状構造物を観察又は処置を行う技術が注目されている。内視鏡画像はＣＣＤ（Charge Coupled Device）等の撮像素子を用いて撮影された画像である。そして、内視鏡画像は管状構造物内部の色、及び質感が鮮明に表現された画像である。一方、内視鏡画像は、管状構造物の内部を表す２次元画像である。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。

そこで、ＣＴ装置又はＭＲＩ装置等のモダリティを用いて断層撮影をして取得された３次元画像を用いて、実際に内視鏡を用いて撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。ＣＴはComputed Tomographyの省略語である。また、ＭＲＩはMagnetic Resonance Imagingの省略語である。

このため、３次元検査画像から管状構造物の画像を抽出し、管状構造物の画像と内視鏡を用いて撮影を行い取得した実際の内視鏡画像である実内視鏡画像との対応付けを行い、内視鏡の現在位置における仮想内視鏡画像を管状構造物の３次元検査画像から生成して表示する手法が提案されている。

特許文献１は、内視鏡を用いて取得した内視鏡画像と、医用画像診断装置を用いて取得した医用画像とを表示する場合に、内視鏡画像と医用画像とにそれぞれ表された観察対象の位置を合わせて表示する医用画像処理装置が記載されている。

同文献に記載の医用画像処理装置は、大腸内を表す内視鏡画像データから腸管の輪郭と結腸ひもとを特定し、大腸を表すＣＴ画像データから腸管領域と結腸ひも領域とを特定する。同文献に記載の医用画像処理装置は、内視鏡画像データに基づく結腸ひもの位置と、ＣＴ画像に基づく結腸ひも領域の位置とを合わせ、更に、ＣＴ画像に基づく腸管領域の形状を内視鏡画像に基づく輪郭の形状に合わせる。

同文献に記載の医用画像処理装置は、形状が合わされた腸管領域の各位置に、ＣＴ画像データにおいて対応する位置の画素値を割り当てた腸管画像と内視鏡画像とを、表示部に表示させる。

特許文献２は、Ｘ線ＣＴ装置を用いて撮像された断層画像が積み上げられたボリュームデータから展開画像を作成し、展開画像における凸部領域の密度、芯線曲率、及び芯線上の各点に直交する断面形状に基づいて、大腸の部位を特定する医用画像処理装置が記載されている。

特許文献３は、姿勢が異なる同一人物の大腸を撮影した２つ以上の３次元画像から、特徴形状を抽出し、２つ以上の３次元画像の大腸を対応付ける医用画像観察支援装置が記載されている。特許文献３に記載の発明は、特徴形状として大腸のひだの位置、及び体積に基づいて定められるひだ特徴形状と、大腸の屈曲状態に基づいて定められる屈曲特徴形状が適用される。

特許文献４は、内視鏡画像からＲ信号成分を抽出し、明暗情報、又は輝度情報の変化に基づき、Ｒ画像の３次元形状情報を算出する画像処理装置が記載されている。なお、Ｒ画像は内視鏡画像のＲ信号成分を表す。

特許文献５は、軟性内視鏡のナビゲーションに関する発明が記載されている。特許文献５に記載の発明は、検査対象の仮想内視鏡画像と、仮想内視鏡画像に対応する仮想的なカメラの位置の情報、及び内視鏡先端の姿勢の情報が記憶されたデータベースを参照し、検査対象の実内視鏡画像をデータベース内の仮想内視鏡画像と比較する。そして、実内視鏡画像と最も類似度が高い仮想内視鏡画像を決定し、これに対応する仮想カメラの位置、及び姿勢を得る。仮想カメラの位置、及び姿勢から、現時点の内視鏡先端部がどの位置にいて、どの方向を向いているかを知ることができる。

特許文献６は、被検体の３次元画像データに基づく体腔路の仮想画像を用いて、挿入ナビゲーションを行う内視鏡装置が記載されている。特許文献６に記載の内視鏡装置は、仮想気管支内視鏡画像と、内視鏡画像との類似度を比較し、比較結果に基づいて両画像が同一の分岐部を示した画像であるか否かを判断する。

特開２０１１−５０５９０号公報 特開２０１３−４３１号公報 特開２０１１−３０８３９号公報 国際公開第２００７／１１９２９７号 特開２００３−２６５４０８号公報 特開２００９−５６２３８号公報

実内視鏡画像と仮想内視鏡画像とを連携させる際に、実内視鏡画像の動きに合わせて仮想内視鏡画像を表示させたい。しかしながら、仮想内視鏡と軟性内視鏡とは撮像する画像が異なるために、仮想内視鏡画像と実内視鏡画像とを直接対応付け、かつ正確に対応付けることが困難である。

特許文献１に記載の発明は、腸管の回転方向の位置、形状を合わせているものの、内視鏡の進行方向について、腸管断層画像を内視鏡画像に合わせることについて記載されていない。すなわち、特許文献１は、仮想内視鏡画像と実内視鏡画像とを正確に対応付けることについて記載されていない。

特許文献２に記載の発明は、Ｘ線ＣＴ装置を用いて撮像された断層画像が積み上げられたボリューム画像データを用いて作成された展開画像の各部分領域に対応する大腸の部位を決定するものであって、仮想内視鏡画像と実内視鏡画像との直接の対応付けを取るものではない。

特許文献３に記載の発明は、被検体の姿勢が異なる２つ以上の３次元画像について、それぞれの特徴部位を対応付けるものであって、仮想内視鏡画像と実内視鏡画像との直接の対応付けを取るものではない。

特許文献４に記載の発明は、２次元画像である内視鏡画像から３次元形状情報を算出するものであって、仮想内視鏡画像と実内視鏡画像との直接の対応付けを取るものではない。

特許文献５に記載の発明は、実内視鏡画像と最も類似度が高い仮想内視鏡画像に基づいて、現時点の内視鏡の位置、及び姿勢を把握しているが、あくまでも両者は類似するものであって、仮想内視鏡画像と実内視鏡画像とを正確に対応付けていない。

特許文献６に記載の発明は、仮想気管支内視鏡画像と、内視鏡画像との類似度を用いて、両者が同一の分岐部を示しているか否かを判断しているが、あくまでも両者は類似するものであって、仮想内視鏡画像と実内視鏡画像とを正確に対応付けていない。

また、特許文献６の段落＜００１５＞に記載のように、特許文献６に記載の発明は、仮想気管支内視鏡画像と、内視鏡画像とが同一の分岐部を示す画像である場合にも、誤認識が発生し得る。

本発明はこのような事情に鑑みてなされたもので、仮想内視鏡画像と実内視鏡画像とを正確に対応付け、両者の好ましい連携を可能とする画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る画像処理装置は、被検体の３次元画像を入力する３次元画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力部と、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出部と、３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得する視点情報取得部と、を備えた画像処理装置である。

第１態様によれば、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点における向きの情報を含む視点情報を取得する。これにより、実内視鏡画像と仮想内視鏡画像とを正確に対応付けることが可能である。

３次元画像という用語は、３次元画像自体だけでなく、３次元画像を表す３次元画像のデータの意味が含まれてもよい。３次元画像の例として、ＣＴ装置を用いて被検体を断層撮影して得られた３次元画像が挙げられる。３次元画像のデータの例としてボリュームデータが挙げられる。

３次元画像入力部は、３次元画像を取得する態様、３次元画像を表す３次元画像のデータを取得する態様の両者を含み得る。

特徴点は、１つでもよいし、複数でもよい。特徴点が複数の場合の特徴点の一致は、全ての特徴点の一致を意味する。特徴点は、複数の画素が含まれる領域を適用してもよい。

第１態様に係る画像処理装置は、１つ以上のプロセッサと、１つ以上のメモリとを備えた画像処理装置であって、プロセッサは、被検体の３次元画像を入力し、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力し、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出し、３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得し、メモリはプロセッサの処理結果を記憶する画像処理装置として構成し得る。

第２態様は、第１態様の画像処理装置において、視点情報取得部を用いて取得した視点情報に基づいて、３次元画像から第１仮想内視鏡画像を生成する第１仮想内視鏡画像生成部を備えた構成としてもよい。

第２態様によれば、実内視鏡画像と特徴点が一致する第１仮想内視鏡画像を生成し得る。

第３態様は、第１態様又は第２態様の画像処理装置において、３次元画像から第２仮想内視鏡画像を生成する第２仮想内視鏡画像生成部を備え、特徴点抽出部は、３次元画像の特徴点として第２仮想内視鏡画像の特徴点を抽出する構成としてもよい。

第３態様によれば、第２仮想内視鏡画像の特徴点、及び実内視鏡画像の特徴点に基づく視点情報の取得が可能である。

第４態様は、第３態様の画像処理装置において、内視鏡の視野方向の情報を取得する視野方向情報取得部を備え、第２仮想内視鏡画像生成部は、視野方向情報取得部を用いて取得した内視鏡の視野方向の情報を用いて、第２仮想内視鏡画像を生成する構成としてもよい。

第４態様によれば、内視鏡の視野方向の情報が反映された第２仮想内視鏡画像の生成が可能である。

第５態様は、第４態様の画像処理装置において、視野方向情報取得部は、内視鏡の移動支援情報から視野方向を取得する構成としてもよい。

第５態様によれば、内視鏡の移動支援情報を用いた内視鏡の視野方向の情報の取得が可能である。

第６態様は、第４態様の画像処理装置において、視野方向情報取得部は、実内視鏡画像の変化から導出される移動ベクトルを用いて視野方向の情報を取得する構成としてもよい。

第６態様によれば、実内視鏡画像の変化から導出される移動ベクトルを用いた内視鏡の視野方向の情報の取得が可能である。

第７態様は、第３態様から第６態様のいずれか一態様の画像処理装置において、内視鏡の位置の情報を取得する位置情報取得部を備え、第２仮想内視鏡画像生成部は、位置情報取得部を用いて取得した内視鏡の位置の情報を用いて、第２仮想内視鏡画像を生成する構成としてもよい。

第７態様によれば、位置情報取得部を用いて取得した内視鏡の位置情報を用いた第２仮想内視鏡画像の生成が可能である。

第８態様は、第１態様から第７態様のいずれか一態様の画像処理装置において、実内視鏡画像から色情報、及びテクスチャ情報の少なくともいずれかを除去した画像、又は実内視鏡画像から凹凸情報を抽出した画像を生成する実内視鏡画像修正部を備え、特徴点抽出部は、実内視鏡画像修正部を用いて生成された画像から特徴点を抽出する構成としてもよい。

第８態様によれば、実内視鏡画像から色情報、及びテクスチャ情報の少なくともいずれかを除去した画像、又は実内視鏡画像から凹凸情報を抽出した画像を生成する。これにより、凹凸情報を持ち、且つ色情報、及びテクスチャ情報を持たない３次元画像との特徴点の比較が良好となる。

実内視鏡画像から色情報、及びテクスチャ情報の少なくともいずれかを除去した画像の例として、実内視鏡画像のＢ信号成分を除去した画像が挙げられる。実内視鏡画像から凹凸情報を抽出した画像の例として、実内視鏡画像のＲ信号成分を抽出した画像が挙げられる。

第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、視点情報取得部は、内視鏡の位置が異なる２つの実内視鏡画像について、一方の実内視鏡画像と他方の実内視鏡画像との変化から導出される移動ベクトルを用いて、一方の実内視鏡画像に対応する３次元画像の視点の位置を起点とする移動量を導出して、他方の実内視鏡画像に対応する３次元画像の視点の位置を特定する構成としてもよい。

第９態様によれば、内視鏡の位置が異なる２つの実内視鏡画像の移動ベクトルを用いて、両者に対応する３次元画像の視点間の距離の導出が可能である。

第１０態様は、第１態様から第９態様のいずれか一態様の画像処理装置において、視点情報取得部は、実内視鏡画像の毎フレームに、実内視鏡画像の２以上の規定フレーム数ごとに、又は内視鏡が規定の移動を行った場合に、実内視鏡画像に対応する３次元画像の視点情報を取得する構成としてもよい。

第１０態様によれば、規定のフレーム数、又は内視鏡の移動に応じた内視鏡画像と仮想内視鏡画像との対応付けが可能である。

第１１態様は、第１態様から第１０態様のいずれか一態様の画像処理装置において、視点情報取得部は、既に視点情報を取得した実内視鏡画像について、新たに視点情報を取得した場合、実内視鏡画像に対応する３次元画像の視点情報を更新する構成としてもよい。

第１１態様によれば、最新の視点情報の使用が可能となる。これにより、最新の視点情報を用いた第１仮想内視鏡画像を実内視鏡画像に対応付けすることが可能となる。

第１２態様は、第１態様から第１１態様のいずれか一態様の画像処理装置において、実内視鏡画像と対応する視点情報を非取得の場合に警告する警告部を備えた構成としてもよい。

第１２態様によれば、視点情報の非取得を術者が認識し得る。

第１３態様は、第１態様から第１２態様のいずれか一態様の画像処理装置において、３次元画像入力部は、大腸の３次元画像を入力し、特徴点抽出部は、盲腸入口、上行結腸と横行結腸との間の湾曲部、横行結腸と下行結腸との間の湾曲部、下行結腸とＳ字結腸との間の湾曲部、ひだ、ポリープ、及び血管の少なくともいずれか１つを特徴点として抽出する構成としてもよい。

第１３態様によれば、大腸の３次元画像に基づき、盲腸入口などの大腸の特徴的な形状を有する部位の特定が可能となる。

第１４態様は、第１３態様の画像処理装置において、視点情報取得部は、大腸のひだの数に基づいて実内視鏡画像に対応する３次元画像の視点情報を取得する構成としてもよい。

第１４態様によれば、大腸のひだの数を用いた実内視鏡画像と第１仮想内視鏡画像との対応付けが可能となる。

第１５態様は、第１態様から第１４態様のいずれか一態様の画像処理装置において、特徴点抽出部は、３次元画像から予め抽出された特徴点の情報を取得する構成としてもよい。

第１５態様によれば、実内視鏡画像から特徴点を抽出する際の処理の効率化、及び処理負荷の低減化の少なくともいずれかが可能となる。

第１６態様に係るプロセッサ装置は、内視鏡の動作を制御する内視鏡制御部と、内視鏡を用いた撮像を制御する撮像制御部と、内視鏡を用いて撮像して得られた内視鏡画像を処理する画像処理部と、を備えたプロセッサ装置であって、画像処理部は、被検体の３次元画像を入力する３次元画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力部と、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出部と、３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得する視点情報取得部と、を備えたプロセッサ装置である。

第１６態様によれば、第１態様と同様の効果を得ることができる。

第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。

第１６態様に係るプロセッサ装置は、１つ以上のプロセッサと、１つ以上のメモリとを備えたプロセッサ装置であって、プロセッサは、内視鏡の動作を制御し、内視鏡を用いた撮像を制御し、内視鏡を用いて撮像して得られた内視鏡画像を処理し、内視鏡画像の処理においてプロセッサは、被検体の３次元画像を入力し、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力し、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出し、３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得し、メモリはプロセッサの処理結果を記憶するプロセッサ装置として構成し得る。

第１７態様に係る内視鏡システムは、内視鏡を備えた内視鏡装置と、画像処理装置と、を備えた内視鏡システムであって、画像処理装置は、被検体の３次元画像を入力する３次元画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力部と、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出部と、３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得する視点情報取得部と、を備えた内視鏡システムである。

第１７態様によれば、第１態様と同様の効果を得ることができる。

第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。

第１７態様に係る内視鏡システムは、１つ以上のプロセッサと、１つ以上のメモリとを備え、内視鏡を備えた内視鏡装置を備えた内視鏡システムであって、プロセッサは、被検体の３次元画像を入力し、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力し、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出し、３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得し、メモリはプロセッサの処理結果を記憶する内視鏡システムとして把握し得る。

第１８態様は、第１７態様の内視鏡システムにおいて、３次元画像から生成される仮想内視鏡画像を表示する表示部と、視点情報取得部を用いて取得した視点情報に基づいて、３次元画像から第１仮想内視鏡画像を生成する第１仮想内視鏡画像生成部と、を備え、表示部は、新たな第１仮想内視鏡画像を表示する際に、先に表示した第１仮想内視鏡画像から新たな第１仮想内視鏡画像へ直接切り替えるか、早送りするか、又はモーフィングを用いるかのいずれかを選択する構成としてもよい。

第１８態様によれば、新たな第１仮想内視鏡画像が生成された場合に、先に生成された第１仮想内視鏡画像から、新たな第１仮想内視鏡画像への表示の切り替えがスムーズに行われる。

第１９態様は、第１８態様の内視鏡システムにおいて、表示部は、実内視鏡画像と、実内視鏡画像に対応する第１仮想内視鏡画像とを同期して表示させる構成としてもよい。

第１９態様によれば、実内視鏡画像と第１仮想内視鏡画像の同期表示が可能である。

第２０態様は、第１８態様又は第１９態様の内視鏡システムにおいて、実内視鏡画像を記憶する内視鏡画像記憶部を備え、内視鏡画像記憶部は、視点情報を付加した実内視鏡画像を記憶する構成としてもよい。

第２０態様によれば、視点情報を付加した実内視鏡画像の記憶が可能である。

第２１態様は、第２０態様の内視鏡システムにおいて、内視鏡画像記憶部は、実内視鏡画像に対応する第１仮想内視鏡画像を記憶する構成としてもよい。

第２１態様によれば、実内視鏡画像と第１内視鏡画像との連携の維持が可能である。

第２２態様に係る画像処理方法は、被検体の３次元画像を入力する３次元画像入力工程と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力工程と、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出工程と、３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得する視点情報取得工程と、を含む画像処理方法である。

第２２態様によれば、第１態様と同様の効果を得ることができる。

第２２態様において、第２態様から第１５態様で特定した事項、及び第１７態様か第２０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置、又は内視鏡システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。

第２３態様に係るプログラムは、コンピュータに、被検体の３次元画像を入力する３次元画像入力機能、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力機能、３次元画像、及び実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出機能、及び３次元画像、及び実内視鏡画像のそれぞれの特徴点に基づいて、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点の方向の情報を含む視点情報を取得する視点情報取得機能を実現させるプログラムある。

第２３態様によれば、第１態様と同様の効果を得ることができる。

第２３態様において、第２態様から第１５態様で特定した事項、及び第１７態様か第２０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置、又は内視鏡システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

本発明によれば、実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び視点における向きの情報を含む視点情報を取得する。これにより、実内視鏡画像と仮想内視鏡画像とを正確に対応付けることが可能である。

図１は内視鏡システムの全体構成を示す概略図である。 図２は画像処理装置のハードウェアの構成例を示すブロック図である。 図３は第１実施形態に係る画像処理装置の機能を示す機能ブロック図である。 図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。 図５は大腸の３次元モデルを示す３次元画像の説明図である。 図６は３次元画像の特徴点抽出の一例を示す模式図である。 図７は３次元視鏡画像の特徴点抽出の他の例を示す模式図である。 図８は内視鏡画像の特徴点抽出の一例を示す模式図である。 図９は内視鏡画像の特徴点抽出の他の例を示す模式図である。 図１０は内視鏡画像と仮想内視鏡画像との対応付けの一例を示す模式図である。 図１１は内視鏡画像と仮想内視鏡画像との対応付けの他の例を示す模式図である。 図１２は視点情報取得の一例の説明図である。 図１３は対応付け後の仮想内視鏡画像の表示例を示す模式図である。 図１４は第１実施形態に係る画像処理方法の手順の流れを示すフローチャートである。 図１５は図１４に示した視点情報取得工程の手順の流れを示すフローチャートである。 図１６は内視鏡画像と仮想内視鏡画像との対応付けのバリエーションを示す模式図である。 図１７は対応付けの更新の説明図である。 図１８は大腸ナビゲーションの説明図である。 図１９は第２実施形態に係る画像処理装置における画像解析処理部の機能を示す機能ブロック図である。 図２１は第２実施形態に係る画像処理方法を模式的に示す模式図である。 図２１は第３実施形態に係る画像処理装置における画像解析処理部の機能を示す機能ブロック図である。 図２２は第４実施形態に係る画像処理装置における画像解析処理部の機能を示す機能ブロック図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。

［内視鏡システムの全体構成］
図１は内視鏡システムの全体構成を示す概略図である。図１に示した内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。内視鏡システム９は、ネットワーク１７を介して記憶装置１８と通信可能に接続される。

内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。

挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。

撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。

先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。

操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、２種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、及びユーザなどと呼ばれることがあり得る。

操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。

操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。なお、静止画像は符号３８ｃを付して図３に図示する。

ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。

また、ユニバーサルコード２２の先端部は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、且つプロセッサ装置１２に接続されるコネクタ３７ｂを備える。

コネクタ３７ａを光源装置１１に接続すると、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。

その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。

コネクタ３７ｂをプロセッサ装置１２に接続すると、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、且つプロセッサ装置１２から内視鏡１０へ制御信号が出力される。すなわち、プロセッサ装置１２は、内視鏡１０の動作を制御する内視鏡制御部として機能する。

本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。

光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。なお、特定の波長帯域は、特殊光と呼ばれる場合がある。

プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。

プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像が含まれてもよい。動画像は符号３８ａを付して図３に図示する。

プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像を生成する。静止画像は、動画像の解像度に対して高解像度に生成されていてもよい。

内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。すなわち、プロセッサ装置１２は、内視鏡１０を用いた撮像を制御する撮像制御部として機能する。

プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。

内視鏡画像３８は、被検体内、すなわち生体内を撮像した生体内画像である。内視鏡画像３８が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ装置１２は、生成した内視鏡画像３８を、表示装置１３と画像処理装置１４とのそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ネットワーク１７を介して内視鏡画像３８を記憶装置１８へ出力してもよい。内視鏡画像３８は実内視鏡画像に相当する。

表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。表示装置１３は、後述するモニタ装置１６の一部の機能、又は全ての機能を備えてもよい。

画像処理装置１４は、コンピュータが用いられる。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。

画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。

画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。画像処理装置１４は、モニタ装置１６の再生制御を行う。すなわち、画像処理装置１４は、内視鏡画像３８を取得する内視鏡画像取得部、内視鏡画像３８の記憶する画像記憶部、及び内視鏡画像３８の表示制御を行う表示制御部を備える。

内視鏡画像取得部は符号４１ｂを付して図３に図示する。画像記憶部は符号４８を付して図３に図示する。表示制御部は符号４４を付して図３に図示する。なお、本明細書における画像の記憶は、画像の保存と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。画像処理装置１４は画像を一次記憶する一次記憶用のメモリを備えてもよい。

画像処理装置１４は、３次元画像１９を取得する。例えば、画像処理装置１４は、ネットワーク１７を介して記憶装置１８から３次元画像１９を取得することが可能である。３次元画像１９の例として、ＣＴ装置を用いて生成された複数のＣＴ画像が含まれるＣＴ画像群、及びＭＲＩ装置を用いて生成された複数のＭＲＩ画像が含まれるＭＲＩ画像群等が挙げられる。

以下、複数のＣＴ画像が含まれるＣＴ画像群を、単にＣＴ画像と呼ぶことがある。ＭＲＩ画像群も同様である。すなわち、ＣＴ画像という用語は、１枚のＣＴ画像、及び複２枚以上のＣＴ画像の総称の意味を有する。

画像処理装置１４は、３次元画像１９を用いて仮想内視鏡画像を生成する。画像処理装置１４はモニタ装置１６を用いて仮想内視鏡画像を表示させるための表示制御信号を生成する。画像処理装置１４はモニタ装置１６へ表示制御信号を送信する。なお、仮想内視鏡画像は符号３９を付して図４に図示する。仮想内視鏡画像の生成、及びモニタ装置１６を用いた仮想内視鏡画像の表示の詳細は後述する。

入力装置１５は、画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、画像処理装置１４における各種情報の表示部として機能してもよい。

画像処理装置１４は、ネットワーク１７を介して記憶装置１８と接続される。画像の格納形式、及びネットワーク１７を経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。

なお、画像という用語は、画像を表す画像データの意味が含まれている。本明細書における画像という用語は、画像自身、及び画像データの少なくともいずれかを意味している。

記憶装置１８は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置１８は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。図１に示した内視鏡システム９、及び画像処理装置１４を含むシステムは、内視鏡を備えた内視鏡装置と、画像処理装置と、を備えた内視鏡システムの一例に相当する。

［第１実施形態に係る画像処理装置の構成］
次に、第１実施形態に係る画像処理装置について説明する。

〔概要〕
本実施形態に係る画像処理装置方法は、内視鏡１０の動きに合わせて仮想内視鏡画像をモニタ装置１６に表示させる。すなわち、画像処理装置１４は、内視鏡画像３８と仮想内視鏡画像との対応付けを行い、内視鏡画像３８と対応付けがされた仮想内視鏡画像をモニタ装置１６に表示させる。以下に、画像処理装置について詳細に説明する。

〔ハードウェア構成〕
図２は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置１４は、制御部１、メモリ２、ハードディスク装置３、通信インターフェース４、入力コントローラ５、及びディスプレイコントローラ６を備える。

〈制御部〉
制御部１は、画像処理装置１４の全体制御部、各種演算部、及び記憶制御部として機能する。制御部１は、メモリ２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。制御部１は、通信インターフェース４を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１７を介して画像処理装置１４と通信可能に接続されていてもよい。

制御部１は、メモリ２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１４の各種機能が実現される。

制御部１は、ハードディスク装置３からのデータの読み出し、及びハードディスク装置３へのデータの書き込みを制御する。制御部１は、１つ又は２つ以上のプロセッサ（processor）が含まれてもよい。

プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ
（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成の変更を可能とする。

プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）
が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。

制御部１は、同じ種類の２以上のプロセッサを適用可能である。例えば、制御部１は２つ以上のＦＰＧＡを用いてもよいし、２つのＰＬＤを用いてもよい。制御部１は、異なる種類の２つ以上プロセッサを適用してもよい。例えば、制御部１は１つ以上のＦＰＧＡと１つ以上のＡＳＩＣとを適用してもよい。

複数の制御部を備える場合、複数の制御部は１つのプロセッサを用いて構成してもよい。複数の制御部を１つのプロセッサで構成する一例として、１つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。なお、ここでいうソフトウェアはプログラムと同義である。複数の制御部が１つのプロセッサを用いて構成される代表例として、クライアント装置、及びサーバ装置等のコンピュータが挙げられる。

複数の制御部を１つのプロセッサで構成する他の例として、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。

このように、制御部１は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

〈メモリ〉
メモリ２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１のワーク領域等として機能する。

〈ハードディスク装置〉
ハードディスク装置３は、各種データを非一時的に記憶する。具体的には、ハードディスク装置３は、内視鏡１０の観察画像、及び図１に示した記憶装置１８等の外部の記憶装置から取得した医用画像等を記憶する。ハードディスク装置３は、画像処理装置１４の外部に外付けされてもよい。ハードディスク装置３に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。

〈通信インターフェース〉
通信インターフェース４は、図１に示した記憶装置１８の外部の装置との間のデータ通信を行う。図２に示したＩＦは、interfaceの省略語である。

〈入力コントローラ〉
入力コントローラ５は、キーボード、及びマウス等の入力装置１５から送信される信号を受信し、画像処理装置１４に適用される形式の信号に変換するインターフェースである。

〈ディスプレイコントローラ〉
ディスプレイコントローラ６は、画像処理装置１４において生成された画像を表す信号を、モニタ装置１６を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ６は、画像を表す映像信号をモニタ装置１６へ送信する。

なお、図２に示した画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。

〔第１実施形態に係る画像処理装置の機能〕
図３は第１実施形態に係る画像処理装置の機能を示す機能ブロック図である。図３に示した画像処理装置１４は、全体制御部４０、画像取得部４１、情報取得部４２、画像解析処理部４３、表示制御部４４、及び記憶部４７を備える。

全体制御部４０、画像取得部４１、情報取得部４２、画像解析処理部４３、表示制御部４４、及び記憶部４７は、通信信号線６８を介して相互に通信可能に接続される。以下、各部について詳細に説明する。

〈全体制御部〉
全体制御部４０は、画像処理装置１４の制御プログラムの実行に基づき、画像取得部４１、情報取得部４２、画像解析処理部４３、及び表示制御部４４を統括的に制御する。

〈画像取得部〉
画像取得部４１は、３次元画像取得部４１ａ、及び内視鏡画像取得部４１ｂを備える。以下、３次元画像取得部４１ａ、及び内視鏡画像取得部４１ｂについて詳細に説明する。

《３次元画像取得部》
３次元画像取得部４１ａは、ＣＴ装置等のモダリティを用いて生成された３次元画像１９であり、例えば、図１に示した記憶装置１８等に記憶されている３次元画像１９を取得する。本実施形態では、３次元画像１９として、内視鏡検査の対象者の大腸のＣＴ画像を取得する例について説明する。３次元画像取得部４１ａは、被検体の３次元画像を入力する３次元画像入力部の一例に相当する。

《内視鏡画像取得部》
内視鏡画像取得部４１ｂは、図１に示したプロセッサ装置１２を用いて生成された内視鏡画像３８を取得する。内視鏡画像取得部４１ｂは、外部の記憶装置に記憶されている内視鏡装置を用いて撮像された内視鏡画像を取得してもよい。内視鏡画像取得部４１ｂは、メモリーカード等の各種情報記憶媒体を介して、上記した内視鏡画像３８を取得してもよい。

内視鏡画像取得部４１ｂは、動画像３８ａを取得する。内視鏡画像取得部４１ｂは、動画像３８ａとして、時系列のフレーム画像３８ｂを取得してもよい。内視鏡画像取得部４１ｂは、静止画像３８ｃを取得してもよい。動画像３８ａの撮像途中に静止画像３８ｃの撮像操作が行われた場合、内視鏡画像取得部４１ｂは、図１に示したプロセッサ装置１２から静止画像３８ｃを取得する。内視鏡画像取得部４１ｂは、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力部の一例に相当する。内視鏡画像３８、動画像３８ａ、及び静止画像３８ｃは実内視鏡画像の一例に相当する。

〈情報取得部〉
情報取得部４２は、画像処理装置１４の処理、及び演算等に用いられる各種情報を取得する。各種情報の例として、内視鏡１０の視野方向の情報が挙げられる。内視鏡１０の視野方向の情報の例として、内視鏡１０に視野方向を検出するセンサの出力信号が挙げられる。情報取得部は内視鏡の視野情報を取得する視野情報取得部の一例に相当する。

各種情報の他の例として、３次元画像１９を取得する際の３次元画像１９を特定する情報が挙げられる。３次元画像１９を特定する情報は、内視鏡検査の対象者の個人名、個人番号、３次元画像１９の取得日、及び３次元画像１９の取得場所等が挙げられる。

〈画像解析処理部〉
画像解析処理部４３は、深層学習アルゴリズム４５に基づく深層学習を用いて、内視鏡画像取得部４１ｂを用いて取得した内視鏡画像３８の解析処理を実行する。内視鏡画像３８の解析処理の詳細は後述する。

深層学習アルゴリズム４５は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。深層学習はディープラーニングと呼ばれることがある。

コンボリューションニューラルネットワークは、畳み込み層、及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。深層学習は機械学習の一例に相当する。

〈表示制御部〉
表示制御部４４は、再生制御部４４ａ、及び情報表示制御部４４ｂを備える。以下、再生制御部４４ａ、及び情報表示制御部４４ｂについて詳細に説明する。

《再生制御部》
再生制御部４４ａは、モニタ装置１６を用いて内視鏡画像３８、及び仮想内視鏡画像を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部４４は、モニタ装置１６を用いて、動画像３８ａの再生中に、動画像３８ａの任意のフレーム画像３８ｂに対応付けされた仮想内視鏡画像を表示させることが可能である。

《情報表示制御部》
情報表示制御部４４ｂは、モニタ装置１６を用いて各種情報を表示させる。例えば、情報表示制御部４４ｂは、モニタ装置１６を用いて表示させる内視鏡画像３８、及び仮想内視鏡画像に文字情報等を重畳表示させることが可能である。文字情報以外の各種情報の例として、記号表示、及び強調表示等が挙げられる。文字情報の適用例として、警告表示が挙げられる。

〈記憶部〉
記憶部４７は、画像記憶部４８、及びプログラム記憶部４９を備える。以下、画像記憶部４８、及びプログラム記憶部４９について詳細に説明する。

《画像記憶部》
画像記憶部４８は、３次元画像取得部４１ａを用いて取得した３次元画像１９を記憶する。画像記憶部４８に記憶された３次元画像１９は、全体制御部４０の制御の下、画像解析処理部４３へ読み出される。

画像記憶部４８は、３次元画像１９から生成された仮想内視鏡画像を記憶する。画像記憶部４８に記憶された仮想内視鏡画像は、全体制御部４０の制御の下、表示制御部４４を介して表示制御信号としてモニタ装置１６へ送信される。

画像記憶部４８は、内視鏡画像取得部４１ｂを用いて取得した内視鏡画像３８を記憶する。画像記憶部４８に記憶された画像は、全体制御部４０の制御の下、画像解析処理部４３へ読み出される。

画像記憶部４８に記憶された内視鏡画像３８は、全体制御部４０の制御の下、表示制御部４４を介して表示制御信号としてモニタ装置１６へ送信される。

《プログラム記憶部》
プログラム記憶部４９は、画像処理装置１４を動作させる各種プログラムを記憶する。プログラム記憶部４９に記憶された各種プログラムは、全体制御部４０の制御の下、各部へ読み出される。

〔画像解析処理部の構成例〕
図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。画像解析処理部４３は、第１特徴点抽出部５１、第２特徴点抽出部５２、視点情報取得部５３、及び第１仮想内視鏡画像生成部５４を備える。以下、上記した各部について詳細に説明する。

〈第１特徴点抽出部〉
第１特徴点抽出部５１は、３次元画像１９から特徴点を抽出する。特徴点の例として、ポリープ等の病変が挙げられる。被検体が大腸の場合、特徴点の例として、ひだ、各結腸間の変化点、血管が挙げられる。ここでいう血管は、血管の走行パターンが含まれる。

第１特徴点抽出部５１は、３次元画像１９から抽出された特徴点の情報を視点情報取得部５３へ送信する。３次元画像１９から特徴点を抽出する際に、３次元画像１９からボリュームデータを生成し、ボリュームデータから特徴点を抽出してもよい。

なお、３次元画像を表すデータであるボリュームデータは、３次元画像の概念に含まれる。３次元画像１９から特徴点を抽出する手法は公知技術を適用可能である。ここでは、３次元画像１９から特徴点を抽出する手法の詳細な説明は省略する。

〈第２特徴点抽出部〉
第２特徴点抽出部５２は、内視鏡画像３８から特徴点を抽出する。内視鏡画像３８から抽出される特徴点は３次元画像１９と同様であり、ここでの説明は省略する。第２特徴点抽出部５２は、内視鏡画像３８から抽出された特徴点の情報を視点情報取得部５３へ送信する。

〈視点情報取得部〉
視点情報取得部５３は、３次元画像１９の特徴点、及び内視鏡画像３８の特徴点に基づいて、内視鏡画像３８と対応付けされる仮想内視鏡画像３９を生成する際の視点情報を取得する。視点情報取得部５３は、取得した視点情報を第１仮想内視鏡画像生成部５４へ送信する。ここでいう視点情報の取得は、視点情報の生成が含まれる。

３次元画像１９と仮想内視鏡画像との対応付けは、内視鏡画像３８の特徴点と一致する特徴点を有する仮想内視鏡画像３９を、内視鏡画像３８と紐付けする処理である。なお、ここでいう紐付けとは関連付けと同義である。

視点情報は、内視鏡画像３８を撮像した際の内視鏡１０の位置に相当するパス上の位置の情報、及び内視鏡画像３８を撮像した際の内視鏡１０の向きに相当するパス上の向きの情報が含まれる。

〈第１仮想内視鏡画像生成部〉
第１仮想内視鏡画像生成部５４は、視点情報取得部５３を用いて取得した視点情報に基づいて、仮想内視鏡画像３９を生成する。仮想内視鏡画像３９は、大腸等の体腔の内壁を表す２次元画像である。換言すると、仮想内視鏡画像３９は、規定の視点における規定の視点方向について、仮想的な撮像装置を用いて撮像して得られた２次元画像である。仮想内視鏡画像３９は第１仮想内視鏡画像の一例に相当する。

具体的には、規定の視点、及び規定の視線方向に基づく視線ベクトルを中心として放射線状に伸ばした複数の光線方向上のボリュームデータを、規定の投影面に投影した中心投影による画像を仮想内視鏡画像として生成し得る。中心投影の具体的な方法の例として、公知のボリュームレンダリング手法等が挙げられる。

仮想内視鏡画像の視点は、ボリュームデータに基づいて抽出された被検体の中心線上の点を設定し得る。視線方向は、被検体の中心線の進行方向を初期設定とし、内視鏡１０の姿勢に応じて設定を変更し得る。ここでいう内視鏡１０の姿勢は、内視鏡１０の光軸方向と同義である。

第１仮想内視鏡画像生成部５４を用いて生成された仮想内視鏡画像３９は、図３に示した表示制御部４４の制御の下、モニタ装置１６へ表示させることが可能である。仮想内視鏡画像３９は、各視点における仮想内視鏡画像である視点画像３９ｂの画像群３９ａである。なお、視点画像は説明の都合上の名称であり、視点画像は各視点における仮想内視鏡画像を表す。視点画像は仮想内視鏡画像と読み替えることが可能である。

画像群３９ａは動画像３８ａに相当する。視点画像３９ｂは動画像３８ａの各フレーム画像３８ｂに相当する。任意の視点における静止画像相当画像３９ｃは静止画像３８ｃに相当する。

第１仮想内視鏡画像生成部５４は、動画像３８ａのフレーム画像３８ｂごとに視点画像３９ｂを生成してもよいし。複数のフレーム画像３８ｂおきに視点画像３９ｂを生成してもよい。また、第１仮想内視鏡画像生成部５４は、内視鏡１０が規定の移動を行った場合に視点画像３９ｂを生成してもよい。複数のフレーム画像３８ｂの数は規定フレーム数の一例に相当する。

なお、以下の説明において、仮想内視鏡画像３９という用語は、視点画像３９ｂの画像群３９ａ、各視点画像３９ｂ、及び静止画像相当画像３９ｃの総称を表す場合がある。

〔画像解析処理の具体例〕
次に、第１実施形態に係る画像解析処理の具体例について説明する。以下に、大腸を被検体とする内視鏡検査を行い、ＣＴ装置を用いて予め取得されている大腸のＣＴ画像から仮想内視鏡画像を生成し、内視鏡画像と仮想内視鏡画像との対応付けを行う例について説明する。

〈３次元画像の特徴点抽出〉
図５は大腸の３次元モデルを示す３次元画像の説明図である。図５に示した３次元モデル１９ａは、例えば、複数のＣＴ画像から生成されたボリュームデータに対応している。図５に示したパス１９ｂは、内視鏡検査における内視鏡１０の移動経路に対応する３次元モデル１９ａ上の仮想的な撮像装置の移動経路である。

始点１９ｃは、パス１９ｂの開始位置である。図５に示す例では、始点１９ｃは盲腸を適用している。終点１９ｄはパス１９ｂの終了位置である。図５に示す例では、終点１９ｄは、肛門を適応している。

パス１９ｂは１つ以上の視点１９ｅが指定可能である。パス１９ｂに図示した矢印は、内視鏡１０に相当する仮想的な撮像装置の移動方向である。図５には、仮想的な撮像装置を移動方向と反対方向に向けて撮像する場合を図示した。

図６は３次元画像の特徴点抽出の一例を示す模式図である。説明の都合上、図６には３次元画像１９から擬似的な仮想内視鏡画像１９ｆを生成し、擬似的な仮想内視鏡画像１９ｆから特徴点を抽出する例を示す。但し、擬似的な仮想内視鏡画像１９ｆを生成せずに、ボリュームデータ等から特徴点の抽出が可能である。なお、擬似的な仮想内視鏡画像１９ｆは、第２実施形態において説明する第２仮想内視鏡画像３９ｆに相当する。

擬似的な仮想内視鏡画像１９ｆは、特徴点７０としてポリープが抽出されている。図６には、２枚の連続するフレーム画像３８ｂに対応する、２枚の擬似的な仮想内視鏡画像１９ｆを図示した。２枚の擬似的な仮想内視鏡画像１９ｆはいずれも、特徴点７０としてポリープが抽出されている。一方、図６に示した２枚の擬似的な仮想内視鏡画像１９ｆは、異なる視点１９ｅにおいて生成されたものである。図６に示した２枚の擬似的な仮想内視鏡画像１９ｆは撮像方向が異なる場合があり得る。

図７は３次元視鏡画像の特徴点抽出の他の例を示す模式図である。図７に示した３枚の擬似的な仮想内視鏡画像１９ｆは、特徴点７０ａとしてひだが抽出されている。図７に示した３枚の擬似的な仮想内視鏡画像１９ｆはいずれも、特徴点７０ａとしてひだが抽出されている。

一方、図７に示した３枚の擬似的な仮想内視鏡画像１９ｆは、異なる視点１９ｅにおいて生成されたものである。図７に示した３枚の擬似的な仮想内視鏡画像１９ｆは撮像方向が異なる場合があり得る。

大腸の特徴点の他の例として、盲腸入口、上行結腸と横行結腸との間の湾曲部、横行結腸と下行結腸との間の湾曲部、及び下行結腸とＳ字結腸との間の湾曲部等が挙げられる。これらの部位はいずれも特徴的な湾曲形状を有している。

ここで、特徴点という用語は、特徴を有する一点、又は１画素に限定されない。特徴点は、２画素以上の画素から構成し得る。特徴点という用語は、特徴領域、特徴部分、及び特徴位置等の用語と置き替えてもよい。以下に説明する内視鏡画像の特徴点についても同様である。

〈内視鏡画像の特徴点抽出〉
図８は内視鏡画像の特徴点抽出の一例を示す模式図である。図８には、特徴点８０としてポリープが抽出されたフレーム画像３８ｂを図示する。図示は省略するが、図８に示したフレーム画像３８ｂの前後のフレーム画像３８ｂにも、特徴点８０としてポリープが抽出される。一方、図８に示したフレーム画像３８ｂと、フレーム画像３８ｂの前後のフレーム画像３８ｂとの内視鏡１０の位置は相違する。また、それぞれの撮像方向が異なる場合もあり得る。

図９は内視鏡画像の特徴点抽出の他の例を示す模式図である。図９に示したフレーム画像３８ｂは、特徴点８０ａとしてひだが抽出されている。図９に示したフレーム画像３８ｂの前後のフレーム画像３８ｂにも、特徴点８０ａとしてひだが抽出される。

一方、図９に示したフレーム画像３８ｂと、フレーム画像３８ｂの前後のフレーム画像３８ｂとの内視鏡１０の位置は相違する。また、それぞれの撮像方向が異なる場合もあり得る。なお内視鏡画像３８における大腸の特徴点は、３次元画像１９と同様であり、ここでの説明は省略する。

〈内視鏡画像と仮想内視鏡画像との対応付け〉
内視鏡画像３８を撮像した内視鏡１０の正確な位置、及び内視鏡１０の正確な撮像方向が把握できれば、内視鏡画像３８と対応付けされる仮想内視鏡画像３９の視点位置、及び視点方向を特定することが可能である。しかし、内視鏡１０の正確な位置、及び内視鏡１０の正確な姿勢を把握することは困難である。

本実施形態に示す画像処理装置１４は、内視鏡画像３８の特徴点の情報、及び３次元画像１９の特徴点の情報を用いて、内視鏡画像３８と対応付けされる仮想内視鏡画像３９を取得する視点位置、及び視点方向を特定する。また、画像処理装置１４は、内視鏡画像３８と仮想内視鏡画像３９とを対応付けする。

図１０は内視鏡画像と仮想内視鏡画像との対応付けの一例を示す模式図である。図１０には、ポリープを特徴点８０とする内視鏡画像３８のフレーム画像３８ｂに、特徴点８０と一致する、ポリープを特徴点７０とする仮想内視鏡画像３９の視点画像３９ｂが対応付けされた場合を図示した。

図１０に示した仮想内視鏡画像３９は、３次元画像１９、及び内視鏡画像３８を用いた画像解析処理から導出された視点位置、及び視点方向に基づいて生成され、内視鏡画像３８と対応付けがされている。

図１１は内視鏡画像と仮想内視鏡画像との対応付けの他の例を示す模式図である。図１１には、内視鏡画像３８と仮想内視鏡画像３９との一致する特徴点として、ひだを適用した例を示す。

図１１に示した仮想内視鏡画像３９は、３次元画像１９、及び内視鏡画像３８を用いた画像解析処理から導出された視点位置、及び視点方向に基づいて生成され、内視鏡画像３８と対応付けがされている。

〈視点情報の取得の具体例〉
図１２は視点情報取得の一例の説明図である。内視鏡画像３８から１つ以上の特徴点を有するフレーム画像３８ｂを特定する。図１２に示したフレーム画像３８ｂは４つの特徴点である第１特徴点１００ａ、第２特徴点１００ｂ、第３特徴点１００ｃ、及び第４特徴点１００ｄを有している。

次に、フレーム画像３８ｂの特徴点に対応する特徴点を有する３次元画像１９の領域を特定する。図１２に示す例では、３次元画像１９の領域として擬似的な仮想内視鏡画像１９ｆを適用する。

図１２に示した擬似的な仮想内視鏡画像１９ｆは、フレーム画像３８ｂの４つの特徴点に対応する第１特徴点１１０ａ、第２特徴点１１０ｂ、第３特徴点１１０ｃ、及び第４特徴点１１０ｄを有している。

すなわち、フレーム画像３８ｂの第１特徴点１００ａと擬似的な仮想内視鏡画像１９ｆの第１特徴点１１０ａとが対応付けされる。同様に、フレーム画像３８ｂの第２特徴点１００ｂと擬似的な仮想内視鏡画像１９ｆの第２特徴点１１０ｂとが対応付けされる。

更に、フレーム画像３８ｂの第３特徴点１００ｃと擬似的な仮想内視鏡画像１９ｆの第３特徴点１１０ｃとが対応付けされ、且つフレーム画像３８ｂの第４特徴点１００ｄと擬似的な仮想内視鏡画像１９ｆの第４特徴点１１０ｄとが対応付けされる。

すなわち、フレーム画像３８ｂの全ての特徴点１００に対応付けされる、特徴点１１０を有する擬似的な仮想内視鏡画像１９ｆが特定される。なお、特徴点１００は、第１特徴点１００ａ、第２特徴点１００ｂ、第３特徴点１００ｃ、及び第４特徴点１００ｄの総称である。特徴点１１０は、第１特徴点１１０ａ、第２特徴点１１０ｂ、第３特徴点１１０ｃ、及び第４特徴点１１０ｄの総称である。

次に、フレーム画像３８ｂの特徴量を導出する。また、擬似的な仮想内視鏡画像１９ｆの特徴量を導出する。フレーム画像３８ｂの特徴量の導出は、公知の技術を適用可能である。例えば、フレーム画像３８ｂの全ての特徴点１００の画素値を用いてフレーム画像３８ｂの特徴量を導出し得る。擬似的な仮想内視鏡画像１９ｆの特徴量の導出についても同様である。

擬似的な仮想内視鏡画像１９ｆの特徴量が、フレーム画像３８ｂの特徴量と相違する場合、フレーム画像３８ｂの特徴量と同一の特徴量を有する仮想内視鏡画像３９ｄを生成可能な視点情報として、視点位置Ｐ、及び視点方向Ｄを特定する。

すなわち、内視鏡画像３８を観察する際に、内視鏡画像３８の表示画面に仮想内視鏡画像３９を表示させることが可能である。しかし、内視鏡１０の位置、及び内視鏡１０の撮像方向を正確に把握することは難しく、内視鏡画像３８と仮想内視鏡画像３９とを同期させて表示することが困難である。実際に表示される仮想内視鏡画像３９の視点位置は、表示される内視鏡画像３８の撮像位置との間にずれが生じる。視点方向についても同様である。

そこで、内視鏡画像３８の特徴量、及び３次元画像１９の特徴量を用いて、内視鏡画像３８の特徴点と一致する特徴点を有する仮想内視鏡画像３９を、生成可能な視点位置、及び視点方向を特定する。特定された視点位置Ｐ、及び視点方向Ｄに基づいて生成された仮想内視鏡画像３９は、内視鏡画像３８と対応付けされる。

換言すると、内視鏡画像３８の特徴点、及び３次元画像１９の特徴点をそれぞれスコア化し、それぞれのスコアが一致する場合を、内視鏡画像３８の特徴点と３次元画像１９の特徴点が一致する場合と規定する。

内視鏡画像３８、及び３次元画像１９に複数の特徴点が存在する場合は、すべての特徴点が一致する場合を、内視鏡画像３８の特徴点と３次元画像１９の特徴点が一致する場合と規定する。

３次元画像から視点位置、及び視点方向を特定する手法は公知の手法を適用可能である。３次元画像から視点位置、及び視点方向を特定する手法の一例としてＳＦＭ（Structure from Motion）等の手法が挙げられる。

〈仮想内視鏡画像の表示例〉
図１３は対応付け後の仮想内視鏡画像の表示例を示す模式図である。図１３には、図１に示したモニタ装置１６を用いて、内視鏡画像３８及び内視鏡画像３８と対応付けされた仮想内視鏡画像３９を同一の画面に表示させる例を示す。

符号１６ａは、特徴点８０としてポリープが抽出された内視鏡画像３８が特定された場合の表示例を示す。この場合、内視鏡画像３８の特徴点８０と一致する特徴点７０を有する仮想内視鏡画像３９が、特徴点８０を有する内視鏡画像３８と対応付けされる。そして、モニタ装置１６には、特徴点８０を有する内視鏡画像３８と特徴点７０を有する仮想内視鏡画像３９とが同一の画面に表示される。

更に、内視鏡画像３８の観察が進み、特徴点８０ａとしてひだが抽出された内視鏡画像３８が特定された場合の表示例を、符号１６ｂを付して図示する。この場合、内視鏡画像３８の特徴点８０ａと一致する特徴点７０ａを有する仮想内視鏡画像３９が、特徴点８０ａを有する内視鏡画像３８と対応付けされる。そして、モニタ装置１６には、特徴点８０ａを有する内視鏡画像３８と、特徴点７０ａを有する仮想内視鏡画像３９とが同一の画面に表示される。

更に、内視鏡画像３８の観察が進み、特徴点が抽出された内視鏡画像３８が特定される度に、一致する特徴点を有する仮想内視鏡画像３９が、内視鏡画像３８に対応付けされる。また、モニタ装置１６の同一画面に、対応付けされた内視鏡画像３８と仮想内視鏡画像３９が表示される。

モニタ装置１６を用いて仮想内視鏡画像３９を表示させる際に、内視鏡画像３８、及び仮想内視鏡画像３９の少なくともいずれか一方を表示画面内において回転させて、表示画面内における内視鏡画像３８と仮想内視鏡画像３９との向きを合わせることが好ましい。

モニタ装置１６は、仮想内視鏡画像３９を常に表示する必要はない。例えば、新たに対応付けがされるまでの期間は、最後に対応付けされた仮想内視鏡画像３９の表示を継続してもよいし、仮想内視鏡画像３９を一定期間表示した後に、内視鏡画像３８の全画面表示に切り替えてもよい。

なお、内視鏡画像３８のフレーム画像３８ｂごとに仮想内視鏡画像３９が対応付けされる場合は、内視鏡画像３８と仮想内視鏡画像３９との同期表示が可能である。この場合は、対応付け処理の処理期間に相当する遅延期間を内視鏡画像３８の表示に適用してもよい。

［第１実施形態に係る画像処理方法の手順］
〔画像処理方法の全体の手順〕
図１４は第１実施形態に係る画像処理方法の手順の流れを示すフローチャートである。３次元画像取得工程Ｓ１０では、図３に示した画像解析処理部４３は、３次元画像取得部４１ａを用いて３次元画像を取得する。

３次元画像として、ボリュームデータを取得してもよいし、図６、及び図７に示した擬似的な仮想内視鏡画像１９ｆを取得してもよい。３次元画像取得工程Ｓ１０の後に、内視鏡画像取得工程Ｓ１２へ進む。３次元画像取得工程Ｓ１０は３次元画像入力工程の一例に相当する。

内視鏡画像取得工程Ｓ１２では、画像解析処理部４３は内視鏡画像取得部４１ｂを用いて内視鏡画像３８を取得する。なお、３次元画像取得工程Ｓ１０と内視鏡画像取得工程Ｓ１２とを並行して実行してもよい。内視鏡画像取得工程Ｓ１２は実内視鏡画像入力工程の一例に相当する。

内視鏡画像取得工程Ｓ１２の後に、特徴点抽出工程Ｓ１４へ進む。特徴点抽出工程Ｓ１４では、画像解析処理部４３は時系列の動画像３８ａから規定の特徴点が抽出されたか否かを判定する。特徴点抽出工程Ｓ１４において規定の特徴点が抽出されない場合はＮｏ判定となる。Ｎｏ判定の場合、画像解析処理部４３は特徴点抽出工程Ｓ１４を継続する。

一方、特徴点抽出工程Ｓ１４において規定の特徴点が抽出された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は視点情報取得工程Ｓ１６へ進む。視点情報取得工程Ｓ１６では、画像解析処理部４３は規定の特徴点が抽出された内視鏡画像３８と一致する特徴点を有する仮想内視鏡画像３９を生成する際に用いられる視点情報を取得する。なお、視点情報取得工程Ｓ１６の詳細は後述する。

視点情報取得工程Ｓ１６の後に仮想内視鏡画像生成工程Ｓ１８へ進む。仮想内視鏡画像生成工程Ｓ１８では、図４に示した第１仮想内視鏡画像生成部５４は、視点情報取得工程Ｓ１６において取得した視点情報を用いて、内視鏡画像３８と対応付けされる仮想内視鏡画像３９を生成する。また、仮想内視鏡画像生成工程Ｓ１８では、画像解析処理部４３は、第１仮想内視鏡画像生成部５４を用いて生成された仮想内視鏡画像３９を、内視鏡画像３８に対応付けする。

すなわち、仮想内視鏡画像生成工程Ｓ１８は、それぞれの特徴点が一致する内視鏡画像３８と仮想内視鏡画像３９とを対応付けする対応付け工程として機能している。仮想内視鏡画像生成工程Ｓ１８の後に、対応付けがされた内視鏡画像３８と仮想内視鏡画像３９とを記憶する記憶工程が実行されてもよい。

仮想内視鏡画像生成工程Ｓ１８の後に表示工程Ｓ２０へ進む。表示工程Ｓ２０では、画像解析処理部４３は、再生制御部４４ａを介してモニタ装置１６へ表示制御信号を送信する。モニタ装置１６は、内視鏡画像３８、及び内視鏡画像３８と対応付けされた仮想内視鏡画像３９が同一の画面に表示される。

表示工程Ｓ２０の後に検査終了判定工程Ｓ２２へ進む。検査終了判定工程Ｓ２２では、画像解析処理部４３は、内視鏡検査が終了したか否かを判定する。内視鏡画像３８を取得したタイミングから一定期間が経過した場合に、内視鏡検査が終了したと判定してもよい。

検査終了判定工程Ｓ２２において、内視鏡検査が終了していないと判定された場合はＮｏ判定となる。Ｎｏ判定の場合は内視鏡画像取得工程Ｓ１２へ進み、画像解析処理部４３は、検査終了判定工程Ｓ２２においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１２から検査終了判定工程Ｓ２２の各工程を繰り返し実行する。

一方、検査終了判定工程Ｓ２２において、内視鏡検査が終了したと判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、画像解析処理部４３は画像処理方法を終了する。

〔視点情報取得工程の手順〕
図１５は図１４に示した視点情報取得工程の手順の流れを示すフローチャートである。第１特徴点抽出工程Ｓ４０では、図４に示した第１特徴点抽出部５１は３次元画像１９から特徴点を抽出する。第１特徴点抽出工程Ｓ４０は、予め３次元画像１９に含まれる特徴点を抽出しておき、抽出した特徴点を記憶しておく態様も可能である。

第２特徴点抽出工程Ｓ４２では、第２特徴点抽出部５２は、内視鏡画像３８から特徴点を抽出する。第２特徴点抽出工程Ｓ４２は、図１４に示した内視鏡画像取得工程Ｓ１２と並行して実行してもよい。

第２特徴点抽出工程Ｓ４２において内視鏡画像３８の特徴点が抽出された場合、特徴点対応付け工程Ｓ４４が実行される。特徴点対応付け工程Ｓ４４では、視点情報取得部５３は、内視鏡画像３８の特徴点と３次元画像１９の特徴点との対応付けを行う。図１２に内視鏡画像３８の特徴点と３次元画像１９の特徴点との対応付けの例を図示した。

特徴点対応付け工程Ｓ４４の後に特徴量導出工程Ｓ４６へ進む。特徴量導出工程Ｓ４６では、視点情報取得部５３は内視鏡画像３８の特徴量、及び仮想内視鏡画像３９の特徴量を導出する。特徴量導出工程Ｓ４６の後に探索工程Ｓ４８へ進む。探索工程Ｓ４８では、視点情報取得部５３は、内視鏡画像３８の特徴量と同一の特徴量を有する３次元画像１９の領域を、３次元画像から探索する。

探索工程Ｓ４８の後に視点情報導出工程Ｓ５０へ進む。視点情報導出工程Ｓ５０では、視点情報取得部５３は、内視鏡画像３８の特徴量と同一の特徴量を有する３次元画像１９の領域の視点情報を導出する。導出された視点情報を記憶する視点情報記憶工程を実行してもよい。視点情報導出工程Ｓ５０の後に、図１４に示した画像処理方法の仮想内視鏡画像生成工程Ｓ１８へ進む。

［内視鏡画像と仮想内視鏡画像との対応付けのバリエーション］
〔ひだの数を用いる具体例〕
図１６は内視鏡画像と仮想内視鏡画像との対応付けのバリエーションを示す模式図である。図１６に示す例は、ひだの数を用いて内視鏡画像と仮想内視鏡画像とを対応付ける例である。本例は大腸を被検体とする場合に、特に有効である。

図１６に示したフレーム画像３８ｂは、特徴点８０ａとしてひだが抽出されている。フレーム画像３８ｂのひだの番号をｎ_１とする。ひだの番号とは、規定のひだを１番目のひだとする連番である。３次元画像１９について、内視鏡画像３８と同様にひだの番号を付与し、ｎ_１番目のひだを有する３次元画像１９の領域を特定する。ｎ_１番目のひだを有する３次元画像１９の領域から視点情報を導出し、導出した視点情報を用いて生成される仮想内視鏡画像３９を内視鏡画像３８と対応付けし得る。

図１６には、３次元画像１９の領域として擬似的な仮想内視鏡画像１９ｆを適用した例を示す。図１６に示した３枚の擬似的な仮想内視鏡画像１９ｆのうち、ｎ_１番目のひだを有する擬似的な仮想内視鏡画像１９ｆから視点情報を導出し得る。

〔内視鏡の移動ベクトルを用いる具体例〕
仮想内視鏡画像３９と対応付けがされた内視鏡画像３８の内視鏡１０の位置、及び内視鏡１０の撮像方向を起点とし、内視鏡１０の移動ベクトルに基づいて、次の内視鏡画像３８の位置、及び内視鏡１０の撮像方向に対応する視点位置、及び視点方向を導出してもよい。内視鏡１０の撮像方向は、内視鏡の視野方向の一例に相当する。

内視鏡１０の移動ベクトルは、複数のフレーム画像３８ｂを用いて導出し得る。内視鏡１０の移動ベクトルを導出する際に使用する複数のフレーム画像３８ｂは、連続するフレーム画像３８ｂであることが好ましい。

〔対応付けの間隔〕
内視鏡画像３８と仮想内視鏡画像３９との対応付けがされた後に新たな対応付けを行う場合、前回の対応付けが行われた内視鏡１０の位置から一定範囲内において、新たな対応付けを行う。一定範囲は、内視鏡１０の移動距離、及び移動期間の少なくともいずれか一方に基づき規定し得る。例えば、内視鏡１０が規定の移動を行った場合に新たな対応付けを実行し得る。

一定範囲は、内視鏡画像３８のフレーム数に基づき規定してもよい。例えば、毎フレームに新たな対応付け行ってもよいし、複数のフレームおきに新たな対応付け行ってもよい。

〔対応付けの更新〕
図１７は対応付けの更新の説明図である。図１７に符号１６ａ、及び符号１６ｂを付して図示したように、内視鏡画像３８の観察の進行に従い、内視鏡画像３８と対応付けされた仮想内視鏡画像３９が更新される。

例えば、符号１６ｂを付した状態において、内視鏡画像３８が新たな仮想内視鏡画像３９と対応付けされた場合に、内視鏡画像３８と対応付けされる仮想内視鏡画像３９が更新される。符号１６ｃは、内視鏡画像３８が仮想内視鏡画像３９ｅと新たに対応付けされた状態を示す。

仮想内視鏡画像３９ｅの特徴点７０ｂは、内視鏡画像３８の特徴点８０ａと一致する。モニタ装置１６には、特徴点７０ａを有する仮想内視鏡画像３９に代わり、特徴点７０ｂを有する仮想内視鏡画像３９ｅが表示される。

〔仮想内視鏡画像表示のバリエーション〕
動画像３８ａとして表示される内視鏡画像３８に対して、内視鏡画像３８と対応付けされた仮想内視鏡画像３９を順に表示させることが可能である。内視鏡画像３８のフレーム画像３８ｂごとに仮想内視鏡画像３９が生成される場合、内視鏡画像３８と仮想内視鏡画像３９とを同期表示させることが可能である。

内視鏡画像３８の複数のフレーム画像３８ｂおきに仮想内視鏡画像３９が生成される場合、既に表示されている仮想内視鏡画像３９から次に表示すべき仮想内視鏡画像３９に急激に切り替えてもよい。急激にとは、中間の表示状態を経ずに両者を直接切り替えることを意味する。また、切り替えの中間状態として、モーフィング、及び早送り等の表示形態を適用してもよい。

〔大腸ナビゲーション〕
図１８は大腸ナビゲーションの説明図である。大腸ナビゲーションは、例えば、大腸の３次元モデル１９ａに、内視鏡１０の位置、及び内視鏡１０の先端面２７ａが向く方向を表示させ、内視鏡検査の支援情報として使用される。

ナビゲーションとして表示される、内視鏡１０の位置、及び内視鏡１０の先端面２７ａの向く方向は、内視鏡１０の外部に備えられるセンサを用いて検出可能である。内視鏡１０の先端面２７ａの向く方向は内視鏡１０の撮像方向と一致する。

内視鏡１０の先端面２７ａの向く方向は内視鏡の視野方向の一例に相当する。大腸ナビゲーションは、内視鏡の移動支援情報の一例に相当する。

センサの例として磁気センサが挙げられる。センサは、内視鏡１０の内部に備えられてもよい。図１８に示した四角錐１９ｈは内視鏡１０の先端が向く方向を示す。

図１８に示したパス１９ｂのうち、細線を用いて図示したパス１９ｂは、観察済みの領域におけるパス１９ｂを示す。また、太線を用いて図示したパス１９ｂは、未観察の領域におけるパス１９ｂを示す。

大腸ナビゲーションから内視鏡１０の位置の情報、及び内視鏡１０の先端面２７ａが向く方向の情報を取得して、内視鏡画像３８と対応付けされる３次元画像１９の視点位置、及び視点方向を特定してもよい。

図１８には大腸の３次元モデル１９ａを用いたナビゲーションを例示したが、パス１９ｂ、視点１９ｅ、及び内視鏡１０の方向を表す記号等のみを表示させてもよい。ナビゲーションは、内視鏡画像３８の表示画面に重畳表示が可能である。また、ナビゲーションに対応付けがされた視点１９ｅを表す記号等を付与してもよい。

以上説明した内視鏡画像３８と仮想内視鏡画像３９との対応付けのバリエーションは、適宜組み合わせることが可能である。例えば、一致する特徴点に基づく対応付けと上記したバリエーションを併用してもよいし、一致する特徴点に基づいて１つ以上の対応付けがされた場合、その後の対応付けに上記したバリエーションを適用してもよい。

〔内視鏡画像、仮想内視鏡画像の記憶〕
内視鏡画像３８は、図３に示した画像記憶部４８に記憶することが可能である。画像記憶部４８は、内視鏡画像３８を記憶する際に付加情報として視点情報等を付加してもよい。

画像記憶部４８は、内視鏡画像３８を記憶する際に仮想内視鏡画像３９と紐付けして記憶することが可能である。例えば、画像記憶部４８は、内視鏡画像３８を記憶する際に仮想内視鏡画像３９が記憶されている記憶装置のＩＤ（identification）、及び記憶装置における記憶領域のアドレス等を付加してもよい。仮想内視鏡画像３９を記憶する際も同様である。画像記憶部４８は、実内視鏡画像を記憶する内視鏡画像記憶部の一例に相当する。

［第１実施形態の作用効果］
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を奏する。

〔１〕
内視鏡画像３８の特徴点と一致する特徴点を有する仮想内視鏡画像３９が得られる３次元画像１９における視点１９ｅの位置の情報、及び視点１９ｅにおける向きの情報を含む視点情報を取得する。これにより、内視鏡画像３８と仮想内視鏡画像３９とを正確に対応付けることが可能である。

〔２〕
視点情報に基づいて３次元画像１９から仮想内視鏡画像３９が生成される。これにより、内視鏡画像３８と一致する特徴点を有する仮想内視鏡画像３９を生成し得る。

〔３〕
内視鏡１０の移動ベクトルから内視鏡１０の撮像方向の情報を取得する。また、大腸ナビゲーションから内視鏡１０の先端面２７ａの向く方向を取得する。これにより、内視鏡１０の撮像方向、及び内視鏡１０の先端面２７ａの向く方向の少なくともいずれかの取得が可能である。

〔４〕
新たに視点情報を取得した場合に視点情報を更新する。これにより、最新の視点情報を用いた仮想内視鏡画像３９を内視鏡画像３８に対応付けることが可能となる。

〔５〕
内視鏡画像３８と仮想内視鏡画像３９とを紐付けして記憶する。これにより、内視鏡画像３８、及び仮想内視鏡画像３９の少なくともいずれかを利用する際に、両者の連携を維持することが可能である。

［第２実施形態に係る画像処理装置の構成］
〔全体構成〕
図１９は第２実施形態に係る画像処理装置における画像解析処理部の機能を示す機能ブロック図である。図１９に示した画像解析処理部４３ａは、図４に示した画像解析処理部４３に対して、第２仮想内視鏡画像生成部５５、及び内視鏡視野情報取得部５６が追加されている。

〔第２仮想内視鏡画像生成部〕
第２仮想内視鏡画像生成部５５は、３次元画像１９から擬似的な仮想内視鏡画像である第２仮想内視鏡画像３９ｆを生成する。第２仮想内視鏡画像生成部５５は、内視鏡視野情報取得部５６を用いて取得した内視鏡１０の視野情報１０ａを用いて、第２仮想内視鏡画像３９ｆを生成する。

図１９に示した第２仮想内視鏡画像３９ｆは、図１２に示した擬似的な仮想内視鏡画像１９ｆに相当する。第１特徴点抽出部５１は、第２仮想内視鏡画像生成部５５を用いて生成された第２仮想内視鏡画像３９ｆから特徴点を抽出する。

〔内視鏡視野情報〕
内視鏡視野情報取得部５６は、内視鏡画像３８から内視鏡１０の視野情報１０ａを取得する。内視鏡１０の視野情報１０ａは、内視鏡１０の撮像方向の情報が含まれる。内視鏡視野情報取得部５６は、内視鏡画像３８の２つ以上のフレーム画像３８ｂから、内視鏡１０の移動ベクトルを導出し得る。

内視鏡視野情報取得部５６は、内視鏡１０の移動ベクトルから内視鏡１０の移動速度を導出し得る。内視鏡視野情報取得部５６は、内視鏡１０の移動速度から内視鏡１０の撮像方向を導出し得る。内視鏡視野情報取得部５６は、内視鏡１０の移動速度、及びフレーム数から内視鏡１０の移動距離を導出し得る。第２仮想内視鏡画像生成部５５は、内視鏡視野情報を用いて３次元画像１９から第２仮想内視鏡画像３９ｆを生成する。

内視鏡視野情報取得部５６は、内視鏡の位置の情報を取得する位置情報取得部の一例に相当する。内視鏡１０の移動距離は内視鏡の移動量の一例に相当する。内視鏡視野情報取得部５６は内視鏡の視野方向の情報を取得する視野方向情報取得部の一例に相当する。

内視鏡画像３８の２つ以上のフレーム画像３８ｂのうち任意のフレーム画像３８ｂは一方の実内視鏡画像の一例に相当する。内視鏡画像３８の２つ以上のフレーム画像３８ｂのうち他の任意のフレーム画像３８ｂは他方の実内視鏡画像の一例に相当する。

図２０は第２実施形態に係る画像処理方法を模式的に示す模式図である。第２仮想内視鏡画像３９ｆは、記憶装置１８から読み出された３次元画像１９から生成される。第２仮想内視鏡画像３９ｆは、内視鏡１０の視野情報１０ａを用いて生成される。

図１９に示した画像解析処理部４３ａは、内視鏡１０を用いて生成された内視鏡画像３８から特徴点８０ａとしてひだを抽出する。画像解析処理部４３ａは、第２仮想内視鏡画像３９ｆから特徴点７０ｃとしてひだを抽出する。

画像解析処理部４３ａは、第２仮想内視鏡画像３９ｆの特徴点７０ｃに基づき、内視鏡画像３８の特徴点８０ａと一致する特徴点７０ａを有する仮想内視鏡画像３９の視点位置Ｐ、及び視点方向Ｄを導出する。画像解析処理部４３ａは、内視鏡画像３８と仮想内視鏡画像３９とを対応付ける。

第２実施形態に係る画像処理方法は、図１４に示した内視鏡画像取得工程Ｓ１２の後に、第２仮想内視鏡画像生成工程が追加される。第２仮想内視鏡画像生成工程は、図１５に示した第２特徴点抽出工程Ｓ４２の前に追加されてもよい。なお、第２仮想内視鏡画像３９ｆは、非表示としてもよいし、内視鏡画像３８の表示画面に表示してもよい。

［第２実施形態の作用効果］
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を奏する。

〔１〕
３次元画像１９から第２仮想内視鏡画像３９ｆを生成する。これにより、第２仮想内視鏡画像３９ｆの特徴点、及び内視鏡画像３８の特徴点に基づく視点情報の取得が可能である。

〔２〕
内視鏡１０の視野情報１０ａを用いて第２仮想内視鏡画像３９ｆを生成する。これにより、実際の内視鏡１０の撮像方向、及び実際の内視鏡１０の位置の少なくともいずれかが反映された第２仮想内視鏡画像３９ｆを生成し得る。

［第３実施形態に係る画像処理装置の構成］
〔全体構成〕
図２１は第３実施形態に係る画像処理装置における画像解析処理部の機能を示す機能ブロック図である。図２１に示した画像解析処理部４３ｂは、図４に示した画像解析処理部４３に対して、内視鏡画像修正部５７が追加されている。

〔内視鏡画像修正部〕
内視鏡画像３８は、各画素についてＲＧＢ各色成分の２５６階調の画素値を有するカラー画像である。ここで、ＲＧＢのＲは赤を表す。ＲＧＢのＧは緑を表す。ＲＧＢのＢは青を表す。

内視鏡画像修正部５７は、内視鏡画像３８から色情報、及びテクスチャ情報の少なくともいずれか一方の情報を除去する処理を実行する。３次元画像１９、及び第２仮想内視鏡画像３９ｆは、色情報、及びテクスチャ情報を有していない。一方、内視鏡画像３８は、色情報、及びテクスチャ情報を有している。

３次元画像１９の特徴点、又は第２仮想内視鏡画像３９ｆの特徴点と、内視鏡画像３８の特徴点を比較する際に、内視鏡画像３８から色情報、及びテクスチャ情報の少なくともいずれか一方の情報を除去する。内視鏡画像３８から色情報、及びテクスチャ情報の少なくともいずれか一方の情報を除去した場合、凹凸情報が抽出される。

内視鏡画像３８の色情報、及びテクスチャ情報の少なくともいずれか一方の情報を除去する処理の例として、内視鏡画像３８からＲ信号成分を抽出する処理、又は内視鏡画像３８からＢ信号成分を除去する処理が挙げられる。

内視鏡画像３８の凹凸情報は、主としてＲ信号に乗る。内視鏡画像３８の色情報、及びテクスチャ情報は、主としてＢ信号に乗る。そこで、内視鏡画像３８に対してＢ信号成分の除去を適用して、内視鏡画像３８の色情報、及びテクスチャ情報の少なくともいずれか一方の情報を除去し得る。また、内視鏡画像３８に対してＲ信号成分の抽出を適用して、内視鏡画像３８の凹凸情報を抽出し得る。なお、内視鏡画像修正部５７は実内視鏡画像修正部の一例に相当する。

［第３実施形態の作用効果］
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を奏する。

〔１〕
内視鏡画像３８から色情報、及びテクスチャ情報の少なくともいずれか一方を除去する。これにより、内視鏡画像３８の凹凸情報が抽出される。

〔２〕
内視鏡画像３８からＢ信号を除去する。これにより、内視鏡画像３８から色情報、及びテクスチャ情報の少なくともいずれか一方を除去し得る。

〔３〕
内視鏡画像３８からＲ信号を抽出する。これにより、内視鏡画像３８から凹凸情報を抽出し得る。

［第４実施形態に係る画像処理装置の構成］
〔全体構成〕
図２２は第４実施形態に係る画像処理装置における画像解析処理部の機能を示す機能ブロック図である。図２２に示した画像解析処理部４３ｃは、図４に示した画像解析処理部４３に対して、警告信号生成部５９が追加されている。また、図１に示した内視鏡システム９に対して警告装置６０が追加されている。

〔警告信号生成部〕
警告信号生成部５９は、内視鏡画像３８と仮想内視鏡画像３９との対応付けがされていない場合に警告情報を表す警告信号を生成する。換言すると、警告信号生成部５９は、内視鏡画像３８の特徴点８０と一致する特徴点７０を有する仮想内視鏡画像３９が発見されない場合に、その旨を表す警告信号を生成する。

警告信号生成部５９は、図示しない通信インターフェースを介して警告信号を警告装置６０へ送信する。警告信号生成部５９は、視点情報を非取得の場合に警告する警告部の構成要素の一例に相当する。内視鏡画像３８の特徴点８０と一致する特徴点７０を有する仮想内視鏡画像３９が発見されない場合は、視点情報を非取得の場合の一例に相当する。

〔警告装置〕
警告装置６０は、警告信号に対応する警告情報を出力する。警告情報の報知の例として、警告を表す文字情報の表示、警告音、及び警告ライトの点灯等が挙げられる。警告を表す文字情報は、図３に示したモニタ装置１６を用いてもよい。図１に示した内視鏡システム９は、警告の態様に応じたスピーカ、及びライト等の警告装置６０を備える。警告装置６０は、上記の報知態様を適宜組み合わせてもよい。

［第４実施形態の作用効果］
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を奏する。

〔１〕
内視鏡画像３８の特徴点と一致する特徴点を有する仮想内視鏡画像３９が発見されない場合にその旨を報知する。これにより、内視鏡画像３８の特徴点と一致する特徴点を有する仮想内視鏡画像３９が発見されないことを、術者が把握し得る。

〔２〕
警告装置６０は、警告を表す文字情報の表示、警告音、及び警告ライトの点灯の少なくともいずれか１つを報知に適用し得る。これにより、術者は、視覚、及び聴覚の少なくともいずれかを用いて報知を把握し得る。

［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータを、内視鏡画像取得機能、画像解析処理機能、入力制御機能、表示制御機能、及び記憶機能を実現させるプログラムを構成し得る。

内視鏡画像取得機能は医用画像取得機能の一例である。画像解析処理機能は、注目シーン認識機能、類似度算出機能、保存処理機能が構成要素として含まれる。

上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

［変形例］
〔特徴点抽出の変形例〕
内視鏡画像３８の特徴点抽出は、内視鏡画像３８の注目領域の検出に相当する。図４に示した第１特徴点抽出部５１は、内視鏡画像３８の画素の特徴量に基づいて注目すべき領域である注目領域を検出し、検出結果を取得してもよい。

第１特徴点抽出部５１は、内視鏡画像３８の画素の特徴量に基づいて注目すべき領域である注目領域の有無を検出し、検出結果を取得してもよい。第１特徴点抽出部５１は、図１に示した記憶装置１８等の記憶装置から、内視鏡画像３８の検出結果を取得してもよい。第１特徴点抽出部５１は、検出結果として、内視鏡画像３８に含まれる注目領域、及び注目領域の有無を表す情報の少なくともいずれかを取得してもよい。

〔内視鏡画像の変形例〕
〈第１例〉
内視鏡画像３８は、白色帯域の光、又は白色帯域の光として波長帯域が異なる複数の光を照射して取得した通常光画像を適用し得る。

〈第２例〉
内視鏡画像３８は、特定の波長帯域の光を照射して取得した特殊光画像を適用し得る。特定の波長帯域は、白色光の波長帯域よりも狭い波長帯域を適用し得る。

〔特定の波長帯域の変形例〕
〈第１例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、且つ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

〈第２例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、且つ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、且つ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、且つ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

〔特殊光画像の生成例〕
プロセッサ装置１２は、白色光、又は白色光として異なる波長帯域を有する複数の光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。

なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。

〔特徴量画像の生成例〕
プロセッサ装置１２は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。

［診断支援装置、医療行業務支援装置への適用例］
本実施形態に示した画像処理装置１４を備えた診断支援装置、及び医療行業務支援装置を構成し得る。

［プロセッサ装置への適用例］
本実施形態に示した画像処理装置１４を備えるプロセッサ装置１２を構成し得る。すなわち、内視鏡１０の動作を制御する内視鏡制御部、内視鏡１０を用いた撮像を制御する撮像制御部、光源装置１１を制御する光源制御部、及び画像処理装置１４を備えたプロセッサ装置を構成し得る。画像処理装置１４は画像処理部の一例に相当する。

［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、３次元画像入力機能、実内視鏡画像入力機能、特徴点抽出機能、及び視点情報取得機能を実現させるプログラムを構成し得る。

上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１ 制御部
２ メモリ
３ ハードディスク装置
４ 通信インターフェース
５ 入力コントローラ
６ ディスプレイコントローラ
９ 内視鏡システム
１０ 内視鏡
１０ａ 視野情報
１１ 光源装置
１２ プロセッサ装置
１３ 表示装置
１４ 画像処理装置
１５ 操作装置
１６ モニタ装置
１６ａ、１６ｂ、１６ｃ 状態
１７ ネットワーク
１８ 画像記憶装置
１９ ３次元画像
１９ａ ３次元モデル
１９ｂ パス
１９ｃ 始点
１９ｄ 終点
１９ｅ 視点
１９ｆ 擬似的な仮想内視鏡画像
１９ｈ 四角錐
２０ 挿入部
２１ 操作部
２２ ユニバーサルコード
２５ 軟性部
２６ 湾曲部
２７ 先端部
２７ａ 先端面
２８ 撮像素子
２９ 湾曲操作ノブ
３０ 送気送水ボタン
３１ 吸引ボタン
３２ 静止画像撮影指示部
３３ 処置具導入口
３５ ライトガイド
３６ 信号ケーブル
３７ａ、３７ｂ コネクタ
３８ 内視鏡画像
３８ａ 動画像
３８ｂ フレーム画像
３８ｃ 静止画像
３９、３９ｄ、３９ｅ 仮想内視鏡画像
３９ａ 画像群
３９ｂ 視点画像
３９ｃ 静止画像相当画像
３９ｆ 第２仮想内視鏡画像
４０ 全体制御部
４１ 画像取得部
４１ａ ３次元画像取得部
４１ｂ 内視鏡画像取得部
４２ 情報取得部
４３、４３ａ、４３ｂ、４３ｃ 画像解析処理部
４４ 表示制御部
４４ａ 再生制御部
４４ｂ 情報表示制御部
４５ 深層学習アルゴリズム
４７ 記憶部
４８ 画像記憶部
４９ プログラム記憶部
５１ 第１特徴点抽出部
５２ 第２特徴点抽出部
５３ 視点情報取得部
５４ 第１仮想内視鏡画像生成部
５５ 第２仮想内視鏡画像生成部
５６ 内視鏡視野情報取得部
５７ 内視鏡画像修正部
５９ 警告信号生成部
６０ 警告装置
６８ 通信信号線
７０、７０ａ、７０ｂ、７０ｃ、８０、８０ａ、１００、１１０ 特徴点
１００ａ、１１０ａ 第１特徴点
１００ｂ、１１０ｂ 第２特徴点
１００ｃ、１１０ｃ 第３特徴点
１００ｄ、１１０ｄ 第４特徴点
Ｄ 視点方向
Ｐ 視点位置
Ｓ１０からＳ５０ 画像処理方法の各工程

Claims (23)

1. 被検体の３次元画像を入力する３次元画像入力部と、
   内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力部と、
   前記３次元画像、及び前記実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出部と、
   前記３次元画像、及び前記実内視鏡画像のそれぞれの特徴点に基づいて、前記実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び前記視点の方向の情報を含む視点情報を取得する視点情報取得部と、
   を備えた画像処理装置。
2. 前記視点情報取得部を用いて取得した前記視点情報に基づいて、前記３次元画像から第１仮想内視鏡画像を生成する第１仮想内視鏡画像生成部を備えた請求項１に記載の画像処理装置。
3. 前記３次元画像から第２仮想内視鏡画像を生成する第２仮想内視鏡画像生成部を備え、
   前記特徴点抽出部は、前記３次元画像の特徴点として前記第２仮想内視鏡画像の特徴点を抽出する請求項１又は２に記載の画像処理装置。
4. 前記内視鏡の視野方向の情報を取得する視野方向情報取得部を備え、
   前記第２仮想内視鏡画像生成部は、前記視野方向情報取得部を用いて取得した前記内視鏡の視野方向の情報を用いて、前記第２仮想内視鏡画像を生成する請求項３に記載の画像処理装置。
5. 前記視野方向情報取得部は、前記内視鏡の移動支援情報から前記視野方向の情報を取得する請求項４に記載の画像処理装置。
6. 前記視野方向情報取得部は、前記実内視鏡画像の変化から導出される移動ベクトルを用いて前記視野方向の情報を取得する請求項４に記載の画像処理装置。
7. 前記内視鏡の位置の情報を取得する位置情報取得部を備え、
   前記第２仮想内視鏡画像生成部は、前記位置情報取得部を用いて取得した前記内視鏡の位置の情報を用いて、前記第２仮想内視鏡画像を生成する請求項３から６のいずれか一項に記載の画像処理装置。
8. 前記実内視鏡画像から色情報、及びテクスチャ情報の少なくともいずれかを除去した画像、又は前記実内視鏡画像から凹凸情報を抽出した画像を生成する実内視鏡画像修正部を備え、
   前記特徴点抽出部は、前記実内視鏡画像修正部を用いて生成された画像から特徴点を抽出する請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記視点情報取得部は、前記内視鏡の位置が異なる２つの実内視鏡画像について、一方の実内視鏡画像と他方の実内視鏡画像との変化から導出される移動ベクトルを用いて、前記一方の実内視鏡画像に対応する前記３次元画像の視点の位置を起点とする移動量を導出して、前記他方の実内視鏡画像に対応する前記３次元画像の視点の位置を特定する請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記視点情報取得部は、前記実内視鏡画像の毎フレームに、前記実内視鏡画像の２以上の規定フレーム数ごとに、又は前記内視鏡が規定の移動を行った場合に、前記実内視鏡画像に対応する前記３次元画像の前記視点情報を取得する請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記視点情報取得部は、既に前記視点情報を取得した前記実内視鏡画像について、新たに視点情報を取得した場合、前記実内視鏡画像に対応する前記３次元画像の視点情報を更新する請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記実内視鏡画像と対応する前記視点情報を非取得の場合に警告する警告部を備えた請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記３次元画像入力部は、大腸の３次元画像を入力し、
    前記特徴点抽出部は、盲腸入口、上行結腸と横行結腸との間の湾曲部、横行結腸と下行結腸との間の湾曲部、下行結腸とＳ字結腸との間の湾曲部、ひだ、ポリープ、及び血管の少なくともいずれか１つを前記特徴点として抽出する請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記視点情報取得部は、大腸のひだの数に基づいて前記実内視鏡画像に対応する前記３次元画像の前記視点情報を取得する請求項１３に記載の画像処理装置。
15. 前記特徴点抽出部は、前記３次元画像から予め抽出された特徴点の情報を取得する請求項１から１４のいずれか一項に記載の画像処理装置。
16. 内視鏡の動作を制御する内視鏡制御部と、
    前記内視鏡を用いた撮像を制御する撮像制御部と、
    前記内視鏡を用いて撮像して得られた内視鏡画像を処理する画像処理部と、
    を備えたプロセッサ装置であって、
    前記画像処理部は、
    被検体の３次元画像を入力する３次元画像入力部と、
    前記内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力部と、
    前記３次元画像、及び前記実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出部と、
    前記３次元画像、及び前記実内視鏡画像のそれぞれの特徴点に基づいて、前記実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び前記視点の方向の情報を含む視点情報を取得する視点情報取得部と、
    を備えたプロセッサ装置。
17. 内視鏡を備えた内視鏡装置と、
    画像処理装置と、
    を備えた内視鏡システムであって、
    前記画像処理装置は、
    被検体の３次元画像を入力する３次元画像入力部と、
    前記内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力部と、
    前記３次元画像、及び前記実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出部と、
    前記３次元画像、及び前記実内視鏡画像のそれぞれの特徴点に基づいて、前記実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び前記視点の方向の情報を含む視点情報を取得する視点情報取得部と、
    を備えた内視鏡システム。
18. 前記３次元画像から生成される仮想内視鏡画像を表示する表示部と、
    前記視点情報取得部を用いて取得した前記視点情報に基づいて、前記３次元画像から第１仮想内視鏡画像を生成する第１仮想内視鏡画像生成部と、
    を備え、
    前記表示部は、新たな前記第１仮想内視鏡画像を表示する際に、先に表示した第１仮想内視鏡画像から前記新たな第１仮想内視鏡画像へ直接切り替えるか、早送りするか、又はモーフィングを用いるかのいずれかを選択する請求項１７に記載の内視鏡システム。
19. 前記表示部は、前記実内視鏡画像と、前記実内視鏡画像に対応する前記第１仮想内視鏡画像とを同期して表示させる請求項１８に記載の内視鏡システム。
20. 前記実内視鏡画像を記憶する内視鏡画像記憶部を備え、
    前記内視鏡画像記憶部は、前記視点情報を付加した前記実内視鏡画像を記憶する請求項１８又は１９に記載の内視鏡システム。
21. 前記内視鏡画像記憶部は、前記実内視鏡画像に対応する前記第１仮想内視鏡画像を記憶する請求項２０に記載の内視鏡システム。
22. 被検体の３次元画像を入力する３次元画像入力工程と、
    内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力工程と、
    前記３次元画像、及び前記実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出工程と、
    前記３次元画像、及び前記実内視鏡画像のそれぞれの特徴点に基づいて、前記実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び前記視点の方向の情報を含む視点情報を取得する視点情報取得工程と、
    を含む画像処理方法。
23. コンピュータに、
    被検体の３次元画像を入力する３次元画像入力機能、
    内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する実内視鏡画像入力機能、
    前記３次元画像、及び前記実内視鏡画像のそれぞれから特徴点を抽出する特徴点抽出機能、及び
    前記３次元画像、及び前記実内視鏡画像のそれぞれの特徴点に基づいて、前記実内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点の位置の情報、及び前記視点の方向の情報を含む視点情報を取得する視点情報取得機能を実現させるプログラム。

Images