JPWO2019087969A1 - 内視鏡システム、報知方法、及びプログラム - Google Patents

Abstract

内視鏡を用いた内視鏡検査において、検出が困難な病変等の見落としを抑制し得る内視鏡システム、報知方法、及びプログラムを提供する。仮想内視鏡画像を入力する第１画像入力部（４１ａ）、実内視鏡画像を入力する第２画像入力部（４１ｂ）、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部（５８）、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部（５０）、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部（５４）と、及び第１特徴領域が第２特徴領域に対応付けされていないことを報知する報知部（５９）と、を備える。

Description

本発明は内視鏡システム、報知方法、及びプログラムに係り、特に仮想内視鏡画像の表示に関する。

近年、内視鏡を用いて患者の大腸等の管状構造物を観察又は処置を行う技術が注目されている。内視鏡画像はＣＣＤ（Charge Coupled Device）等の撮像素子を用いて撮影された画像である。そして、内視鏡画像は管状構造物内部の色、及び質感が鮮明に表現された画像である。一方、内視鏡画像は、管状構造物の内部を表す２次元画像である。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。

そこで、ＣＴ装置又はＭＲＩ装置等のモダリティを用いた断層撮影をして取得された３次元検査画像を用いて、実際に内視鏡を用いて撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。

仮想内視鏡画像は、内視鏡を管状構造物内の目標とする位置まで導くためのナビゲーション画像として用いられる場合がある。なお、ＣＴはComputed Tomographyの省略語である。また、ＭＲＩはMagnetic Resonance Imagingの省略語である。

このため、３次元検査画像から管状構造物の画像を抽出し、管状構造物の画像と内視鏡を用いて撮影を行い取得した実際の内視鏡画像である実内視鏡画像との対応付けを行い、内視鏡の現在位置における仮想内視鏡画像を管状構造物の３次元検査画像から生成して表示する手法が提案されている。

特許文献１は、３次元画像データからポリープなどの病変を検出し、内視鏡の観察位置が病変付近に到達したことを報知する内視鏡観察支援装置が記載されている。

特許文献２は、撮像対象の部位を表すボリュームデータを抽出し、ボリュームデータにおける内視鏡プローブの先端の位置と方向とを特定し、任意の視野における仮想内視鏡画像を生成し、表示する医用画像処理装置が記載されている。

特許文献２に記載の医用画像処理装置は、ボリュームデータに基づいて腫瘍候補の形状と位置とを特定し、腫瘍候補の位置にマーカーを重ねて表示する。これにより、操作者はマーカーを用いて腫瘍候補の有無存在を認識することが可能となる。

特許文献３は、被検体における管腔臓器の展開画像中の死角領域を検出し、死角領域の有無を操作者に報知する医用画像表示装置が記載されている。特許文献３に記載の医用画像処理装置は、死角領域が存在する場合、死角領域が存在することを表す文字情報を表示する。特許文献３には、死角領域が存在する場合に、死角領域の位置を、マーカーを用いて色付けして表示する他の表示態様が記載されている。

特許文献４は、身体３次元領域における内視鏡の相対的な位置及び姿勢の情報、及びボリュームデータに基づいて仮想内視鏡画像を生成し、内視鏡を用いて取得されるカラー内視鏡実画像と、仮想内視鏡画像との構図を一致させる内視鏡システムが記載されている。

特許文献４に記載の内視鏡システムは、仮想内視鏡画像から特徴的な形状を検出する。次いで、カラー内視鏡画像のうち、仮想内視鏡画像の特徴的な形状に相当する領域の画素値を変更する。これにより、他の領域と区別可能な表示形態を実現している。

特許文献５は、ＣＴ装置からボリュームデータを取得し、取得したボリュームデータから３次元画像を生成し表示する医用画像処理装置が記載されている。特許文献５に記載の医用画像処理装置は、表示部に表示された３次元画像の特徴部位に対してマークを付すための入力操作を受け付け、表示部にマークが表示される。特許文献５には、画像解析を用いて自動的に特徴部位を設定可能であることが記載されている。

特許文献６は、被験者の内部を観察する内視鏡、内視鏡を用いて取得した内視鏡画像を表示させるモニタを備える内視鏡装置が記載されている。特許文献６に記載の内視鏡装置は、内視鏡を用いて撮像した被写体像に応じた画像を取得し、取得した画像内における病変部位を検出する処理を、画像を取得する毎に実行する。

特開２０１４−２３０６１２号公報 特開２０１１−１３９７９７号公報 国際公開第２０１０／０７４０５８号 特開２００６−６１２７４号公報 特開２０１６−１４３１９４号公報 特開２００８−３０１９６８号公報

しかしながら、内視鏡の観察範囲には、体腔の内壁に存在するひだの裏側などの死角が存在する。内視鏡を用いた内視鏡検査は内視鏡の観察範囲の死角に位置する病変を見落としてしまう可能性がある。したがって、内視鏡の観察範囲の死角に位置する病変の見落としを防ぐため対処が必要となる。

特許文献１に記載の発明は、内視鏡の観察位置に病変付近に到達したことを報知するものの、内視鏡の観察範囲の死角に位置する病変に対する対応がなされていない。そうすると、特許文献１に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。

特許文献２に記載の発明は、腫瘍候補の位置にマーカーを重ねて表示するものの、腫瘍候補の位置が内視鏡の観察範囲の死角の場合の対応がなされていない。そうすると、特許文献２に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。

特許文献３に記載の発明は、病変の有無に関わらず展開画像中の死角領域の有無を操作者に報知するものであり、展開画像中の死角領域について病変の有無を報知するものではない。そうすると、特許文献３に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。

特許文献４に記載の発明は、仮想内視鏡画像において特徴的な領域の画素値を変更して、特徴的な領域と他の領域との区別を可能とするものであり、内視鏡画像を用いた内視鏡の観察範囲の死角に位置する病変等の発見に適用されるものではない。

特許文献５に記載の発明は、内視鏡画像に対して自動的に特徴部位を設定可能であるものの、特許文献５には、特徴領域が内視鏡の観察範囲の死角となる場合に関する記載はない。そうすると、特許文献５に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。

特許文献６に記載の発明は、内視鏡画像を構成するフレーム画像単位で病変部位の検出が可能であるものの、特許文献６には、病変部位が内視鏡の観察範囲の死角となる場合に関する記載はない。そうすると、特許文献６に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。

すなわち、特許文献１から特許文献６に記載の発明には、内視鏡の観察範囲の死角に位置する病変を見落とし等の、内視鏡検査において検出が困難な病変等の見落としという課題が存在し、この課題に対する対処が必要である。

本発明はこのような事情に鑑みてなされたもので、内視鏡を用いた内視鏡検査において、検出が困難な病変等の見落としを抑制し得る内視鏡システム、報知方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る内視鏡システムは、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部と、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知部と、を備えた内視鏡システムである。

第１態様によれば、仮想内視鏡画像から第１特徴領域を抽出する。仮想内視鏡画像と実内視鏡画像とを対応付ける。第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う。報知に起因して、第１特徴領域が第２特徴領域と対応付けされていないことを、ユーザが認識し得る。これにより、内視鏡を用いた内視鏡検査において第２特徴領域として抽出されるべき領域として把握される、内視鏡検査において検出が困難な病変等の見落としを抑制し得る。

第１画像入力部は、予め生成された仮想内視鏡画像を入力してもよいし、３次元検査画像を取得し、取得した３次元検査画像から仮想内視鏡画像を生成し、生成された仮想内視鏡画像を入力してもよい。

３次元検査画像の例として、ＣＴ装置を用いて被検体を断層撮影して得られた３次元検査画像が挙げられる。仮想内視鏡の一例として、大腸を被検体とする仮想大腸内視鏡が挙げられる。

第１特徴領域の抽出に適用される第１条件を設定する第１条件設定部を備える態様が好ましい。また、第２特徴領域の抽出に適用される第２条件を設定する第２条件設定部を備える態様が好ましい。

第２態様は、第１態様の内視鏡システムにおいて、報知部は、第１特徴領域が第２特徴領域と対応付けされた場合に、第１特徴領域が内視鏡の観察範囲に位置する第２特徴領域に対応付けされたことを報知し、第１特徴領域が第２特徴領域と対応付けされていない場合は、第１特徴領域が第２特徴領域と対応付けされた場合における報知方法、及び報知レベルと比較して、報知方法、及び報知レベルの少なくともいずれかを変更する構成としてもよい。

第２態様によれば、第１特徴領域が第２特徴領域と対応付けされた場合と、第１特徴領域が第２特徴領域と対応付けされていない場合とを区別して報知し得る。

第３態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを報知する第１報知画像、及び第１特徴領域が内視鏡の観察範囲に位置する第２特徴領域に対応付けされたことを報知する第２報知画像を表示部に表示し、且つ第２報知画像より第１報知画像を拡大して表示する構成としてもよい。

第３態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。

第４態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを報知する第１報知画像、及び第１特徴領域が第２特徴領域と対応付けされたことを報知する第２報知画像を表示部に表示し、且つ第１報知画像は第２報知画像と色を変更する構成としてもよい。

第４態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。

第５態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを表す第１報知画像、及び第１特徴領域が第２特徴領域に対応付けされたことを表す第２報知画像を表示部に表示し、且つ第１報知画像を点滅表示する一方、第２報知画像を点灯表示する構成としてもよい。

第５態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。

第６態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを表す第１報知画像、及び第１特徴領域が第２特徴領域に対応付けされたことを表す第２報知画像を表示部に点滅表示し、且つ第２報知画像に対して第１報知画像の点滅周期を短くする構成としてもよい。

第６態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされている場合が強調される。

第７態様は、第３態様から第６態様のいずれか一態様の内視鏡システムにおいて、表示部は、実内視鏡画像と別に生成された第１報知画像、及び第２報知画像を実内視鏡画像に重畳表示させる構成としてもよい。

第７態様によれば、実内視鏡画像を加工することなく、実内視鏡画像の強調表示を行うことが可能である。

第８態様は、第３態様から第７態様のいずれか一態様の内視鏡システムにおいて、表示部は、仮想内視鏡画像を表示し、且つ仮想内視鏡画像における内視鏡の位置を表示する構成としてもよい。

第８態様によれば、内視鏡の操作者は、実内視鏡画像における観察位置に対応する仮想内視鏡画像の位置の認識が可能である。

第９態様は、第３態様から第７態様のいずれか一態様の内視鏡システムにおいて、表示部は、仮想内視鏡画像を表示し、且つ第１特徴領域の情報を表示する構成としてもよい。

第９態様によれば、内視鏡の操作者は、仮想内視鏡画像における第１特徴領域の認識が可能である。

第１０態様は、第９態様の内視鏡システムにおいて、表示部は、第１特徴領域を拡大して表示する構成としてもよい。

第１０態様によれば、仮想内視鏡画像における第１特徴領域が視認し易くなる。

第１１態様は、第９態様の内視鏡システムにおいて、表示部は、第１特徴領域を点滅表示する構成としてもよい。

第１１態様によれば、仮想内視鏡画像における第１特徴領域が視認し易くなる。

第１２態様は、第１態様から第１１態様のいずれか一態様の内視鏡システムにおいて、報知音を出力する報知音出力部を備え、報知部は、報知音出力部を用いて、第１特徴領域が第２特徴領域と対応付けされていないことを表す第１報知音を出力する構成としてもよい。

第１２態様によれば、第１特徴領域が第２特徴領域と対応付けされていない場合に第１報知音を出力する。これにより、第１特徴領域が第２特徴領域と対応付けされていない場合に、第２特徴領域として抽出されるべき領域の見落としを抑制し得る。

また、実内視鏡画像に対して加工等を施す必要がなく、実内視鏡画像への報知の影響を及ぼし難い。

第１３態様は、第１２態様の内視鏡システムにおいて、報知部は、報知音出力部を用いて、第１特徴領域が第２特徴領域に対応付けされたことを表し、且つ第１報知音と異なる第２報知音を出力する構成としてもよい。

第１３態様によれば、第１特徴領域が第２特徴領域と対応付けされていない場合と、第１特徴領域が第２特徴領域と対応付けされた場合とを区別して報知し得る。

第１４態様は、第１３態様の内視鏡システムにおいて、報知部は、第２報知音に対して第１報知音の音量を大きくする構成としてもよい。

第１４態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。

第１５態様は、第２態様から第１４態様のいずれか一態様の内視鏡システムにおいて、報知部は、第１特徴領域と対応付けがされた実内視鏡画像の領域から実内視鏡画像の観察位置までの間の距離が短くなるに従い報知レベルを変更する構成としてもよい。

第１５態様によれば、第１特徴領域と対応付けがされた実内視鏡画像の領域が内視鏡の観察領域に近づいていることを認識し得る。

第１５態様において、報知レベルを変更する際に報知レベル大きくする態様が好ましい。報知レベル大きくする際に、連続的に報知レベル大きくしてもよいし、段階的に報知レベル大きくしてもよい。

第１５態様における第１特徴領域と対応付けがされた実内視鏡画像の領域は、第１特徴領域と対応付けされた第２特徴領域、及び第１特徴領域と対応付けがされた実内視鏡画像の非抽出領域の少なくともいずれか一方が含まれる。実内視鏡画像の非抽出領域とは、実内視鏡画像から第２特徴領域として抽出されていない領域を表す。

第１６態様は、第１態様から第１５態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、実内視鏡画像の観察の際に、予め仮想内視鏡画像から第１特徴領域を抽出する構成としてもよい。

第１６態様によれば、仮想内視鏡画像から第１特徴領域の抽出を省略できる。これにより、画像処理の処理負荷が軽減される。

第１７態様は、第１態様から第１５態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、実内視鏡画像の観察の際に、実内視鏡画像の観察に対応して逐次仮想内視鏡画像から第１特徴領域を抽出する構成としてもよい。

第１７態様によれば、第１特徴領域が非抽出の仮想内視鏡画像の取得が可能である。これにより、第１画像入力部の処理負荷が軽減される。

第１８態様は、第１態様から第１７態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、同一の第１条件を用いて複数の第１特徴領域を抽出した場合、複数の第１特徴領域を一括して管理する構成としてもよい。

第１８態様によれば、同一の第１条件を用いて抽出された複数の第１特徴領域を一括して管理することが可能である。

第１９態様は、第１態様から第１８態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、第１条件として仮想内視鏡画像における位置の情報を適用する構成としてもよい。

第１９態様によれば、第１特徴領域抽出部は、仮想内視鏡画像における位置の情報に基づいて第１特徴領域を抽出し得る。

第２０態様は、第１９態様の内視鏡システムにおいて、第１特徴領域抽出部は、位置の情報として内視鏡の観察範囲の死角の位置を適用する構成としてもよい。

第２０態様によれば、第１特徴領域抽出部は、内視鏡の観察範囲の死角の位置における第１特徴領域の抽出が可能となる。これにより、内視鏡の観察範囲の死角の位置について、第２特徴領域として抽出されるべき領域の見落としを抑制し得る。

第２０態様において、第１特徴領域抽出部は、第１条件として内視鏡の観察範囲の死角の位置が設定された場合に、内視鏡の観察範囲の死角の位置を第１特徴領域として抽出し得る。

第２１態様は、第１９態様又は第２０態様の内視鏡システムにおいて、第１特徴領域抽出部は、位置の情報としてひだの裏側を適用する構成としてもよい。

第２１態様によれば、第１特徴領域抽出部は、ひだの裏側の位置における第１特徴領域の抽出が可能となる。

第２２態様は、第１態様から第２１態様のいずれか一態様の内視鏡システムにおいて、第２特徴領域抽出部は、第２特徴領域として病変を抽出する構成としてもよい。

第２２態様によれば、内視鏡を用いた内視鏡検査において、第２特徴領域として抽出されるべき領域の病変の見落としを抑制し得る。

第２３態様は、第１態様から第２２態様のいずれか一態様の内視鏡システムにおいて、第２特徴領域抽出部は、機械学習を用いて生成された抽出規則を適用して、実内視鏡画像から第２特徴領域を抽出する構成としてもよい。

第２３態様によれば、実内視鏡画像における第２特徴領域抽出の精度が向上し得る。これにより、内視鏡検査の精度が向上し得る。

第２４態様に係る報知方法は、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力工程と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力工程と、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け工程と、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出工程と、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出工程と、第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知工程と、を含む報知方法である。

第２４態様によれば、第１態様と同様の効果を得ることができる。

第２４態様において、第２態様から第２３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、内視鏡システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う報知方法の構成要素として把握することができる。

第２５態様に係るプログラムは、コンピュータに、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力機能、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け機能、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知機能、を実現させるプログラムある。

第２５態様によれば、第１態様と同様の効果を得ることができる。

第２５態様において、第２態様から第２３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、内視鏡システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

第２５態様は、少なくとも１つ以上のプロセッサと、少なくとも１つ以上のメモリとを有するシステムであって、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力機能、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け機能、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知機能を実現させるシステムとして構成し得る。

本発明によれば、仮想内視鏡画像から第１特徴領域を抽出する。仮想内視鏡画像と実内視鏡画像とを対応付ける。第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う。報知に起因して、第１特徴領域が第２特徴領域と対応付けされていないことを、ユーザが認識し得る。これにより、内視鏡を用いた内視鏡検査において第２特徴領域として抽出されるべき領域として把握される、内視鏡検査において検出が困難な病変等の見落としを抑制し得る。

図１は内視鏡システムの全体構成を示す概略図である。 図２は医療画像処理装置の機能を示す機能ブロック図である。 図３は医療画像解析処理部の機能を示す機能ブロック図である。 図４は画像記憶部の機能を示す機能ブロック図である。 図５はＣＴＣ画像の模式図である。 図６は内視鏡画像の模式図である。 図７は内視鏡の観察範囲の死角を示す模式図である。 図８は第１特徴領域抽出の説明図である。 図９は第２特徴領域抽出の説明図である。 図１０は病変の対応付けの例を示す模式図である。 図１１はひだの対応付けの例を示す模式図である。 図１２はひだの番号を用いたひだの対応付けの例を示す模式図である。 図１３は非報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。 図１４は第１報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。 図１５は第２報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。 図１６は報知方法の手順を示すフローチャートである。 図１７は第１変形例に係る報知の説明図である。 図１８は第２変形例に係る報知の説明図である。 図１９は第３変形例に係る報知の説明図である。 図２０は第１特徴領域の他の表示例の説明図である。 図２１は他の実施形態に係る報知を実現する医療画像処理装置の機能を示す機能ブロック図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。

［内視鏡システムの全体構成］
図１は内視鏡システムの全体構成を示す概略図である。図１に示した内視鏡システム９は、内視鏡１０と、光源装置１１と、プロセッサ１２と、表示装置１３と、医療画像処理装置１４と、操作装置１５と、モニタ装置１６と、を備える。内視鏡システム９は、ネットワーク１７を介して画像記憶装置１８と通信可能に接続される。

内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０と、操作部２１と、ユニバーサルコード２２と、を備える。挿入部２０は先端と基端とを備える。挿入部２０は被検体内に挿入される。操作部２１は術者が把持して各種操作を行う。操作部２１は挿入部２０の基端側に連設される。挿入部２０は、全体が細径で長尺状に形成されている。

挿入部２０は、軟性部２５と、湾曲部２６と、先端部２７と、を備える。挿入部２０は、軟性部２５と、湾曲部２６と、先端部２７とが連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮影光学系及び撮像素子２８等が内蔵される。

撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子である。ＣＭＯＳは、相補型金属酸化膜半導体を表す英語表記である、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、電荷結合素子を表す英語表記である、Charge Coupled Deviceの省略語である。

先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓の後方には、図示しない撮影光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮影光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、像光を電気信号へ変換するという意味が含まれる。

操作部２１は、各種操作部材を備える。各種操作部材は術者により操作される。具体的には、操作部２１は、２種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。

操作部２１は、送気送水ボタン３０と、吸引ボタン３１と、を備える。送気送水ボタン３０は、送気送水操作の際に用いられる。吸引ボタン３１は、吸引操作の際に用いられる。

操作部２１は、静止画像撮影指示部３２と、処置具導入口３３と、を備える。静止画像撮影指示部３２は、被観察部位の静止画像３９の撮影指示を行う際に用いられる。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。

ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。

また、ユニバーサルコード２２の端部は、光源装置１１に接続されるコネクタ３７ａと、コネクタ３７ａから分岐され、且つプロセッサ１２に接続されるコネクタ３７ｂと、を備える。

コネクタ３７ａを光源装置１１に接続した場合、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。

その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。

コネクタ３７ｂをプロセッサ１２に接続した場合、信号ケーブル３６とプロセッサ１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ１２へ被観察部位の撮像信号が出力され、且つプロセッサ１２から内視鏡１０へ制御信号が出力される。

本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮影を可能な各種の電子内視鏡を用いてもよい。

光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。

白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、１種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。

プロセッサ１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。

プロセッサ１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の動画像３８を生成する。更に、プロセッサ１２は、内視鏡１０の操作部２１にて静止画像撮影指示部３２が操作された場合、動画像３８の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。この静止画像３９は、動画像３８の解像度に対して高解像度に生成されていてもよい。

動画像３８及び静止画像３９の生成の際に、プロセッサ１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ１２はＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を動画像３８及び静止画像３９へ付加してもよい。

動画像３８及び静止画像３９は、被検体内、すなわち生体内を撮影した生体内画像である。更に、動画像３８及び静止画像３９が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ１２は、生成した動画像３８及び静止画像３９を、表示装置１３と医療画像処理装置１４とのそれぞれに出力する。プロセッサ１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ネットワーク１７を介して動画像３８及び静止画像３９を画像記憶装置１８へ出力してもよい。

表示装置１３は、プロセッサ１２に接続されている。表示装置１３は、プロセッサ１２から入力された動画像３８及び静止画像３９を表示する。医師等のユーザは、表示装置１３に表示される動画像３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を検出した場合には静止画像撮影指示部３２を操作して被観察部位の静止画撮影を実行し得る。

医療画像処理装置１４は、コンピュータが用いられる。操作装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。操作装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。

医療画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、操作装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医療画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。

医療画像処理装置１４は、動画像３８の取得、及び動画像３８の記憶を行う。医療画像処理装置１４は、静止画像３９の取得、及び静止画像３９の記憶を行う。医療画像処理装置１４は、動画像３８の再生制御、及び静止画像３９の再生制御を行う。

操作装置１５は、医療画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医療画像処理装置１４の制御の下、動画像３８及び静止画像３９の表示を行う。モニタ装置１６は、医療画像処理装置１４における各種情報の表示部として機能する。

ネットワーク１７を介して、医療画像処理装置１４と接続される画像記憶装置１８は、ＣＴＣ画像１９が記憶される。ＣＴＣ画像１９は図示しないＣＴＣ画像生成装置を用いて生成される。なお、ＣＴＣは大腸３次元ＣＴ検査を表すＣＴコロノグラフィ（colonography）を表す省略表記である。

図示しないＣＴＣ画像生成装置は、３次元検査画像からＣＴＣ画像１９を生成する。３次元検査画像は、３次元画像撮像装置を用いて検査対象部位を撮像して得られた撮像信号から生成される。３次元画像撮像装置の例として、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、及び超音波診断装置等が挙げられる。本実施形態では、大腸を撮影して得られた３次元検査画像からＣＴＣ画像１９が生成される例を示す。

内視鏡システム９は、ネットワーク１７を介してサーバ装置と通信可能に接続されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。図１に示した画像記憶装置１８に記憶される情報は、サーバ装置を用いて管理されてもよい。なお、画像データの格納形式、及びネットワーク１７を経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。

［医療画像処理装置の機能］
図２は医療画像処理装置の機能を示す機能ブロック図である。図２に示した医療画像処理装置１４は、図示しないコンピュータを備える。コンピュータは、プログラムの実行に基づき、画像取得部４１、情報取得部４２、医療画像解析処理部４３、及び表示制御部４４として機能する。医療画像処理装置１４は、医療画像処理装置１４の各種制御に用いる情報を記憶する記憶部４７を備える。

〔画像取得部〕
画像取得部４１は、ＣＴＣ画像取得部４１ａ、及び内視鏡画像取得部４１ｂを備える。ＣＴＣ画像取得部４１ａは、図示しない画像入出力インターフェースを介して、ＣＴＣ画像１９を取得する。内視鏡画像取得部４１ｂは、図示しない画像入出力インターフェースを介して、内視鏡画像３７を取得する。画像入出力インターフェースの接続形態は有線でもよいし、無線でもよい。以下に、ＣＴＣ画像取得部４１ａ、及び内視鏡画像取得部４１ｂについて詳細に説明する。

《ＣＴＣ画像取得部》
ＣＴＣ画像取得部４１ａは、図１に示した画像記憶装置１８に記憶されているＣＴＣ画像１９を取得する。図２に示したＣＴＣ画像取得部４１ａを用いて取得したＣＴＣ画像１９は、画像記憶部４８に記憶される。ＣＴＣ画像取得部４１ａは、後述する内視鏡画像取得部４１ｂと同様の構成を適用可能である。符号１９ｂは視点画像を表す。視点画像１９ｂはＣＴＣ画像１９に設定される視点における視野の画像である。視点は符号Ｐを付して図５に図示する。視点画像、及び視点の詳細は後述する。

ここで、本実施形態における画像という用語は、画像を表すデータの概念、又は信号の概念が含まれる。ＣＴＣ画像１９は仮想内視鏡画像の一例である。ＣＴＣ画像１９は仮想大腸内視鏡画像に相当する。ＣＴＣ画像取得部４１ａは仮想内視鏡画像を入力する第１画像入力部の一例である。

《内視鏡画像取得部》
内視鏡画像取得部４１ｂは、図１に示したプロセッサ１２を用いて生成された内視鏡画像３７を取得する。内視鏡画像３７は図２に示した動画像３８及び静止画像３９が含まれる。本実施形態では、図１に示したプロセッサ１２を用いて生成された内視鏡画像３７を取得したが、外部の記憶装置に記憶されている内視鏡画像３７を取得してもよい。図２に示した内視鏡画像取得部４１ｂは、メモリーカード等の各種情報記憶媒体を介して内視鏡画像３７を取得してもよい。

動画像３８の撮影途中に静止画像３９の撮影が行われた場合、内視鏡画像取得部４１ｂは、図１に示したプロセッサ１２から動画像３８及び静止画像３９を取得する。医療画像処理装置１４は、内視鏡画像取得部４１ｂを用いて取得した動画像３８及び静止画像３９を画像記憶部４８に記憶する。符号３８ａは、動画像３８を構成する複数のフレーム画像を表す。

医療画像処理装置１４は、プロセッサ１２等から入力される内視鏡画像３７の動画像３８の全てを画像記憶部４８に記憶させる必要はなく、図１に示した静止画像撮影指示部３２の操作に応じて被観察部位の静止画撮影が行われた場合、その前後の１分間の動画像３８を、図２に示した画像記憶部４８に記憶させてもよい。前後の１分間は、撮影前１分間から撮影後１分間までの期間を表す。

内視鏡画像取得部４１ｂは、実内視鏡画像を入力する第２画像入力部の一例である。内視鏡画像３７は実内視鏡画像に相当する。

〔情報取得部〕
情報取得部４２は、操作装置１５等を介して外部から入力された情報を取得する。例えば、操作装置１５を用いてユーザが判定した判定結果、及び抽出結果等が入力された場合に、情報取得部４２はユーザの判定情報、及び抽出情報等を取得する。

〔医療画像解析処理部〕
医療画像解析処理部４３はＣＴＣ画像１９を解析する。また、医療画像解析処理部４３は内視鏡画像３７を解析する。医療画像解析処理部４３を用いたＣＴＣ画像１９、及び内視鏡画像３７の解析の詳細は後述する。

〔深層学習アルゴリズム〕
医療画像解析処理部４３は、深層学習アルゴリズム６５に基づき、深層学習を用いた画像解析処理を実施する。深層学習アルゴリズム６５は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。

なお、深層学習はディープラーニングと呼ばれることがある。コンボリューションニューラルネットワークは、畳み込み層及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。深層学習は機械学習の一例である。

〔表示制御部〕
表示制御部４４は、モニタ装置１６の画像表示を制御する。表示制御部４４は、再生制御部４４ａ及び情報表示制御部４４ｂとして機能する。

《再生制御部》
再生制御部４４ａは、ＣＴＣ画像取得部４１ａを用いて取得したＣＴＣ画像１９、及び内視鏡画像取得部４１ｂを用いて取得した内視鏡画像３７の再生制御を行う。再生制御部４４ａは、操作装置１５を用いて画像を再生する操作がされた場合、表示制御プログラムを実行してモニタ装置１６を制御する。表示制御プログラムはプログラム記憶部４９に記憶されるプログラムに含まれる。

ＣＴＣ画像１９、及び内視鏡画像３７の表示制御例として、ＣＴＣ画像１９、又は内視鏡画像３７のいずれか一方を全画面表示する例が挙げられる。ＣＴＣ画像１９、及び内視鏡画像３７の他の表示制御例として、ＣＴＣ画像１９、及び内視鏡画像３７を一画面内に並列表示する例が挙げられる。再生制御部４４ａは、上述した２つの表示を切り替えてもよい。

内視鏡画像３７の表示制御例として、動画像３８、又は静止画像３９のいずれか一方を全画面表示する形態が挙げられる。内視鏡画像３７の他の表示例として、動画像３８、及び静止画像３９を１画面内に並列表示する形態が挙げられる。再生制御部４４ａは、上述した２つの表示を切り替えてもよい。

ＣＴＣ画像１９、及び内視鏡画像３７の表示例として、ＣＴＣ画像１９、及び内視鏡画像３７を一画面内に並列表示させる例を図１４から図１６等に示す。

《情報表示制御部》
情報表示制御部４４ｂは、ＣＴＣ画像１９の付帯情報の表示制御、及び内視鏡画像３７の付帯情報の表示制御を行う。ＣＴＣ画像１９の付帯情報の一例として、第１特徴領域を表す情報が挙げられる。内視鏡画像３７の付帯情報の例として、第２特徴領域を表す情報が挙げられる。

情報表示制御部４４ｂは、医療画像解析処理部４３における各種処理の際に必要な情報の表示制御を行う。医療画像解析処理部４３における各種処理の例として、ＣＴＣ画像１９と内視鏡画像３７との対応付け処理、ＣＴＣ画像１９の特徴領域抽出処理、及び内視鏡画像３７の特徴領域抽出処理が挙げられる。

医療画像解析処理部４３における各種処理の他の例として、ＣＴＣ画像１９と内視鏡画像３７との対応付け処理が挙げられる。ここに列挙した医療画像解析処理部４３における各種処理の詳細は後述する。

〔記憶部〕
記憶部４７は、画像記憶部４８を備える。画像記憶部４８は、医療画像処理装置１４が取得したＣＴＣ画像１９、及び内視鏡画像３７を記憶する。図２には、医療画像処理装置１４が記憶部４７を備える態様を例示したが、医療画像処理装置１４とネットワークを介して通信可能に接続される記憶装置等が記憶部４７を備えてもよい。上述した記憶装置の例として、図１に示したネットワーク１７を介して通信可能に接続される画像記憶装置１８が挙げられる。

記憶部４７は、プログラム記憶部４９を備える。プログラム記憶部４９を用いて記憶されるプログラムは、動画像３８の再生制御を医療画像処理装置１４に実行させるためのアプリケーションプログラムが含まれる。また、プログラム記憶部４９を用いて記憶されるプログラムは、医療画像解析処理部４３の処理を医療画像処理装置１４に実行させるためのプログラムが含まれる。

〔医療画像処理装置のハードウェア構成〕
医療画像処理装置１４は、複数のコンピュータ等を用いて構成してもよい。複数のコンピュータ等は、ネットワークを介して通信可能に接続されてもよい。ここでいう複数のコンピュータは、ハードウェア的に分離していてもよいし、ハードウェア的に一体に構成され、且つ機能的に分離されていてもよい。

〔各種制御部のハードウェア構成〕
図２に示した医療画像処理装置１４の各種制御を実行する制御部のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。図３に示す医療画像解析処理部４３についても同様である。

各種のプロセッサには、ソフトウェアを実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。なお、ここでいうソフトウェアはプログラムと同義である。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサを用いて構成されてもよい。２つ以上のプロセッサの例として、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡとの組み合わせが挙げられる。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアント装置、及びサーバ装置等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、ＳｏＣ（System On Chip）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。なお、ＩＣは集積回路の英語表記であるIntegrated Circuitの省略語である。

〔医療画像解析処理部の詳細な説明〕
図３は医療画像解析処理部の機能を示す機能ブロック図である。以下の説明における内視鏡１０は図１に図示されている。また、ＣＴＣ画像１９、視点画像１９ｂ、内視鏡画像３７、及びフレーム画像３８ａは図２に図示されている。

図３に示した医療画像解析処理部４３は、第１特徴領域抽出部５０と、第１条件設定部５２と、第２特徴領域抽出部５４と、第２条件設定部５６と、対応付け部５８と、報知部５９と、報知画像生成部６０と、を備える。

《第１特徴領域抽出部》
第１特徴領域抽出部５０は、ＣＴＣ画像１９から、規定の第１条件に合致する特徴領域である第１特徴領域を抽出する。ＣＴＣ画像１９の第１特徴領域の例として、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。なお、血管は血管の走行パターンが含まれる。第１特徴領域抽出部５０が担う機能は第１特徴領域抽出機能に相当する。

《第１条件設定部》
第１条件設定部５２は第１条件を設定する。第１条件は、第１特徴領域抽出部５０を用いた抽出処理に適用される抽出条件である。第１条件設定部５２は、図２に示した操作装置１５を用いて入力された情報を第１条件として設定し得る。上述した第１特徴領域の例示は、第１条件の例示として把握される。

《第２特徴領域抽出部》
第２特徴領域抽出部５４は、図２に示した内視鏡画像３７から、規定の第２条件に合致する特徴領域である第２特徴領域を抽出する。内視鏡画像３７の第２特徴領域の例として、ＣＴＣ画像１９の第１特徴領域と同様に、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。

第２特徴領域抽出部５４は、第２条件に合致する第２特徴領域を内視鏡画像３７から自動的に抽出してもよい。第２特徴領域抽出部５４は、第２条件に合致する第２特徴領域を、ユーザが内視鏡画像３７から手動抽出した抽出結果を取得してもよい。ユーザは、図２に示した情報取得部４２を用いて手動抽出した抽出結果を入力してもよい。第２特徴領域抽出部５４が担う機能は第２特徴領域抽出機能に相当する。

《第２条件設定部》
第２条件設定部５６は、内視鏡画像３７の第２特徴領域の抽出条件として、第１条件に対応する第２条件を設定する。第１条件に対応する第２条件には、第１条件と同一の第２条件が含まれる。例えば、第１条件として病変が設定された場合、第２条件として病変が設定され得る。

第１条件、及び第２条件は、病変という包括概念に代わり、ポリープ、及び炎症等の具体的な病変が設定されてもよい。また、第１条件、及び第２条件は、複数の条件を組み合わせてもよい。

第２条件として病変が設定され、且つ第２特徴領域として内視鏡画像３７から病変を抽出する場合は、内視鏡検査における病変の検出に相当する。上述した第２特徴領域の例示は、第２条件の例示として把握される。

《対応付け部》
対応付け部５８は、図２に示したＣＴＣ画像１９と内視鏡画像３７との対応付けを行う。ＣＴＣ画像１９と内視鏡画像３７との対応付けの例として、ＣＴＣ画像１９の第１特徴領域と内視鏡画像３７の第２特徴領域との対応付けが挙げられる。例えば、内視鏡画像３７の第２特徴領域として病変が検出された場合、検出された病変に対応するＣＴＣ画像１９の第１特徴領域を内視鏡画像３７の第２特徴領域に対応付けする。

ＣＴＣ画像１９と内視鏡画像３７との対応付けは位置情報を用いることが可能である。例えば、ＣＴＣ画像１９の基準位置と内視鏡画像３７の基準位置とを一致させて、ＣＴＣ画像１９、及び内視鏡画像３７のそれぞれの基準位置からの距離を用いて、ＣＴＣ画像１９と内視鏡画像３７との対応付けが可能である。

また、ＣＴＣ画像１９の座標値と内視鏡画像３７のフレーム画像３８ａの番号とを対応付けしてもよい。ＣＴＣ画像１９と内視鏡画像３７との対応付けには、ＣＴＣ画像１９の第１特徴領域と内視鏡画像３７の非抽出領域との対応付けが含まれる。ＣＴＣ画像１９の第１特徴領域と内視鏡画像３７の非抽出領域との対応付けとの具体例は後述する。対応付け部５８が担う機能を対応付け機能に相当する。

《報知部》
報知部５９は、ＣＴＣ画像１９抽出された第１特徴領域８０と対応付けされた内視鏡画像３７の領域のうち、内視鏡画像３７から抽出されない非抽出領域となる領域が存在する場合に、その旨を報知する。非抽出領域の一例として、内視鏡１０の観察範囲の死角の位置が挙げられる。報知部５９は、表示制御部４４を介してモニタ装置１６に報知情報を表示する。報知情報の一例として、後述する報知画像が挙げられる。報知部５９が担う機能は報知機能に相当する。

《報知画像生成部》
報知画像生成部６０は、内視鏡画像３７の第２特徴領域の存在を報知する報知画像を生成する。報知画像の例として、第２特徴領域の任意の位置に付される記号、第２特徴領域の縁を表す閉曲線等が挙げられる。

報知画像の表示例として、内視鏡画像３７と報知画像とを別のレイヤーとして生成し、報知画像を内視鏡画像３７にオーバーレイ表示させる態様が挙げられる。すなわち、報知画像生成部６０は、内視鏡画像３７に処理を加えることなく、内視鏡画像３７に重畳表示させることが可能な報知画像を生成する。

報知画像の一例として図１４に第１報知画像１４０を図示する。報知画像の他の例として図１５に第２報知画像１４２を図示する。報知画像の詳細は後述する。

〔画像記憶部の詳細な説明〕
図４は画像記憶部の機能を示す機能ブロック図である。画像記憶装置１８は、第１特徴領域記憶部６４と、第２特徴領域記憶部６６と、対応付け結果記憶部６８とを備える。

《第１特徴領域記憶部》
第１特徴領域記憶部６４は、図３に示した第１特徴領域抽出部５０を用いてＣＴＣ画像１９から抽出された第１特徴領域の情報を記憶する。第１特徴領域の情報の例として、ＣＴＣ画像１９における第１特徴領域の位置を表す情報が挙げられる。ＣＴＣ画像１９における第１特徴領域の位置は、ＣＴＣ画像１９に設定された座標における座標値、及びＣＴＣ画像１９に設定された視点等を用いて特定し得る。

《第２特徴領域記憶部》
第２特徴領域記憶部６６は、図３に示した第２特徴領域抽出部５４を用いて内視鏡画像３７から抽出された第２特徴領域の情報を記憶する。第２特徴領域の情報の例として、内視鏡画像３７における第２特徴領域の位置を表す情報が挙げられる。

内視鏡画像３７における第２特徴領域の位置は、内視鏡１０が備えるセンサの検出情報を用いて、被観察対象の基準位置からの距離を用いて特定し得る。

《対応付け結果記憶部》
対応付け結果記憶部６８は、図３に示した対応付け部５８を用いて実行されたＣＴＣ画像１９と内視鏡画像３７との対応付けの結果を記憶する。例えば、ＣＴＣ画像１９の第１特徴領域の位置の情報と、内視鏡画像３７の第２特徴領域の位置の情報とを対応付けた結果を記憶し得る。

［報知方法の説明］
次に、内視鏡検査における報知方法について説明する。本実施形態では、仮想大腸内視鏡検査を併用して実施される大腸の内視鏡検査を例示する。なお、大腸の内視鏡検査は例示であり、本実施形態に係る報知方法は、気管支等の他の部位の内視鏡検査に適用可能である。

〔ＣＴＣ画像〕
図５はＣＴＣ画像の模式図である。図５に示した全体画像１９ａは、被観察部位である大腸の全体を表すＣＴＣ画像１９の一形態である。被観察部位は、被検体、及び被検体の観察対象と同義である。

全体画像１９ａは、設定されたパス１９ｃの上に１つ以上の視点Ｐを置き、スタート位置Ｐ_Ｓから、ゴール位置Ｐ_Ｇまで順次に視点Ｐを変更しつつ、各視点Ｐから管腔の内部を見たことを想定した画像である。パス１９ｃは、全体画像１９ａに対して細線化を施して生成し得る。細線化処理は公知の細線化手法を適用可能である。図５には、複数の視点Ｐを図示したが、視点Ｐの配置、及び数量は検査条件等に応じて、適宜決定し得る。

全体画像１９ａの各視点Ｐを指定した場合、指定された視点Ｐにおける視野の画像を表す視点画像を表示可能である。なお、各視点Ｐにおける視点画像は符号１９ｂ_１、及び符号１９ｂ_２を付して図８に図示する。

各視点Ｐにおいて、内視鏡１０の撮像方向を反映させた視点画像を生成し得る。内視鏡１０の撮像方向を反映させた視点画像は、複数の撮像方向のそれぞれについて生成し得る。図５に示した全体画像１９ａ、及び図５に図示しない視点画像は、図２に示したＣＴＣ画像１９の概念に含まれる。

図５に全体画像１９ａを示したＣＴＣ画像１９は、図示しない３次元座標が設定される。ＣＴＣ画像１９に設定される３次元座標は、ＣＴＣ画像１９の任意の基準位置を原点とする３次元座標を適用可能である。３次元座標は、直交座標、極座標、及び円筒座標など、任意の３次元座標を適用可能である。なお、３次元座標の図示は省略する。

〔仮想大腸内視鏡検査〕
仮想大腸内視鏡検査は、ＣＴ装置を用いて大腸を撮像して大腸のＣＴ画像を取得し、大腸のＣＴ画像に画像処理を施して生成されたＣＴＣ画像１９を用いて病変等を検出する。仮想大腸内視鏡検査は、内視鏡１０の移動と連動して、内視鏡１０に見立てたポインタ１９ｄをスタート位置Ｐ_Ｓからゴール位置Ｐ_Ｇまで、パス１９ｃ上を移動させる。図５に示した矢印は、ポインタ１９ｄの移動方向を表す。

図５には、スタート位置Ｐ_Ｓとして盲腸を適用し、且つゴール位置Ｐ_Ｇとして肛門を適用した例を示す。すなわち、図５には、内視鏡１０をスタート位置Ｐ_Ｓまで挿入し、内視鏡１０を抜きながらゴール位置Ｐ_Ｇ位置へ移動させる場合の仮想大腸内視鏡検査を模式的に図示した。

ポインタ１９ｄの位置は、内視鏡１０の移動条件から導出される。内視鏡１０の移動条件の例として、内視鏡１０の移動速度、及び内視鏡１０の移動方向を表す移動ベクトルが挙げられる。

内視鏡１０は図示しないセンサを用いて被観察部位の内部における位置を把握し得る。また、内視鏡１０は図示しないセンサを用いて内視鏡１０の移動速度、及び移動方向を表す移動ベクトルの導出が可能である。更に、内視鏡１０は図示しないセンサを用いて内視鏡１０の向きの導出が可能である。

仮想大腸内視鏡検査では、内視鏡画像３７から取得することが困難な３次元情報を、ＣＴＣ画像１９から取得し得る。

〔内視鏡画像〕
内視鏡検査は、内視鏡画像３７からポリープ等の病変を検出する。すなわち、内視鏡検査は、内視鏡１０を用いて、リアルタイムに生成される動画像３８を見て、病変の位置、及び形状等を特定する。内視鏡検査は、内視鏡画像３７の再生画像を用いてもよい。

図６は内視鏡画像の模式図である。内視鏡画像３７の一例として、動画像３８を構成する任意のフレーム画像３８ａを図６に示す。図６に示したフレーム画像３８ａは２次元画像である。フレーム画像３８ａは色情報、及びテクスチャ情報を有している。

内視鏡画像３７は色情報、及びテクスチャ情報を有しているために、内視鏡検査は平坦な病変、及び表面状態の違い等の検出に強い。一方、内視鏡検査は、ひだ等の突起構造の裏側の病変の発見を苦手とする。

図７は内視鏡の観察範囲の死角を示す模式図である。図７は、ＣＴＣ画像１９のパス１９ｃに沿う模式的な断面１００、及びＣＴＣ画像１９の断面１００に対応する内視鏡画像３７の模式的な断面１２０を図示する。

２点鎖線を用いて図示した内視鏡１０Ａ、及び内視鏡１０Ｂは、既に観察を終えた観察位置における内視鏡１０を表す。実線を用いて図示した内視鏡１０は、観察中の観察位置における内視鏡１０を表す。矢印線は内視鏡１０の移動方向を表す。

なお、図７では、図示の都合上、図７における上下方向の内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０の位置をずらして、内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０を図示した。

ＣＴＣ画像１９は３次元情報を有しているために、仮想大腸内視鏡検査はポリープ等の凸形状の検出に強い。また、ひだの裏に隠れているポリープ等の検出にも強い。例えば、ＣＴＣ画像１９は、ひだ１０２の裏側に位置するポリープ１０４、及びひだ１０２の表側に位置するポリープ１０６のいずれの検出も可能である。但し、視点画像ではひだ１０２の裏側に位置するポリープ１０６は表示されない場合があり得る。

一方、内視鏡画像３７は３次元情報を有していないので、内視鏡検査では、ひだ１２２の表側に位置するポリープ１２６の検出は可能であるものの、ひだ１２２の裏側に位置するポリープ１２４の検出を苦手とする。

例えば、ひだ１２２の表側のポリープ１２６は、内視鏡１０Ｂ、又は内視鏡１０の観察範囲に位置する。内視鏡１０Ａはポリープ１２６を検出し得る。ひだ１２２の裏側のポリープ１２４は、内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０の観察範囲の死角に位置する。内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０はひだ１２２の裏側のポリープ１２４の検出が困難である。

このようにして、内視鏡１０、内視鏡１０Ａ、及び内視鏡１０Ｂは、いずれもひだ１２２の裏側のポリープ１２４の検出が困難である。

〔特徴領域抽出処理〕
図８は第１特徴領域抽出の説明図である。図８には、ＣＴＣ画像１９のうち、任意の視点Ｐにおける視点画像１９ｂ_１、及び視点画像１９ｂ_２を図示する。図８に示した視点画像１９ｂ_１、及び視点画像１９ｂ_２を包括する概念が視点画像１９ｂである。

第１特徴領域抽出処理は、図３に示した第１特徴領域抽出部５０を用いて、図８に示したＣＴＣ画像１９から第１特徴領域８０を抽出する。また、第１特徴領域抽出処理は、図７に示したひだ１０２の裏側に位置するポリープ１０６を第１特徴領域８０として検出し得る。ＣＴＣ画像１９から第１特徴領域８０を抽出する処理は、公知の特徴領域抽出技術を適用可能である。後述する第２特徴領域抽出も同様である。

公知の特徴領域抽出技術の例として、複数の領域ごとの特徴量を算出して、領域ごとの特徴量に応じて、第１条件に合致する領域を抽出対象の領域として特定する例が挙げられる。領域ごとの特徴量は、各領域に含まれる各画素の画素値を用いて算出し得る。

図８に示した視点画像１９ｂ_１は、第１特徴領域８０として凸形状のポリープが抽出されている。ＣＴＣ画像１９の第１特徴領域８０は、ＣＴＣ画像１９に設定されている３次元座標における座標値の特定が可能である。

図８には、ＣＴＣ画像１９から第１特徴領域８０として凸形状のポリープを抽出する例を示したが、ひだ、各結腸の変化点、及び血管を抽出してもよい。血管として血管の走行パターンを抽出してもよい。後述する第２特徴領域抽出も同様である。

複数の第１特徴領域８０が抽出された場合は、複数の第１特徴領域８０は、第１条件と関連付けされ、一括して管理される。

第１特徴領域８０は、複数の属性に分類してもよい。例えば、病変の位置に関する情報を分類の条件として、第１特徴領域８０として抽出した病変を位置に応じて分類してもよい。病変の位置に関する情報の例として、ひだの表であるか裏であるかの情報が挙げられる。すなわち、第１特徴領域８０として抽出した病変をひだの表の病変と、ひだの裏の病変とに分類してもよい。第１条件として、ひだの表の病変、及びひだの裏の病変を適用して、２種類の第１特徴領域を抽出してもよい。

図９は第２特徴領域抽出の説明図である。図９には、内視鏡画像３７のうち、任意のフレーム画像３８ａ_１を図示する。第２特徴領域の抽出結果は内視鏡検査の結果として取り扱うことが可能である。なお、図９に示したフレーム画像３８ａ_１は、静止画像３９を用いてもよい。

第２特徴領域抽出処理は、図３に示した第２特徴領域抽出部５４を用いて内視鏡画像３７から第２特徴領域７０を抽出する。図９に示したフレーム画像３８ａ_１は、第２特徴領域７０として凸形状のポリープが抽出されている。一方、第２特徴領域抽出処理は、図７に示したひだ１２２の裏側のポリープ１２６を第２特徴領域７０として抽出することが困難である。

図８に示した第１特徴領域８０の情報は、第１特徴領域の抽出結果として、図４に示した第１特徴領域記憶部６４に記憶される。また、図９に示した第２特徴領域７０の情報は、第２特徴領域の抽出結果として、図４に示した第２特徴領域記憶部６６に保存される。

〔対応付け処理〕
図１０から図１２を用いて対応付け処理について説明する。図１２は病変の対応付けの例を示す模式図である。図１０には内視鏡画像３７のフレーム画像３８ａ_１において凸形状のポリープである第２特徴領域７０が検出された場合の例を示す。

なお、図１０に示した視点画像１９ｂ_１は図８に示した視点画像１９ｂ_１である。図１０に示した視点画像１９ｂ_２は図８に示した視点画像１９ｂ_２である。図１０に示した第１特徴領域８０は、図８に示した第１特徴領域８０である。

また、図１０に示したフレーム画像３８ａ_１は、図９に示したフレーム画像３８ａ_１である。図１０に示した第２特徴領域７０は、図９に示した第２特徴領域７０である。

以下に、内視鏡１０の移動に対応して、全体画像１９ａのパス１９ｃに沿って、内視鏡１０の位置を表すポインタ１９ｄを移動させながら、内視鏡検査を行う場合について説明する。内視鏡１０の位置は、内視鏡１０が備えるセンサを用いて既知である。また、各視点Ｐにおける内視鏡１０の向きは、図４に示したパス１９ｃの各視点Ｐにおける接線方向とする。

図３に示した対応付け部５８は、図１０に示した内視鏡画像３７から第２特徴領域７０が抽出された場合に、第２特徴領域７０に対応する第１特徴領域８０をＣＴＣ画像１９から検索する。内視鏡画像３７の第２特徴領域７０に対応するＣＴＣ画像１９の第１特徴領域８０が検出された場合、ＣＴＣ画像１９の第１特徴領域８０と、内視鏡画像３７の第２特徴領域７０とを対応付ける。

図３に示した対応付け部５８は、ＣＴＣ画像１９の位置の情報と内視鏡画像３７の位置の情報とを用いてＣＴＣ画像１９の第１特徴領域８０と、内視鏡画像３７の第２特徴領域７０との対応付けをし得る、ＣＴＣ画像１９の位置の情報に代えてＣＴＣ画像１９の画像の情報を適用し、且つ内視鏡画像３７の位置の情報に代えて内視鏡画像３７の画像の情報を適用してもよい。

図３に示した対応付け部５８は、図１０に示したＣＴＣ画像１９の第１特徴領域８０と、内視鏡画像３７の第２特徴領域７０との対応付け結果を、図４に示した対応付け結果記憶部６８へ記憶する。

換言すると、ＣＴＣ画像１９と内視鏡画像３７との対応付けという概念は、ＣＴＣ画像１９の構成要素と、内視鏡画像３７の構成要素との組を構成するという概念が含まれる。ＣＴＣ画像１９と内視鏡画像３７との対応付けという概念には、内視鏡画像３７の構成要素に対応するＣＴＣ画像１９の構成要素を検索して、特定するという概念が含まれてもよい。

図１１はひだの対応付けの例を示す模式図である。図１１に示したフレーム画像３８ａ_１１は、第２特徴領域７２としてひだが抽出されている。視点画像１９ｂ_１１は、第１特徴領域８２としてひだが抽出されている。図１２には、視点画像１９ｂ_１１の視点Ｐに対して連続する視点Ｐにおける視点画像１９ｂ_１２、及び視点画像１９ｂ_１３が図示されている。図３に示した対応付け部５８は、図１１に示した第１特徴領域８２と第２特徴領域７２とを対応付ける。

図３に示した対応付け部５８は、図１１に示した第１特徴領域８２と第２特徴領域７２との対応付け結果を、図４に示した対応付け結果記憶部６８へ記憶する。

図１２はひだの番号を用いたひだの対応付けの例を示す模式図である。ＣＴＣ画像１９、及び内視鏡画像３７のいずれにおいても、ひだの数は変わらない。そこで、基準とするひだを定めて、ひだの番号を用いてＣＴＣ画像１９と内視鏡画像３７との対応付けが可能である。

図１２に示したフレーム画像３８ａ_２１は、第２特徴領域７４としてひだが抽出されている。視点画像１９ｂ_２１は、第１特徴領域８４としてひだが抽出されている。図１２に示した視点画像１９ｂ_２２、及び視点画像１９ｂ_２３もまた、第２特徴領域としてひだが抽出されている。なお、視点画像１９ｂ_２２、及び視点画像１９ｂ_２３の第２特徴領域の図示は省略する。

視点画像１９ｂ_２１に付されたｎ_１はひだの番号を表す整数である。視点画像１９ｂ_２２に付されたｎ_２、視点画像１９ｂ_２３に付されたｎ_３、及びフレーム画像３８ａ_２１に付されたｎ_１も同様である。

フレーム画像３８ａ_２１におけるひだの番号ｎ_１と、視点画像１９ｂ_２１におけるひだの番号ｎ_１とが一致する場合、図３に示した対応付け部５８は、図１２に示した第２特徴領域７４と第１特徴領域８４とを対応付けする。

図３に示した対応付け部５８は、図１２に示した第２特徴領域７４と第１特徴領域８４と対応付け結果を、図４に示した対応付け結果記憶部６８へ記憶する。

図示は省略するが、各結腸間の変換点、及び血管についても、図１０から図１２を用いて説明した例と同様に、対応付けが可能である。

〔報知処理〕
次に、図１３から図１５を用いて、報知処理について説明する。図１３は非報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。図１３に示したモニタ装置１６は、内視鏡画像３７を表示し、且つ内視鏡画像３７に対応するＣＴＣ画像１９を表示する。ＣＴＣ画像１９の視点画像１９ｂ_３１は、内視鏡画像３７のフレーム画像３８ａ_３１に対応している。

モニタ装置１６に表示される内視鏡画像３７は、内視鏡検査の進行に合わせて、順次更新される。また、ＣＴＣ画像１９は内視鏡画像３７の更新に合わせて、順次更新される。なお、ＣＴＣ画像１９と内視鏡画像３７との間には許容範囲内の遅延があってもよい。

図１３に示したＣＴＣ画像１９は、ポリープ等の病変が第１特徴領域８０として抽出されていない。また、内視鏡画像３７は、ＣＴＣ画像１９の第１特徴領域８０と対応付けされた領域が存在していない。したがって、モニタ装置１６は、後述する第１報知画像１４０、及び第２報知画像１４２を表示しない。

図１４は第１報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。図１４に示した内視鏡画像３７のフレーム画像３８ａ_３２は、第１報知画像１４０が表示されている。第１報知画像１４０は、ひだ１５０の裏側に図示しないポリープが存在しているものの、フレーム画像３８ａ_３２にはポリープが映し出されていない場合に表示される。

ひだ１５０の裏側にポリープが存在しているものの、フレーム画像３８ａ_３２にはポリープが映し出されていない場合でも、ひだ１５０の裏側にポリープが存在している場合は、ＣＴＣ画像１９から、ひだ１６０の裏側のポリープが第１特徴領域８０ｄとして抽出されている。

但し、視点画像１９ｂ_３２は、フレーム画像３８ａ_３２と同様の視野を表示しているので、第１特徴領域８０ｄとして抽出されたポリープは表示されていない。第１特徴領域８０ｄを表す破線は、第１特徴領域８０ｄが視点画像１９ｂ_３２に表示されていないことを表す。

図１４に破線を用いて図示した第１特徴領域８０ｄは、内視鏡画像３７から第２特徴領域７０として抽出されていない非抽出領域７６と対応付けがされている。非抽出領域７６の例として、内視鏡画像３７における内視鏡１０の観察範囲の死角に位置する領域が挙げられる。

すなわち、非抽出領域７６は、本来、第２特徴領域７０が抽出されるべき領域である。また、非抽出領域７６は、内視鏡１０の観察範囲の死角に位置する領域のために、実際に第２特徴領域７０が抽出されない領域である。

図３に示した報知部５９は、内視鏡画像３７に非抽出領域７６が存在する場合に、第１報知として、モニタ装置１６に表示した内視鏡画像３７の非抽出領域７６の位置に、第１報知画像１４０をオーバーレイ表示させる。また、第１報知画像１４０は、内視鏡画像３７の非抽出領域７６の位置に表示される。図１４に示した第１報知画像１４０は一例であり、形状等は任意に規定し得る。

第１報知画像１４０は、フレーム画像３８ａ_３２の前後のフレーム画像３８ａに表示してもよい。すなわち、内視鏡検査の進行に応じて、非抽出領域７６が内視鏡１０の視野に進入したタイミングから、非抽出領域７６が内視鏡１０の視野から外れるタイミングまでの任意のタイミングにおいて、第１報知画像１４０を表示し得る。図１５に示す第２報知画像１４２についても同様である。

図１４に示した内視鏡画像３７のひだ１５０は、図７に示した断面１２０ひだ１２２に対応する。また、ＣＴＣ画像１９のひだ１６０は、図７に示した断面１００ひだ１２２に対応する。図１５に示したひだ１５０、及びひだ１６０も同様である。

図１５は第２報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。第２報知は、内視鏡画像３７から第２特徴領域７０が抽出された場合に行われる。図１５に示した内視鏡画像３７は、第２特徴領域７０としてポリープが抽出されており、第２報知として第２報知画像１４２が表示される。

換言すると、第１特徴領域８０ｅとして、ひだ１６０の表側のポリープが抽出されている場合、図３に示した報知部５９は、モニタ装置１６に表示した内視鏡画像３７の第２特徴領域７０の位置に、第２報知画像１４２をオーバーレイ表示させる。

図１５に示した内視鏡画像３７のフレーム画像３８ａ_３３の第２特徴領域７０は、ＣＴＣ画像１９の視点画像１９ｂ_３３の第１特徴領域８０ｅと対応付けがされる。第１特徴領域８０ｅはひだ１６０の表側のポリープである。

図１４に示した第１報知画像１４０は、図１５に示した第２報知画像１４２に対して報知のレベルが変更されている。具体的には、図１４に示した第１報知画像１４０は、図１５に示した第２報知画像１４２に対して報知のレベルが上げられ、図１４に示した第１報知画像１４０は、図１５に示した第２報知画像１４２に対してサイズが大きくされている。第１報知と第２報知との報知レベルの違いの詳細は後述する。

本実施形態に示した、ひだ１６０の裏側のポリープとして抽出された第１特徴領域８０ｄ、及びひだ１６０の表側のポリープとして抽出された第１特徴領域８０ｅは、ポリープという条件と、ひだの表側か裏側かという条件を組み合わせた第１条件を適用して、ＣＴＣ画像１９から予め抽出されてもよい。

［報知方法の手順］
図１６は報知方法の手順を示すフローチャートである。まず、ＣＴＣ画像入力工程Ｓ１０が実行される。ＣＴＣ画像入力工程Ｓ１０では、図２に示したＣＴＣ画像取得部４１ａを用いてＣＴＣ画像１９が入力される。ＣＴＣ画像１９は、画像記憶部４８へ記憶される。図１６に示したＣＴＣ画像入力工程Ｓ１０は第１画像入力工程の一例である。

ＣＴＣ画像入力工程Ｓ１０の後に、第１特徴領域抽出工程Ｓ１２へ進む。第１特徴領域抽出工程Ｓ１２では、図３に示した第１特徴領域抽出部５０を用いて、ＣＴＣ画像１９から第１特徴領域を抽出する。第１特徴領域の情報は、図４に示した第１特徴領域記憶部６４へ記憶される。

図１６に示した第１特徴領域抽出工程Ｓ１２の後に、内視鏡画像入力工程Ｓ１４へ進む。内視鏡画像入力工程Ｓ１４では、図３に示した内視鏡画像取得部４１ｂを用いて、内視鏡画像３７が入力される。図１６に示した内視鏡画像入力工程Ｓ１４は第２画像入力工程の一例である。

内視鏡画像入力工程Ｓ１４後に、第２特徴領域抽出工程Ｓ１６へ進む。第２特徴領域抽出工程Ｓ１６では、図３に示した第２特徴領域記憶部６６を用いて、内視鏡画像３７から第２特徴領域が抽出される。

図１６に示した内視鏡画像入力工程Ｓ１４、及び第２特徴領域抽出工程Ｓ１６は、内視鏡検査として把握し得る。すなわち、図２に示した内視鏡画像取得部４１ｂは、内視鏡１０を用いて撮像された動画像３８を逐次入力し、図１に示したモニタ装置１６へ内視鏡画像３７として表示する。

図３に示した第２特徴領域抽出部５４は、内視鏡画像３７から自動的に第２特徴領域７０として病変を抽出する。第２特徴領域抽出部５４は、ユーザが操作装置１５を用いて入力した抽出情報に基づいて、内視鏡画像３７から第２特徴領域７０として病変を抽出してもよい。

また、図３に示した第１特徴領域抽出部５０は、内視鏡画像３７の取得、及び第２特徴領域７０の抽出と並行して、ＣＴＣ画像１９から第１特徴領域８０の抽出を実行する。第１特徴領域８０は予め抽出され、記憶されていてもよい。

図１６に示した対応付け工程Ｓ１８では、図３に示した対応付け部５８を用いて、ＣＴＣ画像１９と内視鏡画像３７との対応付けを行う。すなわち、対応付け部５８は、第１特徴領域８０と第２特徴領域７０とを対応付けするか、又は第１特徴領域８０と非抽出領域
７６とを対応付けする。図１６に示した対応付け工程Ｓ１８における対応付けの結果は、図４に示した対応付け結果記憶部６８へ記憶される。

図１６に示した対応付け工程Ｓ１８の後に判定工程Ｓ２０が実行される。判定工程Ｓ２０では、図５に示した報知部５９を用いて、図１４を用いた説明した第１報知を実行するか、又は図１５に示した第２報知を実行するかを判定する。

図１６に示した判定工程Ｓ２０において、第１特徴領域８０が内視鏡画像３７の非抽出領域７６に対応付けされた場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は第１報知工程Ｓ２２へ進む。判定工程Ｓ２０において、第１特徴領域８０が内視鏡画像３７の第２特徴領域７０に対応付けされた場合はＮｏ判定となる。Ｎｏ判定の場合は第２報知工程Ｓ２４へ進む。

例えば、図５に示した報知部５９は、ＣＴＣ画像１９から第１特徴領域８０として抽出されたポリープ等の病変が、内視鏡１０の観察範囲の死角の位置であるか、又は内視鏡１０の観察範囲の位置であるかを判定してもよい。

報知部５９は、ＣＴＣ画像１９から第１特徴領域８０として抽出されたポリープ等の病変が、内視鏡１０の観察範囲の死角に位置する場合は第１報知を実行し得る。一方、ＣＴＣ画像１９から第１特徴領域８０として抽出されたポリープ等の病変が、内視鏡１０の観察範囲に位置する場合は第２報知を実行し得る。

第１報知工程Ｓ２２は、図３に示した報知部５９を用いて、図１４を用いて説明した第１報知を実行する。図１６に示した第１報知工程Ｓ２２の後に検査終了判定工程Ｓ２６へ進む。

第２報知工程Ｓ２４は、図３に示した報知部５９を用いて、図１５を用いて説明した第２報知を実行する。図１６に示した第２報知工程Ｓ２４の後に検査終了判定工程Ｓ２６へ進む。

検査終了判定工程Ｓ２６は、図３に示した医療画像処理装置１４を用いて、内視鏡検査が終了したか否かを判定する。検査終了判定工程Ｓ２６において、医療画像処理装置１４が、内視鏡検査が終了したと判定した場合はＹｅｓとなる。Ｙｅｓ判定の場合、医療画像処理装置１４は報知方法を終了する。

一方、検査終了判定工程Ｓ２６において、医療画像処理装置１４が、内視鏡検査が継続されていると判定した場合はＮｏとなる。Ｎｏ判定の場合、医療画像処理装置１４は報知方法を継続する。すなわち、検査終了判定工程Ｓ２６においてＮｏ判定の場合は、内視鏡画像入力工程Ｓ１４へ進む。以降、検査終了判定工程Ｓ２６においてＹｅｓ判定となるまで、内視鏡画像入力工程Ｓ１４から検査終了判定工程Ｓ２６までの各工程が実行される。

［作用効果］
〔１〕
上記の如く構成された内視鏡システム、及び報知方法によれば、ＣＴＣ画像１９から第１特徴領域８０としてポリープ等の病変を抽出する。ＣＴＣ画像１９と内視鏡画像３７とを対応付ける。ＣＴＣ画像１９の第１特徴領域８０が内視鏡画像３７の非抽出領域７６に対応付けされている場合は第１報知を行う。第１報知に起因して、ユーザは内視鏡画像３７から抽出されない、例えば、内視鏡１０の観察範囲の死角に位置するポリープ等の病変の存在を認識し得る。これにより、内視鏡１０を用いた内視鏡検査において、内視鏡１０の観察範囲の死角となる位置のポリープ等の病変の見落としを抑制し得る。

また、内視鏡１０の観察範囲の死角に位置するポリープ等の病変の存在を認識した場合は、内視鏡１０の観察範囲を妨げているひだ等を押すことで、内視鏡１０の観察範囲の死角の観察が可能となる。

〔２〕
第１特徴領域８０が第２特徴領域７０に対応付けされている場合は第２報知を行う。第１報知は第２報知に対して報知のレベルが変更され、報知のレベルが上げられている。これにより、第１特徴領域８０が第２特徴領域７０に対応付けされている場合と比較して、第１特徴領域が非抽出領域７６と対応付けされている場合の認識がし易くなる。

〔３〕
第１報知画像、及び第２報知画像は、内視鏡画像３７にオーバーレイ表示される。これにより、内視鏡画像３７自体に処理を施すことなく、内視鏡画像３７に第１報知画像１４０、又は第２報知画像１４２を重畳表示させることが可能となる。

［報知の変形例］
〔第１変形例〕
図１７は第１変形例に係る報知の説明図である。図１７に示した第１報知画像１４４は、第２報知画像１４６に対して濃度が変更される。例えば、第１報知画像１４４は、第２報知画像１４６に対して濃い濃度が適用される。

第１報知画像１４４と第２報知画像１４６との色を変更してもよい。例えば、第１報知画像１４４は黒が用いられ、第２報知画像１４６はイエローが用いられる。すなわち、第１報知画像１４４は、第２報知画像１４６と比較して、内視鏡画像３７における視認性が高い色が適用される。

第１変形例に係る報知によれば、第１報知画像１４４と第２報知画像１４６との濃度、及び色の少なくともいずれか一方を変更する。これにより第２報知画像１４６に対して第１報知画像１４４の視認性を高くし得る。

〔第２変形例〕
図１８は第２変形例に係る報知の説明図である。図１８に示した第１報知画像１４７は、点滅表示される。一方、第２報知画像１４８は、点灯表示される。点灯表示は通常表示として把握し得る。

第２変形例に係る報知によれば、第１報知画像１４７を点滅表示させ、且つ第２報知画像１４８を点灯表示させる。これにより第２報知画像１４８に対して第１報知画像１４７の視認性を高くし得る。

〔第３変形例〕
図１９は第３変形例に係る報知の説明図である。図１９に示した第１報知画像１４７Ａは、点滅表示される。第２報知画像１４７Ｂもまた点滅表示される。第１報知画像１４７Ａは、第２報知画像１４７Ｂに対して点滅周期が短くされる。

第３変形例に係る報知によれば、第１報知画像１４７Ａを点滅表示させ、且つ第２報知画像１４７Ｂを点滅表示させる。第１報知画像１４７Ａは第２報知画像１４７Ｂに対して点滅周期が短くされる。これにより第２報知画像１４７Ｂに対して第１報知画像１４７Ａの視認性を高くし得る。

上述した第１変形例は、第２変形例、又は第３変形例と、適宜組み合わせることが可能である。

〔第４変形例〕
第１報知画像１４０は、内視鏡画像３７の非抽出領域７６が内視鏡１０の観察領域に近づくに従い、連続的に、又は段階的にサイズを大きくする等の強調を実行してもよい。第２報知画像１４２も同様である。また、後述する報知音を用いた場合も同様である。

〔第５変形例〕
第１報知画像１４０、及び第２報知画像１４２をＣＴＣ画像１９に表示してもよい。ＣＴＣ画像１９に表示する第１報知画像１４０、及び第２報知画像１４２は、内視鏡画像３７に表示する第１報知画像１４０、及び第２報知画像１４２と同様の表示態様の変更が可能である。

［第１特徴領域の他の表示例］
図２０は第１特徴領域の他の表示例の説明図である。図２０は、ＣＴＣ画像１９に第１特徴領域８０を表示する例を示す。図２０に示したＣＴＣ画像１９は、図５に示した全体画像１９ａに相当する。

細線を用いて図示されたパス１９ｃは、内視鏡１０が既に観察を終えた領域のパス１９ｃを表す。また、太線を用いて図示されたパス１９ｃは、内視鏡１０がこれから観察を行う領域のパス１９ｃを表す。

第１特徴領域８０ａは、内視鏡１０が既に観察を終えた第１特徴領域８０を表す。第１特徴領域８０ｂは、内視鏡１０が次に観察する第１特徴領域８０を表す。内視鏡１０が次に観察する第１特徴領域８０ｂは強調表示がされる。強調表示は第１報知画像１４０の例と同様に、拡大、色の変更、及び点滅等を適用可能である。

第１特徴領域８０ｃは、内視鏡１０が第１特徴領域８０ｂの次に観察する第１特徴領域８０を表す。内視鏡１０が第１特徴領域８０ｂを観察した後に、第１特徴領域８０ｃは強調表示がされる。

モニタ装置１６は、図１４等に示したＣＴＣ画像１９に代わり、図２０に示したＣＴＣ画像１９を表示してもよい。これにより、内視鏡１０の位置の近傍に存在する第１特徴領域８０の位置を把握することができる。図１４に示した第１報知画像１４０等との併用により、内視鏡画像３７から第２特徴領域７０として検出されないポリープ等の病変の検出に寄与する。

本実施形態では、ＣＴＣ画像１９、及び内視鏡画像３７をモニタ装置１６に２画面表示させる態様を例示したが、内視鏡画像３７をモニタ装置１６に全画面表示させてもよい。

［報知の他の実施形態］
〔機能の説明〕
図２１は他の実施形態に係る報知を実現する医療画像処理装置の機能を示す機能ブロック図である。他の実施形態に係る報知では、報知音を用いた報知を実行する。図２１に示した医療画像処理装置１４Ａは、図２に示した医療画像処理装置１４に対して、報知音制御部２００、及び音源２０２が追加されている。また、図２１に示した内視鏡システム９Ａは、図２に示した内視鏡システム９に対して、スピーカ２０４が追加されている。

報知音制御部２００は、スピーカ２０４を介して音源２０２を用いて生成された報知音を出力する。報知音は音声を適用してもよい。報知音は警告音を適用してもよい。報知音制御部２００は、ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲に位置する領域等の、内視鏡画像３７の第２特徴領域７０に対応付けされた場合に対して、ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲の死角に位置する領域等の、内視鏡画像３７の非抽出領域７６に対応付けされ場合に報知音を強調してもよい。報知音の強調の例として、音量を上げる等が挙げられる。

ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲の死角に位置する領域等の、内視鏡画像３７の非抽出領域７６に対応付けされた場合の報知は第１報知音の一例である。また、ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲に位置する領域等の、内視鏡画像３７の第２特徴領域７０に対応付けされた場合の報知音は第２報知音の一例である。

報知音制御部２００、音源２０２、及びスピーカ２０４は、それぞれ、報知音出力部の構成要素の一例である。

〔報知の他の実施形態の作用効果〕
他の実施形態に係る報知によれば、ＣＴＣ画像１９の第１特徴領域８０が内視鏡画像３７の非抽出領域７６に対応付けされ場合に音を用いた報知を実行する。これにより、内視鏡画像３７自体に処理を施すことなく、報知が可能となる。

［他の構成要件の変形例］
〔ＣＴＣ画像の変形例〕
《第１例》
図２に示した医療画像処理装置１４は、ＣＴ画像等の３次元検査画像からＣＴＣ画像１９を生成するＣＴＣ画像生成部を備えてもよい。医療画像処理装置１４は、ＣＴＣ画像取得部４１ａを介して３次元検査画像を取得し、ＣＴＣ画像生成部を用いてＣＴＣ画像１９を生成してもよい。

《第２例》
図５に示した視点Ｐは、パス１９ｃの上に限定されない。視点Ｐは任意の位置に設定可能である。視点画像１９ｂの視野方向は、内視鏡１０の撮像方向に対応して任意に設定し得る。

《第３例》
視点画像１９ｂは、全体画像１９ａの任意の断面における３次元検査画像を２次元画像に変換した２次元検査画像としてもよい。

〔第１特徴領域抽出の変形例〕
《第１例》
第１特徴領域８０の抽出は、ＣＴＣ画像１９の生成に用いられる３次元検査画像を用いてもよい。

《第２例》
第１特徴領域８０は、予め抽出し、記憶してもよい。予め抽出された第１特徴領域８０は、第１特徴領域８０の位置の情報をインデックスとして検索可能に記憶されてもよい。

〔第２特徴領域抽出の変形例〕
第２特徴領域の抽出は、動画像３８を再生して実行してもよい。

〔照明光の変形例〕
特定の波長領域は、以下の変形例の適用が可能である。

《第１例》
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、且つ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

《第２例》
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、且つ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

《第３例》
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、且つ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

《第４例》
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

《第５例》
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、且つ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

〔特殊光画像の生成例〕
プロセッサ１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ１２は、特殊光画像取得部として機能する。そして、プロセッサ１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。

なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。

〔特徴量画像の生成例〕
プロセッサ１２は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。

［機械学習を用いた抽出規則の更新］
図３に示した第２特徴領域抽出部５４は、ＣＴＣ画像１９の第１特徴領域８０と内視鏡画像３７の非抽出領域７６との対応関係を学習データとして機械学習を実行して、第２特徴領域の抽出規則を更新することが可能である。機械学習は、図２に示した深層学習アルゴリズム６５が適用される。

［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、ＣＴＣ画像入力機能、第１特徴領域抽出機能、内視鏡画像入力機能、第２特徴領域抽出機能、対応付け機能、及び保存機能を実現させるプログラムを構成し得る。

ＣＴＣ画像入力機能は第１画像入力機能に相当する。内視鏡画像入力機能は第２画像入力機能に相当する。

上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

９、９Ａ 内視鏡システム
１０、１０Ａ、１０Ｂ 内視鏡
１１ 光源装置
１２ プロセッサ
１３ 表示装置
１４、１４Ａ 医療画像処理装置
１５ 操作装置
１６ モニタ装置
１７ ネットワーク
１８ 画像記憶装置
１９ ＣＴＣ画像
１９ａ 全体画像
１９ｂ、１９ｂ_１、１９ｂ_２、１９ｂ_３、１９ｂ_１１、１９ｂ_１２、１９ｂ_１３、１９ｂ_２１、１９ｂ_２２、１９ｂ_２３、１９ｂ_３１、１９ｂ_３２、１９ｂ_３３ 視点画像
１９ｃ パス
１９ｄ ポインタ
２０ 挿入部
２１ 操作部
２２ ユニバーサルコード
２５ 軟性部
２６ 湾曲部
２７ 先端部
２７ａ 先端面
２８ 撮像素子
２９ 湾曲操作ノブ
３０ 送気送水ボタン
３１ 吸引ボタン
３２ 静止画像撮影指示部
３３ 処置具導入口
３５ ライトガイド
３６ 信号ケーブル
３７ 内視鏡画像
３７ａ、３７ｂ コネクタ
３８ 動画像
３８ａ、３８ａ_１、３８ａ_１１、３８ａ_２１、３８ａ_３１、３８ａ_３２、３８ａ_３３ フレーム画像
３９ 静止画像
４１ 画像取得部
４１ａ ＣＴＣ画像取得部
４１ｂ 内視鏡画像取得部
４２ 情報取得部
４３ 医療画像解析処理部
４４ 表示制御部
４４ａ 再生制御部
４４ｂ 情報表示制御部
４７ 記憶部
４８ 画像記憶部
４９ プログラム記憶部
５０ 第１特徴領域抽出部
５２ 第１条件設定部
５４ 第２特徴領域抽出部
５６ 第２条件設定部
５８ 対応付け部
５９ 報知部
６０ 報知画像生成部
６４ 第１特徴領域記憶部
６５ 深層学習アルゴリズム
６６ 第２特徴領域記憶部
６８ 対応付け結果記憶部
７０、７２、７４ 第２特徴領域
７６ 非抽出領域
８０、８０ａ、８０ｂ、８０ｃ、８０ｄ、８０ｅ、８２、８４ 第１特徴領域
１００、１２０ 断面
１０２、１２２、１５０、１６０ ひだ
１０４、１０６、１２４、１２６ ポリープ
１４０、１４４、１４７、１４７Ａ 第１報知画像
１４２、１４６、１４７Ｂ、１４８ 第２報知画像
２００ 報知音制御部
２０２ 音源
２０４ スピーカ
Ｐ 視点
Ｐ_Ｓ スタート位置
Ｐ_Ｇ ゴール位置
ｎ_１、ｎ_２、ｎ_３ ひだの番号
Ｓ１０からＳ２６ 報知方法の各工程

Claims (25)

1. 被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力部と、
   内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、
   前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け部と、
   前記仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、
   前記実内視鏡画像から前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、
   前記第１特徴領域が前記第２特徴領域と対応付けされていない場合に報知を行う報知部と、
   を備えた内視鏡システム。
2. 前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされた場合に、前記第１特徴領域が前記内視鏡の観察範囲に位置する前記第２特徴領域に対応付けされたことを報知し、
   前記第１特徴領域が前記第２特徴領域と対応付けされていない場合は、前記第１特徴領域が前記第２特徴領域と対応付けされた場合における報知方法、及び報知レベルと比較して、前記報知方法、及び前記報知レベルの少なくともいずれかを変更する請求項１に記載の内視鏡システム。
3. 前記実内視鏡画像を表示する表示部を備え、
   前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域に対応付けされたことを報知する第２報知画像を前記表示部に表示し、且つ前記第２報知画像より前記第１報知画像を拡大して表示する請求項２に記載の内視鏡システム。
4. 前記実内視鏡画像を表示する表示部を備え、
   前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域と対応付けされたことを報知する第２報知画像を前記表示部に表示し、且つ前記第１報知画像は前記第２報知画像と色を変更する請求項２に記載の内視鏡システム。
5. 前記実内視鏡画像を表示する表示部を備え、
   前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域に対応付けされたことを報知する第２報知画像を前記表示部に表示し、且つ前記第１報知画像を点滅表示する一方、前記第２報知画像を点灯表示する請求項２に記載の内視鏡システム。
6. 前記実内視鏡画像を表示する表示部を備え、
   前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域に対応付けされたことを報知する第２報知画像を前記表示部に点滅表示し、且つ前記第２報知画像に対して前記第１報知画像の点滅周期を短くする請求項２に記載の内視鏡システム。
7. 前記表示部は、前記実内視鏡画像と別に生成された前記第１報知画像、及び前記第２報知画像を前記実内視鏡画像に重畳表示させる請求項３から６のいずれか一項に記載の内視鏡システム。
8. 前記表示部は、前記仮想内視鏡画像を表示し、且つ前記仮想内視鏡画像における前記内視鏡の位置を表示する請求項３から７のいずれか一項に記載の内視鏡システム。
9. 前記表示部は、前記仮想内視鏡画像を表示し、且つ前記第１特徴領域の情報を表示する請求項３から７のいずれか一項に記載の内視鏡システム。
10. 前記表示部は、前記第１特徴領域を拡大して表示する請求項９に記載の内視鏡システム。
11. 前記表示部は、前記第１特徴領域を点滅表示する請求項９に記載の内視鏡システム。
12. 報知音を出力する報知音出力部を備え、
    前記報知部は、前記報知音出力部を用いて、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを表す第１報知音を出力する請求項１から１１のいずれか一項に記載の内視鏡システム。
13. 前記報知部は、前記報知音出力部を用いて、前記第１特徴領域が前記第２特徴領域に対応付けされたことを表し、且つ前記第１報知音と異なる第２報知音を出力する請求項１２に記載の内視鏡システム。
14. 前記報知部は、前記第２報知音に対して前記第１報知音の音量を大きくする請求項１３に記載の内視鏡システム。
15. 前記報知部は、前記第１特徴領域と対応付けがされた前記実内視鏡画像の領域から前記実内視鏡画像の観察位置までの間の距離が短くなるに従い報知レベルを変更する請求項２から１４のいずれか一項に記載の内視鏡システム。
16. 前記第１特徴領域抽出部は、前記実内視鏡画像の観察の際に、予め前記仮想内視鏡画像から前記第１特徴領域を抽出する請求項１から１５のいずれか一項に記載の内視鏡システム。
17. 前記第１特徴領域抽出部は、前記実内視鏡画像の観察の際に、前記実内視鏡画像の観察に対応して、逐次、前記仮想内視鏡画像から前記第１特徴領域を抽出する請求項１から１５のいずれか一項に記載の内視鏡システム。
18. 前記第１特徴領域抽出部は、同一の前記第１条件を用いて複数の第１特徴領域を抽出した場合、前記複数の第１特徴領域を一括して管理する請求項１から１７のいずれか一項に記載の内視鏡システム。
19. 前記第１特徴領域抽出部は、前記第１条件として前記仮想内視鏡画像における位置の情報を適用する請求項１から１８のいずれか一項に記載の内視鏡システム。
20. 前記第１特徴領域抽出部は、前記位置の情報として前記内視鏡の観察範囲の死角の位置を適用する請求項１９に記載の内視鏡システム。
21. 前記第１特徴領域抽出部は、前記位置の情報としてひだの裏側を適用する請求項１９又は２０に記載の内視鏡システム。
22. 前記第２特徴領域抽出部は、前記第２特徴領域として病変を抽出する請求項１から２１のいずれか一項に記載の内視鏡システム。
23. 前記第２特徴領域抽出部は、機械学習を用いて生成された抽出規則を適用して、前記実内視鏡画像から前記第２特徴領域を抽出する請求項１から２２のいずれか一項に記載の内視鏡システム。
24. 被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力工程と、
    内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力工程と、
    前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け工程と、
    前記仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出工程と、
    前記実内視鏡画像から前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出工程と、
    前記第１特徴領域が前記第２特徴領域と対応付けされていない場合に報知を行う報知工程と、
    を含む報知方法。
25. コンピュータに、
    被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力機能、
    内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、
    前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け機能、
    前記仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、
    前記実内視鏡画像から前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び
    前記第１特徴領域が前記第２特徴領域と対応付けされていない場合に報知を行う報知機能、を実現させるプログラム。

Images