WO2019088008A1

WO2019088008A1 - 画像処理装置、画像処理方法、プログラム、及び内視鏡システム

Info

Publication number: WO2019088008A1
Application number: PCT/JP2018/040051
Authority: WO
Inventors: 加來　俊彦
Original assignee: 富士フイルム株式会社
Priority date: 2017-10-31
Filing date: 2018-10-29
Publication date: 2019-05-09
Also published as: JP7148534B2; JPWO2019088008A1

Abstract

仮想内視鏡検査が苦手とする病変等の効率的な情報収集を可能とする画像処理装置、画像処理方法、プログラム、及び内視鏡システムを提供する。仮想内視鏡画像を入力する第１画像入力部、実内視鏡画像を入力する第２画像入力部、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部（５７）、仮想内視鏡画像から第１特徴領域を抽出する第１特徴領域抽出部（５１）、実想内視鏡画像から第２特徴領域を抽出する第２特徴領域抽出部（５４）、第２特徴領域に対応付けされ、且つ第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する保存部（６１）を備える。

Description

画像処理装置、画像処理方法、プログラム、及び内視鏡システム

　本発明は画像処理装置、画像処理方法、プログラム、及び内視鏡システムに係り、特に仮想内視鏡画像の解析に関する。

　近年、内視鏡を用いて患者の大腸等の管状構造物を観察又は処置を行う技術が注目されている。内視鏡画像はＣＣＤ（Charge Coupled Device）等の撮像素子を用いて撮影された画像である。そして、内視鏡画像は管状構造物内部の色、及び質感が鮮明に表現された画像である。一方、内視鏡画像は、管状構造物の内部を表す２次元画像である。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。

　そこで、ＣＴ装置又はＭＲＩ装置等のモダリティを用いた断層撮影をして取得された３次元検査画像を用いて、実際に内視鏡を用いて撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。

　仮想内視鏡画像は、内視鏡を管状構造物内の目標とする位置まで導くためのナビゲーション画像として用いられる場合がある。なお、ＣＴはComputed Tomographyの省略語である。また、ＭＲＩはMagnetic Resonance Imagingの省略語である。

　このため、３次元検査画像から管状構造物の画像を抽出し、管状構造物の画像と内視鏡を用いて撮影を行い取得した実際の内視鏡画像である実内視鏡画像との対応付けを行い、内視鏡の現在位置における仮想内視鏡画像を管状構造物の３次元検査画像から生成して表示する手法が提案されている。

　特許文献１は、内視鏡装置より得られる内視鏡画像を入力として、仮想空間内に３次元の臓器のモデルを形成し、よりリアルな画像を提供する医療支援システムが記載されている。

　特許文献２は、カラー内視鏡実画像と仮想内視鏡画像との相対的な位置関係を表す構図が合致するように仮想内視鏡画像を生成し、内視鏡画像を患部が見え易い態様で表示させる内視鏡システムが記載されている。

　特許文献３は、医用画像データの特定部の座標データを当該医用画像データと関連付けて記憶する医用画像観察装置が記載されている。特許文献３に記載の医用画像観察装置は、画質を落したくない所見部の画質を保持し、且つ画像表示に使用する画像データ量を低減させて画像表示の効率を向上させている。

　特許文献４は、３次元医療用画像から対象物を検出する画像処理方法が記載されている。特許文献４に記載の画像処理方法は、３次元医療画像から対象物を検出する際に学習が適用されている。

特開平１１－１０４０７２号公報特開２００６－６１２７４号公報特開２００９－２５４６９０号公報特開２０１１－１７７５１７号公報

　仮想大腸内視鏡画像に基づく仮想大腸内視鏡検査は、凸形状ポリープ等の突起の検出は得意であるが、平坦な病変などの検出が苦手である。仮想大腸内視鏡検査の性能の向上を図る上で、仮想大腸内視鏡検査が苦手とする病変の情報収集が望まれている。なお、上述した仮想大腸内視鏡検査における課題は、気管等の大腸以外の被観察部位に適用される仮想内視鏡検査についても同様である。

　特許文献１から特許文献４に記載の発明は、いずれも、仮想内視鏡検査が苦手とする病変の情報収集という技術課題に着目するものではなく、上述した技術課題を解決するものではない。

　本発明はこのような事情に鑑みてなされたもので、仮想内視鏡検査が苦手とする病変等の効率的な情報収集を可能とする画像処理装置、画像処理方法、プログラム、及び内視鏡システムを提供することを目的とする。

　上記目的を達成するために、次の発明態様を提供する。

　第１態様に係る画像処理装置は、被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部と、仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、実内視鏡画像から、第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、実内視鏡画像の第２特徴領域に対応付けされ、且つ仮想内視鏡画像から第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する保存部と、を備えた画像処理装置である。

　第１態様によれば、実内視鏡画像の第２特徴領域に対応付けられた仮想内視鏡画像の非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方が保存される。これにより、実内視鏡画像から抽出される一方、仮想内視鏡画像から抽出されない特徴領域の情報の効率的な収集が可能である。

　３次元検査画像の例として、ＣＴ装置を用いて被検体を断層撮影して得られた３次元検査画像が挙げられる。仮想内視鏡の一例として、大腸を被検体とする仮想大腸内視鏡が挙げられる。

　第１特徴領域の抽出に適用される第１条件を設定する第１条件設定部を備える態様が好ましい。また、第２特徴領域の抽出に適用される第２条件を設定する第２条件設定部を備える態様が好ましい。

　第２画像入力部は、実内視鏡画像として動画像が逐次入力されてもよいし、実内視鏡画像として動画像がファイル形式で一括して入力されてもよい。

　第２態様は、第１態様の画像処理装置において、実内視鏡画像に対して、仮想内視鏡画像から第１特徴領域を抽出した抽出結果を付与する抽出結果付与部を備えた構成としてもよい。

　第２態様によれば、実内視鏡画像に付与された仮想内視鏡画像の抽出結果を用いて、仮想内視鏡画像の第２特徴領域が非抽出領域に対応付けられているか否かの特定、及び実内視鏡画像の非対象領域に対応付けられた第２特徴領域を含む実内視鏡画像であるか否かの特定が可能である。

　仮想内視鏡画像から第１特徴領域を抽出した抽出結果の例として、第１特徴領域として抽出されていない非抽出領域を特定する情報が挙げられる。非抽出領域を特定する情報の例として、非抽出領域の位置の情報、及び非抽出領域の画像が挙げられる。

　第３態様は、第１態様又は第２態様の画像処理装置において、仮想内視鏡画像から第１特徴領域を抽出した抽出結果と、実内視鏡画像から第２特徴領域を抽出した抽出結果とを比較する比較部を備えた構成としてもよい。

　第３態様によれば、比較部を用いた比較に基づき、仮想内視鏡画像の第１特徴領域と、実内視鏡画像の第２特徴領域との効率的な対応付けが可能となる。

　第４態様は、第３態様の画像処理装置において、比較部は、仮想内視鏡画像と実内視鏡画像との対応する位置同士を比較する構成としてもよい。

　第４態様によれば、仮想内視鏡画像と実内視鏡画像との対応する位置における比較が可能である。

　第５態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、実内視鏡画像の第２特徴領域について、仮想内視鏡画像の非抽出領域に対応付けされた領域であるか否かを判定した判定結果を入力する判定結果入力部を備えた構成としてもよい。

　第５態様によれば、ユーザの手動判定の判定結果の取得が可能である。

　第６態様は、第１態様から第５態様のいずれか一態様の画像処理装置において、仮想内視鏡画像の抽出結果、及び実内視鏡画像の抽出結果を表示する表示部を備えた構成としてもよい。

　第６態様によれば、ユーザが仮想内視鏡画像の抽出結果、及び実内視鏡画像の抽出結果を確認し得る。

　第７態様は、第１態様から第６態様のいずれか一態様の画像処理装置において、実内視鏡画像から第２特徴領域を抽出した抽出結果を入力する抽出結果入力部を備えた構成としてもよい。

　第７態様によれば、ユーザの手動抽出の抽出結果の取得が可能である。

　第８態様は、第１態様から第６態様のいずれか一態様の画像処理装置において、第２特徴領域抽出部は、実内視鏡画像から第２特徴領域を自動的に抽出する構成としてもよい。

　第８態様によれば、実内視鏡画像から第２特徴領域の自動抽出が可能である。

　第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、第２特徴領域抽出部は、実内視鏡画像から第２特徴領域として病変を抽出する構成としてもよい。

　第９態様によれば、病変に対応する仮想内視鏡画像の非抽出領域の特定が可能である。

　第１０態様は、第１態様から第９態様のいずれか一態様の画像処理装置において、保存部は、非抽出領域の仮想内視鏡画像における３次元座標値、及び非抽出領域に対応する第２特徴領域を含む実内視鏡画像の少なくともいずれか一方を保存する構成としてもよい。

　第１０態様によれば、保存部は、非抽出領域の仮想内視鏡画像における座標値、非抽出領域に対応する第２特徴領域を含む実内視鏡画像の保存が可能である。

　保存部は、非抽出領域を特定する座標値として、非抽出領域の代表位置の座標値を保存してもよい。非抽出領域の代表位置の例として、非抽出領域の重心位置が挙げられる。

　保存部は、非抽出領域を特定する座標値として、非抽出領域に含まれる複数の座標値を記憶してもよい。非抽出領域に含まれる複数の座標値の例として、非抽出領域の縁を特定する複数の座標値が挙げられる。

　保存部は、非抽出領域の仮想内視鏡画像における座標値と、非抽出領域に対応する第２特徴領域を含む実内視鏡画像とを関連付けして記憶してもよい。

　第１１態様は、第１態様から第１０態様のいずれか一態様の画像処理装置において、第１特徴領域抽出部は、仮想内視鏡画像から第１特徴領域として病変を抽出する構成としてもよい。

　第１１態様によれば、仮想内視鏡画像から抽出されず、実内視鏡画像から抽出された病変の情報の効率的な収集が可能である。

　病変の例として、色、及びテクスチャ等を用いて視認され得る、二次元的な特徴を有する病変が挙げられる。

　第１２態様は、第１態様から第１１態様のいずれか一態様の画像処理装置において、第１特徴領域抽出部は、保存部に保存されている第２特徴領域の情報と非抽出領域との対応関係を用いて、仮想内視鏡画像から第１特徴領域を抽出する抽出規則を更新する構成としてもよい。

　第１２態様によれば、仮想内視鏡画像から抽出されない特徴領域の情報を用いて、第１特徴領域を抽出する抽出規則の更新が可能となる。これにより、仮想内視鏡検査の性能が向上し得る。

　第１３態様は、第１態様から第１２態様のいずれか一態様の画像処理装置において、第１特徴領域抽出部は、機械学習を用いて生成された抽出規則を適用して、仮想内視鏡画像から第１特徴領域を抽出する構成としてもよい。

　第１３態様によれば、機械学習を用いた効率的な仮想内視鏡検査の性能向上が可能となる。

　第１４態様に係る画像処理方法は、被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力工程と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力工程と、仮想内視鏡画像から生成される仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け工程と、仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出工程と、実内視鏡画像から、第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出工程と、実内視鏡画像の第２特徴領域に対応付けされ、且つ仮想内視鏡画像から第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する保存工程と、を含む画像処理方法である。

　第１４態様によれば、第１態様と同様の効果を得ることができる。

　第１４態様において、第２態様から第１３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。

　第１５態様に係るプログラムは、コンピュータに、被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力機能、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、仮想内視鏡画像から生成される仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け機能、仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、実内視鏡画像から、第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び実内視鏡画像の第２特徴領域に対応付けされ、且つ仮想内視鏡画像から第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する保存機能を実現させるプログラムある。

　第１５態様によれば、第１態様と同様の効果を得ることができる。

　第１５態様において、第２態様から第１３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

　第１５態様は、少なくとも一つ以上のプロセッサと、少なくとも一つ以上のメモリとを有するシステムであって、被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力機能、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、仮想内視鏡画像から生成される仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け機能、仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、実内視鏡画像から、第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び実内視鏡画像の第２特徴領域に対応付けされ、且つ仮想内視鏡画像から第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する保存機能を実現させるシステムとして構成し得る。

　第１６態様に係る内視鏡システムは、内視鏡と、被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、仮想内視鏡画像から生成される仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部と、仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、実内視鏡画像から、第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、実内視鏡画像の第２特徴領域に対応付けされ、且つ仮想内視鏡画像から第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する保存部と、を備えた内視鏡システムである。

　第１６態様によれば、第１態様と同様の効果を得ることができる。

　第１６態様において、第２態様から第１３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。

　第１７態様に係る内視鏡システムは、内視鏡、画像処理装置、及び保存装置を備えた内視鏡システムであって、画像処理装置は、被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、仮想内視鏡画像から生成される仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部と、仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、実内視鏡画像から、第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、を備え、保存装置は、実内視鏡画像の第２特徴領域に対応付けされ、且つ仮想内視鏡画像から第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する保存部を備えた内視鏡システムである。

　第１７態様によれば、第１態様と同様の効果を得ることができる。

　第１７態様において、第２態様から第１３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。

　第１８態様は、第１７態様の内視鏡システムにおいて、保存装置は、ネットワークを介して画像処理装置と通信可能に接続される構成としてもよい。

　第１８態様によれば、ネットワーク接続された保存装置を用いて、実内視鏡画像から抽出される一方、仮想内視鏡画像から抽出されない特徴領域の情報の効率的な収集が可能である。

　本発明によれば、実内視鏡画像の第２特徴領域に対応付けられた仮想内視鏡画像の非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方が保存される。これにより、実内視鏡画像から抽出される一方、仮想内視鏡画像から抽出されない特徴領域の情報の効率的な収集が可能である。

図１は内視鏡システムの全体構成を示す概略図である。図２は医療画像処理装置の機能を示す機能ブロック図である。図３は医療画像解析処理部の機能を示す機能ブロック図である。図４はＣＴＣ画像の模式図である。図５は内視鏡画像の模式図である。図６は第１特徴領域抽出の説明図である。図７は第２特徴領域抽出の説明図である。図８は第２特徴領域抽出の他の例の説明図である。図９は病変の対応付けの例を示す模式図である。図１０はひだの対応付けの例を示す模式図である。図１１はひだの番号を用いたひだの対応付けの例を示す模式図である。図１２は病変を用いたＣＴＣ画像と内視鏡画像との比較処理の一例の説明図ある。図１３は画像処理方法の手順を示すフローチャートである。

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。

　［内視鏡システムの全体構成］
　図１は内視鏡システムの全体構成を示す概略図である。図１に示した内視鏡システム９は、内視鏡１０と、光源装置１１と、プロセッサ１２と、表示装置１３と、医療画像処理装置１４と、操作装置１５と、モニタ装置１６と、を備える。内視鏡システム９は、ネットワーク１７を介して画像記憶装置１８と通信可能に接続される。

　内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０と、操作部２１と、ユニバーサルコード２２と、を備える。挿入部２０は先端と基端とを備える。挿入部２０は被検体内に挿入される。操作部２１は術者が把持して各種操作を行う。操作部２１は挿入部２０の基端側に連設される。挿入部２０は、全体が細径で長尺状に形成されている。

　挿入部２０は、軟性部２５と、湾曲部２６と、先端部２７と、を備える。挿入部２０は、軟性部２５と、湾曲部２６と、先端部２７とが連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮影光学系及び撮像素子２８等が内蔵される。

　撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子である。ＣＭＯＳは、相補型金属酸化膜半導体を表す英語表記である、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、電荷結合素子を表す英語表記である、Charge Coupled Deviceの省略語である。

　先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓の後方には、図示しない撮影光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮影光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、像光を電気信号へ変換するという意味が含まれる。

　操作部２１は、各種操作部材を備える。各種操作部材は術者により操作される。具体的には、操作部２１は、２種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。

　操作部２１は、送気送水ボタン３０と、吸引ボタン３１と、を備える。送気送水ボタン３０は、送気送水操作の際に用いられる。吸引ボタン３１は、吸引操作の際に用いられる。

　操作部２１は、静止画像撮影指示部３２と、処置具導入口３３と、を備える。静止画像撮影指示部３２は、被観察部位の静止画像３９の撮影指示を行う際に用いられる。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。

　ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。

　また、ユニバーサルコード２２の端部は、光源装置１１に接続されるコネクタ３７ａと、コネクタ３７ａから分岐され、且つプロセッサ１２に接続されるコネクタ３７ｂと、を備える。

　コネクタ３７ａを光源装置１１に接続した場合、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。

　その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。

　コネクタ３７ｂをプロセッサ１２に接続した場合、信号ケーブル３６とプロセッサ１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ１２へ被観察部位の撮像信号が出力され、且つプロセッサ１２から内視鏡１０へ制御信号が出力される。

　本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮影を可能な各種の電子内視鏡を用いてもよい。

　光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。

　白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、１種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。

　プロセッサ１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。

　プロセッサ１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の動画像３８を生成する。更に、プロセッサ１２は、内視鏡１０の操作部２１にて静止画像撮影指示部３２が操作された場合、動画像３８の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。この静止画像３９は、動画像３８の解像度に対して高解像度に生成されていてもよい。

　動画像３８及び静止画像３９の生成の際に、プロセッサ１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ１２はＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を動画像３８及び静止画像３９へ付加してもよい。

　動画像３８及び静止画像３９は、被検体内、すなわち生体内を撮影した生体内画像である。更に、動画像３８及び静止画像３９が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ１２は、生成した動画像３８及び静止画像３９を、表示装置１３と医療画像処理装置１４とのそれぞれに出力する。プロセッサ１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ネットワーク１７を介して動画像３８及び静止画像３９を画像記憶装置１８へ出力してもよい。

　表示装置１３は、プロセッサ１２に接続されている。表示装置１３は、プロセッサ１２から入力された動画像３８及び静止画像３９を表示する。医師等のユーザは、表示装置１３に表示される動画像３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を検出した場合には静止画像撮影指示部３２を操作して被観察部位の静止画撮影を実行し得る。

　医療画像処理装置１４は、コンピュータが用いられる。操作装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。操作装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。

　医療画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、操作装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医療画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。

　医療画像処理装置１４は、動画像３８の取得、及び動画像３８の記憶を行う。医療画像処理装置１４は、静止画像３９の取得、及び静止画像３９の記憶を行う。医療画像処理装置１４は、動画像３８の再生制御、及び静止画像３９の再生制御を行う。

　操作装置１５は、医療画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医療画像処理装置１４の制御の下、動画像３８及び静止画像３９の表示を行う。モニタ装置１６は、医療画像処理装置１４における各種情報の表示部として機能する。モニタ装置１６は、仮想内視鏡画像の抽出結果を表示する表示部の一例である。モニタ装置１６は、実内視鏡画像の抽出結果を表示する表示部の一例である。

　ネットワーク１７を介して、医療画像処理装置１４と接続される画像記憶装置１８は、ＣＴＣ画像１９が記憶される。ＣＴＣ画像１９は図示しないＣＴＣ画像生成装置を用いて生成される。なお、ＣＴＣは大腸３次元ＣＴ検査を表すＣＴコロノグラフィ（colonography）を表す省略表記である。

　図示しないＣＴＣ画像生成装置は、３次元検査画像からＣＴＣ画像を生成する。３次元検査画像は、３次元画像撮像装置を用いて検査対象部位を撮像して得られた撮像信号から生成される。３次元画像撮像装置の例として、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、及び超音波診断装置等が挙げられる。本実施形態では、大腸を撮影して得られた３次元検査画像からＣＴＣ画像１９が生成される例を示す。

　内視鏡システム９は、ネットワーク１７を介してサーバ装置と通信可能に接続されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。図１に示した画像記憶装置１８に記憶される情報は、サーバ装置を用いて管理されてもよい。なお、画像データの格納形式、及びネットワーク１７を経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。

　［医療画像処理装置の機能］
　図２は医療画像処理装置の機能を示す機能ブロック図である。図２に示した医療画像処理装置１４は、図示しないコンピュータを備える。コンピュータは、プログラムの実行に基づき、画像取得部４１、情報取得部４２、医療画像解析処理部４３、及び表示制御部４４として機能する。医療画像処理装置１４は、医療画像処理装置１４の各種制御に用いる情報を記憶する記憶部４７を備える。

　〔画像取得部〕
　画像取得部４１は、ＣＴＣ画像取得部４１ａ、及び内視鏡画像取得部４１ｂを備える。ＣＴＣ画像取得部４１ａは、図示しない画像入出力インターフェースを介して、ＣＴＣ画像を取得する。内視鏡画像取得部４１ｂは、図示しない画像入出力インターフェースを介して、内視鏡画像３７を取得する。画像入出力インターフェースの接続形態は有線でもよいし、無線でもよい。以下に、ＣＴＣ画像取得部４１ａ、及び内視鏡画像取得部４１ｂについて詳細に説明する。

　《ＣＴＣ画像取得部》
　ＣＴＣ画像取得部４１ａは、図１に示した画像記憶装置１８に記憶されているＣＴＣ画像１９を取得する。図２に示したＣＴＣ画像取得部４１ａを用いて取得したＣＴＣ画像１９は、画像記憶部４８に記憶される。ＣＴＣ画像取得部４１ａは、後述する内視鏡画像取得部４１ｂと同様の構成を適用可能である。符号１９ｂは視点画像を表す。視点画像１９ｂはＣＴＣ画像１９に設定される視点における視野の画像である。視点は符号Ｐを付して図４に図示する。視点画像、及び視点の詳細は後述する。

　ここで、本実施形態における画像という用語は、画像を表すデータの概念、又は信号の概念が含まれる。ＣＴＣ画像は仮想内視鏡画像の一例である。ＣＴＣ画像は仮想大腸内視鏡画像に相当する。ＣＴＣ画像取得部４１ａは仮想内視鏡画像を入力する第１画像入力部の一例である。

　《内視鏡画像取得部》
　内視鏡画像取得部４１ｂは、図１に示したプロセッサ１２を用いて生成された内視鏡画像３７を取得する。内視鏡画像３７は図２に示した動画像３８及び静止画像３９が含まれる。本実施形態では、図１に示したプロセッサ１２を用いて生成された内視鏡画像３７を取得したが、外部の記憶装置に記憶されている内視鏡画像３７を取得してもよい。図２に示した内視鏡画像取得部４１ｂは、メモリーカード等の各種情報記憶媒体を介して内視鏡画像３７を取得してもよい。

　動画像３８の撮影途中に静止画像３９の撮影が行われた場合、内視鏡画像取得部４１ｂは、図１に示したプロセッサ１２から動画像３８及び静止画像３９を取得する。医療画像処理装置１４は、内視鏡画像取得部４１ｂを用いて取得した動画像３８及び静止画像３９を画像記憶部４８に記憶する。符号３８ａは、動画像３８を構成する複数のフレーム画像を表す。

　医療画像処理装置１４は、プロセッサ１２等から入力される内視鏡画像３７の動画像３８の全てを画像記憶部４８に記憶させる必要はなく、図１に示した静止画像撮影指示部３
２の操作に応じて被観察部位の静止画撮影が行われた場合、その前後の１分間の動画像３８を、図２に示した画像記憶部４８に記憶させてもよい。前後の１分間は、撮影前１分間から撮影後１分間までの期間を表す。

　内視鏡画像取得部４１ｂは、実内視鏡画像を入力する第２画像入力部の一例である。内視鏡画像３７は実内視鏡画像に相当する。

　〔情報取得部〕
　情報取得部４２は、操作装置１５等を介して外部から入力された情報を取得する。例えば、操作装置１５を用いてユーザが判定した判定結果、及び抽出結果等が入力された場合に、情報取得部４２はユーザの判定情報、及び抽出情報等を取得する。

　情報取得部４２は、判定結果入力部の一例である。また、情報取得部４２は、抽出結果入力部の一例である。

　〔医療画像解析処理部〕
　医療画像解析処理部４３は、内視鏡画像３７を用いた検査において検出され、且つＣＴＣ画像１９を用いた検査において検出されない病変の情報を収集する。病変の情報の収集の詳細は後述する。また、医療画像解析処理部４３の詳細は後述する。

　〔深層学習アルゴリズム〕
　医療画像解析処理部４３は、深層学習アルゴリズム６５に基づき、深層学習を用いた画像解析処理を実施する。深層学習アルゴリズム６５は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。

　なお、深層学習はディープラーニングと呼ばれることがある。コンボリューションニューラルネットワークは、畳み込み層及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。深層学習は機械学習の一例である。

　〔表示制御部〕
　表示制御部４４は、モニタ装置１６の画像表示を制御する。表示制御部４４は、再生制御部４４ａ及び情報表示制御部４４ｂとして機能する。

　《再生制御部》
　再生制御部４４ａは、ＣＴＣ画像取得部４１ａを用いて取得したＣＴＣ画像１９、及び内視鏡画像取得部４１ｂを用いて取得した内視鏡画像３７の再生制御を行う。再生制御部４４ａは、操作装置１５を用いて画像を再生する操作がされた場合、表示制御プログラムを実行してモニタ装置１６を制御する。表示制御プログラムはプログラム記憶部４９に記憶されるプログラムに含まれる。

　ＣＴＣ画像１９、及び内視鏡画像３７の表示制御例として、ＣＴＣ画像１９、又は内視鏡画像３７のいずれか一方を全画面表示する例が挙げられる。ＣＴＣ画像１９、及び内視鏡画像３７の他の表示制御例として、ＣＴＣ画像１９、及び内視鏡画像３７を一画面内に並列表示する例が挙げられる。再生制御部４４ａは、上述した２つの表示を切り替えてもよい。

　内視鏡画像３７の表示制御例として、動画像３８、又は静止画像３９のいずれか一方を全画面表示する形態が挙げられる。内視鏡画像３７の他の表示例として、動画像３８、及び静止画像３９を１画面内に並列表示する形態が挙げられる。再生制御部４４ａは、上述した２つの表示を切り替えてもよい。

　《情報表示制御部》
　情報表示制御部４４ｂは、ＣＴＣ画像１９の付帯情報の表示制御、及び内視鏡画像３７の付帯情報の表示制御を行う。ＣＴＣ画像１９の付帯情報の一例として、ＣＴＣ画像１９を構成する各領域の座標値が挙げられる。ＣＴＣ画像１９の付帯情報の他の例として、特徴領域を表す情報が挙げられる。特徴領域の詳細後述する。

　内視鏡画像３７の付帯情報の例として、動画像３８を構成するフレーム画像３８ａのフレーム番号、及び動画像３８の撮像時刻が挙げられる。内視鏡画像３７の付帯情報の例として、静止画像３９の撮像条件、静止画像３９の撮像時刻、及び静止画像３９のサムネイル画像が挙げられる。

　情報表示制御部４４ｂは、医療画像解析処理部４３における各種処理の際に必要な情報の表示制御を行う。医療画像解析処理部４３における各種処理の例として、ＣＴＣ画像１９と内視鏡画像３７との対応付け処理、ＣＴＣ画像１９の特徴領域抽出処理、及び内視鏡画像３７の特徴領域抽出処理が挙げられる。

　医療画像解析処理部４３における各種処理の他の例として、ＣＴＣ画像１９と内視鏡画像３７との比較処理、内視鏡画像３７の特徴領域へのＣＴＣ画像１９の抽出結果の付与処理、ＣＴＣ画像１９の抽出結果に基づく内視鏡画像３７の特徴領域の記憶処理等が挙げられる。ここに列挙した医療画像解析処理部４３における各種処理の詳細は後述する。

　〔記憶部〕
　記憶部４７は、画像記憶部４８を備える。画像記憶部４８は、医療画像処理装置１４が取得したＣＴＣ画像１９、及び内視鏡画像３７を記憶する。図２には、医療画像処理装置１４が記憶部４７を備える態様を例示したが、医療画像処理装置１４とネットワークを介して通信可能に接続される記憶装置等が記憶部４７を備えてもよい。上述した記憶装置の例として、図１に示したネットワーク１７を介して通信可能に接続される画像記憶装置１８が挙げられる。

　記憶部４７は、プログラム記憶部４９を備える。プログラム記憶部４９を用いて記憶されるプログラムは、動画像３８の再生制御を医療画像処理装置１４に実行させるためのアプリケーションプログラムが含まれる。また、プログラム記憶部４９を用いて記憶されるプログラムは、医療画像解析処理部４３の処理を医療画像処理装置１４に実行させるためのプログラムが含まれる。

　医療画像処理装置１４は、複数のコンピュータ等を用いて構成してもよい。複数のコンピュータ等は、ネットワークを介して通信可能に接続されてもよい。ここでいう複数のコンピュータは、ハードウェア的に分離していてもよいし、ハードウェア的に一体に構成され、且つ機能的に分離されていてもよい。

　〔各種制御部のハードウェア構成〕
　図２に示した医療画像処理装置１４の各種制御を実行する制御部のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。図３に示す医療画像解析処理部４３についても同様である。

　各種のプロセッサには、ソフトウェアを実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。なお、ここでいうソフトウェアはプログラムと同義である。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサを用いて構成されてもよい。２つ以上のプロセッサの例として、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡとの組み合わせが挙げられる。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアント装置、及びサーバ装置等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、ＳｏＣ（System On Chip）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。なお、ＩＣは集積回路の英語表記であるIntegrated Circuitの省略語である。

　〔医療画像解析処理部の詳細な説明〕
　図３は医療画像解析処理部の機能を示す機能ブロック図である。以下の説明における内視鏡１０は図１に図示されている。また、ＣＴＣ画像１９、視点画像１９ｂ、内視鏡画像３７、及びフレーム画像３８ａは図２に図示されている。

　図３に示した医療画像解析処理部４３は、第１特徴領域抽出部５１と、第１条件設定部５２と、第２特徴領域抽出部５４と、第２条件設定部５６と、対応付け部５７と、比較部５８と、比較結果付与部６０と、保存部６１と、抽出規則更新部６２と、を備える。

　《第１特徴領域抽出部》
　第１特徴領域抽出部５１は、ＣＴＣ画像１９から、規定の第１条件に合致する特徴領域である第１特徴領域を抽出する。ＣＴＣ画像１９の第１特徴領域の例として、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。なお、血管は血管の走行パターンが含まれる。

　《第１条件設定部》
　第１条件設定部５２は第１条件を設定する。第１条件は、第１特徴領域抽出部５１を用いた抽出処理に適用される抽出条件である。第１条件設定部５２は、図２に示した操作装置１５を用いて入力された情報を第１条件として設定し得る。上述した第１特徴領域の例示は、第１条件の例示として把握される。

　《第２特徴領域抽出部》
　第２特徴領域抽出部５４は、図２に示した内視鏡画像３７から、規定の第２条件に合致する特徴領域である第２特徴領域を抽出する。内視鏡画像３７の第２特徴領域の例として、ＣＴＣ画像１９の第１特徴領域と同様に、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。

　第２特徴領域抽出部５４は、第２条件に合致する第２特徴領域を内視鏡画像３７から自動的に抽出してもよい。第２特徴領域抽出部５４は、第２条件に合致する第２特徴領域を、ユーザが内視鏡画像３７から手動抽出した抽出結果を取得してもよい。ユーザは、図２に示した情報取得部４２を用いて手動抽出した抽出結果を入力してもよい。

　《第２条件設定部》
　第２条件設定部５６は、内視鏡画像３７の第２特徴領域の抽出条件として、第１条件に対応する第２条件を設定する。第１条件に対応する第２条件には、第１条件と同一の第２条件が含まれる。例えば、第１条件として病変が設定された場合、第２条件として病変が設定され得る。

　第１条件、及び第２条件は、病変という包括概念に代わり、ポリープ、及び炎症等の具体的な病変が設定されてもよい。また、第１条件、及び第２条件は、複数の条件を組み合わせてもよい。

　第２条件として病変が設定され、且つ第２特徴領域として内視鏡画像３７から病変を抽出する場合は、内視鏡検査における病変の検出に相当する。上述した第２特徴領域の例示は、第２条件の例示として把握される。

　《対応付け部》
　対応付け部５７は、図２に示したＣＴＣ画像１９と内視鏡画像３７との対応付けを行う。ＣＴＣ画像１９と内視鏡画像３７との対応付けの例として、ＣＴＣ画像１９の第１特徴領域と内視鏡画像３７の第２特徴領域との対応付けが挙げられる。例えば、内視鏡画像３７の第２特徴領域として病変が検出された場合、検出された病変に対応するＣＴＣ画像１９の第１特徴領域を内視鏡画像３７の第２特徴領域に対応付けする。

　ＣＴＣ画像１９と内視鏡画像３７との対応付けは、ＣＴＣ画像１９の非抽出領域と内視鏡画像３７の第２特徴領域との対応付けが含まれる。

　《比較部》
　比較部５８は、ＣＴＣ画像１９と内視鏡画像３７とを比較する。そして、内視鏡画像３７の第２特徴領域のうち、ＣＴＣ画像１９の非抽出領域に対応付けされている第２特徴領域を特定する。

　換言すると、比較部５８は、内視鏡画像３７の第２特徴領域がＣＴＣ画像１９の非抽出領域と対応付けされているか否かを判定する。比較部５８は、自動判定を実行してもよい。比較部５８は、ユーザの判定結果を入力する判定結果入力部を備えてもよい。比較部５８の比較結果は、保存部６１を用いて保存される。比較結果の詳細は後述する。

　《比較結果付与部》
　図３に示した比較結果付与部６０は、比較部５８の比較結果を内視鏡画像３７に付与する。比較結果付与部６０の機能を比較部５８が担う態様も可能である。比較部５８の比較結果が付与された内視鏡画像３７は、保存部６１を用いて保存される。

　比較部５８の比較結果は、第１特徴領域の抽出結果として把握し得る。比較結果付与部６０は抽出結果付与部の一例である。

　《保存部》
　保存部６１は、比較部５８の比較結果を保存する。保存部６１は他の記憶部と兼用してもよい。保存部６１を用いて記憶された比較結果は、第１特徴領域抽出部５１に適用される抽出規則の更新に用いられる。なお、抽出規則の更新は抽出規則の変更を含む概念である。なお、ここでいう比較結果の保存は、比較結果の記憶と同義である。本明細書では、保存と記憶とを区別せずに同義として取り扱うこととする。

　《抽出規則更新部》
　抽出規則更新部６２は、内視鏡画像３７の第２特徴領域に対応付けされた非抽出領域の座標値を用いて第１特徴領域抽出部５１に適用される抽出規則を更新する。第１特徴領域抽出部５１に適用される抽出規則の更新は、深層学習アルゴリズム６５を用いて実行される。更新後の抽出規則は、図示しない更新規則記憶部を用いて記憶される。

　［医療用画像解析方法の説明］
　次に、大腸検査における医療用画像解析方法について説明する。なお、大腸検査は例示であり、以下に説明する医療用画像解析方法は、気管支等の他の部位の検査に適用可能である。

　以下に説明する医療用画像解析方法は、図２に示した内視鏡画像３７を用いた内視鏡検査において検出され、且つＣＴＣ画像１９を用いた仮想大腸内視鏡検査において検出されない病変等の情報を収集する画像処理方法の一例である。

　〔ＣＴＣ画像〕
　図４はＣＴＣ画像の模式図である。図４に示した全体画像１９ａは、被観察部位である大腸の全体を表すＣＴＣ画像１９の一形態である。被観察部位は、被検体、及び被検体の観察対象と同義である。

　全体画像１９ａは、設定されたパス１９ｃの上に１つ以上の視点Ｐを置き、スタート地点Ｐ_０から、図示しないエンド地点まで順次に視点Ｐを変更しつつ、各視点Ｐから管腔の内部を見たことを想定した画像である。パス１９ｃは、全体画像１９ａに対して細線化を施して生成し得る。細線化処理は公知の細線化手法を適用可能である。図４には、複数の視点Ｐを図示したが、視点Ｐの配置、及び数量は検査条件等に応じて、適宜決定し得る。

　全体画像１９ａの各視点Ｐを指定した場合、指定された視点Ｐにおける視野の画像を表す視点画像を表示可能である。なお、各視点Ｐにおける視点画像は符号１９ｂ_１、及び符号１９ｂ_２を付して図６に図示する。

　各視点Ｐにおいて、内視鏡１０の撮像方向を反映させた視点画像を生成してもよい。内視鏡１０の撮像方向を反映させた視点画像は、複数の撮像方向のそれぞれについて生成されてもよい。図４に示した全体画像１９ａ、及び図４に図示しない視点画像は、図２に示したＣＴＣ画像１９の概念に含まれる。

　全体画像１９ａを図４に示した内視鏡画像３７は、図示しない３次元座標が設定される。内視鏡画像３７に設定される３次元座標は、内視鏡画像３７の任意の基準位置を原点とする３次元座標を適用可能である。３次元座標は、直交座標、極座標、及び円筒座標など、任意の３次元座標を適用可能である。

　〔仮想大腸内視鏡検査〕
　仮想大腸内視鏡検査は、ＣＴ装置を用いて大腸を撮像して大腸のＣＴ画像を取得し、大腸のＣＴ画像に画像処理を施して生成されたＣＴＣ画像１９を用いて病変等を検出する。仮想大腸内視鏡検査は、内視鏡１０の移動と連動して、内視鏡１０に見立てたポインタ１９ｄをパス１９ｃに沿って移動させる。ポインタ１９ｄの位置は、内視鏡１０の移動条件から導出される。

　例えば、内視鏡１０の移動始点であるスタート地点Ｐ_０に対応するポインタ１９ｄの開始視点を設定する。内視鏡１０のスタート地点Ｐ_０は、図４に示した内視鏡１０の挿入開始位置を適用可能である。内視鏡１０のスタート地点Ｐ_０は、図示しない内視鏡１０の移動開始位置を適用してもよい。内視鏡１０の挿入開始位置の例として肛門に対応する位置が挙げられる。内視鏡１０の移動開始位置の例として盲腸に対応する位置が挙げられる。

　内視鏡１０は図示しないセンサを用いて被観察部位の内部における位置を把握することが可能である。また、内視鏡１０は図示しないセンサを用いて内視鏡１０の移動速度、及び移動方向を表す移動ベクトルの導出が可能である。

　内視鏡１０の被観察部位の内部における位置、及び内視鏡１０の移動ベクトルを用いて、内視鏡１０の移動に連動した、ポインタ１９ｄの移動が可能である。全体画像１９ａにおけるポインタ１９ｄの位置は、座標値を用いて特定し得る。

　ＣＴＣ画像１９は３次元情報を有しているために、仮想大腸内視鏡検査はポリープ等の凸形状の検出に強い。また、ひだの裏に隠れているポリープ等の検出にも強い。一方、ＣＴＣ画像１９は色情報、及びテクスチャ情報を有していないために、仮想大腸内視鏡検査は平坦な病変、及び表面状態の違い等の検出が苦手である。

　〔内視鏡画像〕
　内視鏡検査は、内視鏡画像３７を用いて病変等を検出する。すなわち、内視鏡検査は、内視鏡１０を用いて、リアルタイムに生成される動画像３８を見て、病変の位置、及び形状等を特定する。内視鏡検査は、内視鏡画像３７の再生画像を用いてもよい。

　図５は内視鏡画像の模式図である。内視鏡画像３７の一例として、動画像３８を構成する任意のフレーム画像３８ａを図５に示す。図５に示したフレーム画像３８ａは２次元画像である。フレーム画像３８ａは色情報、及びテクスチャ情報を有している。

　内視鏡画像３７は色情報、及びテクスチャ情報を有しているために、内視鏡検査は平坦な病変、及び表面状態の違い等の検出に強い。内視鏡検査は、仮想大腸内視鏡検査によって検出ができなかった病変の検出が可能である。したがって、内視鏡検査の検査結果を用いた仮想大腸内視鏡検査を補間する情報の生成が可能である。

　以下に、内視鏡検査の検査結果を用いた仮想大腸内視鏡検査を補間する情報の収集に用いられる医療用画像解析方法を構成する処理について説明する。本実施形態では、仮想大腸内視鏡検査が苦手とする病変の情報を収集する例を示す。

　本実施形態では、フレーム画像３８ａを用いて内視鏡画像３７の位置を特定している。内視鏡画像３７の位置はフレーム画像３８ａを用いずに特定してもよい。

　〔特徴領域抽出処理〕
　図６は第１特徴領域抽出の説明図である。図６には、ＣＴＣ画像１９のうち、任意の視点Ｐにおける視点画像１９ｂ_１、及び視点画像１９ｂ_２を図示する。図６に示した視点画像１９ｂ_１、及び視点画像１９ｂ_２を包括する概念が視点画像１９ｂである。

　第１特徴領域抽出処理は、図３に示した第１特徴領域抽出部５１を用いて、図６に示したＣＴＣ画像１９から第１特徴領域８０を抽出する。ＣＴＣ画像１９から第１特徴領域８０を抽出する処理は、公知の特徴領域抽出技術を適用可能である。後述する第２特徴領域抽出も同様である。

　図６に示した視点画像１９ｂ_１は、第１特徴領域８０として凸形状のポリープが抽出されている。一方、図６では図示を省略するが、ＣＴＣ画像１９は第１特徴領域が抽出されない領域がある。ＣＴＣ画像１９のうち、第１特徴領域が抽出されない領域を非抽出領域とする。

　ＣＴＣ画像１９の第１特徴領域８０、及び図示しない非抽出領域はいずれも、ＣＴＣ画像１９に設定されている３次元座標における座標値の特定が可能である。

　図７は第２特徴領域抽出の説明図である。図７には、内視鏡画像３７のうち、任意のフレーム画像３８ａ_１を図示する。第２特徴領域の抽出結果は内視鏡検査の結果として取り扱うことが可能である。

　第２特徴領域抽出処理は、図３に示した第２特徴領域抽出部５４を用いて内視鏡画像３７から第２特徴領域７０を抽出する。図６に示したフレーム画像３８ａ_１は、第２特徴領域７０として凸形状のポリープが抽出されている。図７に示した第２特徴領域７０である凸形状のポリープは、ＣＴＣ画像１９から抽出可能である。

　図８は第２特徴領域抽出の他の例の説明図である。図８に示したフレーム画像３８ａ_３１は、第２特徴領域７６として炎症している病変が抽出されている。図８に示したフレーム画像３８ａ_３１の第２特徴領域７６は、内視鏡検査では検出可能な特徴領域である一方、仮想大腸内視鏡検査が検出を苦手とする特徴領域の一例である。

　図６に示した第１特徴領域８０の情報、及び図示しない非抽出領域の情報は、第１特徴領域の抽出結果として、図２に示した保存部６１に保存される。また、図７に示した第２特徴領域７０の情報、及び図８に示した第２特徴領域７６の情報は、第２特徴領域の抽出結果、又は内視鏡検査結果として、図２に示した保存部６１に保存される。

　〔対応付け処理〕
　図９から図１１を用いて対応付け処理について説明する。図９は病変の対応付けの例を示す模式図である。図９には内視鏡画像３７のフレーム画像３８ａ_１において凸形状のポリープである第２特徴領域７０が検出された場合の例を示す。

　なお、図９に示した視点画像１９ｂ_１は図６に示した視点画像１９ｂ_１である。図９に示した視点画像１９ｂ_２は図６に示した視点画像１９ｂ_２である。図９に示した第１特徴領域８０は、図６に示した第１特徴領域８０である。

　また、図９に示したフレーム画像３８ａ_１は、図７に示したフレーム画像３８ａ_１である。図９に示した第２特徴領域７０は、図７に示した第２特徴領域７０である。

　以下に、内視鏡１０の移動に対応して、全体画像１９ａのパス１９ｃに沿って、内視鏡１０の位置を表すポインタ１９ｄを移動させながら、内視鏡検査を行う場合について説明する。内視鏡１０の位置は、内視鏡１０が備えるセンサを用いて既知である。また、各視点Ｐにおける内視鏡１０の向きは、図４に示したパス１９ｃの各視点Ｐにおける接線方向とする。

　図３に示した対応付け部５７は、内視鏡画像３７から第２特徴領域７０が抽出された場合に、第２特徴領域７０に対応する第１特徴領域８０をＣＴＣ画像１９から検索する。内視鏡画像３７の第２特徴領域７０に対応するＣＴＣ画像１９の第１特徴領域８０が検出された場合、ＣＴＣ画像１９の第１特徴領域８０と、内視鏡画像３７の第２特徴領域７０とを対応付ける。

　換言すると、ＣＴＣ画像１９と内視鏡画像３７との対応付けという概念は、ＣＴＣ画像１９の構成要素と、内視鏡画像３７の構成要素との組を構成するという概念が含まれる。ＣＴＣ画像１９と内視鏡画像３７との対応付けという概念には、内視鏡画像３７の構成要素に対応するＣＴＣ画像１９の構成要素を検索して、特定するという概念が含まれてもよい。

　図１０はひだの対応付けの例を示す模式図である。図１０に示したフレーム画像３８ａ_１１は、第２特徴領域７２としてひだが抽出されている。視点画像１９ｂ_１１は、第１特徴領域８２としてひだが抽出されている。図１０には、視点画像１９ｂ_１１の視点Ｐに対して連続する視点Ｐにおける視点画像１９ｂ_１２、及び視点画像１９ｂ_１３が図示されている。図３に示した対応付け部５７は、図１０に示した第１特徴領域８２と第２特徴領域７２とを対応付ける。

　図１１はひだの番号を用いたひだの対応付けの例を示す模式図である。ＣＴＣ画像１９、及び内視鏡画像３７のいずれにおいても、ひだの数は変わらない。そこで、基準とするひだを定めて、ひだの番号を用いてＣＴＣ画像１９と内視鏡画像３７との対応付けが可能である。

　図１１に示したフレーム画像３８ａ_２１は、第２特徴領域７４としてひだが抽出されている。視点画像１９ｂ_２１は、第１特徴領域８４としてひだが抽出されている。図１１に示した視点画像１９ｂ_２２、及び視点画像１９ｂ_２３もまた、第２特徴領域としてひだが抽出されている。なお、視点画像１９ｂ_２２、及び視点画像１９ｂ_２３の第２特徴領域の図示は省略する。

　視点画像１９ｂ_２１に付されたｎ_１はひだの番号を表す整数である。視点画像１９ｂ_２２に付されたｎ_２、視点画像１９ｂ_２３に付されたｎ_３、及びフレーム画像３８ａ_２１に付されたｎ_１も同様である。

　フレーム画像３８ａ_２１におけるひだの番号ｎ_１と、視点画像１９ｂ_２１におけるひだの番号ｎ_１とが一致する場合、図３に示した対応付け部５７は、図１１に示した第２特徴領域７４と第１特徴領域８４とを対応付けする。

　図示は省略するが、各結腸間の変換点、及び血管についても、図９から図１１を用いて説明した例と同様に、対応付けが可能である。

　〔比較処理〕
　次に、図１２を用いて比較処理について説明する。図１２は病変を用いたＣＴＣ画像と内視鏡画像との比較処理の一例の説明図である。比較処理は、図３に示した比較部５８を用いて実行される。

　比較処理は、第１特徴領域８０等の第１特徴領域が抽出されたＣＴＣ画像１９と、第２特徴領域７０、及び第２特徴領域７６等の第２特徴領域が抽出された内視鏡画像３７とを比較する。比較処理は、ＣＴＣ画像１９と内視鏡画像３７との対応する位置同士を比較する。

　具体的には、内視鏡画像３７の第２特徴領域のうち、ＣＴＣ画像１９の第１特徴領域と対応付けされていない内視鏡画像３７の第２特徴領域７６を特定する。換言すると、ＣＴＣ画像１９の非抽出領域８６と対応付けされている内視鏡画像３７の第２特徴領域７６を特定する。比較処理の比較結果は、図３に示した保存部６１に保存される。

　図１２に示したフレーム画像３８ａ_１は、第２特徴領域７０として凸形状のポリープが抽出されている。そして、フレーム画像３８ａ_１の第２特徴領域７０は、視点画像１９ｂ_１の第１特徴領域８０に対応付けがされている。したがって、フレーム画像３８ａ_１は特定対象外である。

　一方、図１２に示したフレーム画像３８ａ_３１は、第２特徴領域７６として炎症している病変が抽出されている。しかし、フレーム画像３８ａ_３１の第２特徴領域７６は、ＣＴＣ画像１９の第１特徴領域８０等と対応付けがされていない。

　仮想大腸内視鏡検査は、平坦な病変、及び表面状態の違い等の検出が苦手であるので、ＣＴＣ画像１９は、第２特徴領域７６に対応する第１特徴領域が抽出されていない。したがって、フレーム画像３８ａ_３１は特定対象である。

　フレーム画像３８ａ_３１が特定された場合、フレーム画像３８ａ_３１の第２特徴領域７６に対応するＣＴＣ画像１９の非抽出領域８６の座標値が特定される。

　図１２に示した視点画像１９ｂ_３１は、フレーム画像３８ａ_３１の撮像位置に対応する視点Ｐにおける視点画像である。視点画像１９ｂ_３１の非抽出領域８６の位置は、フレーム画像３８ａ_３１の第２特徴領域７６の位置に対応している。

　〔比較結果付与処理〕
　比較結果付与処理は、図３に示した比較結果付与部６０を用いて実行される。比較結果付与処理は、非抽出領域に対応付けされた第２特徴領域が抽出されたフレーム画像３８ａに対して、比較処理の比較結果を付与する。

　例えば、図１２に示した第２特徴領域７６が抽出されたフレーム画像３８ａ_３１に対して、比較処理の比較結果として、視点画像１９ｂ_３１における非抽出領域８６の座標値を付与する。

　〔保存処理〕
　保存処理は、図３に示した保存部６１を用いて実行される。保存処理は、比較結果が付与された内視鏡画像３７が保存される。具体的には、保存部６１は非抽出領域８６の座標値が付与された内視鏡画像３７を保存する。

　保存部６１を用いて保存された情報は、内視鏡画像３７から抽出された病変のうち、ＣＴＣ画像１９から抽出されない病変の情報である。したがって、内視鏡画像３７から抽出された病変のうち、ＣＴＣ画像１９から抽出されない病変の情報収集が可能となる。

　〔抽出規則更新処理〕
　抽出規則更新処理は、図３に示した抽出規則更新部６２を用いて実行される。具体的には、抽出規則更新部６２は、内視鏡画像３７から抽出された病変に対応するＣＴＣ画像１９の非抽出領域の情報に対して深層学習アルゴリズム６５を実行し、ＣＴＣ画像１９から第１条件に合致する第１特徴領域を抽出する抽出規則を更新する。

　更新後の抽出規則を用いた第１特徴領域の抽出処理では、更新前の抽出規則を用いた場合の非抽出領域に対応するＣＴＣ画像１９の位置に第１特徴領域が抽出され得る。

　［画像処理方法の手順］
　図１３は画像処理方法の手順を示すフローチャートである。画像処理方法が開始されると、まず、ＣＴＣ画像入力工程Ｓ１０が実行される。ＣＴＣ画像入力工程Ｓ１０は、図１に示した画像記憶装置１８から、ネットワーク１７、及び図２に示したＣＴＣ画像取得部４１ａを介してＣＴＣ画像１９が入力される。ＣＴＣ画像１９は、図２に示した画像記憶部４８を用いて記憶される。ＣＴＣ画像入力工程Ｓ１０は第１画像入力工程の一例である。

　図１３に示したＣＴＣ画像入力工程Ｓ１０においてＣＴＣ画像１９が入力された後に、第１特徴領域抽出工程Ｓ１２が実行される。第１特徴領域抽出工程Ｓ１２では、図３に示した第１特徴領域抽出部５１を用いて、ＣＴＣ画像１９から第１特徴領域が抽出される。第１特徴領域の一例は、符号８０を付して図１２に図示する。

　図１３に示した内視鏡画像入力工程Ｓ１４では、図２に示した内視鏡画像取得部４１ｂを介して内視鏡画像３７が入力される。図１３に示した内視鏡画像入力工程Ｓ１４では、図１に示した内視鏡１０を用いて撮像された動画像３８をリアルタイムで取得する。なお、動画像３８は図２に図示する。動画像３８は、画像記憶部４８を用いて記憶される。以下の説明において、動画像３８は内視鏡画像３７と読み替えが可能である。内視鏡画像入力工程Ｓ１４は第２画像入力工程の一例である。

　内視鏡画像入力工程Ｓ１４において入力された動画像３８は、図１に示したモニタ装置１６に表示される。また、モニタ装置１６は図４に示した全体画像１９ａを表示し、内視鏡１０の位置に対応するポインタを全体画像１９ａに表示させる。また、全体画像１９ａのポインタは、内視鏡１０と連動してパス１９ｃ上を移動する。

　内視鏡画像入力工程Ｓ１４において動画像３８が入力された場合、第２特徴領域抽出工程Ｓ１６が実行される。第２特徴領域抽出工程Ｓ１６では、図３に示した第２特徴領域抽出部５４を用いて、図２に示した動画像３８から第２特徴領域が抽出される。第２特徴領域の一例は、図１２に符号７０、及び符号７６を付して図示する。

　図１３に示した第２特徴領域抽出工程Ｓ１６は、動画像３８が入力される期間において、規定のサンプリング周期を適用して実行される。第２特徴領域抽出工程Ｓ１６は、内視鏡検査における病変検出に相当する。

　第２特徴領域抽出工程Ｓ１６において、動画像３８から第２特徴領域がされるたびに、対応付け工程Ｓ１８が実行される。対応付け工程Ｓ１８は、図３に示した対応付け部５７を用いて、第１特徴領域抽出工程Ｓ１２において抽出されたＣＴＣ画像１９の第１特徴領域と、第２特徴領域抽出工程Ｓ１６において抽出された動画像３８の第２特徴領域との対応付けが実行される。対応付けの結果は、図２に示した画像記憶部４８に記憶される。

　図１３に示した対応付け工程Ｓ１８において、ＣＴＣ画像１９の第１特徴領域と動画像３８の第２特徴領域との対応付けの結果が記憶された後に、比較工程Ｓ２０が実行される。比較工程Ｓ２０では、ＣＴＣ画像１９と動画像３８が比較され、動画像３８の第２特徴領域に対応付けされるＣＴＣ画像１９の非抽出領域を特定する。

　すなわち、比較工程Ｓ２０では、ＣＴＣ画像１９から、本来は第１特徴領域として抽出されるべき非抽出領域を検索する。比較工程Ｓ２０において特定された非抽出領域の一例を、図１２に符号８６を付して図示する。

　また、図１３に示した比較工程Ｓ２０では、特定された非抽出領域の座標値を特定する。非抽出領域の座標値は、非抽出領域の重心位置等の、非抽出領域の代表位置の座標値を適用可能である。非抽出領域の座標値は、非抽出領域の縁を表す複数の座標値を適用してもよい。比較工程Ｓ２０において特定された非抽出領域の座標値は、動画像３８とＣＴＣ画像１９との比較結果として、図３に示した保存部６１に記憶される。

　比較工程Ｓ２０において、動画像３８とＣＴＣ画像１９との比較結果が導出された後に、比較結果付与工程Ｓ２２へ進む。比較結果付与工程Ｓ２２では、動画像３８の第２特徴領域のうち、ＣＴＣ画像１９の非抽出領域に対応するものに対して、比較工程Ｓ２０において導出された比較結果が付与される。

　保存工程Ｓ２４において、比較結果が付与された動画像３８は、図３に示した保存部６１に保存される。保存工程Ｓ２４の後に画像処理方法は終了される。保存部６１に保存された情報は、ＣＴＣ画像１９から第１特徴領域を抽出する際に適用される抽出規則の更新に用いることが可能である。

　［作用効果］
　〔１〕
　上記の如く構成された内視鏡システム９、及び画像処理方法によれば、内視鏡画像３７の第２特徴領域のうち、ＣＴＣ画像１９の第１特徴領域に対応付けされず、非抽出領域８６に対応する第２特徴領域７６が特定される。非抽出領域８６に対応する第２特徴領域７６が特定された場合、特定された第２特徴領域７６に対応する非抽出領域８６の座標値が特定される。

　これにより、内視鏡画像３７において特定される一方、ＣＴＣ画像１９において特定されない第１特徴領域の情報の効率的な収集が可能である。

　〔２〕
　内視鏡画像３７において特定される一方、ＣＴＣ画像１９において特定されない第１特徴領域の情報を用いて、第１特徴領域の抽出規則の更新が可能である。

　〔３〕
　非抽出領域に対応する第２特徴領域が抽出された内視鏡画像３７に対して、非抽出領域の座標値の情報を付加する。これにより、第２特徴領域が抽出された内視鏡画像３７と非抽出領域の座標値との対応付けが可能である。

　また、内視鏡画像３７の第２特徴領域と非抽出領域との対応関係を用いて、第１特徴領域の抽出規則の更新が可能である。

　［変形例］
　〔ＣＴＣ画像の変形例〕
　《第１例》
　図２に示した医療画像処理装置１４は、ＣＴ画像等の３次元検査画像からＣＴＣ画像１９を生成するＣＴＣ画像生成部を備えてもよい。医療画像処理装置１４は、ＣＴＣ画像取得部４１ａを介して３次元検査画像を取得し、ＣＴＣ画像生成部を用いてＣＴＣ画像１９を生成してもよい。

　《第２例》
　図４に示した視点Ｐは、パス１９ｃの上に限定されない。視点Ｐは任意の位置に設定可能である。視点画像１９ｂの視野方向は、内視鏡１０の撮像方向に対応して任意に設定し得る。

　《第３例》
　視点画像１９ｂは、全体画像１９ａの任意の断面における３次元検査画像を２次元画像に変換した２次元検査画像としてもよい。

　〔第１特徴領域抽出の変形例〕
　《第１例》
　第１特徴領域の抽出は、ＣＴＣ画像の生成に用いられる３次元検査画像を用いてもよい。

　《第２例》
　第１特徴領域の抽出は、内視鏡画像３７の第２特徴領域の抽出と連動してもよい。例えば、内視鏡画像３７から第２特徴領域が抽出された際に、第２特徴領域が抽出されている内視鏡画像３７のフレーム画像３８ａに対応するＣＴＣ画像１９の位置を特定し、特定されたＣＴＣ画像１９の位置において第１特徴領域を抽出してもよい。第１特徴領域が抽出されない場合は、特定されたＣＴＣ画像１９の位置の座標値を、図３に示した保存部６１に保存してもよい。

　《第３例》
　第１特徴領域と第１特徴領域の座表値との関係、及び非抽出領域と非抽出領域の座標値との関係をデータベース化してもよい。第２特徴領域７０に対応する第１特徴領域８０、又は第２特徴領域７６に対応する非抽出領域８６を特定する際に、上述したデータベースを用いてもよい。データベースは、図３に示した保存部６１を用いて記憶してもよいし、医療画像処理装置１４の外部の記憶装置を用いて記憶してもよい。

　〔第２特徴領域抽出の変形例〕
　《第１例》
　第２特徴領域抽出の第２条件は病変に限定されない。仮想大腸内視鏡検査の精度を向上させることが可能な第２特徴領域の抽出を可能とする第２条件であればよい。

　《第２例》
　第２特徴領域の抽出は、動画像３８を再生して実行してもよい。

　〔保存部を用いて保存される情報の変形例〕
　図３に示した保存部６１は、内視鏡画像３７の第２特徴領域に対応する非抽出領域の情報として、第１特徴領域を抽出した際の第１条件が含まれていてもよい。

　〔比較処理の変形例〕
　《第１例》
　比較処理において、ユーザが内視鏡画像３７の第２特徴領域に対応するＣＴＣ画像１９の非抽出領域を特定してもよい。例えば、図１に示したモニタ装置１６に、内視鏡画像３７の第２特徴領域とＣＴＣ画像１９の非抽出領域とを表示させる。

　モニタ装置１６に表示された内視鏡画像３７の第２特徴領域、及びＣＴＣ画像１９の非抽出領域に基づいて、ユーザが内視鏡画像３７の第２特徴領域に対応するＣＴＣ画像１９の非抽出領域を特定する。

　ユーザの特定情報を入力する特定情報入力部を備え、特定情報入力部を介して入力された特定情報に基づいて、第２特徴領域に対応するＣＴＣ画像１９の非抽出領域の特定が可能である。特定情報入力部として、図２に示した情報取得部４２を用いることが可能である。

　《第２例》
　ＣＴＣ画像１９の第１特徴領域と、内視鏡画像３７の第２特徴領域との対応付け処理を省略してもよい。すなわち、内視鏡画像３７から病変として第２特徴領域が抽出された場合に、ＣＴＣ画像１９を検索して第２特徴領域と類似する特徴領域を特定してもよい。

　例えば、ＣＴＣ画像１９の第１特徴領域の中から、内視鏡画像３７の第２特徴領域の特徴量評価値との差分値が、規定の閾値以下の特徴量評価値を有する第１特徴領域を特定してもよい。ＣＴＣ画像１９の検索には、図４に示したポインタ１９ｄの位置の情報を用いてもよい。

　〔保存部の変形例〕
　図３に示した保存部６１は、図２に示した医療画像処理装置１４とネットワークを介して通信可能に接続される保存装置を適用してもよい。

　〔保存部を用いて保存される情報の変形例〕
　《第１例》
　図３に示した保存部６１は、ＣＴＣ画像１９の非抽出領域８６と対応付けされた内視鏡画像３７を保存してもよい。ここでいう内視鏡画像３７は、図１２に示したフレーム画像３８ａ_３１を示す。

　《第２例》
　図３に示した保存部６１は、内視鏡画像３７の第２特徴領域７６に対応付けされた非抽出領域８６の座標値を保存してもよい。非抽出領域８６の特定の際に複数の座標値が用いられる場合、非抽出領域８６の座標値として、複数の座標値を保存してもよい。

　すなわち、保存部６１は、非抽出領域８６の座標値が付加されたフレーム画像３８ａ_３１、フレーム画像３８ａ_３１、及び非抽出領域８６の座標値の少なくもといずれかを保存する。

　〔照明光の変形例〕
　特定の波長領域は、以下の変形例の適用が可能である。

　《第１例》
　特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、且つ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

　《第２例》
　特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、且つ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

　《第３例》
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、且つ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

　《第４例》
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

　《第５例》
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、且つ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

　〔特殊光画像の生成例〕
　プロセッサ１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ１２は、特殊光画像取得部として機能する。そして、プロセッサ１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。

　なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。

　〔特徴量画像の生成例〕
　プロセッサ１２は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。

　［画像処理装置への適用例］
　上述した内視鏡システムの一部の構成を用いて、画像処理装置を構成し得る。例えば、図２に示した医療画像処理装置１４は、画像処理装置として機能し得る。

　［コンピュータを画像処理装置として機能させるプログラムへの適用例］
　上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、ＣＴＣ画像入力機能、第１特徴領域抽出機能、内視鏡画像入力機能、第２特徴領域抽出機能、対応付け機能、比較機能、及び保存機能を実現させるプログラムを構成し得る。

　ＣＴＣ画像入力機能は第１画像入力機能に相当する。内視鏡画像入力機能は第２画像入力機能に相当する。

　上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

　また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

　［実施形態及び変形例等の組み合わせについて］
　上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

９　内視鏡システム
１０　内視鏡
１１　光源装置
１２　プロセッサ
１３　表示装置
１４　医療画像処理装置
１５　入力操作部
１６　表示装置
１７　ネットワーク
１８　画像記憶装置
１９　ＣＴＣ画像
１９ａ　全体画像
１９ｂ、１９ｂ_１、１９ｂ_２、１９ｂ_３、１９ｂ_１１、１９ｂ_１２、１９ｂ_１３、１９ｂ_２１、１９ｂ_２２、１９ｂ_２３、１９ｂ_３１　視点画像
１９ｃ　パス
１９ｄ　ポインタ
２０　挿入部
２１　操作部
２２　ユニバーサルコード
２５　軟性部
２６　湾曲部
２７　先端部
２８　撮像素子
２９　湾曲操作ノブ
３０　送気送水ボタン
３１　吸引ボタン
３２　静止画像撮影指示部
３３　処置具導入口
３５　ライトガイド
３６　信号ケーブル
３７　内視鏡画像
３７ａ、３７ｂ　コネクタ
３８　動画像
３８ａ、３８ａ_１、３８ａ_１１、３８ａ_２１、３８ａ_３１　フレーム画像
３９　静止画像
４１　画像取得部
４１ａ　ＣＴＣ画像取得部
４１ｂ　内視鏡画像取得部
４２　情報取得部
４３　医療画像解析処理部
４４　表示制御部
４４ａ　再生制御部
４４ｂ　情報表示制御部
４７　記憶部
４８　画像記憶部
４９　プログラム記憶部
５１　第１特徴領域抽出部
５２　第１条件設定部
５４　第２特徴領域抽出部
５６　第２条件設定部
５７　対応付け部
５８　比較部
６０　比較結果付与部
６１　保存部
６２　抽出規則更新部
６５　深層学習アルゴリズム
７０、７２、７６　第２特徴領域
８０、８２、８４、８６　第１特徴領域
８６　非抽出領域
Ｐ　視点
Ｐ_０　スタート地点
ｎ_１、ｎ_２、ｎ_３　ひだの番号
Ｓ１０からＳ２２　画像処理方法の各工程

Claims

　被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力部と、
　内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、
　前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け部と、
　前記仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、
　前記実内視鏡画像から、前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、
　前記実内視鏡画像の前記第２特徴領域に対応付けされ、且つ前記仮想内視鏡画像から前記第１特徴領域として抽出されていない非抽出領域の情報、及び前記非抽出領域に対応付けられた前記第２特徴領域の情報の少なくともいずれか一方を保存する保存部と、
　を備えた画像処理装置。
　前記実内視鏡画像に対して、前記仮想内視鏡画像から前記第１特徴領域を抽出した抽出結果を付与する抽出結果付与部を備えた請求項１に記載の画像処理装置。
　前記仮想内視鏡画像から前記第１特徴領域を抽出した抽出結果と、前記実内視鏡画像から前記第２特徴領域を抽出した抽出結果とを比較する比較部を備えた請求項１又は２に記載の画像処理装置。
　前記比較部は、前記仮想内視鏡画像と前記実内視鏡画像との対応する位置同士を比較する請求項３に記載の画像処理装置。
　前記実内視鏡画像の前記第２特徴領域について、前記仮想内視鏡画像の前記非抽出領域に対応付けされた領域であるか否かを判定した判定結果を入力する判定結果入力部を備えた請求項１から４のいずれか一項に記載の画像処理装置。
　前記仮想内視鏡画像の抽出結果、及び前記実内視鏡画像の抽出結果を表示する表示部を備えた請求項１から５のいずれか一項に記載の画像処理装置。
　前記実内視鏡画像から前記第２特徴領域を抽出した抽出結果を入力する抽出結果入力部を備えた請求項１から６のいずれか一項に記載の画像処理装置。
　前記第２特徴領域抽出部は、前記実内視鏡画像から前記第２特徴領域を自動的に抽出する請求項１から６のいずれか一項に記載の画像処理装置。
　前記第２特徴領域抽出部は、前記実内視鏡画像から前記第２特徴領域として病変を抽出する請求項１から８のいずれか一項に記載の画像処理装置。
　前記保存部は、前記非抽出領域の前記仮想内視鏡画像における３次元座標値、及び前記非抽出領域に対応する前記第２特徴領域を含む前記実内視鏡画像の少なくともいずれか一方を保存する請求項１から９のいずれか一項に記載の画像処理装置。
　前記第１特徴領域抽出部は、前記仮想内視鏡画像から前記第１特徴領域として病変を抽出する請求項１から１０のいずれか一項に記載の画像処理装置。
　前記第１特徴領域抽出部は、前記保存部に保存されている前記第２特徴領域の情報と前記非抽出領域との対応関係を用いて、前記仮想内視鏡画像から前記第１特徴領域を抽出する抽出規則を更新する請求項１から１１のいずれか一項に記載の画像処理装置。
　前記第１特徴領域抽出部は、機械学習を用いて生成された抽出規則を適用して、前記仮想内視鏡画像から前記第１特徴領域を抽出する請求項１から１２のいずれか一項に記載の画像処理装置。
　被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力工程と、
　内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力工程と、
　前記仮想内視鏡画像から生成される仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け工程と、
　前記仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出工程と、
　前記実内視鏡画像から、前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出工程と、
　前記実内視鏡画像の前記第２特徴領域に対応付けされ、且つ前記仮想内視鏡画像から前記第１特徴領域として抽出されていない非抽出領域の情報、及び前記非抽出領域に対応付けられた前記第２特徴領域の情報の少なくともいずれか一方を保存する保存工程と、
　を含む画像処理方法。
　コンピュータに、
　被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力機能、
　内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、
　前記仮想内視鏡画像から生成される仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け機能、
　前記仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、
　前記実内視鏡画像から、前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び
　前記実内視鏡画像の前記第２特徴領域に対応付けされ、且つ前記仮想内視鏡画像から前記第１特徴領域として抽出されていない非抽出領域の情報、及び前記非抽出領域に対応付けられた前記第２特徴領域の情報の少なくともいずれか一方を保存する保存機能を実現させるプログラム。
　内視鏡と、
　被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力部と、
　前記内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、
　前記仮想内視鏡画像から生成される仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け部と、
　前記仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、
　前記実内視鏡画像から、前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、
　前記実内視鏡画像の前記第２特徴領域に対応付けされ、且つ前記仮想内視鏡画像から前記第１特徴領域として抽出されていない非抽出領域の情報、及び前記非抽出領域に対応付けられた前記第２特徴領域の情報の少なくともいずれか一方を保存する保存部と、
　を備えた内視鏡システム。
　内視鏡、画像処理装置、及び保存装置を備えた内視鏡システムであって、
　前記画像処理装置は、
　被検体の３次元検査画像から生成された仮想内視鏡画像を入力する第１画像入力部と、
　前記内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、
　前記仮想内視鏡画像から生成される仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け部と、
　前記仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、
　前記実内視鏡画像から、前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、
　を備え、
　前記保存装置は、
　前記実内視鏡画像の前記第２特徴領域に対応付けされ、且つ前記仮想内視鏡画像から前記第１特徴領域として抽出されていない非抽出領域の情報、及び前記非抽出領域に対応付けられた前記第２特徴領域の情報の少なくともいずれか一方を保存する保存部を備えた内視鏡システム。
　前記保存装置は、ネットワークを介して前記画像処理装置と通信可能に接続される請求項１７に記載の内視鏡システム。