JP7464060B2

JP7464060B2 - 画像処理装置、制御方法及びプログラム

Info

Publication number: JP7464060B2
Application number: JP2021550817A
Authority: JP
Inventors: 亮作志野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-10-01
Filing date: 2019-10-01
Publication date: 2024-04-09
Anticipated expiration: 2039-10-01
Also published as: US20220337746A1; JPWO2021064867A1; EP4040782A1; US12089803B2; EP4040782A4; WO2021064867A1

Description

本発明は、内視鏡検査における表示に関する処理を行う画像処理装置、制御方法及び記憶媒体の技術分野に関する。

従来から、臓器の管腔内を撮影した画像を表示する内視鏡システムが知られている。例えば、特許文献１には、消化管の内壁面の合成展開画像を生成し、モニタ等の表示画面に表示する内視鏡システムが開示されている。

特開２０１５－１０６７０３号公報

内視鏡システムのように、連続的に得られる複数の画像から検査対象となる病変部等を表示した画像を目視により判定する場合には、重要な検査箇所の見逃し等が生じてしまう可能性がある。このような検査箇所の見逃し等を抑制するには、検査中に現在撮影されている位置を検査者が的確に把握する必要がある。

本発明の目的は、上述した課題を鑑み、内視鏡検査において、現在撮影されている位置に関する情報を好適に提示することが可能な画像処理装置、制御方法及び記憶媒体を提供することを主な課題とする。

画像処理装置の一の態様は、画像処理装置であって、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像の各々において、前記管腔内の壁面を平面状に展開した展開画像を生成する展開画像生成手段と、前記展開画像に基づき、パノラマ画像を取得するパノラマ画像取得手段と、第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御手段と、前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出手段と、を有し、前記距離算出手段は、前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する。

制御方法の一の態様は、画像処理装置が実行する制御方法であって、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像の各々において、前記管腔内の壁面を平面状に展開した展開画像を生成し、前記展開画像に基づき、パノラマ画像を取得し、第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示し、前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出し、かつ、前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する。

プログラムの一の態様は、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像の各々において、前記管腔内の壁面を平面状に展開した展開画像を生成する展開画像生成手段と、前記展開画像に基づき、パノラマ画像を取得するパノラマ画像取得手段と、第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御手段と、前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出手段としてコンピュータを機能させ、前記距離算出手段は、前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する。

本発明によれば、内視鏡検査時での被撮影位置を検査者に好適に把握させることができる。

内視鏡検査システムの概略構成を示す。画像処理装置のハードウェア構成を示す。画像処理装置の機能ブロック図である。内視鏡検査において表示装置が表示する第１表示例である。内視鏡検査において表示装置が表示する第２表示例である。内視鏡検査において表示装置が表示する第３表示例である。内視鏡検査において表示装置が表示する第４表示例である。内視鏡検査時での表示処理の概要を示すフローチャートの一例である。パノラマ画像生成処理のフローチャートの一例である。距離算出処理のフローチャートの一例である。（Ａ）展開画像上において、抽出された特徴点を明示した図である。（Ｂ）特徴点Ｐ２の近傍を拡大した画像である。（Ｃ）近傍特徴点となる特徴点間を線で結んだ展開画像を示す。各特徴点の３次元空間上での撮影部からの距離を特徴点毎に明示した展開画像を示す。撮影画像の横方向又は縦方向のいずれか一方のみを考慮した場合の、撮影画像における長さと実際の長さとの対応関係を示す図である。（Ａ）図１２に示す展開画像において、一部の領域を画素と対応付けて示した図である。（Ｂ）相対ベクトルのｘ方向及びｙ方向の長さを明示した画素の拡大図である。挿入部から病変部位までの２点間の距離を算出する場合に使用する５枚の展開画像の特徴点同士の対応関係を示した図である。（Ａ）挿入部から病変部位までの特徴点と特徴点間に設けられたリンクとを示したグラフである。（Ｂ）距離算出部が探索した最短経路を明示した図である。（Ｃ）最短経路を構成する各相対ベクトルの長さ（ノルム）を明示した図である。変形例における内視鏡システムの概略構成図である。第２実施形態における画像処理装置のブロック図である。

以下、図面を参照しながら、画像処理装置、制御方法及び記憶媒体の実施形態について説明する。

＜第１実施形態＞
（１）システム構成
図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。以後では、代表例として、大腸の内視鏡検査における処理の説明を行う。

画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「撮影画像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、撮影画像Ｉｃに基づく画面を表示装置２に表示させる。撮影画像Ｉｃは、撮影対象である被検者の大腸の管腔を撮影した画像であり、被検者への内視鏡スコープ３の挿入工程又は排出工程において所定の時間間隔により撮影された画像である。本実施形態においては、画像処理装置１は、過去の内視鏡検査における内視鏡スコープ３の挿入工程又は排出工程において大腸の管腔の略全体を細切れに撮影した複数の撮影画像Ｉｃに基づき、管腔の壁面を平面上に展開した画像（「パノラマ画像Ｉｐ」とも呼ぶ。）を生成する。そして、画像処理装置１は、被検者に対して再び行う内視鏡検査において、内視鏡スコープ３により現在撮影されている被撮影位置に関する情報を、パノラマ画像Ｉｐと対応付けて表示装置２に表示させる。この処理の詳細は後述する。以後では、撮影対象である管腔の略全体を撮影した一連の撮影画像Ｉｃが生成される工程（即ち内視鏡スコープ３の挿入工程又は排出工程）を、「撮影工程」とも呼ぶ。

表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。

内視鏡スコープ３は、被検者の大腸に挿入されることで大腸の管腔を撮影する機器である。内視鏡スコープ３は、主に、画像処理装置１と接続するための接続部３１と、検査者が所定の入力を行うための操作部３２と、管腔内に挿入され、柔軟性を有するシャフト３３と、超小型撮像素子などの撮影部を内蔵した先端部３４とを有する。操作部３２は、例えば、先端部３４の垂直面上で互いに垂直な２軸（「Ｘ軸」及び「Ｙ軸」とする）における方向を夫々段階的に調整可能なダイヤル部を有している。また、操作部３２は、例えば、病変が生じていると疑われる箇所（「病変部位」と呼ぶ。）などの注目箇所を検査者が発見した場合に、当該注目箇所を指定するボタン等を有する。この場合、例えば、検査者は、検査中に表示装置２が表示する撮影画像Ｉｃを参照し、注目箇所が表示された場合に、上述のボタンを選択することで、表示中の撮影画像Ｉｃが注目箇所を含むことを指定する。上述のボタンが選択された場合、操作部３２は、所定の信号（「操作信号Ｓ１」とも呼ぶ。）を画像処理装置１に供給する。

（２）ハードウェア構成
図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのプロセッサである。

メモリ１２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの各種のメモリ（記憶媒体）により構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。メモリ１２は、機能的には、撮影画像記憶部２０と、注目箇所情報記憶部２１と、パノラマ画像記憶部２２とを有している。これらの記憶部の詳細については後述する。また、メモリ１２は、作業メモリとしても使用される。

インターフェース１３は、画像処理装置１と表示装置２とを接続するためのインターフェース、及び、画像処理装置１と内視鏡スコープ３とを接続するためのインターフェースを含む。例えば、インターフェース１３は、プロセッサ１１が生成した表示信号を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される撮影画像Ｉｃを示す電気信号をプロセッサ１１に供給する。また、撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２が外部記憶装置に含まれる場合、インターフェース１３は、例えば、ＵＳＢ、ＳＡＴＡ（ＳｅｒｉａｌＡＴＡｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースを含む。

入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３４に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。

（３）データの概要
次に、撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２にそれぞれ保持するデータの概要について説明する。

撮影画像記憶部２０は、プロセッサ１１の制御に基づき、内視鏡検査の撮影工程（挿入工程又は排出工程）において大腸の管腔全体を撮影した一連の撮影画像Ｉｃを記憶する。これらの撮影画像Ｉｃは、パノラマ画像Ｉｐの生成に用いられる画像であり、被検者の識別情報（例えば患者ＩＤ）と関連付けて記憶される。また、各撮影画像Ｉｃには、撮影が行われた撮影工程や画像間の撮影順序などを識別するためのタイムスタンプの情報等が関連付けられている。

なお、一般に、内視鏡スコープ３の挿入工程よりも排出工程の方が内視鏡スコープ３が管腔内を円滑に移動できる。そして、内視鏡検査の内視鏡スコープ３の挿入工程において生成された撮影画像Ｉｃよりも、内視鏡検査の内視鏡スコープ３の排出工程において生成された撮影画像Ｉｃの方が、より鮮明に管腔内を撮影した画像となる。よって、好適には、プロセッサ１１は、内視鏡検査の内視鏡スコープ３の排出工程において大腸の管腔を撮影した一連の撮影画像Ｉｃを撮影画像記憶部２０に記憶し、パノラマ画像Ｉｐの生成に用いるとよい。

注目箇所情報記憶部２１は、検査対象となる大腸の管腔において、検査上注目すべき箇所である注目箇所を示した情報（「注目箇所情報」とも呼ぶ。）を記憶する。注目箇所は、例えば、検査者により病変部位等として指定された部位、又は、病変部位等を検出するための画像解析プログラムにより検出された部位に相当する。なお、注目箇所は、病変部位に限らず、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、前回検査時における内視鏡スコープ３の挿入工程において先端部３４が管腔内の壁面に接触した（閊えた）箇所などであってもよい。注目箇所情報は、例えば、注目箇所を表わす撮影画像Ｉｃそのものであってもよく、当該撮影画像Ｉｃから注目箇所を切り取った部分画像であってもよく、注目箇所に重複又は最も近い管腔内の特徴点に関する情報であってもよい。特徴点の抽出方法等については、後述する。また、注目箇所情報は、病変部位などの異常部位であるか、又は、内視鏡スコープ３の挿入工程で接触した箇所であるか等の注目箇所の種別情報をさらに含んでもよい。

パノラマ画像記憶部２２は、プロセッサ１１が生成したパノラマ画像Ｉｐを記憶する。プロセッサ１１は、パノラマ画像Ｉｐの生成に必要な撮影画像Ｉｃが撮影画像記憶部２０に記憶された後、所定のタイミングにおいてパノラマ画像Ｉｐを生成し、生成したパノラマ画像Ｉｐを被検者の識別情報等と関連付けてパノラマ画像記憶部２２に記憶する。また、パノラマ画像Ｉｐには、パノラマ画像Ｉｐの生成に用いた撮影画像Ｉｃの撮影日時（タイムスタンプ）に関する情報、及び、被検者の識別情報等が関連付けられているとよい。また、パノラマ画像記憶部２２は、パノラマ画像Ｉｐに加えて、パノラマ画像Ｉｐの生成時に各撮影画像Ｉｃから抽出された特徴点に関する情報をさらに記憶してもよい。この特徴点に関する情報は、例えば、管腔内の２点間の距離の算出において用いられる。

（４）機能ブロック
図３は、画像処理装置１の機能ブロック図である。図３に示すように、画像処理装置１のプロセッサ１１は、機能的には、取得部４１と、注目箇所情報生成部４２と、パノラマ画像生成部４３と、被撮影位置特定部４４と、距離算出部４５と、表示制御部４６と、を有する。

取得部４１は、インターフェース１３を介して内視鏡スコープ３が撮影した撮影画像Ｉｃを所定間隔により取得する。そして、取得部４１は、取得した撮影画像Ｉｃを、被検者の識別情報等と関連付けて撮影画像記憶部２０に記憶する。この場合、例えば、取得部４１は、入力部１４による入力情報等に基づき被検者の識別情報等を検査開始までに取得し、当該情報を内視鏡スコープ３から取得した撮影画像Ｉｃに付加するとよい。また、取得部４１は、取得した撮影画像Ｉｃを、表示制御部４６に供給する。この撮影画像Ｉｃは、表示装置２に即時に表示される。

さらに、取得部４１は、同一の被検者に対する過去の内視鏡検査において撮影された撮影画像Ｉｃが撮影画像記憶部２０に記憶されている場合には、取得した撮影画像Ｉｃを被撮影位置特定部４４に供給する。また、取得部４１は、注目箇所を指定する操作信号Ｓ１を内視鏡スコープ３から受信した場合、操作信号Ｓ１と同一タイミングにより内視鏡スコープ３から受信した撮影画像Ｉｃと当該操作信号Ｓ１とを、注目箇所情報生成部４２に供給する。

注目箇所情報生成部４２は、取得部４１から供給される撮影画像Ｉｃと、操作信号Ｓ１とに基づき、注目箇所情報を生成し、生成した注目箇所情報を注目箇所情報記憶部２１に記憶する。例えば、注目箇所情報生成部４２は、操作信号Ｓ１と共に内視鏡スコープ３から供給された撮影画像Ｉｃは病変部位などの注目箇所を表していると判断し、当該撮影画像Ｉｃを注目箇所情報として注目箇所情報記憶部２１に記憶する。他の例では、注目箇所情報生成部４２は、取得部４１から供給される撮影画像Ｉｃに対し、病変部位等を検出するための画像解析プログラムを実行する。そして、注目箇所情報生成部４２は、撮影画像Ｉｃにおいて病変部位等の注目箇所を検出した場合、検出した注目箇所を示す注目箇所情報を、注目箇所情報記憶部２１に記憶する。この場合の注目箇所情報は、注目箇所が検出された撮影画像Ｉｃそのものであってもよく、注目箇所を表す特徴量の情報であってもよい。ここで、病変部位等を検出するための画像解析プログラムは、例えば、異常検知（所謂アノマリーディテクション）に用いられる任意のアルゴリズムに基づくプログラムであってもよい。

さらに別の例では、注目箇所情報生成部４２は、内視鏡スコープ３の挿入工程において内視鏡スコープ３の先端部３４の閊え（壁面への接触）が生じた箇所（「接触箇所」とも呼ぶ。）を注目箇所として検出する。そして、注目箇所情報生成部４２は、検出した注目箇所を示す注目箇所情報を注目箇所情報記憶部２１に記憶する。この場合、注目箇所情報生成部４２は、撮影画像Ｉｃに対する画像解析により接触箇所を検出してもよく、先端部３４に接触センサ等が設けられている場合には、当該センサにより接触箇所を検出してもよい。例えば、注目箇所情報生成部４２は、前者の場合、先端部３４の閊えが生じた際に撮影された撮影画像Ｉｃを注目箇所情報とし、後者の場合、センサが接触を検知したときに生成された撮影画像Ｉｃを注目箇所情報とする。

なお、好適には、注目箇所情報生成部４２は、検出した注目箇所の種別の情報を注目箇所情報に含めるとよい。例えば、注目箇所情報生成部４２は、上述の画像解析又は接触センサの出力等に基づき、接触箇所を検出した場合には、接触箇所であることを示す識別情報を、生成する注目箇所情報に含める。同様に、注目箇所情報生成部４２は、操作信号Ｓ１又は異常を検出する画像解析プログラムに基づき、病変部位（又はそれに準ずる異常部位）が存在すると判断した場合には、病変部位であることを示す識別情報を、生成する注目箇所情報に含める。

パノラマ画像生成部４３は、撮影画像記憶部２０に記憶された撮影画像Ｉｃに基づき、対象の被検者の大腸の管腔全体を平面状に展開したパノラマ画像Ｉｐを生成する。パノラマ画像生成部４３によるパノラマ画像Ｉｐの生成処理の詳細については後述する。パノラマ画像生成部４３は、生成したパノラマ画像Ｉｐをパノラマ画像記憶部２２に記憶する。このとき、パノラマ画像生成部４３は、例えば、パノラマ画像Ｉｐの生成に用いた撮影画像Ｉｃの撮影日時、及び、被検者を識別する情報等をパノラマ画像Ｉｐに関連付けて記憶する。

ここで、パノラマ画像Ｉｐの生成タイミングについて補足説明する。例えば、パノラマ画像生成部４３は、内視鏡検査の撮影工程において撮影された一連の撮影画像Ｉｃが撮影画像記憶部２０に記憶された後、直ちにこれらの撮影画像Ｉｃに基づきパノラマ画像Ｉｐを生成する。他の例では、パノラマ画像生成部４３は、表示制御部４６からパノラマ画像Ｉｐの生成指示があった場合に、撮影画像記憶部２０から対象の被検者の撮影画像Ｉｃを取得し、パノラマ画像Ｉｐを生成する。後者の例では、パノラマ画像生成部４３は、表示制御部４６からのパノラマ画像Ｉｐの生成指示に基づきパノラマ画像Ｉｐを生成後、生成したパノラマ画像Ｉｐを表示制御部４６へ直接供給してもよい。

被撮影位置特定部４４は、対象の被検者に対する最新の撮影画像Ｉｃと、当該被検者の管腔を表したパノラマ画像Ｉｐとに基づき、パノラマ画像Ｉｐにおける現在の被撮影位置を特定する。被撮影位置特定部４４は、例えば、この場合、取得部４１から供給される撮影画像Ｉｃと、上述のパノラマ画像Ｉｐとの照合（マッチング）を行い、撮影画像Ｉｃに対応するパノラマ画像Ｉｐ中の領域を特定する。そして、被撮影位置特定部４４は、撮影画像Ｉｃに対応するパノラマ画像Ｉｐ中の領域を示す情報を、第１被撮影位置情報「Ｉｔｇ１」として表示制御部４６に供給する。

撮影画像Ｉｃとパノラマ画像Ｉｐとの照合について補足説明する。被撮影位置特定部４４は、例えば、パノラマ画像Ｉｐと同様に、撮影画像Ｉｃを管腔の壁面を展開した画像に変換し、変換後の画像とパノラマ画像Ｉｐとで上述の照合を行う。この場合、被撮影位置特定部４４は、パノラマ画像Ｉｐと撮影画像Ｉｃとの特徴点をそれぞれ抽出し、特徴点のマッチングを行うことで、撮影画像Ｉｃに対応するパノラマ画像Ｉｐ中の領域を特定する。特徴点の抽出及び特徴点のマッチングの具体的な処理は、後述するパノラマ画像生成処理及び距離算出処理において説明する。

距離算出部４５は、撮影画像Ｉｃに基づき、被検者の管腔内の任意の２点間の距離を算出する。被撮影位置特定部４４が算出する２点間の距離は、管腔に沿った距離を指すものとする。本実施形態では、距離算出部４５は、管腔内の２点間の距離として、内視鏡スコープ３の挿入位置（即ち肛門の位置）、内視鏡スコープ３による被撮影位置、病変部位や接触箇所などの注目箇所から選択される任意の２点間の距離を算出する。距離算出部４５による２点間の距離の算出方法については、後述する。距離算出部４５は、算出した距離を示す情報を、第２被撮影位置情報「Ｉｔｇ２」として表示制御部４６に供給する。

表示制御部４６は、内視鏡検査に関する表示信号を生成し、生成した表示信号を表示装置２に供給することで、内視鏡検査に関する画面を表示装置２に表示する。具体的には、表示制御部４６は、被検者に対応するパノラマ画像Ｉｐをパノラマ画像記憶部２２から取得し、取得したパノラマ画像Ｉｐを、表示装置２に表示する。この場合、表示制御部４６は、被撮影位置特定部４４から受信する第１被撮影位置情報Ｉｔｇ１に基づき、パノラマ画像Ｉｐ上において被撮影位置を対応付けて表示する。また、表示制御部４６は、距離算出部４５から受信する第２被撮影位置情報Ｉｔｇ２に基づき、内視鏡スコープ３の挿入位置から被撮影位置までの距離等をパノラマ画像Ｉｐに対応付けて表示する。また、表示制御部４６は、注目箇所情報記憶部２１を参照し、検査者が注目又は注意すべき注目箇所をパノラマ画像Ｉｐ上において強調表示する。その他、表示制御部４６は、検査者の作業を補助するための種々の表示を行う。具体的な表示装置２の表示例については、後述する。なお、被検者に対する内視鏡検査が過去に行われておらず、表示すべきパノラマ画像Ｉｐを取得できない場合には、表示制御部４６は、取得部４１から供給される撮影画像Ｉｃを、表示装置２に表示する。また、被検者に対する内視鏡検査が過去に複数回行われていた場合には、表示制御部４６は、対象の被検者に対する直前の内視鏡検査において生成された撮影画像Ｉｃに基づくパノラマ画像Ｉｐを、表示装置２に表示するとよい。

（５）表示例
次に、表示制御部４６が実行する処理の詳細について、図４～図７を参照して説明する。

図４は、内視鏡検査において表示制御部４６が生成する表示信号に基づき表示装置２が表示する画面の第１表示例である。第１表示例は、過去に内視鏡検査を行った被検者に対して再び内視鏡検査を行う際の表示装置２の表示画面を示している。

第１表示例では、表示制御部４６は、同一被検者に対する前回の内視鏡検査の撮影画像Ｉｃに基づき生成されたパノラマ画像Ｉｐを、表示装置２に表示させる。ここで、パノラマ画像Ｉｐは、被検者の大腸の内壁を展開した大域的な画像となる。また、表示制御部４６は、パノラマ画像Ｉｐと共に、現在の内視鏡検査においてリアルタイムに内視鏡スコープ３が生成する撮影画像Ｉｃを取得し、表示装置２に表示させる。

また、第１表示例では、表示制御部４６は、現在の被撮影位置を示す被撮影位置マーク５０と、１回目の内視鏡検査において検出された注目箇所（ここでは病変部位）を示す病変部位マーク５１と、管腔に沿った２点間の距離を示す距離情報６０とを、パノラマ画像Ｉｐに対応付けて表示する。

この場合、表示制御部４６は、被撮影位置特定部４４が生成する第１被撮影位置情報Ｉｔｇ１に基づき、被撮影位置特定部４４がパノラマ画像Ｉｐ上で特定した被撮影位置を囲む被撮影位置マーク５０を、パノラマ画像Ｉｐ上に表示する。ここでは、一例として、表示制御部４６は、内視鏡スコープ３から即時に取得された撮影画像Ｉｃのパノラマ画像Ｉｐでの対応部分を包含する最小の矩形を、被撮影位置マーク５０としてパノラマ画像Ｉｐ上に表示する。また、距離算出部４５は、表示するパノラマ画像Ｉｐの生成に用いた一連の撮影画像Ｉｃを撮影画像記憶部２０から取得し、内視鏡スコープ３の挿入位置（即ち肛門）から被撮影位置までの距離（ここでは０．４ｍ）を算出する。そして、表示制御部４６は、距離算出部４５が生成した第２被撮影位置情報Ｉｔｇ２に基づき、内視鏡スコープ３の挿入位置から被撮影位置までの距離を示す距離情報６０を、パノラマ画像Ｉｐに対応付けて表示する。

このように、表示制御部４６は、パノラマ画像Ｉｐに対応付けて被撮影位置マーク５０を表示することで、大腸全体における現在の被撮影位置を好適に検査者に認識させることができる。また、表示制御部４６は、内視鏡スコープ３の挿入位置（即ち肛門）から被撮影位置までの距離（ここでは０．４ｍ）を表示することで、現在の被撮影位置をより的確に検査者に把握させることができる。

また、表示制御部４６は、対象の被検者に対する前回の内視鏡検査時に生成された注目箇所（ここでは病変部位）を示す注目箇所情報を注目箇所情報記憶部２１から参照し、当該病変部位を囲む病変部位マーク５１を、パノラマ画像Ｉｐ上に表示する。ここでは、一例として、表示制御部４６は、注目箇所情報として記憶された撮影画像Ｉｃ等とパノラマ画像Ｉｐとを照合することで対象の病変部位を特定し、特定した病変部位を囲む最小の矩形を、病変部位マーク５１としてパノラマ画像Ｉｐ上に表示する。また、距離算出部４５は、パノラマ画像Ｉｐの生成に用いた撮影画像Ｉｃを撮影画像記憶部２０から取得し、被撮影位置から注目箇所である病変部位までの距離（ここでは０．７ｍ）を算出する。そして、表示制御部４６は、距離算出部４５が生成した第２被撮影位置情報Ｉｔｇ２に基づき、被撮影位置から注目箇所である病変部位までの距離を示す距離情報６０を、パノラマ画像Ｉｐに対応付けて表示する。

このように、表示制御部４６は、パノラマ画像Ｉｐに対応付けて被撮影位置マーク５０と共に病変部位マーク５１を表示することで、大腸全体における現在の被撮影位置と注目箇所（病変部位）との相対位置関係を好適に検査者に認識させることができる。また、表示制御部４６は、被撮影位置から注目箇所である病変部位までの距離（ここでは０．７ｍ）を表示することで、被撮影位置を病変部位に到達させるための目安を検査者に好適に提供することができる。なお、図４に示す表示は、車両等に対する経路案内に用いられる表示と同等の機能を有し、内視鏡スコープ３に対するナビゲーションに好適に寄与する。この場合、パノラマ画像Ｉｐは、検査対象となる大腸全体を表した地図に相当し、被撮影位置マーク５０は、現在位置マークに相当し、病変部位マーク５１は、目的地又は経由地のマークに相当する。

図５は、表示制御部４６が生成する表示信号に基づき表示装置２が表示する画面の第２表示例である。第２表示例は、過去に内視鏡検査を行った被検者に対して再び内視鏡検査を行う際の表示装置２の表示画面を示している。

第２表示例では、表示制御部４６は、第１表示例と同様に被撮影位置マーク５０及び病変部位マーク５１をパノラマ画像Ｉｐに対応付けて表示すると共に、同一被検者に対する前回の検査時において検出された接触箇所を示す接触箇所マーク５２を、パノラマ画像Ｉｐに対応付けて表示している。

この場合、表示制御部４６は、被検者の前回の検査時に生成された注目箇所情報を注目箇所情報記憶部２１から抽出する。そして、この場合、抽出された注目箇所情報は、夫々病変部位と接触箇所とを表しており、表示制御部４６は、これらの注目箇所情報とパノラマ画像Ｉｐとの照合等により、パノラマ画像Ｉｐ上での病変部位と接触箇所とを夫々特定する。そして、表示制御部４６は、特定した病変部位を囲む病変部位マーク５１と共に、特定した接触箇所を囲む接触箇所マーク５２を、パノラマ画像Ｉｐに対応付けて表示する。また、距離算出部４５は、撮影画像記憶部２０に記憶された同一被検者の前回の検査時に生成された撮影画像Ｉｃを参照し、内視鏡スコープ３の挿入位置から被撮影位置までの距離（０．４ｍ）、被撮影位置から接触箇所までの距離（０．２ｍ）、接触箇所から病変部位までの距離（０．５ｍ）をそれぞれ算出する。そして、表示制御部４６は、距離算出部４５が算出したこれらの距離を示す距離情報６０を、パノラマ画像Ｉｐに対応付けて表示する。

このように、表示制御部４６は、前回の検査の挿入工程において内視鏡スコープ３の挿入が円滑に行われなかった接触箇所を特定し、接触箇所マーク５２によりパノラマ画像Ｉｐ上にて明示する。これにより、内視鏡スコープ３の挿入において注意が必要な箇所を好適に検査者に認識させることができる。また、表示制御部４６は、上記の接触箇所と被撮影位置との距離等をパノラマ画像Ｉｐに対応付けて表示することで、上記の接触箇所と被撮影位置との位置関係をより的確に検査者に認識させることができる。

また、第２表示例では、表示制御部４６は、接触箇所と被撮影位置との距離が予め定めた所定の閾値（例えば０．２ｍ）以下となったことを検知し、被撮影位置が当該接触箇所に近づいている旨の警告を示すテキスト情報６１を、表示装置２に表示させる。これにより、表示制御部４６は、接触箇所に先端部３４が近づいていることを好適に検査者に知らせ、内視鏡スコープ３の挿入作業の注意喚起を行うことができる。また、表示制御部４６は、テキスト情報６１の表示に加えて、音出力部１６によりテキスト情報６１と同様の内容を音声出力してもよい。

なお、表示制御部４６は、病変部位と被撮影位置との距離が所定の閾値以下となった場合においても、被撮影位置が病変部位に近づいている旨の警告を示すテキスト情報を、表示装置２に表示させてもよい。上述の閾値は、例えば警告が検査者に対して最適なタイミングとなるように実験等に基づき予め定められる。これにより、表示制御部４６は、病変部位の見逃し等を確実に抑制することができる。上述の表示に加えて、表示制御部４６は、音出力部１６により被撮影位置が病変部位に近づいている旨の警告を音声出力してもよい。

図６は、表示制御部４６が生成する表示信号に基づき表示装置２が表示する第３表示例である。第３表示例は、過去に内視鏡検査を行った被検者に対して再び内視鏡検査を行う際の、内視鏡スコープ３の挿入工程での表示装置２の表示画面を示している。

表示制御部４６は、第１表示例及び第２表示例と同様に被撮影位置マーク５０及び病変部位マーク５１をパノラマ画像Ｉｐに対応付けて表示すると共に、先端部３４に内蔵された撮影部の向き（視線方向）を示す撮影方向矢印６２を矩形６３内に表示している。ここで、撮影方向矢印６２は、管腔の中心方向（即ち管腔の延伸方向）に対する撮影部の撮影方向のずれを示す。具体的には、撮影方向矢印６２の向きは、管腔の中心方向に対する撮影部の撮影方向のずれの方向を示し、撮影方向矢印６２の長さは、当該ずれの大きさを示す。なお、撮影方向矢印６２を囲む矩形６３の横方向及び縦方向は、例えば、操作部３２のダイヤル部で先端部３４の向きを調整する２軸を示すＸ軸、Ｙ軸に夫々対応してもよく、撮影画像Ｉｃの横方向及び縦方向に対応してもよい。なお、撮影画像Ｉｃの縦方向及び横方向は、上述の先端部３４の向きを調整するＸ軸及びＹ軸と夫々同一方向であってもよい。

そして、表示制御部４６は、管腔の中心方向に対する撮影部の撮影方向のずれを、例えば、内視鏡スコープ３から得られる最新の撮影画像Ｉｃに対して画像解析することで算出する。この場合、表示制御部４６は、例えば、管腔内の最遠点を検出し、最遠点の位置に基づき管腔の中心方向に対する撮影部の撮影方向のずれを推定する。そして、表示制御部４６は、算出したずれに基づき、撮影方向矢印６２の向き及び大きさを決定する。なお、矩形６３の横方向及び縦方向が撮影画像Ｉｃの横方向及び縦方向に対応しない場合には、表示制御部４６は、撮影画像Ｉｃから算出した撮影部の撮影方向のずれを、矩形６３の横方向及び縦方向を基準としたずれに変換後、撮影方向矢印６２の向き及び大きさを決定する。この場合、表示制御部４６は、例えば、撮影画像Ｉｃの縦方向及び横方向を基準としたずれを矩形６３の横方向及び縦方向を基準としたずれに変換するための情報を予め記憶しておく。

さらに、第３表示例では、表示制御部４６は、管腔の壁面と先端部３４とが所定距離以内に近づいていることを検知し、先端部３４が壁面に近づき過ぎている旨の警告を示すテキスト情報６４を表示装置２に表示している。このとき、表示制御部４６は、先端部３４が壁面に近づき過ぎている旨の警告に加えて、操作部３２での具体的な操作を指示する指示情報（「Ｘ方向のダイヤルをプラス方向に回して下さい」）を含むテキスト情報６４を、表示装置２に表示している。

この場合、表示制御部４６は、内視鏡スコープ３から得られる最新の撮影画像Ｉｃに対して公知の画像解析を行うことで、先端部３４と撮影画像Ｉｃに表示されている壁面との距離を算出し、当該距離が予め定めた閾値以下の場合に上述の警告を出力する。上述の閾値は、例えば実験等に基づき予め定められる。なお、先端部３４に撮影部以外のセンサ（近接センサなど）が設けられている場合には、表示制御部４６は、当該センサの出力に基づき上述の距離を算出してもよい。また、この場合、表示制御部４６は、例えば、撮影方向矢印６２が示す方向と反対方向へ先端部３４の向きを調整する旨を指示する指示情報を、テキスト情報６４の一部として表示する。なお、表示制御部４６は、テキスト情報６４の表示に加えて、テキスト情報６４と同等の内容を音出力部１６により音声出力してもよい。

このように、第３表示例では、表示制御部４６は、現在の撮影方向のずれを撮影方向矢印６２により示すことで、検査者による内視鏡スコープ３の挿入作業を好適に支援することができる。また、表示制御部４６は、先端部３４が壁面に近づいていることを検知した場合に、その旨の警告及び内視鏡スコープ３に対する操作に関する指示情報を出力することで、検査者による内視鏡スコープ３の挿入作業を円滑に実行させることができる。

図７は、表示制御部４６が生成する表示信号に基づき表示装置２が表示する第４表示例である。第４表示例は、過去に内視鏡検査を行った被検者に対する内視鏡検査時での表示装置２の表示画面を示している。

第４表示例では、表示制御部４６は、過去の内視鏡検査において生成された撮影画像Ｉｃに基づくパノラマ画像Ｉｐを表示すると共に、今回の内視鏡検査において生成された撮影画像Ｉｃに基づくパノラマ画像（「第２パノラマ画像Ｉｐ２」とも呼ぶ。）を表示装置２に表示している。この場合、パノラマ画像生成部４３は、今回の検査において生成された撮影画像Ｉｃを撮影画像記憶部２０から抽出し又は取得部４１から直接取得し、当該撮影画像Ｉｃに対して後述するパノラマ画像生成処理を行うことで、第２パノラマ画像Ｉｐ２を生成する。この場合、パノラマ画像生成部４３は、例えば、所定の時間間隔ごとに、パノラマ画像生成処理を行い、表示装置２に表示させる第２パノラマ画像Ｉｐ２を更新する。第４表示例によれば、表示制御部４６は、過去の内視鏡検査における被検者の管腔内の状態と、現在の内視鏡検査における被検者の管腔内の状態とを好適に比較可能に検査者に提示することができる。

（６）全体処理概要
図８は、本実施形態において内視鏡検査時に画像処理装置１が実行する表示処理の概要を示すフローチャートの一例である。画像処理装置１は、図８の処理を、例えば、内視鏡検査において内視鏡スコープ３の挿入工程又は排出工程が開始される場合に実行する。この場合、画像処理装置１は、例えば、入力部１４又は操作部３２への所定の入力があった場合に、図８の処理を開始すべきと判定する。

まず、画像処理装置１は、現在行われる内視鏡検査の被検者に対する前回検査時の撮影画像Ｉｃが撮影画像記憶部２０に記憶されているか否か判定する（ステップＳ１００）。そして、同一の被検者に対する前回検査時の撮影画像Ｉｃが撮影画像記憶部２０に記憶されている場合（ステップＳ１００；Ｙｅｓ）、パノラマ画像生成部４３は、パノラマ画像生成処理を実行する（ステップＳ１０１）。これにより、パノラマ画像生成部４３は、前回検査時の撮影工程で得られた一連の撮影画像Ｉｃに基づき、被検者の大腸の管腔を展開した大域的なパノラマ画像Ｉｐを生成する。なお、パノラマ画像生成部４３は、前回検査後から今回検査までの任意のタイミングにおいてステップＳ１０１のパノラマ画像生成処理を行い、生成したパノラマ画像Ｉｐをパノラマ画像記憶部２２に記憶してもよい。

次に、取得部４１は、内視鏡スコープ３からリアルタイムで得られる撮影画像Ｉｃを取得し、取得した撮影画像Ｉｃを撮影画像記憶部２０に記憶する（ステップＳ１０２）。そして、被撮影位置特定部４４は、内視鏡スコープ３から得られる最新の撮影画像Ｉｃと、ステップＳ１０１で生成されたパノラマ画像Ｉｐとの照合を行うことで、パノラマ画像Ｉｐ上での現在の被撮影位置を特定する（ステップＳ１０３）。また、距離算出部４５は、管腔内の２点間の管腔に沿った距離を算出する距離算出処理を実行する（ステップＳ１０４）。これにより、距離算出部４５は、内視鏡スコープ３の挿入位置から被撮影位置までの距離、被撮影位置から注目箇所までの距離などを算出する。

そして、表示制御部４６は、ステップＳ１０３及びステップＳ１０４での処理結果と、ステップＳ１０１で生成されたパノラマ画像Ｉｐとに基づき、現在の被撮影位置及び注目箇所等をパノラマ画像Ｉｐに対応付けて表示装置２に表示させる（ステップＳ１０５）。これにより、表示制御部４６は、現在の被撮影位置及び注目箇所の管腔全体における位置関係を、好適に検査者に認識させることができる。

そして、表示制御部４６は、注目箇所に被撮影位置が所定距離以内に接近したか否か判定する（ステップＳ１０６）。そして、表示制御部４６は、注目箇所に被撮影位置が所定距離以内に接近したと判定した場合（ステップＳ１０６；Ｙｅｓ）、注目箇所に被撮影位置が接近している旨の警告を出力する（ステップＳ１０７）。この場合、表示制御部４６は、表示装置２により上記警告を表示してもよく、音出力部１６により上記警告を音声出力してもよい。

そして、ステップＳ１０７を終了した場合、又は、注目箇所に被撮影位置が所定距離以内に接近していない場合（ステップＳ１０６；Ｎｏ）、画像処理装置１は、進行されていた内視鏡検査が終了したか否か判定する（ステップＳ１０８）。例えば、画像処理装置１は、入力部１４又は操作部３２への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１０８；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１０８；Ｎｏ）、ステップＳ１０２へ処理を戻す。そして、画像処理装置１は、再びステップＳ１０２～ステップＳ１０７の処理を実行する。

一方、ステップＳ１００において、同一の被検者に対する前回検査時の撮影画像Ｉｃが撮影画像記憶部２０に存在しない場合（ステップＳ１００；Ｎｏ）、取得部４１は、内視鏡スコープ３からリアルタイムに供給される撮影画像Ｉｃを取得し、取得した撮影画像Ｉｃを撮影画像記憶部２０に記憶する（ステップＳ１０９）。また、表示制御部４６は、取得部４１が取得した撮影画像Ｉｃを表示装置２に表示させる。

そして、注目箇所情報生成部４２は、内視鏡スコープ３から取得部４１が取得する撮影画像Ｉｃに対する画像解析結果、又は、内視鏡スコープ３から供給される操作信号Ｓ１等に基づき、注目箇所が存在するか否か判定する（ステップＳ１１０）。そして、注目箇所情報生成部４２は、注目箇所が存在すると判定した場合（ステップＳ１１０；Ｙｅｓ）、当該注目箇所に対応する注目箇所情報を生成し、生成した注目箇所情報を注目箇所情報記憶部２１に記憶する（ステップＳ１１１）。

そして、ステップＳ１１１の処理が終了した場合、又は、注目箇所が存在しない場合（ステップＳ１１０；Ｎｏ）、画像処理装置１は、進行している内視鏡検査が終了したか否か判定する（ステップＳ１１２）。例えば、画像処理装置１は、入力部１４又は操作部３２への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１１２；Ｙｅｓ）、フローチャートの処理を終了する。一方、内視鏡検査が終了していない場合（ステップＳ１１２；Ｎｏ）、画像処理装置１は、引き続きステップＳ１０９～ステップＳ１１１の処理を実行する。

（７）パノラマ画像生成処理
次に、図８のステップＳ１０１においてパノラマ画像生成部４３が実行するパノラマ画像生成処理について具体的に説明する。

図９は、パノラマ画像生成部４３が実行するパノラマ画像生成処理のフローチャートの一例である。パノラマ画像生成部４３は、図８のステップＳ１０１において図９のフローチャートの処理を実行する。

例えば、パノラマ画像生成部４３は、前回検査時における撮影工程（即ち内視鏡スコープ３の挿入工程又は排出工程）において得られた一連の撮影画像Ｉｃを撮影画像記憶部２０から取得する（ステップＳ２００）。次に、パノラマ画像生成部４３は、パノラマ画像Ｉｐの生成に使用する画像を、ステップＳ２００で取得した撮影画像Ｉｃから選択する（ステップＳ２０１）。この場合、例えば、パノラマ画像生成部４３は、画像が入力された場合に当該画像にボケやブレなどが存在するか否かの推論結果を出力するように構成された推論器に、ステップＳ２００で取得した各撮影画像Ｉｃを入力する。そして、パノラマ画像生成部４３は、ボケやブレなどが存在しないと推論器により推論された画像を、パノラマ画像Ｉｐの生成に使用する画像として選択する。この場合、上述の推論器に必要なパラメータは、例えば、深層学習に基づく学習モデルの学習を行うことで予め生成され、メモリ１２等に記憶される。

次に、パノラマ画像生成部４３は、ステップＳ２０１で選択した撮影画像Ｉｃの展開を行う（ステップＳ２０２）。例えば、パノラマ画像生成部４３は、撮影画像Ｉｃにおいて視点位置から最も離れた位置に相当する最遠点を検出し、当該最遠点を中心として極座標変換を行うことで、撮影画像Ｉｃを展開した画像（「展開画像」とも呼ぶ。）を生成する。

次に、パノラマ画像生成部４３は、ステップＳ２０２で生成された各展開画像に対して特徴点の抽出処理を行う（ステップＳ２０３）。例えば、パノラマ画像生成部４３は、ＡＫＡＺＥ、ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＳＫなどの任意の特徴抽出アルゴリズムを用いて、各展開画像中の特徴点を抽出する。

そして、パノラマ画像生成部４３は、展開画像間の特徴点のマッチングを行う（ステップＳ２０４）。この場合、パノラマ画像生成部４３は、展開画像間において同じ特徴量を有する特徴点を検出し、これらの特徴点の組み合わせを同一点とみなすことで、展開画像間における特徴点の対応を認識する。この場合、パノラマ画像生成部４３は、例えば、ＲＡＮＳＡＣやＫ－ＮｅａｒｅｓｔＮｅｇｈｂｏｒなどの種々の特徴点マッチング手法を用いて、展開画像間における特徴点のマッチングを行う。

そして、パノラマ画像生成部４３は、ステップＳ２０４での特徴点のマッチング結果に基づき、ステップＳ２０２で生成した全ての展開画像を結合させることで、パノラマ画像Ｉｐを生成する（ステップＳ２０５）。この場合、パノラマ画像生成部４３は、マッチングした特徴点同士が重なるように、展開画像を非剛体変形することで、全ての展開画像を結合したパノラマ画像Ｉｐを生成する。

なお、パノラマ画像生成部４３が実行すべきパノラマ画像生成処理は、図９に示す処理に限定されず、管腔臓器又はこれと同等の構造を有する筒状構造体の内部を撮影した環状画像をパノラマ画像に変換する処理であればよい。例えば、特開２０１３－８４１５６号公報には、環状画像をパノラマ画像に変換する処理が開示されている。

（８）距離算出処理
次に、図８のステップＳ１０１において距離算出部４５が実行する距離算出処理について具体的に説明する。

図１０は、距離算出部４５が実行する距離算出処理のフローチャートの一例である。パノラマ画像生成部４３は、図８のステップＳ１０４において図１０のフローチャートの処理を実行する。

まず、距離算出部４５は、距離を算出する２点間の撮影画像Ｉｃを、前回の内視鏡検査にて生成された一連の撮影画像Ｉｃを記憶する撮影画像記憶部２０から取得する（ステップＳ３００）。この場合、例えば、距離算出部４５は、距離を算出する対象となる２点の各点を夫々撮影範囲とする撮影画像Ｉｃと、これらの撮影画像Ｉｃの間において生成された他の撮影画像Ｉｃとを、撮影画像記憶部２０から取得する。

例えば、内視鏡スコープ３の挿入位置から被撮影位置までの距離を算出する場合について考察する。この場合、距離算出部４５は、内視鏡スコープ３の挿入位置を撮影範囲とする撮影画像Ｉｃと、現在行われている内視鏡検査で得られる最新の撮影画像Ｉｃに対応する撮影画像Ｉｃとを、前回の内視鏡検査で生成された一連の撮影画像Ｉｃから夫々特定する。そして、距離算出部４５は、特定した２つの撮影画像Ｉｃ及びこれらの間に生成された撮影画像Ｉｃを、距離を算出する２点間の撮影画像Ｉｃとして、撮影画像記憶部２０から取得する。

なお、距離算出部４５は、内視鏡スコープ３の挿入位置から被撮影位置までの距離を算出する場合、前回の内視鏡検査で生成された撮影画像Ｉｃを取得する代わりに、現在行われている内視鏡検査で生成された撮影画像Ｉｃを取得してもよい。この場合、距離算出部４５は、現在の内視鏡検査の開始から現在までに取得された撮影画像ＩｃをステップＳ３００において取得する。この場合であっても、距離算出部４５は、内視鏡スコープ３の挿入位置から被撮影位置までの距離を算出することができる。

次に、距離算出部４５は、図９に示すパノラマ画像生成処理のステップＳ２０１～ステップＳ２０４と同一処理を、ステップＳ３００で取得した撮影画像Ｉｃに対して実行する。具体的には、距離算出部４５は、距離算出に使用する画像（即ちブレ等が生じていない画像）を、ステップＳ３００で取得した撮影画像Ｉｃから選択する（ステップＳ３０１）。次に、距離算出部４５は、ステップＳ３０１で選択した撮影画像Ｉｃの展開を行う（ステップＳ３０２）。そして、距離算出部４５は、ステップＳ３０２で生成された各展開画像に対して特徴点の抽出処理を行う（ステップＳ３０３）。そして、距離算出部４５は、展開画像間において同じ特徴量を有する特徴点を特徴点マッチング手法によりマッチングを行い、展開画像間における対応を認識する（ステップＳ３０４）。

なお、例えば、パノラマ画像生成部４３は、パノラマ画像生成処理のステップＳ２０１～ステップＳ２０４での処理結果（例えば、展開画像、特徴点の情報及び特徴点のマッチング結果）を、撮影画像記憶部２０に記憶する各撮影画像Ｉｃと関連付けて記憶してもよい。この場合、距離算出部４５は、ステップＳ３０１～ステップＳ３０４の各処理を実行する代わりに、パノラマ画像生成部４３が撮影画像Ｉｃに関連付けて記憶した処理結果を参照することで、ステップＳ３０１～ステップＳ３０４の処理結果を得ることができる。

次に、距離算出部４５は、ステップＳ３０３で抽出された特徴点に対して、近傍特徴点の探索及び接続を行う（ステップＳ３０５）。この場合、距離算出部４５は、各展開画像の特徴点について、近傍となる特徴点の探索を行い、近傍となる特徴点同士を接続するリンクを設ける。この処理の詳細については、図１１を参照して後述する。

次に、距離算出部４５は、各特徴点の３次元空間上での撮影部からの距離を算出する（ステップＳ３０６）。この場合、距離算出部４５は、例えば機械学習を用いた深さ推定アルゴリズムに基づき、各特徴点の３次元空間上での撮影部からの距離を算出する。この処理の詳細については、図１２を参照して説明する。

そして、距離算出部４５は、ステップＳ３０６で接続された特徴点間の３次元空間上での相対ベクトルを、ステップＳ３０２で取得した展開画像と、撮影部のパラメータと、ステップＳ３０６で算出した各特徴点の距離と、に基づき算出する（ステップＳ３０７）。この処理の詳細については、図１３及び図１４を参照して説明する。

次に、距離算出部４５は、距離を算出する２点間の最短経路の探索を行う（ステップＳ３０８）。この場合、距離算出部４５は、距離を算出する２点間に存在する特徴点間のリンクを繋ぎ合わせることで、距離を算出する２点間の経路を形成し、経路を形成する各リンクに対応する相対ベクトル長の合計が最小となる経路を、最短経路として決定する。そして、距離算出部４５は、最短経路を形成する各リンクに対応する相対ベクトル長の合計値を、求めるべき２点間の距離として算出する（ステップＳ３０９）。ステップＳ３０８及びステップＳ３０９の処理の詳細については、図１５及び図１６を参照して説明する。

ここで、ステップＳ３０５の近傍特徴点の探索及び接続について、図１１（Ａ）～（Ｃ）を参照して説明する。図１１（Ａ）は、あるパノラマ画像Ｉｐから生成した展開画像上において、ステップＳ３０３で抽出された特徴点「Ｐ１」～「Ｐ６」を明示した図である。図１１（Ｂ）は、特徴点Ｐ２の近傍を拡大した画像である。

この場合、ステップＳ３０５では、距離算出部４５は、各特徴点Ｐ１～Ｐ６について、展開画像上において所定距離（所定画素）以内となる近傍特徴点の探索を行う。例えば、特徴点Ｐ２の近傍特徴点を探索する場合、図１１（Ｂ）に示すように、距離算出部４５は、特徴点Ｐ２を中心とした所定距離（矢印参照）を半径する円６８内に存在する特徴点を探索する。そして、この場合、距離算出部４５は、特徴点Ｐ１、Ｐ３、Ｐ４を、それぞれ特徴点Ｐ２の近傍特徴点とみなす。

図１１（Ｃ）は、近傍特徴点となる特徴点間を線で結んだ展開画像を示す。図１１（Ｃ）に示すように、距離算出部４５は、近傍特徴点となる特徴点間においてリンクを設ける。例えば、特徴点Ｐ２は、特徴点Ｐ１、Ｐ３、Ｐ４が近傍特徴点となるため、特徴点Ｐ２と特徴点Ｐ１、Ｐ３、Ｐ４との間に夫々リンクが設けられる。そして、距離算出部４５は、図１１（Ａ）～（Ｃ）に示した処理を、ステップＳ３０２で生成した全ての展開画像に対して実行する。

次に、ステップＳ３０６における、各特徴点の３次元空間上での撮影部からの距離の算出について説明する。図１２は、特徴点Ｐ１～Ｐ６の各々に対する３次元空間上での撮影部からの距離を明示した展開画像を示す。

距離算出部４５は、例えば、入力された画像に対して各画素（サブピクセルであってもよい）での撮影部からの距離を推論する推論器に対し、対象の展開画像を入力する。そして、距離算出部４５は、各特徴点に対応する各画素に対する推論器の推論値を参照することで、各特徴点の３次元空間上での撮影部からの距離を取得する。この推論器は、入力された画像に対して各画素に対する撮影部からの距離を推論するように学習された学習モデルであり、例えば深層学習に基づく学習モデルである。このような学習モデルを学習する場合、例えば、内視鏡科医の訓練に用いられる大腸ファントムを複眼カメラで撮影して算出した距離を正解データ、当該大腸ファントムを撮影した内視鏡画像を入力画像とし、これらの組合せを学習データとして用いる。なお、撮影された画像の各画素の深さ（距離）を推定する機械学習の手法は、ＤＯＲＮ（ＤｅｅｐＯｒｉｄｉｎａｌＲｅｇｒｅｓｓｉｏｎＮｅｔｗｏｒｋｆｏｒＭｏｎｏｃｕｌａｒＤｅｐｔｈＥｓｔｉｍａｔｉｏｎ）などが存在する。

次に、ステップＳ３０７における、特徴点間の３次元空間上での相対ベクトルの算出について、図１３及び図１４を参照して説明する。

図１３は、撮影画像Ｉｃの横方向又は縦方向のいずれか一方のみを考慮した場合の、撮影画像Ｉｃにおける長さ（距離）と実際の長さ（距離）との対応関係を示す図である。ここでは、撮影部の撮影範囲内に存在する棒状物体８１の長さを「Ｌ」、撮影画像Ｉｃ上における棒状物体８１の像８１ａの長さ（ピクセル数）を「Ｌａ」、撮影画像Ｉｃの幅（画素数）を「Ｓ」とする。また、撮像部から棒状物体８１までの距離を「Ｄ」、撮像部のレンズ毎に一意に定まる撮像部のパラメータである視野角（即ちｆｏｖ値）を「ｆｖ」とする。この場合、棒状物体８１の長さＬは、図１３に示す幾何学的な関係に基づき、以下の式（１）により表される。
Ｌ＝２Ｄ・ｔａｎ（ｆｖ／２）・（Ｌａ／Ｓ）（１）
なお、距離算出部４５は、撮像部の視野角ｆｖに代えて、撮像部の他のパラメータ（例えば焦点距離）を用いて、図１３に示す幾何学的関係に基づき、長さＬを同様に算出してもよい。

図１４（Ａ）は、図１２に示す展開画像において、一部の領域を画素と対応付けて示した図である。ここでは、説明便宜上、展開画像に平行かつ夫々垂直な「ｘ軸」及び「ｙ軸」、ｘ軸及びｙ軸に垂直な「ｚ軸」を定める。以後では、一例として、特徴点Ｐ５と特徴点Ｐ６とを結ぶリンクの相対ベクトル「Ｔ_５６＝（Ｔｘ、Ｔｙ、Ｔｚ）」のｘ方向、ｙ方向、ｚ方向の各成分「Ｔｘ」、「Ｔｙ」、「Ｔｚ」の算出方法について考察する。

まず、相対ベクトルＴ_５６のｚ方向成分Ｔｚは、以下の式（２）に示すように、相対ベクトルＴ_５６の始点及び終点である特徴点Ｐ５及び特徴点Ｐ６の深さ方向の距離「Ａｚ」及び「Ｂｚ」の差として求められる。
Ｔｚ＝Ｂｚ－Ａｚ（２）

ここで、相対ベクトルＴ_５６が通る画素「Ｐｘ１」に撮像された地点の、撮影部からの距離を「Ｄｐ」、相対ベクトルＴ_５６が対象の画素Ｐｘ１を横切るｘ、ｙ方向の長さを夫々「Ｒｘ」、「Ｒｙ」（０＜Ｒｘ、Ｒｙ＜１）（単位はピクセル）とする。図１４（Ｂ）は、相対ベクトルＴ_５６の長さＲｘ、Ｒｙを明示した画素Ｐｘ１の拡大図である。また、撮像部のｘ方向及びｙ方向のｆｏｖ値（視野角）を夫々「ｆｖｘ」、「ｆｖｙ」、撮像部のｘ方向及びｙ方向の幅（サイズ）を夫々「Ｓｘ」、「Ｓｙ」とする。

この場合、対象の画素Ｐｘ１上の相対ベクトルＴ_５６のｘ方向成分「Ｐｘ」及びｙ方向成分「Ｐｙ」は、夫々、式（１）に上記各記号を当てはめた以下の式（３）及び式（４）により表される。
Ｐｘ＝２Ｄｐ・ｔａｎ（ｆｖｘ／２）・（１／Ｓｘ）・Ｒｘ（３）
Ｐｙ＝２Ｄｐ・ｔａｎ（ｆｖｙ／２）・（１／Ｓｙ）・Ｒｙ（４）

そして、距離算出部４５は、相対ベクトルＴ_５６が横切る各画素に対してｘ方向成分Ｐｘ及びｙ方向成分Ｐｙを算出し、夫々足し合わせることにより、相対ベクトルＴ_５６のｘ方向成分Ｔｘ及びｙ方向成分Ｔｙを算出する。即ち、距離算出部４５は、以下の式（５）及び式（６）に従い、相対ベクトルＴ_５６のｘ方向成分Ｔｘ及びｙ方向成分Ｔｙを算出する。
Ｔｘ＝ΣＰｘ（５）
Ｔｙ＝ΣＰｙ（６）

このように、距離算出部４５は、展開画像と、撮像部のパラメータと、各特徴点の撮影部からの距離とに基づき、特徴点間の相対ベクトルの各成分Ｔｘ、Ｔｙ、Ｔｚを好適に算出することができる。

次に、ステップＳ３０８及びステップＳ３０９における最短経路の探索及び距離の算出について、図１５及び図１６を用いて説明する。

距離算出部４５は、設定した特徴点間のリンクに基づき、距離を求める２点間の最短経路を探索する。この場合、距離算出部４５は、ステップＳ３０４でマッチングされた展開画像間の特徴点については、同一点（即ち距離０で結合している）とみなす。

図１５は、挿入部６９から病変部位７０までの２点間の距離を算出する場合に使用する５枚の展開画像５４～５８の特徴点同士の対応関係を示した図である。図１５は、挿入部６９を被撮影対象とする展開画像５４と、挿入部６９から病変部位７０に至るまでの中間地点を被撮影対象とする展開画像５５～５７と、病変部位７０を被撮影対象とする展開画像５８とを夫々示している。

ここで、展開画像５４上の枠７１Ａ内の各特徴点は、展開画像５５の枠７１Ｂ内の各特徴点とステップＳ３０４のマッチング処理においてマッチングしている。よって、この場合、距離算出部４５は、枠７１Ａ内の各特徴点と枠７１Ｂ内の各特徴点とを、夫々、同一点（即ち距離０で結合している）とみなす。同様に、距離算出部４５は、展開画像５５の枠７２Ａ内の各特徴点と展開画像５６の枠７２Ｂ内の各特徴点とを同一点とみなし、展開画像５６の枠７３Ａ内の各特徴点と展開画像５７の枠７３Ｂ内の特徴点とを同一点とみなし、展開画像５７の枠７４Ａと展開画像５８の枠７４Ｂ内の特徴点とを同一点とみなす。

図１６（Ａ）は、挿入部６９から病変部位７０までの特徴点とこれらの特徴点間に設けられたリンクとを示す。距離算出部４５は、マッチングした特徴点を同一点とみなすことにより、図１６（Ａ）に示すように、挿入部６９から病変部位７０までの経路をグラフとして認識する。そして、距離算出部４５は、車両のナビゲーションなどにおいて用いられる任意の最短経路探索アルゴリズム（例えばダイクストラ法）を用いることで、挿入部６９から病変部位７０までの最短経路を算出する。この場合、例えば、距離算出部４５は、各リンクのコストを、対応する特徴点間の相対ベクトルのノルム（長さ）とみなし、２点間の経路を構成するリンクの合計コストが最小となる経路を、最短経路として探索する。

図１６（Ｂ）は、図１６（Ａ）において距離算出部４５が探索した最短経路「ＬＴ」を明示した図である。図１６（Ｃ）は、最短経路ＬＴを構成する各相対ベクトルの長さ（ノルム）「ｔ１」～「ｔ１３」を明示した図である。距離算出部４５は、最短経路ＬＴを構成する各リンクに対応する相対ベクトル長ｔ１～ｔ１３を加算することで、最短経路ＬＴの経路長を算出する。そして、距離算出部４５は、算出した経路長（＝「Σ_Ｎ＝１ ^１３（ｔ_Ｎ）」）を、挿入部６９から病変部位７０までの距離とする。

このように、距離算出部４５は、特徴点間の相対ベクトルの算出後、これらの特徴点を結ぶことで形成した２点間の経路のうち当該経路を構成する特徴点間の相対ベクトルの長さの和が最小となる経路の経路長を、２点間の距離として算出する。これにより、距離算出部４５は、管腔に沿った管腔内の任意の２点間の長さを、的確に算出することができる。

（９）変形例
次に、上述した実施形態の変形例について説明する。以後の変形例は、組み合わせて上述の実施形態に適用してもよい。

（変形例１）
表示制御部４６は、内視鏡スコープ３の挿入工程で得られた撮影画像Ｉｃに基づき生成したパノラマ画像Ｉｐを、内視鏡スコープ３の排出工程において表示装置２に表示させてもよい。

この場合、表示制御部４６は、排出工程において管腔内における処置を行う場合に、直前の挿入工程で得られた撮影画像Ｉｃに基づき、パノラマ画像Ｉｐを生成し、表示装置２に表示させる。この例では、過去の内視鏡検査において生成された撮影画像Ｉｃを用いずにパノラマ画像Ｉｐを生成するため、被検者に対する過去の内視鏡検査で得られた撮影画像Ｉｃを必要としない。従って、本変形例では、表示制御部４６は、被検者に対する最初の検査においても、排出工程において管腔内における処置を行う場合に、現在の被撮影位置及び病変部位等に関する情報を、パノラマ画像Ｉｐと対応付けて好適に表示することができる。

（変形例２）
撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２は、画像処理装置１とは別の記憶装置に記憶されてもよい。

図１７は、変形例２における内視鏡検査システム１００Ａの概略構成図である。なお、図１７では、簡潔化のため、表示装置２及び内視鏡スコープ３等を図示していない。図１７に示す内視鏡検査システム１００Ａは、撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２を記憶するサーバ装置４を備える。また、内視鏡検査システム１００Ａは、サーバ装置４とネットワークを介してデータ通信が可能な複数の画像処理装置１（１Ａ、１Ｂ、…）を備える。

この場合、各画像処理装置１は、ネットワークを介して撮影画像記憶部２０、注目箇所情報記憶部２１及びパノラマ画像記憶部２２の参照及び更新を行う。この場合、各画像処理装置１のインターフェース１３は、通信を行うためのネットワークアダプタなどの通信インターフェースを含む。この構成では、各画像処理装置１は、上述の実施形態と同様、撮影画像記憶部２０、注目箇所情報記憶部２１及びパノラマ画像記憶部２２の参照及び更新を好適に行うことができる。

また、図１７に示す内視鏡検査システム１００Ａでは、各画像処理装置１は、撮影画像記憶部２０、注目箇所情報記憶部２１及びパノラマ画像記憶部２２に記憶した情報を共有する。よって、同一被検者に対する１回目の内視鏡検査と２回目の内視鏡検査とが別の画像処理装置１を用いて行われた場合であっても、２回目の内視鏡検査において使用される画像処理装置１は、図４～図７に示す各表示を行うことができる。この場合、１回目の検査を行った画像処理装置１がパノラマ画像Ｉｐを生成してパノラマ画像記憶部２２に記憶し、２回目の検査を行う画像処理装置１が当該パノラマ画像Ｉｐをパノラマ画像記憶部２２から取得して図４～図７に示す各表示を行うこともできる。

（変形例３）
表示装置２は、画像処理装置１の一部であってもよい。この場合、画像処理装置１のプロセッサ１１は、表示装置２に相当する表示部に対し、図４～図７に示す画面を表示するための表示信号を供給する。また、表示装置２は、ディスプレイに限らず映像を投影するプロジェクタなどであってもよい。

（変形例４）
注目箇所情報記憶部２１が記憶する注目箇所情報に相当する情報は、撮影画像記憶部２０に記憶されてもよい。

例えば、撮影画像記憶部２０は、注目箇所に相当する撮影画像Ｉｃに対し、注目箇所である旨のフラグ情報を関連付けて記憶してもよい。この場合、注目箇所情報記憶部２１は存在しなくともよい。この態様であっても、プロセッサ１１は、撮影画像記憶部２０を参照することで、注目箇所の存在を好適に認識し、上述した実施形態と同様に表示装置２での表示等に反映することができる。

また、図３において、パノラマ画像生成部４３は、生成したパノラマ画像Ｉｐをパノラマ画像記憶部２２に記憶する代わりに、生成したパノラマ画像Ｉｐを表示制御部４６へ供給してもよい。この態様では、パノラマ画像記憶部２２は存在しなくともよい。

＜第２実施形態＞
図１８は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、パノラマ画像取得部４３Ｘと、表示制御部４６Ｘとを備える。

パノラマ画像取得部４３Ｘは、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の撮影画像Ｉｃに基づき、管腔内の壁面を平面状に展開したパノラマ画像Ｉｐを取得する。パノラマ画像取得部４３Ｘは、例えば、パノラマ画像生成処理を行うことでパノラマ画像Ｉｐを生成する第１実施形態のパノラマ画像生成部４３とすることができる。他の例では、パノラマ画像取得部４３Ｘは、他の装置により生成されたパノラマ画像Ｉｐを、当該他の装置又はパノラマ画像Ｉｐを記憶する記憶装置から取得してもよい。

表示制御部４６Ｘは、第２撮影工程における管腔の被撮影位置に関する被撮影位置情報を、パノラマ画像Ｉｐと対応付けて表示装置２に表示する。被撮影位置情報は、例えば、第１実施形態の第１被撮影位置情報Ｉｔｇ１又は第２被撮影位置情報Ｉｔｇ２若しくはこれらの両方とすることができる。

第２実施形態によっても、画像処理装置１Ｘは、第２撮影工程における管腔の被撮影位置を好適に検査者に把握させることができる。

その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、
第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部と、
を有する画像処理装置。

［付記２］
前記表示制御部は、前記内視鏡の挿入位置から前記被撮影位置までの距離を示す情報を、前記被撮影位置情報として前記表示装置に表示する、付記１に記載の画像処理装置。

［付記３］
前記第２撮影工程において撮影される画像に基づき、前記被撮影位置を特定する被撮影位置特定部をさらに有し、
前記表示制御部は、前記被撮影位置特定部が特定した被撮影位置を示すマークを、前記被撮影位置情報として前記パノラマ画像上に表示する、付記１または２に記載の画像処理装置。

［付記４］
前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出部をさらに備える、付記１～３のいずれか一項に記載の画像処理装置。

［付記５］
前記距離算出部は、入力された画像に対して当該画像の被撮影対象の撮影部からの距離を出力するように学習された推論器に、前記特徴点を被撮影対象とする画像を入力することで、当該特徴点に対する前記撮影部からの距離を取得する、付記４に記載の画像処理装置。

［付記６］
前記距離算出部は、
前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、
前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する、付記４または５に記載の画像処理装置。

［付記７］
前記距離算出部は、前記複数の特徴点を被撮影対象とする複数の画像間において同一箇所を表す特徴点の組み合わせを検出し、当該特徴点の組み合わせを同一の特徴点とみなす、付記６に記載の画像処理装置。

［付記８］
前記表示制御部は、前記パノラマ画像上における注目箇所を示すマークを、前記表示装置に表示する、付記１～７のいずれか一項に記載の画像処理装置。

［付記９］
前記表示制御部は、前記被撮影位置から前記注目箇所までの距離、又は、前記内視鏡の挿入位置から前記注目箇所までの距離、の少なくとも一方を示す情報を、前記表示装置に表示する、付記８に記載の画像処理装置。

［付記１０］
前記注目箇所は、病変部位、又は、前記内視鏡の挿入時において前記内視鏡が接触した箇所である、付記８または９に記載の画像処理装置。

［付記１１］
前記表示制御部は、前記被撮影位置から前記注目箇所までの距離が所定距離以下となった場合に警告を出力する、付記８～１０のいずれか一項に記載の画像処理装置。

［付記１２］
前記パノラマ画像取得部は、前記内視鏡の排出工程において撮影した複数の画像に基づき、前記パノラマ画像を生成する、付記１～１１のいずれか一項に記載の画像処理装置。

［付記１３］
前記表示制御部は、前記撮影部の現在の向きを示す情報を、前記表示装置に表示する、付記１～１２のいずれか一項に記載の画像処理装置。

［付記１４］
前記表示制御部は、前記撮影部の向きの調整に関する指示情報を出力する、付記１～１３のいずれか一項に記載の画像処理装置。

［付記１５］
前記表示制御部は、前記第１撮影工程において撮影した複数の画像に基づく前記パノラマ画像と共に、前記第２撮影工程において撮影した複数の画像に基づく前記パノラマ画像を前記表示装置に表示する、付記１～１４のいずれか一項に記載の画像処理装置。

［付記１６］
画像処理装置が実行する制御方法であって、
第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得し、
第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する、
制御方法。

［付記１７］
第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、
第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部
としてコンピュータを機能させるプログラムを格納した記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ｘ画像処理装置
２表示装置
３内視鏡スコープ
１１プロセッサ
１２メモリ
１３インターフェース
１４入力部
１５光源部
１６音出力部
２０撮影画像記憶部
２１注目箇所情報記憶部
２２パノラマ画像記憶部
１００、１００Ａ内視鏡検査システム

Claims

第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像の各々において、前記管腔内の壁面を平面状に展開した展開画像を生成する展開画像生成手段と、
前記展開画像に基づき、パノラマ画像を取得するパノラマ画像取得手段と、
第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御手段と、
前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出手段と、を有し、
前記距離算出手段は、
前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、
前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する、
画像処理装置。
前記表示制御手段は、前記内視鏡の挿入位置から前記被撮影位置までの距離を示す情報を、前記被撮影位置情報として前記表示装置に表示する、請求項１に記載の画像処理装置。
前記第２撮影工程において撮影される画像に基づき、前記被撮影位置を特定する被撮影位置特定手段をさらに有し、
前記表示制御手段は、前記被撮影位置特定手段が特定した被撮影位置を示すマークを、前記被撮影位置情報として前記パノラマ画像上に表示する、請求項１または２に記載の画像処理装置。
前記距離算出手段は、入力された画像に対して当該画像の被撮影対象の撮影部からの距離を出力するように学習された推論器に、前記特徴点を被撮影対象とする画像を入力することで、当該特徴点に対する前記撮影部からの距離を取得する、請求項１に記載の画像処理装置。
第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得手段と、
第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御手段と、
前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出手段と、を有し、
前記距離算出手段は、
前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、
前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する、画像処理装置。
前記距離算出手段は、前記複数の特徴点を被撮影対象とする複数の画像間において同一箇所を表す特徴点の組み合わせを検出し、当該特徴点の組み合わせを同一の特徴点とみなす、請求項５に記載の画像処理装置。
前記表示制御手段は、前記パノラマ画像上における注目箇所を示すマークを、前記表示装置に表示する、請求項１～６のいずれか一項に記載の画像処理装置。
前記表示制御手段は、前記被撮影位置から前記注目箇所までの距離、又は、前記内視鏡の挿入位置から前記注目箇所までの距離、の少なくとも一方を示す情報を、前記表示装置に表示する、請求項７に記載の画像処理装置。
前記注目箇所は、病変部位、又は、前記内視鏡の挿入時において前記内視鏡が接触した箇所である、請求項７または８に記載の画像処理装置。
前記表示制御手段は、前記被撮影位置から前記注目箇所までの距離が所定距離以下となった場合に警告を出力する、請求項７～９のいずれか一項に記載の画像処理装置。
前記パノラマ画像取得手段は、前記内視鏡の排出工程において撮影した複数の画像に基づき、前記パノラマ画像を生成する、請求項１～１０のいずれか一項に記載の画像処理装置。
前記表示制御手段は、前記撮影部の現在の向きを示す情報を、前記表示装置に表示する、請求項１～１１のいずれか一項に記載の画像処理装置。
前記表示制御手段は、前記撮影部の向きの調整に関する指示情報を出力する、請求項１～１２のいずれか一項に記載の画像処理装置。
前記表示制御手段は、前記第１撮影工程において撮影した複数の画像に基づく前記パノラマ画像と共に、前記第２撮影工程において撮影した複数の画像に基づく前記パノラマ画像を前記表示装置に表示する、請求項１～１３のいずれか一項に記載の画像処理装置。
画像処理装置が実行する制御方法であって、
第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像の各々において、前記管腔内の壁面を平面状に展開した展開画像を生成し、
前記展開画像に基づき、パノラマ画像を取得し、
第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示し、
前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出し、かつ、
前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、
前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する、
制御方法。
第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像の各々において、前記管腔内の壁面を平面状に展開した展開画像を生成する展開画像生成手段と、
前記展開画像に基づき、パノラマ画像を取得するパノラマ画像取得手段と、
第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御手段と、
前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出手段
としてコンピュータを機能させ、
前記距離算出手段は、
前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、
前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する、プログラム。