JP7720180B2 - 画像処理方法、画像処理装置、およびプログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置、およびプログラムに関する。

工業用の内視鏡装置は、ボイラー、タービン、エンジン、およびパイプ等の産業機器の内部に発生する異常（傷および腐食等）の検査に使用されている。この内視鏡装置では、多様な検査対象を適切な観察条件において検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。また、３次元（３Ｄ）計測機能を持つ内視鏡装置が開発されてきた。この内視鏡装置は、ステレオ光学アダプターを使用することにより３Ｄ計測を実現する。ステレオ光学アダプターは、視差を持つ２つの光学系を含むステレオ光学系を内蔵する。

３Ｄ計測を実現するために、ステレオ光学系以外の手段を使用する方法が提供されている。例えば、空間的な構造（パターン）を持つ光を使用する方法が提供されている。その方法では、内視鏡装置は光を被写体に照射し、かつ被写体によって反射された光を受け取る。内視鏡装置は、受け取った光に基づいて画像を生成する。内視鏡装置は、その画像を解析することにより３Ｄ計測を実行する。

３Ｄ計測機能を持つ内視鏡装置は、画像上でユーザーによって指定された複数の計測点に基づいて被写体の長さまたは面積などを計測する。ユーザーは、計測結果を参照することにより、異常の深刻さの程度を定量的に判断することができる。また、ユーザーは、異常の発生を抑えるために正確な処置を実施することができる。

ユーザーは、主に以下の第１の場面または第２の場面において３Ｄ計測機能を使用する。第１の場面においてユーザーは、検査の現場で３Ｄ計測機能を使用する。第２の場面においてユーザーは、検査の現場で検査画像（静止画または動画）を記録する。また、第２の場面においてユーザーは、オフィスまたは中継拠点（専用車両など）に戻った後に３Ｄ計測機能を使用する。

３Ｄ計測に必要な画像（静止画または動画）を取得するための撮影条件が適切でない場合、内視鏡装置は、信頼性の高い計測結果を得ることができない。その撮影条件は、構図または明るさなどである。

上記の第１の場面において、ユーザーが、計測に適していない撮影条件を使用することにより撮影を実施する可能性がある。その場合であっても、ユーザーは、撮影条件を変更し、変更された撮影条件を使用することにより撮影を再度実施することができる。

一方、上記の第２の場面において、画像を再度取得する必要がある場合、ユーザーは検査の現場に戻らなければならない。そのため、作業のやり直しに要する時間は第１の場面における時間よりも長くなる。作業のやり直しを避けるためには、撮影条件が計測に適している状態になったか否かを検査中にユーザーが確認できることが望ましい。例えば、内視鏡装置は、画像が計測に適しているか否かを判断し、判断結果をユーザーに通知してもよい。これにより、内視鏡装置は、計測用の画像を再度取得するためにユーザーが検査の現場に戻るリスクを抑えることができる。

特許文献１は、計測用の光を使用することにより３Ｄ計測を実行する計測システムを開示している。その計測システムは、被写体によって反射された光のパターンのボケまたは光量などを指標として使用する。その計測システムは、その指標に基づいて、３Ｄ計測に使用された画像の各領域の信頼度を算出し、かつその信頼度をユーザーに通知する。

特許文献２は、特許文献１と同様に、計測用の光を使用することにより３Ｄ計測を実行する計測装置を開示している。その計測装置は、３Ｄ計測におけるノイズの情報を生成する。その計測装置は、その情報を使用することにより、計測の信頼度の判断における精度を向上させる。

特開２０１９－２１９２０８号公報 特許第６２３８５２１号公報

しかしながら、特許文献１または特許文献２に開示されている方法が工業用の内視鏡装置に適用される場合、以下の問題がある。上記の信頼度を算出するための処理における計算量が多い一方、工業用の内視鏡装置の計算リソースは小さい。そのため、内視鏡装置における処理の遅延量が増大する可能性がある。

本発明は、画像の領域が所定の処理に適しているか否かを判断する処理の負荷を低減することができる画像処理方法、画像処理装置、およびプログラムを提供することを目的とする。

本発明は、画像が所定の処理に適しているか否かを繰り返し判断する画像処理方法において、設定部が第１の領域を第１の画像に設定する第１の設定ステップと、前記第１の領域が所定の処理に適しているか否かを判断部が判断し、前記所定の処理は、被写体における３次元座標を算出する処理である第１の判断ステップと、前記設定部が第２の領域を前記第１の画像よりも後に取得された第２の画像に設定し、前記第２の領域は前記第２の画像の全体領域よりも小さく、前記第１の領域の少なくとも一部を含まない第２の設定ステップと、前記第２の領域が前記所定の処理に適しているか否かを前記判断部が判断する第２の判断ステップと、前記第１の領域の少なくとも一部が前記所定の処理に適しているか否かを示す情報と、前記第２の領域が前記所定の処理に適しているか否かを示す情報とを表示制御部がディスプレイに表示する情報表示ステップと、を有する画像処理方法である。

本発明の画像処理方法は、前記情報表示ステップが実行される前に、前記第１の領域が前記所定の処理に適しているか否かを示す情報を前記表示制御部が前記ディスプレイに表示する第２の情報表示ステップをさらに有する。

本発明の画像処理方法において、前記設定部は、前記第１の設定ステップにおいて、第１の被写体が写っている領域を含む前記第１の領域を前記第１の画像に設定し、前記設定部は、前記第２の設定ステップにおいて、前記第１の被写体と異なる第２の被写体が写っている領域を含む前記第２の領域を前記第２の画像に設定する。

本発明の画像処理方法は、前記第２の画像において前記第１の被写体が写っている被写体領域を探索部が探索する探索ステップをさらに有し、前記設定部は、前記第２の設定ステップにおいて、前記被写体領域と異なる領域を含む前記第２の領域を前記第２の画像に設定する。

本発明の画像処理方法において、前記設定部は、前記第１の設定ステップにおいて、第１の被写体が写っている領域を含む前記第１の領域を前記第１の画像に設定し、前記設定部は、前記第２の設定ステップにおいて、前記第１の被写体が写っている領域の少なくとも一部を含む前記第２の領域を前記第２の画像に設定する。

本発明の画像処理方法は、前記第２の判断ステップが実行される前に検出部が前記第１の画像と前記第２の画像との間の構図の変化量を検出する検出ステップをさらに有する。

本発明の画像処理方法において、前記変化量が所定量よりも小さい場合のみ、前記情報表示ステップが実行される。

本発明の画像処理方法は、生成部が、前記第１の画像および前記第２の画像の各々における判断領域の情報を生成する生成ステップをさらに有し、前記判断領域の前記情報が生成された後、前記設定部は、前記第１の設定ステップにおいて、前記第１の領域を前記第１の画像における前記判断領域に設定し、前記設定部は、前記第２の設定ステップにおいて、前記第２の領域を前記第２の画像における前記判断領域に設定する。

本発明の画像処理方法において、前記第１の画像および前記第２の画像の各々は、ステレオ光学系を通して生成された光学像に基づいて生成される。

本発明の画像処理方法において、前記判断部は、前記第１の判断ステップにおいて、前記第１の領域における被写体の３次元形状を算出する処理を実行することにより取得された前記３次元形状、前記第１の領域における被写体とカメラとの距離、前記第１の領域の明るさ、および前記第１の領域におけるぶれ量、前記第１の領域におけるテクスチャの強度の少なくとも１つを使用する。

本発明の画像処理方法において、前記判断部は、前記第２の判断ステップにおいて、前記第２の領域における被写体の３次元形状を算出する処理を実行することにより取得された前記３次元形状、前記第２の領域における被写体とカメラとの距離、前記第２の領域の明るさ、前記第２の領域におけるぶれ量、および前記第２の領域におけるテクスチャの強度の少なくとも１つを使用する。

本発明の画像処理方法において、前記第１の画像は、ステレオ光学系を通して生成された光学像に基づいて生成され、前記判断部は、前記第１の判断ステップにおいて、前記第１の領域のステレオマッチング処理を実行することにより取得された相関値と、前記第１の領域における視差量との少なくとも１つを使用する。

本発明の画像処理方法において、前記第２の画像は、ステレオ光学系を通して生成された光学像に基づいて生成され、前記判断部は、前記第２の判断ステップにおいて、前記第２の領域のステレオマッチング処理を実行することにより取得された相関値と、前記第２の領域における視差量との少なくとも１つを使用する。

本発明の画像処理方法は、処理部が、前記第１の画像および前記第２の画像の少なくとも一方を含む２枚以上の画像を使用することにより、被写体の３次元形状を算出する算出ステップと、前記表示制御部が、前記３次元形状の画像を前記ディスプレイに表示する画像表示ステップと、をさらに有する。

本発明の画像処理方法において、前記判断部は、前記第１の判断ステップにおいて、前記第１の画像を含む２枚以上の画像を使用する。

本発明の画像処理方法において、前記判断部は、前記第２の判断ステップにおいて、前記第２の画像を含む２枚以上の画像を使用する。

本発明の画像処理方法は、処理部が、前記第１の判断ステップが実行されたことを示す第１の実行情報を前記第１の画像と関連付ける第１の関連付けステップと、前記処理部が、前記第２の判断ステップが実行されたことを示す第２の実行情報を前記第２の画像と関連付ける第２の関連付けステップと、をさらに有する。

本発明の画像処理方法において、前記第１の画像および前記第２の画像の各々は、動画を構成する２枚以上のフレームのいずれか１枚であり、前記処理部は、前記第１の関連付けステップにおいて、前記第１の実行情報を前記動画に付加し、前記処理部は、前記第２の関連付けステップにおいて、前記第２の実行情報を前記動画に付加する。

本発明の画像処理方法は、処理部が、前記第１の判断ステップの結果と前記第２の判断ステップの結果とに基づいて前記第１の画像および前記第２の画像のいずれか一方を選択し、かつ選択された画像を識別する情報を、選択された前記画像と関連付ける第３の関連付けステップをさらに有する。

本発明の画像処理方法は、処理部が、前記第１の画像と前記第２の画像とを互いに関連付けるための情報を前記第１の画像および前記第２の画像の少なくとも一方と関連付ける第４の関連付けステップをさらに有する。

本発明の画像処理方法において、前記第１の画像および前記第２の画像の各々は、動画を構成する２枚以上のフレームのいずれか１枚であり、前記処理部は、前記第４の関連付けステップにおいて、前記第１の画像と前記第２の画像とを互いに関連付けるための前記情報を前記動画に付加する。
本発明の画像処理方法において、前記第１の領域は前記第１の画像の全体領域よりも小さい。

本発明は、第１の領域を第１の画像に設定し、かつ第２の領域を前記第１の画像よりも後に取得された第２の画像に設定し、前記第２の領域は前記第２の画像の全体領域よりも小さく、前記第１の領域の少なくとも一部を含まない設定部と、前記第１の領域および前記第２の領域の各々が所定の処理に適しているか否かを判断し、前記所定の処理は、被写体における３次元座標を算出する処理である判断部と、前記第１の領域の少なくとも一部が前記所定の処理に適しているか否かを示す情報と、前記第２の領域が前記所定の処理に適しているか否かを示す情報とをディスプレイに表示する表示制御部と、を有する画像処理装置である。

本発明は、画像が所定の処理に適しているか否かを繰り返し判断する画像処理をコンピュータに実行させるためのプログラムであって、第１の領域を第１の画像に設定する第１の設定ステップと、前記第１の領域が所定の処理に適しているか否かを判断し、前記所定の処理は、被写体における３次元座標を算出する処理である第１の判断ステップと、第２の領域を前記第１の画像よりも後に取得された第２の画像に設定し、前記第２の領域は前記第２の画像の全体領域よりも小さく、前記第１の領域の少なくとも一部を含まない第２の設定ステップと、前記第２の領域が前記所定の処理に適しているか否かを判断する第２の判断ステップと、前記第１の領域の少なくとも一部が前記所定の処理に適しているか否かを示す情報と、前記第２の領域が前記所定の処理に適しているか否かを示す情報とをディスプレイに表示する情報表示ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、画像処理方法、画像処理装置、およびプログラムは、画像の領域が所定の処理に適しているか否かを判断する処理の負荷を低減することができる。

本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態における画像処理の手順を示すフローチャートである。 本発明の第２の実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の第２の実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の第２の実施形態による内視鏡装置における挿入部の先端およびステレオ光学アダプターの斜視図である。 本発明の第２の実施形態による内視鏡装置における挿入部の先端およびステレオ光学アダプターの断面図である。 本発明の第２の実施形態における計測点の３次元座標を算出する方法を示す図である。 本発明の第２の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第２の実施形態における画像処理の手順を示すフローチャートである。 本発明の第２の実施形態における画像の例を示す図である。 本発明の第２の実施形態における第１の判断処理の手順を示すフローチャートである。 本発明の第２の実施形態における画像の例を示す図である。 本発明の第２の実施形態における画像の例を示す図である。 本発明の第３の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第３の実施形態における画像処理の手順を示すフローチャートである。 本発明の第３の実施形態における画像の例を示す図である。 本発明の第３の実施形態における画像の例を示す図である。 本発明の第４の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第４の実施形態における画像処理の手順を示すフローチャートである。 本発明の第５の実施形態における画像処理の手順を示すフローチャートである。 本発明の第５の実施形態における領域分割処理の手順を示すフローチャートである。 本発明の第５の実施形態における画像の例を示す図である。 本発明の第５の実施形態における画像の例を示す図である。 本発明の第６の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第６の実施形態における画像処理の手順を示すフローチャートである。 本発明の第６の実施形態における画像処理の手順を示すフローチャートである。 本発明の第６の実施形態における動画を示す図である。 本発明の第６の実施形態の変形例によるパーソナルコンピュータ（ＰＣ）の構成を示すブロック図である。 本発明の第６の実施形態の変形例における計測処理の手順を示すフローチャートである。 本発明の第６の実施形態の変形例における画像の例を示す図である。 本発明の第７の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第７の実施形態における画像処理の手順を示すフローチャートである。 本発明の第７の実施形態における画像の例を示す図である。 本発明の第７の実施形態における画像の例を示す図である。 本発明の第７の実施形態における画像の例を示す図である。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による画像処理装置７の構成を示す。図１に示す画像処理装置７は、設定部７０、判断部７１、および表示制御部７２を有する。

設定部７０は、第１の領域を第１の画像に設定する（第１の設定ステップ）。判断部７１は、第１の領域が所定の処理に適しているか否かを判断する（第１の判断ステップ）。所定の処理は、被写体における３次元座標（３Ｄ座標）を算出する処理である。設定部７０は、第２の領域を第１の画像よりも後に取得された第２の画像に設定する（第２の設定ステップ）。第２の領域は第２の画像の全体領域よりも小さい。判断部７１は、第２の領域が所定の処理に適しているか否かを判断する（第２の判断ステップ）。表示制御部７２は、第１の領域の少なくとも一部が所定の処理に適しているか否かを示す情報と、第２の領域が所定の処理に適しているか否かを示す情報とをディスプレイに表示する（情報表示ステップ）。

図１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。図１に示す各部は、１つまたは複数のプロセッサを含むことができる。図１に示す各部は、１つまたは複数の論理回路を含むことができる。

画像処理装置７のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、設定部７０、判断部７１、および表示制御部７２の動作を規定する命令を含む。つまり、設定部７０、判断部７１、および表示制御部７２の機能はソフトウェアにより実現されてもよい。

上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により画像処理装置７に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。

図２を参照し、第１の実施形態における画像処理について説明する。図２は、画像処理の手順を示す。

第１の画像および第２の画像が画像処理に使用される。カメラなどの画像取得装置が第１の画像および第２の画像を取得してもよく、画像処理装置７は、第１の画像および第２の画像をその画像取得装置から取得してもよい。画像処理装置７は、第１の画像および第２の画像を記憶する記録媒体を有してもよい。あるいは、その記録媒体が画像処理装置７に接続されてもよい。

設定部７０は、第１の領域を第１の画像に設定する（ステップＳ１）。ステップＳ１は、第１の設定ステップと対応する。

第１の領域の画角が第１の画像の画角よりも小さい必要はない。つまり、第１の領域は、第１の画像の全体領域の一部である必要はない。第１の領域の画角は、第１の画像の画角と同じであってもよい。つまり、第１の領域は、第１の画像の全体領域と同じであってもよい。

ステップＳ１の後、判断部７１は、第１の画像に設定された第１の領域が所定の処理に適しているか否かを判断する（ステップＳ２）。ステップＳ２は、第１の判断ステップと対応する。

ステップＳ２の後、設定部７０は、第２の領域を第２の画像に設定する（ステップＳ３）。ステップＳ３は、第２の設定ステップと対応する。

第２の領域の画角は第２の画像の画角よりも小さい。つまり、第２の領域は、第２の画像の全体領域よりも小さい。第２の領域は、第２の画像の全体領域の一部である。

ステップＳ３の後、判断部７１は、第２の画像に設定された第２の領域が所定の処理に適しているか否かを判断する（ステップＳ４）。ステップＳ４は、第２の判断ステップと対応する。

例えば、所定の処理は、被写体における３Ｄ座標を算出し、かつその被写体の大きさ（寸法）を計測する処理（計測処理）である。あるいは、所定の処理は、被写体における３Ｄ座標を算出し、かつ画像を表示する処理（３Ｄ表示処理）である。その画像は、被写体の３次元形状（３Ｄ形状）を可視化する。

被写体の３Ｄ形状が画像として表示される場合、ユーザーは、その３Ｄ形状を確認することにより、被写体の状態を判断することができる。例えば、ユーザーは、傷などの異常が被写体上に存在するか否かを判断することができる。計測処理および３Ｄ表示処理が実行されてもよい。計測処理が実行される前にユーザーは、被写体の３Ｄ形状に基づいて、計測位置が正しいか否かを確認することができる。

ステップＳ４における所定の処理は、ステップＳ２における所定の処理と同じである。ステップＳ２における所定の処理が計測処理である場合、ステップＳ４における所定の処理は計測処理である。ステップＳ２における所定の処理が３Ｄ表示処理である場合、ステップＳ４における所定の処理は３Ｄ表示処理である。

ステップＳ４の後、表示制御部７２は、第１の領域の少なくとも一部が所定の処理に適しているか否かを示す情報と、第２の領域が所定の処理に適しているか否かを示す情報とをディスプレイに表示する（ステップＳ５）。ステップＳ５は、情報表示ステップと対応する。

表示制御部７２は、ステップＳ２における処理の結果と、ステップＳ４における処理の結果とをディスプレイの表示フレーム期間において表示する。例えば、表示制御部７２は、ステップＳ２における処理の結果と、ステップＳ４における処理の結果とを同時にディスプレイに表示する。

ステップＳ４が実行される前に表示制御部７２は、第１の領域が所定の処理に適しているか否かを示す情報をディスプレイに表示する必要はない。

第１の画像および第２の画像は、動画を構成する２枚以上のフレームに含まれてもよい。第１の画像および第２の画像が連続する２枚のフレームである必要はない。１枚以上のフレームが第１の画像および第２の画像の間に存在してもよい。

第２の領域が第２の画像の全体領域の一部であるため、ステップＳ４における処理の負荷が低減される。そのため、画像処理装置７は、第２の画像の領域が所定の処理に適しているか否かを判断する処理の負荷を低減することができる。

（第２の実施形態）
本発明の第２の実施形態を説明する。以下では、画像処理装置が内視鏡装置である例を説明する。

図３および図４を参照し、第２の実施形態における内視鏡装置１の構成を説明する。図３は、内視鏡装置１の外観を示す。図４は、内視鏡装置１の内部構成を示す。

図３に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。内視鏡装置１は、被写体を撮像し、画像を生成する。被写体は、工業製品である。内視鏡装置１は、生成された画像を使用することにより、被写体の幾何学的特徴を計測する。ユーザーは、様々な被写体の観察と計測とを行うために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを実施することが可能である。以下では、内視鏡装置１が計測の一例としてステレオ計測を実行する場合について説明する。

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、ステレオ光学アダプターが挿入部２の先端２０に装着される。単眼の光学アダプターが先端２０に装着されてもよい。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２によって取得された被写体の画像および操作メニュー等を表示画面に表示する。

操作部４は、ユーザーインタフェースである。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。ユーザーは、操作部４を操作することにより、各種情報を内視鏡装置１に入力することができる。

表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。

図４に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９、および制御装置１０を有する。

内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を先端２０に供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。

撮像素子２８が挿入部２の先端２０に内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。

ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。

制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８を有する。

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。

また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号を画像データとしてＣＰＵ１８に出力する。その画像データは、被写体の画像を構成する。計測が実行されるとき、ステレオ光学アダプターが挿入部２の先端２０に装着される。そのため、被写体の複数の光学像（被写体像）が上記の画像に含まれる。複数の被写体像は、互いに異なる視差を有する。

ステレオ光学アダプターは、２つの光学系（ステレオ光学系）を有する。本発明の実施形態では、その２つの光学系によって形成される２つの被写体像を内視鏡装置１が同時に取得する例を説明する。被写体像を取得する方法はこれに限らない。例えば、内視鏡装置１は、互いに異なる視差を持つ複数の被写体像を時分割に取得してもよい。例えば、ステレオ光学系の２つの光路のいずれか一方がシャッターで塞がれ、かつ撮像素子２８は、他方の光路を通った光が形成する被写体像を取得する。シャッターによって塞がれる位置を変えることにより、取得される被写体像が変更される。

ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

メモリカード４２がカードインタフェース１５に接続される。メモリカード４２は、内視鏡装置１に着脱可能な記録媒体である。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１が情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、ユーザーによって操作部４に入力された情報をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。

上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。その画像は２次元画像（２Ｄ画像）である。撮像素子２８によって取得された画像は、映像信号処理回路１２を経由してＣＰＵ１８に入力される。第２の実施形態におけるカメラは、撮像素子２８および観察光学系を含む。

図５および図６は、挿入部２の先端２０およびステレオ光学アダプター３０の構成を示す。図５は、挿入部２の先端２０およびステレオ光学アダプター３０の外観を示す。図６は、挿入部２の先端２０およびステレオ光学アダプター３０の断面を示す。第１の照明光学系５１、第２の照明光学系５２、第１の対物光学系５３、および第２の対物光学系５４がステレオ光学アダプター３０の先端に配置されている。図６では、第１の対物光学系５３および第２の対物光学系５４を通る断面が示されている。

ステレオ光学アダプター３０は挿入部２の先端２０に装着されている。ステレオ光学アダプター３０は、雌ねじ５０ａが形成された固定リング５０を有する。雄ねじ２０ａが挿入部２の先端２０に形成されている。ステレオ光学アダプター３０は、雌ねじ５０ａにより雄ねじ２０ａと螺合され、先端２０に固定される。

撮像素子２８が先端２０内に配置されている。第１の対物光学系５３および第２の対物光学系５４は、２つの光学像を撮像素子２８上に形成する。撮像素子２８は、２つの光学像を撮像信号に変換する。信号線２ｂが撮像素子２８に接続されている。撮像信号は、信号線２ｂおよび内視鏡ユニット８を経由してＣＣＵ９に供給される。ＣＣＵ９は撮像信号を映像信号に変換し、映像信号を映像信号処理回路１２に供給する。

図７を参照し、ステレオ計測における計測点の３次元座標（３Ｄ座標）を算出する方法を説明する。左の光学中心（第１の光学中心６３）と右の光学中心（第２の光学中心６４）とを結ぶ線分の中点が原点Ｏとして定義される。また、図７に示すｘ軸、ｙ軸、およびｚ軸が定義される。

被写体像を含む画像が使用される。その被写体像は、左の光学系および右の光学系を経由して得られる。以下の式（１）から式（３）に示すように、三角測量の原理を使用することにより、計測対象点６０の３Ｄ座標（Ｘ，Ｙ，Ｚ）が計算される。計測点６１および対応点６２の２次元座標（２Ｄ座標）はそれぞれ、（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）である。計測点６１は、歪み補正が施された左の画像面にある。対応点６２は、歪み補正が施された右の画像面にある。

計測点６１の原点は交点Ｏ_Ｌであり、対応点６２の原点は交点Ｏ_Ｒである。交点Ｏ_Ｌは、左の光学系の光軸と画像面とが交わる位置にある。交点Ｏ_Ｒは、右の光学系の光軸と画像面とが交わる位置にある。第１の光学中心６３と第２の光学中心６４との距離はＤである。パラメーターＦは焦点距離を示す。パラメーターｔは、Ｄ／（Ｘ_Ｒ－Ｘ_Ｌ）と表される。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２ （１）
Ｙ＝－ｔ×Ｙ_Ｒ （２）
Ｚ＝ｔ×Ｆ （３）

上記のように計測点６１および対応点６２の各々の座標が決定された場合、ＣＰＵ１８は、パラメーターＤおよびパラメーターＦを使用することにより計測対象点６０の３Ｄ座標を算出することができる。ＣＰＵ１８は、２つ以上の点の３Ｄ座標を算出することによって、様々な計測機能を実現することができる。例えば、ＣＰＵ１８は、２点間の距離、線と１点との距離、領域の面積、および基準面の深さ等を計測することができる。その線は、２点を結ぶ。その領域は、複数点を結ぶ線で囲まれている。

ユーザーは、様々な計測機能のうち所望の計測機能を選択することができる。ＣＰＵ１８は、第１の光学中心６３または第２の光学中心６４から被写体までの距離（物体距離）を算出することも可能である。上記のステレオ計測を実行するためには、光学データが必要である。光学データは、挿入部２の先端２０とステレオ光学アダプター３０とを含む光学系の特性を示す。

図８は、ＣＰＵ１８の機能構成を示す。ＣＰＵ１８の機能は、制御部１８０、画像取得部１８１、領域設定部１８２、判断部１８３、表示制御部１８４、および情報受付部１８５を含む。図８に示すブロックの少なくとも１つがＣＰＵ１８と異なる回路で構成されてもよい。

図８に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図８に示す各部は、１つまたは複数のプロセッサを含むことができる。図８に示す各部は、１つまたは複数の論理回路を含むことができる。

制御部１８０は、図８に示す各部が実行する処理を制御する。画像取得部１８１は、被写体の画像（画像データ）を映像信号処理回路１２から取得する。

領域設定部１８２は、図１に示す設定部７０の機能を持つ。領域設定部１８２は、画像取得部１８１によって取得された画像に判断処理のための領域を設定する。判断処理は、その領域が所定の処理に適しているか否かを判断する処理である。所定の処理は、計測処理または３Ｄ表示処理である。

判断部１８３は、図１に示す判断部７１の機能を持つ。判断部１８３は、領域設定部１８２によって設定された領域における判断処理を実行する。

表示制御部１８４は、映像信号処理回路１２によって実行される処理を制御する。ＣＣＵ９は、映像信号を出力する。映像信号は、撮像素子２８によって取得された画像の各画素のカラーデータを含む。表示制御部１８４は、映像信号処理回路１２に、ＣＣＵ９から出力された映像信号を表示部５に出力させる。映像信号処理回路１２は、映像信号を表示部５に出力する。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて画像を表示する。これにより、表示制御部１８４は、撮像素子２８によって取得された画像を表示部５に表示する。

表示制御部１８４は、各種情報を表示部５に表示する。つまり、表示制御部１８４は、画像上に各種情報を表示する。各種情報は、計測結果等を含む。各種情報は、カーソルを含んでもよい。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。

例えば、表示制御部１８４は、各種情報のグラフィック画像信号を生成する。表示制御部１８４は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。

表示制御部１８４は、図１に示す表示制御部７２の機能を持つ。表示制御部１８４は、判断部１８３によって実行された判断処理の結果を示すグラフィック画像信号を生成する。表示制御部１８４は、そのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、判断処理の結果が重畳された画像を表示する。これにより、表示制御部１８４は、判断処理の結果を表示部５に表示する。

ユーザーは、操作部４を操作することにより、各種情報を内視鏡装置１に入力する。操作部４は、ユーザーによって入力された情報を出力する。その情報は、入力部である制御インタフェース１７に入力される。その情報は、制御インタフェース１７からＣＰＵ１８に出力される。情報受付部１８５は、操作部４を経由して内視鏡装置１に入力された情報を受け付ける。

例えば、ユーザーは、操作部４を操作することにより、カーソルの位置情報を内視鏡装置１に入力する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより画像上の位置を示す位置情報を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された位置情報を受け付ける。情報受付部１８５は、位置情報に基づいて画像上の位置を算出する。表示制御部１８４は、情報受付部１８５によって算出された位置にカーソルを表示する。

図９を参照し、第２の実施形態における画像処理について説明する。図９は、画像処理の手順を示す。

撮像素子２８は連続的に撮像信号を生成する。つまり、撮像素子２８は、動画と対応する各フレームの撮像信号を生成する。動画は、２枚以上のフレームを含む。各フレームは、撮像素子２８によって取得された画像によって構成される。撮像素子２８は第１の画像を取得し、その後、第２の画像を取得する。

画像取得部１８１は、撮像素子２８によって取得された第１の画像を取得する（ステップＳ１０１）。

ステップＳ１０１の後、領域設定部１８２は、第１の画像を使用する第１の判断処理のための第１の領域を第１の画像に設定する（ステップＳ１０２）。ステップＳ１０２は、第１の実施形態における第１の設定ステップと対応する。

図１０は、ステップＳ１０１において取得された第１の画像ＩＭ１１を示す。領域設定部１８２は、ステップＳ１０２において、第１の領域ＲＧ１１を第１の画像ＩＭ１１に設定する。第１の領域ＲＧ１１は、任意の大きさを持ってもよく、かつ任意の形状を持ってもよい。

図１０に示す例では、領域設定部１８２は第１の画像ＩＭ１１における左上の領域を第１の領域ＲＧ１１として設定する。第１の領域ＲＧ１１の位置は、図１０に示す位置に限らない。領域設定部１８２は、第１の画像ＩＭ１１における中央の領域を第１の領域ＲＧ１１として設定してもよい。領域設定部１８２は、第１の画像ＩＭ１１における２つ以上の領域を第１の領域ＲＧ１１として設定してもよい。領域設定部１８２は、内視鏡装置１の計算リソースに応じて第１の領域ＲＧ１１の大きさまたは形状を設定してもよい。

領域設定部１８２は、予め内視鏡装置１に設定された情報を使用することにより、第１の領域ＲＧ１１を第１の画像ＩＭ１１に設定してもよい。その情報は、第１の領域ＲＧ１１の大きさまたは形状を示す。領域設定部１８２は、第１の画像ＩＭ１１の状態に応じて第１の領域ＲＧ１１を第１の画像ＩＭ１１に設定してもよい。例えば、領域設定部１８２は、第１の画像ＩＭ１１に写っている被写体の情報に応じて第１の領域ＲＧ１１を第１の画像ＩＭ１１に設定してもよい。

ステップＳ１０２の後、判断部１８３は、第１の判断処理を実行する。つまり、判断部１８３は、ステップＳ１０２において設定された第１の領域が所定の処理に適しているか否かを判断する（ステップＳ１０３）。ステップＳ１０３は、第１の実施形態における第１の判断ステップと対応する。

図１１を参照し、ステップＳ１０３における第１の判断処理の詳細を説明する。以下の例では、判断部１８３は、第１の領域における被写体とカメラとの距離を算出し、その距離を使用する。その距離は、前述した物体距離と対応する３次元距離（３Ｄ距離）である。判断部１８３によって算出される指標は距離に限らない。後述するように、判断部１８３は、他の指標を算出してもよい。

第１の対物光学系５３は、第１の視点から見た被写体の第１の光学像を形成する。第２の対物光学系５４は、第１の視点と異なる第２の視点から見た被写体の第２の光学像を形成する。撮像素子２８は、第１の光学像および第２の光学像と対応するステレオ画像を生成する。ステレオ画像は２枚の画像のペアを含む。つまり、ステレオ画像は、第１の視点から見た被写体の画像と、第２の視点から見た被写体の画像とを含む。以下の例では、判断部１８３は、ステレオ画像を使用することにより上記の距離を算出する。第１の画像および第２の画像の各々は、ステレオ画像に含まれる２枚の画像の一方である。例えば、第１の画像および第２の画像の各々は、第１の視点から見た被写体の画像である。

判断部１８３は、ステレオ計測に必要なパラメーターをＲＯＭ１３から読み出す（ステップＳ１０３ａ）。このパラメーターは、内部パラメーターおよび外部パラメーター等を含み、かつ３Ｄ座標を算出するためのパラメーターを含む。このパラメーターは、工場出荷時にＲＯＭ１３に書き込まれる。判断部１８３は、ＲＯＭ１３に書き込まれたデータにアクセスし、このパラメーターを読み出す。内視鏡装置１がクラウドシステムと通信を実施し、必要なパラメーターをダウンロードしてもよい。これにより、内視鏡装置１はこのパラメーターを読み出すことができる。

ステップＳ１０３ａの後、判断部１８３は、内視鏡装置１の内部で管理されているインデックスｉを初期化する。例えば、判断部１８３は、インデックスｉを０に設定する（ステップＳ１０３ｂ）。インデックスｉは、第１の判断処理の対象となる画素の番号を示す。

ステップＳ１０３ｂの後、判断部１８３は、第１の領域における第ｉの画素を選択する（ステップＳ１０３ｃ）。

ステップＳ１０３ｃの後、判断部１８３は、ステレオマッチング処理を実行し、第ｉの画素と対応する点（対応点）を検出する（ステップＳ１０３ｄ）。第ｉの画素は、ステレオ画像に含まれる２枚の画像の一方にあり、対応点はその２枚の画像の他方にある。第ｉの画素は、図７における計測点６１と対応する。対応点は、図７における対応点６２と対応する。

ステップＳ１０３ｄの後、判断部１８３は、三角測量を実施し、第ｉの画素における被写体とカメラとの距離を算出する（ステップＳ１０３ｅ）。

ステップＳ１０３ｅの後、判断部１８３は、ＲＯＭ１３に記憶されている閾値を読み出す（ステップＳ１０３ｆ）。その閾値は、予め設定された固定値であってもよい。その固定値は、一般的に定義されている値であってもよい。その閾値は、撮影の構図または画素位置（座標）などの様々な条件に応じて適応的に変更されてもよい。

ステップＳ１０３ｆの後、判断部１８３は、ステップＳ１０３ｅにおいて算出された距離と、ステップＳ１０３ｆにおいて読み出された閾値とを比較する。判断部１８３は、距離が閾値よりも小さいか否かを判断する（ステップＳ１０３ｇ）。距離が閾値よりも小さい場合、判断部１８３は、第ｉの画素が所定の処理に適していると判断する（ステップＳ１０３ｈ）。距離が閾値以上である場合、判断部１８３は、第ｉの画素が所定の処理に適していないと判断する（ステップＳ１０３ｉ）。判断部１８３は、ステップＳ１０３ｈまたはステップＳ１０３ｉにおける判断の結果を第ｉの画素と関連付ける。

ステップＳ１０３ｈまたはステップＳ１０３ｉの後、判断部１８３は、インデックスｉを１増加させる（ステップＳ１０３ｊ）。これにより、処理対象の画素が変更される。

ステップＳ１０３ｊの後、判断部１８３は、第１の領域の全ての画素においてステップＳ１０３ｈまたはステップＳ１０３ｉにおける判断が実行されたか否かを判断する（ステップＳ１０３ｋ）。第１の領域の全ての画素において判断が実行されたと判断部１８３がステップＳ１０３ｋにおいて判断した場合、第１の判断処理が終了する。第１の領域の一部の画素において判断が実行されていないと判断部１８３がステップＳ１０３ｋにおいて判断した場合、ステップＳ１０３ｃが実行される。

図１１に示す例では、２種類の判断結果が得られる。２種類の判断結果の一方は、第ｉの画素が所定の処理に適していることを示す。２種類の判断結果の他方は、第ｉの画素が所定の処理に適していないことを示す。判断結果はこの例に限らない。判断部１８３は、ステップＳ１０３ｇ、ステップＳ１０３ｈ、およびステップＳ１０３ｉを実行する代わりに所定の処理の信頼度を算出してもよい。例えば、その信頼度は、百分率で表される。

判断部１８３は、第１の判断処理において、距離以外の指標を算出してもよい。例えば、判断部１８３は、第１の領域の明るさ（輝度）、第１の領域におけるぶれ量、第１の領域におけるテクスチャ（模様）の強度、または第１の領域における被写体の３Ｄ形状を算出してもよい。判断部１８３は、第１の領域のステレオマッチング処理を実行することにより相関値を算出してもよい。判断部１８３は、第１の領域における視差量を算出してもよい。判断部１８３は、算出された指標を使用することにより、第１の領域が所定の処理に適しているか否かを判断してもよい。判断部１８３は、２つ以上の指標の組み合わせを使用することによりこの判断を実行してもよい。

以下では、上記の指標を算出する第１から第５の例を説明する。

第１の例を説明する。判断部１８３は、第１の領域の明るさまたは第１の領域におけるテクスチャの強度を算出する。判断部１８３は、その明るさまたはその強度と閾値とを比較することにより、第１の領域が所定の処理に適しているか否かを判断する。

第２の例を説明する。判断部１８３は、第１の画像を含む２枚以上の画像を使用することにより、第１の領域におけるぶれ量を算出する。例えば、判断部１８３は、第１の画像と、第１の画像よりも前に取得された画像とを使用する。判断部１８３は、これらの２枚の画像の差分を算出することにより、ぶれ量を算出する。判断部１８３は、ぶれ量と閾値とを比較することにより、第１の領域が所定の処理に適しているか否かを判断する。

第３の例を説明する。判断部１８３は、第１の画像を含む２枚以上の画像を使用することにより、３Ｄ再構成処理を実行する。これにより、判断部１８３は、第１の領域における被写体の３Ｄ形状を算出する。このとき、判断部１８３は、ステレオ画像に含まれる２枚の画像のペアを使用する。第１の画像は、その２枚の画像の一方である。あるいは、判断部１８３は、第１の画像と、第１の画像よりも前に取得された１枚以上の画像とを使用する。

被写体の３Ｄ形状は、被写体上の２つ以上の点の３Ｄ座標を含む。判断部１８３は、２つ以上の点のうちの１つを注目点として選択する。判断部１８３は、注目点におけるユークリッド距離（第１の距離）を算出する。そのユークリッド距離は、注目点と、注目点の周辺の点との３Ｄ距離を示す。判断部１８３は、注目点における処理と同様の処理を実行することにより、注目点の周辺の点におけるユークリッド距離（第２の距離）を算出する。判断部１８３は、第１の距離と第２の距離との差分を算出する。その差分が大きい場合、判断部１８３は、注目点が所定の処理に適していないと判断する。

第４の例を説明する。判断部１８３は、第１の画像を含む２枚の画像を使用することにより、ステレオマッチング処理を実行する。これにより、判断部１８３は、第１の領域における相関値を算出する。このとき、判断部１８３は、ステレオ画像に含まれる２枚の画像のペアを使用する。第１の画像は、その２枚の画像の一方である。ステレオマッチング処理においてＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）が使用される場合には相関値は－１以上かつ１以下である。相関値が小さい場合、判断部１８３は、第１の領域が所定の処理に適していないと判断する。ステレオマッチング処理においてＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）またはＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）が指標値として使用されてもよい。ＳＡＤまたはＳＳＤが大きい場合、判断部１８３は、第１の領域が所定の処理に適していないと判断する。

第５の例を説明する。判断部１８３は、第１の画像を含む２枚の画像を使用することにより、第１の領域における視差量を算出する。このとき、判断部１８３は、ステレオ画像に含まれる２枚の画像のペアを使用する。第１の画像は、その２枚の画像の一方である。判断部１８３は、第１の領域における２つ以上の画素のうちの１つを注目画素として選択する。判断部１８３は、注目画素と対応する画素（対応画素）を検出する。対応画素は、ステレオ画像に含まれる２枚の画像の他方にある。判断部１８３は、対応画素の位置に基づいて注目画素における視差量（第１の視差量）を算出する。判断部１８３は、注目画素における処理と同様の処理を実行することにより、注目画素の周辺の画素における視差量（第２の視差量）を算出する。判断部１８３は、第１の視差量と第２の視差量との差分を算出する。その差分が大きい場合、判断部１８３は、注目画素が所定の処理に適していないと判断する。

図９を再度参照し、第２の実施形態における画像処理について説明する。ステップＳ１０３の後、表示制御部１８４は、ステップＳ１０３における第１の判断処理の結果を表示部５に表示する（ステップＳ１０４）。

表示制御部１８４は、図１０に示す第１の画像ＩＭ１１を表示部５に表示し、かつ第１の判断処理の結果を第１の画像ＩＭ１１上に表示する。例えば、図１０に示す第１の領域ＲＧ１１は、ＯＫ領域およびＮＧ領域を含む。ＯＫ領域は、所定の処理に適している画素を含む。ＮＧ領域は、所定の処理に適していない画素を含む。表示制御部１８４は、ＯＫ領域を第１の色で表示し、かつＮＧ領域を第１の色と異なる第２の色で表示してもよい。例えば、表示制御部１８４は、ＯＫ領域を緑色で表示し、かつＮＧ領域を赤色で表示してもよい。表示制御部１８４は、ＯＫ領域を第１の模様で表示し、かつＮＧ領域を第１の模様と異なる第２の模様で表示してもよい。表示制御部１８４は、第１の線および第２の線を表示してもよい。第１の線は、ＯＫ領域を囲む。第２の線は、ＮＧ領域を囲む。

表示制御部１８４は、第１の画像ＩＭ１１を表示部５の表示画面における所定の領域に表示し、かつ第１の判断処理の結果をサブウィンドウに表示してもよい。サブウィンドウは、表示部５の表示画面においてその所定の領域とは異なる領域に配置される。

表示制御部１８４は、テキスト情報を表示部５に表示してもよい。例えば、第１の領域の９０％が所定の処理に適している場合、そのテキスト情報は、第１の領域の全体が所定の処理に適していることを示してもよい。

第１の判断処理の結果がユーザーに通知される限り、表示制御部１８４が第１の判断処理の結果を表示する方法は上記の例に限らない。ステップＳ１０４が実行される必要はない。表示制御部１８４は、ステップＳ１０４を実行せずに、後述するステップＳ１０８において、第１の判断処理の結果を後述する第２の判断処理の結果と一緒に表示部５に表示してもよい。

ステップＳ１０４の後、画像取得部１８１は、撮像素子２８によって取得された第２の画像を取得する（ステップＳ１０５）。

ステップＳ１０５の後、領域設定部１８２は、第２の画像を使用する第２の判断処理のための第２の領域を第２の画像に設定する（ステップＳ１０６）。ステップＳ１０６は、第１の実施形態における第２の設定ステップと対応する。

第２の画像における第２の領域の位置（画像座標）は、第１の画像における第１の領域の位置（画像座標）と同じであってもよいし、異なっていてもよい。第２の実施形態において、第１の画像および第２の画像の間で撮影の構図が変化せず、第２の画像の構図が第１の画像の構図と同じであることを想定している。この状態では、被写体および先端２０の両方が静止している。以下の例では、第２の画像における第２の領域の位置は、第１の画像における第１の領域の位置と異なる。

例えば、第１の画像の第１の領域は、第１の被写体が写っている領域を含む。被写体および先端２０の両方が静止しているため、その第１の被写体は、第１の画像の第１の領域の位置と同じ位置にある第２の画像の第１の領域に写っている。第２の画像の第２の領域は、第２の画像の第１の領域の位置と異なる位置に設定される。そのため、第２の領域は、第１の被写体と異なる第２の被写体が写っている領域を含む。

第１の画像および第２の画像の間で撮影の構図が変化し、第２の画像の構図が第１の画像の構図と異なる例は、第３の実施形態において説明する。

図１２は、ステップＳ１０５において取得された第２の画像ＩＭ１２を示す。第１の領域ＲＧ１１ａおよび第２の領域ＲＧ１２が図１２に示されている。第２の画像ＩＭ１２における第１の領域ＲＧ１１ａの位置は、図１０に示す第１の画像ＩＭ１１における第１の領域ＲＧ１１の位置と同じである。第２の領域ＲＧ１２は、第１の判断処理が実行された第１の領域ＲＧ１１と対応する第１の領域ＲＧ１１ａと異なる。領域設定部１８２は、ステップＳ１０６において、第２の領域ＲＧ１２を第２の画像ＩＭ１２に設定する。第２の領域ＲＧ１２は、第１の領域ＲＧ１１と同様に、任意の大きさを持ってもよく、かつ任意の形状を持ってもよい。領域設定部１８２は、観察条件等に応じて第２の領域ＲＧ１２を第２の画像ＩＭ１２に設定してもよい。

ステップＳ１０６の後、判断部１８３は、第２の判断処理を実行する。つまり、判断部１８３は、ステップＳ１０６において設定された第２の領域が所定の処理に適しているか否かを判断する（ステップＳ１０７）。ステップＳ１０７は、第１の実施形態における第２の判断ステップと対応する。

第２の判断処理は、図１１に示す第１の判断処理と同様である。第２の判断処理において、第１の画像の第１の領域におけるデータの代わりに第２の画像の第２の領域におけるデータが使用される。

判断部１８３は、第２の判断処理において、第２の領域における被写体とカメラとの距離を算出し、その距離を使用する。判断部１８３は、第２の判断処理において、距離以外の指標を算出してもよい。例えば、判断部１８３は、第２の領域の明るさ（輝度）、第２の領域におけるぶれ量、第２の領域におけるテクスチャ（模様）の強度、または第２の領域における被写体の３Ｄ形状を算出してもよい。判断部１８３は、第２の領域のステレオマッチング処理を実行することにより相関値を算出してもよい。判断部１８３は、第２の領域における視差量を算出してもよい。判断部１８３は、算出された指標を使用することにより、第２の領域が所定の処理に適しているか否かを判断してもよい。判断部１８３は、２つ以上の指標の組み合わせを使用することによりこの判断を実行してもよい。

以下では、上記の指標を算出する第１から第５の例を説明する。

第１の例を説明する。判断部１８３は、第２の領域の明るさまたは第２の領域におけるテクスチャの強度を算出する。判断部１８３は、その明るさまたはその強度と閾値とを比較することにより、第２の領域が所定の処理に適しているか否かを判断する。

第２の例を説明する。判断部１８３は、第２の画像を含む２枚以上の画像を使用することにより、第２の領域におけるぶれ量を算出する。例えば、判断部１８３は、第１の画像および第２の画像を使用する。判断部１８３は、これらの２枚の画像の差分を算出することにより、ぶれ量を算出する。判断部１８３は、ぶれ量と閾値とを比較することにより、第２の領域が所定の処理に適しているか否かを判断する。

第３の例を説明する。判断部１８３は、第２の画像を含む２枚以上の画像を使用することにより、３Ｄ再構成処理を実行する。これにより、判断部１８３は、第２の領域における被写体の３Ｄ形状を算出する。このとき、判断部１８３は、ステレオ画像に含まれる２枚の画像のペアを使用する。第２の画像は、その２枚の画像の一方である。あるいは、判断部１８３は、第２の画像と、第２の画像よりも前に取得された１枚以上の画像とを使用する。その１枚以上の画像は、第１の画像を含んでもよい。３Ｄ形状を使用する判断の方法は、第１の判断処理における方法と同じである。

第４の例を説明する。判断部１８３は、第２の画像を含む２枚の画像を使用することにより、ステレオマッチング処理を実行する。これにより、判断部１８３は、第２の領域における相関値を算出する。このとき、判断部１８３は、ステレオ画像に含まれる２枚の画像のペアを使用する。第２の画像は、その２枚の画像の一方である。ステレオマッチング処理においてＺＮＣＣが使用される場合、相関値は－１以上かつ１以下である。相関値が小さい場合、判断部１８３は、第２の領域が所定の処理に適していないと判断する。ステレオマッチング処理においてＳＡＤまたはＳＳＤが指標値として使用されてもよい。ＳＡＤまたはＳＳＤが大きい場合、判断部１８３は、第１の領域が所定の処理に適していないと判断する。

第５の例を説明する。判断部１８３は、第２の画像を含む２枚の画像を使用することにより、第２の領域における視差量を算出する。このとき、判断部１８３は、ステレオ画像に含まれる２枚の画像のペアを使用する。第２の画像は、その２枚の画像の一方である。視差量を使用する判断の方法は、第１の判断処理における方法と同じである。

ステップＳ１０７の後、表示制御部１８４は、ステップＳ１０３における第１の判断処理の結果と、ステップＳ１０７における第２の判断処理の結果とを表示部５に表示する（ステップＳ１０８）。ステップＳ１０８は、第１の実施形態における情報表示ステップと対応する。ステップＳ１０８が実行されたとき、画像処理が終了する。

図１３は、ステップＳ１０８において表示部５に表示された第２の画像ＩＭ１３を示す。表示制御部１８４は、第２の画像ＩＭ１３を表示部５に表示する。また、表示制御部１８４は、領域ＲＧ１３を第２の画像ＩＭ１３上に表示する。領域ＲＧ１３は、図１２に示す第１の領域ＲＧ１１ａおよび第２の領域ＲＧ１２の論理和として得られる。第１の領域ＲＧ１１ａは、図１０に示す第１の領域ＲＧ１１と対応する。第１の判断処理の結果は、第１の領域ＲＧ１１の各画素と関連付けられている。第２の判断処理の結果は、第２の領域ＲＧ１２の各画素と関連付けられている。

表示制御部１８４は、第１の判断処理の結果を、第１の領域ＲＧ１１の各画素と対応する領域ＲＧ１３の各画素に重畳する。また、表示制御部１８４は、第２の判断処理の結果を、第２の領域ＲＧ１２の各画素と対応する領域ＲＧ１３の各画素に重畳する。

領域ＲＧ１３は、領域ＲＧ１３ａおよび領域ＲＧ１３ｂを含む。領域ＲＧ１３ａは、所定の処理に適している画素を含む。領域ＲＧ１３ｂは、所定の処理に適していない画素を含む。表示制御部１８４は、領域ＲＧ１３ａおよび領域ＲＧ１３ｂを表示するためにステップＳ１０４に示す方法と同様の方法を使用してもよい。

撮像素子２８は、第２の画像を取得した後、第３の画像を取得する。図９に示す画像処理が終了した後、画像取得部１８１は、撮像素子２８によって取得された第３の画像を取得する。領域設定部１８２は、第３の領域を第３の画像に設定する。第３の領域は、第１の領域と対応する第３の画像の領域と異なり、かつ第２の領域と対応する第３の画像の領域と異なる。判断部１８３は、第３の領域が所定の処理に適しているか否かを判断する（第３の判断処理）。表示制御部１８４は、第３の画像を表示部５に表示し、かつ第１の判断処理の結果と第２の判断処理の結果と第３の判断処理の結果とを第３の画像上に表示する。

第４の画像および第５の画像等が取得された場合、上記の処理と同様の処理が繰り返される。画像が取得されるたびに、判断処理が実行された被写体の領域が広がる。

上記の方法は、ステレオ計測以外の技術に適用されてもよい。上記の方法は、単眼光学系を通して取得された画像を使用する技術に適用されてもよい。例えば、上記の方法は、ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ（ＳｆＭ）に適用されてもよい。上記の方法は、他視点ステレオに適用されてもよい。

上記の方法は、アクティブ型の３Ｄ計測技術に適用されてもよい。アクティブ型の３Ｄ計測技術では、縞状のパターンを持つ光またはランダムパターンなどの所定のパターンを持つ光が使用される。上記の方法は、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴｏＦ）と呼ばれる技術に適用されてもよい。

判断処理を実行する機能を有効にするか否かをユーザーが選択してもよい。例えば、検査すべき箇所が内視鏡の挿入口よりも奥にあり、検査の目的地に向かって挿入部２が挿入されている間、検査が実施される必要はない。そのため、判断処理を実行する機能を無効にすることは、ユーザーにとって都合がよい。

本発明の各態様は次の変形例を含んでもよい。情報表示ステップ（ステップＳ１０８）が実行される前に、表示制御部１８４は、第２の情報表示ステップ（ステップＳ１０４）において、第１の領域が所定の処理に適しているか否かを示す情報を表示部５（ディスプレイ）に表示する。

本発明の各態様は次の変形例を含んでもよい。領域設定部１８２は、第１の設定ステップ（ステップＳ１０２）において、第１の被写体が写っている領域を含む第１の領域を第１の画像に設定する。領域設定部１８２は、第２の設定ステップ（ステップＳ１０６）において、第１の被写体と異なる第２の被写体が写っている領域を含む第２の領域を第２の画像に設定する。

図１０および図１２に示す例では、領域設定部１８２は、第１の画像ＩＭ１１における第１の位置に第１の領域ＲＧ１１を設定する。領域設定部１８２は、第２の画像ＩＭ１２における第２の位置に第２の領域ＲＧ１２を設定する。第２の位置は、第１の位置と対応する第２の画像における位置と異なる。

本発明の各態様は次の変形例を含んでもよい。第１の画像および第２の画像の各々は、ステレオ光学アダプター３０（ステレオ光学系）を通して生成された光学像に基づいて生成される。

本発明の各態様は次の変形例を含んでもよい。判断部１８３は、第１の判断ステップ（ステップＳ１０３）において、第１の領域における被写体の３Ｄ形状を算出する処理を実行することにより取得されたその３Ｄ形状、第１の領域における被写体とカメラとの距離、第１の領域の明るさ、第１の領域におけるぶれ量、および第１の領域におけるテクスチャの強度の少なくとも１つを使用する。

本発明の各態様は次の変形例を含んでもよい。判断部１８３は、第２の判断ステップ（ステップＳ１０７）において、第２の領域における被写体の３Ｄ形状を算出する処理を実行することにより取得されたその３Ｄ形状、第２の領域における被写体とカメラとの距離、第２の領域の明るさ、第２の領域におけるぶれ量、および第２の領域におけるテクスチャの強度の少なくとも１つを使用する。

本発明の各態様は次の変形例を含んでもよい。第１の画像は、ステレオ光学アダプター３０（ステレオ光学系）を通して生成された光学像に基づいて生成される。判断部１８３は、第１の判断ステップ（ステップＳ１０３）において、第１の領域のステレオマッチング処理を実行することにより取得された相関値と、第１の領域における視差量との少なくとも１つを使用する。

本発明の各態様は次の変形例を含んでもよい。第２の画像は、ステレオ光学アダプター３０（ステレオ光学系）を通して生成された光学像に基づいて生成される。判断部１８３は、第２の判断ステップ（ステップＳ１０７）において、第２の領域のステレオマッチング処理を実行することにより取得された相関値と、第２の領域における視差量との少なくとも１つを使用する。

本発明の各態様は次の変形例を含んでもよい。判断部１８３は、第１の判断ステップ（ステップＳ１０３）において、第１の画像を含む２枚以上の画像を使用する。

本発明の各態様は次の変形例を含んでもよい。判断部１８３は、第２の判断ステップ（ステップＳ１０７）において、第２の画像を含む２枚以上の画像を使用する。

第２の実施形態において、内視鏡装置１は、第１の判断処理と第２の判断処理とを互いに異なるタイミングで実行する。第１の判断処理および第２の判断処理の負荷が分散されるため、内視鏡装置１は、判断処理の負荷を低減することができる。内視鏡装置１は、画像の広い範囲において短い時間で判断処理を実行することができる。

内視鏡装置１は、過去の画像（第１の画像）における判断対象の領域（第１の領域）を現在の画像（第２の画像）に適用し、かつ過去の画像における判断処理（第１の判断処理）の結果を現在の画像に適用する。内視鏡装置１は、過去の画像における判断処理（第１の判断処理）の結果を現在の画像における判断処理（第２の判断処理）の結果と一緒に表示する。そのため、内視鏡装置１は、画像が取得されたタイミングから判断処理の結果が表示されるまでのタイムラグを抑えることができる。内視鏡装置１の計算リソースが小さい場合であっても、内視鏡装置１は、計算量を増加させずに、判断処理の結果の表示に関するタイムラグを抑えることができる。

ユーザーは、所望の領域が計測などに適切であると確認し、静止画を撮影する、または動画を記録することができる。その所望の領域は、異常な部位などが写っている領域である。ユーザーが検査の現場を離れて計測などを実行する場合であっても、ユーザーが検査の現場へ戻り、かつ撮影を再度実施するリスクが軽減される。これにより、検査全体の作業効率が向上する。

図１２に示す例では、領域設定部１８２は、第１の領域ＲＧ１１ａと異なる第２の領域ＲＧ１２を第２の画像ＩＭ１２に設定する。第１の画像ＩＭ１１および第２の画像ＩＭ１２の間で撮影の構図が変化しない場合、領域設定部１８２は、第２の領域ＲＧ１２を第２の画像ＩＭ１２に容易に設定することができる。

（第３の実施形態）
本発明の第３の実施形態を説明する。前述した第２の実施形態において、第１の画像および第２の画像の間で撮影の構図は変化しないことを想定している。一方、第３の実施形態において、挿入部２の先端２０が動き、かつ第１の画像および第２の画像の間で撮影の構図が変化することを想定している。

図８に示すＣＰＵ１８は、図１４に示すＣＰＵ１８ａに変更される。図１４は、ＣＰＵ１８ａの機能構成を示す。ＣＰＵ１８ａの機能は、制御部１８０、画像取得部１８１、領域設定部１８２、判断部１８３、表示制御部１８４、情報受付部１８５、および領域探索部１８６を含む。図１４に示すブロックの少なくとも１つがＣＰＵ１８ａと異なる回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

図１４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１４に示す各部は、１つまたは複数のプロセッサを含むことができる。図１４に示す各部は、１つまたは複数の論理回路を含むことができる。

領域探索部１８６（探索部）は、第１の画像における被写体が写っている第２の画像の領域を探索する（探索ステップ）。領域設定部１８２は、その領域と異なる第２の領域を第２の画像に設定する。

図１５を参照し、第３の実施形態における画像処理について説明する。図１５は、画像処理の手順を示す。図９に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、領域探索部１８６は、ステップＳ１０２において設定された第１の領域と同じ第２の画像の領域を探索する（ステップＳ１１１）。ステップＳ１１１は、探索ステップと対応する。

図１６は、ステップＳ１０１において取得された第１の画像ＩＭ２１を示す。領域設定部１８２は、ステップＳ１０２において、第１の領域ＲＧ２１を第１の画像ＩＭ２１に設定する。

図１７は、ステップＳ１０５において取得された第２の画像ＩＭ２２を示す。撮像素子２８が第１の画像ＩＭ２１を取得した後、挿入部２の先端２０が右に動く。そのため、第２の画像ＩＭ２２に写っている被写体は、第１の画像ＩＭ２１に写っている被写体と比較して左方向にずれている。

領域探索部１８６は、ステップＳ１１１において、第１の領域ＲＧ２１に写っている被写体と同じ被写体が写っている第２の画像ＩＭ２２の領域を探索する。つまり、領域探索部１８６は、第１の判断処理が実行された第１の領域ＲＧ２１と対応する第２の画像ＩＭ２２の領域を探索する。これにより、領域探索部１８６は、第２の画像ＩＭ２２における第１の領域ＲＧ２２を検出する。領域探索部１８６は、テンプレートマッチングまたは特徴点マッチングのような一般的な画像処理方法を使用することにより第１の領域ＲＧ２２を検出する。領域探索部１８６が第１の領域ＲＧ２１に写っている被写体と同じ被写体が写っている領域を検出できる限り、ステップＳ１１１における方法は上記の例に限らない。

第１の領域に写っている被写体の全体が第２の画像に写っているとは限らない。図１７に示す例では、第１の領域ＲＧ２１に写っている被写体の左部分は第２の画像ＩＭ２２に写っていない。

ステップＳ１１１の後、領域設定部１８２は、第２の画像を使用する第２の判断処理のための第２の領域を第２の画像に設定する（ステップＳ１１２）。ステップＳ１１２は、第１の実施形態における第２の設定ステップと対応する。ステップＳ１１２の後、ステップＳ１０７が実行される。

前述した第２の実施形態において、第１の画像および第２の画像の間で撮影の構図は変化しないため、領域設定部１８２は、図１２に示す第１の領域ＲＧ１１ａと異なる第２の領域ＲＧ１２を第２の画像ＩＭ１２に設定する。第３の実施形態において第２の領域を設定する方法は、この方法と異なる。

まず、領域設定部１８２は、仮領域を第２の画像に設定する。第２の画像における仮領域の位置は、第１の画像における第１の領域の位置と同じである。図１７に示す例では、領域設定部１８２は、仮領域ＲＧ２３を第２の画像ＩＭ２２に設定する。第２の画像ＩＭ２２における仮領域ＲＧ２３の位置は、第１の画像ＩＭ２１における第１の領域ＲＧ２１の位置と同じである。仮領域ＲＧ２３は、第１の領域ＲＧ２２および領域ＲＧ２４を含む。第１の領域ＲＧ２２は、第１の判断処理が実行された第１の領域ＲＧ２１と対応する。領域ＲＧ２４において第２の判断処理はまだ実行されていない。

領域設定部１８２は、ステップＳ１１１において検出された領域の少なくとも一部を仮領域から除くことによって得られる第２の領域を第２の画像に設定する。このとき、領域設定部１８２は、所定の処理に適していると判断部１８３が第１の判断処理において判断した領域（第１の領域ＲＧ２２の一部）を仮領域から除く。図１７に示す例では、第２の領域は、第２の判断処理が実行されていない領域ＲＧ２４を含む。また、第２の領域は、所定の処理に適していないと判断部１８３が第１の判断処理において判断した領域と対応する第２の画像の領域を含む。つまり、第２の領域は、第１の領域ＲＧ２２の少なくとも一部を含む。第１の領域ＲＧ２２の全体が所定の処理に適していると判断部１８３が第１の判断処理において判断した場合、第２の領域は、第１の領域ＲＧ２２を含まない。判断部１８３は、第１の画像において所定の処理に適していない領域と対応する第２の画像の領域において判断処理を再度実行することができる。

第２の領域は、第１の画像において所定の処理に適していない領域と対応する第２の画像の領域を含む必要はない。領域設定部１８２は、領域探索部１８６によって検出された領域と異なる第２の領域を第２の画像に設定してもよい。

表示制御部１８４は、ステップＳ１０８において、第１の判断処理の結果および第２の判断処理の結果を表示部５に表示する。図１７に示す例では、表示制御部１８４は、第１の判断処理の結果および第２の判断処理の結果を第１の領域ＲＧ２２および領域ＲＧ２４上に表示する。第１の画像ＩＭ２１における第１の領域ＲＧ２１の一部が所定の処理に適していないと判断部１８３が第１の判断処理において判断する場合がある。その場合、判断部１８３は、第２の画像ＩＭ２２における第１の領域ＲＧ２２の一部において第２の判断処理を実行する。その場合、表示制御部１８４は、ステップＳ１０８において、第１の判断処理の結果ではなく第２の判断処理の結果を第１の領域ＲＧ２２の一部上に表示する。

撮像素子２８は、第２の画像を取得した後、第３の画像を取得する。図１５に示す画像処理が終了した後、画像取得部１８１は、撮像素子２８によって取得された第３の画像を取得する。領域探索部１８６は、第１の画像における第１の領域に写っている被写体と同じ被写体が写っている第３の画像の領域を探索する。つまり、領域探索部１８６は、第１の判断処理が実行された第１の領域と対応する第３の画像の領域を探索する。また、領域探索部１８６は、第２の画像における第２の領域に写っている被写体と同じ被写体が写っている第３の画像の領域を探索する。つまり、領域探索部１８６は、第２の判断処理が実行された第２の領域と対応する第３の画像の領域を探索する。

領域設定部１８２は、仮領域を第３の画像に設定する。第３の画像における仮領域の位置は、第１の画像における第１の領域の位置と同じである。領域設定部１８２は、領域探索部１８６によって検出された領域の少なくとも一部を仮領域から除くことによって得られる第３の領域を第３の画像に設定する。このとき、領域設定部１８２は、所定の処理に適していると判断部１８３が第１の判断処理において判断した領域を仮領域から除く。また、領域設定部１８２は、所定の処理に適していると判断部１８３が第２の判断処理において判断した領域を仮領域から除く。

第３の領域は、所定の処理に適していないと判断部１８３が判断した第１の画像の第１の領域と対応する第３の画像の領域を含む可能性がある。また、第３の領域は、所定の処理に適していないと判断部１８３が判断した第２の画像の第２の領域と対応する第３の画像の領域を含む可能性がある。

判断部１８３は、第３の領域が所定の処理に適しているか否かを判断する（第３の判断処理）。表示制御部１８４は、第３の画像を表示部５に表示し、かつ第１の判断処理の結果と第２の判断処理の結果と第３の判断処理の結果とを第３の画像上に表示する。

第４の画像および第５の画像等が取得された場合、上記の処理と同様の処理が繰り返される。画像が取得されるたびに、判断処理が実行された被写体の領域が広がる。

領域設定部１８２は、判断部１８３が第１の判断処理において判断した領域の全体を仮領域から除くことにより得られる第２の領域を第２の画像に設定してもよい。図１７に示す例では、領域設定部１８２は、領域ＲＧ２４を第２の領域として第２の画像ＩＭ２２に設定してもよい。

本発明の各態様は次の変形例を含んでもよい。領域探索部１８６は、探索ステップ（ステップＳ１１１）において、第１の被写体が写っている第１の領域ＲＧ２２（被写体領域）を探索する。第１の領域ＲＧ２２は第２の画像ＩＭ２２に含まれる。領域設定部１８２は、第２の設定ステップ（ステップＳ１１２）において、第１の領域ＲＧ２２と異なる領域ＲＧ２４を含む第２の領域を第２の画像ＩＭ２２に設定する。

本発明の各態様は次の変形例を含んでもよい。領域設定部１８２は、第１の設定ステップ（ステップＳ１０２）において、第１の被写体が写っている領域を含む第１の領域ＲＧ２１を第１の画像ＩＭ２１に設定する。領域設定部１８２は、第２の設定ステップ（ステップＳ１１２）において、第１の被写体が写っている第１の領域ＲＧ２２の少なくとも一部を含む第２の領域を設定する。

第３の実施形態において内視鏡装置１の計算リソースが小さい場合であっても、内視鏡装置１は、画像の広い範囲において短い時間で判断処理を実行することができる。内視鏡装置１は、計算量を増加させずに、判断処理の結果の表示に関するタイムラグを抑えることができる。その結果、検査の効率が向上する。

図１７に示す例では、領域設定部１８２は、領域探索部１８６によって検出された第１の領域ＲＧ２２と異なる領域ＲＧ２４を含む第２の領域を第２の画像ＩＭ２２に設定する。第１の画像ＩＭ２１および第２の画像ＩＭ２２の間で撮影の構図が変化する場合、領域設定部１８２は、第１の判断処理が実行されていない領域ＲＧ２４を第２の画像ＩＭ２２に設定することができる。

（第４の実施形態）
本発明の第４の実施形態を説明する。第４の実施形態において内視鏡装置１は、挿入部２の先端２０の動きに基づいて、第２の実施形態における処理と第３の実施形態における処理との一方を実行する。また、挿入部２の先端２０の動きが大きい場合、内視鏡装置１は第２の判断処理を実行せずに第１の画像を再度取得する。

図１４に示すＣＰＵ１８ａは、図１８に示すＣＰＵ１８ｂに変更される。図１８は、ＣＰＵ１８ｂの機能構成を示す。ＣＰＵ１８ｂの機能は、制御部１８０、画像取得部１８１、領域設定部１８２、判断部１８３、表示制御部１８４、情報受付部１８５、領域探索部１８６、および動き判断部１８７を含む。図１８に示すブロックの少なくとも１つがＣＰＵ１８ｂと異なる回路で構成されてもよい。図１４に示す構成と同じ構成の説明を省略する。

図１８に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１８に示す各部は、１つまたは複数のプロセッサを含むことができる。図１８に示す各部は、１つまたは複数の論理回路を含むことができる。

動き判断部１８７（検出部）は、第１の画像と第２の画像との間の被写体の動き量を検出する。これにより、動き判断部１８７は、第１の画像と第２の画像との間の構図の変化量を検出する（検出ステップ）。動き判断部１８７は、検出された動き量を所定量と比較することにより、被写体の動きに関する判断を実行する。

図１９を参照し、第４の実施形態における画像処理について説明する。図１９は、画像処理の手順を示す。図９または図１５に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、動き判断部１８７は、ステップＳ１０１において取得された第１の画像およびステップＳ１０５において取得された第２の画像を使用することにより被写体の動き量を検出する（ステップＳ１２１）。ステップＳ１２１は、検出ステップと対応する。

ステップＳ１２１の後、動き判断部１８７は、ステップＳ１２１において検出された動き量が第１の所定量よりも大きいか否かを判断する（ステップＳ１２２）。第１の所定量は０よりも大きい。その動き量が第１の所定量以下であると動き判断部１８７がステップＳ１２２において判断した場合、ステップＳ１０６が実行される。この場合、領域設定部１８２は、第２の実施形態における方法を使用することにより第２の領域を第２の画像に設定する。

その動き量が第１の所定量よりも大きいと動き判断部１８７がステップＳ１２２において判断した場合、動き判断部１８７は、その動き量が第２の所定量よりも大きいか否かを判断する（ステップＳ１２３）。第２の所定量は第１の所定量よりも大きい。

その動き量が第２の所定量以下であると動き判断部１８７がステップＳ１２３において判断した場合、ステップＳ１１１が実行される。この場合、領域設定部１８２は、第３の実施形態における方法を使用することにより第２の領域を第２の画像に設定する。

その動き量が第２の所定量よりも大きいと動き判断部１８７がステップＳ１２３において判断した場合、ステップＳ１０１が実行される。画像取得部１８１は、ステップＳ１０１において、撮像素子２８によって第２の画像の後に取得された画像を第１の画像として取得する。第２の画像の構図が第１の画像の構図と大きく異なる場合、内視鏡装置１は画像処理を最初からやり直す。

この場合、制御部１８０は、過去の画像に設定された領域の情報を消去する。その領域は、判断処理のための領域を新しい画像に設定する処理に使用されない。また、制御部１８０は、過去の画像に設定された領域における判断処理の結果を消去する。そのため、その判断処理の結果は表示部５に表示されない。表示制御部１８４は、所定のメッセージを表示部５に表示してもよい。その所定のメッセージは、過去の画像における判断処理の結果が消去され、かつ画像処理が最初からやり直されることを示す。

ステップＳ１２１が実行された後、ステップＳ１２２が実行されずにステップＳ１２３が実行されてもよい。この場合、ステップＳ１０６は実行されない。

本発明の各態様は次の変形例を含んでもよい。第２の判断ステップ（ステップＳ１０７）が実行される前に動き判断部１８７は、検出ステップ（ステップＳ１２１）において、第１の画像と第２の画像との間の構図の変化量を検出する。

本発明の各態様は次の変形例を含んでもよい。検出ステップ（ステップＳ１２１）において検出された変化量が所定量よりも小さい場合のみ、情報表示ステップ（ステップＳ１０８）が実行される。

第４の実施形態において内視鏡装置１の計算リソースが小さい場合であっても、内視鏡装置１は、画像の広い範囲において短い時間で判断処理を実行することができる。内視鏡装置１は、計算量を増加させずに、判断処理の結果の表示に関するタイムラグを抑えることができる。その結果、検査の効率が向上する。

第１の画像と第２の画像との間の構図の変化量が大きい場合、領域探索部１８６がステップＳ１１１において第１の画像の第１の領域と同じ第２の画像の領域を探索することが難しい。そのため、内視鏡装置１は、第１の画像における判断処理の結果を第２の画像に適用することが難しい。この場合、第１の画像が再度取得され、画像処理が再度実行される。そのため、判断処理の信頼性が向上する。

（第５の実施形態）
本発明の第５の実施形態を説明する。第２から第４の実施形態において判断処理が実行される領域は任意である。内視鏡装置１が第１の画像および第２の画像に加えて第３の画像および第４の画像等を処理する場合、判断処理が実行される被写体の領域が徐々に広がる。その結果、内視鏡装置１が、第ｋの画像の全体領域における判断処理の結果を得る可能性がある。数字ｋは２以上である。

一方、ユーザーが計測処理などの所定の処理の実行を希望する領域は、異常な領域などの特定の領域に限定される場合が多い。そのため、第５の実施形態において内視鏡装置１は、判断処理が実行される判断領域を限定する。その後、内視鏡装置１は、判断領域において判断処理を実行する。

内視鏡装置１は、図１４に示すＣＰＵ１８ａを有する。領域設定部１８２（生成部）は、判断領域の情報を生成する（生成ステップ）。その情報は、少なくとも判断領域の大きさを示す。その情報は、判断領域の大きさに加えて判断領域の位置を示してもよい。判断領域の画角は、第１の画像および第２の画像の各々の画角よりも小さい。つまり、判断領域は、第１の画像および第２の画像の各々の全体領域よりも小さい。第２の画像における判断領域は、第１の画像における判断領域に写っている被写体と同じ被写体が写っている領域である。判断領域の大きさおよび判断領域の形状は、第１の画像および第２の画像の間で共通である。

領域設定部１８２は、第１の領域を第１の画像における判断領域に設定する。第１の領域は判断領域に含まれ、かつ判断領域よりも小さい。また、領域設定部１８２は、第２の領域を第２の画像における判断領域に設定する。第２の領域は判断領域に含まれ、かつ判断領域よりも小さい。

図２０を参照し、第５の実施形態における画像処理について説明する。図２０は、画像処理の手順を示す。図２０に示す画像処理は、図１５に示す画像処理の変形例である。図２０に示す画像処理は、図９または図１９に示す画像処理と組み合わされてもよい。図９または図１５に示す処理と同じ処理の説明を省略する。

領域設定部１８２は、判断領域の情報を生成し、かつその情報をＲＡＭ１４に保存する（ステップＳ１３１）。ステップＳ１３１は、生成ステップと対応する。

例えば、ユーザーは、操作部４を操作することにより、判断領域の大きさを示す情報を内視鏡装置１に入力する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることによりその情報を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された情報を受け付ける。領域設定部１８２は、その情報に基づいて判断領域の情報を生成する。

あるいは、画像取得部１８１は、撮像素子２８によって取得された画像を取得する。領域設定部１８２は、画像処理を実行し、その画像における異常な領域を検出する。領域設定部１８２は、検出された領域の大きさに基づいて判断領域の情報を生成する。判断領域の情報を生成する方法は、上記の例に限らない。

判断領域が大きい場合、判断部１８３が、予め設定された期間（要求時間）において判断処理を終了できない可能性がある。そのため、領域設定部１８２は、領域分割処理を実行する。領域設定部１８２は、領域分割処理において、判断領域を２つ以上の部分領域に分割する（ステップＳ１３２）。部分領域の大きさは、画像取得部１８１が次の画像を取得する前に判断部１８３が判断処理を終了できるように設定される。

図２１を参照し、ステップＳ１３２における領域分割処理の詳細を説明する。領域設定部１８２は、判断領域の大きさ（第１の大きさ）を示す第１の情報をＲＡＭ１４から取得する（ステップＳ１３２ａ）。例えば、第１の情報は、判断領域の画素数を示す。

ステップＳ１３２ａの後、領域設定部１８２は、第２の情報をＲＯＭ１３から取得する（ステップＳ１３２ｂ）。第２の情報は、判断部１８３が１枚の画像において判断処理を実行できる領域の大きさ（第２の大きさ）を示す。例えば、第２の情報は、その領域の最大画素数を示す。第２の大きさは、内視鏡装置１の計算リソースに応じて予め設定される。

図２１に示す例では、ステップＳ１３２ａが実行された後、ステップＳ１３２ｂが実行される。ステップＳ１３２ｂが最初に実行され、その後、ステップＳ１３２ａが実行されてもよい。

ステップＳ１３２ｂの後、領域設定部１８２は、第１の大きさが第２の大きさよりも大きいか否かを判断する（ステップＳ１３２ｃ）。

第１の大きさが第２の大きさ以下であると領域設定部１８２がステップＳ１３２ｃにおいて判断した場合、領域設定部１８２は、判断領域を判断処理の対象領域として設定する（ステップＳ１３２ｄ）。ステップＳ１３２ｄが実行されたとき、領域分割処理が終了する。

第１の大きさが第２の大きさよりも大きいと領域設定部１８２がステップＳ１３２ｃにおいて判断した場合、領域設定部１８２は、判断領域を２つ以上の部分領域に分割する（ステップＳ１３２ｅ）。各部分領域の大きさは、第２の大きさよりも小さい。

領域設定部１８２が判断領域を２つ以上の部分領域に分割する方法は、特定の方法に限らない。領域設定部１８２は、判断領域を画像の縦方向に分割してもよい。領域設定部１８２は、判断領域を画像の横方向に分割してもよい。領域設定部１８２は、判断領域を格子状に分割してもよい。

ステップＳ１３２ｅの後、領域設定部１８２は、２つ以上の部分領域に順位を割り当てる（ステップＳ１３２ｆ）。例えば、領域設定部１８２が判断領域を２つの部分領域に分割した場合、領域設定部１８２は２つの部分領域の一方に第１位を割り当て、かつ２つの部分領域の他方に第２位を割り当てる。領域設定部１８２は、第１の判断処理において第１位の部分領域を使用し、かつ第２の判断処理において第２位の部分領域を使用する。ステップＳ１３２ｆが実行されたとき、領域分割処理が終了する。

図２０を再度参照し、第５の実施形態における画像処理について説明する。ステップＳ１３２の後、ステップＳ１０１が実行される。

領域設定部１８２は、ステップＳ１０２において第１の領域を第１の画像に設定する。このとき、領域設定部１８２は、判断領域の情報を使用し、判断領域を第１の画像に設定する。また、領域設定部１８２は、第１の画像における判断領域の全体または一部に第１の領域を設定する。具体的には、領域設定部１８２は、ステップＳ１３２ｄにおいて設定された対象領域に第１の領域を設定する。あるいは、領域設定部１８２は、ステップＳ１３２ｆにおいて第１位が割り当てられた部分領域に第１の領域を設定する。

ステップＳ１０５の後、領域探索部１８６は、第１の画像における判断領域と同じ第２の画像の領域を探索する（ステップＳ１３３）。第１の領域は、判断領域の全体または一部である。したがって、領域探索部１８６は、第１の領域を含む判断領域と同じ第２の画像の領域を探索する。領域探索部１８６は、ステップＳ１３３において、図１５に示すステップＳ１１１と同様の処理を実行する。

領域設定部１８２がステップＳ１３１において第１の画像における異常な領域を検出する場合、領域探索部１８６は、ステップＳ１３３において第２の画像におけるその異常な領域を検出してもよい。領域探索部１８６が判断領域と同じ領域を検出できる限り、ステップＳ１３３において任意の方法が使用されてもよい。

ステップＳ１３３の後、ステップＳ１１１が実行される。このとき、領域探索部１８６は、ステップＳ１３３において検出された領域を処理し、ステップＳ１０２において設定された第１の領域と同じ第２の画像の領域を探索する。

ステップＳ１１１の後、領域設定部１８２は、ステップＳ１１２において第２の領域を第２の画像に設定する。このとき、領域設定部１８２は、ステップＳ１３３において検出された領域の全体または一部に第２の領域を設定する。具体的には、領域設定部１８２は、ステップＳ１３２ｄにおいて設定された対象領域に第２の領域を設定する。あるいは、領域設定部１８２は、ステップＳ１３２ｆにおいて第２位が割り当てられた部分領域に第２の領域を設定する。

図２２は、ステップＳ１０１において取得された第１の画像ＩＭ３１を示す。領域設定部１８２は、ステップＳ１０２において、判断領域ＲＧ３１を第１の画像ＩＭ３１に設定し、かつ第１の領域を判断領域ＲＧ３１に設定する。領域設定部１８２は、ステップＳ１０２において、判断領域ＲＧ３１における第１の領域ＲＧ３２を第１の画像ＩＭ３１に設定する。第１の領域ＲＧ３２は、判断領域ＲＧ３１の約３分の１の大きさを持つ。

図２３は、ステップＳ１０５において取得された第２の画像ＩＭ３２を示す。領域探索部１８６は、ステップＳ１３３において、図２２に示す判断領域ＲＧ３１に写っている被写体と同じ被写体が写っている領域を探索する。これにより、領域探索部１８６は、第２の画像ＩＭ３２における判断領域ＲＧ３３を検出する。領域探索部１８６は、ステップＳ１１１において、図２２に示す第１の領域ＲＧ３２に写っている被写体と同じ被写体が写っている領域を探索する。これにより、領域探索部１８６は、第２の画像ＩＭ３２における第１の領域ＲＧ３４を検出する。領域設定部１８２は、ステップＳ１１２において、判断領域ＲＧ３１と対応する判断領域ＲＧ３３における第２の領域を第２の画像ＩＭ３２に設定する。

第２の領域は、判断領域ＲＧ３３における領域ＲＧ３５を含む。領域ＲＧ３５において第２の判断処理はまだ実行されていない。また、第２の領域は、所定の処理に適していないと判断部１８３が第１の判断処理において判断した領域と対応する第２の画像ＩＭ３２の領域を含む。つまり、第２の領域は、第１の領域ＲＧ３４の少なくとも一部を含む。第１の領域ＲＧ３４の全体が所定の処理に適していると判断部１８３が第１の判断処理において判断した場合、第２の領域は、第１の領域ＲＧ３４を含まない。

表示制御部１８４は、ステップＳ１０８において、第１の判断処理の結果および第２の判断処理の結果を表示部５に表示する。図２３に示す例では、表示制御部１８４は、第１の判断処理の結果および第２の判断処理の結果を第１の領域ＲＧ３４および領域ＲＧ３５上に表示する。第１の画像ＩＭ３１における第１の領域ＲＧ３２の一部が所定の処理に適していないと判断部１８３が第１の判断処理において判断する場合がある。その場合、判断部１８３は、第２の画像ＩＭ３２における第１の領域ＲＧ３４の一部において第２の判断処理を実行する。その場合、表示制御部１８４は、ステップＳ１０８において、第１の判断処理の結果ではなく第２の判断処理の結果を第１の領域ＲＧ３４の一部上に表示する。

本発明の各態様は次の変形例を含んでもよい。領域設定部１８２は、生成ステップ（ステップＳ１３１）において、第１の画像および第２の画像の各々における判断領域の情報を生成する。判断領域の情報が生成された後、領域設定部１８２は、第１の設定ステップ（ステップＳ１０２）において、第１の領域を第１の画像における判断領域に設定する。領域設定部１８２は、第２の設定ステップ（ステップＳ１１２）において、第２の領域を第２の画像における判断領域に設定する。

第５の実施形態において、ユーザーが所定の処理の実行を希望する領域が予め設定され、内視鏡装置１は、その領域のみにおいて判断処理を実行する。ユーザーは、その領域が所定の処理に適しているか否かを短時間で把握することができる。そのため、検査の効率が向上する。

（第６の実施形態）
本発明の第６の実施形態を説明する。第２から第５の実施形態において、内視鏡装置１は検査において判断処理を実行し、その判断処理の結果を表示する。第６の実施形態において、ユーザーは、動画を検査の現場から職場などに持ち帰り、内視鏡装置１に計測処理を実行させる。第６の実施形態における内視鏡装置１は、計測処理に使用される画像をユーザーが動画から探すことを効率化する機能を持つ。内視鏡装置１は動画を検査中に記録する。検査が終了した後、内視鏡装置１は、その動画を使用することにより計測処理を実行する。以下では、前述した所定の処理が計測処理である例を説明する。

図８に示すＣＰＵ１８は、図２４に示すＣＰＵ１８ｃに変更される。図２４は、ＣＰＵ１８ｃの機能構成を示す。ＣＰＵ１８ｃの機能は、制御部１８０、画像取得部１８１、領域設定部１８２、判断部１８３、表示制御部１８４、情報受付部１８５、領域探索部１８６、および動画処理部１８８を含む。図２４に示すブロックの少なくとも１つがＣＰＵ１８ｃと異なる回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

図２４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２４に示す各部は、１つまたは複数のプロセッサを含むことができる。図２４に示す各部は、１つまたは複数の論理回路を含むことができる。

動画処理部１８８（処理部）は、動画を処理する。動画処理部１８８は、所定の情報を動画に含まれる画像と関連付ける。所定の情報は、ユーザーが画像を選択するために使用される。選択された画像は、計測処理に使用される。

判断部１８３が第１の判断処理を実行した後、動画処理部１８８は、第１の実行情報を第１の画像と関連付ける（第１の関連付けステップ）。第１の実行情報は、第１の判断処理が実行されたことを示す。例えば、動画処理部１８８は、第１の実行情報を動画ファイルに埋め込むことにより、第１の実行情報を動画ファイルに付加する。

判断部１８３が第２の判断処理を実行した後、動画処理部１８８は、第２の実行情報を第２の画像と関連付ける（第２の関連付けステップ）。第２の実行情報は、第２の判断処理が実行されたことを示す。動画処理部１８８は、第２の実行情報を動画ファイルに埋め込むことにより、第２の実行情報を動画ファイルに付加する。

判断部１８３が第１の判断処理を実行した後、動画処理部１８８は、第１の結果情報を第１の画像と関連付ける。第１の結果情報は、第１の判断処理の結果を示す。例えば、動画処理部１８８は、第１の結果情報を動画ファイルに埋め込むことにより、第１の結果情報を動画ファイルに付加する。動画処理部１８８は、動画における第１のフレームに第１の結果情報を埋め込んでもよい。第１のフレームは、第１の画像と対応する。

判断部１８３が第２の判断処理を実行した後、動画処理部１８８は、第２の結果情報を第２の画像と関連付ける。第２の結果情報は、第２の判断処理の結果を示す。例えば、動画処理部１８８は、第２の結果情報を動画ファイルに埋め込むことにより、第２の結果情報を動画ファイルに付加する。動画処理部１８８は、動画における第２のフレームに第２の結果情報を埋め込んでもよい。第２のフレームは、第２の画像と対応する。

動画処理部１８８は、第１の判断処理の結果と第２の判断処理の結果とに基づいて第１の画像および第２の画像のいずれか一方を選択する。例えば、動画処理部１８８は、計測処理に最も適している画像を選択する。動画処理部１８８は、選択された画像を識別する情報を、選択された画像と関連付ける（第３の関連付けステップ）。例えば、動画処理部１８８は、その情報を動画ファイルに埋め込むことにより、その情報を動画ファイルに付加する。

動画処理部１８８は、第１の画像と第２の画像とを互いに関連付けるためのリンク情報を第１の画像および第２の画像の少なくとも一方と関連付ける（第４の関連付けステップ）。動画処理部１８８は、リンク情報を第１の画像または第２の画像のみと関連付けてもよい。あるいは、動画処理部１８８は、リンク情報を第１の画像および第２の画像と関連付けてもよい。例えば、動画処理部１８８は、リンク情報を動画ファイルに埋め込むことにより、リンク情報を動画ファイルに付加する。動画処理部１８８は、動画における第１のフレームおよび第２のフレームの少なくとも一方にリンク情報を埋め込んでもよい。

図２５および図２６を参照し、第６の実施形態における画像処理について説明する。図２５および図２６は、画像処理の手順を示す。図２５および図２６に示す画像処理は、図１５に示す画像処理の変形例である。図２５および図２６に示す画像処理は、図９、図１９、または図２０に示す画像処理と組み合わされてもよい。図９または図１５に示す処理と同じ処理の説明を省略する。

例えば、ユーザーは、操作部４を操作することにより、動画記録指示を内視鏡装置１に入力する。表示部５がタッチパネルとして構成され、かつ録画ボタンが表示部５に表示される場合、ユーザーは録画ボタンをタッチすることにより動画記録指示を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された動画記録指示を受け付ける（ステップＳ１４１）。ステップＳ１４１の後、ステップＳ１０１が実行される。

ステップＳ１０１の後、動画処理部１８８は動画ファイルの生成を開始する。ステップＳ１０４の後、動画処理部１８８は、第１の判断処理が実行されたことを示す第１の実行情報を動画ファイルに埋め込む（ステップＳ１４２）。第１の実行情報は、第１の画像と関連付けられている。ステップＳ１４２は、第１の関連付けステップと対応する。

ステップＳ１４２の後、動画処理部１８８は、第１の判断処理の結果を示す第１の結果情報を動画ファイルに埋め込む（ステップＳ１４３）。ステップＳ１４３の後、ステップＳ１０５が実行される。

第１の結果情報は、第１の画像と関連付けられている。例えば、動画処理部１８８は、第１の画像の各画素における第１の結果情報を動画ファイルに埋め込む。第１の結果情報は、計測処理の信頼度を示してもよい。例えば、その信頼度は、百分率で表される。

ステップＳ１０８の後、動画処理部１８８は、第２の判断処理が実行されたことを示す第２の実行情報を動画ファイルに埋め込む（ステップＳ１４４）。第２の実行情報は、第２の画像と関連付けられている。ステップＳ１４４は、第２の関連付けステップと対応する。

ステップＳ１４４の後、動画処理部１８８は、第２の判断処理の結果を示す第２の結果情報を動画ファイルに埋め込む（ステップＳ１４５）。

第２の結果情報は、第２の画像と関連付けられている。例えば、動画処理部１８８は、第２の画像の各画素における第２の結果情報を動画ファイルに埋め込む。第２の結果情報は、計測処理の信頼度を示してもよい。例えば、その信頼度は、百分率で表される。

ステップＳ１４５の後、動画処理部１８８は、第１の画像および第２の画像のうち計測処理に最も適している画像を選択する。動画処理部１８８は、選択された画像を示す情報を動画ファイルに埋め込む（ステップＳ１４６）。ステップＳ１４６は、第３の関連付けステップと対応する。

動画処理部１８８は、第１の結果情報および第２の結果情報に基づいて、第１の画像および第２の画像のうち計測処理に最も適している画像を選択する。計測処理に最も適している画像を選択する方法として、任意の方法が使用されてもよい。例えば、動画処理部１８８は、最も広い範囲が計測処理に適していると判断された画像を選択してもよい。あるいは、動画処理部１８８は、全ての画素における計測処理の信頼度の総和が最も大きい画像を選択してもよい。

ステップＳ１４６の後、動画処理部１８８は、第２の画像における所定の領域に関するリンク情報を動画ファイルに埋め込む。所定の領域は、計測処理に適していると判断部１８３が第１の判断処理において判断した第２の画像の領域である。リンク情報は、第１の判断処理が実行された第１の画像の領域を示す（ステップＳ１４７）。ステップＳ１４７は、第４の関連付けステップと対応する。ステップＳ１４７が実行されたとき、画像処理が終了する。

図１７に示す例では、第２の画像ＩＭ２２における第１の領域ＲＧ２２は、計測処理に適していると判断部１８３が第１の判断処理において判断した領域を含む。動画処理部１８８は、リンク情報をその領域と関連付ける。リンク情報は、図１６に示す第１の画像ＩＭ２１における第１の領域ＲＧ２１を示す。

内視鏡装置１は、リンク情報を使用することにより、計測処理に適している画像と、その画像における特定の領域とを特定することができる。第１の判断処理は上記の所定の領域において実行されるが、第２の判断処理は上記の所定の領域において実行されない。内視鏡装置１が計測処理をその所定の領域において実行する場合、内視鏡装置１が第２の画像ではなく第１の画像を使用することが望ましい。内視鏡装置１は、第２の画像の代わりに第１の画像を計測処理において使用するためのリンク情報を動画ファイルに埋め込む。

図２７を参照し、ステップＳ１４２、ステップＳ１４４、ステップＳ１４６、およびステップＳ１４７の各々の詳細を説明する。動画ファイルＶｄが図２７の上側に示されている。動画ファイルＶｄは、第１の画像Ｉａ、第２の画像Ｉｂ、第３の画像Ｉｃ、および第４の画像Ｉｄを含む。これらの画像を使用することにより、判断処理が実行される。

動画ファイルは、マークＴａ、マークＴｂ、マークＴｃ、およびマークＴｄの各々と対応する情報を含む。マークＴａ、マークＴｂ、マークＴｃ、およびマークＴｄは、第１の画像Ｉａ、第２の画像Ｉｂ、第３の画像Ｉｃ、および第４の画像Ｉｄとそれぞれ関連付けられている。動画処理部１８８は、ステップＳ１４２において、マークＴａと対応する第１の実行情報を第１の画像Ｉａと関連付ける。動画処理部１８８は、ステップＳ１４４において、マークＴｂと対応する第２の実行情報を第２の画像Ｉｂと関連付ける。同様に、動画処理部１８８は、マークＴｃと対応する第３の実行情報を第３の画像Ｉｃと関連付け、かつマークＴｄと対応する第４の実行情報を第４の画像Ｉｄと関連付ける。ユーザーは、各マークを参照し、計測処理に使用される画像を簡単に探すことができる。

マークＴｄは、判断処理が実行された４枚の画像のうち計測処理に最も適している第４の画像Ｉｄを示す。動画処理部１８８は、ステップＳ１４６と同様の処理において、マークＴｄと対応する情報を第４の画像Ｉｄと関連付ける。マークＴｄは、マークＴａ、マークＴｂ、およびマークＴｃの状態と異なる状態で表示される。例えば、マークＴｄは、マークＴａ、マークＴｂ、およびマークＴｃの色と異なる色で表示される。

第１の画像Ｉａ、第２の画像Ｉｂ、第３の画像Ｉｃ、および第４の画像Ｉｄの各々における領域が図２７の下側に示されている。第１の画像Ｉａは、第１の判断処理が実行された第１の領域Ｒａａを含む。

第２の画像Ｉｂは、第２の領域Ｒｂｂおよび第１の領域Ｒｂａを含む。第２の判断処理が第２の領域Ｒｂｂにおいて実行される。第１の領域Ｒｂａは、第１の画像Ｉａの第１の領域Ｒａａと対応する。第１の領域Ｒｂａは、計測処理に適していないと判断部１８３が第１の判断処理において判断した領域を含む。第２の判断処理は、第１の領域Ｒｂａのその領域においても実行される。

動画処理部１８８は、ステップＳ１４７においてリンク情報を第２の画像Ｉｂと関連付ける。第２の画像Ｉｂのリンク情報は、第１の画像Ｉａの第１の領域Ｒａａと第２の画像Ｉｂの第１の領域Ｒｂａとを互いに関連付ける。具体的には、第２の画像Ｉｂのリンク情報は、第１の領域Ｒａａの一部と第１の領域Ｒｂａの一部とを互いに関連付ける。判断部１８３は、第１の判断処理において、第１の領域Ｒａａのその一部が計測処理に適していると判断する。判断部１８３は、第１の領域Ｒｂａのその一部において第２の判断処理を実行しない。

第３の画像Ｉｃは、第３の領域Ｒｃｃ、第２の領域Ｒｃｂ、および第１の領域Ｒｃａを含む。第３の判断処理が第３の領域Ｒｃｃにおいて実行される。第２の領域Ｒｃｂは、第２の画像Ｉｂの第２の領域Ｒｂｂと対応する。第２の領域Ｒｃｂは、計測処理に適していないと判断部１８３が第２の判断処理において判断した領域を含む。第３の判断処理は、第２の領域Ｒｃｂのその領域においても実行される。第１の領域Ｒｃａは、第１の画像Ｉａの第１の領域Ｒａａおよび第２の画像Ｉｂの第１の領域Ｒｂａの各々と対応する。第１の領域Ｒｃａは、計測処理に適していないと判断部１８３が第１の判断処理および第２の判断処理において判断した領域を含む。第３の判断処理は、第１の領域Ｒｃａのその領域においても実行される。

動画処理部１８８は、リンク情報を第３の画像Ｉｃと関連付ける。第３の画像Ｉｃのリンク情報は、第１の画像Ｉａの第１の領域Ｒａａと第３の画像Ｉｃの第１の領域Ｒｃａとを互いに関連付ける。具体的には、第３の画像Ｉｃのリンク情報は、第１の領域Ｒａａの一部と第１の領域Ｒｃａの一部とを互いに関連付ける。判断部１８３は、第１の判断処理において、第１の領域Ｒａａのその一部が計測処理に適していると判断する。判断部１８３は、第１の領域Ｒｃａのその一部において第３の判断処理を実行しない。

また、第３の画像Ｉｃのリンク情報は、第２の画像Ｉｂの第２の領域Ｒｂｂと第３の画像Ｉｃの第２の領域Ｒｃｂとを互いに関連付ける。具体的には、第３の画像Ｉｃのリンク情報は、第２の領域Ｒｂｂの一部と第２の領域Ｒｃｂの一部とを互いに関連付ける。判断部１８３は、第２の判断処理において、第２の領域Ｒｂｂのその一部が計測処理に適していると判断する。判断部１８３は、第２の領域Ｒｃｂのその一部において第３の判断処理を実行しない。

第４の画像Ｉｄは、第４の領域Ｒｄｄ、第３の領域Ｒｄｃ、第２の領域Ｒｄｂ、および第１の領域Ｒｄａを含む。第４の判断処理が第４の領域Ｒｄｄにおいて実行される。第３の領域Ｒｄｃは、第３の画像Ｉｃの第３の領域Ｒｃｃと対応する。第３の領域Ｒｄｃは、計測処理に適していないと判断部１８３が第３の判断処理において判断した領域を含む。第４の判断処理は、第３の領域Ｒｄｃのその領域においても実行される。第２の領域Ｒｄｂは、第２の画像Ｉｂの第２の領域Ｒｂｂと対応する。第２の領域Ｒｄｂは、計測処理に適していないと判断部１８３が第２の判断処理および第３の判断処理において判断した領域を含む。第４の判断処理は、第２の領域Ｒｄｂのその領域においても実行される。第１の領域Ｒｄａは、第１の画像Ｉａの第１の領域Ｒａａ、第２の画像Ｉｂの第１の領域Ｒｂａ、および第３の画像Ｉｃの第１の領域Ｒｃａの各々と対応する。第１の領域Ｒｄａは、計測処理に適していないと判断部１８３が第１の判断処理、第２の判断処理、および第３の判断処理において判断した領域を含む。第４の判断処理は、第１の領域Ｒｄａのその領域においても実行される。

動画処理部１８８は、リンク情報を第４の画像Ｉｄと関連付ける。第４の画像Ｉｄのリンク情報は、第１の画像Ｉａの第１の領域Ｒａａと第４の画像Ｉｄの第１の領域Ｒｄａとを互いに関連付ける。具体的には、第４の画像Ｉｄのリンク情報は、第１の領域Ｒａａの一部と第１の領域Ｒｄａの一部とを互いに関連付ける。判断部１８３は、第１の判断処理において、第１の領域Ｒａａのその一部が計測処理に適していると判断する。判断部１８３は、第１の領域Ｒｄａのその一部において第４の判断処理を実行しない。

また、第４の画像Ｉｄのリンク情報は、第２の画像Ｉｂの第２の領域Ｒｂｂと第４の画像Ｉｄの第２の領域Ｒｄｂとを互いに関連付ける。具体的には、第４の画像Ｉｄのリンク情報は、第２の領域Ｒｂｂの一部と第２の領域Ｒｄｂの一部とを互いに関連付ける。判断部１８３は、第２の判断処理において、第２の領域Ｒｂｂのその一部が計測処理に適していると判断する。判断部１８３は、第２の領域Ｒｄｂのその一部において第４の判断処理を実行しない。

また、第４の画像Ｉｄのリンク情報は、第３の画像Ｉｃの第３の領域Ｒｃｃと第４の画像Ｉｄの第３の領域Ｒｄｃとを互いに関連付ける。具体的には、第４の画像Ｉｄのリンク情報は、第３の領域Ｒｃｃの一部と第３の領域Ｒｄｃの一部とを互いに関連付ける。判断部１８３は、第３の判断処理において、第３の領域Ｒｃｃのその一部が計測処理に適していると判断する。判断部１８３は、第３の領域Ｒｄｃのその一部において第４の判断処理を実行しない。

動画処理部１８８は、ステップＳ１４２において、第１の実行情報を示すテキスト情報を、第１の画像と対応する静止画に記録してもよい。動画処理部１８８は、ステップＳ１４４において、第２の実行情報を示すテキスト情報を、第２の画像と対応する静止画に記録してもよい。

動画処理部１８８は、ステップＳ１４３において、第１の判断処理の結果を示すテキスト情報を、第１の画像と対応する静止画に記録してもよい。動画処理部１８８は、ステップＳ１４５において、第２の判断処理の結果を示すテキスト情報を、第２の画像と対応する静止画に記録してもよい。

動画処理部１８８は、ステップＳ１４６において、計測処理に最も適している画像を示すテキスト情報を、その画像と対応する静止画に記録してもよい。動画処理部１８８は、ステップＳ１４７において、リンク情報を示すテキスト情報を、第１の画像または第２の画像と対応する静止画に記録してもよい。

ＣＰＵ１８ｃは、図１８に示す動き判断部１８７を有してもよい。第１の画像と第２の画像との間の被写体の動き量が所定量よりも小さいと動き判断部１８７が判断した場合、画像取得部１８１は新たな第２の画像を取得してもよい。その所定量は、微小な動き量と対応する。過去に取得された第２の画像は、ステップＳ１０５よりも後の処理において使用されない。第１の画像と第２の画像との間の被写体の動き量が所定量以上であると動き判断部１８７が判断した場合、ステップＳ１０５よりも後の処理が実行されてもよい。これにより、リンク情報が示すリンク先の画像が画素毎に異なることを避けることができる。

本発明の各態様は次の変形例を含んでもよい。動画処理部１８８は、第１の関連付けステップ（ステップＳ１４２）において、第１の実行情報を第１の画像と関連付ける。第１の実行情報は、第１の判断ステップ（ステップＳ１０３）が実行されたことを示す。動画処理部１８８は、第２の関連付けステップ（ステップＳ１４４）において、第２の実行情報を第２の画像と関連付ける。第２の実行情報は、第２の判断ステップ（ステップＳ１０７）が実行されたことを示す。

本発明の各態様は次の変形例を含んでもよい。第１の画像および第２の画像の各々は、動画を構成する２枚以上のフレームのいずれか１枚である。動画処理部１８８は、第１の関連付けステップ（ステップＳ１４２）において、第１の実行情報を動画に付加する。動画処理部１８８は、第２の関連付けステップ（ステップＳ１４４）において、第２の実行情報を動画に付加する。

本発明の各態様は次の変形例を含んでもよい。動画処理部１８８は、第３の関連付けステップ（ステップＳ１４６）において、第１の判断ステップ（ステップＳ１０３）の結果と第２の判断ステップ（ステップＳ１０７）の結果とに基づいて第１の画像および第２の画像のいずれか一方を選択する。動画処理部１８８は、第３の関連付けステップ（ステップＳ１４６）において、選択された画像を識別する情報を、選択された画像と関連付ける。

本発明の各態様は次の変形例を含んでもよい。動画処理部１８８は、第４の関連付けステップ（ステップＳ１４７）において、第１の画像と第２の画像とを互いに関連付けるための情報を第２の画像と関連付ける。

本発明の各態様は次の変形例を含んでもよい。第１の画像および第２の画像の各々は、動画を構成する２枚以上のフレームのいずれか１枚である。動画処理部１８８は、第４の関連付けステップ（ステップＳ１４７）において、第１の画像と第２の画像とを互いに関連付けるための情報を動画に付加する。

第６の実施形態において内視鏡装置１は、各種情報を第１の画像または第２の画像と関連付ける。内視鏡装置１が計測処理を実行するとき、ユーザーは、計測処理に使用される画像を容易に見つけることができる。そのため、計測処理におけるユーザーの作業の効率が向上する。

（第６の実施形態の変形例）
本発明の第６の実施形態の変形例を説明する。リンク情報を含む動画ファイルを使用する計測処理の手順を説明する。

以下では、図４に示すＰＣ４１が計測処理を実行する例を説明する。ソフトウェアがクラウド環境において用意され、かつそのソフトウェアが計測処理を実行してもよい。ソフトウェアが組み込み機器に搭載され、かつそのソフトウェアが計測処理を実行してもよい。計測処理が実行される環境は、上記の例に限らない。

図２８は、ＰＣ４１の構成を示す。例えば、ＰＣ４１は、デスクトップＰＣである。ＰＣ４１は、携帯性を有するラップトップＰＣまたはタブレット端末であってもよい。ＰＣ４１は、クラウド上で動作するコンピュータシステムであってもよい。図２８に示すＰＣ４１は、ＣＰＵ４３、操作部４４、表示部４５、通信部４６、およびメモリ４７を有する。

操作部４４は、ユーザーインタフェースである。例えば、操作部４４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。操作部４４は、ＰＣ４１に対するユーザーの操作を受け付ける。ユーザーは、操作部４４を操作することにより、各種情報をＰＣ４１に入力することができる。操作部４４は、ユーザーが入力した情報を受け付け、その情報をＣＰＵ４３に出力する。

表示部４５は、表示画面を有し、かつ検査対象物内の被写体の画像等を表示画面に表示する。表示部４５は、ＬＣＤ等のモニタ（ディスプレイ）である。表示部４５は、タッチパネルであってもよい。その場合、操作部４４および表示部４５は一体化される。

通信部４６は、内視鏡装置１等の外部装置と通信を実行する。例えば、通信部４６はケーブルあるいは無線で外部装置と接続される。通信部４６と外部装置との間の通信は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットを経由して実行されてもよい。

メモリ４７は、揮発性または不揮発性のメモリである。例えば、メモリ４７は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。メモリ４７は、画像等を記憶する。

ＣＰＵ４３は、ＰＣ４１の動作を制御する。

図２９を参照し、第６の実施形態の変形例における計測処理について説明する。図２９は、計測処理の手順を示す。

計測処理が開始される前、通信部４６は、動画ファイルを内視鏡装置１から受信する。メモリ４７は、受信された動画ファイルを記憶する。

計測処理が開始されたとき、ＣＰＵ４３は、動画ファイルをメモリ４７から読み出す（ステップＳ２０１）。

ＣＰＵ４３は、動画ファイルを表示部４５に表示する。ユーザーは、操作部４４を操作することにより、計測処理に使用される特定の画像（フレーム）を示す情報をＰＣ４１に入力する。ＣＰＵ４３は、その情報を受け付け、その情報が示す画像を選択する（ステップＳ２０２）。

動画ファイルが表示部４５に表示されたとき、図２７に示す動画ファイルＶｄが表示部４５に表示される。また、図２７に示すマークＴａ、マークＴｂ、マークＴｃ、およびマークＴｄが表示部４５に表示される。ユーザーは、マークＴａ、マークＴｂ、マークＴｃ、およびマークＴｄのいずれか１つをクリックすることにより、ユーザーが選択した画像を示す情報をＰＣ４１に入力する。以下では、ユーザーがマークＴｄをクリックし、第４の画像Ｉｄを選択する例を説明する。マークＴｄは、第４の画像Ｉｄが計測処理に最も適していることを示す。ユーザーが第４の画像Ｉｄ以外の画像を選択する場合も、以下で説明する処理の手順は変わらない。

ステップＳ２０２の後、ＣＰＵ４３は、ユーザーによって選択された画像を表示部４５に表示する（ステップＳ２０３）。

図３０は、表示部４５が有する表示画面４５ａに表示される画像の例を示す。ＣＰＵ４３は、動画ファイルＶｄを表示画面４５ａに表示する。動画ファイルＶｄは、図２７に示す動画ファイルＶｄと同様に、第１の画像Ｉａ、第２の画像Ｉｂ、第３の画像Ｉｃ、および第４の画像Ｉｄを含む。ＣＰＵ４３は、第４の画像ＩＭ４１を表示画面４５ａに表示する。第４の画像ＩＭ４１は、第４の画像Ｉｄと同じである。第４の画像ＩＭ４１は、撮像素子２８によって取得されたステレオ画像に含まれる２枚の画像の一方である。そのステレオ画像に含まれる２枚の画像の他方は、表示画面４５ａに表示されていないが、メモリ４７に記録されている。

ステップＳ２０３において画像が表示部４５に表示された後、ユーザーは、操作部４４を操作することにより、２つ以上の計測点をＰＣ４１に入力する。ＰＣ４１は、２つの計測点の間の長さを計測してもよい。ＰＣ４１は、３つ以上の計測点によって規定された領域の面積を計測してもよい。ＰＣ４１は、２つの計測点で規定された直線と１つの計測点との間の距離をしてもよい。以下の例では、ＰＣ４１が２つの計測点の間の長さを計測する例を説明する。ＰＣ４１が３つ以上の計測点を設定する場合であっても、ＰＣ４１が計測結果を得るまでの手順は、ＰＣ４１が２つの計測点を設定する計測処理の手順と同様である。

ユーザーが第１の計測点をＰＣ４１に入力したとき、ＣＰＵ４３は、ステップＳ２０２において選択された画像に第１の計測点を設定する（ステップＳ２０４）。ユーザーが第２の計測点をＰＣ４１に入力したとき、ＣＰＵ４３は、ステップＳ２０２において選択された画像に第２の計測点を設定する（ステップＳ２０５）。図３０に示す例では、ＣＰＵ４３は、第１の計測点Ｐ４１および第２の計測点Ｐ４２を表示画面４５ａに表示する。

ステップＳ２０５の後、ＣＰＵ４３は、２つの計測点を含む画像を動画ファイルにおいて探索する。２つの計測点を含む２枚以上の画像が特定された場合、ＣＰＵ４３は、その２枚以上の画像の各計測点における計測処理の信頼度を算出する。ＣＰＵ４３は、最も高い信頼度を持つ画像を選択する（ステップＳ２０６）。その画像は計測処理に最も適している。

ＣＰＵ４３は、ステップＳ２０６において、２つの計測点の両方が写っている１枚の画像を選択する。以下では、ステップＳ２０６の詳細を説明する。

例えば、ＣＰＵ４３は、第１の探索範囲の中心にある画像を特定する。その画像は第１の計測点を含む。図２５および図２６に示す画像処理が実行されたとき、判断部１８３は、その画像の第１の計測点において第１の判断処理または第２の判断処理を実行し、その画像が計測処理に適していると判断する。その画像のリンク情報は、動画ファイルに埋め込まれている。また、ＣＰＵ４３は、第２の探索範囲の中心にある画像を特定する。その画像は第２の計測点を含む。図２５および図２６に示す画像処理が実行されたとき、判断部１８３は、その画像の第２の計測点において第１の判断処理または第２の判断処理を実行し、その画像が計測処理に適していると判断する。その画像のリンク情報は、動画ファイルに埋め込まれている。

図３０に示す第４の画像ＩＭ４１は、第１の領域Ｒｄａ、第２の領域Ｒｄｂ、第３の領域Ｒｄｃ、および第４の領域Ｒｄｄを含む。第１の計測点Ｐ４１は、第１の領域Ｒｄａに含まれる。第２の計測点Ｐ４２は、第３の領域Ｒｄｃに含まれる。図２７に示すように、第１の領域Ｒｄａは、リンク情報によって第１の画像Ｉａの第１の領域Ｒａａと関連付けられている。第１の画像Ｉａは、第１の探索範囲の中心にある。図２７に示すように、第３の領域Ｒｄｃは、リンク情報によって第３の画像Ｉｃの第３の領域Ｒｃｃと関連付けられている。第３の画像Ｉｃは、第２の探索範囲の中心にある。

例えば、第１の探索範囲は、第１の探索範囲の中心にある画像（中心画像）と、中心画像の前の所定枚数の画像と、中心画像の後の所定枚数の画像とを含む。例えば、第２の探索範囲は、第２の探索範囲の中心にある画像（中心画像）と、中心画像の前の所定枚数の画像と、中心画像の後の所定枚数の画像とを含む。例えば、その所定枚数は１００枚である。

第２の探索範囲の中心にある画像が、第１の探索範囲の中心にある画像と異なる場合がある。この場合、ＣＰＵ４３は、第１の探索範囲と第２の探索範囲とで共通する範囲（重複範囲）を探索範囲として使用する。ＣＰＵ４３は、探索範囲において、第１の計測点および第２の計測点を含む画像を探索する。

２つの計測点を含む画像を探索する方法は、上記の例に限らない。上記の例では、ＣＰＵ４３は、第１の探索範囲および第２の探索範囲の間で共通の範囲を探索範囲として使用する。その探索範囲は、第１の探索範囲および第２の探索範囲の論理積として得られる。ＣＰＵ４３は、第１の計測点および第２の計測点の少なくとも一方を含む探索範囲を使用してもよい。その探索範囲は、第１の探索範囲および第２の探索範囲の論理和として得られる。

ＣＰＵ４３は、計測処理の信頼度を算出するための指標として、第１の判断処理および第２の判断処理において使用される各種指標を使用してもよい。ＣＰＵ４３は、第１の計測点における信頼度の値と、第２の計測点における信頼度の値との平均値を算出してもよい。ＣＰＵ４３は、その平均値を最終的な信頼度として使用してもよい。ＣＰＵ４３は、平均値の代わりに最小値または最大値のような各種統計値を使用してもよい。ＣＰＵ４３は、探索範囲に含まれる各画像において計測処理の信頼度を算出する。ＣＰＵ４３は、その信頼度に基づいて、計測処理に最も適している画像を選択する。

内視鏡装置１の計算リソースは小さく、処理時間の低減への要求は高い。そのため、内視鏡装置１が検査中に判断処理を実行する範囲は限定される。つまり、内視鏡装置１は、計測処理に適していると判断された領域において判断処理を再度実行しない。ＰＣ４１の計算リソースは大きく、処理時間の低減への要求は低い。そのため、ＰＣ４１は、第１の計測点および第２の計測点を含む画像における計測処理の信頼度を算出することができる。ＰＣ４１が計測処理の信頼度を算出する必要はない。

ステップＳ２０６の後、ＣＰＵ４３は、ステップＳ２０６において選択された画像を使用することによりマッチング処理を実行し、各計測点と対応する対応点を検出する（ステップＳ２０７）。各計測点は、ステレオ画像に含まれる２枚の画像の一方にあり、対応点はその２枚の画像の他方にある。ＣＰＵ４３は、第１の計測点と対応する第１の対応点を検出し、かつ第２の計測点と対応する第２の対応点を検出する。

ステップＳ２０７の後、ＣＰＵ４３は、各計測点および各対応点を使用する三角測量を実施する。ＣＰＵ４３は、各計測点と対応する３Ｄ座標を算出する（ステップＳ２０８）。ＣＰＵ４３は、第１の計測点と対応する第１の３Ｄ座標を算出し、かつ第２の計測点と対応する第２の３Ｄ座標を算出する。

ステップＳ２０８の後、ＣＰＵ４３は、第１の３Ｄ座標を持つ点と第２の３Ｄ座標を持つ点との間の長さ（ユークリッド距離）を算出する。これにより、ＣＰＵ４３は、被写体の長さを計測する（ステップＳ２０９）。

ステップＳ２０９の後、ＣＰＵ４３は、ステップＳ２０９において算出された長さを計測結果として表示部４５に表示する（ステップＳ２１０）。ステップＳ２１０が実行されたとき、計測処理が終了する。

第６の実施形態の変形例において、ＰＣ４１は、動画ファイルに埋め込まれたリンク情報を使用することにより、計測処理に適している画像を検出することができる。そのため、ＰＣ４１は計測処理の時間を短縮することができる。

（第７の実施形態）
本発明の第７の実施形態を説明する。内視鏡装置１は、第２の実施形態と同様に判断処理を実行し、かつ判断処理の結果を表示する。また、内視鏡装置１は、３Ｄ再構成処理を実行し、被写体の３Ｄ形状を算出する。内視鏡装置１は、３Ｄ形状の画像を表示する。

図８に示すＣＰＵ１８は、図３１に示すＣＰＵ１８ｄに変更される。図３１は、ＣＰＵ１８ｄの機能構成を示す。ＣＰＵ１８ｄの機能は、制御部１８０、画像取得部１８１、領域設定部１８２、判断部１８３、表示制御部１８４、情報受付部１８５、領域探索部１８６、および３Ｄ形状算出部１８９を含む。図３１に示すブロックの少なくとも１つがＣＰＵ１８ｄと異なる回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

図３１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３１に示す各部は、１つまたは複数のプロセッサを含むことができる。図３１に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄ形状算出部１８９（処理部）は、第１の画像および第２の画像の少なくとも一方を含む２枚以上の画像を使用することにより、被写体の３Ｄ形状を算出する（算出ステップ）。表示制御部１８４は、３Ｄ形状の画像を表示部５に表示する（画像表示ステップ）。

図３２を参照し、第７の実施形態における画像処理について説明する。図３２は、画像処理の手順を示す。図３２に示す画像処理は、図１５に示す画像処理の変形例である。図３２に示す画像処理は、図９、図１９、図２０、図２５、または図２６に示す画像処理と組み合わされてもよい。図９または図１５に示す処理と同じ処理の説明を省略する。

ステップＳ１０８の後、３Ｄ形状算出部１８９は、被写体の３Ｄ形状を算出する（ステップＳ１５１）。ステップＳ１５１は、算出ステップと対応する。

例えば、３Ｄ形状算出部１８９は、ステレオ画像に含まれる２枚の画像のペアを使用する。その２枚の画像の一方は、ステップＳ１０１において取得された第１の画像である。あるいは、３Ｄ形状算出部１８９は、第１の画像と、第１の画像よりも前に取得された１枚以上の画像とを使用する。３Ｄ形状算出部１８９は、第１の画像における第１の領域を使用し、かつその第１の領域と対応する他の画像の領域を使用する。

あるいは、ステレオ画像に含まれる２枚の画像の一方は、ステップＳ１０５において取得された第２の画像である。あるいは、３Ｄ形状算出部１８９は、第２の画像と、第２の画像よりも前に取得された１枚以上の画像とを使用する。その１枚以上の画像は、第１の画像を含んでもよい。３Ｄ形状算出部１８９は、第２の画像における第２の領域を使用し、かつその第２の領域と対応する他の画像の領域を使用する。３Ｄ形状算出部１８９は、第２の画像における第１の領域を使用し、かつその第１の領域と対応する他の画像の領域を使用してもよい。第２の画像における第１の領域は、第１の画像における第１の領域と対応する。

ステップＳ１５１の後、表示制御部１８４は、ステップＳ１５１において算出された３Ｄ形状の画像を表示部５に表示する（ステップＳ１５２）。ステップＳ１５２は、画像表示ステップと対応する。ステップＳ１５２が実行されたとき、画像処理が終了する。

図３３は、ステップＳ１５２において表示部５に表示された第２の画像ＩＭ５１を示す。表示制御部１８４は、第２の画像ＩＭ５１を表示部５に表示する。また、表示制御部１８４は、領域ＲＧ５１を第２の画像ＩＭ５１上に表示する。領域ＲＧ５１は、第１の判断処理が実行された領域と、第２の判断処理が実行された領域とを含む。例えば、判断部１８３は、領域ＲＧ５１が所定の処理に適していると判断する。

３Ｄ形状算出部１８９は、領域ＲＧ５１と対応する被写体の３Ｄ形状を算出する。表示制御部１８４は、領域ＲＧ５２を第２の画像ＩＭ５１上に表示する。表示制御部１８４は、被写体の３Ｄ形状の画像を領域ＲＧ５２に表示する。

図３４は、表示部５に表示された第３の画像ＩＭ５２を示す。第２の画像ＩＭ５１が取得された後、第３の画像ＩＭ５２が取得される。表示制御部１８４は、第３の画像ＩＭ５２を表示部５に表示する。また、表示制御部１８４は、領域ＲＧ５３および領域ＲＧ５４を第３の画像ＩＭ５２上に表示する。領域ＲＧ５３および領域ＲＧ５４は、第１の判断処理が実行された領域と、第２の判断処理が実行された領域と、第３の判断処理が実行された領域とを含む。例えば、判断部１８３は、領域ＲＧ５３が所定の処理に適していると判断する。判断部１８３は、領域ＲＧ５４が所定の処理に適していないと判断する。

３Ｄ形状算出部１８９は、領域ＲＧ５３および領域ＲＧ５４と対応する被写体の３Ｄ形状を算出する。表示制御部１８４は、領域ＲＧ５５を第３の画像ＩＭ５２上に表示する。表示制御部１８４は、被写体の３Ｄ形状の画像を領域ＲＧ５５に表示する。

図３５は、表示部５に表示された第４の画像ＩＭ５３を示す。第３の画像ＩＭ５２が取得された後、第４の画像ＩＭ５３が取得される。表示制御部１８４は、第４の画像ＩＭ５３を表示部５に表示する。また、表示制御部１８４は、領域ＲＧ５６を第４の画像ＩＭ５３上に表示する。領域ＲＧ５６は、第１の判断処理が実行された領域と、第２の判断処理が実行された領域と、第３の判断処理が実行された領域と、第４の判断処理が実行された領域とを含む。例えば、判断部１８３は、領域ＲＧ５６が所定の処理に適していると判断する。

３Ｄ形状算出部１８９は、領域ＲＧ５６と対応する被写体の３Ｄ形状を算出する。表示制御部１８４は、領域ＲＧ５７を第４の画像ＩＭ５３上に表示する。表示制御部１８４は、被写体の３Ｄ形状の画像を領域ＲＧ５７に表示する。

本発明の各態様は次の変形例を含んでもよい。３Ｄ形状算出部１８９は、算出ステップ（ステップＳ１５１）において、第１の画像および第２の画像の少なくとも一方を含む２枚以上の画像を使用することにより、被写体の３Ｄ形状を算出する。表示制御部１８４は、画像表示ステップ（ステップＳ１５２）において、３Ｄ形状の画像を表示部５（ディスプレイ）に表示する。

第７の実施形態において、内視鏡装置１は、被写体の３Ｄ形状を算出し、かつその３Ｄ形状を表示する。ユーザーは、判断処理の結果に加えて、被写体の３Ｄ形状を確認することができる。そのため、画像が計測に適しているか否かをユーザーが判断するときに、判断結果の信頼性が高まる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１ 内視鏡装置
２ 挿入部
３ 本体部
４，４４ 操作部
５，４５ 表示部
７ 画像処理装置
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８，１８ａ，１８ｂ，１８ｃ，１８ｄ，４３ ＣＰＵ
２０ 先端
２８ 撮像素子
３０ ステレオ光学アダプター
４１ ＰＣ
４２ メモリカード
４６ 通信部
４７ メモリ
５０ 固定リング
５１ 第１の照明光学系
５２ 第２の照明光学系
５３ 第１の対物光学系
５４ 第２の対物光学系
７０ 設定部
７１，１８３ 判断部
７２，１８４ 表示制御部
１８０ 制御部
１８１ 画像取得部
１８２ 領域設定部
１８５ 情報受付部
１８６ 領域探索部
１８７ 動き判断部
１８８ 動画処理部
１８９ ３Ｄ形状算出部

Claims (24)

1. 画像が所定の処理に適しているか否かを繰り返し判断する画像処理方法において、
   設定部が第１の領域を第１の画像に設定する第１の設定ステップと、
   前記第１の領域が所定の処理に適しているか否かを判断部が判断し、前記所定の処理は、被写体における３次元座標を算出する処理である第１の判断ステップと、
   前記設定部が第２の領域を前記第１の画像よりも後に取得された第２の画像に設定し、前記第２の領域は前記第２の画像の全体領域よりも小さく、前記第１の領域の少なくとも一部を含まない第２の設定ステップと、
   前記第２の領域が前記所定の処理に適しているか否かを前記判断部が判断する第２の判断ステップと、
   前記第１の領域の少なくとも一部が前記所定の処理に適しているか否かを示す情報と、前記第２の領域が前記所定の処理に適しているか否かを示す情報とを表示制御部がディスプレイに表示する情報表示ステップと、
   を有する画像処理方法。
2. 前記情報表示ステップが実行される前に、前記第１の領域が前記所定の処理に適しているか否かを示す情報を前記表示制御部が前記ディスプレイに表示する第２の情報表示ステップをさらに有する
   請求項１に記載の画像処理方法。
3. 前記設定部は、前記第１の設定ステップにおいて、第１の被写体が写っている領域を含む前記第１の領域を前記第１の画像に設定し、
   前記設定部は、前記第２の設定ステップにおいて、前記第１の被写体と異なる第２の被写体が写っている領域を含む前記第２の領域を前記第２の画像に設定する
   請求項１に記載の画像処理方法。
4. 前記第２の画像において前記第１の被写体が写っている被写体領域を探索部が探索する探索ステップをさらに有し、
   前記設定部は、前記第２の設定ステップにおいて、前記被写体領域と異なる領域を含む前記第２の領域を前記第２の画像に設定する
   請求項３に記載の画像処理方法。
5. 前記設定部は、前記第１の設定ステップにおいて、第１の被写体が写っている領域を含む前記第１の領域を前記第１の画像に設定し、
   前記設定部は、前記第２の設定ステップにおいて、前記第１の被写体が写っている領域の少なくとも一部を含む前記第２の領域を前記第２の画像に設定する
   請求項１に記載の画像処理方法。
6. 前記第２の判断ステップが実行される前に検出部が前記第１の画像と前記第２の画像との間の構図の変化量を検出する検出ステップをさらに有する
   請求項１に記載の画像処理方法。
7. 前記変化量が所定量よりも小さい場合のみ、前記情報表示ステップが実行される
   請求項６に記載の画像処理方法。
8. 生成部が、前記第１の画像および前記第２の画像の各々における判断領域の情報を生成する生成ステップをさらに有し、
   前記判断領域の前記情報が生成された後、前記設定部は、前記第１の設定ステップにおいて、前記第１の領域を前記第１の画像における前記判断領域に設定し、
   前記設定部は、前記第２の設定ステップにおいて、前記第２の領域を前記第２の画像における前記判断領域に設定する
   請求項１に記載の画像処理方法。
9. 前記第１の画像および前記第２の画像の各々は、ステレオ光学系を通して生成された光学像に基づいて生成される
   請求項１に記載の画像処理方法。
10. 前記判断部は、前記第１の判断ステップにおいて、前記第１の領域における被写体の３次元形状を算出する処理を実行することにより取得された前記３次元形状、前記第１の領域における被写体とカメラとの距離、前記第１の領域の明るさ、および前記第１の領域におけるぶれ量、前記第１の領域におけるテクスチャの強度の少なくとも１つを使用する
    請求項１に記載の画像処理方法。
11. 前記判断部は、前記第２の判断ステップにおいて、前記第２の領域における被写体の３次元形状を算出する処理を実行することにより取得された前記３次元形状、前記第２の領域における被写体とカメラとの距離、前記第２の領域の明るさ、前記第２の領域におけるぶれ量、および前記第２の領域におけるテクスチャの強度の少なくとも１つを使用する
    請求項１に記載の画像処理方法。
12. 前記第１の画像は、ステレオ光学系を通して生成された光学像に基づいて生成され、
    前記判断部は、前記第１の判断ステップにおいて、前記第１の領域のステレオマッチング処理を実行することにより取得された相関値と、前記第１の領域における視差量との少なくとも１つを使用する
    請求項１に記載の画像処理方法。
13. 前記第２の画像は、ステレオ光学系を通して生成された光学像に基づいて生成され、
    前記判断部は、前記第２の判断ステップにおいて、前記第２の領域のステレオマッチング処理を実行することにより取得された相関値と、前記第２の領域における視差量との少なくとも１つを使用する
    請求項１に記載の画像処理方法。
14. 処理部が、前記第１の画像および前記第２の画像の少なくとも一方を含む２枚以上の画像を使用することにより、被写体の３次元形状を算出する算出ステップと、
    前記表示制御部が、前記３次元形状の画像を前記ディスプレイに表示する画像表示ステップと、
    をさらに有する請求項１に記載の画像処理方法。
15. 前記判断部は、前記第１の判断ステップにおいて、前記第１の画像を含む２枚以上の画像を使用する
    請求項１に記載の画像処理方法。
16. 前記判断部は、前記第２の判断ステップにおいて、前記第２の画像を含む２枚以上の画像を使用する
    請求項１に記載の画像処理方法。
17. 処理部が、前記第１の判断ステップが実行されたことを示す第１の実行情報を前記第１の画像と関連付ける第１の関連付けステップと、
    前記処理部が、前記第２の判断ステップが実行されたことを示す第２の実行情報を前記第２の画像と関連付ける第２の関連付けステップと、
    をさらに有する請求項１に記載の画像処理方法。
18. 前記第１の画像および前記第２の画像の各々は、動画を構成する２枚以上のフレームのいずれか１枚であり、
    前記処理部は、前記第１の関連付けステップにおいて、前記第１の実行情報を前記動画に付加し、
    前記処理部は、前記第２の関連付けステップにおいて、前記第２の実行情報を前記動画に付加する
    請求項１７に記載の画像処理方法。
19. 処理部が、前記第１の判断ステップの結果と前記第２の判断ステップの結果とに基づいて前記第１の画像および前記第２の画像のいずれか一方を選択し、かつ選択された画像を識別する情報を、選択された前記画像と関連付ける第３の関連付けステップをさらに有する
    請求項１７に記載の画像処理方法。
20. 処理部が、前記第１の画像と前記第２の画像とを互いに関連付けるための情報を前記第１の画像および前記第２の画像の少なくとも一方と関連付ける第４の関連付けステップをさらに有する
    請求項１７に記載の画像処理方法。
21. 前記第１の画像および前記第２の画像の各々は、動画を構成する２枚以上のフレームのいずれか１枚であり、
    前記処理部は、前記第４の関連付けステップにおいて、前記第１の画像と前記第２の画像とを互いに関連付けるための前記情報を前記動画に付加する
    請求項２０に記載の画像処理方法。
22. 前記第１の領域は前記第１の画像の全体領域よりも小さい、請求項１に記載の画像処理方法。
23. 画像が所定の処理に適しているか否かを繰り返し判断する画像処理装置において、
    第１の領域を第１の画像に設定し、かつ第２の領域を前記第１の画像よりも後に取得された第２の画像に設定し、前記第２の領域は前記第２の画像の全体領域よりも小さく、前記第１の領域の少なくとも一部を含まない設定部と、
    前記第１の領域および前記第２の領域の各々が所定の処理に適しているか否かを判断し、前記所定の処理は、被写体における３次元座標を算出する処理である判断部と、
    前記第１の領域の少なくとも一部が前記所定の処理に適しているか否かを示す情報と、前記第２の領域が前記所定の処理に適しているか否かを示す情報とをディスプレイに表示する表示制御部と、
    を有する画像処理装置。
24. 画像が所定の処理に適しているか否かを繰り返し判断する画像処理をコンピュータに実行させるためのプログラムであって、
    第１の領域を第１の画像に設定する第１の設定ステップと、
    前記第１の領域が所定の処理に適しているか否かを判断し、前記所定の処理は、被写体における３次元座標を算出する処理である第１の判断ステップと、
    第２の領域を前記第１の画像よりも後に取得された第２の画像に設定し、前記第２の領域は前記第２の画像の全体領域よりも小さく、前記第１の領域の少なくとも一部を含まない第２の設定ステップと、
    前記第２の領域が前記所定の処理に適しているか否かを判断する第２の判断ステップと、
    前記第１の領域の少なくとも一部が前記所定の処理に適しているか否かを示す情報と、前記第２の領域が前記所定の処理に適しているか否かを示す情報とをディスプレイに表示する情報表示ステップと、
    をコンピュータに実行させるためのプログラム。