JP7116925B2

JP7116925B2 - 観察装置の作動方法、観察装置、およびプログラム

Info

Publication number: JP7116925B2
Application number: JP2019054976A
Authority: JP
Inventors: 陽平坂本
Original assignee: 株式会社エビデント
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2022-08-12
Anticipated expiration: 2039-03-22
Also published as: US11650407B2; US20200301126A1; JP2020154234A; US11327292B2; US20220229284A1

Description

本発明は、観察装置の作動方法、観察装置、およびプログラムに関する。

工業用の内視鏡装置は、ボイラー、タービン、エンジン、およびパイプ等の内部の傷および腐食等の検査に使用されている。航空機のエンジンのような大空間、あるいは長距離のパイプのような構造物が、工業用内視鏡を使った検査の対象となる場合がある。このような検査において、ユーザーはどこが観察済みであり、どこが未観察であるのかを正しく把握することが難しい。ユーザーは、観察漏れを発生させないために、より確実な方法で検査を行うことが多い。そのため、同じ検査領域が何度も検査される状況があった。これにより、検査の効率が低下していた。

特許文献１では、この問題を解決するための方法が開示されている。内視鏡装置のコンピュータは、検査対象（被写体）が観察されたか否かを判断し、かつ判断の結果をユーザーに通知する。コンピュータは、内視鏡の視野に写った検査対象の物体距離に基づいて、検査対象が観察されたか否かを判断する。このような機能があれば、ユーザーは、どこが観察済みであり、どこが未観察であるのかを把握することができ、検査の効率が向上する。

国際公開第２０１６／０７６２６２号

しかしながら、検査対象の構造または検査対象の重要度に基づいて、上記の判断のための指標または閾値を変更することについては特許文献１に開示されていない。例えば、工業用内視鏡の検査対象の１つである航空機エンジンの検査においては、タービンブレードのエッジ、コンプレッサーブレードのエッジ、およびタービンブレードのクーリングホールの各々の周辺は、欠陥が見つかりやすい重要な領域である。一方、ブレードのエッジまたはクーリングホールと比較して重要な検査が不要な領域も存在する。また、特定の検査対象の重要度がブレードのエッジまたはクーリングホールの重要度と同じであっても、その検査対象を特定の条件で観察したい場合もある。例えば、特定の条件は、物体距離、構図、または光学アダプターの種別、などである。観察済みであるか否かを判断するための複数の条件が存在する対象の検査において、複数の条件間で同じ指標と閾値とを使用して観察済みであるか否かを判断することは適切ではない。

本発明は、被写体の領域が観察済みであるか否かを各領域の基準に基づいて判断することができる観察装置の作動方法、観察装置、およびプログラムを提供することを目的とする。

本発明は、観察装置の作動方法であって、前記観察装置は、観察対象内の被写体の画像を取得する撮像素子を有し、かつ前記観察対象に挿入される挿入部と、前記被写体の３次元モデルの一部である第１の領域と、前記３次元モデルにおいて前記第１の領域以外の第２の領域との各々に設定された撮像条件を記憶し、前記第１の領域の前記撮像条件と前記第２の領域の前記撮像条件とは、互いに異なる記憶媒体と、推定部と、特定部と、判断部と、表示制御部と、を有し、前記作動方法は、前記表示制御部が前記画像を表示部に表示する画像表示ステップと、前記撮像素子が前記画像を取得したときの前記撮像素子の位置および前記撮像素子の姿勢を前記推定部が推定する推定ステップと、前記画像の画素に対応する前記３次元モデル上の位置を前記特定部が前記推定ステップにおいて推定された前記位置および前記姿勢に基づいて特定する特定ステップと、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされるか否かを前記判断部が判断する判断ステップと、前記判断部によって実行された判断の結果に基づいて観察情報を前記表示制御部が前記表示部に表示し、前記観察情報は、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであるか否かを示す観察情報表示ステップと、を有することを特徴とする観察装置の作動方法である。

本発明において、前記観察装置は、撮像条件設定部をさらに有し、前記作動方法は、前記撮像条件設定部が前記撮像条件を前記第１の領域および前記第２の領域の各々に設定する撮像条件設定ステップをさらに有することを特徴とする。

本発明において、前記観察装置は、領域設定部をさらに有し、前記作動方法は、前記領域設定部が前記第１の領域および前記第２の領域を前記３次元モデルに設定する領域設定ステップをさらに有することを特徴とする。

本発明において、前記観察装置は、処理部をさらに有し、前記作動方法は、前記撮像素子によって取得された複数の画像の各々における特徴点を前記処理部が検出する特徴点検出ステップと、前記複数の画像の各々における前記特徴点を前記処理部が互いに対応付ける対応付けステップと、前記特徴点に基づいて前記撮像素子の位置および前記撮像素子の姿勢を前記処理部が算出する算出ステップと、前記算出ステップにおいて算出された前記位置および前記姿勢に基づいて前記３次元モデルを前記処理部が生成する生成ステップと、を有し、前記領域設定ステップが実行される前に、前記特徴点検出ステップ、前記対応付けステップ、前記算出ステップ、および前記生成ステップが実行されることを特徴とする。

本発明は、前記撮像条件設定ステップにおいて、ユーザーからの前記撮像条件の入力は受け付けられないことを特徴とする。

本発明は、前記領域設定ステップにおいて、ユーザーからの前記第１の領域および前記第２の領域を示す情報の入力は受け付けられないことを特徴とする。

本発明において、前記推定部は、前記推定ステップにおいて、少なくとも前記画像および前記３次元モデルに基づいて前記位置および前記姿勢を推定することを特徴とする。

本発明において、前記推定部は、前記推定ステップにおいて、前記画像のみに基づいて前記位置および前記姿勢を推定することを特徴とする。

本発明において、前記記憶媒体は、前記撮像条件が満たされないと判断された前記３次元モデル上の前記位置である未観察位置を記憶し、前記作動方法は、前記未観察位置が前記撮像素子の視野の後ろ側にある場合に、前記未観察位置を含む前記第１の領域または前記第２の領域があることを示す第１の通知情報を前記表示制御部が前記表示部に表示する第１の通知情報表示ステップをさらに有し、ことを特徴とする。

本発明において、前記撮像条件は、複数の条件を含み、前記作動方法は、前記複数の条件に含まれる少なくとも１つの条件が満たされないと前記判断部が判断した場合に、前記表示制御部は、前記少なくとも１つの条件を示す条件情報を前記表示部に表示する条件情報表示ステップをさらに有することを特徴とする。

本発明において、前記観察装置は、記録部をさらに有し、前記作動方法は、前記第１の領域に設定された前記撮像条件が満たされると前記判断部が判断した場合に、前記第１の領域に対応する領域が写っている前記画像を前記記録部が記録する記録ステップをさらに有することを特徴とする。

本発明において、前記撮像条件が満たされると前記判断部が判断した場合、前記表示制御部は、前記観察情報表示ステップにおいて、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであることを示す前記観察情報を前記表示部に表示することを特徴とする。

本発明において、前記判断部は、前記判断ステップにおいて、前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされる度合いを示す評価値を算出し、前記表示制御部は、前記観察情報表示ステップにおいて、前記評価値を前記観察情報として前記表示部に表示することを特徴とする。

本発明において、前記判断部は、前記判断ステップにおいて、前記評価値と閾値とを比較することにより前記撮像条件が満たされるか否かを判断し、前記作動方法は、前記撮像条件が満たされないと前記判断部が判断した場合に、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みではないことを示す第２の通知情報を前記表示制御部が前記表示部に表示する第２の通知情報表示ステップをさらに有することを特徴とする。

本発明は、観察対象内の被写体の画像を取得する撮像素子を有し、かつ前記観察対象に挿入される挿入部と、前記被写体の３次元モデルの一部である第１の領域と、前記３次元モデルにおいて前記第１の領域以外の第２の領域との各々に設定された撮像条件を記憶し、前記第１の領域の前記撮像条件と前記第２の領域の前記撮像条件とは、互いに異なる記憶媒体と、前記画像を表示部に表示する表示制御部と、前記撮像素子が前記画像を取得したときの前記撮像素子の位置および前記撮像素子の姿勢を推定する推定部と、前記画像の画素に対応する前記３次元モデル上の位置を前記推定部によって推定された前記位置および前記姿勢に基づいて特定する特定部と、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされるか否かを判断する判断部と、を有し、前記判断部によって実行された判断の結果に基づいて観察情報を前記表示制御部が前記表示部に表示し、前記観察情報は、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであるか否かを示すことを特徴とする観察装置である。

本発明は、観察装置のコンピュータに、画像表示ステップ、推定ステップ、特定ステップ、判断ステップ、および観察情報表示ステップを実行させるためのプログラムであって、前記観察装置は、観察対象内の被写体の画像を取得する撮像素子を有し、かつ前記観察対象に挿入される挿入部と、前記被写体の３次元モデルの一部である第１の領域と、前記３次元モデルにおいて前記第１の領域以外の第２の領域との各々に設定された撮像条件を記憶し、前記第１の領域の前記撮像条件と前記第２の領域の前記撮像条件とは、互いに異なる記憶媒体と、を有し、前記コンピュータは、前記画像表示ステップにおいて、前記画像を表示部に表示し、前記コンピュータは、前記推定ステップにおいて、前記撮像素子が前記画像を取得したときの前記撮像素子の位置および前記撮像素子の姿勢を推定し、前記コンピュータは、前記特定ステップにおいて、前記画像の画素に対応する前記３次元モデル上の位置を前記推定ステップにおいて推定された前記位置および前記姿勢に基づいて特定し、前記コンピュータは、前記判断ステップにおいて、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされるか否かを判断し、前記コンピュータは、前記観察情報表示ステップにおいて、前記判断ステップの結果に基づいて観察情報を前記表示部に表示し、前記観察情報は、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであるか否かを示すことを特徴とするプログラムである。

本発明によれば、観察装置の作動方法、観察装置、およびプログラムは、被写体の領域が観察済みであるか否かを各領域の基準に基づいて判断することができる。

本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。本発明の第１の実施形態によるＰＣの機能構成を示すブロック図である。本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。本発明の第１の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。本発明の第１の実施形態における判断の指標および判断の閾値を示す図である。本発明の第１の実施形態における検査画像および動きベクトルを示す図である。本発明の第１の実施形態における動きベクトルと閾値との関係を示す図である。本発明の第１の実施形態における画像取得の状況を示す模式図である。本発明の第１の実施形態における３次元モデルを生成するための処理の手順を示すフローチャートである。本発明の第１の実施形態によるＣＰＵが実行する処理の手順を示すフローチャートである。本発明の第１の実施形態によるＣＰＵが実行する処理の手順を示すフローチャートである。本発明の第１の実施形態による表示部に表示される画像の例を示す図である。本発明の第１の実施形態による表示部に表示される画像の例を示す図である。本発明の第１の実施形態における３次元モデル上の位置を特定する方法を示す図である。本発明の第１の実施形態による表示部に表示される画像の例を示す図である。本発明の第１の実施形態による表示部に表示される画像の例を示す図である。本発明の第１の実施形態の第２の変形例によるＰＣの機能構成を示すブロック図である。本発明の第１の実施形態の第２の変形例によるＰＣが実行する処理の手順を示すフローチャートである。本発明の第２の実施形態によるＣＰＵの機能構成を示すブロック図である。本発明の第２の実施形態によるＣＰＵが実行する処理の手順を示すフローチャートである。本発明の第２の実施形態において３次元モデル上の位置が未観察であると判断された原因をユーザーに通知する方法を示す図である。本発明の第２の実施形態において撮像素子の視野の後ろ側にある未観察位置を検出する方法を示す図である。本発明の第３の実施形態によるＣＰＵが実行する処理の手順を示すフローチャートである。本発明の第３の実施形態によるＣＰＵが実行する処理の手順を示すフローチャートである。本発明の第３の実施形態による表示部に表示される画像の例を示す図である。

以下、図面を参照し、本発明の実施形態を説明する。以下では、観察装置が内視鏡装置である例を説明する。観察装置は、観察対象に挿入される挿入部を有し、かつ観察対象内の被写体の画像を取得する装置でありさえすればよく、内視鏡装置に限らない。

（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡装置１の外観を示す。図２は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を生成する。検査者は、種々の被写体の観察を行うために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを行うことが可能である。以下では、検査の前にユーザーが注目領域を指定する場合について説明する。注目領域は、検査領域が観察済みであるか否かを判断するための条件が他の検査領域の条件と異なる検査領域と定義される。

図１に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、単眼の光学アダプターが挿入部２の先端２０に装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２で取得された被写体の画像および操作メニュー等を表示画面に表示する。

操作部４は、ユーザーインタフェースである。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。

図２に示す本体部３は、内視鏡ユニット８、ＣＣＵ（ＣａｍｅｒａＣｏｎｔｒｏｌＵｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、前処理が行われた撮像信号をＮＴＳＣ信号等の映像信号に変換する。

制御装置１０は、映像信号処理回路１２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１３、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１８ａを有する。

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａによって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。

ＲＯＭ１３は、ＣＰＵ１８ａが内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８ａが内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８ａは、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１のモニタが情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を行うことができる。

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８ａに通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

ＣＰＵ１８ａが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。

上述したプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。

上記の内視鏡装置１は、挿入部２、ＲＡＭ１４、およびＣＰＵ１８ａを有する。挿入部２は、撮像素子２８を有し、かつ検査対象（観察対象）に挿入される。撮像素子２８は、検査対象内の被写体を撮像し、かつ撮像信号を生成する。これにより、撮像素子２８は、撮像視野内の被写体の光学像に基づいて被写体の画像（画像データ）を生成する。撮像素子２８は、複数の画像を連続的に生成することにより、被写体の検査動画を生成する。撮像素子２８によって生成された画像は映像信号処理回路１２を経由してＣＰＵ１８ａに入力される。ＲＡＭ１４（記憶媒体）は、被写体の３次元（３Ｄ）モデルの一部である注目領域（第１の領域）と、３Ｄモデルにおいて注目領域以外の通常領域（第２の領域）との各々に設定された撮像条件を記憶する。撮像条件は、被写体の領域が観察済みであるか否かを判断するために使用される。注目領域の撮像条件と通常領域の撮像条件とは、互いに異なる。以下では、ＰＣ４１が領域の設定と撮像条件の設定とを実行する例を説明する。

図３は、ＰＣ４１の機能構成を示す。図３に示すＰＣ４１は、ＣＰＵ４３、操作部４４、表示部４５、通信部４６、およびメモリ４７を有する。

ＣＰＵ４３は、ＰＣ４１の動作を制御する。操作部４４は、ユーザーインタフェースである。操作部４４は、ＰＣ４１に対するユーザーの操作を受け付ける。ユーザーは、操作部４４を操作することにより、各種情報をＰＣ４１に入力することができる。操作部４４は、ユーザーが入力した情報を受け付け、その情報をＣＰＵ４３に出力する。表示部４５は、表示画面を有し、かつ検査対象内の被写体の３Ｄモデル等を表示画面に表示する。表示部４５は、ＬＣＤ等のモニタ（ディスプレイ）である。表示部４５は、タッチパネルであってもよい。その場合、操作部４４および表示部４５は一体化される。通信部４６は、内視鏡装置１と通信を実行する。メモリ４７は、内視鏡装置１によって取得された検査動画等を記憶する。

動画選択部４３０、条件受付部４３１、３Ｄモデル生成部４３２、表示制御部４３３、領域受付部４３４、指標受付部４３５、閾値受付部４３６、および条件設定部４３７によってＣＰＵ４３の機能が構成されている。図３に示すＣＰＵ４３内のブロックの少なくとも１つがＣＰＵ４３とは別の回路で構成されてもよい。

ＣＰＵ４３内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、およびＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）の少なくとも１つである。ＣＰＵ４３内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３内の各部は、１つまたは複数の論理回路を含むことができる。

通信部４６は、複数の検査動画を内視鏡装置１から受信する。メモリ４７は、受信された複数の検査動画を記憶する。ユーザーは、注目領域の設定および撮像条件の設定に使用する検査動画を示す情報を操作部４４に入力する。動画選択部４３０は、ユーザーが操作部４４に入力した情報に基づいて、複数の検査動画のうち１つを選択する。メモリ４７が１つのみの検査動画を記憶し、かつ動画選択部４３０がその検査動画を選択してもよい。以下では、注目領域の設定および撮像条件の設定に被写体の動画を使用する例を説明する。動画を使用する必要はなく、静止画が使用されてもよい。

ユーザーは、被写体の３Ｄモデルを生成するための条件を示す情報を操作部４４に入力する。条件受付部４３１は、ユーザーが操作部４４に入力した情報に基づいて、被写体の３Ｄモデルを生成するための条件を受け付ける。具体的には、その条件は、カメラの内部パラメーター、カメラの歪み補正パラメーター、設定値、および基準長等を含む。設定値は、３Ｄモデルを生成するための各種処理に使用される。基準長は、３Ｄモデルを実際の被写体のスケールと合わせるために使用される。条件受付部４３１が受け付けた情報は、メモリ４７に記憶される。

３Ｄモデル生成部４３２（処理部）は、被写体の３Ｄモデルを生成（再構成）する。３Ｄモデル生成部４３２によって生成された３Ｄモデルは、メモリ４７に記憶される。

表示制御部４３３は、３Ｄモデル生成部４３２によって生成された３Ｄモデルを表示部４５に表示する。

ユーザーは、被写体上の注目領域を示す情報を操作部４４に入力する。領域受付部４３４（領域設定部）は、ユーザーが操作部４４に入力した情報に基づいて、注目領域を受け付ける。ユーザーが注目領域として指定しない領域は、通常領域として受け付けられる。領域受付部４３４は、３Ｄモデル生成部４３２によって生成された３Ｄモデルに注目領域および通常領域を設定する。領域受付部４３４が受け付けた各領域は、メモリ４７に記憶される。

ユーザーは、被写体上の領域が観察済みであるか否かを判断するための指標を示す情報を操作部４４に入力する。指標は、撮像条件の種類を示す。ユーザーは、指標を領域毎に指定することができる。指標受付部４３５は、ユーザーが操作部４４に入力した情報に基づいて、指標を受け付ける。指標受付部４３５が受け付けた指標は、メモリ４７に記憶される。

ユーザーは、被写体上の領域が観察済みであるか否かを判断するための閾値を示す情報を操作部４４に入力する。ユーザーは、閾値を領域毎に指定することができる。閾値受付部４３６は、ユーザーが操作部４４に入力した情報に基づいて、閾値を受け付ける。閾値受付部４３６が受け付けた閾値は、メモリ４７に記憶される。

条件設定部４３７（撮像条件設定部）は、３Ｄモデル生成部４３２によって生成された３Ｄモデルの注目領域および通常領域の各々に、指標と閾値とを含む撮像条件を設定する。条件設定部４３７は、注目領域の指標および注目領域の閾値を注目領域に設定する。条件設定部４３７は、通常領域の指標および通常領域の閾値を通常領域に設定する。条件設定部４３７は、各領域の撮像条件が設定された３Ｄモデルを生成する。３Ｄモデルは、被写体の３次元座標のデータと、注目領域の情報と、通常領域の情報と、各領域の撮像条件とを含む。条件設定部４３７によって生成された３Ｄモデルは、メモリ４７に記憶される。通信部４６は、撮像条件が設定された３Ｄモデルを内視鏡装置１に送信する。

内視鏡装置１の外部機器インタフェース１６は、撮像素子２８によって取得された検査動画をＰＣ４１に送信する。外部機器インタフェース１６は、撮像条件が設定された３ＤモデルをＰＣ４１から受信する。３Ｄモデルは、ＲＡＭ１４に記憶される。

図４は、ＣＰＵ１８ａの機能構成を示す。メイン制御部１８０、画像取得部１８１、表示制御部１８２、３Ｄモデル選択部１８３、カメラ位置姿勢推定部１８４、位置特定部１８５、および判断部１８６によってＣＰＵ１８ａの機能が構成されている。図４に示すブロックの少なくとも１つがＣＰＵ１８ａとは別の回路で構成されてもよい。

図４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４に示す各部は、１つまたは複数のプロセッサを含むことができる。図４に示す各部は、１つまたは複数の論理回路を含むことができる。

メイン制御部１８０は、各部が実行する処理を制御する。画像取得部１８１は、撮像素子２８によって生成された画像を映像信号処理回路１２から取得する。取得された画像は、ＲＡＭ１４に保持される。

表示制御部１８２は、撮像素子２８によって生成された画像を表示部５に表示する。例えば、表示制御部１８２は、映像信号処理回路１２によって実行される処理を制御する。表示制御部１８２は、映像信号処理回路１２に、処理された画像を表示部５へ出力させる。表示部５は、映像信号処理回路１２から出力された画像を表示する。

表示制御部１８２は、３Ｄモデルおよび判断結果等を表示部５に表示する。つまり、表示制御部１８２は、画像上に各種情報を表示する。例えば、表示制御部１８２は、各種情報のグラフィック画像信号を生成する。表示制御部１８２は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、映像信号に基づいて、各種情報が重畳された画像を表示する。

ユーザーは、被写体の３Ｄモデルを示す情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した情報を受け付け、その情報を出力する。操作部４に入力された情報は、入力部である制御インタフェース１７に入力される。制御インタフェース１７に入力された情報は、ＣＰＵ１８ａに入力される。３Ｄモデル選択部１８３は、ユーザーが操作部４に入力した情報に基づいて、３Ｄモデルを選択する。

カメラ位置姿勢推定部１８４は、撮像素子２８が画像を取得したときの撮像素子２８の位置および撮像素子２８の姿勢を推定する。カメラ位置姿勢推定部１８４は、撮像素子２８の位置および撮像素子２８の姿勢を推定するために、画像取得部１８１によって取得された画像と、３Ｄモデル選択部１８３によって選択された３Ｄモデルとを使用する。

位置特定部１８５は、画像取得部１８１によって取得された画像の画素に対応する３Ｄモデル上の位置を特定する。位置特定部１８５は、３Ｄモデル上の位置を特定するために、画像取得部１８１によって取得された画像と、３Ｄモデル選択部１８３によって選択された３Ｄモデルと、カメラ位置姿勢推定部１８４によって推定された位置および姿勢とを使用する。

判断部１８６は、位置特定部１８５によって特定された位置を含む注目領域または通常領域に設定された撮像条件が満たされるか否かを判断する。具体的には、判断部１８６は、位置特定部１８５によって特定された位置に設定された指標および閾値を取得する。判断部１８６は、画像取得部１８１によって取得された画像と、カメラ位置姿勢推定部１８４によって推定された位置および姿勢とに基づいて指標値を算出する。判断部１８６は、算出された指標値と閾値とを比較することにより、撮像条件が満たされるか否かを判断する。

表示制御部１８２は、判断部１８６によって実行された判断の結果に基づいて観察情報を表示部５に表示する。観察情報は、位置特定部１８５によって特定された位置を含む注目領域または通常領域が観察済みであるか否かを示す。表示制御部１８２は、観察情報のグラフィック画像信号を生成する。その後、各種情報を表示するための処理と同様の処理が実行される。

第１の実施形態の特徴的な処理は、検査前に実行される処理と、検査中に実行される処理とを含む。以下では、各処理について説明する。以下では、撮像素子２８によって検査のために生成された画像を検査画像と記載する。

図５を参照し、検査前に実行される処理の手順を説明する。図５は、ＰＣ４１が実行する処理の手順を示す。ＰＣ４１は、ラップトップおよびデスクトップのいずれであってもよい。また、図５に示す処理がクラウド環境で実行されてもよい。

ユーザーは、注目領域の設定および撮像条件の設定に使用する検査動画を示す情報を操作部４４に入力する。動画選択部４３０は、ユーザーが操作部４４に入力した情報に基づいて、複数の検査動画のうち１つを選択する（ステップＳ１０１）。

ステップＳ１０１の後、ユーザーは、被写体の３Ｄモデルを生成するための条件を示す情報を操作部４４に入力する。条件受付部４３１は、ユーザーが操作部４４に入力した情報に基づいて、被写体の３Ｄモデルを生成するための条件を受け付ける（ステップＳ１０２）。前述したように、その条件は、カメラの内部パラメーター、カメラの歪み補正パラメーター、設定値、および基準長等を含む。これらの条件の全てをユーザーが指定する必要はない。ＣＰＵ４３がこれらの条件の少なくとも１つを自動的に設定してもよい。

ステップＳ１０２の後、３Ｄモデル生成部４３２は、選択された検査動画と、３Ｄモデルを生成するための条件とに基づいて、被写体の３Ｄモデルを生成する（ステップＳ１０３）。３Ｄモデル生成部４３２が実行する具体的な処理の手順については後述する。

ステップＳ１０３の後、表示制御部４３３は、生成された３Ｄモデルを表示部４５に表示する（ステップＳ１０４）。

ステップＳ１０４の後、ユーザーは、３Ｄモデルにおいて注目領域として指定する領域を決定し、かつその領域を示す情報を操作部４４に入力する。領域受付部４３４は、ユーザーが操作部４４に入力した情報に基づいて、注目領域を受け付ける。領域受付部４３４は、生成された３Ｄモデルに注目領域および通常領域を設定する（ステップＳ１０５）。

例えば、ユーザーは、検査の重要度が高い領域を注目領域として指定する。注目領域は、過去の検査において欠陥が頻繁に見つかっている領域であってもよい。注目領域は、過去の検査において経過観察が必要であると判断された領域であってもよい。注目領域は、設計上、不具合が発生しやすいと想定される領域であってもよい。

注目領域は、重要度が特に高くない領域であってもよい。例えば、注目領域は、特定の条件で検査することが求められる領域であってもよい。特定の条件は、物体距離、構図、または光学アダプターの種別である。検査マニュアルまたは検査対象の設計意図に基づいて注目領域が設定されてもよい。例えば、航空機エンジンの検査では、設計意図がエンジンメーカーと各企業の検査部門との間で共有されている場合が多い。

第１の実施形態において、３Ｄモデルが表示部４５に表示されているときにユーザーは３Ｄモデル上の注目領域を指定する。ユーザーは、３Ｄモデル上の領域を注目領域として直接指定する必要はない。ユーザーは、検査動画に写る２次元の被写体上の領域を注目領域として指定してもよい。具体的には、ステップＳ１０４において、３Ｄモデルの代わりに検査動画が表示部４５に表示される。ユーザーは、２次元の被写体において注目領域として指定する領域を決定し、かつその領域を示す情報を操作部４４に入力する。領域受付部４３４は、ユーザーが操作部４４に入力した情報に基づいて、注目領域を受け付ける。３Ｄモデル上の位置と２次元の被写体の位置とは、互いに対応付けられている。したがって、ＣＰＵ４３は、２次元の被写体上で指定された領域に対応する３Ｄモデル上の領域を特定することができる。

ステップＳ１０５の後、ユーザーは、判断の指標と判断の閾値とを示す情報を操作部４４に入力する。指標受付部４３５は、ユーザーが操作部４４に入力した情報に基づいて、指標を受け付ける。閾値受付部４３６は、ユーザーが操作部４４に入力した情報に基づいて、閾値を受け付ける（ステップＳ１０６）。指標および閾値は、領域毎に受け付けられる。つまり、注目領域の指標および閾値が受け付けられ、かつ通常領域の指標および閾値が受け付けられる。

図６は、判断の指標および判断の閾値の例を示す。４つの指標が図６に示されている。４つの指標は、指標Ａ（物体距離）、指標Ｂ（観察時間）、指標Ｃ（画像輝度）、および指標Ｄ（視野内の位置）を含む。指標Ａは、被写体から内視鏡先端までの距離を示す。指標Ｂは、観察のために内視鏡先端が静止する時間の長さを示す。指標Ｃは、検査画像の輝度値を示す。指標Ｄは、画像の中心から各領域の位置までの画角を示す。図６に示す各指標は、検査画像に基づいて算出される。２つの注目領域および１つの通常領域の各々における各指標の閾値が図６に示されている。２つの注目領域は、注目領域Ｒ１および注目領域Ｒ２である。

図６に示す例では、４つの指標の全てが２つの注目領域に設定されている。図６に示す例では、指標Ａおよび指標Ｃのみが通常領域に設定されている。

各領域に設定される指標は、図６に示す例に限らない。例えば、指標Ｂが含まれなくてもよい。図６に示されていない指標Ｅが追加されてもよい。少なくとも１つの指標が設定されさえすればよい。指標は、検査画像に基づいて算出される３次元座標の信頼度であってもよい。指標は、被写体に対する内視鏡先端の相対的な姿勢（観察角度）であってもよい。指標は、検査に使用される光学アダプターの種別であってもよい。

各領域に設定される閾値は、図６に示す例に限らない。閾値は、内視鏡機材または被写体に応じて変更されてもよい。閾値は、検査に対するユーザーの熟練度に応じて変更されてもよい。

図７および図８を参照し、指標Ｂを使用する具体的な判断処理を説明する。図７に示す３枚の検査画像Ｉ１１からＩ１３を以下のように定義する。検査画像Ｉ１１（基準画像）は、画像取得部１８１によって第１の時刻に取得された画像である。検査画像Ｉ１２は、画像取得部１８１によって第１の時刻の次の第２の時刻に取得された画像である。検査画像Ｉ８３は、画像取得部１８１によって第２の時刻の次の第３の時刻において取得された画像である。

判断部１８６は、検査画像Ｉ１１に写っている代表点を検出する。判断部１８６は、検査画像Ｉ１１および検査画像Ｉ１２に基づいて、その代表点の動きベクトルＶ１２を検出する。同様に、判断部１８６は、検査画像Ｉ１２および検査画像Ｉ１３に基づいて、その代表点の動きベクトルＶ１３を検出する。

図８は、各動きベクトルと閾値との関係を示す。閾値ＴＨ１は、事前に決定された動きの許容値である。この例では、判断部１８６は、これらの３フレームの各々の検査画像が取得される間の動きベクトルの総和を算出する。その総和が閾値ＴＨ１を超えていなければ、判断部１８６は、被写体を静止状態で検査できたと判断する。この例では、各検査画像間の動きベクトルの総和（最大距離）が閾値として設定される。各検査画像間の動き量として許容できる値が閾値として設定されてもよい。つまり、判断部１８６は、事前に設定された期間における各検査画像間の動き量が閾値以下であるか否かを判断してもよい。

カメラの動きが並進運動である場合、物体距離毎に検査画像における動き量が変わる。そのため、指標Ａ（物体距離）が満たされた後、判断部１８６は、指標Ｂ（静止時間）の値を判断してもよい。

ステップＳ１０６の後、条件設定部４３７は、生成された３Ｄモデルに注目領域および通常領域の各々の撮像条件を設定する。これにより、条件設定部４３７は、撮像条件が設定された３Ｄモデルを生成する（ステップＳ１０７）。ステップＳ１０７が実行されたとき、図５に示す処理が終了する。

図５に示す処理が終了した後、通信部４６は、撮像条件が設定された３Ｄモデルを内視鏡装置１に送信する。内視鏡装置１の外部機器インタフェース１６は、その３ＤモデルをＰＣ４１から受信する。受信された３Ｄモデルは、ＲＡＭ１４に記憶される。

３Ｄモデル生成部４３２が実行する具体的な処理の手順について説明する。３Ｄモデル生成部４３２は、動画選択部４３０によって選択された検査動画と、条件受付部４３１によって受け付けられた条件とを使用する。以下では、３Ｄモデル生成部４３２が、検査動画から抽出された２枚の検査画像を使用する例について説明する。２枚の検査画像を撮影したとき、カメラの２つの視点は互いに異なる。３枚以上の検査画像が使用される場合でも、基本原理は、２枚の検査画像が使用される場合と変わらない。以下で説明される方法は、３枚以上の検査画像が使用される場合にも適用できる。

図９は、被写体の２枚の検査画像が取得される場合の画像取得の状況を模式的に示す。以下の説明では、広義のカメラという表現を使用する。以下の説明におけるカメラは、具体的には内視鏡先端（挿入部２の先端２０）の観察光学系を指す。

図９に示すように、最初にカメラの撮像状態ｃ_１において検査画像Ｉ_１が取得される。次に、カメラの撮像状態ｃ_２において検査画像Ｉ_２が取得される。撮像状態ｃ_１と撮像状態ｃ_２とでは、撮像位置および撮像姿勢の少なくとも１つが異なる。図９において、撮像状態ｃ_１と撮像状態ｃ_２とでは、撮像位置および撮像姿勢の両方が異なる。

本発明の各実施形態では、検査画像Ｉ_１および検査画像Ｉ_２は同じ内視鏡で取得されることを想定している。また、本発明の各実施形態では、内視鏡の対物光学系のパラメーターが変化しないことを想定している。対物光学系のパラメーターは、焦点距離、歪曲収差、およびイメージセンサのピクセルサイズ等である。以下では、対物光学系のパラメーターを便宜上、内部パラメーターと略す。このような条件を仮定したとき、内視鏡の光学系の特性が記述された内部パラメーターは、内視鏡先端のカメラの位置および姿勢に関わらず共通に使用できる。本発明の各実施形態では、内部パラメーターは工場出荷時に取得されていることを想定している。また、本発明の各実施形態では、検査画像の取得時には内部パラメーターは既知であることを想定している。

本発明の各実施形態では、検査動画から２枚以上の検査画像が抽出されることを想定し、かつ検査動画は１つの内視鏡によって取得されることを想定している。しかし、本発明はこれに限らない。例えば、複数の内視鏡によって取得された複数の検査動画を使用して３Ｄモデルを復元する場合においても、本発明を適用できる。この場合、検査画像Ｉ_１および検査画像Ｉ_２は、互いに異なる内視鏡装置を使用して取得され、内視鏡毎に別々の内部パラメーターが保持されてさえいればよい。仮に内部パラメーターが未知であっても、内部パラメーターを変数として計算を行うことはできる。そのため、内部パラメーターが既知であるか否かにより以後の手順が大きく変わることはない。

図１０を参照し、取得された２枚の検査画像に基づいて被写体の３次元座標を計算するための手順について説明する。図１０は、３Ｄモデルの生成のための処理の手順を示す。

まず、３Ｄモデル生成部４３２は、特徴点検出処理を実行する（ステップＳ１０３ａ）。３Ｄモデル生成部４３２は、特徴点検出処理において、取得された２枚の検査画像の各々の特徴点を検出する。特徴点とは、検査画像に写っている被写体情報のうち、画像輝度勾配の大きいコーナーおよびエッジ等を指す。この特徴点を検出する方法として、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）およびＦＡＳＴ（ＦｅａｔｕｒｅｓｆｒｏｍＡｃｃｅｌｅｒａｔｅｄＳｅｇｍｅｎｔＴｅｓｔ）等が使用される。このような方法を用いることにより画像内の特徴点を検出することができる。

図９は、検査画像Ｉ_１から特徴点ｍ_１が検出され、かつ検査画像Ｉ_２から特徴点ｍ_２が検出された例を示す。図９では各画像の１つの特徴点のみが表示されているが、実際には各画像において複数の特徴点が検出される。各画像で検出される特徴点の数は異なる可能性がある。各画像から検出された各特徴点は特徴量というデータに変換される。特徴量は、特徴点の特徴を表すデータである。

ステップＳ１０３ａの後、３Ｄモデル生成部４３２は、特徴点対応付け処理を実行する（ステップＳ１０３ｂ）。３Ｄモデル生成部４３２は、特徴点対応付け処理において、特徴点検出処理（ステップＳ１０３ａ）により検出された各特徴点に対して、検査画像間で特徴量の相関を比較する。特徴量の相関が比較され、各検査画像において特徴量が近い特徴点が見つかった場合、３Ｄモデル生成部４３２は、その情報をＲＡＭ１４に保持する。これにより、３Ｄモデル生成部４３２は、各検査画像の特徴点を互いに対応付ける。一方、特徴量が近い特徴点が見つからなかった場合には、３Ｄモデル生成部４３２は、その特徴点の情報を破棄する。

ステップＳ１０３ｂの後、３Ｄモデル生成部４３２は、互いに対応付けられた２枚の検査画像の特徴点（特徴点ペア）の座標をＲＡＭ１４から読み出す。３Ｄモデル生成部４３２は、読み出された座標に基づいて、位置および姿勢の算出処理を実行する（ステップＳ１０３ｃ）。３Ｄモデル生成部４３２は、位置および姿勢の算出処理において、検査画像Ｉ_１を取得したカメラの撮像状態ｃ_１と検査画像Ｉ_２を取得したカメラの撮像状態ｃ_２との間の相対的な位置および姿勢を算出する。より具体的には、３Ｄモデル生成部４３２は、エピポーラ制約を利用した以下の方程式（１）を解くことにより、行列Ｅを算出する。

行列Ｅは基本行列と呼ばれる。基本行列Ｅは、検査画像Ｉ_１を取得したカメラの撮像状態ｃ_１と検査画像Ｉ_２を取得したカメラの撮像状態ｃ_２との間の相対的な位置および姿勢を保持する行列である。方程式（１）において、行列ｐ_１は、検査画像Ｉ_１から検出された特徴点の座標を含む行列である。行列ｐ_２は、検査画像Ｉ_２から検出された特徴点の座標を含む行列である。基本行列Ｅは、カメラの相対的な位置および姿勢に関する情報を含んでいるため、カメラの外部パラメーターに相当する。基本行列Ｅは、公知のアルゴリズムを使用して解くことができる。

図９に示すように、カメラの位置変化量がｔであり、かつカメラの姿勢変化量がＲである場合、式（２）および式（３）が成り立つ。

式（２）において、ｘ軸方向の移動量はｔ_ｘと表され、ｙ軸方向の移動量はｔ_ｙと表され、かつｚ軸方向の移動量はｔ_ｚと表される。式（３）において、ｘ軸周りの回転量αはＲ_ｘ（α）と表され、ｙ軸周りの回転量βはＲ_ｙ（β）と表され、かつｚ軸周りの回転量γはＲ_ｚ（γ）と表される。基本行列Ｅが算出された後、３次元座標の復元精度を高めるためにバンドル調整という最適化処理が実行されてもよい。

ステップＳ１０３ｃの後、３Ｄモデル生成部４３２は、ステップＳ１０３ｃにおいて算出されたカメラの相対的な位置および姿勢（位置変化量ｔおよび姿勢変化量Ｒ）に基づいて、被写体の３次元形状の復元処理を実行する（ステップＳ１０３ｄ）。３Ｄモデル生成部４３２は、３次元形状の復元処理において、被写体の３Ｄモデルを生成する。被写体の３次元形状を復元する手法としては、ＰＭＶＳ（Ｐａｔｃｈ－ｂａｓｅｄＭｕｌｔｉ－ｖｉｅｗＳｔｅｒｅｏ）、および平行化ステレオによるマッチング処理等が挙げられる。しかし、特に手段を限定する訳ではない。

ステップＳ１０３ｄの後、３Ｄモデル生成部４３２は、３次元形状復元処理（ステップＳ１０３ｄ）において算出された被写体の３次元形状データと、条件受付部４３１によって受け付けられた基準長とに基づいて３次元座標変換処理を実行する（ステップＳ１０３ｅ）。３Ｄモデル生成部４３２は、３次元座標変換処理において、被写体の３次元形状データを、長さの次元を持つ３次元座標データへと変換する。ステップＳ１０３ｅが実行されたとき、図１０に示す処理が終了する。

図１１および図１２を参照し、検査中に実行される処理の手順を説明する。図１１および図１２は、ＣＰＵ１８ａが実行する処理の手順を示す。

内視鏡装置１の電源が投入された後、挿入部２が検査対象に挿入され、検査が開始される。検査が開始された後、ユーザーは、被写体の３Ｄモデルを示す情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した情報を受け付ける。３Ｄモデル選択部１８３は、ユーザーが操作部４に入力した情報に基づいて、ＲＡＭ１４に記憶されている３Ｄモデルを選択する。３Ｄモデル選択部１８３は、選択された３ＤモデルをＲＡＭ１４から読み出す（ステップＳ２０１）。

ステップＳ２０１の後、表示制御部１８２は、３Ｄモデル選択部１８３によって選択された３Ｄモデルを表示するためのグラフィック画像信号を生成し、かつグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、グラフィック画像信号と映像信号とを合成し、かつ合成された映像信号を表示部５に出力する。映像信号は、３Ｄモデルの画像における各画素のカラーデータを含む。各画素は、３次元座標と関連付けられている。表示部５は、映像信号に基づいて、３Ｄモデルの画像を表示する（ステップＳ２０２）。

図１３は、ステップＳ２０２において表示部５に表示される画像の例を示す。３ＤモデルＭ１１が表示部５に表示される。注目領域Ｒ１１および注目領域Ｒ１２が３ＤモデルＭ１１上に表示される。通常領域は、注目領域Ｒ１１および注目領域Ｒ１２を除く３ＤモデルＭ１１上の領域である。例えば、注目領域Ｒ１１および注目領域Ｒ１２は、所定の色で表示される。ユーザーが３ＤモデルＭ１１を視認できるように注目領域Ｒ１１および注目領域Ｒ１２が半透明に表示されてもよい。例えば、注目領域Ｒ１１は、図６における注目領域Ｒ１に対応し、かつ注目領域Ｒ１２は、図６における注目領域Ｒ２に対応する。ユーザーが注目領域と通常領域とを区別できる限り、どのような表示方法が使用されてもよい。

ステップＳ２０２の後、画像取得部１８１は、検査画像を映像信号処理回路１２から取得する（ステップＳ２０３）。ステップＳ２０３の後、表示制御部１８２は、取得された検査画像を表示部５に表示する（ステップＳ２０４）。

注目領域が検査画像上に表示されてもよい。航空機エンジンのクーリングホールのような小さな注目領域がカメラから遠く離れている場合、ユーザーが３Ｄモデル上または検査画像上の注目領域に気付かれない可能性がある。注目領域の位置をユーザーに確実に知らせるために、表示制御部１８２は、注目領域を本来の大きさよりも大きく表示してもよい。

図１４は、ステップＳ２０４において表示部５に表示される検査画像の例を示す。検査画像Ｉ２１が表示部５に表示され、かつ複数の注目領域Ｒ２１が検査画像Ｉ２１上に表示される。注目領域Ｒ２１は、クーリングホールＣＨ１１を含む。注目領域Ｒ２１は、クーリングホールＣＨ１１よりも大きく設定される。図１４を理解しやすくするために、複数のクーリングホールＣＨ１１の一部のみに対応する注目領域Ｒ２１が示されている。

ステップＳ２０４の後、カメラ位置姿勢推定部１８４は、カメラが検査画像を取得したときのカメラの位置および姿勢を少なくとも１枚の検査画像および３Ｄモデルに基づいて推定する（ステップＳ２０５）。カメラの位置および姿勢を推定する処理は一般的には、ＰｅｒｓｐｅｃｔｉｖｅｎＰｏｉｎｔ問題（ＰｎＰ問題）と呼ばれている。公知の技術（例えばＯｐｅｎＳｏｕｒｃｅＳｏｆｔｗａｒｅなど）を使用してＰｎＰ問題を解くことにより、カメラの位置および姿勢を推定することができる。

本発明は、ＰｎＰ問題を解くことによりカメラの位置および姿勢を推定するという方法に限らない。例えば、カメラ位置姿勢推定部１８４は、内視鏡のスコープに組み込まれたセンサーを使用することによりカメラの位置および姿勢を推定してもよい。センサーは、加速度センサー、ジャイロセンサー、または磁気センサー等である。また、カメラ位置姿勢推定部１８４は、ＰｎＰ問題を解く精度の向上および処理時間の短縮のために、各種センサーを組み合わせることによりカメラの位置および姿勢を推定してもよい。したがって、カメラ位置姿勢推定部１８４は、少なくとも検査画像および３Ｄモデルに基づいてカメラの位置および姿勢を推定してもよい。

以下の例では、カメラ位置姿勢推定部１８４は、センサーを使用せずにＰｎＰ問題を解くことによりカメラの位置および姿勢を推定することを想定している。カメラ位置姿勢推定部１８４は、検査画像のみに基づいてカメラの位置および姿勢を推定する。

ステップＳ２０５の後、位置特定部１８５は、検査画像の画素に対応する３Ｄモデル上の位置を特定する（ステップＳ２０６）。ステップＳ２０６における処理対象の画素は、ステップＳ２０６よりも後の各処理がまだ実行されていない画素である。

図１５を参照し、ステップＳ２０６の詳細を説明する。図１５は、３Ｄモデル上の位置を特定する方法を示す。３ＤモデルＭＯ１１は、管状である。３ＤモデルＭＯ１１の中心軸を通る断面が図１５に示されている。挿入部２が３ＤモデルＭＯ１１に仮想的に挿入された状態が図１５に示されている。

ステップＳ２０６において、３ＤモデルＭＯ１１に対するカメラの位置Ｐｃが推定される。注目領域Ｒ３１が３ＤモデルＭＯ１１に設定されている。例えば、注目領域Ｒ３１は、図６における注目領域Ｒ１に対応する。平面ＰＬ１１は、透視投影モデル上の仮想的な画像平面である。平面ＰＬ１１は、ステップＳ２０６において推定されたカメラの位置Ｐｃおよび姿勢に基づいて算出される。平面ＰＬ１１上の位置は、検査画像の画素に対応する。以下では、平面ＰＬ１１上の位置を画素と呼ぶ。

位置Ｐｃおよび各画素を通る直線を定義することができる。以下では、この直線を視線と呼ぶ。視線Ｌ１１は、位置Ｐｃおよび画素ＰＸ１１を通る。視線Ｌ１２は、位置Ｐｃおよび画素ＰＸ１２を通る。視線Ｌ１３は、位置Ｐｃおよび画素ＰＸ１３を通る。各視線が算出された後、各視線と３ＤモデルＭＯ１１との交点を算出することができる。位置ＰＯ１１は、視線Ｌ１１と３ＤモデルＭＯ１１との交点である。位置ＰＯ１２は、視線Ｌ１２と３ＤモデルＭＯ１１との交点である。位置ＰＯ１３は、視線Ｌ１３と３ＤモデルＭＯ１１との交点である。位置ＰＯ１１、位置ＰＯ１２、および位置ＰＯ１３の各々は、３ＤモデルＭＯ１１の内壁上の点である。位置特定部１８５は、位置ＰＯ１１等を算出することにより、検査画像上の座標（被写体情報）に対応する３ＤモデルＭＯ１１上の位置を特定することができる。

ステップＳ２０６の後、判断部１８６は、ステップＳ２０６において特定された位置に所定の情報が設定されているか否かを判断する。これにより、判断部１８６は、ステップＳ２０６において特定された位置が観察済みであるか否かを判断する（ステップＳ２０７）。所定の情報は、３Ｄモデル上の位置が観察済みであることを示す。

後述するステップＳ２１１において、３Ｄモデル上の位置が観察済みであるか否かが判断される。３Ｄモデル上の位置が観察済みであると判断された場合、ステップＳ２１２において、その位置が観察済みであることを示す情報がその位置に設定される。判断部１８６は、ステップＳ２０７において、その情報が３Ｄモデル上の位置に設定されているか否かを判断する。その情報が３Ｄモデル上の位置に設定されている場合、判断部１８６は、その位置が観察済みであると判断する。その情報が３Ｄモデル上の位置に設定されていない場合、判断部１８６は、その位置が観察済みでないと判断する。

ステップＳ２０６において特定された位置が観察済みであると判断部１８６が判断した場合、ステップＳ２１３が実行される。ステップＳ２０６において特定された位置が観察済みでないと判断部１８６が判断した場合、判断部１８６は、その位置における指標および閾値をＲＡＭ１４から読み出す（ステップＳ２０８）。例えば、位置ＰＯ１３がステップＳ２０６において特定された場合、判断部１８６は、位置ＰＯ１３に設定されている指標および閾値をＲＡＭ１４から読み出す。位置ＰＯ１３は、図６の注目領域Ｒ１に対応する注目領域Ｒ３１に含まれる。そのため、判断部１８６は、注目領域Ｒ１に設定されている指標および閾値をＲＡＭ１４から読み出す。位置ＰＯ１１および位置ＰＯ１２は、通常領域に含まれる。位置ＰＯ１１または位置ＰＯ１２がステップＳ２０６において特定された場合、判断部１８６は、図６の通常領域に設定されている指標および閾値をＲＡＭ１４から読み出す。

ステップＳ２０８の後、判断部１８６は、ステップＳ２０６において特定された位置における指標値を算出する（ステップＳ２０９）。具体的には、判断部１８６は、検査画像、カメラの位置、カメラの姿勢、および３Ｄモデルを使用することにより、指標値を算出する。判断部１８６は、ステップＳ２０８において読み出された指標の具体的な値を算出する。

例えば、判断部１８６は、図６に示す指標Ａ（物体距離）の値をカメラの位置、カメラの姿勢、および３Ｄモデルに基づいて算出する。例えば、判断部１８６は、図１５に示す位置Ｐｃと３ＤモデルＭＯ１１上の位置ＰＯ１１との距離を算出することにより、位置ＰＯ１１における物体距離の値を算出する。判断部１８６は、図６に示す指標Ｂ（静止時間）、指標Ｃ（画像輝度）、および指標Ｄ（視野内の位置）の各々の値を検査画像に基づいて算出する。

図１５に示す位置ＰＯ１３は、図６に示す注目領域Ｒ１に含まれる。位置ＰＯ１３がステップＳ２０６において特定された場合、判断部１８６は、図６に示す４つの指標の各々の値を算出する。図１５に示す位置ＰＯ１１および位置ＰＯ１２は、通常領域に含まれる。位置ＰＯ１１または位置ＰＯ１２がステップＳ２０６において特定された場合、判断部１８６は、図６に示す指標Ａおよび指標Ｃの各々の値のみを算出する。

ステップＳ２０９の後、判断部１８６は、ステップＳ２０９において算出された指標値と、ステップＳ２０８において読み出された閾値とを比較する（ステップＳ２１０）。

ステップＳ２１０の後、判断部１８６は、指標値が閾値よりも大きいか否かを判断する。これにより、判断部１８６は、ステップＳ２０６において特定された位置が観察済みであるか否かを判断する（ステップＳ２１１）。複数の指標値がステップＳ２０９において算出された場合、判断部１８６は、ステップＳ２１０において、各指標値と閾値とを比較する。さらに、判断部１８６は、ステップＳ２１１において以下のように判断する。複数の指標値の全てが閾値よりも大きい場合、判断部１８６は、指標値が閾値よりも大きいと判断する。複数の指標値の少なくとも１つが閾値以下である場合、判断部１８６は、指標値が閾値よりも大きくないと判断する。

複数の指標値の１つのみが閾値よりも大きい場合、判断部１８６は、指標値が閾値よりも大きいと判断してもよい。ステップＳ２１１における判断の方法は上記の方法に限らない。判断部１８６は、各指標値と閾値とを比較することにより得られた判断結果の論理積または論理和、もしくはそれらの組み合わせに基づいて上記の判断を行ってもよい。

指標値が閾値よりも大きいと判断部１８６が判断した場合、判断部１８６は、ステップＳ２０６において特定された位置が観察済みであることを示す観察情報を生成する。また、判断部１８６は、ステップＳ２０６において特定された位置が観察済みであることを示す情報をその位置に設定する（ステップＳ２１２）。

ステップＳ２１２の後、表示制御部１８２は、観察情報のグラフィック画像信号を生成する。その後、映像信号処理回路１２は、グラフィック画像信号と映像信号とを合成し、かつ合成された映像信号を表示部５に出力する。表示部５は、観察情報を３Ｄモデル上に表示する。これにより、表示部５は、ステップＳ２０６において特定された位置が観察済みであることをユーザーに通知する（ステップＳ２１３）。

指標値が閾値よりも大きくないと判断部１８６が判断した場合、判断部１８６は、ステップＳ２０６において特定された位置が未観察であることを示す観察情報を生成する（ステップＳ２１４）。

ステップＳ２１４の後、表示制御部１８２は、観察情報のグラフィック画像信号を生成する。その後、ステップＳ２１３と同様の処理が実行され、表示部５は、観察情報を３Ｄモデル上に表示する。これにより、表示部５は、ステップＳ２０６において特定された位置が未観察であることをユーザーに通知する（ステップＳ２１５）。

図１６は、ステップＳ２１５において表示部５に表示される画像の例を示す。図１３に示す画像と同様に、３ＤモデルＭ１１が表示部５に表示され、注目領域Ｒ１１および注目領域Ｒ１２が３ＤモデルＭ１１上に表示される。さらに、観察済みの領域Ｒ１３が３ＤモデルＭ１１上に表示される。領域Ｒ１３は、観察情報に対応する。例えば、領域Ｒ１３は、注目領域Ｒ１１および注目領域Ｒ１２の各々と異なる色で表示される。３ＤモデルＭ１１において領域Ｒ１３以外の領域は、未観察である。ユーザーが３ＤモデルＭ１１を視認できるように領域Ｒ１３が半透明に表示されてもよい。ユーザーが観察済みの領域と未観察の領域とを区別できる限り、どのような表示方法が使用されてもよい。

観察情報は検査画像に重畳されてもよい。図１７は、ステップＳ２１５において表示部５に表示される検査画像の例を示す。検査画像Ｉ３１が表示部５に表示され、かつ注目領域Ｒ３１が検査画像Ｉ３１上に表示される。さらに、観察済みの領域Ｒ３２および領域Ｒ３３が検査画像Ｉ３１上に表示される。領域Ｒ３２および領域Ｒ３３は、観察情報に対応する。検査画像Ｉ３１において領域Ｒ３２および領域Ｒ３３以外の領域は、未観察である。

ステップＳ２１３またはステップＳ２１５の後、メイン制御部１８０は、ステップＳ２０６からステップＳ２１０までの処理が、処理対象である全ての画素に対して実行されたか否かを判断する（ステップＳ２１６）。一部の画素に対して処理が実行されていないとメイン制御部１８０が判断した場合、ステップＳ２０６が実行される。

ステップＳ２０７において３Ｄモデル上の位置が観察済みであると判断された場合、その位置が観察済みであるか否かを判断するための処理は実行されずにステップＳ２１３が実行される。３Ｄモデル上の位置が観察済みであると判断された後、その位置が未観察であると判断されることはない。新たな検査画像が処理されるとき、その位置が観察済みであるという設定が継続する。ステップＳ２０７は、ステップＳ２１４が実行される前の任意のタイミングで実行されてもよい。

上記の例では、指標値が１画素毎に算出され、かつ観察情報が１画素毎に生成される。指標値が複数画素毎に算出され、かつ観察情報が複数画素毎に生成されてもよい。上記の処理を実行する画素は間引かれてもよい。視野の端部における画素では上記の処理が省略されてもよい。

全ての画素に対して処理が実行されたとメイン制御部１８０が判断した場合、メイン制御部１８０は、操作部４が検査の終了をユーザーから受け付けたか否かを判断する（ステップＳ２１７）。操作部４が検査の終了をユーザーから受け付けていないとメイン制御部１８０が判断した場合、ステップＳ２０３が実行される。操作部４が検査の終了をユーザーから受け付けたとメイン制御部１８０が判断した場合、検査が終了する。

ＣＰＵ１８ａが実行する処理の順番は、図１１および図１２に示す順番に限らない。例えば、ステップＳ２０５においてカメラの位置および姿勢が推定された後、ステップＳ２０４において検査画像が表示されてもよい。

本発明の各態様の観察装置の作動方法は、画像表示ステップ、推定ステップ、特定ステップ、判断ステップ、および観察情報表示ステップを有する。表示制御部１８２は、画像表示ステップ（ステップＳ２０４）において、観察対象内の被写体の画像を表示部５に表示する。カメラ位置姿勢推定部１８４は、推定ステップ（ステップＳ２０５）において、撮像素子２８が画像を取得したときの撮像素子２８の位置および撮像素子２８の姿勢を推定する。位置特定部１８５は、特定ステップ（ステップＳ２０６）において、画像の画素に対応する３Ｄモデル上の位置を、推定ステップにおいて推定された位置および姿勢に基づいて特定する。判断部１８６は、判断ステップ（ステップＳ２１１）において、３Ｄモデル上の位置を含む注目領域（第１の領域）または通常領域（第２の領域）に設定された撮像条件が満たされるか否かを判断する。表示制御部１８２は、観察情報表示ステップ（ステップＳ２１３およびステップＳ２１５）において、判断部１８６によって実行された判断の結果に基づいて観察情報を表示部５に表示する。観察情報は、３Ｄモデル上の位置を含む注目領域または通常領域が観察済みであるか否かを示す。

撮像条件が満たされると判断部１８６が判断した場合、表示制御部１８２は、観察情報表示ステップ（ステップＳ２１３）において、撮像条件が満たされることを示す観察情報を表示部５に表示する。一方、撮像条件が満たされないと判断部１８６が判断した場合、表示制御部１８２は、観察情報表示ステップ（ステップＳ２１５）において、３Ｄモデル上の位置を含む注目領域または通常領域が未観察であることを示す観察情報を表示部５に表示してもよい。

第１の実施形態において、注目領域に適した撮像条件が満たされたとき、注目領域は観察済みであると判断される。内視鏡装置１は、被写体の領域が観察済みであるか否かを各領域の基準に基づいて判断することができる。判断の結果は可視化されるため、内視鏡装置１は、信頼性の高い観察支援機能をユーザーに提供することができる。

（第１の実施形態の第１の変形例）
本発明の第１の実施形態の第１の変形例を説明する。第１の実施形態においてＰＣ４１は、図５に示す処理を実行する。第１の実施形態の第１の変形例において内視鏡装置１のＣＰＵ１８ａは、ＰＣ４１のＣＰＵ４３の機能の少なくとも一部を有する。内視鏡装置１のＣＰＵ１８ａは、図５および図１０に示す処理の少なくとも一部を実行する。

例えば、内視鏡装置１のＣＰＵ１８ａは、ＣＰＵ４３の条件設定部４３７と同様の条件設定部（撮像条件設定部）を有してもよい。ＣＰＵ１８ａの条件設定部は、撮像条件設定ステップ（ステップＳ１０７）において、撮像条件を注目領域および通常領域の各々に設定する。

内視鏡装置１のＣＰＵ１８ａは、ＣＰＵ４３の領域受付部４３４と同様の領域受付部を有してもよい。ＣＰＵ１８ａの領域受付部は、領域設定ステップ（ステップＳ１０５）において、注目領域および通常領域を３Ｄモデルに設定する。撮像条件設定ステップが実行される前に領域設定ステップが実行される。

内視鏡装置１のＣＰＵ１８ａは、ＣＰＵ４３の３Ｄモデル生成部４３２と同様の３Ｄモデル生成部（処理部）を有してもよい。ＣＰＵ１８ａの３Ｄモデル生成部は、特徴点検出ステップ（ステップＳ１０３ａ）において、撮像素子２８によって取得された複数の画像の各々における特徴点を検出する。ＣＰＵ１８ａの３Ｄモデル生成部は、対応付けステップ（ステップＳ１０３ｂ）において、複数の画像の各々における特徴点を互いに対応付ける。ＣＰＵ１８ａの３Ｄモデル生成部は、算出ステップ（ステップＳ１０３ｃ）において、特徴点に基づいて撮像素子２８の位置および撮像素子２８の姿勢を算出する。ＣＰＵ１８ａの３Ｄモデル生成部は、生成ステップ（ステップＳ１０３ｄ）において、撮像素子２８の位置および撮像素子２８の姿勢に基づいて３Ｄモデルを生成する。領域設定ステップが実行される前に、特徴点検出ステップ、対応付けステップ、算出ステップ、および生成ステップが実行される。

（第１の実施形態の第２の変形例）
本発明の第１の実施形態の第２の変形例を説明する。第１の実施形態においてユーザーが注目領域を指定する場合について説明した。本発明は、ユーザーによって指定された注目領域が設定される場合に限らない。ＰＣ４１または内視鏡装置１が画像内の注目領域を自動的に検出し、かつ検出された注目領域を３Ｄモデルに設定してもよい。

第１の実施形態においてユーザーが撮像条件を指定する場合について説明した。本発明は、ユーザーによって指定された撮像条件が設定される場合に限らない。ＰＣ４１または内視鏡装置１が撮像条件を自動的に生成し、かつ生成された撮像条件を３Ｄモデルに設定してもよい。

図３に示すＰＣ４１は、図１８に示すＰＣ４１ａに変更される。図１８は、ＰＣ４１ａの機能構成を示す。図３に示す構成と同じ構成の説明を省略する。

図３に示すＣＰＵ４３は、ＣＰＵ４３ａに変更される。動画選択部４３０、条件受付部４３１、３Ｄモデル生成部４３２、表示制御部４３３、領域検出部４３８、指標生成部４３９、閾値生成部４４０、および条件設定部４３７によってＣＰＵ４３ａの機能が構成されている。図１８に示すＣＰＵ４３ａ内のブロックの少なくとも１つがＣＰＵ４３ａとは別の回路で構成されてもよい。

ＣＰＵ４３ａ内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ４３ａ内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３ａ内の各部は、１つまたは複数の論理回路を含むことができる。

領域検出部４３８は、撮像素子２８によって取得された画像に基づいて注目領域および通常領域を自動的に検出する。例えば、領域検出部４３８は、機械学習などの技術手段を使用することにより、注目領域を検出する。領域検出部４３８は、検出された領域を注目領域に分類し、かつその領域以外の領域を通常領域に分類する。領域検出部４３８は、３Ｄモデル生成部４３２によって生成された３Ｄモデルに注目領域および通常領域を設定する。領域検出部４３８が設定した各領域は、メモリ４７に記憶される。

領域検出部４３８が注目領域および通常領域を検出する処理において、ユーザーからの注目領域および通常領域を示す情報の入力は受け付けられない。したがって、ユーザーは、操作部４を操作したとしても、各領域を指定する情報を操作部４に入力することはできない。

指標生成部４３９は、撮像素子２８によって取得された画像に基づいて指標を自動で生成する。具体的には、指標生成部４３９は、検査画像内の注目領域に写っている被写体の種類を特定する。例えば、被写体の種類は、クーリングホール、エッジ、または配管の溶接跡などである。指標生成部４３９は、特定された被写体の種類に適した指標を生成する。閾値生成部４４０は、指標生成部４３９によって生成された指標の閾値を自動で生成する。

指標生成部４３９が指標を生成する処理および閾値生成部４４０が閾値を生成する処理において、ユーザーからの撮像条件の入力は受け付けられない。したがって、ユーザーは、操作部４を操作したとしても、指標および閾値を指定する情報を操作部４に入力することはできない。

図１９は、ＰＣ４１ａが実行する処理の手順を示す。図５に示す処理と同じ処理の説明を省略する。以下では、ステップＳ１０１で選択された検査動画に含まれる検査画像が使用される例を説明する。以下で説明する処理が実行されるとき、動画および静止画のどちらが使用されてもよい。

ステップＳ１０４の後、領域検出部４３８は、注目領域を検出する。領域検出部４３８は、注目領域以外の領域を通常領域に分類する。領域検出部４３８は、生成された３Ｄモデルに注目領域および通常領域を設定する（ステップＳ１１１）。

例えば、領域検出部４３８は、過去にユーザーが計測に使用した画像の全部または一部の領域と類似する領域を検査画像から検出する。あるいは、領域検出部４３８は、画像あるいは画像中の特定の位置にユーザーが検査記録として埋め込んだアノテーション（メタデータ）が存在する領域を検査画像から検出する。あるいは、領域検出部４３８は、ユーザーが検査画像上で指定した領域と類似する領域を、領域設定のために用意された他の検査画像から検出する。

機械学習を使用することにより注目領域を設定する手順の具体例を説明する。注目領域として検出すべき領域が定義される。その領域は、計測画像において実際に計測が実行された領域、又は、アノテーションが付与された領域である。ユーザーは、過去の検査に基づいて計測画像を管理している。計測画像が機械学習の注目領域として検出すべき正解付き教師データとしてＰＣ４１ａに入力される。領域検出部４３８は、教師データを使用して注目領域を学習する。ある検査画像がＰＣ４１ａに入力されたとき、領域検出部４３８は、注目領域の検出を実行する。その検査画像に写っている被写体に注目領域が存在すれば、領域検出部４３８は、その注目領域を出力できる。

領域検出部４３８は、注目領域が存在するか否かの単純な判断よりも複雑な処理を実行してもよい。例えば、領域検出部４３８は、検出された注目領域の種類を分類してもよい。領域検出部４３８は、検出された注目領域を、ブレードのエッジ部分に存在する欠陥またはクーリングホールに存在する欠陥などに分類することができる。このような方法により、領域検出部４３８は、ユーザーからの指示によらず、注目領域を自動的に設定することができる。

ステップＳ１１１の後、指標生成部４３９は、注目領域および通常領域の各々の指標を自動で生成する。閾値生成部４４０は、各領域の指標の閾値を生成する（ステップＳ１１２）。ステップＳ１１２の後、ステップＳ１０７が実行される。

例えば、指標生成部４３９は、画像処理を実行することにより、注目領域に写っている被写体の種類を分類する。指標生成部４３９は、領域検出部４３８によって分類された被写体の種類を使用してもよい。指標および閾値が被写体の種類毎にメモリ４７に事前に記憶されている。指標生成部４３９は、被写体の種類に対応する指標をメモリ４７から読み出す。この指標は、注目領域に設定される指標である。閾値生成部４４０は、被写体の種類に対応する閾値をメモリ４７から読み出す。この閾値は、注目領域に設定される閾値である。

注目領域の指標および閾値と同様に、通常領域の指標および閾値がメモリ４７に事前に記憶されている。指標生成部４３９は通常領域の指標をメモリ４７から読み出し、かつ閾値生成部４４０は通常領域の閾値をメモリ４７から読み出す。

内視鏡装置１のＣＰＵ１８ａは、ＰＣ４１ａのＣＰＵ４３ａの機能の少なくとも一部を有してもよい。内視鏡装置１のＣＰＵ１８ａは、図１９に示す処理の少なくとも一部を実行してもよい。

例えば、内視鏡装置１のＣＰＵ１８ａは、ＣＰＵ４３ａの領域検出部４３８と同様の領域検出部を有してもよい。内視鏡装置１のＣＰＵ１８ａは、ＣＰＵ４３ａの指標生成部４３９と同様の指標生成部を有してもよい。内視鏡装置１のＣＰＵ１８ａは、ＣＰＵ４３ａの閾値生成部４４０と同様の閾値生成部を有してもよい。

第１の実施形態の第２の変形例において、注目領域および撮像条件が自動的に設定される。そのため、ユーザーの負荷が軽減される。

（第２の実施形態）
本発明の第２の実施形態を説明する。第２の実施形態の内視鏡装置１は、第１の実施形態における機能に加えて、以下で説明する３つの機能を有する。３つの機能は、ユーザーが検査対象を検査するときに役立つ。内視鏡装置１は、３つの機能を同時に有している必要はない。内視鏡装置１が以下の３つの機能のうち１つまたは２つのみを有している場合も本発明の範囲に含まれる。

注目領域または通常領域が未観察であると判断された場合、内視鏡装置１は、未観察であると判断された原因をユーザーに通知する（第１の機能）。未観察であると判断された３Ｄモデル上の位置が撮像素子２８の視野の後ろ側にある場合、内視鏡装置１は、未観察である注目領域または通常領域が存在することをユーザーに通知する（第２の機能）。内視鏡装置１は、観察済みである注目領域が写っている検査画像を自動で記録する（第３の機能）。

図４に示すＣＰＵ１８ａは、図２０に示すＣＰＵ１８ｂに変更される。図２０は、ＣＰＵ１８ｂの機能構成を示す。図４に示す構成と同じ構成の説明を省略する。

メイン制御部１８０、画像取得部１８１、表示制御部１８２、３Ｄモデル選択部１８３、カメラ位置姿勢推定部１８４、位置特定部１８５、判断部１８６、および記録部１８７によってＣＰＵ１８ｂの機能が構成されている。図２０に示すブロックの少なくとも１つがＣＰＵ１８ｂとは別の回路で構成されてもよい。

図２０に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２０に示す各部は、１つまたは複数のプロセッサを含むことができる。図２０に示す各部は、１つまたは複数の論理回路を含むことができる。

撮像条件は、複数の条件を含む。したがって、撮像条件は、複数の指標と、各指標の閾値とを含む。複数の条件に含まれる少なくとも１つの条件が満たされないと判断部１８６が判断した場合に、表示制御部１８２は、その少なくとも１つの条件を示す条件情報を表示部５に表示する。これにより、表示部５は、３Ｄモデル上の位置が未観察であると判断された原因である少なくとも１つの条件をユーザーに通知する。

ＲＡＭ１４は、撮像条件が満たされないと判断された３Ｄモデル上の位置である未観察位置を記憶する。未観察位置が撮像素子２８の視野の後ろ側にある場合に、表示制御部１８２は、未観察位置を含む注目領域または通常領域があることを示す第１の通知情報を表示部５に表示する。撮像素子２８の視野の後ろ側にある位置は、その視野内にない。撮像素子２８の視野の後ろ側にある位置は、３Ｄモデルにおいてその視野内の位置よりも視点側に存在する位置である。

例えば、第１の検査画像に対応する３Ｄモデル上の位置が特定され、かつその位置が未観察であると判断される。その位置はＲＡＭ１４に記憶される。第１の検査画像が取得された後、第２の検査画像が取得される。第２の検査画像が取得されたときの撮像素子２８の視野の後ろ側に未観察位置がある場合、表示制御部１８２は、第１の通知情報を表示部５に表示する。

注目領域に設定された撮像条件が満たされると判断部１８６が判断した場合に、記録部１８７は、３Ｄモデル上の注目領域に対応する領域が写っている検査画像を記録する。例えば、記録部１８７は、その検査画像をメモリカード４２に記録する。したがって、観察済みである注目領域が写っている検査画像が記録される。

図１２に示す処理は、図２１に示す処理に変更される。図２１を参照し、検査中に実行される処理の手順を説明する。図２１は、ＣＰＵ１８ｂが実行する処理の手順を示す。図１２に示す処理と同じ処理の説明を省略する。

ステップＳ２１１において指標値が閾値よりも大きくないと判断部１８６が判断した場合、未観察位置が存在する。その場合、ステップＳ２１５において、３Ｄモデル上の位置が未観察であることがユーザーに通知される。

ステップＳ２１５の後、判断部１８６は、ステップＳ２１１において指標値が閾値を超えなかった指標を表示制御部１８２に通知する。表示制御部１８２は、未観察位置をその指標に対応する色で表示するためのグラフィック画像信号を生成する。その後、映像信号処理回路１２は、グラフィック画像信号と映像信号とを合成し、かつ合成された映像信号を表示部５に出力する。表示部５は、未観察位置を所定の色で３Ｄモデル上に表示する。未観察位置は、所定の指標に対応する色で表示される。その色は条件情報に対応する。これにより、表示部５は、３Ｄモデル上の位置が未観察であると判断された原因をユーザーに通知する（ステップＳ２２１）。ステップＳ２２１の後、ステップＳ２１６が実行される。

図２２を参照し、ステップＳ２２１の詳細を説明する。図２２は、３Ｄモデル上の位置が未観察であると判断された原因をユーザーに通知する方法を示す。３ＤモデルＭＯ４１は、管状である。３ＤモデルＭＯ４１の中心軸を通る断面が図２２に示されている。挿入部２が３ＤモデルＭＯ４１に仮想的に挿入された状態が図２２に示されている。

領域Ｒ４１は、判断部１８６によって観察済みであると判断された領域である。領域Ｒ４２は、図６の指標Ａの値が閾値を超えず、かつ判断部１８６によって未観察であると判断された領域である。領域Ｒ４３は、図６の指標Ｂの値が閾値を超えず、かつ判断部１８６によって未観察であると判断された領域である。

第１の実施形態において表示部５は、領域Ｒ４２および領域Ｒ４３が未観察であることを示す観察情報を表示する。第１の実施形態において、領域Ｒ４２および領域Ｒ４３は領域Ｒ４１と異なる色で表示される。そのため、ユーザーは、領域Ｒ４２および領域Ｒ４３が未観察であることを知ることができる。第１の実施形態において、領域Ｒ４２の色と領域Ｒ４３の色とは同じである。そのため、ユーザーは、なぜ領域Ｒ４２および領域Ｒ４３が未観察であると判断されたのかを知ることはできない。ユーザーは、観察対象が再度観察されるときにその観察対象がどのような条件で観察されるべきであるのかを判断することができない。

第２の実施形態において、領域Ｒ４２は、指標Ａに割り当てられた色で表示され、かつ領域Ｒ４３は、指標Ｂに割り当てられた色で表示される。指標Ａおよび指標Ｂの各々に割り当てられた色は、観察済みであると判断された領域を表示するための色と異なる。ユーザーは、領域が未観察であると判断された原因を知ることができる。その領域が再度観察されるとき、ユーザーは、その原因に注意して被写体を観察することができる。

閾値を超えなかった指標を示す文字等が表示部５に表示されてもよい。領域が未観察であると判断された原因をユーザーが認識できる限り、どのような通知方法が使用されてもよい。

ステップＳ２１６において全ての画素に対して処理が実行されたとメイン制御部１８０が判断した場合、判断部１８６は、未観察位置が撮像素子２８の視野の後ろ側にあるか否かを判断する（ステップＳ２２２）。未観察位置が撮像素子２８の視野の後ろ側にない場合、ステップＳ２２４が実行される。

未観察位置が撮像素子２８の視野の後ろ側にある場合、表示制御部１８２は、未観察位置を含む領域があることを示す第１の通知情報を表示するためのグラフィック画像信号を生成する。その後、映像信号処理回路１２は、グラフィック画像信号と映像信号とを合成し、かつ合成された映像信号を表示部５に出力する。表示部５は、第１の通知情報を３Ｄモデル上に表示する。第１の通知情報は文字等である。これにより、表示部５は、未観察位置を含む領域が撮像素子２８の視野の後ろ側にあることをユーザーに通知する（ステップＳ２２３）。

未観察位置を含む領域があることが音声でユーザーに通知されてもよい。未観察位置を含む領域があることをユーザーが認識できる限り、どのような表示方法が使用されてもよい。

ステップＳ２１１において、３Ｄモデル上の位置が観察済みであるか否かが判断される。３Ｄモデル上の位置が未観察と判断された場合、ステップＳ２１４において、その位置が未観察であることを示す情報がその位置に設定される。判断部１８６は、ステップＳ２２２において、その情報が設定された位置が３Ｄモデル上に存在するか否かを判断する。その位置が存在する場合、判断部１８６は、その位置が未観察位置であると判断する。さらに、判断部１８６は、ステップＳ２２２において、未観察位置が撮像素子２８の視野の後ろ側にあるか否かを判断する。

図２３を参照し、ステップＳ２２２の詳細を説明する。図２３は、撮像素子２８の視野の後ろ側にある未観察位置を検出する方法を示す。３ＤモデルＭＯ５１は、管状である。３ＤモデルＭＯ５１の中心軸を通る断面が図２３に示されている。領域Ｒ５１は、判断部１８６によって観察済みであると判断された領域である。位置Ｐ５１は、第１の検査画像に基づいて推定されたカメラの位置である。位置Ｐ５２は、第１の検査画像の次に取得された第２の検査画像に基づいて推定されたカメラの位置である。位置Ｐ５２がカメラの現在位置である。動きベクトルＶ５１は、位置Ｐ５１と位置Ｐ５２との間の動きを示す。

位置Ｐ５１および位置Ｐ５２が推定された場合、動きベクトルＶ５１が算出できる。動きベクトルＶ５１は、カメラの進行方向を示す。線Ｌ５１および線Ｌ５２は、撮像素子２８の視野の両端を通る視線を示す。カメラが位置Ｐ５１にあるときに取得された第１の検査画像が処理されたとき、領域Ｒ５２は未観察であると判断される。カメラが位置Ｐ５２にあるときに取得された第２の検査画像が処理されたときにも、領域Ｒ５２は未観察であると判断される。カメラが位置Ｐ５２にあるとき、領域Ｒ５２ａは撮像素子２８の視野から外れている。領域Ｒ５２ａは、領域Ｒ５２の一部である。領域Ｒ５２ａは、未観察であり、かつ撮像素子２８の視野の後ろ側にある。

カメラが動きベクトルＶ５１の方向に進行し続ける場合、ユーザーが検査対象の観察機会を見逃す可能性がある。そのため、ステップＳ２２３において、未観察位置を含む領域があることがユーザーに通知される。

ステップＳ２２３の後、判断部１８６は、観察済みである注目領域が検査画像に写っているか否かを判断する。また、判断部１８６は、その注目領域を含む検査画像が記録されたか否かを判断する（ステップＳ２２４）。観察済みである注目領域が検査画像に写っていないと判断部１８６が判断した場合、ステップＳ２１７が実行される。あるいは、観察済みである注目領域を含む検査画像が記録されたと判断部１８６が判断した場合、ステップＳ２１７が実行される。

観察済みである注目領域が検査画像に写っていると判断部１８６が判断し、かつその注目領域を含む検査画像が記録されていないと判断部１８６が判断した場合、記録部１８７は、その検査画像を記録する（ステップＳ２２５）。これにより、ユーザーが注目領域を観察したという証拠が残る。ステップＳ２２５の後、ステップＳ２１７が実行される。

動画と静止画とのどちらが記録されてもよい。動画が記録される場合、注目領域がフレームインしてからフレームアウトするまでの動画が記録されてもよい。静止画が記録される場合、注目領域が視野内で最も大きく写っている静止画が記録されてもよい。あるいは、カバー率が最大である静止画が記録されてもよい。カバー率は、第１の面積に対する第２の面積の割合として定義される。第１の面積は、定義された注目領域の全体の面積である。第２の面積は、検査画像に写っている注目領域の面積である。１枚の静止画のみが記録される必要はない。複数枚の静止画が記録されてもよい。

表示制御部１８２は、ステップＳ２２１において、未観察位置を検査画像上に表示してもよい。表示制御部１８２は、ステップＳ２２３において、未観察位置を含む領域があることを示す第１の通知情報を検査画像上に表示してもよい。

通常領域に設定された撮像条件が満たされると判断部１８６が判断した場合に、記録部１８７は、３Ｄモデル上の通常領域に対応する領域が写っている検査画像を記録してもよい。

本発明の各態様の観察装置の作動方法は、条件情報表示ステップを有してもよい。撮像条件は、複数の条件を含む。少なくとも１つの条件が満たされないと判断部１８６が判断した場合に、表示制御部１８２は、条件情報表示ステップ（ステップＳ２２１）において、その少なくとも１つの条件を示す条件情報を表示部５に表示する。

本発明の各態様の観察装置の作動方法は、第１の通知情報表示ステップを有してもよい。未観察位置が撮像素子２８の視野の後ろ側にある場合に、表示制御部１８２は、第１の通知情報表示ステップ（ステップＳ２２３）において、未観察位置を含む領域があることを示す第１の通知情報を表示部５に表示する。

本発明の各態様の観察装置の作動方法は、記録ステップを有してもよい。注目領域に設定された撮像条件が満たされると判断部１８６が判断した場合に、記録部１８７は、記録ステップ（ステップＳ２２５）において、その注目領域に対応する領域が写っている検査画像を記録する。

第２の実施形態において、内視鏡装置１は以下の３つの機能を提供する。内視鏡装置１は、未観察であると判断された原因をユーザーに通知する。内視鏡装置１は、未観察である領域が撮像素子２８の視野の後ろ側に存在することをユーザーに通知する。内視鏡装置１は、観察済みである注目領域が写っている検査画像を記録する。これらの機能が付加されるため、検査時間の短縮が期待できる。また、内視鏡装置１は、より信頼性の高い観察支援機能をユーザーに提供することができる。

（第３の実施形態）
本発明の第３の実施形態を説明する。第１の実施形態において、２つの状態が判別される。第１の状態は、領域が観察済みであるという状態である。第２の状態は、領域が未観察であるという状態である。第３の実施形態において、領域が観察済みである度合いに応じた信頼度が算出される。信頼度は、２つ以上の状態のいずれか１つを表すことができる。

第３の実施形態の内視鏡装置１は、図４に示すＣＰＵ１８ａを有する。判断部１８６は、注目領域または通常領域に設定された撮像条件が満たされる度合いを示す信頼度（評価値）を算出する。表示制御部１８２は、信頼度を観察情報として表示部５に表示する。観察情報は、３Ｄモデル上の位置を含む注目領域または通常領域が観察済みであるか否かを示す。

判断部１８６は、信頼度と閾値とを比較することにより撮像条件が満たされるか否かを判断する。この閾値は、指標値の判断に使用される閾値と同じであるとは限らない。撮像条件が満たされないと判断部１８６が判断した場合に、表示制御部１８２は、３Ｄモデル上の位置を含む注目領域または通常領域が観察済みではないことを示す第２の通知情報を表示部５に表示する。

図１１に示す処理は、図２４に示す処理に変更される。図１２に示す処理は、図２５に示す処理に変更される。図２４および図２５を参照し、検査中に実行される処理の手順を説明する。図２４および図２５は、ＣＰＵ１８ａが実行する処理の手順を示す。図２４および図２５に示す処理と同じ処理の説明を省略する。

ステップＳ２０６の後、ステップＳ２０８が実行される。図１１に示すステップＳ２０７は実行されない。

ステップＳ２０９の後、判断部１８６は、ステップＳ２０９において算出された指標値と、ステップＳ２０８において読み出された閾値とに基づいて、信頼度を算出する（ステップＳ２３１）。ユーザーが３Ｄモデル上の位置を含む領域を観察できた可能性が高いほどその位置の信頼度が高くなるように信頼度は定義される。３Ｄモデル上の位置の信頼度が高い場合、ユーザーがその位置を含む領域を観察できた可能性は高い。３Ｄモデル上の位置の信頼度が低い場合、ユーザーがその位置を含む領域を観察できた可能性は低い。例えば、信頼度は０％から１００％の範囲における値を持つ。信頼度が１００％である場合、注目領域または通常領域は観察済みである。

例えば、判断部１８６は、以下の式（４）を使用することにより信頼度を算出する。

式（４）において、ある時刻ｔにおける信頼度はＥ_ｔと表され、ｉ番目の指標に付加される重みはＷ_ｉと表される。式（４）において、ｉ番目の指標の値はｅ_ｉと表され、ｉ番目の指標の閾値はＴｈ_ｉと表される。判断部１８６は、時刻ｔにおける３Ｄモデル上の各位置の信頼度を算出する。検査が終了するまで、判断部１８６は、各位置の信頼度を繰り返し算出する。

検査の開始から検査の終了までに信頼度Ｅ_ｔの最大値が更新された場合、その値はＲＡＭ１４に記憶される。検査対象の１点に着目した例を説明する。挿入部２の先端２０が第１の位置から第２の位置に移動し、さらの第３の位置に移動することを想定する。第１の位置および第３の位置は、検査対象の１点から遠い。第２の位置は、検査対象の１点に近い。挿入部２の先端２０がこのように移動した場合、信頼度の最大値が保持される。信頼度の値が低い値に更新されることは回避される。判断部１８６は、各時刻における信頼度の総和を３Ｄモデル上の位置毎に算出してもよい。その総和が最終的な信頼度として定義されてもよい。

ステップＳ２３１の後、表示制御部１８２は、信頼度を表示するためのグラフィック画像信号を生成する。その後、映像信号処理回路１２は、グラフィック画像信号と映像信号とを合成し、かつ合成された映像信号を表示部５に出力する。表示部５は、観察情報を検査画像上に表示する。注目領域および通常領域の各々は、各領域の信頼度に対応する色で表示される。その色は観察情報に対応する。これにより、表示部５は、ステップＳ２０６において特定された位置の信頼度をユーザーに通知する（ステップＳ２３２）。ステップＳ２３２の後、ステップＳ２１６が実行される。

図２６は、ステップＳ２３２において表示部５に表示される検査画像の例を示す。検査画像Ｉ４１が表示部５に表示される。さらに、注目領域および通常領域の各々が、各領域の信頼度に対応する色で表示される。信頼度が検査画像上に表示されている間、被写体の模様が見えにくい可能性がある。そのため、内視鏡装置１は、ユーザーからの指示に基づいて信頼度の表示のオンとオフとを切り替える機能を有してもよい。第２の通知情報が検査画像に重畳される必要はない。ユーザーが信頼度を認識できる限り、どのような表示方法が使用されてもよい。

ステップＳ２１７において操作部４が検査の終了をユーザーから受け付けたとメイン制御部１８０が判断した場合、判断部１８６は、適正な検査が実行できたか否かを判断する（ステップＳ２３３）。例えば、判断部１８６は、注目領域または通常領域に含まれる各位置の信頼度の代表値を算出する。代表値は、注目領域または通常領域に含まれる各位置の信頼度の平均値、中央値、または最大値等である。代表値が注目領域または通常領域に含まれる位置の信頼度に基づいて算出される限り、代表値はどのような値であってもよい。判断部１８６は、算出された値と閾値とを比較する。例えば、信頼度の閾値を設定する方法は、指標の閾値を設定する方法と同様である。

全ての注目領域において代表値が閾値よりも大きい場合、判断部１８６は、適正な検査が実行できたと判断する。代表値が閾値よりも大きくない注目領域が存在する場合、判断部１８６は、適正な検査が実行できなかったと判断する。

信頼度の閾値は、領域毎に用意されてもよい。例えば、注目領域の信頼度の閾値は１００％であり、かつ通常領域の信頼度の閾値は８０％であってもよい。注目領域の信頼度の閾値と通常領域の信頼度の閾値とが同じであってもよい。例えば、全ての領域の信頼度の閾値が８０％であってもよい。適正な検査が実行できたか否かを判断する方法は、上記の方法に限らない。適正な検査が実行できたか否かを判断できる限り、どのような方法が使用されてもよい。

適正な検査が実行できたと判断部１８６が判断した場合、図２５に示す処理が終了する。適正な検査が実行できなかったと判断部１８６が判断した場合、判断部１８６は、再度検査すべき領域の情報を表示制御部１８２に通知する。その領域の信頼度の代表値は、閾値よりも大きくない。表示制御部１８２は、その領域を示す第２の通知情報を表示するためのグラフィック画像信号を生成する。その後、映像信号処理回路１２は、グラフィック画像信号と映像信号とを合成し、かつ合成された映像信号を表示部５に出力する。表示部５は、第２の通知情報を検査画像上に表示する。これにより、表示部５は、再度検査すべき領域をユーザーに通知する（ステップＳ２３４）。ステップＳ２３４が実行されたとき、図２５に示す処理が終了する。

例えば、再度検査すべき領域が、適正な検査が実行できた領域と異なる色で表示される。適正な検査が実行できた領域は表示されず、再度検査すべき領域のみが表示されてもよい。再度検査すべき領域をユーザーが認識できる限り、どのような表示方法が使用されてもよい。

表示制御部１８２は、ステップＳ２３２において、信頼度を３Ｄモデル上に表示してもよい。表示制御部１８２は、ステップＳ２３４において、第２の通知情報を３Ｄモデル上に表示してもよい。

上記のように、判断部１８６は、判断ステップ（ステップＳ２３１）において、注目領域または通常領域に設定された撮像条件が満たされる度合いを示す信頼度を算出する。表示制御部１８２は、観察情報表示ステップ（ステップＳ２３２）において、信頼度を観察情報として表示部５に表示する。

上記のように、判断部１８６は、判断ステップ（ステップＳ２３３）において、信頼度と閾値とを比較することにより撮像条件が満たされるか否かを判断する。本発明の各態様の観察装置の作動方法は、第２の通知情報表示ステップをさらに有してもよい。撮像条件が満たされないと判断部１８６が判断した場合に、表示制御部１８２は、第２の通知情報表示ステップ（ステップＳ２３４）において、３Ｄモデル上の位置を含む注目領域または通常領域が観察済みではないことを示す第２の通知情報を表示部５に表示する。

第３の実施形態において、信頼度が算出され、かつ表示される。信頼度は、領域が観察済みである度合いを示す２つ以上の値のいずれか１つを持つ。そのため、内視鏡装置１は、十分に観察された領域と、十分に観察されていない領域とを正確にユーザーに通知することができる。

内視鏡装置１は、適正な検査が実行できたか否かを自動的に判断する。適正な検査が実行できたと内視鏡装置１が判断した場合、ユーザーは、検査の完了をクライアントまたは上司等に安心して報告することができる。適正な検査が実行できなかったと内視鏡装置１が判断した場合、内視鏡装置１は、再度検査すべき領域をユーザーに通知する。そのため、ユーザーは、再検査を迅速に開始することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１内視鏡装置
２挿入部
３本体部
４，４４操作部
５，４５表示部
８内視鏡ユニット
９ＣＣＵ
１０制御装置
１２映像信号処理回路
１３ＲＯＭ
１４ＲＡＭ
１５カードインタフェース
１６外部機器インタフェース
１７制御インタフェース
１８ａ，１８ｂ，４３，４３ａＣＰＵ
２０先端
２８撮像素子
４１，４１ａＰＣ
４２メモリカード
４６通信部
４７メモリ
１８０メイン制御部
１８１画像取得部
１８２，４３３表示制御部
１８３３Ｄモデル選択部
１８４カメラ位置姿勢推定部
１８５位置特定部
１８６判断部
１８７記録部
４３０動画選択部
４３１条件受付部
４３２３Ｄモデル生成部
４３４領域受付部
４３５指標受付部
４３６閾値受付部
４３７条件設定部
４３８領域検出部
４３９指標生成部
４４０閾値生成部

Claims

観察装置の作動方法であって、
前記観察装置は、
観察対象内の被写体の画像を取得する撮像素子を有し、かつ前記観察対象に挿入される挿入部と、
前記被写体の３次元モデルの一部である第１の領域と、前記３次元モデルにおいて前記第１の領域以外の第２の領域との各々に設定された撮像条件を記憶し、前記第１の領域の前記撮像条件と前記第２の領域の前記撮像条件とは、互いに異なる記憶媒体と、
推定部と、
特定部と、
判断部と、
表示制御部と、
を有し、
前記作動方法は、
前記表示制御部が前記画像を表示部に表示する画像表示ステップと、
前記撮像素子が前記画像を取得したときの前記撮像素子の位置および前記撮像素子の姿勢を前記推定部が推定する推定ステップと、
前記画像の画素に対応する前記３次元モデル上の位置を前記特定部が前記推定ステップにおいて推定された前記位置および前記姿勢に基づいて特定する特定ステップと、
前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされるか否かを前記判断部が判断する判断ステップと、
前記判断部によって実行された判断の結果に基づいて観察情報を前記表示制御部が前記表示部に表示し、前記観察情報は、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであるか否かを示す観察情報表示ステップと、
を有することを特徴とする観察装置の作動方法。
前記観察装置は、撮像条件設定部をさらに有し、
前記作動方法は、前記撮像条件設定部が前記撮像条件を前記第１の領域および前記第２の領域の各々に設定する撮像条件設定ステップをさらに有する
ことを特徴とする請求項１に記載の観察装置の作動方法。
前記観察装置は、領域設定部をさらに有し、
前記作動方法は、前記領域設定部が前記第１の領域および前記第２の領域を前記３次元モデルに設定する領域設定ステップをさらに有する
ことを特徴とする請求項１または請求項２に記載の観察装置の作動方法。
前記観察装置は、処理部をさらに有し、
前記作動方法は、
前記撮像素子によって取得された複数の画像の各々における特徴点を前記処理部が検出する特徴点検出ステップと、
前記複数の画像の各々における前記特徴点を前記処理部が互いに対応付ける対応付けステップと、
前記特徴点に基づいて前記撮像素子の位置および前記撮像素子の姿勢を前記処理部が算出する算出ステップと、
前記算出ステップにおいて算出された前記位置および前記姿勢に基づいて前記３次元モデルを前記処理部が生成する生成ステップと、
を有し、
前記領域設定ステップが実行される前に、前記特徴点検出ステップ、前記対応付けステップ、前記算出ステップ、および前記生成ステップが実行される
ことを特徴とする請求項３に記載の観察装置の作動方法。
前記撮像条件設定ステップにおいて、ユーザーからの前記撮像条件の入力は受け付けられない
ことを特徴とする請求項２に記載の観察装置の作動方法。
前記領域設定ステップにおいて、ユーザーからの前記第１の領域および前記第２の領域を示す情報の入力は受け付けられない
ことを特徴とする請求項３または請求項４に記載の観察装置の作動方法。
前記推定部は、前記推定ステップにおいて、少なくとも前記画像および前記３次元モデルに基づいて前記位置および前記姿勢を推定する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の観察装置の作動方法。
前記推定部は、前記推定ステップにおいて、前記画像のみに基づいて前記位置および前記姿勢を推定する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の観察装置の作動方法。
前記記憶媒体は、前記撮像条件が満たされないと判断された前記３次元モデル上の前記位置である未観察位置を記憶し、
前記作動方法は、前記未観察位置が前記撮像素子の視野の後ろ側にある場合に、前記未観察位置を含む前記第１の領域または前記第２の領域があることを示す第１の通知情報を前記表示制御部が前記表示部に表示する第１の通知情報表示ステップをさらに有する
ことを特徴とする請求項１から請求項８のいずれか一項に記載の観察装置の作動方法。
前記撮像条件は、複数の条件を含み、
前記作動方法は、前記複数の条件に含まれる少なくとも１つの条件が満たされないと前記判断部が判断した場合に、前記表示制御部は、前記少なくとも１つの条件を示す条件情報を前記表示部に表示する条件情報表示ステップをさらに有する
ことを特徴とする請求項１から請求項９のいずれか一項に記載の観察装置の作動方法。
前記観察装置は、記録部をさらに有し、
前記作動方法は、前記第１の領域に設定された前記撮像条件が満たされると前記判断部が判断した場合に、前記第１の領域に対応する領域が写っている前記画像を前記記録部が記録する記録ステップをさらに有する
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の観察装置の作動方法。
前記撮像条件が満たされると前記判断部が判断した場合、前記表示制御部は、前記観察情報表示ステップにおいて、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであることを示す前記観察情報を前記表示部に表示する
ことを特徴とする請求項１から請求項１１のいずれか一項に記載の観察装置の作動方法。
前記判断部は、前記判断ステップにおいて、前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされる度合いを示す評価値を算出し、
前記表示制御部は、前記観察情報表示ステップにおいて、前記評価値を前記観察情報として前記表示部に表示する
ことを特徴とする請求項１から請求項１１のいずれか一項に記載の観察装置の作動方法。
前記判断部は、前記判断ステップにおいて、前記評価値と閾値とを比較することにより前記撮像条件が満たされるか否かを判断し、
前記作動方法は、前記撮像条件が満たされないと前記判断部が判断した場合に、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みではないことを示す第２の通知情報を前記表示制御部が前記表示部に表示する第２の通知情報表示ステップをさらに有する
ことを特徴とする請求項１３に記載の観察装置の作動方法。
観察対象内の被写体の画像を取得する撮像素子を有し、かつ前記観察対象に挿入される挿入部と、
前記被写体の３次元モデルの一部である第１の領域と、前記３次元モデルにおいて前記第１の領域以外の第２の領域との各々に設定された撮像条件を記憶し、前記第１の領域の前記撮像条件と前記第２の領域の前記撮像条件とは、互いに異なる記憶媒体と、
前記画像を表示部に表示する表示制御部と、
前記撮像素子が前記画像を取得したときの前記撮像素子の位置および前記撮像素子の姿勢を推定する推定部と、
前記画像の画素に対応する前記３次元モデル上の位置を前記推定部によって推定された前記位置および前記姿勢に基づいて特定する特定部と、
前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされるか否かを判断する判断部と、
を有し、
前記判断部によって実行された判断の結果に基づいて観察情報を前記表示制御部が前記表示部に表示し、前記観察情報は、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであるか否かを示す
ことを特徴とする観察装置。
観察装置のコンピュータに、画像表示ステップ、推定ステップ、特定ステップ、判断ステップ、および観察情報表示ステップを実行させるためのプログラムであって、
前記観察装置は、
観察対象内の被写体の画像を取得する撮像素子を有し、かつ前記観察対象に挿入される挿入部と、
前記被写体の３次元モデルの一部である第１の領域と、前記３次元モデルにおいて前記第１の領域以外の第２の領域との各々に設定された撮像条件を記憶し、前記第１の領域の前記撮像条件と前記第２の領域の前記撮像条件とは、互いに異なる記憶媒体と、
を有し、
前記コンピュータは、前記画像表示ステップにおいて、前記画像を表示部に表示し、
前記コンピュータは、前記推定ステップにおいて、前記撮像素子が前記画像を取得したときの前記撮像素子の位置および前記撮像素子の姿勢を推定し、
前記コンピュータは、前記特定ステップにおいて、前記画像の画素に対応する前記３次元モデル上の位置を前記推定ステップにおいて推定された前記位置および前記姿勢に基づいて特定し、
前記コンピュータは、前記判断ステップにおいて、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域に設定された前記撮像条件が満たされるか否かを判断し、
前記コンピュータは、前記観察情報表示ステップにおいて、前記判断ステップの結果に基づいて観察情報を前記表示部に表示し、前記観察情報は、前記３次元モデル上の前記位置を含む前記第１の領域または前記第２の領域が観察済みであるか否かを示す
ことを特徴とするプログラム。