JP3771988B2 - 計測内視鏡装置 - Google Patents

Description

【０００１】
【発明が属する技術分野】
本発明は、一対のステレオ画像を得るための光学系による被計測物２つの像を内視鏡本体に設けられた撮像素子上の異なる位置に結像させ、その内視鏡の画像を用いて画像処理により計測を行う計測内視鏡装置に関する。
【０００２】
【従来の技術】
従来、立体内視鏡装置に関して提案された特開昭６４−２６８１３号公報に開示されたものには、１つのＣＣＤを用いた立体視内視鏡の技術が示されている。また、特開昭６２−８０７６８号公報に開示のものは、左右の視差を利用したステレオ画像に対して幾何学的歪み補正を行うもので、低解像の粗なマッチングからステレオ画像の相対歪みを予測して高解像なマッチングへと拡張していくことを可能とする。
【０００３】
【発明が解決しようとする課題】
しかし、前述の特開昭６４−２６８１３号公報に開示のものには、１つのＣＣＤを用いた立体視内視鏡の技術が示されているが、対象を計測するための手段に関しては記載はない。
また、前述の特開昭６２−８０７６８号公報に開示のものは、ステレオ画像の幾何学的歪みの補正および低解像の粗なマッチングからステレオ画像の相対歪みを予測して高解像なマッチングへと拡張していく手法が示されているが、光学アダプタを取り替えた場合のレンズ特性のばらつきを考慮した計測方法は示されていない。
【０００４】
通常、光学アダプタは、１つ１つ個体の光学特性が異なる。また、ビデオ内視鏡本体のＣＣＤの位置にもばらつきがある。このばらつきは、計測を行う上で大きな誤差を招く原因になる。したがって、この誤差を取り除くために計測用の光学アダプタとビデオ内視鏡を一対一で対応させて光学データ取りを行って、画像を補正する必要があった。
【０００５】
しかし、計測用光学アダプタとビデオ内視鏡本体を一対一で対応づけして販売することは計測を行う必要のないユーザにとっては不要の処理が加えられており、高価な内視鏡となったしまう。しかし、一対一での対応づけを行わなかった場合、計測用光学アダプタを追加購入して任意のビデオ内視鏡本体と組み合わせて使用することもできない。
【０００６】
一方、製造者側の立場からは、一対一で対応づけをする場合、光学アダプタとビデオ内視鏡本体を組み合わせてデータ取りを行う必要があり、生産工程が複雑となり、コストアップとなる。結局、ユーザにとって高価な計測内視鏡装置となる。
【０００７】
本発明は、上述の不具合を解決するためになされたものであって、一対のステレオ画像を得るための光学系による内視鏡画像を用いた画像処理により計測を行う計測内視鏡装置において、安価でしかも計測精度の優れた計測内視鏡装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の計測内視鏡装置は、内視鏡先端部に着脱自在に設けられた一対の対物レンズを有する光学アダプタと前記一対の対物レンズによる２つの像が内視鏡本体に設けられた撮像素子上の異なる位置に結像するように配置された内視鏡を有しており、少なくとも、前記内視鏡の画像を用いて画像処理により計測を行う計測内視鏡装置において、前記光学アダプタの光学データを記録した記録媒体から情報を読み込む処理と、前記内視鏡本体の撮像系の位置誤差を基に前記光学データを補正する処理と、前記補正した光学データをもとに計測する画像を座標変換する処理と、座標変換された２つの画像を基に、２画像のマッチングにより任意の点の３次元座標を求める処理と、を行う計測処理手段を有する。
【０００９】
上記計測内視鏡装置においては、一対の対物レンズにより上記撮像素子により取り込まれた被写体の２つの画像を座標変換して求めた２つの画像情報を基に、２画像のマッチングにより被写体上の任意の点の３次元座標を求める。
【００１０】
【発明の実施の形態】
以下、図を用いて本発明の実施の形態について説明する。
図１は、本発明の第１の実施の形態を示す計測内視鏡装置である計測内視鏡システムの全システム構成図である。図２は、上記計測内視鏡システムのブロック構成図である。本計測内視鏡システム１は、図１，２に示すように撮像素子を内蔵するビデオ内視鏡（以下、内視鏡と記載する）２と、計測処理手段である計測装置３により構成される。
【００１１】
上記内視鏡２は、主に、２つのレンズ系を持つ光学アダプタ４が装着され、撮像素子を内蔵する挿入部７と、挿入部７を屈曲操作するための操作部９と、ユニバーサルケーブル１１と、光源コネクタ１２と、カメラコントロールコネクタ１３より構成される。
【００１２】
計測装置３は、主に、内視鏡２からの撮像信号をＮＴＳＣ信号等のビデオ信号に変換するカメラコントロールユニット（以下、ＣＣＵと記載する）１６と、上記ビデオ信号をデジタル静止画信号に変換するビデオキャプチャ回路４１と、ビデオキャプチャ回路４１のデジタル画像信号に基づいて画像処理を行うコンピュータ１８と、処理メニュー，処理画像等を表示する液晶モニタ１４と、制御処理情報または画像情報等を記憶媒体にて記憶、または、再生するハードディスクドライブ（以下、ＨＤＤと記載する）４３、および、フロッピディスクドライブ（以下、ＦＤＤと記載する）４２と、入力操作用のキーボード１５と、光源部１７により構成されている。
【００１３】
本実施の形態の計測内視鏡システム１の各構成部材の詳細や動作の詳細な説明に先立って、本システム１の概要から説明する。
本システム１に適用される光学アダプタ４は、生産工程にて個体の異なる光学アダプタ毎に主となる生産測定治具３９の撮像素子内蔵のマスタ撮像ユニット３４（図５参照）に取り付けて、次の（ａ）〜（ｄ）に示す各光学アダプタ４の特有の光学データが測定される。その光学データを記録媒体であるフロッピディスク（以下、ＦＤと記載する）３３（図５参照）に記録する。この特有の光学データが記録されたＦＤ３３と、光学アダプタ４とは、一対一で対応することになって、出荷後、１つの組み合わせのものとして扱われる。
【００１４】
上述の特有の光学データは、
（ａ）２つの光学系の幾何学的歪み補正テーブル
（ｂ）２つのレンズ系の焦点距離
（ｃ）２つのレンズの光軸間の距離
（ｄ）２つの画像のマスタに対する位置情報
である。
【００１５】
上記特有の光学データ採りを行った後の光学アダプタ４は、内視鏡２に取り付け、計測装置３において、次に示す（１）〜（８）の処理を行って各種寸法計測を行うことができる。すなわち、
（１）上記ＦＤ３３から上記（ａ）〜（ｄ）の光学データを読み込む。
（２）本システム１を用いて白い被写体を撮像する。
（３）上記（ｄ）のデータおよび上記（２）の撮像データを用いて本光学アダプタ４と内視鏡２との組み合わせによる画像位置のずれを求める。
（４）上記（３）のデータおよび上記（１）のデータを用いて、本内視鏡２に対する幾何学的歪み補正を行う変換テーブルを作成する。
（５）本内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（６）上記の取り込んだ画像を上記（３）で作成したテーブルをもとに座標変換する。
（７）座標変換された画像を基に、上記（２）の撮像データのマッチングにより任意の点の３次元座標を求める。
（８）上記３次元座標を基に各種寸法計測を行う。
【００１６】
本内視鏡システム１では、上述の処理を行って被計測物の精度の優れた計測を行うことができる。以下、そのシステムの構成、および、作用等について詳細に説明する。
図３は、上記内視鏡２の挿入部７の先端部分の拡大斜視図であり、図４は、図３のＡ−Ａ断面図である。
【００１７】
内視鏡２の挿入部７は、主に、内視鏡先端部５に着脱自在に装着される光学アダプタ４と、上記先端部５に配設されるカバ−グラス２７および撮像素子２８と、操作部９の湾曲ノブ１０によって内視鏡先端部５の方向を変えることができる湾曲部６、湾曲部６と操作部９を連結する屈曲自在な軟性部８により構成される。
【００１８】
光学アダプタ４は、光学アダプタ本体２５と、その本体２５の端面に設けられる２つの照明窓２３と、２つの対物レンズＲ２１、対物レンズＬ２２と、固定ネジ２０で構成されている。上記固定ネジ２０によって内視鏡先端部本体２６に着脱可能な状態で装着される。上記対物レンズＲ２１、対物レンズＬ２２の像は、上記内視鏡先端部５の１つの撮像素子２８上の異なる位置に結像する。
【００１９】
内視鏡２の操作部９に接続されるユニバーサルケーブル１１内には図示しないライトガイドファイババンドルと、内視鏡先端の撮像素子２８からの信号線２９が配設されている。上記ライトガイドファイババンドルは、光源コネクタ１２に接続される。上記撮像素子２８からの信号線２９は、ＣＣＵコネクタ１３に接続される。
【００２０】
上記計測装置３は、前述の前記光学アダプタ特有の光学データが記録されたＦＤ３３をＦＤＤ４２に挿入して、その光学データを取り込むことができる。内視鏡２にて対物レンズＲ２１、対物レンズＬ２２を介して取り込まれる像の撮像信号が、上記計測装置３のＣＣＵ１６にてビデオ信号に変換され、液晶モニタ１４上に被計測物像として表示されるとともに、コンピュータ１８のメモリ上にも記録される。そして、コンピュータ１８において、上記取り込まれた光学アダプタ特有の光学データに基づいた被計測物の計測処理が行われる。
【００２１】
図５は、前述した光学アダプタ４に特有の光学データを測定するための生産測定治具３９による測定状態を示す斜視図である。
上記生産測定治具３９は、光学アダプタ４が装着可能であって、内視鏡先端部と同様の構造を有するマスタ撮像ユニット３４と、上記ユニット３４からの信号線が接続されるＣＣＵ３５と、ＦＤ３３が着脱可能なＦＤＤ３７を有し、上記ＣＣＵ３５からの画像データの画像処理を行うパーソナルコンピュータ３６、および、光学アダプタの光学特性を解析するためのチャート３８で構成されている。
【００２２】
上記生産測定治具３９による光学データの取り込みを行う場合、まず、図５に示すように、光学アダプタ４をマスタ撮像ユニット３４に取り付け、チャート３８の像を光学アダプタ４を介して取り込み、その画像データに基づいてパーソナルコンピュータ３６にて、画像処理を行い、前記（ａ）〜（ｄ）の光学データを求め、ＦＤ３３に記録する。
【００２３】
次に、上記光学アダプタ４に特有の各光学データを具体的に説明する。
（ａ）幾何学的歪み補正テーブルについて、
一般にレンズ系による画像には光学的な歪みがある。計測を行う場合にはこの歪みが大きな誤差原因となるため、座標変換を行うことによりこの歪みを取り除くことができる。座標変換は、光軸中心を中心にして行ってもよいし、より正確に補正する場合は、光学系の幾何学的歪みの中心を用いるとよい。また、２つの画像の幾何学的歪み補正テーブルは、右画像、左画像別々に設けてもよいし、２つをまとめて１つのテーブルにしてもよい。以下、１つのテーブルにした場合について、図６，７をもとに補正テーブルを説明する。
【００２４】
図６，７において、撮像画面４５上の点ｐ１〜ｐ４は、座標変換前のピクセルを示す。ｐ１〜ｐ４をｆ（ｘ，ｙ）により座標変換すると、ｐ１′〜ｐ４′とする。このときのｐ１′〜ｐ４′を与える座標は必ずしも整数ではなく実数値の座標として求められる。変換後の液晶モニタ上の変換後画面４６に表示するには変換後画素Ｐ（Ｘ，Ｙ）の座標（Ｘ，Ｙ）をピクセル単位の整数値へ変換しなければならない。
【００２５】
上記座標の整数値化のための補正は、ウエイトテーブルＷ１〜Ｗ４によって行われる。すなわち、変換画面１ピクセルにつき、そのピクセルが撮像画面上の光学上の幾何学的歪み上対応する座標の４つのピクセルの撮像データを上記ウエイトテーブルＷ１〜Ｗ４の比率を乗じ、変換画面ピクセルの画素データＰ（Ｘ，Ｙ）を求めることになる。
【００２６】
そこで、座標変換のｆ（ｘ，ｙ）は、変換座標ｘ′，ｙ′として、次の式を用いる。すなわち、

なお、上記係数ａ_nm ｂ_nmは、格子画像の直線性より求める。また、ｋ１，ｋ２は、２画像の倍率を合わせる係数で焦点距離ｆＲ ，ｆＬ の関数となる。
【００２７】
上記ｆ（ｘ，ｙ）を用いて、ｐ１〜ｐ４のｘ，ｙ座標を代入し、ｐ１′（ｘ′，ｙ′）〜ｐ４′（ｘ′，ｙ′）を与える座標（ｘ′，ｙ′）を得る。このｘ′，ｙ′の値は、前述したように必ずしも整数ではなく、上記ウエイトテーブルＷ１〜Ｗ４で補正して、整数の変換後座標（Ｘ，Ｙ）に対する画素データを求めることになる。
【００２８】
そこで、変換後画素データＰ（Ｘ，Ｙ）を与える変換画面上の４つの点ｐ１′〜ｐ４′の座標を（ｘ′，ｙ′）とし、その変換画面上の４つの点ｐ１′〜ｐ４′に対応する撮像画面（原画）上の４つの点の座標（ｘ，ｙ）〜（ｘ＋１，ｙ＋１）のうちの左上点ｐ１の座標（ｘ，ｙ）のｘ座標をＱＸ（Ｘ，Ｙ）とし、また、ｙ座標をＱＹ（Ｘ，Ｙ）として、幾何学的歪み補正テーブルの座標参照テーブルとして、まず、ＦＤ３３に記録する。
【００２９】
変換後のピクセル単位の整数値で与えられる座標（Ｘ，Ｙ）の変換後画素データＰ（Ｘ，Ｙ）は、ｐ１′〜ｐ４′とＷ１〜Ｗ４により求められる。但し、図７に示すようにｄｎをｐ１′〜ｐ４′からＰ（Ｘ，Ｙ）までの距離を示すとして、
Ｓ＝ｄ１＋ｄ２＋ｄ３＋ｄ４ …（３）
さらに、
Ｗ１＝ｄ１／Ｓ
Ｗ２＝ｄ２／Ｓ
Ｗ３＝ｄ３／Ｓ
Ｗ４＝ｄ４／Ｓ …（４）
とする。そして、Ｐ（Ｘ，Ｙ）の値は、
Ｐ（Ｘ，Ｙ）＝Ｗ１×ｐ１′＋Ｗ２×ｐ２′＋Ｗ３×ｐ３′＋Ｗ４×ｐ４′…（５）
によって求められる。
【００３０】
上記Ｗ１，Ｗ２，Ｗ３，Ｗ４は、各変換画面上の各ピクセル点（Ｘ，Ｙ）についてウエイトテーブルとして、上記座標参照テーブルＱＸ（Ｘ，Ｙ），ＱＹ（Ｘ，Ｙ）とともに上記ＦＤ３３に記録される。
次に、（ｂ）〜（ｄ）に関して、
（ｂ）２つのレンズ系の焦点距離として、右画像の焦点距離ｆＲ、および、左画像の焦点距離ｆＬを測定して記録する。
（ｃ）２つのレンズ系の光軸座標として、右画像の光軸座標ＸＲ，ＹＲと左画像の光軸座標ＸＬ，ＹＬを測定して記録する。
（ｄ）マスタに対する位置情報（視野形状パターン）あって、基準ラインＶ（垂直ライン）の輝度データとして、
ＰＶ（１００，Ｙｎ） 但し、Ｙｎ＝１，２，３，…４８０
および、基準ラインＨ（水平ライン）の輝度データとして、
ＰＨ（Ｘｎ，１００） 但し、Ｘｎ＝１，２，３，…６４０
を測定して記録する。
【００３１】
以上のように構成された本実施の形態の計測内視鏡システム１による計測動作としてのステレオ計測処理について、図８，９，１１，１２のフローチャート、および、図１０〜図１３等を用いて説明する。
【００３２】
本ステレオ計測処理は、光学アダプタ４の２つの対物レンズＲ２１、対物レンズＬ２２により取り込まれる視差のある右左の画像データに基づいて、３次元座標の計測を行う処理である。まず、ステップＳ１００において、初期化を行うか否かをチェックする。すなわち、本計測ソフト立ち上げて最初の状態の場合と、光学アダプタ４を交換したか、内視鏡を交換した場合には、ステップＳ１０１〜１０５のルーチンに進み、初期化を実行する。それ以外の場合は、ステップＳ１１０に進み、すでに設定されている補正画像情報データをオリジナルデータとして読み込み、ステップＳ１０６に進む。
【００３３】
上記ステップＳ１０１においては、補正画像データの読み込みが行われる。すなわち、光学アダプタ４と一対一で対応した前記（ａ）〜（ｄ）の特有の光学データをＦＤ３３から読み込み、これをマスタデータとする。
【００３４】
続いて、ステップＳ１０２では、白い被写体のイメージを取り込む。すなわち、光学アダプタ４を取り付けた計測内視鏡システム１により白い被写体を写し出し、その画像をビデオキャプチャ回路４１を介してコンピュータ１８のメモリ上に取り込む。
【００３５】
続いて、ステップＳ１０３では、後述するサブルーチン画像位置設定処理（図９（Ａ）参照）を実行する。このサブルーチンの処理は、光学アダプタ４の生産時に光学データを取得したマスタ撮像ユニット３４と内視鏡２との特性の違いにより生じる画像の座標のずれ量を求める処理である。
【００３６】
ステップＳ１０４では、テーブルの設定を行う。この処理では、ステップＳ１０１で取り込んだ前記光学データのうち（ａ）の２種類の画像の幾何学的歪み補正テーブルをステップＳ１０３で求めた座標のずれ量に応じて補正した補正テーブルが作成される。すなわち、以下の２つで構成されるオリジナルデータが作成される。
【００３７】
ウエイトテーブルとして
Ｗ１′（Ｘ，Ｙ）＝Ｗ１（Ｘ＋ΔＸ，Ｙ＋ΔＹ）
Ｗ２′（Ｘ，Ｙ）＝Ｗ２（Ｘ＋ΔＸ，Ｙ＋ΔＹ）
Ｗ３′（Ｘ，Ｙ）＝Ｗ３（Ｘ＋ΔＸ，Ｙ＋ΔＹ）
Ｗ４′（Ｘ，Ｙ）＝Ｗ４（Ｘ＋ΔＸ，Ｙ＋ΔＹ）…（６）
また、座標参照テーブルとして、
ＱＸ′（Ｘ，Ｙ）＝ＱＸ（Ｘ，Ｙ）＋ΔＸ
ＱＹ′（Ｘ，Ｙ）＝ＱＹ（Ｘ，Ｙ）＋ΔＹ …（７）
但し、「′付き」は、補正後を示し、「′なし」は、補正前を示す。また、ΔＸ，ΔＹは、マスタで測定した画像と光学アダプタ４を本システムに装着したときの画像のずれ量を示す。
【００３８】
ステップＳ１０５では、補正画像情報データの保存を行う。すなわち、ステップＳ１０４で求めたオリジナルデータをハードディスクに保存する。
そこで、ステップＳ１０６において、イメージデータを取り込む。すなわち、計測すべき物体を撮像し、メモリ上に原画像データとして取り込む。そして、ステップＳ１０７で後述するサブルーチンの画像補正処理（図９（Ｂ）参照）を実行し、原画像の画像補正を行う。すなわち、ステップＳ１０６で取り込んだ原画像データをステップＳ１０４で作成したオリジナルテーブルの基づいて座標変換し、計測を行うための計測画像データを得る。
【００３９】
続いて、ステップＳ１０８にて上記計測画像データに基づき、後述するサブルーチンの計測処理（図１３参照）を実行し、３次元座標の演算等を行って選択された計測を行い、本ステレオ計測処理を終了する。
【００４０】
ここで、上記ステップＳ１０３においてコールされるサブルーチンの画像位置設定処理について、図９（Ａ）のフローチャートを用いて説明する。
まず、ステップＳ１５２において、視野形状パターンを呼び出す。すなわち、上記ステップＳ１０１で取り込んだ特有の光学データのうち（ｄ）のマスタに対する視野形状パターンを与える位置情報を示す輝度データとして、
ＰＶ（１００，Ｙｎ），但し、Ｙｎ＝１，２，３，…４８０
ＰＨ（Ｘｎ，１００），但し、Ｘｎ＝１，２，３，…６４０
を呼び出す。図１０は、光学アダプタ４をマスタ撮像ユニット３４に装着した状態で白色チャートの画像を示す図であり、垂直ラインＰＶ，水平ラインＰＨがそれぞれ上記輝度データを与えるラインである。
【００４１】
ステップＳ１５３にてパターンマッチングおよび視野位置設定、光軸位置設定を行う。図１１は、光学アダプタ４を装着した計測内視鏡システム１により白色チャートの画像を取り込ん画像を示す図である。視野形状パターンを与える位置情報を示す輝度データとして、
ＰＶ′（１００，Ｙｎ），但し、Ｙｎ＝１，２，３，…４８０
ＰＨ′（Ｘｎ，１００），但し、Ｘｎ＝１，２，３，…６４０
で与えられる。
【００４２】
また、図１２は、上記マスタ、および、計測内視鏡システム１に対する視野形状パターンを与える輝度とを縦軸とし、横軸を画像のアドレスとした輝度の変化を示す図であって、図１２（Ａ）がラインＰＶ、および、ラインＰＶ′の輝度変化を示し、図１２（Ｂ）がラインＰＨ、および、ラインＰＨ′の輝度変化を示している。
【００４３】
上記ステップＳ１５３のパターンマッチング処理では、図１２（Ａ）、および、（Ｂ）の輝度変化に基づき、正規化相互相関を用いてマスタに対する画像の位置ずれΔＸ、ΔＹを求める。さらに、計測系光軸位置は、右左光学系に関して水平，垂直座標ｘＲ，ｙＲとｘＬ，ｙＬは、次の式で求められる。すなわち、
ｘＲ＝ＸＲ＋ΔＸ
ｙＲ＝ＹＲ＋ΔＹ
ｘＬ＝ＸＬ＋ΔＸ
ｙＬ＝ＹＬ＋ΔＹ …（８）
となる。
【００４４】
また、上記ステップＳ１０７（図８参照）において、コールされるサブルーチンの画像補正処理について、図９（Ｂ）のフローチャートを用いて説明する。
本サブルーチンの処理により計測画像上の画素データＰ（Ｘ，Ｙ）を得ることができる。まず、ステップＳ１６２において、前記ステップＳ１０４（図８参照）にて作成した補正テーブルであるオリジナルデータを取り込む。ステップＳ１６３では、補正した画像の座標、すなわち、計測画像の座標をＸ，Ｙと設定する。
【００４５】
ステップＳ１６４において、補正座標Ｘ，Ｙを得るために必要な原画像の座標を参照座標とし、前記ステップ１０４で作成したＱＸ′（Ｘ，Ｙ）、ＱＹ′（Ｘ，Ｙ）により補正座標Ｘ，Ｙを得る。そして、ステップＳ１６５にて、前記ステップ１０４で作成したウエイトテーブルを取り込み、ステップＳ１６６で補正後の座標上の画素データＰ（Ｘ，Ｙ）を次式より求める。すなわち、

により求められる。
【００４６】
続いて、ステップＳ１６７において、補正画像範囲を設定し、本ルーチンを終了する。なお、このサブルーチンの画像補正処理は、左右２画像に対して行い、原画像を計測画像に変換する。
【００４７】
次に、図８のステップＳ１０８にてコールされるサブルーチンの計測処理について、図１３のフローチャートにより説明する。
まず、ステップＳ１７１において、モニタ１４に表示されるメニュー上にて３つの計測方式を選択する。その１つは、深さ計測であり、点と平面間の距離を計測する場合、例えば、図１５の斜視図に示すようにパイプ５１等の内面の腐食の深さｈ（図１６部分拡大図参照）を計る場合に用いられる。この計測方式を選択するとステップＳ１７２にジャンプする。他の１つは、長さ計測であり、２点間の距離を計測する場合、例えば、図１７の斜視図に示すように立体的被計測物であるパイプ５２の２点の３次元座標を求め、２点間の距離ｄを求める場合に適用される。この計測方式を選択するとステップＳ１９０にジャンプする。他の１つは、くぼみ計測であり、点と直線間の距離を計測する場合、例えば、図１８の斜視図に示すように、タービンブレード５３の欠損等の大きさ（欠け部分の寸法ｈ）等を計測する場合に適用される。この計測方式が選択されるとステップＳ２００にジャンプする。
【００４８】
上記ステップＳ１７２にジャンプした場合、ステップＳ１７３〜ステップＳ１７５において、基準平面設定用の３点の基準点ＰＴを設定する。例えば、図１５に示す被計測物のパイプ５１の場合、測定基準点ＰＴ１，ＰＴ２，ＰＴ３を設定する。そして、後述するサブルーチン３次元座標解析処理（図１４（Ａ）参照）により上記３点の３次元座標を求める。
【００４９】
ステップＳ１７６で点ＰＴ指示値をインクリメントし、ステップＳ１７７で上記３点が作る平面の深さの基準平面として設定する。図１５の場合、点ＰＴ１，ＰＴ２，ＰＴ３を含む平面Ｍ１を設定する。さらに、ステップＳ１７８で測定点、例えば、ＰＴ４を設定し 、Ｓ１７９でサブルーチン３次元座標解析処理（図１４（Ａ）参照）を呼び出して実行して測定点の座標を求める。図１６の場合、点ＰＴ４の座標を求める。
【００５０】
ステップＳ１８０において、基準平面から測定点間の距離、図１６の場合、測定点ＰＴ４から前記基準平面Ｍ１までの腐食の深さを与える距離ｈを演算し、本ルーチンを終了する。
【００５１】
次に、ステップＳ１９０にジャンプした場合は、ステップＳ１９１で第１測定点を設定し、ステップＳ１９２でサブルーチン３次元座標解析処理を実行し、上記第１測定点の座標を求める。さらに、ステップＳ１９３で第２測定点を設定し、ステップＳ１９４でサブルーチン３次元座標解析処理を実行し、上記第２測定点の座標を求める。その後、ステップＳ１９５において上記第１，第２測定点の座標から上記２点間の距離ｄを演算し、本サブルーチンを終了する。
【００５２】
なお、上記の処理において、被計測物が図１７に示すパイプ５２であって、第１，第２測定点がＰＴ５，ＰＴ６であった場合、上記計測により上記２測定点間の距離ｄが求められる。
【００５３】
さらに、ステップＳ２００にジャンプした場合は、ステップＳ２０１でくぼみの一端に第１基準点を設定し、ステップＳ２０２でサブルーチン３次元座標解析処理を実行し、上記第１基準点の座標を求める。さらに、ステップＳ２０３でくぼみの他端に第２基準点を設定し、ステップＳ２０４でサブルーチン３次元座標解析処理を実行し、上記第２基準点の座標を求める。ステップＳ２０５において上記第１，第２基準点の座標から上記２点間を結ぶ基準直線を設定する。
【００５４】
ステップＳ２０６でくぼみの測定点を設定する。ステップＳ２０７でサブルーチン３次元座標解析処理を実行し、上記測定点の座標を求める。ステップＳ２０８で上記基準点を結ぶ直線と測定点の垂線の長さｈをくぼみ量として演算し、本ルーチンを終了する。
【００５５】
なお、上記のサブルーチンの処理で被計測物が図１８に示すタービンブレード５３であった場合、第１，第２基準点ＰＴ７，ＰＴ８を結ぶ基準直線とくぼみの測定点ＰＴ９までの距離ｈを求めることになる。
【００５６】
次に、上記ステップＳ１７５，Ｓ１９２，Ｓ２０２、その他のステップでコールされるサブルーチンの３次元座標解析処理について、図１４（Ａ）のフローチャートにより説明する。
ステップＳ２１１にてサブルーチンのパターンマッチング処理を実行して、左右の２画像（ステレオ画像）の対応点であるマッチングポイントを検出する。ステップＳ２１２にて対応点の座標から左右の２画像のずれ量を求める。ステップＳ２１３にて対象としている点の３次元座標を計算し、本ルーチンを終了する。
【００５７】
ここで、上記サブルーチンにおける３次元座標解析処理の基本原理について、図１９を用いて説明する。
図１９は、ｘ，ｙ，ｚ軸をもつ３次元座標系上の右左２画像位置関係を示す図であって、被写体の点Ｐが撮像素子２８の右結像面２８Ｒ、左結像面２８Ｌ上に結像した状態を示している。本図において、点ＯＲ，ＯＬを光学系の瞳位置とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、さらに、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。
【００５８】
図１９において、直線ＱＲ−ＯＲから次式が成立する。すなわち、
ｘ／ｘ_R ′＝{ｙ−(Ｌ／２)}／{ｙ_R ′−(Ｌ／２)}＝ｚ／(−ｆ)…（１０）
また、直線ＱＬ−ＯＬから次式が成立する。すなわち、
ｘ／ｘ_L ′＝{ｙ＋(Ｌ／２)}／{ｙ_L ′＋(Ｌ／２)}＝ｚ／(−ｆ)…（１１）
この式をｘ、ｙ、ｚについて解けば、点Ｐの３次元座標が得られる。
【００５９】
次に、図１４（Ａ）の３次元座標解析処理のステップＳ２１１にてコールされるサブルーチンのパターンマッチング処理について、図１４（Ｂ）のフローチャートにより説明する。
本ルーチンでは、２画像間の対応点を検出するパターンマッチングを行う。図２０は、左右２画面５５，５６の画像をモニタ１４上に表示したステレオ計測画面５４を示しており、左画面５５の画像ポイントＰＰ１が右画面５６の画像ポイントＰＰ２に対応していることを示している。
【００６０】
まず、ステップＳ２２１，２２２にて、パターンマッチングを行うパターンの大きさの設定するパターンエリアの絞り込みを行う。本実施の形態の例では、値ｋに対応したパターンエリアを設定する。すなわち、
ｋ＝１ではパターンエリアを３６ｘ３６（ピクセル）、
ｋ＝２ではパターンエリアを２４ｘ２４（ピクセル）、
ｋ＝３ではパターンエリアを１２ｘ１２（ピクセル）、
とし、値ｋを小から大へ切り換えて領域を大から小へ絞り込んでいき、対応点検出の精度を上げるようにする。
【００６１】
ステップＳ２２３にて検索範囲を設定する。すなわち、パターンを探す右画像の領域を決定する。その検索範囲の設定には、エピポーララインに誤差を考慮してエピポーラ±５ピクセル以内とする場合と、モニタ画面上で水平に±７ピクセル以内とする場合と、画面上で手動により指示された略マッチング点を中心に±１０ピクセル以内とする場合がある。なお、上記±１０ピクセルは、手動による誤差を考慮した最適な値である。
【００６２】
ステップＳ２２４〜Ｓ２２６において、設定された検索範囲でのパターンマッチングを行う。このパターンマッチングは、正規化相互相関による対応点検出を行い、最も正規化相互相関係数の大きな座標（Ｘ、Ｙ）を上記対応点とする。
【００６３】
ステップＳ２２７において、値ｋをインクリメントし、その値ｋに対応してパターンを絞り込み、対応点検出を行う。ステップＳ２２８においてマッチングポイントの設定を行う。そのとき、正規化相互相関の値をモニタ画面上に表示、これをマッチングの信頼性の尺度としてもよい。また、正規化相互相関の値（０〜１）が所定の値よりも小さい場合は、手動式のマッチング処理に切り換えてもよい。
【００６４】
上記パターンマッチングに利用する正規化相互相関関数Ｍ（ｕ，ｖ）は、一般的な以下の式を用いる。すなわち、ｔ（ｘ，ｙ）をテンプレートとし、ｆ（ｘ，ｙ）を画像データとし、ｔ′をテンプレートの平均輝度とし、さらに、ｆ′を画像の平均輝度として、
【数１】

が適用される。
【００６５】
上述の実施の形態の画像データの処理は、簡潔に説明するために画像にモノクロ画像を用いた場合として説明したが、これらの処理は、Ｒ、Ｇ、Ｂ信号によるカラー画像に拡張しても同様に有効であることは勿論である。
【００６６】
以上、説明したように本実施の形態の計測内視鏡システム１によれば、計測精度を向上するのために、光学アダプタ４に一対一で対応するように特有の光学データを記録媒体のＦＤ３３で提供し、生産治具３９（マスタ撮像装置３４）と内視鏡画像との座標のずれを補正したことにより、計測精度を向上させることができる。
【００６７】
また、計測用の光学アダプタ４の生産に生産治具３９（マスタ撮像装置３４）を用いて特有の光学データ取りを行ったため、生産性が向上して計測内視鏡システム１を低価格で提供できるようになった。
また、内視鏡先端部５に計測用光学アダプタ４を着脱自在に設けたため、他の計測以外の光学アダプタとの交換が可能になり、内視鏡の汎用性を向上させ、ユーザーの金銭的負担を抑えることができる。
【００６８】
また、本実施の形態の例では画像の座標変換に使用するウエイトテーブルＷ１〜Ｗ４、座標参照テーブルＱＸ、ＱＹを生産治具３９のコンピュータ３６で作成して記録媒体のＦＤ３３に記録したため、計測装置３内部のコンピュータでテーブルを作成する必要がない。したがって、計測処理を短時間で行うことができる。
さらに、正規化相互相関の値をモニタ１４の画面上に表示することにより、操作者は、マッチングの信頼性、あるいは、計測の信頼性を知ることができる。また、正規相互相関の値が小さい場合は、手動式のマッチングに切り換えることができ、正確度の高い計測が可能になった。
【００６９】
次に、本発明の第２の実施の形態の計測内視鏡システムについて説明する。
本実施の形態の計測内視鏡システムの構成は、前記第１の実施の形態のシステム構成と同様の構成を有するものとし、計測制御方式のみが異なる。したがって、同一の構成部材には同一の符号を付して説明ずる。
【００７０】
本実施の形態の計測内視鏡システムにおいては、記録媒体であるＦＤ３３に記録され、光学アダプタ４に一対一で対応する特有の光学データの内容のうち、記録される幾何学的歪み補正テーブル作成用パラメータのみが前記第１の実施の形態のものと異なる。すなわち、
（ａ′）幾何学的歪み補正テーブル作成用パラメータとして、前記（１）式、および、（２）式の係数ａ_nm，ｂ_nmを記録する。
【００７１】
（ｂ）２つのレンズ系の焦点距離として、前記第１実施の形態の場合と同様に右画像の焦点距離ｆＲ、および、左画像の焦点距離ｆＬを記録する。
【００７２】
（ｃ）２つのレンズ系の光軸座標として、前記第１実施の形態の場合と同様に右画像の光軸座標ＸＲ，ＹＲと、左画像の光軸座標ＸＬ，ＹＬを測定し、記録する。
【００７３】
（ｄ）マスタに対する位置情報（視野形状パターン）として、前記第１実施の形態の場合と同様に基準ラインＶの輝度データである、
ＰＶ（１００，Ｙｎ） 但し、Ｙｎ＝１，２，３，…４８０
また、基準ラインＨの輝度データである、
ＰＨ（Ｘｎ，１００） 但し、Ｘｎ＝１，２，３，…６４０
を測定して記録する。
【００７４】
図２１は、第２の実施の形態の計測内視鏡システムにおけるステレオ計測処理のフローチャートである。本ステレオ計測処理において、ステップＳ３０２とＳ３０９の処理以外は、前記図８に示した第１の実施の形態のルーチンと同一である。
上記ステップＳ３０２の補正画像情報データの読み込みは、上述の（ａ′），（ｂ），（ｃ），（ｄ）の光学データを計測装置３に内蔵するコンピュータ１８で取り込んでマスタデータを作成する処理である。
【００７５】
また、上記ステップＳ３０９でコールされるサブルーチン計測処理は、図２２のフローチャートに示す。本ルーチンにおいて、長さ計測におけるステップＳ３５２〜Ｓ３５６、および、くぼみ計測におけるステップＳ３６１〜Ｓ３６８の処理は、それぞれ図１３に示した第１の実施の形態でのサブルーチン計測処理のステップＳＳ１９０〜Ｓ１９４、および、ステップＳ２００〜Ｓ２０７の処理と同一である。但し、上記ステップＳ３５６、および、Ｓ３６８より後の処理が異なる。
【００７６】
すなわち、長さ計測におけるステップＳ３５７において、第１の測定点ｐ１のｚ座標値ｚ１と、第２の測定点ｐ２のｚ座標値ｚ２の差をチェックし、所定の値ｄｚよりも大きければ、ステップＳ３５８の処理を行い、大きくなければ、ステップＳ３５９の処理を行う。
【００７７】
上記ステップＳ３５８の処理は、３次元座標での計算を行う処理である。一方、上記ステップＳ３５９の処理は、２次元座標での計算を行う。すなわち、第１の測定点ｐ１と第２の測定点ｐ２の２点間の距離を求める場合、ｘ，ｙ軸の２次元座標での計算を行う。
【００７８】
上述のようにｚ座標値の差の大小により異なった処理を実行させる理由は、左右２画像を用いるステレオ計測では、３次元座標のうち、奥行き情報であるｚ座標の計測誤差がｘ，ｙ座標よりも悪い。したがって、第１の測定点ｐ１と第２の測定点ｐ２のｚ座標の差ｄｚが所定の値よりも小さい状態であれば、２点間の距離をｘ、ｙ座標のみを用いて計算した方が誤差が少なく、より精度の高い計測を行うことができるためである。
【００７９】
また、くぼみ計測におけるステップＳ３６８より後のステップＳ３６９において、各点のｚ座標の差の値をチェックする。すなわち、第１の基準点Ｐ１と第２の基準点Ｐ２のｚ座標の値をｚ１，ｚ２とし、測定点Ｐ３、および、その測定点の基準直線と直交する交点Ｐ４のｚ座標の値をｚ３，ｚ４とした場合、それぞれ差の値（ｚ１−ｚ２）および（ｚ３−ｚ４）を所定の値ｄｚと比較し、共に大きい場合は、ステップＳ３７０に進み、３次元座標での計算を行い。共に大きくない場合は、ステップＳ３７１に進み、２次元座標での計算を行う。このように処理することによって、前述の場合と同様の理由により、より精度の高いくぼみ計測を行うことができる。
【００８０】
次に、上記第１、または、第２の実施の形態の計測内視鏡システムにおける計測処理時におけるモニタ表示方式について説明する。
図２３は、液晶モニタ１４の表示画面６１の例を示しており、図２３（Ａ）は、内視鏡により撮像した左右の画像Ｌ６２，画像Ｒ６３を表示した状態、また、図２３（Ｂ）は、左右画像とメニュー画面を表示した例を示す。このように液晶モニタ１４の画面６１の左側に左画像Ｌ６２または右画像Ｒ６３を選択してどちらか一方のみ表示し、右側にメニュー６４を表示すると、左側の画像を参照しながら右側のメニュー６４を選択することができ、その選択がやり易くなる。
【００８１】
図２４（Ａ）は、液晶モニタ１４の画面６１に内視鏡により撮像し、エッジ部６５ａ，６６ａを抽出した左右の画像Ｌ６５，画像Ｒ６６を表示した例を示す。図２４（Ｂ）は、左の画像Ｌ６５を表示し、エッヂ部６６ａを重ねた状態として表示した例を示す。ステレオ画像のマッチングにおける対応点検出を行う場合に、どちらか片方の画像のエッジ画像を残りの画像に手動によりカーソル等をもちて移動し、重ね合わせるようにすれば、対応点検出が容易になる。
【００８２】
図２５は、液晶モニタ１４の画面６１の左右の画像Ｌ６２，Ｒ６３の表示例を示し、図２５（Ａ）が左右の画像Ｌ６２，Ｒ６３をそれぞれ左側と右側に表示した状態を示し、図２５（Ｂ）が左右の画像Ｌ６２，Ｒ６３を入れ替えて表示した状態を示している。
【００８３】
一枚の撮像素子でステレオ画像を取り込んだ場合、従来の装置では液晶モニタ１４上では本来の右画像が左側に表示され、本来の左画像が右側に表示され、操作者が誤解する可能性があった。しかし、上記図２５（Ａ）は、本来の左画像Ｌ６２を左側に、右画像Ｌ６３を右側に表示したものである。このように表示することによって、人間の目で見た状態と同じ表示できるので計測を行う場合の誤解を防ぐことができる。
【００８４】
図２６は、液晶モニタ１４において、左右画像のインターレース表示を行った例を示す。本モニタ表示例は、図２６（Ａ）に示すように右画像Ｒ６３をＴＶインターレース表示の偶数ラインで表示し、図２６（Ｂ）に示すように左画像Ｌ６２を奇数ラインで表示している。そして、上記図２６（Ａ）および（Ｂ）の画像をインターレースに同期した図示しない液晶シャッター眼鏡によるステレオ視（立体視）を可能とする表示例である。右画像と左画像の表示位置は立体視できる位置に補正して表示するものとする。本表示例によると操作者は、実際に近い状態で被計測物の画像を観察することができる。
【００８５】
次に、本発明の第３の実施の形態の計測内視鏡システムについて説明する。
本計測内視鏡システムは、計測制御に用いられ、記録媒体に記録される光学アダプタ特有の光学データのうち、特に幾何学的歪み補正テーブルの演算方法が前記第１の実施の形態のものと異なるものである。したがって、その他の構成は、前記第１の実施の形態のシステムの構成と同様であり、同一の構成部材には同一の符号を付して説明ずる。
【００８６】
本実施の形態のシステムにおいても前記図４に示す生産用治具３９により光学アダプタの特有の光学データが測定されて、そのデーターは記録媒体であるＦＤ３３に記録される。上記光学データは以下の情報が記録される。すなわち、
（ａ″）２つの画像の画像の幾何学的歪み補正テーブルとして、前記第１の実施の形態の場合と同形式のデータがＦＤ３３に記録される。
【００８７】
ウエイトテーブルとして、
Ｗ１（Ｘ，Ｙ）
Ｗ２（Ｘ，Ｙ）
Ｗ３（Ｘ，Ｙ）
Ｗ４（Ｘ，Ｙ）
座標参照テーブルとして、
ＱＸ（Ｘ，Ｙ）、ＱＹ（Ｘ，Ｙ）
但し、後述するようにそれら値を求める演算が異なる。
【００８８】
一般にレンズ系による画像には光学的な歪みがある。計測を行う場合にはこの歪みが大きな誤差原因となるため、座標変換を行うことによりこの歪みが取り除かれる。前記図６，７、および、図２７の幾何学的歪み補正テーブル作成のための座標系を示す図、図２８の光学系の像高を示す原理図、図２９の画像データ上の変換座標を示す図をもとに本実施の形態での補正テーブルの求め方を説明する。
【００８９】
点ｐ１〜ｐ４は、座標変換前のピクセルを示す。点ｐ１〜ｐ４をｆ（ｘ，ｙ）により座標変換すると、ｐ１′〜ｐ４′となる。このときｐ１′〜ｐ４′の座標は実数値の座標となる。液晶モニタ上に表示するにはピクセル単位、つまり、整数値の座標で示されるＰ（Ｘ，Ｙ）へ変換しなければならない。その変換をウエイトテーブルＷ１〜Ｗ４にて行う。この座標変換は、第１の実施の形態の場合と同じであるが、本実施の形態の場合は、上述の座標変換のｆ（ｘ，ｙ）に以下の式を用いる点が異なる。すなわち、
【数２】

を適用する。
【００９０】
なお、（１４）式，（１５）式は、対物レンズの幾何学的歪みの特性により使い分ける。また、Ｋs ，Ｋt は、対物レンズの幾何学的歪みの程度により値を変更する。ｆは、焦点距離を示す。ｋ１，ｋ２は、２画像の倍率を合わせる係数で焦点距離ｆＲ，ｆＬの関数となる。
【００９１】
そして、点ｐ１〜ｐ４の座標（ｘ，ｙ）〜（ｘ＋１，ｙ＋１）を代入し、（１８），（１９）式により点ｐ１′（ｘ′，ｙ′）〜ｐ４′（ｘ′＋１，ｙ′＋１）の座標（ｘ′，ｙ′）〜（ｘ′＋１，ｙ′＋１）を得る。この座標データに基づいて、前記座標参照テーブルＱＸ（Ｘ，Ｙ），ＱＹ（Ｘ，Ｙ）を求める。
なお、上述した本実施の形態の例に示す座標系は、これに限定されるものではなく必要に応じて様々な座標系が利用できる。
【００９２】
また、変換後の画素データＰ（Ｘ，Ｙ）は、上記ｐ１′〜ｐ４′の座標データから前記第１の実施の形態の場合と同様にＷ１〜Ｗ４を用いて次式より求めることができる。
但し、ｄｎは、点ｐ１′〜ｐ４′と点Ｐ（Ｘ，Ｙ）までの距離を示し、
Ｓ＝ｄ１＋ｄ２＋ｄ３＋ｄ４
Ｗ１＝ｄ１／Ｓ
Ｗ２＝ｄ２／Ｓ
Ｗ３＝ｄ３／Ｓ
Ｗ４＝ｄ４／Ｓ
として、
Ｐ（Ｘ，Ｙ）＝Ｗ１×ｐ１′＋Ｗ２×ｐ２′＋Ｗ３×ｐ３′＋Ｗ４×ｐ４′
となる。
【００９３】
上記Ｗ１，Ｗ２，Ｗ３，Ｗ４をウエイトテーブルと、座標Ｐ（Ｘ，Ｙ）の作成に必要な原画像の座標ｘ，ｙを与えるＱＸ（Ｘ，Ｙ）、ＱＹ（Ｘ，Ｙ）の座標参照テーブルとを幾何学的歪み補正テーブルとしてＦＤ３３に記録する。
【００９４】
また、他の特有の光学データとして、
（ｂ）２つのレンズ系の焦点距離として、前記第１実施の形態の場合と同様に右画像の焦点距離ｆＲ、および、左画像の焦点距離ｆＬを記録する。
（ｃ）２つのレンズ系の光軸座標として、前記第１実施の形態の場合と同様に右画像の光軸座標ＸＲ，ＹＲと、左画像の光軸座標ＸＬ，ＹＬを測定し、記録する。
（ｄ）マスタに対する位置情報（視野形状パターン）として、前記第１実施の形態の場合と同様に基準ラインＶの輝度データである、
ＰＶ（１００，Ｙｎ） 但し、Ｙｎ＝１，２，３，…４８０
また、基準ラインＨの輝度データである、
ＰＨ（Ｘｎ，１００） 但し、Ｘｎ＝１，２，３，…６４０
を測定して記録する。
【００９５】
なお、本実施の形態の計測内視鏡システムにおける計測処理時のモニタ表示方式についても、前述の図２３〜図２６で説明した方式をそのまま適用できることは勿論である。
【００９６】
次に、本発明に関連する実施の形態の計測内視鏡装置としてジェットエンジンのブレード検査用の検査システムについて説明する。
従来のタービンブレードの検査は、内視鏡画像を観察しながらターニングツール、例えば、モータによりタービンのシャフトを回転させる治具でブレードを回転移動させて、所定の位置へ到達たところで作業者が上記ターニングツールを停止させ、そこで計測を行われていた。ところが、ブレードの構成枚数は数百枚もあって、ブレード１枚ずつ移動停止を行うため、作業性が非常に悪かった。本システムは、そのような不具合を解決することができるもので、作業性のよいブレードの検査システムを提供するものである。
【００９７】
図３０は、上記ブレードの検査を行う検査システムのシステム構成図である。本検査システムは、ボアスコープ１０１、ＴＶカメラ１０２、ターニングツール１０３、コントローラ１０４、前記図１、または、図２に示したものと同様の計測装置３により構成される。被検査物は、ジェットエンジン１００のタービンブレード１０５（図３１参照）とする。
【００９８】
ＴＶカメラ１０２の画像は、計測装置３に入力され、コンピュータにより画像処理される。コンピュータには停止させたい位置にあるブレード画像を予め基準ブレード画像として記録させておく。図３１（Ａ）は、モニタ１４に表示される上記基準ブレード画像を示す図である。図３１（Ｂ）は、ブレード１０５を回転せているときの状態でのブレード１０５の画像を示す図である。内視鏡画像を前記記録された基準ブレード画像とパターンマッチングさせて、類似度を示す尺度である正規化相互相関係数が最も大きくなったときに、計測装置３からコントローラ１０４へターニングツール１０３の停止信号を送り、ブレードを所定の位置で停止させる。所定の時間停止させた後、コントローラへ回転信号を送り次のブレードの検査を行う。
【００９９】
上述の検査システムによれば、前述の従来の不具合を解決することができ、作業性のよいブレードの検査システムを提供することができる。なお、本実施の形態のシステムの変形例として、ブレード画像の自動記録を行ってもよい。また、基準画像と比較することによりブレードの欠陥の自動検査も可能になる。これらの変形例等により検査効率を飛躍的に高められる。
【０１００】
［付記］
１． 内視鏡先端部に着脱自在に設けられた１対の対物レンズを有する光学アダプタと前記１対の対物レンズによる２つの像が内視鏡本体に設けられた撮像素子上の異なる位置に結像するように配置された内視鏡、および、前記内視鏡画像を用いて画像処理により計測を行う計測内視鏡装置において、
少なくとも、前記光学アダプタの光学データを記録した記録媒体から情報を読み込む処理と、
前記内視鏡本体の撮像系の位置誤差を基に前記光学データを補正する処理と、前記補正した光学データをもとに計測する画像を座標変換する処理と、
座標変換された２つの画像を基に２画像のマッチングにより任意の点の３次元座標を求める処理と
を行う計測手段を有することを特徴とする計測内視鏡装置。
【０１０１】
２．付記１の計測内視鏡装置において前記光学アダプタの光学データは少なくとも以下の項目を含むことを特徴とする。すなわち、
２つの光学系の幾何学的歪み補正テーブル、
２つの光学系の基準撮像系上での光軸の位置座標、
２つの光学系の基準撮像系上での結像位置情報。
【０１０２】
３．付記１の計測内視鏡において前記光学アダプタの光学データは少なくとも以下の項目を含むことを特徴とする。すなわち、
２つの光学系の幾何学的歪み補正テーブル、
２つの光学系の基準撮像系上での光軸の位置座標、
２つの光学系の基準撮像系上での結像位置情報、
２つの光学系の焦点距離。
【０１０３】
４．付記１の計測内視鏡装置において前記光学アダプタの光学データは少なくとも以下の項目を含むことを特徴とする。すなわち、
２つの光学系の幾何学的歪み補正テーブル、
２つの光学系の基準撮像系上での光軸の位置座標、
２つの光学系の基準撮像系上での結像位置情報、
２つの光学系の焦点距離、
２つの光学系の光軸間の距離、
２つの光学系の幾何学的歪みの中心座標。
【０１０４】
５．付記１の計測内視鏡装置において前記光学アダプタの光学データは少なくとも以下の項目を含むことを特徴とする。すなわち、
２つの光学系の幾何学的歪み補正テーブル作成用パラメータ、
２つの光学系の基準撮像系上での光軸の位置座標、
２つの光学系の基準撮像系上での結像位置情報、
２つの光学系の焦点距離、
２つの光学系の光軸間の距離。
【０１０５】
６．内視鏡先端部に着脱自在に設けられた１対の対物レンズを有する光学アダプタと前記１対の対物レンズによる２つの像が内視鏡本体に設けられた撮像素子上の異なる位置に結像するように配置された内視鏡および前記内視鏡画像を用いて画像処理により計測を行う計測内視鏡装置において、
少なくとも、あらかじめ前記光学アダプタを基準となる第１の治具に取り付けたときの、主となる撮像素子上での結像位置情報と光学系の幾何学的歪み補正テーブルと焦点距離と２つの対物レンズ系の光軸の位置情報を記録した記録媒体から情報を読み込む処理と、
前記光学アダプタを第２の内視鏡に取り付けた場合の撮像素子上の結像位置と前記記録媒体の結像位置情報を比較することにより位置ずれ量を求める処理と、
前記位置ずれ量を用いて前記記録媒体の光学系の幾何学的歪み補正テーブルの座標を補正して真の補正テーブルを作成する処理と、
前記内視鏡により撮像した画像を前記真の補正テーブルをもとに座標変換する処理と、
座標変換された２つの画像を基に、２画像のマッチングにより任意の点の３次元座標を求める処理と
を行う計測手段を有することを特徴とする計測内視鏡装置。
【０１０６】
７．付記６の計測内視鏡装置において、
光学アダプタを第２の内視鏡に取り付けた場合の撮像素子上の結像位置は略白色体を撮像した画像と、前記記録媒体の結像位置情報を基にパターンマッチング処理を行うことにより位置ずれ量を求めることを特徴とする。
【０１０７】
８．付記６の計測内視鏡装置において、
２画像のマッチングにより任意の点の２次元座標を求める場合に、マッチングの信頼性を示す尺度をモニタ画面上に表示することを特徴とする。
【０１０８】
９．付記８の計測内視鏡装置において、
２画像のマッチングの信頼性が所定の値よりも低い場合は、２画像のマッチングを手動操作に切り換えることを特徴とする。
【０１０９】
１０．付記６の計測内視鏡装置において、
２画像のマッチングは、２画像のうちマッチング点を指示する１画像のみをモニタ画面上に表示することを特徴とする。
【０１１０】
１１．付記６の計測内視鏡装置において、
２画像のマッチングは、２画像のうち１画像上でマッチング点を指示し、一方の画像へのマッチング点の探査はエピポーララインに誤差幅をもたせた領域を自動探査することを特徴とする。
【０１１１】
１２．付記６の計測内視鏡装置において、
２画像のマッチングは、それぞれの画像上のマッチング点の指示を手動で行うことを特徴とする。
【０１１２】
１３．付記６の計測内視鏡装置において、
２画像のマッチングは、２画像のうち１画像上でマッチング点を指示し、一方の画像へのマッチング点の探査は、一方の画像上の略マッチング点の指示を手動で行い、その後、略マッチング点の指示を中心としてｘ、ｙ方向に±１０ピクセル以内の範囲を自動探査することを特徴とする。
【０１１３】
１４．内視鏡先端部に着脱自在に設けられた１対の対物レンズを有する光学アダプタと前記１対の対物レンズによる２つの像が内視鏡本体に設けられた撮像素子上の異なる位置に結像するように配置された内視鏡および前記内視鏡画像を用いて画像処理により計測を行う計測手段を有する計測内視鏡装置において、
前記光学アダプタの光学データを記録した記録媒体を有し、前記計測手段は、前記記録媒体から前記光学データを読み出す読み出し手段を有し、前記計測手段は、前記光学データに基づき画像処理演算を行う画像処理演算部を有することを特徴とする計測内視鏡装置。
【０１１４】
【発明の効果】
上述したように本発明の計測内視鏡装置によれば、光学系の各種光学データを記録し、計測内視鏡装置でその値を読み込み、内視鏡の撮像系の誤差を基に光学データを補正して座標変換を用いたため、計測精度のよい計測内視鏡装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す計測内視鏡装置である計測内視鏡システムの全システム構成図。
【図２】図１の計測内視鏡システムのブロック構成図。
【図３】図１の計測内視鏡システムの内視鏡挿入部の先端部拡大斜視図。
【図４】図３のＡ−Ａ断面図。
【図５】図１の計測内視鏡システムにて生産測定治具による光学データ測定状態の斜視図。
【図６】図１の計測内視鏡システムにおける幾何学的歪みの補正前の画像と補正後の画像のピクセル配置図。
【図７】図１の計測内視鏡システムにおける補正前の画像ピクセルと補正後の画像ピクセルを示す図。
【図８】図１の計測内視鏡システムにおけるステレオ計測処理のフローチャート。
【図９】図８のステレオ計測処理でコールされるサブルーチンのフローチャートを示し、図９（Ａ）は、画像位置設定処理のフローチャート、図９（Ｂ）は、画像補正処理のフローチャート。
【図１０】図１の計測内視鏡システムにおける光学アダプタをマスタ撮像ユニットに装着して撮像される白色チャートの画像を示す図。
【図１１】図１の計測内視鏡システムにおいて光学アダプタを本システムの内視鏡に装着して撮像される白色チャートの画像を示す図。
【図１２】図１の計測内視鏡システムおよびマスタに対する視野形状パターンを与える輝度波形であって、図１２（Ａ）は、画像の垂直方向のＰＶ，ＰＶ′の輝度変化、図１２（Ｂ）は、画像の水平方向のＰＨ，ＰＨ′の輝度変化を示す図。
【図１３】図８のステレオ計測処理においてコールされるサブルーチンの計測処理のフローチャート。
【図１４】図１３の計測処理でコールされるサブルーチンのフローチャートであって、図１４（Ａ）は、３次元座標解析処理のフローチャート、図１４（Ｂ）は、パターンマッチング処理のフローチャート。
【図１５】図１の計測内視鏡システムを用いて深さ計測状態のパイプの斜視図。
【図１６】図１５のパイプの計測部分の拡大図。
【図１７】図１の計測内視鏡システムを用いて長さ計測状態のパイプの斜視図。
【図１８】図１の計測内視鏡システムを用いてくぼみ計測状態のタービンブレードの斜視図。
【図１９】図１の計測内視鏡システムにおける３次元座標解析処理の基本原理を説明するためのｘ，ｙ，ｚ軸をもつ３次元座標系上の右，左２画像位置関係を示す図。
【図２０】図１の計測内視鏡システムにおける左右２画面の画像をモニタ上に表示したステレオ計測画面を示す図。
【図２１】本発明の第２の実施の形態の計測内視鏡システムにおけるステレオ計測処理のフローチャート。
【図２２】図２１のステレオ計測処理においてコールされるサブルーチンの計測処理のフローチャート。
【図２３】図１の計測内視鏡システムの表示方式の１例における液晶モニタの表示画面を示す図であって、図２３（Ａ）は、左右２画像を表示した状態、図２３（Ｂ）は、左、または、右画像と処理メニュー画面とを表示した状態を示す。
【図２４】図１の計測内視鏡システムの表示方式の他の例における撮像画像のエッジ部を抽出した左右画像を表示したモニタ画面を示す図であって、図２４の（Ａ）は、２画面の左右画像を表示した状態、図２４（Ｂ）は、左右画像を重ねて表示した状態を示す。
【図２５】図１の計測内視鏡システムの表示方式の他の例における液晶モニタの画面の左右の画像の表示例を示し、図２５（Ａ）が左右の画像をそれぞれ左側と右側に表示した状態を示し、図２５（Ｂ）が左右の画像を入れ替えて表示した状態を示している。
【図２６】図１の計測内視鏡システムの表示方式の他の例における液晶モニタに左右画像のインターレース表示を行った例を示し、図２６（Ａ）に右画像をＴＶインターレース表示の偶数ラインで表示し、図２６（Ｂ）に左画像を奇数ラインで表示する。
【図２７】本発明の第３の実施の形態の計測内視鏡システムにおける幾何学的歪み補正テーブル作成のための座標系を示す図。
【図２８】図２７の計測内視鏡システムにおける幾何学的歪み補正テーブル作成のための光学系の像高を示す原理図。
【図２９】図２７の計測内視鏡システムにおける幾何学的歪み補正テーブル作成のための画像データ上の変換座標を示す図。
【図３０】本発明に関連する実施の形態の計測内視鏡装置としてのジェットエンジンのブレード検査システム構成図。
【図３１】図３０のブレード検査システムにおけるブレード画像を示す図であって、図３１（Ａ）は、基準位置にあるブレードを示す図であり、図３１（Ｂ）は、ブレード回転状態でのブレード画像を示す図。
【符号の説明】
１ ……計測内視鏡
２ ……内視鏡（内視鏡本体）
４ ……光学アダプタ
２１，２２……対物レンズ
３３ ……フロッピディスク（記録媒体）

Claims (13)

1. 内視鏡先端部に着脱自在に設けられた一対の対物レンズを有する光学アダプタと前記一対の対物レンズによる２つの像が内視鏡本体に設けられた撮像素子上の異なる位置に結像するように配置された内視鏡を有しており、前記内視鏡の画像を用いた画像処理により計測を行う計測内視鏡装置において、少なくとも、前記光学アダプタの光学データを記録した記録媒体から情報を読み込む処理と、前記内視鏡本体の撮像系の位置誤差を基に前記光学データを補正する処理と、前記補正した光学データをもとに計測する画像を座標変換する処理と、座標変換された２つの画像を基に２画像のマッチングにより任意の点の３次元座標を求める処理と、を行う計測処理手段を有することを特徴とする計測内視鏡装置。
2. 前記光学アダプタの光学データは、少なくとも２つの光学系の幾何学的歪み補正テーブル、２つの光学系の基準撮像系上での光軸の位置座標、２つの光学系の基準撮像系上での結像位置情報を含むことを特徴とする請求項１に記載の計測内視鏡装置。
3. 前記光学アダプタの光学データは、２つの光学系の焦点距離を含むことを特徴とする請求項２に記載の計測内視鏡装置。
4. 前記光学アダプタの光学データは、２つの光学系の光軸間の距離、２つの光学系の幾何学的歪みの中心座標を含むことを特徴とする請求項３に記載の計測内視鏡装置。
5. 前記光学アダプタの光学データは、少なくとも２つの光学系の幾何学的歪み補正テーブル作成用パラメータ、２つの光学系基準撮像系上での光軸の位置座標、２つの光学系の基準撮像系上での結像位置情報、２つの光学系の焦点距離、２つの光学系の光軸間の距離を含むことを特徴とする請求項１に記載の計測内視鏡装置。
6. 内視鏡先端部に着脱自在に設けられた一対の対物レンズを有する光学アダプタと前記一対の対物レンズによる２つの像が内視鏡本体に設けられた撮像素子上の異なる位置に結像するように配置された内視鏡および前記内視鏡画像を用いて画像処理により計測を行う計測内視鏡装置において、少なくとも、あらかじめ前記光学アダプタを基準となる治具に取り付けたときの、主となる撮像素子上での結像位置情報と光学系の幾何学的歪み補正テーブルと焦点距離と２つの対物レンズ系の光軸の位置情報を記録した記録媒体から情報を読み込む処理と、前記光学アダプタを前記内視鏡に取り付けた場合の撮像素子上の結像位置と前記記録媒体の結像位置情報を比較することにより位置ずれ量を求める処理と、前記位置ずれ量を用いて前記記録媒体の光学系幾何学的歪み補正テーブルの座標を補正して真の補正テーブルを作成する処理と、前記内視鏡により撮像した画像を前記真の補正テーブルをもとに座標変換する処理と、座標変換された２つの画像を基に２画像のマッチングにより任意の点の３次元座標を求める処理とを行う計測手段を有することを特徴とする計測内視鏡装置。
7. 前記光学アダプタを前記内視鏡に取り付けた場合の撮像素子上の結像位置は略白色体を撮像した画像と、前記記録媒体の結像位置情報を基にパターンマッチング処理を行うことにより位置ずれ量を求めることを特徴とする請求項６に記載の計測内視鏡装置。
8. 前記２画像のマッチングにより任意の点の２次元座標を求める場合に、マッチングの信頼性を示す尺度をモニタ画面上に表示することを特徴とする請求項１または６に記載の計測内視鏡装置。
9. 前記２画像のマッチングは、２画像のうちマッチング点を指示する１画像のみをモニタ画面上に表示することを特徴とする請求項１または６に記載の計測内視鏡装置。
10. 前記２画像のマッチングは、２画像のうち１画像上でマッチング点を指示し、一方の画像へのマッチング点の探査はエピポーララインに誤差幅をもたせた領域を自動探査することを特徴とする請求項１または６に記載の計測内視鏡装置。
11. 前記２画像のマッチングは、２画像のうち１画像上でマッチング点を指示し、一方の画像へのマッチング点の探査は、一方の画像上の略マッチング点の指示を手動で行い、その後、略マッチング点の指示を中心としてｘ、ｙ方向に±１０ピクセル以内の範囲を自動探査することを特徴とする請求項１または６に記載の計測内視鏡装置。
12. 内視鏡先端部に着脱自在に設けられ、一対のステレオ画像を得るための光学系を有する光学アダプタと、前記ステレオ画像を用いた画像処理により計測を行う計測内視鏡装置において、
    少なくとも、前記光学系の光学データを読み込む処理と、読み込まれた前記光学データを補正する処理と、前記補正した光学データをもとに計測する画像を座標変換する処理と、座標変換された画像を基にマッチングにより任意の点の３次元座標を求める処理と、を行う計測処理手段を有することを特徴とする計測内視鏡装置。
13. 前記光学系の光学データは、所定の記録媒体に記録されていることを特徴とする請求項１２に記載の計測内視鏡装置。

Images