JP5307407B2 - 内視鏡装置およびプログラム - Google Patents

Description

本発明は、内視鏡が検査対象を撮像した画像を用いて検査対象の検査を行うことが可能な内視鏡装置およびプログラムに関する。

従来、計測機能を備えた内視鏡装置がある。例えば特許文献１には、パイプの内面に生じた腐食の深さや傷の長さ、タービンブレードに生じた欠損の窪みの長さなどを計測する方法が記載されている。内視鏡装置の計測機能を利用した検査では、検査対象に生じた傷や錆などの劣化部分の長さの測定値が表示装置の画面に表示され、ユーザがその測定値と、劣化部分の許容度を示す検査基準値とを比較することで、劣化が許容できるか否かを判定していた。
特許第３７７１９８８号公報

従来の検査では、ユーザが劣化部分の長さの測定値と検査基準値とを比較して検査の合否を判定するのみであり、劣化を許容できる範囲に対する劣化部分の劣化の度合いを画像上で視覚的に判断することができなかった。

本発明は、上述した課題に鑑みてなされたものであって、劣化部分の劣化の度合いを画像上で視覚的に判断することができる内視鏡装置およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、内視鏡が検査対象を撮像した画像において、基準点および計測点を設定する設定手段と、前記基準点を通る基準線と前記計測点との３次元距離を算出する計測処理手段と、前記基準線に平行であって、前記計測点を通る検査基準線を算出する算出手段と、前記計測点、前記計測処理手段によって算出された前記３次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、を備えたことを特徴とする内視鏡装置である。

また、本発明の内視鏡装置は、前記検査基準線の表示位置に対応する空間上の位置に基づいて、前記検査基準線の表示形態を制御する制御手段をさらに備えたことを特徴とする。

また、本発明の内視鏡装置において、前記計測処理手段は、前記検査基準線上の各点と前記検査基準線との３次元距離を算出し、前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との３次元距離のうち、前記基準線と前記計測点との３次元距離と略等しいと判定された点に基づいて前記検査基準線を表示する処理を行うことを特徴とする。

また、本発明の内視鏡装置において、前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との３次元距離のうち、前記基準線と前記計測点との３次元距離と略等しいと判定された点に基づく前記検査基準線と、前記基準線と前記計測点との３次元距離と略等しくないと判定された点に基づく前記検査基準線とを区別して表示することを特徴とする。

また、本発明の内視鏡装置は、ユーザが検査基準値を入力するための入力手段をさらに備え、前記算出手段は、前記入力手段に入力された前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。

また、本発明の内視鏡装置は、前記検査対象毎に検査基準値を記憶する記憶手段と、ユーザが前記検査対象を入力するための入力手段とをさらに備え、前記算出手段は、前記記憶手段から読み出された、前記入力手段に入力された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。

また、本発明の内視鏡装置は、前記検査対象毎に検査基準値を記憶する記憶手段と、ユーザが前記検査対象を入力するための入力手段と、前記記憶手段から、前記入力手段に入力された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。

また、本発明の内視鏡装置は、前記検査対象毎に検査基準値を記憶する記憶手段と、前記検査対象を識別する識別手段とをさらに備え、前記算出手段は、前記記憶手段から読み出された、前記識別手段によって識別された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。

また、本発明の内視鏡装置は、前記検査対象を識別する識別手段と、前記検査対象毎に検査基準値を記憶する外部の記憶手段から、前記識別手段によって識別された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。

また、本発明は、内視鏡が検査対象を撮像した画像において、基準点および計測点を設定するステップと、前記基準点を通る基準線と前記計測点との３次元距離を算出するステップと、前記基準線に平行であって、前記計測点を通る検査基準線を算出するステップと、前記計測点、前記３次元距離、および前記検査基準線を表示するステップと、をコンピュータに実行させるためのプログラムである。
また、本発明は、内視鏡が検査対象を撮像した画像において、２つの基準点を設定する設定手段と、前記２つの基準点間の３次元距離を算出する計測処理手段と、前記基準点の一方を中心とし、前記基準点の他方を通る円または楕円である検査基準線を算出する算出手段と、前記計測点、前記計測処理手段によって算出された前記３次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、を備えたことを特徴とする内視鏡装置である。

本発明によれば、劣化部分の劣化の度合いの基準となる目印が、基準点の位置と検査基準値とに基づいて算出した表示位置に表示されるので、劣化部分の劣化の度合いを画像上で視覚的に判断することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置（計測用内視鏡装置）の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ）と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的なステレオ画像として立体視可能にするＦＭＤ６（フェイスマウントディスプレイ）と、このＦＭＤ６に画像データを供給するＦＭＤアダプタ６ａ等で主に構成されている。

挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタ７ａ，７ｂ、あるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在になっている。

図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。

挿入部２０の先端部２１には固体撮像素子２ａ（図５参照）が内蔵されている。固体撮像素子２ａは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、固体撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、音声信号処理回路１１、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記憶媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を行い、映像信号をＬＣＤ５に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記憶媒体に記録する音声信号、メモリカード等の記憶媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

図３に示すように、リモートコントローラ４の前面には、ジョイスティック４１、レバースイッチ４２、フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５が設けられている。また、リモートコントローラ４の側面にはＷＩＤＥスイッチ４６およびＴＥＬＥスイッチ４７が設けられている。

ジョイスティック４１は、湾曲部２２の湾曲動作を指示するために操作されるスイッチであり、ユーザがこれを傾倒操作することによって、湾曲部２２がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。また、ジョイスティック４１を真下に押下することによって湾曲動作の微調整の指示を入力することも可能である。レバースイッチ４２は、グラフィック表示される各種メニューの操作や、計測を行う場合のポインター移動の際に操作されるスイッチであり、ジョイスティック４１と略同様に構成されている。フリーズスイッチ４３は、ＬＣＤ５での表示に関わるスイッチである。

ストアースイッチ４４は、フリーズスイッチ４３の押下によって静止画像が表示された場合に、この静止画像をメモリカードに記録するときに用いるスイッチである。計測実行スイッチ４５は、計測ソフトを実行する際に用いるスイッチである。フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５は、オン／オフの指示を押下操作によって行う例えば押下式を採用して構成されている。

ＷＩＤＥスイッチ４６、ＴＥＬＥスイッチ４７はそれぞれ内視鏡画像を拡大、縮小するときに用いるスイッチである。挿入部２０で撮像される内視鏡画像は、映像信号処理回路１２によって必要に応じて拡大または縮小される。この拡大または縮小の倍率の制御はＷＩＤＥスイッチ４６とＴＥＬＥスイッチ４７の操作により行われる。

図４および図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示している。図４および図５に示すように、直視型のステレオ光学アダプタ７ａの先端面には、一対の照明レンズ５１，５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを、先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。

図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂおよび内視鏡ユニット８を介してＣＣＵ９に供給されて映像信号に変換され、その後、映像信号処理回路１２に供給される。以下、この映像信号が構成する画像を元画像と記載する。

次に、図６を参照し、ステレオ計測による計測点の３次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左右の画像上の計測点６１，６２の座標をそれぞれ（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（Ｘ_Ｌ−Ｘ_Ｒ）とする。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２ ・・・（１）
Ｙ＝ｔ×Ｙ_Ｒ ・・・（２）
Ｚ＝ｔ×Ｆ ・・・（３）

上記のように元画像上の計測点６１，６２の座標が決定されると、パラメータＤおよびＦを用いて計測点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、内視鏡２の撮像面から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

次に、本実施形態における計測処理の詳細を説明する。以下では、ステレオ光学アダプタ７ａが先端部２１に装着された場合を例示して説明すると共に、次の３種類の計測モードを例示して説明する。
（Ａ）２点間距離計測モード：２点間を結ぶ直線の長さを計測するモード。
（Ｂ）線基準計測モード：２点間を結ぶ直線に対して１点から下ろした垂線の長さを計測するモード。
（Ｃ）オフセット計測モード：検査対象の劣化部分の劣化の度合いを検査基準と視覚的に比較することを可能とするモード。

図７および図８は計測処理の手順を示している。また、図９〜図１１はＬＣＤ５の表示画面を示している。ユーザがリモートコントローラ４の計測実行スイッチ４５を押下することによって、計測処理の開始が指示される。ＣＰＵ１８は、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介してリモートコントローラ４から入力される信号に基づいてこの指示を検出し、計測処理を開始する。

図９（ａ）は計測処理の開始時点の表示画面を示している。ステレオ光学アダプタ７ａで捉えられた左右の被写体像に対応する左画像１００ａおよび右画像１００ｂと各種メニューアイコン１０５とが重畳して表示される。また、カーソル１１０が表示される。ユーザがリモートコントローラ４のレバースイッチ４２を操作することによってカーソルの移動を指示すると、ＣＰＵ１８は、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介して入力される信号に基づいてこの指示を検出する（ステップＳ１００）。図示しないが、この後、ＣＰＵ１８によって、カーソルの表示位置を更新する処理が実行される。

続いて、ＣＰＵ１８はカーソルが示す位置に一時計測点を設定すると共に、一時計測点に対応する右画像上の位置（以下、対応点と記載する）を算出するマッチング処理を実行する（ステップＳ１１０）。図９（ａ）に示すように、一時計測点１１５ａおよび対応点１１５ｂが表示画面に○マークで表示される。また、一時計測点１１５ａの周辺を拡大した画像１２０ａと、対応点１１５ｂの周辺を拡大した画像１２０ｂとが表示画面に表示される。ユーザがレバースイッチ４２を操作しカーソル１１０を移動させることによって、一時計測点１１５ａおよび対応点１１５ｂはリアルタイムに移動する。

続いて、これまでに入力された計測点の個数と計測モードの種類に応じて各種計測モードの処理が実行される（ステップＳ１２０）。計測点は、後述するステップＳ１３０で入力される。図８は、各種計測モードに応じた処理の手順を示している。まず、ＣＰＵ１８は、一時計測点およびその対応点の画像上の位置に基づいてそれらの３次元座標を算出し、さらにそれらの３次元座標に基づいて物体距離を算出する。算出された物体距離は表示画面に表示される（ステップＳ２００）。図９（ａ）の表示画面における計測結果１２５ａは物体距離の計測結果を示している。

続いて、ステップＳ２０５において、計測モードの種類に応じて処理が分岐する。計測モードが２点間距離計測モード、線基準計測モード、オフセット計測モードの各場合に、処理がそれぞれステップＳ２１０，Ｓ２２０，Ｓ２３５へ進む。

計測モードが２点間距離計測モードの場合には、ステップＳ２１０において、入力された計測点の数に応じて処理が分岐する。入力された計測点の数が０個の場合には、計測処理が終了する。また、入力された計測点の数が１個の場合には、前回入力された計測点と一時計測点との間の２点間距離（３次元距離）が算出され、算出結果が表示画面に表示される（ステップＳ２１５）。図９（ｂ）は２点間距離計測モードにおける表示画面を示している。計測点１３０ａが入力された場合、その対応点１３０ｂが算出され、２点間距離が算出される。計測結果１２５ｂは２点間距離の計測結果を示している。ステップＳ２１５の処理が終了すると計測処理が終了する。

計測モードが線基準計測モードの場合には、ステップＳ２２０において、入力された計測点の数に応じて処理が分岐する。入力された計測点の数が０個の場合には、計測処理が終了する。また、入力された計測点の数が１個の場合には、前回入力された計測点と一時計測点とを通る直線（基準線）が表示画面に表示される（ステップＳ２２５）。図１０（ａ）は線基準計測モードにおける表示画面を示している。計測点１３５ａが入力された場合、その対応点１３５ｂが算出され、計測点１３５ａと一時計測点１１５ａとを通る基準線１４０が表示される。一時計測点１１５ａの移動に伴って基準線１４０も移動する。ステップＳ２２５の処理が終了すると計測処理が終了する。

また、入力された計測点の数が２個の場合には、一時計測点（検査基準点）と基準線との距離が算出され、算出結果が表示画面に表示される（ステップＳ２３０）。図１０（ｂ）は線基準計測モードにおける表示画面を示している。計測点１３５ａに続いて計測点１４５ａが入力された場合、その対応点１４５ｂが算出される。また、計測点１３５ａと計測点１４５ａとを通る基準線１５０が固定される。また、一時計測点１１５ａと基準線１５０との距離の算出結果が計測結果１２５ｃとして表示画面に表示される。一時計測点１１５ａの移動に伴って計測結果１２５ｃは更新される。ステップＳ２３０の処理が終了すると計測処理が終了する。

計測モードがオフセット計測モードの場合には、ステップＳ２３５において、入力された計測点の数に応じて処理が分岐する。入力された計測点の数が０個の場合には、計測処理が終了する。また、入力された計測点の数が１個の場合には、ステップＳ２２５と同様にして基準線が表示画面に表示される（ステップＳ２４０）。

また、入力された計測点の数が２個の場合には、ステップＳ２３０と同様にして、一時計測点と基準線との距離が算出され、算出結果が表示画面に表示される（ステップＳ２４５）。さらに、一時計測点を通り基準線に平行な検査基準線が算出され、表示画面に表示される（ステップＳ２５０）。この検査基準線は、劣化部分の劣化の度合いを内視鏡画像の目視により判断する検査の基準となる目印の役割を果たす。

図１１（ａ）はオフセット計測モードにおける表示画面を示している。計測点１３５ａに続いて計測点１４５ａが入力された場合、その対応点１４５ｂが算出され、計測点１３５ａと計測点１４５ａとを通る基準線１５０が表示画面に表示される。また、一時計測点１１５ａと基準線１５０との距離の算出結果が計測結果１２５ｄとして表示画面に表示される。さらに、一時計測点１１５ａを通り基準線１５０に平行な検査基準線１５５が表示される。この検査基準線１５５は被写体上の実線１５５ａと、被写体のない背景上の破線１５５ｂとで構成されている。一時計測点１１５ａの移動に伴って計測結果１２５ｄおよび検査基準線１５５は更新される。ステップＳ２５０の処理が終了すると計測処理が終了する。オフセット計測モードによる検査の詳細は後述する。

上述した各種計測モードの処理が終了すると、処理が図７のステップＳ１３０へ進む。一時計測点を計測点に指定するため、ユーザがレバースイッチ４２を押下すると、ＣＰＵ１８は、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介してリモートコントローラ４から入力される信号に基づいて、計測点が指定されたことを検出し、一時計測点を計測点に設定する（ステップＳ１３０）。このとき、図９〜図１１に示すように、設定された計測点とその対応点は×マークで表示画面に表示される。

このようにして、ステップＳ１００〜Ｓ１３０を繰り返すことによって、所望の位置まで一時計測点が移動し、移動が完了したら、一時計測点が計測点として設定される。これまでに入力された計測点または対応点の修正が必要な場合には、ユーザは各種メニューアイコンの中から修正アイコンを選択する。このとき、図１１（ｂ）に示すように、カーソル１６５の形状は＋マークに変化し、これまでに入力された計測点または対応点を選択できるようになる。計測点または対応点が選択された場合、カーソルの形状は矢印マークに戻り、選択された計測点または対応点を適切な位置に入力し直せるようになる。計測点または対応点の修正が完了すると、処理が再度ステップＳ１００から開始される。

計測処理中にストアースイッチ４４を押下すると、内視鏡画像と計測結果を含む画像データをメモリカードに記録することが可能である。計測結果は計測の順番に記録される。そして、内視鏡画像の再生時には、記録した順番で計測結果が表示される。ただし、計測点が修正された場合には、修正後に得られた計測結果が他の計測結果よりも重要であると考えられるので、修正後に得られた計測結果が優先的に表示されるように計測結果の記録の順番が変更される。

次に、オフセット計測モードによる検査の詳細を説明する。前述したように、オフセット計測モードは、検査対象の劣化部分の劣化の度合いを検査基準と視覚的に比較することを可能とするモードである。オフセット計測モードでは、図１１（ａ）に示したように、一時計測点１１５ａを通り基準線１５０に平行な検査基準線１５５と、一時計測点１１５ａと基準線１５０との距離の算出結果である計測結果１２５ｄとが表示画面に表示される。計測結果１２５ｄが示す数値が、劣化部分の許容度を示す検査基準値に等しくなる位置に一時計測点１１５ａがある状態で、ユーザは検査基準線１５５と劣化部分１６０とを比較することによって、劣化部分の合否を視覚的に判定することができる。

すなわち、ユーザは画像内で劣化部分１６０が検査基準線１５５を越えているか否か（図１１（ａ）では劣化部分１６０の輪郭線が検査基準線１５５よりも左側にあるかどうか）を確認する。劣化部分１６０が検査基準線１５５を越えている場合には、検査結果は不合格となり、劣化部分１６０が検査基準線１５５を越えていない場合には、検査結果は合格となる。これによって、ユーザは劣化部分の大きさを検査基準と画像上で比較することが可能となり、従来の数値の比較による検査よりも合否結果が視覚的に分かりやすい検査を行うことができる。

次に、図１２を参照しながら、検査基準線の表示方法を説明する。図１２（ａ）は画像上の検査対象を示し、図１２（ｂ）は空間上の検査対象を示している。検査基準線の表示は以下のようにして行われる。

前述したように、ユーザが検査対象の劣化部分の２つの基準点（計測点）を指定すると、２つの基準点を通る基準線が表示される。続いて、基準線からの距離が検査基準値と一致する位置にユーザが基準点を指定すると、その基準点を通り基準線にほぼ平行な検査基準線が表示される。

ここで、ユーザが指定する基準点である画像上の点をＡ，Ｂ，Ｃとし、点Ａ，Ｂ，Ｃに対応する空間上の点をＰ，Ｑ，Ｒとする。また、画像上で２点Ａ，Ｂを通る直線（基準線）をｌ１とし、空間上で２点Ｐ，Ｑを通る直線をｍ１とする。また、画像上で直線ｌ１に平行で点Ｃを通る直線（検査基準線）をｌ２とし、空間上で直線ｍ１に平行で点Ｒを通る直線をｍ２とする。また、ｔを媒介変数として直線ｌ２上を動く点をＤ（ｔ）とし、直線ｍ２上を動く点をＳ（ｔ）とする。また、画像上の点Ｄ（ｔ）に対応する空間上の点をＳ^＊（ｔ）とする。また、点Ａ，Ｂ，Ｃ，Ｐ，Ｑ，Ｒ，Ｄ（ｔ），Ｓ（ｔ），Ｓ^＊（ｔ）の位置ベクトルをａ，ｂ，ｃ，ｐ，ｑ，ｒ，ｄ（ｔ），ｓ（ｔ），ｓ^＊（ｔ）とする。また、直線ｌ１と点Ｃとの距離をｋとし、直線ｍ１と点Ｒとの距離をｈとする。

直線ｌ２上の全ての点に関して基準線からの３次元距離が検査基準値に等しいとは限らない。なぜなら、直線ｌ２上の点は画像上の点であり、その点に対応した空間上の点が空間上の基準線から検査基準値だけ離れているとは限らないからである。例えば、直線ｌ２上の点に関して、検査対象上の点では基準線からの３次元距離が検査基準値に等しく、検査対象がない背景上の点では基準線からの３次元距離が検査基準値とは異なるということがある。そこで、本実施形態では、以下の２種類の方法により検査基準線の表示を行う。

第１の表示方法では、直線ｌ２上の各点で計測を行って基準線からの３次元距離を求め、３次元距離が検査基準値に等しいと判定された点では実線を表示し、３次元距離が検査基準値に等しくないと判定された点では破線を表示する。これによって、ユーザが画像の目視により検査対象の劣化部分の合否判定を行う際の判定精度を向上することができる。具体的には、直線ｌ２の方程式（（４）式）に従って、ｔを変化させながら、位置ベクトルｄ（ｔ）および対応する空間上の位置ベクトルｓ^＊（ｔ）を算出する。ただし、点Ｄ（ｔ）が画像範囲内になるようにｔの範囲を設定する。
ｄ（ｔ）＝ｔ×（ｂ−ａ）＋ｃ ・・・（４）

また、直線ｍ２の方程式（（５）式）に従って、上記と同じ範囲でｔを変化させながら、空間上の位置ベクトルｓ（ｔ）を算出する。

同一のｔに対応する位置ベクトルｓ^＊（ｔ）とｓ（ｔ）の差が小さいとき、すなわち（６）式を満たす場合に、上記の３次元距離が検査基準値に等しいと判定する。ただし、ｅは所定の閾値であり、物体距離に応じてｅを設定してもよい。

第２の表示方法では、直線ｌ２上の各点を通り直線ｌ２に垂直な線分ｌ３（図１３参照）上の各点で計測を行って基準線からの３次元距離を求め、３次元距離が検査基準値に等しいと判定された点で実線を表示する。具体的には、直線ｌ３上を動く点をＥ（ｔ，ｗ）とし、点Ｅ（ｔ，ｗ）に対応する空間上の点をＵ^＊（ｔ，ｗ）とし、点Ｅ（ｔ，ｗ），Ｕ^＊（ｔ，ｗ）の位置ベクトルをｅ（ｔ，ｗ），ｕ^＊（ｔ，ｗ）とし、直線ｌ３の方程式（（７）式）に従って、ｗを変化させながら、位置ベクトルｅ（ｔ，ｗ）および対応する空間上の位置ベクトルｕ^＊（ｔ，ｗ）を算出する。ただし、ｎはベクトル（ｂ−ａ）に垂直な単位ベクトルであり、ｗの範囲は画面の大きさに合わせて適当に選択するものとする。
ｅ（ｔ，ｗ）＝ｗ×ｎ＋ｄ（ｔ） ・・・（７）

また、直線ｍ２の方程式（前述した（５）式）に従って、上記と同じｔにおいて、空間上の位置ベクトルｓ（ｔ）を算出する。位置ベクトルｅ（ｔ，ｗ）とｓ（ｔ）の差が小さいとき、すなわち（８）式を満たす場合に、上記の３次元距離が検査基準値に等しいと判定する。ただし、ｅは所定の閾値である。

ＣＰＵ１８は上記の方法に従って検査基準線の表示位置（位置ベクトルｄ（ｔ），ｅ（ｔ，ｗ）の集合に対応する位置）を算出すると共に、検査基準線の表示形態（実線・破線の種別）を決定する。また、ＣＰＵ１８は、検査基準線の他、カーソルや、計測点のマーク、各種メニューアイコン等を内視鏡画像に重畳するためのグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、グラフィック画像信号とＣＣＵ９からの映像信号を合成する画像処理を行う。なお、上記では検査基準線の表示形態を実線・破線で制御する方法を示したが、これに限らず、表示色を変える等の制御を行ってもよい。

図１４は、上記の第１の表示方法および第２の表示方法による検査基準線の表示例を示している。図１４（ａ）は第１の表示方法に対応しており、図１４（ｂ）は第２の表示方法に対応している。

図１４（ａ）では、検査基準線１７５ａ，１７５ｂ上の点に関しては、基準線１７０からの３次元距離が検査基準値に等しいと判定されるため、検査基準線１７５ａ，１７５ｂは実線で表示されている。一方、検査基準線１８０上の点に関しては、基準線１７０からの３次元距離が検査基準値に等しくないと判定されるため、検査基準線１８０は破線で表示されている。

また、図１４（ｂ）では、基準線１８５からの３次元距離が検査基準値に等しいと判定された点を通る検査基準線１９０が実線で表示されている。さらに、計測点１９５を通り、基準線１８５に平行な検査基準線２００も表示されている。

次に、ＣＰＵ１８が検査基準値を取得する方法を説明する。上記では、図１１（ａ）に示した一時計測点１１５ａと基準線１５０との距離の算出結果を検査基準値としていたが、これに限られない。例えば、ユーザが検査基準値を入力することも可能である。例えば、検査基準値を入力するため、ユーザはリモートコントローラ４のレバースイッチ４２を操作することによって検査基準値を入力し、ＣＰＵ１８は、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介してリモートコントローラ４から入力される信号に基づいて検査基準値を識別する。

この場合、ユーザはまず検査対象の劣化部分上の２点を指定し、続いて検査基準値を入力するだけで、検査基準線を表示することが可能となり、同様の検査を行うことが可能となる。具体的には、図１２に示した２点Ａ，Ｂと距離ｈがユーザによって指定されることになるので、これらから点Ｃの位置を求めれば、上記の方法を適用することが可能となる。

点Ｃの位置は以下のようにして求められる。ｕを媒介変数とし、画像上で点Ａを通り直線ｌ１に垂直な直線上の点をＥ（ｕ）とし、点Ｅ（ｕ）に対応する空間上の点をＴ^＊（ｕ）とする。ただし、点Ｅ（ｕ）が画像範囲内になるようにｕの範囲を設定する。また、点Ｔ^＊（ｕ）および直線ｍ１の距離とｈとの差が所定値未満となるｕを求める。この条件を満たすｕをｕ０とし、点Ｅ（ｕ０）を点Ｃとする。

検査基準値を取得するには、リモートコントローラ４の操作による入力のほか、以下のような方法が可能である。
（ａ）検査対象毎の検査基準値を内視鏡装置内の記憶媒体に記憶させておき、ユーザによって検査対象の情報が入力されたら、その検査対象に対応した検査基準値を記憶媒体から読み出す。
（ｂ）検査対象毎の検査基準値を外部の記憶媒体に記憶させておき、ユーザによって検査対象の情報が入力されたら、その検査対象に対応した検査基準値を外部の記憶媒体から取得する。
（ｃ）検査対象を識別する手段を設けると共に検査対象毎の検査基準値を内視鏡装置内の記憶媒体に記憶させておき、識別された検査対象に対応した検査基準値を記憶媒体から読み出す。
（ｄ）検査対象を識別する手段を設けると共に検査対象毎の検査基準値を外部の記憶媒体内の記憶媒体に記憶させておき、識別された検査対象に対応した検査基準値を外部の記憶媒体から取得する。

上記（ａ）では、各検査対象の情報と検査基準値とが関連付けられた情報が例えばＲＯＭ１３に予め格納される。ユーザはリモートコントローラ４の操作により検査対象の情報を入力する。ＣＰＵ１８は、入力された情報と関連付けられた検査基準値をＲＯＭ１３から読み出して使用する。

上記（ｂ）では、各検査対象の情報と検査基準値とが関連付けられた情報が予め外部の記憶媒体に格納される。外部の記憶媒体は、ネットワークを介したアクセスが可能なサーバ内に設けた記憶媒体でもよいし、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記憶媒体でもよいし、パーソナルコンピュータ３１内の記憶媒体でもよい。ユーザはリモートコントローラ４の操作により検査対象の情報を入力する。ＣＰＵ１８は、入力された情報と関連付けられた検査基準値をＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記憶媒体から読み出して使用する。あるいは、ＣＰＵ１８は、入力された情報を外部装置（サーバもしくはパーソナルコンピュータ３１）へ送信し、その情報と関連付けられた検査基準値を外部装置から受信して使用する。

上記（ｃ）では、検査対象を識別する手段として、バーコードリーダやＩＣタグリーダ等の読み取り器を設ける。また、各検査対象の情報と検査基準値とが関連付けられた情報が例えばＲＯＭ１３に予め格納される。この例の場合、図１５に示すように読み取り器３６がＲＳ−２３２Ｃ Ｉ／Ｆ１７に接続される。検査時にユーザは検査対象に貼付されているバーコードやＩＣタグ等を読み取り器３６で読み取る。ＣＰＵ１８は、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介して読み取り器３６から入力される信号に基づいて、バーコードやＩＣタグ等が示す検査対象の情報を識別する。さらに、ＣＰＵ１８は、識別した情報と関連付けられた検査基準値をＲＯＭ１３から読み出して使用する。

上記（ｄ）では、検査対象を識別する手段として、バーコードリーダやＩＣタグリーダ等の読み取り器を設ける。また、各検査対象の情報と検査基準値とが関連付けられた情報が予め外部の記憶媒体に格納される。ＣＰＵ１８は、上記（ｃ）と同様にして検査対象の情報を識別し、上記（ｂ）と同様にしてその情報と関連付けられた検査基準値を外部の記憶媒体から取得して使用する。

次に、検査基準線の他の表示方法を説明する。検査基準線は直線に限らず、折れ線や曲線等でもよい。また、以下に示すように円（円弧を含む）等でもよい。以下、図１６を参照しながら、円状の検査基準線の表示方法を説明する。図１６（ａ）は画像上の検査対象を示し、図１６（ｂ）は空間上の検査対象を示している。検査基準線の表示は以下のようにして行われる。ユーザが検査対象の劣化部分の第１の基準点（計測点）を指定し、さらに第１の基準点からの距離が検査基準値と一致する位置に第２の基準点を指定すると、第１の基準点を中心とし第２の基準点を通る円として検査基準線が表示される。

ここで、ユーザが指定する基準点である画像上の点をＡ，Ｂとし、点Ａ，Ｂに対応する空間上の点をＰ，Ｑとする。また、画像上で２点Ａ，Ｂ間の距離をｋとし、空間上で２点Ｐ，Ｑ間の距離をｈとする。また、点Ａを中心とし点Ｂを通る半径ｋの円（検査基準線）をＣとし、点Ｐを中心とし点Ｑを通る半径ｈの円をＲとする。また、θを媒介変数として円Ｃ上を動く点をＤ（θ）とし、円Ｒ上を動く点をＳ（θ）とする。また、画像上の点Ｄ（θ）に対応する空間上の点をＳ^＊（θ）とする。また、点Ａ，Ｂ，Ｐ，Ｑ，Ｄ（θ），Ｓ（θ），Ｓ^＊（θ）の位置ベクトルをａ，ｂ，ｐ，ｑ，ｄ（θ），ｓ（θ），ｓ^＊（θ）とする。

円Ｃ上の全ての点に関して中心からの３次元距離が検査基準値に等しいとは限らない。なぜなら、円Ｃ上の点は画像上の点であり、その点に対応した空間上の点が空間上の点Ｐから検査基準値だけ離れているとは限らないからである。例えば、円Ｃ上の点に関して、検査対象上の点では中心からの３次元距離が検査基準値に等しく、検査対象がない背景上の点では中心からの３次元距離が検査基準値とは異なるということがある。

そこで、円Ｃ上の各点で計測を行って中心からの３次元距離を求め、３次元距離が検査基準値に等しいと判定された点では実線を表示し、３次元距離が検査基準値に等しくないと判定された点では破線を表示する。具体的には、円Ｃの方程式（（９）式）に従って、θを変化させながら、位置ベクトルｄ（θ）および対応する空間上の位置ベクトルｓ^＊（θ）を算出する。ただし、Ｕ（θ）は（１０）式で表され、０≦θ＜２πである。
ｄ（θ）＝ａ＋Ｕ（θ）（ｂ−ａ） ・・・（９）

点Ｓ^＊（θ）および点Ｐの距離とｈとの差が小さいとき、すなわち（１１）式を満たす場合に、上記の３次元距離が検査基準値に等しいと判定する。ただし、ｅは所定の閾値である。なお、上記と同様にして検査基準線を楕円で表示してもよい。

上述したように、本実施形態によれば、劣化部分の劣化の度合いを画像の目視により判断する検査の基準となる目印（検査基準線）が、基準点（計測点）の位置と検査基準値とに基づいて算出した表示位置に表示されるので、ユーザは劣化部分の劣化の度合いを画像上で視覚的に判断することができる。したがって、数値の比較により劣化部分の合否を判定する従来の検査よりも視覚的に分かりやすい検査を行うことができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では、基準線および検査基準線を左画像上に表示しているが、基準線および検査基準線を右画像上に表示してもよい。

本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態による内視鏡装置が備えるリモートコントローラの斜視図である。 本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの斜視図である。 本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。 本発明の一実施形態におけるステレオ計測による計測点の３次元座標の求め方を説明するための参考図である。 本発明の一実施形態における計測処理の手順を示すフローチャートである。 本発明の一実施形態における計測処理の手順を示すフローチャートである。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。 本発明の一実施形態による計測用内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。

符号の説明

１・・・内視鏡装置、２・・・内視鏡、４・・・リモートコントローラ（入力手段）、１２・・・映像信号処理回路（画像処理手段）、１８・・・ＣＰＵ（基準点設定手段、算出手段、制御手段、取得手段）、３６・・・読み取り器（識別手段）

Claims (11)

1. 内視鏡が検査対象を撮像した画像において、基準点および計測点を設定する設定手段と、
   前記基準点を通る基準線と前記計測点との３次元距離を算出する計測処理手段と、
   前記基準線に平行であって、前記計測点を通る検査基準線を算出する算出手段と、
   前記計測点、前記計測処理手段によって算出された前記３次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、
   を備えたことを特徴とする内視鏡装置。
2. 前記検査基準線の表示位置に対応する空間上の位置に基づいて、前記検査基準線の表示形態を制御する制御手段をさらに備えたことを特徴とする請求項１に記載の内視鏡装置。
3. 前記計測処理手段は、前記検査基準線上の各点と前記検査基準線との３次元距離を算出し、
   前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との３次元距離のうち、前記基準線と前記計測点との３次元距離と略等しいと判定された点に基づいて前記検査基準線を表示する処理を行うことを特徴とする請求項２に記載の内視鏡装置。
4. 前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との３次元距離のうち、前記基準線と前記計測点との３次元距離と略等しいと判定された点に基づく前記検査基準線と、前記基準線と前記計測点との３次元距離と略等しくないと判定された点に基づく前記検査基準線とを区別して表示することを特徴とする請求項３に記載の内視鏡装置。
5. ユーザが検査基準値を入力するための入力手段をさらに備え、
   前記算出手段は、前記入力手段に入力された前記検査基準値に基づいて前記検査基準線を算出する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の内視鏡装置。
6. 前記検査対象毎に検査基準値を記憶する記憶手段と、
   ユーザが前記検査対象を入力するための入力手段とをさらに備え、
   前記算出手段は、前記記憶手段から読み出された、前記入力手段に入力された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の内視鏡装置。
7. 前記検査対象毎に検査基準値を記憶する記憶手段と、
   ユーザが前記検査対象を入力するための入力手段と、
   前記記憶手段から、前記入力手段に入力された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、
   前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の内視鏡装置。
8. 前記検査対象毎に検査基準値を記憶する記憶手段と、
   前記検査対象を識別する識別手段とをさらに備え、
   前記算出手段は、前記記憶手段から読み出された、前記識別手段によって識別された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の内視鏡装置。
9. 前記検査対象を識別する識別手段と、
   前記検査対象毎に検査基準値を記憶する外部の記憶手段から、前記識別手段によって識別された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、
   前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の内視鏡装置。
10. 内視鏡が検査対象を撮像した画像において、基準点および計測点を設定するステップと、
    前記基準点を通る基準線と前記計測点との３次元距離を算出するステップと、
    前記基準線に平行であって、前記計測点を通る検査基準線を算出するステップと、
    前記計測点、前記３次元距離、および前記検査基準線を表示するステップと、
    をコンピュータに実行させるためのプログラム。
11. 内視鏡が検査対象を撮像した画像において、２つの基準点を設定する設定手段と、
    前記２つの基準点間の３次元距離を算出する計測処理手段と、
    前記基準点の一方を中心とし、前記基準点の他方を通る円または楕円である検査基準線を算出する算出手段と、
    前記計測点、前記計測処理手段によって算出された前記３次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、
    を備えたことを特徴とする内視鏡装置。

Images