JP5570769B2 - 内視鏡装置、計測方法、およびプログラム - Google Patents

Description

本発明は、内視鏡により被写体を撮像して得られた映像信号に基づいて計測処理を実行する内視鏡装置および計測方法に関する。また、本発明は、本内視鏡装置の動作を制御するためのプログラムに関する。

内視鏡装置は、ボイラー、タービン、エンジン、パイプ等の内部の傷や腐食等の観察や検査に使用されている。また、内視鏡装置において、内視鏡で撮像された画像上で指定された計測点をもとに、三角測量の原理で長さや面積などの計測を行う機能を備えた計測用内視鏡装置がある。特許文献１，２には、内視鏡の先端から観察対象の被写体（観察対象物）までの距離（物体距離）をリアルタイムに表示することによって、内視鏡の先端が計測に適した距離まで観察対象物に近づいているかどうかをユーザに知らせることができる計測用内視鏡装置が記載されている。

特開２００６−１３６７０６号公報 特開２００６−３２５７４１号公報

しかし、内視鏡の先端が観察対象物まで十分に近づいて画像を取得しても、内視鏡の先端または観察対象物が動いて画像にぶれが発生した場合には、画像にぶれが発生しているにもかかわらず、ユーザがそのぶれに気づかずに計測処理を実行すると、計測精度が低下する可能性があった。

本発明は、上述した課題に鑑みてなされたものであって、計測精度の低下を引き起こす画像について、計測に適しているかどうかをユーザに知らしめることができる内視鏡装置、計測方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、撮像素子を有し、前記撮像素子をインターレース駆動させて被写体を撮像し、２つのフィールドを有する画像を生成する撮像部と、前記画像に基づいて、前記画像のぶれ量を検出する検出部と、表示部と、撮像された被写体を計測する計測処理部と、ユーザの操作指示を入力するための操作指示部と、を備え、前記表示部によって前記画像が表示されており、前記操作指示部に計測起動指示が入力されたとき、前記検出部によって検出された前記画像のぶれ量が所定の閾値を超える場合に、前記表示部は、計測不可能である旨の警告メッセージもしくは当該画像のぶれ量を表示し、前記計測処理部は、当該画像に対する計測処理を禁止することを特徴とする内視鏡装置である。

また、本発明の内視鏡装置において、前記表示部は、前記警告メッセージもしくは前記ぶれ量と共に、前記画像を表示することを特徴とする。

また、本発明の内視鏡装置において、前記検出部によって検出された前記画像のぶれ量が、前記所定の閾値よりも小さい値をもつ閾値よりも大きく、且つ前記所定の閾値未満である場合に、前記表示部は、前記計測処理部による計測処理が開始される前に、計測を行うか否かをユーザに選択させるための確認メッセージを表示し、前記計測処理部は、前記確認メッセージの表示後に、前記操作指示部によって計測実行の指示がないかぎり、計測処理を実行しないことを特徴とする。

また、本発明の内視鏡装置は、前記ぶれ量が所定量を超えた場合に、前記計測部による計測を禁止する制御部をさらに備えたことを特徴とする。

また、本発明は、撮像素子をインターレース駆動させて被写体を撮像し、２つのフィールドを有する画像を生成するステップと、前記画像に基づいて、前記画像のぶれ量を検出するステップと、前記画像を表示部に表示するステップと、ユーザの操作指示を検出するステップと、前記画像が前記表示部に表示されており、前記操作指示が計測起動指示であることを検知したとき、前記画像のぶれ量を検出するステップにて検出された前記画像のぶれ量が所定の閾値を超える場合に、計測不可能である旨の警告メッセージもしくは当該画像のぶれ量を前記表示部に表示し、当該画像に対して、撮像された被写体を計測する計測処理を禁止するステップと、を実行することを特徴とする計測方法である。

また、本発明は、撮像素子をインターレース駆動させて被写体を撮像し、２つのフィールドを有する画像を生成するステップと、前記画像に基づいて、前記画像のぶれ量を検出するステップと、前記画像を表示部に表示するステップと、ユーザの操作指示を検出するステップと、前記画像が前記表示部に表示されており、前記操作指示が計測起動指示であることを検知したとき、前記画像のぶれ量を検出するステップにて検出された前記画像のぶれ量が所定の閾値を超える場合に、計測不可能である旨の警告メッセージもしくは当該画像のぶれ量を前記表示部に表示し、当該画像に対して、撮像された被写体を計測する計測処理を禁止するステップと、を内視鏡装置に実行させるためのプログラムである。

本発明によれば、画像のぶれ量が所定の閾値を超える場合に、計測不可能である旨の警告メッセージもしくは当該画像のぶれ量を表示し、当該画像に対する計測処理を禁止することによって、計測精度の低下を防止することができる。

本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態による内視鏡装置の機能構成を示すブロック図である。 本発明の一実施形態による内視鏡装置の機能構成を示すブロック図である。 本発明の一実施形態による内視鏡装置の機能構成を示すブロック図である。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の機能構成を示すブロック図である。 本発明の一実施形態による内視鏡装置の機能構成を示すブロック図である。 ステレオ計測による計測点の３次元座標の求め方を説明するための参考図である。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、内視鏡２と、この内視鏡２に接続された装置本体３とを備えている。内視鏡２は、細長な挿入部２０と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部６とを備えている。装置本体３は、内視鏡２で撮像された被写体の画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるモニタ４（液晶モニタ）と、内部に制御ユニット１０（図２参照）を有する筐体５とを備えている。

挿入部２０は、硬質な先端部２１と、例えば上下左右に湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを先端側から順に連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタや観察視野が１つの通常観察光学アダプタ等、各種光学アダプタが着脱自在になっている。

図２に示すように筐体５内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、先端部２１に内蔵されている光源を駆動する光源駆動装置と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置とを備えて構成され、ＣＣＵ９は、撮像素子２８をインターレース駆動する撮像素子駆動装置を備えて構成されている。

先端部２１には撮像素子２８が内蔵されている。撮像素子２８は、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。インターレース駆動により、撮像素子２８は、奇数フィールドの撮像信号と偶数フィールドの撮像信号を交互に出力する。ＣＣＵ９には、撮像素子２８から出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。また、先端部２１には、被写体に照射する照明光を発生するＬＥＤ等の光源も内蔵されている。

制御ユニット１０内には、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、カードＩ／Ｆ１５（カードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行う操作部６が接続されている。ユーザが操作部６を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、制御ユニット１０とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介して制御ユニット１０とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、制御ユニット１０とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、カードＩ／Ｆ１５には、メモリカード３２を自由に着脱することができるようになっている。メモリカード３２をカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御に従って、このメモリカード３２に記憶されている制御処理情報や画像情報等のデータの制御ユニット１０への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード３２への記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された映像信号に基づく内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、モニタ４の画面上に表示するのに必要な処理等を行い、表示信号をモニタ４に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ４の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。なお、本実施形態のモニタ４は、インターレース駆動により生成された映像信号に対応しているものとする。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、内視鏡装置１全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

図３、図４、図５は、内視鏡装置１のうち、本実施形態の説明の中心となる部分の機能構成を示している。図３は、計測起動操作が行われる場合の機能構成を示している。計測起動操作とは、計測機能を起動する指示を入力する操作である。図４は、画像記録操作が行われる場合の機能構成を示している。画像記録操作とは、フレーム画像をメモリカード３２等に記録する指示を入力する操作である。図５は、画像再生操作が行われる場合の機能構成を示している。画像再生操作とは、画像記録操作によりメモリカード３２等に記録されたフレーム画像を再生する指示を入力する操作である。

映像信号生成部４１はＣＣＵ９の機能に対応する。この映像信号生成部４１は、撮像素子２８から出力された撮像信号に基づいて、第１の画像を構成する映像信号を生成する。より具体的には、映像信号生成部４１は、撮像素子２８のインターレース駆動に同期して、奇数フィールドの映像信号と偶数フィールドの映像信号を交互に出力する。

フレーム画像生成処理部４２、奇数フィールド画像生成処理部４３、偶数フィールド画像生成処理部４４は映像信号処理回路１２の機能に対応する。フレーム画像生成処理部４２は、映像信号生成部４１から出力された奇数フィールドの映像信号と偶数フィールドの映像信号を合成してフレームの映像信号を生成する。以下では、フレーム画像生成処理部４２が生成するフレームの映像信号をフレーム画像と記載する。フレーム画像の奇数行（奇数フィールド）の映像信号は、映像信号生成部４１から出力された奇数フィールドの映像信号で構成され、フレーム画像の偶数行（偶数フィールド）の映像信号は、映像信号生成部４１から出力された偶数フィールドの映像信号で構成される。

奇数フィールド画像生成処理部４３は、映像信号生成部４１から出力された奇数フィールドの映像信号に基づいてフレームの映像信号を生成する。以下では、奇数フィールド画像生成処理部４３が生成するフレームの映像信号を奇数フィールド画像と記載する。奇数フィールド画像の奇数行（奇数フィールド）の映像信号は、映像信号生成部４１から出力された奇数フィールドの映像信号で構成されており、奇数フィールド画像の偶数行（偶数フィールド）の映像信号は、奇数行の映像信号で補間されたものである。奇数フィールド画像の各偶数行の映像信号は、上下に隣接する奇数行の映像信号の平均でもよい。

偶数フィールド画像生成処理部４４は、映像信号生成部４１から出力された偶数フィールドの映像信号に基づいてフレームの映像信号を生成する。以下では、偶数フィールド画像生成処理部４４が生成するフレームの映像信号を偶数フィールド画像と記載する。偶数フィールド画像の偶数行（偶数フィールド）の映像信号は、映像信号生成部４１から出力された偶数フィールドの映像信号で構成されており、偶数フィールド画像の奇数行（奇数フィールド）の映像信号は、偶数行の映像信号で補間されたものである。偶数フィールド画像の各奇数行の映像信号は、上下に隣接する偶数行の映像信号の平均でもよい。

ぶれ軽減処理部４５，５２、ぶれ演算処理部４６、計測処理部４７、制御部４８、画像記録部４９、画像再生部５０、奇数フィールド画像生成処理部５１はＣＰＵ１８の機能に対応する。ぶれ演算処理部４６は、奇数フィールド画像生成処理部４３から出力された奇数フィールド画像と、偶数フィールド画像生成処理部４４から出力された偶数フィールド画像とに基づいて、各画像間の運動パラメータである動きベクトルを算出する。ぶれ軽減処理部４５は、ぶれ演算処理部４６によって算出された動きベクトルの大きさが所定値を超える場合に、フレーム画像生成処理部４２から出力されたフレーム画像を、奇数フィールド画像生成処理部４３から出力された奇数フィールド画像（第２の画像）に置き換える処理を行う。この奇数フィールド画像の代わりに偶数フィールド画像を用いてもよい。

撮像素子２８では、インターレース駆動により、奇数行と偶数行に分けて２回の走査が行われる。このため、フレーム画像では、先端部２１または観察対象物に動きがあると、２回の走査タイミングの違いにより画像にぶれが発生する。これに対して、奇数フィールド画像は、１回の走査により取得された奇数フィールドの映像信号で構成されているため、先端部２１または観察対象物に動きがあっても、フレーム画像よりぶれが低下する。

計測処理部４７は、フレーム画像または奇数フィールド画像に基づいて計測処理を実行する。制御部４８は、ぶれ軽減処理部４５等の各部のそれぞれへの処理の割り当てを制御すると共に、内視鏡装置１全体の動作を制御する。

画像記録部４９は、画像記録操作が行われた場合に、フレーム画像生成処理部４２によって生成されたフレーム画像と、ぶれ検出フラグとをメモリカード３２等に記録する。ぶれ検出フラグは、ぶれ演算処理部４６によって算出された動きベクトルの大きさに応じた値をとるフラグである。画像再生部５０は、画像再生操作が行われた場合に、メモリカード３２等に記録されているフレーム画像とぶれ検出フラグを再生する。

奇数フィールド画像生成処理部５１は、画像再生部５０によって再生されたフレーム画像中の奇数行の映像信号に基づいてフレームの映像信号を生成する。以下では、奇数フィールド画像生成処理部５１が生成するフレームの映像信号を奇数フィールド画像と記載する。この奇数フィールド画像の奇数行（奇数フィールド）の映像信号は、画像再生部５０によって再生されたフレーム画像中の奇数行の映像信号で構成されており、奇数フィールド画像の偶数行（偶数フィールド）の映像信号は、奇数行の映像信号で補間されたものである。奇数フィールド画像の各偶数行の映像信号は、上下に隣接する奇数行の映像信号の平均でもよい。

ぶれ軽減処理部５２は、画像再生部５０によって再生されたぶれ検出フラグの値が所定の値である場合に、画像再生部５０によって再生されたフレーム画像を、奇数フィールド画像生成処理部５１によって生成された奇数フィールド画像（第２の画像）に置き換える処理を行う。ぶれ検出フラグの値が所定の値である場合とは、画像記録前にぶれ演算処理部４６によって算出された動きベクトルの大きさが所定値を超える場合に相当する。

次に、本実施形態による内視鏡装置１の動作を説明する。内視鏡装置１は、電源が投入されると、撮像と画像表示を繰り返し行うライブ状態となる。図６に示すように、ライブ状態では、撮像素子２８は奇数行と偶数行のそれぞれの走査を行い、奇数フィールドの撮像信号と偶数フィールドの撮像信号を生成する（ステップＳ１００）。映像信号生成部４１は、奇数フィールドの撮像信号と偶数フィールドの撮像信号をそれぞれ映像信号に変換し、奇数フィールドの映像信号と偶数フィールドの映像信号を出力する（ステップＳ１０５）。

映像信号処理回路１２は、ＣＰＵ１８から供給されるグラフィック画像信号と偶数・奇数フィールドの映像信号を合成して表示信号を生成し、モニタ４へ出力する。モニタ４は、表示信号に基づいて画像を表示する（ステップＳ１１０）。制御部４８は、操作部６からの信号を検出し（ステップＳ１１５）、ユーザによる操作部６の操作内容を判定する（ステップＳ１２０）。ユーザが操作を行っていない場合、処理はステップＳ１００に戻る。また、ユーザがフリーズ操作を行った場合、内視鏡装置１はフリーズ開始状態となる。フリーズ操作（第１の操作指示）とは、静止画像を表示する指示を入力する操作である。また、ユーザが画像再生操作を行った場合、内視鏡装置１は画像再生開始状態となる。

図７に示すように、フリーズ開始状態では、フレーム画像生成処理部４２は、映像信号生成部４１から出力された奇数フィールドの映像信号と偶数フィールドの映像信号を合成してフレーム画像を生成する（ステップＳ２００）。映像信号処理回路１２は、ＣＰＵ１８から供給されるグラフィック画像信号とフレーム画像を合成して表示信号を生成し、モニタ４へ出力する。モニタ４は、表示信号に基づいて画像を表示する（ステップＳ２０５）。モニタ４に表示された画像は静止画像であり、モニタ４は、フリーズ状態が終了するまでこの静止画像を表示し続ける。

続いて、奇数フィールド画像生成処理部４３は、映像信号生成部４１から出力された奇数フィールドの映像信号に基づいて奇数フィールド画像を生成する（ステップＳ２１０）。また、偶数フィールド画像生成処理部４４は、映像信号生成部４１から出力された偶数フィールドの映像信号に基づいて偶数フィールド画像を生成する（ステップＳ２１５）。なお、奇数フィールド画像と偶数フィールド画像の生成は、フレーム画像の生成よりも前に行ってもよい。

続いて、ぶれ演算処理部４６は、奇数フィールド画像生成処理部４３から出力された奇数フィールド画像と、偶数フィールド画像生成処理部４４から出力された偶数フィールド画像とに基づいて、フレーム画像に発生しているぶれ量の指標となる動きベクトルを算出する（ステップＳ２２０）。以下、動きベクトルの算出方法を説明する。

本実施形態では、計測を行う場合、同一被写体に関する２つの被写体像を結像可能なステレオ光学アダプタを通して左右一対の被写体像（以下、左画像および右画像とする）が撮像される。このため、フレーム画像、奇数フィールド画像、偶数フィールド画像のそれぞれに対応する画像には、左画像と右画像が含まれる。

ぶれ演算処理部４６は、例えば奇数フィールド画像に含まれる左画像の中心点を中心としたＷ×Ｈピクセルの範囲をテンプレートに設定し、その中心点に対応する偶数フィールド画像上の対応点を探索する。対応点の探索は、例えば輝度のＳＡＤ（Sum of Absolute Differences）を算出することにより行われる。テンプレートの画素値をｔ（ｘ，ｙ）、探索対象の画像の画素値をｇ（ｘ，ｙ）とすると、座標（ｕ，ｖ）におけるＳＡＤであるＦ（ｕ，ｖ） は一般に（１）式で算出される。

テンプレートの幅をＷ、高さをＨとし、−Ｗ／２≦Ｎ_Ｗ≦Ｗ／２，−Ｈ／２≦Ｎ_Ｈ≦Ｈ／２とする。また、奇数フィールド画像に相当する画像に含まれる左画像の中心座標を （Ｏｘ，Ｏｙ）とし、Ｏｘ−Ｗ／２≦ｕ≦Ｏｘ＋Ｗ／２，Ｏｙ−Ｈ／２≦ｖ≦Ｏｙ＋Ｈ／２の範囲でＦ（ｕ，ｖ）が算出される。Ｆ（ｕ，ｖ）が最小となるときの座標（Ｅｘ，Ｅｙ）が対応点となる。

奇数フィールド画像に含まれる左画像の中心座標（Ｏｘ，Ｏｙ）の対応点の座標（Ｅｘ，Ｅｙ）から、動きベクトルｍは（２）式で算出される。
ｍ＝（Ｅｘ−Ｏｘ，Ｅｙ−Ｏｙ） ・・・（２）
以上が動きベクトルの算出方法である。

動きベクトルの算出が終了すると、制御部４８は、予め設定されている２つの閾値と動きベクトルの大きさとの大小関係を判定する（ステップＳ２２５）。以下では、２つの閾値を第１の閾値、第２の閾値とし、第１の閾値＜第２の閾値であるものとする。動きベクトルの大きさが第１の閾値以下である場合、制御部４８はぶれ検出フラグに０を設定する（ステップＳ２３０）。また、動きベクトルの大きさが第１の閾値を超え、かつ第２の閾値未満である場合、制御部４８はぶれ検出フラグに１を設定する（ステップＳ２３５）。また、動きベクトルの大きさが第２の閾値を超える場合、制御部４８はぶれ検出フラグに２を設定する（ステップＳ２４０）。ステップＳ２３０，Ｓ２３５，Ｓ２４０の処理が終了すると、内視鏡装置１はフリーズ状態となる。

フリーズ状態では、図８に示すように、制御部４８は、操作部６からの信号を検出し（ステップＳ３００）、ユーザによる操作部６の操作内容を判定する（ステップＳ３０５）。ユーザが操作を行っていない場合、処理はステップＳ３００に戻る。また、ユーザが計測起動操作（第２の操作指示）を行った場合、内視鏡装置１は計測状態となる。ユーザが画像記録操作を行った場合、内視鏡装置１は画像記録処理状態となる。

計測状態では、図９に示すように、制御部４８は、ステップＳ２３０，Ｓ２３５，Ｓ２４０で設定されたぶれ検出フラグの値を判定する（ステップＳ４００）。ぶれ検出フラグの値が０であった場合、処理はステップＳ４３０に進む。この場合、フレーム画像が以降の計測処理で使用される。また、ぶれ検出フラグの値が１であった場合、処理はステップＳ４０５に進む。この場合、フレーム画像よりもぶれ量の少ない奇数フィールド画像が以降の計測処理で使用される。

また、ぶれ検出フラグの値が２であった場合、映像信号処理回路１２は、ＣＰＵ１８から供給されるグラフィック画像信号とフレーム画像を合成して表示信号を生成し、モニタ４へ出力する。このときＣＰＵ１８から供給されるグラフィック画像信号は、計測不可能であることをユーザに通知するための警告メッセージ等を含む。モニタ４は、表示信号に基づいて画像を表示する。これによって、モニタ４には、内視鏡画像と共に警告メッセージ等が表示される（ステップＳ４１０）。この場合、制御部４８は計測処理部４７を起動しないため、計測処理は実行されない。ステップＳ４１０ではモニタ４に警告メッセージを表示してもよいし、ぶれ量の値を表示してもよい。これによって、ユーザは、計測を実行する前にフレーム画像が計測に適しているか否かを知ることができる。

処理がステップＳ４０５に進んだ場合、映像信号処理回路１２は、ＣＰＵ１８から供給されるグラフィック画像信号とフレーム画像を合成して表示信号を生成し、モニタ４へ出力する。このときＣＰＵ１８から供給されるグラフィック画像信号は、映像信号を補正してから計測を行うかどうかをユーザに選択させるための確認メッセージ等を含む。モニタ４は、表示信号に基づいて画像を表示する。これによって、モニタ４には、内視鏡画像と共に確認メッセージ等が表示される（ステップＳ４０５）。

続いて、制御部４８は、操作部６からの信号を監視し、ユーザが操作を行うまで待機する（ステップＳ４１５）。ユーザが操作を行った場合、制御部４８は、ユーザによる操作部６の操作内容を判定する（ステップＳ４２０）。映像信号を補正してから計測を行うことを拒否する操作が行われた場合、内視鏡装置１はライブ状態に戻る。この場合、制御部４８は計測処理部４７を起動しないため、計測処理は実行されない。また、映像信号を補正してから計測を行うことを許可する操作が行われた場合、ぶれ軽減処理部４５は、フレーム画像生成処理部４２から出力されたフレーム画像を、奇数フィールド画像生成処理部４３から出力された奇数フィールド画像に置き換える処理を行う（ステップＳ４２５）。

続いて、制御部４８は計測処理部４７を起動する。また、映像信号処理回路１２は、ＣＰＵ１８から供給されるグラフィック画像信号と奇数フィールド画像を合成して表示信号を生成し、モニタ４へ出力する。このときＣＰＵ１８から供給されるグラフィック画像信号は、計測に必要なメニュー等を含む。これによって、モニタ４には、内視鏡画像と共に計測のメニュー等が表示される（ステップＳ４３０）。続いて、計測処理部４７は、フレーム画像または奇数フィールド画像に基づいて計測処理を実行する（ステップＳ４３５）。

ぶれ検出フラグの値が０であった場合には、ステップＳ２００で生成されたフレーム画像が計測処理に使用される。また、ぶれ検出フラグの値が１であった場合には、ステップＳ４２５でフレーム画像と置き換えられた奇数フィールド画像が計測処理に使用される。ステップＳ４３５で実行される計測処理には、ユーザによる操作部６の操作内容に基づいて内視鏡画像上に計測点を設定する処理や、計測点で指定される長さや面積を算出する処理等が含まれる。この計測処理では、フレーム画像または奇数フィールド画像に基づく画像がモニタ４に表示され、その画像上に計測点が設定される。

また、ステップＳ４３５で実行される計測処理では、三角測量の原理を利用したステレオ計測により、スポット座標に位置する計測点の３次元座標が算出され、長さや面積の計算に使用される。以下、図１５を参照しながら、ステレオ計測による計測点の３次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（３）式〜（５）式で計算される。ただし、歪み補正が施された左右の画像上の計測点６１，６２の座標をそれぞれ（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（Ｘ_Ｌ−Ｘ_Ｒ）とする。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２ ・・・（３）
Ｙ＝ｔ×Ｙ_Ｒ ・・・（４）
Ｚ＝ｔ×Ｆ ・・・（５）

上記のように元画像上の計測点６１，６２の座標が決定されると、パラメータＤおよびＦを用いて計測点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心６３、または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

画像記録処理状態では、図１０に示すように、画像記録部４９は、ステップＳ２００で生成されたフレーム画像をメモリカード３２等に記録する（ステップＳ５００）。また、画像記録部４９は、ステップＳ２３０，Ｓ２３５，Ｓ２４０で設定されたぶれ検出フラグをメモリカード３２等に記録する（ステップＳ５０５）。ステップＳ５０５の処理が終了すると、内視鏡装置１はフリーズ状態となる。

画像再生開始状態では、図１１に示すように、画像再生部５０は、メモリカード３２等からフレーム画像を読み込む（ステップＳ６００）。また、画像再生部５０は、メモリカード３２等からぶれ検出フラグを読み込む（ステップＳ６０５）。映像信号処理回路１２は、ＣＰＵ１８から供給されるグラフィック画像信号とフレーム画像を合成して表示信号を生成し、モニタ４へ出力する。モニタ４は、表示信号に基づいて画像を表示する（ステップＳ６１０）。

続いて、制御部４８は、操作部６からの信号を検出し（ステップＳ６１５）、ユーザが計測起動操作を行ったか否かを判定する（ステップＳ６２０）。ユーザが計測起動操作を行っていない場合、処理はステップＳ６１５に戻る。また、ユーザが計測起動操作を行った場合、内視鏡装置１は計測状態となる。

計測状態では、図１２に示す処理が実行される。図１２において、図９に示した処理と同一の処理には同一のステップ番号が付与されている。図１２では、図９に示した処理にないステップＳ４２１の処理が追加されている。また、図１２では、ステップＳ４０１，Ｓ４２６，Ｓ４３６の処理内容は、図９に示したステップＳ４００，Ｓ４２５，Ｓ４３５の処理内容と同一であるが、処理に用いるデータや信号が、図９に示した各ステップの処理に用いるデータや信号と異なる。

ステップＳ４０１では、ステップＳ６０５でメモリカード３２等から読み込まれたぶれ検出フラグの値が使用される。ぶれ検出フラグの値に応じた処理の分岐は図９と同様である。ステップＳ４２１では、奇数フィールド画像生成処理部５１は、ステップＳ６００でメモリカード等から読み込まれたフレーム画像中の奇数行の映像信号に基づいて奇数フィールド画像を生成する。ステップＳ４２６では、ぶれ軽減処理部４５は、ステップＳ６００でメモリカード等から読み込まれたフレーム画像を、ステップＳ４２１で生成された奇数フィールド画像に置き換える処理を行う。

ステップＳ４３６では、ぶれ検出フラグの値が０であった場合には、ステップＳ６００でメモリカード等から読み込まれたフレーム画像が計測処理に使用される。また、ステップＳ４３６では、ぶれ検出フラグの値が１であった場合には、ステップＳ４２６でフレーム画像と置き換えられた奇数フィールド画像が計測処理に使用される。

次に、本実施形態の変形例を説明する。図１３は、図３に示した機能構成の変形例である。図３では、映像信号処理回路１２の機能に対応する奇数フィールド画像生成処理部４３と偶数フィールド画像生成処理部４４が設けられていたが、これに代えて図１３では、ＣＰＵ１８の機能に対応する奇数フィールド画像生成処理部５３と偶数フィールド画像生成処理部５４が設けられている。

奇数フィールド画像生成処理部５３は、フレーム画像生成処理部４２から出力されたフレーム画像に基づいてフレームの映像信号を生成する。以下では、奇数フィールド画像生成処理部５３が生成するフレームの映像信号を奇数フィールド画像と記載する。この奇数フィールド画像の奇数行（奇数フィールド）の映像信号は、フレーム画像生成処理部４２から出力されたフレーム画像中の奇数行の映像信号で構成されており、奇数フィールド画像の偶数行（偶数フィールド）の映像信号は、奇数行の映像信号で補間されたものである。奇数フィールド画像の各偶数行の映像信号は、上下に隣接する奇数行の映像信号の平均でもよい。

偶数フィールド画像生成処理部５４は、フレーム画像生成処理部４２から出力されたフレーム画像に基づいてフレームの映像信号を生成する。以下では、偶数フィールド画像生成処理部５４が生成するフレームの映像信号を偶数フィールド画像と記載する。この偶数フィールド画像の偶数行（偶数フィールド）の映像信号は、フレーム画像生成処理部４２から出力されたフレーム画像中の偶数行の映像信号で構成されており、偶数フィールド画像の奇数行（奇数フィールド）の映像信号は、偶数行の映像信号で補間されたものである。偶数フィールド画像の各奇数行の映像信号は、上下に隣接する偶数行の映像信号の平均でもよい。

ぶれ演算処理部４６は、奇数フィールド画像生成処理部５３によって生成された奇数フィールド画像と、偶数フィールド画像生成処理部５４によって生成された偶数フィールド画像とに基づいて動きベクトルを算出する。ぶれ軽減処理部４５は、ぶれ演算処理部４６によって算出された動きベクトルの大きさが所定値を超える場合に、フレーム画像生成処理部４２から出力されたフレーム画像を、奇数フィールド画像生成処理部５３によって生成された奇数フィールド画像（第２の画像）に置き換える処理を行う。この奇数フィールド画像の代わりに偶数フィールド画像を用いてもよい。

図１３に示した機能構成を有する内視鏡装置１の動作は、図６〜図１２を用いて説明した動作と同様である。

図１４は、図３に示した機能構成の他の変形例である。図１４では、ＣＰＵ１８の機能に対応するぶれ軽減処理部５５が実行する処理の内容が、図３のぶれ軽減処理部４５が実行する処理の内容と異なる。

ぶれ軽減処理部５５は、ぶれ演算処理部４６によって算出された動きベクトルの大きさが所定値を超える場合に、フレーム画像生成処理部４２から出力されたフレーム画像を構成する偶数行および奇数行の映像信号のうち少なくとも一方の映像信号を動きベクトルに基づいて補正した映像信号を生成する。以下では、ぶれ軽減処理部５５が生成する映像信号を補正フレーム画像（第２の画像）と記載する。ぶれ軽減処理部５５は、具体的には以下のようにして補正フレーム画像を記載する。

奇数フィールド画像の画素（ｉ，ｊ）の輝度をｆ１（ｉ，ｊ）とし、偶数フィールド画像の画素（ｉ，ｊ）の輝度をｆ２（ｉ，ｊ）とし、補正画像の画素（ｉ，ｊ）の輝度をｆ３（ｉ，ｊ）とする。また、ぶれ演算処理部４６によって算出された動きベクトルｍを以下の（６）式とする。
ｍ＝（Ｅｘ−Ｏｘ，Ｅｙ−Ｏｙ）≡（Ｍｘ，Ｍｙ） ・・・（６）

ぶれ軽減処理部５５は、以下の（７）式と（８）式により補正画像を生成する。
ｆ３（ｉ，ｊ）＝ｆ１（ｉ，ｊ） （ｊが奇数のとき） ・・・（７）
ｆ３（ｉ，ｊ）＝ｆ２（ｉ＋Ｍｘ，ｊ＋Ｍｙ） （ｊが偶数のとき） ・・・（８）

上記の場合、ぶれ軽減処理部５５は、フレーム画像の偶数行の映像信号を補正した補正フレーム画像を生成する。ただし、フレーム画像の奇数行の映像信号を補正した補正フレーム画像を生成するようにしてもよいし、フレーム画像の偶数行と奇数行の映像信号を補正した補正フレーム画像を生成するようにしてもよい。また、（８）式において、画素（ｉ＋Ｍｘ，ｊ＋Ｍｙ）が、偶数フィールド画像を構成する画素の範囲外となる場合、ｆ３（ｉ，ｊ）＝ｆ２（ｉ，ｊ）としておき、最終的に生成された補正フレーム画像から外周部を除いた画像を以降の処理で用いるようにしてもよい。

図１４に示した機能構成を有する内視鏡装置１の動作は、図６〜図１２を用いて説明した動作と同様である。ただし、ステップＳ４２５では、ぶれ軽減処理部５５が上記のように補正フレーム画像を生成する。また、ステップＳ４３５では、ぶれ検出フラグの値が１であった場合、計測処理部４７は、補正フレーム画像を用いて計測処理を実行する。

また、ステップＳ４２６では、図５のぶれ軽減処理部５２が動作するものとしているが、図５に示した機能構成に対して、画像再生部５０によって再生されたフレーム画像から偶数フィールド画像を生成する偶数フィールド画像生成処理部を追加し、ぶれ軽減処理部５２の代わりに、偶数フィールド画像と奇数フィールド画像から補正フレーム画像を生成するぶれ軽減処理部を設けてもよい。

本実施形態の運動パラメータとして、動きベクトルの他に、回転量と拡大率を求めてもよい。回転量は、偶数フィールド画像と奇数フィールド画像のそれぞれの慣性主軸の傾きの差から求まる。奇数フィールド画像の画素（ｉ，ｊ）の輝度をｆ（ｉ，ｊ）とすると、奇数フィールド画像の２次のモーメントは以下の（９）〜（１１）式となる。

また、慣性主軸の傾きは以下の（１２）式となる。

上記の（９）〜（１１）式において、奇数フィールド画像の大きさをＮ×Ｍとし、Ｎ_ｎ＝｛１，２，・・・，Ｎ｝、Ｎ_ｍ＝｛１，２，・・・，Ｍ｝とする。上記と同様にして、偶数フィールド画像の慣性主軸の傾きも求めることができ、偶数フィールド画像と奇数フィールド画像のそれぞれの慣性主軸の傾きの差を算出することによって、回転量を求めることができる。

拡大率は、偶数フィールド画像と奇数フィールド画像のそれぞれの慣性モーメントの比から求まる。上記と同様に奇数フィールド画像の画素（ｉ，ｊ）の輝度をｆ（ｉ，ｊ）とすると、奇数フィールド画像の０次のモーメントは以下の（１３）式となり、１次のモーメントは以下の（１４）式、（１５）式となる。

重心（ｉ_Ｇ，ｊ_Ｇ）は、ｉ_Ｇ＝ｍ_１０／ｍ_００，ｊ_Ｇ＝ｍ_０１／ｍ_００となり、奇数フィールド画像の慣性モーメントは以下の（１６）式となる。

上記と同様にして、偶数フィールド画像の慣性モーメントも求めることができ、偶数フィールド画像と奇数フィールド画像のそれぞれの慣性モーメントの比を算出することによって、拡大率を求めることができる。

本実施形態では、フリーズ操作が行われた場合に画像のぶれ量の算出を行っているが、内視鏡装置１がライブ状態のときに常にフレーム画像を生成し、フレーム画像から偶数フィールド画像と奇数フィールド画像を生成し、ぶれ量を算出してもよい。さらに、内視鏡装置１がライブ状態のときにぶれ量が所定量を超えたら、モニタ４に警告メッセージ等を表示したり、フリーズ状態への移行を禁止したりしてもよい。さらに、内視鏡装置１がライブ状態からフリーズ状態に移行したときにぶれ量の判定を行い、ぶれ量が所定量を超えたら、モニタ４にフレーム画像（静止画像）と共に警告メッセージ等を表示してもよい。

また、本実施形態では、偶数フィールド画像と奇数フィールド画像からぶれ量を算出しているが、連続する２フレームの映像信号からぶれ量を算出してもよい。

上述したように、本実施形態による内視鏡装置１は、奇数フィールド画像または偶数フィールド画像からフレーム画像を生成する。あるいは、内視鏡装置１は、フレーム画像を構成する２つのフィールドのうち少なくとも一方のフィールドの映像信号をぶれ量の分だけ補正した補正フレーム画像を生成する。これによって、内視鏡２の先端または観察対象物が動いて画像にぶれが発生した場合でも、フレーム画像生成処理部４２が生成したフレーム画像よりもぶれ量を低減したフレーム画像または補正フレーム画像を生成することが可能となる。このフレーム画像または補正フレーム画像に基づいて計測処理部４７が計測処理を実行することによって、計測精度の低下を防止することができる。

また、本実施形態では、ぶれ量が第１の閾値以下の場合にはフレーム画像生成処理部４２が生成したフレーム画像に基づいて計測処理部４７が計測処理を実行し、ぶれ量が第１の閾値を超え、かつ第２の閾値未満の場合には奇数フィールド画像または偶数フィールド画像から生成したフレーム画像もしくは補正フレーム画像に基づいて計測処理部４７が計測処理を実行する。これによって、大きなぶれが発生した場合に計測精度が大きく低下することを防止することができる。

また、本実施形態では、計測時に、奇数フィールド画像または偶数フィールド画像から生成したフレーム画像もしくは補正フレーム画像に基づく画像がモニタ４に表示される。これによって、ユーザは、ぶれ量の低減された画像を見ながら計測点を指定するので、ユーザが希望通りの場所に計測点を指定しやすくなり、計測精度の低下を防止することができる。

また、本実施形態では、ぶれ量が第２の閾値以下である場合に計測処理の実行が許可され、ぶれ量が第２の閾値を超えた場合に計測処理の実行が禁止される。これによって、計測精度の低下を防止することができる。

また、本実施形態では、ぶれ量が第２の閾値を超えた場合に、モニタ４に警告メッセージ等が表示される。これによって、ユーザは、計測を実行する前にフレーム画像が計測に適していないことを知ることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１・・・内視鏡装置、２・・・内視鏡、３・・・装置本体、４・・・モニタ（表示部）、５・・・筐体、６・・・操作部（操作指示部）、８・・・内視鏡ユニット（撮像部）、１０・・・制御ユニット、１２・・・映像信号処理回路、１８・・・ＣＰＵ、２８・・・撮像素子（撮像部）、２９・・・ＬＥＤ、４１・・・映像信号生成部（撮像部）、４２・・・フレーム画像生成処理部、４３，５１，５３・・・奇数フィールド画像生成処理部、４４，５４・・・偶数フィールド画像生成処理部、４５，５２，５５・・・ぶれ軽減処理部（処理部）、４６・・・ぶれ演算処理部（検出部）、４７・・・計測処理部（計測部）、４８・・・制御部、４９・・・画像記録部、５０・・・画像再生部

Claims (5)

1. 撮像素子を有し、前記撮像素子をインターレース駆動させて被写体を撮像し、２つのフィールドを有する画像を生成する撮像部と、
   前記画像に基づいて、前記画像のぶれ量を検出する検出部と、
   表示部と、
   撮像された被写体を計測する計測処理部と、
   ユーザの操作指示を入力するための操作指示部と、を備え、
   前記表示部によって前記画像が表示されており、前記操作指示部に計測起動指示が入力されたとき、前記検出部によって検出された前記画像のぶれ量が所定の閾値を超える場合に、前記表示部は、計測不可能である旨の警告メッセージもしくは当該画像のぶれ量を表示し、
   前記計測処理部は、当該画像に対する計測処理を禁止する
   ことを特徴とする内視鏡装置。
2. 前記表示部は、前記警告メッセージもしくは前記ぶれ量と共に、前記画像を表示することを特徴とする請求項１に記載の内視鏡装置。
3. 前記検出部によって検出された前記画像のぶれ量が、前記所定の閾値よりも小さい値をもつ閾値よりも大きく、且つ前記所定の閾値未満である場合に、前記表示部は、前記計測処理部による計測処理が開始される前に、計測を行うか否かをユーザに選択させるための確認メッセージを表示し、
   前記計測処理部は、前記確認メッセージの表示後に、前記操作指示部によって計測実行の指示がないかぎり、計測処理を実行しないことを特徴とする請求項１に記載の内視鏡装置。
4. 撮像素子をインターレース駆動させて被写体を撮像し、２つのフィールドを有する画像を生成するステップと、
   前記画像に基づいて、前記画像のぶれ量を検出するステップと、
   前記画像を表示部に表示するステップと、
   ユーザの操作指示を検出するステップと、
   前記画像が前記表示部に表示されており、前記操作指示が計測起動指示であることを検知したとき、前記画像のぶれ量を検出するステップにて検出された前記画像のぶれ量が所定の閾値を超える場合に、計測不可能である旨の警告メッセージもしくは当該画像のぶれ量を前記表示部に表示し、当該画像に対して、撮像された被写体を計測する計測処理を禁止するステップと、
   を実行することを特徴とする計測方法。
5. 撮像素子をインターレース駆動させて被写体を撮像し、２つのフィールドを有する画像を生成するステップと、
   前記画像に基づいて、前記画像のぶれ量を検出するステップと、
   前記画像を表示部に表示するステップと、
   ユーザの操作指示を検出するステップと、
   前記画像が前記表示部に表示されており、前記操作指示が計測起動指示であることを検知したとき、前記画像のぶれ量を検出するステップにて検出された前記画像のぶれ量が所定の閾値を超える場合に、計測不可能である旨の警告メッセージもしくは当該画像のぶれ量を前記表示部に表示し、当該画像に対して、撮像された被写体を計測する計測処理を禁止するステップと、
   を内視鏡装置に実行させるためのプログラム。

Images