JP5253109B2 - 内視鏡装置および内視鏡画像用プログラム - Google Patents

Description

本発明は、被写体を撮像して得られた映像信号を処理する内視鏡装置および内視鏡画像用プログラムに関する。

工業用内視鏡は、ボイラー、タービン、エンジン、化学プラント、水道配管等の内部の傷や腐食等の観察や検査に使用されている。また、内視鏡で撮像された画像上で指定された計測点をもとに長さや面積などの計測を行う機能を備えた工業用内視鏡がある。従来、画像を用いた計測を行う際、ユーザは例えばジョイスティックのレバーを所望の方向に倒すことにより、計測点を指定するためのカーソルを画像上で移動させるという作業を行っていた。

また、カーソルの移動方法として、以下のような方法が使用されていた。例えば、ユーザがジョイスティックのレバーを４方向または８方向のうちのいずれかの方向に倒し、すぐにレバーを元に戻すと、カーソルが所定距離（例えば画像の１ピクセル分の距離）だけ移動していた。また、ユーザがジョイスティックのレバーを所望の方向に長時間倒し続けた場合には、カーソルが加速移動していた。また、アナログジョイスティックを使用している場合には、ユーザがレバーを倒す量に応じてカーソルの移動速度が変化していた。

一方、特許文献１には、画像表示装置において、操作メニュー以外の場所ではカーソルを高速に移動させ、操作メニュー内ではカーソルを細かく移動させる方法が記載されている。
特開平５−３３３８４０号公報

工業用内視鏡を使用する場合、ユーザは画像内の被写体の位置や状態（形状、明るさなど）を考慮して、計測に適した位置を自身で判断し、カーソルをその位置まで移動させるようにしているため、操作に係るユーザの負担が大きかった。例えば、ユーザは所望の位置の近くまでカーソルを移動させた後、所望の位置で移動を完了するためにカーソルを少しずつ移動させなければならないため、何度もレバーの操作を行う必要があった。また、カーソルが高速で移動している場合、カーソルが所望の位置を通り過ぎてしまうことがあり、ユーザはカーソルが所望の位置に移動するまで何度もレバーの操作を行う必要があった。特許文献１に記載された方法においても、操作メニュー以外の画像領域でカーソルを移動させる場合には、上記と同様の操作が必要であった。

本発明は、上述した課題に鑑みてなされたものであって、操作に係るユーザの負担を軽減することができる内視鏡装置および内視鏡画像用プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体を撮像し撮像信号を生成する内視鏡と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する表示信号生成部と、前記映像信号に基づいて、前記カーソルによって指定された位置を基準とする前記画像の特徴量を算出する特徴量算出部と、前記特徴量に応じて前記カーソルの移動を制御する制御部と、前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う計測処理部と、前記カーソルの移動指示を入力機器から検出する検出部と、を備え、前記計測処理部は、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記検出部によって検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、前記特徴量算出部は、前記計測処理部によって計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、前記制御部は、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルを移動させることを特徴とする内視鏡装置である。
また、本発明は、被写体を撮像し撮像信号を生成する内視鏡と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する表示信号生成部と、前記映像信号に基づいて、前記カーソルによって指定された位置を基準とする前記画像の特徴量を算出する特徴量算出部と、前記特徴量に応じて前記カーソルの移動を制御する制御部と、前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う計測処理部と、前記カーソルの移動指示を入力機器から検出する検出部と、を備え、前記計測処理部は、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記検出部によって検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、前記特徴量算出部は、前記計測処理部によって計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、前記制御部は、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルが移動するように前記カーソルの移動方向を制御することを特徴とする内視鏡装置である。

また、本発明は、被写体を撮像し撮像信号を生成する内視鏡と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する表示信号生成部と、前記映像信号に基づいて、前記カーソルによって指定された位置を基準とする前記画像の特徴量を算出する特徴量算出部と、前記特徴量に応じて前記カーソルの移動を制御する制御部と、前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う計測処理部と、を備え、前記特徴量算出部は、前記計測処理部によって計測された前記被写体の計測結果に基づいて前記特徴量を算出し、前記制御部は、前記特徴量が前記計測処理に適しているとき、前記カーソルが移動する速度を遅くすることを特徴とする内視鏡装置である。

また、本発明の内視鏡装置において、前記計測処理部は、同一被写体に関する複数の被写体像における部分画像の一致度、被写体の物体距離の少なくとも１つを前記計測結果として算出することを特徴とする。

また、本発明の内視鏡装置において、前記特徴量算出部は、前記カーソルによって指定された位置を基準とした前記画像の輝度、テクスチャ値の少なくとも１つに基づいて前記特徴量を算出することを特徴とする。

また、本発明は、被写体を撮像し撮像信号を生成する第１のステップと、前記撮像信号に基づいて映像信号を生成する第２のステップと、前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する第３のステップと、前記映像信号に基づいて、前記カーソルによって指定された位置を基準とした前記画像の特徴量を算出する第４のステップと、前記特徴量に応じて前記カーソルの移動を制御する第５のステップと、前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う第６のステップと、前記カーソルの移動指示を入力機器から検出する第７のステップと、をコンピュータに実行させるための内視鏡画像用プログラムであって、前記第６のステップでは、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記第７のステップで検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、前記第４のステップでは、前記第６のステップで計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、前記第５のステップでは、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルを移動させることを特徴とするプログラムである。
また、本発明は、被写体を撮像し撮像信号を生成する第１のステップと、前記撮像信号に基づいて映像信号を生成する第２のステップと、前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する第３のステップと、前記映像信号に基づいて、前記カーソルによって指定された位置を基準とした前記画像の特徴量を算出する第４のステップと、前記特徴量に応じて前記カーソルの移動を制御する第５のステップと、前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う第６のステップと、前記カーソルの移動指示を入力機器から検出する第７のステップと、をコンピュータに実行させるための内視鏡画像用プログラムであって、前記第６のステップでは、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記第７のステップで検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、前記第４のステップでは、前記第６のステップで計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、前記第５のステップでは、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルが移動するように前記カーソルの移動方向を制御することを特徴とするプログラムである。
また、本発明は、被写体を撮像し撮像信号を生成する第１のステップと、前記撮像信号に基づいて映像信号を生成する第２のステップと、前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する第３のステップと、前記映像信号に基づいて、前記カーソルによって指定された位置を基準とした前記画像の特徴量を算出する第４のステップと、前記特徴量に応じて前記カーソルの移動を制御する第５のステップと、前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う第６のステップと、をコンピュータに実行させるための内視鏡画像用プログラムであって、前記第４のステップでは、前記第６のステップで計測された前記被写体の計測結果に基づいて前記特徴量を算出し、前記第５のステップでは、前記特徴量が前記計測処理に適しているとき、前記カーソルが移動する速度を遅くすることを特徴とするプログラムである。

本発明によれば、画像の特徴量に応じてカーソルの移動を制御することによって、被写体の位置や状態を反映したカーソル移動が可能となるため、操作に係るユーザの負担を軽減することができる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ）とを含んで構成されている。

挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタ７ａ，７ｂ、あるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在になっている。

図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。

挿入部２０の先端部２１には固体撮像素子２ａ（図５参照）が内蔵されている。固体撮像素子２ａは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、固体撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、音声信号処理回路１１、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記憶媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューや各種ＧＵＩ部品（カーソル等）とを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューや各種ＧＵＩ部品に基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を行い、映像信号をＬＣＤ５に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、内視鏡画像、操作メニュー等のグラフィック画像、内視鏡画像と操作メニュー等のグラフィック画像との合成画像等が表示される。

音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記憶媒体に記録する音声信号、メモリカード等の記憶媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。また、計測時には、ＣＰＵ１８は、映像信号処理回路１２から映像信号を取り込み、映像信号に基づいて計測処理を実行する。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

図３に示すように、リモートコントローラ４の前面には、ジョイスティック４１、レバースイッチ４２、フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５が設けられている。また、リモートコントローラ４の側面にはＷＩＤＥスイッチ４６およびＴＥＬＥスイッチ４７が設けられている。

ジョイスティック４１は、湾曲部２２の湾曲動作を指示するために操作されるスイッチであり、ユーザがこれを傾倒操作することによって、湾曲部２２がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。また、ジョイスティック４１を真下に押下することによって湾曲動作の微調整の指示を入力することも可能である。レバースイッチ４２は、グラフィック表示される各種メニューの操作や、計測を行う場合のカーソル移動の際に操作されるスイッチであり、ジョイスティック４１と略同様に構成されている。フリーズスイッチ４３は、ＬＣＤ５での表示に関わるスイッチである。

ストアースイッチ４４は、フリーズスイッチ４３の押下によって静止画像が表示された場合に、この静止画像をメモリカードに記録するために用いるスイッチである。計測実行スイッチ４５は、計測ソフトを実行する際に用いるスイッチである。フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５は、オン／オフの指示を押下操作によって行う例えば押下式を採用して構成されている。

ＷＩＤＥスイッチ４６、ＴＥＬＥスイッチ４７はそれぞれ内視鏡画像を拡大、縮小するときに用いるスイッチである。挿入部２０で撮像される内視鏡画像は、映像信号処理回路１２によって必要に応じて拡大または縮小される。この拡大または縮小の倍率の制御はＷＩＤＥスイッチ４６とＴＥＬＥスイッチ４７の操作により行われる。

図４および図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示している。図４および図５に示すように、直視型のステレオ光学アダプタ７ａの先端面には、一対の照明レンズ５１，５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを、先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。

図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂおよび内視鏡ユニット８を介してＣＣＵ９に供給されて映像信号に変換され、その後、映像信号処理回路１２に供給される。以下、この映像信号が構成する画像を元画像と記載する。

次に、図６を参照し、ステレオ計測による計測点の３次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左右の画像上の計測点６１，６２の座標をそれぞれ（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（Ｘ_Ｌ−Ｘ_Ｒ）とする。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２ ・・・（１）
Ｙ＝ｔ×Ｙ_Ｒ ・・・（２）
Ｚ＝ｔ×Ｆ ・・・（３）

上記のように元画像上の計測点６１，６２の座標が決定されると、パラメータＤおよびＦを用いて計測点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心６３、または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

次に、２点間距離を計測する場合を例として、ステレオ計測時の動作を説明する。図７および図８は、ステレオ計測時にＣＰＵ１８が実行する処理を示している。また、図９は、ステレオ計測時にＬＣＤ５に表示される画面（以下、計測画面とする）を示している。

図９（ａ）は、ステレオ計測が開始されたときの計測画面を示している。計測画面には、ステレオ光学アダプタで捉えられた、同一被写体に関する左右の被写体像に対応した左画像９００、右画像９１０と各種のメニュー９２０等が表示される。また、計測画面には、左画像９００または右画像９１０上の位置を指定したり、メニュー９２０から所望の操作を選択したりするためのカーソル９３０が表示される。

ステレオ計測が開始されると、ＣＰＵ１８は、入力機器であるリモートコントローラ４からＲＳ−２３２Ｃ Ｉ／Ｆ１７を介して入力される信号を監視し、レバースイッチ４２の操作を検出する（ステップＳ１００）。続いて、ＣＰＵ１８は、カーソルの移動操作が行われたか否かを判定する（ステップＳ１１０）。ステップＳ１００で検出した操作が、レバースイッチ４２を倒す操作であった場合、ＣＰＵ１８は、カーソルの移動操作が行われたと判断する。この場合には、処理がステップＳ１２０に進む。それ以外の操作が行われた場合には、処理がステップＳ１４０に進む。

レバースイッチ４２を倒す操作が行われた場合、ＣＰＵ１８はカーソルの移動を行う（ステップＳ１２０）。ステップＳ１２０の処理の詳細については、後述する。続いて、ＣＰＵ１８は、２点間距離に関する計測処理を行う（ステップＳ１３０）。

図８は、ステップＳ１３０の処理の詳細を示している。ＣＰＵ１８は、カーソルが左画像上にある場合に、現時点のカーソルの位置を一時計測点に設定し、一時計測点に対応する右画像上の位置（対応点）を検出する（ステップＳ２００）。対応点の位置は、画像を用いた公知のパターンマッチング処理により検出される。続いて、ＣＰＵ１８は、一時計測点とその対応点の２次元座標に基づいて３次元座標を算出する（ステップＳ２１０）。３次元座標の算出方法は、図６を用いて説明した通りである。また、算出された３次元座標のｚ座標が物体距離となる。算出された３次元座標はＲＡＭ１４に格納され、以降の処理において、ＣＰＵ１８によって適宜読み出される。

続いて、ＣＰＵ１８は、対応点および物体距離を表示する処理を実行する（ステップＳ２２０）。このとき、ＣＰＵ１８は、対応点のアイコンや物体距離の文字等を含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、ＣＣＵ９からの映像信号とＣＰＵ１８からのグラフィック画像信号とを合成し、合成後の映像信号をＬＣＤ５へ出力する。図９（ｂ）は、このときの計測画面を示している。カーソル９３０の位置に対応する右画像９１０上の位置に対応点９４０が○印で表示される。また、右画像９１０の下には物体距離９５０が表示される。計測点が確定するまでは、レバースイッチ４２の操作に応じて、カーソル９３０および物体距離９５０がリアルタイムに更新される。

続いて、ＣＰＵ１８は、現時点で確定している計測点の数を判定する（ステップＳ２３０）。後述するように、計測点の確定はレバースイッチ４２の押下により行われる。確定している計測点の数が０個の場合、計測処理が終了する。また、確定している計測点の数が１個の場合、ＣＰＵ１８は、確定している計測点およびその対応点の２次元座標から算出された３次元座標と、一時計測点およびその対応点の２次元座標から算出された３次元座標とに基づいて２点間距離を算出する（ステップＳ２４０）。

続いて、ＣＰＵ１８は、２点間距離を表示する処理を実行する（ステップＳ２５０）。このとき、ＣＰＵ１８は、２点間距離の文字等を含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、ＣＣＵ９からの映像信号とＣＰＵ１８からのグラフィック画像信号とを合成し、合成後の映像信号をＬＣＤ５へ出力する。図９（ｃ）は、このときの計測画面を示している。物体距離９５０の下に２点間距離９６０が表示される。計測点が確定した後は、レバースイッチ４２の操作に応じて、カーソル９３０、物体距離９５０、および２点間距離９６０がリアルタイムに更新される。ステップＳ２５０の処理後、計測処理が終了する。

計測処理に続いて、ＣＰＵ１８は、計測点の確定操作が行われたか否かを判定する（ステップＳ１４０）。ステップＳ１００で検出した操作が、レバースイッチ４２を押下する操作であった場合、ＣＰＵ１８は、計測点の確定操作が行われたと判断する。この場合には、処理がステップＳ１５０に進む。それ以外の操作が行われた場合には、処理がステップＳ１００に戻る。

計測点の確定操作が行われた場合、ＣＰＵ１８は、現時点のカーソルの位置を計測点に設定し、計測点およびその対応点を表示する処理を実行する（ステップＳ１５０）。このとき、ＣＰＵ１８は、計測点および対応点のアイコンや物体距離の文字等を含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、ＣＣＵ９からの映像信号とＣＰＵ１８からのグラフィック画像信号とを合成し、合成後の映像信号をＬＣＤ５へ出力する。図９（ｃ）に示すように、確定した計測点９７０およびその対応点９８０が×印で表示される。

続いて、ＣＰＵ１８は、処理を終了するか否かを判定する（ステップＳ１６０）。再度計測点を確定する操作が行われるなど、所定の操作が検出された場合には、処理が終了する。また、それ以外の場合には、処理がステップＳ１００に戻る。

次に、ステップＳ１２０の処理の詳細を説明する。以下では、３種類の動作例を説明する。

（第１の動作例）
まず、第１の動作例を説明する。第１の動作例では、カーソルの位置を基準とする特徴量算出領域（所定領域）において、画像の特徴量が最大となる位置にカーソルが移動する。本実施形態における特徴量とは、被写体の所定領域の画像が計測にどの程度適しているかを、画像の特徴を用いて量的に表すものである。図１０は、第１の動作例におけるステップＳ１２０の処理の詳細を示している。

ＣＰＵ１８は、現時点での左画像上のカーソルの位置を基準とする特徴量算出領域を設定する（ステップＳ３００）。図１１（ａ）は、特徴量算出領域の一例を示している。カーソル１１００の左側に特徴量算出領域１１１０が設定されている。この特徴量算出領域１１１０は、レバースイッチ４２が左に倒されて、カーソル１１００を左に移動する指示が入力された場合の特徴量算出領域である。特徴量算出領域の形状や大きさは図１１（ａ）に示したものに限定されず、様々な形状や大きさで良い。

カーソル１１００は、特徴量算出領域１１１０内のいずれかの位置に移動する。図１１（ａ）のように、特徴量算出領域１１１０がカーソル１１００の左側に向かって広がっているのは、ユーザがカーソル１１００を左に移動させようとしていることを考慮して、カーソル１１００がユーザの意図と大きく異なる移動をしないようにするためである。

続いて、ＣＰＵ１８は変数Ｆｍａｘを０で初期化する（ステップＳ３１０）。変数Ｆｍａｘは、画像の特徴量の最大値を表す変数である。続いて、ＣＰＵ１８は特徴量算出領域１１１０内の点Ｐ（座標（ｘ，ｙ））における特徴量Ｆを算出する（ステップＳ３２０）。

特徴量算出領域１１１０内の点Ｐにおける特徴量Ｆは以下の手順で算出される。まず、ＣＰＵ１８は、点Ｐとその周辺を含む小領域の部分画像Ｒの画素値の平均μ_Ｒ、標準偏差σ_Ｒ、およびテクスチャ値Ｔ_Ｒを（４）式〜（６）式に従って算出する。ただし、（４）式〜（６）式において、Ｎは部分画像Ｒに含まれる画素の数であり、ｆ（ｉ，ｊ）は画像上の座標（ｉ，ｊ）の画素値である。

続いて、ＣＰＵ１８は、右画像上で部分画像Ｒと一致する部分画像Ｒ’を探索し、部分画像Ｒ，Ｒ’の一致度Ｍを算出する。ここでは、部分画像Ｒ，Ｒ’の一致度Ｍとして、画素値の正規化相互相関係数を用いる。また、ＣＰＵ１８は点Ｐおよびその対応点の２次元座標から３次元座標を算出し、点Ｐでの物体距離Ｚを求める。そして、ＣＰＵ１８は、特徴量Ｆを以下の（７）式に従って算出する。

Ｆ＝ｗ_σσ_Ｒ＋ｗ_ＴＴ_Ｒ＋ｗ_ＭＭ＋ｗ_Ｚｇ（Ｚ） ・・・（７）

（７）式において、ｗ_σ，ｗ_Ｔ，ｗ_Ｍ，ｗ_Ｚは所定の係数であり、ｇ（Ｚ）は、計測に適した物体距離で大きな値をとる関数である。（８）式は、物体距離が５〜１５ｍｍであるときに画像が計測に適し、物体距離が１５ｍｍよりも大きくなるに従って画像が計測に適さなくなる場合の関数ｇ（Ｚ）の一例である。

一般に、被写体のエッジが写っている画像が計測に適している。このような画像では、コントラストが高くなるため、（７）式の標準偏差σ_Ｒ、テクスチャ値Ｔ_Ｒ、部分画像Ｒ，Ｒ’の一致度Ｍが大きくなり、特徴量Ｆに対する寄与が大きくなる。また、上記のように物体距離が所定範囲となる画像では、ｇ（Ｚ）の値が大きくなり、特徴量Ｆに対する寄与が大きくなる。なお、特徴量Fを求める際に部分画像Ｒ，Ｒ’の一致度Ｍ、及び物体距離Ｚの少なくとも一方のみを用いてもよいし、ＣＰＵ１８の演算能力が十分でない場合には、テクスチャ値Ｔ_Ｒや、部分画像Ｒ，Ｒ’の一致度Ｍ、物体距離Ｚの計算を省略し、ｗ_Ｔ＝０、ｗ_Ｍ＝０、ｗ_Ｚ＝０などとしてもよい。以上のようにして、特徴量Ｆが算出される。

ステップＳ３２０に続いて、ＣＰＵ１８は、ステップＳ３２０で算出した特徴量Ｆと変数Ｆｍａｘの値を比較し、Ｆ＞Ｆｍａｘであるか否かを判定する（ステップＳ３３０）。Ｆ＞Ｆｍａｘであった場合、ＣＰＵ１８は、変数Ｐｍａｘの値を画素Ｐの座標（ｘ，ｙ）とし、変数Ｆｍａｘの値を特徴量Ｆの値とする（ステップＳ３４０）。また、Ｆ≦Ｆｍａｘであった場合には、ＣＰＵ１８はステップＳ３４０の処理をスキップし、次の処理に移る。

特徴量算出領域内の各点について、ステップＳ３２０〜Ｓ３４０の処理が実行される。処理対象となる点は特徴量算出領域内の全ての点でなくてもよく、特徴量算出領域を複数の部分領域に分割し、各部分領域の代表点のみを処理対象としてもよい。

上記の処理の結果、変数Ｆｍａｘの値は特徴量算出領域における特徴量Ｆの最大値となり、変数Ｐｍａｘの値は特徴量Ｆが最大値をとる点の座標となる。続いて、ＣＰＵ１８は、変数Ｐｍａｘの値が示す座標の位置にカーソルを移動させる処理を実行する（ステップＳ３５０）。このとき、ＣＰＵ１８は、カーソル等を含むグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、ＣＣＵ９からの映像信号とＣＰＵ１８からのグラフィック画像信号とを合成し、合成後の映像信号をＬＣＤ５へ出力する。

図１１（ｂ）はカーソルの移動例を示している。カーソル１１００は、特徴量算出領域１１１０において、被写体１１２０のエッジの位置に移動している。

上記の処理において、変数Ｆｍａｘの値と所定の閾値を比較し、変数Ｆｍａｘの値が所定の閾値を超えている場合には、上記のように変数Ｐｍａｘの値が示す座標の位置にカーソルを移動させ、変数Ｆｍａｘの値が所定の閾値を超えていない場合には、レバースイッチ４２が倒された方向に所定距離（例えば１画素）だけカーソルを移動させるようにしてもよい。

また、特徴量算出領域内の各点における特徴量Ｆに対して、カーソル位置から各点までの距離に応じた係数αを乗算し、α×Ｆの値が最大となる点の位置にカーソルを移動させるようにしてもよい。これによって、状況に応じて、現時点のカーソル位置から遠い位置または近い位置に対して優先的にカーソルを移動させやすくすることができる。

第１の動作例によれば、レバースイッチ４２が倒された方向にある、画像の特徴量が大きい位置までカーソルが移動するので、計測に適した位置までカーソルを短時間に容易に移動させることができる。

（第２の動作例）
次に、第２の動作例を説明する。第２の動作例では、画像の特徴量に応じてカーソルの移動速度が変化する。図１２は、第２の動作例におけるステップＳ１２０の処理の詳細を示している。

ＣＰＵ１８は、現時点でのカーソル位置における特徴量Ｆを算出する（ステップＳ４００）。特徴量Ｆの算出方法は第１の動作例と同様である。続いて、ＣＰＵ１８は、特徴量Ｆに基づいてカーソルの移動速度を決定する（ステップＳ４１０）。一般に、ユーザは画像上で特徴量の大きい位置を指定するため、特徴量が小さい位置ではカーソルを速く移動させ、特徴量が大きい位置ではカーソルを遅く移動させることで、ユーザがカーソルを所望の位置まで移動させやすくなる。

カーソルの移動速度の制御は、より具体的には、例えばカーソルの移動距離の制御により行われる。図１３は、特徴量Ｆとカーソルの移動距離Ｌの関係の一例を示している。特徴量Ｆが所定値Ｆ_１以下の場合、カーソルの移動距離Ｌは一定値Ｌ_２である。特徴量Ｆが所定値Ｆ_１よりも大きく所定値Ｆ_２以下の場合、特徴量Ｆの増加に応じてカーソルの移動距離Ｌは減少する。特徴量Ｆが所定値Ｆ_１よりも大きい場合、カーソルの移動距離Ｌは一定値Ｌ_１である。

ＣＰＵ１８は、レバースイッチ４２が倒された方向に、ステップＳ４１０で決定した移動速度でカーソルが移動するように、カーソルの移動を行う（ステップＳ４２０）。例えば、カーソルの移動距離を制御することによってカーソルの移動速度を制御する場合、ＣＰＵ１８は、現時点でのカーソル位置から、レバースイッチ４２が倒された方向に、特徴量Ｆに応じた距離だけ離れた位置にカーソルを表示する処理を行う。

カーソルの移動速度の制御は、カーソルの移動時間間隔の制御により行ってもよい。より具体的には、まずＣＰＵ１８は、特徴量Ｆに応じた移動時間間隔を設定する。特徴量Ｆが小さい場合には、カーソルを高速で移動させるために移動時間間隔は小さくなり、特徴量Ｆが大きい場合には、カーソルを低速で移動させるために移動時間間隔は大きくなる。ＣＰＵ１８は、タイマーを作動させて、設定した移動時間間隔が経過するまで待機し、設定した移動時間間隔が経過したら、現時点でのカーソル位置から、レバースイッチ４２が倒された方向に所定距離だけ離れた位置にカーソルを表示する処理を行う。

第２の動作例によれば、画像の特徴量が小さく計測に適さない位置ではカーソルが高速に移動し、画像の特徴量が大きく計測に適した位置ではカーソルがゆっくり移動するので、計測に適した位置までカーソルを短時間に容易に移動させることができる。

（第３の動作例）
次に、第３の動作例を説明する。第３の動作例では、画像の特徴量に応じてカーソルの移動方向が変化する。図１４は、第３の動作例におけるステップＳ１２０の処理の詳細を示している。

ＣＰＵ１８は、現時点でのカーソル位置を中心とする複数位置の中から、特徴量Ｆを算出する位置を決定する（ステップＳ５００）。図１５は、特徴量Ｆを算出する位置の一例を示している。特徴量Ｆは、現時点でのカーソル位置１５００を中心とする円状に並んだ１６点のうちのいずれかで算出される。例えば、レバースイッチ４２が左側に倒された場合、現時点でのカーソル位置１５００の左側に位置する３つの点１５１０，１５１１，１５１２で特徴量Ｆが算出される。

特徴量Ｆを算出する位置を決定した後、ＣＰＵ１８は、決定した位置における特徴量Ｆを算出する（ステップＳ５１０）。特徴量Ｆの算出方法は第１の動作例と同様である。続いて、ＣＰＵ１８は、複数点の特徴量Ｆに基づいてカーソルの移動方向を決定する（ステップＳ５２０）。このとき、特徴量Ｆがより大きな方向がカーソルの移動方向となる。

続いて、ＣＰＵ１８は、ステップＳ５１０で決定した方向に所定距離だけカーソルが移動するように、カーソルの移動を行う（ステップＳ５３０）。より具体的には、例えば図１５の点１５１０，１５１１，１５１２で特徴量Ｆが算出された場合、これら３つの点のうち、特徴量Ｆが最大となる点にカーソルが移動する。カーソルがユーザの意図と大きく異なる移動をしないようにするため、カーソルの移動方向は、レバースイッチ４２が倒された方向を基準とする一定範囲内の方向とすることが望ましい。

第３の動作例によれば、画像の特徴量が大きな方向に向かってカーソルが移動するので、計測に適した位置までカーソルを短時間に容易に移動させることができる。

（第４の動作例）
次に、第４の動作例を説明する。第４の動作例では、上記の第１〜第３の動作例によるカーソルの移動制御を複数組み合わせた制御が行われる。動作例の組合せとして、様々な組合せが考えられるが、以下では一例として、第１の動作例によるカーソルの移動制御と第２の動作例によるカーソルの移動制御とを組み合わせた制御方法を説明する。図１６は、第４の動作例におけるステップＳ１２０の処理の詳細を示している。

まず、ＣＰＵ１８は、第１の動作例で説明した処理（図１０）に従ってカーソルの移動を行う（ステップＳ６００）。続いて、ＣＰＵ１８は、リモートコントローラ４からＲＳ−２３２Ｃ Ｉ／Ｆ１７を介して入力される信号を監視し、レバースイッチ４２を倒す操作が継続されているか否かを判定する（ステップＳ６１０）。

レバースイッチ４２を倒す操作が継続されている場合（レバースイッチ４２を倒した状態が保持されている場合）、ＣＰＵ１８は、第２の動作例で説明した処理（図１２）に従ってカーソルの移動を行う（ステップＳ６２０）。続いて、処理はステップＳ６００に戻る。また、レバースイッチ４２を倒す操作が継続されていない場合（レバースイッチ４２が元の状態に戻された場合）には、処理が終了する。

上記の処理によれば、まず、第１の動作例で説明した処理（図１０）に従って、特徴量算出領域内で画像の特徴量が最大となる位置にカーソルが移動する。ユーザの指定したい場所がカーソル位置の近くにある場合には、計測に適した位置にカーソルを短時間に移動させることができる。もし、ユーザの指定したい場所がカーソル位置の近くにない場合には、ユーザはカーソルを長距離移動させる必要がある。したがって、レバースイッチ４２を倒す操作が継続されている場合には、ユーザの指定したい点がカーソル位置から遠い場所にあると考えられる。

そこで、レバースイッチ４２を倒す操作が継続されている間は、第２の動作例で説明した処理（図１２）に従って、カーソル位置における画像の特徴量に応じた速度でカーソルが移動する。画像の特徴量が小さな位置ではカーソルの移動が速いので、所望の位置までカーソルを短時間に移動させることができる。また、画像の特徴量が大きな位置までカーソルが移動すると、カーソルの移動が遅くなるので、カーソルの移動を止めるタイミングを逸してカーソルが所望の位置を通り過ぎてしまうということがなくなる。

上記では、第１の動作例によるカーソルの移動制御を行った後、第２の動作例によるカーソルの移動制御を行っているが、順番は逆でもよい。また、カーソルの移動制御の組合せは上記に限らず、第３の動作例によるカーソルの移動制御も含めて、様々な組合せが考えられる。

第４の動作例によれば、カーソルの移動制御を複数組み合わせることによって、レバースイッチ４２の操作に応じて、カーソルの移動に対してユーザの意図ができるだけ反映されるようにカーソルを移動させることができる。

上述したように、本実施形態によれば、被写体の位置や状態に応じて変化する画像の特徴量に応じてカーソルの移動を制御することによって、被写体の位置や状態を反映したカーソル移動が可能となるため、操作に係るユーザの負担を軽減することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態による内視鏡装置が備えるリモートコントローラの斜視図である。 本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの斜視図である。 本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。 本発明の一実施形態におけるステレオ計測による計測点の３次元座標の求め方を説明するための参考図である。 本発明の一実施形態における計測時の処理の手順を示すフローチャートである。 本発明の一実施形態における計測時の処理の手順を示すフローチャートである。 本発明の一実施形態における計測画面を示す参考図である。 本発明の一実施形態における第１の動作例に係る処理の手順を示すフローチャートである。 本発明の一実施形態における第１の動作例によるカーソルの移動方法を説明するための参考図である。 本発明の一実施形態における第２の動作例に係る処理の手順を示すフローチャートである。 本発明の一実施形態における第２の動作例によるカーソルの移動方法を説明するための参考図である。 本発明の一実施形態における第３の動作例に係る処理の手順を示すフローチャートである。 本発明の一実施形態における第３の動作例によるカーソルの移動方法を説明するための参考図である。 本発明の一実施形態における第４の動作例に係る処理の手順を示すフローチャートである。

符号の説明

１・・・内視鏡装置、２・・・内視鏡、４・・・リモートコントローラ、９・・・ＣＣＵ（映像信号生成部）、１２・・・映像信号処理回路（表示信号生成部）、１８・・・ＣＰＵ（検出部、計測処理部、特徴量算出部、制御部）

Claims (8)

1. 被写体を撮像し撮像信号を生成する内視鏡と、
   前記撮像信号に基づいて映像信号を生成する映像信号生成部と、
   前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する表示信号生成部と、
   前記映像信号に基づいて、前記カーソルによって指定された位置を基準とする前記画像の特徴量を算出する特徴量算出部と、
   前記特徴量に応じて前記カーソルの移動を制御する制御部と、
   前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う計測処理部と、
   前記カーソルの移動指示を入力機器から検出する検出部と、
   を備え、
   前記計測処理部は、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記検出部によって検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、
   前記特徴量算出部は、前記計測処理部によって計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、
   前記制御部は、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルを移動させる
   ことを特徴とする内視鏡装置。
2. 被写体を撮像し撮像信号を生成する内視鏡と、
   前記撮像信号に基づいて映像信号を生成する映像信号生成部と、
   前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する表示信号生成部と、
   前記映像信号に基づいて、前記カーソルによって指定された位置を基準とする前記画像の特徴量を算出する特徴量算出部と、
   前記特徴量に応じて前記カーソルの移動を制御する制御部と、
   前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う計測処理部と、
   前記カーソルの移動指示を入力機器から検出する検出部と、
   を備え、
   前記計測処理部は、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記検出部によって検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、
   前記特徴量算出部は、前記計測処理部によって計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、
   前記制御部は、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルが移動するように前記カーソルの移動方向を制御する
   ことを特徴とする内視鏡装置。
3. 被写体を撮像し撮像信号を生成する内視鏡と、
   前記撮像信号に基づいて映像信号を生成する映像信号生成部と、
   前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する表示信号生成部と、
   前記映像信号に基づいて、前記カーソルによって指定された位置を基準とする前記画像の特徴量を算出する特徴量算出部と、
   前記特徴量に応じて前記カーソルの移動を制御する制御部と、
   前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う計測処理部と、
   を備え、
   前記特徴量算出部は、前記計測処理部によって計測された前記被写体の計測結果に基づいて前記特徴量を算出し、
   前記制御部は、前記特徴量が前記計測処理に適しているとき、前記カーソルが移動する速度を遅くする
   ことを特徴とする内視鏡装置。
4. 前記計測処理部は、同一被写体に関する複数の被写体像における部分画像の一致度、被写体の物体距離の少なくとも１つを前記計測結果として算出することを特徴とする請求項１〜請求項３の何れか１項に記載の内視鏡装置。
5. 前記特徴量算出部は、前記カーソルによって指定された位置を基準とした前記画像の輝度、テクスチャ値の少なくとも１つに基づいて前記特徴量を算出することを特徴とする請求項１〜請求項４の何れか１項に記載の内視鏡装置。
6. 被写体を撮像し撮像信号を生成する第１のステップと、
   前記撮像信号に基づいて映像信号を生成する第２のステップと、
   前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する第３のステップと、
   前記映像信号に基づいて、前記カーソルによって指定された位置を基準とした前記画像の特徴量を算出する第４のステップと、
   前記特徴量に応じて前記カーソルの移動を制御する第５のステップと、
   前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う第６のステップと、
   前記カーソルの移動指示を入力機器から検出する第７のステップと、
   をコンピュータに実行させるための内視鏡画像用プログラムであって、
   前記第６のステップでは、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記第７のステップで検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、
   前記第４のステップでは、前記第６のステップで計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、
   前記第５のステップでは、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルを移動させる
   ことを特徴とするプログラム。
7. 被写体を撮像し撮像信号を生成する第１のステップと、
   前記撮像信号に基づいて映像信号を生成する第２のステップと、
   前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する第３のステップと、
   前記映像信号に基づいて、前記カーソルによって指定された位置を基準とした前記画像の特徴量を算出する第４のステップと、
   前記特徴量に応じて前記カーソルの移動を制御する第５のステップと、
   前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う第６のステップと、
   前記カーソルの移動指示を入力機器から検出する第７のステップと、
   をコンピュータに実行させるための内視鏡画像用プログラムであって、
   前記第６のステップでは、前記カーソルによって指定された前記画像上の位置を基準とした所定領域に含まれる前記被写体を計測し、前記第７のステップで検出される前記カーソルの移動方向に基づいて、前記所定領域を決定し、
   前記第４のステップでは、前記第６のステップで計測された前記被写体の計測結果に基づいて前記所定領域内における前記被写体の前記特徴量を算出し、
   前記第５のステップでは、前記特徴量に基づいて前記所定領域内で前記計測処理に適している領域に前記カーソルが移動するように前記カーソルの移動方向を制御する
   ことを特徴とするプログラム。
8. 被写体を撮像し撮像信号を生成する第１のステップと、
   前記撮像信号に基づいて映像信号を生成する第２のステップと、
   前記映像信号に基づく画像上の位置を指定するカーソルを前記画像と共に表示するための表示信号を生成する第３のステップと、
   前記映像信号に基づいて、前記カーソルによって指定された位置を基準とした前記画像の特徴量を算出する第４のステップと、
   前記特徴量に応じて前記カーソルの移動を制御する第５のステップと、
   前記カーソルによって指定された前記画像上の位置に基づいて前記被写体の計測処理を行う第６のステップと、
   をコンピュータに実行させるための内視鏡画像用プログラムであって、
   前記第４のステップでは、前記第６のステップで計測された前記被写体の計測結果に基づいて前記特徴量を算出し、
   前記第５のステップでは、前記特徴量が前記計測処理に適しているとき、前記カーソルが移動する速度を遅くする
   ことを特徴とするプログラム。

Images