JP5026769B2

JP5026769B2 - 計測用内視鏡装置、プログラム、および記録媒体

Info

Publication number: JP5026769B2
Application number: JP2006307639A
Authority: JP
Inventors: 高広土井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-11-14
Filing date: 2006-11-14
Publication date: 2012-09-19
Anticipated expiration: 2026-11-14
Also published as: JP2008122759A

Description

本発明は、画像データを用いて被写体までの距離を三角測量の原理で計算する機能を有する計測用内視鏡装置、およびその動作を制御するためのプログラムに関する。また、本発明は、このプログラムを記録した記録媒体にも関する。

工業用内視鏡は、ボイラー、タービン、エンジン、化学プラント、水道配管等の内部の傷や腐食等の観察や検査に使用されている。工業用内視鏡では、多様な観察物を観察および検査することができるようにするため、複数種類の光学アダプタが用意されており、内視鏡の先端部分は交換可能となっている。

上記の光学アダプタとして、観察光学系に左右２つの視野を形成するステレオ光学アダプタがある。特許文献１には、ステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学系測距点の座標に基づいて、三角測量の原理を使用して被写体の三次元空間座標を求め、ライブ状態の撮影画像から被写体距離をリアルタイムでユーザに提供する計測用内視鏡装置が記載されている。
特開２００６−１３６７０６号公報

しかし、特許文献１に記載された計測用内視鏡装置では、ユーザが被写体距離を知ることはできるが、実際に被写体の詳細な計測を行うまで被写体の大きさは分からなかった。

本発明は、上述した課題に鑑みてなされたものであって、被写体の大きさをリアルタイムでユーザに知らせることができる内視鏡装置、プログラム、および記録媒体を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体像を光電変換し、撮像信号を生成する内視鏡と、前記撮像信号を処理し、画像データを生成する信号処理手段と、前記画像データに基づいた前記被写体の画像を表示する表示手段と、前記被写体の画像と共に前記表示手段に表示される照準を移動させる移動手段と、前記照準が示す前記被写体の画像上の座標に基づいて、前記被写体までの被写体距離を計算する測距処理手段と、前記被写体距離と前記内視鏡の視野角とに基づいて、前記照準が示す前記被写体の画像上の座標に対応する前記被写体の大きさの目安となる目印の大きさを計算する計測処理手段と、を備え、前記表示手段は、前記被写体の画像と共に前記目印を表示することを特徴とする計測用内視鏡装置である。

また、本発明の計測用内視鏡装置において、前記移動手段による前記照準の移動により前記照準が示す前記被写体の画像上の前記座標が変化したとき、前記測距処理手段は変化後の前記照準が示す前記座標に基づいて前記被写体距離を計算し、前記計測処理手段は前記目印の大きさを、変化後の前記照準が示す前記座標に基づいた前記被写体距離と前記視野角とに基づいて計算することを特徴とする。
また、本発明の計測用内視鏡装置において、前記計測処理手段は、前記被写体距離と前記内視鏡の視野角と前記目印の表示上の大きさとに基づいて、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさを計算することを特徴とする。

また、本発明の計測用内視鏡装置において、前記計測処理手段は、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、前記目印の固定された表示上の大きさとに基づいて、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の被写体上の大きさを計算することを特徴とする。
また、本発明の計測用内視鏡装置において、前記計測処理手段は、前記被写体距離と前記内視鏡の視野角と、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする。

また、本発明の計測用内視鏡装置において、前記計測処理手段は、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の固定された被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする。
また、本発明の計測用内視鏡装置において、前記表示手段は、前記被写体の画像を表示すると共に、前記被写体距離の測距点を示す照準に前記目印を重ねて表示することを特徴とする。

また、本発明の計測用内視鏡装置において、前記表示手段は、前記被写体の画像および前記目印を表示すると共に、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさの値を表示することを特徴とする。

また、本発明の計測用内視鏡装置において、前記表示手段は、前記被写体の画像を表示すると共に、前記被写体の画像の枠の周辺に前記目印を表示することを特徴とする。

また、本発明の計測用内視鏡装置において、前記表示手段は、前記被写体の画像および前記目印を表示すると共に、前記被写体距離を表示することを特徴とする。

また、本発明の計測用内視鏡装置において、前記計測処理手段は、所定の演算式に基づいて前記目印の大きさを計算することを特徴とする。

また、本発明の計測用内視鏡装置において、前記計測処理手段は、所定のテーブルの値に基づいて前記目印の大きさを計算することを特徴とする。

また、本発明は、被写体像を光電変換し、撮像信号を生成する内視鏡と、前記撮像信号を処理し、画像データを生成する信号処理手段と、前記画像データに基づいた前記被写体の画像を表示する表示手段と、を備えた計測用内視鏡装置のコンピュータに、前記被写体の画像と共に前記表示手段に表示される照準を移動させる移動処理と、前記照準が示す前記被写体の画像上の座標に基づいて、前記被写体までの被写体距離を計算する測距処理と、前記被写体距離と前記内視鏡の視野角とに基づいて、前記照準が示す前記被写体の画像上の座標に対応する前記被写体の大きさの目安となる目印の大きさを計算する計測処理と、前記被写体の画像と共に前記目印を表示する表示処理と、を実行させるためのプログラムである。

また、本発明のプログラムにおいて、前記移動処理による前記照準の移動により前記照準が示す前記被写体の画像上の前記座標が変化したとき、前記測距処理では変化後の前記照準が示す前記座標に基づいて前記被写体距離を計算し、前記計測処理では前記目印の大きさを、変化後の前記照準が示す前記座標に基づいた前記被写体距離と前記視野角とに基づいて計算することを特徴とする。
また、本発明のプログラムにおいて、前記計測処理では、前記被写体距離と前記内視鏡の視野角と前記目印の表示上の大きさとに基づいて、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさを計算することを特徴とする。

また、本発明のプログラムにおいて、前記計測処理では、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、前記目印の固定された表示上の大きさとに基づいて、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の被写体上の大きさを計算することを特徴とする。
また、本発明のプログラムにおいて、前記計測処理では、前記被写体距離と前記内視鏡の視野角と、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする。

また、本発明のプログラムにおいて、前記計測処理では、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の固定された被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする。
また、本発明のプログラムにおいて、前記表示処理では、前記被写体の画像を表示すると共に、前記被写体距離の測距点を示す照準に前記目印を重ねて表示することを特徴とする。

また、本発明のプログラムにおいて、前記表示処理では、前記被写体の画像および前記目印を表示すると共に、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさの値を表示することを特徴とする。

また、本発明のプログラムにおいて、前記表示処理では、前記被写体の画像を表示すると共に、前記被写体の画像の枠の周辺に前記目印を表示することを特徴とする。

また、本発明のプログラムにおいて、前記表示処理では、前記被写体の画像および前記目印を表示すると共に、前記被写体距離を表示することを特徴とする。

また、本発明のプログラムにおいて、前記計測処理では、所定の演算式に基づいて前記目印の大きさを計算することを特徴とする。

また、本発明のプログラムにおいて、前記計測処理では、所定のテーブルの値に基づいて前記目印の大きさを計算することを特徴とする。

また、本発明は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、被写体距離と内視鏡の視野角とに基づいて目印の大きさが計算され、被写体の画像と共に目印が表示されるので、被写体の大きさをリアルタイムでユーザに知らせることができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置（計測用内視鏡装置）の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ）と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的なステレオ画像として立体視可能にするＦＭＤ６（フェイスマウントディスプレイ）と、このＦＭＤ６に画像データを供給するＦＭＤアダプタ６ａ等で主に構成されている。

挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタ７ａ，７ｂ、あるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在になっている。

図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。

挿入部２０の先端部２１には固体撮像素子２ａが内蔵されている。固体撮像素子２ａは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、固体撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、音声信号処理回路１１、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢＩ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２ＣＩ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。

ＲＳ−２３２ＣＩ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢＩ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢＩ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記録媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づく表示信号とＣＣＵ９からの映像信号を合成する処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を行い、映像信号をＬＣＤ５に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記録媒体に記録する音声信号、メモリカード等の記録媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

図３に示すように、リモートコントローラ４の前面には、ジョイスティック４１、レバースイッチ４２、フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５が設けられている。また、リモートコントローラ４の側面にはズームレバー４７が設けられている。

ジョイスティック４１は、湾曲部２２の湾曲動作を指示するために操作されるスイッチであり、ユーザがこれを傾倒操作することによって、湾曲部２２がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。レバースイッチ４２は、グラフィック表示される各種メニューの操作や、計測を行う場合のポインター移動の際に操作されるスイッチであり、ジョイスティック４１と略同様に構成されている。フリーズスイッチ４３は、ＬＣＤ５での表示に関わるスイッチである。ストアースイッチ４４は、フリーズスイッチ４３の押下によって静止画像が表示された場合に、この静止画像をメモリカードに記録するときに用いるスイッチである。計測実行スイッチ４５は、計測ソフトを実行する際に用いるスイッチである。

なお、フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５は、オン／オフの指示を押下操作によって行う例えば押下式を採用して構成されている。コネクタ部４６は、ＦＭＤアダプタ６ａから伸びる電気ケーブルが接続される接続部であり、このコネクタ部４６に電気ケーブルを接続することによって、ＦＭＤ６を通してステレオ観察を行えるようになっている。ズームレバー４７は、手前と奥とに倒せる方向スイッチであり、電子ズームの制御を行う際に操作される。ユーザがズームレバー４７を奥に倒すとテレ（拡大）、手前に倒すとワイド（縮小）に動作する。

図４および図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示している。図４および図５に示すように、直視型のステレオ光学アダプタ７ａの先端面には、一対の照明レンズ５１，５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを、先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。

図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂおよび内視鏡ユニット８を介してＣＣＵ９に供給されて映像信号に変換され、その後、映像信号処理回路１２に供給される。

本実施形態の内視鏡装置１では、次の（ａ１）〜（ｄ）に示すように、各内視鏡２に特有の撮像光学系の光学データが測定され、その光学データが、記録媒体である例えばメモリカード（ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等）に記録される。この光学データは以下の通りである。
（ａ１）２つの対物光学系の幾何学的歪み補正テーブル
（ａ２）像伝送光学系の幾何学歪み補正テーブル
（ｂ）左右の結像光学系それぞれの焦点距離
（ｃ）左右の結像光学系の主点間の距離
（ｄ）左右の結像光学系それぞれの画像上での光軸位置座標

上記の光学データの収集を行った後の内視鏡装置１にパーソナルコンピュータ３１を接続して、次に示す（１）〜（５）の処理を行って各種寸法計測を行うことができる。
（１）上記メモリカードから上記（ａ１）〜（ｄ）の光学データを読み込む。
（２）本内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（３）上記の取り込んだ画像を、上記（ａ１）〜（ｄ）の光学データを基に座標変換する。
（４）座標変換された画像を基に、撮像データのマッチングにより任意の点の三次元座標を求める。
（５）上記三次元座標を基に各種三次元計測を行う。

次に、本実施形態の内視鏡装置１による被写体計測の原理を説明する。図６は、ｘ，ｙ，ｚ軸をもつ三次元空間座標系上の左右の２画像の位置関係を示している。この図６には、被写体までの距離（被写体距離）の計測対象となる測距点Ｐが撮像素子の右結像面１０１Ｒおよび左結像面１０１Ｌ上に結像した状態が示されている。図６において、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点Ｑ_Ｒ，Ｑ_Ｌを点Ｐの結像位置とし、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。

図６において、直線Ｑ_Ｒ−ＯＲから次式が成立する。
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ）・・・（１）
また、直線Ｑ_Ｌ−ＯＬから次式が成立する。
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ）・・・（２）
この式をｘ，ｙ，ｚについて解けば、点Ｐの三次元座標が得られる。これにより、ステレオ光学アダプタの先端から被写体までの距離（被写体距離）が求まる。

ここで、光学系の主点である点ＯＲと点ＯＬ間の距離、および結像光学系の焦点距離は、光学データとして予め記録されている。点Ｑ_Ｌの座標は測距点の座標そのものである。点Ｑ_Ｒは、測距点に対応する点を右画像の中から探索することで得ることができる。このことから、例えば、左画像を基準とした場合には、左画像での測距点（Ｑ_Ｌ）に対応する右画像の対応点（Ｑ_Ｒ）をマッチング処理により探索し、右画像の対応点が探索されたら、上式により空間座標を計算することで、測距点までの距離を求めることができる。

図７において観察領域７０１は、ステレオ光学アダプタ７０２が被写体像として取り込むことができる領域を示している。観察領域７０１の中心の点Ｐが測距点であり、その三次元座標は、（１）式および（２）式をｘ，ｙ，ｚについて解くことにより求まる。本実施形態では、被写体の大きさの目安となる目印が内視鏡画像と共に表示されるが、ステレオ光学アダプタ７０２から被写体距離Ｘだけ離れた位置における目印の実際の被写体上での大きさを図中のＹが示している。三角関数ｔａｎθ＝Ｙ／Ｘから次式が成立する。
Ｙ＝Ｘ×ｔａｎθ ・・・（３）

ステレオ光学アダプタの視野角は固体毎に確定している。図８のように、観察領域８０１の幅をＡ、目印の大きさをＢ、ステレオ光学アダプタ８０２の視野角をθ１、目印の大きさによって形成される角度をθ２とすると、θ１：θ２＝Ａ：Ｂが成立するので、この式から次式が成立する。
θ２＝Ｂ×θ１／Ａ・・・（４）

観察領域８０１の大きさを、表示される内視鏡画像の大きさと同じと仮定した場合、観察領域８０１の幅Ａは、表示される内視鏡画像の幅に一致し、目印の大きさＢは目印の表示上の大きさと一致する。Ｂの値が予め定まっているものとすれば、Ａ，θ１の値が予め分かっていることから、（４）式よりθ２の値を計算することができる。（４）式より求まったθ２の値と、前述したように求まったＸの値とを（３）式に代入することにより、Ｙの値を求めることができる。

次に、本実施形態における内視鏡画像の表示例を説明する。図９において、ＬＣＤ５あるいはＦＭＤ６の表示画面９０１内に右画像９０２Ｒと左画像９０２Ｌが表示されている。これらの画像には被写体９０３が写っている。また、左画像９０２Ｌには目印９０４が表示されている。左画像９０２Ｌの横幅は図８のＡに相当し、目印９０４の矢印の長さは図８のＢに相当する。したがって、上記の（３）式および（４）式により、目印９０４の矢印の長さに相当する実際の被写体上の長さを算出することができる。

この被写体上の長さが目印長さ表示キャラクタ９０５として表示されている。また、被写体距離も距離表示キャラクタ９０６として表示されている。ユーザは、表示された被写体９０３と目印９０４を比較することによって、簡易的に被写体の大きさを知ることができる。図９の目印９０４は、被写体距離の測距点を示す照準も兼ねている。目印９０４の中心点９０４ａが照準である。図９のように、目印９０４を照準に重ねて表示することによって、少ないスペースで情報を表示することができる。

図１０〜図１１は内視鏡画像の他の表示例を示している。目印の形状は、図９に示した形状に限らず、図１０（ａ）に示す目印１００１や、図１０（ｂ）に示す目印１００２、図１０（ｃ）に示す目印１００３のような形状でもよい。目印１００１と１００２の中心１００１ａと１００２ａが照準である。また、目印１００３の中心も照準となっている。さらに、図１１（ａ）の目印１１０１と照準１１０２、図１１（ｂ）の目印１１０３と照準１１０４が示すように、目印と照準が別個に表示されてもよい。このように、目印と照準が別個に表示される場合には、照準の位置を分かりやすく表示することができる。また、目印１１０１と１１０３が示すように、目印を被写体画像の枠の周辺に表示してもよい。

次に、本実施形態における被写体計測処理の具体的な手順を説明する。まず、図１２を参照し、第１の動作例の手順を説明する。この第１の動作例では、目印の表示上の大きさが固定されている。被写体計測処理は、以下の起動条件で、ズームレバー４７をワイド端側に設定することで起動される。
（Ａ）光学アダプタの設定がステレオ光学アダプタになっている。
（Ｂ）ライブ画像表示、あるいは、フリーズ画像表示中である。
（Ｃ）電子ズームがワイド端（電子ズームが１倍）である。

被写体計測処理が起動されると、ＣＰＵ１８は以下の手順に従って動作する。まず、初期化処理（ステップＳ１００）を行い、続いて内視鏡装置１の動作モードが計測モードであるか否かを判定する（ステップＳ１１０）。動作モードが計測モード以外のモードであった場合には、被写体計測処理を終了する。また、動作モードが計測モードであった場合には、照準の座標が計測可能領域内であるか否かを判定する（ステップＳ１２０）。照準の座標が計測可能領域の範囲外にある場合には、警告の表示処理を行い（ステップＳ１３０）、被写体計測処理を終了する。

また、照準の座標が計測可能領域内にある場合には、図１３に示す測距処理を実行し、測距点の被写体距離を計算する（ステップＳ１４０）。続いて、図１４に示す計測処理を実行し、目印の表示上の所定の大きさに対応した被写体上の距離を計算し（ステップＳ１５０）、被写体距離および目印の表示処理を行う（ステップＳ１６０）。計測結果を表示した後、ユーザによる終了操作の有無を判定し（ステップＳ１７０）、終了操作があった場合には、被写体計測処理を終了する。また、終了操作がなかった場合には、ステップＳ１４０に戻り、処理を継続する。

図１３は、図１２のステップＳ１４０の詳細を示している。ＣＰＵ１８は映像信号処理回路１２から画像データを取得し、ＲＡＭ１４に格納する（ステップＳ２００）。続いて、ＣＰＵ１８は、この画像データが示す観察画像から右画像を切り出す処理（ステップＳ２１０）と、左画像を切り出す処理（ステップＳ２２０）とを行う。また、一般に、レンズ系による画像には光学的な歪みがあり、計測を行う場合には、この歪みが大きな誤差原因となるため、ＣＰＵ１８は各画像からこの歪みを取り除く処理を行う（ステップＳ２３０，Ｓ２４０）。

続いて、ＣＰＵ１８は、左画像において、照準の中心位置を測距点とし、パターンマッチングにより右画像との相関を求め、右画像の中から、測距点に対応する点を探索する（ステップＳ２５０）。続いて、ＣＰＵ１８は、（１）式および（２）式に基づいた三角測量の原理により、測距点の空間座標を計算し、測距点までの距離（被写体距離）を求める（ステップＳ２６０）。求まった被写体距離はＲＡＭ１４に格納される。

図１４は、図１２のステップＳ１５０の詳細を示している。ＣＰＵ１８は、図１３のステップＳ２６０で計算した被写体距離をＲＡＭ１４から読み出して取得し（ステップＳ３００）、前述した（３）式のＹの値を計算する（ステップＳ３１０）。この際に、前述した（３）式および（４）式に基づいた演算によりＹの値を求めてもよいし、テーブルの値に基づいてＹの値を求めてもよい。テーブルを用いる場合には、計算量を低減し処理を高速化することができる。

図１５はテーブルの一例を示している。（３）式のＸとθの値に対するＹの値を予め求めておき、各値を関連付けたテーブルをＲＯＭ１３、ＰＣＭＣＩＡカード３２、フラッシュメモリカード３３のいずれかに格納しておく。被写体計測処理時には、テーブルがこれらのいずれかから読み出され、ＲＡＭ１４に格納される。ＣＰＵ１８は、（４）式に基づいてθ２の値を算出し、その値をθとして、Ｘとθの値に対応したＹの値をテーブルから読み出す。なお、このテーブルをルックアップテーブルとして構成してもよい。また、ＡあるいはＢの値まで含めたテーブルを用意してもよい。

図１６は、上述した被写体計測処理を行った場合の内視鏡画像の表示例を示している。図１６（ａ）のような画像が表示されている状態で被写体までの距離が近くなると、図１６（ｂ）のような画像が表示される。図１６（ａ）の目印１６０１と図１６（ｂ）の目印１６０４の表示上の大きさは変更されていない。しかし、距離表示キャラクタ１６０２と１６０５の値が示すように、被写体距離が２分の１倍になると、目印長さ表示キャラクタ１６０３と１６０６の値が示すように、目印の長さに相当する被写体上の距離も２分の１倍になる。これは、（３）式および（４）式において、Ｂが一定である場合に、Ｘが２分の１倍になるとＹが２分の１倍になることによる。

次に、図１７を参照し、第２の動作例の手順を説明する。第１の動作例では、測距点を示す照準が観察画像の中心に固定されていたが、第２の動作例では、照準が観察画像上で動く場合でも、計測が可能である。ユーザは、リモートコントローラ４のレバースイッチ４２を操作することで、照準を画面上で上下左右に移動させることができる。

前述した（３）式および（４）式は、照準が観察画像の中心にある場合に成立する式であるが、照準が観察画像の中心から外れている場合でも近似的に成立する。ただし、照準が観察画像の中心から外れるほど、誤差が大きくなる。ユーザが被写体の正確な大きさまでは知る必要がなく、ある程度の目安となる大きさが分かればよいという場合には、（３）式および（４）式をそのまま用いても、十分実用に耐え得る。

図１７において、ステップＳ４００〜Ｓ４３０は図１２のステップＳ１００〜Ｓ１３０と同様であるので、それらの説明を省略する。ステップＳ４２０において、照準の座標が計測可能領域内にある場合には、ＣＰＵ１８は、図１８に示す第１の測距処理を実行する（ステップＳ４４０）。図１８に示すように、第１の測距処理では、ＣＰＵ１８は映像信号処理回路１２から画像データを取得し、ＲＡＭ１４に格納する（ステップＳ６００）。この処理は、図１３のステップＳ２００の処理と同様である。

続いて、ＣＰＵ１８は、ステップＳ４４０の前後で照準の座標が変化したかどうかを判定する（ステップＳ４５０）。照準の座標が変化した場合には、処理がステップＳ４４０に戻る。また、照準の座標が変化していなかった場合には、ＣＰＵ１８は、図１９に示す第２の測距処理を実行する（ステップＳ４６０）。図１９に示す第２の測距処理におけるステップＳ７００〜Ｓ７５０は図１３のステップＳ２１０〜Ｓ２６０と同様であるので、それらの説明を省略する。

続いて、ＣＰＵ１８は、ステップＳ４６０の前後で照準の座標が変化したかどうかを判定する（ステップＳ４７０）。照準の座標が変化した場合には、処理がステップＳ４４０に戻る。また、照準の座標が変化していなかった場合には、ＣＰＵ１８は、図１４に示した計測処理を実行し、目印の表示上の所定の大きさに対応した被写体上の距離を計算する（ステップＳ４８０）。

続いて、被写体距離および目印の表示処理を行う（ステップＳ４９０）。計測結果を表示した後、ユーザによる終了操作の有無を判定し（ステップＳ５００）、終了操作があった場合には、被写体計測処理を終了する。また、終了操作がなかった場合には、ステップＳ４４０に戻り、処理を継続する。

次に、図２０を参照し、第３の動作例の手順を説明する。第１および第２の動作例では、目印の表示上の大きさが固定されており、被写体距離に応じて目印の被写体上の大きさが変化するが、第３の動作例では、目印の被写体上の大きさが固定されており、被写体距離に応じて目印の表示上の大きさが変化する。ユーザは、目安としたい被写体上の大きさを、例えばパーソナルコンピュータ３１から入力することが可能である。

図２０において、ステップＳ８００〜Ｓ８３０は図１２のステップＳ１００〜Ｓ１３０と同様であるので、それらの説明を省略する。ステップＳ８２０において、照準の座標が計測可能領域内にある場合には、ＣＰＵ１８は、パーソナルコンピュータ３１からＵＳＢＩ／Ｆ１６を介して入力され、ＲＡＭ１４に格納された目印の被写体上の大きさの情報をＲＡＭ１４から読み出して取得する（ステップＳ８４０）。

続いて、ＣＰＵ１８は、図１８に示した第１の測距処理を実行し（ステップＳ８５０）、さらにステップＳ８５０の前後で照準の座標が変化したかどうかを判定する（ステップＳ８６０）。照準の座標が変化した場合には、処理がステップＳ８５０に戻る。また、照準の座標が変化していなかった場合には、ＣＰＵ１８は、図１９に示した第２の測距処理を実行する（ステップＳ８７０）。

続いて、ＣＰＵ１８は、ステップＳ８７０の前後で照準の座標が変化したかどうかを判定する（ステップＳ８８０）。照準の座標が変化した場合には、処理がステップＳ８５０に戻る。また、照準の座標が変化していなかった場合には、ＣＰＵ１８は、図２１に示す計測処理を実行する（ステップＳ８９０）。図２１に示すように、この計測処理では、ＣＰＵ１８は、図１９のステップＳ７５０で計算した被写体距離をＲＡＭ１４から読み出して取得する（ステップＳ１０００）。続いて、ＣＰＵ１８は、次式に示すθの値を計算する（ステップＳ１０１０）。前述した（３）式をθについて変形すると次式のようになる。
θ＝ｔａｎ^−１（Ｙ／Ｘ）・・・（５）

図１９のステップＳ７５０で計算した被写体距離Ｘと、ステップＳ８４０で取得した目印の被写体上の距離Ｙとを（５）式に代入すると、θが求まる。この際に、（５）式に基づいた演算によりθの値を求めてもよいし、テーブルの値に基づいてθの値を求めてもよい。テーブルを用いる場合には、計算量を低減し処理を高速化することができる。

図２２はテーブルの一例を示している。（５）式のＸとＹの値に対するθの値を予め求めておき、各値を関連付けたテーブルをＲＯＭ１３、ＰＣＭＣＩＡカード３２、フラッシュメモリカード３３のいずれかに格納しておく。被写体計測処理時には、テーブルがこれらのいずれかから読み出され、ＲＡＭ１４に格納される。ＣＰＵ１８は、ＸとＹの値に対応したθの値をテーブルから読み出す。

ステップＳ１０１０に続いて、ＣＰＵ１８は、次式に示すＢの値を計算する（ステップＳ１０２０）。前述した（４）式をＢについて変形すると次式のようになる。
Ｂ＝θ×Ａ／θ１・・・（６）

予め分かっているステレオ光学アダプタの視野角θ１とＡを（６）式に代入すると、目印の表示上の大きさを示すＢが求まる。なお、上述したテーブルをルックアップテーブルとして構成してもよい。また、Ａあるいはθ１の値まで含めたテーブルを用意してもよい。

計測処理に続いて、被写体距離および目印の表示処理を行う（ステップＳ９００）。計測結果を表示した後、ユーザによる終了操作の有無を判定し（ステップＳ９１０）、終了操作があった場合には、被写体計測処理を終了する。また、終了操作がなかった場合には、ステップＳ８５０に戻り、処理を継続する。

図２３は、上述した被写体計測処理を行った場合の内視鏡画像の表示例を示している。図２３（ａ）のような画像が表示されている状態で被写体までの距離が遠くなると、図２３（ｂ）のような画像が表示される。図２３（ａ）の目印長さ表示キャラクタ２３０１と図２３（ｂ）の目印長さ表示キャラクタ２３０４の値は変更されていない。しかし、距離表示キャラクタ２３０２と２３０５の値が示すように、被写体距離が変化すると、目印２３０３と２３０６が示すように、目印の表示上の長さも変化する。これは、（５）式および（６）式において、Ｙが一定である場合に、Ｘが変化するとＢが変化することによる。

上述したように、本実施形態によれば、被写体距離と内視鏡の視野角とに基づいて目印の大きさが計算され、被写体の画像と共に目印が表示されるので、被写体の大きさをリアルタイムでユーザに知らせることができる。

また、第１および第２の動作例のように、被写体距離だけ離れた位置における目印の被写体上の大きさを計算することによって、図１６に示したように、目印の表示上の大きさを変更せずに、被写体距離に応じて目印の被写体上の大きさを変化させることが可能となる。目印の表示上の大きさを変更可能な形態では、被写体距離が極端に短くなることによって目印が画像の表示領域に収まらなくなったり、逆に被写体距離が極端に長くなることによって目印が表示上で小さくなりすぎてしまったりすることがある。しかし、目印の表示上の大きさを固定することによって、常に被写体と目印を比較しやすくすることができる。

また、第３の動作例のように、目印の表示上の大きさを計算することによって、図２３に示したように、目印の被写体上の大きさを変更せずに、被写体距離に応じて目印の表示上の大きさを変化させることが可能となる。ユーザが被写体の大きさをイメージするには、所定の長さ（例えば１ｍｍ等）と被写体の大きさを比較した方がイメージしやすいので、目印の被写体上の大きさを固定することによって、被写体の大きさをより分かりやすくすることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による計測用内視鏡装置の全体構成を示す斜視図である。本発明の一実施形態による計測用内視鏡装置の内部構成を示すブロック図である。本発明の一実施形態による計測用内視鏡装置が備えるリモートコントローラの斜視図である。本発明の一実施形態による計測用内視鏡装置に使用されるステレオ光学アダプタの斜視図である。本発明の一実施形態による計測用内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。本発明の一実施形態における被写体距離の計測原理を示す参考図である。本発明の一実施形態における目印の大きさの計測原理を示す参考図である。本発明の一実施形態における目印の大きさの計測原理を示す参考図である。本発明の一実施形態における内視鏡画像の表示例を示す参考図である。本発明の一実施形態における内視鏡画像の他の表示例を示す参考図である。本発明の一実施形態における内視鏡画像の他の表示例を示す参考図である。本発明の一実施形態における被写体計測処理（第１の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第１の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第１の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第１の動作例）に用いられるテーブルの内容を示す参考図である。本発明の一実施形態における被写体計測処理（第１の動作例）による内視鏡画像の表示例を示す参考図である。本発明の一実施形態における被写体計測処理（第２の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第２の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第２の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第３の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第３の動作例）の手順を示すフローチャートである。本発明の一実施形態における被写体計測処理（第３の動作例）に用いられるテーブルの内容を示す参考図である。本発明の一実施形態における被写体計測処理（第３の動作例）による内視鏡画像の表示例を示す参考図である。

符号の説明

１・・・内視鏡装置、２・・・内視鏡、９・・・ＣＣＵ（信号処理手段）、１８・・・ＣＰＵ（測距処理手段、計測処理手段）

Claims

被写体像を光電変換し、撮像信号を生成する内視鏡と、
前記撮像信号を処理し、画像データを生成する信号処理手段と、
前記画像データに基づいた前記被写体の画像を表示する表示手段と、
前記被写体の画像と共に前記表示手段に表示される照準を移動させる移動手段と、
前記照準が示す前記被写体の画像上の座標に基づいて、前記被写体までの被写体距離を計算する測距処理手段と、
前記被写体距離と前記内視鏡の視野角とに基づいて、前記照準が示す前記被写体の画像上の座標に対応する前記被写体の大きさの目安となる目印の大きさを計算する計測処理手段と、を備え、
前記表示手段は、前記被写体の画像と共に前記目印を表示することを特徴とする計測用内視鏡装置。
前記移動手段による前記照準の移動により前記照準が示す前記被写体の画像上の前記座標が変化したとき、
前記測距処理手段は変化後の前記照準が示す前記座標に基づいて前記被写体距離を計算し、前記計測処理手段は前記目印の大きさを、変化後の前記照準が示す前記座標に基づいた前記被写体距離と前記視野角とに基づいて計算することを特徴とする請求項１に記載の計測用内視鏡装置。
前記計測処理手段は、前記被写体距離と前記内視鏡の視野角と前記目印の表示上の大きさとに基づいて、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさを計算することを特徴とする請求項１に記載の計測用内視鏡装置。
前記計測処理手段は、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、前記目印の固定された表示上の大きさとに基づいて、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の被写体上の大きさを計算することを特徴とする請求項２に記載の計測用内視鏡装置。
前記計測処理手段は、前記被写体距離と前記内視鏡の視野角と、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする請求項１に記載の計測用内視鏡装置。
前記計測処理手段は、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の固定された被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする請求項２に記載の計測用内視鏡装置。
前記表示手段は、前記被写体の画像を表示すると共に、前記被写体距離の測距点を示す照準に前記目印を重ねて表示することを特徴とする請求項１〜請求項６のいずれかに記載の計測用内視鏡装置。
前記表示手段は、前記被写体の画像および前記目印を表示すると共に、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさの値を表示することを特徴とする請求項１〜請求項７のいずれかに記載の計測用内視鏡装置。
前記表示手段は、前記被写体の画像を表示すると共に、前記被写体の画像の枠の周辺に前記目印を表示することを特徴とする請求項１〜請求項８のいずれかに記載の計測用内視鏡装置。
前記表示手段は、前記被写体の画像および前記目印を表示すると共に、前記被写体距離を表示することを特徴とする請求項１〜請求項９のいずれかに記載の計測用内視鏡装置。
前記計測処理手段は、所定の演算式に基づいて前記目印の大きさを計算することを特徴とする請求項１〜請求項１０のいずれかに記載の計測用内視鏡装置。
前記計測処理手段は、所定のテーブルの値に基づいて前記目印の大きさを計算することを特徴とする請求項１〜請求項１０のいずれかに記載の計測用内視鏡装置。
被写体像を光電変換し、撮像信号を生成する内視鏡と、
前記撮像信号を処理し、画像データを生成する信号処理手段と、
前記画像データに基づいた前記被写体の画像を表示する表示手段と、
を備えた計測用内視鏡装置のコンピュータに、
前記被写体の画像と共に前記表示手段に表示される照準を移動させる移動処理と、
前記照準が示す前記被写体の画像上の座標に基づいて、前記被写体までの被写体距離を計算する測距処理と、
前記被写体距離と前記内視鏡の視野角とに基づいて、前記照準が示す前記被写体の画像上の座標に対応する前記被写体の大きさの目安となる目印の大きさを計算する計測処理と、
前記被写体の画像と共に前記目印を表示する表示処理と、
を実行させるためのプログラム。
前記移動処理による前記照準の移動により前記照準が示す前記被写体の画像上の前記座標が変化したとき、
前記測距処理では変化後の前記照準が示す前記座標に基づいて前記被写体距離を計算し、前記計測処理では前記目印の大きさを、変化後の前記照準が示す前記座標に基づいた前記被写体距離と前記視野角とに基づいて計算することを特徴とする請求項１３に記載のプログラム。
前記計測処理では、前記被写体距離と前記内視鏡の視野角と前記目印の表示上の大きさとに基づいて、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさを計算することを特徴とする請求項１３に記載のプログラム。
前記計測処理では、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、前記目印の固定された表示上の大きさとに基づいて、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の被写体上の大きさを計算することを特徴とする請求項１４に記載のプログラム。
前記計測処理では、前記被写体距離と前記内視鏡の視野角と、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする請求項１３に記載のプログラム。
前記計測処理では、変化後の前記照準が示す前記座標に基づいた前記被写体距離と、前記内視鏡の視野角と、変化後の前記照準が示す前記座標に基づいた前記被写体距離だけ離れた位置における、前記目印の固定された被写体上の大きさとに基づいて、前記目印の表示上の大きさを計算することを特徴とする請求項１４に記載のプログラム。
前記表示処理では、前記被写体の画像を表示すると共に、前記被写体距離の測距点を示す照準に前記目印を重ねて表示することを特徴とする請求項１３〜請求項１８のいずれかに記載のプログラム。
前記表示処理では、前記被写体の画像および前記目印を表示すると共に、前記被写体距離だけ離れた位置における前記目印の被写体上の大きさの値を表示することを特徴とする請求項１３〜請求項１９のいずれかに記載のプログラム。
前記表示処理では、前記被写体の画像を表示すると共に、前記被写体の画像の枠の周辺に前記目印を表示することを特徴とする請求項１３〜請求項２０のいずれかに記載のプログラム。
前記表示処理では、前記被写体の画像および前記目印を表示すると共に、前記被写体距離を表示することを特徴とする請求項１３〜請求項２１のいずれかに記載のプログラム。
前記計測処理では、所定の演算式に基づいて前記目印の大きさを計算することを特徴とする請求項１３〜請求項２２のいずれかに記載のプログラム。
前記計測処理では、所定のテーブルの値に基づいて前記目印の大きさを計算することを特徴とする請求項１３〜請求項２２のいずれかに記載のプログラム。
請求項１３〜請求項２４のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。