JP4659203B2

JP4659203B2 - 計測用内視鏡装置及び目盛表示方法

Info

Publication number: JP4659203B2
Application number: JP2000354849A
Authority: JP
Inventors: 克己平川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-11-21
Filing date: 2000-11-21
Publication date: 2011-03-30
Anticipated expiration: 2020-11-21
Also published as: JP2002153415A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像された被写体について目盛を表示する計測用内視鏡装置および目盛表示方法に関する。
【０００２】
【従来の技術】
近年、医療分野、工業分野等において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものになり、凹凸等は認識しがたい。そのため、最近では、内視鏡の先端に左右２系統の撮像手段を配設し、この２系統の撮像手段により撮像された左右画像から、ステレオ法により対象の立体画像を推定し、この立体形状を、プロファイルやワイヤーフレームにより表示する技術が知られている。
【０００３】
例えば、特開平６−３３９４５４号公報はステレオ内視鏡を用いて三角測量の原理により、対象までの距離、複数の対象点間の距離を算出する技術が開示されている。
【０００４】
特に、特開平６−３３９４５４号公報中の図１２にその例が示されているように、算出した３次元座標値に基づいて、対象物の長さ、大きさ等を客観的に認識できるスケールマーカを、対象物の形状に合わせて表示している。
【０００５】
【発明が解決しようとする課題】
しかし、そこに開示された方法によれば、指定された対象点の３次元座標を求めた後、その点とＸ座標が同じ点を、水平方向に一定間隔毎に求め、同様に、Ｙ座標が同じ点を、垂直方向に一定間隔毎に求める。その求めた点群が、一定間隔の目盛となり、目盛がふられた曲線として画像に重畳して表示される。
【０００６】
従って、その重畳表示のために、選択した画素と同じＸ座標、Ｙ座標を持つ画素を画像中から探索する必要があり、目盛を表示するまでに長い時間がかかっていた。
【０００７】
【課題を解決するための手段】
そこで、本発明は、撮像された被写体に対して、目盛を速やかに表示する計測用内視鏡装置および目盛表示方法を提供することを目的とする。
【０００８】
本発明の計測用内視鏡装置は、内視鏡の挿入部の先端部に設けられた対物レンズによって結像される、複数の撮像手段により得られた被写体の複数の画像データの一の画像データ上において指定された点に対応する、他の画像データ上の対応点を検出する対応点検出手段と、前記指定された点と前記対応点検出手段で検出された対応点の情報に基づき、前記指定された点の３次元位置座標を算出する３次元座標算出手段と、前記指定された点について算出された前記３次元位置座標を通過し、かつ前記対物レンズの光軸に直交する仮想平面を決定する仮想平面決定手段と、前記仮想平面の３次元位置座標に基づき、前記撮像手段で得られた被写体画像上に目盛を表示する表示手段とを有する。
【０００９】
また、本発明の目盛表示方法によれば、内視鏡の挿入部の先端部に設けられた対物レンズによって結像される、複数の撮像手段により得られた被写体の複数の画像データの一の画像データ上において指定された点に対応する、他の画像データ上の対応点を検出し、前記指定された点と検出された対応点の情報に基づき、前記指定された点の３次元位置座標を算出し、前記指定された点について算出された前記３次元位置座標を通過し、かつ前記対物レンズの光軸に直交する仮想平面を決定し、前記仮想平面の３次元位置座標に基づき、前記撮像手段で得られた被写体画像上に目盛を表示する。
【００１０】
このような構成により、被写体についての目盛を速やかに表示することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。以下においては、適用する計測用内視鏡として、先端に２系統の対物レンズを備えたステレオ内視鏡を用いたもので説明する。
【００１２】
なお、本発明の一連の実施の形態においては、例えば画素ＲをＲ（ｘ，ｙ）とし、ｘおよびｙは画像上のＸ軸およびＹ軸上の画素の位置を表すものとする。また、例えばＰ点の３次元の位置座標は、Ｐ´（ｘ´，ｙ´，ｚ´）とし、ｘ´、ｙ´、ｚ´は、３次元空間におけるＸ´軸、Ｙ´軸およびＺ´軸上の座標位置を表すものとする。そして、画像の階調数は、特に断らない限り、２５６として説明する。
【００１３】
さらに、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とする。歪曲収差補正は例えば、特開平６−３３９４５４号公報に示されるようにして行われる。すなわち、各画素における補正値を予め決定しておき、実際の撮像画像に対して補正を行うことによって歪曲収差補正処理を実現することができる。具体的には、米国特許第４８９５４３１号明細書に具体的な処理手法が開示されている。なお、画像に歪曲収差歪みが存在しない場合はその限りではない。また、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とするが、その補正がされない場合は、歪曲収差の影響が少ない、画像中心部分の画素を選択するのが望ましい。
【００１４】
（第１の実施の形態）
図１ないし図１３により、第１の実施の形態を説明する。
【００１５】
図１は、第一の実施の形態に関わる計測用内視鏡装置のブロック図である。図２は、内視鏡の挿入部の先端部分の構造を説明する図である。図３は、計測用内視鏡装置の機能構成を示すブロック図である。図４は、ホストコンピュータの構成を説明する図である。図５は、外部記憶装置の構成を示すブロック図である。図６は、内視鏡先端部における３次元座標系を説明するための図である。図７は、１画素の３次元位置情報に基づき鉛直平面を決定し、目盛を描画する流れを示すフローチャートである。図８は、目盛作成原理を説明するための図である。図９は、左画像における目盛描画を説明するための図である。図１０は、平面の評価の説明をするための図である。図１１は、画素を選択する流れを示すフローチャートである。図１２は、領域分割の説明図である。図１３は、目盛間隔を調整する流れを示すフローチャートである。
【００１６】
まず、図３に示すように、本実施の形態において採用する計測用内視鏡装置は、ステレオ式ビデオイメージエンドスコープ（以下、単に「内視鏡」と称する）１０１と、この内視鏡１０１によって撮像される右画像及び左画像の各画像信号を信号処理する右画像用ビデオプロセッサ１１０Ｒと左画像用ビデオプロセッサ１１０Ｌを有する。さらに、この各ビデオプロセッサ１１０Ｒと１１０Ｌからそれぞれ出力される、例えばＲＧＢ信号による各映像信号を記憶する右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌと、この各フレームメモリ１１２Ｒと１１２Ｌからそれぞれ出力される、例えばＲＧＢ信号による映像信号を入力して、右画像および左画像を表示する右画像用モニタ１３０Ｒ及び左画像用モニタ１３０Ｌとを有する。また、各フレームメモリ１１２Ｒおよび１１２Ｌに記憶された画像を用いて、立体計測演算を行うホストコンピュータ１２０と、このホストコンピュータ１２０に接続された外部記憶１４０と、ホストコンピュータ１２０に接続されてモニタ１３０Ｒおよび１３０Ｌに表示されるカーソルの操作や計測対象点の指定及び計測対象領域の設定等を行うマウス１４５とを備えている。
【００１７】
両ビデオプロセッサ１１０Ｒ，１１０Ｌは、互いに同期した信号処理を行うように設定されている。又、本実施の形態では、各フレームメモリ１１２Ｒと１１２Ｌは、それぞれＲ，Ｇ，Ｂ用の各メモリを複数組備えており、１組には画像が記憶され、他の組にはカーソルが書き込まれる。各組に書き込まれた信号を足し合わせることにより、モニタ１３０Ｒと１３０Ｌのそれぞれの画面上に画像とカーソルとが表示される。
【００１８】
次に、図４に示すように、ホストコンピュータ１２０は、ＣＰＵ１２１、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌ、メインメモリ１２３、外部記憶インターフェース１２４、マウスインターフェース１２５、キーボード１２６及びＣＲＴ１２７を備え、これらは、バスによって互いに接続されている。
【００１９】
又、右フレームメモリインターフェース１２２Ｒおよび左フレームメモリインターフェース１２２Ｌは、それぞれ右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌに接続され、これらとの間で画像データの送受を行う。さらに、各インターフェース１２２Ｒおよび１２２Ｌを介して、対応するフレームメモリ１１２Ｒおよび１１２Ｌに対してカーソル制御が行われるようになっている。又、外部記憶インターフェース１２４は、外部記憶１４０に接続され、画像データ及び計測対象点位置情報の送受を行うように設定されている。又、マウスインターフェース１２５は、マウス１４５に接続される。
【００２０】
図５に示すように、外部記憶１４０は、計測対象点の位置情報を記憶してホストコンピュータ１２０と各種計測データの送受を行う計測データ情報用ファイル１８１と、ホストコンピュータ１２０と画像データの送受を行うステレオ画像マネージャー１８２を有する。さらに、このステレオ画像マネージャー１８２に連結され、左画像データを記憶する左用画像ファイル１８３Ｌと、同様にステレオ画像マネージャー１８２に連結され、右画像データを記憶する右用画像ファイル１８３Ｒとを備えている。
【００２１】
本実施の形態では、内視鏡１０１で得たステレオ画像は左右２枚１組で取り扱われる。すなわち、同期の取られた２つの画像フレームデータが、一つの組のデータとして記憶装置にストアされている。ホストコンピュータ１２０から２枚１組で送られて来たステレオ画像は、ステレオ画像マネージャー１８２によって、左用と右用の各画像ファイル１８３Ｌと１８３Ｒに振り分けられて、記録される。又、ステレオ画像マネージャー１８２によって、各画像ファイル１８３Ｌ，１８３Ｒに記録された画像は、２枚１組で呼び出される。
【００２２】
又、図２に示すように、内視鏡１０１は、細長の挿入部１０２を備え、この挿入部１０２の先端部に、複数の、例えば２つの観察窓と照明窓とが設けられている。各観察窓の内側には、互いに視差を有する位置に、右眼用対物レンズ系１０３Ｒと左眼用対物レンズ系１０３Ｌが設けられている。各対物レンズ系１０３Ｒと１０３Ｌの結像位置には、それぞれ、ＣＣＤ等の固体撮像素子を用いた左と右用の撮像手段１０４Ｌと１０４Ｒが配設されている。
【００２３】
又、照明窓の内側には、配光レンズ１０５が設けられ、この配光レンズ１０５の後端には、ファイババンドルよりなるライトガイド１０６が連設されている。このライトガイド１０６は、挿入部１０２内に挿通され、入射端部には図示しない光源装置が接続される。
【００２４】
この光源装置から出力される照明光が、ライトガイド１０６及び配光レンズ１０５を介して被写体に照射され、この被写体からの反射光が、対物レンズ系１０３Ｒと１０３Ｌによって、それぞれ右画像および左画像として、撮像手段１０４Ｒと１０４Ｌに結像される。
【００２５】
次に、計測用内視鏡装置の機能ブロック構成を図１を用いて説明する。
電荷結合装置（ＣＣＤ：ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）を用いた撮像手段１０４Ｒと１０４Ｌによって撮像された被写体像の各画像信号は、それぞれ、ビデオプロセッサ１１０Ｒと１１０Ｌに入力され、映像信号処理が施される。ビデオプロセッサ１１０Ｒと１１０Ｌから出力される各画像信号は、それぞれＡ／Ｄ変換器１１１Ｒと１１１Ｌによりデジタル信号に変換された後、画像メモリすなわち、各フレームメモリ１１２Ｒと１１２Ｌのうちの画像用のメモリに記憶される。
【００２６】
そして、右画像用フレームメモリ１１２Ｒと左画像用１１２Ｌから読み出された画像信号は、それぞれ、画像処理手段２００で所定の画像処理がなされた後、表示制御手段２０１を経て、Ｄ／Ａ変換器１５８Ｒと１５８Ｌに出力される。Ｄ／Ａ変換器１５８Ｒと１５８Ｌでアナログ信号に変換された後、右画像用モニタ１３０Ｒと左画像用１３０Ｌにそれぞれ入力される。そして、この両モニタ１３０Ｒと１３０Ｌに、それぞれ、右画像と左画像が表示される。
【００２７】
一方、カーソルの表示は、カーソル表示手段１５１によってまず処理され、表示制御手段２０１により表示制御される。カーソルは、両モニタ１３０Ｒ、１３０Ｌのいずれか一方の画面に重畳して表示される。
【００２８】
カーソルにより計測点が指定されると、画像処理手段２００はその指定された点データに基づき、３次元位置の導出、目盛の作成および表示などの処理を行い、表示制御手段２０１を通して、処理結果がモニタに表示される。
【００２９】
又、表示制御手段２０１は、カーソル表示の管理および制御のほか、マルチウィンドウ表示に必要な処理も行う。画像処理手段２００及び表示制御手段２０１における処理及び制御機能は、ホストコンピュータ１２０を動作させることにより達成される。この場合、通常、表示制御手段２０１の機能はオペレーティングシステムが有している。
【００３０】
尚、図３および図４に示す右画像用と左画像用のフレームメモリ１１２Ｒおよび１１２Ｌは、本実施の形態ではホストコンピュータ１２０の外部に設けているが、ホストコンピュータ１２０にＰＣＩボードタイプのフレームメモリを利用して内蔵するようにしてもよい。又、図３においてステレオ画像の表示は、右画像用１３０Ｒと左画像用モニタ１３０Ｌに対して行っているが、パソコンのＣＲＴ１２７上で両者を表示するようにしても良い。
【００３１】
次に、このように構成された計測用内視鏡装置において、対象の大きさを把握するための目盛の描画過程を図７のフローチャートにより説明する。
【００３２】
なお、以下に説明する方法を、ここでは、鉛直平面生成法と呼ぶ。
【００３３】
以下の説明では左画像の所定画素に対して、右画像の対応点を求めるものとして説明を行うが、逆に右画像の所定画素に対して、左画像における対応点を求めてもよい。
【００３４】
対象物体の対象座標系は、図６に示すように、内視鏡挿入部１０２先端における２つの対物レンズ１０３Ｒと１０３Ｌの中心を通る直線方向をＸ´軸とする。左側の対物レンズの中心を原点ＯLとし、左側対物レンズの光軸をＺ´軸とし、さらにＹ´軸は、Ｘ´軸とＺ´軸のそれぞれに直角である。対象座標系は、このようなＸ´Ｙ´Ｚ´座標系により表されるものとする。図８は、３次元座標系において、内視鏡の撮像系を、Ｘ´−Ｚ´座標系とＹ´−Ｚ´座標系に基づき表したものである。
【００３５】
まず、オペレータにより、左画像用モニタ上に表示される画像中の点Ｐが指定される。点Ｐは、２次元平面上のある画素に対応する。以下、その点Ｐを、画素Ｐとし、左画像でのＰの座標をＰ（ｘ，ｙ）とする。
【００３６】
図７のステップ１１（以下、Ｓ１１と略す。）において、指定された画素Ｐの右側画像上での対応点を検出する。さらに、左側画像における画素Ｐと、右画像における画素Ｐの対応点とから、画素Ｐについての３次元位置座標を演算により求める。Ｐの３次元位置座標をＰ´（ｘ´，ｙ´，ｚ´）とする。対応点の検出はエピポーララインを用いた公知のテンプレートマッチングにより行えばよい。また、３次元位置座標は、三角測量の原理により求める。その具体的な求め方は、例えば、特開平６−３３９４５４号公報に開示されている。
【００３７】
なお、左画像での画素Ｐの座標はこのように予め指定してもよいが、画像からＰ座標を自動決定するようにしてもよい。この自動決定の方法については後述する。
【００３８】
次に、Ｓ１２において上記の点Ｐ´を通過する仮想の鉛直平面αを決定する。鉛直平面αは、Ｘ´−Ｚ´平面に対して垂直、すなわちＸ´−Ｙ´平面に平行な平面である。その平面の方程式は次式となる。
【００３９】
（Ｚ´−ｚ´）＝０
そして、Ｓ１３において、水平方向の目盛の描画座標を決定する。目盛は、画像平面γ上に描画される。画像中心から水平方向にＡ［ｍｍ］の目盛を作成する場合、画像平面γ上におけるＸ座標は、撮像系をＹ´軸側から見た図８（ａ）から比例関係により以下のようになる。ここでは、距離の単位はミリメートル［ｍｍ］とする。
【００４０】
Ａは画像上の目盛の基準としたい単位長（例えば、５［ｍｍ］）である。ｚ´は、ＯLから鉛直平面αまでの距離である。ｆは、レンズの焦点距離で、図中でＯLから画像平面γまでの距離である。次式においてＭx₁は、鉛直平面α上の距離Ａに対応する、画像平面γ上での距離［ｍｍ］である。
【００４１】
Ａ／ｚ´＝Ｍx₁／ｆ
Ｍx₁＝（Ａ×ｆ）／ｚ´
単位を［ｍｍ］から［画素数］に変換して、
ＭＭx₁＝Ｍx₁／Ｃx
となる。
【００４２】
ここで、Ｃxは、ＣＣＤの１画素あたりの横サイズ［ｍｍ］である。
【００４３】
したがって、目盛の描画位置は（ＭＭx₁ ，Ｙc）（Ｙc：あらかじめ与えたＹ座標）となる。
【００４４】
同様に、２×Ａ［ｍｍ］（例えばＡを５［ｍｍ］とすれば、１０［ｍｍ］のところ）に目盛を作成するには、描画位置を（ＭＭx₂ ，Ｙc）とすれば次のようにして求められる。
【００４５】
２Ａ／ｚ´＝Ｍx₂／ｆ
Ｍx₂＝（２Ａ×ｆ）／ｚ´
単位を［ｍｍ］から［画素数］に変換して、
ＭＭx₂＝Ｍx₂／Ｃx
となる。
【００４６】
よって、ｎ×Ａ［ｍｍ］（ｎは正整数）に描画するＸ座標は（（ｎ×Ａ×ｆ）／（ｚ´×Ｃx））となる。
【００４７】
次に、Ｓ１４において、垂直方向の目盛の描画座標を決定する。この目盛も、画像平面γ上に描画される。画像中心から垂直方向にＢ［ｍｍ］の目盛を作成する場合、画像平面γにおけるＹ座標は、撮像系をＸ´軸側から見た図８（ｂ）から比例関係により以下のようになる。ここでも、距離の単位はミリメートル［ｍｍ］とする。
【００４８】
Ｂ／ｚ´＝Ｍy₁／ｆ
Ｍy₁＝（Ｂ×ｆ）／ｚ´
単位を［ｍｍ］から［画素数］に変換して、
ＭＭy₁＝Ｍy₁／Ｃy
となる。
【００４９】
ここで、Ｃyは、ＣＣＤの１画素当たりの縦サイズ［ｍｍ］である。
【００５０】
したがって、目盛の描画位置は（Ｘc，ＭＭy₁）（Ｘc：あらかじめ与えたＸ座標）となる。
【００５１】
同様に２×Ｂ［ｍｍ］（例えばＢを５［ｍｍ］とすれば、１０［ｍｍ］のところ）に目盛を作成するには、描画座標を（Ｘc，ＭＭy₂）とすれば、次のようになる。
【００５２】
２Ｂ／ｚ´＝Ｍy₂／ｆ
Ｍy₂＝（２Ｂ×ｆ）／ｚ´
単位を［ｍｍ］から［画素数］に変換して、
ＭＭy₂＝Ｍy₂／Ｃy
よって、ｎ×Ｂ［ｍｍ］（ｎは正整数）に描画するＹ座標は（（ｎ×Ｂ×ｆ）／（ｚ´×Ｃy））となる。
【００５３】
Ｓ１５において、Ｓ１３およびＳ１４において求めた座標を使って、図９のように、１目盛の大きさ（例えば、５［ｍｍ］）を示す目盛間隔がわかるように目盛を描画する。目盛間隔の描画は画像内、または図１０のようなウィンドウ内に行っても良い。ここでは水平、垂直とも５［ｍｍ］と表示されている。
【００５４】
そして、Ｓ１６において、鉛直平面の仮定に用いた画素の座標Ｐ（ｘ，ｙ）の位置に、図９に示すような図形Ｓｐを描画する。この図形Ｓｐは、３次元計測用の目盛を作成するための基準となるものである。従って、図形ＳＰの点は、目盛の基準点ではない。なお、右画像上にＰの対応点の位置に図形を描画しても良い。これにより、平面仮定に使用した画素について確認できるため、目盛の妥当性を簡単に確認することが可能となる。つまり、点Ｐ周辺が正面視されている場合、点Ｐおよび周辺が明部である場合、点Ｐの対応が正しく検出されている場合などの方が、目盛が正しいと判断することができる。
【００５５】
次に、Ｓ１７において、入力装置による画素Ｐの移動があるかどうかが判断される。移動があった場合はＳ１８が実行される。そうでない場合は、処理は終了する。画素Ｐの移動ができるようになっているのは、予め指定された点、または後述する自動決定された点により平面が決定できない場合、または決定した平面が適切でない場合などに対応するためである。なお、この画素Ｐの移動は、左画像上で、マウスにより図形Ｓｐを選択して、いわゆるドラッグすることによって行われる。
【００５６】
点Ｐの移動があったときは、Ｓ１８において、移動後の点Ｐを使って、鉛直平面αが再計算される。さらに鉛直平面の評価が行われ、その結果を画面に出力して、Ｓ１３に戻る。Ｓ１３に戻ると、再度、水平方向および垂直方向の目盛描画座標を算出し（Ｓ１３、Ｓ１４）、目盛が描画され（Ｓ１５）、上述した移動後の画素Ｐ、すなわち鉛直平面の仮定に用いた画素の位置に図形Ｓｐが描画される（Ｓ１６）。
【００５７】
この鉛直平面の評価は、例えば以下のように行う。画素Ｐの周辺、すなわち画素Ｐのあらかじめ決められた範囲内で、エッジ強度が大きい順にＮ個の画素Ｍi（ｉ＝０，１，…，Ｎ）を選択する。上述したテンプレートマッチング等のパターンマッチング法により、右画像におけるＭiの対応点を決定し、上述したような三角測量の原理を用いた方法により３次元位置Ｍ´i（ｉ＝０，１，…，Ｎ）を求める。
【００５８】
そして、鉛直平面αとＭ´iとの距離を算出し、これらの距離データに基づいて最大距離、最小距離及び平均距離を、鉛直平面の評価として図１０のように表示する。これらの距離が小さい方が対象を良く近似しており、目盛作成に適切な平面であると評価することができる。
【００５９】
また、目盛を表示した後、画素Ｐの移動があったときは、図１０に示すように、移動後の現在の距離（最大距離、最小距離、平均距離）と、移動前の距離と現在の距離との差分値を括弧内に示している。従って、オペレータは、これらの差分値をみることによって、どちらの平面の方がよいかを評価できるので、目盛作成に、より適切な平面を選択することができる。
【００６０】
なお、以上の例では、画素Ｐの移動があったときに、常に移動後の各種距離を再計算されることになる。しかし、再計算するか否かを画面上のいわゆるチェックボックスなどで指定できるようにして、オペレータの要求に応じて再計算するようにしてもよい。
【００６１】
以上の方法によれば、画素の３次元位置に仮定した鉛直平面上に対象物が存在すると仮定して目盛を作成しているので、速やかな目盛の表示をすることができる。
【００６２】
次に、鉛直平面αを仮定するＰ点を自動決定する方法について、図１１に従って述べる。以下では画像からＮ画素を選択する、より一般的な例を示している。以下、この方法を、Ｐ点自動決定法という。
【００６３】
まず、鉛直平面αを仮定するためのＰ点を自動決定する旨の指定がされている場合、図１１の処理が実行され、その後図７のＳ１１の処理に移る。自動決定する旨が指定されていなければ、上述した図７の処理が実行される。
【００６４】
Ｐ点を自動決定する旨の指定がされている場合、まず、ステップ２１（Ｓ２１）において、図１２のように左画像（あるいは右画像）を任意の等しいサイズの小領域で分割する。ここでは、左画像を分割して、Ｓsi（ｉ＝０，１，…，８）の３×３個の小領域に分割されたとする。
【００６５】
各小領域の平均画素値を求める（Ｓ２２）。画像は２５６階調であるので、各画素値データに基づいて各小領域ごとに平均値Ａvi（０，１，…，８）を求める。
【００６６】
Ｓ２３において、小領域群のうちからＮ個の小領域を選択し、そのセットＳk（ｋ＝０，１，２，・・）の評価値を算出する。ここでは、選択されたＮ個の小領域の組み合わせを、一つのセットとする。また、領域の選択としては、隣り合う小領域を選択するものでも、または隣り合わない小領域を選択するものでもよい。選択する小領域の数Ｎは、通常は、３つ以上であればよい。
【００６７】
また、その評価値を求めるための評価式はさまざまなものが考えられるが、ここでは、平均画素値が予め定められた閾値Ｃ₀より小さい範囲内でその平均画素値が大きく、かつ平均画素値間の差が小さい組（セット）がよい評価を得るように次式を使用する。次式の場合、Ｅskが大きいほど評価が高いとする。Ｃ₀とＣ₁は定数であり、例えばＣ₀は２００、Ｃ₁は２５５とする。Ｎ＝１の場合は、Ｅskの第２項はなく、α＝１．０、β＝０．０とする。つまり、平均画素値のみの評価となる。
【００６８】
【式１】

Ｄijは、選択された小領域の平均画素値の差分の絶対値（｜Ａvi−Ａvj｜＝Ｄij）である。
【００６９】
Ｃ₀、Ｃ₁は、予め定めた定数である。
【００７０】
α、βは、実数であるが、α＋β＝１．０を満足する数である。
【００７１】
次に、Ｅskを小領域の全組み合わせについて調べ、Ｅskが最大になる小領域セットＳkを選択する（Ｓ２４）。
【００７２】
そして、Ｓ２５において、Ｓkのそれぞれの小領域から画素およびその周辺の特徴状況に応じて画素を選択する。具体的には、Ｓkのそれぞれの小領域からエッジ強度が最大、かつ画素の近傍（例えば５×５）で求めた平均値が閾値より小さい（ハレーション部分を選択しないため）という基準で画素を選択し、それぞれＰi（ｉ＝０，１，…，ｎ）とする。このＰｉの中から、例えば、エッジ強度の一番大きなものを選択して、鉛直平面α決定のためのＰ点とする。
【００７３】
このようにして、鉛直平面αを決定するためのＰ点が自動的に決定され、続いて、上述した図７のフローチャートのＳ１１以降が実行されて、鉛直平面が決定され、目盛が表示される。
【００７４】
次に、目盛の作成方法について述べる。図７のＳ１３、Ｓ１４のように対象までの距離に関わらず同じ目盛間隔［ｍｍ］で描画した場合、内視鏡先端から対象までの距離に比例して目盛間隔［画素］が小さくなり、対象の大きさを把握することが困難になるという問題がある。そこで、対象までの距離に関係なく目盛間隔を一定画素サイズ以上にし、目盛を作成する方法を図１３にしたがって説明する。以下では、目盛の描画間隔を最低η画素以上にする場合を考える。なお、この方法を、以下適正目盛間隔作成法という。
【００７５】
まず、左画像（あるいは右画像）上のη個の画素（目盛描画間隔のための最低画素数）に対応した水平目盛が示す実際の距離（長さ）を演算により求める（Ｓ３１）。画像中心から水平方向にη画素位置に目盛を作成する場合、対象物体上でのＸ´座標におけるＡ［ｍｍ］は撮像系をＹ´軸から見た図８（ａ）から比例関係により以下のようになる。
【００７６】
Ａ／ｚ´＝（η×Ｃx）／ｆ
Ａ＝（η×Ｃx×ｚ´）／ｆ
ここで、ｆは、レンズの焦点距離である。Ｃxは、ＣＣＤの１画素あたりの幅長すなわち横サイズ［ｍｍ］である。
【００７７】
ステップ３１で求めた水平目盛が示す実際の距離を整数値に変換する（Ｓ３２）。１目盛が表す長さは整数のほうがわかりやすいため、Ａ［ｍｍ］より大きくて、最も近い整数をＡ´［ｍｍ］とし、以後の処理を行う。たとえば、Ａが４．６［ｍｍ］であれば、Ａ´は５［ｍｍ］となる。
【００７８】
次に、水平目盛の目盛描画位置を演算により求める（Ｓ３３）。画像平面上での水平方向の描画位置ＭＭx₃［画素］はＳ１３と同様に次式となり、描画位置は（ＭＭx₃，Ｙc）となる（Ｙcはあらかじめ与えたＹ座標）。次式においてＭx₃は、鉛直平面α上の距離Ａ´に対応する画像平面γ上での距離［ｍｍ］である。
【００７９】
Ａ´／ｚ´＝Ｍx₃／ｆ
Ｍx₃＝（Ａ´×ｆ）／ｚ´
単位を［ｍｍ］から［画素数］に変換する。
【００８０】
ＭＭx₃＝Ｍx₃／Ｃx
以下同様にｎ×Ａ´（ｍｍ）の目盛（ｎは整数）の描画位置は（ＭＭx₃×ｎ，Ｙc）となる。
【００８１】
目盛描画する領域の幅をＷ［画素］としたときに、Ｗ内に描画する目盛の数Ｎhは次式となる。
【００８２】
Ｎh＝（Ｗ／ＭＭx₃）＋１
同様に、画像上のη画素の垂直目盛が示す実際に距離（長さ）を演算により求める（Ｓ３４）。画像中心から垂直方向にη画素位置に目盛を作成する場合、対象物体上でのＸ´座標Ｂ［ｍｍ］は撮像系をＹ´軸側から見た図８（ｂ）から比例関係により以下のようになる。
【００８３】
Ｂ／ｚ´＝（η×Ｃy）／ｆ
Ｂ＝（η×Ｃy×ｚ´）／ｆ
ここで、ｆは、レンズの焦点距離である。Ｃyは、ＣＣＤの１画素あたりの縦長すなわち縦サイズ［ｍｍ］である。
【００８４】
そして、Ｓ３４で求めた垂直目盛が示す実際の距離を整数値に変換する（Ｓ３５）。１目盛が表す長さは整数のほうがわかりやすいため、Ｂ［ｍｍ］より大きくて、最も近い整数をＢ´［ｍｍ］とし、以後の処理を行う。
【００８５】
Ｓ３６において、垂直目盛の目盛の描画位置を演算により求める。画像上の水平方向の描画位置ＭＭy₃［画素］はＳ１４と同様に次式となり、描画位置は（Ｘc，ＭＭy₃）となる（Ｘcはあらかじめ与えられたＸ座標）。次式においてＭy₃は、鉛直平面α上の距離Ｂ´に対応する画像平面γ上での距離［ｍｍ］である。
【００８６】
Ｂ´／ｚ´＝Ｍy₃／ｆ
Ｍy₃＝（Ｂ´×ｆ）／ｚ´
単位を［ｍｍ］から［画素数］に変換する。
【００８７】
ＭＭy₃＝Ｍy₃／Ｃy
以下、同様にｎ×Ｂ´［ｍｍ］の目盛（ｎは整数）の描画位置は（Ｘc，ＭＭy₃×ｎ）となる。
【００８８】
目盛を描画する領域の高さをＨ［画素］としたときに、Ｈ内に描画する目盛の数Ｎvは次式となる。
【００８９】
Ｎv＝（Ｈ／ＭＭy₃）＋１
以上説明したように、対象物体が鉛直平面上に存在すると仮定することにより、高速に目盛を作成することができる。また、目盛作成に使用する画素を画像の特徴から自動的に決定すること、目盛間隔を対象までの距離により変更することができる。
【００９０】
（第２の実施の形態）
次に、所定の画素３点から、ステレオ画像の他方における対応点を求め、それらから３点の３次元座標位置を算出し、その３点の３次元座標を通過する仮想平面を仮定する方法を説明する。
【００９１】
本実施の形態における装置の構成は第１の実施の形態と同様である。
【００９２】
図１４は第２の実施の形態に係わり、画像上の対象を適当な平面で近似して目盛の描画を行う過程を示すフローチャートである。以下、第２の実施の形態の方法を、仮想平面生成法という。
【００９３】
目盛描画を行う場合、画像上の対象を適当な平面で近似して目盛の描画を行う方がより正確な目盛を作成できる可能性がある。以下では、対象を対象に応じた平面で近似して目盛の描画を行う計測用内視鏡装置を図１４にしたがって説明する。以下の説明では左画像の所定画素に対して、右画像の対応点を求めるものとして説明を行うが、逆に右画像の所定画素に対して、左画像における対応点を求めてもよい。
【００９４】
まず、左画像上でオペレータにより指定された３つの画素Ｐi（ｘi，ｙi）（ｉ＝０，１，２）について右画像の対応点を求める。なお、歪曲収差補正がされていない場合、これら３点は画像中心部分から選択するのが望ましい。さらに、これら左画像の点と右画像における対応点から、Ｐｉの３次元位置を算出する（Ｓ４１）。第１の実施の形態で説明したように、対応点の検出はエピポーララインを用いた公知のテンプレートマッチングにより行えばよい。３次元座標位置は三角測量の原理により求める。Ｐiそれぞれの３次元座標位置をＰ´i（ｉ＝０，１，２）その座標をＰ´ｉ（ｘ´i，ｙ´i，ｚ´i）とする。
【００９５】
そして、Ｐ´ｉを通過する仮想平面βを決定する（Ｓ４２）。
【００９６】
【式２】

とするとＶ₀，Ｖ₁の外積は
【００９７】
【式３】

となる。従ってＰ´₀を通過する仮想平面βは次式となる（ｕは実数）。
【００９８】
【式４】

そして、目盛作成に使用する画素の３次元位置Ｑ´iを決定する（Ｓ４３）。Ｐiのうちの１画素（例えば以下ではＰ₀）から水平方向にＤh［画素］離れた画素をＱ₀（ｘq₀，ｙq₀）、垂直方向にＤv［画素］離れた画素をＱ₁（ｘq₁，ｙq₁）とする。Ｄh、Ｄvはあらかじめ与えておく。Ｑiの対応点Ｑ´iを求め、３次元位置Ｑ´i（ｘ´qi，ｙ´qi、ｚ´qi）を決定する。
【００９９】
Ｓ４４において、３次元座標原点とＱ´iを通過する直線Ｌiを求める。さらに直線Ｌiと仮想平面βとの交点を求める。交点をＲ´i（ｘ´ri，ｙ´ri、ｚ´ri）とすると、交点は以下のように求めることができる。
【０１００】
Ｌiの方程式は次式となる。
【０１０１】
【式５】

直線上の点を変数ｔにより表し、仮想平面βの方程式に代入する。
【０１０２】
【式６】

ｔを求めると
【０１０３】
【式７】

ゆえにＲ´iは次式で求められる。
【０１０４】
【式８】

Ｓ４５において、Ｐ´₀とＲ´iにより水平方向および垂直方向の１画素あたりの距離を求める。
【０１０５】
【式９】

Ｓ４６において、図９のように、一目盛の大きさを示す目盛間隔がわかるように目盛を描画する。Ｃ［ｍｍ］ごとに目盛を描画する場合、画像における水平描画間隔Ｄrh、垂直描画間隔Ｄrvは次式となる。目盛間隔は第１の実施の形態のＳ３１からＳ３６と同様の方法により決定してもよい。
【０１０６】
【式１０】

Ｓ４７において、仮想平面の仮定に用いた所定画素の座標Ｐi（ｘi，ｙi）（ｉ＝０，１，２）の位置に図９のように図形Ｓｐを３つ描画する。同様に右画像のＰiの対応点位置に図形を表示してもよい。これにより、平面仮定に使用した画素を確認できるため、目盛の妥当性を簡単に確認することが可能となる。つまり、点Ｐiおよび周辺が明部である場合、点Ｐiの対応点が正しく検出されている場合などのほうが、目盛が正しいと判断する。
【０１０７】
Ｓ４８において、入力装置による画素Ｐの移動があるかどうか判断する。移動された場合Ｓ４９を実施する。そうでない場合は処理を終了する。
【０１０８】
Ｓ４９において、移動後、仮想平面βを再計算する。仮想平面の評価を行い、その結果を画面に出力する。仮想平面の評価は、例えば実施例１と同様の方法で行う。このときの移動は、３点全ての移動があったときに、再計算するようにしてもよいが、その１点あるいは２点の移動があったときにも再計算するようにしてもよい。
【０１０９】
さらに、仮想平面の評価は、指定された３点が囲む領域内の画素から、エッジ強度の大きい順にいくつかの画素を選択するようにしてもよい。そして、その選択された画素の３次元座標を計算し、３次元座標に基いて仮想平面との距離を計算して、最大距離、最小距離および平均距離を求めて表示する。
【０１１０】
また、Ｓ４１におけるＰi、Ｓ４３におけるＱiは、第１の実施の形態のＳ２１からＳ２５と同様の方法などにより、画像データから自動的に選択することも可能である。すなわち、評価値が最大の小領域中の、予め決められた基準で選択されたＰiの中から、上位３つを選択することによって、自動選択をすることができる。
【０１１１】
また、第１の実施の形態の図７のＳ１８のように、Ｓ４９で再計算して評価を表示した後、Ｓ４３に戻って処理を繰り返すようにしてもよい。
【０１１２】
さらにまた、目盛の描画にあたっては、Ｑ₀とＱ₁をそれぞれ複数設定して、それらに対応して計算して求めた水平描画間隔Ｄrhと垂直描画間隔Ｄrvの中から、中央値を選択するようにしてもよい。これによれば、対応点の誤検出等の影響を排除することができる。
【０１１３】
この３点仮想平面生成法によれば、３画素の３次元位置により決定した平面上に対象が存在すると仮定し、その平面までの距離に基いて目盛を作成する。従って、対象物が内視鏡等の光軸に対して鉛直でない場合でも、より正確な目盛の作成をすることができる。
【０１１４】
［付記］
以上説明した第１および第２の実施の形態によれば、次の付記項に示した内容が特徴事項と言える。
【０１１５】
［付記項１］
複数の撮像手段で得られた画像データ間で対応する点を検出する対応点検出手段と、
前記対応点検出手段で検出された対応点情報に基づき、対応点に対する物体上の３次元座標情報を算出する３次元座標情報算出手段と、
前記３次元座標情報に基づき仮想平面を決定する仮想平面決定手段と、
前記仮想平面の３次元座標情報に基づき、前記撮像手段で得られた被写体画像上に目盛を表示する表示手段とを有することを特徴とする目盛表示装置。
【０１１６】
［付記項２］
前記表示手段は、目盛を描画するための画像平面上の画素幅長データに基いて、表示目盛を決定して表示することを特徴とする付記項１記載の目盛表示装置。
【０１１７】
これによれば、画像平面上の画素幅値に基いて希望する単位長の目盛を表示することができる。
【０１１８】
［付記項３］
前記表示手段は、前記対応点の移動があったときには、移動後の対応点に基いて仮想平面を再計算して設定し直し、その設定し直した仮想平面の３次元情報に基づき画像上に目盛を表示することを特徴とする付記項１記載の目盛表示装置。
【０１１９】
これによれば、画像平面上の対応点の移動があっても、その移動に応じて目盛を表示することができる。
【０１２０】
［付記項４］
付記項３において、前記表示手段は、前記対応点の移動があったときには、移動前後の対応点と仮想平面との距離差を表示することを特徴とする目盛表示装置。
【０１２１】
これによれば、移動前後における仮想平面との距離差が表示されるので、目盛作成に、より適切な平面の選択ができる。
【０１２２】
［付記項５］
付記項４において、前記距離差の表示は、最大距離、最小距離、および平均距離について行われることを特徴とする目盛表示装置。
【０１２３】
これによれば、最大距離、最小距離、および平均距離について、変更前後における仮想平面との距離差が表示されるので、より適切な平面の選択ができる。
【０１２４】
［付記項６］
付記項１において、前記対応点は、オペレータによって少なくとも一つの画像上で指定された点に基づいて検出される他の画像上の点であることを特徴とする目盛表示装置。
【０１２５】
これによれば、一つの画像を見て、オペレータが希望する画像上の点の近くに仮想平面を設定できる。
【０１２６】
［付記項７］
付記項１において、前記対応点は、画像データに基づいて自動的に決定された点に関する点であることを特徴とする目盛表示装置。
【０１２７】
これによれば、オペレータは、仮想平面を設定するための点を指定しなくてもよい。
【０１２８】
［付記項８］
付記項７の前記対応点は、少なくとも一つの画像上で、分割された小領域毎の画素値データに基づいて決定されることを特徴とする目盛表示装置。
【０１２９】
これによれば、画像データに基いて適切な領域から対応点を検出することができる。
【０１３０】
［付記項９］
付記項８の前記対応点は、前記小領域の組み合わせにおける、各小領域の平均画素値に基いて所定の評価値演算を行って決定されることを特徴とする目盛表示装置。
【０１３１】
これによれば、画像データに基いて適切な領域から対応点を検出することができる。
【０１３２】
［付記項１０］
付記項１において、前記表示手段は、目盛を描画するための画像平面上の最低画素幅長データに基いて、表示目盛を決定して表示することを特徴とする目盛表示装置。
【０１３３】
これによれば、画像平面上の最低画素幅値に基いて希望する単位長の目盛を表示することができるので、目盛サイズを一定画素数以上のものにできる。
【０１３４】
［付記項１１］
付記項１において、前記対応点は、少なくとも３点を含み、前記仮想平面設定手段は、それら３点に基いて前記仮想平面を設定することを特徴とする目盛表示装置。
【０１３５】
被写体の対象物が、光軸に対して垂直でない場合も、より正確な目盛表示が可能となる。
【０１３６】
［付記項１２］
付記項１１において、画像平面上の目盛用画素の３次元座標と、３次元座標空間の原点とを結ぶ直線が、前記仮想平面上で交わる点を算出し、その交点間の距離と前記画像平面上での画素間の距離とに基いて、画像平面上での目盛を描画することを特徴とする目盛表示装置。
【０１３７】
被写体の対象物が、光軸に対して垂直でない場合も、より正確な目盛表示が可能となる。
【０１３８】
【発明の効果】
以上のように、本発明によれば、被写体の目盛を速やかに表示することのできる目盛表示装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に関わる計測用内視鏡装置のブロック図
【図２】内視鏡の挿入部の先端部分の構造を説明する図
【図３】計測用内視鏡装置の機能構成を示すブロック図
【図４】ホストコンピュータの構成を説明する図
【図５】外部記憶装置の構成を示すブロック図
【図６】内視鏡先端部における３次元座標系を説明するための図
【図７】１画素の３次元位置情報に基づき鉛直平面を決定し目盛を描画する流れを示すフローチャート
【図８】目盛作成原理を説明するための図
【図９】左画像における目盛描画を説明するための図
【図１０】平面の評価の説明をするための図
【図１１】画素を選択する流れを示すフローチャート
【図１２】領域分割の説明図
【図１３】目盛間隔を調整する流れを示すフローチャート
【図１４】第２の実施の形態にかかる目盛描画処理の流れを示すフローチャート
【符号の説明】
１０１・・・内視鏡
１０２・・・挿入部
１０３Ｒ，１０３Ｌ・・・レンズ
１０４Ｌ・・・左撮像手段
１０４Ｒ・・・右撮像手段
１０５・・・配光レンズ
１０６・・・ライトガイド
１２０・・・ホストコンピュータ
１３０Ｌ・・・左画像用モニタ
１３０Ｒ・・・右画像用モニタ

Claims

内視鏡の挿入部の先端部に設けられた対物レンズによって結像される、複数の撮像手段により得られた被写体の複数の画像データの一の画像データ上において指定された点に対応する、他の画像データ上の対応点を検出する対応点検出手段と、
前記指定された点と前記対応点検出手段で検出された対応点の情報に基づき、前記指定された点の３次元位置座標を算出する３次元座標算出手段と、
前記指定された点について算出された前記３次元位置座標を通過し、かつ前記対物レンズの光軸に直交する仮想平面を決定する仮想平面決定手段と、
前記仮想平面の３次元位置座標に基づき、前記撮像手段で得られた被写体画像上に目盛を表示する表示手段とを有することを特徴とする計測用内視鏡装置。
内視鏡の挿入部の先端部に設けられた対物レンズによって結像される、複数の撮像手段により得られた被写体の複数の画像データの一の画像データ上において指定された点に対応する、他の画像データ上の対応点を検出し、
前記指定された点と検出された対応点の情報に基づき、前記指定された点の３次元位置座標を算出し、
前記指定された点について算出された３次元位置座標を通過し、かつ前記対物レンズの光軸に直交する仮想平面を決定し、
前記仮想平面の３次元位置座標に基づき、前記撮像手段で得られた被写計測用内視鏡装置体画像上に目盛を表示することを特徴とする目盛表示方法。
前記表示手段は、前記目盛を作成するための基準となる図形を、前記被写体画像上の前記指定された点の位置に表示することを特徴とする請求項１に記載の計測用内視鏡装置。
前記表示手段は、前記目盛を前記仮想平面と平行な平面上に描画することによって、前記被写体画像上に前記目盛を表示することを特徴とする請求項１又は３に記載の計測用内視鏡装置。
前記指定された点の移動があったときは、前記３次元座標算出手段は、前記３次元位置座標を再算出し、前記仮想平面決定手段は、再算出して得られた３次元位置座標に基づいて前記仮想平面を決定し、前記表示手段は、その再算出して得られた３次元位置座標に基づき、前記撮像手段で得られた被写体画像上に目盛を表示することを特徴とする請求項１、３又は４に記載の計測用内視鏡装置。