JP5042550B2

JP5042550B2 - 内視鏡装置

Info

Publication number: JP5042550B2
Application number: JP2006204819A
Authority: JP
Inventors: 澄人中野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-07-27
Filing date: 2006-07-27
Publication date: 2012-10-03
Anticipated expiration: 2026-07-27
Also published as: JP2008029497A

Description

本発明は、被写体の空間特性（長さ、面積、表面形状等）を計測することが可能な内視鏡装置に関する。

異なる視点から被写体を撮像するステレオ光学アダプタを内視鏡の先端に取り付け、三角測量の原理で被写体の様々な空間特性を計測（ステレオ計測）することが可能な内視鏡装置が広く用いられている（例えば特許文献１参照）。以下、このステレオ光学アダプタのうち、側視型のステレオ光学アダプタの構成を説明する。

図６は、側視型のステレオ光学アダプタを内視鏡の先端部に取り付けた様子を示している。また、図７は、図６のＢ−Ｂ線の断面を示している。図６に示すように側視型のステレオ光学アダプタ７の先端面には一対の照明レンズ５６，５７と２つの対物レンズ系５８，５９とが設けられており、図７に示すように固定リング５０の雌ねじ５０ａを、内視鏡先端部２１に形成されている雄ねじ２１ａに螺合することによって、それらが一体的に固定されるようになっている。

図７に示すように２つの対物レンズ系５８，５９の直下には、光軸を９０度折り曲げるプリズム４９ａと光学レンズ４９ｂとが設けられている。この光学レンズ４９ｂの基端側には、図８に示す２つの四角形形状の開口５５ｄを有する視野マスク５５ｂが配置されている。内視鏡先端部２１内に配設された固体撮像素子２ａの撮像面上には、この視野マスク５５ｂの開口５５ｄを通過した２つの光学像が結像し、図９に示す画像が観察される。

このような側視型のステレオ光学アダプタを使用した場合には、例えば図６に示す被写体３０（文字Ｆ）を撮影すると、側面を撮影するためのプリズムの作用により、図９に示すように画像が鏡像となって観察される。検査においては、鏡像の画像が適さない場合があるため、図１０に示すように、左右反転の画像変換を画像に施して、正立像として被写体を観察することがある。また、プリズムの作用によっては、上下反転や回転の画像変換を施すのが適する場合もあるし、観察対象の大きさに応じて拡大や縮小の画像変換を施すのが適する場合もある。

上記のように２つの視点で得られた画像を用いて三角測量によるステレオ計測を行うためには、光学系の空間特性を示す光学データ（複数の光学系の焦点距離等）が必要である。このため、測定によって光学データを生成する処理が行われる（例えば特許文献２参照）。
特開２００４−３３４８７号公報特開２００４−４９６３８号公報

光学データの測定時の画像変換の設定と同じ設定で撮影された画像を用いれば、ステレオ計測を正しく行うことができる。しかし、光学データの測定時と異なる画像変換の設定がなされた場合には、光学系の空間特性と画像との対応関係が変わるため、元の光学データを使用することができない。この場合には、再度、光学データの測定を行う必要がある。このため、光学データの測定に係る手間が発生することによって、ステレオ計測に係る手間が増加するという問題があった。

本発明は、上述した問題点に鑑みてなされたものであって、被写体の空間特性の計測に係る手間を軽減することができる内視鏡装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体を撮像し、被写体に関する画像データを生成する撮像手段と、前記画像データに対して、上下反転、左右反転、回転、拡大、縮小の少なくともいずれかの画像変換を行う画像変換手段と、前記画像変換が施された前記画像データに対して前記画像変換の逆変換を行い、前記撮像手段の光学系の特性を示す光学データと前記逆変換が施された前記画像データとに基づいて計測処理を実行する計測手段と、表示手段と、を備え、前記表示手段は、前記画像変換が施された前記画像データを表示し、前記計測手段は、前記画像変換が施された前記画像データが前記表示手段によって表示されるとき、前記逆変換が施された前記画像データに基づいて計測処理を実行することを特徴とする内視鏡装置である。

本発明によれば、どのような画像変換が行われる場合でも、画像変換前の画像データを用いた計測に使用できる光学データさえあれば、画像変換された画像データを逆変換して得られた画像データと光学データとに基づいて計測を行うことができる。これによって、新たな光学データの測定を行う必要がなくなるので、被写体の空間特性の計測に係る手間を軽減することができるという効果が得られる。

以下、図面を参照し、本発明の一実施形態を説明する。本実施形態では、ステレオ計測が可能な計測用内視鏡装置に本発明を適用した例を説明する。図１は、本実施形態による計測用内視鏡装置１０の構成を示している。図１に示すように、計測用内視鏡装置１０は、内視鏡挿入部１１、コントロールユニット１２、リモートコントローラ１３、表示部１４、ＦＭＤ１７（フェイスマウントディスプレイ）、およびＦＭＤアダプタ１８を含んで構成されている。

内視鏡挿入部１１は、被写体からの光を２つの光路で集光する光学系を備え、ステレオ計測可能な光学アダプタを内視鏡先端部２１に着脱自在に構成されている。また、内視鏡挿入部１１は、光学アダプタを介して入射した被写体像を光電変換し撮像信号を生成する固体撮像素子２ａ（図２参照）を内視鏡先端部２１に備えている。コントロールユニット１２は、内視鏡挿入部１１を収納可能に構成されており、内視鏡挿入部１１が有する固体撮像素子２ａから出力された撮像信号を処理する。

リモートコントローラ１３は、計測用内視鏡装置１０全体の各種動作制御を実行するのに必要な操作の入力をユーザから受け付けて、その入力内容をコントロールユニット１２に伝達する。液晶モニタ（ＬＣＤ）等で構成される表示部１４は、撮像された画像（内視鏡画像）や操作制御内容（例えば処理メニュー）等を表示する。ＦＭＤ１７は、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なディスプレイである。ＦＭＤアダプタ１８は、このＦＭＤ１７に画像データを供給する。

図２はコントロールユニット１２の内部構成を示している。図２に示すように、内視鏡挿入部１１は内視鏡ユニット２４に接続される。この内視鏡ユニット２４は、撮影時に必要な照明光を得るための光源装置と、内視鏡挿入部１１を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。内視鏡挿入部１１先端の固体撮像素子２ａからの撮像信号はＣＣＵ２５（カメラコントロールユニット）に入力される。ＣＣＵ２５は、供給された撮像信号をＮＴＳＣ信号等の映像信号（画像データ）に変換し、コントロールユニット１２内の主要処理回路群へ供給する。

図２に示すように、コントロールユニット１２内に搭載された主要回路群は、ＣＰＵ２６、ＲＯＭ２７、ＲＡＭ２８、ＲＳ−２３２ＣＩ／Ｆ２９、ＰＣカードＩ／Ｆ３０、および映像信号処理回路３３を含んで構成されている。ＣＰＵ２６は、ＲＯＭ２７に格納されているプログラムを実行し、目的に応じた処理を行うように各種の回路部を制御してシステム全体の動作制御を行う。ＲＡＭ２８は、ＣＰＵ２６による各種動作の作業領域である。

ＲＳ−２３２ＣＩ／Ｆ２９は、リモートコントローラ１３、内視鏡ユニット２４、およびＣＣＵ２５にそれぞれ接続されている。リモートコントローラ１３は、ユーザからの操作入力を受け付けて、内視鏡ユニット２４およびＣＣＵ２５の制御および動作指示を行う。ＲＳ−２３２ＣＩ／Ｆ２９は、リモートコントローラ１３からの指示に基づいて、内視鏡ユニット２４およびＣＣＵ２５の動作を制御するのに必要な通信を行う。

ＰＣカードＩ／Ｆ３０は、フラッシュメモリカード２２およびＰＣＭＣＩＡメモリカード２３が着脱自由に接続されるようになっている。つまり、いずれかのメモリカードが装着された場合に、コントロールユニット１２は、ＣＰＵ２６による制御に従って、記録媒体としてのメモリカードに記録された制御処理情報や画像情報、光学データ等のデータを再生し、ＰＣカードＩ／Ｆ３０を介して内部に取り込むことができる。あるいは、コントロールユニット１２は、制御処理情報や画像情報、光学データ等のデータを、ＰＣカードＩ／Ｆ３０を介してメモリカードに供給して記録することができる。

ＣＰＵ２６は、その機能の１つとして、表示部１４に表示される操作メニュー等に対応したグラフィックデータを生成し、映像信号処理回路３３へ出力する機能を有する。映像信号処理回路３３は、ＣＣＵ２５から供給された内視鏡画像とグラフィックデータを合成し、ＮＴＳＣ等の映像信号に変換して表示部１４に供給する。表示部１４は、この映像信号に基づいて、内視鏡画像と操作メニュー等のグラフィック画像との合成画像を表示する。映像信号処理回路３３は、単に内視鏡画像あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。

また、映像信号処理回路３３は、リモートコントローラ１３からの指示に基づいたＣＰＵ２６の制御に従って、内視鏡画像の画像データに対して画像変換を施す機能も備えている。画像変換には、無変換、左右反転、上下反転、任意の角度の回転、拡大、縮小が含まれる。例えば、図９に示す内視鏡画像３０ａＬ，３０ａＲに左右反転の画像変換を施すと、図１０に示すような内視鏡画像３０ｂＬ，３０ｂＲが表示部１４の画面上に表示される。画像変換が無変換に設定された場合には、映像信号処理回路３３は、画像変換を行わずに、それ以後の処理を実行する。

ステレオ計測を行う場合、ＣＰＵ２６は内視鏡画像を画像データとして映像信号処理回路３３からＲＡＭ２８に取り込み、さらに記録媒体（フラッシュメモリカード２２またはＰＣＭＣＩＡメモリカード２３）から光学データをＲＡＭ２８に取り込み、画像データと光学データに基づいてステレオ計測処理を実行する。

本実施形態では、被写体からの光が、光学アダプタによって左右の２つの光路で集光され、固体撮像素子２ａおよびＣＣＵ２５によって、各々の光路に対応した２つの画像データが生成される。すなわち、左右２つの視点からの撮像によって、各視点に対応した２つの画像データが生成される。これらの画像データに基づいてステレオ計測が行われる。

次に、図３を参照し、ステレオ計測による計測点の３次元座標の求め方を説明する。最初に、左側および右側の光学系で撮像された画像に対して、レンズ系に起因する光学的な歪みを除去する歪み補正が実行される。続いて、歪み補正が施された画像に対して、三角測量の方法により、計測点３００の３次元座標（Ｘ，Ｙ，Ｚ）が以下の式で計算される。ただし、歪み補正が施された左右の画像上の計測点３１０，３２０の座標をそれぞれ（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）とし、左側と右側の光学中心３３０，３４０の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（Ｘ_Ｌ−Ｘ_Ｒ）とする。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２
Ｙ＝ｔ×Ｙ_Ｒ
Ｚ＝ｔ×Ｆ

歪み補正後の画像上の計測点３１０，３２０の座標が決定されると、上記のようにパラメータＤおよびＦを用いて計測点３００の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。上記のステレオ計測を行うためには、内視鏡先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。例えば前述した特許文献２に記載された方法で測定された光学データが記録媒体に記録されることになる。

以下、光学データを構成するデータの内容を示す。
（ａ）左右の光学系の幾何学的歪み補正パラメータ
（ｂ）左右の光学系それぞれの焦点距離Ｆ
（ｃ）左右の光学系の光学中心間の距離Ｄ
（ｄ）左右の光学系それぞれの画像上での光軸位置（図３の光軸位置Ｏ_Ｒ，Ｏ_Ｌ）の座標

光学データの測定の際には、画像変換が所定条件（例えば、無変換）に設定された状態で測定が実行される。この所定条件と異なる画像変換が施された場合には、歪み補正パラメータ、画像上の焦点距離、光軸位置等の特性が変化するため、元の光学データを計測に使用することができなくなる。そこで、本実施形態では、ＣＰＵ２６が、映像信号処理回路３３から取り込んだ画像データに対して、映像信号処理回路３３が行う画像変換の逆変換を施し、逆変換後の画像データと光学データに基づいてステレオ計測処理を実行する。

次に、図４を参照し、本実施形態における光学データの生成方法を説明する。まず、ＣＰＵ２６は、リモートコントローラ１３から出力された信号に基づいて、画像変換の種類を設定する（ステップＳ４００）。このとき、元となる光学データの測定用の画像変換（例えば、無変換）とステレオ計測用の画像変換（例えば、左右反転、上下反転、回転、拡大、縮小の少なくともいずれか）とが設定される。これらの設定に係る情報は、例えばＲＡＭ２８に格納され、ＣＰＵ２６によって適宜参照される。

続いて、ＣＰＵ２６は、光学データの測定用の画像変換を映像信号処理回路３３に設定した上で、映像信号処理回路３３から画像データをＲＡＭ２８に取り込み、その画像データに基づいて光学データを生成する。ＣＰＵ２６は、生成した光学データを記録媒体に書き込む（ステップＳ４１０）。上記のようにして光学データが生成された後、処理が終了する。

次に、図５を参照し、ステレオ計測時の処理を説明する。ＣＰＵ２６は、ステレオ計測用の画像変換を映像信号処理回路３３に設定した上で、映像信号処理回路３３から画像データをＲＡＭ２８に取り込む（ステップＳ５００）。この画像データは、所定の画像変換が施されたものである。さらに、ＣＰＵ２６は光学データを記録媒体から読み出してＲＡＭ２８に格納する（ステップＳ５１０）。

続いて、ＣＰＵ２６は、取り込んだ画像データに対して、映像信号処理回路３３に設定した画像変換の逆変換を施し（ステップＳ５２０）、逆変換後の画像データと光学データに基づいて、前述した三角測量により、計測点の３次元座標を計算する（ステップＳ５３０）。上記の処理により、画像変換後の画像を表示しつつ、ステレオ計測を行うことが可能となる。

なお、所定の画像変換に対応した光学データを予めＲＯＭ２７に格納しておき、ステレオ計測時にその光学データを使用するようにしてもよい。

上述したように、本実施形態によれば、どのような画像変換が行われる場合でも、画像変換前の画像データを用いた計測に使用できる光学データさえあれば、画像変換された画像データを逆変換して得られた画像データと光学データとに基づいて計測を行うことができる。これによって、新たな光学データの測定を行う必要がなくなるので、被写体の空間特性の計測に係る手間を軽減することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による計測用内視鏡装置の構成を示す構成図である。本発明の一実施形態による計測用内視鏡装置が備えるコントロールユニットの構成を示すブロック図である。本発明の一実施形態におけるステレオ計測による計測点の３次元座標の求め方を説明するための参考図である。本発明の一実施形態における光学データの生成手順を示すフローチャートである。本発明の一実施形態におけるステレオ計測時の処理手順を示すフローチャートである。側視型のステレオ光学アダプタが先端部に取り付けられた内視鏡の斜視図である。側視型のステレオ光学アダプタが先端部に取り付けられた内視鏡の断面図である。側視型のステレオ光学アダプタの視野マスクを示す参考図である。内視鏡で観察される画像を示す参考図である。左右反転の画像変換を行った場合に内視鏡で観察される画像を示す参考図である。

符号の説明

２ａ・・・固体撮像素子（撮像手段）、１０・・・計測用内視鏡装置、１１・・・内視鏡挿入部、１２・・・コントロールユニット、１３・・・リモートコントローラ、１４・・・表示部、１７・・・ＦＭＤ、１８・・・ＦＭＤアダプタ、２２・・・フラッシュメモリカード（記憶手段）、２３・・・ＰＣＭＣＩＡメモリカード（記憶手段）、２４・・・内視鏡ユニット、２５・・・ＣＣＵ（撮像手段）、２６・・・ＣＰＵ（計測手段）、２７・・・ＲＯＭ、２８・・・ＲＡＭ、２９・・・ＲＳ−２３２Ｃ・・・Ｉ／Ｆ、３０・・・ＰＣカードＩ／Ｆ、３３・・・映像信号処理回路（画像変換手段）

Claims

被写体を撮像し、被写体に関する画像データを生成する撮像手段と、
前記画像データに対して、上下反転、左右反転、回転、拡大、縮小の少なくともいずれかの画像変換を行う画像変換手段と、
前記画像変換が施された前記画像データに対して前記画像変換の逆変換を行い、前記撮像手段の光学系の特性を示す光学データと前記逆変換が施された前記画像データとに基づいて計測処理を実行する計測手段と、
表示手段と、
を備え、
前記表示手段は、前記画像変換が施された前記画像データを表示し、
前記計測手段は、前記画像変換が施された前記画像データが前記表示手段によって表示されるとき、前記逆変換が施された前記画像データに基づいて計測処理を実行することを特徴とする内視鏡装置。