JP5576739B2 - 画像処理装置、画像処理方法、撮像装置及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、撮像装置及びプログラム等に関する。

内視鏡のような撮像装置においては、ドクターの診断に支障をきたさないため、パンフォーカスの画像が求められる。このため、内視鏡では比較的Ｆナンバーが大きい光学系を使用して被写界深度を深くすることでこのような性能を達成している。

しかし、内視鏡システムにおいても、近年数十万画素程度の高画素の撮像素子が使用されるようになっている。撮像装置の被写界深度は許容錯乱円の大きさによって決定されるが、高画素の撮像素子では画素ピッチと共に許容錯乱円も小さくなるため撮像装置の被写界深度は狭くなる。このような場合には光学系の絞りをさらに小さくし、光学系のＦナンバーを増大させることで被写界深度を維持することが考えられるが、光学系が暗くなりノイズが増加することで画質が劣化する。また、Ｆナンバーが大きくなると回折の影響も大きくなり、結像性能が劣化することで撮像素子を高画素化しても高い解像力の画像が得られない。

一方、被写界深度を拡大する技術として、例えばピント位置の異なる複数枚の画像を取得し、画像のピントが合っている部分だけを合成して合成画像を作成する方法（特許文献１）が知られている。また、光学系で軸上色収差をわざと発生させ、チャンネルによりピント位置の異なる画像を取得し、画像処理で被写界深度を拡大する方法（特許文献２）が知られている。このような技術を内視鏡システムに適応することで高い解像力を維持したまま被写界深度を深くすることが可能になる。

特開２０００−２７６１２１号公報 特表２００８−５３２４４９号公報

前述したようにピント位置の異なる複数枚（複数チャンネル）の画像を取得できる場合、これらの画像から被写界深度を拡大するだけでなく、例えば被写体までの距離を推定することも可能である（詳細は後述）。内視鏡システムにおいて被写体までの距離の情報は非常に重要であるが、前述した特許文献１及び特許文献２では、ピント位置の異なる複数枚（複数チャンネル）の画像から被写体までの距離を推定する手法や、推定した距離を活用する手法については詳細に開示されていない。

本発明の幾つかの態様によれば、合焦状態（ピント位置）の異なる複数枚（複数チャンネル）の画像から被写体までの距離を推定し、ドクターに診断上の様々な価値を提供する画像処理装置、画像処理方法、撮像装置及びプログラム等を提供することができる。

本発明の一態様は、合焦状態が異なる複数の画像を取得する画像取得部と、取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行う基準点設定部と、前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定する距離推定部と、推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成する付加情報生成部と、を含む画像処理装置に関係する。

本発明の一態様では、合焦状態の異なる複数の画像を取得し、複数の画像について注目領域に対して基準点の設定処理を行い、基準点に対応する実空間上の対応点までの距離を推定し、推定した距離情報に基づいて付加情報を生成する。これにより、推定した距離情報に基づいて、ユーザーに対して有用な情報を生成し、画像情報に付加して提示することが可能になる。

本発明の他の態様は、合焦状態が異なる複数の画像を取得し、取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行い、前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定し、推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成する画像処理方法に関係する。

また、本発明の他の態様は、合焦状態が異なる複数の画像を取得する画像取得部と、取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行う基準点設定部と、前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定する距離推定部と、推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成する付加情報生成部と、を含む撮像装置に関係する。

また、本発明の他の態様は、合焦状態が異なる複数の画像を取得する画像取得部と、取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行う基準点設定部と、前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定する距離推定部と、推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成する付加情報生成部として、コンピュータを機能させるプログラムに関係する。

本実施形態のシステム構成例。 撮像素子の構成例。 図３（Ａ）は近点画像の被写界深度の説明図、図３（Ｂ）は遠点画像の被写界深度の説明図。 画像処理部の構成例。 距離推定部の構成例。 局所領域の設定例。 対物レンズの後側焦点位置からの距離と、ある空間周波数における対物レンズのコントラストの関係図。 図８（Ａ）〜図８（Ｅ）は注目領域に対して付加情報を付加する例。 図９（Ａ）、図９（Ｂ）は基準点の画像上の座標から、対応点の実空間上の座標を求める手法の説明図。 入射瞳の説明図。 局所倍率の説明図。 図１２（Ａ）〜図１２（Ｅ）は注目領域に対して付加情報を付加する他の例。 図１３（Ａ）、図１３（Ｂ）は合焦方向等を求める際のＺｎ、Ｚｆの設定の説明図。 図１４（Ａ）〜図１４（Ｃ）はＺｎ、Ｚｆと、被写体までの距離Ｚｃとの関係を示す図。 本実施形態の他のシステム構成例。 図１６（Ａ）〜図１６（Ｃ）はＲ，Ｇ，Ｂの各チャンネルの被写界深度の説明図。 対物レンズの後側焦点位置からの距離と、ある空間周波数における対物レンズのコントラストの他の関係図。 画像処理部の他の構成例。 本実施形態の他のシステム構成例。

１．本実施形態の手法

まず、本実施形態の手法について説明する。特許文献１に示したように、合焦状態（ピント位置）の異なる複数枚の画像を取得し、画像のピントが合っている部分だけを合成して合成画像を作成する手法が知られている。このようにすることで、図３に示したように、被写界深度の範囲が異なる複数の画像を取得できるため、それぞれピントの合っている部分を利用して複数の画像を合成することで、高い解像力を維持したまま、被写界深度を拡大することが可能になる。

しかし、合焦状態が異なる複数枚の画像を取得する手法のメリットは被写界深度の拡大に限定されるものではない。例えば、それぞれの画像についてコントラスト（鮮鋭度）を求めることで、撮像装置（もしくは光学系の前側焦点位置）から被写体までの距離情報を取得することもできる。

そこで、本出願人は、被写体までの距離情報に基づいて、ユーザ（ドクター）にとって有用な付加情報を画像に付加する手法について提案する。付加情報とは具体的には例えば、図８（Ｃ）に示すような、病変サイズ情報や、図８（Ｅ）に示すような実空間における大きさを表すスケール情報である。また付加情報は、図１２（Ｂ）〜図１２（Ｅ）に示すような合焦方向情報・ピントが合っていることを示す表示情報・アラート情報等であってもよい。

上述した距離情報は、例えば複数の画像のコントラスト情報と、光学系の設計から決まるコントラスト曲線に基づいて、図７のような手法で求めることができる。

また、病変サイズ情報を表示するためには、画像上の基準点に対応する実空間上の対応点の３次元座標を求める必要がある。そのために、図９のような手法を用いて３次元座標の算出を行う。また、スケール情報の生成は局所倍率等を求めることで行う。合焦方向情報等の生成は、被写体までの距離情報と、前側焦点位置から被写界深度の端までの距離とを比較することで行う。

距離情報の推定、及び、距離情報に基づく各種付加情報の生成手法については、後述する各実施形態にて詳細に説明する。

以下、第１の実施形態では、合焦状態の異なる複数の画像を取得するために、対物レンズからの距離（もしくは後側焦点位置からの距離）が異なる２つの撮像素子を用いる手法について説明する。また、第２の実施形態では、光学系で軸上色収差をわざと発生させ、チャンネル（Ｒ，Ｇ，Ｂ）により合焦状態の異なる画像を取得する手法について説明する。さらに、第３の実施形態では、撮像素子を駆動させ、第１のタイミングにおいて第１の合焦状態とし、第２のタイミングで第２の合焦状態とすることで、１つの撮像素子で時分割的に合焦状態の異なる複数の画像を取得する手法について説明する。なお、各実施形態の差異は合焦状態の異なる複数の画像の取得手法（及び第２の実施形態では距離推定手法の細部）であり、距離情報の推定後の付加情報の生成、利用手法については、各実施形態間で差はないものとする。

２．第１の実施形態

本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムについて、図１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。

撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光の光路を分割するハーフミラー２４０と、第１撮像素子２５０と、第２撮像素子２６０を備えている。第１撮像素子２５０及び第２撮像素子２６０は、図２に示すようなベイヤ配列の色フィルタを持つ撮像素子であり、ここでＧｒとＧｂは同じ分光特性である。

ここで、それぞれの撮像素子で取得される画像の被写界深度について図３（Ａ）、図３（Ｂ）を用いて説明する。図３（Ａ）に示すＺｎ’は対物レンズの後側焦点位置から第１撮像素子までの距離であり、図３（Ｂ）に示すＺｆ’は対物レンズの後側焦点位置から第２撮像素子までの距離である。本実施の形態においては、例えばＺｎ’＞Ｚｆ’となるようにそれぞれの撮像素子がハーフミラーを介して配置されている。この結果、第１撮像素子で取得される画像（近点画像）の被写界深度範囲は、第２撮像素子で取得される画像（遠点画像）被写界深度範囲に比較して対物レンズに近い範囲となる。Ｚｎ’及びＺｆ’の値を調整することで、それぞれの画像の被写界深度の範囲を調整することができる。

処理部３００はＡ／Ｄ変換部３１０及び３２０と、近点画像記憶部３３０と、遠点画像記憶部３４０と、画像処理部３５０と制御部３６０を備えている。Ａ／Ｄ変換部３１０及び３２０は、第１撮像素子２５０及び第２撮像素子２６０から出力されるアナログ信号を、デジタル信号に変換して出力する。近点画像記憶部３３０は、Ａ／Ｄ変換部３１０から出力されたデジタル信号を近点画像として記憶する。遠点画像記憶部３４０は、Ａ／Ｄ変換部３２０から出力されたデジタル信号を遠点画像として記憶する。画像処理部３５０は、記憶された近点画像と遠点画像から表示用の画像を生成し、表示部４００に表示する。画像処理部３５０の詳細については後述する。表示部４００は例えば液晶モニタであり、画像処理部３５０から出力される画像を表示する。制御部３６０は、近点画像記憶部３３０、遠点画像記憶部３４０、画像処理部３５０と双方向に接続されており、これらを制御するようになっている。

外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。外部Ｉ／Ｆ部５００は、ユーザーから入力された情報を制御部３６０に出力する。

次に画像処理部３５０の詳細について図４を用いて説明する。画像処理部３５０は基準点設定部３５１と、距離推定部３５２と、前処理部３５３と、合成画像生成部３５４と、後処理部３５５と、付加情報生成部３５６と、加工部３５７を備えている。基準点設定部３５１は制御部３６０からの制御信号に従って、画像上で距離推定を行うべき位置の情報を基準点の座標情報として距離推定部３５２に出力する。基準点設定部３５１の詳細については後述する。

前処理部３５３は近点画像記憶部３３０及び遠点画像記憶部３４０に記憶された近点画像と遠点画像のそれぞれに対して、例えばＯＢ処理やホワイトバランス処理、デモザイク処理といった前処理を行い、距離推定部３５２と合成画像生成部３５４に近点画像と遠点画像の両方を出力する。前処理部３５３ではさらに、必要に応じて歪曲収差や倍率色収差といった光学収差の補正処理やノイズ低減処理等を行ってもよい。

距離推定部３５２は、基準点設定部３５１から出力された基準点の座標情報に基づいて、前処理部３５３から出力された近点画像と遠点画像を利用して実空間での被写体までの距離推定をおこない、付加情報生成部３５６に対して距離情報もしくは距離情報と基準点の座標情報を出力する。距離推定部３５２の詳細については後述する。付加情報生成部３５６は制御部３６０からの制御信号に従って、距離推定部３５２から出力された距離情報もしくは距離情報と基準点の座標情報を用いて付加情報を生成し、加工部３５７に出力する。付加情報生成部３５６の詳細については後述する。

合成画像生成部３５４は、前処理部３５３から出力された近点画像と遠点画像を合成し、被写界深度が拡大された１枚の合成画像を生成し、後処理部３５５に合成画像を出力する。合成画像生成部３５４の詳細については後述する。後処理部３５５は合成画像生成部３５４から出力された合成画像に対して、例えば色変換処理や階調変換処理、エッジ強調処理、拡縮処理等の後処理を行い、画像を加工部３５７に出力する。

加工部３５７は後処理部３５５から出力された画像に対して、制御部３６０からの制御情報に従って、付加情報生成部３５６から出力された付加情報を用いて画像を加工し、表示部４００に画像を出力する。加工部３５７の詳細については後述する。

ここで、距離推定部３５２で行う処理の詳細について図５を用いて説明する。距離推定部３５２は局所領域設定部３５２１と、コントラスト情報算出部３５２２と、距離算出部３５２３を備えている。局所領域設定部３５２１は、基準点設定部３５１から出力された基準点の座標に基づいて、距離推定部３５２に入力される近点画像Ｉｎおよび遠点画像Ｉｆに対して局所領域を設定する。ここでは例えば図６に示すように基準点の座標（ｘｄ，ｙｄ）を中心とした５×５画素の領域をそれぞれの画像の局所領域とする。コントラスト情報算出部３５２２は、近点画像Ｉｎおよび遠点画像Ｉｆに対して設定された局所領域から、それぞれの画像に対してコントラストを算出し、近点画像および遠点画像の局所領域のコントラストＣｎおよびＣｆを距離算出部に出力する。

コントラストを算出するには例えば、近点画像Ｉｎおよび遠点画像Ｉｆに対して設定した局所領域のすべての画素に対して、Ｇチャンネルの画素値を用いて上下左右に隣接する４画素との勾配Δｕ，Δｄ，Δｌ，Δrを算出し、局所領域のすべての画素における４方向の勾配の平均値Δａｖｅ＿ＩｎおよびΔａｖｅ＿Ｉｆを算出して局所領域のコントラストＣｎおよびＣｆとすればよい。また、ここでは例えば局所領域におけるエッジ強度の平均値等を求めてコントラストとしてもよい。

距離算出部３５２３はＣｎおよびＣｆから基準点に対応する被写体までの距離を算出する。図７は対物レンズの後側焦点位置からの距離と、ある空間周波数における対物レンズのコントラストの関係を表すコントラスト曲線の一例である。後側焦点位置から、基準点に対応する被写体の焦点位置までの距離Ｚ’が分かれば、以下の（１）式で前側焦点位置から基準点に対応する被写体までの距離Ｚを算出することができる。ここでfは対物レンズの焦点距離である。

Ｚ・Ｚ’＝−ｆ^２ ・・・・・（１）

対物レンズのコントラスト曲線は、設計データから既知であるため、近点画像および遠点画像の基準点でのコントラストＣｎおよびＣｆから、Ｚ’を算出することができる。これは例えば近点画像と遠点画像のコントラストの比Ｃｎ／Ｃｆの値と、対応する焦点位置Ｚ’の値の関係をルックアップテーブルとして保持しておいてもよいし、Ｚ’をＣｎ／Ｃｆの関数としてＺ’＝ｇ（Ｃｎ／Ｃｆ）と近似できるような関数ｇ（ｘ）を予め設定しておいてもよい。このような処理を行うことで、距離算出部３５２３はＣｎおよびＣｆから基準点に対応する被写体までの距離を算出することができる。さらに、Ｚ’が算出できればＺは（１）式から一義的に算出できるため、例えばＣｎ／Ｃｆの値と、対応する被写体までの距離Ｚの値の関係を直接ルックアップテーブルとして保持しておいてもよいし、ＺをＣｎ／Ｃｆの関数としてＺ＝ｈ（Ｃｎ／Ｃｆ）と近似できるような関数ｈ（ｘ）を予め設定しておくことも可能である。また、Ｚ’もしくはＺを算出するためのパラメータとして近点画像と遠点画像のコントラストの比Ｃｎ／Ｃｆの代わりにコントラストの差Ｃｎ−Ｃｆ等の値を使用してもよい。

さらに、合成画像生成部３５４で行う処理の詳細について説明する。合成画像生成部３５４に入力される近点画像をＩｎ、遠点画像をＩｆとする。また、合成画像生成部３５４から出力される合成画像をＩｃとする。合成画像生成部３５４はまず、入力される近点画像Ｉｎと遠点画像Ｉｆの座標（ｘ，ｙ）に位置する注目画素Ｉｎ（ｘ，ｙ）およびＩｆ（ｘ，ｙ）対して、例えば注目画素と任意の周辺画素との勾配や、注目画素のエッジ強度から鮮鋭度を算出する。ここで近点画像Ｉｎの画素（ｘ，ｙ）における鮮鋭度をＳ_Ｉｎ（ｘ，ｙ）、遠点画像Ｉｆの画素（ｘ，ｙ）における鮮鋭度をＳ_Ｉｆ（ｘ，ｙ）とする。次にＳ_Ｉｎ（ｘ，ｙ）とＳ_Ｉｆ（ｘ，ｙ）を比較する。そして、Ｓ_Ｉｎ（ｘ，ｙ）≧Ｓ_Ｉｆ（ｘ，ｙ）の場合、Ｉｎ（ｘ，ｙ）を合成画像Ｉｃの画素（ｘ，ｙ）の値Ｉｃ（ｘ，ｙ）とする。また、Ｓ_Ｉｎ（ｘ，ｙ）＜Ｓ_Ｉｆ（ｘ，ｙ）の場合は、Ｉｆ（ｘ，ｙ）をＩｃ（ｘ，ｙ）とする。このような処理を行うことで、近点画像Ｉｎと遠点画像Ｉｆからピントが合っている方の画素を抽出し、被写界深度が拡大された１枚の合成画像を生成することができる。

次に、距離推定部３５２で算出した距離情報を活用し、ドクターに診断上の価値を提供するためのいくつかの手法について説明する。

２．１ 病変の大きさを表示

内視鏡診断において、病変部の大きさは治療の方針等を決定するために重要な指標であり、簡易に病変部の大きさを測定したいというニーズがある。ここでは内視鏡診断において、図８（Ａ）に示すような病変部の画像が表示部４００に表示された場合に、この病変部の大きさを計測するための１番目の手法について説明する。ここで本処理が実行されるモードを、第１の病変部計測モードと呼ぶ。

第１の病変部計測モードにおいて病変部が発見された場合、ドクターは距離を計測したい位置を画像上で指定する。ここでは図８（Ｂ）に示すＡ’点およびＢ’点が距離を計測したい位置として指定されたと仮定する。このように画像上で計測したい位置を指定するには、例えば内視鏡システムに付属するキーボードやマウス等を用いて画像上のポインタを動かし決定ボタンを押すことで指定すればよい。また、例えばタッチパネル機能を備えたモニタで表示部４００を構成し、指やタッチペンで画像に直接触れることで位置を指定することも可能である。

第１の病変部計測モードにおいて基準点設定部３５１は、制御部３６０からのモード情報に従って、指定されたＡ’点およびＢ’点の画像上での座標（Ｘａ’，Ｙａ’）および（Ｘｂ’，Ｙｂ’）を取得し、これらを基準点の座標情報として距離推定部３５２に出力する。距離推定部３５２は、前述した手法で、前側焦点位置からＡ’およびＢ’に対応する被写体上の位置Ａ点及びＢ点までの実空間での距離情報ＺａおよびＺｂを算出し、これらの距離情報と基準点の座標情報を付加情報生成部３５６に出力する。

付加情報生成部３５６は制御部３６０からのモード情報に従って、距離推定部３５２から出力された距離情報と基準点の座標情報から、Ａ点およびＢ点の三次元座標（Ｘａ，Ｙａ，Ｚａ）および（Ｘｂ，Ｙｂ，Ｚｂ）を算出し、これを用いて実空間でのＡ点とＢ点の間の距離（病変部の大きさ）を算出する。画像上で基準点の位置を表すｘ’軸およびｙ’軸は、図９（Ａ）に示すように画像の中心を原点として画像の水平方向および垂直方向に平行な軸である。また、実空間におけるｘ軸とｙ軸は前側焦点位置で互いに直交し、それぞれｘ’軸とｙ’軸と同じ方向を向いた軸である。さらに実空間におけるＺ軸は図９（Ｂ）に示すように前側焦点位置を通りｘｙ平面に直交する直線である。Ａ点およびＢ点の三次元座標のうちＺａおよびＺｂは、前側焦点位置から被写体までのＺ軸方向の距離であるため、距離推定部３５２から出力される距離情報ＺａおよびＺｂそのものである。

ここでＢ点の三次元座標（Ｘｂ，Ｙｂ，Ｚｂ）を算出する手法について図９（Ａ）、図９（Ｂ）を用いて説明する。付加情報生成部３５６はまずＢ’点の画像上の座標（Ｘｂ’，Ｙｂ’）から、画像中心を基準としたＢ’点までの距離（像高）Ｒｂ’と、Ｂ’点と画像中心をとおる直線がｘ’軸となす角φｂを算出する。

次に付加情報生成部３５６は像高Ｒｂ’を用いて、実空間でＢ点から出射した主光線が入射瞳に入射する入射角θｂを算出する。ここで、入射瞳とは、絞りより物体側の光学系で結像された絞りの像のことであり、図１０に示したように、入射瞳位置は主光線をそのまま延長し、光軸（ここではＺ軸と一致）と交わる位置である。前側焦点位置から入射瞳までの距離Ｄは光学系の設計から既知の情報である。また、Ｒｂ’とθｂの関係は対物レンズの性能から既知であるため、θｂが求められれば、Ｂ点の空間的な位置は図９（Ｂ）のように一意に決定する。ここで、θｂを算出するには例えばＲｂ’とθｂの関係をルックアップテーブルとして保持しておいてもよいし、θｂをＲｂ’の関数としてθｂ＝ｆ（Ｒｂ’）と近似できるような関数ｆ（ｘ）を予め設定しておくことも可能である。

次に付加情報生成部３５６は入射角θｂの値を用いてＢ点をｘｙ平面に投影した点Ｂｐｊｔとｘｙ平面の原点との距離Ｒｂを以下の（２）式で算出する。

Ｒｂ=（Ｚｂ+Ｄ）／tan（π／２-θｂ） ・・・・・（２）

実空間でＢｐｊｔと前側焦点位置を通る直線がｘ軸となす角は、前述のφｂと等しいため、Ｘｂ及びＹｂは以下の（３）、（４）式で算出できる。

Ｘｂ=Ｒｂ・cosφｂ ・・・・・（３）

Ｙｂ=Ｒｂ・sinφｂ ・・・・・（４）

このような計算によりＢ点に対応する被写体の実空間での三次元座標（Ｘｂ，Ｙｂ，Ｚｂ）を算出できる。Ａ点の三次元座標（Ｘａ，Ｙａ，Ｚａ）についても同様に算出できる。

付加情報生成部３５６はさらに、算出した２点の三次元座標（Ｘａ，Ｙａ，Ｚａ）と（Ｘｂ，Ｙｂ，Ｚｂ）から、以下の（５）式で２点間の距離Ｄｓｉｚｅを算出し、これを病変部サイズ情報として加工部３５７に出力する。

加工部３５７は制御部３６０からのモード情報に従って、付加情報生成部３５６から出力された病変サイズ情報を後処理部３５５から出力される画像に付加する。具体的には、例えば図８（Ｃ）に示すように病変のサイズを画像上に数値として表示する。このような処理を行うことで、ドクターは簡易に病変部の大きさを計測することができる。

２．２ スケールを表示

次に、内視鏡診断において、図８（Ａ）に示すような病変部の画像が表示部４００に表示された場合に、この病変部の大きさを計測するための２番目の手法について説明する。ここで本処理が実行されるモードを、第２の病変部計測モードと呼ぶ。

第２の病変部計測モードにおいて病変部が発見された場合、ドクターは病変部の代表的な位置を画像上で指定する。ここでは図８（Ｄ）に示すＲ’点が病変部の代表的な位置として指定されたと仮定する。このように画像上で計測したい位置を指定するには、例えば内視鏡システムに付属するキーボードやマウス等を用いて画像上のポインタを動かし決定ボタンを押すことで指定すればよい。また、例えばタッチパネル機能を備えたモニタで表示部４００を構成し、指やタッチペンで画像に直接触れることで位置を指定することも可能である。

第２の病変部計測モードにおいて基準点設定部３５１は、制御部３６０からのモード情報に従って、指定されたＲ’点の画像上での座標（Ｘｒ’，Ｙｒ’）を取得し、これを基準点の座標情報として距離推定部３５２に出力する。距離推定部３５２は前述した手法で、前側焦点位置からＲ’点に対応する被写体上の位置Ｒ点までの実空間での距離情報Ｚｒを算出し、この距離情報と基準点の座標情報を付加情報生成部３５６に出力する。

付加情報生成部３５６は制御部３６０からのモード情報に従って、距離推定部３５２から出力された距離情報と基準点の座標情報から、画像上のＲ'点における対物レンズの局所倍率βを算出する。局所倍率βとは、例えば図１１に示すβ＝α’／αのように、被写体の大きさαと、光学系により結像した像の大きさα’との比で表される。局所倍率βは、例えば距離推定部３５２から出力された被写体までの距離Ｚｒを用いて、以下の（６）式を用いて算出すればよい。ここでｆは対物レンズの焦点距離である。

また、内視鏡では一般的に対物レンズの歪曲収差が大きいため、画像上の位置によって局所倍率βは異なった値となる。画像上の位置と局所倍率βの関係は対物レンズの性能から既知であるため、このような場合は例えば画像上の位置と局所倍率βの関係をルックアップテーブルとして保持しておき、前述の（６）式と組み合わせて局所倍率βを算出すればよい。また、画像上の位置と前側焦点位置から被写体までの距離に対してそれぞれ局所倍率を対応付けるような三次元ルックアップテーブルを保持しておき、これを用いて局所倍率βを算出してもよい。

次に付加情報生成部３５６は、局所倍率βからスケール情報を生成する。具体的には、実空間で長さＬのスケールを画像に表示したい場合、例えば以下の（７）式から画像上でのスケールの長さを算出する。ここでＰは本実施形態における撮像素子の画素ピッチ（画素と画素との間の距離、つまり１ピクセルあたりの大きさ）である。また、後処理部で拡縮処理が施される場合は、拡縮処理の倍率をβｚｏｏｍとすると例えば以下の（８）式から画像上でのスケールの長さを算出する。その後、付加情報生成部３５６は算出したスケールの長さをスケール情報として加工部３５７に出力する。

画像上でのスケールの長さ=Ｌ・β／P[pixels] ・・・・・（７）

画像上でのスケールの長さ=Ｌ・β・βzoom／P[pixels] ・・・・・（８）

加工部３５７は制御部３６０からのモード情報に従って、付加情報生成部３５６から出力されたスケール情報を後処理部３５５から出力される画像に付加する。具体的には、例えば図８（Ｅ）に示すように画像上にスケール画像を表示する。スケール情報は必ずしも長方形である必要はなく、線分や円形その他の任意の形状で表示することが可能なことは言うまでもない。

２．３ ズーム状態で合焦方向を示す表示情報等の提示

また、内視鏡診断においては対物レンズ２３０をズームレンズで構成し、撮像部２００を病変部に近付けることで、病変部を拡大して観察を行う拡大観察という手法が一般的に使われている。一般的に、内視鏡の拡大観察では光学系の被写界深度が非常に狭くなるため、被写体となる病変部にピントを合わせるのが非常に難しい。このため、できるだけ容易に病変部にピントを合わせたいというニーズがある。また、撮像部２００が病変部に近づきすぎて接触してしまうと病変部からの出血が起こる可能性があるため、病変部への接触を防止したいとのニーズがある。ここでは内視鏡診断において、これらのニーズに対応するための手法について説明する。ここで本処理が実行されるモードを拡大観察モードと呼ぶ。

拡大観察モードにおいて基準点設定部３５１は、制御部３６０からのモード情報に従って、例えば図１２（Ａ）に示すように画像の中心に位置する画素Ｃ’点の座標（Ｘｃ’，Ｙｃ’）を取得し、これを基準点の座標情報として距離推定部３５２に出力する。距離推定部３５２は前述した手法で、前側焦点位置からＣ’点に対応する被写体上の位置Ｃ点までの実空間での距離情報Ｚｃを算出し、この距離情報を付加情報生成部３５６に出力する。ここで基準点は必ずしも画像の中心の画素である必要はなく、任意の画素を基準点として設定しておいてもよいし、ドクターが基準点を設定できるようにしてもよい。

付加情報生成部３５６は制御部３６０からのモード情報に従って、距離推定部３５２から出力された距離情報Ｚｃからピント情報を生成する。ピント情報の生成方法について以下に説明する。近点画像および遠点画像の被写界深度範囲は対物レンズの性能から既知である。ここで図１３（Ａ）に示すように、光学系の前側焦点位置から、近点画像の被写界深度範囲のうち最も対物レンズに近い位置をＺｎとする。また、図１３（Ｂ）に示すように、光学系の前側焦点位置から、遠点画像の被写界深度範囲のうち最も対物レンズから遠い位置をＺｆとする。

近点画像と遠点画像を合成した合成画像の被写界深度範囲は、近点画像の被写界深度範囲と遠点画像の被写界深度範囲のうちどちらか一方に含まれる範囲と考えられるため、合成画像の被写界深度範囲は前述のＺｎからＺｆまでの範囲となる。付加情報生成部３５６は、距離推定部３５２から出力された距離情報ＺｃとＺｎおよびＺｆをそれぞれ比較し、例えば以下のようなピント情報を生成する。その後、付加情報生成部３５６は生成したピント情報を加工部３５７に出力する。

生成されるピント情報の一例（図１４（Ａ）〜図１４（Ｃ））
Ｚｆ>Ｚｎ>Ｚｃ の場合 ピント位置は後（撮像部を後に動かすとピントが合う）
Ｚｆ>Ｚｃ>Ｚｎ の場合 ピント位置内
Ｚｃ>Ｚｆ>Ｚｎ の場合 ピント位置は前（撮像部を前に動かすとピントが合う）

なお、これらのピント情報は必ずしも距離情報Ｚｃから求める必要があるわけではなく、例えば距離推定部３５２がコントラスト情報算出部３５２２で算出したコントラストを直接、付加情報生成部３５６に出力し、付加情報生成部３５６はこれらのコントラスト情報からピント情報を生成してもよい。

加工部３５７は制御部３６０からのモード情報に従って、付加情報生成部３５６から出力されたピント情報を後処理部３５５から出力される画像に付加する。具体的には、例えばピント情報が「ピント位置は後」という情報であった場合は、図１２（Ｃ）に示すように下向きの矢印をピント情報として画像に付加する。また、例えばピント情報が「ピント位置内」という情報であった場合は、図１２（Ｄ）に示すように丸印をピント情報として画像に付加する。また、例えばピント情報が「ピント位置は前」という情報であった場合は、図１２（Ｅ）に示すように上向きの矢印をピント情報として画像に付加する。このように画像にピント情報を付加することで、ドクターは撮像部２００をどちらの方向に動かせば病変部にピントを合わせることができるのかを把握することが可能になり、容易に病変部にピントを合わせることができる。

さらに付加情報生成部３５６は、距離推定部３５２から出力された距離情報Ｚｃと任意の閾値Ｚｔを比較し、Ｚｔ＞Ｚｃの場合は「接触注意」というピント情報を生成してもよい。この場合、加工部３５７は図１２（Ｂ）に示すようにバツ印をピント情報として画像に付加する。このような処理を行うことで、ドクターは撮像部２００が病変部に近づきすぎていることを把握でき、撮像部２００が病変部に接触することを防ぐことができる。

ここでは画像に付加するピント情報として矢印や丸印、バツ印を用いたが、これらの代わりに任意の記号や文字を使用することが可能であることは言うまでもない。また、ピント情報を画像に付加する代わりに任意の光や音などの情報を使用することも可能である。

以上の本実施形態では、画像処理装置は、図１及び図４に示したように、合焦状態の異なる複数の画像を取得する画像取得部（図１における近点画像記憶部３３０及び遠点画像記憶部３４０に相当）と、注目領域に対して設定される基準点の設定処理を行う基準点設定部３５１と、基準点に対応する実空間上の点である対応点までの距離情報を推定する距離推定部３５２と、推定された距離情報に基づいて、基準点が設定された注目領域に対して付加される情報である付加情報を生成する付加情報生成部３５６と、を含む。

ここで、合焦状態が異なるとは、図３（Ａ）、図３（Ｂ）のようにピント位置（フォーカス位置）が異なる光学系の状態を指すものである。本実施形態においては、図３（Ａ）、図３（Ｂ）に示したように、対物レンズからの距離が異なる２つの撮像素子を用いることにより実現されるが、これに限定されるものではない。第２の実施形態において後述するように、軸上色収差を大きくして、チャンネルごと（例えばＲ，Ｇ，Ｂ）にピント位置を異ならせる手法を用いてもよい。また、第３の実施形態において後述するように、１つの撮像素子を駆動させることにより実現することもできる。

また、注目領域とは、付加情報を付加したい対象となる領域のことである。例えば、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域であり、具体的には、ユーザーが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。ただし、注目領域とは、観察に際し、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域であれば足り、病変部に限定されるものではない。

また、複数の画像とは、基本的には同一の被写体を撮像した画像である。そのため、複数の画像において、注目領域の画像上位置は対応関係があり、よって、設定した基準点の画像上位置にも対応関係がある。対応関係とは、具体的には例えば、画像上において同一座標となる位置等が考えられる。

また、対応点までの距離の起点は計算上前側焦点位置になる。しかし、前側焦点位置からレンズまでの距離は設計により既知であるため、対応点までの距離情報とは、レンズから対応点までの距離情報であってもよい。

また、基準点の設定処理とは、ユーザー（ドクター）により基準点の位置を指定する入力が行われた場合に、その入力情報に基づいて、画像上における基準点の位置を表す座標（ｘｄ，ｙｄ）を設定する処理のことである。具体的には例えば、ユーザーの操作するマウス等により、画面左上から数えて横にｘピクセル、縦にｙピクセルの点が指定された場合に、基準点の座標を（ｘ，ｙ）に設定する処理等となる。

これにより、合焦状態の異なる複数の画像から被写体（具体的には被写体上の対応点）までの距離情報を推定し、推定した距離情報に基づいて、付加情報を生成することが可能になる。付加情報とは例えば、図８（Ｃ）に示したような、病変サイズ情報等であり、ユーザー（ドクター）の診断や治療をスムーズにすることができる。

また、画像処理装置は、図５に示すように、コントラスト情報算出部３５２２を含み、距離推定部３５２は、算出されたコントラスト情報に基づいて、対応点までの距離情報を推定してもよい。具体的には、基準点が合焦状態になるときの、後側焦点位置から焦点位置までの距離情報を算出することで、被写体までの距離情報を推定してもよい。さらに具体的には例えば、２つの画像から算出された２つのコントラスト情報の比や差を用いてもよい。

これにより、複数の画像から求められた複数のコントラスト情報を用いることで、被写体までの距離情報を推定することが可能になる。具体的には図３に示すように、第１撮像素子による画像（広義には第１の合焦状態の画像）でのコントラスト情報と、第２撮像素子による画像（広義には第２の合焦状態の画像）でのコントラスト情報とから、焦点位置を求める。さらに具体的には上述したように、２つのコントラスト情報の比や差から、ルックアップテーブル等によりＺ’を求めることになる。そして上述した（１）式から、求めるべき被写体までの距離情報Ｚを算出する。なお、コントラスト情報の比や差から、関数等を用いて直接Ｚを求めてもよいことは、上述したとおりだが、この場合も本質的にはＺ’を求めていることに代わりはなく、この手法も本実施形態の手法に含まれることは言うまでもない。また、コントラスト情報とは、上述の手法や他の手法によって求められるコントラストそのものには限定されず、コントラストと同等の他の情報であってもよい。

また、画像処理装置は、注目領域を検出する注目領域検出部を含んでもよい。そして、基準点設定部３５１は、検出された注目領域に対して基準点の設定処理を行う。

これにより、注目領域の検出処理が可能になる。本実施形態においては、図８（Ａ）〜図８（Ｅ）に示したように、ドクターが観察により発見した病変部等を注目領域として検出する。つまり、基本的には、ドクターの手動により注目領域は検出されるものとするが、これに限定されるものではない。例えば、ＮＢＩ（Narrow Band Imaging）に代表されるような特殊光観察を行い、特定の血管構造や、扁平上皮癌等の病変を自動的に検出し、注目領域としてもよい。

また、基準点設定部３５１は、１つの注目領域に対して、第１〜第Ｎの基準点を設定し、コントラスト情報算出部３５２２は、第１〜第Ｎの基準点のそれぞれについて、第１〜第Ｎのコントラスト情報を算出し、距離推定部３５２は、第１〜第Ｎのコントラスト情報に基づいて、第１〜第Ｎの距離情報を推定してもよい。

これにより、図８（Ｂ）、図８（Ｃ）に示したように、１つの注目領域に対して複数の基準点を設定することが可能になる。よって、複数の基準点間（つまり対応する複数の対応点間）の関係を求めることができる。

また、付加情報生成部３５６は、第１〜第Ｎの距離情報のうち、第ｉの距離情報と、第ｊの距離情報とに基づいて、実空間内の第ｉの対応点と第ｊの対応点との間の距離情報を、付加情報として求めてもよい。

これにより、画像上の２点間が実空間上でどれだけの距離であるかを求めることが可能になる。よって、図８（Ａ）のように病変部が検出された場合に、図８（Ｂ）のように、病変上の２点を指定することで、簡単に病変部のサイズを知ることができる。

また、距離推定部３５２は、基準点の実空間上の対応点までの距離情報により表される距離Ｚを推定する。そして、付加情報生成部３５６は、基準点の画像上の座標（Ｘ’，Ｙ’）と推定したＺから、対応点の３次元座標（Ｘ，Ｙ，Ｚ）を算出する。ただし、対応点のＺ座標は推定した距離情報に他ならない。具体的には、上述した（２）式〜（４）式を用いて、Ｘ及びＹを算出することになる。

これにより、基準点の画像上の座標から、基準点に対応する実空間上の対応点の３次元座標を求めることが可能になる。具体的には図９（Ａ）、図９（Ｂ）に示す位置関係に基づいて３次元座標を求める。前側焦点位置（原点）から入射瞳までの距離Ｄは光学系の設計から既知であり、角度θｂも像高Ｒｂ’から求められる。さらにＺ座標の値Ｚｂは推定した距離情報により表される距離であるから、Ｂ点の位置は図９（Ｂ）のように定まり、Ｒｂを求めることができる（（２）式）。Ｘ軸からのＢ点までの角度は、Ｘ’軸からＢ’点までの角度φｂに等しいから、（３）、（４）式からＸ，Ｙを求めればよい。

また、基準点設定部３５１は、１つの注目領域に対して、１つの基準点を設定してもよい。コントラスト情報算出部３５２２は基準点のコントラスト情報を算出し、距離推定部３５２はコントラスト情報に基づいて、基準点に対応する対応点までの距離情報を推定する。

これにより、１つの注目領域に対して１つの基準点を設定することが可能となる。具体的には図８（Ｄ）に示すように、１点を基準点として指定するだけで、スケール情報等を付加情報として表示することが可能となり、ユーザーの入力を簡単化できる。

また、付加情報生成部３５６は、距離情報に基づいて、レンズの局所倍率を求め、局所倍率に基づいてスケール情報を生成してもよい。具体的には例えば、局所倍率βを、距離情報により表される距離Ｚとレンズの焦点位置ｆとからβ＝√（ｆ^２／Ｚ^２）として求めてもよい。さらに、スケール情報は、スケールの実空間における長さをＬ、画像処理により拡宿の倍率をβｚｏｏｍ、画素ピッチをＰとしたときに、画像上のスケールの長さをＬ・β・βｚｏｏｍ／Ｐ（ｐｉｘｅｌ）としてもよい。

これにより、レンズの局所倍率から、スケール情報を生成することが可能になる。局所倍率βは、図１１に示したように、被写体の大きさと、結像した像の大きさの比で表される。βの算出は、上述したｆとＺから行われる。また、画像上のスケールの長さは、実空間におけるスケールの長さＬに、局所倍率β及び拡縮率βｚｏｏｍを乗じた上で、画素ピッチＰで割り、長さあたりのピクセル数を求めることで算出される。

また、画像処理装置は、コントラスト情報に基づいて合焦方向を推定する合焦方向推定部を含んでもよい。そして、付加情報生成部３５６は、付加情報として、推定した合焦方向を示す表示情報を生成する。

ここで、合焦方向とはどちらに撮像部を動かせばピントが合うのかを示す方向である。前に押し出すことでピントが合うのであれば、合焦方向は前であるし、後ろにひくことでピントが合うのであれば、合焦方向は後ろである。

これにより、図１２（Ｃ）、図１２（Ｅ）に示したように、ピントが合っていない状態（具体的には上述した図１４（Ａ）のＺｆ＞Ｚｎ＞Ｚｃもしくは、図１４（Ｃ）のＺｃ＞Ｚｆ＞Ｚｎの状態）で、現在位置から前後どちらの方向に動かせばピントが合うのかを、ユーザーに付加情報として提示することが可能になる。これにより、ピントが合う方向（合焦方向）が明確にわかるため、ユーザーの操作をスムーズにすることができる。

また、被写体までの距離が、所与の範囲内（具体的には上述したＺｆ＞Ｚｃ＞Ｚｎの状態）にある場合には、付加情報として、合焦状態であることを示す表示情報を生成してもよい。

これにより、ピントが合っている状態では、ピントが合っていることを表示することができるため（例えば図１２（Ｄ）の丸印等）、ユーザーが無用なピント調整等を行う必要がなくなり、操作性を向上させることが可能になる。

また、被写体までの距離が、所与の閾値以下になった場合には、付加情報としてアラート情報を生成してもよい。

これにより、距離が閾値以下の場合、つまり、撮像部（本実施形態にかかる画像処理装置を含む撮像装置や内視鏡システムを考えた場合に含まれる）が被写体に接触するおそれ場ある場合に、接触を警告するアラートを表示すること等が可能になる。特に内視鏡システムの場合、病変部との接触は出血等のリスクを伴うため有用である。具体的には例えば、図１２（Ｂ）に示したようなバツ印等が表示される。

また、画像取得部は、光学系に対する撮像素子の位置を異ならせて複数枚の撮像を行うことで、合焦状態が異なる前記複数の画像を取得してもよい。

これにより、撮像素子の位置を異ならせることで、合焦状態が異なる複数枚の画像を取得することが可能になる。具体的には、本実施形態では、レンズからの距離が異なる複数の撮像素子を用いるし、後述する第３の実施形態では、撮像素子駆動部２８０により、１つの撮像素子を駆動させ時分割的に位置を異ならせることになる。

また、本実施形態は、合焦状態が異なる複数の画像を取得する画像取得部と、複数の画像について注目領域に対して基準点の設定処理を行う基準点設定部３５１と、基準点の画素の画素値に基づいて基準点のコントラスト情報を算出するコントラスト情報算出部３５２２基準点に対応する実空間上の対応点までの距離情報を推定する距離推定部３５２と、を含む画像処理装置であってもよい。

これにより、合焦状態が異なる複数の画像を取得し、各画像について注目領域に対して基準点を設定し、基準点のコントラスト情報を求めることで、基準点に対応する実空間上の対応点までの距離情報を推定することが可能になる。具体的には上述したように、複数のコントラスト情報の比や差から、距離情報を推定すること等が考えられる。

また、本実施形態は、合焦状態が異なる複数の画像を取得し、複数の画像について、注目領域に対して基準点の設定処理を行い、基準点に対応する画素値に基づいて、基準点に対応する実空間上の対応点までの距離情報を推定し、推定された距離情報に基づいて、付加情報を生成する画像処理方法であってもよい。

これにより、内視鏡システムにとどまらず、画像処理方法にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。

また、本実施形態は、図１及び図４に示したように、合焦状態の異なる複数の画像を取得する画像取得部（図１における近点画像記憶部３３０及び遠点画像記憶部３４０に相当）と、注目領域に対して基準点を設定する基準点設定部３５１と、基準点に対応する実空間上の点である対応点までの距離情報を推定する距離推定部３５２と、推定された距離情報に基づいて、基準点が設定された注目領域に対して付加される情報である付加情報を生成する付加情報生成部３５６と、を含む撮像装置であってもよい。

これにより、画像処理装置にとどまらず、例えば本実施形態にかかる画像処理装置を含むような撮像装置にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。

また、本実施形態は、画像取得部と、基準点設定部３５１と、距離推定部３５２と、付加情報生成部３５６として、コンピュータを機能させるプログラムであってもよい。画像取得部は合焦状態が異なる複数の画像を取得し、基準点設定部３５１は、注目領域に対して基準点の設定処理を行う。距離推定部３５２は、基準点に対応する実空間上の対応点までの距離情報を推定し、付加情報生成部３５６は、距離情報に基づいて付加情報を生成する。

これにより、本実施形態は、撮像装置や内視鏡システムのように、画像を取得し、システム内で画像処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。

３．第２の実施形態

本発明の第２の実施形態に係る画像処理装置を含む内視鏡システムについて、図１５を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。

撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、撮像素子２７０を備えている。撮像素子２７０は、図２に示すようなベイヤ配列の色フィルタを持つ撮像素子であり、ここでＧｒとＧｂは同じ分光特性である。

ここで、撮像素子の各チャンネルで取得される画像の被写界深度について図１６（Ａ）〜図１６（Ｃ）および図１７を用いて説明する。図１６（Ａ）〜図１６（Ｃ）はＲＧＢの各チャンネルに対して後側焦点位置からの距離と、ある空間周波数における対物レンズのコントラストの関係を示すコントラスト曲線の一例である。本実施の形態における対物レンズは、大きな軸上色収差が発生するように設計されているため、ＲＧＢの各チャンネルで最も高いコントラストが得られる位置が異なっている。この結果、図１６（Ａ）〜図１６（Ｃ）に示すようにＲＧＢの各チャンネルで取得される画像の被写界深度範囲はチャンネルによって異なり、ここではＲチャンネル、Ｇチャンネル、Ｂチャンネルの順に被写界深度範囲が対物レンズに近くなる。対物レンズの軸上色収差の発生量と、対物レンズの後側焦点位置から撮像素子２７０までの距離Ｚｄ’を調整することで、それぞれのチャンネルで取得される画像の被写界深度を調整することができる。

処理部３００はＡ／Ｄ変換部３１０と、画像記憶部３７０と、画像処理部３５０と、制御部３６０を備えている。Ａ／Ｄ変換部３１０は、撮像素子２７０から出力されるアナログ信号を、デジタル信号に変換して出力する。画像記憶部３７０は、Ａ／Ｄ変換部３１０から出力されたデジタル信号を画像として記憶する。画像処理部３５０は、画像記憶部３７０に記憶された画像から表示用の画像を生成し、表示部４００に表示する。画像処理部３５０の詳細については後述する。表示部４００は例えば液晶モニタであり、画像処理部３５０から出力される画像を表示する。制御部３６０は、画像記憶部３７０、画像処理部３５０と双方向に接続されており、これらを制御するようになっている。

外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。外部Ｉ／Ｆ部５００は、ユーザーから入力された情報を制御部３６０に出力する。

次に画像処理部３５０の詳細について図１８を用いて説明する。画像処理部３５０は基準点設定部３５１と、距離推定部３５２と、前処理部３５３と、合成画像生成部３５４と、後処理部３５５と、付加情報生成部３５６と、加工部３５７を備えている。基準点設定部３５１は制御部３６０からの制御信号に従って、画像上で距離推定を行うべき位置の情報を基準点の座標情報として距離推定部３５２に出力する。

前処理部３５３は画像記憶部３７０に記憶された画像に対して、例えばＯＢ処理やホワイトバランス処理、デモザイク処理といった前処理を行い、距離推定部３５２と合成画像生成部３５４に画像を出力する。前処理部３５３ではさらに、必要に応じて歪曲収差や倍率色収差といった光学収差の補正処理やノイズ低減処理等を行ってもよい。

距離推定部３５２は、基準点設定部３５１から出力された基準点の座標情報に基づいて、前処理部３５３から出力された画像を利用して実空間での被写体までの距離推定をおこない、付加情報生成部３５６に対して距離情報もしくは距離情報と基準点の座標情報を出力する。距離推定部３５２の詳細については後述する。付加情報生成部３５６は制御部３６０からの制御信号に従って、距離推定部３５２から出力された距離情報もしくは距離情報と基準点の座標情報を用いて付加情報を生成し、加工部３５７に出力する。付加情報生成部３５６の詳細については後述する。

合成画像生成部３５４は、前処理部３５３から出力された画像から、被写界深度が拡大された合成画像を生成し、後処理部３５５に合成画像を出力する。合成画像生成部３５４は、例えば前述の参考文献２として示した資料に記載されているような手法を用いて、被写界深度が拡大された合成画像を生成する。後処理部３５５は合成画像生成部３５４から出力された合成画像に対して、例えば色変換処理や階調変換処理、エッジ強調処理、拡縮処理等の後処理を行い、画像を加工部３５７に出力する。

加工部３５７は後処理部３５５から出力された画像に対して、制御部３６０からの制御情報に従って、付加情報生成部３５６から出力された付加情報を用いて画像を加工し、表示部４００に画像を出力する。

ここで、距離推定部３５２で行う処理の詳細について図５を用いて説明する。距離推定部３５２は局所領域設定部３５２１と、コントラスト情報算出部３５２２と、距離算出部３５２３を備えている。局所領域設定部３５２１は、基準点設定部３５１から出力された基準点の座標に基づいて、前処理部３５３から入力される画像に対して局所領域を設定する。ここでは例えば基準点の座標（ｘｄ，ｙｄ）を中心とした３×３画素の領域をそれぞれの画像の局所領域とする。コントラスト情報算出部３５２２は、画像に対して設定された局所領域から各チャンネルのコントラストＣｒ、Ｃｇ、Ｃｂを算出し、距離算出部に出力する。コントラストを算出するには例えば、設定した局所領域のすべての画素に対して、各チャンネルで上下左右に隣接する４画素との勾配Δｕ，Δｄ，Δｌ，Δrを算出し、局所領域のすべての画素における４方向の勾配の平均値Δａｖｅ＿Ｒ，Δａｖｅ＿Ｇ，Δａｖｅ＿Ｂを算出して各チャンネルの局所領域のコントラストＣｒ，Ｃｇ，Ｃｂとすればよい。また、ここでは例えば各チャンネルで局所領域におけるエッジ強度の平均値等を求めてコントラストとしてもよい。

距離算出部３５２３は基準点に対応する被写体までの距離を算出する。図１７を用いて距離を算出する手法について説明する。後側焦点位置から、基準点に対応する被写体の焦点位置までの距離Ｚ’が分かれば、上述した（以下に再掲）の（１）式で前側焦点位置から基準点に対応する被写体までの距離Ｚを算出することができる。

Ｚ・Ｚ’=−ｆ^２ ・・・・・（１）

対物レンズのコントラスト曲線は、設計データから既知であるため、各チャンネルのコントラストＣｒ，Ｃｇ，Ｃｂのうち少なくとも２つを用いて、Ｚ’を算出することができる。これは例えばＧチャンネルとＢチャンネルのコントラストの比Ｃｇ／Ｃｂの値と、対応する焦点位置Ｚ’の値の関係をルックアップテーブルとして保持しておいてもよいし、Ｚ’をＣｇ／Ｃｂの関数としてＺ’＝Ｇ（Ｃｇ／Ｃｂ）と近似できるような関数Ｇ（ｘ）を予め設定しておいてもよい。ここでＣｇ／Ｃｂの値の代わりに例えばＧチャンネルとＲチャンネルのコントラストの比Ｃｇ／Ｃｒや、ＢチャンネルとＲチャンネルのコントラストの比Ｃｂ／Ｃｒを用いることが可能であることは言うまでもない。さらに、例えばＣｇ／ＣｂとＣＧ／Ｃｒの両方を用いて、Ｚ’＝ｈ（Ｃｇ／Ｃｂ，Ｃｇ／Ｃｒ）と近似できるような関数ｈ（ｘ，ｙ）を予め設定しておいてもよい。

このような処理を行うことで、距離算出部３５２３はＣｎおよびＣｆから基準点に対応する被写体までの距離を算出することができる。さらに、Ｚ’が算出できればＺは（１）式から一義的に算出できるため、例えばＣｇ／Ｃｂの値と、対応する被写体までの距離Ｚの値の関係を直接ルックアップテーブルとして保持しておいてもよいし、ＺをＣＧ／Ｃｂの関数としてＺ＝ｉ（Ｃｇ／Ｃｂ）と近似できるような関数ｉ（ｘ）を予め設定しておくことも可能である。また、Ｚ’もしくはＺを算出するためのパラメータとしてＧチャンネルとＢチャンネルのコントラストの比Ｃｇ／Ｃｂの代わりにコントラストの差Ｃｇ−Ｃｂ等の値を使用してもよい。

距離推定部３５２で算出した距離情報を活用し、ドクターに診断上の価値を提供する手法については、前述の第１の実施形態と同様の動作を行えばよい。

４．第３の実施形態

本発明の第３の実施形態に係る画像処理装置を含む内視鏡システムについて、図１９を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。

撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、撮像素子２７０と、撮像素子２７０を駆動させる撮像素子駆動部２８０とを含む。撮像素子２７０は、図２に示すようなベイヤ配列の色フィルタを持つ撮像素子であり、ここでＧｒとＧｂは同じ分光特性である。

ここで、撮像素子駆動部２８０は、制御部３６０の制御に基づいて、撮像素子２７０の位置を移動させ、第１の撮像状態と第２の撮像状態とをとるように駆動させる。第１の撮像状態とは、対物レンズからの距離（もしくは後側焦点位置からの距離）が第２の撮像状態に比べて大きい状態のことである。つまり、第１の実施形態においては、第１撮像素子２５０及び第２撮像素子２６０の２つの撮像素子により、合焦状態の異なる（ピントの異なる）２種類の画像を取得していたのに対して、本実施形態では、１つの撮像素子を駆動させることで、合焦状態の異なる２種類の画像を取得する。

処理部３００はＡ／Ｄ変換部３１０と、近点画像記憶部３３０と、遠点画像記憶部３４０と、画像処理部３５０と制御部３６０を備えている。Ａ／Ｄ変換部３１０は、撮像素子２７０から出力されるアナログ信号を、デジタル信号に変換して出力する。この際、制御部３６０からの制御信号に基づいて、撮像素子２７０が第１の撮像状態にあるときは、近点画像記憶部３３０に対してデジタル信号を出力し、第２の撮像状態にあるときは、遠点画像記憶部３４０に対してデジタル信号を出力する。近点画像記憶部３３０は、Ａ／Ｄ変換部３１０から出力されたデジタル信号を近点画像として記憶する。遠点画像記憶部３４０は、Ａ／Ｄ変換部３１０から出力されたデジタル信号を遠点画像として記憶する。画像処理部３５０は、記憶された近点画像と遠点画像から表示用の画像を生成し、表示部４００に表示する。画像処理部３５０の詳細については後述する。制御部３６０は、近点画像記憶部３３０、遠点画像記憶部３４０、画像処理部３５０と双方向に接続されており、これらを制御するようになっている。

近点画像及び遠点画像が取得された後の処理は、第１の実施形態と同様であるため、詳細な説明は省略する。

このようにすることで、撮像素子が１つであっても、合焦状態の異なる複数の画像を取得できるため、距離推定及び付加情報の生成が可能になる。

以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ ハーフミラー、２５０ 第１撮像素子、２６０ 第２撮像素子、
２７０ 撮像素子、２８０ 撮像素子駆動部、３００ 処理部、３１０ Ａ／Ｄ変換部、
３２０ Ａ／Ｄ変換部、３３０ 近点画像記憶部、３４０ 遠点画像記憶部、
３５０ 画像処理部、３５１ 基準点設定部、３５２ 距離推定部、３５３ 前処理部、
３５４ 合成画像生成部、３５５ 後処理部、３５６ 付加情報生成部、
３５７ 加工部、３６０ 制御部、３７０ 画像記憶部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、３５２１ 局所領域設定部、
３５２２ コントラスト情報算出部、３５２３ 距離算出部

Claims (19)

1. 合焦状態が異なる複数の画像を取得する画像取得部と、
   取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行う基準点設定部と、
   前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定する距離推定部と、
   推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成する付加情報生成部と、
   を含み、
   前記基準点設定部は、
   １つの前記注目領域において、第１〜第Ｎ（Ｎは２以上の整数）の基準点を設定し、
   前記距離推定部は、
   前記第１〜第Ｎの基準点に対応する実空間内の第１〜第Ｎの対応点までの第１〜第Ｎの前記距離情報を推定し、
   前記付加情報生成部は、
   推定された前記第１〜第Ｎの距離情報のうち、第ｉ（１≦ｉ≦Ｎ）の基準点から求められた第ｉの距離情報と、第ｊ（１≦ｊ≦Ｎ、ｉ≠ｊ）の基準点から求められた第ｊの距離情報に基づいて、前記付加情報として、実空間内の第ｉの対応点と第ｊの対応点との間の距離情報を求めることを特徴とする画像処理装置。
2. 請求項１において、
   画像内の前記基準点に対応する画素の画素値に基づいて、前記基準点に対応するコントラスト情報を算出するコントラスト情報算出部を含み、
   前記距離推定部は、
   算出された前記コントラスト情報に基づいて、前記基準点に対応する実空間上の前記対応点までの距離情報を推定することを特徴とする画像処理装置。
3. 請求項２において、
   前記距離推定部は、
   算出された前記コントラスト情報に基づいて、前記基準点が合焦状態になる場合の、後側焦点位置から焦点位置までの距離情報を算出することで、前記基準点に対応する実空間上の前記対応点までの距離情報を推定することを特徴とする画像処理装置。
4. 請求項３において、
   前記距離推定部は、
   前記複数の画像のうち、第１の画像について算出された第１のコントラスト情報と、第２の画像について算出された第２のコントラスト情報との比または差に基づいて、前記基準点に対応する実空間上の前記対応点までの距離情報を推定することを特徴とする画像処理装置。
5. 請求項２において、
   前記コントラスト情報算出部は、
   設定された前記第１〜第Ｎの基準点のそれぞれについて、第１〜第Ｎのコントラスト情報を算出し、
   前記距離推定部は、
   算出した前記第１〜第Ｎのコントラスト情報に基づいて、前記第１〜第Ｎの基準点に対応する実空間内の第１〜第Ｎの対応点までの第１〜第Ｎの前記距離情報を推定することを特徴とする画像処理装置。
6. 請求項１において、
   前記付加情報の付加処理に対応する領域である前記注目領域を検出する注目領域検出部を含み、
   前記基準点設定部は、
   前記注目領域検出部により検出された前記注目領域に対して基準点の設定処理を行うことを特徴とする画像処理装置。
7. 請求項１において、
   前記距離推定部は、
   前記基準点の実空間上の前記対応点までの距離情報により表される距離であるＺを推定し、
   前記付加情報生成部は、
   前記基準点の画像上での座標（Ｘ’，Ｙ’）、及び、前記対応点までの距離Ｚに基づいて、前記基準点に対応する前記対応点の３次元座標（Ｘ，Ｙ，Ｚ）のうち、Ｘ及びＹを算出することを特徴とする画像処理装置。
8. 請求項７において、
   前記付加情報生成部は、
   画像中心から前記基準点までの距離をＲ’とし、前記基準点と前記画像中心を通る直線が、前記画像の水平方向に平行な軸となす角度をφとし、実空間において前記対応点から出射した光線が入射瞳に入射する角度をθとし、入射瞳から前側焦点位置までの距離をＤとした場合に、
   Ｒ＝（Ｚ＋Ｄ）／ｔａｎ（π／２−θ）
   Ｘ＝Ｒ・ｃｏｓφ
   Ｙ＝Ｒ・ｓｉｎφ
   として、前記対応点の３次元座標（Ｘ，Ｙ，Ｚ）のうち、Ｘ及びＹを算出することを特徴とする画像処理装置。
9. 請求項２において、
   前記基準点設定部は、
   １つの前記注目領域において、１つの基準点を設定し、
   前記コントラスト情報算出部は、
   設定された前記基準点の前記コントラスト情報を算出し、
   前記距離推定部は、
   算出した前記コントラスト情報に基づいて、前記基準点に対応する実空間内の対応点までの前記距離情報を推定することを特徴とする画像処理装置。
10. 請求項９において、
    前記付加情報生成部は、
    推定された前記距離情報に基づいて、光学系に含まれるレンズの局所倍率βを求め、前記局所倍率βに基づいてスケール情報を生成することを特徴とする画像処理装置。
11. 請求項１０において、
    前記距離推定部は、
    前記基準点の実空間上の前記対応点までの距離情報により表される距離であるＺを推定し、
    前記付加情報生成部は、
    推定された前記距離Ｚと、対物レンズの焦点距離ｆとから、前記局所倍率βを、
    β＝√（ｆ２／Ｚ２）として求めることを特徴とする画像処理装置。
12. 請求項１１において、
    前記付加情報生成部は、
    実空間において長さがＬの前記スケール情報を表示する場合に、画像処理による拡縮の倍率をβｚｏｏｍとし、撮像素子の画素ピッチをＰとしたときに、画像上でのスケールの長さをＬ・β・βｚｏｏｍ／Ｐ（ｐｉｘｅｌ）として求めることを特徴とする画像処理装置。
13. 請求項１において、
    前記複数の画像に対して算出されたコントラスト情報に基づいて、合焦方向を推定する合焦方向推定部を含み、
    前記付加情報生成部は、
    前記付加情報として、推定した前記合焦方向を示す表示情報を生成することを特徴とする画像処理装置。
14. 請求項１において、
    前記付加情報生成部は、
    前記基準点に対応する前記対応点までの距離情報により表される距離が、所与の範囲内になった場合には、前記付加情報として、合焦状態であることを示す表示情報を生成することを特徴とする画像処理装置。
15. 請求項１において、
    前記付加情報生成部は、
    前記基準点に対応する前記対応点までの距離情報により表される距離が、所与の閾値以下になった場合には、前記付加情報として、アラート情報を生成することを特徴とする画像処理装置。
16. 請求項１において、
    前記画像取得部は、
    光学系に対する撮像素子の位置を異ならせて複数枚の撮像を行うことで、合焦状態が異なる前記複数の画像を取得することを特徴とする画像処理装置。
17. 合焦状態が異なる複数の画像を取得し、
    取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行い、
    前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定し、
    推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成し、
    前記基準点の設定処理において、
    １つの前記注目領域において、第１〜第Ｎ（Ｎは２以上の整数）の基準点を設定し、
    前記距離情報を推定する処理において、
    前記第１〜第Ｎの基準点に対応する実空間内の第１〜第Ｎの対応点までの第１〜第Ｎの前記距離情報を推定し、
    前記付加情報を生成する処理において、
    推定された前記第１〜第Ｎの距離情報のうち、第ｉ（１≦ｉ≦Ｎ）の基準点から求められた第ｉの距離情報と、第ｊ（１≦ｊ≦Ｎ、ｉ≠ｊ）の基準点から求められた第ｊの距離情報に基づいて、前記付加情報として、実空間内の第ｉの対応点と第ｊの対応点との間の距離情報を求めることを特徴とする画像処理方法。
18. 合焦状態が異なる複数の画像を取得する画像取得部と、
    取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行う基準点設定部と、
    前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定する距離推定部と、
    推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成する付加情報生成部と、
    を含み、
    前記基準点設定部は、
    １つの前記注目領域において、第１〜第Ｎ（Ｎは２以上の整数）の基準点を設定し、
    前記距離推定部は、
    前記第１〜第Ｎの基準点に対応する実空間内の第１〜第Ｎの対応点までの第１〜第Ｎの前記距離情報を推定し、
    前記付加情報生成部は、
    推定された前記第１〜第Ｎの距離情報のうち、第ｉ（１≦ｉ≦Ｎ）の基準点から求められた第ｉの距離情報と、第ｊ（１≦ｊ≦Ｎ、ｉ≠ｊ）の基準点から求められた第ｊの距離情報に基づいて、前記付加情報として、実空間内の第ｉの対応点と第ｊの対応点との間の距離情報を求めることを特徴とする撮像装置。
19. 合焦状態が異なる複数の画像を取得する画像取得部と、
    取得された前記複数の画像について、注目領域に対して設定される基準点の設定処理を行う基準点設定部と、
    前記複数の画像について、前記基準点に対応する画素値に基づいて、前記基準点に対応する実空間上の対応点までの距離情報を推定する距離推定部と、
    推定された前記距離情報に基づいて、前記基準点が設定された前記注目領域に対して付加される情報である付加情報を生成する付加情報生成部として、
    コンピュータを機能させ、
    前記基準点設定部は、
    １つの前記注目領域において、第１〜第Ｎ（Ｎは２以上の整数）の基準点を設定し、
    前記距離推定部は、
    前記第１〜第Ｎの基準点に対応する実空間内の第１〜第Ｎの対応点までの第１〜第Ｎの前記距離情報を推定し、
    前記付加情報生成部は、
    推定された前記第１〜第Ｎの距離情報のうち、第ｉ（１≦ｉ≦Ｎ）の基準点から求められた第ｉの距離情報と、第ｊ（１≦ｊ≦Ｎ、ｉ≠ｊ）の基準点から求められた第ｊの距離情報に基づいて、前記付加情報として、実空間内の第ｉの対応点と第ｊの対応点との間の距離情報を求めることを特徴とするプログラム。

Images