JP5341286B1 - 深度拡大装置 - Google Patents

Abstract

フォーカス位置が異なる画像Ａ，Ｂを結像して撮像する撮像光学系（２）および撮像素子（３）と、画像Ａ，Ｂに基づき物点から撮像光学系までの距離と輝度変化との関係を維持する深度拡大画像を生成する深度拡大画像生成部（５）とを備え、画像Ａの像側ＮＡをＮＡ’、撮像光学系および撮像素子により決まる解像力をＲ、画像Ａの結像面と画像Ｂの結像面との光路間隔をｄ、画像Ａ，Ｂの内の、撮影距離が近い画像のＮＡをＮＡｎ、撮影距離が遠い画像のＮＡをＮＡｆとしたときに、撮像光学系および撮像素子が条件式（１）および（２）を満たす深度拡大装置。
Ｒ×ＮＡ’／２≦ｄ …（１）
０．０５≦（ＮＡｆ／ＮＡｎ）²≦０．９ …（２）

Description

本発明は、フォーカス位置の異なる複数の画像を合成して焦点深度を拡大する深度拡大装置に関する。

従来より、観察系の被写界深度を深くするには、明るさ絞りを絞り込んで（Ｆ値を大きくして）対応することが一般に行われる。しかし、この場合には結像される画像が暗くなってしまう。さらに、近年の撮像素子は小型化、多画素化が図られているために、画素ピッチが小さくなっている。このような撮像素子に対しては、絞りを絞り込むと回折の影響が現れることがあるために、あまりＦ値を大きくすることができない。

また、フォーカス機能を備えるように観察光学系を構成して、広い被写界深度範囲にピントを合わせることができるようにする提案もなされている。しかしこの場合には、観察光学系内にレンズを移動させるスペースが必要であり、レンズを駆動する機構も必要であるために、観察光学系が大型化してしまう。従って、フォーカス機能を備えた観察光学系は、高い挿入性を確保するために小型化、細径化が求められている内視鏡に対しては、必ずしも適していない。

これに対して、フォーカス位置の異なる複数の画像を合成して焦点深度を拡大する技術は、種々のものが提案されている。

例えば、特開平１１−３２２５１号公報には、複屈折結晶を含む二重焦点光学系により焦点位置が異なる複数の画像を取得し、これら異なる焦点位置の画像の各画素の輝度を比較選択して画像を再合成し、焦点深度の深い画像を得る技術が記載されている。ここに、該公報に記載の深度拡大画像の合成技術は、輝度を比較して、比較結果に基づき複数の画像の内の何れかの画素値を選択するものとなっている。

また、特開２００１−３４４５９９号公報には、焦点位置が異なる複数の画像を合成する前に、各画像の輝度レベルを揃えて、ノイズを削減する技術が記載されている。

さらに、特開２００４−３５００７０号公報には、単一の撮影光学系により結像された画像を撮影する複数の撮像素子を有し、前記複数の撮像素子により撮影された複数の画像データを合成した画像を得る画像処理装置において、撮影光学系の作動条件に応じて、前記各撮像素子の形成する被写界深度範囲が隣接またはわずかに重畳する条件を満足するよう前記各撮像素子の位置を制御する制御手段を有する画像処理装置が記載されている。

なお、特開平８−２４１３９６号公報には、光軸方向に合焦面を移動させながら累積的に加算入力された画像は、点像分布関数(ＰＳＦ；Point Spread Function)を光軸方向に投影したレスポンス関数と、物体像の平行投影像と、のコンボリューションになるという原理に基づいて、合焦面を光軸方向に移動させながら複数の画像を取得し、異なる合焦面に対応した複数の画像に基づいて、光軸に平行な断層面内に沿って所定の角度方向に平行投影像を生成する技術が記載されている。

また、特開２００５−４９６４６号公報や特開２００６−２０８４０７号公報には、ＤＦＤ式（Depth-Fused 3D）装置の改良型の立体表示技術が記載されている。

上述したような焦点位置が異なる複数の画像を合成して深度拡大画像を生成する方法として一般的なのは、深度内の画像を切り出して合成する技術である。

しかしながら、深度内の画像を切り出して合成する技術では、被写体距離に応じた自然なコントラスト変化を再現することができない。これについて、図１〜図３を参照して説明する。図１は被写体距離に応じた結像位置の違いを説明するための図、図２は焦点位置が異なる２枚の画像を被写体距離に応じて切り出し合成したときの、被写体距離に応じた輝度変化の様子を示す線図、図３は距離Ｄ０を合焦位置としたときの被写体距離の変化に応じた点光源の輝度変化の様子を示す線図である。

遠距離にある被写体ＯＢＪｆと近距離にある被写体ＯＢＪｎとでは、同一の撮像光学系ＬＳを用いても、異なる位置に遠距離像ＩＭＧｆと近距離像ＩＭＧｎとが結像される。遠距離像ＩＭＧｆにおいては、遠距離被写体ＯＢＪｆは合焦した像となるが、近距離被写体ＯＢＪｎはボケた像となる。逆に、近距離像ＩＭＧｎにおいては、遠距離被写体ＯＢＪｆはボケた像となるが、近距離被写体ＯＢＪｎは合焦した像となる。

そこで、遠距離像ＩＭＧｆ中において合焦している遠距離被写体ＯＢＪｆと、近距離像ＩＭＧｎ中において合焦している近距離被写体ＯＢＪｎとをそれぞれ取り出して１枚の画像として合成することにより、遠距離被写体ＯＢＪｆと近距離被写体ＯＢＪｎの両方に合焦している深度拡大画像を得ることができる。

具体的には、図２に示すように、近距離像ＩＭＧｎの合焦被写体距離がＤ１、遠距離像ＩＭＧｆの合焦被写体距離がＤ２（Ｄ２＞Ｄ１）であるとすると、Ｄ１とＤ２の中間のある被写体距離Ｄ３を境界として、Ｄ３よりも近距離にある被写体は近距離像ＩＭＧｎの方が合焦に近く、Ｄ３よりも遠距離にある被写体は遠距離像ＩＭＧｆの方が合焦に近い。従って、画像中の、距離Ｄ３よりも近距離の被写体については近距離像ＩＭＧｎから画像部分を抽出し、距離Ｄ３よりも遠距離の被写体については遠距離像ＩＭＧｆから画像部分を抽出して、これらを合成することにより、全体としてピントがより合った画像を得ることができる。

ところで、分かり易くするために、点光源を結像する場合を考えると、図３に示すように、点光源が距離Ｄ０の合焦位置にある場合には最も高い輝度値が得られ、合焦位置から（近距離側、遠距離側の何れであっても）離れるにつれてボケの大きさが拡大するために同一画素位置で得られる輝度値は低下して行くことになる。この図３に示すような輝度変化が、被写体距離に応じた自然な輝度変化である。

これに対して、深度拡大画像では、図２に示すように、距離Ｄ１と距離Ｄ２との間で輝度が下がってしまうために、被写体距離に応じた輝度変化が得られず、被写体同士の前後関係が分かり難くなって、不自然な画像となる。例えば、解像限界から、点光源の像の大きさが距離Ｄ１と距離Ｄ２との間でほぼ同じになる場合があるが、この同じ大きさの像の輝度が、被写体距離の変化に従って、極大、極小、極大の値を次々にとっていくのは不自然である。

こうして、深度内の画像を切り出して合成する従来の技術では、被写体距離に応じたコントラスト変化を忠実に再現することができなかった。さらに、画像内の各部分の被写体距離に応じて、遠距離画像と近距離画像との何れのデータを用いるかが決定されるために、画面全体の被写体距離情報が必要になると共に、合成処理も複雑となっていた。

本発明は上記事情に鑑みてなされたものであり、簡単な処理で被写体距離に応じた自然なコントラスト変化を再現することができる深度拡大装置を提供することを目的としている。

上記の目的を達成するために、本発明の一態様による深度拡大装置は、フォーカス位置の異なる複数の画像に基づき、焦点深度が拡大された画像を生成もしくは表示し得る深度拡大装置において、基準画像（以下、画像Ａという）と、前記画像Ａとはフォーカス位置の異なる画像（以下、画像Ｂという）と、を結像して撮像する撮像光学系および撮像素子と、前記画像Ａおよび前記画像Ｂにおける対応する画素毎の輝度変化に基づいて、物点から前記撮像光学系までの距離と輝度との関係を維持する深度拡大画像を生成もしくは表示する深度拡大画像構成部と、を具備し、前記画像Ａの像側ＮＡをＮＡ'、前記撮像光学系により決まる解像力と前記撮像素子により決まる解像力との内の低い方をＲ、画像Ａが結像された面と画像Ｂが結像された面との光路間隔をｄ、前記画像Ａと前記画像Ｂとの内の、撮影距離が近い画像のＮＡをＮＡｎ、撮影距離が遠い画像のＮＡをＮＡｆとしたときに、前記撮像光学系および前記撮像素子は下記の条件式（１）および（２）を満たすように構成されている。

Ｒ×ＮＡ’／２≦ｄ …（１）
０．０５≦（ＮＡｆ／ＮＡｎ）²≦０．９ …（２）

被写体距離に応じた結像位置の違いを説明するための図。 焦点位置が異なる２枚の画像を、被写体距離に応じて切り出し合成したときの、被写体距離に応じた輝度変化の様子を示す線図。 距離Ｄ０を合焦位置としたときの被写体距離の変化に応じた点光源の輝度変化の様子を示す線図。 本発明の実施形態１における深度拡大装置の構成を示すブロック図。 上記実施形態１において、深度拡大装置の撮像光学系および撮像素子の構成の一例を示す図。 上記実施形態１において、近距離、中距離、長距離被写体の像の、撮像光学系からの像側距離に応じた輝度変化の様子を、画像Ａ，Ｂの結像位置と共に示す線図。 上記実施形態１において、画像Ａの輝度値から画像Ｂの輝度値を減算した値の被写体距離に応じた変化を示す線図。 上記実施形態１において、被写体像の合焦面と撮像面Ａ，Ｂとの位置関係に応じた画像Ａ，Ｂ、規格化画像Ｃ、深度拡大画像の例を示す表図。 上記実施形態１において、深度拡大画像生成部により行われる深度拡大合成の処理を示すフローチャート。 上記実施形態１の第１の変形例における分割光学素子の構成を示す図。 上記実施形態１の第２の変形例における分割光学素子の構成を示す図。 上記実施形態１の第３の変形例における撮像光学系および撮像素子の構成を示す図。 上記実施形態１の第３の変形例において、撮像素子上に構成された遠点用画素および近点用画素の配列を示す図。 上記実施形態１の第３の変形例において近点用画素から得られる近点画像を示す図。 上記実施形態１の第３の変形例において遠点用画素から得られる遠点画像を示す図。 上記実施形態１の第４の変形例における撮像素子および光路補正用カバーガラスの構成を示す図。 本発明の実施形態２における深度拡大装置の構成を示すブロック図。 上記実施形態２の深度拡大装置における撮像光学系と撮像面との位置関係を示す図。 上記実施形態２の深度拡大装置における表示面と観察者の目との位置関係を示す図。 上記実施形態２において、撮影距離が異なる３つの点Ｘ，Ｙ，Ｚのコントラスト変化と２つの撮影面との関係を示す線図。 上記実施形態２において、視線方向位置が異なる２つの表示面における点Ｘの表示を観察したときのコントラスト変化の様子を示す線図。 上記実施形態２において、視線方向位置が異なる２つの表示面における点Ｙの表示を観察したときのコントラスト変化の様子を示す線図。 上記実施形態２において、視線方向位置が異なる２つの表示面における点Ｚの表示を観察したときのコントラスト変化の様子を示す線図。 上記実施形態２における深度拡大画像表示部の変形例を示す図。 上記実施形態２の変形例において、視線方向位置が異なる２つの表示面における点Ｘの表示を観察したときのコントラスト変化の様子を示す線図。 上記実施形態２の変形例において視線方向位置が異なる２つの表示面における点Ｙの表示を観察したときのコントラスト変化の様子を示す線図。 上記実施形態２の変形例において視線方向位置が異なる２つの表示面における点Ｚの表示を観察したときのコントラスト変化の様子を示す線図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図４から図１６は本発明の実施形態１を示したものであり、図４は深度拡大装置の構成を示すブロック図である。

図４に示すように、本実施形態の深度拡大装置１は、フォーカス位置の異なる複数の画像に基づき、焦点深度が拡大された画像を生成するものであり、基準画像（以下、画像Ａという）と、画像Ａとはフォーカス位置の異なる画像（以下、画像Ｂという）と、を結像して撮像する撮像光学系２および撮像素子３を備えている。

図５は深度拡大装置１の撮像光学系２および撮像素子３の構成の一例を示す図である。

図５に示す例においては、撮像光学系２は、共通光学系ＬＳＣと、分割光学素子であるハーフミラーＨＭと、を備えている。

共通光学系ＬＳＣは、例えば、固定焦点の広角な対物光学系として構成されており、負のパワーを有する第１群レンズＬ１と、明るさ絞りＳと、正のパワーを有する第２群レンズＬ２と、を含む。第１群レンズＬ１は、主に、広い画角の光線を明るさ絞りＳに導く作用を行う。また、第２群レンズＬ２は、主に、結像作用を行う。そして、この共通光学系ＬＳＣは、テレセントリック光学系（より限定的には、像側テレセントリック光学系）として構成されている。

ハーフミラーＨＭは、共通光学系ＬＳＣの光軸Ｏ上後方に配設されていて、光透過作用と光反射作用とを同時に行うことにより、共通光学系ＬＳＣから入射した光を２分割して空間的に異なる方向へ射出するものである。なお、ここでは分割光学素子としてハーフミラーＨＭを用いているが、後述するようにプリズム光学系を用いても構わないし、その他の分割光学素子を用いても良い。

ハーフミラーＨＭを透過した被写体像は、第１の撮像素子ＩＳａに結像されるようになっている。この第１の撮像素子ＩＳａは、例えば図１に示したような近距離像ＩＭＧｎを光電変換して画像Ａを生成するためのものである。

また、ハーフミラーＨＭにより反射された被写体像は、第２の撮像素子ＩＳｂに結像されるようになっている。この第２の撮像素子ＩＳｂは、例えば図１に示したような遠距離像ＩＭＧｆを光電変換して、画像Ａとはフォーカス位置の異なる画像Ｂを生成するためのものである。従って、第２の撮像素子ＩＳｂは、上述した第１の撮像素子ＩＳａよりも共通光学系ＬＳＣからの光路長が短い位置（この光路間隔を図５にｄとして示す）に配置されている。

こうして本実施形態においては、基準となる画像Ａが近距離被写体ＯＢＪｎの画像、画像Ｂが遠距離被写体ＯＢＪｆの画像となっている。

なお、図５には撮像素子を２つ設けた例を示しているが、これに限るものではなく、３つ以上の撮像素子を設けてフォーカス位置の異なる３つ以上の画像を同時に取得するようにしても構わないし、後で変形例として説明するように、単一の撮像素子により２つ以上の異なる結像位置の画像を同時に得るようにしても良い。

上述した深度拡大装置１は、光学分野の各種装置に広く適用することができるが、適用される装置の幾つかの例を挙げれば、内視鏡や顕微鏡、デジタルカメラなどである。例えば深度拡大装置１を内視鏡に適用した場合において、画像Ａを近点画像、画像Ｂを遠点画像とすることが考えられる。

図５に示した構成は単なる一例であるが、本実施形態の撮像光学系２および撮像素子３は、一般に、下記の条件式（１）を満たすものとなっている。

Ｒ×ＮＡ’／２≦ｄ …（１）
ここに、ＮＡ’は画像Ａの像側ＮＡ（像側開口数）（図５参照）、Ｒは撮像光学系２により決まる解像力と撮像素子３により決まる（具体例としては、撮像素子３の画素ピッチ等により決まる）解像力との内の低い方、ｄは画像Ａが結像された面（図５のＩＭＧａ）と画像Ｂが結像された面（図５のＩＭＧｂ）との光路間隔（図５参照）である。

深度拡大画像を得るためには、画像Ａと画像Ｂの光路間隔ｄの最小値を、焦点深度の０．５倍に対応する値以上にすることが望ましい。なぜならば、光路間隔ｄが焦点深度の０．５倍に対応する値未満であると、図２に示した距離Ｄ１と距離Ｄ２が近接することとなって、画像Ａと画像Ｂの明るさの変化が小さく、深度拡大の効果が十分に得られないからである。条件式（１）におけるｄの下限値Ｒ×ＮＡ’／２は、この条件に基づくものである。

本実施形態の撮像光学系２および撮像素子３は、さらに下記の条件式（２）を満たすものとなっている。

０．０５≦（ＮＡｆ／ＮＡｎ）²≦０．９ …（２）
ここに、ＮＡｎは画像Ａと画像Ｂとの内の撮影距離が近い画像のＮＡ、ＮＡｆは撮影距離が遠い画像のＮＡである。

（ＮＡｆ／ＮＡｎ）²が条件式（２）の下限値０．０５未満になると、ＮＡの変化が大きすぎるために、近距離にフォーカスの合った部分と遠距離にフォーカスの合った部分との解像限界の差からくる違和感を感じて、不自然な像になってしまう。従って、条件式（２）の下限値０．０５は、このような不自然さを抑制するための値である。

また、（ＮＡｆ／ＮＡｎ）²が条件式（２）の上限値０．９を超えると、距離による解像変化がなくなり、やはり不自然な画像になってしまう。従って、条件式（２）の上限値０．９は、このような不自然さを抑制するための値である。

本実施形態の撮像光学系２および撮像素子３は、さらに下記の条件式（３）を満たすことが望ましい。

上述した条件式（１）に表れる画像Ａと画像Ｂの光路間隔ｄは、人間の目でフォーカスの差を取る調節微動（後述する実施形態２参照）の最大値の視度０．５（１／ｍ）に対応する値を上限値として、この上限値以下であることが望ましい。もし光路間隔ｄを視度０．５（１／ｍ）に対応する値よりも大きくしてしまうと、画像Ａと画像Ｂのボケの差が大きくなりすぎて、人間の目で補正可能な範囲を超えたにじみとなり、不自然な画像として見えてしまうためである。

光路間隔ｄを視度０．５（１／ｍ）＝１／２（１／ｍ）＝１／２０００（１／ｍｍ）に対応する値以下にする条件は、撮像光学系２の焦点距離をｆとして、以下の条件式（３）により表される。

ｄ≦ｆ²／２０００ …（３）
こうして、撮像光学系２および撮像素子３を条件式（１）の下限値を満たすように構成することで、深度拡大効果が小さくなり過ぎるのを抑制することができるとともに、条件式（３）の上限値を満たすように構成することで、画像Ａおよび画像Ｂにより得られる深度拡大幅を、目視時に深度拡大に利用している調節微動の振幅最大値以下に抑制することができ、不自然な見えや疲労の増加を未然に防ぐことができる。

このような条件式（１）、（２）、（３）を満たす撮像光学系２および撮像素子３の実施例１〜３を以下に示す。なお、ＷＤはワークディスタンスである。

焦点距離 0.9852
前側焦点位置 0.69635
Ｒ 0.0024

WD NA NA' 近点 遠点 視度 (NAf/NAn)²
4.83 0.0176 0.10215 3.7 6.94 180.9513
9.69 0.00975 0.10239 6.32 19 96.28021 0.3068908
15.4 0.00633 0.10248 8.64 57.49 62.12589 0.1293547
21.8 0.00456 0.10254 10.55 9999 44.45166 0.0671281

焦点位置 d R×NA'/2 像側深度
0.175635 0.011747 0.093673
0.093451 0.08218333 0.01172 0.089058
0.060301 0.11534172 0.01171 0.08728
0.043146 0.132489 0.011703 0.086208

焦点距離 1.365
前側焦点位置 0.93617
Ｒ 0.0028

WD NA NA' 近点 遠点 視度 (NAf/NAn)²
6.25 0.01694 0.09325 5.02 8.11 143.9605
9.45 0.01196 0.09339 7.14 13.61 98.55761 0.498466

焦点位置 d R×NA'/2 像側深度
0.139731 0.012869 0.059579
0.095662 0.044068907 0.012849 0.056016

焦点距離 1.457
前側焦点位置 0.86
Ｒ 0.0024

WD NA NA' 近点 遠点 視度 (NAf/NAn)²
4.65 0.02205 0.08646 3.85 5.77 181.4882
6.84 0.01609 0.08654 5.41 9.11 129.8701 0.5324697
11.4 0.0103 0.08663 8.22 18 81.56607 0.2182013
16 0.00755 0.08665 10.58 31.15 59.31198 0.1172402

焦点位置 d R×NA'/2 像側深度
0.385272 0.013879 0.093673
0.275695 0.109577375 0.013866 0.089058
0.173152 0.212119604 0.013852 0.08728
0.12591 0.259361671 0.013849 0.086208
深度拡大装置１は、さらに、画像Ａおよび画像Ｂにおける対応する画素毎の輝度変化に基づいて、物点から撮像光学系２までの距離と輝度変化との関係を維持する深度拡大画像を生成もしくは表示する深度拡大画像構成部を備えている。

特に、本実施形態の深度拡大画像構成部は、図４に示すように、画像Ａから画像Ｂを減算した差画像を算出し、この差画像の最大輝度値が、画素値が取り得る最大値になるような加算値を差画像の各画素の画素値に加算してから最大値で除算することにより規格化画像Ｃを作成し、さらに画像Ａの各画素の画素値を規格化画像Ｃにおいて対応する画素の画素値で除算することにより深度拡大画像を生成する深度拡大画像生成部５を備えたものとなっている。この深度拡大画像生成部５は、例えば、撮像素子３から出力された画像を処理するための画像処理部４内に設けられている（ただし、この構成に限定されるものではなく、画像処理部４とは独立に設けても構わない）。

この深度拡大画像生成部５による深度拡大画像の生成について説明する。

図６は近距離、中距離、長距離被写体の像の、撮像光学系からの像側距離に応じた輝度変化の様子を、画像Ａ，Ｂの結像位置と共に示す線図、図７は画像Ａの輝度値から画像Ｂの輝度値を減算した値の被写体距離に応じた変化を示す線図である。

まず、被写体の輝度値は、図５の実線、一点鎖線、点線の各輝度曲線に示すように、像面が合焦面に一致するときにピーク値をとり、像面が合焦位置から撮像光学系２に近接しても離隔しても、何れも離隔量に応じてピーク値から下がる。

そして、被写体の合焦面が画像Ａの像面（画像Ａの結像面ＩＭＧａであり、以下適宜、像面Ａという）と画像Ｂの像面（画像Ｂの結像面ＩＭＧｂであり、以下適宜、像面Ｂという）との中間に位置するとき（中距離被写体Ｍのとき）には、図６の実線に示すように、輝度曲線のピークが像面Ａと像面Ｂの中間に位置して、画像Ａにおいて得られる輝度と画像Ｂにおいて得られる輝度とはほぼ同一のレベルとなる。

一方、被写体が近距離被写体Ｎであるときには、図６の一点鎖線に示すように、像面Ａの方が像面Ｂよりも輝度曲線のピークに近くなり、画像Ａにおいて得られる輝度は画像Ｂにおいて得られる輝度よりも高くなる。

また、被写体が遠距離被写体Ｆであるときには、図６の点線に示すように、像面Ｂの方が像面Ａよりも輝度曲線のピークに近くなり、画像Ａにおいて得られる輝度は画像Ｂにおいて得られる輝度よりも低くなる。

従って、画像Ａの輝度値から画像Ｂの輝度値を減算した値Ａ−Ｂが、被写体距離に応じてどのように変化するかを図示すると、図７に示すようになる。

すなわち、値Ａ−Ｂは、被写体距離が撮像光学系２の直前位置から無限遠へ向かって変化すると、最初の０もしくは正の値からまず増加して行き、正の値である最大値を経た後に減少に転じ、像面Ａと像面Ｂのほぼ中間を合焦面とする位置において０になった後に、さらに減少して負の値である最小値をとり、その後に０へ向かって緩やかに増加して行く。

このような被写体距離と輝度との関係に基づいて、深度拡大画像生成部５は、画像Ａおよび画像Ｂから深度拡大画像を生成するようになっている。深度拡大画像生成部５による深度拡大画像の生成について、図８および図９を参照して説明する。ここに、図８は被写体像の合焦面と撮像面Ａ，Ｂとの位置関係に応じた画像Ａ，Ｂ、規格化画像Ｃ、深度拡大画像の例を示す表図、図９は深度拡大画像生成部５により行われる深度拡大合成の処理を示すフローチャートである。

深度拡大合成の処理を開始すると、まず、基準となる画像Ａから画像Ｂを減算して、
差画像＝画像Ａ−画像Ｂ
差画像を算出する（ステップＳ１）。この減算は、同じ画素位置の画素毎に行う。

次に、差画像中の全画素から、最大輝度値Ｌ_{diff_max}の画素を探索する（ステップＳ２）。

ところで、画像には、画素値を何ビットで表現するかに応じて取り得る最大輝度値Ｌ_maxがある。一例を挙げれば、画素値を１０ビットで表現する場合には、輝度値Ｌは０〜１０２３の値をとるために、最大輝度値Ｌ_maxは１０２３である。この最大輝度値Ｌ_maxと、ステップＳ２において探索した最大輝度値Ｌ_{diff_max}を用いて、加算輝度値Ｌ_addを次のように算出する（ステップＳ３）。

Ｌ_add＝Ｌ_max−Ｌ_{diff_max}
具体例として、差画像の最大輝度値Ｌ_{diff_max}が５０である場合には、加算輝度値Ｌ_addは１０２３−５０＝９７３となる。この加算輝度値Ｌ_addは、差画像に加算することにより、差画像の最大輝度値Ｌ_{diff_max}が、画素値が取り得る最大値（最大輝度値Ｌ_max）になるような加算値である。

そして、差画像の全画素に、加算輝度値Ｌ_addを加算してから、最大輝度値Ｌ_maxで除算することにより、規格化画像Ｃ
Ｃ＝（差画像＋［Ｌ_add］）／Ｌ_max
を作成する（ステップＳ４）。この規格化画像Ｃは、最大画素値が１となるように規格化された、０〜１の画素値で構成される画像である。ここに、［Ｌ_add］は、全画素の画素値が加算輝度値Ｌ_addとなっている加算画像を示し、差画像と加算画像との加算は、上述したように同じ画素位置の画素毎に行われる。従って、加算輝度値Ｌ_addは、全画素に対して適用されるグローバルな値である。

その後、画像Ａを規格化画像Ｃで除算することにより、深度拡大画像を算出する（ステップＳ５）。

深度拡大画像＝画像Ａ／規格化画像Ｃ
この除算も、同じ画素位置の画素毎に行う。こうして算出された画像が深度拡大画像である。

深度拡大画像が算出されたところで、この深度拡大合成の処理を終了する。

この深度拡大合成の処理により生成された深度拡大画像は、例えば、深度拡大装置１に設けられた図４に示すような表示部６に表示される。この表示部６は、生成された深度拡大画像を表示するだけでなく、その他のオプション表示として、画像Ａと画像Ｂとを並べて表示する、画像Ａと画像Ｂの何れか一方を所望に切換可能に表示する、画像Ａと画像Ｂとを重畳して表示する、画像Ａと画像Ｂとを高速フレームレートでフレーム毎に切り替えて表示する（目の残像現象により被写界深度が拡大したように見える）、などを行うようにしても構わない。

次に、このような深度拡大合成の処理により算出される深度拡大画像が、被写体距離に応じてどのようになるかの幾つかの例について、図８を参照して説明する。なお、図８に示した各グラフは、縦軸が輝度値（コントラスト値）、横軸が画像上の空間位置（画素位置）を示している。

図８に示すように、撮像面Ａを合焦面とする点は、画像Ａにおいてはコントラストが明確であり、輝度値に鋭いピークを生じる。一方、撮像面Ｂにおいてはボケた画像となるために、コントラストが不明確となり、輝度値のピークも緩やかとなる。このような画像Ａから画像Ｂを減算して得られる差画像は、画像Ａの輝度値ピークと同一位置にピークがある山形をなす画像となる。このピークが例えば差画像中の最大輝度値Ｌ_{diff_max}を与えるものとすると、差画像から得られる規格化画像Ｃは、画像Ａの輝度値ピークと同一位置に、画素値１のピークがある山形をなす画像となる。この規格化画像Ｃにより画像Ａを除算して深度拡大画像を算出すると、規格化画像Ｃのピークは画素値１であるために画像Ａの輝度値ピークの値は変化せず、規格化画像Ｃのピーク以外の画素値は１未満であるために、除算によって画像Ａの輝度値ピークに対応する画素以外の画素の画素値は増加して、画像Ａよりもピーク両側の傾斜がやや緩やかとなった図示のような画像が得られる。

また、撮像面Ａと撮像面Ｂとの中間を合焦面とする点は、画像Ａと撮像面Ｂの両方においてある程度のコントラストが得られるが、輝度値のピークは幾らか緩やかな画像となる。そして、いわゆる前ピンか後ピンかの相違はあるが、比較的近似したボケ画像となるために、差画像は各画素値が０に近い（すなわち、上述した最大輝度値Ｌ_{diff_max}よりもずっと小さい）ものとなり、規格化画像Ｃは（Ｌ_add／Ｌ_max）に近い画素値の画像となる。従って、画像Ａを規格化画像Ｃで除算すると、各画素の画素値がほぼ（Ｌ_max／Ｌ_add）倍に増幅されて、深度拡大画像として得られるのは、形状は画像Ａに近似しているが、画像Ａよりも大きく増幅された画像となる。

さらに、撮像面Ｂを合焦面とする点は、撮像面Ａにおいてはボケた画像となるために、コントラストが不明確となり、輝度値のピークも緩やかとなる。一方、画像Ｂにおいてはコントラストが明確であり、輝度値に鋭いピークを生じる。このような画像Ａおよび画像Ｂに基づいて規格化画像Ｃを算出すると、画像Ｂの輝度値ピークと同一位置に輝度値の谷の底（ボトム）がある画像が得られる。この規格化画像Ｃにより画像Ａを除算して深度拡大画像を算出すると、規格化画像Ｃのボトムにより、深度拡大画像には画像Ｂの輝度値ピークと同一位置に輝度値のピークが発生する。また、規格化画像Ｃのボトム以外の画素も、規格化画像Ｃにおける画素値が１である画素を除いて、除算により画素の画素値が増加して、画像Ａよりもピーク両側の傾斜がやや急峻となった（ただし、画像Ｂよりはピーク両側の傾斜がやや緩やかである）図示のような画像が得られる。

従って、合成された深度拡大画像は、輝度値の鋭いピークが画像Ａと画像Ｂとの何れにある場合でも、傾斜をやや緩やかにしながらその輝度値ピークをほぼ維持することができる。一方、撮像面Ａと撮像面Ｂとの中間を合焦面とする点は、ピーク形状をほぼ維持しながら上述したように増幅されるために、より高いピーク値を獲得することができる。このような処理の結果、深度拡大画像のコントラストは、図２に示したような双耳峰形状から、図３に示したような単一のピークをもつ山形に近付くことになる。このような処理が画像全体に対して行われるために、撮影画角内に様々な被写体距離の被写体が存在し、各々の被写体の合焦面と撮像面Ａ，Ｂとの位置関係が様々であっても、画像全体のコントラストを向上して深度拡大を図ることができる。

こうして、図９を参照して説明したような深度拡大合成の処理を行うことにより、像の明るさも距離情報として反映され、深度内の距離による明るさ変化が反映される深度拡大画像が作成されて、観察者にとって見た目に自然な画像となる。

なお、深度拡大画像生成部５は、撮像素子３から得られた２つの画像のみを、深度拡大画像生成における合成対象とするものではない。

例えば、撮像素子３からフォーカス位置の異なる３つの画像が取得される場合には、深度拡大画像生成部５は、第１の画像と第２の画像から深度拡大画像を生成し、生成した深度拡大画像と第３の画像とを合成して更なる深度拡大画像を生成しても良い。

また例えば、撮像素子３からフォーカス位置の異なる４つの画像が取得される場合には、深度拡大画像生成部５は、第１の画像と第２の画像から第１の深度拡大画像を生成し、第３の画像と第４の画像から第２の深度拡大画像を生成して、生成した第１の深度拡大画像と第２の深度拡大画像とを合成して更なる深度拡大画像を生成しても良い。

このような場合には、深度拡大画像生成における合成対象の２つの画像は、焦点深度が異なることがあり得る。しかし、焦点深度があまり大きく異なる画像同士を合成すると、合成後の更なる深度拡大画像は不自然に観察されてしまうことがある。そこで、合成対象の２つ画像は、一方の画像の焦点深度と他方の画像の焦点深度との比ＲＦＤが、以下の条件
０．７≦ＲＦＤ≦（１／０．７）
を満たすことが望ましい。

次に、図１０は第１の変形例における分割光学素子の構成を示す図である。

図５に示した構成においては、分割光学素子としてハーフミラーＨＭを用いていたが、この図１０に示す構成では、分割光学素子ＤＯとして第１プリズムＰ１と第２プリズムＰ２とを接合して構成したプリズム光学系を用いている。すなわち、この分割光学素子ＤＯは、第１プリズムＰ１と第２プリズムＰ２との接合面が、光透過作用と光反射作用とを同時に行うことにより共通光学系ＬＳＣから入射した光を２分割して空間的に異なる方向へ射出する光学面となっている。

また、第１の撮像素子ＩＳａは第２プリズムＰ２に、第２の撮像素子ＩＳｂは第１プリズムＰ１に、それぞれ例えば接着されており、分割光学素子ＤＯと第１の撮像素子ＩＳａおよび第２の撮像素子ＩＳｂとは撮像ユニットとして一体化されている。

このような構成において、第１の撮像素子ＩＳａを近点位置、第２の撮像素子ＩＳｂを遠点位置に位置出しするのは、例えば接着厚をコントロールすることにより行われる。このときには、例えば、まず分割光学素子ＤＯを光軸に沿って移動させてＺ方向（つまり、ピント出し）の位置調整を行い、その後にプリズム面上で第１の撮像素子ＩＳａおよび第２の撮像素子ＩＳｂのＸＹ位置調整をそれぞれ行うことになる。

続いて、図１１は第２の変形例における分割光学素子の構成を示す図である。

この第２の変形例は、上述した第１の変形例と同様に分割光学素子ＤＯとしてプリズム光学系を用いているが、さらに、２つの撮像素子の内の一方へは無反射で光を射出し、他方へは２回反射して光を射出するように構成したものとなっている。

すなわち、分割光学素子ＤＯは、第１プリズムＰ１と第２プリズムＰ２と第３プリズムＰ３とを備えている。第１プリズムＰ１と第２プリズムＰ２との間には、微小な間隔となるように設定されたエアーギャップが設けられている。また、第２プリズムＰ２と第３プリズムＰ３とは接合されていて、光透過作用と光反射作用とを同時に行うことにより共通光学系ＬＳＣから入射した光を２分割して空間的に異なる方向へ射出する光学面となっている。さらに、第１プリズムＰ１の入射面と第３プリズムＰ３の射出面とは、例えば平行となるように構成されている。

共通光学系ＬＳＣから入射した光は、第１プリズムＰ１を通過して、エアーギャップを介して第２プリズムＰ２に入射する。第２プリズムＰ２に入射した光は、第２プリズムＰ２と第３プリズムＰ３との接合面により２分割され、透過した光は第３プリズムＰ３を介して第１の撮像素子ＩＳａに入射する。また、第２プリズムＰ２と第３プリズムＰ３との接合面により反射された光は、さらに、上述したエアーギャップが設けられている入射面の内面において例えば上方へ反射され、第２プリズムＰ２から射出されて第２の撮像素子ＩＳｂに入射する。

上述した図１０に示したような構成においては、第１の撮像素子ＩＳａに結像される像に対して、第２の撮像素子ＩＳｂに結像される像は鏡面対称な像となっていたために、深度拡大画像を生成するに当たって、第２の撮像素子ＩＳｂから出力される画像を左右反転させる処理を行う必要があった。

これに対して、この第２の変形例の構成によれば、第２の撮像素子ＩＳｂから出力される画像も正像となるために、左右反転処理が不要となる利点がある。

図１２から図１５を参照して、第３の変形例について説明する。図１２は撮像光学系および撮像素子の構成を示す図、図１３は撮像素子上に構成された遠点用画素および近点用画素の配列を示す図、図１４は近点用画素から得られる近点画像を示す図、図１５は遠点用画素から得られる遠点画像を示す図である。

この第３の変形例は、単一の撮像素子により１回の撮像でフォーカス位置の異なる２つの画像を取得するように構成したものとなっている。

まず、本実施形態の撮像光学系２は、上述した共通光学系ＬＳＣとほぼ同様の構成の、撮像光学系ＬＳ（図４の撮像光学系２に対応）から構成されていて、分割光学素子ＤＯは設けられていない。

撮像光学系ＬＳにより結像される光束の光路上には、撮像素子ＩＳ１が配設されている。この撮像素子ＩＳ１の前面側には、例えばカバーガラスＣＧ１が貼設されている。

撮像素子ＩＳ１は、撮像光学系ＬＳからの光路長が異なる２種類の画素、すなわち、遠点画像（遠点にある遠距離被写体ＯＢＪｆの画像）を撮像するための遠点用画素Ｐｆと、近点画像（近点にある近距離被写体ＯＢＪｎの画像）を撮像するための近点用画素Ｐｎとが設けられている。

ここに、撮像光学系ＬＳの合焦位置に撮像素子ＩＳ１を配置する際の位置精度は、例えば１０〜２０μｍである。このような構成例における近点用画素Ｐｎと遠点用画素Ｐｆとの光路差の一例は、５０μｍである。ただし、近点用画素Ｐｎと遠点用画素Ｐｆとの光路差の大きさは、撮像光学系ＬＳとしてどのような光学系を用いるか、撮像素子ＩＳ１としてどのようなサイズでどのような画素ピッチのものを用いるか、等の構成や仕様に応じて最適化することになる。

これら遠点用画素Ｐｆおよび近点用画素Ｐｎは、何れも、撮像素子ＩＳ１の撮像面全体に同一密度で均一に分布するように配列されていて、ｉ＝１，２，…、ｊ＝１，２，…としたときに、例えば図１３に示すように、（２ｉ−１，２ｊ−１）および（２ｉ，２ｊ）の画素位置に近点用画素Ｐｎが、（２ｉ−１，２ｊ）および（２ｉ，２ｊ−１）の画素位置に遠点用画素Ｐｆが、それぞれ配置されている。

従って、近点用画素Ｐｎのみから得られる近点画像Ａは図１４に示すような画素位置の画素値から構成される画像、遠点用画素Ｐｆのみから得られる遠点画像Ｂは図１５に示すような画素位置の画素値から構成される画像になる。なお、このように構成する場合には、近点画像Ａと遠点画像Ｂとの何れも、２枚の撮像素子を用いる場合に比べて、得られる画像の画素数が半分になってしまうが、近年の撮像素子は高画素化されているために、実用上十分な画質を得ることが可能である。

そして、これら近点画像Ａおよび遠点画像Ｂは、画像処理部４において補間処理等によりデモザイキングが行われ、全ての画素位置が対応する画像に変換されてから、深度拡大画像生成部５により深度拡大画像を生成する処理が行われる。

なお、上述では、１つの撮像素子上に、撮像光学系からの光路長が異なる２種類の画素を設けたが、光路長が異なる３種類以上の画素を設けても構わない。さらに一般には、ｎ（ｎは正の整数）個の撮像素子上に、光路長が異なるｍ（ｍはｎよりも大きい正の整数）種類の画素を設けるようにしても良い。この場合には、ｍ個の通常の撮像素子を光路長が異なる位置に配置する場合に比べて、撮像素子の数をｍ−ｎ個少なくすることが可能となる。

この第３の変形例の構成を採用すれば、単板の撮像素子を用いた場合であっても、フォーカス位置が異なる２枚以上の画像を一度に取得することが可能となるとともに、分割光学素子が不要となる利点がある。

図１６は第４の変形例における撮像素子および光路補正用カバーガラスの構成を示す図である。

上述した第３の変形例は、撮像素子上における、撮像光学系からの画素位置を異ならせたものとなっていた。このような構成の場合には、専用の製造プロセスで専用の撮像素子を製造する必要があり、製造コストが嵩むことになる。

これに対して、この第４の変形例は、汎用の撮像素子を用いながら、撮像光学系からの画素位置を異ならせるように工夫したものとなっている。

すなわち、汎用の撮像素子ＩＳ２の受光面に、光路補正用カバーガラスＣＧ２が貼設されている。この光路補正用カバーガラスＣＧ２は、撮像素子ＩＳ２上の画素へ到達する光の光路長を異ならせる構成を備えている。具体的には、近点用の光路長の光を画素へ到達させるための近点用構造部Ｈｎと、遠点用の光路長の光を画素へ到達させるための遠点用構造部Ｈｆと、を備えている。

ここに、近点用構造部Ｈｎおよび遠点用構造部Ｈｆは、平板のカバーガラスに空気長の異なる穴を形成することによって構成しても良いし、レーザー照射により微小領域の屈折率を改質することにより構成するようにしても構わないし、その他の構成を採用しても良い。

このような構成を採用した場合には、近点用構造部Ｈｎを通過した光が到達する画素群が画像Ａを撮像するための画素群となり、遠点用構造部Ｈｆを通過した光が到達する画素群が画像Ｂを撮像するための画素群となる。

なお、画素へ到達する光の光路長を異ならせるための構造部の種類が、３種類以上であっても良いことは、上述と同様である。

このような第４の変形例によっても、上述した第３の変形例と同様の機能を達成し同様の効果を奏することができるとともに、汎用の撮像素子ＩＳ２を用いることができるために、製造コストを大幅に低減することが可能となる利点がある。

このような実施形態１によれば、物点から撮像光学系までの距離と輝度変化との関係を維持する深度拡大画像を生成しているために、違和感のない自然な深度拡大画像となる。

また、条件式（１）を満たすようにしているために、深度拡大の効果を十分に得ることができる。

さらに、条件式（２）を満たすようにしているために、近距離にフォーカスの合った部分と遠距離にフォーカスの合った部分との解像限界の差からくる違和感を軽減し、かつ距離による解像変化をつけることができて、自然な画像を得ることができる。

そして、画像Ａから画像Ｂを減算した差画像に基づき規格化画像Ｃを作成し、画像Ａを規格化画像Ｃで除算することにより深度拡大画像を生成しているために、距離に応じた画素値を画素毎に反映することができ、距離に関する違和感を軽減して、より自然な深度拡大画像を得ることができる。また、演算が簡単であるために処理負荷が軽く、動画像にも対応し得る高速処理も可能となる。

加えて、撮像光学系からの光路長が異なる複数の位置に撮像素子をそれぞれ配置することにより、レンズまたは撮像素子を駆動する機構を不要としながら、フォーカス位置が異なる複数の画像を同時に取得することができる。これにより、撮像素子やレンズを駆動するアクチュエータ等が不要となるために、撮像光学系の小型化を図って、細径化が要求される内視鏡に適した構成とすることができる。さらに、駆動系がないために封止が容易であり、オートクレーブが必須となる腹腔鏡に対しても適用することができる。このとき、画像Ａを近点画像、画像Ｂを遠点画像として、深度の深い内視鏡に適用すれば、より高い深度拡大効果を得ることができる利点がある。

こうして取得したフォーカス位置が異なる複数の画像に基づき深度拡大画像を生成もしくは表示する場合には、明るさ絞りを絞って深い深度の画像を得る場合に比べて、画像が明るくコントラストが高くなる利点がある。

また、撮像素子を、撮像光学系からの光路長が異なる２つの画素群を備える構成とする場合には、分割光学素子を不要とし、複数の撮像素子を設ける必要なく、一方の画素群により画像Ａ、他方の画素群により画像Ｂを、それぞれ撮像することができる。従って、深度拡大装置の小型化を容易に図ることが可能となる。

さらに、分割光学素子を、一方の撮像素子へは無反射で光を射出し、他方の撮像素子へは２回反射して光を射出するように構成した場合には、深度拡大画像を生成する際の左右反転処理が不要となり、画像処理の処理負荷を減らして処理時間を短縮することができる。

そして、撮像光学系２としてテレセントリック光学系を用いているために、撮像光学系２から第１の撮像素子への光路長と第２の撮像素子への光路長とが異なっても、倍率調整を行う必要なく、画像Ａと画像Ｂとを対応する画素位置同士で重ね合わせることができる。従って、画像処理の負荷を軽減しながら焦点深度拡大画像を生成することができる。

また、合成対象の２つ画像の焦点深度の比ＲＦＤが、０．７以上かつ（１／０．７）以下となるようにした場合には、比較的近似する焦点深度の画像同士の合成となって、自然な画像として観察される深度拡大画像を得ることができる。

加えて、条件式（３）を満たすように構成する場合には、画像Ａおよび画像Ｂにより得られる深度拡大幅が抑制され、不自然な見えや疲労の増加を未然に防ぐことができる。

こうして、簡単な処理で被写体距離に応じた自然なコントラスト変化を再現することが可能となる。

［実施形態２］
図１７から図２７は本発明の実施形態２を示したものであり、図１７は深度拡大装置の構成を示すブロック図、図１８は深度拡大装置における撮像光学系と撮像面との位置関係を示す図、図１９は深度拡大装置における表示面と観察者の目との位置関係を示す図、図２０は撮影距離が異なる３つの点Ｘ，Ｙ，Ｚのコントラスト変化と２つの撮影面との関係を示す線図、図２１は視線方向位置が異なる２つの表示面における点Ｘの表示を観察したときのコントラスト変化の様子を示す線図、図２２は視線方向位置が異なる２つの表示面における点Ｙの表示を観察したときのコントラスト変化の様子を示す線図、図２３は視線方向位置が異なる２つの表示面における点Ｚの表示を観察したときのコントラスト変化の様子を示す線図、図２４は深度拡大画像表示部の変形例を示す図、図２５は変形例において視線方向位置が異なる２つの表示面における点Ｘの表示を観察したときのコントラスト変化の様子を示す線図、図２６は変形例において視線方向位置が異なる２つの表示面における点Ｙの表示を観察したときのコントラスト変化の様子を示す線図、図２７は変形例において視線方向位置が異なる２つの表示面における点Ｚの表示を観察したときのコントラスト変化の様子を示す線図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１は、深度拡大画像構成部が、フォーカス位置の異なる複数の画像に基づき焦点深度が拡大された画像を生成する深度拡大画像生成部５を備えていたが、本実施形態２は、フォーカス位置の異なる複数の画像に基づき焦点深度が拡大された画像を表示する深度拡大画像表示部６Ａを備えたものとなっている。

まず、従来の焦点深度拡大技術のほとんどは、平面に投影した線や点をくっきりさせて（コントラストを高めて）、深度が拡大されたものとする技術である。このために、膜のような面については焦点深度の拡大効果がないかあるいは薄く、逆に観察者が対象を認識し難くなってしまうこともあった。また、これを改善するために立体画像を利用することが考えられるが、最も簡単に作成することができるステレオ立体画像は、２Ｄ画像の点や線の対応点を認識する方法を利用しているために、面を認識することは２Ｄ画像の深度拡大技術と同様に困難である。

これに対して、上記特開２００５−４９６４６号公報や上記特開２００６−２０８４０７号公報に記載されたようなＤＦＤ式の改良型の立体表示を用いることも考えられるが、このような立体表示において、効率良く深度を拡大する方法は明確になっていない。

一方、人間の目は、目の分解能から計算した値よりも深い焦点深度で対象を認識していることが知られている。これは、人間の目が調節微動という動きを行うためではないかと推測されている。この調節微動は、０．５秒程度の間に視度０．３〜０．５（１／ｍ）で焦点位置を変化させる目の動きのことである。そして、人間は、無意識のうちにこの調節微動を行って、異なる焦点位置で対象を観察し、対象の情報を立体的に取得して、対象を、深度が拡大された対象として認識しているのではないかと思われる。

このような人間の目の機能を利用した深度拡大の原理について、図２０〜図２３を参照して説明する。

調節微動を使った深度認識方法は、視線方向（目の光軸方向）のコントラストピークを位置として認識する方法である。従って、視線方向にコントラストが変化する画像を作る必要がある。このために撮影距離を異ならせた複数の画像を撮影するが、ここでは分かり易くするために、撮影距離が異なる２つの画像、すなわち、撮影距離が近い撮影面ＰＣの画像と撮影距離が遠い撮影面ＰＤの画像とを撮影する例を挙げて説明する。さらに、撮影する物体は同一の点光源であって、撮影面ＰＣ上に点光源（点Ｘ）、撮影面ＰＣと撮影面ＰＤの中間に点光源（点Ｙ）、撮影面ＰＤ上に点光源（点Ｚ）がある場合について説明する。

このような例における撮影面ＰＣ，ＰＤと点Ｘ，Ｙ，Ｚのコントラスト変化とを図示すると、図２０に示すようになる。すなわち、点Ｘは撮影面ＰＣ上にコントラストピークをもつコントラスト曲線ＣＸ、点Ｙは撮影面ＰＣと撮影面ＰＤとの中間にコントラストピークをもつコントラスト曲線ＣＹ、点Ｚは撮影面ＰＣ上にコントラストピークをもつコントラスト曲線ＣＺとなる。こうして、撮影面ＰＣの画像および撮影面ＰＤの画像には、点Ｘ、点Ｙ、点Ｚのコントラスト変化が記録される。

このようなシチュエーションで撮影された撮影面ＰＣの画像と撮影面ＰＤの画像とを、表示面ＤＳ１と表示面ＤＳ２にそれぞれ表示する。このとき、２つの表示面の内の少なくとも視線方向の手前側にある表示面ＤＳ２は、ＤＳ１の像をＤＳ２の画像を通して透けて見える透過型の表示面であるものとする。このような表示方法を用いると、点Ｘ、点Ｙ、点Ｚの表示を目で見たときのコントラスト変化は、以下のようになる。すなわち、表示面ＤＳ１に表示された画像と表示面ＤＳ２に表示された画像とを重ね合わせて観察すると、観察者から見たときコントラストは、２つの画像のコントラストの積になる。

具体的に説明すると、点Ｘは、図２１に示すように、表示面ＤＳ１上に表示される画像のみを観察したときには表示面ＤＳ１上に比較的高く鋭いコントラストピークをもち（コントラスト曲線ＣＸ１）、表示面ＤＳ２上に表示される画像のみを観察したときには表示面ＤＳ２付近に比較的低く緩やかなコントラストピークをもつ（コントラスト曲線ＣＸ２）。そして、これらを重ね合わせて観察したときには、合成コントラスト曲線ＣＸ０に示すように、点Ｘの表示画像のコントラストピークは表示面ＤＳ１上になる（なお、図２１〜図２３において、合成コントラスト曲線は、合成前のコントラスト曲線と縦軸位置をずらして描画している）。

また、点Ｙは、図２２に示すように、表示面ＤＳ１上に表示される画像のみを観察したときには表示面ＤＳ１上にある程度の高さのコントラストピークをもち（コントラスト曲線ＣＹ１）、表示面ＤＳ２上に表示される画像のみを観察したときには表示面ＤＳ２上に同程度の高さのコントラストピークをもつ（コントラスト曲線ＣＹ２）。そして、これらを重ね合わせて観察したときには、合成コントラスト曲線ＣＹ０に示すように、点Ｙの表示画像のコントラストピークは表示面ＤＳ１と表示面ＤＳ２の中間となる。

さらに、点Ｚは、図２３に示すように、表示面ＤＳ１上に表示される画像のみを観察したときには表示面ＤＳ１付近に比較的低く緩やかなコントラストピークをもち（コントラスト曲線ＣＺ１）、表示面ＤＳ２上に表示される画像のみを観察したときには表示面ＤＳ２上に比較的高く鋭いコントラストピークをもつ（コントラスト曲線ＣＺ２）。そして、これらを重ね合わせて観察したときには、合成コントラスト曲線ＣＺ０に示すように、点Ｚの表示画像のコントラストピークは表示面ＤＳ２上になる。

観察者は、表示面ＤＳ１上に表示される画像と表示面ＤＳ２上に表示される画像とのコントラスト変化に基づき、画像を上述した合成コントラスト曲線のように感受して、表示画像の画素毎の距離を認識する。これにより、画像に表示されている物体の形状を立体的に把握することができる。そして、図２２に示したような場合には、観察者は２つの表示画像の間にフォーカスが合っているように認識するために、自然な深度の拡大を図ることが可能となる。

なお、上述では人間の目の機能として調節微動を主体にして説明したが、これはフォーカスを変化させる量が比較的大きいためである。しかしこれに限るものではなく、人間の目の、眼軸を伸縮させたり、網膜の厚さを変化させたりする機能によっても、同様な効果を得ることが可能である。

上述したような原理を利用して構成された本実施形態の深度拡大画像表示部６Ａについて、図１７〜図１９を参照して説明する。

すなわち、本実施形態の深度拡大装置１Ａは、撮像光学系２と、撮像素子３と、画像処理部４Ａと、深度拡大画像表示部６Ａと、を備えている。

ここに、撮像光学系２および撮像素子３の構成は、上述した実施形態１やその変形例において説明したものとほぼ同様である。ただし、上述した実施形態１においては、撮像光学系２および撮像素子３は、条件式（１）および（２）を満たすことが必須であり、条件式（３）はオプションであった。これに対して、本実施形態の撮像光学系２は、条件式（１）および（２）を満たすことが必須であるだけでなく、さらに条件式（３）も必須の条件としている。

すなわち、撮像光学系２および撮像素子３は、調節微動の範囲以内（すなわち、視度０．５（１／ｍ）以内）に複数の撮像面を配置している。図１８には、撮像光学系ＬＳ（図１７の撮像光学系２に対応）の光路上に、ａ≦０．５を満たす所定値ａ（１／ｍ）に対応する光路間隔ｄ（条件式（３）を満たす光路間隔ｄ）を離して、撮像面ＩＭＧ１およびＩＭＧ２が配置される例を模式的に示している。ただし、撮像面は２つ設けるに限るものではなく、点線で示すように、視度０．５（１／ｍ）の範囲以内にさらに他の撮像面を配置しても構わない。

このような撮像面ＩＭＧ１，ＩＭＧ２あるいはその他の撮像面により、複数の画像を撮像する。

次に、画像処理部４Ａは、上述した実施形態１とは異なり、深度拡大画像生成部５は備えていない。従って、画像処理部４Ａは、撮像して得られたフォーカス位置が異なる複数の画像に対して、通常の各種の画像処理（増幅、ホワイトバランス、デモザイキング、ノイズ除去、ガンマ補正等の各種処理）を行う。ただし、この画像処理は、複数の画像同士のバランスを維持するように（例えば、同一の明るさや同一のカラーバランスが得られるように）行われる。

そして、本実施形態の表示部は、フォーカス位置の異なる複数の画像を、焦点深度が拡大された画像として観察可能に表示する深度拡大画像表示部６Ａとなっている。

この深度拡大画像表示部６Ａは、互いに平行で、観察者から見たときの距離が異なる複数の表示面を備えている。ここに、複数の表示面同士の面間隔は、人間の目の調節微動の範囲以内（すなわち、視度０．５（１／ｍ）以内）に対応する所定間隔に設定されている。

図１９に示す具体例においては、視度０．５（１／ｍ）の範囲以内に、上述した撮像面ＩＭＧ１に対応する表示面ＤＳ１と、上述した撮像面ＩＭＧ２に対応する表示面ＤＳ２とが配置されている。これら表示面ＤＳ１とＤＳ２の配置間隔は、撮像面ＩＭＧ１と撮像面ＩＭＧ２の配置間隔と同様の、ａ≦０．５を満たす所定値ａ（１／ｍ）に対応する間隔（撮像の視度差に比例した間隔）である。そして、観察者の目ＥＹＥから見たときの表示面ＤＳ１とＤＳ２の並び順序は、図１８に示した撮像光学系ＬＳから、撮像面ＩＭＧ１を合焦面とする被写体と撮像面ＩＭＧ２を合焦面とする被写体とを見たときの並び順序と同一である。すなわち、撮像面ＩＭＧ１には例えば遠点画像が結像され、撮像面ＩＭＧ２には例えば近点画像が結像される。従って、撮像面ＩＭＧ１に対応する表示面ＤＳ１は観察者の目ＥＹＥから見たときに遠方にあり、撮像面ＩＭＧ２に対応する表示面ＤＳ２は観察者の目ＥＹＥから見たときに近辺にある。

なお、図１８において点線で示したように、視度０．５（１／ｍ）の範囲以内にさらに他の撮像面を配置して撮像した場合には、図１９において点線で示すように、深度拡大画像表示部６Ａにも各撮像面に対応する表示面を設けることになる。この場合には、観察者は被写体をより立体的に細かく把握することが可能となり、例えば膜状をなす被写体を焦点深度を拡大した状態でより容易に認識することができる。

図１９に示す構成を採用した場合には、これらの表示面は、観察者の目ＥＹＥから見たときに一番奥にある表示面を除いて、全て透過型の表示面となっている。また、観察者から見たときに一番奥にある表示面は、透過型であっても非透過型であっても何れでも構わないが、背景の透過を防いで見易くするためには非透過型である方が好ましい。

このような構成によって複数の表示面に複数の画像を表示すると、観察者の目ＥＹＥからは表示された複数の画像が重畳して観察される。このような同一被写体のフォーカス位置が異なる複数の画像を観察する観察者は、上述したように、無意識に調節微動を行うために、複数の画像をそれぞれ別個に認識するのではなく、深度が拡大された１枚の画像として認識する。

なお、深度拡大画像表示部６Ａは、上述した実施形態１の表示部６に関して説明したような、その他のオプション表示が可能な構成であっても勿論構わない。

また、上述では深度拡大画像表示部６Ａとして、透過型液晶表示素子等を利用した表示装置を想定した説明を行ったが、これに限るものではない。

図２４から図２７を参照して、深度拡大画像表示部の変形例を説明する。

この変形例の深度拡大画像表示部６Ａは、ハーフミラーなどのビームスプリッタＢＳを利用して、視線方向位置が異なる複数の画像を重ね合わせる構成となっている。

すなわち、深度拡大画像表示部６Ａは、上述した撮像面ＩＭＧ１に対応する表示面ＤＳ１を備える遠点用画像表示部６Ａｆと、上述した撮像面ＩＭＧ２に対応する表示面ＤＳ２を備える近点用画像表示部６Ａｎと、表示面ＤＳ１に表示される遠点画像と表示面ＤＳ２に表示される近点画像とを重ね合わせて観察者の目ＥＹＥへ導くためのビームスプリッタＢＳと、を備えている。

この図２４に示したような構成の深度拡大画像表示部６Ａを用いて、上述した撮影距離が異なる３つの点Ｘ，Ｙ，Ｚを観察したときには、コントラスト変化が表示面ＤＳ１に表示される画像と表示面ＤＳ２に表示される画像との和となり、例えば図２５から図２７に示すようになる。

さらに深度拡大画像表示部６Ａは、上述したような透過型液晶表示素子やビームスプリッタＢＳを利用した表示装置に限るものではなく、全透過状態と画像表示状態とを時間的に識別できない速さで切り替えられる表示素子を、調節微動の範囲内、すなわち上述した表示面ＤＳ１および表示面ＤＳ２の位置に配置して、高速に表示を切り替えるようにする深度拡大画像フォトフレームであっても良い。また、透過型のフィルム上に染料インクで印刷した複数の画像同士の間に、調節微動の範囲以内の透明板を挟み込んで積層して構成した深度拡大画像プリント等であっても構わない。従って、深度拡大画像構成部は、深度拡大画像プリントを生成するためのプリンタを含んでも良い。さらに、透過型のフィルム上に染料インクで印刷した画像の代わりに、銀塩リバーサルフィルムを使うことも可能である。

このような実施形態２によれば、画像を合成する点を除いて上述した実施形態１とほぼ同様の効果を奏するとともに、フォーカス位置が異なる複数の画像を重ね合わせて観察可能となるように、調節微動の範囲以内の面間隔を空けて表示するようにしたために、フォーカス位置が異なる２つの画像の中間位置を認識する人間の能力を利用した立体再現が可能になり、自然な深度拡大画像を表示することができる。

そして、条件式（３）を満たすように構成しているために、画像Ａおよび画像Ｂにより得られる深度拡大幅を、目視時に深度拡大に利用している調節微動の振幅最大値以下に抑制することができ、不自然な見えや疲労の増加を未然に防ぐことができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１１年１２月１６日に日本国に出願された特願２０１１−２７６３６９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (13)

1. フォーカス位置の異なる複数の画像に基づき、焦点深度が拡大された画像を生成もしくは表示し得る深度拡大装置において、
   基準画像（以下、画像Ａという）と、前記画像Ａとはフォーカス位置の異なる画像（以下、画像Ｂという）と、を結像して撮像する撮像光学系および撮像素子と、
   前記画像Ａおよび前記画像Ｂにおける対応する画素毎の輝度変化に基づいて、物点から前記撮像光学系までの距離と輝度との関係を維持する深度拡大画像を生成もしくは表示する深度拡大画像構成部と、
   を具備し、
   前記画像Ａの像側ＮＡをＮＡ'、前記撮像光学系により決まる解像力と前記撮像素子により決まる解像力との内の低い方をＲ、画像Ａが結像された面と画像Ｂが結像された面との光路間隔をｄ、前記画像Ａと前記画像Ｂとの内の、撮影距離が近い画像のＮＡをＮＡｎ、撮影距離が遠い画像のＮＡをＮＡｆとしたときに、前記撮像光学系および前記撮像素子は下記の条件式（１）および（２）を満たすように構成されていることを特徴とする深度拡大装置。
   Ｒ×ＮＡ'／２≦ｄ …（１）
   ０．０５≦（ＮＡｆ／ＮＡｎ）2≦０．９ …（２）
2. 前記深度拡大画像構成部は、前記画像Ａから前記画像Ｂを減算した差画像を算出し、この差画像の最大輝度値が、画素値が取り得る最大値になるような加算値を該差画像の各画素の画素値に加算してから前記最大値で除算することにより規格化画像Ｃを作成し、さらに画像Ａの各画素の画素値を規格化画像Ｃにおいて対応する画素の画素値で除算することにより深度拡大画像を生成する深度拡大画像生成部を有することを特徴とする請求項１に記載の深度拡大装置。
3. 前記撮像光学系は内視鏡に設けられたものであり、前記画像Ａは近点画像、前記画像Ｂは遠点画像であることを特徴とする請求項２に記載の深度拡大装置。
4. 前記撮像素子は、前記撮像光学系からの光路長が異なる２つの画素群を備え、一方の画素群により前記画像Ａを撮像し、他方の画素群により前記画像Ｂを撮像することを特徴とする請求項３に記載の深度拡大装置。
5. 前記撮像素子は、第１の撮像素子と第２の撮像素子とを含み、
   前記撮像光学系は、入射した光を前記第１の撮像素子と前記第２の撮像素子とへ分割して射出する分割光学素子を含み、
   前記分割光学素子は、前記第１の撮像素子と前記第２の撮像素子との内の、一方の撮像素子へは無反射で光を射出し、他方の撮像素子へは２回反射して光を射出することを特徴とする請求項３に記載の深度拡大装置。
6. 前記撮像光学系は、テレセントリック光学系であることを特徴とする請求項２に記載の深度拡大装置。
7. 前記深度拡大画像生成部は、撮像素子からの２つの画像を合成して深度拡大画像を生成するとともに、さらに、焦点深度が異なり得る２つの画像である、撮像素子からの１つの画像と１つの深度拡大画像、または２つの深度拡大画像を合成して更なる深度拡大画像を生成し得るものであり、
   合成対象の２つ画像は、一方の画像の焦点深度と他方の画像の焦点深度との比ＲＦＤが、以下の条件
   ０．７≦ＲＦＤ≦（１／０．７）
   を満たすことを特徴とする請求項２に記載の深度拡大装置。
8. 前記撮像光学系の焦点距離をｆとしたときに、前記光路間隔ｄは、さらに、以下の条件式（３）を満たすことを特徴とする請求項１に記載の深度拡大装置。
   ｄ≦ｆ2／２０００ …（３）
9. 前記深度拡大画像構成部は、互いに平行な複数の異なる表示面に、複数の画像を重畳して見えるように表示し得る深度拡大画像表示部を有し、
   前記深度拡大画像表示部は、視度０．５以内の範囲で前記画像Ａと前記画像Ｂとの間隔を空けて表示することにより、深度拡大画像を表示することを特徴とする請求項８に記載の深度拡大装置。
10. 前記撮像光学系は内視鏡に設けられたものであり、前記画像Ａは近点画像、前記画像Ｂは遠点画像であることを特徴とする請求項９に記載の深度拡大装置。
11. 前記撮像素子は、前記撮像光学系からの光路長が異なる２つの画素群を備え、一方の画素群により前記画像Ａを撮像し、他方の画素群により前記画像Ｂを撮像することを特徴とする請求項１０に記載の深度拡大装置。
12. 前記撮像素子は、第１の撮像素子と第２の撮像素子とを含み、
    前記撮像光学系は、入射した光を前記第１の撮像素子と前記第２の撮像素子とへ分割して射出する分割光学素子を含み、
    前記分割光学素子は、前記第１の撮像素子と前記第２の撮像素子との内の、一方の撮像素子へは無反射で光を射出し、他方の撮像素子へは２回反射して光を射出することを特徴とする請求項１０に記載の深度拡大装置。
13. 前記撮像光学系は、テレセントリック光学系であることを特徴とする請求項９に記載の深度拡大装置。

Images