JP3583447B2

JP3583447B2 - 撮像装置

Info

Publication number: JP3583447B2
Application number: JP04675193A
Authority: JP
Inventors: 永昭大山; 康宏小宮
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1992-04-28
Filing date: 1993-03-08
Publication date: 2004-11-04
Anticipated expiration: 2019-11-04
Also published as: US5294976A; US5450128A; JPH0698170A

Description

【０００１】
【産業上の利用分野】
本発明は原画像を撮像して復元する電子スチルカメラ等の撮像装置に係り、特に劣化した画像データを正確に復元する画像復元手段を備えた撮像装置に関する。
【０００２】
【従来の技術】
周知のように、光学系を用いた電子スチルカメラ等のイメージングシステムにおいては、図３のように原画像ｆ（ｒ）（ｒは位置を表す）は光学系Ｌを介して観察画像ｇ（ｒ）として図示しない撮像素子上に結像される。
【０００３】
ここで原画像ｆ（ｒ）のフーリエスペクトルをＦ（ω）、観察画像ｇ（ｒ）のフーリエスペクトルをＧ（ω）とすれば、
Ｇ（ω）＝Ｈ（ω）×Ｆ（ω） …（１）
（ここで、ω：空間周波数）
と表せる。
【０００４】
この（１）式で、Ｈ（ω）は光学伝達関数（ＯＴＦ：ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）とよばれるもので、イメージングシステムの結像特性を表すものとして用いられる。
【０００５】
また、Ｈ（ω）を逆フーリエ変換したものは点像分布関数（ＰＳＦ：ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）と呼ばれる。
【０００６】
さて、観察画像ｇ（ｒ）が原画像ｆ（ｒ）と比較して全く同一となるためには、すべてのωに対してＨ（ω）＝１となる必要がある。
【０００７】
しかしながら、実際の光学系は一般にＨ（ω）＜１となり、画像に劣化が生じる。
【０００８】
そこで、観察画像から原画像を復元する方法としてインバースフィルタ（ＩｎｖｅｒｓｅＦｉｌｔｅｒ）による手法が知られている。
【０００９】
このＩｎｖｅｒｓｅＦｉｌｔｅｒについては、例えば文献としてＰｒｅｎｔｉｃｅ−ＨａｌｌＩｎｔｅｒｎａｔｉｏｎａｌＥｄｉｔｉｏｎｓ発行の『ＦｕｎｄａｍｅｎｔａｌｓｏｆＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ』，ＡＮＩＬＫ．ＪＡＩＮ著Ｐ２７５〜Ｐ２７７に詳しく説明されている。
【００１０】
そこで、この文献によれば復元フィルタとして、
Ｈ⁻（ω）＝１／Ｈ（ω） …（２）
が示されている。
【００１１】
ただし、このフィルタはＨ（ω）の逆数で表されるため、Ｈ（ω）＝０の時はＨ⁻（ω）は発散してしまう。そこで、
Ｈ⁻（ω）＝１／Ｈ（ω）（但し、Ｈ（ω）≠０のとき） …（３）
Ｈ⁻（ω）＝０（但し、Ｈ（ω）＝０のとき） …（３′）
が定義されている。
【００１２】
【発明が解決しようとする課題】
上述した（２），（３）及び（３′）式で示される復元フィルタは、画像のどの位置おいてもその点に対する光学系の像の強度分布等、いわゆるＰＳＦが等しい（ｓｐａｃｅ−ｉｎｖａｒｉａｎｔ）という条件が必要であった。
【００１３】
しかしながら、実際の光学系では種々の収差や焦点はずれ等の影響により、ＰＳＦは画像の位置によって変化（ｓｐａｃｅ−ｖａｒｉａｎｔ）するため、（２），（３）式で示される復元フィルタでは原画像を正しく復元することができなかった。
【００１４】
また、そのような場合、画像位置に応じて異なるＰＳＦを正確に測定してから、（２），（３）式で示される復元フィルタを利用することも考えられるが、ＰＳＦの測定にはまずそのサンプリングから問題となる。
【００１５】
つまり、ＰＳＦは観察画像面においてその像が連続と定義されるにもかかわらず、撮像素子等においてはその画素ごとに分離され、像を離散的にサンプリングすることとなってしまい、ＰＳＦの正確な測定が不可能となる。
【００１６】
そのため、従来の復元フィルタでは原画像の正確な復元が本質的に不可能となってしまう。
【００１７】
本発明は以上のような点に鑑みてなされたものであり、連続系と離散系とを扱った場合においても、光学系の影響を受けず原画像を正確に復元することができる撮像装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明によると、
撮影光学系と、
前記撮影光学系を介して入射される物体像ｆ（ｒ）を撮像し観察画像ｇ（ｒ）を得るための画素数がｍの撮像素子と、
前記撮像素子の各画素が撮像する際にｉ番目の画素に寄与するｎ位置に等分された物体空間内それぞれの感度分布ｈｉ（ｒ）を表す関数であり全画素をまとめて表すとｍ×ｎ行列の形の感度関数Ｈを予め記憶した感度関数記憶手段と、
前記感度関数記憶手段に記憶された感度関数Ｈを用いて前記撮像素子により撮像された観察画像ｇ（ｒ）を復元する画像復元手段と、
前記画像復元手段で復元された復元画像ｆｅ（ｒ）を表示する表示手段とを有し、
前記画像復元手段は、
前記表示手段の表示画素数をｓ、前記感度関数の転置行列をＨ ^T 、ｎ個の要素からなる感度分布ｈｉ（ｒ）から表示のためのｓ個の要素を補間演算により求め、これを転置したｓ×ｍ行列で表される変換をＨ _S ^T 、疑似逆行列を ⁺ で表す場合、
ｆｅ（ｒ）＝Ｈ _S ^T （ＨＨ ^T ） ⁺ ｇ（ｒ）の演算によって劣化した観察画像を復元することを特徴とする撮像装置が提供される。
【００１９】
【作用】
この発明において、感度関数記憶手段は、画素数がｍの撮像素子の各画素が撮像する際にｉ番目の画素に寄与するｎ位置に等分された物体空間内それぞれの感度分布ｈｉ（ｒ）を表す関数であり全画素をまとめて表すとｍ×ｎ行列の形の感度関数Ｈを予め記憶する。画像復元手段は前記感度関数記憶手段に記憶された感度関数Ｈを用いて前記撮像素子により撮像された観察画像ｇ（ｒ）を復元する。表示手段は、前記画像復元手段で復元された復元画像ｆｅ（ｒ）を表示する。そして、前記画像復元手段は、前記表示手段の表示画素数をｓ、前記感度関数の転置行列をＨ ^T 、ｎ個の要素からなる感度分布ｈｉ（ｒ）から表示のためのｓ個の要素を補間演算により求め、これを転置したｓ×ｍ行列で表される変換をＨ _S ^T 、疑似逆行列を ⁺ で表す場合、
ｆｅ（ｒ）＝Ｈ _S ^T （ＨＨ ^T ） ⁺ ｇ（ｒ）の演算によって劣化した観察画像を復元することを特徴とする。
【００２０】
【実施例】
先ず、本発明の実施例の説明に先立ち、本発明の原理となる感度関数を用いた原画像の復元方法を説明する。
【００２１】
今、図３（ａ）に示すような連続画像である原画像ｆ（ｒ）を光学系Ｌにより結像し、その結像面におかれた撮像素子（図示せず）において離散画像である観察画像ｇ（ｒ）を撮像する場合の、感度関数記憶手段及びその感度関数によって復元する画像復元手段について考える。
【００２２】
ここで、撮像素子で撮像する場合は、図３（ｂ）に示すように、この観察画像ｇ（ｒ）は離散画像と考えられ次式のようにモデル化できる。
【００２３】
ｇｉ＝∫ｆ（ｒ） ×ｈｉ（ｒ）ｄｒ …（４）
この（４）式で、ｈｉ（ｒ）は観察画像ｇ（ｒ）のｉ番目の画素に寄与する感度分布を表す関数であり、全画素をまとめて表現すると
ｇ（ｒ）＝Ｈ｛ｆ（ｒ）｝ …（５）
となる
この（５）式で、Ｈ｛｝は連続画像から離散画像への変換オペレータとして考えられ、感度関数と呼称する。
【００２４】
さて連続関数としての原画像ｆ（ｒ）は連続系で定義されているため、観察画像の範囲内に無限個の点をもつことになり、物体空間での基底ベクトルを無限個と考えることとなる。
【００２５】
そのため、感度関数Ｈの列が無限個となり、感度関数自体を定義することができなくなる。
【００２６】
そこで、Ｈの転置行列Ｈ^Ｔを離散系から連続系への変換オペレータとして定義し、ＨＨ^Ｔについて考える。即ち、いま撮像素子の画素数を例えばｍとすれば、ＨＨ^Ｔはｍ×ｍ行列となり逆行列を考えることが可能となる。そして、復元画像ｆｅ（ｒ）は次式により求められる。
【００２７】
ｆｅ（ｒ）＝Ｈ_ｓ ^Ｔ（ＨＨ^Ｔ）^＋ｇ（ｒ） …（６）
この（６）式で、＋はシュドーインバース（ｐｓｅｕｄｏｉｎｖｅｒｓｅ）いわゆる疑似逆行列を表す。
【００２８】
また、ＨＨ^Ｔの各要素をａｉｊとすれば、
ａｉｊ＝∫ｈｉ（ｒ）×ｈｊ（ｒ）ｄｒ …（７）
として与えられる。
【００２９】
この（ＨＨ^Ｔ）^＋の算出には種々の方法が考えられ、例えばＳＶＤ解析により（ＨＨ^Ｔ）^＋を算出できる。
【００３０】
このＳＶＤとはシンギュラーバリューデコンポジション（ＳｉｎｇｕｌａｒＶａｌｕｅＤｅｃｏｍｐｏｓｉｔｉｏｎ）の略で、画像のデータ圧縮や線形システムの特性解析等に利用されており、前述の文献のＰ１７６〜Ｐ１８０に説明されている。
【００３１】
また、ノイズがある場合は（６）式においてＨＨ^Ｔの代わりにＨＨ^Ｔ＋ｃＩ（ｃは定数、Ｉは単位行列）を用いればよい。
【００３２】
さらに、（６）式において原画像の位置ｒは任意であることから、撮像素子の画素数ｍにかかわらず原画像のどんな位置の画像信号をも求めることができることを意味する。
【００３３】
つまり、任意の領域を画素数ｍに対応して撮像することができるため、補間演算を行うことなしに電子ズームが可能となる。
【００３４】
ここで（６）式のＨ_ｓ ^Ｔは復元画像を表示するための変換と考えることができ、サフィックスｓは表示画素数を表し、Ｈ_ｓ ^Ｔはｓ×ｍ行列で表される。
【００３５】
このように、本発明では計算においてＰＳＦを測定する代わりに、感度関数測定手段により感度関数Ｈを測定することにより、離散画像と定義した観察画像が、（６）式を利用した画像復元手段によって、原画像と同様の連続である原画像を連続画像として復元される。
【００３６】
ここで、上記感度関数測定手段について、その構成を示す図１を用いて説明する。なお、実際には２次元画像を扱うが、説明を簡略化するため画像の表記は１次元で表すこととする。
【００３７】
すなわち、図１において、点光源からの光が視野絞り３及び撮影レンズ４を介してＣＭＤ１０に撮像されるよう照明光源１が配置される。
【００３８】
この照明光源１は、撮影レンズ４の光軸と垂直な面内を移動するＸＹステージ２に固定されている。
【００３９】
そして、撮影レンズ４を通過した光の光路を変化させるため、撮影レンズ４に縦列して液晶レンズ５が配置される。
【００４０】
ここで、視野絞り３、液晶レンズ５はそれぞれを制御する絞りドライバ６及び液晶レンズドライバ７を駆動させる画角設定回路２１に接続される。
【００４１】
液晶レンズ５を通過した光は、色フィルタドライバ９に接続された回転フィルタ８を介して、撮像素子としての電荷変調素子（以下、ＣＭＤと記す）１０に結像される。
【００４２】
このＣＭＤ１０には前置増幅器（プリアンプ）１２及びアナログ／デジタル（Ａ／Ｄ）変換器１３が接続される。
【００４３】
さらに、前記ＣＭＤ１０の固定パターンノイズが予め記憶されているメモリ（以下ＦＰＮメモリと記す）１５及び前記Ａ／Ｄ変換器１３とが減算器１４の二つの入力端にそれぞれ接続される。
【００４４】
また、減算器１４の出力端には撮像したデータを記憶するためのメモリ１６（特に感度関数を記憶することとなるため、以下感度関数メモリと記す）が接続される。
【００４５】
ここで、感度関数Ｈは列数が本来無限となってしまうが、実際にはこの様な測定は不可能であるため、有限個（ｎ個）とし、このメモリには図４に示すように感度関数をｍ×ｎ行列の形で記憶する。
【００４６】
つまり、各行は対応する画素ｉの感度分布ｈｉ（ｒ）が記憶される。
【００４７】
そして、感度関数メモリ１６の出力端にデータ圧縮器１７を介して、ＲＧＢ３原色のためのレッド（Ｒ）用感度関数メモリ１９ｒ，グリーン（Ｇ）用感度関数メモリ１９ｇ、ブルー（Ｂ）用感度関数メモリ１９ｂの各メモリへの切り替えを行う切り替え回路１８が接続されている。
【００４８】
また、Ｒ用感度関数メモリ１９ｒ、Ｇ用感度関数メモリ１９ｇ、Ｂ用感度関数メモリ１９ｂには、それぞれアドレス制御器２０が接続されている。
【００４９】
さらに、前記ＸＹステージ２、画角設定回路回路２１、回転色フィルタ８を制御するための色フィルタドライバ９、ＣＭＤ１０の駆動を制御するためのＣＭＤドライバ１１、ＦＰＮメモリ１５、切り替え回路１８、及びアドレス制御器２０はそれぞれコントローラ２２に接続されている。
【００５０】
次に上記構成に基づく感度関数Ｈの測定について説明する。
【００５１】
まず、測定はＲＧＢの各色画像別々に各画角ごとに行う。
【００５２】
この場合、上述したように感度関数Ｈは連続系から離散系への変換オペレータであり、その列数は本来無限個となってしまうが、実際にはこのような測定は不可能であるため、ｎ個として測定を行い、必要な位置については後述するように補間演算により算出することとする。
【００５３】
ここで感度関数Ｈには、図４に示すように行方向に各観察画像位置での感度分布が、また列方向に各観察画像位置での感度分布が並ぶものとする。
【００５４】
そして、この感度関数は照明光源１をずらしながら各観察画像位置で撮像することにより求める。
【００５５】
次に、感度関数測定手段の具体的な作用のために、色フィルタドライバ９によって回転色フィルタ８をＲにセットした後、画角設定回路２１により画角をθｍａｘ（図５（ａ）に相当）になるように、絞りドライバ６の制御により視野絞り３を調節すると共に、液晶レンズドライバ７の制御により液晶レンズ５を調節する。
【００５６】
そして、原画像上の位置を図５（ａ）のように全視野をｎ位置（ｘ１，ｘ２，…ｘｎ）で等分し、照明光源１を原画像上の位置ｘ１にＸＹステージ２の駆動により移動し、ＣＭＤ１０で撮像を行う。
【００５７】
ここで、視野絞り３と液晶レンズ５による画角設定を図５を用いて説明する。本発明では上述したように（６）式より特に画角を変化させなくとも電子ズームが可能であるが、復元させたい被写体像の光のみをより多く入力することにより、復元の精度を向上させられるためこのような画角設定回路２１が設けてある。
【００５８】
具体的に図５（ａ）は、広角レンズに相当する場合の例であり、視野絞り３は広く開き、液晶レンズ５の屈折率はその屈折力が大きくなるように制御されている。
【００５９】
そして、図５（ｂ）は、逆で望遠レンズに相当する場合の例であり、視野絞り３は狭く、液晶レンズ５の屈折率はその屈折力が小さくなるように制御されている。
【００６０】
つまり、望遠の場合に液晶レンズ５の屈折率が図５（ａ）と同じであると、撮像素子の一部にしか被写体像の光が入射しなくなるが、図５（ｂ）のように屈折率を下げることにより撮像素子全体に被写体像の光が入射し無駄をなくすことができる。
【００６１】
また、視野絞り３と液晶レンズ５を用いることにより画角を容易に変化させることを可能となる。
【００６２】
なお、この画角はコントローラ２２を介して画角設定回路２１にて設定可能なθｍｉｎ〜θｍａｘまで所定の画角（以下θｉｎｔと記す）毎に変化させられるようにする。
【００６３】
次に、ＣＭＤ１０の画素ｉで撮像された画像信号は感度分布ｈｉ（ｘ１）であり、その画像信号はプリアンプ１２で増幅され、Ａ／Ｄ変換器１３でデジタル信号に変換された後、減算器１４によってＦＰＮメモリ１５に記憶されているＣＭＤの固定パターンノイズが減算された感度分布信号すなわち感度関数データとして感度関数メモリ１６の各行の第１列に書き込まれる。
【００６４】
そして、次に照明光源１をｘ２の位置へ移動して同様の処理を行い、得られた感度関数データを感度関数メモリ１６の各行の第２列に相当する位置へ書き込む。以下、照明光源がｘｎの位置になるまで同様の処理を行い、各位置での感度関数データを対応する感度関数メモリ１６に書き込む。
【００６５】
そして、感度関数メモリ１６の各値は圧縮器１７にてそのデータ量が圧縮され、感度関数データＨθｍａｘとしてＲ用感度関数メモリ１９ｒに記憶される。
【００６６】
次に、画角をθｉｎｔだけ小さくして同様に処理を行って得られる感度関数データＨθｍａｘ−ｉｎｔをＲ用感度関数メモリ１９ｒに記憶する。
【００６７】
そして、このようにθｉｎｔだけ異なる各視野すべてにわたり感度関数データを記憶し最終的に画角がθｍｉｎになるまで同様の処理を繰り返す。
【００６８】
なお、検出においてはその視野は原画像の所定位置ｘ１〜ｘｎの範囲を等分するｎ位置で撮像することになる。
【００６９】
以上で、Ｒ画像に対する感度関数データの記憶を終え、同様にしてＧ，Ｂ画像の感度関数データも求められ、それぞれＧ用感度関数メモリ１９ｇ及びＢ用感度関数メモリ１９ｂに記憶され、感度関数データの記憶が終了する。
【００７０】
次に、この測定により求められた感度関数データを用いて撮像素子により撮像された画像の復元を行う、画像復元手段を備えた撮像装置について説明する。
【００７１】
図２は、上記感度関数測定手段によって求めた感度関数データを用いて、画像の復元法をいわゆるズーミングに応用する画像復元手段を備えた撮像装置の第１実施例についての構成図である。
【００７２】
なお、図１と同様な構成については同一符号を付してそれらの詳細な説明は省略する。
【００７３】
図２において、上記図１の感度関数測定手段における減算器１４に画像データを記憶するフレームメモリ２３を接続する。
【００７４】
そして、図１においては切り替え回路１８を介して圧縮器１７に接続していたＲ用感度関数メモリ１９ｒ、Ｇ用感度関数メモリ１９ｇ、Ｂ用感度関数メモリ１９ｂは、図２においては、アドレス制御器２０にのみ接続される。
【００７５】
この各メモリ１９ｒ，１９ｇ，１９ｂには上述したようにしてそれぞれＲ，Ｇ，Ｂ画像の感度関数データが記憶されており、それらからの出力を選択するための切り替え回路２４はコントローラ２２に接続される。
【００７６】
そして、画像復元手段として切り替え回路２４はデータ伸長器２５を介して（ＨＨ^Ｔ）^＋算出器２６及びＨ_ｓ ^Ｔ算出器２７に接続される。
【００７７】
さらに、その各算出出力及び前記画像データより復元画像データを算出すべく、前記各算出器２６，２７及びフレームメモリ２３はｆｅ（ｒ）算出器２８に接続される。
【００７８】
そして、視野絞り３を介して撮影レンズ５の前面に存在する撮影被写体３０の復元画像を表示する表示装置２９はｆｅ（ｒ）算出器２８に接続される。
【００７９】
次に上記構成に基づく画像復元装置の作用について説明する。
【００８０】
撮像被写体３０に対する撮像が始まると希望する画角θになるようにコントローラ２２を介して画角設定回路２１により視野絞り３、液晶レンズ５が調節される。
【００８１】
そして、図示しない測光系によりＣＭＤ１０の露光時間が設定され、回転色フィルタ８がコントローラ２２を介して色フィルタドライバ９によってＲにセットされる。
【００８２】
さらに、撮像被写体３０が光学系３，４，５を介してＣＭＤ１０にて撮像されて得られる画像信号はプリアンプ１２で増幅され、そしてＡ／Ｄ変換器１３にてデジタル信号に変換され、減算器１４にてＦＰＮが減算された後フレームメモリ２３に画像データｇ（ｒ）として記憶される。
【００８３】
一方、アドレス制御器２０により画角θに対応した感度関数データＨがＲ用感度関数メモリ１９ｒから読み出され、切り替え回路２４を介してデータの伸長器２５へ入力される。
【００８４】
データ伸長器２５では感度関数Ｈが復号され、（ＨＨ^Ｔ）^＋算出器２６及びＨ_ｓ ^Ｔ算出器２７へ入力される。
【００８５】
（ＨＨ^Ｔ）^＋算出器２６ではまず（７）式によりＨＨ^Ｔの各成分が計算され、続いて（ＨＨ^Ｔ）^＋が計算される。
【００８６】
また、Ｈ_ｓ ^Ｔ算出器２７ではｎ個の要素からなる感度分布ｈｉ（ｒ）から表示のためのｓ個の要素を補間演算により求め、これを転置することによりＨ_ｓ ^Ｔを求めｆｅ（ｒ）算出器２８に入力する。
【００８７】
ｆｅ（ｒ）算出器２８ではフレームメモリ２３より入力されるｇ（ｒ），（ＨＨ^Ｔ）^＋算出器２６より入力される（ＨＨ^Ｔ）^＋及びＨ_ｓ ^Ｔ算出器２７より入力されるＨ_ｓ ^Ｔより（７）式に基づいてＲの復元画像データｆｅ（ｒ）を算出し、表示装置２９へ出力する。
【００８８】
さらにＧ，Ｂ画像についても同様に復元画像データを算出した後、表示装置２９へ出力されて表示される。
【００８９】
また、画角を異なる値に設定した場合は、対応した感度関数データが各感度関数メモリ１９ｒ，ｇ，ｂから読み出され同様な処理が行われる。
【００９０】
以上詳述したように、本実施例によれば、撮影レンズに収差がある場合や焦点はずれが生じている場合においてもＰＳＦを計測することなしに感度関数さえわかっていれば原画像を復元することが可能であるため多くのレンズ群を用いることなしに自動合焦調節にも利用できる。
【００９１】
その時には撮像素子全体に被写体像の光が入射し無駄がなくなるよう、光学系の一部を液晶レンズとしてその光路変化させるとともに、視野絞りを連動させて駆動させることにより復元画像の精度を向上させることができる。
【００９２】
また、本実施例では感度関数をデータ圧縮してから記憶するようにしたため、感度関数データの記憶容量が各なくてすむようになった。
【００９３】
さらに、本実施例ではＲＧＢの３原色での感度関数データを用いて復元したためカラー画像を良好に復元することが可能である。
【００９４】
また、本実施例ではＨ_ｓ ^Ｔを変更することにより、容易に異なる画素数で表示することが可能である。
【００９５】
さらに、本実施例では撮像素子に画素欠陥がある場合においても原画像を正しく復元することができる。
【００９６】
なお、本実施例ではＣＭＤ１０の全画素を用いて画像の復元を行ったが、本発明では感度関数データＨを求めさえすれば、撮像素子の画素数や画素の位置の制限はないため、例えば適当な画素のランダムサンプリングでも画像を正確に復元することが可能である。
【００９７】
また、本実施例では感度関数データＨを記憶するようにしたが、感度関数データの記憶時にＨ_ｓ ^Ｔ（ＨＨ^Ｔ）^＋まで計算してこれを記憶するようにしてもよい。
【００９８】
本実施例では感度関数の測定において照明光源を駆動するようにしたが照明光源を固定してＣＭＤやレンズ系からなる撮像部を駆動するようにしてもよい。
【００９９】
さらに、感度関数記憶手段においては、図６のようにモニタ３１、表示制御器３２を用いて照明光源に相当する点を、順次移動して表示させることにより感度関数の測定を行ってもよい。
【０１００】
さらに、ズーミング時に液晶レンズを用いて光路を変化させるようにしたが、図７（ａ），（ｂ）に示すように複数のレンズ３３ａ，ｂを移動させるようにしてもよい。
【０１０１】
なお、図７（ａ），（ｂ）はそれぞれ広角撮像の場合と、望遠撮像の場合を示しており、前述した図５（ａ），（ｂ）に対応した関係を有している。
【０１０２】
次に、第１実施例とは異なる幾つかの実施例について説明する。
【０１０３】
前述した第１実施例では図３に示したように、原画像と光学系における撮影レンズまでの距離が一定であるという条件の下で感度関係の測定及び撮像された画像の復元が行われた。
【０１０４】
しかし、実際には感度関数は、撮影レンズから原画像までの距離に応じて変化するため、この距離に応じた感度関数を測定して、それに基いて原画像の復元を行う必要がある。
【０１０５】
そこで、次に、この原理に基いた第２実施例について図８〜図１０を用いて説明する。
【０１０６】
なお、前述した第１実施例と同じ働きをする部材については同じ符号を付す。図８は第２実施例における感度関数及び復元フィルタの作成のための構成図を示す。この図８において、図１に示した実施例と異なる点はカラー信号を得るために回転色フィルタの代わりに例えば図９（ａ）に示すようなストライプタイプのカラーフィルタアレイ３９を用いている点と、照明光源１と撮影レンズ４までの距離Ｄｉに応じて、復元フィルタを作成する点である。
【０１０７】
図８において参照符号３４は測距装置（ＡＦセンサ）であり、上記距離Ｄｉを測距する。
【０１０８】
参照符号３５は色分離回路であり、カラーフィルタアレイ３９を用いて撮像されたカラー信号をＲ，Ｇ，Ｂの各色信号に分離して各色別の感度関数メモリ１６ｒ，１６ｇ，１６ｂに出力する。
【０１０９】
参照符号３６ｒ，３６ｇ，３６ｂは復元フィルタ算出器であり、図９（ｂ）に示すように（ＨＨ^Ｔ）^＋算出器２６、Ｈ_ｓ ^Ｔ算出器２７、及び乗算器３７により構成されることにより、Ｈ_ｓ ^Ｔ（ＨＨ^Ｔ）^＋なる復元フィルタを計算するものである。
【０１１０】
また、参照符号３８ｒ，３８ｇ，３８ｂはＲ，Ｇ，Ｂそれぞれに計算した復元フィルタを記憶するためのメモリであり、距離Ｄｉに応じて対応するアドレスに書き込まれるように構成されている。
【０１１１】
そして、照明光源１と撮影レンズ４の距離をＸＹステージ２によって変化させ、その距離Ｄｉを測距装置３４（ＡＦセンサ）にて計測し、算出した復元フィルタを、対応した復元フィルタに書き込む。距離Ｄｉには例えば至近から（ｘ）付近までのＩ個選択（Ｄ_１〜Ｄ_Ｉ）とする。
【０１１２】
図１０は画像の復元回路を示す。
【０１１３】
図１０において、参照符号４０ｒ，４０ｇ，４０ｂはフィルタリング器であり、各色別のフレームメモリ１６ｒ，１６ｇ，１６ｂからの画像データｇ_Ｒ，ｇ_Ｇ，ｇ_Ｂに基いて復元画像データＲ′，Ｇ′，Ｂ′を次式より算出する。
【０１１４】
Ｒ′＝ｅ_Ｒｇ_Ｒ …（８）
Ｇ′＝ｅ_Ｇｇ_Ｇ …（８′）
Ｂ′＝ｅ_Ｂｇ_Ｂ …（８″）
この（８），（８′），（８″）式で、ｅ_Ｒ，ｅ_Ｇ，ｅ_Ｂはｎ×ｍ行列（ここで、ｎは感度関数の測定数、ｍはＣＭＤの画素数）であり、且つｇ_Ｒ，ｇ_Ｇ，ｇ_Ｂはｍ×１行列である。
【０１１５】
なお、図１０において参照符号４１はＣＲＴやビデオプリンタ等の出力装置である。
【０１１６】
次に復元処理についてその作用を説明する。
【０１１７】
適正な露光量の下にＣＭＤ１０により撮像された被写体３０の画像信号はプリアンプ１２を介してＡ／Ｄ変換器１３によりデジタル信号に変換された後、色分離回路３５によりＲ，Ｇ，Ｂの各色別のデータに分離され、フレームメモリ１６ｒ，１６ｇ，１６ｂにそれぞれ記憶される。
【０１１８】
一方、測距装置３４の働きにより被写体３０までの距離Ｄｉが計測され、アドレス制御器２０により各色の距離Ｄｉに対応する復元フィルタｅ_Ｒ，ｅ_Ｇ，ｅ_Ｂが復元フィルタメモリ３８ｒ，３８ｇ，３８ｂより読み出される。
【０１１９】
そして、各フィルタリング器４０ｒ，４０ｇ，４０ｂにより、（８），（８′），（８″）式の演算が行われることにより得られた復元信号Ｒ′，Ｇ′，Ｂ′が出力装置４１へ出力され、ＣＲＴへの画像表示等がなされる。
【０１２０】
以上のような第２実施例によれば、各距離Ｄｉ毎に、復元フィルタを設計し、また、復元処理の際には被写体までの距離に応じて復元フィルタを選択するようにしたため、被写体までの距離が異なる場合にも適切な復元処理を行うことができる。
【０１２１】
また、第２実施例では回転フィルタの代わりにカラーフィルタアレイを用いているため第１実施例のような回転色フィルタ及びその駆動装置は不要となる。
【０１２２】
このカラーフィルタアレイはストライプタイプに限らず、モザイクタイプ、チェックタイプ等の他の適宜なものでもよい。
【０１２３】
また、第２実施例では画角を変化させていないが、第１実施例と同様に画角を変化させてもよい。
【０１２４】
ところで、第２実施例では復元処理の際に被写体までの距離Ｄｉを計測するための測距装置（ＡＦセンサ）を必要としていた。
【０１２５】
そこで、次に説明する第３実施例は、撮像部の小型軽量化のために測距装置（ＡＦセンサ）を用いない場合である。
【０１２６】
図１１は第３実施例による復元処理回路の構成図を示す。
【０１２７】
図１１において、参照符号４５は距離検出部であり、図１２（ａ）に示すような復元データＲ′，Ｇ′，Ｂ′から輝度データＹ′を検出するための輝度検出器４２、輝度Ｙ′からバンドパスフィルタ等により画像のコントラストを検出するためのコントラスト検出器４３、及びそのコントラスト値を記憶するためのコントラストメモリ４６、コントラスト値の最大値を検出するための最大値検出器４４により構成される。
【０１２８】
次に、第３実施例の作用について説明する。
【０１２９】
先ず、第２実施例と同様に撮影された被写体信号は、色分離後、フレームメモリ１６ｒ，１６ｇ，１６ｂに記憶される。
【０１３０】
そして、コントローラ２２を介してアドレス制御器２０により、被写体距離Ｄ_１に相当する復元フィルタが復元フィルタメモリ３８ｒ，３８ｇ，３８ｂから読み出され、フィルタリング器４０ｒ，４０ｇ，４０ｂにより復元信号Ｒ′，Ｇ′，Ｂ′が求められる。
【０１３１】
そして、輝度検出器４２により輝度データＹ′が求められ、続いてコントラスト検出器４３によりコントラスト値が求められ、コントラストメモリ４６の距離Ｄ_１の位置に対応した位置に書き込まれる。
【０１３２】
次に、被写体距離Ｄ_２に相当する復元フィルタが復元フィルタメモリから読み出され、同様にしてコントラスト値が求められ所定の位置に書き込まれる。
【０１３３】
以上のような処理が被写体距離Ｄ_Ｉまで行われることにより、各距離でのコントラスト値が求められる。
【０１３４】
最大値検出器４４では、そのコントラスト値が最大となる距離Ｄｍａｘ（図１２ｂ参照）をコントローラ２２へ出力する。再び、距離Ｄｍａｘに対応した復元フィルタが復元フィルタメモリ３８ｒ，３８ｇ，３８ｂから読み出されてフィルタリング器４０ｒ，４０ｇ，４０ｂにより復元処理が行なわれることにより復元データＲ′，Ｇ′，Ｂ′が出力装置４１へ出力される。
【０１３５】
以上のようにして第３実施例では、コントラスト値が最大となる復元フィルタを選んで、復元を行うため、被写体の距離に依らず合焦した画像を得ることができる。
【０１３６】
従って、第３実施例では測距装置（ＡＦセンサ）を必要とせず、また、撮影レンズを動かす必要もないので、軽量小型な撮像部を提供することができる。
【０１３７】
また、第３実施例ではコントラスト検出器４３にてコントラストを検出する際に、その範囲と位置を自由に設定できることから、撮影後に自由に合焦させたい位置を指定できる。
【０１３８】
なお、第３実施例ではコントローラからの制御により復元フィルタを距離の順番に選ぶようにしたが、例えば、復元フィルタメモリの読み出し位置が変化するつまみ（図示せず）を設け、観察者がこのつまみを操作して復元画像を表示装置４１の画面上で確認しながら、出力すべき画像を選択するようにしてもよい。
【０１３９】
前述の実施例は画面全体を復元するものであり、（ＨＨ^Ｔ）^＋算出器ではｍ×ｍ行列の一般化逆行列を求める演算をすることになる。
【０１４０】
通常ｍは５００^２＝２５００００程あり、ＨＨ^Ｔの一般化逆行列を求めることはかなり複雑になる。そこで、画面を細かく分割し、その分割領域毎に復元フィルタを設計することによってＨＨ^Ｔの次元を小さくし、これによって、一般化逆行列を求め易くすることが可能である。
【０１４１】
第４実施例では、この画面の分割による手法を採用する場合について説明する。
【０１４２】
この場合、画面の分割は例えば図１３（ａ）のように４×４＝１６分割を行うものとする。
【０１４３】
図１４は第４実施例における分割領域毎の復元フィルタ算出回路の要部の構成図を示す。
【０１４４】
ここで５０はメモリの読み書きを行うための制御部である。この第４実施例において、感度関数は前述の実施例と同様に測定を行うものとする。
【０１４５】
そして、復元フィルタ算出器４７ｒ，４７ｇ，４７ｂでは、各分割領域に対応した感度関数を利用して、復元フィルタを算出し、分割復元フィルタメモリ４８ｒ，４８ｇ，４８ｂに書き込む。
【０１４６】
図１５は第４実施例による復元処理回路の構成図を示す。
【０１４７】
この第４実施例において、特徴とするところは、各分割領域毎に対応した分割復元フィルタを分割復元フィルタメモリ４８ｒ，４８ｇ，４８ｂから読み出してフィルタリング器４０ｒ，４０ｇ，４０ｂにより復元を行った後、画像合成回路４９ｒ，４９ｇ，４９ｂにより復元した各分割領域画像を合成して、画面全体を復元することにある。
【０１４８】
なお、第４実施例では分割数を少くする程、行列ＨＨ^Ｔの次元が小さくなり、計算がし易くなるとともに復元フィルタの算出時間を短縮することができる。
【０１４９】
また、画面を分割する際に、図１３（ｂ）のように各分割領域が互いにオーバーラップ領域を持つようにすることにより、合成した画像の不連続な接続を避けることができる。また、逆行列を計算する代わりに従来の逐次的な解法を用いても勿論可能なものである。
【０１５０】
【発明の効果】
以上詳述したように、本発明によれば、感度関数記憶手段により、画素数がｍの撮像素子の各画素が撮像する際にｉ番目の画素に寄与するｎ位置に等分された物体空間内それぞれの感度分布ｈｉ（ｒ）を表す関数であり全画素をまとめて表すとｍ×ｎ行列の形の感度関数Ｈを予め記憶し、画像復元手段により、前記感度関数記憶手段に記憶された感度関数Ｈを用いて前記撮像素子により撮像された観察画像ｇ（ｒ）を復元し、表示手段により、前記画像復元手段で復元された復元画像ｆｅ（ｒ）を表示するとともに、前記画像復元手段により、前記表示手段の表示画素数をｓ、前記感度関数の転置行列をＨ ^T 、ｎ個の要素からなる感度分布ｈｉ（ｒ）から表示のためのｓ個の要素を補間演算により求め、これを転置したｓ×ｍ行列で表される変換をＨ _S ^T 、疑似逆行列を ⁺ で表す場合、
ｆｅ（ｒ）＝Ｈ _S ^T （ＨＨ ^T ） ⁺ ｇ（ｒ）の演算によって劣化した観察画像を復元することにより、原画像を解析的に連続画像として光学系の影響を受けず、正確に復元することを可能とした撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施例に用いる感度関数測定手段の構成を示す図である。
【図２】本発明の第１実施例の画像復元手段の構成を示す図である。
【図３】本発明の感度関数の説明図を示す。
【図４】本発明の感度関数を示す。
【図５】本発明の画角設定機構を示す構成図である。
【図６】本発明の第１実施例の感度関数測定手段の変形例を示す構成図である。
【図７】本発明の第１実施例における画角設定機構の変形例を示す構成図である。
【図８】本発明の第２実施例における感度関数及び復元フィルタ作成のための構成図を示す。
【図９】図９（ａ）は本発明の第２実施例に用いるカラーフィルタアレイの一例を示し、且つ図９（ｂ）は第２実施例に用いる復元フィルタ算出器を示す構成図である。
【図１０】本発明の第２実施例による画像の復元回路を示す構成図である。
【図１１】本発明の第３実施例による復元処理回路を示す構成図である。
【図１２】図１２（ａ）は本発明の第３実施例に用いる距離検出部を示す構成図であり、且つ図１２（ｂ）は本発明の第３実施例に用いる距離検出部において最大コントラスト値を与える距離情報が出力されることを説明するための図である。
【図１３】図１３（ａ），（ｂ）は第４実施例における画面の分割形態を例示するための図である。
【図１４】本発明の第４実施例における分割領域毎の復元フィルタ算出回路を示す要部の構成図である。
【図１５】本発明の第４実施例における復元処理回路を示す構成図である。
【符号の説明】
１照明光源
２ＸＹステージ
３視野絞り
４撮影レンズ
５液晶レンズ
６絞りドライバ
７液晶レンズドライバ
８回転フィルタ
９色フィルタドライバ
１０電荷変調素子（ＣＭＤ）
１１ＣＭＤドライバ
１２プリアンプ
１３Ａ／Ｄ変換器
１４減算器
１５ＦＰＮメモリ
１６感度関数メモリ
１７圧縮器
１８切り替え回路
１９ｒＲ用感度関数メモリ
１９ｇＧ用感度関数メモリ
１９ｂＢ用感度関数メモリ
２０アドレス制御器
２１画角設定回路
２２コントローラ
２３フレームメモリ
２４切り替え回路
２５伸長器
２６（ＨＨ^Ｔ）^＋算出器
２７Ｈ_ｓ ^Ｔ算出器
２８ｆｅ（ｒ）算出器
２９表示装置
３０撮影被写体
３４測距装置（ＡＦセンサ）
３５色分離回路
３６ｒ，ｇ，ｂ復元フィルタ算出器
３８ｒ，ｇ，ｂ復元フィルタメモリ
３９カラーフィルタアレイ
４０ｒ，ｇ，ｂフィルタリング器
４１出力装置
４５距離検出部
４７ｒ，ｇ，ｂ復元フィルタ算出器
４８ｒ，ｇ，ｂ分割復元フィルタメモリ
４９ｒ，ｇ，ｂ画像合成回路
５０制御部

Claims

撮影光学系と、
前記撮影光学系を介して入射される物体像ｆ（ｒ）を撮像し観察画像ｇ（ｒ）を得るための画素数がｍの撮像素子と、
前記撮像素子の各画素が撮像する際にｉ番目の画素に寄与するｎ位置に等分された物体空間内それぞれの感度分布ｈｉ（ｒ）を表す関数であり全画素をまとめて表すとｍ×ｎ行列の形の感度関数Ｈを予め記憶した感度関数記憶手段と、
前記感度関数記憶手段に記憶された感度関数Ｈを用いて前記撮像素子により撮像された観察画像ｇ（ｒ）を復元する画像復元手段と、
前記画像復元手段で復元された復元画像ｆｅ（ｒ）を表示する表示手段とを有し、
前記画像復元手段は、
前記表示手段の表示画素数をｓ、前記感度関数の転置行列をＨ ^T 、ｎ個の要素からなる感度分布ｈｉ（ｒ）から表示のためのｓ個の要素を補間演算により求め、これを転置したｓ×ｍ行列で表される変換をＨ _S ^T 、疑似逆行列を ⁺ で表す場合、
ｆｅ（ｒ）＝Ｈ _S ^T （ＨＨ ^T ） ⁺ ｇ（ｒ）の演算によって劣化した観察画像を復元することを特徴とする撮像装置。