JPH0698170A

JPH0698170A - 撮像装置

Info

Publication number: JPH0698170A
Application number: JP5046751A
Authority: JP
Inventors: Nagaaki Ooyama; 永昭大山; Yasuhiro Komiya; 康宏小宮
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-04-28
Filing date: 1993-03-08
Publication date: 1994-04-08
Anticipated expiration: 2019-11-04
Also published as: JP3583447B2; US5294976A; US5450128A

Abstract

(57)【要約】【目的】本発明は、連続系と離散系とを扱った場合に
おいても、光学系の影響を受けず原画像を正確に復元す
ることができる撮像装置を提供することを目的とする。【構成】感度関数測定手段は、光源１からの光を撮像
するＣＭＤ１０が撮影レンズ４及び液晶レンズ５を介し
て配置され、そのＣＭＤ１０には順にプリアンプ１２、
Ａ／Ｄ変換器１３、減算器１４、感度関数メモリ１６、
圧縮器１７及びＲ用，Ｇ用，Ｂ用感度関数メモリが１９
ｒ，１９ｇ，１９ｂが切り替え回路１８を介して接続さ
れている。また、感度関数測定手段により求めた感度関
数を利用し原画像を復元する画像復元手段は、復元画像
を算出する算出器２８が、ＣＭＤ１０によって撮像した
画像信号を記憶するフレームメモリ２３と、上記各感度
関数メモリ１９ｒ，１９ｇ，１９ｂに記憶された感度関
数の計算をする各算出器２６，２７に接続され、さらに
表示装置へと接続されている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は原画像を撮像して復元す
る電子スチルカメラ等の撮像装置に係り、特に劣化した
画像データを正確に復元する画像復元手段を備えた撮像
装置に関する。

【０００２】

【従来の技術】周知のように、光学系を用いた電子スチ
ルカメラ等のイメージングシステムにおいては、図３の
ように原画像ｆ(r) （ｒは位置を表す）は光学系Ｌを介
して観察画像ｇ(r) として図示しない撮像素子上に結像
される。

【０００３】ここで原画像ｆ(r) のフーリエスペクトル
をＦ（ω）、観察画像ｇ(r) のフーリエスペクトルをＧ
（ω）とすれば、Ｇ（ω）＝Ｈ（ω）×Ｆ（ω） …（１）（ここで、ω：空間周波数）と表せる。

【０００４】この（１）式で、Ｈ（ω）は光学伝達関
数（ＯＴＦ：ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕ
ｎｃｔｉｏｎ）とよばれるもので、イメージングシステ
ムの結像特性を表すものとして用いられる。

【０００５】また、Ｈ（ω）を逆フーリエ変換したもの
は点像分布関数（ＰＳＦ：ＰｏｉｎｔＳｐｒｅａｄ
Ｆｕｎｃｔｉｏｎ）と呼ばれる。

【０００６】さて、観察画像ｇ(r) が原画像ｆ(r) と比
較して全く同一となるためには、すべてのωに対してＨ
（ω）＝１となる必要がある。

【０００７】しかしながら、実際の光学系は一般にＨ
（ω）＜１となり、画像に劣化が生じる。

【０００８】そこで、観察画像から原画像を復元する方
法としてインバースフィルタ（ＩｎｖｅｒｓｅＦｉｌ
ｔｅｒ）による手法が知られている。

【０００９】このＩｎｖｅｒｓｅＦｉｌｔｅｒについ
ては、例えば文献としてＰｒｅｎｔｉｃｅ−Ｈａｌｌ
ＩｎｔｅｒｎａｔｉｏｎａｌＥｄｉｔｉｏｎｓ発行の
『ＦｕｎｄａｍｅｎｔａｌｓｏｆＤｉｇｉｔａｌ
ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ』，ＡＮＩＬＫ．
ＪＡＩＮ著Ｐ２７５〜Ｐ２７７に詳しく説明されてい
る。

【００１０】そこで、この文献によれば復元フィルタと
して、Ｈ^-（ω）＝１／Ｈ（ω） …（２）が示されている。

【００１１】ただし、このフィルタはＨ（ω）の逆数で
表されるため、Ｈ（ω）＝０の時はＨ^-（ω）は発散し
てしまう。そこで、Ｈ^-（ω）＝１／Ｈ（ω）（但し、Ｈ（ω）≠０のと
き） …（３）Ｈ^-（ω）＝０（但し、Ｈ（ω）＝０のと
き） …（３′）が定義されている。

【００１２】

【発明が解決しようとする課題】上述した（２），
（３）及び（３′）式で示される復元フィルタは、画像
のどの位置おいてもその点に対する光学系の像の強度分
布等、いわゆるＰＳＦが等しい（ｓｐａｃｅ−ｉｎｖａ
ｒｉａｎｔ）という条件が必要であった。

【００１３】しかしながら、実際の光学系では種々の収
差や焦点はずれ等の影響により、ＰＳＦは画像の位置に
よって変化（ｓｐａｃｅ−ｖａｒｉａｎｔ）するため、
（２），（３）式で示される復元フィルタでは原画像を
正しく復元することができなかった。

【００１４】また、そのような場合、画像位置に応じて
異なるＰＳＦを正確に測定してから、（２），（３）式
で示される復元フィルタを利用することも考えられる
が、ＰＳＦの測定にはまずそのサンプリングから問題と
なる。

【００１５】つまり、ＰＳＦは観察画像面においてその
像が連続と定義されるにもかかわらず、撮像素子等にお
いてはその画素ごとに分離され、像を離散的にサンプリ
ングすることとなってしまい、ＰＳＦの正確な測定が不
可能となる。

【００１６】そのため、従来の復元フィルタでは原画像
の正確な復元が本質的に不可能となってしまう。

【００１７】本発明は以上のような点に鑑みてなされた
ものであり、連続系と離散系とを扱った場合において
も、光学系の影響を受けず原画像を正確に復元すること
ができる撮像装置を提供することを目的とする。

【００１８】

【課題を解決するための手段】本発明の撮像装置は、撮
影光学系と、前記撮影光学系を介して入射される物体像
を撮像するための撮像素子と、前記撮像素子の各点にお
ける物体空間内の光感度を表す感度関数データを予め記
憶した感度関数記憶手段と、前記感度関数記憶手段に記
憶された感度関数データを用いて前記撮像素子により撮
像された画像データを復元する画像復元手段とを有する
ものである。

【００１９】

【作用】感度関数記憶手段は、例えば予め撮影光学系を
介して入射される物体像を撮像素子によって撮像するこ
とにより測定された、感度関数データを記憶する。そし
て、画像復元手段は撮影光学系を介して撮像素子により
撮像した画像データと前記感度関数記憶手段によって求
めた感度関数データを利用することにより、復元画像デ
ータを求める。

【００２０】

【実施例】先ず、本発明の実施例の説明に先立ち、本発
明の原理となる感度関数を用いた原画像の復元方法を説
明する。

【００２１】今、図３（ａ）に示すような連続画像であ
る原画像ｆ(r) を光学系Ｌにより結像し、その結像面に
おかれた撮像素子（図示せず）において離散画像である
観察画像ｇ(r) を撮像する場合の、感度関数記憶手段及
びその感度関数によって復元する画像復元手段について
考える。

【００２２】ここで、撮像素子で撮像する場合は、図３
（ｂ）に示すように、この観察画像ｇ(r) は離散画像と
考えられ次式のようにモデル化できる。

【００２３】ｇi ＝∫ｆ(r) ×ｈi(r) dr …（４）この（４）式で、ｈi(r)は観察画像ｇ(r) のｉ番目の画
素に寄与する感度分布を表す関数であり、全画素をまと
めて表現するとｇ(r) ＝Ｈ｛ｆ(r) ｝ …（５）となるこの（５）式で、Ｈ｛｝は連続画像から離散画
像への変換オペレータとして考えられ、感度関数と呼称
する。

【００２４】さて連続関数としての原画像ｆ(r) は連続
系で定義されているため、観察画像の範囲内に無限個の
点をもつことになり、物体空間での基底ベクトルを無限
個と考えることとなる。

【００２５】そのため、感度関数Ｈの列が無限個とな
り、感度関数自体を定義することができなくなる。

【００２６】そこで、Ｈの転置行列Ｈ^Tを離散系から連
続系への変換オペレータとして定義し、ＨＨ^Tについて
考える。即ち、いま撮像素子の画素数を例えばｍとすれ
ば、ＨＨ^Tはｍ×ｍ行列となり逆行列を考えることが可
能となる。そして、復元画像ｆe(r)は次式により求めら
れる。

【００２７】ｆe(r)＝Ｈ_s ^T（ＨＨ^T）⁺ｇ(r) …（６）この（６）式で、＋はシュドーインバース（ｐｓｅｕｄ
ｏｉｎｖｅｒｓｅ）いわゆる疑似逆行列を表す。

【００２８】また、ＨＨ^Tの各要素をａijとすれば、ａij＝∫ｈi(r)×ｈj(r) dr …（７）として与えられる。

【００２９】この（ＨＨ^T）⁺の算出には種々の方法が
考えられ、例えばＳＶＤ解析により（ＨＨ^T）⁺を算出
できる。

【００３０】このＳＶＤとはシンギュラーバリューデコ
ンポジション（ＳｉｎｇｕｌａｒＶａｌｕｅＤｅｃｏ
ｍｐｏｓｉｔｉｏｎ）の略で、画像のデータ圧縮や線形
システムの特性解析等に利用されており、前述の文献の
Ｐ１７６〜Ｐ１８０に説明されている。

【００３１】また、ノイズがある場合は（６）式におい
てＨＨ^Tの代わりにＨＨ^T＋ｃＩ（ｃは定数、Ｉは単位
行列）を用いればよい。

【００３２】さらに、（６）式において原画像の位置ｒ
は任意であることから、撮像素子の画素数ｍにかかわら
ず原画像のどんな位置の画像信号をも求めることができ
ることを意味する。

【００３３】つまり、任意の領域を画素数ｍに対応して
撮像することができるため、補間演算を行うことなしに
電子ズームが可能となる。

【００３４】ここで（６）式のＨ_s ^Tは復元画像を表示
するための変換と考えることができ、サフィックスｓは
表示画素数を表し、Ｈ_s ^Tはｓ×ｍ行列で表される。

【００３５】このように、本発明では計算においてＰＳ
Ｆを測定する代わりに、感度関数測定手段により感度関
数Ｈを測定することにより、離散画像と定義した観察画
像が、（６）式を利用した画像復元手段によって、原画
像と同様の連続である原画像を連続画像として復元され
る。

【００３６】ここで、上記感度関数測定手段について、
その構成を示す図１を用いて説明する。なお、実際には
２次元画像を扱うが、説明を簡略化するため画像の表記
は１次元で表すこととする。

【００３７】すなわち、図１において、点光源からの光
が視野絞り３及び撮影レンズ４を介してＣＭＤ１０に撮
像されるよう照明光源１が配置される。

【００３８】この照明光源１は、撮影レンズ４の光軸と
垂直な面内を移動するＸＹステージ２に固定されてい
る。

【００３９】そして、撮影レンズ４を通過した光の光路
を変化させるため、撮影レンズ４に縦列して液晶レンズ
５が配置される。

【００４０】ここで、視野絞り３、液晶レンズ５はそれ
ぞれを制御する絞りドライバ６及び液晶レンズドライバ
７を駆動させる画角設定回路２１に接続される。

【００４１】液晶レンズ５を通過した光は、色フィルタ
ドライバ９に接続された回転フィルタ８を介して、撮像
素子としての電荷変調素子（以下、ＣＭＤと記す）１０
に結像される。

【００４２】このＣＭＤ１０には前置増幅器（プリアン
プ）１２及びアナログ／デジタル（Ａ／Ｄ）変換器１３
が接続される。

【００４３】さらに、前記ＣＭＤ１０の固定パターンノ
イズが予め記憶されているメモリ（以下ＦＰＮメモリと
記す）１５及び前記Ａ／Ｄ変換器１３とが減算器１４の
二つの入力端にそれぞれ接続される。

【００４４】また、減算器１４の出力端には撮像したデ
ータを記憶するためのメモリ１６（特に感度関数を記憶
することとなるため、以下感度関数メモリと記す）が接
続される。

【００４５】ここで、感度関数Ｈは列数が本来無限とな
ってしまうが、実際にはこの様な測定は不可能であるた
め、有限個（ｎ個）とし、このメモリには図４に示すよ
うに感度関数をｍ×ｎ行列の形で記憶する。

【００４６】つまり、各行は対応する画素ｉの感度分布
ｈi(r)が記憶される。

【００４７】そして、感度関数メモリ１６の出力端にデ
ータ圧縮器１７を介して、ＲＧＢ３原色のためのレッド
（Ｒ）用感度関数メモリ１９ｒ，グリーン（Ｇ）用感度
関数メモリ１９ｇ、ブルー（Ｂ）用感度関数メモリ１９
ｂの各メモリへの切り替えを行う切り替え回路１８が接
続されている。

【００４８】また、Ｒ用感度関数メモリ１９ｒ、Ｇ用感
度関数メモリ１９ｇ、Ｂ用感度関数メモリ１９ｂには、
それぞれアドレス制御器２０が接続されている。

【００４９】さらに、前記ＸＹステージ２、画角設定回
路回路２１、回転色フィルタ８を制御するための色フィ
ルタドライバ９、ＣＭＤ１０の駆動を制御するためのＣ
ＭＤドライバ１１、ＦＰＮメモリ１５、切り替え回路１
８、及びアドレス制御器２０はそれぞれコントローラ２
２に接続されている。

【００５０】次に上記構成に基づく感度関数Ｈの測定に
ついて説明する。

【００５１】まず、測定はＲＧＢの各色画像別々に各画
角ごとに行う。

【００５２】この場合、上述したように感度関数Ｈは連
続系から離散系への変換オペレータであり、その列数は
本来無限個となってしまうが、実際にはこのような測定
は不可能であるため、ｎ個として測定を行い、必要な位
置については後述するように補間演算により算出するこ
ととする。

【００５３】ここで感度関数Ｈには、図４に示すように
行方向に各観察画像位置での感度分布が、また列方向に
各観察画像位置での感度分布が並ぶものとする。

【００５４】そして、この感度関数は照明光源１をずら
しながら各観察画像位置で撮像することにより求める。

【００５５】次に、感度関数測定手段の具体的な作用の
ために、色フィルタドライバ９によって回転色フィルタ
８をＲにセットした後、画角設定回路２１により画角を
θmax （図５（ａ）に相当）になるように、絞りドライ
バ６の制御により視野絞り３を調節すると共に、液晶レ
ンズドライバ７の制御により液晶レンズ５を調節する。

【００５６】そして、原画像上の位置を図５（ａ）のよ
うに全視野をｎ位置（x1，x2，…xn）で等分し、照明光
源１を原画像上の位置x1にＸＹステージ２の駆動により
移動し、ＣＭＤ１０で撮像を行う。

【００５７】ここで、視野絞り３と液晶レンズ５による
画角設定を図５を用いて説明する。本発明では上述した
ように（６）式より特に画角を変化させなくとも電子ズ
ームが可能であるが、復元させたい被写体像の光のみを
より多く入力することにより、復元の精度を向上させら
れるためこのような画角設定回路２１が設けてある。

【００５８】具体的に図５（ａ）は、広角レンズに相当
する場合の例であり、視野絞り３は広く開き、液晶レン
ズ５の屈折率はその屈折力が大きくなるように制御され
ている。

【００５９】そして、図５（ｂ）は、逆で望遠レンズに
相当する場合の例であり、視野絞り３は狭く、液晶レン
ズ５の屈折率はその屈折力が小さくなるように制御され
ている。

【００６０】つまり、望遠の場合に液晶レンズ５の屈折
率が図５（ａ）と同じであると、撮像素子の一部にしか
被写体像の光が入射しなくなるが、図５（ｂ）のように
屈折率を下げることにより撮像素子全体に被写体像の光
が入射し無駄をなくすことができる。

【００６１】また、視野絞り３と液晶レンズ５を用いる
ことにより画角を容易に変化させることを可能となる。

【００６２】なお、この画角はコントローラ２２を介し
て画角設定回路２１にて設定可能なθmin 〜θmax まで
所定の画角（以下θint と記す）毎に変化させられるよ
うにする。

【００６３】次に、ＣＭＤ１０の画素ｉで撮像された画
像信号は感度分布ｈi(x1) であり、その画像信号はプリ
アンプ１２で増幅され、Ａ／Ｄ変換器１３でデジタル信
号に変換された後、減算器１４によってＦＰＮメモリ１
５に記憶されているＣＭＤの固定パターンノイズが減算
された感度分布信号すなわち感度関数データとして感度
関数メモリ１６の各行の第１列に書き込まれる。

【００６４】そして、次に照明光源１をx2の位置へ移動
して同様の処理を行い、得られた感度関数データを感度
関数メモリ１６の各行の第２列に相当する位置へ書き込
む。以下、照明光源がxnの位置になるまで同様の処理を
行い、各位置での感度関数データを対応する感度関数メ
モリ１６に書き込む。

【００６５】そして、感度関数メモリ１６の各値は圧縮
器１７にてそのデータ量が圧縮され、感度関数データＨ
θmax としてＲ用感度関数メモリ１９ｒに記憶される。

【００６６】次に、画角をθint だけ小さくして同様に
処理を行って得られる感度関数データＨθmax-int をＲ
用感度関数メモリ１９ｒに記憶する。

【００６７】そして、このようにθint だけ異なる各視
野すべてにわたり感度関数データを記憶し最終的に画角
がθmin になるまで同様の処理を繰り返す。

【００６８】なお、検出においてはその視野は原画像の
所定位置x1〜xnの範囲を等分するｎ位置で撮像すること
になる。

【００６９】以上で、Ｒ画像に対する感度関数データの
記憶を終え、同様にしてＧ，Ｂ画像の感度関数データも
求められ、それぞれＧ用感度関数メモリ１９ｇ及びＢ用
感度関数メモリ１９ｂに記憶され、感度関数データの記
憶が終了する。

【００７０】次に、この測定により求められた感度関数
データを用いて撮像素子により撮像された画像の復元を
行う、画像復元手段を備えた撮像装置について説明す
る。

【００７１】図２は、上記感度関数測定手段によって求
めた感度関数データを用いて、画像の復元法をいわゆる
ズーミングに応用する画像復元手段を備えた撮像装置の
第１実施例についての構成図である。

【００７２】なお、図１と同様な構成については同一符
号を付してそれらの詳細な説明は省略する。

【００７３】図２において、上記図１の感度関数測定手
段における減算器１４に画像データを記憶するフレーム
メモリ２３を接続する。

【００７４】そして、図１においては切り替え回路１８
を介して圧縮器１７に接続していたＲ用感度関数メモリ
１９ｒ、Ｇ用感度関数メモリ１９ｇ、Ｂ用感度関数メモ
リ１９ｂは、図２においては、アドレス制御器２０にの
み接続される。

【００７５】この各メモリ１９ｒ，１９ｇ，１９ｂには
上述したようにしてそれぞれＲ，Ｇ，Ｂ画像の感度関数
データが記憶されており、それらからの出力を選択する
ための切り替え回路２４はコントローラ２２に接続され
る。

【００７６】そして、画像復元手段として切り替え回路
２４はデータ伸長器２５を介して（ＨＨ^T）⁺算出器２
６及びＨ_s ^T算出器２７に接続される。

【００７７】さらに、その各算出出力及び前記画像デー
タより復元画像データを算出すべく、前記各算出器２
６，２７及びフレームメモリ２３はｆe(r)算出器２８に
接続される。

【００７８】そして、視野絞り３を介して撮影レンズ５
の前面に存在する撮影被写体３０の復元画像を表示する
表示装置２９はｆe(r)算出器２８に接続される。

【００７９】次に上記構成に基づく画像復元装置の作用
について説明する。

【００８０】撮像被写体３０に対する撮像が始まると希
望する画角θになるようにコントローラ２２を介して画
角設定回路２１により視野絞り３、液晶レンズ５が調節
される。

【００８１】そして、図示しない測光系によりＣＭＤ１
０の露光時間が設定され、回転色フィルタ８がコントロ
ーラ２２を介して色フィルタドライバ９によってＲにセ
ットされる。

【００８２】さらに、撮像被写体３０が光学系３，４，
５を介してＣＭＤ１０にて撮像されて得られる画像信号
はプリアンプ１２で増幅され、そしてＡ／Ｄ変換器１３
にてデジタル信号に変換され、減算器１４にてＦＰＮが
減算された後フレームメモリ２３に画像データｇ(r) と
して記憶される。

【００８３】一方、アドレス制御器２０により画角θに
対応した感度関数データＨがＲ用感度関数メモリ１９ｒ
から読み出され、切り替え回路２４を介してデータの伸
長器２５へ入力される。

【００８４】データ伸長器２５では感度関数Ｈが復号さ
れ、（ＨＨ^T）⁺算出器２６及びＨ_s ^T算出器２７へ入
力される。

【００８５】（ＨＨ^T）⁺算出器２６ではまず（７）式
によりＨＨ^Tの各成分が計算され、続いて（ＨＨ^T）⁺
が計算される。

【００８６】また、Ｈ_s ^T算出器２７ではｎ個の要素か
らなる感度分布ｈi(r)から表示のためのｓ個の要素を補
間演算により求め、これを転置することによりＨ_s ^Tを
求めｆe(r)算出器２８に入力する。

【００８７】ｆe(r)算出器２８ではフレームメモリ２３
より入力されるｇ(r) ，（ＨＨ^T）⁺算出器２６より入
力される（ＨＨ^T）⁺及びＨ_s ^T算出器２７より入力さ
れるＨ_s ^Tより（７）式に基づいてＲの復元画像データ
ｆe(r)を算出し、表示装置２９へ出力する。

【００８８】さらにＧ，Ｂ画像についても同様に復元画
像データを算出した後、表示装置２９へ出力されて表示
される。

【００８９】また、画角を異なる値に設定した場合は、
対応した感度関数データが各感度関数メモリ１９ｒ，
ｇ，ｂから読み出され同様な処理が行われる。

【００９０】以上詳述したように、本実施例によれば、
撮影レンズに収差がある場合や焦点はずれが生じている
場合においてもＰＳＦを計測することなしに感度関数さ
えわかっていれば原画像を復元することが可能であるた
め多くのレンズ群を用いることなしに自動合焦調節にも
利用できる。

【００９１】その時には撮像素子全体に被写体像の光が
入射し無駄がなくなるよう、光学系の一部を液晶レンズ
としてその光路変化させるとともに、視野絞りを連動さ
せて駆動させることにより復元画像の精度を向上させる
ことができる。

【００９２】また、本実施例では感度関数をデータ圧縮
してから記憶するようにしたため、感度関数データの記
憶容量が各なくてすむようになった。

【００９３】さらに、本実施例ではＲＧＢの３原色での
感度関数データを用いて復元したためカラー画像を良好
に復元することが可能である。

【００９４】また、本実施例ではＨ_s ^Tを変更すること
により、容易に異なる画素数で表示することが可能であ
る。

【００９５】さらに、本実施例では撮像素子に画素欠陥
がある場合においても原画像を正しく復元することがで
きる。

【００９６】なお、本実施例ではＣＭＤ１０の全画素を
用いて画像の復元を行ったが、本発明では感度関数デー
タＨを求めさえすれば、撮像素子の画素数や画素の位置
の制限はないため、例えば適当な画素のランダムサンプ
リングでも画像を正確に復元することが可能である。

【００９７】また、本実施例では感度関数データＨを記
憶するようにしたが、感度関数データの記憶時にＨ_s ^T
（ＨＨ^T）⁺まで計算してこれを記憶するようにしても
よい。

【００９８】本実施例では感度関数の測定において照明
光源を駆動するようにしたが照明光源を固定してＣＭＤ
やレンズ系からなる撮像部を駆動するようにしてもよ
い。

【００９９】さらに、感度関数記憶手段においては、図
６のようにモニタ３１、表示制御器３２を用いて照明光
源に相当する点を、順次移動して表示させることにより
感度関数の測定を行ってもよい。

【０１００】さらに、ズーミング時に液晶レンズを用い
て光路を変化させるようにしたが、図７（ａ），（ｂ）
に示すように複数のレンズ３３ａ，ｂを移動させるよう
にしてもよい。

【０１０１】なお、図７（ａ），（ｂ）はそれぞれ広角
撮像の場合と、望遠撮像の場合を示しており、前述した
図５（ａ），（ｂ）に対応した関係を有している。

【０１０２】次に、第１実施例とは異なる幾つかの実施
例について説明する。

【０１０３】前述した第１実施例では図３に示したよう
に、原画像と光学系における撮影レンズまでの距離が一
定であるという条件の下で感度関係の測定及び撮像され
た画像の復元が行われた。

【０１０４】しかし、実際には感度関数は、撮影レンズ
から原画像までの距離に応じて変化するため、この距離
に応じた感度関数を測定して、それに基いて原画像の復
元を行う必要がある。

【０１０５】そこで、次に、この原理に基いた第２実施
例について図８〜図１０を用いて説明する。

【０１０６】なお、前述した第１実施例と同じ働きをす
る部材については同じ符号を付す。図８は第２実施例に
おける感度関数及び復元フィルタの作成のための構成図
を示す。この図８において、図１に示した実施例と異な
る点はカラー信号を得るために回転色フィルタの代わり
に例えば図９（ａ）に示すようなストライプタイプのカ
ラーフィルタアレイ３９を用いている点と、照明光源１
と撮影レンズ４までの距離Ｄi に応じて、復元フィルタ
を作成する点である。

【０１０７】図８において参照符号３４は測距装置（Ａ
Ｆセンサ）であり、上記距離Ｄi を測距する。

【０１０８】参照符号３５は色分離回路であり、カラー
フィルタアレイ３９を用いて撮像されたカラー信号を
Ｒ，Ｇ，Ｂの各色信号に分離して各色別の感度関数メモ
リ１６ｒ，１６ｇ，１６ｂに出力する。

【０１０９】参照符号３６ｒ，３６ｇ，３６ｂは復元フ
ィルタ算出器であり、図９（ｂ）に示すように（Ｈ
Ｈ^T）⁺算出器２６、Ｈ_s ^T算出器２７、及び乗算器３
７により構成されることにより、Ｈ_s ^T（ＨＨ^T）⁺な
る復元フィルタを計算するものである。

【０１１０】また、参照符号３８ｒ，３８ｇ，３８ｂは
Ｒ，Ｇ，Ｂそれぞれに計算した復元フィルタを記憶する
ためのメモリであり、距離Ｄi に応じて対応するアドレ
スに書き込まれるように構成されている。

【０１１１】そして、照明光源１と撮影レンズ４の距離
をＸＹステージ２によって変化させ、その距離Ｄi を測
距装置３４（ＡＦセンサ）にて計測し、算出した復元フ
ィルタを、対応した復元フィルタに書き込む。距離Ｄi
には例えば至近から（ｘ）付近までのＩ個選択（Ｄ₁〜
Ｄ_I）とする。

【０１１２】図１０は画像の復元回路を示す。

【０１１３】図１０において、参照符号４０ｒ，４０
ｇ，４０ｂはフィルタリング器であり、各色別のフレー
ムメモリ１６ｒ，１６ｇ，１６ｂからの画像データ
ｇ_R，ｇ_G，ｇ_Bに基いて復元画像データＲ′，Ｇ′，
Ｂ′を次式より算出する。

【０１１４】Ｒ′＝ｅ_Rｇ_R …（８）Ｇ′＝ｅ_Gｇ_G …（８′）Ｂ′＝ｅ_Bｇ_B …（８″）この（８），（８′），（８″）式で、ｅ_R，ｅ_G，ｅ
_Bはｎ×ｍ行列（ここで、ｎは感度関数の測定数、ｍは
ＣＭＤの画素数）であり、且つｇ_R，ｇ_G，ｇ_Bはｍ×
１行列である。

【０１１５】なお、図１０において参照符号４１はＣＲ
Ｔやビデオプリンタ等の出力装置である。

【０１１６】次に復元処理についてその作用を説明す
る。

【０１１７】適正な露光量の下にＣＭＤ１０により撮像
された被写体３０の画像信号はプリアンプ１２を介して
Ａ／Ｄ変換器１３によりデジタル信号に変換された後、
色分離回路３５によりＲ，Ｇ，Ｂの各色別のデータに分
離され、フレームメモリ１６ｒ，１６ｇ，１６ｂにそれ
ぞれ記憶される。

【０１１８】一方、測距装置３４の働きにより被写体３
０までの距離Ｄi が計測され、アドレス制御器２０によ
り各色の距離Ｄi に対応する復元フィルタｅ_R，ｅ_G，
ｅ_Bが復元フィルタメモリ３８ｒ，３８ｇ，３８ｂより
読み出される。

【０１１９】そして、各フィルタリング器４０ｒ，４０
ｇ，４０ｂにより、（８），（８′），（８″）式の演
算が行われることにより得られた復元信号Ｒ′，Ｇ′，
Ｂ′が出力装置４１へ出力され、ＣＲＴへの画像表示等
がなされる。

【０１２０】以上のような第２実施例によれば、各距離
Ｄi 毎に、復元フィルタを設計し、また、復元処理の際
には被写体までの距離に応じて復元フィルタを選択する
ようにしたため、被写体までの距離が異なる場合にも適
切な復元処理を行うことができる。

【０１２１】また、第２実施例では回転フィルタの代わ
りにカラーフィルタアレイを用いているため第１実施例
のような回転色フィルタ及びその駆動装置は不要とな
る。

【０１２２】このカラーフィルタアレイはストライプタ
イプに限らず、モザイクタイプ、チェックタイプ等の他
の適宜なものでもよい。

【０１２３】また、第２実施例では画角を変化させてい
ないが、第１実施例と同様に画角を変化させてもよい。

【０１２４】ところで、第２実施例では復元処理の際に
被写体までの距離Ｄi を計測するための測距装置（ＡＦ
センサ）を必要としていた。

【０１２５】そこで、次に説明する第３実施例は、撮像
部の小型軽量化のために測距装置（ＡＦセンサ）を用い
ない場合である。

【０１２６】図１１は第３実施例による復元処理回路の
構成図を示す。

【０１２７】図１１において、参照符号４５は距離検出
部であり、図１２（ａ）に示すような復元データＲ′，
Ｇ′，Ｂ′から輝度データＹ′を検出するための輝度検
出器４２、輝度Ｙ′からバンドパスフィルタ等により画
像のコントラストを検出するためのコントラスト検出器
４３、及びそのコントラスト値を記憶するためのコント
ラストメモリ４６、コントラスト値の最大値を検出する
ための最大値検出器４４により構成される。

【０１２８】次に、第３実施例の作用について説明す
る。

【０１２９】先ず、第２実施例と同様に撮影された被写
体信号は、色分離後、フレームメモリ１６ｒ，１６ｇ，
１６ｂに記憶される。

【０１３０】そして、コントローラ２２を介してアドレ
ス制御器２０により、被写体距離Ｄ₁に相当する復元フ
ィルタが復元フィルタメモリ３８ｒ，３８ｇ，３８ｂか
ら読み出され、フィルタリング器４０ｒ，４０ｇ，４０
ｂにより復元信号Ｒ′，Ｇ′，Ｂ′が求められる。

【０１３１】そして、輝度検出器４２により輝度データ
Ｙ′が求められ、続いてコントラスト検出器４３により
コントラスト値が求められ、コントラストメモリ４６の
距離Ｄ₁の位置に対応した位置に書き込まれる。

【０１３２】次に、被写体距離Ｄ₂に相当する復元フィ
ルタが復元フィルタメモリから読み出され、同様にして
コントラスト値が求められ所定の位置に書き込まれる。

【０１３３】以上のような処理が被写体距離Ｄ_Iまで行
われることにより、各距離でのコントラスト値が求めら
れる。

【０１３４】最大値検出器４４では、そのコントラスト
値が最大となる距離Ｄmax （図１２ｂ参照）をコントロ
ーラ２２へ出力する。再び、距離Ｄmax に対応した復元
フィルタが復元フィルタメモリ３８ｒ，３８ｇ，３８ｂ
から読み出されてフィルタリング器４０ｒ，４０ｇ，４
０ｂにより復元処理が行なわれることにより復元データ
Ｒ′，Ｇ′，Ｂ′が出力装置４１へ出力される。

【０１３５】以上のようにして第３実施例では、コント
ラスト値が最大となる復元フィルタを選んで、復元を行
うため、被写体の距離に依らず合焦した画像を得ること
ができる。

【０１３６】従って、第３実施例では測距装置（ＡＦセ
ンサ）を必要とせず、また、撮影レンズを動かす必要も
ないので、軽量小型な撮像部を提供することができる。

【０１３７】また、第３実施例ではコントラスト検出器
４３にてコントラストを検出する際に、その範囲と位置
を自由に設定できることから、撮影後に自由に合焦させ
たい位置を指定できる。

【０１３８】なお、第３実施例ではコントローラからの
制御により復元フィルタを距離の順番に選ぶようにした
が、例えば、復元フィルタメモリの読み出し位置が変化
するつまみ（図示せず）を設け、観察者がこのつまみを
操作して復元画像を表示装置４１の画面上で確認しなが
ら、出力すべき画像を選択するようにしてもよい。

【０１３９】前述の実施例は画面全体を復元するもので
あり、（ＨＨ^T）⁺算出器ではｍ×ｍ行列の一般化逆行
列を求める演算をすることになる。

【０１４０】通常ｍは５００²＝２５００００程あり、
ＨＨ^Tの一般化逆行列を求めることはかなり複雑にな
る。そこで、画面を細かく分割し、その分割領域毎に復
元フィルタを設計することによってＨＨ^Tの次元を小さ
くし、これによって、一般化逆行列を求め易くすること
が可能である。

【０１４１】第４実施例では、この画面の分割による手
法を採用する場合について説明する。

【０１４２】この場合、画面の分割は例えば図１３
（ａ）のように４×４＝１６分割を行うものとする。

【０１４３】図１４は第４実施例における分割領域毎の
復元フィルタ算出回路の要部の構成図を示す。

【０１４４】ここで５０はメモリの読み書きを行うため
の制御部である。この第４実施例において、感度関数は
前述の実施例と同様に測定を行うものとする。

【０１４５】そして、復元フィルタ算出器４７ｒ，４７
ｇ，４７ｂでは、各分割領域に対応した感度関数を利用
して、復元フィルタを算出し、分割復元フィルタメモリ
４８ｒ，４８ｇ，４８ｂに書き込む。

【０１４６】図１５は第４実施例による復元処理回路の
構成図を示す。

【０１４７】この第４実施例において、特徴とするとこ
ろは、各分割領域毎に対応した分割復元フィルタを分割
復元フィルタメモリ４８ｒ，４８ｇ，４８ｂから読み出
してフィルタリング器４０ｒ，４０ｇ，４０ｂにより復
元を行った後、画像合成回路４９ｒ，４９ｇ，４９ｂに
より復元した各分割領域画像を合成して、画面全体を復
元することにある。

【０１４８】なお、第４実施例では分割数を少くする
程、行列ＨＨ^Tの次元が小さくなり、計算がし易くなる
とともに復元フィルタの算出時間を短縮することができ
る。

【０１４９】また、画面を分割する際に、図１３（ｂ）
のように各分割領域が互いにオーバーラップ領域を持つ
ようにすることにより、合成した画像の不連続な接続を
避けることができる。また、逆行列を計算する代わりに
従来の逐次的な解法を用いても勿論可能なものである。

【０１５０】

【発明の効果】以上、本発明では撮像素子各位置の感度
関数データを確実に記憶し、この撮像素子各位置の感度
関数データを用いて、原画像を解析的に連続画像として
光学系の影響を受けず、正確に復元することが可能とし
た。

【図面の簡単な説明】

【図１】本発明の第１実施例に用いる感度関数測定手段
の構成を示す図である。

【図２】本発明の第１実施例の画像復元手段の構成を示
す図である。

【図３】本発明の感度関数の説明図を示す。

【図４】本発明の感度関数を示す。

【図５】本発明の画角設定機構を示す構成図である。

【図６】本発明の第１実施例の感度関数測定手段の変形
例を示す構成図である。

【図７】本発明の第１実施例における画角設定機構の変
形例を示す構成図である。

【図８】本発明の第２実施例における感度関数及び復元
フィルタ作成のための構成図を示す。

【図９】図９（ａ）は本発明の第２実施例に用いるカラ
ーフィルタアレイの一例を示し、且つ図９（ｂ）は第２
実施例に用いる復元フィルタ算出器を示す構成図であ
る。

【図１０】本発明の第２実施例による画像の復元回路を
示す構成図である。

【図１１】本発明の第３実施例による復元処理回路を示
す構成図である。

【図１２】図１２（ａ）は本発明の第３実施例に用いる
距離検出部を示す構成図であり、且つ図１２（ｂ）は本
発明の第３実施例に用いる距離検出部において最大コン
トラスト値を与える距離情報が出力されることを説明す
るための図である。

【図１３】図１３（ａ），（ｂ）は第４実施例における
画面の分割形態を例示するための図である。

【図１４】本発明の第４実施例における分割領域毎の復
元フィルタ算出回路を示す要部の構成図である。

【図１５】本発明の第４実施例における復元処理回路を
示す構成図である。

【符号の説明】

１照明光源２ＸＹステージ３視野絞り４撮影レンズ５液晶レンズ６絞りドライバ７液晶レンズドライバ８回転フィルタ９色フィルタドライバ１０電荷変調素子（ＣＭＤ）１１ＣＭＤドライバ１２プリアンプ１３Ａ／Ｄ変換器１４減算器１５ＦＰＮメモリ１６感度関数メモリ１７圧縮器１８切り替え回路１９ｒＲ用感度関数メモリ１９ｇＧ用感度関数メモリ１９ｂＢ用感度関数メモリ２０アドレス制御器２１画角設定回路２２コントローラ２３フレームメモリ２４切り替え回路２５伸長器２６（ＨＨ^T）⁺算出器２７Ｈ_s ^T算出器２８ｆe(r)算出器２９表示装置３０撮影被写体３４測距装置（ＡＦセンサ）３５色分離回路３６ｒ，ｇ，ｂ復元フィルタ算出器３８ｒ，ｇ，ｂ復元フィルタメモリ３９カラーフィルタアレイ４０ｒ，ｇ，ｂフィルタリング器４１出力装置４５距離検出部４７ｒ，ｇ，ｂ復元フィルタ算出器４８ｒ，ｇ，ｂ分割復元フィルタメモリ４９ｒ，ｇ，ｂ画像合成回路５０制御部

Claims

【特許請求の範囲】

【請求項１】撮影光学系と、前記撮影光学系を介して入射される物体像を撮像するた
めの撮像素子と、前記撮像素子の各点における物体空間内の光感度を表す
感度関数データを予め記憶した感度関数記憶手段と、前記感度関数記憶手段に記憶された感度関数データを用
いて前記撮像素子により撮像された画像データを復元す
る画像復元手段とを有する撮像装置。