JP3583447B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3583447B2 JP3583447B2 JP04675193A JP4675193A JP3583447B2 JP 3583447 B2 JP3583447 B2 JP 3583447B2 JP 04675193 A JP04675193 A JP 04675193A JP 4675193 A JP4675193 A JP 4675193A JP 3583447 B2 JP3583447 B2 JP 3583447B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensitivity function
- restoration
- sensitivity
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
【0001】
【産業上の利用分野】
本発明は原画像を撮像して復元する電子スチルカメラ等の撮像装置に係り、特に劣化した画像データを正確に復元する画像復元手段を備えた撮像装置に関する。
【0002】
【従来の技術】
周知のように、光学系を用いた電子スチルカメラ等のイメージングシステムにおいては、図3のように原画像f(r) (rは位置を表す)は光学系Lを介して観察画像g(r) として図示しない撮像素子上に結像される。
【0003】
ここで原画像f(r) のフーリエスペクトルをF(ω)、観察画像g(r) のフーリエスペクトルをG(ω)とすれば、
G(ω)=H(ω)×F(ω) …(1)
(ここで、ω:空間周波数)
と表せる。
【0004】
この(1)式で、H(ω)は 光学伝達関数(OTF:Optical Transfer Function)とよばれるもので、イメージングシステムの結像特性を表すものとして用いられる。
【0005】
また、H(ω)を逆フーリエ変換したものは点像分布関数(PSF:Point Spread Function)と呼ばれる。
【0006】
さて、観察画像g(r) が原画像f(r) と比較して全く同一となるためには、すべてのωに対してH(ω)=1となる必要がある。
【0007】
しかしながら、実際の光学系は一般にH(ω)<1となり、画像に劣化が生じる。
【0008】
そこで、観察画像から原画像を復元する方法としてインバースフィルタ(Inverse Filter)による手法が知られている。
【0009】
このInverse Filterについては、例えば文献としてPrentice−Hall International Editions発行の『Fundamentals of Digital Image Processing』,ANIL K.JAIN著P275〜P277に詳しく説明されている。
【0010】
そこで、この文献によれば復元フィルタとして、
H− (ω)=1/H(ω) …(2)
が示されている。
【0011】
ただし、このフィルタはH(ω)の逆数で表されるため、H(ω)=0の時はH− (ω)は発散してしまう。そこで、
H− (ω)=1/H(ω) (但し、H(ω)≠0のとき) …(3)
H− (ω)= 0 (但し、H(ω)=0のとき) …(3′)
が定義されている。
【0012】
【発明が解決しようとする課題】
上述した(2),(3)及び(3′)式で示される復元フィルタは、画像のどの位置おいてもその点に対する光学系の像の強度分布等、いわゆるPSFが等しい(space−invariant)という条件が必要であった。
【0013】
しかしながら、実際の光学系では種々の収差や焦点はずれ等の影響により、PSFは画像の位置によって変化(space−variant)するため、(2),(3)式で示される復元フィルタでは原画像を正しく復元することができなかった。
【0014】
また、そのような場合、画像位置に応じて異なるPSFを正確に測定してから、(2),(3)式で示される復元フィルタを利用することも考えられるが、PSFの測定にはまずそのサンプリングから問題となる。
【0015】
つまり、PSFは観察画像面においてその像が連続と定義されるにもかかわらず、撮像素子等においてはその画素ごとに分離され、像を離散的にサンプリングすることとなってしまい、PSFの正確な測定が不可能となる。
【0016】
そのため、従来の復元フィルタでは原画像の正確な復元が本質的に不可能となってしまう。
【0017】
本発明は以上のような点に鑑みてなされたものであり、連続系と離散系とを扱った場合においても、光学系の影響を受けず原画像を正確に復元することができる撮像装置を提供することを目的とする。
【0018】
【課題を解決するための手段】
本発明によると、
撮影光学系と、
前記撮影光学系を介して入射される物体像f(r)を撮像し観察画像g(r)を得るための画素数がmの撮像素子と、
前記撮像素子の各画素が撮像する際にi番目の画素に寄与するn位置に等分された物体空間内それぞれの感度分布hi(r)を表す関数であり全画素をまとめて表すとm×n行列の形の感度関数Hを予め記憶した感度関数記憶手段と、
前記感度関数記憶手段に記憶された感度関数Hを用いて前記撮像素子により撮像された観察画像g(r)を復元する画像復元手段と、
前記画像復元手段で復元された復元画像fe(r)を表示する表示手段とを有し、
前記画像復元手段は、
前記表示手段の表示画素数をs、前記感度関数の転置行列をH T 、n個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置したs×m行列で表される変換をH S T 、疑似逆行列を + で表す場合、
fe(r)=H S T (HH T ) + g(r)の演算によって劣化した観察画像を復元することを特徴とする撮像装置が提供される。
【0019】
【作用】
この発明において、感度関数記憶手段は、画素数がmの撮像素子の各画素が撮像する際にi番目の画素に寄与するn位置に等分された物体空間内それぞれの感度分布hi(r)を表す関数であり全画素をまとめて表すとm×n行列の形の感度関数Hを予め記憶する。画像復元手段は前記感度関数記憶手段に記憶された感度関数Hを用いて前記撮像素子により撮像された観察画像g(r)を復元する。表示手段は、前記画像復元手段で復元された復元画像fe(r)を表示する。そして、前記画像復元手段は、前記表示手段の表示画素数をs、前記感度関数の転置行列をH T 、n個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置したs×m行列で表される変換をH S T 、疑似逆行列を + で表す場合、
fe(r)=H S T (HH T ) + g(r)の演算によって劣化した観察画像を復元することを特徴とする。
【0020】
【実施例】
先ず、本発明の実施例の説明に先立ち、本発明の原理となる感度関数を用いた原画像の復元方法を説明する。
【0021】
今、図3(a)に示すような連続画像である原画像f(r) を光学系Lにより結像し、その結像面におかれた撮像素子(図示せず)において離散画像である観察画像g(r) を撮像する場合の、感度関数記憶手段及びその感度関数によって復元する画像復元手段について考える。
【0022】
ここで、撮像素子で撮像する場合は、図3(b)に示すように、この観察画像g(r) は離散画像と考えられ次式のようにモデル化できる。
【0023】
gi =∫f(r) ×hi(r) dr …(4)
この(4)式で、hi(r)は観察画像g(r) のi番目の画素に寄与する感度分布を表す関数であり、全画素をまとめて表現すると
g(r) =H{f(r) } …(5)
となる
この(5)式で、H{ }は連続画像から離散画像への変換オペレータとして考えられ、感度関数と呼称する。
【0024】
さて連続関数としての原画像f(r) は連続系で定義されているため、観察画像の範囲内に無限個の点をもつことになり、物体空間での基底ベクトルを無限個と考えることとなる。
【0025】
そのため、感度関数Hの列が無限個となり、感度関数自体を定義することができなくなる。
【0026】
そこで、Hの転置行列HT を離散系から連続系への変換オペレータとして定義し、HHT について考える。即ち、いま撮像素子の画素数を例えばmとすれば、HHT はm×m行列となり逆行列を考えることが可能となる。そして、復元画像fe(r)は次式により求められる。
【0027】
fe(r)=Hs T (HHT )+ g(r) …(6)
この(6)式で、+はシュドーインバース(pseudo inverse)いわゆる疑似逆行列を表す。
【0028】
また、HHT の各要素をaijとすれば、
aij=∫hi(r)×hj(r) dr …(7)
として与えられる。
【0029】
この(HHT )+ の算出には種々の方法が考えられ、例えばSVD解析により(HHT )+ を算出できる。
【0030】
このSVDとはシンギュラーバリューデコンポジション(Singular Value Decomposition)の略で、画像のデータ圧縮や線形システムの特性解析等に利用されており、前述の文献のP176〜P180に説明されている。
【0031】
また、ノイズがある場合は(6)式においてHHT の代わりにHHT +cI(cは定数、Iは単位行列)を用いればよい。
【0032】
さらに、(6)式において原画像の位置rは任意であることから、撮像素子の画素数mにかかわらず原画像のどんな位置の画像信号をも求めることができることを意味する。
【0033】
つまり、任意の領域を画素数mに対応して撮像することができるため、補間演算を行うことなしに電子ズームが可能となる。
【0034】
ここで(6)式のHs T は復元画像を表示するための変換と考えることができ、サフィックスsは表示画素数を表し、Hs T はs×m行列で表される。
【0035】
このように、本発明では計算においてPSFを測定する代わりに、感度関数測定手段により感度関数Hを測定することにより、離散画像と定義した観察画像が、(6)式を利用した画像復元手段によって、原画像と同様の連続である原画像を連続画像として復元される。
【0036】
ここで、上記感度関数測定手段について、その構成を示す図1を用いて説明する。なお、実際には2次元画像を扱うが、説明を簡略化するため画像の表記は1次元で表すこととする。
【0037】
すなわち、図1において、点光源からの光が視野絞り3及び撮影レンズ4を介してCMD10に撮像されるよう照明光源1が配置される。
【0038】
この照明光源1は、撮影レンズ4の光軸と垂直な面内を移動するXYステージ2に固定されている。
【0039】
そして、撮影レンズ4を通過した光の光路を変化させるため、撮影レンズ4に縦列して液晶レンズ5が配置される。
【0040】
ここで、視野絞り3、液晶レンズ5はそれぞれを制御する絞りドライバ6及び液晶レンズドライバ7を駆動させる画角設定回路21に接続される。
【0041】
液晶レンズ5を通過した光は、色フィルタドライバ9に接続された回転フィルタ8を介して、撮像素子としての電荷変調素子(以下、CMDと記す)10に結像される。
【0042】
このCMD10には前置増幅器(プリアンプ)12及びアナログ/デジタル(A/D)変換器13が接続される。
【0043】
さらに、前記CMD10の固定パターンノイズが予め記憶されているメモリ(以下FPNメモリと記す)15及び前記A/D変換器13とが減算器14の二つの入力端にそれぞれ接続される。
【0044】
また、減算器14の出力端には撮像したデータを記憶するためのメモリ16(特に感度関数を記憶することとなるため、以下感度関数メモリと記す)が接続される。
【0045】
ここで、感度関数Hは列数が本来無限となってしまうが、実際にはこの様な測定は不可能であるため、有限個(n個)とし、このメモリには図4に示すように感度関数をm×n行列の形で記憶する。
【0046】
つまり、各行は対応する画素iの感度分布hi(r)が記憶される。
【0047】
そして、感度関数メモリ16の出力端にデータ圧縮器17を介して、RGB3原色のためのレッド(R)用感度関数メモリ19r,グリーン(G)用感度関数メモリ19g、ブルー(B)用感度関数メモリ19bの各メモリへの切り替えを行う切り替え回路18が接続されている。
【0048】
また、R用感度関数メモリ19r、G用感度関数メモリ19g、B用感度関数メモリ19bには、それぞれアドレス制御器20が接続されている。
【0049】
さらに、前記XYステージ2、画角設定回路回路21、回転色フィルタ8を制御するための色フィルタドライバ9、CMD10の駆動を制御するためのCMDドライバ11、FPNメモリ15、切り替え回路18、及びアドレス制御器20はそれぞれコントローラ22に接続されている。
【0050】
次に上記構成に基づく感度関数Hの測定について説明する。
【0051】
まず、測定はRGBの各色画像別々に各画角ごとに行う。
【0052】
この場合、上述したように感度関数Hは連続系から離散系への変換オペレータであり、その列数は本来無限個となってしまうが、実際にはこのような測定は不可能であるため、n個として測定を行い、必要な位置については後述するように補間演算により算出することとする。
【0053】
ここで感度関数Hには、図4に示すように行方向に各観察画像位置での感度分布が、また列方向に各観察画像位置での感度分布が並ぶものとする。
【0054】
そして、この感度関数は照明光源1をずらしながら各観察画像位置で撮像することにより求める。
【0055】
次に、感度関数測定手段の具体的な作用のために、色フィルタドライバ9によって回転色フィルタ8をRにセットした後、画角設定回路21により画角をθmax (図5(a)に相当)になるように、絞りドライバ6の制御により視野絞り3を調節すると共に、液晶レンズドライバ7の制御により液晶レンズ5を調節する。
【0056】
そして、原画像上の位置を図5(a)のように全視野をn位置(x1,x2,…xn)で等分し、照明光源1を原画像上の位置x1にXYステージ2の駆動により移動し、CMD10で撮像を行う。
【0057】
ここで、視野絞り3と液晶レンズ5による画角設定を図5を用いて説明する。本発明では上述したように(6)式より特に画角を変化させなくとも電子ズームが可能であるが、復元させたい被写体像の光のみをより多く入力することにより、復元の精度を向上させられるためこのような画角設定回路21が設けてある。
【0058】
具体的に図5(a)は、広角レンズに相当する場合の例であり、視野絞り3は広く開き、液晶レンズ5の屈折率はその屈折力が大きくなるように制御されている。
【0059】
そして、図5(b)は、逆で望遠レンズに相当する場合の例であり、視野絞り3は狭く、液晶レンズ5の屈折率はその屈折力が小さくなるように制御されている。
【0060】
つまり、望遠の場合に液晶レンズ5の屈折率が図5(a)と同じであると、撮像素子の一部にしか被写体像の光が入射しなくなるが、図5(b)のように屈折率を下げることにより撮像素子全体に被写体像の光が入射し無駄をなくすことができる。
【0061】
また、視野絞り3と液晶レンズ5を用いることにより画角を容易に変化させることを可能となる。
【0062】
なお、この画角はコントローラ22を介して画角設定回路21にて設定可能なθmin 〜θmax まで所定の画角(以下θint と記す)毎に変化させられるようにする。
【0063】
次に、CMD10の画素iで撮像された画像信号は感度分布hi(x1) であり、その画像信号はプリアンプ12で増幅され、A/D変換器13でデジタル信号に変換された後、減算器14によってFPNメモリ15に記憶されているCMDの固定パターンノイズが減算された感度分布信号すなわち感度関数データとして感度関数メモリ16の各行の第1列に書き込まれる。
【0064】
そして、次に照明光源1をx2の位置へ移動して同様の処理を行い、得られた感度関数データを感度関数メモリ16の各行の第2列に相当する位置へ書き込む。以下、照明光源がxnの位置になるまで同様の処理を行い、各位置での感度関数データを対応する感度関数メモリ16に書き込む。
【0065】
そして、感度関数メモリ16の各値は圧縮器17にてそのデータ量が圧縮され、感度関数データHθmax としてR用感度関数メモリ19rに記憶される。
【0066】
次に、画角をθint だけ小さくして同様に処理を行って得られる感度関数データHθmax−int をR用感度関数メモリ19rに記憶する。
【0067】
そして、このようにθint だけ異なる各視野すべてにわたり感度関数データを記憶し最終的に画角がθmin になるまで同様の処理を繰り返す。
【0068】
なお、検出においてはその視野は原画像の所定位置x1〜xnの範囲を等分するn位置で撮像することになる。
【0069】
以上で、R画像に対する感度関数データの記憶を終え、同様にしてG,B画像の感度関数データも求められ、それぞれG用感度関数メモリ19g及びB用感度関数メモリ19bに記憶され、感度関数データの記憶が終了する。
【0070】
次に、この測定により求められた感度関数データを用いて撮像素子により撮像された画像の復元を行う、画像復元手段を備えた撮像装置について説明する。
【0071】
図2は、上記感度関数測定手段によって求めた感度関数データを用いて、画像の復元法をいわゆるズーミングに応用する画像復元手段を備えた撮像装置の第1実施例についての構成図である。
【0072】
なお、図1と同様な構成については同一符号を付してそれらの詳細な説明は省略する。
【0073】
図2において、上記図1の感度関数測定手段における減算器14に画像データを記憶するフレームメモリ23を接続する。
【0074】
そして、図1においては切り替え回路18を介して圧縮器17に接続していたR用感度関数メモリ19r、G用感度関数メモリ19g、B用感度関数メモリ19bは、図2においては、アドレス制御器20にのみ接続される。
【0075】
この各メモリ19r,19g,19bには上述したようにしてそれぞれR,G,B画像の感度関数データが記憶されており、それらからの出力を選択するための切り替え回路24はコントローラ22に接続される。
【0076】
そして、画像復元手段として切り替え回路24はデータ伸長器25を介して(HHT )+ 算出器26及びHs T 算出器27に接続される。
【0077】
さらに、その各算出出力及び前記画像データより復元画像データを算出すべく、前記各算出器26,27及びフレームメモリ23はfe(r)算出器28に接続される。
【0078】
そして、視野絞り3を介して撮影レンズ5の前面に存在する撮影被写体30の復元画像を表示する表示装置29はfe(r)算出器28に接続される。
【0079】
次に上記構成に基づく画像復元装置の作用について説明する。
【0080】
撮像被写体30に対する撮像が始まると希望する画角θになるようにコントローラ22を介して画角設定回路21により視野絞り3、液晶レンズ5が調節される。
【0081】
そして、図示しない測光系によりCMD10の露光時間が設定され、回転色フィルタ8がコントローラ22を介して色フィルタドライバ9によってRにセットされる。
【0082】
さらに、撮像被写体30が光学系3,4,5を介してCMD10にて撮像されて得られる画像信号はプリアンプ12で増幅され、そしてA/D変換器13にてデジタル信号に変換され、減算器14にてFPNが減算された後フレームメモリ23に画像データg(r) として記憶される。
【0083】
一方、アドレス制御器20により画角θに対応した感度関数データHがR用感度関数メモリ19rから読み出され、切り替え回路24を介してデータの伸長器25へ入力される。
【0084】
データ伸長器25では感度関数Hが復号され、(HHT )+ 算出器26及びHs T 算出器27へ入力される。
【0085】
(HHT )+ 算出器26ではまず(7)式によりHHT の各成分が計算され、続いて(HHT )+ が計算される。
【0086】
また、Hs T 算出器27ではn個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置することによりHs T を求めfe(r)算出器28に入力する。
【0087】
fe(r)算出器28ではフレームメモリ23より入力されるg(r) ,(HHT )+ 算出器26より入力される(HHT )+ 及びHs T 算出器27より入力されるHs T より(7)式に基づいてRの復元画像データfe(r)を算出し、表示装置29へ出力する。
【0088】
さらにG,B画像についても同様に復元画像データを算出した後、表示装置29へ出力されて表示される。
【0089】
また、画角を異なる値に設定した場合は、対応した感度関数データが各感度関数メモリ19r,g,bから読み出され同様な処理が行われる。
【0090】
以上詳述したように、本実施例によれば、撮影レンズに収差がある場合や焦点はずれが生じている場合においてもPSFを計測することなしに感度関数さえわかっていれば原画像を復元することが可能であるため多くのレンズ群を用いることなしに自動合焦調節にも利用できる。
【0091】
その時には撮像素子全体に被写体像の光が入射し無駄がなくなるよう、光学系の一部を液晶レンズとしてその光路変化させるとともに、視野絞りを連動させて駆動させることにより復元画像の精度を向上させることができる。
【0092】
また、本実施例では感度関数をデータ圧縮してから記憶するようにしたため、感度関数データの記憶容量が各なくてすむようになった。
【0093】
さらに、本実施例ではRGBの3原色での感度関数データを用いて復元したためカラー画像を良好に復元することが可能である。
【0094】
また、本実施例ではHs T を変更することにより、容易に異なる画素数で表示することが可能である。
【0095】
さらに、本実施例では撮像素子に画素欠陥がある場合においても原画像を正しく復元することができる。
【0096】
なお、本実施例ではCMD10の全画素を用いて画像の復元を行ったが、本発明では感度関数データHを求めさえすれば、撮像素子の画素数や画素の位置の制限はないため、例えば適当な画素のランダムサンプリングでも画像を正確に復元することが可能である。
【0097】
また、本実施例では感度関数データHを記憶するようにしたが、感度関数データの記憶時にHs T (HHT )+ まで計算してこれを記憶するようにしてもよい。
【0098】
本実施例では感度関数の測定において照明光源を駆動するようにしたが照明光源を固定してCMDやレンズ系からなる撮像部を駆動するようにしてもよい。
【0099】
さらに、感度関数記憶手段においては、図6のようにモニタ31、表示制御器32を用いて照明光源に相当する点を、順次移動して表示させることにより感度関数の測定を行ってもよい。
【0100】
さらに、ズーミング時に液晶レンズを用いて光路を変化させるようにしたが、図7(a),(b)に示すように複数のレンズ33a,bを移動させるようにしてもよい。
【0101】
なお、図7(a),(b)はそれぞれ広角撮像の場合と、望遠撮像の場合を示しており、前述した図5(a),(b)に対応した関係を有している。
【0102】
次に、第1実施例とは異なる幾つかの実施例について説明する。
【0103】
前述した第1実施例では図3に示したように、原画像と光学系における撮影レンズまでの距離が一定であるという条件の下で感度関係の測定及び撮像された画像の復元が行われた。
【0104】
しかし、実際には感度関数は、撮影レンズから原画像までの距離に応じて変化するため、この距離に応じた感度関数を測定して、それに基いて原画像の復元を行う必要がある。
【0105】
そこで、次に、この原理に基いた第2実施例について図8〜図10を用いて説明する。
【0106】
なお、前述した第1実施例と同じ働きをする部材については同じ符号を付す。図8は第2実施例における感度関数及び復元フィルタの作成のための構成図を示す。この図8において、図1に示した実施例と異なる点はカラー信号を得るために回転色フィルタの代わりに例えば図9(a)に示すようなストライプタイプのカラーフィルタアレイ39を用いている点と、照明光源1と撮影レンズ4までの距離Di に応じて、復元フィルタを作成する点である。
【0107】
図8において参照符号34は測距装置(AFセンサ)であり、上記距離Di を測距する。
【0108】
参照符号35は色分離回路であり、カラーフィルタアレイ39を用いて撮像されたカラー信号をR,G,Bの各色信号に分離して各色別の感度関数メモリ16r,16g,16bに出力する。
【0109】
参照符号36r,36g,36bは復元フィルタ算出器であり、図9(b)に示すように(HHT )+ 算出器26、Hs T 算出器27、及び乗算器37により構成されることにより、Hs T (HHT )+ なる復元フィルタを計算するものである。
【0110】
また、参照符号38r,38g,38bはR,G,Bそれぞれに計算した復元フィルタを記憶するためのメモリであり、距離Di に応じて対応するアドレスに書き込まれるように構成されている。
【0111】
そして、照明光源1と撮影レンズ4の距離をXYステージ2によって変化させ、その距離Di を測距装置34(AFセンサ)にて計測し、算出した復元フィルタを、対応した復元フィルタに書き込む。距離Di には例えば至近から(x)付近までのI個選択(D1 〜DI )とする。
【0112】
図10は画像の復元回路を示す。
【0113】
図10において、参照符号40r,40g,40bはフィルタリング器であり、各色別のフレームメモリ16r,16g,16bからの画像データgR ,gG ,gB に基いて復元画像データR′,G′,B′を次式より算出する。
【0114】
R′=eR gR …(8)
G′=eG gG …(8′)
B′=eB gB …(8″)
この(8),(8′),(8″)式で、eR ,eG ,eB はn×m行列(ここで、nは感度関数の測定数、mはCMDの画素数)であり、且つgR ,gG ,gB はm×1行列である。
【0115】
なお、図10において参照符号41はCRTやビデオプリンタ等の出力装置である。
【0116】
次に復元処理についてその作用を説明する。
【0117】
適正な露光量の下にCMD10により撮像された被写体30の画像信号はプリアンプ12を介してA/D変換器13によりデジタル信号に変換された後、色分離回路35によりR,G,Bの各色別のデータに分離され、フレームメモリ16r,16g,16bにそれぞれ記憶される。
【0118】
一方、測距装置34の働きにより被写体30までの距離Di が計測され、アドレス制御器20により各色の距離Di に対応する復元フィルタeR ,eG ,eB が復元フィルタメモリ38r,38g,38bより読み出される。
【0119】
そして、各フィルタリング器40r,40g,40bにより、(8),(8′),(8″)式の演算が行われることにより得られた復元信号R′,G′,B′が出力装置41へ出力され、CRTへの画像表示等がなされる。
【0120】
以上のような第2実施例によれば、各距離Di 毎に、復元フィルタを設計し、また、復元処理の際には被写体までの距離に応じて復元フィルタを選択するようにしたため、被写体までの距離が異なる場合にも適切な復元処理を行うことができる。
【0121】
また、第2実施例では回転フィルタの代わりにカラーフィルタアレイを用いているため第1実施例のような回転色フィルタ及びその駆動装置は不要となる。
【0122】
このカラーフィルタアレイはストライプタイプに限らず、モザイクタイプ、チェックタイプ等の他の適宜なものでもよい。
【0123】
また、第2実施例では画角を変化させていないが、第1実施例と同様に画角を変化させてもよい。
【0124】
ところで、第2実施例では復元処理の際に被写体までの距離Di を計測するための測距装置(AFセンサ)を必要としていた。
【0125】
そこで、次に説明する第3実施例は、撮像部の小型軽量化のために測距装置(AFセンサ)を用いない場合である。
【0126】
図11は第3実施例による復元処理回路の構成図を示す。
【0127】
図11において、参照符号45は距離検出部であり、図12(a)に示すような復元データR′,G′,B′から輝度データY′を検出するための輝度検出器42、輝度Y′からバンドパスフィルタ等により画像のコントラストを検出するためのコントラスト検出器43、及びそのコントラスト値を記憶するためのコントラストメモリ46、コントラスト値の最大値を検出するための最大値検出器44により構成される。
【0128】
次に、第3実施例の作用について説明する。
【0129】
先ず、第2実施例と同様に撮影された被写体信号は、色分離後、フレームメモリ16r,16g,16bに記憶される。
【0130】
そして、コントローラ22を介してアドレス制御器20により、被写体距離D1 に相当する復元フィルタが復元フィルタメモリ38r,38g,38bから読み出され、フィルタリング器40r,40g,40bにより復元信号R′,G′,B′が求められる。
【0131】
そして、輝度検出器42により輝度データY′が求められ、続いてコントラスト検出器43によりコントラスト値が求められ、コントラストメモリ46の距離D1 の位置に対応した位置に書き込まれる。
【0132】
次に、被写体距離D2 に相当する復元フィルタが復元フィルタメモリから読み出され、同様にしてコントラスト値が求められ所定の位置に書き込まれる。
【0133】
以上のような処理が被写体距離DI まで行われることにより、各距離でのコントラスト値が求められる。
【0134】
最大値検出器44では、そのコントラスト値が最大となる距離Dmax (図12b参照)をコントローラ22へ出力する。再び、距離Dmax に対応した復元フィルタが復元フィルタメモリ38r,38g,38bから読み出されてフィルタリング器40r,40g,40bにより復元処理が行なわれることにより復元データR′,G′,B′が出力装置41へ出力される。
【0135】
以上のようにして第3実施例では、コントラスト値が最大となる復元フィルタを選んで、復元を行うため、被写体の距離に依らず合焦した画像を得ることができる。
【0136】
従って、第3実施例では測距装置(AFセンサ)を必要とせず、また、撮影レンズを動かす必要もないので、軽量小型な撮像部を提供することができる。
【0137】
また、第3実施例ではコントラスト検出器43にてコントラストを検出する際に、その範囲と位置を自由に設定できることから、撮影後に自由に合焦させたい位置を指定できる。
【0138】
なお、第3実施例ではコントローラからの制御により復元フィルタを距離の順番に選ぶようにしたが、例えば、復元フィルタメモリの読み出し位置が変化するつまみ(図示せず)を設け、観察者がこのつまみを操作して復元画像を表示装置41の画面上で確認しながら、出力すべき画像を選択するようにしてもよい。
【0139】
前述の実施例は画面全体を復元するものであり、(HHT )+ 算出器ではm×m行列の一般化逆行列を求める演算をすることになる。
【0140】
通常mは5002 =250000程あり、HHT の一般化逆行列を求めることはかなり複雑になる。そこで、画面を細かく分割し、その分割領域毎に復元フィルタを設計することによってHHT の次元を小さくし、これによって、一般化逆行列を求め易くすることが可能である。
【0141】
第4実施例では、この画面の分割による手法を採用する場合について説明する。
【0142】
この場合、画面の分割は例えば図13(a)のように4×4=16分割を行うものとする。
【0143】
図14は第4実施例における分割領域毎の復元フィルタ算出回路の要部の構成図を示す。
【0144】
ここで50はメモリの読み書きを行うための制御部である。この第4実施例において、感度関数は前述の実施例と同様に測定を行うものとする。
【0145】
そして、復元フィルタ算出器47r,47g,47bでは、各分割領域に対応した感度関数を利用して、復元フィルタを算出し、分割復元フィルタメモリ48r,48g,48bに書き込む。
【0146】
図15は第4実施例による復元処理回路の構成図を示す。
【0147】
この第4実施例において、特徴とするところは、各分割領域毎に対応した分割復元フィルタを分割復元フィルタメモリ48r,48g,48bから読み出してフィルタリング器40r,40g,40bにより復元を行った後、画像合成回路49r,49g,49bにより復元した各分割領域画像を合成して、画面全体を復元することにある。
【0148】
なお、第4実施例では分割数を少くする程、行列HHT の次元が小さくなり、計算がし易くなるとともに復元フィルタの算出時間を短縮することができる。
【0149】
また、画面を分割する際に、図13(b)のように各分割領域が互いにオーバーラップ領域を持つようにすることにより、合成した画像の不連続な接続を避けることができる。また、逆行列を計算する代わりに従来の逐次的な解法を用いても勿論可能なものである。
【0150】
【発明の効果】
以上詳述したように、本発明によれば、感度関数記憶手段により、画素数がmの撮像素子の各画素が撮像する際にi番目の画素に寄与するn位置に等分された物体空間内それぞれの感度分布hi(r)を表す関数であり全画素をまとめて表すとm×n行列の形の感度関数Hを予め記憶し、画像復元手段により、前記感度関数記憶手段に記憶された感度関数Hを用いて前記撮像素子により撮像された観察画像g(r)を復元し、表示手段により、前記画像復元手段で復元された復元画像fe(r)を表示するとともに、前記画像復元手段により、前記表示手段の表示画素数をs、前記感度関数の転置行列をH T 、n個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置したs×m行列で表される変換をH S T 、疑似逆行列を + で表す場合、
fe(r)=H S T (HH T ) + g(r)の演算によって劣化した観察画像を復元することにより、原画像を解析的に連続画像として光学系の影響を受けず、正確に復元することを可能とした撮像装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1実施例に用いる感度関数測定手段の構成を示す図である。
【図2】本発明の第1実施例の画像復元手段の構成を示す図である。
【図3】本発明の感度関数の説明図を示す。
【図4】本発明の感度関数を示す。
【図5】本発明の画角設定機構を示す構成図である。
【図6】本発明の第1実施例の感度関数測定手段の変形例を示す構成図である。
【図7】本発明の第1実施例における画角設定機構の変形例を示す構成図である。
【図8】本発明の第2実施例における感度関数及び復元フィルタ作成のための構成図を示す。
【図9】図9(a)は本発明の第2実施例に用いるカラーフィルタアレイの一例を示し、且つ図9(b)は第2実施例に用いる復元フィルタ算出器を示す構成図である。
【図10】本発明の第2実施例による画像の復元回路を示す構成図である。
【図11】本発明の第3実施例による復元処理回路を示す構成図である。
【図12】図12(a)は本発明の第3実施例に用いる距離検出部を示す構成図であり、且つ図12(b)は本発明の第3実施例に用いる距離検出部において最大コントラスト値を与える距離情報が出力されることを説明するための図である。
【図13】図13(a),(b)は第4実施例における画面の分割形態を例示するための図である。
【図14】本発明の第4実施例における分割領域毎の復元フィルタ算出回路を示す要部の構成図である。
【図15】本発明の第4実施例における復元処理回路を示す構成図である。
【符号の説明】
1 照明光源
2 XYステージ
3 視野絞り
4 撮影レンズ
5 液晶レンズ
6 絞りドライバ
7 液晶レンズドライバ
8 回転フィルタ
9 色フィルタドライバ
10 電荷変調素子(CMD)
11 CMDドライバ
12 プリアンプ
13 A/D変換器
14 減算器
15 FPNメモリ
16 感度関数メモリ
17 圧縮器
18 切り替え回路
19r R用感度関数メモリ
19g G用感度関数メモリ
19b B用感度関数メモリ
20 アドレス制御器
21 画角設定回路
22 コントローラ
23 フレームメモリ
24 切り替え回路
25 伸長器
26 (HHT )+ 算出器
27 Hs T 算出器
28 fe(r)算出器
29 表示装置
30 撮影被写体
34 測距装置(AFセンサ)
35 色分離回路
36r,g,b 復元フィルタ算出器
38r,g,b 復元フィルタメモリ
39 カラーフィルタアレイ
40r,g,b フィルタリング器
41 出力装置
45 距離検出部
47r,g,b 復元フィルタ算出器
48r,g,b 分割復元フィルタメモリ
49r,g,b 画像合成回路
50 制御部
【産業上の利用分野】
本発明は原画像を撮像して復元する電子スチルカメラ等の撮像装置に係り、特に劣化した画像データを正確に復元する画像復元手段を備えた撮像装置に関する。
【0002】
【従来の技術】
周知のように、光学系を用いた電子スチルカメラ等のイメージングシステムにおいては、図3のように原画像f(r) (rは位置を表す)は光学系Lを介して観察画像g(r) として図示しない撮像素子上に結像される。
【0003】
ここで原画像f(r) のフーリエスペクトルをF(ω)、観察画像g(r) のフーリエスペクトルをG(ω)とすれば、
G(ω)=H(ω)×F(ω) …(1)
(ここで、ω:空間周波数)
と表せる。
【0004】
この(1)式で、H(ω)は 光学伝達関数(OTF:Optical Transfer Function)とよばれるもので、イメージングシステムの結像特性を表すものとして用いられる。
【0005】
また、H(ω)を逆フーリエ変換したものは点像分布関数(PSF:Point Spread Function)と呼ばれる。
【0006】
さて、観察画像g(r) が原画像f(r) と比較して全く同一となるためには、すべてのωに対してH(ω)=1となる必要がある。
【0007】
しかしながら、実際の光学系は一般にH(ω)<1となり、画像に劣化が生じる。
【0008】
そこで、観察画像から原画像を復元する方法としてインバースフィルタ(Inverse Filter)による手法が知られている。
【0009】
このInverse Filterについては、例えば文献としてPrentice−Hall International Editions発行の『Fundamentals of Digital Image Processing』,ANIL K.JAIN著P275〜P277に詳しく説明されている。
【0010】
そこで、この文献によれば復元フィルタとして、
H− (ω)=1/H(ω) …(2)
が示されている。
【0011】
ただし、このフィルタはH(ω)の逆数で表されるため、H(ω)=0の時はH− (ω)は発散してしまう。そこで、
H− (ω)=1/H(ω) (但し、H(ω)≠0のとき) …(3)
H− (ω)= 0 (但し、H(ω)=0のとき) …(3′)
が定義されている。
【0012】
【発明が解決しようとする課題】
上述した(2),(3)及び(3′)式で示される復元フィルタは、画像のどの位置おいてもその点に対する光学系の像の強度分布等、いわゆるPSFが等しい(space−invariant)という条件が必要であった。
【0013】
しかしながら、実際の光学系では種々の収差や焦点はずれ等の影響により、PSFは画像の位置によって変化(space−variant)するため、(2),(3)式で示される復元フィルタでは原画像を正しく復元することができなかった。
【0014】
また、そのような場合、画像位置に応じて異なるPSFを正確に測定してから、(2),(3)式で示される復元フィルタを利用することも考えられるが、PSFの測定にはまずそのサンプリングから問題となる。
【0015】
つまり、PSFは観察画像面においてその像が連続と定義されるにもかかわらず、撮像素子等においてはその画素ごとに分離され、像を離散的にサンプリングすることとなってしまい、PSFの正確な測定が不可能となる。
【0016】
そのため、従来の復元フィルタでは原画像の正確な復元が本質的に不可能となってしまう。
【0017】
本発明は以上のような点に鑑みてなされたものであり、連続系と離散系とを扱った場合においても、光学系の影響を受けず原画像を正確に復元することができる撮像装置を提供することを目的とする。
【0018】
【課題を解決するための手段】
本発明によると、
撮影光学系と、
前記撮影光学系を介して入射される物体像f(r)を撮像し観察画像g(r)を得るための画素数がmの撮像素子と、
前記撮像素子の各画素が撮像する際にi番目の画素に寄与するn位置に等分された物体空間内それぞれの感度分布hi(r)を表す関数であり全画素をまとめて表すとm×n行列の形の感度関数Hを予め記憶した感度関数記憶手段と、
前記感度関数記憶手段に記憶された感度関数Hを用いて前記撮像素子により撮像された観察画像g(r)を復元する画像復元手段と、
前記画像復元手段で復元された復元画像fe(r)を表示する表示手段とを有し、
前記画像復元手段は、
前記表示手段の表示画素数をs、前記感度関数の転置行列をH T 、n個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置したs×m行列で表される変換をH S T 、疑似逆行列を + で表す場合、
fe(r)=H S T (HH T ) + g(r)の演算によって劣化した観察画像を復元することを特徴とする撮像装置が提供される。
【0019】
【作用】
この発明において、感度関数記憶手段は、画素数がmの撮像素子の各画素が撮像する際にi番目の画素に寄与するn位置に等分された物体空間内それぞれの感度分布hi(r)を表す関数であり全画素をまとめて表すとm×n行列の形の感度関数Hを予め記憶する。画像復元手段は前記感度関数記憶手段に記憶された感度関数Hを用いて前記撮像素子により撮像された観察画像g(r)を復元する。表示手段は、前記画像復元手段で復元された復元画像fe(r)を表示する。そして、前記画像復元手段は、前記表示手段の表示画素数をs、前記感度関数の転置行列をH T 、n個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置したs×m行列で表される変換をH S T 、疑似逆行列を + で表す場合、
fe(r)=H S T (HH T ) + g(r)の演算によって劣化した観察画像を復元することを特徴とする。
【0020】
【実施例】
先ず、本発明の実施例の説明に先立ち、本発明の原理となる感度関数を用いた原画像の復元方法を説明する。
【0021】
今、図3(a)に示すような連続画像である原画像f(r) を光学系Lにより結像し、その結像面におかれた撮像素子(図示せず)において離散画像である観察画像g(r) を撮像する場合の、感度関数記憶手段及びその感度関数によって復元する画像復元手段について考える。
【0022】
ここで、撮像素子で撮像する場合は、図3(b)に示すように、この観察画像g(r) は離散画像と考えられ次式のようにモデル化できる。
【0023】
gi =∫f(r) ×hi(r) dr …(4)
この(4)式で、hi(r)は観察画像g(r) のi番目の画素に寄与する感度分布を表す関数であり、全画素をまとめて表現すると
g(r) =H{f(r) } …(5)
となる
この(5)式で、H{ }は連続画像から離散画像への変換オペレータとして考えられ、感度関数と呼称する。
【0024】
さて連続関数としての原画像f(r) は連続系で定義されているため、観察画像の範囲内に無限個の点をもつことになり、物体空間での基底ベクトルを無限個と考えることとなる。
【0025】
そのため、感度関数Hの列が無限個となり、感度関数自体を定義することができなくなる。
【0026】
そこで、Hの転置行列HT を離散系から連続系への変換オペレータとして定義し、HHT について考える。即ち、いま撮像素子の画素数を例えばmとすれば、HHT はm×m行列となり逆行列を考えることが可能となる。そして、復元画像fe(r)は次式により求められる。
【0027】
fe(r)=Hs T (HHT )+ g(r) …(6)
この(6)式で、+はシュドーインバース(pseudo inverse)いわゆる疑似逆行列を表す。
【0028】
また、HHT の各要素をaijとすれば、
aij=∫hi(r)×hj(r) dr …(7)
として与えられる。
【0029】
この(HHT )+ の算出には種々の方法が考えられ、例えばSVD解析により(HHT )+ を算出できる。
【0030】
このSVDとはシンギュラーバリューデコンポジション(Singular Value Decomposition)の略で、画像のデータ圧縮や線形システムの特性解析等に利用されており、前述の文献のP176〜P180に説明されている。
【0031】
また、ノイズがある場合は(6)式においてHHT の代わりにHHT +cI(cは定数、Iは単位行列)を用いればよい。
【0032】
さらに、(6)式において原画像の位置rは任意であることから、撮像素子の画素数mにかかわらず原画像のどんな位置の画像信号をも求めることができることを意味する。
【0033】
つまり、任意の領域を画素数mに対応して撮像することができるため、補間演算を行うことなしに電子ズームが可能となる。
【0034】
ここで(6)式のHs T は復元画像を表示するための変換と考えることができ、サフィックスsは表示画素数を表し、Hs T はs×m行列で表される。
【0035】
このように、本発明では計算においてPSFを測定する代わりに、感度関数測定手段により感度関数Hを測定することにより、離散画像と定義した観察画像が、(6)式を利用した画像復元手段によって、原画像と同様の連続である原画像を連続画像として復元される。
【0036】
ここで、上記感度関数測定手段について、その構成を示す図1を用いて説明する。なお、実際には2次元画像を扱うが、説明を簡略化するため画像の表記は1次元で表すこととする。
【0037】
すなわち、図1において、点光源からの光が視野絞り3及び撮影レンズ4を介してCMD10に撮像されるよう照明光源1が配置される。
【0038】
この照明光源1は、撮影レンズ4の光軸と垂直な面内を移動するXYステージ2に固定されている。
【0039】
そして、撮影レンズ4を通過した光の光路を変化させるため、撮影レンズ4に縦列して液晶レンズ5が配置される。
【0040】
ここで、視野絞り3、液晶レンズ5はそれぞれを制御する絞りドライバ6及び液晶レンズドライバ7を駆動させる画角設定回路21に接続される。
【0041】
液晶レンズ5を通過した光は、色フィルタドライバ9に接続された回転フィルタ8を介して、撮像素子としての電荷変調素子(以下、CMDと記す)10に結像される。
【0042】
このCMD10には前置増幅器(プリアンプ)12及びアナログ/デジタル(A/D)変換器13が接続される。
【0043】
さらに、前記CMD10の固定パターンノイズが予め記憶されているメモリ(以下FPNメモリと記す)15及び前記A/D変換器13とが減算器14の二つの入力端にそれぞれ接続される。
【0044】
また、減算器14の出力端には撮像したデータを記憶するためのメモリ16(特に感度関数を記憶することとなるため、以下感度関数メモリと記す)が接続される。
【0045】
ここで、感度関数Hは列数が本来無限となってしまうが、実際にはこの様な測定は不可能であるため、有限個(n個)とし、このメモリには図4に示すように感度関数をm×n行列の形で記憶する。
【0046】
つまり、各行は対応する画素iの感度分布hi(r)が記憶される。
【0047】
そして、感度関数メモリ16の出力端にデータ圧縮器17を介して、RGB3原色のためのレッド(R)用感度関数メモリ19r,グリーン(G)用感度関数メモリ19g、ブルー(B)用感度関数メモリ19bの各メモリへの切り替えを行う切り替え回路18が接続されている。
【0048】
また、R用感度関数メモリ19r、G用感度関数メモリ19g、B用感度関数メモリ19bには、それぞれアドレス制御器20が接続されている。
【0049】
さらに、前記XYステージ2、画角設定回路回路21、回転色フィルタ8を制御するための色フィルタドライバ9、CMD10の駆動を制御するためのCMDドライバ11、FPNメモリ15、切り替え回路18、及びアドレス制御器20はそれぞれコントローラ22に接続されている。
【0050】
次に上記構成に基づく感度関数Hの測定について説明する。
【0051】
まず、測定はRGBの各色画像別々に各画角ごとに行う。
【0052】
この場合、上述したように感度関数Hは連続系から離散系への変換オペレータであり、その列数は本来無限個となってしまうが、実際にはこのような測定は不可能であるため、n個として測定を行い、必要な位置については後述するように補間演算により算出することとする。
【0053】
ここで感度関数Hには、図4に示すように行方向に各観察画像位置での感度分布が、また列方向に各観察画像位置での感度分布が並ぶものとする。
【0054】
そして、この感度関数は照明光源1をずらしながら各観察画像位置で撮像することにより求める。
【0055】
次に、感度関数測定手段の具体的な作用のために、色フィルタドライバ9によって回転色フィルタ8をRにセットした後、画角設定回路21により画角をθmax (図5(a)に相当)になるように、絞りドライバ6の制御により視野絞り3を調節すると共に、液晶レンズドライバ7の制御により液晶レンズ5を調節する。
【0056】
そして、原画像上の位置を図5(a)のように全視野をn位置(x1,x2,…xn)で等分し、照明光源1を原画像上の位置x1にXYステージ2の駆動により移動し、CMD10で撮像を行う。
【0057】
ここで、視野絞り3と液晶レンズ5による画角設定を図5を用いて説明する。本発明では上述したように(6)式より特に画角を変化させなくとも電子ズームが可能であるが、復元させたい被写体像の光のみをより多く入力することにより、復元の精度を向上させられるためこのような画角設定回路21が設けてある。
【0058】
具体的に図5(a)は、広角レンズに相当する場合の例であり、視野絞り3は広く開き、液晶レンズ5の屈折率はその屈折力が大きくなるように制御されている。
【0059】
そして、図5(b)は、逆で望遠レンズに相当する場合の例であり、視野絞り3は狭く、液晶レンズ5の屈折率はその屈折力が小さくなるように制御されている。
【0060】
つまり、望遠の場合に液晶レンズ5の屈折率が図5(a)と同じであると、撮像素子の一部にしか被写体像の光が入射しなくなるが、図5(b)のように屈折率を下げることにより撮像素子全体に被写体像の光が入射し無駄をなくすことができる。
【0061】
また、視野絞り3と液晶レンズ5を用いることにより画角を容易に変化させることを可能となる。
【0062】
なお、この画角はコントローラ22を介して画角設定回路21にて設定可能なθmin 〜θmax まで所定の画角(以下θint と記す)毎に変化させられるようにする。
【0063】
次に、CMD10の画素iで撮像された画像信号は感度分布hi(x1) であり、その画像信号はプリアンプ12で増幅され、A/D変換器13でデジタル信号に変換された後、減算器14によってFPNメモリ15に記憶されているCMDの固定パターンノイズが減算された感度分布信号すなわち感度関数データとして感度関数メモリ16の各行の第1列に書き込まれる。
【0064】
そして、次に照明光源1をx2の位置へ移動して同様の処理を行い、得られた感度関数データを感度関数メモリ16の各行の第2列に相当する位置へ書き込む。以下、照明光源がxnの位置になるまで同様の処理を行い、各位置での感度関数データを対応する感度関数メモリ16に書き込む。
【0065】
そして、感度関数メモリ16の各値は圧縮器17にてそのデータ量が圧縮され、感度関数データHθmax としてR用感度関数メモリ19rに記憶される。
【0066】
次に、画角をθint だけ小さくして同様に処理を行って得られる感度関数データHθmax−int をR用感度関数メモリ19rに記憶する。
【0067】
そして、このようにθint だけ異なる各視野すべてにわたり感度関数データを記憶し最終的に画角がθmin になるまで同様の処理を繰り返す。
【0068】
なお、検出においてはその視野は原画像の所定位置x1〜xnの範囲を等分するn位置で撮像することになる。
【0069】
以上で、R画像に対する感度関数データの記憶を終え、同様にしてG,B画像の感度関数データも求められ、それぞれG用感度関数メモリ19g及びB用感度関数メモリ19bに記憶され、感度関数データの記憶が終了する。
【0070】
次に、この測定により求められた感度関数データを用いて撮像素子により撮像された画像の復元を行う、画像復元手段を備えた撮像装置について説明する。
【0071】
図2は、上記感度関数測定手段によって求めた感度関数データを用いて、画像の復元法をいわゆるズーミングに応用する画像復元手段を備えた撮像装置の第1実施例についての構成図である。
【0072】
なお、図1と同様な構成については同一符号を付してそれらの詳細な説明は省略する。
【0073】
図2において、上記図1の感度関数測定手段における減算器14に画像データを記憶するフレームメモリ23を接続する。
【0074】
そして、図1においては切り替え回路18を介して圧縮器17に接続していたR用感度関数メモリ19r、G用感度関数メモリ19g、B用感度関数メモリ19bは、図2においては、アドレス制御器20にのみ接続される。
【0075】
この各メモリ19r,19g,19bには上述したようにしてそれぞれR,G,B画像の感度関数データが記憶されており、それらからの出力を選択するための切り替え回路24はコントローラ22に接続される。
【0076】
そして、画像復元手段として切り替え回路24はデータ伸長器25を介して(HHT )+ 算出器26及びHs T 算出器27に接続される。
【0077】
さらに、その各算出出力及び前記画像データより復元画像データを算出すべく、前記各算出器26,27及びフレームメモリ23はfe(r)算出器28に接続される。
【0078】
そして、視野絞り3を介して撮影レンズ5の前面に存在する撮影被写体30の復元画像を表示する表示装置29はfe(r)算出器28に接続される。
【0079】
次に上記構成に基づく画像復元装置の作用について説明する。
【0080】
撮像被写体30に対する撮像が始まると希望する画角θになるようにコントローラ22を介して画角設定回路21により視野絞り3、液晶レンズ5が調節される。
【0081】
そして、図示しない測光系によりCMD10の露光時間が設定され、回転色フィルタ8がコントローラ22を介して色フィルタドライバ9によってRにセットされる。
【0082】
さらに、撮像被写体30が光学系3,4,5を介してCMD10にて撮像されて得られる画像信号はプリアンプ12で増幅され、そしてA/D変換器13にてデジタル信号に変換され、減算器14にてFPNが減算された後フレームメモリ23に画像データg(r) として記憶される。
【0083】
一方、アドレス制御器20により画角θに対応した感度関数データHがR用感度関数メモリ19rから読み出され、切り替え回路24を介してデータの伸長器25へ入力される。
【0084】
データ伸長器25では感度関数Hが復号され、(HHT )+ 算出器26及びHs T 算出器27へ入力される。
【0085】
(HHT )+ 算出器26ではまず(7)式によりHHT の各成分が計算され、続いて(HHT )+ が計算される。
【0086】
また、Hs T 算出器27ではn個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置することによりHs T を求めfe(r)算出器28に入力する。
【0087】
fe(r)算出器28ではフレームメモリ23より入力されるg(r) ,(HHT )+ 算出器26より入力される(HHT )+ 及びHs T 算出器27より入力されるHs T より(7)式に基づいてRの復元画像データfe(r)を算出し、表示装置29へ出力する。
【0088】
さらにG,B画像についても同様に復元画像データを算出した後、表示装置29へ出力されて表示される。
【0089】
また、画角を異なる値に設定した場合は、対応した感度関数データが各感度関数メモリ19r,g,bから読み出され同様な処理が行われる。
【0090】
以上詳述したように、本実施例によれば、撮影レンズに収差がある場合や焦点はずれが生じている場合においてもPSFを計測することなしに感度関数さえわかっていれば原画像を復元することが可能であるため多くのレンズ群を用いることなしに自動合焦調節にも利用できる。
【0091】
その時には撮像素子全体に被写体像の光が入射し無駄がなくなるよう、光学系の一部を液晶レンズとしてその光路変化させるとともに、視野絞りを連動させて駆動させることにより復元画像の精度を向上させることができる。
【0092】
また、本実施例では感度関数をデータ圧縮してから記憶するようにしたため、感度関数データの記憶容量が各なくてすむようになった。
【0093】
さらに、本実施例ではRGBの3原色での感度関数データを用いて復元したためカラー画像を良好に復元することが可能である。
【0094】
また、本実施例ではHs T を変更することにより、容易に異なる画素数で表示することが可能である。
【0095】
さらに、本実施例では撮像素子に画素欠陥がある場合においても原画像を正しく復元することができる。
【0096】
なお、本実施例ではCMD10の全画素を用いて画像の復元を行ったが、本発明では感度関数データHを求めさえすれば、撮像素子の画素数や画素の位置の制限はないため、例えば適当な画素のランダムサンプリングでも画像を正確に復元することが可能である。
【0097】
また、本実施例では感度関数データHを記憶するようにしたが、感度関数データの記憶時にHs T (HHT )+ まで計算してこれを記憶するようにしてもよい。
【0098】
本実施例では感度関数の測定において照明光源を駆動するようにしたが照明光源を固定してCMDやレンズ系からなる撮像部を駆動するようにしてもよい。
【0099】
さらに、感度関数記憶手段においては、図6のようにモニタ31、表示制御器32を用いて照明光源に相当する点を、順次移動して表示させることにより感度関数の測定を行ってもよい。
【0100】
さらに、ズーミング時に液晶レンズを用いて光路を変化させるようにしたが、図7(a),(b)に示すように複数のレンズ33a,bを移動させるようにしてもよい。
【0101】
なお、図7(a),(b)はそれぞれ広角撮像の場合と、望遠撮像の場合を示しており、前述した図5(a),(b)に対応した関係を有している。
【0102】
次に、第1実施例とは異なる幾つかの実施例について説明する。
【0103】
前述した第1実施例では図3に示したように、原画像と光学系における撮影レンズまでの距離が一定であるという条件の下で感度関係の測定及び撮像された画像の復元が行われた。
【0104】
しかし、実際には感度関数は、撮影レンズから原画像までの距離に応じて変化するため、この距離に応じた感度関数を測定して、それに基いて原画像の復元を行う必要がある。
【0105】
そこで、次に、この原理に基いた第2実施例について図8〜図10を用いて説明する。
【0106】
なお、前述した第1実施例と同じ働きをする部材については同じ符号を付す。図8は第2実施例における感度関数及び復元フィルタの作成のための構成図を示す。この図8において、図1に示した実施例と異なる点はカラー信号を得るために回転色フィルタの代わりに例えば図9(a)に示すようなストライプタイプのカラーフィルタアレイ39を用いている点と、照明光源1と撮影レンズ4までの距離Di に応じて、復元フィルタを作成する点である。
【0107】
図8において参照符号34は測距装置(AFセンサ)であり、上記距離Di を測距する。
【0108】
参照符号35は色分離回路であり、カラーフィルタアレイ39を用いて撮像されたカラー信号をR,G,Bの各色信号に分離して各色別の感度関数メモリ16r,16g,16bに出力する。
【0109】
参照符号36r,36g,36bは復元フィルタ算出器であり、図9(b)に示すように(HHT )+ 算出器26、Hs T 算出器27、及び乗算器37により構成されることにより、Hs T (HHT )+ なる復元フィルタを計算するものである。
【0110】
また、参照符号38r,38g,38bはR,G,Bそれぞれに計算した復元フィルタを記憶するためのメモリであり、距離Di に応じて対応するアドレスに書き込まれるように構成されている。
【0111】
そして、照明光源1と撮影レンズ4の距離をXYステージ2によって変化させ、その距離Di を測距装置34(AFセンサ)にて計測し、算出した復元フィルタを、対応した復元フィルタに書き込む。距離Di には例えば至近から(x)付近までのI個選択(D1 〜DI )とする。
【0112】
図10は画像の復元回路を示す。
【0113】
図10において、参照符号40r,40g,40bはフィルタリング器であり、各色別のフレームメモリ16r,16g,16bからの画像データgR ,gG ,gB に基いて復元画像データR′,G′,B′を次式より算出する。
【0114】
R′=eR gR …(8)
G′=eG gG …(8′)
B′=eB gB …(8″)
この(8),(8′),(8″)式で、eR ,eG ,eB はn×m行列(ここで、nは感度関数の測定数、mはCMDの画素数)であり、且つgR ,gG ,gB はm×1行列である。
【0115】
なお、図10において参照符号41はCRTやビデオプリンタ等の出力装置である。
【0116】
次に復元処理についてその作用を説明する。
【0117】
適正な露光量の下にCMD10により撮像された被写体30の画像信号はプリアンプ12を介してA/D変換器13によりデジタル信号に変換された後、色分離回路35によりR,G,Bの各色別のデータに分離され、フレームメモリ16r,16g,16bにそれぞれ記憶される。
【0118】
一方、測距装置34の働きにより被写体30までの距離Di が計測され、アドレス制御器20により各色の距離Di に対応する復元フィルタeR ,eG ,eB が復元フィルタメモリ38r,38g,38bより読み出される。
【0119】
そして、各フィルタリング器40r,40g,40bにより、(8),(8′),(8″)式の演算が行われることにより得られた復元信号R′,G′,B′が出力装置41へ出力され、CRTへの画像表示等がなされる。
【0120】
以上のような第2実施例によれば、各距離Di 毎に、復元フィルタを設計し、また、復元処理の際には被写体までの距離に応じて復元フィルタを選択するようにしたため、被写体までの距離が異なる場合にも適切な復元処理を行うことができる。
【0121】
また、第2実施例では回転フィルタの代わりにカラーフィルタアレイを用いているため第1実施例のような回転色フィルタ及びその駆動装置は不要となる。
【0122】
このカラーフィルタアレイはストライプタイプに限らず、モザイクタイプ、チェックタイプ等の他の適宜なものでもよい。
【0123】
また、第2実施例では画角を変化させていないが、第1実施例と同様に画角を変化させてもよい。
【0124】
ところで、第2実施例では復元処理の際に被写体までの距離Di を計測するための測距装置(AFセンサ)を必要としていた。
【0125】
そこで、次に説明する第3実施例は、撮像部の小型軽量化のために測距装置(AFセンサ)を用いない場合である。
【0126】
図11は第3実施例による復元処理回路の構成図を示す。
【0127】
図11において、参照符号45は距離検出部であり、図12(a)に示すような復元データR′,G′,B′から輝度データY′を検出するための輝度検出器42、輝度Y′からバンドパスフィルタ等により画像のコントラストを検出するためのコントラスト検出器43、及びそのコントラスト値を記憶するためのコントラストメモリ46、コントラスト値の最大値を検出するための最大値検出器44により構成される。
【0128】
次に、第3実施例の作用について説明する。
【0129】
先ず、第2実施例と同様に撮影された被写体信号は、色分離後、フレームメモリ16r,16g,16bに記憶される。
【0130】
そして、コントローラ22を介してアドレス制御器20により、被写体距離D1 に相当する復元フィルタが復元フィルタメモリ38r,38g,38bから読み出され、フィルタリング器40r,40g,40bにより復元信号R′,G′,B′が求められる。
【0131】
そして、輝度検出器42により輝度データY′が求められ、続いてコントラスト検出器43によりコントラスト値が求められ、コントラストメモリ46の距離D1 の位置に対応した位置に書き込まれる。
【0132】
次に、被写体距離D2 に相当する復元フィルタが復元フィルタメモリから読み出され、同様にしてコントラスト値が求められ所定の位置に書き込まれる。
【0133】
以上のような処理が被写体距離DI まで行われることにより、各距離でのコントラスト値が求められる。
【0134】
最大値検出器44では、そのコントラスト値が最大となる距離Dmax (図12b参照)をコントローラ22へ出力する。再び、距離Dmax に対応した復元フィルタが復元フィルタメモリ38r,38g,38bから読み出されてフィルタリング器40r,40g,40bにより復元処理が行なわれることにより復元データR′,G′,B′が出力装置41へ出力される。
【0135】
以上のようにして第3実施例では、コントラスト値が最大となる復元フィルタを選んで、復元を行うため、被写体の距離に依らず合焦した画像を得ることができる。
【0136】
従って、第3実施例では測距装置(AFセンサ)を必要とせず、また、撮影レンズを動かす必要もないので、軽量小型な撮像部を提供することができる。
【0137】
また、第3実施例ではコントラスト検出器43にてコントラストを検出する際に、その範囲と位置を自由に設定できることから、撮影後に自由に合焦させたい位置を指定できる。
【0138】
なお、第3実施例ではコントローラからの制御により復元フィルタを距離の順番に選ぶようにしたが、例えば、復元フィルタメモリの読み出し位置が変化するつまみ(図示せず)を設け、観察者がこのつまみを操作して復元画像を表示装置41の画面上で確認しながら、出力すべき画像を選択するようにしてもよい。
【0139】
前述の実施例は画面全体を復元するものであり、(HHT )+ 算出器ではm×m行列の一般化逆行列を求める演算をすることになる。
【0140】
通常mは5002 =250000程あり、HHT の一般化逆行列を求めることはかなり複雑になる。そこで、画面を細かく分割し、その分割領域毎に復元フィルタを設計することによってHHT の次元を小さくし、これによって、一般化逆行列を求め易くすることが可能である。
【0141】
第4実施例では、この画面の分割による手法を採用する場合について説明する。
【0142】
この場合、画面の分割は例えば図13(a)のように4×4=16分割を行うものとする。
【0143】
図14は第4実施例における分割領域毎の復元フィルタ算出回路の要部の構成図を示す。
【0144】
ここで50はメモリの読み書きを行うための制御部である。この第4実施例において、感度関数は前述の実施例と同様に測定を行うものとする。
【0145】
そして、復元フィルタ算出器47r,47g,47bでは、各分割領域に対応した感度関数を利用して、復元フィルタを算出し、分割復元フィルタメモリ48r,48g,48bに書き込む。
【0146】
図15は第4実施例による復元処理回路の構成図を示す。
【0147】
この第4実施例において、特徴とするところは、各分割領域毎に対応した分割復元フィルタを分割復元フィルタメモリ48r,48g,48bから読み出してフィルタリング器40r,40g,40bにより復元を行った後、画像合成回路49r,49g,49bにより復元した各分割領域画像を合成して、画面全体を復元することにある。
【0148】
なお、第4実施例では分割数を少くする程、行列HHT の次元が小さくなり、計算がし易くなるとともに復元フィルタの算出時間を短縮することができる。
【0149】
また、画面を分割する際に、図13(b)のように各分割領域が互いにオーバーラップ領域を持つようにすることにより、合成した画像の不連続な接続を避けることができる。また、逆行列を計算する代わりに従来の逐次的な解法を用いても勿論可能なものである。
【0150】
【発明の効果】
以上詳述したように、本発明によれば、感度関数記憶手段により、画素数がmの撮像素子の各画素が撮像する際にi番目の画素に寄与するn位置に等分された物体空間内それぞれの感度分布hi(r)を表す関数であり全画素をまとめて表すとm×n行列の形の感度関数Hを予め記憶し、画像復元手段により、前記感度関数記憶手段に記憶された感度関数Hを用いて前記撮像素子により撮像された観察画像g(r)を復元し、表示手段により、前記画像復元手段で復元された復元画像fe(r)を表示するとともに、前記画像復元手段により、前記表示手段の表示画素数をs、前記感度関数の転置行列をH T 、n個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置したs×m行列で表される変換をH S T 、疑似逆行列を + で表す場合、
fe(r)=H S T (HH T ) + g(r)の演算によって劣化した観察画像を復元することにより、原画像を解析的に連続画像として光学系の影響を受けず、正確に復元することを可能とした撮像装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1実施例に用いる感度関数測定手段の構成を示す図である。
【図2】本発明の第1実施例の画像復元手段の構成を示す図である。
【図3】本発明の感度関数の説明図を示す。
【図4】本発明の感度関数を示す。
【図5】本発明の画角設定機構を示す構成図である。
【図6】本発明の第1実施例の感度関数測定手段の変形例を示す構成図である。
【図7】本発明の第1実施例における画角設定機構の変形例を示す構成図である。
【図8】本発明の第2実施例における感度関数及び復元フィルタ作成のための構成図を示す。
【図9】図9(a)は本発明の第2実施例に用いるカラーフィルタアレイの一例を示し、且つ図9(b)は第2実施例に用いる復元フィルタ算出器を示す構成図である。
【図10】本発明の第2実施例による画像の復元回路を示す構成図である。
【図11】本発明の第3実施例による復元処理回路を示す構成図である。
【図12】図12(a)は本発明の第3実施例に用いる距離検出部を示す構成図であり、且つ図12(b)は本発明の第3実施例に用いる距離検出部において最大コントラスト値を与える距離情報が出力されることを説明するための図である。
【図13】図13(a),(b)は第4実施例における画面の分割形態を例示するための図である。
【図14】本発明の第4実施例における分割領域毎の復元フィルタ算出回路を示す要部の構成図である。
【図15】本発明の第4実施例における復元処理回路を示す構成図である。
【符号の説明】
1 照明光源
2 XYステージ
3 視野絞り
4 撮影レンズ
5 液晶レンズ
6 絞りドライバ
7 液晶レンズドライバ
8 回転フィルタ
9 色フィルタドライバ
10 電荷変調素子(CMD)
11 CMDドライバ
12 プリアンプ
13 A/D変換器
14 減算器
15 FPNメモリ
16 感度関数メモリ
17 圧縮器
18 切り替え回路
19r R用感度関数メモリ
19g G用感度関数メモリ
19b B用感度関数メモリ
20 アドレス制御器
21 画角設定回路
22 コントローラ
23 フレームメモリ
24 切り替え回路
25 伸長器
26 (HHT )+ 算出器
27 Hs T 算出器
28 fe(r)算出器
29 表示装置
30 撮影被写体
34 測距装置(AFセンサ)
35 色分離回路
36r,g,b 復元フィルタ算出器
38r,g,b 復元フィルタメモリ
39 カラーフィルタアレイ
40r,g,b フィルタリング器
41 出力装置
45 距離検出部
47r,g,b 復元フィルタ算出器
48r,g,b 分割復元フィルタメモリ
49r,g,b 画像合成回路
50 制御部
Claims (1)
- 撮影光学系と、
前記撮影光学系を介して入射される物体像f(r)を撮像し観察画像g(r)を得るための画素数がmの撮像素子と、
前記撮像素子の各画素が撮像する際にi番目の画素に寄与するn位置に等分された物体空間内それぞれの感度分布hi(r)を表す関数であり全画素をまとめて表すとm×n行列の形の感度関数Hを予め記憶した感度関数記憶手段と、
前記感度関数記憶手段に記憶された感度関数Hを用いて前記撮像素子により撮像された観察画像g(r)を復元する画像復元手段と、
前記画像復元手段で復元された復元画像fe(r)を表示する表示手段とを有し、
前記画像復元手段は、
前記表示手段の表示画素数をs、前記感度関数の転置行列をH T 、n個の要素からなる感度分布hi(r)から表示のためのs個の要素を補間演算により求め、これを転置したs×m行列で表される変換をH S T 、疑似逆行列を + で表す場合、
fe(r)=H S T (HH T ) + g(r)の演算によって劣化した観察画像を復元することを特徴とする撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04675193A JP3583447B2 (ja) | 1992-04-28 | 1993-03-08 | 撮像装置 |
US08/037,094 US5294976A (en) | 1992-04-28 | 1993-03-25 | Image pickup system for reproducing image data using sensitivity function |
US08/142,571 US5450128A (en) | 1992-04-28 | 1993-10-22 | Image pickup system for reproducing image data using sensitivity function |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13618392 | 1992-04-28 | ||
JP4-136183 | 1992-04-28 | ||
JP04675193A JP3583447B2 (ja) | 1992-04-28 | 1993-03-08 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0698170A JPH0698170A (ja) | 1994-04-08 |
JP3583447B2 true JP3583447B2 (ja) | 2004-11-04 |
Family
ID=26386870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04675193A Expired - Fee Related JP3583447B2 (ja) | 1992-04-28 | 1993-03-08 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US5294976A (ja) |
JP (1) | JP3583447B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3059615B2 (ja) * | 1993-10-27 | 2000-07-04 | キヤノン株式会社 | 印刷システム及び印刷制御装置及び制御方法 |
JP3532368B2 (ja) * | 1996-12-10 | 2004-05-31 | 富士写真フイルム株式会社 | 内視鏡 |
US7245319B1 (en) | 1998-06-11 | 2007-07-17 | Fujifilm Corporation | Digital image shooting device with lens characteristic correction unit |
WO2000074384A1 (en) * | 1999-05-27 | 2000-12-07 | Cambridge Research & Instrumentation Inc. | Imaging system using color sensors and tunable filters |
JP2002369071A (ja) * | 2001-06-08 | 2002-12-20 | Olympus Optical Co Ltd | 画像処理方法および、それを実装したデジタルカメラおよび、プログラム |
US20050182328A1 (en) * | 2002-08-09 | 2005-08-18 | Hamamatsu Photonics K.K. | System enabling chromaticity measurement in the visible and invisible ranges |
JP2006203296A (ja) * | 2005-01-18 | 2006-08-03 | Canon Inc | 補間処理方法、補間処理プログラム及び撮像装置 |
JP2007240464A (ja) * | 2006-03-10 | 2007-09-20 | Toshiba Corp | 沸騰水型原子炉炉心状態監視装置 |
JP4818956B2 (ja) * | 2007-02-27 | 2011-11-16 | 京セラ株式会社 | 撮像装置およびその方法 |
JP4818957B2 (ja) * | 2007-02-27 | 2011-11-16 | 京セラ株式会社 | 撮像装置およびその方法 |
JP5135953B2 (ja) * | 2007-08-28 | 2013-02-06 | コニカミノルタアドバンストレイヤー株式会社 | 画像処理装置、画像処理方法、及び撮像装置 |
JP5202190B2 (ja) * | 2008-08-28 | 2013-06-05 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
JP5366775B2 (ja) * | 2009-12-01 | 2013-12-11 | キヤノン株式会社 | 撮像装置および画像処理方法 |
CN102422632B (zh) | 2010-04-23 | 2014-04-30 | 松下电器产业株式会社 | 摄像装置以及图像复原方法 |
JP5361976B2 (ja) * | 2011-08-25 | 2013-12-04 | キヤノン株式会社 | 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置 |
JP6056160B2 (ja) * | 2012-03-09 | 2017-01-11 | カシオ計算機株式会社 | 自動合焦装置、自動合焦方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3595990A (en) * | 1968-06-14 | 1971-07-27 | Clayton A Washburn | Color camera |
DE3312962A1 (de) * | 1982-04-12 | 1983-10-13 | Canon K.K., Tokyo | Bildaufnahmevorrichtung |
DE3432393C2 (de) * | 1983-09-05 | 1986-06-19 | Olympus Optical Co., Ltd., Tokio/Tokyo | Automatische Abblendvorrichtung für ein Endoskop |
US4768876A (en) * | 1983-09-08 | 1988-09-06 | Canon Kabushiki Kaisha | Image sensing system using illuminating device |
US4602291A (en) * | 1984-05-09 | 1986-07-22 | Xerox Corporation | Pixel non-uniformity correction system |
US4870493A (en) * | 1986-08-01 | 1989-09-26 | Hitachi, Ltd. | Solid-state matrix array imaging device controlled by vertical scanning registers for read-out and for photo-sensitivity control |
US4987482A (en) * | 1987-10-27 | 1991-01-22 | Canon Kabushiki Kaisha | Image pickup apparatus having exposure control for human subjects |
US5040068A (en) * | 1989-12-28 | 1991-08-13 | Eastman Kodak Company | Electronic imaging apparatus with interchangeable pickup units |
-
1993
- 1993-03-08 JP JP04675193A patent/JP3583447B2/ja not_active Expired - Fee Related
- 1993-03-25 US US08/037,094 patent/US5294976A/en not_active Expired - Lifetime
- 1993-10-22 US US08/142,571 patent/US5450128A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5294976A (en) | 1994-03-15 |
US5450128A (en) | 1995-09-12 |
JPH0698170A (ja) | 1994-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3583447B2 (ja) | 撮像装置 | |
KR101388564B1 (ko) | 향상된 화질을 갖는 이미지 캡쳐 장치 | |
US9406111B2 (en) | Image display apparatus and image display method | |
JP4413261B2 (ja) | 撮像装置及び光軸制御方法 | |
KR100957261B1 (ko) | 화상 촬영 장치 및 색수차 보정 방법 | |
CN101981938B (zh) | 摄像装置和光轴控制方法 | |
EP1250001B1 (en) | Image pickup apparatus | |
CN102246505B (zh) | 图像处理设备和图像处理方法以及数据处理设备和数据处理方法 | |
KR102224697B1 (ko) | 조도 측정을 위한 다중 카메라 이미징 | |
JPH11122626A (ja) | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 | |
US20110025875A1 (en) | Imaging apparatus, electronic instrument, image processing device, and image processing method | |
JPH06141246A (ja) | 撮像装置 | |
US5325190A (en) | Color field sequential imaging apparatus having color-misregistration correction function based on correlations in units of colors | |
CN112020853A (zh) | 摄像机模块及其超分辨率图像处理方法 | |
US5861916A (en) | Apparatus for detecting movement using a difference between first and second image signals | |
JPH1132251A (ja) | 画像処理装置 | |
WO2000072584A1 (en) | Targetable autofocus system | |
JP4315540B2 (ja) | 顕微鏡撮影装置 | |
WO2009088068A1 (ja) | 撮像装置及び光軸制御方法 | |
WO2024053046A1 (ja) | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 | |
JP2000125169A (ja) | 撮像装置 | |
JPH10198783A (ja) | 画像入力装置 | |
JP5501884B2 (ja) | 色ずれ補正装置 | |
CN117119272A (zh) | 真彩色成像方法及系统 | |
JPH05244609A (ja) | カラー撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040729 |
|
LAPS | Cancellation because of no payment of annual fees |