JPH0974514A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】撮影光学系の特性にかかわらず、撮像した劣化
画像を正確に元の画像に復元することができる撮像装置
を提供する。 【解決手段】撮影光学系７を介して入射される撮影被写
体の物体像を撮像するＣＣＤ９と、撮影光学系７と撮影
被写体との間の距離を検出する被写体位置検出装置１３
と、撮影光学系７の焦点距離を検出するコントロール部
１２と、撮影光学系７と撮影被写体との間の複数の距離
及び複数の焦点距離の組み合わせに対応した補正データ
が記憶された補正マトリクスメモリ１７と、被写体位置
検出装置１３及びコントロール部１２によって検出され
た撮影光学系７と撮影被写体との間の距離、及び撮影光
学系７の焦点距離とに対応する補正データを補正マトリ
クスメモリ１７から読み出し、この読み出した補正デー
タを用いてＣＣＤ９によって撮像された物体像に対し補
正処理を行う補正画像生成部１８を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は撮像装置に関する。

【０００２】

【従来の技術】被写体の撮像装置においては、撮影光学
系の特性によって撮影時に被写体像が劣化するのを防ぐ
ために何らかの方法が用いられている。例えば、複数の
レンズを適宜組み合わせて配置することによってレンズ
の収差をできるだけ少なくし、撮影時の被写体像の劣化
を抑えることを意図したものがある。また、レンズの焦
点を合わせるためにオートフォーカス機構を用いた撮像
装置もある。

【０００３】

【発明が解決しようとする課題】しかしながら、上記し
た従来の撮像装置においては、安価なレンズを適宜組み
合わせた場合は、劣化した画像を正確に復元することが
できなかった。また、高価なレンズを組み合わせた場合
は、撮影光学系全体が大きなものになってしまう。ま
た、良好な合焦状態を得るためには高価なＡＦ機構を使
用しなければならなかった。

【０００４】本発明の撮像装置はこのような課題に着目
してなされたものであり、その目的とするところは、撮
影光学系の特性にかかわらず、撮像した劣化画像を正確
に元の画像に復元することができる撮像装置を提供する
ことにある。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る撮像装置は、撮影光学系と、こ
の撮影光学系を介して入射される撮影被写体の物体像を
撮像する撮像手段と、前記撮影光学系と撮影被写体との
間の距離を検出する被写体位置検出手段と、前記撮影光
学系の焦点距離を検出する焦点距離検出手段と、前記撮
影光学系と撮影被写体との間の複数の距離及び複数の焦
点距離の組み合わせに対応した補正データが記憶された
記憶手段と、前記被写体位置検出手段及び前記焦点距離
検出手段によって検出された前記撮影光学系と撮影被写
体との間の距離、及び撮影光学系の焦点距離とに対応す
る補正データを前記記憶手段から読み出し、この読み出
した補正データを用いて前記撮像手段によって撮像され
た物体像に対し補正処理を行う劣化画像補正手段とを具
備する。

【０００６】また、第２の発明に係る撮像装置は、第１
の発明に係る撮像装置において、前記撮影光学系、撮影
被写体及び前記撮像手段の間の距離情報、前記撮影光学
系の焦点距離情報及び前記撮影光学系に関する設計上の
光学系情報とを用いて、同一の撮影被写体の空間周波数
情報から、計算により前記撮影光学系が合焦状態にある
ときに理論的に前記撮像手段に結像する理想画像情報
と、前記撮影光学系が非合焦状態にあるときに理論的に
前記撮像手段に結像する劣化画像情報とを得て、これら
理想画像情報と劣化画像情報とから計算により前記補正
データを求める。

【０００７】また、第３の発明に係る撮像装置は、撮影
光学系と、この撮影光学系を介して入射される撮影被写
体の物体像を撮像する撮像手段と、前記撮影光学系の焦
点距離を検出する焦点距離検出手段と、前記撮影光学系
の焦点距離を変化させる焦点距離変化手段と、前記撮影
光学系と撮影被写体との間の距離を検出する被写体位置
検出手段と、前記焦点距離変化手段に与える焦点距離の
設定値を出力する焦点距離出力手段と、前記撮影光学系
と撮影被写体との間の複数の距離及び複数の焦点距離の
組み合わせに対応した補正データが記憶された記憶手段
と、前記被写体位置検出手段及び前記焦点距離検出手段
によって検出された前記撮影光学系と撮影被写体との間
の距離、及び撮影光学系の焦点距離とに対応する補正デ
ータを前記記憶手段から読み出し、この読み出した補正
データを用いて前記撮像手段によって撮像された物体像
に対し補正処理を行う劣化画像補正手段とを有し、同一
の撮影被写体を前記撮影光学系が合焦状態にあるときに
前記撮像手段に結像したときの像の理想画像情報と、前
記撮影光学系から撮影被写体迄の任意の距離Ａのもとで
非合焦状態にあるときに前記撮像手段に結像したときの
像の劣化画像情報とを実際に得て、これら理想画像情報
と劣化画像情報とから計算により前記撮影光学系から撮
影被写体迄の任意の距離Ａのもとでの前記補正データを
求める。

【０００８】また、第４の発明に係る撮像装置は、第３
の発明に係る撮像装置において、前記記憶手段は、前記
撮影光学系と撮影被写体との間の複数の距離及び前記撮
影光学系の複数の焦点距離の組み合わせに対応した補正
データを持ち、前記劣化画像補正手段は、前記被写体位
置検出手段が求めた距離情報及び前記焦点距離出力手段
が出力した焦点距離情報に基づいて前記記憶手段から読
み出した補正データを用いて前記撮像手段で撮像された
物体像に対し補正処理を行う。

【０００９】すなわち、第１の発明に係る撮像装置は、
撮影光学系を介して入射される撮影被写体の物体像を撮
像手段によって撮像するにあたって、前記撮影光学系と
撮影被写体との間の距離を被写体位置検出手段によって
検出するとともに、前記撮影光学系の焦点距離を焦点距
離検出手段によって検出する。また、前記撮影光学系と
撮影被写体との間の複数の距離及び複数の焦点距離の組
み合わせに対応した補正データを記憶手段に記憶してお
く。そして、前記被写体位置検出手段及び前記焦点距離
検出手段によって検出された前記撮影光学系と撮影被写
体との間の距離、及び撮影光学系の焦点距離とに対応す
る補正データを前記記憶手段から読み出し、この読み出
した補正データを用いて前記撮像手段によって撮像され
た物体像に対し劣化画像補正手段によって補正処理を行
なうようにする。

【００１０】また、第２の発明に係る撮像装置は、第１
の発明に係る撮像装置において、前記撮影光学系、撮影
被写体及び前記撮像手段の間の距離情報、前記撮影光学
系の焦点距離情報及び前記撮影光学系に関する設計上の
光学系情報とを用いて、同一の撮影被写体の空間周波数
情報から、計算により前記撮影光学系が合焦状態にある
ときに理論的に前記撮像手段に結像する理想画像情報
と、前記撮影光学系が非合焦状態にあるときに理論的に
前記撮像手段に結像する劣化画像情報とを得て、これら
理想画像情報と劣化画像情報とから計算により前記補正
データを求めるようにする。

【００１１】また、第３の発明に係る撮像装置は、撮影
光学系を介して入射される撮影被写体の物体像を撮像手
段によって撮像するにあたって、焦点距離検出手段によ
って前記撮影光学系の焦点距離を検出するとともに、被
写体位置検出手段によって前記撮影光学系と撮影被写体
との間の距離を検出する。このとき、焦点距離出力手段
によって出力された焦点距離の設定値を焦点距離変化手
段に与えて前記撮影光学系の焦点距離を変化させる。ま
た、前記撮影光学系と撮影被写体との間の複数の距離及
び複数の焦点距離の組み合わせに対応した補正データを
記憶手段に記憶しておく。そして、前記被写体位置検出
手段及び前記焦点距離検出手段によって検出された前記
撮影光学系と撮影被写体との間の距離、及び撮影光学系
の焦点距離とに対応する補正データを前記記憶手段から
読み出し、この読み出した補正データを用いて前記撮像
手段によって撮像された物体像に対し劣化画像補正手段
によって補正処理を行うようにする。このとき、同一の
撮影被写体を前記撮影光学系が合焦状態にあるときに前
記撮像手段に結像したときの像の理想画像情報と、前記
撮影光学系から撮影被写体迄の任意の距離Ａのもとで非
合焦状態にあるときに前記撮像手段に結像したときの像
の劣化画像情報とを実際に得て、これら理想画像情報と
劣化画像情報とから計算により前記撮影光学系から撮影
被写体迄の任意の距離Ａのもとでの前記補正データを求
めるようにする。

【００１２】また、第４の発明に係る撮像装置は、第３
の発明に係る撮像装置において、前記記憶手段には、前
記撮影光学系と撮影被写体との間の複数の距離及び前記
撮影光学系の複数の焦点距離の組み合わせに対応した補
正データを記憶しておき、前記被写体位置検出手段が求
めた距離情報及び前記焦点距離出力手段が出力した焦点
距離情報に基づいて前記記憶手段から読み出した補正デ
ータを用いて前記撮像手段で撮像された物体像に対し前
記劣化画像補正手段によって補正処理を行なうようにす
る。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。図１は本発明の第１実施形態
に係る撮像装置の構成を示すブロック図である。同図に
おいて、撮影光学系７は撮影被写体１を撮影できる所定
の位置に配置されている。この撮影光学系７は、撮影被
写体１からの光束を調節するための視野絞り２及びこの
視野絞り２を駆動する絞りドライバ３と、レンズ（可動
レンズ）４及びこのレンズ４を駆動して焦点距離を制御
するレンズドライバ５と、焦点距離を設定する焦点距離
設定回路６とから構成される。

【００１４】また、撮影光学系７に隣接して、Ｒ
（赤）、Ｇ（緑）、Ｂ（青）の色フィルタからなる回転
色フィルタ８が配置され、この回転色フィルタ８には、
レンズ４を透過した光を検出するための撮像手段として
のＣＣＤ９と、プリアンプ１４と、Ａ／Ｄ変換器１５
と、フレームメモリ１６とが順に接続されている。フレ
ームメモリ１６は補正画像を生成する劣化画像補正手段
としての補正画像生成部１８の第１入力部に接続され、
この補正画像生成部１８の出力部は生成された補正画像
を表示するための表示装置１９に接続されている。

【００１５】また、記憶手段としての補正マトリクスメ
モリ１７は、Ｒ（赤）用補正マトリクスメモリ１７ａ
と、Ｇ（緑）用補正マトリクスメモリ１７ｂと、Ｂ
（青）用補正マトリクスメモリ１７ｃとから構成され、
その第１入力部と第２入力部はコントロール部１２に接
続されている。第１入力部は３つの補正マトリクスメモ
リ１７ａ，１７ｂ，１７ｃのうちから１つを選択するた
めのＲＧＢ選択信号を受け、第２入力部は焦点距離情報
ｆを受ける。また、補正マトリクスメモリ１７の第３入
力部は被写体位置情報ｑを受けるべく被写体位置検出装
置１３に接続され、その出力部は補正画像生成部１８の
第２入力部に接続されている。被写体位置検出装置１３
とコントロール部１２とは、撮影光学系７の特性を決定
する光学パラメータ（被写体位置情報ｑ及び焦点距離情
報ｆ）を検出する検出手段を構成する。

【００１６】さらに、コントロール部１２は、上記絞り
ドライバ３とレンズドライバ５とに接続された焦点距離
設定回路６と、回転色フィルタ８を駆動するための色フ
ィルタドライバ１０と、ＣＣＤ９を駆動するためのＣＣ
Ｄドライバ１１に接続されている。

【００１７】上記した補正マトリクスメモリ１７のＲ
（赤）用補正マトリクスメモリ１７ａと、Ｇ（緑）用補
正マトリクスメモリ１７ｂと、Ｂ（青）用補正マトリク
スメモリ１７ｃにはそれぞれ、劣化した画像を補正する
ための補正データとしてのＲ用補正マトリクスとＧ用補
正マトリクスとＢ用補正マトリクスとがあらかじめ求め
られて記憶されているが、以下この補正マトリクスの算
出方法について説明する。

【００１８】図２はこのような補正マトリクスを算出す
るための構成を示しており、学習データとしての劣化画
像と理想画像を受けて以下に述べる学習によって補正マ
トリクスを計算する補正マトリクス学習回路２０と、求
めた補正マトリクスを記憶するための補正マトリクスメ
モリ２１とを具備している。ここで、理想画像は図７
（ａ）〜（ｃ）に一例として示したような、光軸と直交
する平面での空間周波数情報を表現できるようなパター
ン情報を用いる。用いる理想画像のパターン数を多くす
るほど、以下で詳述する補正マトリクスがより適正なも
のとなる。このパターン数を以下ではＰとして表現して
いる。また、劣化画像は、被写体距離検出装置１３が検
出した前記撮影光学系７と撮影被写体１との間の距離情
報、焦点距離設定回路６が設定した前記撮影光学系７の
焦点距離情報及び前記撮影光学系７に関する設計上の光
学的情報とを用いて理想画像情報である前記パターン情
報から計算によって求めた画像情報である。

【００１９】一般に撮影光学系を介して撮像することに
よって元の画像が劣化した場合、劣化画像ｇ（ｒ）に所
定の補正マトリクスＶを乗算して補正画像ｆc （ｒ）を
得ることにより元の画像を復元できることが知られてい
る。

【００２０】 ｆc （ｒ）＝Ｖ×ｇ（ｒ） …（１） 以下にこの補正マトリクスＶを求める方法を説明する。
ここでは既知の撮影光学系についてあらかじめ得られた
設計上の光学データとして、複数の焦点距離データと、
撮像素子に対する被写体の位置データとを用意する。そ
して、これらのデータから特定の１組の焦点距離−被写
体位置データについて、劣化画像ｇ（ｒ）と、それに対
する理想画像ｆ（ｒ）についての各Ｐ個ずつのトレーニ
ングセット（学習セット）（ｉ＝１〜Ｐ）を学習データ
として用意する。

【００２１】 劣化画像 ｇ⁽ⁱ⁾ （ｒ） ｉ−１〜Ｐ 理想画像 ｆ⁽ⁱ⁾ （ｒ） ｉ−１〜Ｐ 補正画像 ｆc ⁽ⁱ⁾ （ｒ）ｉ＝１〜Ｐ とすると、 ｆc ⁽ⁱ⁾ （ｒ）＝Ｖ×ｇ⁽ⁱ⁾ （ｒ） …（２） となる。ここで、評価関数Ｅを

【００２２】

【数１】 と定義する。また、Ｐ個ずつの各トレーニングセットを
以下の行列表記で表す。

【００２３】 Ｆ＝（ｆ⁽¹⁾ ，ｆ⁽²⁾ ，…，ｆ^(p) ） Ｇ＝（ｇ⁽¹⁾ ，ｇ⁽²⁾ ，…，ｇ^(p) ） Ｆc ＝（ｆc ⁽¹⁾ ，ｆc ⁽²⁾ ，…，ｆc ^(p) ） Ｆc ＝ＶＧ そして、最適な補正マトリクスＶを求めるために、補正
マトリクスＶを更新するための式を Ｖ^(k+1) ＝Ｖ^(k) −γ（ｄＥ／ｄＶ^(k) ） γ：定数 …（４） のように与えると、 Ｖ^(k+1) ＝Ｖ^(k) −γ（Ｆc −Ｆ）Ｇ^t ＝Ｖ^(k) −γ（Ｖ^(k) Ｇ−Ｆ）Ｇ^t =V^(k) （Ｉ−γＧＧ^t ）＋γＦＧ^t …（５） （４）式において、Ｇ^t はＧの転置行列であり、Ｉは単
位行列である。

【００２４】ここで、ＧＧ^t が正則で、かつその全ての
固有値λｉに対してγが０＜１−γλｉ＜１を満たすと
きに補正マトリクスＶは収束して以下の（６）式にな
る。

【００２５】

【数２】

【００２６】補正マトリクス学習回路２０は入力された
劣化画像Ｇと理想画像Ｆに関する各Ｐ個の学習データを
用いて、（６）式に基づいて補正マトリクスＶを求め、
これをＲ、Ｇ、Ｂそれぞれ３色について補正マトリクス
の学習を行って補正マトリクスメモリ２１に逐次記憶す
る。

【００２７】次に、焦点距離データとして同じものを用
い、被写体位置データとして別のデータを用いて、上記
した方法で補正マトリクスＶを各色ごとに求める。この
ような操作をあらかじめ用意したすべての被写体位置デ
ータについて行って得られた補正マトリクスＶを補正マ
トリクスメモリ２１に記憶していく。

【００２８】次に、今度は、１つの被写体位置データに
ついて、焦点距離データを交換しながら補正マトリクス
Ｖを各色ごとに求め、この操作をあらかじめ用意したす
べての焦点距離データについて行って得られた補正マト
リクスＶを補正マトリクスメモリ２１に記憶する。

【００２９】補正マトリクスメモリ２１に蓄えられたＲ
用、Ｇ用、Ｂ用の補正マトリクスデータは、本撮像装置
が市場に出荷される前に組み込まれた補正マトリクスメ
モリ１７に書き込まれる。このとき例えばＲ用の補正マ
トリクスデータは、図３に示すように各被写体位置ｑ
₁ ，ｑ₂ ，…ｑ_n と各焦点距離ｆ₁ ，ｆ₂ ，…ｆ_n とが
対応づけられて書き込まれる。

【００３０】以下に、上記した方法で求められた補正マ
トリクスＶが記憶された補正マトリクスメモリ１７を使
用して劣化画像を補正する補正動作について説明する。
まず、レンズ４の焦点距離をコントロール部１２に入力
すると、焦点位置設定回路６はコントロール部１２から
の指令で焦点距離を設定する。レンズドライバ５はこの
設定された焦点距離になるようにレンズ４を駆動してそ
の位置を調節する。ここで、第１実施形態では比較的安
価なレンズを用い、かつ撮像光学系を小形にするために
できるだけ簡易な構成にしているので、焦点位置の調節
を行ってもレンズの収差などにより良好な合焦状態が得
られず撮像時の被写体像が劣化してぼける場合がある。
しかしながら、この時点で画像が劣化しても後述する補
正マトリクスを使用した補正処理によって元の画像を復
元することができる。

【００３１】次に色フィルタドライバ１０によって回転
色フィルタ８をＲ側に設定した後、焦点距離の設定され
たレンズ４を通して撮影被写体１を撮影し、ＣＣＤ９で
物体光を検出し電気信号として出力する。この電気信号
はプリアンプ１４で増幅され、Ａ／Ｄ変換器１５でデジ
タル信号に変換される。変換されたデジタル信号はフレ
ームメモリ１６に蓄えられ、Ｒ用画像信号（劣化画像ｇ
（ｒ））として補正画像生成部１８に送られる。

【００３２】補正画像生成部１８に入力されたＲ用画像
信号は以下のようにして補正される。まず、補正マトリ
クスメモリ１７において、コントロール部１２からのＲ
ＧＢ選択信号によってＲ用補正マトリクスメモリ１７ａ
が選択され、かつ被写体位置検出装置１３からの被写体
位置情報ｑと、コントロール部１２からの焦点距離情報
ｆに対応するＲ用補正マトリクスＶがＲ用補正マトリク
スメモリ１７ａから読み出される。ここで、被写体位置
検出装置１３からの被写体位置情報ｑ及びコントロール
部１２からの焦点距離情報ｆと同一の値がＲ用補正マト
リクスメモリ１７ａにないときには、それぞれの数値に
近い被写体位置情報、焦点距離情報を用いて、Ｒ用補正
マトリクスＶを選択し、Ｒ用補正マトリクスメモリ１７
ａから読み出す。補正画像生成部１８は図４に示すよう
な乗算部１８ａを具備しており、この乗算部１８ａでＲ
用補正マトリクスＶとフレームメモリ１６から入力され
るＲ用画像信号としての劣化画像ｇ（ｒ）とを乗算する
ことによってＲ用補正画像ｆc （ｒ）を生成して表示装
置１９へ出力する。

【００３３】次に色フィルタドライバ１０によって回転
色フィルム８をＧ（緑）に設定するとともに、ＲＧＢ選
択信号によってＧ用補正マトリクスメモリ１７ｂを選択
する。

【００３４】Ｇ用画像を得るためのレンズの焦点距離は
変化させない。よって、コントロール部１２から出力さ
れる焦点距離情報ｆはＲ用画像の時に用いたものと同じ
データである。

【００３５】補正画像生成部１８は撮影被写体１を撮影
して得られたＧ用画像データをフレームメモリ１６から
読出してこれにＧ用補正マトリクスメモリ１７ｂからの
Ｇ用補正マトリクスＶを乗算してＧ用補正画像ｆc
（ｒ）を求め、これを表示装置１９へ出力する。以下、
同様にして得られたＢ（青）用画像データについても、
Ｂ用補正マトリクスメモリ１７ｃからのＢ用補正マトリ
クスＶを乗算してＢ用補正画像ｆc （ｒ）を求めて表示
装置１９へ出力する。

【００３６】表示装置１９はこのようにして得られたＲ
用、Ｇ用、Ｂ用補正画像ｆc （ｒ）を合成して得られる
合成画像を表示する。以上、第１実施形態によれば、撮
影光学系の特性にかかわらず、撮像によって劣化した画
像を正確に元の画像に復元することができる。これによ
って撮影光学系の構成を安価な構成とすることができ
る。すなわち、安価なレンズや簡易な撮影光学系あるい
は精度の高くないＡＦ機構を用いたことにより、あるい
は焦点を合わせるための機構を持たないために撮像時の
画像が劣化しても、本実施形態の補正マトリクスを用い
て補正することにより元の画像を正確に復元することが
できる。また、本実施形態はＲ、Ｇ、Ｂの３色それぞれ
について補正マトリクスを用意しているので、安価なレ
ンズを用いたために色収差が発生してもこれを補正して
元の画像を復元できる。なお、色収差の少ないレンズを
用いた場合は、ＲＧＢの３色について補正マトリクスを
求める必要はなく、輝度データのみでよい。

【００３７】なお、補正マトリクスメモリ１７として着
脱可能なメモリカードを用い、例えばレンズ４を他のレ
ンズと交換したときにこれに合わせて他のメモリカード
と交換するようにしてもよい。

【００３８】以下に本発明の第２実施形態を説明する。
第２実施形態は実際に使用される撮影光学系を用いて被
写体の撮像を行い、得られた画像を学習データとして用
いる。ここでは、図５に示すような構成の撮影光学系を
用いるものとする。この構成は図１に示す第１実施形態
の構成において補正マトリクス学習回路２０と学習デー
タメモリ２１とからなる回路ブロックをさらに設けた点
が主として第１実施形態と異なる。この回路ブロックは
フレームメモリ１６と補正画像生成部１８との間に設け
られた学習切り替えスイッチ２２と、コントロール部１
２と被写体位置検出装置１３と、補正マトリクスメモリ
１７に接続されている。他の構成は第１実施形態と同様
なのでここでは説明を省略する。

【００３９】まず、学習切り替えスイッチ２２をａ側に
し、撮影被写体１の像がＣＣＤ９にピントがあって結像
するようなレンズ４の焦点距離をコントロール部１２に
入力する。ここで、コントロール部１２へのレンズ４の
焦点距離の入力は、撮影光学系７がＡＦ機能を有してい
るときには図示しないＡＦ制御部が行い、撮影光学系７
がＡＦ機能を有していないときには操作者がマニュアル
で行う。レンズドライバ５はこの設定された焦点距離に
なるようにレンズ４を駆動してその位置を調節する。次
に、色フィルタドライバ１０によって回転色フィルタ８
をＲ（赤）に設定した後、焦点距離の設定されたレンズ
４を通して撮影被写体１を撮影してＣＣＤ９で物体光を
検出し電気信号として出力する。ここで撮影被写体１と
しては第１実施形態で用いた図７に示すようなパターン
を用いる。ただし、第２実施形態では図７に示すような
パターンを有する実際のチャート紙を撮影被写体１とし
て用いる。ＣＣＤ９から出力された電気信号はプリアン
プ１４で増幅され、Ａ／Ｄ変換器１５でデジタル信号に
変換された後、画像データとしてフレームメモリ１６に
蓄えられる。また、フレームメモリ１６に書き込まれた
画像データは学習データとして学習データメモリ２１に
も書き込まれる。同様にして回転色フィルタ８を切り替
えてＧ（緑）、Ｂ（青）についても上記の操作を行って
得られた画像データを学習データメモリ２１に書き込
む。このとき、コントロール部１２からの焦点距離情報
ｆと、被写体位置検出装置１３からの被写体位置情報ｑ
も検出されて学習データメモリ２１に記憶される。

【００４０】この学習データメモリ２１に記憶した画像
データは、以下で詳述する理想画像ｆ（ｉ）として用い
られる。次に、劣化画像を取り込むために、焦点距離、
被写体位置及び色フィルタを変えて撮影被写体１を撮影
し上記に示した操作と同様に画像データを学習データメ
モリ２１に蓄える。このとき、コントロール部１２から
の焦点距離情報ｆと、被写体位置検出装置１３で検出さ
れた被写体位置情報ｑも学習データメモリ２１に記憶さ
れる。焦点距離情報ｆ、被写体位置情報ｑ及び色フィル
タ情報と、画像データは対応付けて学習データメモリ２
１に記憶される。

【００４１】以下に、このようにして求められた学習デ
ータを用いて最適な補正マトリクスを求める方法を説明
する。ここでは、Ｐ枚の画像データがあるものとしてこ
れに対応する理想画像ｆ⁽ⁱ⁾ と劣化画像ｇ⁽ⁱ⁾ を用いて
補正マトリクスを決める。

【００４２】ここでは理想画像ｆ⁽ⁱ⁾ 、劣化画像ｇ
⁽ⁱ⁾ 、補正画像ｆc ⁽ⁱ⁾ を第１実施形態と同様に行列表
記を用いて、 Ｆ＝（ｆ⁽¹⁾ ，ｆ⁽²⁾ ，…，ｆ^(P) ） Ｇ＝（ｇ⁽¹⁾ ，ｇ⁽²⁾ ，…，ｇ^(P) ） Ｆc ＝（ｆc ⁽¹⁾ ，ｆc ⁽²⁾ ，…，ｆc ^(P) ） Ｆc ＝ＶＧ のように定義する。

【００４３】そして、補正マトリクスＶの初期行列Ｖ
⁽¹⁾ を与え、以下の（７）式及び（８）式に基づいて補
正マトリクスＶを評価する。ここでは評価関数ｅとして
以下の式を用いる。

【００４４】

【数３】

【００４５】ｄｅ／ｄＶが０になったときに評価関数ｅ
が最小と考えられるが、ここでは冗長性をもたせて最小
値よりも所定の値だけ大きい値ｅ_c を用い、ｅがｅ_c よ
りも小さくなったとき、すなわち、次の（８）式を満た
したときに評価を打ち切るものとする。

【００４６】 ｅ＜ｅ_c …（８） まず、補正マトリクスが初期行列Ｖ⁽¹⁾ であるときの評
価関数ｅを求め、このｅが（８）式を満たしているかど
うかを判断する。ここで満たしている場合は初期行列Ｖ
⁽¹⁾ を補正マトリクスとして採用するが、満たさない場
合は以下の（９）、（１０）式に基づいて補正マトリク
スを更新する。

【００４７】 Ｖ^(k+1) ＝Ｖ^(k) −γ（ｄｅ／ｄＶ^(k) ） …（９） のように与えると、 Ｖ^(k+1) ＝Ｖ^(k) −γ（Ｆc −Ｆ）Ｇ^t ＝Ｖ^(k) −γ（Ｖ^(k) Ｇ−Ｆ）Ｇ^t ＝Ｖ^(k) （Ｉ−γＧＧ^t ）＋γＦＧ^t …（10） そして、（８）式を満たしたときの補正マトリクスの値
を最適な補正マトリクスＶとして採用する。

【００４８】以下に、図６のフローチャートを用いて上
記した補正マトリクスＶを求める動作をさらに説明す
る。まず、撮影したＰ枚の学習データとしての劣化画像
を準備する（ステップＳ１）。次に、初期補正マトリク
スＶ⁽¹⁾ を用いて（７）式の評価関数ｅの計算を行う
（ステップＳ２）。初期補正マトリクスとして通常は単
位行列を用いるが、必要に応じて他の行列を用いても良
い。次に評価関数ｅが閾値以下かどうか、すなわち
（８）式を満たすかどうかを判断し、ＹＥＳの場合は初
期補正マトリクスを正規の補正マトリクスとする（ステ
ップＳ９）。ここでＮＯの場合は、ステップＳ４に進ん
で（１０）式に基づいて補正マトリクスの更新を行って
暫定補正マトリクスを決定する（ステップＳ４，Ｓ
５）。次にこの暫定補正マトリクスを用いて評価関数ｅ
の計算を行い、これが（８）式を満たすかどうかを判断
する（ステップＳ６，Ｓ７）。ここでＮＯの場合はステ
ップＳ８に移行して（１０）式に基づいて補正マトリク
スを更新した後、ステップＳ５に戻って次の暫定補正マ
トリクスＶを決定して上記した処理を反復する。

【００４９】上記した処理を評価関数ｅが（８）式を満
たすまで繰り返し、満たしたときの補正マトリクスの値
を正規の補正マトリクスＶとする（ステップＳ９）。最
終的に得られた補正マトリクスは補正マトリクスメモリ
１７のＲ用補正マトリクスメモリ１７ａに書き込まれ
る。上記の方法で補正マトリクスが求められない場合は
初期補正マトリクスを設定し直して学習を行う。

【００５０】このようにしてＲ（赤）用の各焦点距離情
報ｆ及び各被写体位置情報ｑに関する補正マトリクスを
求めた後、同様にしてＧ（緑）、Ｂ（青）用の各焦点距
離情報ｆ及び各被写体位置情報ｑに関する補正マトリク
スを求めてＧ用補正マトリクスメモリ１７ｂ、Ｂ用補正
マトリクスメモリ１７ｃにそれぞれに書き込む。この場
合も図３に示すように、各被写体位置ｑ₁ ，ｑ₂ ，…ｑ
_n と各焦点距離ｆ₁ ，ｆ₂ ，…ｆ_n とが対応づけられて
書き込まれる。

【００５１】このようにして補正マトリクスＶが補正マ
トリクスメモリ１７に記憶された後は、学習切り替えス
イッチ２２をｂ側に切り替えて、補正マトリクス２０と
学習データメモリ２１とからなる回路ブロックを本撮像
装置から取り外しても良い。この回路ブロックが取り外
された状態で本撮像装置を市場に出荷した方が装置全体
を安価に供給できる。

【００５２】以下に、被写体の撮像によって劣化した画
像を補正マトリクスメモリ１７に記憶された補正マトリ
クスを使用して劣化画像を補正する補正動作を説明す
る。まず、レンズ４の焦点距離をコントロール部１２に
入力すると、焦点距離設定回路６はコントロール部１２
からの指令によって焦点距離を設定する。レンズドライ
バ５はこの設定された焦点距離になるようレンズ４を駆
動してその位置を調節する。ここで、第２実施形態では
比較的安価なレンズを用い、かつ撮影光学系を小型にす
るためにできるだけ簡易な構成にしているので、焦点位
置の調節を行ってもレンズの収差などにより良好な合焦
状態が得られず撮像時の被写体像が劣化してぼける場合
がある。しかしながら、この時点で画像が劣化しても後
述する補正マトリマクスを使用した補正処理によって元
の画像を復元することができる。

【００５３】次に、色フィルタドライバ１０によって色
フィルタ９をＲ（赤）に設定して、焦点距離の設定され
たレンズ４を通して撮影被写体１を撮影し、ＣＣＤ９で
物体光を検出して電気信号として出力する。この電気信
号はプリアンプ１４で増幅され、Ａ／Ｄ変換器１５でデ
ジタル信号に変換される。このデジタル信号はフレーム
メモリ１６に蓄えられた後、Ｒ用画像信号ｇ（ｒ）とし
て補正画像生成部１８へ出力される。

【００５４】このとき、補正マトリクスメモリ１７に
は、コントロール部１２からの焦点距離情報ｆ及びＲＧ
Ｂ選択信号と、被写体位置検出装置１３からの被写体位
置情報ｑとが供給される。そしてＲＧＢ選択信号によっ
てＲ用補正マトリクスメモリ１７ａが選択され、焦点距
離情報ｆと被写体位置情報ｑによってＲ用補正マトリク
スメモリ１７ａから対応するＲ用補正マトリクスＶが選
択されて補正画像生成部１８に出力される。ここで、被
写体位置情報ｑ及び焦点距離情報ｆと同一の値がＲ用補
正マトリクスメモリ１７ａにないときには、それぞれの
数値に近い被写体位置情報、焦点距離情報を用いて、Ｒ
用補正マトリクスＶを選択し、Ｒ用補正マトリクスメモ
リ１７ａから読み出す。補正画像生成部１８は、このＲ
用補正マトリクスＶとフレームメモリ１６からのＲ用画
像信号ｇ（ｒ）とを乗算することによってＲ用補正画像
ｆc （ｒ）を生成して表示装置１９へ出力する。

【００５５】続いて色フィルタドライバ１０によって回
転色フィルタ８をＧ（緑）に設定する。ここでＧ用画像
を得るためのレンズの焦点距離は変化させない。よっ
て、コントロール部１２から出力される焦点距離情報ｆ
はＲ用画像の時に用いたものと同じデータである。撮影
被写体１を撮像して得られた画像をＧ用画像信号ｇ
（ｒ) として補正画像生成部１８に入力する。同様にし
て焦点距離情報ｆと、被写体位置情報ｑとＲＧＢ選択信
号に基づいて今度はＧ用補正マトリクスメモリ１７ｂか
ら対応する補正マトリクスＶを選択して補正画像生成部
１８に入力する。補正画像生成部１８はＧ用画像信号ｇ
（ｒ）と補正マトリクスＶとを乗算してＧ用補正画像ｆ
c （ｒ）を生成して表示装置１９へ出力する。同様にし
て、Ｂ用補正画像ｆc （ｒ）を得て表示装置１９へ出力
する。表示装置１９は入力されたＲ用、Ｇ用、Ｂ用補正
画像ｆc （ｒ）を合成して得られる補正画像を表示す
る。

【００５６】上記した第２実施形態によれば、撮影光学
系の特性にかかわらず、撮像によって劣化した画像を正
確に元の画像に復元することができる。これによって撮
影光学系の構成を安価な構成とすることができる。すな
わち、安価なレンズや簡易な撮影光学系あるいは精度の
高くないＡＦ機構を用いたことにより、あるいは焦点を
合わせるための機構を持たないために撮像時の画像が劣
化しても、補正マトリクスを用いて補正することにより
元の画像を正確に復元することができる。特に第２実施
形態では実際の撮影光学系を用いた学習によって補正マ
トリクスを求めているので、より精度の高い補正マトリ
クスを得ることができる。また、本実施形態はＲ、Ｇ、
Ｂの３色それぞれについて補正マトリクスを用意してい
るので、安価なレンズを用いたために色収差が発生して
もこれを補正して元の画像を復元できる。なお、色収差
の少ないレンズを用いた場合は、ＲＧＢの３色について
補正マトリクスを求める必要はなく、輝度データのみで
よい。

【００５７】なお、上記した第１及び第２実施形態で
は、レンズ４の焦点距離情報をレンズ４の位置を移動さ
せることで得ているが、この他に例えば液晶レンズを使
用しても実現できる。すなわち、液晶レンズを固定配置
し、この液晶レンズに印加する電圧を変化させることに
より、液晶内部の屈折率を変化させて焦点距離を変化さ
せるようにしてもよい。またレンズ４を単レンズにして
固定配置した光学系を使用しても良い。光学系を固定配
置することにより光学系をさらに小型にすることができ
る。

【００５８】また、補正マトリクスは被写体の撮影に先
だってあらかじめ求めているので、撮影後の補正処理を
高速に行える利点がある。しかしながら本発明はこれに
限定されず、実際の撮影を行いながら補正マトリクスを
求めるようにしてもよい。これによってより精度の高い
補正マトリクスを得ることができる。

【００５９】

【発明の効果】本発明によれば、撮影光学系の特性にか
かわらず、撮像によって劣化した画像を正確に元の画像
に復元することができる。これによって撮影光学系の構
成を簡易かつ安価な構成とすることができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る撮像装置の構成を
示す図である。

【図２】補正マトリクス学習回路の学習動作を説明する
ための図である。

【図３】補正マトリクスメモリのデータ構成を示す図で
ある。

【図４】補正画像生成部の構成を示す図である。

【図５】本発明の第２実施形態に係る撮像装置の構成を
示す図である。

【図６】本発明の第２実施形態の補正マトリクスの決定
動作を説明するためのフローチャートである。

【図７】理想画像の一例を示す図である。

【符号の説明】

１…撮影被写体、２…視野絞り、３…絞りドライバ、４
…レンズ、５…レンズドライバ、６…焦点距離設定回
路、７…撮影光学系、８…回転色フィルタ、９…ＣＣ
Ｄ、１０…色フィルタドライバ、１１…ＣＣＤ、１２…
コントロール部、１３…絞りドライバ、１４…プリアン
プ、１５…Ａ／Ｄ、１６…フレームメモリ、１７…補正
マトリクスメモリ、１７ａ…Ｒ用補正マトリクスメモ
リ、１７ｂ…Ｇ用補正マトリクスメモリ、１７ｃ…Ｂ用
補正マトリクスメモリ、１８…補正画像生成部、１９…
表示装置。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 撮影光学系と、 この撮影光学系を介して入射される撮影被写体の物体像
   を撮像する撮像手段と、 前記撮影光学系と撮影被写体との間の距離を検出する被
   写体位置検出手段と、 前記撮影光学系の焦点距離を検出する焦点距離検出手段
   と、 前記撮影光学系と撮影被写体との間の複数の距離及び複
   数の焦点距離の組み合わせに対応した補正データが記憶
   された記憶手段と、 前記被写体位置検出手段及び前記焦点距離検出手段によ
   って検出された前記撮影光学系と撮影被写体との間の距
   離、及び撮影光学系の焦点距離とに対応する補正データ
   を前記記憶手段から読み出し、この読み出した補正デー
   タを用いて前記撮像手段によって撮像された物体像に対
   し補正処理を行う劣化画像補正手段と、 を具備したことを特徴とする撮像装置。
2. 【請求項２】 前記撮影光学系、撮影被写体及び前記撮
   像手段の間の距離情報、前記撮影光学系の焦点距離情報
   及び前記撮影光学系に関する設計上の光学系情報とを用
   いて、 同一の撮影被写体の空間周波数情報から、計算により前
   記撮影光学系が合焦状態にあるときに理論的に前記撮像
   手段に結像する理想画像情報と、前記撮影光学系が非合
   焦状態にあるときに理論的に前記撮像手段に結像する劣
   化画像情報とを得て、これら理想画像情報と劣化画像情
   報とから計算により前記補正データを求めることを特徴
   とする請求項１記載の撮像装置。
3. 【請求項３】 撮影光学系と、 この撮影光学系を介して入射される撮影被写体の物体像
   を撮像する撮像手段と、 前記撮影光学系の焦点距離を検出する焦点距離検出手段
   と、 前記撮影光学系の焦点距離を変化させる焦点距離変化手
   段と、 前記撮影光学系と撮影被写体との間の距離を検出する被
   写体位置検出手段と、 前記焦点距離変化手段に与える焦点距離の設定値を出力
   する焦点距離出力手段と、 前記撮影光学系と撮影被写体との間の複数の距離及び複
   数の焦点距離の組み合わせに対応した補正データが記憶
   された記憶手段と、 前記被写体位置検出手段及び前記焦点距離検出手段によ
   って検出された前記撮影光学系と撮影被写体との間の距
   離、及び撮影光学系の焦点距離とに対応する補正データ
   を前記記憶手段から読み出し、この読み出した補正デー
   タを用いて前記撮像手段によって撮像された物体像に対
   し補正処理を行う劣化画像補正手段とを有し、 同一の撮影被写体を前記撮影光学系が合焦状態にあると
   きに前記撮像手段に結像したときの像の理想画像情報
   と、前記撮影光学系から撮影被写体迄の任意の距離Ａの
   もとで非合焦状態にあるときに前記撮像手段に結像した
   ときの像の劣化画像情報とを実際に得て、これら理想画
   像情報と劣化画像情報とから計算により前記撮影光学系
   から撮影被写体迄の任意の距離Ａのもとでの前記補正デ
   ータを求めることを特徴とする撮像装置。
4. 【請求項４】 前記記憶手段は、前記撮影光学系と撮影
   被写体との間の複数の距離及び前記撮影光学系の複数の
   焦点距離の組み合わせに対応した補正データを持ち、 前記劣化画像補正手段は、前記被写体位置検出手段が求
   めた距離情報及び前記焦点距離出力手段が出力した焦点
   距離情報に基づいて前記記憶手段から読み出した補正デ
   ータを用いて前記撮像手段で撮像された物体像に対し補
   正処理を行うことを特徴とする請求項３記載の撮像装
   置。