JP5197784B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5197784B2
JP5197784B2 JP2011062640A JP2011062640A JP5197784B2 JP 5197784 B2 JP5197784 B2 JP 5197784B2 JP 2011062640 A JP2011062640 A JP 2011062640A JP 2011062640 A JP2011062640 A JP 2011062640A JP 5197784 B2 JP5197784 B2 JP 5197784B2
Authority
JP
Japan
Prior art keywords
image
optical system
optical
modulation element
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011062640A
Other languages
English (en)
Other versions
JP2011120309A (ja
Inventor
佑介 林
直人 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2011062640A priority Critical patent/JP5197784B2/ja
Publication of JP2011120309A publication Critical patent/JP2011120309A/ja
Application granted granted Critical
Publication of JP5197784B2 publication Critical patent/JP5197784B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置、並びにその製造装置および製造方法に関するものである。
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)、画像検査装置、自動制御用産業カメラ等に用いられている。
図42は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
撮像レンズ装置1においては、図42に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図43(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献1〜5参照)。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている(たとえば特許文献6参照)。
USP6,021,005 USP6,642,504 USP6,525,302 USP6,069,738 特開2003−235794号公報 特開2004−153497号公報 特開2004−37733号公報
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のPSF(Point−Spread−Function)が一定になっていることが前提であり、PSFが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やAF系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド(Wide)時やテレ(Tele)時のスポット(SPOT)像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
さらに、上記技術では、たとえば明るい被写体の撮影で、絞りを絞った場合、位相変調素子が絞りで覆われるため、位相変化が小さくなり、画像復元処理を行うと復元画像に影響を与えてしまうという不利益がある。
さらにまた、レンズやセンサのバラつきをできるだけ緩和することは大量かつ安価に生産するためにとても重要なことであるが、デジタルカメラや携帯端末用小型カメラは近年、ますます小型化が望まれ、レンズやセンサがどんどん小さくなっているのに対し、レンズのバラつきは製造上追い込んでいくことには限界がある。その上、センサの画素ピッチが小さくなるとますます高解像のレンズが必要とされ、さらにバラつきを抑える必要がある。上記位相変調素子を用いた光学系においても、OTFからフィルタ処理を算出するため、できるだけレンズのバラつきを小さくする必要がある。
本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さい復元画像を得ることが可能で、しかもあらかじめ定められた被写体距離の撮影が可能で安定な生産を行うことが可能な撮像装置を提供することにある。
本発明の第1の観点の撮像装置は、光学的伝達関数(OTF)を変調させる光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、少なくとも、所定のバラツキを与えた光学系のOTFを平均化した複数のフィルタと変調伝達関数(MTF)分布との関係に基づいてあらかじめ選定された復元フィルタ情報を格納する記憶手段と、前記記憶手段に格納されている復元フィルタ情報を用いて、前記撮像素子からの被写体の分散画像信号に対して復元フィルタ処理を施して分散のない画像信号を生成する画像処理部と、を有し、前記光波面変調素子が、前記光学系の光軸をz軸とし、互いに直交する2軸をx、yとしたとき、位相が下記式で表され、且つ前記記憶手段に格納される復元フィルタ情報は、任意の復元フィルタで復元した画像のうち、所定の評価値を満足する画像が得られる復元フィルタから選定されており、前記画像処理部は、光学的伝達関数(OTF)に対して復元フィルタ処理を行い、コントラストを改善する処理を施す。
好適には、前記光波面変調素子が、物体距離に応じたOTFの変化を、光波面変調素子を持たない光学系よりも小さくする作用を持つ。
好適には、前記光波面変調素子を有する光学系のOTFが、前記光波面変調素子を含まない光学系の被写界深度よりも広い物体距離にわたって、前記撮像素子のナイキスト周波数まで0.1以上である。
本発明によれば、あらかじめ定められた被写体距離の撮影が可能で安定な生産を行うことが可能となる。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
本発明に係る撮像装置の一実施形態を示すブロック構成図である。 本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。 本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。 広角側の像高中心のスポット形状を示す図である。 望遠側の像高中心のスポット形状を示す図である。 DEOSの原理を説明するための図である。 本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、(B)が合焦点の場合(Best focus)、(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示す図である。 本実施形態に係る撮像素子により形成される1次画像のMTFについて説明するための図であって、(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、(B)が空間周波数に対するMTF特性を示している。 本実施形態に係る調整装置の構成例を示すブロック図である。 ピント位置でのチャート像を示す図である。 ピント位置から光学系を+0.2mm移動させた場合のチャート像を示す図である。 ピント位置から光学系を−0.2mm移動させた場合のチャート像を示す図である。 位相面による点像分布関数について示す図である。 ピント位置決定手順について説明するためのフローチャートである。 ピント位置決定手順について説明するための図であって、光学系と撮像素子の位置調整処理を説明するための図である。 従来光学系のフォーカス位置に対するコントラスト変化を示す図である。 本発明の光学系のフォーカス位置に対するコントラスト変化を示す図である。 従来光学系のMTFのレスポンスを示す図である。 光波面変調素子を持った光学系のMTFのレスポンスを示す図である。 本実施形態の光波面変調素子を含む光学系の光軸をz軸とし、互いに直交する2軸をx、yとしたとき、式で表される波面収差の形状を示す図である。 波面収差の形状と0.5λ以下の範囲を太線で表した図である。 本実施形態に係る画像処理装置におけるMTF補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるMTF補正処理を具体的に説明するための図である。 従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。 光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。 本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。 本発明の実施形態に係る復元フィルタ情報を選定するための調整装置(製造装置)の構成例を示すブロック図である。 図27の調整装置のフィルタ処理選択部における主要な処理例のフローチャートを示す図である。 バラツキのシミュレーションから算出されるMTF(中心位置の48lp/mmのメリジオナル方向のMTF)の分布図である。 バラツキのシミュレーションから算出されるMTF分布とバラツキを与えたフィルタとを関連付けた復元処理を説明するための図である。 カーネルデータROMの格納データの一例(光学倍率)を示す図である。 カーネルデータROMの格納データの他例(Fナンバ)を示す図である。 カーネルデータROMの格納データの他例(Fナンバ)を示す図である。 露出制御装置の光学系設定処理の概要を示すフローチャートである。 信号処理部とカーネルデータ格納ROMについての第1の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第2の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第3の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第4の構成例を示す図である。 被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図42の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、(B)が合焦点の場合(Best focus)、(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示す図である。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図1は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
本実施形態に係る撮像装置100は、光学系110、撮像素子120、アナログフロントエンド部(AFE)130、画像処理装置140、カメラ信号処理部150、画像表示メモリ160、画像モニタリング装置170、操作部180、および制御装置190を有している。
光学系110は、被写体物体OBJを撮影した像を撮像素子120に供給する。また、光学系110は、可変絞り110aが配置されている。
撮像素子120は、光学系110で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして、アナログフロントエンド部130を介して画像処理装置140に出力するCCDやCMOSセンサからなる。
図1においては、撮像素子120を一例としてCCDとして記載している。
なお、本実施形態において、ピント位置の調整は、光学的伝達関数(OTF)を変調させる光波面変調素子を有する光学系を通して繰り返し検知した画像信号に基づく被写体のコントラストを用いて、あらかじめ定められた被写体距離に対応するピント位置に移動させて行われる。
アナログフロントエンド部130は、タイミングジェネレータ131、アナログ/デジタル(A/D)コンバータ132と、を有する。
タイミングジェネレータ131では、撮像素子120のCCDの駆動タイミングを生成しており、A/Dコンバータ132は、CCDから入力されるアナログ信号をデジタル信号に変換し、画像処理装置140に出力する。
信号処理部の一部を構成する画像処理装置(二次元コンボリューション手段)140は、前段のAFE130からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部(DSP)150に渡す。
画像処理装置140、制御装置190の露出情報に応じて、光学的伝達関数(OTF)に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置140は、撮像素子120からの分散画像信号より分散のない画像信号を生成する機能を有する。また、信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置140は、光学的伝達関数(OTF)に対して復元フィルタ処理を行いコントラストを改善する処理を施す機能を有する。
画像処理装置140は、あらかじめ選定されたカーネルデータ等の復元フィルタ情報を格納する記憶手段としてのROM143を有しており、このROMに格納されている復元フィルタ情報を用いて、分散画像信号に対して復元フィルタ処理を施す。なお、ROM143に格納される復元フィルタ情報は、後で詳述するように、任意の復元フィルタで復元した画像のうち、所定の評価値を満足する画像が得られる復元フィルタから選定されている。
なお、本実施形態においては、任意の復元フィルタは、光学系110および/または撮像素子120の製造時および/または組み込み時のバラツキによって変更される復元フィルタとする。これにより、光学系(レンズ)や撮像素子(センサ)のバラツキを調整可能となっている。
画像処理装置140の処理については後でさらに詳述する。
カメラ信号処理部(DSP)150は、カラー補間、ホワイトバランス、YCbCr変換処理、圧縮、ファイリング等の処理を行い、メモリ160への格納や画像モニタリング装置170への画像表示等を行う。
制御装置190は、露出制御を行うとともに、操作部180などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、AFE130、画像処理装置140、DSP150、可変絞り110a等を制御し、システム全体の調停制御を司るものである。
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的に説明する。
図2は、本実施形態に係るズーム光学系110の構成例を模式的に示す図である。この図は広角側を示している。
また、図3は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図4は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図5は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
図2および図3のズーム光学系110は、物体側OBJSに配置された物体側レンズ111と、撮像素子120に結像させるための結像レンズ112と、物体側レンズ111と結像レンズ112間に配置され、結像レンズ112による撮像素子120の受光面への結像の波面を変形させる、たとえば3次元的曲面を有する位相板からなる光波面変調素子(波面形成用光学素子)群113を有する。また、物体側レンズ111と結像レンズ112間には図示しない絞りが配置される。
たとえば、本実施形態においては、可変絞り110aが設けられ、露出制御(装置)において可変絞りの絞り度(開口度)を制御する。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子(たとえば、上述の3次の位相板)、屈折率が変化する光学素子(たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子(たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態)、光の位相分布を変調可能な液晶素子(たとえば、液晶空間位相変調素子)等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
図2および図3のズーム光学系110は、デジタルカメラに用いられる3倍ズームに光学位相板113aを挿入した例である。
図で示された位相板113aは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板113aを挿入することにより、撮像素子120上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板113aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成している。
この規則的に分散した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム(DEOS:Depth Expantion Optical system)といい、この処理を画像処理装置140において行う。
ここで、DEOSの基本原理について説明する。
図6に示すように、被写体の画像fがDEOS光学系Hに入ることにより、g画像が生成される。
これは、次のような式で表される。
(数2)
g=H*f
ただし、*はコンボリューションを表す。
生成された画像から被写体を求めるためには、次の処理を要する。
(数3)
f=H-1*g
ここで、Hに関するカーネルサイズと演算係数について説明する。
個々の光学切り替え情報をKPn,KPn−1・・・とする。また、それぞれのH関数をHn,Hn−1、・・・・とする。
各々のスポット像(PSF)が異なるため、各々のH関数は、次のようになる。
この行列の行数および/または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のH関数はメモリに格納しておいても構わないし、PSFを物体距離の関数としておき、物体距離によって計算し、H関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、H関数を物体距離の関数として、物体距離によってH関数を直接求めても構わない。
本実施形態においては、図1に示すように、光学系110からの像を撮像素子120で受像して、絞り開放時には画像処理装置140に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子120からの分散画像信号より分散のない画像信号を生成するように構成している。
なお、本実施形態において、分散とは、上述したように、位相板113aを挿入することにより、撮像素子120上ではピントのどこにも合わない画像を形成し、位相板113aによって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
本実施形態においては、DEOSを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
図7(A)〜(C)は、撮像素子120の受光面でのスポット像を示している。
図7(A)は焦点が0.2mmずれた場合(Defocus=0.2mm)、図7(B)が合焦点の場合(Best focus)、図7(C)が焦点が−0.2mmずれた場合(Defocus=−0.2mm)の各スポット像を示している。
図7(A)〜(C)からもわかるように、本実施形態に係る撮像装置100においては、位相板113aを含む波面形成用光学素子群113によって深度の深い光束(像形成の中心的役割を成す)とフレアー(ボケ部分)が形成される。
このように、本実施形態の撮像装置100において形成された1次画像FIMは、深度が非常に深い光束条件にしている。
図8(A),(B)は、本実施形態に係る撮像レンズ装置により形成される1次画像の変調伝達関数(MTF:Modulation Transfer Function)について説明するための図であって、図8(A)は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図8(B)が空間周波数に対するMTF特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ(Digital Signal Processor)からなる画像処理装置140の補正処理に任せるため、図8(A),(B)に示すように、1次画像のMTFは本質的に低い値になっている。
そして、本実施形態においては、光学系110と撮像素子120の取り付け位置は、図9に示す調整装置(製造装置)200を用いて、光学的伝達関数(OTF)を変調させる光波面変調素子を有する光学系に対し、コントラストを検知し、検知したコントラストがあらかじめ設定した閾値以上となる位置に調整されている。
このように、本実施形態においては、撮像装置100の製造組み立て時において、検知したコントラストがあらかじめ設定した閾値以上となる位置にすることにより、光学系と撮像素子の取り付け位置を調整することを可能としている。
図9は、本実施形態に係る調整装置200の構成例を示すブロック図である。
調整装置200は、図9に示すように、レンズ調整駆動部210、図1の撮像素子110に相当するセンサ220、AFE(アナログフロントエンド部)230、RAWバッファメモリ240、コントラスト検知部250、ピント調整制御部260、および画像表示部270を有している。
レンズ調整駆動部210には、光波面変調素子を含むレンズ系(光学系)211が配置される。そして、モータドライバ212によりレンズ211がその光軸方向に移動制御され、レンズ位置が所望の位置に設定される。
AFE230は、タイミングジェネレータ232と、A/Dコンバータ23と、を有する。
タイミングジェネレータ23では、ピント調整制御部260の制御の下、センサ(撮像素子)220のCCDの駆動タイミングを生成しており、A/Dコンバータ23は、CCDから入力されるアナログ信号をデジタル信号に変換し、バッファメモリ240に格納する。
また、タイミングジェネレータ23は、ピント調整制御部260の制御の下、センサ220に対するレンズ211の位置を調整し、ピントを調整するための駆動信号をモータドライバ212に供給する。
コントラスト検知部250は、バッファメモリ240の格納データに基づいてレンズ211のある位置でのコントラストを測定する。
コントラスト検知部250は、光学系のレンズ211が駆動される間の画像信号に基づく被写体のコントラストを繰り返し検知する。
ピント調整制御部260は、レンズ211の位置を変更制御等するための制御信号をAFE230のタイミングジェネレータ232に出力して、制御時のレンズ位置のコントラストをコントラスト検知部250で測定させ、コントラスト検知部250で検知したコントラストを用いて(測定結果を用いて)、あらかじめ設定された被写体距離に対応するピント位置に移動させることにより、ピント調整制御を行う。
ピント調整制御部260は、コントラスト検知部250により光学系を駆動させている間に検知された被写体のコントラストを、所定の閾値より低下した位置を記録し、さらにその位置より両側に光学系のレンズ211を駆動し所定の閾値より向上する方向に光学系を駆動させ、その後、さらに光学系のレンズ211を駆動させて所定の閾値より低下した位置を記録し、この2点を用いてピント位置を決める。ピント位置の決定方法として、たとえば、2点の中点をピント位置とすることが挙げられる。
ピント調整制御部260は、ピント位置を決定すると、その旨をたとえば表示等して報知する。
なお、本実施形態でいう「光学系を駆動」とは、たとえば、通常のレンズなどの場合には、レンズを光軸方向に移動させる動作をいう。また、光学系が液体レンズなどの場合には、通常のレンズを光軸方向に移動させるのと等価な作用を行わせるように、液体に電圧を印加する作業などをいう。
また、本実施形態において、コントラストが検知された部分は、光波面変調素子(位相変調素子)による点像分布の強度の高い部分を含む領域である。
この光波面変調素子(位相変調素子)による点像分布の強度の高い部分を含む領域とは、換言すれば、「位相変調素子の影響をあまり受けない部分」である。
この「位相変調素子の影響をあまり受けない部分」について説明する。
たとえば、位相変調素子の位相が次式5で表されたとすると、チャートは図10に示すようなチャート像になる。
ここで光学系を±0.2mm移動させた場合のチャートはそれぞれ図11、図12に示すようになる。
「位相変調素子の影響をあまり受けない部分」とは図11、図12の点線部分で囲んだ箇所のことをいう。
そもそも上記式5で表された位相変調素子を用いて点光源を撮像すると、図13に示すように、非対称な形状になる。この位相変調素子によるボケ以外の部分を「位相変調素子の影響をあまり受けない部分」とする。
次に、図14および図15に関連付けてピント位置決定手順について説明する。
まず、レンズ211に取り付ける。そして、図15に示すように、x軸、y軸を調整してレンズ211とセンサ220の位置を調整し、チャートが写るようにする。
x軸、y軸の調整後、スタート位置を決定し(ST201)、その位置でのコントラストを測定する(ST202)。
そして、コントラストが閾値以下かどうかを判定し(ST203)、閾値以下でなければレンズ211を駆動し(ST204)、各位置でのコントラストを測定する(ST205)。
閾値以下である場合にはレンズ211の位置Aを記憶して(ST206)、レンズ211を駆動し(ST207)、各位置でのコントラストを測定する(ST208)。
次に、コントラストが閾値以下かどうかを判定し(ST209)、閾値以下でなければレンズ211を駆動し(ST207)、各位置でのコントラストを測定する(ST208)。
閾値以下である場合にはピント位置を算出し(ST210)、レンズ211を駆動する(ST211)。
なお、レンズ21の駆動は、z軸方向(光軸方向)の駆動を行う。
また、本実施形態のように、山登り方式にように、繰り返しコントラストを検知するようにしても良いが、検知したものが閾値以下であればそれ以降レンズを駆動しないようにしても良い。その場合には、ステップST206〜ST211の処理が省略され、最初に検知したものが閾値以下であればステップST204、ST205の処理も省略される。
以上のように、図16に通常の光学系を駆動させたときの、コントラスト値の変化の例を示し、図17に本実施形態の光学系を駆動させたときの、コントラスト値の変化の例を示す。
図16および図17において、横軸はフォーカス位置を示し、縦軸がコントラスト比を示している。
両図からわかるように、本実施形態の光学系の方が通常の光学系に比べてコントラストの変化を小さく抑えることができ、ピント合わせが容易となり、あらかじめ定められた被写体距離の撮影が可能となる。
図18は、従来光学系のMTFのレスポンスを示す図である。
図19は、光波面変調素子を持った光学系のMTFのレスポンスを示す図である。
図19のように、位相変調素子113の効果、すなわち位相の変化が小さくなり、従来光学系と同様なレスポンスを持つ。そこで、上述したように、もっともレスポンスの高くなるように取り付け位置を調整することでフォーカス位置を調整する。
この調整を行うことで調整を行わない場合よりも十分に広い被写界深度を得ることが可能となる。
また、図20は、本実施形態の光波面変調素子を含む光学系の光軸をz軸とし、互いに直交する2軸をx、yとしたとき、下記式で表される波面収差の形状である。
波面収差が0.5λ以下の範囲では位相の変化が小さく、通常の光学系と変わらないOTFを持つ。したがって波面収差が0.5λ程度になるまで絞って取り付け位置の調整を行う。
図21は、前記波面収差の形状と0.5λ以下の範囲を太線で表したものである。
ただし、λはたとえば可視光領域、赤外領域の波長を用いる。
なお、図20に示す形状は、一例であって、光波面変調素子が、光学系の光軸をz軸とし、互いに直交する2軸をx、yとしたとき、位相が下記式で表されるものであれば適用可能である。
画像処理装置140は、上述したように、撮像素子120による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する。
画像処理装置140のMTF補正処理は、たとえば図22の曲線Aで示すように、本質的に低い値になっている1次画像のMTFを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図22中曲線Bで示す特性に近づく(達する)ような補正を行う。
図22中曲線Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
本実施形態においては、図22に示すように、光学的に得られる空間周波数に対するMTF特性曲線Aに対して、最終的に実現したいMTF特性曲線Bを達成するためには、それぞれの空間周波数に対し、図23に示すように、エッジ強調等の強弱を付け、元の画像(1次画像)に対して補正をかける。
たとえば、図22のMTF特性の場合、空間周波数に対するエッジ強調の曲線は、図23に示すようになる。
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のMTF特性曲線Bを仮想的に実現する。
このように、実施形態に係る撮像装置100は、基本的に、1次画像を形成する光学系110および撮像素子120と、1次画像を高精細な最終画像に形成する画像処理装置140からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形(変調)し、そのような波面をCCDやCMOSセンサからなる撮像素子120の撮像面(受光面)に結像させ、その結像1次画像を、画像処理装置140を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子120による1次画像は深度が非常に深い光束条件にしている。そのために、1次画像のMTFは本質的に低い値になっており、そのMTFの補正を画像処理装置140で行う。
ここで、本実施形態における撮像装置100における結像のプロセスを、波動光学的に考察する。
物点の1点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報(波面収差)そのものからであることから、その光学系110を通して波面収差が厳密に数値計算できればMTFが計算できることになる。
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるMTF値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにphase(位相、光線に沿った光路長)に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図7(A)〜(C)に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のMTFは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いMTF値(または、幾何光学的にはこのようなスポット像の状態)であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のDSP等からなる画像処理装置140でMTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってMTF値は著しく向上する。
次に、本実施形態および従来光学系のMTFのレスポンスについて考察する。
図24は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンス(応答)を示す図である。
図25は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのMTFのレスポンスを示す図である。
また、図26は、本実施形態に係る撮像装置のデータ復元後のMTFのレスポンスを示す図である。
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもMTFのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、MTFのレスポンスが向上する。
図25に示した、位相板を持つ光学系のOTFの絶対値(MTF)はナイキスト周波数において0.1以上であることが好ましい。
なぜなら、図25に示した復元後のOTFを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのMTFが0.1以上あれば解像する。
したがって、復元前のMTFが0.1以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のMTFが0.1未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
次に、画像処理装置140の構成および処理について説明する。
画像処理装置140は、図1に示すように、生(RAW)バッファメモリ141、コンボリューション演算142、記憶手段としてのカーネルデータ格納ROM143、およびコンボリューション制御部144を有する。
画像処理装置140におけるコンボリューション制御部144は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置190により制御される。
また、画像処理装置140は、あらかじめ選定されたカーネルデータ等の復元フィルタ情報を格納する記憶手段としてのROM143を有しており、このROMに格納されている復元フィルタ情報を用いて、分散画像信号に対して復元フィルタ処理を施す。なお、ROM143に格納される復元フィルタ情報は、任意の復元フィルタで復元した画像のうち、所定の評価値を満足する画像が得られる復元フィルタから選定されている。
ここで、ROM143に格納されるカーネルデータ等の復元フィルタ情報の選定(決定)方法について説明する。
図27は、本発明の実施形態に係る復元フィルタ情報を選定するための調整装置(製造装置)の構成例を示すブロック図である。
図27の調整装置300は、光学システム310、およびフィルタ処理選択部320を有する。
光学システム310は、たとえば図9の調整装置でピント調整等が行われたレンズ311およびセンサ(撮像素子)312を有し、かつ、フィルタ処理選択部320で選択された復元フィルタ情報が格納されるメモリ(あるいはレジスタ)313を有する。メモリ313に格納される復元フィルタ情報は、レンズやセンサの製造によるバラつきおよび組込みによるバラつきによって変更されるフィルタ情報である。
たとえば、この光学システム310を用いて図1の撮像装置100を製造する(組み立てる)場合には、メモリ313に格納された一または複数の復元フィルタ情報が画像処理装置140のROM143にロードされる。
フィルタ処理選択部320は、A/Dコンバータ321、RAWバッファメモリ322、演算部としてのコンボリューション演算器323、復元フィルタ格納部324、カメラ信号処理部325、画像評価部326、モニタ(表示部)327、およびメモリ書換部328を有している。
このフィルタ処理選択部320において、RAWバッファメモリ322、コンボリューション演算器323、復元フィルタ格納部324、画像評価部326を含めた構成は、図1の画像処理装置140の構成と同様となっている。
復元フィルタ格納部324は、複数の復元フィルタ情報が格納されており、画像評価部326の指示に従って所定の復元フィルタ情報をコンボリューション演算器323に供給し、また、選択(選定)された復元フィルタ情報をメモリ書換部328に供給する。
このような構成を有するフィルタ処理選択部320においては、光学システム310によって撮像されたチャート画像に対して、コンボリューション演算器323において復元フィルタ格納部324に格納された第1の復元フィルタで画像を復元し、カメラ信号処理部325を通した後、画像評価部326により画像を評価する。
ここで、所定の評価値を満足すればメモリ書換部328により光学システム310のメモリ313を書き換え、復元フィルタを決定する。
所定の評価値を満足しなければ、コンボリューション演算器323において復元フィルタ格納部324に格納された第2の復元フィルタで画像を復元し、カメラ信号処理部325を通した後、画像評価部326により画像を評価し、所定の評価値を満足するまでこのステップを繰り返し、所定の評価値を満足すれば光学システム310のメモリ313を書き換える。
図28は、図27の調整装置のフィルタ処理選択部における主要な処理例のフローチャートを示す図である。
復元フィルタ格納部32から復元フィルタが選択される(ST301)。
次に、コンボリューション演算器32にて選択された復元フィルタ情報に従って復元処理を行われる(ST302)。
その後、カメラ信号処理部325においてカラー補間、ホワイトバランス、YCbCr変換処理、圧縮等が行われる(ST303)。
画像評価部326において、カメラ信号処理された画像の評価を行い、所定の評価値を満足すれば光学システムのメモリの復元フィルタを書き換える(ST304〜ST306)。
ステップST305において、所定の評価値を満足しなければ満足するまで復元フィルタを変更し(ST307)、復元処理、カメラ信号処理を行い、評価値を算出するステップを続ける。
なお、ステップST304において算出等される評価値としては、たとえばMTFやTV解像本数、評価エリアにおけるコントラスト(画像の最大値と最小値の差)等が挙げられる。
レンズやセンサの製造および組込みのバラツキのシミュレーションの例を示す。バラツキのパラメータはレンズの曲率、厚み、屈折率、偏心、レンズ間の空気間隔、偏心、レンズ群の偏心、センサに対するレンズの偏心、回転等が挙げられる。各パラメータに対して予想されるバラツキ量を与えることでバラツキのシミュレーションを行うことができる。バラツキ量を正確に与え、サンプル数を増やせばシミュレーションの精度を高めることができる。
復元フィルタは、たとえばバラツキを与えたレンズのOTFを平均したフィルタFLT1、フィルタFLT1で復元しても評価値を満足しなかったレンズのOTFを平均したフィルタFLT2、フィルタFLT2で復元しても評価値を満足しなかったレンズのOTFを平均したフィルタFLT3で与える。
図29は、バラツキのシミュレーションから算出されるMTF(中心位置の48lp/mmのメリジオナル方向のMTF)の分布図である。
図30は、バラツキのシミュレーションから算出されるMTF分布とバラツキを与えたフィルタとを関連付けた復元処理を説明するための図である。
なお、図29および図30において、横軸はサンプル数を、縦軸はMTFをそれぞれ示している。
復元フィルタは、OTFのバラツキによってフィルタを与えてもよい。
図30に示すように、MTFが所定の値以上と以下のフィルタに分けてどちらかのフィルタで復元すれば良好な画質が得られる。復元画像をより良好にするためには所定の値をさらに細かく設定すればよい。
また、カーネルデータ格納ROM143には、たとえば図31、図32、または図33に示すように予め用意されたそれぞれの光学系のPSFにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置190によって露出設定時に決まる露出情報を取得し、コンボリューション制御部144を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
図31の例では、カーネルデータAは光学倍率(×1.5)、カーネルデータBは光学倍率(×5)、カーネルデータCは光学倍率(×10)に対応したデータとなっている。
また、図32の例では、カーネルデータAは絞り情報としてのFナンバ(2.8)、カーネルデータBはFナンバ(4)に対応したデータとなっている。なお、Fナンバ(2.8)、Fナンバ(4)は上記した0.5λの範囲外である。
また、図33の例では、カーネルデータAは物体距離情報が100mm、カーネルデータBは物体距離が500mm、カーネルデータCは物体距離が4mに対応したデータとなっている。
図32の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板113aが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
図34は、制御装置190の露出情報(絞り情報を含む)により切り替え処理のフローチャートである。
まず、露出情報(RP)が検出されコンボリューション制御部144に供給される(ST101)。
コンボリューション制御部144においては、露出情報RPから、カーネルサイズ、数値演係数がレジスタにセットされる(ST102)。
そして、撮像素子120で撮像され、AFE130を介して二次元コンボリューション演算部142に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部150に転送される(ST103)。
以下に画像処理装置140の信号処理部とカーネルデータ格納ROMについてさらに具体的な例について説明する。
図35は、信号処理部とカーネルデータ格納ROMについての第1の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図35の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部144を通じてカーネルデータを選択制御する。2次元コンボリューション演算部142においては、カーネルデータを用いてコンボリューション処理を施す。
図36は、信号処理部とカーネルデータ格納ROMについての第2の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図36の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ST1を予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部144を通じてカーネルデータを選択制御する。
2次元コンボリューション演算部142においては、前記ノイズ低減フィルタST1を施した後、カラーコンバージョン処理ST2によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ST3を施す。
再度ノイズ処理ST4を行い、カラーコンバージョン処理ST5によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ST4は省略することも可能である。
図37は、信号処理部とカーネルデータ格納ROMについての第3の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図37例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部144を通じてカーネルデータを選択制御する。
2次元コンボリューション演算部142は、ノイズ低減処理ST11、カラーコンバージョン処理ST12の後に、前記OTF復元フィルタを用いてコンボリューション処理ST13を施す。
再度ノイズ処理ST14を行い、カラーコンバージョン処理ST15によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ST11、ST14は、いずれか一方のみでもよい。
図38は、信号処理部とカーネルデータ格納ROMについての第4の構成例を示す図である。なお、簡単化のためにAFE等は省略している。
図38の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ST4は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部144を通じてカーネルデータを選択制御する。
2次元コンボリューション演算部142においては、ノイズ低減フィルタ処理ST21を施した後、カラーコンバージョン処理ST22によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ST23を施す。
再度、露出情報に応じたノイズ処理ST24を行い、カラーコンバージョン処理ST25によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ST21は省略することも可能である。
以上は露出情報のみに応じて2次元コンボリューション演算部142においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
図39は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図39は、撮像素子120からの分散画像信号より分散のない画像信号を生成するが画像処理装置400の構成例を示している。
画像処理装置400は、図39に示すように、コンボリューション装置401、カーネル・数値演算係数格納レジスタ402、および画像処理演算プロセッサ403を有する。
この画像処理装置400においては、物体概略距離情報検出装置500から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ403では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ402に格納し、その値を用いて演算するコンボリューション装置401にて適正な演算を行い、画像を復元する。
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置500により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で1種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
図39の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ402に被写体距離に応じて少なくとも位相板113aに起因する収差に対応した変換係数を少なくとも2以上予め記憶する。画像処理演算プロセッサ403が、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された情報に基づき、レジスタ402から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置01が、係数選択手段としての画像処理演算プロセッサ03で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ03が、被写体距離情報生成手段としての物体概略距離情報検出装置00により生成された情報に基づき変換係数を演算し、レジスタ402に格納する。
そして、変換手段としてのコンボリューション装置401が、変換係数演算手段としての画像処理演算プロセッサ403で得られレジスタ402に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ402にズーム光学系110のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する。この補正値にはカーネルサイズを含まれる。
変換係数記憶手段としても機能するレジスタ402に、位相板113aに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置500により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ403が、補正値記憶手段としてのレジスタ402から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置401が、変換係数記憶手段としてのレジスタ402から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ403により選択された補正値とに基づいて画像信号の変換を行う。
図40は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図40は、撮像素子120からの分散画像信号より分散のない画像信号を生成するが画像処理装置400Aの構成例を示している。
画像処理装置400Aは、図39と同様に、図40に示すように、コンボリューション装置401、カーネル・数値演算係数格納レジスタ402、および画像処理演算プロセッサ403を有する。
この画像処理装置400Aにおいては、ズーム情報検出装置600から読み出したズーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセッサ403では、露出情報およびそのズーム位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ402に格納し、その値を用いて演算するコンボリューション装置401にて適正な演算を行い、画像を復元する。
上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像(スポット画像)を後段のDSP等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置600を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
画像処理装置400Aにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ402に共通で1種類記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
各ズーム位置に応じて、レジスタ402に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ402にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ402に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。
図40の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ402にズーム光学系110のズーム位置またはズーム量に応じた位相板113aに起因する収差に対応した変換係数を少なくとも2以上予め記憶する。画像処理演算プロセッサ403が、ズーム情報生成手段としてのズーム情報検出装置600により生成された情報に基づき、レジスタ402からズーム光学系110のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置401が、係数選択手段としての画像処理演算プロセッサ403で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ403が、ズーム情報生成手段としてのズーム情報検出装置600により生成された情報に基づき変換係数を演算し、レジスタ402に格納する。
そして、変換手段としてのコンボリューション装置401が、変換係数演算手段としての画像処理演算プロセッサ403で得られレジスタ402に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ402にズーム光学系110のズーム位置またはズーム量に応じた少なくとも1以上の補正値を予め記憶する。この補正値にはカーネルサイズを含まれる。
変換係数記憶手段としても機能するレジスタ402に、位相板113aに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置600により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ403が、補正値記憶手段としてのレジスタ402からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置401が、変換係数記憶手段としてのレジスタ402から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ403により選択された補正値とに基づいて画像信号の変換を行う。
図41に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報とズーム情報で2次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
なお、図2や図3の光学系は一例であり、本発明は図2や図3の光学系に対して用いられるものとは限らない。また、スポット形状についても図4および図5は一例であり、本実施形態のスポット形状は、図4および図5に示すものとは限らない。
また、図21、図22、および図23のカーネルデータ格納ROMに関しても、光学倍率、Fナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても3個とは限らない。
図35のように3次元、さらには4次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報等であればよい。
なお、上述のように、光波面変調素子としての位相板を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
以上説明したように、本実施形態によれば、1次画像を形成する光学系110および撮像素子120と、1次画像を高精細な最終画像に形成する画像処理装置140とを含み、画像処理装置140は、あらかじめ選定されたカーネルデータ等の復元フィルタ情報を格納するROM143を有しており、このROMに格納されている復元フィルタ情報を用いて光学的伝達関数(OTF)に対して復元フィルタ処理を行いコントラストを改善する処理を施す機能を有し、ROM143に格納される復元フィルタ情報は、任意の復元フィルタで復元した画像のうち、所定の評価値を満足する画像が得られる復元フィルタから選定されていることから、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さい復元画像を得ることが可能で、しかもあらかじめ定められた被写体距離の撮影が可能で安定な生産を行うことが可能となる。
また、本実施形態においては、光学系110のピント位置の調整は、光学的伝達関数(OTF)を変調させる光波面変調素子を有する光学系を通して繰り返し検知した画像信号に基づく被写体のコントラストを用いて、あらかじめ定められた被写体距離に対応するピント位置に移動させて行われることから、できるだけコントラストが高い部分でコントラスト検出を行うことでピント合わせを行い、あらかじめ定められた被写体距離の撮影が可能となる。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部180等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置100は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたDEOSの光学システムに使用することが可能である。
また、本実施形態においては、結像レンズ112による撮像素子120の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子120による1次画像FIMを受けて、1次画像の空間周波数におけるMTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像FNLIMを形成する画像処理装置140とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系110の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
ところで、CCDやCMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
しかし、上述したように、CCDやCMOSセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
また、図2や図3の光学系は一例であり、本発明は図2や図3の光学系に対して用いられるものとは限らない。また、スポット形状についても図4および図5は一例であり、本実施形態のスポット形状は、図4および図5に示すものとは限らない。
また、図31、図32、および図33のカーネルデータ格納ROMに関しても、光学倍率、Fナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても3個とは限らない。
100・・・撮像装置、110・・・光学系、120・・・撮像素子、130・・・アナログフロントエンド部(AFE)、140・・・画像処理装置、150・・・カメラ信号処理部、180・・・操作部、190・・・制御装置、111・・・物体側レンズ、112・・・結像レンズ、113・・・波面形成用光学素子、113a・・・位相板(光波面変調素子)、142・・・コンボリューション演算、143・・・カーネルデータROM、144・・・コンボリューション制御部、200・・・調整装置、210・・・レンズ調整駆動部、211・・・レンズ(光学系)、212・・・モータドライバ、220・・・センサ(撮像素子)、230・・・AFE(アナログフロントエンド部)、240・・・RAWバッファメモリ、250・・・コントラスト検知部、260・・・ピント調整制御部、270・・・画像表示部、300・・・調整装置、310・・・光学システム、311・・・レンズ(光学系)、312・・・センサ(撮像素子)、313・・・メモリ、320・・・フィルタ処理選択部、321・・・A/Dコンバータ、322・・・RAWバッファメモリ、323・・・コンボリューション演算器、324・・・復元フィルタ格納部、325・・・信号処理部、326・・・画像評価部、327・・・モニタ(表示部)、328・・・メモリ書換部。

Claims (3)

  1. 光学的伝達関数(OTF)を変調させる光波面変調素子を含む光学系と、
    前記光学系を通過した被写体像を撮像する撮像素子と、
    少なくとも、所定のバラツキを与えた光学系のOTFを平均化した複数のフィルタと変調伝達関数(MTF)分布との関係に基づいてあらかじめ選定された復元フィルタ情報を格納する記憶手段と、
    前記記憶手段に格納されている復元フィルタ情報を用いて、前記撮像素子からの被写体の分散画像信号に対して復元フィルタ処理を施して分散のない画像信号を生成する画像処理部と、を有し、
    前記光波面変調素子が、前記光学系の光軸をz軸とし、互いに直交する2軸をx、yとしたとき、位相が下記式で表され、且つ
    前記記憶手段に格納される復元フィルタ情報は、任意の復元フィルタで復元した画像のうち、所定の評価値を満足する画像が得られる復元フィルタから選定されており、
    前記画像処理部は、光学的伝達関数(OTF)に対して復元フィルタ処理を行い、コントラストを改善する処理を施す
    撮像装置。
  2. 前記光波面変調素子が、物体距離に応じたOTFの変化を、光波面変調素子を持たない光学系よりも小さくする作用を持つ
    請求項1に記載の撮像装置。
  3. 前記光波面変調素子を有する光学系のOTFが、前記光波面変調素子を含まない光学系の被写界深度よりも広い物体距離にわたって、前記撮像素子のナイキスト周波数まで0.1以上である
    請求項1または2に記載の撮像装置。
JP2011062640A 2011-03-22 2011-03-22 撮像装置 Expired - Fee Related JP5197784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011062640A JP5197784B2 (ja) 2011-03-22 2011-03-22 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011062640A JP5197784B2 (ja) 2011-03-22 2011-03-22 撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006263799A Division JP4749985B2 (ja) 2006-09-28 2006-09-28 撮像装置、並びにその製造装置および製造方法

Publications (2)

Publication Number Publication Date
JP2011120309A JP2011120309A (ja) 2011-06-16
JP5197784B2 true JP5197784B2 (ja) 2013-05-15

Family

ID=44284960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011062640A Expired - Fee Related JP5197784B2 (ja) 2011-03-22 2011-03-22 撮像装置

Country Status (1)

Country Link
JP (1) JP5197784B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6396638B2 (ja) 2013-03-29 2018-09-26 マクセル株式会社 位相フィルタ、撮像光学系、及び撮像システム
JP6578960B2 (ja) 2016-01-21 2019-09-25 オムロン株式会社 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005127A (ja) * 1998-01-23 2000-01-11 Olympus Optical Co Ltd 内視鏡システム
JP2006094468A (ja) * 2004-08-26 2006-04-06 Kyocera Corp 撮像装置および撮像方法

Also Published As

Publication number Publication date
JP2011120309A (ja) 2011-06-16

Similar Documents

Publication Publication Date Title
JP4749985B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4749959B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4749984B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4712631B2 (ja) 撮像装置
JP4663737B2 (ja) 撮像装置およびその画像処理方法
JP2007322560A (ja) 撮像装置、並びにその製造装置および製造方法
JP2008048293A (ja) 撮像装置、およびその製造方法
JP4818957B2 (ja) 撮像装置およびその方法
JP2008268937A (ja) 撮像装置および撮像方法
US8462213B2 (en) Optical system, image pickup apparatus and information code reading device
JP2007300208A (ja) 撮像装置
JP2008245266A (ja) 撮像装置および撮像方法
WO2006106737A1 (ja) 撮像装置および撮像方法
JP2009086017A (ja) 撮像装置および撮像方法
JP2006094468A (ja) 撮像装置および撮像方法
JP5197784B2 (ja) 撮像装置
JP4818956B2 (ja) 撮像装置およびその方法
JP2008245265A (ja) 撮像装置、並びにその製造装置および製造方法
JP2009033607A (ja) 撮像装置および画像処理方法
JP2008109230A (ja) 撮像装置および画像処理方法
JP4722748B2 (ja) 撮像装置およびその画像生成方法
JP4948967B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP2008167040A (ja) 撮像装置、その製造装置および製造方法、並びに情報コード読取装置
JP2008058540A (ja) 撮像装置、および画像処理方法
JP2008136145A (ja) 撮像装置、並びにその製造装置および製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5197784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees