JP4364847B2 - 撮像装置および画像変換方法 - Google Patents

Description

本発明は、撮像素子を用い、光学系、光波面変調素子（位相板）を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ等の撮像装置および画像変換方法に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）等に用いられている。

図１５は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図１５に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図１６（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報

上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズであっても、その物体距離によってそのスポット像が変化する通常の光学系では、一定の（変化しない）ＰＳＦは実現できず、それを解決するには、位相板を挿入する以前に物体距離の変化に対してスポット像が変化しないように光学系を設計する必要があり、設計の難度、精度が求められ、光学系のコストアップにも影響が及ぶ。
したがって、ＷＦＣＯは設計難度や精度の問題を抱え、かつデジタルカメラやカムコーダー等に適用するために求められる絵作り、つまり撮影したい物体にはピントが合い、背景はぼかすといった、いわゆる自然な画像を実現することはできないという大きな課題を抱えている。

本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能で、しかも自然な画像を得ることができる撮像装置およびその方法を提供することにある。

上記目的を達成するため、本発明の第１の観点の撮像装置は、少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、上記撮像素子からの分散画像信号より分散のない画像信号に変換処理する変換手段と、撮影する被写体の撮影モードを設定する撮影モード設定手段と、上記変換手段の変換処理に用いる変換係数を抽出する変換係数抽出手段と、を備え、上記撮影モードは通常撮影モードの他、マクロ撮影モードまたは遠景撮影モードのいずれか１つを有し、上記モード設定手段は、上記撮影モードを入力する操作部と、上記操作部により入力された撮影モードに応じた被写体までの距離に相当する概略距離情報を生成し、上記変換係数抽出手段に出力する被写体距離情報生成手段と、を含み、上記変換係数抽出手段は、上記撮影モード設定手段により設定された撮影モードに応じて得られた概略距離情報に応じた変換係数を抽出し、上記変換手段は、上記変換係数抽出手段から得られた撮影モードおよび概略距離情報に関連付けられた変換係数によって、画像信号の変換を行い、上記マクロ撮影モードを有する場合、上記変換手段は、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて近接側に分散を少なくするマクロ変換処理と、を撮影モードに応じて選択的に実行し、上記遠景撮影モードを有する場合、上記変換手段は、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて遠方側に分散を少なくする遠景変換処理と、を撮影モードに応じて選択的に実行する。

好適には、上記撮影モードは通常撮影モードの他、マクロ撮影モードまたは遠景撮影モードのいずれか１つを有し、上記マクロ撮影モードを有する場合、上記変換手段は、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて近接側に分散を少なくするマクロ変換処理と、を撮影モードに応じて選択的に実行し、上記遠景撮影モードを有する場合、上記変換手段は、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて遠方側に分散を少なくする遠景変換処理と、を撮影モードに応じて選択的に実行する。

好適には、上記撮影モード設定手段により設定される各撮影モードに応じて異なる変換係数を記憶する変換係数記憶手段を備え、上記変換係数抽出手段は、上記撮影モード設定手段により設定された撮影モードに応じて上記変換係数記憶手段から変換係数を抽出し、上記変換手段は、前記変換係数抽出手段から得られた変換係数によって、画像信号の変換を行う。

好適には、上記変換係数記憶手段は上記被写体分散像のカーネルサイズを変換係数として含む。

好適には、上記撮影モード設定手段は、撮影モードを入力する操作スイッチと、上記操作スイッチの入力情報により被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を含み、上記変換手段は、上記被写体距離情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号に変換処理する。

本発明の第２の観点は、撮影する被写体の撮影モードを設定する撮影モード設定ステップと、少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像素子で撮像する撮影ステップと、上記撮影モード設定ステップにより設定された撮影モードに応じた被写体までの距離に相当する概略距離情報を生成する距離情報生成ステップと、上記撮影モード設定ステップにより設定された撮影モードに応じて得られた概略距離情報に応じた変換係数を抽出する変換係数抽出ステップと、上記変換係数抽出ステップで得られた撮影モードおよび概略距離情報に関連付けられた変換係数を用い、上記撮像素子からの分散画像信号から分散のない画像信号を生成する変換ステップと、を有し、上記撮影モードは通常撮影モードの他、マクロ撮影モードまたは遠景撮影モードのいずれか１つを有し、上記変換ステップは、上記マクロ撮影モードを有する場合、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて近接側に分散を少なくするマクロ変換処理と、を撮影モードに応じて選択的に実行するステップと、上記遠景撮影モードを有する場合、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて遠方側に分散を少なくする遠景変換処理と、を撮影モードに応じて選択的に実行するステップと、を含む。

本発明によれば、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の良いコンボリューション等の演算による画像復元が可能となり、また、自然な画像を得られる利点がある。
また、本発明によれば、光学系を簡単化でき、コスト低減を図ることができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

本実施形態に係る撮像装置１００は、ズーム光学系を有する撮像レンズ装置２００と、画像処理装置３００と、操作スイッチ４０１および被写体距離情報生成手段としての物体概略距離情報検出装置４０２を含む撮影モード設定部４００と、を主構成要素として有している。

本実施形態の撮像装置１００は、複数の撮影モード、たとえば通常撮影モード（ポートレイト）の他、マクロ撮影モード（至近）および遠景撮影モード（無限遠）を有しており、これら各種撮影モードは、撮影モード設定部４００の操作スイッチ４０１により選択して入力することが可能に構成されている。
操作スイッチ４０１は、たとえば図２に示すように、カメラ（撮像装置）の背面側の液晶画面４０３の下部側に備えられた切替スイッチ４０１ａ，４０１ｂ，４０１ｃにより構成される。
切替スイッチ４０１ａが遠景撮影モード（無限遠）を選択し入力するためのスイッチであり、切替スイッチ４０１ｂが通常撮影モード（ポートレイト）を選択し入力するためのスイッチであり、切替スイッチ４０１ｃがマクロ撮影モード（至近）を選択し入力するためのスイッチである。
なお、モードの切り替え方法は、図２のようなスイッチによる方法の他、タッチパネル式でも構わないし、メニュー画面から物体距離を切り替えるモードを選択しても構わない。

被写体距離情報生成手段としての物体概略距離情報検出装置４０２は、操作スイッチの入力情報により被写体までの距離に相当する情報を生成し、信号Ｓ４０２として画像処理装置３００に供給する。
画像処理装置３００は、撮像レンズ装置２００の撮像素子２２０からの分散画像信号より分散のない画像信号に変換処理するが、このとき物体概略距離情報検出装置４０２により信号Ｓ４０２に受けて、設定された撮影モードに応じて異なる変換処理を行う。
たとえば、画像処理装置３００は、通常撮影モードにおける通常変換処理と、この通常変換処理に比べて近接側に収差を少なくするマクロ撮影モードに対応したマクロ変換処理と、通常変換処理に比べて遠方側に収差を少なくする遠景撮影モードに対応した遠景変換処理と、を撮影モードに応じて選択的に実行する。

撮像レンズ装置２００は、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込むズーム光学系２１０と、ズーム光学系２１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして画像処理装置３００に出力するＣＣＤやＣＭＯＳセンサからなる撮像素子２２０とを有する。図１においては、撮像素子２２０を一例としてＣＣＤとして記載している。

図３は、本実施形態に係るズーム光学系２１０の光学系の構成例を模式的に示す図である。

図３のズーム光学系２１０は、物体側ＯＢＪＳに配置された物体側レンズ２１１と、撮像素子２２０に結像させるための結像レンズ２１２と、物体側レンズ２１１と結像レンズ２１２間に配置され、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）群２１３を有する。また、物体側レンズ２１１と結像レンズ２１２間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。

図３のズーム光学系２１０は、デジタルカメラに用いられる３倍ズームに光学位相板２１３ａを挿入した例である。
図で示された位相板２１３ａは、光学系により収束される光束を規則正しく分光する光学レンズである。この位相板を挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム（ＷＦＣＯ：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置３００において行う。

図４は、位相板を含まないズーム光学系２１０の無限側のスポット像を示す図である。図５は、位相板を含まないズーム光学系２１０の至近側のスポット像を示す図である。図６は、位相板を含むズーム光学系２１０の無限側のスポット像を示す図である。図７は、位相板を含むズーム光学系２１０の至近側のスポット像を示す図である。

基本的に、位相板を含まない光学レンズ系を通った光のスポット像は図４および図５に示されるように、その物体距離が至近側にある場合と無限側にある場合では、異なったスポット像を示す。
このように、物体距離で異なるスポット像を持つ光学系においては、後で説明するＨ関数が異なる。
当然、図６および図７に示すように、このスポット像に影響される位相板を通したスポット像もその物体距離が至近側と無限側では異なったスポット像となる。

このような、物体位置で異なるスポット像を持つ光学系においては、従来の装置では適正なコンボリューション演算を行うことができず、このスポット像のズレを引き起こす非点、コマ収差、球面収差等の各収差を無くす光学設計が要求される。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。また、スポット像のズレを引き起こす非点隔差、コマ収差、球面収差等の各収差を補正した光学系に設計した場合、画像復元すると画面全体にピントが合った画像になってしまい、デジタルカメラやカムコーダー等に求められる絵作り、つまり撮影したい物体にはピントが合い、背景はぼかすといった、いわゆる自然な画像を実現することはできない。
そこで、本実施形態においては、図１に示すように、撮像装置（カメラ）１００が撮影状態に入った時点で、操作スイッチ４０１にて選択され入力された撮影モード（本実施形態の場合、通常撮影モード、遠景撮影モード、マクロ撮影モード）に応じた被写体の物体距離の概略距離を物体概略距離情報検出装置４０２から信号Ｓ４０２として読み出し、画像処理装置３００に供給する。

画像処理装置３００は、前述したように、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離情報に基づいて、撮像素子２２０からの分散画像信号より分散のない画像信号を生成する。

なお、本実施形態において、分散とは、上述したように、位相板２１３ａを挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を形成し、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。

図８は、撮像素子２２０からの分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示すブロック図である。

画像処理装置３００は、図８に示すように、コンボリューション装置３０１、記憶手段としてのカーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００においては、物体概略距離情報検出装置４０２から読み出した被写体の物体距離の概略距離に関する情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。

ここで、ＷＦＣＯの基本原理について説明する。
図９に示すように、計測する物体をｓ（ｘ，ｙ）、計測においてボケをもたらす重み関数（点像分布関数ＰＳＦ）をｈ（ｘ，ｙ）とすると計測される観測像ｆ（ｘ，ｙ）は次式で表される。

（数１）
ｆ（ｘ，ｙ）＝ｓ（ｘ，ｙ）＊ｈ（ｘ，ｙ）
ただし、＊はコンボリューションを表す。

ＷＦＣＯでの信号回復は、観測像ｆ（ｘ，ｙ）から、ｓ（ｘ，ｙ）を求めることである。信号回復するためには、たとえば元の画像ｓ（ｘ，ｙ）は、ｆ（ｘ，ｙ）に次の処理（掛ける処理）を行うことによって回復される。

（数２）
Ｈ（ｘ，ｙ）＝ｈ^-1（ｘ，ｙ）

すなわち、次のように表すことができる。

（数３）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊Ｈ（ｘ，ｙ） → ｓ（ｘ，ｙ）

ただし、Ｈ（ｘ，ｙ）は上記のようにインバースフィルタに限らず、ｇ（ｘ，ｙ）を得る各種フィルタを用いても構わない。

ここで、Ｈに関するカーネルサイズと演算係数について説明する。
物体概略距離をＦＰｎ，ＦＰｎ−１・・・とする。また、物体概略距離に対するそれぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
物体距離によって各々のスポット像が異なる、つまり、フィルタを生成するために使用するＰＳＦが異なるので、各々のＨ関数は物体距離によって異なる。
したがって、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。

上記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボリューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成等、を採用することが可能である。

本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレイト、無限遠（風景）、マクロ）に応じて画像処理を変更する。

図８の構成に対応付けると次のような構成をとることができる。

前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して撮影モード設定部４００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ３０２に格納する。
画像処理演算プロセッサ３０３が、撮影モード設定部４００の操作スイッチ４０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置４０２により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数抽出手段とて機能する。
そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。

次に、画像処理演算プロセッサ３０３が変換係数演算手段として機能する場合の具体的な処理について、図１０のフローチャートに関連付けて説明する。

物体概略距離情報検出装置４００において、撮影モード設定部４００の操作スイッチ４０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置４０２により物体概略距離（ＦＰ）が検出され、検出情報が画像処理演算プロセッサ３０３に供給される（ＳＴ１）。
画像処理演算プロセッサ３０３においては、物体概略距離ＦＰからカーネルサイズ、数値演算係数をレジスタ３０２に格納される（ＳＴ２）。
そして、撮像レンズ装置２００で撮像され、コンボリューション装置３０１に入力された画像データに対して、レジスタ３０２に格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータＳ３０２が画像処理演算プロセッサ３０３に転送される（ＳＴ３）。

以上の画像変換処理は、概略的に、撮影する被写体の撮影モードを設定する撮影モード設定ステップと、少なくとも光学系および位相板とを通過した被写体分散像を撮像素子で撮像する撮影ステップと、撮影モード設定ステップで設定された撮影モードに応じた変換係数を用い、撮像素子からの分散画像信号から分散のない画像信号を生成する変換ステップと、を含む。
ただし、撮影モードを設定する撮影モード設定ステップと、被写体分散像を撮像素子で撮像する撮影ステップとは、処理時の前後を問わない。すなわち、撮影モード設定ステップが撮影ステップより前であってもいいし、撮影モード設定ステップが撮影ステップより後であっても良い。

本実施形態においては、ＷＦＣＯを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。

図１１（Ａ）〜（Ｃ）は、撮像レンズ装置２００の撮像素子２２０の受光面でのスポット像を示している。
図１１（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図１１（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図１１（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図１１（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像レンズ装置２００においては、位相板２１３ａを含む波面形成用光学素子群２１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。

このように、本実施形態の撮像レンズ装置２００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。

図１２（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図１２（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図１２（Ｂ）が空間周波数に対するＭＴＦ特性を示している。 本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置３００の補正処理に任せるため、図１２（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。

画像処理装置３００は、たとえばＤＳＰにより構成され、上述したように、撮像レンズ装置２００による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。

画像処理装置３００のＭＴＦ補正処理は、たとえば図１３の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１３中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１３中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図１３に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１３のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１４に示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。

このように、実施形態に係る撮像装置１００は、１次画像を形成する光学系２１０を含む撮像レンズ装置２００と、１次画像を高精細な最終画像に形成する画像処理装置３００からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置３００を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像レンズ装置２００による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置３００で行う。

ここで、本実施形態における撮像レンズ装置２００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系２１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。

したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図１１（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置３００でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。

以上説明したように、本実施形態によれば、光学系および位相板（光波面変調素子）とを通過した被写体収差像を撮像する撮像レンズ装置２００と、撮像素子２００からの分散画像信号より収差のない画像信号を生成する画像処理装置３００と、撮影する被写体の撮影モードを設定する撮影モード設定部４００とを備え、画像処理装置３００は、撮影モード設定部４００により設定された撮影モードに応じて異なる変換処理を行うことから、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、物体距離の概略距離を操作スイッチ等の入力により知り、その物体距離に応じた適性となるカーネルサイズや上述した係数を対応させることにより、物体距離やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＷＦＣＯに使用することが可能である。

なお、本実施形態においては、撮影モードとして、通常撮影モードの他に、マクロ撮影モードと遠景撮影モードを有する場合を例に説明しが、マクロ撮影モードまたは遠景撮影モードのいずれか１つのモードを有する場合、あるいはさらに細かなモードを設定する等、種々の態様が可能である。

また、本実施形態においては、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ装置２００と、撮像レンズ装置２００による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置３００とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、撮像レンズ装置２００の光学系２１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

なお、本実施形態において、光学系２１０の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても上記と同様の作用効果を得ることができる。

また、光学系２１０を構成するレンズは、図３の例に限定されることはなく、本発明は、種々の態様が可能である。

本発明に係る撮像装置の一実施形態を示すブロック構成図である。 本発明の係る操作スイッチの構成例を示す図である。 本実施形態に係る撮像レンズ装置のズーム光学系の構成例を模式的に示す図である。 位相板を含まないズーム光学系の無限側のスポット像を示す図である。 位相板を含まないズーム光学系の至近側のスポット像を示す図である。 位相板を含むズーム光学系の無限側のスポット像を示す図である。 位相板を含むズーム光学系の至近側のスポット像を示す図である。 本実施形態の画像処理装置の具体的な構成例を示すブロック図である。 ＷＦＣＯの原理を説明するための図である。 本実施形態の動作を説明するためのフローチャートである。 本実施形態に係る撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。 本実施形態に係る撮像レンズ装置により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図１５の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

１００…画像形成装置、２００…撮像レンズ装置、２１１…物体側レンズ、２１２…結像レンズ、２１３…波面形成用光学素子、２１３ａ…位相板（光波面変調素子）、３００…画像処理装置、３０１…コンボリューション装置、３０２…カーネル、数値演算係数格納レジスタ、３０３…画像処理演算プロセッサ、４００…撮影モード設定部、４０１…操作スイッチ、４０２…物体概略距離情報検出装置。

Claims (4)

1. 少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、
   上記撮像素子からの分散画像信号より分散のない画像信号に変換処理する変換手段と、
   撮影する被写体の撮影モードを設定する撮影モード設定手段と、
   上記変換手段の変換処理に用いる変換係数を抽出する変換係数抽出手段と、を備え、
   上記撮影モードは通常撮影モードの他、マクロ撮影モードまたは遠景撮影モードのいずれか１つを有し、
   上記モード設定手段は、
   上記撮影モードを入力する操作部と、
   上記操作部により入力された撮影モードに応じた被写体までの距離に相当する概略距離情報を生成し、上記変換係数抽出手段に出力する被写体距離情報生成手段と、を含み、
   上記変換係数抽出手段は、
   上記撮影モード設定手段により設定された撮影モードに応じて得られた概略距離情報に応じた変換係数を抽出し、
   上記変換手段は、
   上記変換係数抽出手段から得られた撮影モードおよび概略距離情報に関連付けられた変換係数によって、画像信号の変換を行い、
   上記マクロ撮影モードを有する場合、上記変換手段は、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて近接側に分散を少なくするマクロ変換処理と、を撮影モードに応じて選択的に実行し、
   上記遠景撮影モードを有する場合、上記変換手段は、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて遠方側に分散を少なくする遠景変換処理と、を撮影モードに応じて選択的に実行する
   撮像装置。
2. 上記撮影モード設定手段により設定される各撮影モードに応じて異なる変換係数を記憶する変換係数記憶手段を備え、
   上記変換係数抽出手段は、上記撮影モード設定手段により設定された撮影モードに応じて上記変換係数記憶手段から変換係数を抽出し、
   上記変換手段は、前記変換係数抽出手段から得られた変換係数によって、画像信号の変換を行う
   請求項１記載の撮像装置。
3. 上記変換係数記憶手段は上記被写体分散像のカーネルサイズを変換係数として含む
   請求項２に記載の撮像装置。
4. 撮影する被写体の撮影モードを設定する撮影モード設定ステップと、
   少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像素子で撮像する撮影ステップと、
   上記撮影モード設定ステップにより設定された撮影モードに応じた被写体までの距離に相当する概略距離情報を生成する距離情報生成ステップと、
   上記撮影モード設定ステップにより設定された撮影モードに応じて得られた概略距離情報に応じた変換係数を抽出する変換係数抽出ステップと、
   上記変換係数抽出ステップで得られた撮影モードおよび概略距離情報に関連付けられた変換係数を用い、上記撮像素子からの分散画像信号から分散のない画像信号を生成する変換ステップと、を有し、
   上記撮影モードは通常撮影モードの他、マクロ撮影モードまたは遠景撮影モードのいずれか１つを有し、
   上記変換ステップは、
   上記マクロ撮影モードを有する場合、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて近接側に分散を少なくするマクロ変換処理と、を撮影モードに応じて選択的に実行するステップと、
   上記遠景撮影モードを有する場合、通常撮影モードにおける通常変換処理と、当該通常変換処理に比べて遠方側に分散を少なくする遠景変換処理と、を撮影モードに応じて選択的に実行するステップと、を含む
   画像変換方法。

Images