JP4693720B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4693720B2 JP4693720B2 JP2006195738A JP2006195738A JP4693720B2 JP 4693720 B2 JP4693720 B2 JP 4693720B2 JP 2006195738 A JP2006195738 A JP 2006195738A JP 2006195738 A JP2006195738 A JP 2006195738A JP 4693720 B2 JP4693720 B2 JP 4693720B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- optical system
- subject
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置に関するものである。
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
図３８は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。撮像レンズ装置１においては、図３８に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図３９（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、カメラによる写真撮影では、たとえば絞りを開放側に設定して被写体深度を浅くしつつ被写体にピントを合わせることにより、主たる被写体以外の他の部分を意図的にぼかす撮影手法が知られている。
また、被写体と背景との間の距離関係に拘束されることなく背景だけボケた画像を得るために、複数のフォーカス位置で画像を撮像し、合成する撮影手法が知られている。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems", Edward R. Dowski,Jr., Robert H.Cormack, Scott D.Sarama. "Wavefront Coding; A modern method of achieving high performance and/or low cost imaging systems", Edward R.Dowski,Jr., Gregory E.Johnson. ＵＳＰ６，０２１，００５
ＵＳＰ６，６４２，５０４
ＵＳＰ６，５２５，３０２
ＵＳＰ６，０６９，７３８
特開２００３−２３５７９４号公報
特開２００４−１５３４９７号公報
また、カメラによる写真撮影では、たとえば絞りを開放側に設定して被写体深度を浅くしつつ被写体にピントを合わせることにより、主たる被写体以外の他の部分を意図的にぼかす撮影手法が知られている。
また、被写体と背景との間の距離関係に拘束されることなく背景だけボケた画像を得るために、複数のフォーカス位置で画像を撮像し、合成する撮影手法が知られている。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems", Edward R. Dowski,Jr., Robert H.Cormack, Scott D.Sarama. "Wavefront Coding; A modern method of achieving high performance and/or low cost imaging systems", Edward R.Dowski,Jr., Gregory E.Johnson.
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
また、前述した背景だけボケた画像を得るために、複数のフォーカス位置で画像を撮像し、合成する撮影手法では、フォーカス位置を変えて撮像することを複数回行うため、全ての撮像が終了するまでに時間がかかるといった問題がある。また、この撮影手法では、複数毎撮影する間に被写体や背景にある物体が動いて変化してしまい、合成後の画が不自然になってしまうことがあるという問題がある。
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、しかも１回の撮像より所望の領域だけがボケた画像、あるいは合焦画像を得ることが可能で、またノイズの影響が小さい復元画像を得ることが可能な撮像装置および撮像方法を提供することにある。
本発明の撮像装置は、少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、該撮像素子からの分散画像信号より分散のない画像信号、及び分散の少ない画像信号を1または複数生成する変換手段を備え、前記撮像素子による画像信号に複数の異なる所定の処理を行う信号処理部と、該信号処理部による処理前のボケ画像、処理後の分散のない合焦画像、処理後の分散の少ない中間画像、及び／又は前記ボケ画像、合焦画像、あるいは中間画像を合成した新たな画像を記録する記録部と、該記録部に記録された画像、または記録するための画像を表示する表示部と、該表示部内の範囲の設定、及び／又はボケ画像の選択を行なう操作部と、該操作部による前記表示部での設定範囲内又は設定範囲外における合焦画像を生成し、かつ該合焦画像生成以外の範囲を前記中間画像、または前記中間画像及びボケ画像により、前記合焦画像から離れるに従って序々にボケ度合いが大きくなる段階的ボケ画像を生成し、前記合焦画像と段階的ボケ画像とを合成して新たな画像を生成する生成手段と、を備えている。
好適には、前記光学系は、ズーム光学系を含み、前記ズーム光学系のズーム位置またズーム量に相当する情報を生成するズーム情報生成手段を備え、前記変換手段は、前記ズーム情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する。
好適には、被写体までの距離に相当する情報を生成する被写体距離情報生成手段を備え、 前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する。
好適には、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。
好適には、撮影する被写体の撮影モードを設定する撮影モード設定手段を備え、前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う。
好適には、前記撮像装置は、複数のレンズを交換可能であって、前記撮像素子は、前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を撮像可能で、さらに、前記一のレンズに応じた変換係数を取得する変換係数取得手段を備え、前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う。
好適には、露出制御を行う露出制御手段を備え、前記信号処理部は、前記露出制御手段からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行う。
本発明によれば、光学系を簡単化でき、コスト低減を図ることができ、しかも１回の撮影で所望の領域だけがボケた画像、あるいはノイズの影響が小さい復元画像（すなわち、合焦画像）、さらにはそれらの合成画像を得ることができる利点がある。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および露出制御装置１９０を有している。
光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
本実施形態の光学系１１０は、後で詳述するように、光波面変調素子を含んで構成されている。
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および露出制御装置１９０を有している。
光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
本実施形態の光学系１１０は、後で詳述するように、光波面変調素子を含んで構成されている。
撮像素子１２０は、光波面変調素子を含む光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
アナログフロントエンド部１３０は、タイミングジェネレータ１３１、およびアナログ／デジタル（Ａ／Ｄ）コンバータ１３２を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
カメラ信号処理部（ＤＳＰ）１５０は、画像処理装置１４０、露出制御装置１９０の露出情報に応じて、光学的伝達関数（OTF）に対してフィルタ処理を行う。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像（合焦画像）信号、および1または複数の分散の少ない画像（中間画像）信号を生成する機能を有する。また、信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
カメラ信号処理部（ＤＳＰ）１５０は、画像処理装置１４０、露出制御装置１９０の露出情報に応じて、光学的伝達関数（OTF）に対してフィルタ処理を行う。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像（合焦画像）信号、および1または複数の分散の少ない画像（中間画像）信号を生成する機能を有する。また、信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。
露出制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。
本実施形態の撮像装置１００は、複数の撮影モード、たとえばポートレートモードの他、マクロ撮影モード（至近）および遠景撮影モード（無限遠）を有しており、これら各種撮影モードは、操作部１８０により選択して入力することが可能に構成されている。
操作部１８０は、たとえば図２に示すように、カメラ（撮像装置）１００の背面側の画像モニタリング装置１７０である液晶画面１７０１の近傍に配置されたMENUボタン１８０１、ズームボタン１８０２、および十字キー１８０３により構成される。
なお、ポートレートモードは、通常撮影時に被写体に応じて設定する撮影モードの１つであり、人物撮影に適した撮影モードで、中央の人物に焦点を合わせ、背景の画像をボケた画像とするものである。他の設定できるモードとしては、スポーツモード、夕焼けモード、夜景モード、白黒モード、セピアモード等がある。
操作部１８０は、たとえば図２に示すように、カメラ（撮像装置）１００の背面側の画像モニタリング装置１７０である液晶画面１７０１の近傍に配置されたMENUボタン１８０１、ズームボタン１８０２、および十字キー１８０３により構成される。
なお、ポートレートモードは、通常撮影時に被写体に応じて設定する撮影モードの１つであり、人物撮影に適した撮影モードで、中央の人物に焦点を合わせ、背景の画像をボケた画像とするものである。他の設定できるモードとしては、スポーツモード、夕焼けモード、夜景モード、白黒モード、セピアモード等がある。
MENUボタン１８０１及び十字キー１８０３により各モードを選択して設定することができる。本実施形態においては、ポートレートモードは横撮影用ポートレートと縦撮影用ポートレートを選択可能に構成されている。なお、モードの切り替えは、液晶画面１７０１でのタッチパネル式でも構わない。
そして、本実施形態における撮像装置１００は、ポートレート撮影をより容易にするために以下の機能を有している。
すなわち、画像処理装置１４０、ＤＳＰ１５０、および露出制御装置１９０により形成される信号処理部は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号、および分散の少ない画像信号を生成する等の分散画像信号に対する所定の信号処理を行うが、この信号処理部の処理前の画像と処理後の画像を合成して新たな画像を合成する生成機能を有している。
この生成機能において、背景領域は、ぼかし画像処理により複数の画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成する。
すなわち、画像処理装置１４０、ＤＳＰ１５０、および露出制御装置１９０により形成される信号処理部は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号、および分散の少ない画像信号を生成する等の分散画像信号に対する所定の信号処理を行うが、この信号処理部の処理前の画像と処理後の画像を合成して新たな画像を合成する生成機能を有している。
この生成機能において、背景領域は、ぼかし画像処理により複数の画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成する。
さらに、信号処理部１４０，１５０等の信号処理前の画像、処理後の復元画像、合成した新たな画像をたとえば図示しないメモリバッファや画像表示メモリ１６０に記録する記録機能を備えている。
この記録機能を備えていることから、本撮像装置１００は、生成機能を備えたことによるポートレート撮影を容易に行えるという効果に加えて、以下の効果を得ることが可能となっている。
すなわち、信号処理前の画像、処理後の画像を記録しておくことで、撮影して記録した後に明瞭にさせたい（ハッキリさせたい）エリア（逆に、ボカしたいエリア）の位置や大きさを選択し、新たな画像を作成することができる。
そのため、撮影時にポートレートモード以外で撮影した記録した画像からポートレート撮影画像を作成することができる。
この記録機能を備えていることから、本撮像装置１００は、生成機能を備えたことによるポートレート撮影を容易に行えるという効果に加えて、以下の効果を得ることが可能となっている。
すなわち、信号処理前の画像、処理後の画像を記録しておくことで、撮影して記録した後に明瞭にさせたい（ハッキリさせたい）エリア（逆に、ボカしたいエリア）の位置や大きさを選択し、新たな画像を作成することができる。
そのため、撮影時にポートレートモード以外で撮影した記録した画像からポートレート撮影画像を作成することができる。
このような機能を有する撮像装置１００の信号処理部においては、画像復元処理後の画像から主たる被写体を含む被写体領域の合焦画像を抽出し、画像復元処理前の画像から被写体領域に接する背景領域の非合焦画像を抽出する。これら抽出された被写体領域の合焦画像と背景領域の非合焦画像とを合成して新たな画像を生成する。そして、生成された画像を記録する。
また、本実施形態では、操作部１８０は、被写体領域を使用者に指定させる指定部としても機能する。
また、本実施形態では、操作部１８０は、被写体領域を使用者に指定させる指定部としても機能する。
以下に、本実施形態に係るポートレート画像の作成処理例を図３〜図９に関連付けて説明する。
図３は、被写体部分の網掛け部分のみを復元処理を行い、ポートレートの画像を作成する例を示す図である。
図４は、横撮影ポートレートモード時の中央領域を示す図である。
図５は、縦撮影ポートレートモード時の中央領域を示す図である。
図６は、プレビュー画表示中に被写体選択をユーザが行っている様子であって、中央領域を示す枠の大きさと位置をユーザが十字キー１８０３によって決定する例を示す図である。
また、図７は、画像の中央領域を復元処理する場合のフローチャートであり、図８は、選択された領域を復元処理する場合のフローチャートである。
図４は、横撮影ポートレートモード時の中央領域を示す図である。
図５は、縦撮影ポートレートモード時の中央領域を示す図である。
図６は、プレビュー画表示中に被写体選択をユーザが行っている様子であって、中央領域を示す枠の大きさと位置をユーザが十字キー１８０３によって決定する例を示す図である。
また、図７は、画像の中央領域を復元処理する場合のフローチャートであり、図８は、選択された領域を復元処理する場合のフローチャートである。
＜第１例＞
撮像素子１２０によって得られたアナログ信号を画像処理部１４０でデジタル化され、DＳＰ１５０においてY、Cb、Cr信号になって、表示部としての画像モニタリング装置１７０にスルー画として表示される。
操作部１８０によって、縦撮影ポートレートモードもしくは、横撮影ポートレートモードを選択すると、図４または図５に示すように、撮像された画像の中央の部分に縦撮影用、横撮影用の枠が表示され、ユーザは、その枠内に人物を合わせ撮影する。
すると、図３に示すように、枠内のみ画像処理がされ被写体部分の網掛け部分のみを復元処理することによりポートレートの画像が作成できる。
ちなみに、縦撮影、横撮影かどうかは、角速度センサを用いて、自動的に検出してもよい。
撮像素子１２０によって得られたアナログ信号を画像処理部１４０でデジタル化され、DＳＰ１５０においてY、Cb、Cr信号になって、表示部としての画像モニタリング装置１７０にスルー画として表示される。
操作部１８０によって、縦撮影ポートレートモードもしくは、横撮影ポートレートモードを選択すると、図４または図５に示すように、撮像された画像の中央の部分に縦撮影用、横撮影用の枠が表示され、ユーザは、その枠内に人物を合わせ撮影する。
すると、図３に示すように、枠内のみ画像処理がされ被写体部分の網掛け部分のみを復元処理することによりポートレートの画像が作成できる。
ちなみに、縦撮影、横撮影かどうかは、角速度センサを用いて、自動的に検出してもよい。
この処理動作を図７に関連付けて説明すると、縦撮影用ポートレートモード、または、横撮影用ポートレートモードが設定されると、撮像装置１００は、撮像素子１２０による撮像動作を開始して、表示部である画像モニタリング装置１７０にプレビュー画を表示させる（ＳＴ１）。
そして、プレビュー画表示中にユーザがシャッターキーを押すと（ＳＴ２）、画像をバッファのRAMに記録し（ＳＴ３）、あらかじめ設定されている中央の領域のみを画像復元を行い（ＳＴ４）、記録処理を行う（ＳＴ５)。
そして、プレビュー画表示中にユーザがシャッターキーを押すと（ＳＴ２）、画像をバッファのRAMに記録し（ＳＴ３）、あらかじめ設定されている中央の領域のみを画像復元を行い（ＳＴ４）、記録処理を行う（ＳＴ５)。
＜第２例＞
この場合、撮影完了後、プレビュー画像において、図６に示すように、ユーザが被写体を選択し、その部分を画像処理することによって、ポートレートの画像が作成できる。
この処理動作を図８に関連付けて説明すると、縦撮影用ポートレートモード、または、横撮影用ポートレートモードが設定されると、撮像装置１００は、撮像素子１２０による撮像動作を開始して、表示部である画像モニタリング装置１７０にプレビュー画を表示させる（ＳＴ１１）。
そして、プレビュー画表示中にユーザがシャッターキーを押すと（ＳＴ１２）、画像をバッファのRAMに記録し（ＳＴ１３）、プレビュー画像を表示し、操作部１８０によって、ユーザが被写体の選択を行う（ＳＴ１４）。
そして、選択された領域部分の画像復元処理を行い（ＳＴ１５）、復元画像の録処理を行う（ＳＴ１６）。
この場合、撮影完了後、プレビュー画像において、図６に示すように、ユーザが被写体を選択し、その部分を画像処理することによって、ポートレートの画像が作成できる。
この処理動作を図８に関連付けて説明すると、縦撮影用ポートレートモード、または、横撮影用ポートレートモードが設定されると、撮像装置１００は、撮像素子１２０による撮像動作を開始して、表示部である画像モニタリング装置１７０にプレビュー画を表示させる（ＳＴ１１）。
そして、プレビュー画表示中にユーザがシャッターキーを押すと（ＳＴ１２）、画像をバッファのRAMに記録し（ＳＴ１３）、プレビュー画像を表示し、操作部１８０によって、ユーザが被写体の選択を行う（ＳＴ１４）。
そして、選択された領域部分の画像復元処理を行い（ＳＴ１５）、復元画像の録処理を行う（ＳＴ１６）。
ここで、本発明の特徴である操作部１８０により液晶画面１７０１での設定範囲内又は設定範囲外における合焦画像を生成し、ボケ画像と合成して新たな画像を生成する具体例について説明する。
図９は、撮影して記録した画像を液晶画面１７０１に表示した状態を示す図である。図９（Ａ）は、信号処理前の画像（ボケ画像）を表示した状態を示す図である。
図９（Ｂ）の左側は操作部１８０の操作により信号処理後の画像（合焦画像）範囲として全領域を網掛けにより指定している状態を示す図であり、右側は本指定により全領域で合焦画像を表示した状態を示す図である。
本発明は、この合焦画像とする範囲の大きさ・位置を操作部１８０で任意に可変可能とすることを特徴とし、図９（Ｃ）の左側は操作部１８０により中心の人物近傍のみを合焦画像範囲として指定している状態を示す図であり、右側は本指定により人物近傍のみ合焦画像とし、周辺をボケ画像で表示した状態を示す図である。なお、合焦画像範囲の形状も操作部１８０で選択可能とすればよく、たとえば図９（Ｄ）に示すような台形形状や四角形状であってもよい。
また、図９（Ｅ）の左側は操作部１８０によりボケ画像範囲として右下部分を指定している状態を示す図であり、右側は本指定により右下部分（花の近傍）のみボケ画像とし、その他の部分を合焦画像で表示した状態を示す図である。
図９は、撮影して記録した画像を液晶画面１７０１に表示した状態を示す図である。図９（Ａ）は、信号処理前の画像（ボケ画像）を表示した状態を示す図である。
図９（Ｂ）の左側は操作部１８０の操作により信号処理後の画像（合焦画像）範囲として全領域を網掛けにより指定している状態を示す図であり、右側は本指定により全領域で合焦画像を表示した状態を示す図である。
本発明は、この合焦画像とする範囲の大きさ・位置を操作部１８０で任意に可変可能とすることを特徴とし、図９（Ｃ）の左側は操作部１８０により中心の人物近傍のみを合焦画像範囲として指定している状態を示す図であり、右側は本指定により人物近傍のみ合焦画像とし、周辺をボケ画像で表示した状態を示す図である。なお、合焦画像範囲の形状も操作部１８０で選択可能とすればよく、たとえば図９（Ｄ）に示すような台形形状や四角形状であってもよい。
また、図９（Ｅ）の左側は操作部１８０によりボケ画像範囲として右下部分を指定している状態を示す図であり、右側は本指定により右下部分（花の近傍）のみボケ画像とし、その他の部分を合焦画像で表示した状態を示す図である。
ここで、範囲を指定する具体的方法について説明する。たとえば、液晶画面１７０１上のカーソル（十字マーク）を十字キー１８０３で移動させて中心と半径を指定して円形状を決定したり、３点を指定して円形状を決定したり、図１０（Ａ）に示すように、中心と２つの半径を指定して楕円形状を決定すればよい。 図１０は、液晶画面１７０１の表示状態を示す図である。
また、形状の角を指定して多角形状を決定してもよい。また、画面を２分するような場合は、２点を指定して２分させることを決定してもよい。たとえば、図１０（Ｂ）に示すように、角に相当する4点を指定して台形形状を決定すればよい。ここで、図１０（Ａ）及び図１０（Ｂ）に示す矢印は、指定した範囲内を十時キー１８０３によりボケ画像とするか合焦画像とするかの選択、及び／又は指定した範囲を移動させることを示したものである。
図１１は、操作部１８０による手順を示したものである。
図１１（Ａ）に示すように、まずＭＥＮＵボタン１８０１を押して液晶画面１７０１内にメニューを表示させ、十字キー１８０３やズームボタン１８０２を用いて範囲を選択する。範囲の選択は、図１１に示すような点による指定と、予めテンプレートとして用意した範囲の形状を選択してサイズを調整するいずれかであればよい。
点による指定を選択した場合、図１１（Ｂ）（Ｃ）に示すように、液晶画面１７０１上に矢印が出て、この矢印を十字キー１８０３で移動して十字キー１８０３の中心を押圧することでコの字として角が決定する。これを４回繰り返すことで図１１（Ｃ）の状態となり、ズームボタン１８０２により処理実行を選択し、十字キー１８０３の中心を押圧する。そして、図面では省略するが、指定した範囲をボケ画像とするか合焦画像とするかの選択をする。指定した範囲を合焦画像とした場合には、図１１（Ｄ）に示すような画像が表示されるとともに、このボケ画像と合焦画像による合成画像も画像表示メモリ１６０に記録する。
図１１（Ａ）に示すように、まずＭＥＮＵボタン１８０１を押して液晶画面１７０１内にメニューを表示させ、十字キー１８０３やズームボタン１８０２を用いて範囲を選択する。範囲の選択は、図１１に示すような点による指定と、予めテンプレートとして用意した範囲の形状を選択してサイズを調整するいずれかであればよい。
点による指定を選択した場合、図１１（Ｂ）（Ｃ）に示すように、液晶画面１７０１上に矢印が出て、この矢印を十字キー１８０３で移動して十字キー１８０３の中心を押圧することでコの字として角が決定する。これを４回繰り返すことで図１１（Ｃ）の状態となり、ズームボタン１８０２により処理実行を選択し、十字キー１８０３の中心を押圧する。そして、図面では省略するが、指定した範囲をボケ画像とするか合焦画像とするかの選択をする。指定した範囲を合焦画像とした場合には、図１１（Ｄ）に示すような画像が表示されるとともに、このボケ画像と合焦画像による合成画像も画像表示メモリ１６０に記録する。
なお、ここまでの実施例では、ボケ画像又は合焦画像の範囲（位置・大きさ）を指定して、ボケ画像と合焦画像を合成して新たな画像を生成して記録する場合について説明したが、本発明は、合焦画像とボケ画像の中間となる中間画像を生成し、中間画像とボケ画像、あるいは複数の中間画像により合焦画像から離れるに従って序々にボケ度合いが大きくなる段階的ボケ画像を生成して記録することを特徴とする。なお、本発明の段階的ボケ画像は、合焦画像の範囲外の部分を自動的に処理を行えばよく、何段階にするかをユーザが操作部１８０で指定するようにしてもよい。
この中間画像は、分散の少ない画像であり、合焦画像よりも合焦しておらず、ボケ画像よりもボケていない画像を意味するものとし、合焦画像を生成するのと同処理で完全な合焦画像を生成しない処理、例えば合焦画像とするための係数と異なる係数により処理することにより生成することができる。そして、本発明は、信号処理後の中間画像と合焦画像を合成して新たな画像を合成したことを特徴としている。
この生成機能により、背景領域に中間画像を生成し、主たる被写体を含む被写体領域に合焦画像を生成し、これらの画像を合成して新たな画像を生成することが可能となる。ボケ画像と合焦画像を合成する場合、その合成部分近傍で画質に大きな差が発生してしまい、不自然なボケ味となってしまう可能性があるが、上述したようにボケ画像の代わりに中間画像とすることにより、合成部分近傍の画質の差が緩和され、より自然なボケ味を出すことができるようになる。これより、本実施例のボケ画像を中間画像に置き換えた場合であっても本発明の効果を得ることができる。さらに、図１２（ａ）に示すように合焦画像Ａの周囲に中間画像Ｂ、さらにその周囲に中間画像Ｂよりボケ度合いが大きい中間画像Ｃまたはボケ画像Ｃを形成することで、合焦画像から離れるに従って序々にボケ度合いが大きくなる段階的ボケ画像を生成することができ、ポートレート撮像画像に種々のバリエーションを持たせることができるようになる。図１２（ｂ）は、ボケ度合いを示す図であり、左右方向が図１２（ａ）のＸ方向、上下方向がボケ度合いを示す大きさであり、高い程ボケ度合いが小さい状態を示し、合焦画像Ａから離れるに従って２段階でボケ度合いが大きくなる段階的ボケ画像を生成した状態を示している。
なお、本実施例では、２段階でボケ度合いが大きくなる段階的ボケ画像を生成する場合について説明したが、図１３（ａ）に示すように多段階のボケ画像を生成するようにしてもよい。また、ボケ度合いの異なる中間画像を増やすことにより図１３（ｂ）に示すような略直線的なボケ度合いの変化となるようにしてもよい。また、図１３（ｃ）に示すように、合焦画像近傍のボケ度合いをやや大きくして曲線的な変化となるようにすることで、合焦画像の合焦度合いを強調することができる。さらに、図１３（ｄ）に示すように、合焦画像近傍のボケ度合いをやや緩やかにして曲線的な変化となるようにすることで、序々にボケる印象を持たせることができる。
本発明では、新たに１または複数の中間画像を形成する必要がある。本実施例では信号処理部１４０，１５０，１９０が１つの場合について説明しているが、中間画像を生成する場合には、信号処理部１４０，１５０，１９０等を２つ以上有してもよい。２つ以上有することにより、１つを合焦画像生成用、それ以外を中間画像生成用の信号処理部と区分けすることができ、合焦画像生成と中間画像生成を同時に行えることで処理スピードを高速化することができる。
本実施形態の撮像装置１００は、さらに、手振れ等の影響を受けずに、人物等をよりハッキリさせることができるように、以下に説明するように、光学系、画像処理装置に特徴的な構成を有している。
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
図１４は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図１５は深度拡張光学系システムの原理を説明するための図である。
また、図１６は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。図１７は広角側の像高中心のスポット形状を示す図であり、図１８は望遠側の像高中心のスポット形状を示す図である。
また、図１５は深度拡張光学系システムの原理を説明するための図である。
また、図１６は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。図１７は広角側の像高中心のスポット形状を示す図であり、図１８は望遠側の像高中心のスポット形状を示す図である。
図１４のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
図１４のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を被写界深度拡張光学系システムといい、この処理を画像処理装置１４０において行う。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を被写界深度拡張光学系システムといい、この処理を画像処理装置１４０において行う。
ここで、この被写界深度拡張光学系システムの基本原理について説明する。
図１５に示すように、被写体の画像ｆが光学系Ｈに入ることにより、画像gが生成される。
これは、次のような式で表される。
図１５に示すように、被写体の画像ｆが光学系Ｈに入ることにより、画像gが生成される。
これは、次のような式で表される。
（数１）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
生成された画像から被写体を求めるためには、次の処理を要する。
（数２）
ｆ＝Ｈ-−１＊ｇ
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
ｆ＝Ｈ-−１＊ｇ
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
次に、画像処理装置１４０の構成および処理について説明する。
画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、露出制御装置１９０により制御される。
また、カーネルデータ格納ＲＯＭ１４３には、図１９に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、露出制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
図１９の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
また、カーネルデータ格納ＲＯＭ１４３には、図１９に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、露出制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
図１９の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
図２０は、露出制御装置１９０の露出情報により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ２１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ２２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ２３）。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ２１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ２２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ２３）。
以下に画像処理装置１４０の信号処理部とカーネルデータ格納ROMについてさらに具体的な例について説明する。
図２１は、信号処理部とカーネルデータ格納ROMについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２１の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
図２１は、信号処理部とカーネルデータ格納ROMについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２１の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。
図２２は、信号処理部とカーネルデータ格納ROMについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２２の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ３１を予め用意した場合のブロック図である。
図２２の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ３１を予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ３１を施した後、カラーコンバージョン処理ＳＴ３２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３３を施す。
再度ノイズ処理ＳＴ３４を行い、カラーコンバージョン処理ＳＴ３５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ３４は省略することも可能である。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ３１を施した後、カラーコンバージョン処理ＳＴ３２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３３を施す。
再度ノイズ処理ＳＴ３４を行い、カラーコンバージョン処理ＳＴ３５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ３４は省略することも可能である。
図２３は、信号処理部とカーネルデータ格納ROMについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２３の例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ４１、カラーコンバージョン処理ＳＴ４２の後に、前記OTF復元フィルタを用いてコンボリューション処理ＳＴ４３を施す。
再度ノイズ処理ＳＴ４４を行い、カラーコンバージョン処理ＳＴ４５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ４１、ＳＴ４４は、いずれか一方のみでもよい。
図２３の例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ４１、カラーコンバージョン処理ＳＴ４２の後に、前記OTF復元フィルタを用いてコンボリューション処理ＳＴ４３を施す。
再度ノイズ処理ＳＴ４４を行い、カラーコンバージョン処理ＳＴ４５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ４１、ＳＴ４４は、いずれか一方のみでもよい。
図２４は、信号処理部とカーネルデータ格納ROMについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２４の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ５は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ５１を施した後、カラーコンバージョン処理ＳＴ５２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理をＳＴ５３施す。
再度、露出情報に応じたノイズ処理ＳＴ５４を行い、カラーコンバージョン処理ＳＴ５５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ５１は省略することも可能である。
図２４の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ５は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ５１を施した後、カラーコンバージョン処理ＳＴ５２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理をＳＴ５３施す。
再度、露出情報に応じたノイズ処理ＳＴ５４を行い、カラーコンバージョン処理ＳＴ５５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ５１は省略することも可能である。
以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
図２５は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２５は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示している。
図２５は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示している。
画像処理装置３００は、図２５に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
前記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
図２５の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板２１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板２１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
図２６は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２６は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００Ａの構成例を示している。
画像処理装置３００Ａは、図２５と同様に、図２６に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
図２６は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００Ａの構成例を示している。
画像処理装置３００Ａは、図２５と同様に、図２６に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
この画像処理装置３００Ａにおいては、ズーム情報検出装置５００から読み出したズーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、露出情報およびそのズーム位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像（スポット画像）を後段のＤＳＰ等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置５００を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
画像処理装置３００Ａにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ３０２に共通で１種類記憶しておく構成をとることができる。
画像処理装置３００Ａにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ３０２に共通で１種類記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
各ズーム位置に応じて、レジスタ３０２に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ３０２にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ３０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。
各ズーム位置に応じて、レジスタ３０２に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ３０２にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ３０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。
図２６の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた位相板２１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置４００により生成された情報に基づき、レジスタ３０２からズーム光学系２１０のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
変換係数記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた位相板２１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置４００により生成された情報に基づき、レジスタ３０２からズーム光学系２１０のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置４００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置４００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
図２７に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
図２８は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２８は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置３００Ｂの構成例を示している。
図２８は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置３００Ｂの構成例を示している。
画像処理装置３００Ｂは、図２２および図２３と同様に、図２５に示すように、コンボリューション装置３０１、記憶手段としてのカーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
この画像処理装置３００Ｂにおいては、物体概略距離情報検出装置６００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
この場合も上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
前記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボリューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレート、無限遠（風景）、マクロ）に応じて画像処理を変更する。
本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレート、無限遠（風景）、マクロ）に応じて画像処理を変更する。
図２８の構成に対応付けると次のような構成をとることができる。
前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して操作部１８０の撮影モード設定部７００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ３０２に格納する。
画像処理演算プロセッサ３０３が、撮影モード設定部７００の操作スイッチ７０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置４０２により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数抽出手段とて機能する。
そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。
前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して操作部１８０の撮影モード設定部７００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ３０２に格納する。
画像処理演算プロセッサ３０３が、撮影モード設定部７００の操作スイッチ７０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置４０２により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数抽出手段とて機能する。
そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。
なお、図１４や図１６の光学系は一例であり、本発明は図１４や図１６の光学系に対して用いられるものとは限らない。また、スポット形状についても図１７および図１８は一例であり、本実施形態のスポット形状は、図１７および図１８に示すものとは限らない。
また、図１９のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
また、図１９のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図２７のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報、撮像モード情報等であればよい。
なお、上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、深度拡張光学系システムを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
図２９（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図２９（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図２６（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図２５（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図２９（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
図２９（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図２９（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図２６（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図２５（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図２９（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
図３０（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図３０（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図３０（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図３０（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図３０（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
画像処理装置１４０のＭＴＦ補正処理は、たとえば図３１の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図３１中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
画像処理装置１４０のＭＴＦ補正処理は、たとえば図３１の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図３１中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図３１中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
本実施形態においては、図３１に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図３１のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図３２に示すようになる。
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
たとえば、図３１のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図３２に示すようになる。
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図２９（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図２９（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
図３３は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図３４は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図３５は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
図３３は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図３４は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図３５は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
以上説明したように、本実施形態によれば、画像処理装置１４０、ＤＳＰ１５０、および露出制御装置１９０により形成される信号処理部は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号、及び分散の少ない画像信号を生成する等の分散画像信号に対する所定の信号処理を行うが、この信号処理部の処理前のボケ画像、処理後の中間画像、さらには処理後の合焦画像を合成して新たな画像を合成する生成機能を有し、この生成機能において、背景領域が合焦画像から離れるに従って序々にボケ度合いが大きくなる段階的ボケ画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成し、また、信号処理前のボケ画像、処理後の復元画像（中間画像及び合焦画像）、及び合成した新たな画像をたとえば図示しないメモリバッファや画像表示メモリ１６０に記録する記録機能を備えていることから以下の効果を得ることができる。
ポートレート撮影を容易に行え、また、信号処理前の画像、処理後の画像を記録しておくことで、撮影して記録した後に明瞭にさせたい（ハッキリさせたい）エリア（逆に、ボカしたいエリア）の位置や大きさを選択し、新たな画像を作成することができ、撮影時にポートレートモード以外で撮影した記録した画像からポートレート撮影画像を作成することができる利点がある。さらには、ポートレートモードのバリエーションを増やすことができる利点がある。
また、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、画像処理装置１４０において、露出制御装置１９０からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行うことから、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景は段階的にぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズの深度拡張光学系システムに使用することが可能である。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズの深度拡張光学系システムに使用することが可能である。
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
また、図１４や図１６の光学系は一例であり、本発明は図１４や図１６の光学系に対して用いられるものとは限らない。また、スポット形状についても図１７および図１８は一例であり、本実施形態のスポット形状は、図１７および図１８に示すものとは限らない。
また、図１９のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
なお、以上の実施形態は光学系が一つの場合を例に説明したが、光学系を複数有する撮像装置に対しても本発明は適用可能である。
また、図１４や図１６の光学系は一例であり、本発明は図１４や図１６の光学系に対して用いられるものとは限らない。また、スポット形状についても図１７および図１８は一例であり、本実施形態のスポット形状は、図１７および図１８に示すものとは限らない。
また、図１９のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
なお、以上の実施形態は光学系が一つの場合を例に説明したが、光学系を複数有する撮像装置に対しても本発明は適用可能である。
図３６は、本発明に係る光学系を複数有する撮像装置の一実施形態を示すブロック構成図である。
本撮像装置１００Ａと図１の撮像装置１００と異なる点は、光学ユニット１１０Ａは、複数（本実施形態では２）の光学系１１０−１，１１０−２を有露出制御装置１９０の代わりシステム制御装置２００を設け、さらに光学系切替制御部２０１を設けたことにある。
本撮像装置１００Ａと図１の撮像装置１００と異なる点は、光学ユニット１１０Ａは、複数（本実施形態では２）の光学系１１０−１，１１０−２を有露出制御装置１９０の代わりシステム制御装置２００を設け、さらに光学系切替制御部２０１を設けたことにある。
光学ユニット１１０Ａは、複数（本実施形態では２）の光学系１１０−１，１１０−２を有し、光学系切替制御部２０１の切り替え処理に応じて被写体物体ＯＢＪを撮影した像を順番に撮像素子１２０に供給する。
各光学系１１０−１，１１０−２は、光学倍率が異なり、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込む。
各光学系１１０−１，１１０−２は、光学倍率が異なり、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込む。
システム制御装置２００は、基本的に露出制御装置と同様の機能を有し、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系切替制御部１４０、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。
その他の構成は図１と同様である。
その他の構成は図１と同様である。
図３７は、システム制御装置２００の光学系設定処理の概要を示すフローチャートである。
まず、光学系を確認し（ＳＴ６１）、カーネルデータをセットする（ＳＴ６２）。
そして、操作部１８０の操作により光学系の切り替え指示がなされると（ＳＴ６３）、光学系切替制御部２０１により光学ユニット１１０Ａの光学系の出力を切り替え、ステップＳＴ６１の処理を行う（ＳＴ６４）。
まず、光学系を確認し（ＳＴ６１）、カーネルデータをセットする（ＳＴ６２）。
そして、操作部１８０の操作により光学系の切り替え指示がなされると（ＳＴ６３）、光学系切替制御部２０１により光学ユニット１１０Ａの光学系の出力を切り替え、ステップＳＴ６１の処理を行う（ＳＴ６４）。
図３５の実施形態によれば、前述した図１の撮像装置の効果に加えて以下の効果を得ることができる。
すなわち、図３６の撮像装置においては、１次画像を形成する倍率の異なる複数の光学系１１０−１，２を含む光学ユニット１１０Ａおよび撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、画像処理装置１４０において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズの深度拡張光学系システムに使用することが可能である。
すなわち、図３６の撮像装置においては、１次画像を形成する倍率の異なる複数の光学系１１０−１，２を含む光学ユニット１１０Ａおよび撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、画像処理装置１４０において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズの深度拡張光学系システムに使用することが可能である。
１００，１００Ａ…撮像装置
１１０…光学系
１１０Ａ…光学ユニット
１２０…撮像素子
１３０…アナログフロントエンド部（ＡＦＥ）
１４０…画像処理装置
１５０…カメラ信号処理部
１８０…操作部
１９０…露出制御装置
２００…システム制御装置
２０１…光学系切替制御部
１１１…物体側レンズ
１１２…結像レンズ
１１３…波面形成用光学素子
１１３ａ…位相板（光波面変調素子）
１４２…コンボリューション演算器
１４３…カーネルデータＲＯＭ
１４４…コンボリューション制御部。
１１０…光学系
１１０Ａ…光学ユニット
１２０…撮像素子
１３０…アナログフロントエンド部（ＡＦＥ）
１４０…画像処理装置
１５０…カメラ信号処理部
１８０…操作部
１９０…露出制御装置
２００…システム制御装置
２０１…光学系切替制御部
１１１…物体側レンズ
１１２…結像レンズ
１１３…波面形成用光学素子
１１３ａ…位相板（光波面変調素子）
１４２…コンボリューション演算器
１４３…カーネルデータＲＯＭ
１４４…コンボリューション制御部。
Claims (7)
- 少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、
該撮像素子からの分散画像信号より分散のない画像信号、及び分散の少ない画像信号を1または複数生成する変換手段を備え、前記撮像素子による画像信号に複数の異なる所定の処理を行う信号処理部と、
該信号処理部による処理前のボケ画像、処理後の分散のない合焦画像、処理後の分散の少ない中間画像、及び／又は前記ボケ画像、合焦画像、あるいは中間画像を合成した新たな画像を記録する記録部と、
該記録部に記録された画像、または記録するための画像を表示する表示部と、
該表示部内の範囲の設定、及び／又はボケ画像の選択を行なう操作部と、
該操作部による前記表示部での設定範囲内又は設定範囲外における合焦画像を生成し、かつ該合焦画像生成以外の範囲を前記中間画像、または前記中間画像及びボケ画像により、前記合焦画像から離れるに従って序々にボケ度合いが大きくなる段階的ボケ画像を生成し、前記合焦画像と段階的ボケ画像とを合成して新たな画像を生成する生成手段と、を備えた撮像装置。 - 前記光学系は、ズーム光学系を含み、
前記ズーム光学系のズーム位置またズーム量に相当する情報を生成するズーム情報生成手段を備え、
前記変換手段は、前記ズーム情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する請求項１に記載の撮像装置。 - 被写体までの距離に相当する情報を生成する被写体距離情報生成手段を備え、
前記変換手段は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する請求項１に記載の撮像装置。 - 被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、
前記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する請求項１に記載の撮像装置。 - 撮影する被写体の撮影モードを設定する撮影モード設定手段を備え、
前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う請求項１から４のいずれかに記載の撮像装置。 - 前記撮像装置は、複数のレンズを交換可能であって、
前記撮像素子は、前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を撮像可能で、さらに、
前記一のレンズに応じた変換係数を取得する変換係数取得手段を備え、
前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う請求項１から５のいずれかに記載の撮像装置。 - 露出制御を行う露出制御手段を備え、
前記信号処理部は、前記露出制御手段からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行う請求項１から６のいずれかに記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006195738A JP4693720B2 (ja) | 2006-07-18 | 2006-07-18 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006195738A JP4693720B2 (ja) | 2006-07-18 | 2006-07-18 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008028454A JP2008028454A (ja) | 2008-02-07 |
| JP4693720B2 true JP4693720B2 (ja) | 2011-06-01 |
Family
ID=39118698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006195738A Expired - Fee Related JP4693720B2 (ja) | 2006-07-18 | 2006-07-18 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4693720B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4875032B2 (ja) | 2008-08-11 | 2012-02-15 | 株式会社東芝 | 固体撮像装置 |
| JP5478935B2 (ja) | 2009-05-12 | 2014-04-23 | キヤノン株式会社 | 撮像装置 |
| JP5317891B2 (ja) * | 2009-08-19 | 2013-10-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| JP5300756B2 (ja) * | 2010-02-05 | 2013-09-25 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| JP5441747B2 (ja) * | 2010-02-05 | 2014-03-12 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| JP5552956B2 (ja) * | 2010-08-12 | 2014-07-16 | 株式会社ニコン | 画像処理装置、画像処理方法およびプログラム |
| JP5783728B2 (ja) * | 2011-01-12 | 2015-09-24 | キヤノン株式会社 | 撮像装置およびその被写体距離分布情報取得方法 |
| JP5653509B2 (ja) * | 2013-12-04 | 2015-01-14 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| CN114143442B (zh) * | 2020-09-03 | 2023-08-01 | 武汉Tcl集团工业研究院有限公司 | 图像虚化方法、计算机设备、计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000005127A (ja) * | 1998-01-23 | 2000-01-11 | Olympus Optical Co Ltd | 内視鏡システム |
| JP2000244810A (ja) * | 1999-02-19 | 2000-09-08 | Sony Corp | 画像編成装置および画像編成方法および画像記録装置および画像再生装置および画像記録再生装置および撮像装置並びにデータが記録されたコンピュータが読み取り可能な記録媒体 |
| JP2003235794A (ja) * | 2002-02-21 | 2003-08-26 | Olympus Optical Co Ltd | 電子内視鏡システム |
| JP2005039680A (ja) * | 2003-07-18 | 2005-02-10 | Casio Comput Co Ltd | カメラ装置、及び撮影方法、プログラム |
| JP2006094468A (ja) * | 2004-08-26 | 2006-04-06 | Kyocera Corp | 撮像装置および撮像方法 |
| JP2006094471A (ja) * | 2004-08-26 | 2006-04-06 | Kyocera Corp | 撮像装置および画像変換方法 |
-
2006
- 2006-07-18 JP JP2006195738A patent/JP4693720B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000005127A (ja) * | 1998-01-23 | 2000-01-11 | Olympus Optical Co Ltd | 内視鏡システム |
| JP2000244810A (ja) * | 1999-02-19 | 2000-09-08 | Sony Corp | 画像編成装置および画像編成方法および画像記録装置および画像再生装置および画像記録再生装置および撮像装置並びにデータが記録されたコンピュータが読み取り可能な記録媒体 |
| JP2003235794A (ja) * | 2002-02-21 | 2003-08-26 | Olympus Optical Co Ltd | 電子内視鏡システム |
| JP2005039680A (ja) * | 2003-07-18 | 2005-02-10 | Casio Comput Co Ltd | カメラ装置、及び撮影方法、プログラム |
| JP2006094468A (ja) * | 2004-08-26 | 2006-04-06 | Kyocera Corp | 撮像装置および撮像方法 |
| JP2006094471A (ja) * | 2004-08-26 | 2006-04-06 | Kyocera Corp | 撮像装置および画像変換方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008028454A (ja) | 2008-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4712631B2 (ja) | 撮像装置 | |
| JP4693720B2 (ja) | 撮像装置 | |
| JP4663737B2 (ja) | 撮像装置およびその画像処理方法 | |
| JP4749959B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP4749984B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| EP1954030B1 (en) | Image pickup apparatus and image processing method | |
| JP4818957B2 (ja) | 撮像装置およびその方法 | |
| JP4916862B2 (ja) | 撮像装置およびその方法 | |
| WO2007063918A1 (ja) | 撮像装置およびその方法 | |
| JP2008268937A (ja) | 撮像装置および撮像方法 | |
| JP2007322560A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP2008048293A (ja) | 撮像装置、およびその製造方法 | |
| JP2007300208A (ja) | 撮像装置 | |
| JP2007206738A (ja) | 撮像装置およびその方法 | |
| JP4364847B2 (ja) | 撮像装置および画像変換方法 | |
| JP2008245266A (ja) | 撮像装置および撮像方法 | |
| JP4812541B2 (ja) | 撮像装置 | |
| JP4813147B2 (ja) | 撮像装置および撮像方法 | |
| WO2006106737A1 (ja) | 撮像装置および撮像方法 | |
| JP2009086017A (ja) | 撮像装置および撮像方法 | |
| JP4818956B2 (ja) | 撮像装置およびその方法 | |
| JP4916853B2 (ja) | 撮像装置およびその方法 | |
| JP2008245265A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP4722748B2 (ja) | 撮像装置およびその画像生成方法 | |
| JP2008058540A (ja) | 撮像装置、および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4693720 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |