WO2014050191A1 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2014050191A1
WO2014050191A1 PCT/JP2013/062047 JP2013062047W WO2014050191A1 WO 2014050191 A1 WO2014050191 A1 WO 2014050191A1 JP 2013062047 W JP2013062047 W JP 2013062047W WO 2014050191 A1 WO2014050191 A1 WO 2014050191A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
luminance
unit
chromatic aberration
Prior art date
Application number
PCT/JP2013/062047
Other languages
English (en)
French (fr)
Inventor
林 健吉
遠藤 宏
入江 公祐
洋介 成瀬
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012212242 priority Critical
Priority to JP2012-212242 priority
Priority to JP2013040680 priority
Priority to JP2013-040680 priority
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2014050191A1 publication Critical patent/WO2014050191A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/04Picture signal generators
    • H04N9/045Picture signal generators using solid-state devices
    • H04N9/0455Colour filter architecture
    • H04N9/04551Mosaic colour filter
    • H04N9/04557Mosaic colour filter based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/04Picture signal generators
    • H04N9/045Picture signal generators using solid-state devices
    • H04N9/0451Picture signal generators using solid-state devices characterized by colour imaging operations
    • H04N9/04517Correcting colour aberration of lenses

Abstract

 収差由来の画像劣化の補正処理毎に補正の調整又は最適化が可能であることにより補正処理の精度が増すことが可能な画像処理装置を提供する。画像処理装置10は、撮像素子22より出力された第1画像データが入力される入力部と、入力部に入力された第1画像データに、拡縮補正により色収差補正を行うことにより第2画像データを生成する色収差補正部55と、色収差補正部55により生成された第2画像データを基に、被写体像の輝度に関する輝度系データを抽出する輝度系データ抽出部60と、輝度系データ抽出部60により抽出された輝度系データに、点像復元処理によりボケ補正を行うボケ補正部65と、を備える。

Description

画像処理装置、撮像装置、画像処理方法、及びプログラム
 本発明は、画像処理に関する技術であり、特に収差補正に関する技術である。
 デジタルカメラ等の撮像装置により、被写体を撮像して得られた画像には、光学系(撮影レンズ等)の種々の収差に由来する画像劣化が起こる場合がある。
 この収差に由来する画像劣化(回折ボケ、周辺ボケ、倍率色収差等)を防ぐために、被写体像の画像データに画像処理を行って、収差に由来する画像劣化を取り除く(修正する)技術が考えられてきた。
 一方、収差による画像劣化は点像分布関数(PSF:Point Spread Function)により表現することができ、その点像分布関数の復元フィルタ(逆フィルタ)を画像データにかけることによって、画像劣化を取り除くことができる(点像復元処理)。
 例えば、点像復元処理により収差を取り除く方法では、予め求められている光学系の収差による劣化(点像)の特性を利用して生成される復元フィルタにより、画像処理を行って画像の劣化を取り除く方法がある。
 又、特許文献1には、光学系の光学伝達関数に基づいて作成された画像回復フィルタ(復元フィルタ)を用いて入力画像に対して画像回復処理を行い、色ずれ低減処理を行う技術が記載されている。
 又、特許文献2には、撮像素子から出力された画像データに対して、被写界深度の復元処理、倍率色収差補正処理、色変換処理の順で画像処理を施し、最終的な画像データを得る技術が記載されている。
特開2012-129932号公報 特開2011-155454号公報
 しかしながら、従来の点像復元処理では、光学系の種々の収差に由来する画像劣化を一度に補正をすることができるが、収差毎の補正に応じた調整や最適化が困難な場合があった。
 又、倍率色収差の補正を点像復元処理により行う場合には、倍率色収差の位相成分の補正が必要なために、復元フィルタのカーネルサイズが大きくなってしまう。
 又、色成分(赤(R)G(緑)B(青)等)毎に復元フィルタ処理が必要なため、復元フィルタ係数やフィルタ係数算出の基になる光学系の光学特性データ(PSF)などのデータ量が増大してしまう。
 又、特許文献1の技術では、画像回復フィルタにより画像回復処理を行った後に、倍率色収差補正の処理を行っているので、画像回復処理が行われるデータは、倍率色収差による画像劣化を保持した状態で画像回復処理が行われる。その結果、画像回復処理の精度が良くない場合がある。
 又、特許文献2の技術では、被写界深度の復元処理、倍率色収差補正処理、色変換処理の順で画像処理が行われているので、被写界深度の復元処理が行われるデータは、倍率色収差による画像劣化を保持した状態で被写界深度の復元処理が行われる。その結果、被写界深度の復元処理の精度が良くない場合がある。
 本発明は、上記事情に鑑みてなされたものであり、補正処理毎に調整又は最適化が可能であり、補正処理の精度が増す画像処理装置、撮像装置、画像処理方法、及びプログラムの提供を目的とする。又、拡縮補正方式により色収差補正を行っているため、画像処理を行う上で保有しなければならないデータを軽減することが可能であり、色収差補正を行った後の輝度系データに対してボケ補正を行うことにより、より鮮明な画像を得ることが可能である画像処理装置、撮像装置、画像処理方法、及びプログラムの提供を目的とする。
 上記目的を達成するために、本発明の一の態様に係る画像処理装置は、光学系を介して得た被写体像を、複数のカラーフィルタが2次元に配列されて成るフィルタが設けられた素子群により捉え、フィルタと素子群より構成される撮像素子より出力された第1画像データが入力される入力部と、入力部に入力された第1画像データに、拡縮補正により色収差補正を行うことにより第2画像データを生成する色収差補正部と、色収差補正部により生成された第2画像データを基に、被写体像の輝度に関する輝度系データを抽出する輝度系データ抽出部と、輝度系データ抽出部により抽出された輝度系データに、点像復元処理によりボケ補正を行うボケ補正部と、を備える。
 これにより、収差由来の画像劣化の補正処理毎に補正の調整又は最適化が可能であることにより補正処理の精度が増すと共に、拡縮補正方式により色収差補正を行っているため画像処理を行う上で保有しなければならないデータを軽減することが可能であり、色収差補正を行った後の輝度系データに対してボケ補正を行うことにより、より鮮明な画像を得ることが可能である。
 画像処理装置において、好ましくは、撮像素子から出力された第1画像データは、モザイク画像データであり、色収差補正部は、モザイク画像データに、色収差補正を行い、輝度系データ抽出部は、色収差補正が行われたモザイク画像データを基に、被写体像の輝度に関する輝度系データを抽出する。
 好ましくは、画像処理装置は、デモザイク処理を行うデモザイク処理部を更に備え、撮像素子から出力された第1画像データは、モザイク画像データであり、デモザイク処理部は、撮像素子から出力された第1画像データに、デモザイク処理を行い、色収差補正部は、デモザイク処理後の第1画像データに、色収差補正を行い、輝度系データ抽出部は、色収差補正後の第1画像データである第2画像データを基に、被写体像の輝度に関する輝度系データを抽出する。
 好ましくは、画像処理装置は、デモザイク処理を行うデモザイク処理部を更に備え、撮像素子から出力された第1画像データは、モザイク画像データであり、色収差補正部は、撮像素子から出力された第1画像データに、色収差補正を行い、デモザイク処理部は、色収差補正部から出力された第2画像データにデモザイク処理を行い、輝度系データ抽出部は、デモザイク処理後の画像データを基に、被写体像の輝度に関する輝度系データを抽出する。
 画像処理装置において、好ましくは、輝度系データ抽出部で抽出される輝度系データは、輝度信号を得るための寄与率が最も高いデータである。これにより、点像復元処理を効果的に行うことができる。
 画像処理装置において、好ましくは、入力部に入力された第1画像データは、少なくとも赤、緑、及び青のカラーフィルタが2次元に配列されて成る撮像素子より入力された画像データである。
 画像処理装置において、好ましくは、輝度系データ抽出部で抽出される輝度系データは、緑のカラーフィルタに対応するデータである。これにより、効果的にボケ補正を行うことができる。
 画像処理装置において、好ましくは、入力部に入力された第1画像データは、赤、緑、青、及び輝度に最も寄与する色のカラーフィルタが2次元に配列されて成る撮像素子より入力された画像データである。より的確に被写体像を得ることが可能である。
 画像処理装置において、好ましくは、輝度系データ抽出部で抽出される輝度系データは、輝度にもっとも寄与する色のカラーフィルタに対応するデータである。これにより、より的確にボケ補正を行うことが可能である。
 画像処理装置において、好ましくは、輝度系データ抽出部で抽出される輝度系データは、輝度信号Y及び色差信号Cb、Crで表される色空間においての輝度信号Yの値である。これにより、的確にボケ補正を行うことが可能である。
 画像処理装置において、好ましくは、光学系は、位相を変調して被写界深度を拡大させる撮影レンズ部を有する。
 これにより、いわゆるEDoF(Extended Depth of Field(Focus))光学系を介して得られる原画像データに対しても、「高精度な点像復元処理」と「所定の画質劣化の防止」とを両立させることができる。なお、撮影レンズ部における位相を変調させる手法(光学的位相変調手段)は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体(例えばレンズの入射面/出力面)に位相変調機能を持たせたりすることも可能である。
 本発明の一の態様に係る撮像装置は、被写体像を捉える撮影レンズ部と、複数のカラーフィルタが2次元に配列されて成るフィルタが設けられた素子群により構成される撮像素子と、撮像素子より出力された第1画像データが入力される入力部と、入力部に入力された第1画像データに、拡縮補正により色収差補正を行い、第2画像データを生成する色収差補正部と、色収差補正部により生成された第2画像データを基に、被写体像の輝度に関する輝度系データを抽出する輝度系データ抽出部と、輝度系データ抽出部により抽出された輝度系データに、点像復元処理によりボケ補正を行うボケ補正部と、を備える。
 これにより、収差由来の画像劣化の補正処理毎に補正の調整又は最適化が可能であることにより補正処理の精度が増すと共に、拡縮補正方式により色収差補正を行っているため画像処理を行う上で保有しなければならないデータを軽減することが可能であり、色収差補正を行った後の輝度系データに対してボケ補正を行うことにより、より鮮明な画像を得ることが可能である。
 本発明の一の態様に係る画像処理方法は、光学系を介して得た被写体像を、複数のカラーフィルタが2次元に配列されたフィルタが設けられた素子群により捉え、フィルタと素子群より構成される撮像素子より出力された第1画像データが入力される入力ステップと、入力ステップにより入力された1画像データに、拡縮補正により色収差補正を行い、第2画像データを生成する色収差補正ステップと、色収差補正ステップにより生成された第2画像データを基に、被写体像の輝度に関する輝度系データを抽出する抽出ステップと、抽出ステップにより抽出された輝度系データに、点像復元処理によりボケ補正を行うボケ補正ステップと、を備える。
 これにより、収差由来の画像劣化の補正処理毎に補正の調整又は最適化が可能であることにより補正処理の精度が増すと共に、拡縮補正方式により色収差補正を行っているため画像処理を行う上で保有しなければならないデータを軽減することが可能であり、色収差補正を行った後の輝度系データに対してボケ補正を行うことにより、より鮮明な画像を得ることが可能である。
 本発明の一の態様に係るプログラムは、光学系を介して得た被写体像を、複数のカラーフィルタが2次元に配列されたフィルタが設けられた素子群により捉え、フィルタと素子群より構成される撮像素子より出力された第1画像データが入力される入力手順と、入力手順により入力された第1画像データに、拡縮補正により色収差補正を行い、第2画像データを生成する色収差補正手順と、色収差補正手順により生成された第2画像データを基に、被写体像の輝度に関する輝度系データを抽出する抽出手順と、抽出手順により抽出された輝度系データに、点像復元処理によりボケ補正を行うボケ補正手順と、をコンピュータに実行させるためのプログラムである。
 これにより、収差由来の画像劣化の補正処理毎に補正の調整又は最適化が可能であることにより補正処理の精度が増すと共に、拡縮補正方式により色収差補正を行っているため画像処理を行う上で保有しなければならないデータを軽減することが可能であり、色収差補正を行った後の輝度系データに対してボケ補正を行うことにより、より鮮明な画像を得ることが可能である。なお、本プログラムは、各種の非一時的記録媒体に記録して、提供することができる。
 本発明によれば、収差由来の画像劣化の補正処理毎に補正の調整又は最適化が可能であることにより補正処理の精度が増すと共に、拡縮補正方式により色収差補正を行っているため画像処理を行う上で保有しなければならないデータを軽減することが可能であり、色収差補正を行った後の輝度系データに対してボケ補正を行うことにより、より鮮明な画像を得ることが可能である。
本発明の一の態様である撮像装置の要部ブロック図である。 撮像素子に配置されたモザイク状のカラーフィルタ配列を示す図である。 図2に示した基本配列パターンを3×3画素に4分割した状態に関して示した図である。 本発明の他の態様である画像処理装置の第1実施形態を示す要部ブロック図である。 点像復元処理により復元される点像の様子を示す図である。 本発明の画像処理装置の第2実施形態を示す要部ブロック図である。 本発明の画像処理装置の第3実施形態を示す要部ブロック図である。 本発明の画像処理装置の第4実施形態を示す要部ブロック図である。 本発明の一の態様である撮像装置の他の実施形態を示す図である。 図9に示す撮像装置の構成を示すブロック図である。 EDoF光学系を備える撮像モジュールの一形態を示すブロック図である。 EDoF光学系の一例を示す図である。 図11に示す点像復元処理ブロックにおける復元処理の一例を示すフローチャートである。
 以下、本発明の実施形態に関して図面を参照しながら説明を行う。
 [画像処理装置を有する撮像装置]
 図1は本発明に係る画像処理装置(画像処理部)28を有する撮像装置10の実施形態を示すブロック図である。
 本発明の画像処理装置28を有する撮像装置10は、撮像した画像を内部メモリ(メモリ部26)、又は外部の記録メディア(図示せず)に記録するデジタルカメラであり、装置全体の動作は、中央処理装置(CPU)12によって統括制御される。
 撮像装置10には、シャッタボタン又はシャッタスイッチ、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、ズームボタン、及びBACKキー等を含む操作部14が設けられている。この操作部14からの信号はCPU12に入力され、CPU12は入力信号に基づいて撮像装置10の各回路を制御し、例えば、デバイス制御部16を介して撮影レンズ(撮影レンズ部、レンズ部)18、シャッタ20、画像取得部として機能する撮像素子22を制御すると共に、撮影動作制御、画像処理制御、画像データの記録/再生制御、及び表示部25の表示制御などを行う。
 撮影レンズ18は、フォーカスレンズ、ズームレンズ、絞り等を含み、撮影レンズ18及びシャッタ20を通過した光束は、撮像素子22の受光面に結像される。又、撮像装置10の撮影レンズ18は交換式であってもよいし、非交換式であってもよい。
 撮像素子22は、多数の受光素子(フォトダイオード)が2次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧(又は電荷)に変換される。
 [撮像素子]
 図2は、上記撮像素子22の実施形態を示す図であり、特に撮像素子22の受光面上に配置されているカラーフィルタ配列に関して示している。
 この撮像素子22のカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤(R)、緑(G)、青(B)の各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、撮像素子22から読み出されるRGBのRAWデータ(モザイク画像)の画像処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
 図2に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、基本配列パターン内において、カラーフィルタ配列の水平、垂直、斜め右上(NE)、及び斜め左上(NW)方向の各ライン内に1つ以上配置されている。
 NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺、短辺の長さに応じてその角度は変わりうる。
 輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE、NW)方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク処理(同時化処理)の再現精度を向上させることができる。
 又、図2に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターン内において、カラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
 Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、偽色(色モワレ)の発生を低減することができる。
 これにより、偽色の発生を低減(抑制)するための光学LPFを省略できるようにしている。又、光学LPFを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
 更に、図2に示すカラーフィルタ配列の基本配列パターンPは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
 上記のようにG画素の画素数とR、B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の画素数の比率よりも大きくするようにしたため、デモザイク処理時におけるエリアシングを抑制することができると共に、高周波再現性もよくすることができる。
 図3は、図1に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
 図3に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
 A配列及びB配列は、それぞれGフィルタが4隅と中央に配置され、両対角線上に配置されている。又、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
 又、A配列とB配列の4隅のGフィルタは、A配列とB配列とが水平、垂直方向に交互に配置されることにより、2×2画素に対応する正方配列のGフィルタとなる。
 上記構成の撮像素子22に蓄積された信号電荷は、デバイス制御部16から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子22から読み出された電圧信号は、A/D変換器24に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのR、G、B信号に変換され、一旦、メモリ部26に保存される。
 メモリ部26は、揮発性メモリであるSDRAMや、書き換え可能な不揮発性メモリであるEEPROM等を含み、SDRAMは、CPU12によるプログラムの実行時におけるワークエリアとして、又、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、EEPROMには、画像処理プログラムを含むカメラ制御プログラム、撮像素子22の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。
 画像処理部28は、メモリ部26に一旦格納されたデジタルの画像信号に対して、ホワイトバランス補正、ガンマ補正処理、デモザイク処理、RGB/YC変換、輪郭補正、色収差補正、ボケ補正等の所定の信号処理を行う。尚、本発明に係る画像処理装置(画像処理部28)の詳細については後述する。
 画像処理部28で処理された画像データは、エンコーダ30において画像表示用のデータにエンコーディングされ、ドライバ32を介してカメラ背面に設けられている表示部25に出力される。これにより、被写体像が連続的に表示部25の表示画面上に表示される。
 操作部14のシャッタボタンの第1段階の押下(半押し)があると、CPU12は、AF動作及びAE動作を開始させ、デバイス制御部16を介して撮影レンズ18のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
 CPU12は、シャッタボタンの半押し時にA/D変換器24から出力される画像データに基づいて被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値により露出条件(F値、シャッタ速度)を決定する。
 AE動作及びAF動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、上記決定した露出条件により絞り、シャッタ20及び撮像素子22での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子22から読み出され、A/D変換器24によりA/D変換されたRGBのモザイク画像(図2に示したカラーフィルタ配列に対応する画像)の画像データは、メモリ部26に一時的に記憶される。
 メモリ部26に一時的に記憶された画像データは、画像処理部28により適宜読み出され、ここで、ホワイトバランス補正、ガンマ補正、デモザイク処理、RGB/YC変換、輪郭補正、及び色補正等を含む所定の信号処理が行われる。RGB/YC変換された画像データ(YCデータ)は、所定の圧縮フォーマット(例えば、JPEG方式)にしたがって圧縮され、圧縮された画像データは、所定の画像ファイル(例えば、Exifファイル)形式で内部メモリや外部メモリに記録される。
 尚、本発明に使用される撮像素子22におけるカラーフィルタ配列は図2及び図3に示されるものに限定されるものではない。本発明が奏する効果を阻害しない範囲で様々なカラーフィルタ配列を採用することが可能である。例えば、ベイヤ配列も採用することが可能である。ここで意味するベイヤ配列とは、2×2の4画素を単位配列とする周期配列で、その単位配列の4画素中2画素が同色であり、この同色の2画素が対角配置されたものである。
 又、カラーフィルタは、赤、緑、及び青の他に、更に輝度に最も寄与する色のカラーフィルタを備えていてもよく、例えば、白色(透明)のカラーフィルタである。
 [画像処理装置の第1実施形態]
 図4は、図1に示す画像処理装置28(画像処理部28)の第1実施形態の内部構成を示す要部ブロック図である。
 図4に示すように、画像処理部28は、主として入力部50、色収差補正部55、輝度系データ抽出部60、ボケ補正部65、及び復元フィルタ格納部70から構成されている。又、画像処理部28内には、ホワイトバランス補正部、ガンマ補正部等が設けられているが、説明の都合上、図4には図示されていない。
 入力部50(入力手段)には第1画像データが入力される。その第1画像データは、フィルタと素子群より構成される撮像素子22より出力される。又、撮像素子22は、光学系を介して得た被写体像を、複数のカラーフィルタが2次元に配列されて成るフィルタが設けられた素子群により捉える(入力ステップ及び入力手順)。
 次に、入力部50に入力された第1画像データは、色収差補正部55(色収差補正手段)に送られる。色収差補正部55は、第1画像データに、拡縮補正により色収差補正を行うことにより第2画像データを生成する。ここで拡縮補正とは、拡大縮小補正ともいい、詳細については後述する(色収差補正ステップ及び色収差補正手順)。
 次に、第2画像データは、輝度系データ抽出部60(輝度系データ抽出手段)に送られる。輝度系データ抽出部60では、第2画像データを基に、被写体像の輝度に関する輝度系データを抽出又は生成する(抽出ステップ及び抽出手順)。
 ここで、輝度系データとは、画像の輝度に寄与するデータであれば、特に限定されるものではない。
 本願で使用する輝度系データは、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、輝度系データの1つの例として、Y、Cb、Crで表される色空間の輝度信号Yの値や、輝度信号を得るための寄与率が最も高いデータや、輝度にもっとも寄与する色のカラーフィルタに対応するデータである。
 次に、輝度系データ抽出部60で抽出された輝度系データは、ボケ補正部65に送られる。ボケ補正部65は、抽出された輝度系データに点像復元処理によりボケ補正を行う(ボケ補正ステップ及びボケ補正手順)。
 点像復元処理に関しては、詳しくは後述する。又、点像復元処理に使用する復元フィルタは、復元フィルタ格納部70に格納されている。尚、復元フィルタの生成方法は、本発明の奏する効果を阻害しない範囲で種々のものが採用できる。
 点像分布関数(PSF)に基づく復元フィルタは、撮像時の画像の劣化に関する情報、例えば撮影条件(露光時間、露光量、被写体までの距離、焦点距離等)や撮像装置の特性情報(レンズの光学特性)等を考慮して生成される。特に、レンズに起因する収差による劣化の特性を予め求めておき、その劣化を補正するような復元フィルタを作成することが、レンズに起因する収差による画像劣化を修正する観点より、好ましい。
 又、復元フィルタ格納部70は、ボケ補正部65からの指令を基に復元フィルタ格納部70内の復元フィルタを選択する。そして、選択された復元フィルタは、ボケ補正部65において点像復元処理に使用される。
 又、第1画像データは、モザイク画像データであってもよい。第1画像データがモザイク画像データである場合には、色収差補正部55は、モザイク画像データに色収差補正を行い、輝度系データ抽出部60は、色収差補正が行われたモザイク画像データを基に被写体像の輝度に関する輝度系データを抽出することになる。
 [色収差補正]
 本発明において、色収差補正は色収差補正部55において行われる。色収差補正は、種々の補正方式を採用することができる。例えば、拡縮(拡大縮小)補正方式や点像復元補正方式等により色収差補正を行うことができる。拡縮補正方式により色収差補正を行うことにより、後の工程で行われるボケ補正部65での点像復元処理に使用する復元フィルタのカーネルサイズを縮小することが可能である。又、復元フィルタ係数やフィルタ係数算出の元になる光学特性データ(PSF)のデータ量が大きくなることを抑制することができる。
 光学系(レンズ)に由来する色収差(倍率色収差及び軸上色収差)は、各色により像の倍率が異なり像の大きさが異なること、及び各色の光の波長が異なるためにレンズの焦点距離が異なることに起因して発生する。そこで、拡縮補正方式は、各色の倍率を拡大縮小させることにより、すなわち各色に対応するデータに対して拡大縮小させることにより、色収差の補正を行う。
 例えば、モザイク画像に、拡縮補正方式により色収差補正を行う場合は、モザイク画像が持つ各色に対応するデータに対して、拡縮補正を行う。
 又、例えば、拡縮補正方式では、撮像素子22から得られた第1画像データに対して、デモザイク処理(詳細については後述する)を行い、得られた画像をRGBの各色の画像に分解した後、G(緑)画像を基準にして、B(青)画像を拡大処理すると共に、R(赤)画像を縮小処理して、これらを合成して、色収差の補正を行う。
 尚、B(青)画像を拡大処理するのは、Bの色はGに比べて屈折率が高く、画像が小さくなるためである。又、R(赤)画像を縮小処理するのは、Rの色はGに比べて屈折率が低く、画像が大きくなるためである。
 又、点像復元補正方式によっても、色収差補正を行うことができる。点像復元補正方式は、本発明が奏する効果を阻害しない範囲で、公知の方法を採用することができる。例えば、以下で説明するボケ補正で行っている点像復元処理のやり方を、色収差補正にも応用することが可能である。
 [ボケ補正]
 本発明において、光学系の収差によるボケの補正は、ボケ補正部65において行われる。又、ボケ補正部65では、色収差補正が行われた第2画像データに点像復元処理が行われる。色収差補正が行われた第2画像データに点像復元処理が行われることにより、より鮮明な画像を得ることが可能である。
 上記復元フィルタ格納部70に格納される復元フィルタの生成方法について説明する。
 まず、撮像装置10の出荷前等の調整時に、その撮像装置10の撮影レンズ18の撮影レンズの点像分布関数(PSF:Point spread function)を測定するために、撮影レンズ18により点像(点光源)を撮像し、ボケている画像を取得する。
 このとき、撮像素子22は、測定専用のものを使用する方法と、実際に撮像装置10に組み込まれる撮像素子22を使用する方法とがある。前者の場合は、撮影レンズ18のみに対応するPSFの測定に適し、後者の場合は、撮像素子22の影響(カラーフィルタ等)も考慮したPSFの測定に適している。
 続いて、点像の撮像により取得したボケた画像をg(x,y)、元の点像をf(x,y)、点像分布関数(PSF)をh(x,y)とすると、次式で関係を表すことができる。
 [式1]
g(x,y)=h(x,y)*f(x,y)
ただし、*はコンボリューションを示す。
 上記での点像の撮像により取得したボケた画像g(x,y)に基づいて[式1]のh(x,y)(即ち、点像分布関数(PSF))を求める。
 次に、上記求めた点像分布関数(PSF)の逆関数を求める。この逆関数をR(x,y)とすると、次式のように位相変調された画像g(x,y)を、R(x,y)によりコンボリューション処理することにより、元の画像f(x,y)に対応する復元画像が得られる(復元処理)。
 [式2]
g(x,y)*R(x,y)=f(x,y)
 このR(x,y)を復元フィルタという。復元フィルタは、原画像と復元画像との2乗平均誤差を最小にする最小2乗フィルタ(ウィナーフィルタ)、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。
 上記のように、生成された復元フィルタにより、輝度系データ抽出部60から送られてくる輝度系データに点像復元処理を行うことにより図5に示すようにボケが修正される。
 すなわち、図5(A)に示すように、撮影レンズ18を透過した点像(光学像)は、大きな点像(ボケた画像)として撮像素子22に結像されるが、上記ボケ補正部65での点像復元処理により、図5(B)に示すように小さな点像(高解像度の画像)に復元される。
 [画像処理装置の第2実施形態]
 図6は、画像処理装置(画像処理部)28の第2実施形態を示す。尚、図4に示した画像処理装置28の第1実施形態と同じものに関しては、同じ符号を付し説明は省略する。
 図6に示された画像処理装置28の第2実施形態と、図4に示された画像処理装置28の第1実施形態とを比較すると、以下の点に関して主な相違点がある。
 第1の相違点として、図4の第1実施形態では、入力部50から出力された第1画像データは色収差補正部55に入力されるが、図6の第2実施形態では、入力部50から出力された第1画像データは、デモザイク処理部53(デモザイク処理手段)に入力される。ここで、デモザイク処理部53ではデモザイク処理が行われる。デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理であって、デモザイク処理、デモザイキング処理とも言う。
 第2の相違点として、図6に示される第2実施形態では、デモザイク処理部53を設けたことにより、色収差補正部55に入力される第1画像データは、具体的に、R(赤)、G(緑)、及びB(青)の3面の色データである。又、色収差補正部55においても、拡縮補正方式により色収差補正が行われ、R、G、及びBの3面色データが第2画像データとして出力される。
 第3の相違点として、図6に示された第2実施形態において、輝度系データ抽出部60は、具体的に、色収差補正が行われたR、G、及びBの3面データ(第2画像データ)から輝度系データを抽出又は輝度系データを生成(輝度系データに変換)している。具体的には、下記式3にしたがってY信号を生成する。下記式3は撮像素子22でのY信号の生成に一般的に用いられる式である。この式3ではG色の寄与率が60%になるため、G色は、R色(寄与率30%)やB色(寄与率10%)よりも寄与率が高くなる。したがって、G色が3原色のうち最も輝度信号に寄与する色となる。
 [式3]
 Y=0.3R+0.6G+0.1B
 尚、Y信号を求める式は、式3に限定されるものではなく、公知のものを使用することができる。
 第4の相違点として、図6に示された第2実施形態では、輝度系データ抽出部60により輝度系データとしてY値が抽出(生成)され、そして、ボケ補正部65に送られる。
 このような第2実施形態によれば、デモザイク処理部53を画像処理装置28内に設け、第1画像データにデモザイク処理を行い、デモザイク処理された第1画像データに対して色収差補正を行うことにより、色収差補正を容易に行うことができる。
 [画像処理装置の第3実施形態]
 図7は、画像処理装置(画像処理部)28の第3実施形態を示す。尚、図6に示した画像処理装置28の第2実施形態と同じものに関しては、同じ符号を付し説明は省略する。
 図7に示された画像処理装置28の第3実施形態と、図6に示された画像処理装置28の第2実施形態とを比較すると、以下の点に関して主な相違点がある。
 図6の第2実施形態では、入力部50と色収差補正部55との間に、デモザイク処理部53が設けられているのに対して、図7の第3実施形態では、色収差補正部55と輝度系データ抽出部60との間に、デモザイク処理部53が設けられている。
 上記相違点により、図7の第3実施形態では、色収差補正部55により行われる色収差補正は、デモザイク処理前の第1画像データに行われる。又、図7の第3実施形態では、デモザイク処理部53で行われるデモザイク処理は、色収差補正が行われた第2画像データに行われる。
 図7に示された第3実施形態のように、デモザイク処理部53が色収差補正部55の後工程にあると、色収差補正後のデータ(第2画像データ)がデモザイク処理の偽色の影響を受けづらく、色収差補正部55での計算負荷を抑制することができる。
 [画像処理装置の第4実施形態]
 図8は、画像処理装置(画像処理部)28の第4実施形態を示す。尚、図6に示した画像処理装置28の第2実施形態と同じものに関しては、同じ符号を付し説明は省略する。
 図8に示された画像処理装置28の第4実施形態と、図6に示された画像処理装置28の第2実施形態とを比較すると、以下の点に関して主な相違点がある。
 図6で示された第2実施形態では、ボケ補正部65には輝度系データ抽出部60から輝度系データ(輝度信号Y)が入力され、点像復元処理によるボケ補正を輝度系データ(輝度信号Y値)に行われている。一方、図8の第4実施形態では、輝度系データ抽出部60からGのデータが抽出され、ボケ補正部65に入力される。そして、ボケ補正部65では、Gのデータに点像復元処理によるボケ補正が行われる。
 尚、ここでGのデータは、輝度信号を得るための寄与率が最も高いデータである。
 このように、輝度系データ抽出部60から輝度系データとして、Gの色データを抽出することによって、ボケ補正後のGの色データを、後の画像処理に使用することができる。
 又、輝度系データ抽出部60により輝度系データとして抽出されるのは、輝度にもっとも寄与する白色のカラーフィルタであってもよい。
 尚、本発明の他の態様としては、画像処理方法やプログラム等がある。このプログラム等はROMなどのコンピュータ読み取り可能な非一時的記録媒体(non-transitory computer-readable medium)に記録されてもよい。


 尚、本発明のプログラムを実行させる機器として、画像処理を実行させる本発明のプログラムを含む画像処理ソフトウェアを搭載したコンピュータ機器等がある。
 以上、本発明の撮影装置の実施形態として、デジタルカメラについて主に説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のPC用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
 本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォン(多機能携帯電話)を例に挙げ、図面を参照しつつ、詳細に説明する。
 図9は、本発明の撮影装置の一実施形態であるスマートフォン301の外観を示すものである。図9に示すスマートフォン301は、平板状の筐体302を有し、筐体302の一方の面に表示部としての表示パネル321と、入力部としての操作パネル322とが一体となった表示入力部320を備えている。又、係る筐体302は、スピーカ331と、マイクロホン332、操作部340と、カメラ部341とを備えている。尚、筐体302の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
 図10は、図9に示すスマートフォン301の構成を示すブロック図である。図10に示すように、スマートフォンの主たる構成要素として、無線通信部310と、表示入力部320と、通話部330と、操作部340と、カメラ部341と、記憶部350と、外部入出力部360と、GPS(Global Positioning System)受信部370と、モーションセンサ部380と、電源部390と、主制御部400とを備える。又、スマートフォン301の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。尚、上記で説明した画像処理部28は主に、主制御部400に属する形態が考えられるが、これに限定されるものではない。
 無線通信部310は、主制御部400の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
 表示入力部320は、主制御部400の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル321と、操作パネル322とを備える。
 表示パネル321は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル322は、表示パネル321の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部400に出力する。次いで、主制御部400は、受信した検出信号に基づいて、表示パネル321上の操作位置(座標)を検出する。
 図9に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン301の表示パネル321と操作パネル322とは一体となって表示入力部320を構成しているが、操作パネル322が表示パネル321を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル322は、表示パネル321外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル322は、表示パネル321に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル321に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
 尚、表示領域の大きさと表示パネル321の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル322が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体302の大きさなどに応じて適宜設計されるものである。更に又、操作パネル322で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
 通話部330は、スピーカ331やマイクロホン332を備え、マイクロホン332を通じて入力されたユーザの音声を主制御部400にて処理可能な音声データに変換して主制御部400に出力したり、無線通信部310あるいは外部入出力部360により受信された音声データを復号してスピーカ331から出力するものである。又、図9に示すように、例えば、スピーカ331を表示入力部320が設けられた面と同じ面に搭載し、マイクロホン332を筐体302の側面に搭載することができる。
 操作部340は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図9に示すように、操作部340は、スマートフォン301の筐体302の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
 記憶部350は、主制御部400の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部350は、スマートフォン内蔵の内部記憶部351と着脱自在な外部メモリスロットを有する外部記憶部352により構成される。尚、記憶部350を構成するそれぞれの内部記憶部351と外部記憶部352は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
 外部入出力部360は、スマートフォン301に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
 スマートフォン301に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン301の内部の各構成要素に伝達することや、スマートフォン301の内部のデータが外部機器に伝送されるようにすることができる。
 GPS受信部370は、主制御部400の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン301の緯度、経度、高度からなる位置を検出する。GPS受信部370は、無線通信部310や外部入出力部360(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
 モーションセンサ部380は、例えば、3軸の加速度センサなどを備え、主制御部400の指示にしたがって、スマートフォン301の物理的な動きを検出する。スマートフォン301の物理的な動きを検出することにより、スマートフォン301の動く方向や加速度が検出される。係る検出結果は、主制御部400に出力されるものである。
 電源部390は、主制御部400の指示にしたがって、スマートフォン301の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
 主制御部400は、マイクロプロセッサを備え、記憶部350が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン301の各部を統括して制御するものである。又、主制御部400は、無線通信部310を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
 アプリケーション処理機能は、記憶部350が記憶するアプリケーションソフトウェアにしたがって主制御部400が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部360を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
 又、主制御部400は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部320に表示する等の画像処理機能を備える。画像処理機能とは、主制御部400が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部320に表示する機能のことをいう。
 更に、主制御部400は、表示パネル321に対する表示制御と、操作部340、操作パネル322を通じたユーザ操作を検出する操作検出制御を実行する。
 表示制御の実行により、主制御部400は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル321の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
 又、操作検出制御の実行により、主制御部400は、操作部340を通じたユーザ操作を検出したり、操作パネル322を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
 更に、操作検出制御の実行により主制御部400は、操作パネル322に対する操作位置が、表示パネル321に重なる重畳部分(表示領域)か、それ以外の表示パネル321に重ならない外縁部分(非表示領域)かを判定し、操作パネル322の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
 又、主制御部400は、操作パネル322に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
 カメラ部341は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。又、カメラ部341は、主制御部400の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部350に記録したり、入出力部360や無線通信部310を通じて出力することができる。図9に示すにスマートフォン301において、カメラ部341は表示入力部320と同じ面に搭載されているが、カメラ部341の搭載位置はこれに限らず、表示入力部320の背面に搭載されてもよいし、あるいは、複数のカメラ部341が搭載されてもよい。尚、複数のカメラ部341が搭載されている場合には、撮影に供するカメラ部341を切り替えて単独にて撮影したり、あるいは、複数のカメラ部341を同時に使用して撮影することもできる。
 又、カメラ部341はスマートフォン301の各種機能に利用することができる。例えば、表示パネル321にカメラ部341で取得した画像を表示することや、操作パネル322の操作入力のひとつとして、カメラ部341の画像を利用することができる。又、GPS受信部370が位置を検出する際に、カメラ部341からの画像を参照して位置を検出することもできる。更には、カメラ部341からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン301のカメラ部341の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部341からの画像をアプリケーションソフトウェア内で利用することもできる。
 その他、静止画又は動画の画像データにGPS受信部370により取得した位置情報、マイクロホン332により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部380により取得した姿勢情報等などを付加して記憶部350に記録したり、外部入出力部360や無線通信部310を通じて出力することもできる。
 <EDoFシステムへの適用例>
 上述の実施形態におけるボケ補正部65が行う点像復元処理は、特定の撮影条件(例えば、絞り値、焦点距離、レンズ種類、など)に応じて点拡がり(点像ボケ)を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は上述の実施形態における点像復元処理に限定されるものではない。例えば、拡大された被写界(焦点)深度(EDoF:Extended Depth of Field(Focus))を有する光学系(撮影レンズ18)によって撮影取得された画像データに対する点像復元処理に対しても、本発明に係る点像復元処理を適用することが可能である。EDoF光学系によって被写界深度(焦点深度)が拡大された状態で撮影取得されるボケ画像の画像データに対して点像復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、EDoF光学系の点拡がり関数(PSF、OTF、MTF、PTF、等)に基づく復元フィルタであって、拡大された被写界深度(焦点深度)の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた点像復元処理が行われる。
 以下に、EDoF光学系を介して撮影取得された画像データの復元に関するシステム(EDoFシステム)の一例について説明する。なお、以下に示す例においても、デモザイク処理後の画像データ(RGBデータ)から得られる輝度信号(輝度信号Y)に対して点像復元処理を行う。
 図11は、EDoF光学系を備える撮像モジュール401の一形態を示すブロック図である。本例の撮像モジュール(デジタルカメラ等)401は、EDoF光学系(レンズユニット)410と、撮像素子412と、AD変換部414と、点像復元処理ブロック(画像処理部)420とを含む。
 図12は、EDoF光学系410の一例を示す図である。本例のEDoF光学系410は、単焦点の固定された撮影レンズ410Aと、瞳位置に配置される光学フィルタ411とを有する。光学フィルタ411は、位相を変調させるもので、拡大された被写界深度(焦点深度)(EDoF)が得られるようにEDoF光学系410(撮影レンズ410A)をEDoF化する。このように、撮影レンズ410A及び光学フィルタ411は、位相を変調して被写界深度を拡大させる撮影レンズ部を構成する。
 なお、EDoF光学系410は必要に応じて他の構成要素を含み、例えば光学フィルタ411の近傍には絞り(図示省略)が配設されている。また、光学フィルタ411は、1枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ411は、光学的位相変調手段の一例に過ぎず、EDoF光学系410(撮影レンズ410A)のEDoF化は他の手段によって実現されてもよい。例えば、光学フィルタ411を設ける代わりに、本例の光学フィルタ411と同等の機能を有するようにレンズ設計された撮影レンズ410AによってEDoF光学系410のEDoF化を実現してもよい。
 すなわち、撮像素子412の受光面への結像の波面を変化させる各種の手段によって、EDoF光学系410のEDoF化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子(屈折率分布型波面変調レンズ等)」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子(波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等)」、「光の位相分布を変調可能な液晶素子(液晶空間位相変調素子等)」を、EDoF光学系410のEDoF化手段として採用しうる。このように、光波面変調素子(光学フィルタ411(位相板))によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ410A自体によって形成可能なケースに対しても、本発明は応用可能である。
 図12に示すEDoF光学系410は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。
 EDoF化されたEDoF光学系410を通過後の光学像は、図11に示す撮像素子412に結像され、ここで電気信号に変換される。
 撮像素子412は、所定のパターン配列(ベイヤ配列、GストライプR/G完全市松、X-Trans配列、ハニカム配列、等)でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ(本例ではRGBカラーフィルタ)及びフォトダイオードを含んで構成される。EDoF光学系410を介して撮像素子412の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたR・G・Bの信号電荷は、画素毎の電圧信号(画像信号)として順次出力される。
 AD変換部414は、撮像素子412から画素毎に出力されるアナログのR・G・B画像信号をデジタルのRGB画像信号に変換する。AD変換部414によりデジタルの画像信号に変換されたデジタル画像信号は、点像復元処理ブロック420に加えられる。
 点像復元処理ブロック420は、例えば、黒レベル調整部422と、ホワイトバランスゲイン部423と、ガンマ処理部424と、デモザイク処理部425と、RGB/YCrCb変換部426と、輝度信号Y点像復元処理部427とを含む。
 黒レベル調整部422は、AD変換部414から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のOB光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。
 ホワイトバランスゲイン部423は、黒レベルデータが調整されたデジタル画像信号に含まれるRGB各色信号のホワイトバランスゲインに応じたゲイン調整を行う。
 ガンマ処理部424は、ホワイトバランス調整されたR、G、B画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。
 デモザイク処理部425は、ガンマ補正後のR、G、B画像信号にデモザイク処理を施す。具体的には、デモザイク処理部425は、R、G、Bの画像信号に色補間処理を施すことにより、撮像素子412の各受光画素から出力される一組の画像信号(R信号、G信号、B信号)を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はR、G、Bの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するR、G、B信号の3つの画素信号の組が出力されることとなる。
 RGB/YCrCb変換部426は、デモザイク処理された画素毎のR、G、B信号を、輝度信号Yと色差信号Cr、Cbに変換し、画素毎の輝度信号Yおよび色差信号Cr、Cbを出力する。
 輝度信号Y点像復元処理部427は、予め記憶された復元フィルタに基づいて、RGB/YCrCb変換部426からの輝度信号Yに点像復元処理を行う。復元フィルタは、例えば、7×7のカーネルサイズを有するデコンボリューションカーネル(M=7、N=7のタップ数に対応)と、そのデコンボリューションカーネルに対応する演算係数(復元ゲインデータ、フィルタ係数に対応)とからなり、光学フィルタ411の位相変調分のデコンボリューション処理(逆畳み込み演算処理)に使用される。なお、復元フィルタは、光学フィルタ411に対応するものが図示しないメモリ(例えば輝度信号Y点像復元処理部427が付随的に設けられるメモリ)に記憶される。また、デコンボリューションカーネルのカーネルサイズは、7×7のものに限らない。
 次に、点像復元処理ブロック420による点像復元処理について説明する。図13は、図11に示す点像復元処理ブロック420における点像復元処理の一例を示すフローチャートである。
 黒レベル調整部422の一方の入力には、AD変換部414からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部422は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部423に出力する(ステップS1)。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は0になる。
 黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部423、ガンマ処理部424による処理が施される(ステップS2およびS3)。
 ガンマ補正されたR、G、B信号は、デモザイク処理部425でデモザイク処理された後に、RGB/YCrCb変換部426において輝度信号Yとクロマ信号Cr、Cbに変換される(ステップS4)。
 輝度信号Y点像復元処理部427は、輝度信号Yに、EDoF光学系410の光学フィルタ411の位相変調分のデコンボリューション処理を掛ける点像復元処理を行う(ステップS5)。すなわち、輝度信号Y点像復元処理部427は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号(ここでは7×7画素の輝度信号)と、予めメモリなどに記憶されている復元フィルタ(7×7のデコンボリューションカーネルとその演算係数)とのデコンボリューション処理(逆畳み込み演算処理)を行う。輝度信号Y点像復元処理部427は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く点像復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに点像復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。
 上述したように、Edofシステムへの応用例でも同様に、図5(A)に示すように、EDoF光学系410を通過後の輝度信号の点像(光学像)は、大きな点像(ボケた画像)として撮像素子412に結像されるが、輝度信号Y点像復元処理部427でのデコンボリューション処理により、図5(B)に示すように小さな点像(高解像度の画像)に復元される。
 上述のようにデモザイク処理後の輝度信号に点像復元処理をかけることで、点像復元処理のパラメータをRGB別々に持つ必要がなくなり、点像復元処理を高速化することができる。また、飛び飛びの位置にあるR・G・Bの画素に対応するR・G・Bの画像信号をそれぞれ1単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、点像復元処理の精度が向上する。なお、色差信号Cr・Cbについては、人の目による視覚の特性上、点像復元処理で解像度を上げなくても画質的には許容される。また、JPEGのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、点像復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。
 以上説明したようなEDoFシステムの点像復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。
 又、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
 10…撮像装置、12…CPU、14…操作部、16…デバイス制御部、18…レンズ部、20…シャッタ、22…拡縮撮像素子、22…撮像素子、24…A/D変換器、25…表示部、26…メモリ部、28…画像処理装置、28…画像処理部、30…エンコーダ、32…ドライバ、50…入力部、53…デモザイク処理部、55…色収差補正部、60…輝度系データ抽出部、65…ボケ補正部、70…復元フィルタ格納部、301…スマートフォン、P…基本配列パターン、401…撮影モジュール、410…Edof光学系、411…光学フィルタ、420…点像復元処理ブロック

Claims (14)

  1.  光学系を介して得た被写体像を、複数のカラーフィルタが2次元に配列されて成るフィルタが設けられた素子群により捉え、前記フィルタと前記素子群より構成される撮像素子より出力された第1画像データが入力される入力部と、
     前記入力部に入力された前記第1画像データに、拡縮補正により色収差補正を行うことにより第2画像データを生成する色収差補正部と、
     前記色収差補正部により生成された前記第2画像データを基に、前記被写体像の輝度に関する輝度系データを抽出する輝度系データ抽出部と、
     前記輝度系データ抽出部により抽出された前記輝度系データに、点像復元処理によりボケ補正を行うボケ補正部と、
     を備える画像処理装置。
  2.  前記撮像素子から出力された前記第1画像データは、モザイク画像データであり、
     前記色収差補正部は、前記モザイク画像データに、前記色収差補正を行い、
     前記輝度系データ抽出部は、前記色収差補正が行われた前記モザイク画像データを基に、前記被写体像の輝度に関する前記輝度系データを抽出する、
     請求項1に記載の画像処理装置。
  3.  デモザイク処理を行うデモザイク処理部を更に備え、
     前記撮像素子から出力された前記第1画像データは、モザイク画像データであり、
     前記デモザイク処理部は、前記撮像素子から出力された前記第1画像データに、デモザイク処理を行い、
     前記色収差補正部は、前記デモザイク処理後の前記第1画像データに、前記色収差補正を行い、
     前記輝度系データ抽出部は、前記色収差補正後の前記第1画像データである前記第2画像データを基に、前記被写体像の輝度に関する前記輝度系データを抽出する、
     請求項1に記載の画像処理装置。
  4.  デモザイク処理を行うデモザイク処理部を更に備え、
     前記撮像素子から出力された前記第1画像データは、モザイク画像データであり、
     前記色収差補正部は、前記撮像素子から出力された前記第1画像データに、前記色収差補正を行い、
     前記デモザイク処理部は、前記色収差補正部から出力された前記第2画像データにデモザイク処理を行い、
     前記輝度系データ抽出部は、前記デモザイク処理後の前記画像データを基に、前記被写体像の輝度に関する輝度系データを抽出する、
     請求項1に記載の画像処理装置。
  5.  前記輝度系データ抽出部で抽出される前記輝度系データは、輝度信号を得るための寄与率が最も高いデータである請求項1から4のいずれか1項に記載の画像処理装置。
  6.  前記入力部に入力された前記第1画像データは、少なくとも赤、緑、および青のカラーフィルタが2次元に配列されて成る撮像素子より入力された画像データである、請求項1から5のいずれか1項に記載の画像処理装置。
  7.  前記輝度系データ抽出部で抽出される前記輝度系データは、緑のカラーフィルタに対応するデータである請求項5に記載の画像処理装置。
  8. 前記入力部に入力された前記第1画像データは、赤、緑、青、および輝度に最も寄与する色のカラーフィルタが2次元に配列されて成る撮像素子より入力された画像データである請求項1から5のいずれか1項に記載の画像処理装置。
  9.  前記輝度系データ抽出部で抽出される前記輝度系データは、前記輝度にもっとも寄与する色のカラーフィルタに対応するデータである請求項5に記載の画像処理装置。
  10.  前記輝度系データ抽出部で抽出される前記輝度系データは、輝度信号Yおよび色差信号Cb、Crで表される色空間においての輝度信号Yの値である請求項1から9のいずれか1項に記載の画像処理装置。
  11.  前記光学系は、位相を変調して被写界深度を拡大させる撮影レンズ部を有する請求項1から10のいずれか1項に記載の画像処理装置。
  12.  被写体像を捉える撮影レンズ部と、
     複数のカラーフィルタが2次元に配列されて成るフィルタが設けられた素子群により構成される撮像素子と、
     前記撮像素子より出力された第1画像データが入力される入力部と、
     前記入力部に入力された前記第1画像データに、拡縮補正により色収差補正を行い、第2画像データを生成する色収差補正部と、
     前記色収差補正部により生成された前記第2画像データを基に、前記被写体像の輝度に関する輝度系データを抽出する輝度系データ抽出部と、
     前記輝度系データ抽出部により抽出された前記輝度系データに、点像復元処理によりボケ補正を行うボケ補正部と、
     を備える撮像装置。
  13.  光学系を介して得た被写体像を、複数のカラーフィルタが2次元に配列されたフィルタが設けられた素子群により捉え、前記フィルタと前記素子群より構成される撮像素子より出力された第1画像データが入力される入力ステップと、
     前記入力ステップにより入力された前記1画像データに、拡縮補正により色収差補正を行い、第2画像データを生成する色収差補正ステップと、
     前記色収差補正ステップにより生成された前記第2画像データを基に、前記被写体像の輝度に関する輝度系データを抽出する抽出ステップと、
     前記抽出ステップにより抽出された前記輝度系データに、点像復元処理によりボケ補正を行うボケ補正ステップと、
     を備える画像処理方法。
  14.  光学系を介して得た被写体像を、複数のカラーフィルタが2次元に配列されたフィルタが設けられた素子群により捉え、前記フィルタと前記素子群より構成される撮像素子より出力された第1画像データが入力される入力手順と、
     前記入力手順により入力された前記第1画像データに、拡縮補正により色収差補正を行い、第2画像データを生成する色収差補正手順と、
     前記色収差補正手順により生成された前記第2画像データを基に、前記被写体像の輝度に関する輝度系データを抽出する抽出手順と、
     前記抽出手順により抽出された前記輝度系データに、点像復元処理によりボケ補正を行うボケ補正手順と、
     をコンピュータに実行させるためのプログラム。
PCT/JP2013/062047 2012-09-26 2013-04-24 画像処理装置、撮像装置、画像処理方法、及びプログラム WO2014050191A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012212242 2012-09-26
JP2012-212242 2012-09-26
JP2013040680 2013-03-01
JP2013-040680 2013-03-01

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/405,045 A-371-Of-International US9609213B2 (en) 2012-07-06 2013-05-30 Solid-state imaging device and driving method of solid-state imaging device, and electronic equipment
US15/443,092 Continuation US9848147B2 (en) 2012-07-06 2017-02-27 Solid-state imaging device and driving method of solid-state imaging device, and electronic equipment

Publications (1)

Publication Number Publication Date
WO2014050191A1 true WO2014050191A1 (ja) 2014-04-03

Family

ID=50387611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062047 WO2014050191A1 (ja) 2012-09-26 2013-04-24 画像処理装置、撮像装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2014050191A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154434A1 (en) * 2016-03-09 2017-09-14 Sony Corporation Image processing device, image processing method and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181170A (ja) * 2005-07-28 2007-07-12 Kyocera Corp 撮像装置
JP2008042874A (ja) * 2006-07-14 2008-02-21 Eastman Kodak Co 画像処理装置、画像復元方法およびプログラム
WO2011074104A1 (ja) * 2009-12-17 2011-06-23 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181170A (ja) * 2005-07-28 2007-07-12 Kyocera Corp 撮像装置
JP2008042874A (ja) * 2006-07-14 2008-02-21 Eastman Kodak Co 画像処理装置、画像復元方法およびプログラム
WO2011074104A1 (ja) * 2009-12-17 2011-06-23 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154434A1 (en) * 2016-03-09 2017-09-14 Sony Corporation Image processing device, image processing method and recording medium
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
CN108697308A (zh) * 2016-03-09 2018-10-23 索尼公司 图像处理装置、图像处理方法和记录介质
US20190328208A1 (en) * 2016-03-09 2019-10-31 Sony Corporation Image processing device, image processing method and recording medium
US10799088B2 (en) 2016-03-09 2020-10-13 Sony Corporation Image processing device, image processing method and recording medium

Similar Documents

Publication Publication Date Title
JP5830186B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5864813B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
JP5851650B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
JP5844940B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JP5903529B2 (ja) 撮像装置、撮像方法及び画像処理装置
JP5870231B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
WO2014050190A1 (ja) 画像処理装置、撮像装置、コンピュータ及びプログラム
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
JP5833794B2 (ja) 撮像装置
US9633418B2 (en) Image processing device, imaging apparatus, image processing method, and program
US9584801B2 (en) Image pickup device, calibration system, calibration method, and program
WO2015156151A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
WO2014136321A1 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840517

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13840517

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP