JP5454348B2 - 撮像装置および画像処理装置 - Google Patents

Description

本発明は、例えば携帯電子機器に好適に搭載される撮像装置および画像処理装置に関するものである。

近年、ＱＲ（Quick response）コード等の２次元バーコードや、名刺用のＯＣＲ（Optical Character Recognition）等、近接撮影を利用してデータ認識やデータ入力を行うカメラは、カメラ付き携帯電話機の普及によって、需要が高まっている。

このようなカメラでは、データ認識の際、物体距離（被写体までの距離）を近づけて撮影（近接撮影）が行われる必要がある。そのため、通常撮影（遠方にある物体を撮影）と、近接撮影との両方を行うためには、撮像光学系としてオートフォーカスレンズや、２段階に焦点を切り替え可能なレンズ等が使用される。

しかしながら、上記のようなオートフォーカスレンズや焦点切り替えレンズを用いた場合、アクチュエータや合焦判定回路等が別途必要となり、部品点数が増え、またコストも高くなる。尚、この他にも、被写界深度を拡張する技術（ＥＤＯＦ：Extended depth of field）もあるが、このＥＤＯＦによる手法では、バーコードの読み取りやＯＣＲによる認識可能な程度にまで、近点にフォーカスすることは難しい。従って、通常撮影（遠点へのフォーカス）だけでなく、バーコード読み取りやＯＣＲ認識を行うための近接撮影（近点へのフォーカス）を、低コストかつ簡易な構成で実現することが望まれている。

本発明はかかる問題点に鑑みてなされたもので、その目的は、低コストかつ簡易な構成で、遠方撮影および近接撮影を実現することが可能な撮像装置および画像処理装置を提供することにある。

本発明の撮像装置は、撮像レンズと、撮像レンズの通過光線に基づいて赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色信号を含む撮像データを取得する撮像素子と、撮像データに基づく撮像画像に対して画像処理を施す画像処理部とを備えたものである。画像処理部は、撮像画像に対してぼけ補正を施すデブラー処理部と、各々が撮像レンズから被写体までの物体距離に応じて設定され、近接物体用の第１の補正係数と、遠方物体用の第２の補正係数とを少なくとも含む複数のぼけ補正係数の中から１つを選択し、選択したぼけ補正係数をデブラー処理部へ出力する補正係数選択部と、複数のラインメモリを有し、複数のラインメモリに撮像データを格納させて保持する記憶部とを有する。記憶部の複数のラインメモリは、補正係数の２次元サイズ以下のライン数を有し、デブラー処理部は、撮像画像のうち、青色信号のみの配列に並べかえられた信号配列に対してぼけ補正を施す。

本発明の画像処理装置は、撮像素子によって取得され、撮像レンズの通過光線に基づく赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色信号を含む撮像データに基づく撮像画像に対し、ぼけ補正を施すデブラー処理部と、各々が撮像レンズから被写体までの物体距離に応じて設定され、近接物体用の第１の補正係数と、遠方物体用の第２の補正係数とを少なくとも含む複数のぼけ補正係数の中から１つを選択し、デブラー処理部へ出力する補正係数選択部と、複数のラインメモリを有し、複数のラインメモリに撮像データを格納させて保持する記憶部とを備える。記憶部の複数のラインメモリは、補正係数の２次元サイズ以下のライン数を有し、デブラー処理部は、撮像画像のうち、青色信号のみの配列に並べかえられた信号配列に対してぼけ補正を施す。

本発明の撮像装置および画像処理装置では、補正係数選択部が、物体距離に応じて設定された複数のぼけ補正係数の中から１つを選択し、デブラー処理部が、その選択された補正係数を用いて撮像データのぼけ補正を行う。複数の補正係数（例えば近接物体や遠方物体の補正係数）の中から１つを選択可能とすることで、物体距離の異なる撮像データ（例えば遠方物体および近接物体の撮像データ）の各々に対して、適切なぼけ補正を施すことが可能となる。

本発明の撮像装置および画像処理装置によれば、物体距離に応じて設定された複数のぼけ補正係数の中から選択された１つを用いてぼけ補正がなされるので、例えば近接物体や遠方物体等の物体距離の異なる撮像データに対してそれぞれ、適切なぼけ補正を行うことができる。これにより、オートフォーカスレンズや焦点切り替えレンズ等の特殊な撮像光学系を用いることなく、遠点および近点へのフォーカスが可能となる。よって、低コストかつ簡易な構成で、遠方撮影および近接撮影を実現することができる。

本発明の一実施の形態に係る撮像装置の概略構成を表す機能ブロック図である。 図１に示した撮像素子における単位画素の一例を示す回路図である。 カラーフィルタにおける色配列の一例を示す模式図である。 図１に示した画像処理部の詳細構成を表す機能ブロック図である。 （Ａ）は遠方撮影時における光線取得の様子、（Ｂ）は遠点ＰＳＦ関数、（Ｃ）は遠点用補正フィルタのカーネルサイズを表すものである。 （Ａ）は近接撮影時における光線取得の様子、（Ｂ）は近点ＰＳＦ関数、（Ｃ）は近点用補正フィルタのカーネルサイズを表すものである。 図１に示した画像処理部におけるデブラー処理動作の一部を説明するための模式図である。 撮影したＱＲコードの一例を表すものであり、（Ａ）はデブラー処理前、（Ｂ）はデブラー処理後を示す。 変形例１に係るデブラー処理動作を説明するための模式図である。 変形例２に係り、色光毎の結像位置の違いを説明するための模式図である。 変形例２に係るデブラー処理動作を説明するための模式図である。

以下、本発明の実施の形態を図面に関連付けて説明する。尚、説明は以下の順序で行う。

１．実施の形態（遠点用と近点用の補正フィルタを切り替えてデブラー処理を行う撮像装置の例）
２．変形例１（ラインを間引いて取得した撮像データにデブラー処理を施す例）
３．変形例２（特定の色成分（Ｇ，Ｂ）にデブラー処理を施す例）
４．その他の変形例

＜実施の形態＞
［撮像装置１の全体構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の機能ブロック図である。撮像装置１は、撮像レンズ１０、撮像素子１１、画像処理部１２、撮像素子駆動部１３、情報検出部１４および制御部１５を備えたものである。この撮像装置１は、例えばカメラ付き携帯電話機等に搭載されるものであり、ＱＲコード等の２次元バーコードを近接して撮影するモード（マクロ撮影モード）と、遠方にある物体を撮影するモード（通常撮影モード）とを切り替え可能となっている。本実施の形態において、通常撮影モードでは、被写体が遠方にある場合の遠方撮影を想定している。他方、マクロ撮影モードでは、被写体が近接している状態での近接撮影を想定している。

撮像レンズ１０は、物体（被写体）を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な固定焦点レンズである。この撮像レンズ１０の瞳面近傍には、図示しない開口絞りやシャッターが配設されている。

撮像素子１１は、受光光線に基づいて蓄電を行う光電変換素子であり、撮像レンズ１０の通過光線に基づいて撮像データ（後述の撮像データＤ０）を取得し、この撮像データを画像処理部１２へ出力するようになっている。この撮像素子１１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の固体撮像素子からなり、この撮像素子１１には、複数の単位画素がアレイ状に配列されている。尚、以下では、撮像素子１１が、ライン順次で読み出しが行われるＣＭＯＳセンサである場合を例に挙げて説明する。

この撮像装置１１では、画素配列の各行（ロウ）に転送選択線、リセット線、セレクト線が配線され、画素配列の各列（カラム）に信号線が配線されている。図２に、この撮像素子１１における単位画素の回路構成を示す。単位画素１１０は、例えば、フォトダイオード１１１、転送トランジスタ１１２、増幅トランジスタ１１３、セレクトトランジスタ１１４、リセットトランジスタ１１５、およびフローティングノードＮＤ１１６を有している。

フォトダイオード１１１は、入射光をその光量に応じた電荷量の信号電荷（例えば電 子）に光電変換して蓄積する。転送トランジスタ１１２は、ソース，ドレインがフォトダイオード１１１のカソードとフローティングノードＮＤ１１６とにそれぞれ接続され、ゲートが転送選択線ＴＲＦＬに接続されている。転送トランジスタ１１２は、導通（オン）することにより、フォトダイオード１１１に蓄積されている信号電荷をフローティングノードＮＤ１１６に転送する機能を有している。増幅トランジスタ１１３とセレクトトランジスタ１１４は電源電位ＶＤＤと信号線ＳＧＮＬとの間に直列に接続されている。増幅トランジスタ１１３は、ゲートがフローティングノードＮＤ１１６に接続され、フローティングノードＮＤ１１６の電位を増幅しセレクトトランジスタ１１４を介して信号線ＳＧＮＬに出力する。セレクトトランジスタ１１４のゲートはセレクト線ＳＥＬＬに接続されている。リセットトランジスタ１１５は、ソースがフローティングノードＮＤ１１６に接続され、ドレインが所定電位線に接続され、ゲートがリセット線ＲＳＴＬに接続され、フローティングノードＮＤ１１６の電位をリセットする機能を有している。

上記のような撮像素子１１の受光面側には、所定の色配列を有するカラーフィルタが配設されている。図３に、その一例としてベイヤー（Bayer）配列のカラーフィルタを示す。このように、本実施の形態では、３原色のうち緑（Ｇ：Green）を２つ、赤（Ｒ：Red）、青（Ｂ：Blue）を一つずつ用いたベイヤー配列が用いられる。このベイヤー配列は、色よりも輝度の解像度を重視した配列である。

尚、撮像素子１１の出力段には、図示しないプリ処理部が設けられていてもよい。この場合、プリ処理部は、撮像素子１１から読み出されたアナログ信号に対して標本化処理、量子化処理を行い、アナログ信号からデジタル信号に変換（Ａ／Ｄ変換）して画像処理部１２へ出力する。このプリ処理部の機能は、撮像素子１１自体に持たせることも可能である。

画像処理部１２は、撮像素子１１から供給された撮像データ（撮像データＤ０）に対し、ぼけ補正処理（デブラー処理）を含む所定の画像処理を施すものである。この画像処理部１２の具体的な構成については後述する。

撮像素子駆動部１３は、撮像素子１１の受光および読み出し動作等の駆動制御を行うものである。

情報検出部１４は、撮像装置１における撮影モードの設定信号（モード設定信号）を検出するものである。このモード設定信号は、例えば、携帯電話機等におけるボタン、キー、スイッチ等の操作を介して、例えばユーザによって入力されるようになっている。本実施の形態では、撮影モードとして、遠方撮影のための通常撮影モードと、近接撮影のためのマクロ撮影モードとのどちらかが、ユーザにより選択される（切り替えられる）。情報検出部１４は、その検出結果をモード設定信号Ｄｍとして制御部１５に出力し、制御部１５が選択された撮影モードに応じて画像処理部１２の画像処理動作を制御するようになっている。撮影モードによって撮像レンズから被写体までの物体距離が異なるが、上記のような制御により、画像処理部１２では物体距離に応じた適切な補正係数の選択（切り替え）が可能となる。

制御部１５は、撮像素子駆動部１３、画像処理部１２および情報検出部１４をそれぞれ駆動制御するものであり、例えばマイクロコンピュータ等である。

（画像処理部１２の構成）
図４に、この画像処理部１２の一例について示す。画像処理部１２は、例えば、前処理部１２０、記憶部１２１、デブラー処理部１２２、補正係数選択部１２３および保持部１２４を備えている。尚、この画像処理部１２が、本発明の画像処理装置の一具体例に相当する。

前処理部１２０は、撮像データＤ０に対し、例えば欠陥補正処理、ノイズ除去処理、ホワイトバランス調整処理、シェーディング補正処理、Ｙ／Ｃ分離処理等の各種画像処理を施し、それらの処理後の撮像データ（画像データＤ１）を記憶部１２１へ出力するものである。

記憶部１２１は、前処理部１２０から出力された画像データＤ１を、後段のデブラー処理のために、一時的に保持しておくためのメモリである。この記憶部１２１における記憶手段としては、固定ディスクでもリムーバブルディスクでもよく、また、その種類としても、磁気ディスクや光ディスク、光磁気ディスク、半導体メモリ等の種々のものが用いられる。記憶部１２１に保持されている画像データは、補正係数選択部１２３の制御に応じて、画像データＤ２として、デブラー処理部１２２へ出力されるようになっている。

本実施の形態では、この記憶部１２１が、複数のラインメモリ１２１ａを有し、これら複数のラインメモリ１２１ａに、撮像データＤ０に基づく画像データが所定のライン分、格納されるようになっている。ラインメモリ１２１ａの個数（ライン数）は、デブラー処理部１２２において用いられる補正係数のサイズに応じて設定されている。詳細は後述するが、補正係数は、ＰＳＦの逆関数であるため、物体距離（撮影モード）に応じてそのサイズ（２次元的な拡がり）が異なる。即ち、補正係数毎に、後述のデブラー処理時のフィルタサイズが異なるものとなり、ラインメモリ１２１ａのライン数は、そのデブラー処理時のフィルタサイズに応じた個数に設定される。

デブラー処理部１２２は、記憶部１２１から供給された撮像データに対し、ぼけを補正する処理（デブラー処理）を施すものである。具体的には、デブラー処理部１２２は、補正係数選択部１２３から供給された補正係数（補正係数ｋ１または補正係数ｋ２）を用いたフィルタリングにより、デブラー処理を行い、デブラー処理後の画像データＤoutを出力するものである。

補正係数選択部１２３は、制御部１５の制御に基づいて、複数のぼけ補正用の補正係数の中から１つを選択し、選択した補正係数を、デブラー処理部１２２へ出力するものである。これら複数の補正係数は、互いに異なる複数の撮影モード毎に用意されており、物体距離に応じて異なるものである。本実施の形態では、このような補正係数として、通常撮影モード用の補正係数ｋ１と、マクロ撮影モード用の補正係数ｋ２との２つの補正係数が用いられる。補正係数ｋ１は、遠方物体の撮像データに対して適切なデブラー処理を施すための補正係数であり、補正係数ｋ２は、近接物体の撮像データに対して適切なデブラー処理を施すための補正係数である。これらの補正係数ｋ１，ｋ２はそれぞれ、例えば点像分布関数（ＰＳＦ： Point spread function）の逆関数である。

ここで、撮像素子１１の受光面上のフォーカス位置をｆ（ｘ，ｙ）、実際の結像位置をｇ（ｘ，ｙ）とした場合、ＰＳＦ関数は以下の式（１）によって与えられる関数ｈ（ｘ，ｙ）である。即ち、補正係数ｋ１，ｋ２は、以下の式（２）によって与えられる関数である。
ｆ（ｘ，ｙ）×ｈ（ｘ，ｙ）＝ｇ（ｘ，ｙ） ………（１）
１／ｈ（ｘ，ｙ） ………（２）

保持部１２４は、上記のような補正係数ｋ１，ｋ２を保持するメモリであり、記憶手段としては記憶部１２１と同様のものが用いられる。尚、補正係数ｋ１，ｋ２は、そのように回路内のメモリに予め保持されていてもよいが、情報検出部１４を介して、外部から入力されるようになっていてもよい。

［撮像装置１の作用、効果］
図５（Ａ）は、通常撮影モードにおける光線取得の様子を模式的に表したものである。このように、撮像装置１では、例えば通常撮影モードにおいて、物体（被写体）からの光線Ｌ１は、撮像レンズ１０を通過した後、撮像素子１１へ到達する。撮像素子１１では、撮像素子駆動部１３の制御により、受光信号がライン順次に読み出されることにより、撮像データＤ０（遠方物体の撮像データ）を取得する。取得された撮像データＤ０は、画像処理部１３に供給され、画像処理部１２が、その撮像データＤ０に対し、所定の画像処理を施し、画像データＤoutとして出力する。

ここで、本実施の形態では、画像処理部１２が、情報検出部１４を介して入力されたモード設定信号Ｄｍに基づいて、撮像データＤ０に対して以下のようなデブラー処理を行う。

（１．前処理）
具体的には、まず、デブラー処理の前処理として、前処理部１２０が、例えば欠陥補正処理、ノイズ除去処理、ホワイトバランス調整処理、シェーディング補正処理、Ｙ／Ｃ分離処理等の各種画像処理を施す。具体的には、欠陥補正処理は、撮像データＤ０に含まれる欠陥（撮像素子１１の素子自体の異常に起因した欠陥）を補正する処理である。ノイズ除去処理は、撮像データに含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を除去する処理である。ホワイトバランス調整処理は、カラーフィルタの通過特性や撮像素子１１の分光感度等のデバイスの個体差や照明条件に起因して崩れた色バランスを調整する処理である。シェーディング補正処理は、撮像画像面内における輝度レベルのむらを補正する処理である。Ｙ／Ｃ分離処理は、輝度信号（Ｙ）とクロマ信号（Ｃ）とを分離する処理である。尚、この他にも、各画素データの黒レベルを設定する処理（クランプ処理）や、デモザイク処理等のカラー補間処理を施すようにしてもよい。これらの処理後の撮像データは、画像データＤ１として記憶部１２１へ出力される。

（２．ラインメモリの設定）
記憶部１２１は、前処理部１２０から入力された画像データＤ１を、後段の補正係数ｋ１，ｋ２を用いたデブラー処理時のフィルタサイズに対応して、所定ライン数のラインメモリ１２１ａに格納して一時的に保持する。

このとき、記憶部１２１に設けるラインメモリ１２１ａのライン数は、使用する補正係数ｋ１，ｋ２のサイズに応じて、いずれの補正係数を用いたデブラー処理にも対応できるように、例えば次のように設定する。即ち、図５（Ａ）に示したように、通常撮影モードでは、物体の結像点ｆ_fが撮像素子１１の受光面Ｓ１の近傍に位置するため、そのＰＳＦ関数（遠点ＰＳＦ）では２次元的な拡がりが小さくなる（図５（Ｂ））。このため、その逆関数である補正係数ｋ１を用いたデブラー処理では、フィルタサイズは比較的小さくなる（例えば図５（Ｃ）に示した３×３のカーネル）。換言すると、通常撮影モードでは、撮像画像における“ぼけ”の度合いが比較的小さいため、フィルタサイズも小さくて済む。

一方、図６（Ａ）は、マクロ撮影モードにおける光線取得の様子を模式的に表したものあるが、この場合、物体の結像点ｆ_nが撮像素子１１の受光面Ｓ１から離れるため、そのＰＳＦ関数（近点ＰＳＦ）では、２次元的な拡がりが遠点ＰＳＦに比べて大きくなる（図６（Ｂ））。このため、その逆関数である補正係数ｋ２を用いたデブラー処理では、フィルタサイズが比較的大きくなる（例えば図６（Ｃ）に示した５×５のカーネル）。換言すると、マクロ撮影モードでは、撮像画像における“ぼけ”の度合いが比較的大きいため、フィルタサイズはその分大きくなる。従って、ここでは、マクロ撮影モードにおけるデブラー処理（補正係数ｋ２を用いたデブラー処理）を考慮した５本のラインメモリ１２１ａを設けておく。

（３．補正係数の選択（切り替え））
本実施の形態では、補正係数選択部１２３が、上述のモード設定信号Ｄｍに基づく制御部１５の制御に応じて、保持部１２４に保持されている補正係数ｋ１，ｋ２の中から、その物体距離に応じた適切な補正係数を選択し、デブラー処理部１２２へ出力する。具体的には、モード設定信号Ｄｍが通常撮影モードを選択するものである場合には、遠方物体用の補正係数ｋ１を選択する。一方、モード設定信号Ｄｍがマクロ撮影モードを選択するものである場合には、近接物体用の補正係数ｋ２を選択する。これにより、例えば、通常撮影モードにおいて、マクロ撮影モードを設定する旨のモード設定信号が検出された場合には、補正係数ｋ１が補正係数ｋ２へ切り替えられる。同様に、マクロ撮影モードにおいて、通常撮影モードを設定する旨のモード設定信号が検出された場合には、補正係数ｋ２が補正係数ｋ１へ切り替えられる。選択された補正係数ｋ１（または補正係数ｋ２）は、デブラー処理部１２２へ出力される。

この一方で、補正係数選択部１２３は、選択対象となっている補正係数に応じた（デブラー処理時のフィルタサイズに応じた）ライン数の画像データＤ２を、デブラー処理部１２２へ出力するように記憶部１２１を制御する。具体的には、図７（Ａ）に示したように、通常撮影モードの場合は、３×３のフィルタサイズに対応して、３ライン（ａ１〜ａ３）分の画素データＤ２ａを画像データＤ２として、デブラー処理部１２２へ出力させる。他方、図７（Ｂ）に示したように、マクロ撮影モードの場合には、５×５のフィルタサイズに対応して、５ライン（ｂ１〜ｂ５）分の画素データＤ２ｂを画像データＤ２として、デブラー処理部１２２へ出力させる。

（４．補正係数を用いたデブラー処理）
デブラー処理部１２２は、補正係数選択部１２３により供給された補正係数を用いて、記憶部１２１から供給された所定のライン分の画像データＤ２に対し、デブラー処理を施す。具体的には、通常撮影モードの場合には、３ライン分の画像データＤ２に対して、補正係数ｋ１を乗じることにより、ぼけ補正を行う。他方、マクロ撮影モードの場合には、５ライン分の画像データＤ２に対し、補正係数ｋ２を乗じることにより、ぼけ補正を行う。 このようなデブラー処理により、画像データＤ２に対応する撮像画像においてぼけが良好に改善され、被写体にフォーカスした（ピントの合った）画像データＤoutが出力される。

以上のように、本実施の形態では、画像処理部１２において、撮像データＤ０に対し、モード設定信号Ｄｍに基づいて、遠方物体用の補正係数ｋ１と近接物体用の補正係数ｋ２とのうちのいずれかが選択され、選択された補正係数に基づいてデブラー処理がなされる。このように、デブラー処理で用いる補正係数として、補正係数ｋ１，ｋ２のいずれかを選択する（切り替える）だけで、遠方物体および近接物体の両方の撮像データのそれぞれに対して、適切なぼけ補正を施すことが可能となる。従って、例えばオートフォーカスレンズや焦点切り替えレンズ等の特殊な撮像光学系を用いることなく、遠点および近点へのフォーカスが可能となる。よって、低コストかつ簡易な構成で、遠方撮影および近接撮影を実現することができる。

例えば、撮像装置１が搭載される電子機器において、ユーザによって通常撮影モードが設定された場合には、例えば風景等が撮影され、補正係数ｋ１を用いたデブラー処理が行われる。一方、マクロ撮影モードが設定された場合には、ＱＲコード等の２次元バーコードが撮影され、補正係数ｋ２を用いたデブラー処理が行われる。図８（Ａ）に、デブラー処理前のＱＲコードの撮像画像、図８（Ｂ）に、デブラー処理後のＱＲコードの撮像画像の一例を示す。このように、デブラー処理によって、ぼけが良好に補正され、近点にフォーカスされた画像を得ることができる。

次に、上記実施の形態の変形例（変形例１，２）について説明する。以下では、上記実施の形態と同様の構成要素については、同一の符号を付し適宜説明を省略する。

＜変形例１＞
図９は、変形例１に係るデブラー処理動作を説明するための模式図である。上記実施の形態では、ラインメモリのライン数を、補正係数に応じたフィルタサイズに合わせて設定した。即ち、補正係数ｋ１，ｋ２のどちらを用いたデブラー処理にも適用できるように、大きなフィルタサイズを必要とする補正係数ｋ２に合わせてライン数を５つとしたが、ラインメモリのライン数を少なくして、フィルタサイズが小さくなるようにしてもよい。

例えば、ラインメモリのライン数を、通常撮影モード（補正係数ｋ１を用いた場合）のフィルタサイズ（３×３）に合わせて、３つとなるようにしてもよい。この場合、マクロ撮影モードでは、本来ならば、上述のように５ライン分必要になるが、そのうち２ライン分を間引くことで、３ラインのラインメモリに対応させることができる。具体的には、図９に示したように、５ライン（ｂ１〜ｂ５）分の画素データのうち所定のライン（ｂ２，ｂ４）を間引く（１ラインおきにラインメモリへの書き込みを行う）ことにより、３ライン（ｂ１，ｂ３，ｂ５）分の画素データを、デブラー処理対象とする。これにより、垂直方向が２ライン分間引かれる（水平方向（ライン方向）の画素は間引かれない）ため、３×５のフィルタサイズでデブラー処理を行うことができる。

このように、記憶部１２１におけるラインメモリのライン数は、必ずしもフィルタサイズの大きなマクロ撮影モードに合わせる必要はない。マクロ撮影モードは、主にＱＲコードの読み込み等のデータ認識のために使用される撮影モードであるため、撮像画像においてはそのようなデータを認識し得る程度の解像度が確保されていれば十分である。このため、本変形例のように、所定のラインを間引いて記憶部１２１のラインメモリに保持するようにしてもよい。このような構成によっても、上記実施の形態と同等の効果を得ることができると共に、デブラー処理時のフィルタサイズを上記実施の形態と比べて縮小することが可能である。

尚、記憶部１２１におけるラインメモリのライン数は、上述した“５つ”や“３つ”に限定されるものではなく、他のライン数であってもよい。使用する補正係数のＰＳＦのサイズ等に応じて、適宜設定することが可能である。

また、ラインメモリのライン数の削減（フィルタサイズの縮小）は、上記のような画素データを間引く手法の他にも、例えば撮像素子１１において画素データ同士を混合したり、デジタル処理において画素データ同士を加算したりすることによっても実現できる。

＜変形例２＞
また、上記実施の形態では、撮像素子１１の受光面にＲ，Ｇ，Ｂの３原色のフィルタが配列してなるカラーフィルタを設けているため、３色全ての画素データがデブラー処理の対象となるが、以下のように、特定の色成分のみをデブラー処理の対象としてもよい。例えば、カラーフィルタの色配列がベイヤー配列の場合には、解像度の取れる緑色成分のみをデブラー処理の対象としてもよい。この場合、例えば、図１０に示したように、カラーフィルタの色配列に応じて配列する画素データのうち、Ｇデータのみのデータ配列となるように並べ替えを行うことで、ライン数を少なくする（１／２にする）ことができる。

あるいは、図１１に示したように、近接撮影の場合、青色光Ｌ_B，緑色光Ｌ_G，赤色光Ｌ_Rの色光毎に結像位置（ｆ _B ，ｆ _G ，ｆ _R ）に差が生じ、これらのうち青色光Ｌ_Bにおいて最も焦点が合い易くなる。このため、撮像データＤ０のうち青色成分のみをデブラー処理の対象としてもよい。尚、この場合も、上記緑色成分のみを用いる場合と同様、Ｂデータのみのデータ配列に並べ替えを行うことで、ライン数を少なくすることができる。

また、これらの青色成分と緑色成分をデブラー処理対象としてもよい。この場合、ベイヤー配列のカラーフィルタでは、データ配列が「Ｒ，Ｇ，Ｒ，Ｇ，…」となるラインと、データ配列が「Ｇ，Ｂ，Ｇ，Ｂ，…」となるラインとのうち、後者のラインのみを選択的にラインメモリに格納すればよい。

＜その他の変形例＞
以上実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態等に限定されるものではなく、種々変形が可能である。例えば、上記実施の形態等では、撮影モードとして、通常撮影モードとマクロ撮影モードの２つのモード切り替えを行い、各撮影モードに応じた２つの補正係数を切り替え可能としたが、撮影モードおよびそれに対応する補正係数の数は、３つ以上であってもよい。

また、上記変形例１，２では、撮像データＤ０のうち、所定のラインを間引いてデブラー処理を行う場合や、Ｒ，Ｇ，Ｂの画素データのうち特定の色成分のみをデブラー処理対象とする場合について説明したが、この他にも、Ｙ／Ｃ分離後の輝度信号をデブラー処理対象としてもよい。この場合、例えば、画像処理部１２における前処理部１２０においてＹ／Ｃ分離処理を行って輝度信号（Ｙ）と色信号（Ｃ）とを分離した後、その輝度成分のみを記憶部１２１のラインメモリに所定のライン数で格納すればよい。

１…撮像装置、１０…撮像レンズ、１１…撮像素子、１２…画像処理部、１３…撮像素子駆動部、１４…情報検出部、１５…制御部、１２０…前処理部、１２１…記憶部、１２１ａ…ラインメモリ、１２２…デブラー処理部、１２３…補正係数選択部、１２４…保持部、ｋ１，ｋ２…補正係数、Ｄ０…撮像データ、Ｄ１，Ｄ２，Ｄout…画像データ。

Claims (4)

1. 撮像レンズと、
   前記撮像レンズの通過光線に基づいて赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色信号を含む撮像データを取得する撮像素子と、
   前記撮像データに基づく撮像画像に対して画像処理を施す画像処理部とを備え、
   前記画像処理部は、
   前記撮像画像に対してぼけ補正を施すデブラー処理部と、
   各々が前記撮像レンズから被写体までの物体距離に応じて設定され、近接物体用の第１の補正係数と、遠方物体用の第２の補正係数とを少なくとも含む複数のぼけ補正係数の中から１つを選択し、選択したぼけ補正係数を前記デブラー処理部へ出力する補正係数選択部と、
   複数のラインメモリを有し、前記複数のラインメモリに前記撮像データを格納させて保持する記憶部とを有し、
   前記記憶部の前記複数のラインメモリは、前記補正係数の２次元サイズ以下のライン数を有し、
   前記デブラー処理部は、前記撮像画像のうち、青色信号のみの配列に並べかえられた信号配列に対してぼけ補正を施す
   撮像装置。
2. 前記複数の補正係数はそれぞれ、点像分布関数（ＰＳＦ： Point spread function）の逆関数である
   請求項１に記載の撮像装置。
3. 前記補正係数選択部は、外部から入力されるモード設定信号に基づき、前記１つの補正係数を選択する
   請求項１に記載の撮像装置。
4. 撮像素子によって取得され、撮像レンズの通過光線に基づく赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色信号を含む撮像データに基づく撮像画像に対し、ぼけ補正を施すデブラー処理部と、
   各々が前記撮像レンズから被写体までの物体距離に応じて設定され、近接物体用の第１の補正係数と、遠方物体用の第２の補正係数とを少なくとも含む複数のぼけ補正係数の中から１つを選択し、選択したぼけ補正係数を前記デブラー処理部へ出力する補正係数選択部と、
   複数のラインメモリを有し、前記複数のラインメモリに前記撮像データを格納させて保持する記憶部とを備え、
   前記記憶部の前記複数のラインメモリは、前記補正係数の２次元サイズ以下のライン数を有し、
   前記デブラー処理部は、前記撮像画像のうち、青色信号のみの配列に並べかえられた信号配列に対してぼけ補正を施す
   画像処理装置。

Images