JP6460653B2 - 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムに関する。

光学系により結像された光学像を電気信号に変換する撮像素子において、一部の画素が焦点検出のための信号を出力するように構成された撮像素子が知られている。例えば特許文献１には、一部の画素に瞳位相差方式による測距機能を持たせるため、当該画素の受光面の一部が遮光されている撮像素子に係る技術が開示されている。このような測距機能を有する位相差画素によって取得された情報は、例えば光学系を合焦位置に駆動させるオートフォーカス処理に用いられる。また、特許文献２には、位相差画素の情報に対してゲイン補正演算を行い、位相差画素によって取得した情報を表示用や記録用の画像作成のために用いる技術が開示されている。

位相差画素では、測距のために適切な露出制御が行われることが望ましい。このため、暗所など位相差情報が取得しにくい状況では、位相差画素についてのみ、画像信号を取得するための通常画素よりも露光時間を長くする手法が提案されている。しかしながら、位相差画素と通常画素の露光時間が異なると、動体撮影などが行われた際に、露光時間の違いから位相差画素で取得した像と通常画素で取得した像とで像ブレ量に違いが生じ得る。特許文献２に開示されている技術のように、位相差画素で取得した情報が表示用や記録用の画像に用いられると、像ブレ量の違いが生成される画像に反映されることによる画像劣化が生じ得る。

特開２０００−１５６８２３号公報 特開２０１１−１２４７０４号公報

本発明は、画素に応じて少なくとも２種類の異なる露光時間が適用される撮像素子を用いて得られた画像について、画像劣化を低減させる画像処理を施す画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

前記目的を果たすため、本発明の一態様による、画像処理装置は、焦点検出機能が付与される機能画素である第１の画素と、前記焦点検出機能が付与されていない非機能画素である第２の画素とからなる複数の画素を含み、前記機能画素と前記非機能画素とでは、互いに異なる２種類の露光時間が適用される撮像素子を用いて得られた画像データに対して画像処理を施す画像処理装置であって、前記画像データに存在する像ブレ量を推定するブレ量推定部と、前記画像データに含まれる前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する露光時間差算出部と、前記露光時間差と前記像ブレ量とに基づいて、対象となる前記第１の画素が検出した光量を用いる第１の割合と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量を用いる第２の割合とを決定する混合割合算出部と、前記第１の割合と、前記第２の割合とに基づいて、前記画像データに対して補正を施す補正部とを備える。

前記目的を果たすため、本発明の一態様によれば、撮像装置は、前記撮像素子と、前記画像処理装置とを備える。

前記目的を果たすため、本発明の一態様によれば、画像処理方法は、焦点検出機能が付与される機能画素である第１の画素と、前記焦点検出機能が付与されていない非機能画素である第２の画素とからなる複数の画素を含む撮像素子であって、前記機能画素と前記非機能画素とでは、互いに異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理方法であって、前記画像データに存在する像ブレ量を推定する工程と、前記画像データに含まれる前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する工程と、前記露光時間差と前記像ブレ量とに基づいて、対象となる前記第１の画素が検出した光量を用いる第１の割合と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量を用いる第２の割合とを決定する工程と、前記第１の割合と、前記第２の割合とに基づいて、前記画像データに対して補正を施す工程とを含む。

前記目的を果たすため、本発明の一態様によれば、画像処理プログラムは、焦点検出機能が付与される機能画素である第１の画素と、前記焦点検出機能が付与されていない非機能画素である第２の画素とからなる複数の画素を含む撮像素子であって、前記機能画素と前記非機能画素とでは、互いに異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理をコンピュータに実行させるための画像処理プログラムであって、前記画像データに存在する像ブレ量を推定する工程と、前記画像データに含まれる前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する工程と、前記露光時間差と前記像ブレ量とに基づいて、対象となる前記第１の画素が検出した光量を用いる第１の割合と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量を用いる第２の割合とを決定する工程と、前記第１の割合と、前記第２の割合とに基づいて、前記画像データに対して補正を施す工程とをコンピュータに実行させる。

本発明によれば、画素に応じて少なくとも２種類の異なる露光時間が適用される撮像素子を用いて得られた画像について、画像劣化を低減させる画像処理を施す画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムを提供できる。

本発明の一実施形態に係る撮像装置の構成例の概略を示すブロック図。 一実施形態に係る撮像素子の構成例の概略を示す図。 一実施形態に係る撮像素子を用いた位相差法による焦点検出の原理について説明するための図。 一実施形態に係る撮像素子を用いた位相差法による焦点検出の原理について説明するための図。 一実施形態に係るライブビュー表示時に行われる独立電子シャッタについて説明するためのタイミングチャート。 一実施形態に係るライブビュー表示時に行われる独立電子シャッタについて説明するためのタイミングチャート。 比較例に係るライブビュー表示時に行われる電子シャッタについて説明するためのタイミングチャート。 一実施形態に係る画像処理部の構成例の概略を示すブロック図。 一実施形態に係る動画記録処理の一例を示すフローチャート。 一実施形態に係る画素補正処理の一例を示すフローチャート。 一実施形態に係る動体の移動量と第１の利用割合との関係の一例を示す図。 一実施形態に係る露光時間差と第２の利用割合との関係の一例を示す図。

［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ１の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。

図１に示すデジタルカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換器（ＡＤＣ）２７と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、画像処理部３１と、露光制御部として機能する露出制御回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４３と、記録媒体４５と、ジャイロセンサ４７と、加速度センサ４９とを有する。

撮影レンズ１１は、被写体９００の像を撮像素子２１に形成するための単一又は複数のレンズから構成された光学系である。撮影レンズ１１は、単焦点レンズでもズームレンズでもよい。絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が変化し得るように構成されている。絞り１３は、撮影レンズ１１を通過した被写体９００からの光束の量を制限する。メカシャッタ１５は、絞り１３の後方に配置され、開閉自在に構成されている。メカシャッタ１５は、その開放時間が調節されることにより、被写体９００から到来する被写体光束の撮像素子２１への入射時間を調節する。すなわち、メカシャッタ１５は、撮像素子２１の露光時間を調整する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１の焦点調節、絞り１３の開口径制御、及びメカシャッタ１５の開閉制御を行う。

操作部１９は、電源ボタン、レリーズボタン、再生ボタン、メニューボタンといった各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部１９への入力は、ＣＰＵ２９による処理によって認識され得る。

撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。ここで、本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。

画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有している。

また、本実施形態における撮像素子２１では、一部に位相差検出画素が配置されている。すなわち、撮像素子２１には、記録や表示のための画像を取得するための撮像画素の他に、位相差検出画素が設けられている。位相差検出画素では、他の画素と異なり、一部の領域が遮光されている。この位相差検出画素は、焦点検出に用いられる焦点検出画素として機能する。

図２を用いて、撮像素子２１の構成について説明する。図２は、撮像素子２１の画素配列を示した模式図である。図２において、「Ｒ」は、赤色のカラーフィルタが設けられたＲ画素を示し、「Ｇ」は、緑色のカラーフィルタが設けられたＧ画素を示し、「Ｂ」は、青色のカラーフィルタが設けられたＢ画素を示す。また、黒色に塗りつぶされた領域は、遮光されている領域を示す。図２は、ベイヤ配列の例を示しているが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が用いられ得る。

前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有している。言い換えれば、ベイヤ配列の撮像素子２１は、Ｇｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、赤色フィルタ、緑色フィルタ又は青色フィルタが設けられた通常画素２１ａに混じって、遮光膜が設けられた位相差検出画素２１ｂが配置されている。位相差検出画素は、例えば左右の何れかの領域が遮光膜によって遮光された画素である。図２の例では、左半面を遮光した位相差検出画素（以下、右開口位相差検出画素と言う）が設けられている行と、右半面を遮光した位相差検出画素（以下、左開口位相差検出画素と言う）が設けられている行とが交互に配置されている。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えられる。したがって、図２に示すように位相差検出画素が配置されることにより、近接する右開口位相差検出画素と左開口位相差検出画素との対で位相差が検出され得る。

ここで、図２の例では、位相差検出画素中の遮光する領域は、左右何れかの領域とされている。この場合、水平位相差が検出され得る。これに対し、遮光する領域が上下何れかの領域とされたり、斜め方向の領域とされたりすることで、垂直位相差や斜め方向の位相差が検出され得る。また、ある程度の面積を有していれば遮光面積も画素領域の１／２でなくともよい。さらに、図２に示した例では位相差検出画素がＧ画素に配置されているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置されてもよい。

また、図２の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割がされてもよい。

図２に示したような撮像素子を用いた位相差法による焦点検出の原理について図３Ａ及び図３Ｂを参照して説明する。ここで、図３Ａは、通常画素２１ａにおける結像状態を示す。図３Ｂは、位相差検出画素２１ｂにおける結像状態を示す。

被写体が点光源であるとすると、撮影レンズ１１が合焦状態であるとき、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の同一の位置に結像する。

一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。言い換えれば、これらの対をなす被写体光束によって形成される像の間には位相差が生じる。この位相差を、右開口位相差検出画素と左開口位相差検出画素とでそれぞれ検出される像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向が検出され得る。

なお、位相差検出画素２１ｂは、一部の領域が遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素２１ｂに形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素２１ｂに入射する光の角度、像高によっても異なるものである。

撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って、撮像素子２１の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。撮像素子２１からの画素データの読み出し方式は、デジタルカメラ１の動作状態に応じて設定されるものである。例えば、撮像素子２１からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出したり、特定の画素の画素データを間引いて読み出したりする。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

Ａ−ＡＭＰ２５は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。ＡＤＣ２７は、アナログデジタル変換器であり、Ａ−ＡＭＰ２５によってアナログゲイン調整された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２９は、後述するＲＯＭ４３に記憶されているプログラムに従って、デジタルカメラ１の全体制御を行う。また、ＣＰＵ２９は、ジャイロセンサ４７や加速度センサ４９の出力に基づいて、デジタルカメラ１の移動量を算出し、算出結果をＤＲＡＭ４１に保存する。

画像処理部３１は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって構成される。画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。また、画像処理部３１は、ＤＲＡＭ４１から画像データとデジタルカメラ１の移動量を読み出して、画像処理を行い、画像処理後のデータを記録用画像データとしてＤＲＡＭ４１に書き戻す。

露出制御回路３３は、例えばＡＳＩＣによって構成される。露出制御回路３３は、例えば撮像データに基づいて、露出値を算出し、算出した露出値に基づいて、シャッタスピードや絞り値や感度を調整する。

本実施形態に係る通常画素と位相差画素とは、電子シャッタにより、異なるシャッタ速で制御されている。すなわち、位相差画素は通常画素と比べて開口面積が小さいため、位相差画素と通常画素とで同じ露光時間で得られたデータを用いて画像を作成しようとすると、位相差画素の部分で光量不足となる。そこで、位相差画素と通常画素とで同等の露光量を得る際には、位相差画素の露光時間は通常画素の露光時間よりも長くなるように調整される。このような、位相差画素と通常画素とを異なるシャッタ速で制御する機構を独立電子シャッタと称することにする。露出制御回路３３は、独立電子シャッタに係るシャッタ速の設定も行う。

本実施形態では、位相差検出のために画素の一部が覆われている位相差画素が設けられる例が示されている。独立電子シャッタは、このような位相差画素を有する撮像素子で用いられるに限らず、種々の用途で用いられ得る。例えば、ダイナミックレンジを拡大するために、一部の画素とその他の画素とで露光時間が異なるように調整され得る。画素毎に露光時間が異なる撮像データに基づいて、ハイダイナミックレンジな画像データの取得が実現され得る。このように、独立電子シャッタによれば、種々の機能が実現され得る。以降の説明では、所定の機能を実現するために他の画素と異なる露光時間が適用される画素を機能画素と称し、それ以外の通常画素を非機能画素と称することにする。本実施形態に係る技術は、位相差検出に係る技術に限らず、機能画素と非機能画素とが存在する種々の技術に用いられ得る。

本実施形態でライブビュー表示時に行われる独立電子シャッタについて図４Ａ及び図４Ｂに示すタイミングチャートを参照して説明する。図４Ａは低輝度時の動作のタイミングチャートを示し、図４Ｂは高輝度時の動作のタイミングチャートを示す。本実施形態では、機能画素と非機能画素とは、それぞれ独立に制御される。図４Ａ及び図４Ｂにおいて、それぞれ上段は通常画素等の非機能画素の動作を示し、下段は例えば位相差画素のような機能画素の動作を示す。

図４Ａに示す低輝度時の動作について説明する。非機能画素のタイミングチャートと機能画素のタイミングチャートのそれぞれ１段目の「ＶＤ」と示したのは制御カウンタを表す。本実施形態では、３０フレーム／秒の場合を表し、制御カウンタは３３ｍｓ毎にパルスが発生する。非機能画素のタイミングチャートと機能画素のタイミングチャートのそれぞれ２段目は、撮像素子２１で行われる露光のタイミングを示す。非機能画素のタイミングチャートと機能画素のタイミングチャートのそれぞれ３段目は、露光データの読み出しのタイミングを示す。

非機能画素の露光の終了は、制御カウンタが変化するタイミングに一致するように調整される。機能画素の露光の終了は、非機能画素の露光の終了と同時になるように調整される。したがって、非機能画素の露光の開始と機能画素の露光の開始とのタイミングは異なることになる。低輝度時は、暗所で焦点検出が可能なように、機能画素の露光時間は非機能画素の露光時間よりも長くなるように調整されている。非機能画素の読み出しと機能画素の読み出しとは、それぞれ制御カウンタが変化した後に行われる。

図４Ｂに示す高輝度時も低輝度時の場合と同様に、非機能画素及び露光画素の露光の終了はともに制御カウンタが変化するタイミングと一致するように調整されている。また、非機能画素の読み出しと機能画素の読み出しとは、それぞれ制御カウンタが変化した後に行われる。高輝度時は、例えば逆光でも焦点検出が可能なように、機能画素の露光時間は非機能画素の露光時間よりも短くなるように調整されている。

比較例として、非機能画素の露光と機能画素の露光とを順次に切り替える場合のタイミングチャートを図４Ｃに示す。図４Ｃに示すように、比較例の場合は、非機能画素用の露光の後、その読み出しと同時にモード切替を行い、続いて機能画素用の露光を行い、その後に読み出しと同時にモード切替を行う。この比較例のような動作では、画像取得が不連続となり、滑らかな動画が得られない。これに対して本実施形態に係る独立電子シャッタによれば、滑らかな画像を得ながら機能画素の機能の輝度ロバスト性が大幅に高くなる。

露出制御回路３３は、ＤＲＡＭ４１から画素データを取得し、機能画素と非機能画素との電子シャッタ速を算出する。露出制御回路３３は、算出した機能画素と非機能画素との電子シャッタ速をＤＲＡＭ４１に保存する。ＣＰＵ２９は、この電子シャッタ速に基づいて、撮像制御回路２３に異なるシャッタ速による撮像を行わせる。

ビデオエンコーダ３５は、画像処理部３１によって生成されＤＲＡＭ４１に一時記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部３７に出力する。

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばデジタルカメラ１の背面等に配置される。この表示部３７は、ビデオエンコーダ３５から入力されてきた表示用画像データに従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３９は、ＡＤＣ２７、ＣＰＵ２９、画像処理部３１、露出制御回路３３、ビデオエンコーダ３５、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５、ジャイロセンサ４７、及び加速度センサ４９に接続されている。これら各部で発生した各種のデータは、バス３９を介して転送される。

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、デジタルカメラ１の移動量データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としては、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられてもよい。

記憶部の一例として機能するＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用するプログラム、デジタルカメラ１の調整値等の各種データを記憶している。

記録媒体４５は、デジタルカメラ１に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

ジャイロセンサ４７は、デジタルカメラ１の姿勢変化に伴う角速度を検出するためのセンサである。ジャイロセンサ４７は、検出した角速度を表すデータをＤＲＡＭ４１に保存する。加速度センサ４９は、デジタルカメラ１の姿勢変化に伴う加速度を検出するためのセンサである。加速度センサ４９は、検出した加速度を表すデータをＤＲＡＭ４１に保存する。前述のとおり、これらのデータは、ＣＰＵ２９で処理される。

本実施形態では、デジタルカメラ１及び被写体が静止しているときは、独立電子シャッタを用いた撮影によっても画像に支障はない。しかしながら、例えば被写体が移動しているとき、機能画素と非機能画素とで露光時間が異なると、機能画素の部分のみで像ブレに差異が発生し、不自然な画像となる。本実施形態では、この局所的な像ブレの差異を防ぐため、局所的な像ブレが発生する状況では、機能画素の情報が周辺の非機能画素の情報で補間される。一方、局所的な像ブレが発生しない状況では、機能画素の情報が画像情報として用いられる。このような像ブレの差異を防ぐための動作を画像処理部３１が行う。

図５は、画像処理部３１の詳細な構成を示す図である。図５では、画像処理部３１以外のブロックについては図示を省略している。画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部１０２と、ブレ量推定部１０４と、露光時間差算出部１０６と、補正方法判断部１０８と、ゲイン補正／周辺補間部１２２と、同時化処理部１２４と、輝度特性変換部１２６と、エッジ強調処理部１２８と、ノイズ低減（ＮＲ）処理部１３０と、色再現処理部１３２とを有している。この他、図示を省略しているが、画像処理部３１は、圧縮伸張処理部等も有している。

ＷＢ補正処理部１０２は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する。

ブレ量推定部１０４は、ジャイロセンサ４７及び加速度センサ４９が取得した情報に基づいて算出された角速度及び加速度から算出されたデジタルカメラ１の像移動量を取得する。また、ブレ量推定部１０４は、公知のブロックマッチング等の演算から算出される画像内の領域毎の動きベクトルを取得する。ブレ量推定部１０４は、デジタルカメラ１の移動量と画像内の領域毎の動きベクトルとに基づいて、領域毎の像移動する量である像ブレ量を算出する。

露光時間差算出部１０６は、機能画素と非機能画素をそれぞれの用途に応じて適切な露光条件で駆動させる制御において、機能画素と非機能画素のシャッタ速度の差分である露光時間差を算出する。

補正方法判断部１０８は、手法判断部１１２と、混合割合算出部１１４とを有する。手法判断部１１２は、ブレ量推定部１０４が算出した領域毎のブレ量と露光時間差算出部１０６が算出した機能画素と非機能画素の露光時間差に基づいて、機能画素を周辺画素値を用いて補正するか否か判断する。手法判断部１１２が機能画素を周辺画素値を用いて補正すると判断した場合、混合割合算出部１１４は、機能画素自身の画素値と周辺画素の画素値とを重みづけした混合を行う際に用いられる重みづけを、ブレ量推定部１０４が算出したブレ量と露光時間差算出部１０６が算出した露光時間差とに基づいて決定する。

ゲイン補正／周辺補間部１２２は、画像に対して補正を施す補正部として機能する。ゲイン補正／周辺補間部１２２は、混合割合算出部１１４が算出した重みづけに基づいて、機能画素自身の画素値と周辺画素の画素値とを重みづけした混合を行う。

同時化処理部１２４は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。

輝度特性変換部１２６は、同時化処理部１２４で生成された画像データの輝度特性を、表示や記録に適するように変換する。エッジ強調処理部１２８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部１３０は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。

色再現処理部１３２は、画像の色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部１３２は、彩度・色相の補正を行う。

本実施形態に係るデジタルカメラ１の動作を説明する。本実施形態に係るデジタルカメラ１による動画記録の処理の一例を図６に示すフローチャートを参照して説明する。動画記録は、例えば動画撮影モード中にレリーズボタンが押圧されたときに開始する。また、ここでは、動画記録の処理について説明するが、静止画記録の動作においても同様の処理が行われ得る。なお、図６を参照して説明する処理はＲＯＭ４３に記憶されているプログラムに従ってＣＰＵ２９が実行したり、ＡＳＩＣが実行したりする。これら処理に係るプログラムは、光ディスクや磁気ディスクや半導体メモリ等、各種記録媒体にも記録され得る。

Ｓ１０１において、ＣＰＵ２９は、撮像データの取り込みを開始する。ここでは、ＣＰＵ２９は、撮像制御回路２３に現在の動作モードに応じた設定データを入力する。また、露出制御回路３３は、前フレームで取得した撮像データに基づいて決定された独立電子シャッタに係る露出時間を撮像制御回路２３に入力する。撮像制御回路２３は、これらの設定データに従って撮像素子２１からの画素データの読み出しを制御する。撮像制御回路２３に読み出し方式が設定されると、撮像制御回路２３に設定された読み出し方式に従って、撮像素子２１から画素混合又は画素間引きされた状態の画像信号が読み出される。撮像素子２１から読み出された画像信号は、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。

Ｓ１０２において、露出制御回路３３は、撮像データから次フレームに係る露光条件を決定する。ここで、露出制御回路３３は、機能画素と非機能画素とのそれぞれについて、適切なシャッタ速を算出する。ここで、機能画素のシャッタ速と非機能画素のシャッタ速は、異なっていてよい。

Ｓ１０３において、露出制御回路３３は、機能画素と非機能画素のそれぞれのシャッタ速を独立に設定する。設定されたシャッタ速は、ＤＲＡＭ４１に一時記憶される。このシャッタ速は、撮像制御回路２３によって読み出される。撮像制御回路２３は、撮像素子２１を決定したシャッタ速で駆動することになる。

Ｓ１０４において、ＣＰＵ２９は、ジャイロセンサ４７の出力と加速度センサ４９の出力とを取得する。ＣＰＵ２９は、ジャイロセンサ４７の出力に基づいて、デジタルカメラ１に係る角速度を算出し、加速度センサ４９の出力に基づいてデジタルカメラ１に係る加速度を算出する。すなわち、ＣＰＵ２９は、デジタルカメラ１の移動量を算出する。ここで、ジャイロセンサ４７の出力に基づいて算出される値を第１の移動量ｍｏｖ＿ｓｕｍ＿ｏとする。また、加速度センサ４９の出力に基づいて算出される値を第２の移動量ｍｏｖ＿ｓｕｍ＿ｉとする。

また、画像処理部３１は、撮像した画像に含まれる被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖを画像領域ごとに算出する。被写体の移動量の算出には、例えばブロックマッチングによる相関演算など、既知の動きベクトル算出方法が用いられ得る。

Ｓ１０５において、画像処理部３１は、本実施形態に係る画素補正処理を行う。この画素補正処理は、非機能画素のシャッタ速と機能画素のシャッタ速との差異による画像の劣化を補正する処理である。この画素補間処理については、後に詳述する。

Ｓ１０６において、画像処理部３１は、画素補正処理で補正された撮像データを記録用に画像処理する。Ｓ１０７において、画像処理部３１は、画像処理を施した画像データを記録媒体に記録する。

Ｓ１０８において、ＣＰＵ２９は、動画記録停止の指示が入力されたか否かを判定する。動画記録停止の指示は、例えば、動画記録動作中にレリーズボタンが押圧されることで入力される。動画記録停止の指示が入力されていないとき、処理はステップＳ１０１に戻る。一方、動画記録停止の指示が入力されたとき、本動画記録処理は終了する。

次に画素補正処理について、図７に示すフローチャートを参照して説明する。ステップＳ２０１において、ブレ量推定部１０４は、ＤＲＡＭ４１から、ジャイロセンサ４７の出力に基づいてステップＳ１０４で算出されたデジタルカメラ１の第１の移動量ｍｏｖ＿ｓｕｍ＿ｏを取得する。また、ブレ量推定部１０４は、ＤＲＡＭ４１から、加速度センサ４９の出力に基づいて算出されたデジタルカメラ１の第２の移動量ｍｏｖ＿ｓｕｍ＿ｉを取得する。

ステップＳ２０２において、ブレ量推定部１０４は、第１の移動量ｍｏｖ＿ｓｕｍ＿ｏは、第２の移動量ｍｏｖ＿ｓｕｍ＿ｉよりも大きいか否かを判定する。第１の移動量ｍｏｖ＿ｓｕｍ＿ｏが第２の移動量ｍｏｖ＿ｓｕｍ＿ｉよりも大きいとき、処理はステップＳ２０３に進む。ステップＳ２０３において、ブレ量推定部１０４は、最終的に決定されるデジタルカメラ１の第３の移動量ｍｏｖ＿ｓｕｍ＿ｆを第１の移動量ｍｏｖ＿ｓｕｍ＿ｏに決定する。その後、処理はステップＳ２０５に進む。

ステップＳ２０２の判定において、第１の移動量ｍｏｖ＿ｓｕｍ＿ｏが第２の移動量ｍｏｖ＿ｓｕｍ＿ｉよりも大きくないと判定されたとき、処理はステップＳ２０４に進む。ステップＳ２０４において、ブレ量推定部１０４は、最終的に決定されるデジタルカメラ１の第３の移動量ｍｏｖ＿ｓｕｍ＿ｆを第２の移動量ｍｏｖ＿ｓｕｍ＿ｉに決定する。その後、処理はステップＳ２０５に進む。

ステップＳ２０１乃至ステップＳ２０４の処理により、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆは、ジャイロセンサ４７で取得されたデジタルカメラ１の移動量と加速度センサ４９で取得されたデジタルカメラ１の移動量とのうち大きい方に設定される。

ステップＳ２０５乃至ステップＳ２１５の処理は、全機能画素について順に行われるループ処理である。ステップＳ２０５において、ブレ量推定部１０４は、ＤＲＡＭ４１から、ステップＳ１０４のブロックマッチングを用いた動きベクトル算出処理で算出された被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖを取得する。

ステップＳ２０６において、ブレ量推定部１０４は、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆは、被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖよりも大きいか否かを判定する。第３の移動量ｍｏｖ＿ｓｕｍ＿ｆが被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖよりも大きいと判定されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において、ブレ量推定部１０４は、最終的に算出された補正対象領域の移動量ｍｏｖを第３の移動量ｍｏｖ＿ｓｕｍ＿ｆに決定する。その後、処理はステップＳ２０９に進む。

ステップＳ２０６の判定において、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆが被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖよりも大きくないと判定されたとき、処理はステップＳ２０８に進む。ステップＳ２０８において、ブレ量推定部１０４は、最終的に算出された補正対象領域の移動量ｍｏｖを被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖに決定する。その後、処理はステップＳ２０９に進む。

ステップＳ２０５乃至ステップＳ２０８の処理により、補正対象領域の移動量ｍｏｖは、第３の移動量ｍｏｖ＿ｓｕｍ＿ｆと被写体の移動量ｍｏｖ＿ｓｕｍ＿ｖとのうち大きい方に設定される。このように、補正対象領域の移動量ｍｏｖは、対象領域ごとに、デジタルカメラ１の動きによるブレと被写体の動きによるブレとが考慮された、対象領域に含まれ得るブレ量を表す値となる。

ステップＳ２０９において、露光時間差算出部１０６は、ＤＲＡＭ４１から非機能画素の露光時間ｔｖ＿ｎｏｒｍａｌと機能画素の露光時間ｔｖ＿ｆｕｎｃｔｉｏｎａｌとを取得する。ステップＳ２１０において、露光時間差算出部１０６は、非機能画素の露光時間ｔｖ＿ｎｏｒｍａｌと機能画素の露光時間ｔｖ＿ｆｕｎｃｔｉｏｎａｌとの差の絶対値である露出時間差ｔｖ＿ｄｉｆを算出する。

ステップＳ２１１において、手法判断部１１２は、露出時間差ｔｖ＿ｄｉｆが第１の閾値より大きいか否かを判定する。露出時間差ｔｖ＿ｄｉｆが第１の閾値より大きくないと判定されたとき、処理はステップＳ２１６に進む。一方、露出時間差ｔｖ＿ｄｉｆが第１の閾値より大きいと判定されたとき、処理はステップＳ２１２に進む。

ステップＳ２１２において、手法判断部１１２は、補正対象領域の移動量ｍｏｖが第２の閾値より大きいか否かを判定する。補正対象領域の移動量ｍｏｖが第２の閾値より大きくないと判定されたとき、処理はステップＳ２１６に進む。一方、補正対象領域の移動量ｍｏｖが第２の閾値より大きいと判定されたとき、処理はステップＳ２１３に進む。

ステップＳ２１３において、混合割合算出部１１４は、補正対象領域の移動量ｍｏｖと露出時間差ｔｖ＿ｄｉｆとに基づいて、機能画素の利用割合を表す係数ｋを決定する。係数ｋの決定方法の一例について説明する。

図８Ａは、補正対象領域の移動量ｍｏｖと移動量ｍｏｖに基づいて決定される機能画素の利用割合である第１の利用割合ｋ１との関係を示す。この図に示すように、補正対象領域の移動量ｍｏｖが所定の値よりも小さいとき、第１の利用割合ｋ１は、０．５に設定される。補正対象領域の移動量ｍｏｖが大きくなる程、第１の利用割合ｋ１は減少する。図８Ｂは、露出時間差ｔｖ＿ｄｉｆと露出時間差ｔｖ＿ｄｉｆに基づいて決定される機能画素の利用割合である第２の利用割合ｋ２との関係を示す。この図に示すように、露出時間差ｔｖ＿ｄｉｆが所定の値よりも小さいとき、第２の利用割合ｋ２は、０．５に設定される。露出時間差ｔｖ＿ｄｉｆが大きくなる程、第２の利用割合ｋ２は減少する。機能画素の利用割合ｋは、ｋ＝ｋ１＋ｋ２によって決定される。

補正対象領域の移動量ｍｏｖと露出時間差ｔｖ＿ｄｉｆとが十分に小さいとき、機能画素の利用割合ｋは１に設定される。補正対象領域の移動量ｍｏｖがわずかであるとき、画像に与える影響は十分に小さいことが考えられるので、図８Ａに示すように、補正対象領域の移動量ｍｏｖがわずかであるときは、第１の利用割合ｋ１は０．５に設定される。同様に、露出時間差ｔｖ＿ｄｉｆがわずかであるとき、画像に与える影響は十分に小さいことが考えられるので、図８Ｂに示すように、露出時間差ｔｖ＿ｄｉｆがわずかであるときは、第２の利用割合ｋ２は０．５に設定される。

ここで、図８Ａ及び図８Ｂに示した関係はもちろん一例である。これらの関係は他の関係でもよい。例えばこれらの関係が線形的な関係を有しておらず、非線形な関係を有していてもよい。補正対象領域の移動量と露光時間差とは同程度の重みづけをもっておらず、どちらか一方が重視されていてもよい。すなわち、例えば補正対象領域の移動量が０のときの第１の利用割合が０．７であり、露光時間差が０のときの第２の利用割合が０．３といったような組み合わせでもよい。

図７に戻って説明を続ける。ステップＳ２１４において、混合割合算出部１１４は、機能画素の利用割合ｋを用いて、次の式に基づいて、補正画素値Ｉを決定する。

Ｉ＝（１−ｋ）×ｃ＿ｐｉｘ＋ｋ×ｇ＿ｐｉｘ
ここで、ｇ＿ｐｉｘは、補正対象である機能画素の出力値又はゲイン調整された補正対象である機能画素の出力値である。また、ｃ＿ｐｉｘは、補正対象画素近傍の画素値の加算平均値である。すなわち、対象となっている機能画素の座標を［０］［０］とし、その座標の画素値をｐｉｘ［０］［０］としたときに、ｃ＿ｐｉｘは例えば次の式で与えられる。

ｃ＿ｐｉｘ＝（ｐｉｘ［−１］［０］＋ｐｉｘ［０］［−１］
＋ｐｉｘ［＋１］［０］＋ｐｉｘ［０］［＋１］）／４
ここで、座標［−１］［０］は座標［０］［０］の画素の左隣の画素の座標を表し、座標［０］［−１］は座標［０］［０］の画素の下隣の画素の座標を表し、座標［＋１］［０］は座標［０］［０］の画素の右隣の画素の座標を表し、座標［０］［＋１］は座標［０］［０］の画素の上隣の画素の座標を表す。

ステップＳ２１５において、混合割合算出部１１４は、補正対象画素の値を補正画素値Ｉに置換する。

ステップＳ２１６において、混合割合算出部１１４は、補正を行わない、又はゲインの調整のみを行う。露出時間差ｔｖ＿ｄｉｆが十分に小さいとき、補正を行う必要がないので、ステップＳ２１６の処理が行われる。また、補正対象領域の移動量ｍｏｖ、すなわちブレが十分に小さいとき、補正を行う必要がないので、ステップＳ２１６の処理が行われる。

以上、ステップＳ２０５乃至ステップＳ２１６の処理が、全ての機能画素を対象として繰り返し行われる。

以上の動作によれば、デジタルカメラ１や被写体に動きがないときや、機能画素と非機能画素とで露出時間に差がないときには、機能画素の出力自身がゲイン調整されて用いられることで解像劣化が防止される。また、デジタルカメラ１や被写体に動きがあるときや、機能画素と非機能画素とで露光時間に差があるときには、機能画素と非機能画素とで生じ得るブレ量の差による画質劣化が補正される。したがって、本実施形態に係るデジタルカメラ１によれば、機能画素と非機能画素とで露光時間が異なることによって生じ得る画質の劣化が低減されて絵柄への影響についてもロバスト性が高い補正が実現され得る。

以上の説明では、機能画素と非機能画素とで２種類の異なる露光時間が用いられる場合を例に挙げて説明したが、画素毎に２種類以上の異なる露光時間が用いられる場合に、本実施形態に係る画像劣化を補正する画像処理は効果を奏する。

１…デジタルカメラ、１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像素子、２１ａ…画素、２１ｂ…位相差検出画素、２３…撮像制御回路、２７…アナログデジタル変換器（ＡＤＣ）、２９…ＣＰＵ、３１…画像処理部、３３…露出制御回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４３…ＲＯＭ、４５…記録媒体、４７…ジャイロセンサ、４９…加速度センサ、１０２…ＷＢ補正処理部、１０４…ブレ量推定部、１０６…露光時間差算出部、１０８…補正方法判断部、１１２…手法判断部、１１４…混合割合算出部、１２２…ゲイン補正／周辺補間部、１２４…同時化処理部、１２６…輝度特性変換部、１２８…エッジ強調処理部、１３０…ＮＲ処理部、１３２…色再現処理部。

Claims (12)

1. 焦点検出機能が付与される機能画素である第１の画素と、前記焦点検出機能が付与されていない非機能画素である第２の画素とからなる複数の画素を含み、前記機能画素と前記非機能画素とでは、互いに異なる２種類の露光時間が適用される撮像素子を用いて得られた画像データに対して画像処理を施す画像処理装置であって、
   前記画像データに存在する像ブレ量を推定するブレ量推定部と、
   前記画像データに含まれる前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する露光時間差算出部と、
   前記露光時間差と前記像ブレ量とに基づいて、対象となる前記第１の画素が検出した光量を用いる第１の割合と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量を用いる第２の割合とを決定する混合割合算出部と、
   前記第１の割合と、前記第２の割合とに基づいて、前記画像データに対して補正を施す補正部と
   を備える画像処理装置。
2. 前記混合割合算出部は、前記露光時間差が大きい程、前記第２の割合を高くする、請求項１に記載の画像処理装置。
3. 前記混合割合算出部は、前記像ブレ量が大きい程、前記第２の割合を高くする、請求項１又は２記載の画像処理装置。
4. 前記ブレ量推定部が算出する前記像ブレ量と、前記第１の画素の露光時間及び前記第２の画素の露光時間とに基づいて、前記補正の内容を決定する補正方法判断部をさらに備え、
   前記補正部は、前記補正の内容に基づいて、前記画像データに対して前記補正を施す、
   請求項１に記載の画像処理装置。
5. 前記補正方法判断部は、前記露光時間差があり、かつ、前記像ブレ量があると判断したときに、補正を行うと決定し、
   前記補正部は、前記補正方法判断部が前記補正を行うと決定したときに、対象となる前記第１の画素が検出した光量と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量とを用いて前記対象となる前記第１の画素が検出した光量について補正を行う、
   請求項４に記載の画像処理装置。
6. 前記ブレ量推定部は、前記画像データの全体に均一に生じている像ブレと、前記画像データの一部に局所的に生じている像ブレとに基づいて、前記像ブレ量を推定する、請求項１に記載の画像処理装置。
7. 前記撮像素子と、
   請求項１乃至６のうち何れか１項記載の画像処理装置と
   を備える撮像装置。
8. 前記機能画素と前記非機能画素とで異なる露光時間で露光制御を行う露光制御部をさらに備える請求項７記載の撮像装置。
9. 前記露光制御部は、被写体の輝度に応じて、前記機能画素の露光時間と前記非機能画素の露光時間とを異ならせる請求項８に記載の撮像装置。
10. 前記露光制御部は、前記被写体が低輝度であれば前記非機能画素の前記露光時間よりも前記機能画素の前記露光時間を長くし、前記被写体が高輝度であれば、前記非機能画素の前記露光時間よりも前記機能画素の前記露光時間を短くする、請求項９に記載の撮像装置。
11. 焦点検出機能が付与される機能画素である第１の画素と、前記焦点検出機能が付与されていない非機能画素である第２の画素とからなる複数の画素を含む撮像素子であって、前記機能画素と前記非機能画素とでは、互いに異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理方法であって、
    前記画像データに存在する像ブレ量を推定する工程と、
    前記画像データに含まれる前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する工程と、
    前記露光時間差と前記像ブレ量とに基づいて、対象となる前記第１の画素が検出した光量を用いる第１の割合と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量を用いる第２の割合とを決定する工程と、
    前記第１の割合と、前記第２の割合とに基づいて、前記画像データに対して補正を施す工程と
    を含む画像処理方法。
12. 焦点検出機能が付与される機能画素である第１の画素と、前記焦点検出機能が付与されていない非機能画素である第２の画素とからなる複数の画素を含む撮像素子であって、前記機能画素と前記非機能画素とでは、互いに異なる露光時間が適用される前記撮像素子を用いて得られた画像データに対する画像処理をコンピュータに実行させるための画像処理プログラムであって、
    前記画像データに存在する像ブレ量を推定する工程と、
    前記画像データに含まれる前記第１の画素の露光時間と前記第２の画素の露光時間との差である露光時間差を算出する工程と、
    前記露光時間差と前記像ブレ量とに基づいて、対象となる前記第１の画素が検出した光量を用いる第１の割合と、前記対象となる前記第１の画素の周辺に位置する前記第２の画素が検出した光量を用いる第２の割合とを決定する工程と、
    前記第１の割合と、前記第２の割合とに基づいて、前記画像データに対して補正を施す工程と
    をコンピュータに実行させるための画像処理プログラム。

Images