JP6262984B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に焦点状態を変更可能な画像信号に係る画像処理技術に関する。

近年、撮像装置の中には、被写体により反射されて装置に入射光束を瞳分割することで、入射した分割瞳領域と入射方向の組合せが各々異なる光線の情報を、撮像素子において光電変換して記録するものがある。該装置により記録された画像信号は、光線空間情報やＬＦデータ（Light Field Data）等と呼ばれる。このような画像信号は、様々な入射角の光線の情報を有するため、撮影後に特定の方向から入射した光学像に係る画像や特定の距離の被写体にフォーカスした画像等を生成することが可能である（特許文献１、２）。

特開２００９−０２１９１９号公報 米国特許第４４１０８０４号明細書

特許文献１のようにマイクロレンズを使用して入射光束の瞳分割を行う場合、得られた画像信号（以下、ＬＦデータと呼ぶ）から単純に生成可能な画像は、使用したマイクロレンズの数の画素数を有する。一方でＬＦデータは、生成される画像の画素数に比べて、瞳分割数倍の画素数を有する。

このため、各フレームが多画素画像である動画像を上述の撮影方式を使用して撮影する場合、該動画像を生成するための一連のＬＦデータを記録するために、該動画像の数倍のデータ容量が記録媒体に必要となる。従って、焦点状態の調整等が可能な動画像を取得するためには、従来の動画像記録に比べて膨大なデータ容量を記録媒体に要求するものであり、さらに長時間の動画撮影を行うことが困難であった。

本発明は、上述の問題点に鑑みてなされたものであり、焦点状態を変更した動画像を生成可能なデータの記録において該データのデータ量を効率的に低減する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、異なる複数の焦点状態をそれぞれ有する複数の再構成画像を生成可能な画像信号を順次取得する取得手段と、取得手段により取得される画像信号の焦点状態を検出する検出手段と、画像信号から再構成画像を生成する生成手段と、画像信号と生成手段により生成された再構成画像とをフレームデータとして含む動画像データを生成して出力する出力手段と、を有し、出力手段は、検出手段により検出される画像信号の合焦状態に応じて、該画像信号に対応する動画像データのフレームデータに、該画像信号を含めずに該画像信号から生成された再構成画像を含めるか、または再構成画像を含めずに該画像信号を含めるかを制御することを特徴とする。

このような構成により本発明によれば、焦点状態を変更した動画像を生成可能なデータの記録において該データのデータ量を効率的に低減するが可能となる。

本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０２と撮像素子１０３の対応を示した図 本発明の実施形態に係る撮像光学系１０１、マイクロレンズアレイ１０２、及び撮像素子１０３の関係を示した図 本発明の実施形態に係るＡＦ評価値とフォーカスレンズ位置の関係を示した図 本発明の実施形態に係る合焦判断曲線を説明するための図 本発明の実施形態に係るデジタルビデオカメラ１００で実行される動画撮影処理を例示したフローチャート 本発明の実施形態に係るデジタルビデオカメラ１００において記録される動画像のデータ構成を示した図 本発明の実施形態に係るデジタルビデオカメラ１００において記録される動画像のデータ構成を示した別の図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下の実施形態は、画像処理装置の一例としての、通過した分割瞳領域及び入射方向の組合せが異なる光線に各々対応した画素を有する画像信号から任意の焦点距離に合焦した画像を生成可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明はデジタルビデオカメラのような撮像装置に限らず、このような画像信号から任意の焦点距離に合焦した画像を生成することが可能な任意の機器に適用可能である。また、後述するように該画像信号は、同一被写体を異なる位置において撮像して得られた複数の画像を含む画像信号と等価であるため、本発明は該複数の画像から１つの画像を選択あるいは合成により１つの画像を生成可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ＬＦデータ」
本実施形態のデジタルビデオカメラ１００が有する撮像素子１０３から出力され、所定の現像に係る画像処理が適用されて得られた画像信号。ＬＦデータの各画素は、通過した撮像光学系１０１の分割瞳領域と入射方向との組合せが異なる光線に対応する信号強度を示す。ＬＦデータは、光線空間情報とも呼ばれる。

・「再構成画像」
ＬＦデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはＬＦデータから同一の分割瞳領域を通過した画素で生成される複数（瞳分割数）の分割瞳画像について、生成する焦点距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算（重ね合わせ）することで得られる画像。

《デジタルビデオカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。

システムコントローラ１０５は、例えばＲＯＭやＲＡＭが接続されて構成されるＣＰＵであり、デジタルビデオカメラ１００が有する各ブロックの動作を制御する。具体的にはシステムコントローラ１０５は、ＲＯＭに格納されている各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより各ブロックの動作を制御する。

撮像素子１０３は、例えばＣＣＤやＣＭＯＳセンサ等である。撮像素子１０３は、光電変換素子が２次元配列されて構成される。撮像素子１０３は、撮像光学系１０１により撮像面に結像された光学像を光電変換し、アナログ画像信号を出力する。また本実施形態では撮像素子１０３はＡ／Ｄ変換部も兼ね備え、得られたアナログ画像信号はデジタル画像信号として出力される。また、簡単のため、Ａ／Ｄ変換の過程で現像処理も行われるものとして以下は説明する。

なお、本実施形態では撮像光学系１０１と撮像素子１０３をつなぐ光路上にマイクロレンズアレイ１０２が設けられている。マイクロレンズアレイ１０２は、図２（ａ）に示されるように１つのマイクロレンズが複数の光電変換素子（以下、単純に画素）に対応付けられている。図２（ａ）の例では１つのマイクロレンズは、４×４の画素２０１乃至２１６に対応付けられている。つまり、撮像光学系１０１を介して入射した光束は、マイクロレンズにより１６の画素に分割されて結像されることになる。即ち、図２（ｂ）に示されるように、１つのマイクロレンズに対応付けられた各画素に結像される光線は、各々通過した分割瞳領域とその入射方向とが異なる光線であるだけでなく、同一の被写体についての異なる方向に係る光線である。

このように、本実施形態の撮像素子１０３はデジタル画像信号としてＬＦデータを生成する。生成されたＬＦデータは、加算処理部１０４または出力選択部１０６に出力される。

加算処理部１０４は、ＬＦデータから任意の焦点距離の被写体に合焦した再構成画像を生成し、出力選択部１０６に出力する。例えば、撮像光学系１０１に含まれるフォーカスレンズの位置に対応する焦点距離の被写体に合焦した再構成画像を生成する場合は、同一のマイクロレンズに対応付けられたＬＦデータの画素の画素値を合算すればよい。このとき、生成された再構成画像はマイクロレンズアレイに含まれるマイクロレンズの数と同数の画素数を有する。

なお、本実施形態においてＬＦデータから生成可能な再構成画像は、これに限られるものではない。例えば、同一のマイクロレンズに対応付けられた画素の画素値を全て合算する必要はなく、一部の画素を合算に用いることで再構成画像を生成してもよい。

また各マイクロレンズに対応付けられた画素のうち、同一の位置関係にある画素のみ（例えば４×４の画素の左上画素のみ）を抽出して連続させることで、所定の方向から被写体をとらえた画像を生成することも可能である。即ち、図２（ａ）のように１つのマイクロレンズが１６の画素に対応付けられている場合、ＬＦデータからは１６種類の方向から同一被写体をとらえた画像を生成することができる。任意の焦点距離の被写体に合焦した再構成画像を生成する場合は、これらの異なる方向から被写体をとらえた画像を位置合わせして合成すればよい。なお、この他にも再構成面を設定した上で、再構成画像の画素に当たる領域の通過光線に対応する画素の画素値を合算して再構成画像の画素値とすることで、フォーカスレンズの位置に対応しない焦点距離の被写体に合焦した再構成画像を生成することもできる。

また本実施形態では加算処理部１０４は再構成画像を出力するものとして説明するが、上述した所定の方向から被写体をとらえた画像を再構成画像として出力してもよい。

出力選択部１０６は、デジタルビデオカメラ１００の撮影時の状態に応じてＬＦデータまたは加算処理部１０４により生成された再構成画像を記録する画像信号として信号処理部１０７に出力する。

信号処理部１０７は、出力選択部１０６から入力された画像信号が再構成画像であった場合、再構成画像に対してガンマ処理、ノイズリダクション処理、ホワイトバランス処理などの画像処理を適用して記録処理部１１０に出力する。また信号処理部１０７は、出力選択部１０６から入力された画像信号がＬＦデータであった場合は、そのまま記録処理部１１０に出力する。

記録処理部１１０は、入力された画像信号を媒体Ｉ／Ｆ１１１に伝送し、デジタルビデオカメラ１００に例えば着脱可能に接続されている記録装置である記録媒体１１２に記録させる。具体的には記録処理部１１０は、例えば動画像撮影の場合は入力された画像信号を（映像）ストリームデータの形式に変換した上で記録に係る処理を行い、動画像を記録する。なお、記録処理部１１０は必要があれば適切な符号化処理を行う。

再生処理部１１３は、記録処理部１１０により記録媒体１１２に記録された画像や動画像を読み出して再生し、表示部１１４に表示する。なお、本実施形態では再生処理部１１３は、加算処理部１０４と同様にＬＦデータからの再構成画像の生成が可能であり、例えば動画像の再生時にフレームがＬＦデータで構成されている場合は、再生時にはいずれかの焦点距離に合焦した再構成画像を生成する。また、再生処理部１１３は、記録処理部１１０より読み出した画像や動画像が符号化されている場合は、必要な復号処理を行うものとする。

ＡＦ処理部１０８は、撮影に係り、得られたＬＦデータの焦点状態を把握し、非合焦状態である場合は合焦状態となるためのレンズ駆動部１０９の駆動信号を発生させる。該駆動信号により、レンズ駆動部１０９は撮像光学系１０１のフォーカスレンズ位置を変更する。ＬＦデータの焦点状態は、例えば加算処理部１０４により生成された再構成画像等を用いて、位相差検出方式により行われる。

ＡＦ処理部１０８は、フォーカスレンズの駆動中に検出された位相差に従ってＡＦ評価値を算出し、図３に示されるような評価値がピーク値となるレンズ位置を特定する。具体的にはＡＦ処理部１０８は、ＡＦ評価値の遷移が増加から減少に、あるいは減少から増加に切り替わったことを検出すると、フォーカスレンズの駆動方向を反転させる駆動信号を発生させる。この動作を繰り返すことで、ＡＦ処理部１０８は評価値がピーク値となるフォーカスレンズ位置を特定する。

なお、ＬＦデータが合焦状態であるか否かの判断は、図４に示されるような合焦判定曲線４０２が閾値を上回るか否かにより行えばよい。

図４は、フォーカスレンズ位置とＡＦ評価値の変化を例示したものである。図４において、上段グラフの破線波形はＡＦ評価値を表す曲線４０１であり、下段グラフの実践波形はフォーカスレンズの位置を表す曲線４０３である。上下段のグラフとも横軸は時間を示しており、上段グラフの縦軸はＡＦ評価値の大きさ、下段グラフの縦軸はフォーカスレンズ位置をそれぞれ示している。

ＡＦ処理部１０８は、例えば、時刻ｔ０にフォーカスレンズを∞（無限遠）端から至近端方向へ向けて移動させる駆動信号を発生し、レンズ駆動部１０９にレンズ駆動を開始させる。フォーカスレンズが時刻ｔ１の合焦位置（ピーク値）を通過すると、ＡＦ評価値は減少に転ずる。ＡＦ評価値が減少に転じると、ＡＦ処理部１０８はレンズの駆動方向を至近端から∞端方向に変更する駆動信号を発生する。これにより、ＡＦ評価値は再び増加し始める（時刻ｔ２〜ｔ３）。このとき、ＡＦ処理部１０８はピークのＡＦ評価値を記憶しておき、ピークに対応するレンズ位置へフォーカスレンズを移動させて合焦状態４０７を得る（時刻ｔ３）。

また例えば、フォーカスを合わせていた被写体が移動することによって焦点状態が合焦状態から外れた場合、ＡＦ処理部１０８はｔ０〜ｔ４までの動作と同様にフォーカスレンズ位置を制御して、合焦位置４０８を得る（ｔ４〜ｔ８）。また、必要に応じて、撮像素子とは別に構成した位相差方式の焦点検出装置を用いて焦点検出を行ってもよい。

このようにして得られたＡＦ評価値４０１から谷ピーク（図４のｔ２、ｔ６）を検出し、ＡＦ処理部１０８は検出した谷ピークに基づいて合焦判定曲線４０２の値を算出し、システムコントローラ１０５に出力する。システムコントローラ１０５は、該合焦判定曲線を参照し、閾値を超えるか否かに応じて、対応するＬＦデータの焦点状態が合焦状態であるか非合焦状態であるかを判断する。

操作入力部１１５は、例えば撮影ボタンや表示部１１４の表面に設けられたタッチパネルセンサ等のデジタルビデオカメラ１００が有するユーザインタフェースである。操作入力部１１５は、該インタフェースへのユーザ操作があったことを検出すると、操作内容を特定し、対応する制御信号をシステムコントローラ１０５に出力する。

《動画撮影処理》
このような構成をもつ本実施形態のデジタルビデオカメラ１００の動画撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システムコントローラ１０５が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本動画撮影処理は、例えばデジタルビデオカメラ１００が動画撮影モードにある場合に撮影指示を示す制御信号を操作入力部１１５からシステムコントローラ１０５が受信した際に開始されるものとして説明する。また本動画撮影処理は、撮影指示後に出力選択部１０６が撮像素子１０３からＬＦデータを順次取得するたびに繰り返し実行されるものとする。

Ｓ５０１で、ＡＦ処理部１０８はシステムコントローラ１０５の制御の下、撮像素子１０３が直近に出力したＬＦデータ（現在のＬＦデータ）に係る合焦判断曲線の値を算出する。

Ｓ５０２で、システムコントローラ１０５は、ＡＦ処理部１０８により算出された合焦判断曲線の値を参照し、現在のＬＦデータが合焦状態にあるか否かを判断する。システムコントローラ１０５は、現在のＬＦデータが合焦状態にあると判断した場合は処理をＳ５０３に移し、合焦状態にないと判断した場合は処理をＳ５０４に移す。

Ｓ５０３で、出力選択部１０６はシステムコントローラ１０５の制御の下、加算処理部１０４により現在のＬＦデータから生成された再構成画像を記録する画像信号として信号処理部１０７に出力する。

一方、現在のＬＦデータが合焦状態にないと判断された場合、Ｓ５０４で出力選択部１０６は、現在のＬＦデータを記録する画像信号として信号処理部１０７に出力する。

Ｓ５０５で、システムコントローラ１０５は、出力選択部１０６により出力された画像信号に対して信号処理部１０７及び記録処理部１１０に必要な処理をさせた後、記録媒体１１２に記録させ、本動画撮影処理を完了する。

このようにすることで、本実施形態のデジタルビデオカメラ１００では、動画撮影を行った際に合焦状態であるか非合焦状態であるかに応じて動画像のフレームとして記録される画像信号を異ならせることができる。即ち、合焦状態であるため焦点状態の変更の需要が低いと思われる期間についてはＬＦデータを記録しないため、記録媒体１１２に記録される動画像のデータ量を低減することができる。

ストリームデータ（動画像）の記録形式は、例えば図６に示されるようにそれぞれの画像信号（ＬＦデータまたは再構成画像）の各々に、例えば非合焦状態であるか否かの情報をヘッダとして付される形式でよい。また、記録された動画像を再生する場合は、合焦期間６０１及び６０３のデータについては再構成画像をそのままフレームとして再生し、非合焦期間６０２のデータについては、ＬＦデータから再生処理部１１３が再構成画像を生成して再生すればよい。ＬＦデータから生成される再構成画像は、例えば画像中心のような所定の領域の被写体に合焦するように生成されてもよいし、ユーザにより指定された領域の被写体に合焦するように生成されてもよい。このとき、ユーザにより指定された領域の情報が、他の機器における再生においても参照されるよう、ヘッダ内にさらに記録される構成としてもよい。

なお、本実施形態では動画像の記録において、非合焦状態である期間についてはＬＦデータをフレームのデータとして順次記録するものとして説明したが、本発明の実施はこれに限られない。このようにして記録した動画像は、ＬＦデータから再構成画像の生成を行うことができない機器においては再生することができないため、例えば図７に示されるように非合焦期間にはフレームのデータとして再構成画像とＬＦデータの両方を記録してもよい。即ち、再構成画像が全てのフレームのデータに含められているため、再構成画像の生成能力がない機器においても、該動画像は再生可能となる。

また、本実施形態では合焦状態の判断に用いる閾値は一定であるものとして説明したが、これに限られない。例えば、動画撮影の開始から所定時間の経過前までの期間や、撮影中に合焦対象である被写体が切り替えられる場合は、合焦対象となる被写体の状態変動が大きくなりがちで信頼度が低いため、閾値を高めに設定して合焦状態と判断されにくくしてもよい。また例えば、子供やスポーツシーン等の移動被写体を撮影するモードあるいはマクロ撮影モードがデジタルビデオカメラ１００に設定されている場合も同様に閾値を高めに設定してもよい。一方で、風景や夜景等の静止被写体を撮影するモードあるいはポートレートモードがデジタルビデオカメラ１００に設定されている場合は、逆に状態変動は小さいと思われるため、閾値を低めに設定し、記録される動画像のデータ量を低減するようにしてもよい。

また本実施形態では動画撮影において記録される動画像のデータ量を低減する方法について説明したが、上記の方法は、静止画撮影においても利用されてよい。即ち、合焦状態であるため焦点状態の変更の需要が低いと思われる状態で撮影された画像については、ＬＦデータを記録する必要性が低いため、再構成画像のみを記録することで記録される画像のデータ量を低減できる。

以上説明したように、本実施形態の画像処理装置は、焦点状態を変更した動画像を生成可能なデータの記録において該データのデータ量を効率的に低減することができる。具体的には画像処理装置は、取得したＬＦデータの焦点状態を検出し、該焦点状態に応じてＬＦデータの記録方法を切り替える。このとき画像処理装置は、ＬＦデータの焦点状態が合焦状態である場合には、ＬＦデータを記録せずに該ＬＦデータから生成した再構成画像を記録し、ＬＦデータの焦点状態が非合焦状態である場合には、ＬＦデータを記録する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 異なる複数の焦点状態をそれぞれ有する複数の再構成画像を生成可能な画像信号を順次取得する取得手段と、
   前記取得手段により取得される前記画像信号の焦点状態を検出する検出手段と、
   前記画像信号から再構成画像を生成する生成手段と、
   前記画像信号と前記生成手段により生成された再構成画像とをフレームデータとして含む動画像データを生成して出力する出力手段と、を有し、
   前記出力手段は、前記検出手段により検出される前記画像信号の合焦状態に応じて、該画像信号に対応する前記動画像データのフレームデータに、該画像信号を含めずに該画像信号から生成された再構成画像を含めるか、または再構成画像を含めずに該画像信号を含めるかを制御することを特徴とする画像処理装置。
2. 前記検出手段は、前記画像信号内の被写体について合焦評価値を算出し、該合焦評価値が所定の基準を満たす場合に前記合焦状態であると検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記出力手段は、前記検出手段による検出結果が非合焦状態である場合に、前記生成手段により生成された再構成画像を含めて出力することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、前記画像信号から抽出した画素値を合算することで再構成画像の各画素の画素値を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記検出手段は、前記画像信号に基づく位相差検出方式またはコントラスト検出方式による評価値を用いて、前記画像信号の合焦状態を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像信号は、撮像面の所定の位置に入射した光束を複数の光電変換素子に展開して受光させることにより分離して得られた信号、あるいは被写体を複数の位置から撮像して得られた画像群により構成される信号であり、
   前記検出手段は、前記評価値と、前記画像信号における光束が分離された数または前記画像信号の画像群に含まれる画像の数に応じて決定される閾値とを比較することで、前記画像信号の焦点状態を検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像信号内の被写体を選択する選択手段をさらに有し、
   前記出力手段は、前記選択手段により新たな被写体が選択された場合に、前記画像信号を出力する請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、前記取得手段による前記画像信号の順次取得が開始された場合に、前記画像信号を出力することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像処理装置は、撮像面の所定の位置に入射した光束を複数の光電変換素子に展開して受光させることにより分離して撮影し、前記画像信号を出力する撮影手段を有する撮像装置であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、被写体を複数の位置から撮影し、該複数の位置について得られた画像群により構成される前記画像信号を出力する撮影手段を有する撮像装置であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 異なる複数の焦点状態をそれぞれ有する複数の再構成画像を生成可能な画像信号を順次取得する取得工程と、
    前記取得工程において取得される前記画像信号の焦点状態を検出する検出工程と、
    前記画像信号から再構成画像を生成する生成工程と、
    前記画像信号と前記生成工程において生成された再構成画像とをフレームデータとして含む動画像データを生成して出力する出力工程と、を有し、
    前記出力工程において、前記検出工程において検出される前記画像信号の合焦状態に応じて、該画像信号に対応する前記動画像データのフレームデータに、該画像信号を含めずに該画像信号から生成された再構成画像を含めるか、または再構成画像を含めずに該画像信号を含めるかが制御されることを特徴とする画像処理装置の制御方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images