JP6494587B2 - 画像処理装置および画像処理装置の制御方法、撮像装置、プログラム - Google Patents

Description

本発明は、画像および距離情報の記録制御技術に関する。

連続的に取得された動画像の中からユーザが好みの画像を選択し、事後的に各種の画像処理を行う事で、ユーザの嗜好に合った１枚の静止画を取得する技術がある。特許文献１では、連続して撮影された画像に対して被写体が所定状態であるか否かを判別し、所定状態である画像の記録画質を相対的に高くする技術が開示されている。また、特許文献２では、撮影モードが超解像モードに変更された場合に、フレーム圧縮を行わないことで高画質な画像を取得する技術が開示されている。また、特許文献３のように、撮像画像に加えて付加情報として距離分布情報を生成することで、撮像画像のボケを画像処理で調整する技術が開示されている。

特開２０１１−１６６３９１号公報 特開２００７−１８９６６５号公報 特開２０１５−１１９４１６号公報

しかしながら、各種画像処理には、被写体の輪郭抽出を高精度に行う必要のある処理が含まれる。電子的に背景をぼかす背景ぼかし処理や、主被写体とそれ以外の領域に対して別々に階調補正処理を行うことで高品質なダイナミックレンジ圧縮画像を得る領域別階調処理等がある。これらの技術を実現するためには、フレーム画像のデータを記録しておくだけでなく、画角内の距離分布（少なくとも距離の相対関係がわかる情報）を示す距離マップを併せて取得しておくことが必要である。また、領域別階調処理においては、画像加工前のＲＡＷ画像も記録しておく必要がある。

一方、動画像の全フレームに対し、前記画像処理を行うために距離マップやＲＡＷ画像のデータを記録しておく形態では、記録容量が膨大になり、ユーザの負担が増すという課題がある。従って、事後処理用の情報を取得する場合にフレーム画像のデータ量を必要最小限に抑えることも非常に重要である。
本発明は、記録容量を抑えつつ、利便性の高い画像記録を行うことができる、撮像画像と付加情報を取得可能な画像処理装置の提供を目的とする。

本発明の一実施形態の装置は、複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、画像データに対応する、被写体の深度分布情報を取得する取得手段と、前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備え、前記制御手段は、複数の被写体のうち主被写体および背景の深度情報を含む前記深度分布情報を取得し、前記深度分布情報に含まれる主被写体の深度情報と背景の深度情報との差分に応じて、前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする画像処理装置。

本発明によれば、記録容量を抑えつつ、利便性の高い画像記録を行うことができる。

本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態における記録モード制御部のブロック図である。 第１実施形態における記録モード制御部の処理を示すフローチャートである。 主被写体領域検出結果の一例を示す説明図である。 主被写体領域と背景領域の距離ヒストグラムを例示する図である。 物距離と像距離を示す光学モデルの一例を示す図である。 デフォーカス量と物面距離との関係をグラフで示す図である。 第１実施形態における画像処理部のブロック図である。 第１実施形態における背景画像ぼかし処理のフローチャートである。 背景画像のぼかし処理が可能であることを知らせる画面例を示す図である。 距離マップ整形部の処理を説明する図である。 ピント被写体抽出部の処理を説明する図である。 ぼかし処理を説明する図である。 本発明の第２実施形態における記録モード制御部のブロック図である。 第２実施形態における記録モード制御部の処理を示すフローチャートである。 閾値算出部の処理を説明する図である。 第２実施形態における画像処理部のブロック図である。 第２実施形態における領域別階調補正処理のフローチャートである。 領域別階調補正処理が可能であることを知らせる画面例を示す図である。 第２実施形態における階調特性算出方法を説明する図である。 合成処理を説明する図である。 本発明の第３実施形態に係る撮像装置の構成を示すブロック図である。 第３実施形態における記録情報調整部の処理を示すフローチャートである。 主被写体スコア算出処理を説明する図である。 主被写体スコア閾値の算出処理を説明する図である。 本発明の第４実施形態に係る撮像装置の構成を示すブロック図である。 第４実施形態における露出条件制御部の処理を示すフローチャートである。 画像と距離マップの記録形式を説明する図である。

以下、図面を参照して本発明の各実施形態について説明する。各実施形態では、高性能な領域抽出処理を伴う画像処理を、ユーザの指示に応じて後から行う画像処理装置について説明する。

［第１実施形態］
本発明の第１実施形態では、画像処理装置において、記録された複数フレームの連続画像に関し、後からユーザが選択した任意のフレームに対して、背景画像のぼかし処理を行う場合を想定して説明する。そこで、本実施形態では、複数の撮像画像に対して付加情報としての深度分布情報を記録するモードと記録しないモードとを切り替えて制御可能な画像処理装置を提供する。図１は、本実施形態の画像処理装置の一例としての撮像装置に適用可能な構成を例示したブロック図である。
撮像光学系１０１は、ズームレンズやフォーカスレンズ等のレンズ群、絞り調整装置、シャッタ装置を備える。撮像光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、光量を調整する。撮像部１０２はＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等を備え、撮像光学系１０１を通過した被写体からの光束を光電変換によって電気信号に変換する。Ａ（アナログ）／Ｄ（デジタル）変換部１０３は、入力されたアナログの電気信号をデジタル画像信号に変換する。

記録モード制御部１０４は複数の記録モードを有し、記録部１０９に記録する画像の情報量を制御する。画像処理部１０５は、Ａ／Ｄ変換部１０３から出力される画像信号の他、記録部１０９から読み出した画像信号に対して各種の処理を行う。例えば撮像光学系に起因する歪みやノイズの補正処理、デモザイキング処理、ホワイトバランス調整、色変換処理、ガンマ補正などの処理が実行される。また画像処理部１０５は、所定の画像処理の他に、本実施形態で想定している背景ぼかし処理を行う。本実施形態では、上記画像処理部１０５による画像処理のうち、撮像光学系に起因する歪みやノイズの補正処理以外の画像加工の少なくとも一部を行っていない画像をＲＡＷ画像とする。本実施形態では画像処理部１０５が再生処理を行う例を説明するが、画像処理部１０５とは別に再生処理部を設けてもよい。

システム制御部１０６は、撮像装置全体の動作制御を統括する制御中枢部であり、ＣＰＵ（中央演算処理装置）やメモリ等を備える。システム制御部１０６は、ユーザによる操作部１０７からの操作指示にしたがって、撮像光学系１０１や撮像部１０２の駆動制御、画像処理部１０５における所定の画像処理等の制御を行う。

表示部１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等で構成され、撮像部１０２によって生成された画像信号や、記録部１０９から読み出した画像信号にしたがって画像を表示する。記録部１０９は画像信号を記録媒体へ記録する処理を行う。静止画像、動画像それぞれの記録設定に従って、静止画向けの符号化形式（例えばJPEGなど）、動画向けの符号化形式（例えばH.264,H.265など）で記録処理が行われる。また、静止画像、動画像それぞれ画像加工前のＲＡＷ画像で記録する設定である場合には、非圧縮あるいは可逆圧縮など、画像加工後の画像データの記録時よりも画質の劣化の少ない、低圧縮率で圧縮、記録が行われる。記録媒体は、例えば半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージ等を用いた情報記録媒体である。記録媒体は撮像装置に着脱可能である。

バス１１０は、記録モード制御部１０４、画像処理部１０５、システム制御部１０６、表示部１０８、および記録部１０９の間で信号を送受し合うために用いられる。
以下、記録モード制御部１０４と画像処理部１０５を中心にして、本実施形態における処理の流れについて説明する。記録モード制御部１０４は本実施形態にて特徴的な処理ブロックである。また画像処理部１０５は、撮影後の操作指示に応じて背景画像のぼかし処理を行う処理ブロックである。

図２および図３を参照して、記録モード制御部１０４の動作について説明する。
図２は記録モード制御部１０４のブロック図である。主被写体領域検出部２０１は、入力画像のデータを取得して主被写体領域を検出する。主被写体領域とは、例えば複数の被写体から選択される被写体の画像領域である。距離マップ算出部２０２は、入力画像のデータを取得して距離マップ（深度分布情報）を算出する。主被写体距離算出部２０３は、主被写体領域検出部２０１により検出された主被写体領域の情報と、距離マップ算出部２０２により算出された距離マップを取得して主被写体距離を算出する。主被写体距離は撮像装置から主被写体までの距離である。背景距離算出部２０４は、背景領域の情報と距離マップから背景距離を算出する。背景領域は主被写体以外の領域であり、背景距離は撮像装置から背景までの距離である。閾値算出部２０５は主被写体距離を取得して、主被写体と背景との距離差に対する閾値を算出する。記録モード判断部２０６は、主被写体距離および背景距離と閾値を取得し、主被写体距離と背景距離の差分と閾値を比較して記録モードの判断処理を行う。記録モードは、画像データおよび距離情報を記録する第１のモードと、画像データを記録する第２のモードを少なくとも含む。本実施形態では、撮像により取得された画像データを各フレームとする動画像について、各フレームの記録時に第１および第２のモードを切り替える制御について説明するが、制御としてはこれに限らない。例えば静止画撮像において、各撮像で第１および第２のモードの切替を行う実施形態も本発明に含まれる。すなわち、取得される複数の画像データについて、第１のモードと第２のモードを切り替える制御であればよい。各部の処理の詳細については後述する。

図３は記録モード制御部１０４の処理を説明するフローチャートである。本フローチャートでは動画の取得中である場合を想定しており、ユーザによる撮影開始の指示時点から撮影動作終了の指示時点までの間、所定のフレームレートで連続的にフレーム画像が入力されるものとする。

まず、Ｓ３０１にて主被写体領域検出部２０１は主被写体領域を検出する。図４を参照して具体例を説明する。図４は検出された主被写体領域の一例を示しており、顔検出枠を利用して主被写体領域が検出される。その他には、主被写体が人物でない場合、一般的な物体検出によって被写体領域が検出されるものとし、特定の検出方法には限定されない。また、図４に示すように、画像全体の領域において主被写体領域でない領域を、背景領域と定義する。

次にＳ３０２で距離マップ算出部２０２は距離マップを算出する。距離マップの算出方法としては、例えば特許文献３に記載されているように、被写体からの光を瞳分割して複数の視点画像（視差画像）を生成し、視差量を算出して被写体の深度分布情報を取得する方法がある。被写体の深度分布情報とは、撮像手段としてのカメラから被写体までの距離（被写体距離）を絶対値として距離値で表わすデータや、画像データにおける相対的な距離関係（画像の深度）を示すデータ（視差量の分布、デフォーカス量の分布等）を含む。本実施形態では距離値で表すデータとして以後の説明を行うが、深度分布情報として視差量あるいはデフォーカス量の分布を用いる場合は、距離値がそれぞれ視差量、デフォーカス量に置き換えて各処理がなされるものとする。
深度分布情報に関して、撮像画像内の各被写体の奥行き方向（深さ方向）の深度に対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。例えば、撮像部１０２に対して合焦位置を変更する制御が行われ、撮影された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から深度分布情報を取得することができる。この他にも、撮像部１０２の撮像素子が瞳分割型の画素構成を有する場合、一対の像信号の位相差から各画素に対する深度分布情報を取得可能である。具体的には、撮像素子は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データを複数の光電変換部から出力する。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。
また、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法を用いて画像内における撮像装置から被写体までの被写体距離を直接的に取得してもよい。ＴＯＦ法では、投光手段により被写体（対象物）にパルス光を投射して、その反射光を撮像部１０２で受光し、このパルス光の飛行時間（遅れ時間）を測定することで被写体距離（対象物までの距離）を測り、深度分布情報を取得する。
本実施形態では距離値で表すデータとして以後の説明を行うが、深度分布情報として視差量あるいはデフォーカス量の分布を用いる場合は、距離値がそれぞれ視差量、デフォーカス量に置き換えて各処理がなされるものとする。

Ｓ３０３にて主被写体距離算出部２０３は、主被写体領域情報および距離マップを用いて主被写体距離（主被写体に対応する視差量、デフォーカス量）を算出する。Ｓ３０４にて背景距離算出部２０４は、背景領域情報と距離マップを用いて背景距離を算出する。図５を参照してＳ３０３およびＳ３０４の処理について具体例を説明する。図５は、主被写体距離および背景距離の算出方法を示す図である。横軸は撮像装置の光軸方向の距離を表し、縦軸は距離ヒストグラムの頻度（度数）を表す。

まず主被写体距離算出部２０３は、図５（Ａ）に示す主被写体領域内の距離ヒストグラムを取得し、頻度が最大値となるピーク値に対応する距離を主被写体距離とする。図５（Ａ）では２つのピーク値が存在する例を示している。主被写体距離以外にもピーク値が存在している理由は、主被写体領域の境界を矩形枠で規定しているため、背景画像の一部が主被写体領域に入り込んでいるからである。

次に背景距離算出部２０４は、図５（Ｂ）に示す背景領域内の距離ヒストグラムを取得し、頻度が最大値となるピーク値に対応する距離を背景距離とする。図５（Ｂ）では３つのピーク値が存在する例を示している。

Ｓ３０５にて閾値算出部２０５は、主被写体と背景との距離差に対する閾値を算出する。閾値については、主被写体距離の値から光学モデルを用いて決定される。図６を参照して説明する。図６の光学モデルは、撮像光学系１０１を１つのレンズとして近似した場合における、物距離と像距離を示す。焦点距離（fと記す）のレンズに対し、物体が存在する側（図６にてレンズの左側）を物面側とし、レンズを通して物体からの光が結像する側（図６にてレンズの右側）を像面側と定義する。さらに、主被写体にピントが合っていると仮定し、以下の距離を定義する。
・主被写体距離：Dist_Obj
・背景距離：Dist_Back
・主被写体像距離：Img_Obj
主被写体像距離は、主被写体からの光が像面側に結像する距離である。さらに、主被写体からの光が結像する像面側の位置をピント面とし、ピント面から、背景の光が結像する位置までの変位量をデフォーカス量defとする。ここで、デフォーカス量defの符号については、レンズに対して物面側から遠ざかる方向を正とする。従って、物面上で主被写体よりも遠い位置にある背景の光が結像する位置でのデフォーカス量は負値となる。定性的には、デフォーカス量の絶対値が大きいほど、ピント面において背景像の散乱度合いが大きくなり、背景のボケが大きくなる。

図６において、レンズの公式より、下記（１）式および（２）式が成立する。
ここで、（１）式および（２）式から主被写体像距離Img_objを消去し、背景距離Dist_Backについての式に変形すると、下記（３）式が得られる。
（３）式より、背景距離Dist_Backは、主被写体距離Dist_Objおよび焦点距離fが一意に定まった場合、デフォーカス量defの関数であるとみなすことができる。したがって、本実施形態では、距離マップとして主として被写体距離を算出する例を示しているが、デフォーカス量、視差量によっても目的が達成されるのである。

図７は、式（３）に基づいて作成された、デフォーカス量（横軸）と物面距離（縦軸）との関係を例示したグラフである。焦点距離を50mmとし、主被写体距離Dist_objが3m(3000mm)の場合と5m(5000mm)の場合の２例を示す。主被写体にピントが合っていると仮定しているので、物体距離がDist_objと等しいときにデフォーカス量は0となる。仮に、背景が十分にぼけているとみなせる許容デフォーカス量を、-0.2mmとしたとき、対応する物体距離は、Dist_obj=3mの場合、約3911mmである。従って、被写体と背景との距離差に対する閾値は、|3911-3000|=911mmとなり、およそ90cmと算出される。
以上が、Ｓ３０５にて閾値算出部２０５が行う処理の説明である。

次にＳ３０６にて記録モード判断部２０６は、主被写体距離と背景距離との差分と、閾値算出部２０５から取得した閾値とを比較する。主被写体距離と背景距離との差分が閾値以内である場合、記録モード判断部２０６は、背景画像のボケが十分でなく、後から電子的なぼかし処理を要する可能性があると判断してＳ３０７へ進み、第１のモードである高品質モードでの記録処理を行う。高品質モードでは通常圧縮フレームのデータの他に距離マップを記録する処理が実行される。高品質モードで記録した情報を用いて背景をぼかす処理については後述する。一方、主被写体距離と背景距離との差分が閾値よりも大きい場合、記録モード判断部２０６は、背景画像のボケが十分であるとみなす。つまり、記録モード判断部２０６は電子的なぼかし処理が不要であると判断し、Ｓ３０８へ進み、第２のモードである通常モードでの記録処理を行う。通常モードでは通常圧縮フレームのデータのみを記録する処理が実行される。なお、フレーム圧縮処理および現像処理に伴う所定の信号処理については、画像処理部１０５内で行われるものとする。記録モード制御部１０４による処理は撮影時に行われる。また、高品質モードで記録される画像は通常圧縮フレームに限らず、画像加工前のＲＡＷ画像でもよい。ここでＲＡＷ画像には記録時に可逆の圧縮方式で圧縮処理が施されていてもよい。

次に、記録後にユーザの指示に応じて行われる背景画像のぼかし処理に関して説明する。本処理は主に画像処理部１０５が行うが、ユーザの指示を受け付ける操作部１０７およびシステム制御部１０６も関与する。本処理は記録後に行われるため、以下では「事後ぼかし処理」と呼ぶ。図８および図９を参照して、事後ぼかし処理について説明する。

図８は、事後ぼかし処理に関する画像処理部１０５の処理ブロック図である。距離マップ整形部８０１は距離マップの整形処理を行う。距離マップの整形処理について後述する。ピント被写体抽出部８０２はピント被写体の画像を抽出する。ピント被写体はピントが合っている主被写体である。ぼかし処理部８０３は、背景画像のぼかし処理を行い、処理後のフレーム画像データを出力する。各部の処理の詳細については後述する。

図９は、事後ぼかし処理のフローチャートである。
まず、Ｓ９０１にて撮像装置は、背景画像のぼかし処理の指示をユーザから受け付ける。事後ぼかし処理が可能なフレームは高品質モードで記録したフレームのみであるので、処理可能なフレームであるか否かをユーザに知らせることが必要となる。図１０は、表示部１０８によって、事後ぼかし処理が可能であることをユーザに通知（報知）する場合の表示例を示す。背景画像のぼかし処理を行うか否かの指示を仰ぐ表示および入力処理が行われる。ユーザが動画再生時に背景画像のぼかし処理を行う事を選択した場合、システム制御部１０６は操作部１０７から操作指示を受け付け、画像処理部１０５に対し、Ｓ９０２以降の処理を行うように命令する。

Ｓ９０２にて距離マップ整形部８０１はフレーム画像と距離マップのデータを取得し、距離マップの整形処理を行う。図１１は、距離マップの整形処理を説明する図である。図１１（Ａ）は入力フレーム画像を例示し、図１１（Ｂ）は整形処理前の入力距離マップを例示し、図１１（Ｃ）は整形処理後の出力距離マップを例示する。

図１１（Ｂ）に示す入力距離マップの被写体輪郭は、図１１（Ａ）に示す入力フレーム画像における被写体輪郭に対し、精度が低下している場合がある。その理由としては、距離算出の演算時における被写体境界部分の遠近競合の影響や、フレーム画像に対して解像度を低くして距離マップの算出が行われること等が挙げられる。背景画像のぼかし処理には高精度な輪郭抽出が必要とされる。このため、距離マップの被写体輪郭をフレーム画像の被写体輪郭に合わせる処理が必要となり、この処理を整形処理と呼ぶ。もちろん、整形処理後の距離マップは背景画像のぼかし処理以外の距離マップを必要とする処理でも活用できる汎用性の高いものである。

整形処理はバイラテラルフィルタ処理によって行われる。バイラテラルフィルタ処理では、整形用画像をフレーム画像（図１１（Ａ）参照）として、着目画素位置ｐのフィルタ結果（Ｊｐと記す）が、下記式（４）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜） ・・・（４）
式（４）中の各記号の意味は以下のとおりである。
ｑ ：周辺画素位置
Ω ：着目画素位置ｐを中心とする積算対象領域
Σ ：ｑ∈Ω範囲の積算
Ｉ１ｑ：周辺画素位置ｑにおける距離マップ信号値
ｆ（｜ｐ−ｑ｜）：着目画素位置ｐを中心とするガウシアン関数
Ｉ２ｐ ：着目画素位置ｐでの整形用画像の画素値
Ｉ２ｑ ：周辺画素位置ｑでの整形用画像の画素値
ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）：整形用画像の画素値Ｉ２ｐを中心とするガウシアン関数
Ｋｐ ：正規化係数であり、ｆ・ｇ重みの積算値。
（４）式において、着目画素位置ｐと周辺画素位置ｑとが近いほど、ｆ値が大きくなる。着目画素位置ｐのＩ２ｐと周辺画素位置ｑのＩ２ｑとの差が小さいほど、つまり整形用画像において着目画素と周辺画素の画素値が近いほど、その周辺画素のｇ重み（平滑化の重み）は大きくなる。ｆ・ｇ重みで入力距離マップの信号値Ｉ１ｑを重みづけ加算した出力が、整形後の出力距離マップの信号値Ｊｐとなる。

図１１（Ｄ）は、図１１（Ａ）のフレーム画像の位置ｘにおけるプロファイル１１００ｐｆを表す。プロファイル１１００ｐｆの取得位置を図１１（Ａ）のライン１１００に示す。プロファイル１１００ｐｆは位置ｘａで変化するステップ形状である。また図１１（Ｅ）は、図１１（Ｂ）および（Ｃ）の距離マップの位置ｘにおけるプロファイルを表す。プロファイル１１０１ｐｆの取得位置を図１１（Ｂ）のライン１１０１に示し、プロファイル１１０２ｐｆの取得位置を図１１（Ｃ）のライン１１０２に示す。ライン１１０１の位置とライン１１０２の位置は同じである。

図１１（Ｂ）に示す入力距離マップにおいて、被写体の距離を示す信号値は被写体像の輪郭より外側にはみ出している。図１１（Ｅ）に破線で示すプロファイル１１０１ｐｆの変化は、図１１（Ｄ）のプロファイル１１００ｐｆが変化する位置ｘａからずれている。バイラテラルフィルタによる整形処理が実行され、図１１（Ｃ）の整形後の距離マップに対応するプロファイル１１０２ｐｆが得られる。プロファイル１１０２ｐｆの変化する位置は、図１１（Ｄ）のプロファイル１１００ｐｆが変化する位置ｘａに一致し、被写体像の輪郭に合った形状となる。すなわちプロファイル１１０２ｐｆは、位置ｘａで大きく変化するステップ形状である。

図９のＳ９０３にてピント被写体抽出部８０２はピント被写体の抽出を行う。図１２を参照して具体的に説明する。図１２（Ａ）は入力フレーム画像を例示し、図１２（Ｂ）は整形後の距離マップを例示する。図１２（Ｃ）は抽出特性を例示し、図１２（Ｄ）はピント被写体の抽出結果を例示する。

図１２（Ｂ）に示す整形後の距離マップに対し、図１２（Ｃ）の抽出特性が適用される。図１２（Ｃ）の横軸は被写体の距離を表し、縦軸は抽出結果の出力値を表す。抽出特性は、あらかじめ定められたピント面距離範囲内の距離のみ最大値を出力し、その他の距離ではゼロまたは最小値を出力する特性である。抽出特性の適用により出力される抽出結果を図１２（Ｄ）に示す。ピントが合っている主被写体のみが抽出される。

図９のＳ９０４にてぼかし処理部８０３は、背景画像のぼかし処理を行う。図１３を参照して、ぼかし処理を説明する。図１３（Ａ）は、ぼかしフィルタのカーネルの形状例を示し、図１３（Ｂ）はピント面抽出画像を例示する。図１３（Ｃ）は着目位置に対するぼかしフィルタを例示する。

レンズによる丸ぼけを模擬するために、ぼかしフィルタのカーネルの形状は、図１３（Ａ）に示すような略円形であり、フィルタ重み（重み付け係数値）を一定とする。本実施形態では、フィルタサイズを５×５とする。ぼかしフィルタは、入力フレーム画像の各画像に適用される。その際、ぼかし処理部８０３はピント面抽出画像を参照し、背景部分のみにフィルタ処理が行われるように制御する。図１３（Ｂ）は、着目位置Ｐが被写体の右側の位置である場合を例示する。この場合、ぼかしフィルタは、図１３（Ｃ）に○の記号で図示した位置に対してフィルタ演算を行う。×の記号で図示する位置は、ピント被写体の画像領域に属する位置である。これらの位置をフィルタ演算の対象に含めると、輪郭部分が混ざってしまい、画質が劣化する可能性がある。このため、背景部分にのみフィルタ処理を施すように制御が行われる。以上の処理によって、ピント被写体以外の背景領域のみに対し、ぼかし処理を施した画像が得られる。

図９のＳ９０５にて、後調整が実行される。本処理は、ぼかしの強度がユーザの嗜好に合っているかどうかを確認した結果、ユーザの嗜好に合っていない場合にぼかしの強度を調整する処理である。これにより、ユーザが望む度合のぼかし画像を得ることができる。ぼかしの強度については、図１３（Ａ）のフィルタカーネルのＴＡＰ数を変更することで調整できる。画像処理部１０５が実行する事後ぼかし処理は、撮影後にユーザの指示に応じて行われる。最後に、画像処理部１０５により生成された画像データが記録部１０９によって記録媒体に記録される。

本実施形態では、主被写体と背景との距離差に応じて、領域抽出のための追加情報を同時に取得しておくか否かが動的に切り替えられる。このため、記録量が膨大になることによるユーザへの負担を軽減し、事後ぼかし処理用の情報を事前に取得しておくことができる。事後処理が必要とされる可能性の高いフレームに対してのみ、高精度な領域抽出用の情報を記録しておくことで、記録容量を抑えつつ、ユーザメリットの高い画像記録を行うことができる。ここで、本実施形態では、主被写体と背景の距離差が大きいときには通常モードとして撮像画像のみ記録したが、主被写体と背景の距離差への応じ方はこれに限られない。主被写体と背景の距離差が閾値以上ある大きい場合には、その距離差をより強調すべく背景ぼかし処理が行いたいので高品質モードで記録する。

本実施形態では、主被写体と背景との距離差に基づき、距離差と閾値との比較結果から、追加情報の取得の有無を判断した。これに限定されることなく、例えばＦ値から深度情報を取得し、深度情報を判断の一要素としてもよい。また本実施形態では距離マップ算出法として、瞳分割画像の視差から距離を算出した。これに限定されることなく、例えばコントラストＡＦ（オートフォーカス）評価値等を用いて距離を取得してもよい。これらの事項は後述の実施形態でも同じである。

［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態では、記録された画像に対し、事後ぼかし処理を行う場合を想定した。第２実施形態では、例えば主被写体が逆光で暗くなっているフレーム画像に対し、後から領域別の階調補正処理を行う場合を想定する。逆光で暗くなっている主被写体と、それ以外の背景領域を同一の階調変換特性で処理した場合、背景の暗部が極端に明るくなってしまい、不自然な画像となる。領域別に階調補正を行う意義は、画像内の主被写体領域と背景領域とを別々の階調特性で補正して不自然さを抑制することである。一方で、この処理には高度な領域抽出処理が要求される。

本実施形態における処理は第１実施形態と比較して、記録モード制御部１０４の動作と、後処理に関する画像処理部１０５の動作が異なる。以下、第１実施形態とは処理が異なる箇所を中心に説明し、第１実施形態の場合と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略する。このような説明の省略は後述の実施形態でも同じである。

図１４および図１５を参照して、記録モード制御部１０４の動作について説明する。図１４は、第２実施形態における記録モード制御部１０４の処理ブロック図である。図２に示す構成との相違点は以下の通りである。

主被写体Ｂｖ値算出部１４０２は、主被写体領域検出部２０１から主被写体領域の情報を取得し、主被写体のＢｖ値を算出する。Ｂｖ値とは、着目領域の目標輝度値に対する輝度差を表す露出値である。背景Ｂｖ値算出部１４０３は背景領域の情報を取得し、背景のＢｖ値を算出する。露出段差算出部１４０４は、主被写体および背景の各Ｂｖ値を取得して、主被写体と背景との露出段差を算出する。閾値算出部１４０５は主被写体のＢｖ値から露出段差に対する閾値を算出する。記録モード判断部１４０６は、露出段差算出部１４０４が算出した主被写体と背景との露出段差、および閾値算出部１４０５が算出した閾値を取得する。記録モード判断部１４０６は露出段差と閾値を比較し、記録モードを判断する。各部の処理の詳細については後述する。

図１５は、記録モード制御部１０４の処理を説明するフローチャートである。
まず、Ｓ１５０１にて主被写体領域検出部２０１は画像内の主被写体領域を検出する。次のＳ１５０２にて主被写体Ｂｖ値算出部１４０２は主被写体のＢｖ値を算出する。主被写体のＢｖ値をBv_objと表記すると、これは、下記（５）式により算出される。
Bv_obj = log2( Y_obj / Y_obj_target ) ・・・（５）
（５）式中のlog2は、２を底とする対数関数である。Y_objは主被写体の代表輝度値であり、主被写体領域の輝度値の平均値として算出される。また、Y_obj_targetは主被写体領域の目標輝度値である。目標輝度値は適正露出とみなす輝度値のことであり、予め決まった値である。目標輝度値は、主被写体が人物であるか否かに応じて変更してもよい。（５）式より、主被写体の明るさが暗いほど、Ｂｖ値は小さくなる。例えば、主被写体の代表輝度値が目標輝度値の１／２である場合、Ｂｖ値は−１となる。主被写体の代表輝度値が目標輝度値の２倍である場合、Ｂｖ値は＋１となる。

Ｓ１５０３にて背景Ｂｖ値算出部１４０３は、背景のＢｖ値を算出する。背景Ｂｖ値をBv_backと表記すると、これは下記（６）式で表される。
Bv_back = log2( Y_back / Y_back_target ) ・・・（６）
（６）式中のY_backは背景の代表輝度値であり、背景領域の輝度値の平均値等で算出される。また、Y_back_targetは背景領域の目標輝度値である。

次のＳ１５０４で露出段差算出部１４０４は、主被写体領域と背景領域との露出段差（delta_Bvと記す）を、下記（７）式により算出する。
delta_Bv = | Bv_obj - Bv_back | ・・・（７）
（５）〜（７）式から分かるように、背景が明るく主被写体が暗い場合、若しくはその逆の場合になるほど、つまり主被写体に着目した場合のＤレンジ（ダイナミックレンジ）が広くなるほど、露出段差delta_Bvの値は大きくなる。またＤレンジが狭くなるほど、delta_Bvの値は小さくなる。本実施形態では、フレームのＤレンジを示す評価値として露出段差を用いる。

次にＳ１５０５で閾値算出部１４０５は、主被写体Ｂｖ値から露出段差に対する閾値を算出する。図１６に示す閾値算出例を挙げて説明する。図１６に示すグラフにおいて、横軸は主被写体Ｂｖ値を表し、縦軸は露出段差閾値を表す。図１６の例では、Ｂｖ_minに対応する閾値がＴＨ_minであり、主被写体Ｂｖ値がゼロ以上である場合の閾値がＴＨ_maxである。Ｂｖ_minからゼロまでの区間において１次式で線形補間を行った例を示しているが、２次以上の高次の補間処理を行ってもよい。

図１６に示すように、定性的には、主被写体Ｂｖ値が負値である場合、すなわち、主被写体が適正露出よりも暗い場合、後から階調補正処理を行う必要性が高くなる。従って、露出段差に対する閾値が小さく設定される。一方、主被写体Ｂｖ値がゼロ近辺の場合には主被写体が適正露出に近い。よって階調補正処理の必要性が低くなるので、閾値が大きく設定される。また、主被写体Ｂｖ値が正値である場合には、主被写体が明るすぎる。この場合は階調補正本処理の対象外とするために、閾値が高く設定される（ＴＨ_max）。

Ｓ１５０６で記録モード判断部１４０６は、閾値算出部１４０５が算出した閾値と、露出段差とを比較し、記録モードを判断する。記録モード判断部１４０６は露出段差が閾値以上である場合、後から階調補正が必要になる可能性が高いと判断し、Ｓ１５０７に進んで高品質モードでの記録処理を行う。高品質モードでは、フレームの画像と距離マップとＲＡＷ画像のデータの記録処理が行われる。画像加工前のＲＡＷ画像を記録しておく理由は、ガンマ変換等の非線形処理の前に階調補正を行うためである。一方、露出段差が閾値未満である場合、記録モード判断部１４０６は、後から階調補正を行う必要がないと判断し、Ｓ１５０８に進んで通常モードでの記録処理を行う。記録モード制御部１０４の処理は撮影時に行われる。

次に、記録後にユーザの指示によって行われる領域別階調補正処理に関して説明を行う。本処理は、主に画像処理部１０５が行うが、ユーザの指示を受け付ける操作部１０７およびシステム制御部１０６も関与する。以下、記録後に行われる領域別階調補正処理を、「事後補正処理」と呼ぶ。図１７および図１８を参照して、事後補正処理について説明する。

図１７は、事後補正処理に関する画像処理部１０５の処理ブロック図である。図８に示す構成との相違点は以下の通りである。
第１階調特性算出部１７０３は、フレーム画像データを取得して第１階調特性を算出する。第１階調特性は主被写体領域の階調特性である。また第２階調特性算出部１７０４はフレーム画像データを取得して第２階調特性を算出する。第２階調特性は背景領域の階調特性である。第１階調補正部１７０５は第１階調特性を用いて、入力フレーム画像に対する階調補正処理を行う。第２階調補正部１７０６は第２階調特性を用いて、入力フレーム画像に対する階調補正処理を行う。合成部１７０７はピント被写体抽出部８０２からピント被写体の情報を取得し、第１階調補正部１７０５が階調補正を行った第１の画像、および第２階調補正部１７０６が階調補正を行った第２の画像を取得して合成処理を行う。各部の処理の詳細については後述する。

図１８は、事後補正処理を説明するフローチャートである。
まず、Ｓ１８０１で撮像装置は事後補正処理の指示をユーザから受け付ける。図１９は表示例を示し、事後補正処理が可能な高品質記録のフレームに対し、表示部１０８は事後補正処理が可能であることをユーザに提示する。また、ユーザに対して事後補正処理を行うか否かの指示を仰ぐ表示および入力処理が行われる。動画再生時にユーザが撮影後の階調補正処理を行う事を選択した場合、システム制御部１０６は操作部１０７から指示を受け付け、画像処理部１０５に対し、Ｓ１８０２以降の処理を行うように命令する。

Ｓ１８０２において、距離マップ整形部８０１が距離マップの整形処理を行い、Ｓ１８０３において、ピント被写体抽出部８０２がピント被写体を抽出する。Ｓ１８０４にて第１階調特性算出部１７０３は第１階調特性を算出する。Ｓ１８０５にて第２階調特性算出部１７０４は第２階調特性を算出する。図２０を参照して、第１階調特性および第２階調特性の算出処理を説明する。図２０（Ａ）は入力フレーム画像を例示し、画像内の主被写体領域と背景領域を示す。つまり主被写体領域検出部２０１により、入力フレーム画像にて画像内の主被写体領域と背景領域とが分離して検出される。主被写体領域と背景領域に対し、別々の階調補正処理が実施される。まず、主被写体領域に対しては、一律のゲイン処理が行われる。一律のゲイン処理とする理由は、本機能が適用される場合に、逆光や日陰等で主被写体が一様に暗くなっている可能性が高いからである。一方、背景領域に対しては、輝度別のゲイン処理が行われる。その理由は、一般に背景領域には様々な輝度を持つ被写体が存在し、Ｄレンジが広いからである。各領域の階調性を損なわないように階調圧縮が実行される。なお、ゲイン特性に関しては、以上の考え方に限定されず、任意の形状の特性をとりうるものとする。

図２０（Ｂ）は、主被写体領域における、入力輝度（横軸）に対するゲイン（縦軸）の特性を例示する。ゲインは一定値（Gain_objと記す）をとる。主被写体領域の平均輝度値Y_objが適正露出とされる目標輝度値Y_obj_targetとなるように補正するために、ゲインGain_objは、下記（８）式により算出される。
Gain_obj = Y_obj_target / Y_obj ・・・（８）

図２０（Ｃ）は、図２０（Ｂ）に示すゲイン特性で処理を行った場合の入出力輝度の特性を実線のグラフで示す。つまり、この特性は第１階調特性である。点線は、入力輝度値と出力輝度値との比が１：１の場合を示す。第１階調特性のグラフ線の傾斜は、点線で示すグラフ線の傾斜よりも大きい。

図２０（Ｄ）は、背景領域の輝度ヒストグラムにて代表輝度値を例示する。横軸は入力輝度を表し、縦軸は頻度（度数）を表す。図２０（Ｅ）は、背景領域における、入力輝度に対するゲイン特性を例示する。ゲインは入力輝度に応じて変化する。第２階調特性算出部１７０４はゲイン特性の算出前に、入力輝度の暗部側と明部側の代表輝度値を算出する。算出処理では、図２０（Ｄ）に示すように、背景領域の輝度ヒストグラムが取得される。代表輝度値Y_back_lowは、最小輝度から所定割合の画素数をカウントした場合に算出される、暗部の代表輝度値である。代表輝度値Y_back_highは、最大輝度から所定割合の画素数をカウントした場合に算出される、明部の代表輝度値である。背景領域の平均輝度値Y_backが適正露出とされる目標輝度値Y_back_targetとなるように、背景領域に対する最大ゲイン（Gain_backと記す）は、下記（９）式により算出される。
Gain_back = Y_back_target / Y_back ・・・（９）

図２０（Ｅ）に示すゲイン特性では、入力輝度値がY_back_low以下の区間にてGain_backが一定値であり、入力輝度値がY_back_high以上の区間にて最小ゲイン量が１となる。T_back_lowとY_back_highとの間の区間では、入力輝度値に応じて単調減少となる特性である。図２０（Ｆ）は、図２０（Ｄ）に示すゲイン特性で処理を行った場合の入出力輝度の特性を実線のグラフで示す。この特性は第２階調特性である。第２階調特性を表す実線のグラフは、Y_back_lowにて上側に突出した折れ線形状であって、Y_back_high以上の区間では点線のグラフ線（入力輝度値と出力輝度値との比が１：１の場合）に一致する形状である。

図１８のＳ１８０６では、第１階調補正部１７０５が第１階調特性を用いて、入力フレーム画像の階調補正処理を行う。Ｓ１８０７では、第２階調補正部１７０６が第２階調特性を用いて、入力フレーム画像の階調補正処理を行う。これらの処理は、入力フレーム画像の輝度値を、図２０（Ｃ）、（Ｆ）に例示した階調変換特性でそれぞれ変換する処理である。次のＳ１８０８で合成部１７０７は、階調補正処理が行われた２画像の合成を行う。図２１を参照して、合成部１７０７の処理を説明する。

図２１（Ａ）は入力フレーム画像を例示し、図２１（Ｂ）は、ピント被写体抽出部８０２が抽出したピント面画像を例示する。合成処理にて、図２１（Ｂ）に白色領域で示した画像内のピント面領域に対しては、第１階調特性で階調補正を行った画像が出力される。また、図２１（Ｂ）に黒色領域で示した画像内の非ピント面領域（背景領域）に対しては、第２階調特性で階調補正を行った画像が出力される。この処理を行うと、図２１（Ａ）の入力フレーム画像に対し、合成処理後の画像は図２１（Ｃ）に示す画像となる。図２１（Ｃ）は、ピント面である主被写体領域と、非ピント面領域である背景領域に対し、それぞれに異なる階調変換特性で階調補正処理が行われた画像を示す。最後に、領域別階調補正が行われた画像のデータは記録部１０９によって記録媒体に記録される。

本実施形態では、主被写体領域と背景領域との露出段差（明るさの差）に応じて、領域抽出のための追加情報を同時に取得しておくか否かが動的に切り替えられる。このため、記録量が膨大になることによるユーザへの負担を軽減し、事後補正処理（階調補正）用の情報を取得しておくことができる。本実施形態では、主被写体領域と背景領域との露出段差が閾値より大きいときに高品質モードで画像および深度分布情報を記録した。しかしこれに限らず、例えば主被写体領域と背景領域との露出段差が閾値より小さいときの方が大きいときよりも被写体が適切な明るさでそれぞれ撮れている、として高品質モードで記録してもよい。このとき露出段差が閾値よりも大きいときには通常モードで深度分布情報を記録せずに画像を記録する。

［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では、第１実施形態で説明した事後ぼかし処理を前提とし、特に情報の記録時において、記録容量をさらに削減することを目的とする。第１実施形態では、主被写体と背景との距離差に基づいて、例えば、背景の画像が十分にぼけていないと判断されたフレームに対して、後処理用の情報が取得される。しかし、撮影シーンによっては、常に主被写体と背景との距離が近い場合があり得る。そのような場合、ほぼ全フレームにわたって後処理用の情報が取得されてしまう。その結果、撮影された画像の記録容量が膨大になる可能性がある。そこで、本実施形態では、記録容量を適正に保つために、高品質モードで記録するフレームをさらに絞り込む処理について説明する。すなわち、本実施形態において後述する記録容量の削減の必要があるかの判定と被写体のスコア判定による記録モードの判定は、その一部あるいは全部を第１および第２の実施形態にそれぞれ組み合わせて実行され得るものである。

図２２は、本実施形態の撮像装置に適用可能な構成を示すブロック図である。図１に示す構成との相違は、記録情報調整部２２１０が追加されていることである。図２３は、記録情報調整部２２１０の処理を示すフローチャートである。図２３を参照して、記録情報調整部２２１０について説明する。以下の処理は、記録モード制御部１０４により制御される記録モードにおいて、一連の動画データを記録部１０９が記録した後に実行される。

Ｓ２３０１において記録情報調整部２２１０は、画像の記録容量（MEMと記す）を取得し、Ｓ２３０２で最大記録容量（MEM_MAXと記す）を算出する。最大記録容量MEM_MAXは、下記式（１０）により算出される。
MEM_MAX = MEM_FRAME×NUM_FRAME× k1 × k2 ・・・（１０）
（１０）式において、MEM_FRAMEは、１フレームあたりの記録量であり、この場合にはフレーム間圧縮やフレーム内圧縮は行わないものとする。NUM_FRAMEは、処理対象である動画の総フレーム数である。k1は所定の圧縮レートであり、１以下の値をとる。実際の圧縮率は撮影シーンに依存して変わるが、ここでは所定の圧縮率とする。k2は付加情報の記録による容量増加率の許容値であり、１以上の値をとる。

次のＳ２３０３で記録情報調整部２２１０は、記録容量MEMと最大記録容量MEM_MAXを比較する。MEMがMEM_MAX以下である場合、記録情報の調整は行われずに処理を終了する。また、MEMがMEM_MAXよりも大きい場合、記録情報調整部２２１０は記録情報の調整を行う必要があると判断し、Ｓ２３０４に処理を進める。

本実施形態では、記録容量を削減する必要があると判断された場合、主被写体のサイズ情報および位置情報に基づいて、高品質モードで記録するフレームをさらに絞り込む処理が行われる。その理由としては、ユーザが撮影後に背景をぼかして、静止画としても記録しておきたいと思うフレームは、主被写体が良好な状態で写っているフレームであることによる。絞り込み処理によって取得されるフレームは、具体的には、主被写体の画像領域が撮像された画像中心の近くに存在し、主被写体のサイズが大きく写っているフレームである。

図２３のＳ２３０４で記録情報調整部２２１０は、主被写体のサイズ情報および位置情報を取得し、次のＳ２３０５にて、主被写体のサイズ情報と位置情報に基づいて主被写体スコアを算出する。なお、Ｓ２３０４以降の処理は、記録した全フレームに対して行われるものとする。図２４を参照して、Ｓ２３０４およびＳ２３０５の処理を説明する。図２４（Ａ）は入力フレーム画像を例示する。主被写体領域の重心位置の座標を(X,Y)と表記し、主被写体領域の高さをHeightと表記し、主被写体領域の幅をWidthと表記する。

Ｓ２３０４では、図２４（Ａ）に示す入力フレーム画像から、主被写体領域を矩形状に抽出し、幅Widthと高さHeightを取得する処理が実行される。さらに、抽出された主被写体領域の重心位置座標(X,Y)が取得される。取得した情報から、面積に相当する正規化サイズ（Sizeと記す）が、下記（１１）式により算出される。
Size = Width × Height / Size_all ・・・（１１）

（１１）式のSize_allは、画像サイズに依存しないように正規化するための正規化係数である。例えば、Size_allを画像全体の面積とする。この場合、Sizeは主被写体領域の面積が画像全体の面積に占める割合を示す。また、画像中央位置の座標を(Xc,Yc)と表記した場合、(Xc,Yc)から主被写体領域の重心位置座標(X,Y)までの正規化距離（Distと記す）は、下記（１２）式により算出される。

（１２）式のＲは、画像中央位置から画像端部までの距離に相当する正規化係数である。つまり、正規化距離Distは画像中央位置から画像端部までの距離に対する、座標(Xc,Yc)と(X,Y)との距離差の割合を示す。

次にＳ２３０５にて、主被写体スコアが算出される。図２４（Ｂ）および（Ｃ）を参照して説明する。図２４（Ｂ）は、距離スコアの算出特性を例示する。横軸は正規化距離Distを表し、縦軸は距離スコア（Score_Distと記す）を表す。図２４（Ｃ）は、サイズスコアの算出特性を例示する。横軸は正規化サイズSizeを表し、縦軸はサイズスコア（Score_Sizeと記す）を表す。

本実施形態では、まず、算出された正規化距離情報および正規化サイズ情報から、図２４（Ｂ）および（Ｃ）に示す特性により、距離スコアScore_DistおよびサイズスコアScore_Sizeがそれぞれ算出される。図２４（Ｂ）に示す距離スコアScore_Distの特性に関しては、被写体の画像が画像中央部分に近いほどスコアを大きくするために、Distに対する単調減少の特性となる。図２４（Ｂ）は、２点間を一次式で線形補間した特性を例示する。正規化距離Distに対する第１の閾値D1よりDist値が小さい範囲では、距離スコアScore_Distが一定である。また正規化距離Distに対する第２の閾値D2よりDist値が大きい範囲では、距離スコアScore_Distが一定である。Dist値が第１の閾値以上であって、かつ第２の閾値以下である場合には、Dist値の増加につれて距離スコアScore_Distの値が線形的に減少する。

図２４（Ｃ）に示すサイズスコアScore_Sizeの特性に関しては、被写体の画像サイズが大きくなるほどスコアを大きくするために、Sizeに対する単調増加の特性となる。図２４（Ｃ）は、２点間を一次式で線形補間した特性を例示する。正規化サイズSizeに対する第１の閾値S1よりSize値が小さい範囲では、サイズスコアScore_Sizeが一定である。また正規化サイズSizeに対する第２の閾値S2よりSize値が大きい範囲では、サイズスコアScore_Sizeが一定である。Size値が第１の閾値以上であって、かつ第２の閾値以下である場合には、Size値の増加につれてサイズスコアScore_Sizeの値が線形的に増加する。
図２４（Ｂ）および（Ｃ）に示す特性は例示であり、３点以上を設定して補間処理を行ってもよい。

次に、算出された距離スコアScore_DistとサイズスコアScore_Sizeから、主被写体スコア（Scoreと記す）が、下記（１３）式により算出される。
Score = w_d × Score_Dist + w_s × Score_Size ・・・（１３）
（１３）式において、w_dとw_sはそれぞれ任意の重み付け係数である。

図２３のＳ２３０６にて記録情報調整部２２１０は、高品質の記録フレームの絞り込み処理を行う。Ｓ２３０５において全フレームに亘って主被写体スコアScoreが算出されている。記録情報調整部２２１０は、主被写体スコアScoreを所定の閾値（TH_Scoreと記す）を比較する。主被写体スコアScoreの値が閾値TH_Scoreを超えているフレームに対し、高品質モードでの記録処理が実行される。主被写体スコアScoreの値が閾値以下であるフレームについては通常モードとなり、付加情報は削除されるので記録されない。図２５を参照して具体的に説明する。横軸は閾値TH_Scoreを表し、縦軸は記録容量MEMを表す。閾値TH_Scoreが大きくなるほど、高品質のフレーム画像の数（フレーム数）は減っていくため、記録容量MEMが小さくなる。記録容量MEMが、Ｓ２３０２で算出された上限値MEM_MAXを下回る最大の閾値をTH_Score_minとする。閾値TH_Score_minを用いて高品質フレームの絞り込みを行うことによって、動画の記録容量をMEM_MAX以下に抑えつつ、動画を取得できる。

本実施形態では、記録情報調整部２２１０の処理によって動画の記録容量の増加を抑えることができる。なお、本実施形態では、高品質フレームの絞り込みを行う指標として主被写体領域の位置情報とサイズ情報を利用した。
また、別の実施形態として、記録モードを切り替える別の指標として、シーンチェンジ度合いを利用してもよい。シーンチェンジ度合いとは、異なるフレーム（例えば現フレームと前フレーム）の間で画像が変化した場合のシーンの変化の大きさを表す指標である。シーンチェンジ度合いは、時系列の複数の画像、例えば現フレームと前フレームとを位置合わせし、画像間の差分を計算することで算出される。時間的に連続する２フレームの間で画像の変化がほとんどない場合には、高品質モードの追加情報を間引く処理が実行される。時間的に連続する２フレームの間で画像の大きな変化がある場合には、両方のフレームに係る追加情報を記録する処理が実行される。
上述した被写体スコアによる判定やシーンチェンジ度合いによる判定は、本実施形態では記録容量の削減の必要があると判定された場合に行っていたが、これに限られるものではない。例えば、記録容量の検出や判定を行わずに、高品質フレームの判定方法として被写体スコアやシーンチェンジ度合いを用いて記録モードを切り替えてもよい。

［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態では、第１実施形態で説明した事後ぼかし処理を前提とし、各フレームの動きブレを低減させることを目的とする。高品質モードで記録する場合のシャッタ速度およびフレームレートを、主被写体の動きに合わせて変更する制御について説明する。

後処理により高品質な静止画を生成する対象となるフレームについては、被写体の動きブレが無く、被写体が止まっていることが好ましい状態である。動画を撮像する場合の露出制御では、フレーム画像を連続的に鑑賞する際に被写体像の動きが不連続な状態に見えないようにシャッタ速度が制御される。つまり、シャッタ速度が速くなりすぎないように制御が行われる。一方、そのようにして撮像された動画フレームの画像の１コマを静止画として鑑賞する場合、被写体の移動速度によっては動きブレが発生している可能性がある。そこで本実施形態は、高品質モードで取得するフレーム画像の露出制御、特にシャッタ速度に関して、被写体の動きブレを抑制することを目的とする。

図２６は、本実施形態の撮像装置に適用可能な構成を示すブロック図である。図１に示す構成との相違は、露出条件制御部２６０６が設けられていることである。図２７は露出条件制御部２６０６の処理を示すフローチャートである。図２７を参照して、露出条件制御部２６０６について説明する。以下の処理は、記録モード制御部１０４の処理後に行われ、毎フレームまたは所定のフレーム間隔で行われる。

まず、Ｓ２７０１では、記録モードが高品質モードであるか否かについて判定処理が行われる。記録モードが通常モードである場合、Ｓ２７０５に進み、現フレームよりも１フレーム時間だけ後の次フレームについても通常モードでの動画の露出で撮影動作が行われる。一方、記録モードが高品質モードである場合には、Ｓ２７０２に処理を進め、主被写体の動きに合わせた露出制御が行われる。Ｓ２７０２にて露出条件制御部２６０６は、主被写体の動きベクトルを算出する。動きベクトルの算出方法は、公知のパターンマッチング処理により行われる。

次のＳ２７０３にて露出条件制御部２６０６は、次フレームのシャッタ速度を算出する。次フレームのシャッタ速度をTvと表記し、Ｓ２７０２で算出された動きベクトルの大きさをv（単位：ピクセル）と表記する。フレーム間隔をT_frame(フレームレートが60fpsの場合、1/60秒)と表記する。シャッタ速度Tvは、vおよびT_frameから、下記（１４）式により算出される。
Tv = T_frame / v ・・・（１４）
（１４）式は、撮影時間内に、主被写体画像の移動量が１ピクセルとなるシャッタ速度としてTvを算出していることを意味している。換言すれば、Tvは動きブレが１ピクセルに収まるシャッタ速度である。例えば、T_frameを1/60秒とし、vを6ピクセルとする。この場合、主被写体画像の１ピクセルの移動に対応するシャッタ速度は、Tv=1/360秒である。従って、本実施形態の目的に沿えば、（１４）式で算出したTvよりも小さい値をシャッタ速度として用いてもよい。

Ｓ２７０４にて露出条件制御部２６０６は、その他の露出条件とフレームレートを決定する。その他の露出条件とは、具体的には感度と絞り値である。絞り値を変えると被写界深度が変わり、前後フレームとの連続性が失われてしまう。このため、本実施形態では、シャッタ速度Tvが変化した分については感度を変化させることで露出を一定に保つ制御が行われる。また、シャッタ速度Tvが速くなるにつれて、フレームレートを変更する制御が行われる。例えば、Tvの値が1/120秒以下となった場合、フレームレートを60fpsから120fpsへ変更する処理が実行される。この処理により、動きが速い被写体の決定的瞬間を逃し難くなるという効果が得られる。最後に露出条件制御部２６０６は、Ｓ２７０４またはＳ２７０５で決定された露出条件を撮像光学系１０１および撮像部１０２の制御にフィードバックして反映させた上で、次フレームの撮像処理を行うように制御する。

本実施形態では、露出条件制御部２６０６の処理によって、被写体（動体）の速度に合わせた最適なシャッタ速度で撮影が可能となる。また、動画として鑑賞する場合には、画像フレームに係るシャッタ速度Tvの値が大きいために動体の動きが不連続的に見えることを回避するため、被写体の動き量に応じて、電子的に被写体画像へブラーを付与する処理等が行われる。

また、上述した第１、第２、第３および第４の実施形態では、基本的にフレーム毎に記録モードの判定を行い切り替えて制御していたが、これに限られるものではない。記録データ量を削減する目的で手動あるいは自動で所定フレーム毎に高品質モードで記録するなど、周期的に記録モードを切り替えて制御を行ってもよい。
手動で設定が行われる場合、例えば操作部１０７を介したユーザ操作により所定フレーム数として５フレームと設定されると、５フレームに１フレーム、高品質モードとして画像とともに深度分布情報が記録される。あるいはユーザが設定する撮像のフレームレートに応じて高品質モードで記録する周期が決められてもよい。
自動で設定が行われる場合、上述した各実施形態における主被写体と背景の距離差、露出段差、被写体スコア、シーンチェンジ度合いなどの判定の少なくとも１つを定期的に行う。そして、高品質モードで記録される周期を決定して、次の判定までその周期で高品質モードでの記録が行われるように制御すればよい。

＜各実施形態における記録形式のパターン＞
上述した各実施形態において、撮像された複数の画像（フレーム）と、その一部のフレームに対応する深度分布情報を記録する形式については、下記のいずれでもよいものとする。
図２８に撮像された複数の画像（フレーム）と、その一部のフレームに対応する深度分布情報を記録する形式について各パターンをイメージした図を示す。すなわち、記録形式としては、図２８（Ａ）のように、順次撮像され取得された複数の画像１、２、３と、画像１、画像３にそれぞれ対応する距離マップ１、３が全て別ファイルとして記録されている。この場合、各画像ファイルのヘッダに画像と距離マップを関連づける情報（あるいは対応する距離マップがないという情報）を記録し、距離マップ側にも対応する画像の情報を記録するとよい。

また、図２８（Ｂ）のように、各画像が連続した画像として関連づけられ（符号化されてもよい）１つの動画像ファイルとなっており、この動画像ファイルと同期した形で複数の距離マップがそれぞれ個別に距離マップファイルとして記録されていてもよい。距離マップには対応する動画のタイムコードが記録されており、静止画切り出しを含めた動画編集の際に、画像と対応づけられて必要に応じて読み出して利用することができる。

また、図２８（Ｃ）のように、各画像が連続した画像として関連づけられ（符号化されてもよい）１つの動画像ファイルとなっており、この動画像ファイルと同期した形で複数の距離マップが別の１つのファイルとして記録されていてもよい。この場合、動画の各フレームのタイムコードと同期したタイムコードが、対応する距離マップに記録されて１つのファイルとして記録されていればよい。図２８（Ｂ）の形態に比べて、距離マップも１つのファイルにすることで動画像ファイルと対で扱いやすく、必要に応じて距離マップ間も公知の符号化技術を用いて符号化することにより、データ量の削減も期待できる。

また、図２８（Ｄ）のように、画像とその前あるいは後に対応する距離マップがつながって記録され、全体で１つの動画像ファイルを形成して記録される形式でもよい。この形式では、記録処理が行われた画像に対応する深度分布情報である距離Ｍａｐを、該画像データのメタデータとして該画像データの前または後に記録する。この形式では１つのファイルで扱うことができたり、画像に対応する距離マップも隣接しているためアクセスが容易であったりなどの利点が考えられる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上の通り、本発明によれば、記録容量を抑えつつ、利便性の高い画像記録を行うことができる。

１０１・・・撮像光学系
１０２・・・撮像部
１０４・・・記録モード制御部
１０５・・・画像処理部
１０６・・・システム制御部
１０９・・・記録部
２２１０・・・記録情報調整部
２６０６・・・露出条件制御部

Claims (37)

1. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、
   画像データに対応する、被写体の深度分布情報を取得する取得手段と、
   前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備え、
   前記制御手段は、複数の被写体のうち主被写体および背景の深度情報を含む前記深度分布情報を取得し、前記深度分布情報に含まれる主被写体の深度情報と背景の深度情報との差分に応じて、前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする画像処理装置。
2. 前記制御手段は、前記複数の画像データの記録の中で前記第１のモードと前記第２のモードを切り替えて記録処理を行い、前記複数の画像データを動画像として前記記録手段によって前記記録媒体に記録させることを特徴とする請求項１に記載の画像処理装置。
3. 前記記録手段は、前記複数の画像データおよび前記第１のモードで記録処理が行われた画像データに対応する深度分布情報を、１つの動画像ファイルに記録することを特徴とする請求項２に記載の画像処理装置。
4. 前記記録手段は、前記動画像ファイルにおいて、前記第１のモードで記録処理が行われた画像データに対応する深度分布情報を、該画像データのメタデータとして該画像データの前または後に記録することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記深度分布情報に含まれる主被写体の深度情報と背景の深度情報との差分が閾値以内である場合、前記第１のモードで記録処理を行うことを特徴とする請求項１に記載の画像処理装置。
6. 撮像光学系の焦点距離と前記深度分布情報に含まれる主被写体の深度情報と許容デフォーカス量から前記閾値を算出する閾値算出手段をさらに備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、前記差分と前記閾値との比較結果および撮像光学系のＦ値により、前記第１のモードで記録処理を行うか否かを判断することを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記制御手段は、フレームのダイナミックレンジを示す評価値を算出し、前記評価値と閾値を比較することにより、前記第１のモードで記録処理を行うか否かを判断することを特徴とする請求項１に記載の画像処理装置。
9. 前記制御手段は、前記評価値として複数の被写体のうちの主被写体に係る主被写体領域と背景領域との露出段差を算出し、前記露出段差に応じて、前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする請求項８に記載の画像処理装置。
10. 前記制御手段は、前記露出段差が前記閾値以上である場合に前記第１のモードで記録処理を行い、前記露出段差が前記閾値より小さい場合に前記第２のモードで記録処理を行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記第１のモードで記録された画像データおよび深度分布情報から、複数の被写体のうちの主被写体に係る主被写体領域の情報を抽出する抽出手段と、
    前記抽出手段により抽出された主被写体領域の情報を取得して前記画像データの画像処理を行う画像処理手段と、をさらに備えることを特徴とする請求項１に記載の画像処理装置。
12. 前記画像処理手段は、前記主被写体領域の情報から画像内の背景領域を決定し、背景画像のぼかし処理を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１のモードで記録された画像データおよび深度分布情報から、複数の被写体のうちの主被写体に係る主被写体領域の情報を抽出する抽出手段と、
    前記抽出手段により抽出された主被写体領域の情報を取得して前記画像データの画像処理を行う画像処理手段と、をさらに備え、
    前記画像処理手段は、前記主被写体領域の情報から画像内の主被写体領域および背景領域を決定し、前記主被写体領域と前記背景領域にそれぞれ異なる階調補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
14. 動画像の記録容量を取得し、当該記録容量が閾値以上である場合に、前記第１のモードで記録するフレームを絞り込むことで記録量を調整する調整手段をさらに備え、
    前記調整手段は、絞り込んだ前記フレームの画像データおよび前記深度分布情報を記録する制御を行うことを特徴とする請求項１に記載の画像処理装置。
15. 前記制御手段は、複数の被写体のうちの主被写体の位置情報およびサイズ情報の少なくとも１つ以上からスコアを算出し、前記スコアに応じて前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする請求項１に記載の画像処理装置。
16. 前記制御手段は、前記スコアが閾値より大きいフレームでは前記第１のモードで記録処理を行い、前記スコアが前記閾値以下のフレームでは前記第２のモードで記録処理を行うことを特徴とする請求項１５に記載の画像処理装置。
17. 前記制御手段は、画像間の差分からシーンの変化を検出し、前記シーンの変化に応じて前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする請求項１に記載の画像処理装置。
18. 前記制御手段は、前記シーンの変化が検出された場合、前記第１のモードで記録処理を行うことを特徴とする請求項１７に記載の画像処理装置。
19. 前記制御手段は、前記取得手段により取得される時系列の複数の画像において、所定フレーム毎に前記第１のモードで記録処理を行うことを特徴とする請求項１に記載の画像処理装置。
20. 前記制御手段は、前記第１のモードで記録処理された動画像が再生されるときに、当該第１のモードで記録処理された画像であることを報知することを特徴とする請求項１ないし１９のいずれか１項に記載の画像処理装置。
21. 前記深度分布情報は、複数の視点画像の視差量に基づく像ずれマップ、領域ごとのデフォーカス量に基づくデフォーカスマップ、画像データにおける各被写体の相対的な距離関係を示す距離マップ、ＴＯＦ法により取得された撮像装置から各被写体までの距離関係を示す距離情報のうちいずれかであることを特徴とする請求項１ないし２０のいずれか１項に記載の画像処理装置。
22. 前記取得手段は、前記取得された画像データに対応する対を成す視差画像の視差量に基づいて、当該画像データに対応する前記深度分布情報である像ずれマップを算出して取得することを特徴とする請求項１ないし２１のいずれか１項に記載の画像処理装置。
23. 前記取得手段は、前記取得された画像データの領域ごとのデフォーカス量に基づいて、当該画像データに対応する前記深度分布情報であるデフォーカスマップを算出して取得することを特徴とする請求項１ないし２１のいずれか１項に記載の画像処理装置。
24. 前記取得手段は、前記取得された画像データの領域ごとのデフォーカス量と撮像光学系または撮像素子に基づいて、当該画像データに対応する前記深度分布情報である各被写体の相対的な距離関係を算出して取得することを特徴とする請求項１ないし２１のいずれか１項に記載の画像処理装置。
25. 前記取得手段は、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うＴＯＦ法を用いて、画像データに対応する前記深度分布情報である撮像装置から各被写体までの被写体距離を取得することを特徴とする請求項１ないし２１のいずれか１項に記載の画像処理装置。
26. 前記制御手段は、前記第１のモードにて、画像加工前のＲＡＷ画像のデータを記録する制御を行うことを特徴とする請求項１ないし２５のいずれか１項に記載の画像処理装置。
27. 前記ＲＡＷ画像は、デモザイキング処理、ホワイトバランス調整、色変換処理、またはガンマ補正を含む画像処理が行われていない画像であることを特徴とする請求項２６に記載の画像処理装置。
28. 請求項１から２７のいずれか１項に記載の画像処理装置と、
    被写体を撮像する撮像手段と、を備えることを特徴とする撮像装置。
29. 前記撮像手段により被写体を撮像し画像データを生成する際の露出条件を制御する露出条件制御手段を備え、
    前記露出条件制御手段は、前記第１のモードにてフレームの画像内の被写体の動き量を取得し、前記動き量とフレーム間隔から前記フレームの次のフレームの撮像に係るシャッタ速度およびフレームレートのうちの１つ以上を決定することを特徴とする請求項２８に記載の撮像装置。
30. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、
    画像データに対応する、被写体の深度分布情報を取得する取得手段と、
    前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備え、
    前記制御手段は、複数の被写体のうちの主被写体の位置情報およびサイズ情報の少なくとも１つ以上からスコアを算出し、前記スコアに応じて前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする画像処理装置。
31. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、
    画像データに対応する、被写体の深度分布情報を取得する取得手段と、
    前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備え、
    前記制御手段は、画像間の差分からシーンの変化を検出し、前記シーンの変化に応じて前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする画像処理装置。
32. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置であって、
    画像データに対応する、被写体の深度分布情報を取得する取得手段と、
    前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御手段と、を備え、
    前記制御手段は、前記第１のモードで記録処理された動画像が再生されるときに、当該第１のモードで記録処理された画像であることを報知することを特徴とする画像処理装置。
33. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置の制御方法であって、
    画像データに対応する、被写体の深度分布情報を取得する取得工程と、
    前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御工程と、を有し、
    前記制御工程では、複数の被写体のうち主被写体および背景の深度情報を含む前記深度分布情報を取得し、前記深度分布情報に含まれる主被写体の深度情報と背景の深度情報との差分に応じて、前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする制御方法。
34. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置の制御方法であって、
    画像データに対応する、被写体の深度分布情報を取得する取得工程と、
    前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御工程と、を有し、
    前記制御工程では、複数の被写体のうちの主被写体の位置情報およびサイズ情報の少なくとも１つ以上からスコアを算出し、前記スコアに応じて前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする制御方法。
35. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置の制御方法であって、
    画像データに対応する、被写体の深度分布情報を取得する取得工程と、
    前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御工程と、を有し、
    前記制御工程では、画像間の差分からシーンの変化を検出し、前記シーンの変化に応じて前記第１のモードおよび前記第２のモードのいずれで記録処理を行うかの切替えを制御することを特徴とする制御方法。
36. 複数の画像データを取得して記録媒体に記録する記録手段を備える画像処理装置の制御方法であって、
    画像データに対応する、被写体の深度分布情報を取得する取得工程と、
    前記画像データおよび前記画像データに対応する前記深度分布情報を前記記録手段により前記記録媒体に記録する第１のモードと、前記深度分布情報を記録せずに前記画像データを前記記録手段により前記記録媒体に記録する第２のモードとを切り替えて前記複数の画像データの記録処理を行う制御工程と、を有し、
    前記制御工程では、前記第１のモードで記録処理された動画像が再生されるときに、当該第１のモードで記録処理された画像であることを報知することを特徴とする制御方法。
37. 請求項３３ないし３６のいずれか１項に記載の各ステップを画像処理装置のコンピュータに実行させるプログラム。