JP4844073B2 - 撮像装置 - Google Patents

Description

本発明は、撮影レンズによって撮像素子上に結像された被写体像を光電変換して得られた画像データに基づいて、露出およびホワイトバランスを自動的に補正しつつ、動画撮影を行う撮像装置に関する。

動画撮影を行う撮像装置において、ＣＣＤなどの撮像素子によって得られた画像データの読み出しには、撮像素子の全画素の画素値を読み出す全画面モードと、複数ラインごとに選択されたラインを選択的に読み出すドラフトモードとが一般に用意されている。
従来の撮像装置では、上述したドラフトモードで読み出されたドラフト画像に基づいて、露出およびホワイトバランスの調整のための適切な制御値が決定され、これらの制御値が全画面モードで読み出された撮影画像データに適用される。

ドラフト画像は、撮像素子全体から均一に抽出された画像であるので、上述した処理により、撮像素子に捉えられた視野全体の情報に基づいて、露出およびホワイトバランスの調整が行われる。
一方、1フレームの画像から切り出した各領域について、それぞれ独立にホワイトバランスなどに関する制御値を決定し、決定した制御値をそれぞれの領域に適用する技術も提案されている（特許文献1参照）。

また、従来の露出およびホワイトバランス調整技術では、手ぶれや照明の揺らぎなどに応じてフレームごとに制御値が変動することを避けるために、特に、ホワイトバランスの調整に用いる制御値の決定には、強いヒステリシスを持たせる場合が多い。
特開２００４−１８７１２４号公報

ところで、動画撮影では、主要な被写体が画面内で大きく位置を変えたり、また、被写体の象が画面内で占める領域の面積が大きく変動したりすることがある。このような場合に、従来の技術に従って、画面全体の色情報を考慮してホワイトバランスを決定すると、人物の顔が画面の大部分を占めた場合などに、被写体である人物の顔の肌色を、背景を照明する照明光の色として除去してしまう場合があった。

また、従来の技術では、ドラフト画像も本画像も蓄積時間が同じである。したがって、日影から日向に移動した被写体を追ってカメラがパンした場合などに、撮像素子が飽和状態になってしまうと、当然、露出調整用の制御値の算出に用いられるドラフト画像も白飛びしてしまう。このような場合には、蓄積時間を段階的に削減していきながら、適正な露出時間を探索する必要があるので、適正な露出を決定するために時間がかかってしまう。

また、従来のように大きなヒステリシスを設定した制御では、手ぶれや照明の揺らぎなどの微小な変動の影響によってフレームごとにホワイトバランスが変動することを防ぐことができる反面、場面転換によって撮像素子に捉えられる被写体が大きく変化した場合に、画像の特徴の変化に迅速に対応することは困難である。
本発明は、画面の急激な変化にかかわらず、露出およびホワイトバランスを適正に補正することが可能な撮像装置を提供することを目的とする。

本件開示の第1の撮像装置は、撮影レンズによって撮像素子上に結像された被写体像を光電変換して得られる各フレームの画像データを順次に記録することで動画撮影を行う撮像装置において、領域設定手段は、所定のフレームの画像データの特徴に基づいて、撮像素子によって捉えられる撮像範囲に任意の基準領域を設定する。追尾手段は、所定のフレームについて設定された基準領域に捉えられた被写体像あるいはその一部が前記撮影画像において捉えられる位置のフレームごとの変化に追従するように、前記基準領域を設定する。制御値算出手段は、基準領域に含まれる各画素の画素値に基づいて、それぞれ対応するフレームにおける露出時間およびホワイトバランスの少なくとも一つに関する制御値を算出する。前記制御値算出手段は、各フレームについて追尾手段によって設定された基準領域の画像データを読み出す読出手段を備える。前記読出手段は、前記基準領域に含まれる各画素の画素値を、前記動画撮影のための画像データの記録とは独立に決定した蓄積時間で読み出して、前記制御値を求める演算処理に供する。

このように構成された第1の撮像装置の動作は、下記の通りである。
例えば、領域設定手段により、画面内に捉えられた主要な被写体の代表的な色を示す領域(例えば、被写体が人物である場合の肌色の領域)を基準領域として設定し、追尾手段により、この基準領域を画面内での被写体の移動に合わせて追従させる。読出手段は、この基準領域に含まれる各画素の画素値を読み出して、制御値の算出処理に供する。このようにして、画面内での被写体の動きに基準領域を追従させることにより、各フレームにおいて被写体の同一の部分(例えば、人物の頬の部分など)を表す画像データに基づいて、制御値算出手段により、露出値およびホワイトバランスに関する制御値が算出される。このようにして得られた制御値を露出補正およびホワイトバランス補正に適用することにより、安定的な画像処理を実現することができる。

また、読出手段によって基準領域に属する各画素の画素値を読み出す際の蓄積時間は、通常の動画データとは独立に設定される。例えば、通常の動画データよりも短い蓄積時間で読出手段が基準領域の各画素の画素値を読み出せば、被写体の照度が急激に増大した場合にも、この読出手段によって読み出された画素値が飽和していない可能性が高くなり、適切な露出時間を迅速に探索することが可能である。

本件開示の第２の撮像装置に備えられる追尾手段において、保持手段は、設定された基準領域に捉えられた被写体の像あるいはその一部の特徴を示す情報を保持する。収集手段は、撮影レンズに備えられた角速度センサによって得られる角速度および焦点距離、撮影距離を含む撮影条件を新たなフレームについて収集する。推定手段は、収集手段によって収集された撮影条件に基づいて、新たなフレームにおいて基準領域が存在する可能性のある範囲を推定する。抽出手段は、保持手段に保持された特徴情報に基づいて、推定手段による推定結果で示される範囲から新たなフレームにおける基準領域を抽出する。

このように構成された第２の撮像装置の動作は、下記の通りである。
収集手段によって収集される撮影条件で示される手ぶれの量、焦点距離や撮影距離の変化に基づいて、推定手段によって基準領域が新たなフレームにおいて占める概略の位置が推定される。この推定結果で示される範囲から、抽出手段により、例えば、保持手段に保持された特徴情報に一致する特徴(例えば、色)を持つ領域が抽出され、制御値算出手段による処理に供される。

本件開示の第３の撮像装置に備えられる追尾手段において、同一性判定手段は、収集手段によって収集された撮影条件と撮像装置への電源投入および録画開始を含む撮影にかかわる操作を示す情報とに基づいて、直前のフレームにおける被写体の特徴と新たなフレームにおける被写体の特徴に関する同一性を判定する。この同一性判定手段は、所定の閾値を超える角速度が検出されたときに、被写体が変更されたことを検出する。設定指示手段は、同一性判定手段によって被写体の特徴に関する同一性が否定されたときに、領域設定手段に新たな基準領域の設定を指示する。

このように構成された第３の撮像装置の動作は、下記の通りである。
例えば、角速度センサによって撮像装置の視野が大きくパンしたことが、所定の閾値を超える角速度の検出によって示された場合や焦点距離や撮影距離が大きく変化した場合などには、撮影者の意思によって全く別の被写体が画面に捉えられている可能性が高い。このような場合に、同一性判定手段により、直前のフレームにおける被写体の特徴と新たなフレームにおける被写体の特徴とが同一ではない旨の判定結果が得られ、これに応じて、設定指示手段により、領域設定手段に新たな基準領域の設定が指示される。

上述したように、本発明にかかわる撮像装置によれば、画面内での被写体の動きに応じて、被写体の同一の部分(例えば、人物の頬の部分など)を表す画像データに基づいて、露出値およびホワイトバランスに関する制御値が算出し、露出補正およびホワイトバランス補正に適用することができる。これにより、例えば、被写体が撮像装置に近づいてきて、被写体の像が画面の大部分を占めてしまうような画面の急激な変化が起こった場合にも、適正な露出補正およびホワイトバランス補正を行うことが可能であり、画像処理の安定性の向上を図ることができる。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
（第１の実施形態）
図１に、本発明にかかわる撮像装置の第１の実施形態を示す。
図１に示した撮像装置において、電源投入や撮影ボタンの操作を含む利用者による操作指示は、操作受付部２０１によって受け付けられ、この操作受付部２０１により、入力された操作指示の解釈が行われ、撮像処理部２１０、記録処理部２０３および画質調整処理部２２０への制御指示の作成に供される。

図１に示した撮像処理部２１０において、光学系２１１によって撮像素子２１２上に結像された被写体の像は、この撮像素子２１２による光電変換作用によって電気信号に変換され、更に、信号処理部２１３によって被写体の像を表す画像データに変換されてメモリ２１４に保持される。また、図１に示した自動焦点制御部２１５は、操作受付部２０１からの指示に応じて、このメモリ２１４に保持された画像データあるいは測距部(図示せず)による被写体までの距離に関する測定結果に基づいて光学系２１１を操作し、被写体にピントが合った状態を維持する。一方、図１に示した角速度センサ２１６によって得られた検出結果は、光学系２１１内に設けられた補正光学系(図示せず)の駆動に供されるとともに、画質調整処理部２２０の処理に供される。

また、図1に示した記録処理部２０３は、操作受付部２０１を介して入力される録画開始指示に応じて記録動作を開始し、撮像処理部２１０によって得られた各フレームの画像データを画質調整処理部２２０を介して受け取り、適切な変換処理(例えば、Ｍ−ＪＰＥＧデータへの変換処理)を施した上で記録媒体２０２に記録する。
次に、画質調整処理部２２０の詳細な構成をその動作とともに説明する。

図２に、画質調整動作を表す流れ図を示す。
利用者によって録画開始ボタンが操作されると、図１に示した操作受付部２０１からの指示に応じて、画質調整処理部２２０による画質調整動作が開始される。
まず、画質調整処理部２２０の調整制御部２２４は、読出処理部２２１および制御値算出部２２６に適切な指示を送って、画質制御動作の初期設定を行う(ステップ３０１)。このとき、調整制御部２２４は、読出処理部２２１にドラフトモードでの読み出しを指示し、これに応じて得られたドラフト画像を制御値算出部２２６に渡す。このドラフト画像に基づいて、制御値算出部２２６は、従来と同様の制御値算出処理を実行し、露出制御値およびホワイトバランス制御値を決定し、これらの画像制御値を画質調整部２２７の処理に供する。

また、このとき、図１に示した基準領域決定部２２２により、自動焦点制御部２１５から得られる焦点制御情報に基づいて、例えば、ピントが合っている被写体が捉えられている画面の領域の一部が基準領域(例えば、１０画素×１０画素の領域)として抽出される。そして、この領域を示すアドレス情報が調整制御部２２４に渡され、このアドレス情報で示される領域について得られたドラフト画像に基づいて、調整制御部２２４により、上述した基準領域における画像の色および輝度に関する基準データが求められ、基準領域の位置を示すアドレスとともに基準データ保持部２２５に格納される(図２のステップ３０２)。

次に、図１に示した画質調整部２２７からの指示に含まれる露出制御値に基づいて、読出処理部２２１により、撮像処理部２１０の撮像素子２１２に上述した露出制御値に対応する蓄積時間を設定して得られる出力信号に対応する画像データが１フレーム分の全画素に対応する全画面モードで読み出され(図２のステップ３０３)、画質調整部２２７に渡される。そして、この画質調整部２２７により、上述した制御値算出部２２６によって得られたホワイトバランス制御値が上述した全画面モードの画像データに適用され、画質調整された画像データが記録処理部２０３により記録媒体２０２に記録される(ステップ３０４)。

このようにして１フレームの記録が完了した後、操作受付部２０１によって録画終了を示す操作が受け付けられていなければ（ステップ３０５の否定判定）、以降の基準領域の探索および基準領域の画像に基づく画質調整処理を行う。
図１に示した領域追跡部２２３は、調整制御部２２４を介して上述した基準データ保持部２２５に保持された基準領域のアドレスを受け取り、前のフレームにおける基準領域のアドレスと自動焦点制御部２１５および角速度センサ２１６による検出結果に基づいて、前フレームにおいて基準領域に捉えられていた被写体の像の部分を新たなフレームにおいて占める領域の位置を推定し、該当する領域を探索する(図２のステップ３０６)。

上述したようにして得られた新たな基準領域に関する推定結果に基づいて、読出処理部２２１により、撮像処理部２１０の信号処理部２１３に対して、推定された基準領域を含む所定の範囲の領域(例えば、３０画素×３０画素の領域)に対応する撮像素子２１２の領域について、領域探索用にドラフトモードの蓄積時間とは独立に決定された蓄積時間で得られる出力信号について信号処理を行う旨が指示される。これに応じて、推定された基準領域を含む所定の領域の画像データが上述した信号処理部２１３によって得られ、この画像データが、メモリ２１４を介して読出処理部２２１によって読み出されて、調整制御部２２４の処理に供される(図２のステップ３０７)。なお、読出処理部２２１が基準領域の探索用に読み出す領域の大きさは、撮像素子２１２の全画素数に応じて、例えば、全画素の２５６分の１程度のように、予め決定しておくことができる。

図１に示した調整制御部２２４は、上述したようにして得られた基準領域を含む所定の領域の画像データから求めた色および輝度を示す情報と基準データとを照合し、所定の範囲内で一致していれば、この一致した領域に捉えられた被写体の像の一部と前のフレームにおいて基準領域に捉えられた被写体の像の注目部分とが同一であると判定し、新たなフレームに関する基準領域の探索が成功したと判断する(ステップ３０８の肯定判定)。このとき、調整制御部２２４は、例えば、基準領域を含む所定の領域の画像データをそれぞれ１０画素×１０画素程度のブロックに分割して、これらの各ブロックについて色度座標値および輝度値を求め、これらの色度座標値および輝度値と基準データ保持部２２５に保持された基準データに含まれる色度座標値および輝度値との差のいずれかが所定の閾値以下であるか否かに基づいて、探索が成功したか否かを判断することができる。

上述したようにして得られた各ブロックの色度座標値および輝度との全てと基準データとの差が閾値よりも大きかった場合（ステップ３０８の否定判定の場合）に、調整制御部２２４により、そのフレームに関する領域追跡処理を所定数Ｋ回(例えば、Ｋ＝３)試行したか否かが判定され(ステップ３１１)、否定判定の場合に、領域追跡部２２３に領域追跡処理の再試行が指示され、上述したステップ３０６、３０７の処理が行われる。

このようにして、領域追跡処理を各フレームについて所定数Ｋ回試行するまでに基準領域の探索が成功した場合に(ステップ３０８の肯定判定)、調整制御部２２４は、最も基準データに近い色度座標値および輝度値が得られたブロックを新たな基準領域とし、そのアドレスおよび色度座標値および輝度値を用いて、基準データ保持部２２５の内容を更新するとともに(ステップ３０９)、新たに得られた基準データを制御値算出部２２６に渡す。

これに応じて、制御値算出部２２６により、新たな制御値が算出され(ステップ３１０)、全画面モードで読み出された新たなフレームにおける画質調整処理に供され、適切に画質調整された画像データが記録処理部２０３によって記録媒体２０２に記録される(ステップ３０３、３０４)。
このように、本発明にかかわる撮像装置では、自動焦点制御部２１５および角速度センサ２１６によって得られる検出結果から推定される範囲内に前のフレームにおいて基準領域に捉えられていた被写体の像の注目部分が存在する限り、この該当する部分に関する色や輝度の変化を反映しつつ、適切な露出補正値およびホワイトバランス制御値を求め、新たなフレームの画像データ全体に適用することができる。

これにより、例えば、図３（ａ），（ｂ）に示すように、被写体となった人物が撮像装置に急に近づいてきて、被写体の顔が画面の大部分を占めてしまったような場合でも、その人物の顔の色や輝度に適合した露出補正値およびホワイトバランス制御値を確実に算出し、適用することができる。なぜなら、このような場合には、それまでのフレームにおいて追跡されてきた基準領域に対応する部分(図３の例では、被写体の人物の頬の部分)が新たなフレームにも確実に捉えられているので、上述したようにして、利用者が注目している被写体の色や輝度を忠実に表す画像の部分を確実に抽出することができるからである。

また、追跡された基準領域に含まれる画像データに基づいて画像制御値を求めることにより、利用者が注目している被写体の同一部分の色や輝度を反映した画像制御値を得ることができる。したがって、手ぶれや照明のちらつきなどにかかわらず、画像制御値の安定性を極めて高く保つことと、撮像装置によって捉えられた被写体の像の色や大きさに大きな変化があった場合の追従性を向上することとを実現することができる。

一方、カメラが大きくパンした場合のように、撮像装置によって捉えられる被写体が完全に変わってしまった場合には、当然ながら、上述した基準領域探索処理によっては基準領域が見出せない(ステップ３１１の肯定判定)。このような場合に、図１に示した調整制御部２２４は、新たなフレームの画像データに捉えられた被写体は、それまでの各フレームにおいて捉えられていた被写体とは同一でないと判断し、録画開始時と同様のドラフト画像に基づく画質調整処理を行う。

このとき、読出処理部２２１によって読み出されたドラフト画像は、調整制御部２２４を介して制御値算出部２２６に渡され、このドラフト画像に基づいて画像制御値が算出される(ステップ３１２、３１３)。このようにして得られた画像制御値が適切であった場合に(ステップ３１４の肯定判定)、処理は、ステップ３０２に進み、新たな基準領域の決定および基準データの保持が行われるとともに、新たに求められた画像制御値が全画面モードで読み出された画像データに適用され、記録媒体２０２への記録処理に供される(ステップ３０３,３０４)。

このように、本発明にかかわる撮像装置では、基準領域探索の失敗に応じて、自動的に、録画開始時と同様にドラフトモードで得られるドラフト画像に基づく画質調整処理を行うことにより、大きなシーンの変化にも迅速に対応することができる。
また、もちろん、操作受付部２０１によって電源投入や録画開始、停止および再開などの操作が受け付けられたときに、自動的に、ドラフト画像に基づく画質調整処理を行うことも可能である。更に、例えば、角速度センサ２１６から所定の閾値を超える角速度が検出された旨が通知されたときに、領域追跡部２２３において、利用者の意識的なカメラ操作(つまり、カメラのパン)によってシーンが大きく変化したと判断し、追跡処理を中止して、直ちに、ドラフト画像に基づく画質調整処理を開始することも可能である。

なお、図２に示したステップ３０７の手順において、信号処理部２１３は、読出処理部２２１からの指示に応じて、全画面モードやドラフトモードでの蓄積時間にかかわらず、これとは全く独立な領域探索用の蓄積時間で得られる撮像素子２１２の出力信号に関する信号処理を行い、得られた画像データをメモリ２１４を介して画質調整処理部２２０の処理に供している。したがって、例えば、全画面モードやドラフトモードよりも短い蓄積時間で上述した基準領域にかかわる撮像素子２１２の出力信号に対応する画像データを得ることにより、飽和状態となっていない可能性の高い画像データを露出制御値の算出処理に供することができる。

これにより、例えば、図３（ｂ）に示したように、被写体の人物が撮像装置に急激に近づいたために、被写体の輝度が急峻に増大した場合などにも、基準領域に対応して得られた画像データに基づいて露出制御値を求めることにより、被写体の輝度の増大を見越して露出時間を調整することができる。
昼間の屋外のように、十分な明るさが期待できる撮影環境では、記録媒体２０２に記録される全画面モードの画像データの取得に必要な蓄積時間が短いので、上述したように、全画面モードの画像データの取得に先立って、領域探索のための限定的な露光および部分的な画像データの取得を行うことは十分に可能である。また、更に、領域探索用の蓄積時間を適切な値に設定すれば、図２のステップ３０６〜３０８およびステップ３１１の処理を複数回繰り返して基準領域を探索することも十分に可能である。

一方、十分な明るさが期待できない環境では、例えば、あるフレームにおける基準領域の探索が失敗した場合に、暫定的に前のフレームの画像制御値を適用してそのフレームの記録を行い、所定数のフレームに渡って連続して探索が失敗したときに、図２に示したステップ３１２に進んで、画像制御値の再設定を行うこともできる。

本発明にかかわる撮像装置によれば、動画撮影の際の画質調整値に関する制御において、被写体の像に関する揺らぎに左右されない安定性と被写体の変化に対する追従性とを両立させることができるので、一般的な利用者を想定した動画撮影装置の分野において、極めて有用である。

本発明にかかわる撮像装置の第１の実施形態を示す図である。 画質調整動作を表す流れ図である。 基準領域追跡処理を説明する図である。

符号の説明

２０１…操作受付部、２０２…記録媒体、２０３…記録処理部、２１０…撮像処理部、２１１…光学系、２１２…撮像素子、２１３…信号処理部、２１４…メモリ、２１５…自動焦点制御部、２１６…角速度センサ、２２０…画質調整処理部、２２１…読出処理部、２２２…基準領域決定部、２２３…領域追跡部、２２４…調整制御部、２２５…基準データ保持部、２２６…制御値算出部、２２７…調整処理部

Claims (3)

1. 撮影レンズによって撮像素子上に結像された被写体像を光電変換して得られる各フレームの画像データを順次に記録することで動画撮影を行う撮像装置において、
   所定のフレームの前記画像データの特徴に基づいて、前記撮像素子によって捉えられる撮像範囲に任意の基準領域を設定する領域設定手段と、
   前記所定のフレームについて設定された前記基準領域に捉えられた被写体像あるいはその一部が前記撮影画像において捉えられる位置のフレームごとの変化に追従するように、前記基準領域を設定する追尾手段と、
   前記基準領域に含まれる各画素の画素値に基づいて、それぞれ対応するフレームにおける露出時間およびホワイトバランスの少なくとも一つに関する制御値を算出する制御値算出手段とを備え、
   前記制御値算出手段は、各フレームについて追尾手段によって設定された基準領域の画像データを読み出す読出手段を備え、
   前記読出手段は、前記基準領域に含まれる各画素の画素値を、前記動画撮影のための画像データの記録とは独立に決定した蓄積時間で読み出して、前記制御値を求める演算処理に供する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   追尾手段は、
   設定された基準領域に捉えられた被写体の像あるいはその一部の特徴を示す情報を保持する保持手段と、
   前記撮影レンズに備えられた角速度センサによって得られる角速度および焦点距離、撮影距離を含む撮影条件を新たなフレームについて収集する収集手段と、
   前記収集手段によって収集された撮影条件に基づいて、新たなフレームにおいて基準領域が存在する可能性のある範囲を推定する推定手段と、
   前記保持手段に保持された特徴情報に基づいて、前記推定手段による推定結果で示される範囲から前記新たなフレームにおける基準領域を抽出する抽出手段とを備えた
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記追尾手段は、
   前記収集手段によって収集された撮影条件と前記撮像装置への電源投入および録画開始を含む撮影にかかわる操作を示す情報とに基づいて、直前のフレームにおける被写体の特徴と新たなフレームにおける被写体の特徴に関する同一性を判定する同一性判定手段と、
   前記同一性判定手段によって被写体の特徴に関する同一性が否定されたときに、前記領域設定手段に新たな基準領域の設定を指示する設定指示手段とを備え、
   前記同一性判定手段は、所定の閾値を超える角速度が検出されたときに、被写体が変更されたことを検出する
   ことを特徴とする撮像装置。

Images