JP4957461B2

JP4957461B2 - 撮像装置及び撮像方法

Info

Publication number: JP4957461B2
Application number: JP2007222543A
Authority: JP
Inventors: 公輔岡部
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-08-29
Filing date: 2007-08-29
Publication date: 2012-06-20
Anticipated expiration: 2027-08-29
Also published as: JP2009055539A

Description

本発明は、撮像装置及び撮像方法に関する。

撮像装置には、被写体の中から人物の顔を検出して、検出された顔を基準に露出制御、フォーカス制御、ホワイトバランス制御を行うものがある。スチールカメラ等を用いた静止画の撮影では、まず、本撮影前に予備的な撮影を行って、被写体との距離を算出したり、露出条件等を算出したりして、露出制御等を行っている。

また、スチールカメラによる静止画の連続撮影モードでは、顔検出を行う場合、連続的な本撮影の各コマ毎に毎回予備的な撮影を行う必要があった。そのため、連続撮影の際のコマ速度が遅くなるという問題があった。そこで、特許文献１では、予備的撮影を省くことで、コマ速度の低下を防止することが可能な技術が開示されている。

特開２００６−１５７６１７号公報

一方、ビデオカメラ等を用いた動画の撮影では、顔検出は行われていなかった。即ち、動画の撮影では、予備的な撮影を行うことができない。また、顔検出をしながら露出制御等を行うと、被写体の動きやカメラの動きに対して、逐次制御値を変更する必要があり安定した映像を得ることができないという問題があった。

また、上記の特許文献１の撮像装置では、連続撮影の顔検出の際、顔が検出されないとき、顔位置を取得できた前後のコマの顔位置から取得でなかったコマの顔位置を補間処理し顔位置を算出する。しかし、特許文献１の技術によれば、常に顔検出をしながら露出等の制御を行っているため、被写体の動きやカメラの動きを伴った撮影時には、露出等の制御が急峻になってしまうという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、人物の顔検出をして撮影するとき、顔に基づく撮影制御を安定して行うことが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像面に結像した被写体から人物の顔を検出する顔検出部と、顔検出部によって人物の顔が検出されたとき安定度を増加させ、顔検出部によって人物の顔が検出されないとき安定度を減少させる安定度算出部と、安定度算出部で算出された安定度に基づいて、検出された顔に基づく撮影制御を行うことを特徴とする撮像装置が提供される。

かかる構成により、顔検出部は、撮像面に結像した被写体から人物の顔を検出し、安定度算出部は、顔検出部によって人物の顔が検出されたとき安定度を増加させ、顔検出部によって人物の顔が検出されないとき安定度を減少させる。そして、安定度算出部で算出された安定度に基づいて、検出された顔に基づく撮影制御を行うので、撮影制御が安定して行われる。

上記安定度算出部は、検出された顔の顔検出位置に対して顔検出枠を設定し、所定周期ごとに、顔検出枠内に人物の顔が少なくとも一部検出されたとき安定度を増加させ、顔検出枠内に人物の顔が検出されないとき安定度を減少させるものであってもよい。

上記安定度が所定の第１の閾値以上であるとき、検出された顔に基づく撮影制御を開始するものであってもよい。また、上記検出された顔に基づく撮影制御をしているとき、安定度が所定の第２の閾値以下となった場合に、検出された顔に基づく撮影制御を停止するものであってもよい。

上記撮像面上の被写体の動きに応じて、安定度算出部は、安定度の所定周期ごとの増減量を変化させるものであってもよい。

上記撮像面上の被写体の動きが少ないとき、安定度算出部は、撮像面上の被写体の動きが多いときに比して安定度の増加量を増加させるものであってもよい。かかる構成により、例えば、ポートレート撮影時など被写体の動きが少ないとき、顔に基づく撮影制御への切り替えを早めることができる。

上記撮像面上の被写体の動きが大きいとき、安定度算出部は、撮像面上の被写体の動きが少ないときに比して安定度の減少量を増加させるものであってもよい。かかる構成により、例えば、スポーツ撮影時など被写体の動きが多いとき、顔に基づく撮影制御から通常の撮影制御への切り替えを早めることができる。

上記撮像面上の被写体の動きに応じて、第１の閾値の値を変化させるものであってもよい。また、上記撮像面上の被写体の動きが少ないとき、撮像面上の被写体の動きが多いときに比して第１の閾値を低下させるものであってもよい。かかる構成により、例えば、ポートレート撮影時など被写体の動きが少ないとき、顔に基づく撮影制御への切り替えを早めることができる。

上記撮像面上の被写体の動きに応じて、第２の閾値の値を変化させるものであってもよい。また、上記撮像面上の被写体の動きが大きいとき、撮像面上の被写体の動きが少ないときに比して第２の閾値を増加させるものであってもよい。かかる構成により、例えば、スポーツ撮影時など被写体の動きが多いとき、顔に基づく撮影制御から通常の撮影制御への切り替えを早めることができる。

上記撮像面上の被写体の動きに応じて、顔検出位置に対する顔検出枠の位置又は大きさを変化させるものであってもよい。

上記検出された顔に基づく撮影制御は、検出された顔に基づいてホワイトバランス処理を行う制御であってもよい。また、上記検出された顔に基づく撮影制御は、検出された顔に基づいた露出制御であってもよい。更に、上記検出された顔に基づく撮影制御は、検出された顔を中心とした合焦を行うフォーカス制御であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像面に結像した被写体から人物の顔を検出するステップと、人物の顔が検出されたとき安定度を増加させるステップと、人物の顔が検出されないとき安定度を減少させるステップと、算出された安定度に基づいて、検出された顔に基づく撮影制御を行うステップとを含むことを特徴とする撮像方法が提供される。

本発明によれば、人物の顔検出をして撮影するとき、顔に基づく撮影制御を安定して行うことができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態の構成）
まず、本発明の第１の実施形態に係る撮像装置について説明する。図１は、本実施形態に係る撮像装置を示すブロック図である。

撮像装置１００は、動きのある被写体を撮影して、動画を記録することが可能な装置であり、例えば、カムコーダ等である。なお、本発明は、動画撮影用のビデオカメラに限定されず、静止画を撮影するためのスチールカメラに適用することができ、スチールカメラの連続撮影モードに適用して好適である。撮像装置１００は、例えば、光学系１０２と、撮像素子１２０と、増幅回路１２２と、信号処理部１３０と、マイクロコンピュータ１４０と、記録部１５０等からなる。

光学系１０２は、被写体からの反射光を捉えて、撮像素子１２０面上に被写体像を結像させる。光学系１０２は、例えば、ズームレンズ１０３と、絞り１０４と、光学フィルタ１０５と、フォーカスレンズ１０６等からなる。ズームレンズ１０３と、絞り１０４と、光学フィルタ１０５と、フォーカスレンズ１０６は、光路上に配置される。また、光学系１０２の各構成要素は、それぞれ絞り駆動部１１２、光学フィルタ駆動部１１４、フォーカス駆動部１１６等の駆動部によって駆動制御される。

ズームレンズ１０３は、焦点距離を変化させることができるレンズである。ズームレンズ１０３を備えることによって、撮像装置１００は被写体を望遠から広角にわたって捉えることができる。絞り１０４は、撮像素子１２０に到達する光量を調節する。光学フィルタ１０５は、入射された光について特定の波長を制限したり偏向によって制限したりする。フォーカスレンズ１０６は、被写体を撮像素子１２０面上に合焦させる。

絞り駆動部１１２は、露出条件に応じて光量を調節するため、絞り１０４の絞り孔を拡げたり狭めたりさせる。光学フィルタ駆動部１１４は、例えば利用者によって選択された撮影モードによって、光学フィルタ１０６を光路上に設置させたり、光路から外れるように解除させたりする。ここで、利用者が選択できるモードとは、例えば、撮影時のシーンや撮影条件設定等である。フォーカス駆動部１１６は、フォーカスレンズ１０６を前後に移動するように駆動させる。

撮像素子１２０は、光学系１０２を通過して入射した光を光電変換によって電気信号に変換させる。撮像素子１２０で生成された電気信号は、増幅回路１２２に出力される。撮像素子１２０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサーなどである。増幅回路１２２は、撮像素子１２０から出力された電気信号を画像信号として任意のレベルまで増幅し、所定の撮像周期ごとに信号処理部１３０に画像信号を出力する。

信号処理部１３０は、画像信号について画像処理をし、処理後の加工された映像情報を所定の撮像周期で記録部１５０に出力する。信号処理部１３０は、例えば、顔検出部１３１と、安定度算出部１３２と、検波部１３３等からなる。

顔検出部１３１は、撮像素子１２０が捉えた画面内から人物の顔を検出する。顔検出部１３１の顔検出方法は、通常の技術を適用することができ、ここでは詳細な説明を省略する。

安定度算出部１３２は、単位時間毎に顔検出部１３１で検出された顔が所定の範囲（顔検出範囲）内に存在するかを判断し、所定の範囲内に顔が存在する場合は、安定度を加算していく。所定の範囲内とは、例えば、図３に示すように検出された顔検出位置よりも広い範囲であるＸ×Ｙの範囲である。なお、図３は、本実施形態の撮像装置が捉える撮影画面と顔検出位置を示す説明図である。図３に示すＸは、座標位置Ｘ_１からＸ_２の範囲であり、Ｙは座標位置Ｙ_１からＹ_２の範囲である。また、顔検出範囲Ｘ×Ｙは、顔検出位置に対して対称形状ではなくてもよい。例えば、被写体の速度やカメラのパンやチルトの動作速度を検出して、顔検出位置に対する顔検出範囲Ｘ×Ｙの位置や大きさが設定されるとしてもよい。

検波部１３３は、撮像素子１２０に入射している被写体の光量を逐次検出する。検波部１３３は、検出された光量をマイクロコンピュータ１４０に出力する。

マイクロコンピュータ１４０は、例えば、ＣＰＵ（Central Processing Unit）であり、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御することができる。マイクロコンピュータ１４０は、検波部１３３で検出された光量の信号をもとに記録部１５０に記録する画像が適切な明るさとなるように調節する。例えば、マイクロコンピュータ１４０は、絞り１０４や光学フィルタ１０５を駆動させたり、シャッタースピード、ゲインなどを調節したりして画像の明るさを変化させる。

また、マイクロコンピュータ１４０は、信号処理部１３０が取得する光量のエリアを指定する。光量を取得するエリアは、例えば、画面全体や画面の一部、または顔を検出した位置などである。

更に、マイクロコンピュータ１４０は、例えば、ホワイトバランス制御部１４１と、露出制御部１４２と、合焦位置検出部１４３等を有する。

ホワイトバランス制御部１４１は、入力された画像信号に基づいて取り込まれた被写体の画像のホワイトバランスを調節する。ホワイトバランス制御部１４１は、安定度算出部１３２で算出された安定度に応じて、顔位置を基準としたホワイトバランス処理を行う。露出制御部１４２は、撮像素子１２０に入射された光量に応じて絞り、シャッタースピードを調節して露光を調節する。

合焦位置検出部１４３は、撮像素子１２０に入射され撮像素子１２０から出力された電気信号に基づいて、画像のコントラストなどを算出し、撮像素子１２０面上で被写体が合焦する位置を検出する。なお、合焦位置検出部１４３の合焦位置検出は、コントラスト検出方式に限定されず、通常の技術を適用することができる。

記録部１５０は、信号処理部１３０で信号処理された画像を所定の撮影周期ごとに記録する。記録部１５０は、例えば、ハードディスクドライブ、ＤＶＤなどを適用する光ディスクドライブなどである。

（第１の実施形態の動作）
次に、本発明の第１の実施形態に係る撮像装置の動作について説明する。図２は、本実施形態に係る撮像素子の動作を示すフローチャートである。

まず、撮影が開始されると、光学系１０２を介して被写体の画像が撮像素子１２０に取り込まれる。そして、撮像素子１２０から電気信号が出力され、信号処理部１３０に画像信号として信号が入力される。

信号処理部１３０の顔検出部１３１は、画像内に人物の顔が検出されたか否かを判断する（ステップＳ１０１）。撮像装置１００は、顔が検出されるまで通常の露出制御を行う。顔が検出されたとき、顔検出位置を記録する（ステップＳ１０２）。次に、安定度算出部１３２は、顔検出位置を基準として、画面内に図３に示すようなＸ×Ｙの顔検出枠を設定する（ステップＳ１０３）。

安定度算出部１３２は、Ｘ×Ｙの顔検出枠に顔が検出されているとき、単位時間（例えば、画更新周期）ごとに安定度ｓのカウントを増加させる。まず、安定度算出部１３２は、顔検出枠を設定すると、安定度ｓ＝０を設定する。そして、単位時間ｔ秒後に顔が顔検出枠に検出されたかを判断する（ステップＳ１０４）。顔検出枠に顔が滞留していたことによって顔が検出されたとき、安定度算出部１３２は安定度ｓを１増加させる（ステップＳ１０５）。一方、顔が検出されなかったとき、安定度算出部１３２は安定度ｓを１減少させる（ステップＳ１０９）。安定度ｓは、図４に示すように時間が経過するにつれて増減する。図４は、本実施形態の安定度と時間の関係を示すグラフである。

安定度ｓを１増加させたとき、安定度算出部１３２は安定度ｓが閾値Ｓ_１（第１の閾値）以上となるかを判断する（ステップＳ１０７）。安定度ｓが閾値Ｓ_１以上となった場合、即ち図４の時間ｔ_１のとき、顔検出位置を基準として、ホワイトバランス制御、露出制御、オートフォーカス制御を行う（ステップＳ１０８）。一方、安定度ｓがＳ_１未満であるとき、例えば図４の時間ｔ_１より前の時間では、顔位置を基準としたホワイトバランス制御等は行わず、引き続き通常の露出制御を行う。

安定度ｓは、顔が検出され続けたのち、顔が検出されなくなるまで、図４に示すように安定度Ｓ_２まで増加する。一方、顔が検出されないとき、安定度算出部１３２は安定度ｓを１減少させる（ステップＳ１０９）。そして、図４に示すように閾値Ｓ_１を超えて顔位置を基準としたホワイトバランス制御等が動作しているとき（ステップＳ１１０）、安定度算出部１３２は安定度ｓが閾値Ｓ_３（第２の閾値）以下になるかを判断する（ステップＳ１１１）。

安定度ｓが閾値Ｓ_３以下となった場合、即ち図４の時間ｔ_３以降のとき、顔位置を基準としたホワイトバランス制御等を停止して、通常の露出制御を行う（ステップＳ１１２）。一方、顔位置を基準としたホワイトバランス制御等が動作しているとき、安定度ｓが閾値Ｓ_３を下回る以前、即ち図４のｔ_１〜ｔ_３の間は、顔位置を基準としたホワイトバランス制御等を継続する。

以上のように、本実施形態によれば、一度安定度ｓが閾値Ｓ_１以上となり閾値Ｓ_３以下となるまでの間は、依然として顔が検出される可能性があるとして、顔位置を基準としたホワイトバランス制御等を継続する。例えば、顔が検出されないため安定度ｓを減少させたとしても安定度ｓがＳ_３を超えているときは、顔位置を基準としたホワイトバランス制御等が行われる。

そして、安定度ｓの値が高い値であるときは、顔が検出されないことにより顔位置を基準としたホワイトバランス制御等を停止させないため、急峻な制御が行われることなく適切な制御を行うことができる。また、顔の明るさが急に変化した場合においても、安定度から推測することによって顔位置に対しての制御を継続することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、安定度算出部１３２における安定度の増減はそれぞれ１としたが、本発明はかかる例に限定されない。例えば、安定度の増減の値は同じではなくてもよく、増加のほうを減少より大きい値としてもよいし、反対に減少のほうを増加より大きい値としてもよい。

また、安定度を常に同じ値とするのではなく、撮影モードによって安定度の値を変化させてもよい。例えば、撮像装置おけるポートレートモードのように人物を撮影するモードでは、安定度の増加を通常より大きい値としてもよい。このような制御によって、撮像装置は顔を基準とした露出制御等にすぐに切り替わることができる。また、例えばスポーツのような動きの速い被写体を撮影するときは、安定度の減少を通常より大きい値としてもよい。このような制御によって、撮像装置は顔の位置で制御が安定しないことを抑制することができる。

また、例えば、上記実施形態では、図４に示すように閾値Ｓ_１、Ｓ_３を設定したが、本発明は図４に示す例に限定されず、Ｓ_１、Ｓ_３の値や大小関係は任意に設定することができる。また、上述した安定度の場合と同様に、撮影モードによって閾値Ｓ_１、Ｓ_３の値を変化させてもよい。具体的には、撮像面上の被写体の動きが少ないとき、撮像面上の被写体の動きが多いときに比してＳ_１を低下させてもよく、撮像面上の被写体の動きが大きいとき、撮像面上の被写体の動きが少ないときに比してＳ_３を増加させてもよい。

本発明の第１の実施形態に係る撮像装置を示すブロック図である同実施形態に係る撮像素子の動作を示すフローチャートである。同実施形態の撮像装置が捉える撮影画面と顔検出位置を示す説明図である。同実施形態の安定度と時間の関係を示すグラフである。

符号の説明

１００撮像装置
１０２光学系
１０３ズームレンズ
１０４絞り
１０５光学フィルタ
１０６フォーカスレンズ
１１２絞り駆動部
１１４光学フィルタ駆動部
１１６フォーカス駆動部
１２０撮像素子
１２２増幅回路
１３０信号処理部
１３１顔検出部
１３２安定度算出部
１４０マイクロコンピュータ
１４１ホワイトバランス制御部
１４２露出制御部
１４３合焦位置検出部
１５０記録部

Claims

撮像面に結像した被写体から連続的に人物の顔を検出する顔検出部と、
前記顔検出部によって前記人物の顔が検出されたとき安定度を増加させ、前記顔検出部によって前記人物の顔が検出されないとき前記安定度を減少させる安定度算出部と、
前記安定度算出部で算出された前記安定度が第１の閾値以上であるとき、前記検出された顔に基づく撮影制御を開始する、撮像装置。
撮像面に結像した被写体から連続的に人物の顔を検出する顔検出部と、
前記顔検出部によって前記人物の顔が検出されたとき安定度を増加させ、前記顔検出部によって前記人物の顔が検出されないとき前記安定度を減少させる安定度算出部と、
前記安定度算出部で算出された前記安定度が第２の閾値以下であるとき、前記検出された顔に基づく撮影制御を停止する、撮像装置。
前記安定度算出部は、前記検出された顔の顔検出位置に対して顔検出枠を設定し、所定周期ごとに、前記顔検出枠内に前記人物の顔が少なくとも一部検出されたとき前記安定度を増加させ、前記顔検出枠内に前記人物の顔が検出されないとき前記安定度を減少させる、請求項１または２に記載の撮像装置。
前記撮像面上の前記被写体の動きに応じて、前記安定度算出部は、前記安定度の前記所定周期ごとの増減量を変化させる、請求項３に記載の撮像装置。
前記撮像面上の前記被写体の動きが少ないとき、前記安定度算出部は、前記撮像面上の
前記被写体の動きが多いときに比して前記安定度の増加量を増加させる、請求項４に記載の撮像装置。
前記撮像面上の前記被写体の動きが大きいとき、前記安定度算出部は、前記撮像面上の前記被写体の動きが少ないときに比して前記安定度の減少量を増加させる、請求項４に記載の撮像装置。
前記撮像面上の前記被写体の動きに応じて、前記第１の閾値の値を変化させる、請求項１に記載の撮像装置。
前記撮像面上の前記被写体の動きが少ないとき、前記撮像面上の前記被写体の動きが多いときに比して前記第１の閾値を低下させる、請求項７に記載の撮像装置。
前記撮像面上の前記被写体の動きに応じて、前記第２の閾値の値を変化させる、請求項２に記載の撮像装置。
前記撮像面上の前記被写体の動きが大きいとき、前記撮像面上の前記被写体の動きが少ないときに比して前記第２の閾値を増加させる、請求項９に記載の撮像装置。
前記撮像面上の前記被写体の動きに応じて、前記顔検出位置に対する前記顔検出枠の位置又は大きさを変化させる、請求項３に記載の撮像装置。
前記顔検出部は、前記撮像面に結像した被写体から所定周期ごとに人物の顔を検出する、請求項１または２に記載の撮像装置。
前記検出された顔に基づく撮影制御は、前記検出された顔に基づいてホワイトバランス処理を行う制御である、請求項１または２に記載の撮像装置。
前記検出された顔に基づく撮影制御は、前記検出された顔に基づいた露出制御である、請求項１または２に記載の撮像装置。
前記検出された顔に基づく撮影制御は、前記検出された顔を中心とした合焦を行うフォーカス制御である、請求項１または２に記載の撮像装置。
撮像面に結像した被写体から連続的に人物の顔を検出するステップと、
前記人物の顔が検出されたとき安定度を増加させるステップと、
前記人物の顔が検出されないとき前記安定度を減少させるステップと、
前記算出された前記安定度が第１の閾値以上のとき、前記検出された顔に基づく撮影制御を開始するステップと、
を含む、撮像方法。
撮像面に結像した被写体から連続的に人物の顔を検出するステップと、
前記人物の顔が検出されたとき安定度を増加させるステップと、
前記人物の顔が検出されないとき前記安定度を減少させるステップと、
前記算出された前記安定度が第２の閾値以下のとき、前記検出された顔に基づく撮影制御を停止するステップと、
を含む、撮像方法。