JP5359337B2

JP5359337B2 - 電子スチルカメラ

Info

Publication number: JP5359337B2
Application number: JP2009028776A
Authority: JP
Inventors: 洋介河野; 正永中村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-02-10
Filing date: 2009-02-10
Publication date: 2013-12-04
Anticipated expiration: 2029-02-10
Also published as: JP2010187110A

Description

本発明は、被写体画像中の人物の顔表情を検出して自動撮影を行う電子スチルカメラに関する。

従来、被写体人物の笑顔の度合い（スマイルレベル）を検出してレリーズ動作を行うカメラが知られている。このカメラは、ユーザーがマニュアルで３段階のスマイルレベルを設定し、被写体人物の笑顔がその設定したスマイルレベルであることを検出した時に撮影するというものである。

しかしながら、上記のカメラにおいては、撮影者が撮影環境や撮影状況に応じてマニュアルでスマイルレベルを設定しなければならず、非常に面倒であるという問題がある。

請求項１の発明による電子スチルカメラは、被写体を撮像して被写体画像データを出力する撮像手段と、前記被写体画像データ中の被写体人物の顔表情が所定の顔表情レベルになったことを検出すると、検出信号を発する顔表情検出手段と、前記顔表情検出手段の前記検出信号に基づき、自動的に撮影動作を実行する自動撮影手段と、ＧＰＳの位置情報から撮影を行う地域を特定する撮影地域特定手段と、前記撮影地域特定手段により特定された撮影地域に基づいて前記所定の顔表情レベルを自動的に設定するレベル設定手段と、を備えることを特徴とする。

本発明の電子スチルカメラによれば、顔表情レベルを検出して自動撮影を行う際に、撮影地域に応じて被写体に適した顔表情レベルを設定できるので、ユーザーは煩わしい設定操作から解放される。

本発明の第１の実施の形態に係る電子スチルカメラの構成を示すブロック図である。本発明の第２の実施の形態に係る電子スチルカメラの構成を示すブロック図である。

以下、本発明の実施の形態による電子スチルカメラについて、図面を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の第１の実施の形態による電子スチルカメラの構成を示すブロック図である。
図１に示されるように、電子スチルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４および画像処理部１５を備える。また、電子スチルカメラは、画像記録部１６、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１７、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１８、バス１９、撮影モード選択部２８、顔表情設定部３２、表示制御部４１およびディスプレイ４２を備える。

画像処理部１５、画像記録部１６、ＣＰＵ１７、ＲＯＭ１８、撮影モード選択部２８、顔表情設定部３２および表示制御部４１は、バス１９を介して互いに接続されている。

ＣＰＵ１７は、顔検出部２１、顔表情検出部２３、自動撮影部２７、レベル自動設定部３０および撮影条件設定部３１として機能する。
ＲＯＭ１８は、顔データ記憶部２２、顔表情データ記憶部２４および顔表情レベルデータ記憶部２６として機能する。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介してディスプレイ４２に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介して画像記録部１６にて記録される。

画像記録部１６は、画像データとその画像データに関する属性データ（タグ情報）とを関連付けて不揮発性のメモリ（記憶媒体）１６ａに記録する。画像データには、被写体を撮影レンズ１１、絞り１２、撮像素子１３によって撮影した被写体画像や、外部機器から画像記録部１６に入力された被写体画像が含まれる。

顔検出部２１は、被写体画像データを入力し、これを顔データ記憶部２２に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。被写体人物が複数人の場合は各人の顔を検出する。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

顔表情検出部２３は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、被写体画像データ中の被写体人物の顔表情が所定の顔表情に対応することを検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、これらの複数の顔表情データを記憶している。

顔表情検出部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

また、顔表情検出部２３は、顔表情の検出だけではなく、顔表情の度合い（顔表情レベル）を検出する。すなわち、顔表情検出部２３は、顔検出部２１により検出された顔領域の画像の表情の度合いを顔表情レベルデータ記憶部２６に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔の表情レベルが所定の顔表情レベルデータのいずれに対応するかを判定することができる。顔表情検出部２３は、被写体人物の顔表情の度合いが所定の顔表情レベルに対応すると判定されると検出信号を発生する。

顔表情レベルデータ記憶部２６は、顔表情の種類毎に表情の度合い（顔表情レベル）を表すデータ記憶している。例えば、笑顔であれば、微笑、中位の笑い、大笑いという３段階の笑顔レベルデータを記憶している。

笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

自動撮影部２７は、顔表情検出部２３からの検出信号に応じて撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の自動撮影を行う。この自動撮影は、顔表情検出部２３が検出した被写体人物の顔表情レベルが所定の顔表情レベル、例えば笑顔レベルが中笑いであるとき、１枚の画像を撮像する。

撮影モード選択部２８は、ＲＯＭ１８にプログラムされているいくつかの撮影モードのうちから、外部操作により任意の撮影モードを選択するための操作部である。撮影モードとしては、「ポートレートモード」、「パーティーモード」、「お見合い写真モード」、「美肌モード」、「夜景モード」、「夕暮モード」、「風景モード」、「スポーツモード」、「花火モード」、「逆光モード」、「水中モード」、「クローズアップモード」などがある。これらの撮影モードのいずれかが選択されると、その選択された撮影モードに応じて、絞り値、シャッタタイム（露出時間）、撮像素子の感度、ホワイトバランス、フラッシュ（ストロボ）使用の要否、画像処理などの撮影条件が検定される。

例えば、ポートレートモードでは、背景をぼかして人物を浮かび上がらせるために、絞りを開放に設定する。パーティーモードでは、フラッシュ発光を禁止とし、手振れの影響を抑えつつ部屋の人工照明下でも自然な色合いを出すために、高感度に設定する。お見合い写真モードでは、優しい雰囲気を表現しつつ肌色を奇麗に見せるために、デジタル的なソフトフォーカス画像処理を実行する。

レベル自動設定部３０は、自動撮影部２７が自動撮影を行うための所定の顔表情レベルを自動設定する。レベル自動設定部３０は、撮影モード選択部２８によって選択した撮影モードに基づいてこの自動設定を行う。例えば、ポートレートモードが選択された場合は、レベル自動設定部３０は、微笑、中笑い、大笑いという３段階の笑顔レベルのうち、中笑いを設定する。

また、パーティーモードが選択された場合は、大笑いを設定する。これは、パーティー会場では和やかな雰囲気の中で人物の笑顔レベルも必然的に上昇すると予想されるからである。
更に、お見合い写真モードが選択された場合は、微笑みを設定する。お見合い写真を撮影するときに、中笑いや大笑いを検出して撮影することは意図に沿わないからである。

撮影条件設定部３１は、撮影モード選択部２８によって選択した撮影モードに基づいて撮影条件を自動的に設定する。
したがって、自動撮影部２７は、撮影条件設定部３１によって自動設定された撮影条件で、顔表情検出部２３からの検出信号に応じて被写体の自動撮影を行う。

顔表情設定部３２は、被写体人物の顔表情の種類を外部から設定する操作部であり、笑顔を含む複数の顔表情の設定ができる。例えば、顔表情の設定が笑顔であれば、顔表情検出部２３は、所定の笑顔レベルを検出して検出信号を発生する。

表示制御部４１は、ディスプレイ４２による表示を制御する。すなわち、表示制御部４１は、ディスプレイ４２がスルー画像の表示、バッファメモリ１４に一時的に記録されている被写体画像の表示、画像記録部１６のメモリ１６ａに保存された被写体画像の再生表示を行なう時の表示態様を制御する。

ディスプレイ４２は、表示制御部４１の指令により、スルー画像、バッファメモリ１４に一時的に記録されている被写体画像、メモリ１６ａに保存された被写体画像の表示を行い、被写体画像に関連する属性情報の表示を行う。また、ディスプレイ４２は、表示制御部４１の指令により、撮影モード選択用の画面を表示する。

以上のように構成された電子スチルカメラは次のように動作する。
先ず、撮影モード選択部２８によって撮影モードとして上述した「パーティーモード」を選択し、顔表情設定部３２によって所定の顔表情として「笑顔」を設定する。レベル自動設定部３０は、このパーティーモードに基づいて所定の笑顔レベルを大笑いに自動設定する。一方、撮影条件設定部３１は、このパーティーモードに基づいてフラッシュ発光禁止及び高感度などの撮影条件を設定する。
なお、パーティーモードで大笑いを選択することにより、パーティー会場で頻繁に見られる微笑みや中笑いを検出して撮影することがなくなるので、無駄な撮影画像を削除する手間を省くことができる。

顔検出部２１は、スルー画像を顔データ記憶部２２の顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。
顔表情検出部２３は、顔検出部２１により検出された顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、スルー画像中の被写体人物の顔表情が笑顔であることを検出する。顔表情検出部２３は、更に、笑顔レベルを検出する。すなわち、上記の顔領域の画像の顔表情を顔表情レベルデータ記憶部２６に記憶された笑顔レベルデータと比較して、被写体人物の笑顔レベルを検出し、笑顔レベルが大笑いであると判定すると、大笑いを表す検出信号を出力する。

自動撮影部２７は、この検出信号に応じて、笑顔レベルが大笑いであることが検出された被写体人物の自動撮影を行う。この自動撮影は、撮影条件設定部３１によって設定された撮影条件の下で行われる。自動撮影によって得られた被写体画像データは、大笑いの笑顔が検出された画像データであることを示す属性データとともにメモリ１６ａに記録される。属性データには、撮影モードがパーティーモードであるとの情報を付加してもよい。

本実施の形態による電子スチルカメラは以下の作用効果を奏する。
（１）選択した撮影モードに応じて自動撮影を行うための笑顔レベルを設定するので、被写体の環境、状況に適した笑顔レベルを設定できる。
（２）被写体の環境、状況に適した笑顔レベルの人物だけが撮影対象となるので、ユーザーが意図しない自動撮影は行われなくなる。
（３）笑顔レベルが自動的に設定されるので、ユーザーは顔表情レベルの設定操作から解放される。

本実施の形態では、撮影モードとして「パーティーモード」、所定の顔表情として「笑顔」を設定した場合の動作を説明したが、他の撮影モード、他の顔表情を設定することも可能である。

−第２の実施の形態−
図２は、本発明の第２の実施の形態による電子スチルカメラの構成を示すブロック図である。図２に示す電子スチルカメラも、図１の電子スチルカメラと基本構成は同じであるので、相違する構成について説明する。図１と図２では、同じ構成要素には同一の符号を付す。

図１に示す第１の実施形態の電子スチルカメラでは、撮影モードを設定するための撮影モード選択部２８を備えていたが、これに代えて、図２に示す第２の実施形態の電子スチルカメラでは、撮影地域特定部２９及びＧＰＳアンテナ３３を備えている。また、第２の実施形態の電子スチルカメラでは、第１の実施形態の電子スチルカメラと異なり、撮影条件設定部３１は備えていない。

撮影地域特定部２９は、ＣＰＵ１７に設けられており、ＧＰＳアンテナ３３が受信した位置情報に基づいて撮影場所がどのような環境であるかを特定する。撮影地域特定部２９は、例えば、撮影場所が山の斜面、海辺などの自然環境であったり、遊園地、教会などの人工施設であることを特定すると、その旨の信号を発生する。撮影モードの場合と同様に、レベル自動設定部３０は、その信号に応じて特定された撮影場所に適した顔表情レベルの自動設定を行う。

本実施の形態による電子スチルカメラは次のように動作する。
先ず、顔表情設定部３２によって所定の顔表情として「笑顔」を設定する。撮影地域特定部２９は、ＧＰＳアンテナ３３が受信した位置情報に基づいて撮影場所がＡ遊園地であると特定し、レベル自動設定部３０は、笑顔レベルを大笑いに設定する。これは、Ａ遊園地では楽しい雰囲気の中で人物の笑顔レベルも必然的に上昇すると予想されるからである。

自動撮影部２７は、この検出信号に応じて笑顔レベルが大笑いであることが検出された被写体人物の自動撮影を行う。自動撮影によって得られた被写体画像データは、大笑いの笑顔が検出された画像データであることを示す属性データとともにメモリ１６ａに記録される。属性データには、地域情報としてＡ遊園地であるとの情報を付加してもよい。

本実施の形態による電子スチルカメラも第１の実施の形態による電子スチルカメラと同様の作用効果を奏する。
（１）ＧＰＳ位置情報に基づいて撮影場所を特定し、その場所に応じて自動撮影を行うための笑顔レベルを設定するので、被写体の環境、状況に適した笑顔レベルを設定できる。
（２）被写体の環境、状況に適した笑顔レベルの人物だけが撮影対象となるので、ユーザーが意図しない自動撮影は行われなくなる。
（３）笑顔レベルが自動的に設定されるので、ユーザーは顔表情レベルの設定操作から解放される。

上記の第２の実施の形態では、ＧＰＳ位置情報に基づいて撮影場所を特定しているが、更に、時間情報（季節、日時など）を加えることにより、撮影場所のシチュエーションがより一層明確になる。例えば、夏の海辺の海水浴場や日曜日の遊園地であれば、所定の顔表情レベルとしての笑顔レベルの設定は当然に高くなる。

上記の第１，２の実施の形態では、顔表情検出部２３は、被写体人物の顔表情が笑顔であることを検出し、更にその被写体人物の笑顔レベルを検出するものとして説明したが、顔表情検出部２３は、このような段階を踏まずに被写体人物の笑顔レベルを一挙に検出するものであってもよい。

以上の説明では、顔表情レベルは、撮影モードまたは撮影場所に応じて自動設定されたが、自動設定された顔表情レベルをマニュアルで調整可能としてもよい。例えば、撮影モードとしてポートレートモードを選択した場合、笑顔レベルを中笑いに自動設定し、それをディスプレイ４２に表示して、撮影者が中笑いのレベルを微笑のレベルまたは大笑いのレベルに手動で変更することもできる。

また、第１の実施の形態で説明した機能と第２の実施の形態で説明した機能を併せ持つ電子スチルカメラも本発明に含まれる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１６：画像記録部１６ａ：メモリ
２３：顔表情検出部２４：顔表情データ記憶部
２６：顔表情レベルデータ記憶部２７：自動撮影部
２８：撮影モード選択部２９：撮影地域特定部
３０：レベル自動設定部３１：撮影条件設定部
３２：顔表情設定部

Claims

被写体を撮像して被写体画像データを出力する撮像手段と、
前記被写体画像データ中の被写体人物の顔表情が所定の顔表情レベルになったことを検出すると、検出信号を発する顔表情検出手段と、
前記顔表情検出手段の前記検出信号に基づき、自動的に撮影動作を実行する自動撮影手段と、
ＧＰＳの位置情報から撮影を行う地域を特定する撮影地域特定手段と、
前記撮影地域特定手段により特定された撮影地域に基づいて前記所定の顔表情レベルを自動的に設定するレベル設定手段と、を備えること
を特徴とする電子スチルカメラ。
請求項１に記載の電子スチルカメラにおいて、
前記レベル設定手段は、前記被写体人物の顔表情が前記所定の顔表情レベルに達し易い撮影地域が特定された場合は、前記所定の顔表情レベルに達し易い撮影地域とは異なる撮影地域に対応する前記所定の顔表情レベルに比して高い前記所定の顔表情レベルを設定すること
を特徴とする電子スチルカメラ。