JP5293223B2 - デジタルカメラ - Google Patents

Description

本発明は、被写体の顔の表情を認識して自動的に撮影を行う機能を有するデジタルカメラに関する。

デジタルカメラでは、一般に被写体を撮影して、その撮影画像を不揮発性の記録媒体に記録した後にその撮影画像をモニターに再生して、不要な画像を消去、即ち記録媒体から削除することが広く行われている。
このような撮影画像の削除操作の際に保存しておきたい画像を誤って削除してしまうことを防止する為に、デジタルカメラは削除を禁止するプロテクト機能を備えている。この機能は、記録媒体から画像を読み出し、モニターに再生して、気に入った画像に対しては表示画面上の再生メニューの「プロテクト」を選択し、実行ボタンを押し下げることによってその画像にプロテクトをかけるものである（例えば、特許文献１参照）。

特開２００４−２７４４５７号公報

しかしながら、引用文献１のデジタルカメラは、撮影者が例えば上述の笑顔自動撮影機能を使用して、撮影者の意図を叶えた撮影を行った場合であっても、プロテクト処理を行うためには、その撮影画像を記録媒体から読み出し、それをモニターに再生し、そのモニター上でメニューの「プロテクト」を選択して、実行ボタンを押し下げる必要があり、極めて手間が掛かるという問題があった。

請求項１の発明によるデジタルカメラは、被写体を撮像して被写体画像を生成する撮像手段と、前記被写体画像中の被写体人物の顔画像が所定の顔表情であることを検出する顔表情検出手段と、前記被写体人物の顔画像が前記所定の顔表情であることを前記顔表情検出手段が検出した時に自動的に撮影を開始する自動撮影手段と、前記自動撮影手段により撮影された被写体画像を記憶媒体に記録する記録手段と、前記被写体画像を前記記憶媒体に記録するときに、前記記憶媒体からの該被写体画像の削除を禁止するプロテクト処理を行うプロテクト手段と、前記プロテクト手段による前記プロテクト処理の前に、前記自動撮影手段による前記自動撮影に応じて前記プロテクト処理を行うか否かのメッセージを自動的に表示する表示手段と、を備えることを特徴とする。
請求項４の発明によるデジタルカメラは、被写体を撮像して被写体画像を生成する撮像手段と、前記被写体画像中の被写体人物の顔画像が所定の顔表情であることを検出する顔表情検出手段と、前記被写体人物の顔画像が前記所定の顔表情であることを前記顔表情検出手段が検出した時に自動的に撮影を開始する自動撮影手段と、前記自動撮影手段により撮影された被写体画像を記憶媒体に記録する記録手段と、前記記憶媒体から所定の顔表情の被写体画像を自動的に読み出し表示画面上に一覧表示させる読出し手段と、前記一覧表示された被写体画像の中から画像を選択する選択手段と、前記選択手段によって選択された画像を前記記憶媒体から削除することを禁止するプロテクト処理を行うプロテクト手段と、を備えることを特徴とする。

本発明のデジタルカメラによれば、被写体人物の顔画像が所定の顔表情であることを検出したときには自動的に撮影を行い、所定の顔表情の被写体を撮影した場合にはその画像に簡便にプロテクト処理を行うことができる。

本発明の第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。 本発明の第２の実施の形態に係るデジタルカメラの構成を示すブロック図である。

以下、本発明の実施の形態によるデジタルカメラについて、図１、２を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の第１の実施の形態によるデジタルカメラの構成を示すブロック図である。

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔検出部２１、顔データ記憶部２２、顔表情検出部２３、顔表情データ記憶部２４、顔表情設定部２５、顔表情レベルデータ記憶部２６、顔表情レベル設定部２７、表示制御部２８および液晶ディスプレイ２９を備える。さらに、デジタルカメラは、自動撮影部３０、顔表情撮影モード設定部４０、プロテクト部４１およびリサイズ部４２を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２９に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６にて記録される。
画像記録部１６は、画像情報とその画像に関する属性情報とを関連付けて不揮発性のメモリ１６ａに記録する。

顔検出部２１は、被写体画像を顔データ記憶部２２に予め記憶されている顔データと比較することにより、被写体画像中の被写体人物の顔を検出する。被写体人物が複数人いる場合は、全員の顔を個別に検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

顔表情検出部２３は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。この顔表情検出は、一定の時間間隔毎に行われる。

顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、これらの複数の顔表情データを記憶している。
顔表情設定部２５は、被写体人物の複数の顔表情を外部から設定する操作部であり、以下の説明では、顔表情として笑顔を設定したものとして説明する。

顔表情検出部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。
顔表情検出部２３は、被写体画像中の被写体人物の顔表情が笑顔であることを検出すると、検出信号を制御部２０に対して出力する。

顔表情検出部２３は更に、顔検出部２０により検出された顔領域の画像の顔表情を顔表情レベルデータ記憶部２６に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情レベルに対応することを検出する。

顔表情レベルデータ記憶部２６は、顔表情設定部２５が設定可能な複数の顔表情について、各顔表情の度合い（顔表情レベル値）として、１０％から１００％まで１０％間隔で、各顔表情レベル毎に顔表情レベルデータを記憶している。例えば、笑顔レベル値が１０％、２０％、３０％・・・と高まるにつれて、笑顔表情は微笑程度から大笑いへとその笑顔の度合いが大きくなってゆく。

顔表情レベル設定部２７は、顔表情設定部２５が設定可能な複数の顔表情について、例えば、笑顔レベル値１０％、２０％、３０％・・・などの顔表情レベル値を外部から設定する操作部である。この笑顔レベル値は、後述するように、自動撮影された被写体画像のプロテクト処理を行うための基準となる。

笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

表示制御部２８は、液晶ディスプレイ２９による表示を制御する。すなわち、表示制御部２８は、液晶ディスプレイ２９がスルー画像の表示、バッファメモリ１４に一時的に記録されている被写体画像の表示、画像記録部１６のメモリ１６ａに保存された被写体画像の再生表示を行なう時の表示態様を制御する。また、表示制御部２８は、液晶ディスプレイ２９に被写体画像のみを表示させたり、属性情報を付加した被写体画像を表示させる。

液晶ディスプレイ２９は、スルー画像の表示やバッファメモリ１４に一時的に記録されている被写体画像、メモリ１６ａに保存された被写体画像の表示を行い、また、表示制御部２８の指令により、被写体画像に関連する属性情報、例えばＥＸＩＦ形式のタグ情報の表示を行う。

自動撮影部３０は、顔表情検出部２３が被写体人物の所定の顔表情、例えば笑顔を検出したとき、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の自動撮影を行う。
なお、メモリ１６ａには、顔表情設定部２５が設定可能な顔表情の種類、例えば笑顔、泣き顔、怒り顔などに対応した複数の顔表情フォルダ、例えば笑顔フォルダ、泣き顔フォルダ、怒り顔フォルダなどが用意されており、自動撮影部３０が笑顔の被写体人物を自動撮影した場合には、その笑顔の被写体人物の画像は笑顔フォルダに格納される。

顔表情撮影モード設定部４０は、被写体人物の顔表情が所定の顔表情に相当したときに、自動撮影部３０が自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。

プロテクト部４１は、自動撮影部３０によって自動撮影された笑顔の被写体画像が不揮発性メモリ１６ａに記録された後に、誤操作によってメモリ１６ａから削除されることを防止するために、当該被写体画像に対してプロテクト処理を行う。このプロテクト部４１は、例えば顔表情検出部２３からの検出信号に基づいて自動的にプロテクト処理を施す。メモリ１６ａに記録された被写体画像にプロテクト処理が施されたことは、プロテクト処理済みを表す属性情報が当該被写体画像に関連付けられてメモリ１６ａに記録される。

リサイズ部４２は、メモリ１６ａの笑顔フォルダに格納された笑顔画像についてその画素数を変更するリサイズ処理を自動的に施し、リサイズ処理された画像は、上述の笑顔フォルダに上記の笑顔画像とは別に格納される。更に詳述すると、撮影者は、撮影画像を鑑賞する際に、常用するディスプレイ装置の解像度、例えば、高精細テレビ（ＨＤＴＶ）の解像度をリサイズ部４２の操作によって事前に入力する。リサイズ部４２は、笑顔フォルダに格納された画像を上記入力された解像度に基づいて自動的にリサイズし、画像記録部１６は、リサイズ処理された画像をディスプレイ表示用の画像として上記の笑顔フォルダに別途格納する。

以上のように構成されたデジタルカメラは、次のように動作する。
先ず、顔表情撮影モード設定部４０をＯＮとし、顔表情設定部２５によって顔表情の種類として例えば笑顔を設定する。

顔検出部２１は、撮像素子１３からのスルー画像を顔データ記憶部２２の顔データと比較することにより、スルー画像中の人物の顔部分を検出する。
顔表情検出部２３は、顔検出部２１により検出された被写体人物の顔画像を顔表情データ記憶部２４に記憶されている笑顔データと比較し、被写体人物の笑顔を検出すると、検出信号を発する。

自動撮影部３０は、その検出信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力し、笑顔の被写体人物の自動撮影を行う。自動撮影された被写体画像は、画像処理部１５を経由してメモリ１６ａの笑顔フォルダに記録される。

また、プロテクト部４１は、上述の検出信号を受けると、上記の被写体画像のプロテクト処理を実行し、画像記録部１６は、その被写体画像の画像ファイルのヘッダ部にプロテクト処理済みのフラッグを立ててメモリ１６ａに記録する。
こうして、笑顔検出により自動撮影された被写体画像は、メモリ１６ａに記録されるとともに、その画像のメモリ１６ａからの削除を禁止するプロテクト処理が自動的に施される。

リサイズ部４２は、プロテクト処理された被写体画像をディスプレイ装置の解像度に基づき自動的にリサイズ処理を行い、リサイズされた画像は、表示用画像としてメモリ１６ａの笑顔フォルダに格納される。メモリ１６ａに記録された被写体画像を後日、ディスプレイ装置で鑑賞する場合には、この表示用画像が再生される。
なお、この実施の形態にあっては、メモリ１６ａは、リサイズされた表示用画像とその元画像との両方を保存するものであったが、リサイズされた表示用画像をメモリ１６ａに格納する際に、元画像を削除する構成とすることもできる。この削除する場合には、メモリ１６ａの残容量の減少を防止することができる。

本実施の形態によるデジタルカメラは以下の作用効果を奏する。
（１）被写体人物の笑顔を検出して自動撮影された被写体画像に自動的にプロテクト処理を施すので、プロテクト作業の手間を省くことができる。
（２）笑顔が検出された画像には撮影時にプロテクト処理が施されるので、プロテクト処理の機会を逸することがない。

本実施の形態によるデジタルカメラにおいて、変形例は以下の通りである。
（１）笑顔レベルに基づくプロテクト
第１の実施の形態では、笑顔が検出された被写体画像の総てにプロテクト処理を施すものであった。すなわち、上記の実施の形態では、顔表情検出部２３が被写体人物の笑顔を検出すると、検出信号を発し、その検出信号に基づいて被写体画像の自動撮影とその被写体画像に対する自動プロテクト処理とが行われるものであった。

一方、この変形例では、総ての笑顔検出画像についてプロテクト処理を行うのではなく、所定の笑顔レベル以上の笑顔検出画像のみにプロテクト処理を行う。
この変形例においては、顔表情検出部２３は、被写体人物の笑顔を検出すると検出信号を発生するとともに、その笑顔が顔表情レベル設定部２７によって設定された所定の笑顔レベル以上であることを検出すると評価信号を発する。そして、自動撮影部３０は、上記の検出信号に基づいて被写体画像の自動撮影を行い、プロテクト部４１は、評価信号に基づいて被写体画像に対してプロテクト処理を施す。

この変形例のデジタルカメラは次のように動作する。
顔表情の種類として例えば笑顔を顔表情設定部２５によって設定し、顔表情レベル設定部２７によって笑顔レベル値として例えば６０％を予め設定しておく。顔表情検出部２３が被写体人物の笑顔を検出して検出信号を出力すると、自動撮影部３０が被写体画像の自動撮影を行うが、その被写体画像にプロテクト処理を施すか否かは、笑顔レベル値６０％を基準として決定される。すなわち、顔表情検出部２３は、被写体人物の顔表情を顔表情レベルデータ記憶部２６に予め記憶されている顔表情レベルデータと比較する。顔表情検出部２３が被写体人物の顔表情が笑顔レベル値６０％以上の顔表情レベルに対応することを検出すると、上記の評価信号を発する。

その評価信号に基づき、プロテクト部４１がその被写体画像に対して自動的にプロテクト処理を施す。一方、笑顔レベル値６０％未満の笑顔画像にはプロテクト処理を実行しない。一般に、笑顔レベル値が高い画像ほど保存の意欲は高いものであるので、笑顔レベル値でプロテクトするか否かを決定する意義は大きい。

（２）プロテクト処理前のメッセージ表示
この変形例では、プロテクト部４１は上述の実施の形態とは異なり、外部操作によってプロテクト処理を実行する構成とする。
プロテクト部４１が自動的にプロテクト処理を実行する前に、液晶ディスプレイ２９上に、プロテクト処理を行うか否かのメッセージを表示し、撮影者がこのメッセージに基づき、プロテクト部４１を操作してプロテクト処理を実行させてもよい。

−第２の実施の形態−
次に、本発明の第２の実施の形態のデジタルカメラを説明する。
この第２の実施の形態によるデジタルカメラは、第１の実施の形態によるデジタルカメラの構成に加えて、新たな構成を付加したものである。これらの新たな追加構成は、図２に示されるように、画像読出し部４３および画像選択部４４である。その他の構成要素は、第１の実施の形態とほぼ同じであるので、同一符号を付し説明を省略する。

図２のブロック図を参照すると、画像読出し部４３は、再生モードにおいて、メモリ１６ａに格納されている所定の顔表情の被写体画像を検索して読み出す操作部である。本実施の形態においても、所定の顔表情として笑顔を設定すると、画像読出し部４３は、メモリ１６ａの笑顔フォルダに格納されている笑顔画像を読み出す。読み出された笑顔画像は、液晶ディスプレイ２９上に一覧表示される。

画像選択部４４は、一覧表示された笑顔画像の中から所望のプロテクト処理用の画像を選択するための操作部である。

第２の実施の形態のデジタルカメラは、次のように動作する。
先ず、顔表情撮影モード設定部４０をＯＮとし、顔表情設定部２５によって顔表情の種類として例えば笑顔を設定する。顔表情検出部２３が被写体人物の笑顔を検出すると、自動撮影部３０は、笑顔の被写体人物の自動撮影を行う。自動撮影された被写体画像は、画像処理部１５を経由してメモリ１６ａの笑顔フォルダに記録される。
顔表情検出部２３は、更に、被写体人物の笑顔レベルを顔表情レベルデータ記憶部２６の顔表情レベルデータに基づいて検出し、この検出された各被写体画像の笑顔レベルは、当該被写体画像に関連付けられてメモリ１６ａの笑顔フォルダに記録される。

再生モードにおいて、画像読出し部４３によってメモリ１６ａの笑顔フォルダに格納されている笑顔画像を読み出すと、表示制御部２８は、読み出された笑顔画像を液晶ディスプレイ２９上に一覧表示させる。

続いて、画像選択部４４を操作して一覧表示された笑顔画像の中から所望の画像を選択した後に、プロテクト部４１を外部操作し、選択された笑顔画像に対して自動的にプロテクト処理を施す。画像記録部１６は、プロテクト処理済みを表す属性情報を当該被写体画像に関連付けてメモリ１６ａに記録する。

撮影者は、一覧表示された画像からプロテクト処理用の画像を選択する際には、一般にその撮影者が好む笑顔レベル以上の画像を選択する。そこで、顔表情設定部２５は、プロテクト処理された画像に関する笑顔レベルに基づき、自動的に、笑顔検出による自動撮影を行うための顔表情として上述の笑顔レベルを設定する。これにより、次回の笑顔検出による自動撮影は、被写体人物の笑顔が上述の笑顔レベル以上であった場合に実行される。

本実施の形態によるデジタルカメラでは、再生モードで、メモリ１６ａの笑顔フォルダに格納されている笑顔画像を一覧表示させ、プロテクトしたい画像を一括で選択するので、撮影者の意図を反映した簡便なプロテクト処理が可能となる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１６：画像記録部 ２０：制御部
２３：顔表情検出部 ２４：顔表情データ記憶部
２５：顔表情設定部 ２６：顔表情レベルデータ記憶部
２７：顔表情レベル設定部 ３０：自動撮影部
４０：顔表情撮影モード設定部 ４１：プロテクト部
４２：リサイズ部 ４３：画像読出し部
４４：画像選択部

Claims (8)

1. 被写体を撮像して被写体画像を生成する撮像手段と、
   前記被写体画像中の被写体人物の顔画像が所定の顔表情であることを検出する顔表情検出手段と、
   前記被写体人物の顔画像が前記所定の顔表情であることを前記顔表情検出手段が検出した時に自動的に撮影を開始する自動撮影手段と、
   前記自動撮影手段により撮影された被写体画像を記憶媒体に記録する記録手段と、
   前記被写体画像を前記記憶媒体に記録するときに、前記記憶媒体からの該被写体画像の削除を禁止するプロテクト処理を行うプロテクト手段と、
   前記プロテクト手段による前記プロテクト処理の前に、前記自動撮影手段による前記自動撮影に応じて前記プロテクト処理を行うか否かのメッセージを自動的に表示する表示手段と、を備えることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記所定の顔表情に関する表情度合いを段階的に表す複数の顔表情レベルを顔表情レベルデータとして記憶する顔表情レベルデータ記憶手段を更に備え、
   前記顔表情検出手段は、前記被写体画像の被写体人物の顔画像を前記顔表情レベルデータと比較して、前記被写体人物の顔表情レベルを検出し、
   前記プロテクト手段は、前記被写体人物の顔表情が所定の顔表情レベル以上であるときに、前記プロテクト処理を行うことを特徴とするデジタルカメラ。
3. 請求項２に記載のデジタルカメラにおいて、
   外部操作によって前記所定の顔表情レベルを設定する顔表情レベル設定手段を更に備えることを特徴とするデジタルカメラ。
4. 被写体を撮像して被写体画像を生成する撮像手段と、
   前記被写体画像中の被写体人物の顔画像が所定の顔表情であることを検出する顔表情検出手段と、
   前記被写体人物の顔画像が前記所定の顔表情であることを前記顔表情検出手段が検出した時に自動的に撮影を開始する自動撮影手段と、
   前記自動撮影手段により撮影された被写体画像を記憶媒体に記録する記録手段と、
   前記記憶媒体から所定の顔表情の被写体画像を自動的に読み出し表示画面上に一覧表示させる読出し手段と、
   前記一覧表示された被写体画像の中から画像を選択する選択手段と、
   前記選択手段によって選択された画像を前記記憶媒体から削除することを禁止するプロテクト処理を行うプロテクト手段と、を備えることを特徴とするデジタルカメラ。
5. 請求項１〜３のいずれか１項に記載のデジタルカメラにおいて、
   前記記録手段は、前記プロテクト処理が施された被写体画像を、前記記憶媒体の特定のフォルダに保存することを特徴とするデジタルカメラ。
6. 請求項１〜５のいずれか１項に記載のデジタルカメラにおいて、
   前記プロテクト処理が施された被写体画像を、該被写体画像を表示する表示機器の解像度に応じてリサイズするリサイズ手段を更に備え、
   前記記録手段は、前記リサイズ手段によってリサイズされた被写体画像を、前記記憶媒体に保存することを特徴とするデジタルカメラ。
7. 請求項６に記載のデジタルカメラにおいて、
   前記表示機器は、ＨＤＴＶであることを特徴とするデジタルカメラ。
8. 請求項４に記載のデジタルカメラにおいて、
   前記所定の顔表情に関する表情度合いを段階的に表す複数の顔表情レベルを顔表情レベルデータとして記憶する顔表情レベルデータ記憶手段を更に備え、
   前記顔表情検出手段は、前記被写体画像の被写体人物の顔画像を前記顔表情レベルデータと比較して、前記被写体人物の顔表情レベルを検出し、
   前記記録手段は、前記被写体画像の顔表情レベルを前記被写体画像に関連付けて前記記憶媒体に記録し、
   前記読み出し手段は、前記プロテクト処理を施された前記被写体画像に関連付けられた前記顔表情レベルを前記記憶媒体から読み出し、
   前記顔表情検出手段は、前記顔表情レベルの読み出しが行われた後に、被写体画像中の被写体人物の顔画像が前記読み出された顔表情レベル以上であることを検出し、
   前記自動撮影手段は、前記顔表情検出手段が、前記被写体画像中の被写体人物の顔画像が前記顔表情レベル以上であることを検出した時に、自動的に撮影を開始することを特徴とするデジタルカメラ。

Images