JP5384273B2 - カメラ及びカメラの記録方法 - Google Patents

Description

本発明は、撮像された画像に基づいて被写体の顔画像を検出する顔検出手段を備えたカメラ、及びカメラの記録方法に関するものである。

近年、電子カメラにおいては、撮影した画像に基づいて被写体の顔画像を検出する顔検出手段が登場したことにより、検出された顔画像に対してピントを合わせたり、顔画像が適正露出となるように露出条件を設定している。

また、顔検出手段の検出結果に基づいて被写体の顔画像の向きを特定し、顔画像が予め決めた所定方向に向いていることに応答して撮像画像を自動的に記録するカメラが知られている（特許文献１）。

さらに、顔検出手段が被写体を撮像した画像データに基づいて算出した顔評価値が所定時間、又は所定撮影回数、連続して所定変動範囲内の値であるかを判定し、この安定度の判定結果に基づいて自動的に撮影を行う撮影装置が知られている（特許文献２）。この特許文献２に記載の発明では、「顔評価値が所定時間、又は所定撮影回数、連続して所定変動範囲内の値である」と判定した場合を、「被写体の顔の動きが少なく安定している」と推測して自動的に画像を記録している。

特開２００１−０５１３３８ 特開２００８−１９３４１１

ところで、シャッタレリーズ時に、撮影対象となる被写体の一部が、例えば瞬きをする等、僅かに動くことでも、記録画像では被写体の一部にぶれが生じる。このような被写体ぶれは、撮影対象の被写体が次に動くことを予測できないため、防止することは難しい。前述した特許文献２に記載の撮像装置においては、被写体の顔が安定してきたら画像を自動的に記録するが、安定の判断に許容範囲が含まれているため、例えば被写体の一部が僅かに動いても画像を記録してしまい、被写体ぶれを確実に防止することはできない。さらに、特許文献２に記載の発明では、フル画素の高解像度の画像データを自動記録するため、安定した状況が長く続くと、撮影が連続的に行われることになり、これに伴い、記録媒体がすぐにいっぱいになってしまうおそれがある。

また、電子カメラは、近年、ＣＣＤやＣＭＯＳ等の撮像イメージセンサの高画質化、速写性、連写撮影の高速化、スルー画を表示する画面の大型化及び高画質化のために、ＬＳＩの処理周波数の向上やメモリバス帯域を広げる等によりコストがアップしてきている。カメラの背面に設けた表示部でモニタリングするためのスルー画は、撮影したフル画素の画像データの画素を間引いた低解像度の画像データで構成されている。ＬＳＩ等のコストアップを避けるために、従来通りのスペックで、許文献２に記載の発明のようにフル画素の画像データを連続して記録することになると、膨大な画像データを処理するためにメモリバス帯域が許容範囲を超えて、スルー画の表示に支障を来すおそれがある。

本発明は、被写体ぶれを確実に防止すること、記録媒体がいっぱいになってそれ以降記録が行えない不都合を極力防止すること、及び連続した記録が行われてもスルー画を常にスムーズに表示することができるカメラ、及びカメラの記録方法を提供することを目的とする。

一つの観点によれば、カメラは、被写体を撮像する撮像手段と、撮像手段により撮像して得られる撮像画像に基づいて特定被写体の画像を検出する検出手段と、シャッタボタンの半押し操作中に検出手段で検出された特定被写体の画像が一定時間連続して静止しているかを判定する静止判定手段と、静止判定手段が静止していると判定することに応じて撮像画像に対して間引き処理を施して生成される低解像度のスルー画表示用の画像を記録媒体に記録する記録手段と、を備えたものである。

別の観点によれば、カメラの記録方法は、シャッタボタンの半押し操作中に、撮像して得られる撮像画像に基づいて検出された特定被写体の画像が一定時間連続して静止していると判定したときに、撮像画像に対して間引き処理を施して生成される低解像度のスルー画表示用の画像を記録媒体に記録する。

本件開示のカメラ及びカメラの記録方法では、特定被写体の画像が一定時間連続して静止しているときに記録を行うため、被写体ぶれを確実に防止することができる。また、シャッタボタンの半押し操作中にのみ記録を行うため、撮影者が所望しない期間で記録を行う等の不都合を確実に防止することができる。さらに、撮像画像に対して間引き処理を施して生成される低解像度のスルー画表示用の画像を記録するため、記録媒体に多くの画像を記録することができる。

本発明のカメラの電気的構成を示すブロック図である。 顔検出部の電気的構成を示すブロック図である。 顔検出部により検出された顔領域に顔検出枠が表示されたている状態を示す表示部の説明図である。 カメラの動作手順を示すフローチャート図である。 被写体の顔画像が一定時間動かないことを判定する仮定を、随時取り込まれるフレーム画像データに基づいて説明した説明図である。 被写体の顔が特定方向に一定時間連続して向いている場合に自動的に記録する別の実施形態を示すブロック図である。 被写体の種類に応じて用意した複数の辞書データを用いて顔検出を行う他の実施形態を示すフローチャート図である。 複数の顔検出枠のうちの一つを画面タッチにより指定することで、指定した顔検出枠に相当する被写体の顔が一定時間連続して静止しているときに自動的に記録を行う例のフローチャート図である。 顔検出部の他の例を示すブロック図である。 図９で説明した部分画像生成手段においてサブウィンドウが走査される様子を示す説明図である。 図９で説明した顔検出部により検出される正面顔および横顔の一例を示す説明図である。 図９で説明した弱判別器により部分画像から特徴量が抽出される様子を示す説明図である。 図９で説明した弱判別器が有するヒストグラムの一例を示すグラフである。

［実施形態１］
本発明の撮像装置を内蔵する電子カメラ１０は、図１に示すように、撮影レンズ１１、レンズ駆動ブロック１２、絞り１３、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）１４、ドライバ１５、ＴＧ（timing generator）１６、ユニット回路１７、画像生成部１８、ＣＰＵ１９、操作部２０、フレームメモリ２１、フラッシュメモリ２２、ＶＲＡＭ２３、画像表示部２４、バス２５、画像取得制御部２６、顔検出部２７、静止判定部２８、辞書メモリ３０、及び圧縮・伸長部３１を備えている。

撮影レンズ１１は、複数のレンズ群から構成されるフォーカスレンズ（図示なし）、ズームレンズ（図示なし）等を含む。レンズ駆動ブロック１２は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ（図示なし）、ズームモータ（図示なし）、ＣＰＵ１９から送られてくる制御信号にしたがってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ（図示なし）、及びズームモータドライバ（図示なし）から構成されており、撮影レンズ１１の変倍及び合焦を制御する。

絞り１３は、図示しない駆動回路を含み、駆動回路はＣＰＵ１９から送られてくる制御信号にしたがって絞り１３を動作させる。絞り１３は、撮影レンズ１１から入ってくる光の量を制御するメカニカルシャッタを構成する。

ＣＭＯＳ１４は、ドライバ１５によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路１７に出力する。このドライバ１５、ユニット回路１７の動作タイミングはＴＧ１６を介してＣＰＵ１９により制御される。

ユニット回路１７には、ＴＧ１６が接続されており、ＣＭＯＳ１４から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＭＯＳ１４から出力された撮像信号はユニット回路１７を経てデジタル信号として画像生成部１８に送られる。

画像生成部１８は、ユニット回路１７から送られてきた画像データに対してγ補正処理、ホワイトバランス処理等の画像処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成する。該生成された輝度色差信号の画像データは、フレームメモリ２１に送られる。

フレームメモリ２１には、画像データが一画面分の画素配列情報を含む形で順次に保存される。フレームメモリ２１は、例えば二画面分用意されている。一方のフレームメモリに格納したフレーム画像データに基づいて後処理を行っている間に次フレームの画像データが入力されてきた場合には、他方のフレームメモリ上で画像データの更新を行うように、フレームメモリを交互に使い分ける。

ＣＰＵ１９は、ＣＭＯＳ１４への撮像制御機能、フラッシュメモリ２２への記録処理機能、及びスルー画表示機能を有するとともに、電子カメラ１０の各部を制御する。また、ＣＰＵ１９は、クロック回路を含み、タイマーとしての機能も有する。スルー画表示機能は、画像生成部１８から取り込んだフレーム画像データを間引き処理してスルー画用のフレーム画像データを生成する。ＣＰＵ１９は、生成したスルー画用のフレーム画像データを、画像取得制御部２６とＶＲＡＭ２３に送る。

ＶＲＡＭ２３に格納されたフレーム画像データは、画像表示部２４に送られる。画像表示部２４は、ＶＲＡＭ２３からフレーム画像データを読み出し、ビデオエンコーダでフレーム画像データを表示パネル用の所定の方式（例えばＮＴＳＣ方式）の信号に変換して表示部に出力する。具体的には、ＶＲＡＭ２３は、フレーム画像データを書き込む２つの領域を有する。連続的に出力されるフレーム画像データは、ＶＲＡＭ２３の一方の領域と他方の領域とに交互に書き換えられる。これらの領域のうち、フレーム画像データが書き換えられていない方の領域から、フレーム画像データが読み出される。そして、ＶＲＡＭ２３内のフレーム画像データが定期的に書き換えられることにより、表示部に動画像としてスルー画が表示される。

操作部２０は、半押し全押し可能なシャッタボタン、電源ボタン、撮影モード、再生モード、初期設定モード等のモードを切り替えるモード切替キー、十字キー、決定キー等の複数の操作キーを含み、ユーザーのキー操作に応じた操作信号をＣＰＵ１９に出力する。

ＣＰＵ１９には、ＲＡＭ３２、及びＲＡＭ３３がそれぞれ接続されている。ＲＡＭ３２は、ＣＰＵ１９に送られてきた画像データを一時的に記憶するバッファメモリとして使用されるとともに、ＣＰＵ１９のワーキングメモリとして使用される。ＲＯＭ３３には、撮影モードや再生モード時に各部を制御するためのプログラム等が予め記憶されている。

圧縮・伸長部３１は、フレーム画像データに対して圧縮・伸長処理を行う。フラッシュメモリ２２は、圧縮・伸長部３１で圧縮されたフレーム画像データを静止画データとして保存するための記録媒体である。

画像表示部２４は、カラーＬＣＤ等の表示部とその駆動回路を含み、撮影モードの時には、間引きされたフレーム画像データをスルー画として表示し、再生モードの時には、フラッシュメモリ２２から読み出されて圧縮・伸長部３１で伸張されたフレーム画像データを表示する。

画像取得制御部２６は、図２に示すように、間引き処理した低解像度のフレーム画像データを取り込むバッファメモリ３５を有している。バッファメモリ３５には、シャッタレリーズ時にフレームメモリからフル画素のフレーム画像データが取り込まれ、また、それ以外の時にはＣＰＵ１９から送られてくるスルー画用の低解像度のフレーム画像データが取り込まれる。バッファメモリ３５に取り込まれたフレーム画像データは、顔検出部２７と静止判定部２８にそれぞれ出力される。このバッファメモリ３５もＶＲＡＭ２３と同じように二つの領域３５ａ、３５ｂをもつ。

顔検出部２７には、辞書メモリ３０が接続されている。辞書メモリ３０には、予め登録したパターン画像の特徴量データが登録されている。特徴量データは、様々な人物、方向の顔で、特徴点となる瞳、鼻孔等が含まれている。

顔検出部２７は、シャッタボタンを全押し操作するシャッタレリーズ時に、フレームメモリ２１から取り込んだフル画素のフレーム画像データに対して顔領域を検出し、また、シャッタレリーズ以外の時には、間引き処理したスルー画用の低解像度のフレーム画像データに対して顔領域を検出する。この顔領域の画像は、特定被写体の画像の一例である。

顔検出部２７は、バッファメモリ３５から取り出したフレーム画像データの画面内を、予め指定されたサイズの対象領域でもってラスター走査と同様に走査して、対象領域の画像から特徴量データを抽出し、抽出した特徴量データに対して辞書データ３０に登録した特徴量データを順に照合して、両者の相関値（類似度）を算出し、算出した相関値と予め決めた閾値を比較して、被写体の顔が存在するかの判定に基づいて顔領域を認識し、また、顔画像に照合して一致した特徴量データの群に基づいて被写体の顔の向きを特定する。

顔検出部２７は、フレーム画像データの画面内の全ての領域を調べた後に、被写体の顔が存在する顔領域の位置、及び大きさの情報をＣＰＵ１９と静止判定部２８に出力する。ＣＰＵ１９は、顔検出部２７から取得した顔領域の位置、及び大きさの情報に基づいて、ＡＦやＡＥの対象エリアとする顔検出枠をスルー画に重ねて画像表示部２４に表示するように制御する。

静止判定部２８は、シャッタボタンの半押し操作が行われている間のみ動作するようにＣＰＵ１９に制御される。この静止判定部２８には、２つの画像メモリ３７，３８を有しており、一方の画像メモリ３７には、前回顔検出部２７が使用したフレーム画像データが取り込まれており、他方の画像メモリ３８には、今回顔検出部２７が使用したフレーム画像データが取り込まれる。連続的に出力されるフレーム画像データは、一方の画像メモリ３７と他方の画像メモリ３８とに交互に書き換えられる。これらの画像メモリ３７，３８のうち、フレーム画像データが書き換えられていない方の画像メモリに、前回のフレーム画像データが格納されている。

静止判定部２８は、顔検出部２７からの顔領域の位置、及び大きさの情報を取得しており、前回と今回のフレーム画像データから顔領域の画像をそれぞれ抽出し、両者を比較して顔領域の画素のズレに基づいて被写体の顔が静止しているかを判定する。静止していると判定した場合には、ＣＰＵ１９に、静止信号を出力し、動きが有ると判定した場合には非静止信号を出力する。

ＣＰＵ１９は、静止検出カウンタ３９を有している。静止検出カウンタ３９は、シャッタボタンの半押し操作が行われている間のみ動作するように制御される。動作すると、静止信号を連続して受け取った回数をカウントする。ＣＰＵ１９は、静止検出カウンタ３９のカウントが予め決めた回数に達した時点で、そのときに静止判定部２８の画像メモリ３７，３８に記憶されている低解像度のフレーム画像データを読み出して、圧縮・伸長部３１で圧縮処理を施した後にフラッシュメモリ２２に自動的に記録しておく。このときＣＰＵ１９は、その記録に応答して画像表示部２４に表示している顔検出枠の色を変えて撮影者に事前記録をした旨を表示する。なお、シャッタボタンの半押し操作が解除されると、静止検出カウンタ３９のカウント値がクリアされる。

上記構成の作用を説明する。カメラ１０の電源をＯＮにすると、ＣＰＵ１９は、ＣＭＯＳ１４に所定のフレームレート、例えば３０ｆｐｓで被写体を撮像させる。

ＣＭＯＳ１４により順次撮像された画像データは、画像生成部１８に取り込まれ、画像生成部１８により生成された輝度色差信号のフレーム画像データがフレームメモリ２１に記憶される。フレームメモリ２１に記録されたフレーム画像データに対して間引き処理が行われ、低解像度に処理されたフレーム画像データがＶＲＡＭ２３に送られてスルー画として画像表示部２４に表示される。

また、低解像度のフレーム画像データは、画像取得制御部２６に取り込まれ、顔検出部２７に送られる。

顔検出部２７では、取り込んだフレーム画像データの画面内の最初の位置に対象領域を設定し、対象領域から抽出した特徴量データに対して辞書メモリ３０に登録されている特徴量データを順に照合する。照合した結果、対象領域に顔画像が存在しないと判断した場合、対象領域を次の位置に移動して再び照合を行う。

顔検出部２７は、フレーム画像データの画像内で、顔画像が存在する顔領域の位置、及び大きさの情報をＣＰＵ１９に出力し、ＣＰＵ１９は、図３に示すように、顔検出部２７から取得した顔領域の位置、及び大きさの情報に基づいた範囲に、例えば青色の顔検出枠４０を表示部２４ａに表示されているスルー画に重ねて表示する。その後は、顔検出枠４０内の画像に対してＡＦ・ＡＥ処理が実行される。

シャッタボタンの半押し操作が行われると、図４に示すように、メカニカルシャッタである絞り１３を閉じてＣＭＯＳ１４の画素各々に蓄積された電荷をいったんリセットする動作を行ってから撮像する。

取り込んだ画像は、前述したように、ＣＰＵ１９で低解像度のフレーム画像データが生成され、画像取得制御部２６に取り込まれる。この画像データは、顔検出部２７に送られ、顔検出部２７により１フレーム分の画像データに対して顔領域が有るかが判定される。

フレーム画像データの全画像に対して顔画像を検出すると、次のフレーム画像データに対して顔画像の検出が行われる。

シャッタボタンの半押し操作中は、静止判定部２８が動作している。静止判定部２８は、顔検出部２７から得られる顔領域の位置、及び大きさの情報に基づき、今回取り込んだフレーム画像データの顔領域の画像と前回の顔領域の画像を比較し、両者の画素のズレに基づいて被写体の顔が静止しているか否かを判定する。

静止検出部２８が静止と判断した場合には、ＣＰＵ１９に静止信号が送られ、また、動きがあると判断した場合には非静止信号が送られる。

ＣＰＵ１９は、静止信号を受け取ることに応答して静止検出カウンタ３９で静止信号を連続的に受けた個数をカウントする。静止検出カウンタ３９のカウント値は、非静止信号を受け取った場合、及びシャッタボタンの半押し操作が解除（シャッタボタンの全押し操作も含む）された場合にクリアされる。

ＣＰＵ１９は、静止検出カウンタ３９のカウント値を監視しており、カウント値が予め決められた値、例えば「３」の値になった時点で、顔検出部２７が使用した低解像度のフレーム画像データを圧縮してフラッシュメモリ２２に記録する。

図５を参照しながら詳しく説明すると、シャッタボタンの半押し操作を開始してから３コマ目の画像に対して顔画像が前回と比べて静止していると判定され、顔画像が静止していると判断したコマを３コマ連続して取得することで、最後のコマに対応するフレーム画像データを自動的に記録している。

なお、静止検出カウンタ３９は、顔画像が静止していると判断したコマの取得化回数をカウントしているが、代わりに、顔画像が静止していると判断した最初のコマを取得したときから予め決めた時間経過後に未だ連続して得られている場合に自動記録を行うようにしてもよい。

ＣＰＵ１９は、自動的な記録に応答して表示部２４ａに表示している顔検出枠４０の色を、例えば「青」から「赤」に変えて表示する。顔検出枠４０の色を「赤」に表示する時間は、撮影者に把握させるために、記録が完了してから一定時間継続して表示させておくのが好適である。

シャッタボタンの全押し操作が行われると、直前のシャッタボタンの半押し操作の時にフレームメモリ２１に取り込まれた高解像度（フル画素）のフレーム画像データを読み出して、圧縮・伸長部３１で圧縮処理してからフラッシュメモリ２２に記録する。

被写体ぶれを防止する撮影技術としては、シャッタスピードを高速にして撮影することが知られている。しかしながら、被写体の方が動くのを防止することは、何時動くか予測できないため、非常に難しい。上記実施形態では、シャッタボタンの全押し操作の前に、顔が静止したときの画像を事前に記録するため、その後のシャッタボタンの全押し操作時に被写体の一部が動き、得られた画像に被写体の一部にぶれが生じていても、事前記録により被写体ぶれのない画像を確実に得ることができる。

また、素早く動く被写体、例えば１００ｍ走のランナーやレーシングカーに乗っている人の動きに合わせてカメラを動かしながら撮影する流し撮りという撮影方法が知られている。上記実施形態の場合、背景が静止しているか否かについては検出してなく、顔検出部で検出した顔領域の画像が一定時間静止している場合に事前に記録を行うため、前述した撮影方法においても確実に被写体ぶれのない画像を得ることができる。

［実施形態２］
上記実施形態では、静止判定部２８を設けて、被写体の顔画像が静止しているか否かの判定に基づいて自動的に記録をしているが、静止判定部２８を省略し、代わりに、被写体向き判定部を設ける。図６に示すように、被写体向き判定部５０は、カウンタ５１をもっており、顔検出部２７から被写体の向き情報が前回と同じ方向、又は特定方向であるかを判定し、同じ方向、又は特定方向であると連続して判定した回数をカウンタ５１でカウントする。カウンタ５１のカウント値が予め決めた値、すなわち、一定時間連続して同じ方向、又は特定方向を向いている場合に、低解像度の画像データが自動的に記録される。特定方向を判定する例では、特定方向、例えば正面向きとか斜め上向き等の方向を決めておけばよい。また、選択手段を設け、撮影者によって選択させることもできる。予め決められた特定方向の情報は、メモリに記憶される。

［実施形態３］
上記各実施形態では、被写体の顔を検出するための辞書データとして人物用を用いているが、本発明ではこれに限らず、例えば犬用、猫用、花用、車用、及び飛行機用等の辞書データを用いて、これらデータに対応する対象物を被写体として検出するようにしてもよい。

［実施形態４］
複数の辞書データを用いる場合、撮影者がカメラの初期設定操作等により辞書データを予め選択しておくのが好適である。この場合、図７に示すように、辞書データの種類に対応する被写体の顔が検出される。初期設定の操作は、表示部２４ａの画面を見ながら行う。モード切替キーで初期設定モードを選択し、十字キーの操作により初期設定の項目の中の「使用する辞書データの選択」の項目を指定する。これにより、表示部２４ａには、辞書メモリ３０に登録されている辞書データの種類の名称が表示される。十字キーを上下、あるいは左右に動かして選択枠を所望する辞書データにセットして、決定キーを操作する。これにより撮影者に所望する辞書データが選ばれる。指定された辞書データはメモリに記憶される。顔検出部２７は、予め指定された種類の辞書データを利用して顔画像を検出する。シャッタボタンの半押し操作中に、指定した種類の被写体の顔が静止している場合、自動的に記録される。なお、辞書データを一つ、又は複数選択するように構成してもよい。

［実施形態５］
ところで、同じ種類の被写体の顔を複数検出した場合、画像表示部２４に顔検出枠４０が複数表示される。このとき全ての顔領域に対して静止判定部２８が静止しているかを判定し、全ての被写体の顔が一定時間静止している場合に自動的に記録を行うようにしてもよい。

［実施形態６］
また、画面表示部２４にタッチセンサを設け、複数表示されている顔検出枠４０のいずれか一つを画像タッチにより選択することで、選択された顔検出枠４０に対応する被写体の顔だけに基づいて静止判定部２８が静止しているかを判定するように構成してもよい。このタッチ選択は、シャッタボタンの半押し中に行うのは難しいので、図８に示すように、半押し操作前に行って指定しておけばよい。シャッタボタンの半押し操作後には、画面タッチで指定した顔検出枠に相当する領域に対して顔検出が行われる。この場合も、その領域に存在する被写体の顔画像が一定時間静止しているときに自動的に記録が行われる。指定した顔検出枠の領域に被写体の顔画像が検出されなくなった時、及びシャッタボタンの半押し操作の解除により、画面タッチでの指定が解除される。

［実施形態７］
さらに、検出対象の被写体の種類毎に辞書データを辞書メモリ３０に格納し、顔検出部２７が全ての辞書データに対応する種類の被写体の顔を検出するように構成してもよい。この場合も、画面表示部にタッチセンサを設け、複数表示されている顔検出枠４０のいずれか一つを画像タッチにより選択することで、選択した顔検出枠４０に対応する種類の被写体の顔画像に基づいて静止判定部２８が静止しているかを判定すればよい。動作としては、図８で説明したと同じである。

［実施形態８］
また、静止と判断してから自動記録するまでのコマ数（時間）、すなわち静止検出カウンタ３９の設定値を、被写体の種類に応じて変えるように構成してもよい。この場合、画面タッチで複数の顔検出枠４０のうちの所望する種類の被写体に相当する顔検出枠４０を指定する。ＣＰＵ１９は、指定された顔検出枠４０に顔画像があると顔検出部２７が判定したときに使用した辞書データに基づいて、被写体の種類を特定し、特定した被写体の種類に応じてＲＯＭ３３に予め記憶した値を読み出して、静止検出カウンタ３９にセットする。静止検出カウンタ３９はダウンカウンタになっており、カウント値が「０」になった時点で、指定した種類の被写体の顔が一定時間連続して静止していると判断して自動的に記録を行う。被写体の種類に応じて静止検出カウンタ３９にセットする値が変わる。平均的に動きの早い被写体に対しては静止していると判定するまでの時間を短く設定し、逆に遅い被写体に対しては長く設定するのが好適である。

なお、上記各実施形態では、スルー画用の低解像度のフレーム画像データを自動的に記録するようにしているが、本発明ではこれに限らず、その時点のフレームメモリ２１に取り込んだフル画素のフレーム画像データに対して間引き処理を別途行って得た低解像度のフレーム画像データを記録するようにしてもよい。

また、撮像手段として、ＣＭＯＳ１４を使用しているが、ＣＣＤを用いても良い。この場合には、シャッタボタン半押し操作中に画像を取り込むときに行うメカシャッタの絞り１３をいったん閉じる動作を省略することができる。

さらに、上記各実施形態の顔検出部２７の顔検出方法としては、エッジ検出、色相検出、及び肌色検出等の公知の方法を利用することができる。

また、顔検出部２７の他の例としては、アダブースティングアルゴリズムを用いて顔を検出してもよい。この場合には、図９に示すように、取り込んだフレーム画像データの全体画像Ｐ上にサブウィンドウＷを走査させることにより対象領域の画像（以下、「部分画像」と称す）ＰＰを生成する部分画像生成手段４１と、部分画像生成手段４１により生成された複数の部分画像ＰＰから正面顔である部分画像を検出する正面顔判別手段４２Ａ、及び横顔である部分画像を検出する横顔判別手段４２Ｂとを有している。

なお、部分画像生成手段４１に入力される全体画像Ｐは前処理手段４０により前処理が施されている。前処理手段４０は、全体画像Ｐに対し図１０（Ａ）〜（Ｄ）に示すように、全体画像Ｐを多重解像度化して解像度の異なる複数の全体画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段４０は、生成した複数の全体画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。

部分画像生成手段４１は、図１０（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段４１は、一定画素数だけ飛ばしながらサブウィンドウＷを走査させることにより、部分画像ＰＰを生成するようになっている。

また、部分画像生成手段４１は、図１０（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、全体画像ＰにおいてサブウィンドウＷ内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。

正面顔判別手段４２Ａ、及び横顔判別手段４２Ｂは、アダブースティングアルゴリズム（ＡｄａｂｏｏｓｔｉｎｇＡｌｇｏｒｉｔｈｍ）を用いて顔画像Ｆを検出するものである。正面顔判別手段４２Ａは、面内回転している正面顔を検出する機能を有しており（図１１（Ａ）参照）、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器４３−１〜４３−１２を有している。なお、各正面顔判別器４３−１〜４３−１２は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。横顔判別手段４２Ｂは、面内回転している横顔を検出する機能を有しており（図１１（Ｂ）参照）、たとえば−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器４４−１〜４４−７を有している。なお、横顔判別手段４２Ｂは、さらに画面内の顔の向きが回転している画像（面外回転）を検出する横顔判別器をさらに備えていても良い。

正面顔判別器４３−１〜４３−１２、及び横顔判別器４４−１〜４４−７は、部分画像ＰＰが顔であるか非顔かの２値判別を行う機能を有し、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を備える。そして、各顔判別器４２Ａ、４２Ｂは弱判別器ＣＦ１〜ＣＦＭにおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。

具体的には、各弱判別器ＣＦ１〜ＣＦＭは、図１２に示すように、部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

各弱判別器ＣＦ１〜ＣＦＭは、図１３に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力する。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。各弱判別器ＣＦ１〜ＣＦＭは、スコアｆ１（ｘ）〜ｆＭ（ｘ）と信頼度β１〜βＭとを用いて判定スコアβｍ・ｆｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを認識し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。

また、各弱判別器ＣＦ１〜ＣＦＭは、それぞれカスケード構造を有しており、各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを顔画像Ｆとして出力するようになっている。つまり、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月に開示されている。

なお、各判別器４３−１〜４３−１２、４４−１〜４４−７は、それぞれ判別すべき所定の角度で面内回転された正面顔、もしくは横顔を正解サンプル画像として学習された弱判別器を有しているものである。また、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを認識するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σｒ=1ｍβｒ・ｆｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。

なお、、顔検出部部２７としは、ＳＶＭ（Support Vector Machine）アルゴリズムやMing-Hsuan Yang, David J. Kriegman, Narendra Ahuja: “Detecting faces in images: a survey”, IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, 2002に記載された顔検出方法等の公知の顔検出アルゴリズムを用いて顔の検出を行うようにしても良い。

このように、顔検出部２７は、撮像した画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である該部分画像を検出する顔判別器とを有し、顔判別器が、複数の弱判別器による複数の判別結果を用いて部分画像が、所定の角度で面内回転された正面顔、もしくは横顔であるか否かを判別する。したがって、この場合の静止判定部は、被写体の顔画像の向きが一定時間連続して、所定の角度で面内回転された正面顔もしくは横顔顔である場合にも静止と判定する。

１９ ＣＰＵ
２６ 画像取得制御部
２７ 顔検出部
２８ 静止判定部
３９ 静止検出カウンタ

Claims (7)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像して得られる撮像画像に基づいて特定被写体の画像を検出する検出手段と、
   シャッタボタンの半押し操作中に、前記検出手段で検出された特定被写体の画像が一定時間連続して静止しているかを判定する静止判定手段と、
   前記静止判定手段が前記静止していると判定することに応じて、前記撮像画像に対して間引き処理を施して生成される低解像度のスルー画表示用の画像を記録媒体に記録する記録手段と、
   を備えたことを特徴とするカメラ。
2. 表示部と、
   前記スルー画表示用の画像を生成する生成手段と、
   前記生成手段で生成される前記スルー画表示用の画像を前記表示部に表示する画像表示手段と、
   を備えることを特徴とする請求項１記載のカメラ。
3. 前記静止判定手段が静止していると判定する特定被写体の画像を含む撮像画像が連続して取得される回数をカウントする静止検出カウンタを備え、前記記録手段は、前記静止検出カウンタの値が予め決めた値に達したときに前記スルー画表示用の画像を記録することを特徴とする請求項１又は２記載のカメラ。
4. 前記検出手段は、前記特定被写体の画像の向きを特定し、
   前記静止判定手段は、前記検出手段の結果に基づいて前記特定被写体の画像の向きが一定時間連続して同じ方向、又は予め決めた特定方向を向いているときに静止していると判定することを特徴する請求項１から３のいずれか１項に記載のカメラ。
5. 被写体の種類に応じた辞書データをそれぞれ記憶する辞書記憶手段と、
   前記複数の辞書データのうちのいずれか一つ、又は複数を選択する選択手段と、
   前記選択手段で選択された辞書データの種類を記憶する記憶手段と、を備え、
   前記静止判定手段は、前記記憶手段に記憶された辞書データの種類に対応する特定被写体の画像に対して判定することを特徴とする請求項１から４のいずれか１項に記載のカメラ。
6. 前記検出手段が検出した特定被写体の画像を含む範囲に検出枠を、前記表示部に表示される前記スルー画表示用の画像に重ねて表示する検出枠表示手段と、
   前記表示部に表示される前記検出枠のうちのいずれか一つの検出枠を選択するためのタッチセンサと、
   前記タッチセンサで選択した検出枠に含まれる特定被写体の画像に対応する被写体の種類を記憶する第２記憶手段と、を備え、
   前記静止判定手段は、前記第２記憶手段に記憶されている被写体の種類に対応する特定被写体の画像に対して判定することを特徴とする請求項２、又は請求項２を引用する請求項３又は４のいずれか１項に記載のカメラ。
7. シャッタボタンの半押し操作中に、撮像して得られる撮像画像に基づいて検出された特定被写体の画像が一定時間連続して静止していると判定したときに、前記撮像画像に対して間引き処理を施して生成される低解像度のスルー画表示用の画像を記録媒体に記録することを特徴とするカメラの記録方法。

Images