JP4757173B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、被写体の状況を画像認識することによって自動撮影する技術に関するものである。

従来より、被写体の状況を画像認識することによって自動撮影する技術が知られている。具体的には、被写体の状況を画像認識することによって正面向き、所定の動作、姿勢、ポーズ、表情の場合に自動的に撮影するものがある（特許文献１参照）。

また、被写体が所定時間静止した場合に撮影を行う、あるいは、所定時間静止した場合に撮影開始合図を行い、その後所定時間静止していた場合に撮影を行う技術がある（特許文献２参照）。
特開２００１−５１３３８号公報 特開２００３−１０７５７４号公報

しかしながら、人物などの特定の被写体を検出した後、特定の被写体の状態を認識するためにその特定の被写体の画像データからより詳細な情報を抽出する場合、様々な要因の影響により認識処理が正確に行われないことがある。

例えば、撮影対象者の顔のサイズが小さく、表情や状態を認識するための情報が少ない場合や、照明による影の影響やサングラスなどの装飾物の影響がある場合などである。また、撮影対象者が複数人の場合では、同様の認識処理を複数回行うため、ある撮影対象者で認識処理に失敗し、自動撮影が行われないことがある。

このように、様々な要因の影響により画像認識が正確に行われないと、実際には自動撮影の条件を満たしているにも拘わらず、撮影画像が１枚も得られない場合があるという問題があった。あるいは、自動撮影が行われるまでに相当な時間を要する場合があるという問題があった。

したがって、本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体の状況を画像認識することによって自動撮影する場合に、１枚も撮影が行われないような状況を回避できるようにすることである。あるいは、自動撮影が行われるまでに相当な時間を要するような状況を回避できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換して画像信号を生成する入力手段と、前記入力手段により生成された画像中の被写体の状況を判別する状況判別手段と、前記状況判別手段により判別された被写体の状況が予め定められた自動撮影条件を満たした場合に、自動的に前記入力手段で生成された画像を第１記憶手段に記憶する動作である自動撮影動作を開始させるための指示手段と、前記指示手段により自動撮影動作が指示された後に、自動的に前記入力手段で生成された画像を第２記憶手段に記憶させる制御手段と、を具備し、前記制御手段は、前記指示手段により自動撮影動作が指示されてから一定の時間が経過しても被写体の状況が前記自動撮影条件を満たさない場合に、前記指示手段により自動撮影動作が指示された後に前記入力手段で生成され前記第２記憶手段に記憶させた画像の内で、前記自動撮影条件に最も近い撮影条件で撮影された画像を前記第１記憶手段に記憶させることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換して画像信号を生成する入力手段を備える撮像装置を制御する方法であって、前記入力手段により生成された画像中の被写体の状況を判別する状況判別工程と、前記状況判別工程において判別された被写体の状況が予め定められた自動撮影条件を満たした場合に、自動的に前記入力手段で生成された画像を第１記憶手段に記憶する動作である自動撮影動作を開始させるための指示工程と、前記指示工程により自動撮影動作が指示された後に、自動的に前記入力手段で生成された画像を第２記憶手段に記憶させる制御工程と、を具備し、前記制御工程では、前記指示工程により自動撮影動作が指示されてから一定の時間が経過しても被写体の状況が前記自動撮影条件を満たさない場合に、前記指示工程により自動撮影動作が指示された後に前記入力手段で生成され前記第２記憶手段に記憶させた画像の内で、前記自動撮影条件に最も近い撮影条件で撮影された画像を前記第１記憶手段に記憶させることを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

本発明によれば、被写体の状況を画像認識することによって自動撮影する場合に、１枚も撮影が行われないような状況、あるいは、自動撮影が行われるまでに相当な時間を要するような状況を回避することが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。制御部１００は撮像装置全体の制御を行っており、表示部１０１、操作部１０２、状況判別処理部１０３、状況判別処理メモリ１０４、映像入力部１０５、合図部１０６、自動撮影モード開始検知部１０７等を適切なタイミングで動作させるように制御する。また、制御部１００は、タイマー１０８、焦点制御部１０９、露出制御部１１０、外部メモリ１１１、メモリ１１２等も制御する。

表示部１０１は、図２のように自動撮影条件設定を行うための画面を表示するインターフェイス２００として用いられる。また、この表示部１０１は、映像入力部１０５から得られる画像や自動撮影画像なども表示する。

操作部１０２は、図２に示されるような十字ボタン２０６を含み、ユーザはこの十字ボタン２０６などを操作して、設定項目２０１〜２０３を設定し、表情やその度合いなど自動撮影するための条件の設定を行う。また、設定された条件を満たした自動撮影が自動撮影モード開始が検知されてから所定時間行われない場合の動作設定項目２０４や所定時間の設定項目２０５を設定する。更に、自動撮影前もしくは自動撮影終了後などに合図を出すかどうかの設定項目２０７などの設定も行う。

なお、本実施形態においては、映像入力部１０５は常時画像を取り込んでおり、映像入力部１０５で常時取り込まれている画像の内からメモリ１１２に記憶するために取り出された画像を処理画像と呼ぶ。また、映像入力部１０５に入射する光を遮光するシャッターの開閉動作による通常の撮影動作により映像入力部１０５で撮影された画像を撮影画像と呼ぶ。自動撮影とは、上記処理画像もしくは上記撮影画像をメモリ１１２又は外部メモリ１１１に保持する処理を言う。また、以下では、自動撮影のための条件を満たさないものの、その自動撮影を行う条件に最も近い画像を近接画像と呼ぶ。

状況判別処理部１０３は、状況判別処理メモリ１０４に保持されているデジタル画像から人物や顔の有無を検出した後、更に、表情、動作、姿勢、ポーズなどの状況判別処理を行う。

状況判別処理メモリ１０４は、映像入力部１０５から得られた状況判別処理に使用する解像度変換されたデジタル画像を保持する。

映像入力部１０５は、レンズとＣＭＯＳセンサ（Complimentary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Devices）などの撮像素子と、Ａ／Ｄ変換器、画像処理回路などから構成される。そして、映像入力部１０５では、レンズにより結像された被写体像を撮像素子で光電変換し、画像信号を生成する。

合図部１０６は、所定時間経過後の自動撮影を行う直前などや、もしくは近接画像を保持した直後などに撮影者またはユーザーに合図を送るインターフェイスであり、ライトやストロボ点灯、もしくはスピーカー等を使用してユーザーに合図を送る。

自動撮影モード開始検知部１０７は、操作部１０２に含まれるシャッターボタンが押されたことによる自動撮影モードの開始を検知するインターフェイスである。

タイマー１０８は、自動撮影モード開始検知部１０７で自動撮影開始を検知した場合に動作を開始する。また、操作部１０２で設定された自動撮影のための条件をタイマー動作開始から所定時間満たさず、自動撮影が行われない場合、タイマー動作開始から所定時間経過後に撮影の指示がタイマー１０８から制御部１００に送られる。もしくは、近接画像を外部メモリ１１１に保持するための信号がタイマー１０８から制御部１００に送られる。

図３は、タイマー１０８の動作を示すフローチャートである。

ステップＳ３００では、シャッターボタンが押されて自動撮影モードの開始が指示されたことを自動撮影モード開始検知部１０７が検知すると、タイマー動作を開始する。

ステップＳ３０１で状況判別処理部１０３での状況判別結果が自動撮影を行うために設定された条件を満たす場合、例えば笑顔表情度SumScore１が所定閾値Th１以上である場合には、ステップＳ３０４に進む。そして、タイマー１０８は制御部１００からタイマー停止信号を受け停止する。

一方、状況判別処理部１０３での判別結果が自動撮影を行うために設定された条件を満たさない場合、例えば笑顔表情度SumScore１が所定閾値Th１以下であるならば、ステップＳ３０２に進む。そして、操作部１０２で設定された自動撮影時間sTime（図２では例えば１０秒に設定されている）が経過しているかどうかを判定する。タイマー動作開始から所定時間sTime以上経過しているならば、ステップＳ３０３でタイマー１０８から制御部１００に自動撮影を指示する信号、又は近接画像を外部メモリ１１１に保持させるための信号が発信される。

その後、ステップＳ３０４でタイマー１０８が制御部１００からのタイマー停止信号を受け動作を停止する。

なお、本実施形態では、タイマー動作開始からの経過時間をpTimeとする。また、自動撮影の条件を満たさず自動撮影がタイマー動作開始から所定時間行われない場合に、タイマー動作開始から所定時間経過後に自動撮影する、又は近接画像を外部メモリ１１１に保持するために設定された時間をsTimeとする。

焦点制御部１０９は、レンズ群のフォーカシング、ズーミングを制御する。

露出制御部１１０は、絞りなどの光量調節やシャッター速度を制御する。

外部メモリ１１１は、フラッシュメモリなどであり、本実施形態の自動撮影装置に挿入され、メモリインターフェイスを介すことによって自動撮影画像、もしくは近接画像を保持する。

メモリ１１２は、制御部１００のためのプログラムやデータ、映像入力部１０５で得られた画像を保持する。

次に、自動撮影装置の主要部分の一連の動作について説明する。

図４は、自動撮影装置の主要部分の一連の動作を示すフローチャートである。

本実施形態では、自動撮影のための条件を満たした場合に撮影合図を行った後に撮影を行う。また、自動撮影のための条件をタイマー動作開始から所定時間満たさず自動撮影が行われない場合、タイマー動作開始から所定時間経過後に撮影合図を行い、その後に撮影を行って、外部メモリ１１１に保持する。なお、外部メモリ１１１に保持する以外にもメモリ１１２などに保持するようにしても良い。

まず、ステップＳ４０１では、撮影対象者もしくはユーザーが、図２に示すような表示部１０１（インターフェイス２００）と操作部１０２に含まれる十字ボタン２０６を用いて、図５に示したような夫々の設定を行う。

ステップＳ４５０では、表情選択部（図２の２０１〜２０３）で、自動撮影のための条件を選択する。例えば、度合いの大きい笑顔表情（笑顔閾値Th１以上）を選択する。

ステップＳ４５１では、装置動作設定部（図２の２０４）で、度合いの大きい笑顔表情（笑顔閾値Th１以上）などの自動撮影の条件が検出されずタイマー動作開始から一定時間（sTime）自動撮影が行われない場合、どのような動作を行うかを選択する。例えば、撮影、処理画像保持、近接画像保持の中から動作を選択する。図２では、撮影が選択されている。

なお、笑顔閾値Th１などは、あらかじめ表示部１０１（インターフェイス２００）と操作部１０２に含まれる十字ボタン２０６を用いて設定されている。また、笑顔閾値Th１などは撮影者の好みによって変更可能である。

ステップＳ４５２では、時間設定部（図２の２０５）で、度合いが大きい笑顔表情（笑顔閾値Th１以上）など自動撮影の条件が検出されない場合に、自動撮影を行うもしくは近接画像を保持するためのタイマーの設定時間（sTime）の設定を行う。図２では、１０秒に設定されている。

ステップＳ４５３では、合図設定部（図２の２０７）で「合図あり」を選択することによって、タイマー動作開始から例えば１０秒後に撮影合図を出し、タイマー動作開始から１０＋Δｔ秒後に撮影を行うように設定する。なお、タイマー動作開始から１０−Δｔ秒後に撮影合図を出し、タイマー動作開始から１０秒後に撮影を行っても構わない。

ステップＳ４０２では、シャッターボタンを押すなどにより自動撮影開始指示を行う。この時、タイマー１０８も動作を開始する。

ステップＳ４０３では、映像入力部１０５によりデジタル画像を取り込み、状況判別処理メモリ１０４に保持する。

ステップＳ４０４では、状況判別処理部１０３を用いて状況判別処理メモリ１０４に保持されている解像度変換されたデジタル画像における顔の有無及び顔の位置の検出処理を行う。顔検出方法は、あらかじめ大量の正解画像とする顔画像と不正解画像とする非顔画像を用意しておきConvolutional Neural Network（文献１参照） などで学習し、目や口や顔の位置を検出する方法を用いる。なお、図６のように矩形分割フィルタ５００とIntegral Imageという手法を使用したP.Viola and M.Jonesによる顔検出（文献２参照）などを使用する方法でも良い。

（文献１）
「Yann LeCun and Yoshua Bengio“Convolutinal Networks for Images,Speech,and Time Series” The Handbook of Brain Theory and Neural Networks,pp２５５-２５８ １９９５」
（文献２）
「”Rapid object detection using a Boosted Cascade of Simple Features” ,Proc.of IEEE Conf.CVPR,１,pp.５１１-５１８,２００１」
ステップＳ４０５では、ＡＦ（Automatic Focus）動作及びＡＥ（Automatic Exposure）動作のための露出値の算出が行われる。このとき、ステップＳ４０４で検出された人物の顔の位置にフォーカスを合わせたり、検出された人物の顔に露出を合わせるようにしてもよい。

ステップＳ４０６では、状況判別処理部１０３を用いて、ステップＳ４０４で検出された顔の表情認識を行う。なお、状況判別処理部１０３での表情認識処理は、図８に示されるような手順で行われる。

サイズ・回転正規化ステップＳ７００では、図４のステップＳ４０４で検出された図７の左右目の位置６００，６０１からベクトルを算出し、この算出されたベクトルが図７のｘ軸と平行になるようにアフィン変換を用いて画像を回転させる。その後、左右の目の位置６００，６０１の距離が決められた値となるように顔サイズを正規化する。

エッジ検出ステップＳ７０１では、Sobelフィルタなどのエッジ検出フィルタを用いてエッジ検出を行う。

特徴ベクトル群算出領域設定ステップＳ７０２では、図７のように顔検出処理ステップＳ４０４で検出された目の位置６００，６０１、口位置６０３、顔位置６０２を用いて、表情認識に使用するための各領域を設定する。

特徴ベクトル群算出ステップＳ７０３では、領域毎に特徴ベクトル（Ｉ＝１,２,３…）を算出する。

更に、特徴ベクトル群と表情テンプレートベクトル群との一致度算出ステップＳ７０４では、あらかじめ用意しておいた各表情の特徴ベクトル群の夫々の特徴ベクトルと、入力画像から算出される特徴ベクトル群の夫々の特徴ベクトルとの一致度を計算する。そして、各特徴ベクトル毎の得点を算出し、ここで算出した各得点 を加算した結果を式（１）のように各表情の総合得点SumScoreN（Ｎ＝１,２,３…）とする。そして、最も総合得点SumScoreN（Ｎ＝１,２,３…）の高い表情を表情として判定する方法を用いる。

…（１）
ｉ：特徴ベクトル数
Ｎ：表情数
Scorei：ｉ番目の特徴ベクトルから算出された得点
SumScore：各特徴ベクトルから算出された得点の総和
なお、表情認識方法は、顔から表情が出やすい部分のみを抽出した後ウェーブレット変換し、空間周波数の平均電力を所定の各帯域毎に算出し、あらかじめ格納されていた無表情の平均電力との差を算出することで表情の認識を行う方法（文献３参照）でも良い。

（文献３）
特開平８-２４９４４７号公報
ステップＳ４０７では、上記で算出された総合得点SumScore１（笑顔度）が、あらかじめ設定された閾値Th１以上となるような、度合いの大きい笑顔表情である場合には、ステップＳ４０９で合図部１０６を用いて撮影対象者に対して撮影合図を送る。合図部１０６は、撮影合図用の光や音などを発する。

その後、ステップＳ４１０で撮影が行われ、ステップＳ４１１において撮影画像が外部メモリ１１１に保持される。

一方、ステップＳ４０７で総合得点SumScore１（笑顔度）があらかじめ設定された閾値Th１以下となるような、度合いの小さい笑顔表情、もしくは他の表情である場合には、ステップＳ４０８に進む。ステップＳ４０８では、タイマー１０８から信号が受信されたか否かを確認する。

タイマー１０８から信号を受信した場合には、ステップＳ４０９で合図部１０６を用いて撮影対象者に対して撮影合図を送る。その後、ステップＳ４１０で撮影が行われ、撮影画像がステップＳ４１１で外部メモリ１１１に保持される。

なお、ステップＳ４０８においてタイマー１０８から信号を受信しない場合にはステップＳ４０３に戻り、映像入力部１０５から逐次出力される次の画像の処理を行う。

以上説明したように、上記の第１の実施形態では、自動撮影動作が起動されてからある時間が経過しても自動撮影の条件を満たさない場合には、自動撮影の起動後に一定の時間が経過した後に、撮影動作を自動的に行う（タイマー動作）。これにより、自動撮影動作中に１枚も撮影が行われないようなことを回避することができる。

（第２の実施形態）
図９は、本発明の第２の実施形態における自動撮影装置の主要部分の一連の動作を示すフローチャートである。なお、自動撮影装置の構成は、第１の実施形態と同様である。

本実施形態では、自動撮影の条件を満たした場合に処理画像を外部メモリ１１１に保持する。一方、自動撮影のための条件をタイマー動作開始からある時間満たさず自動撮影が行われない場合、タイマー動作開始から一定の時間経過後に処理画像を外部メモリ１１１に保持する。なお、外部メモリ１１１に保持する以外にもメモリ１１２などに保持するようにしても良い。

まず、ステップＳ８０１では、図１０のように撮影対象者もしくはユーザーが表示部１０１（インターフェイス２００）と操作部１０２に含まれる十字ボタン２０６を用いて、図１１に示したような夫々の設定を行う。

ステップＳ８５０では、姿勢・ポーズ選択部（図１０の２０１，２０２）で、例えば、撮影対象者が図１２の９００のようにピースポーズをとる場合を選択する。

ステップＳ８５１では、装置動作設定部（図１０の２０４）で、例えばピースポーズが検出されずタイマー動作開始から一定時間自動撮影が行われない場合、タイマー動作開始から一定時間後に処理画像を保持することを選択する。

ステップＳ８５２では、時間設定部（図１０の２０５）で、例えば人物のピースポーズが検出されず自動撮影がタイマー動作開始から一定時間行われない場合、タイマー動作開始から一定時間経過後に処理画像を保持するための自動撮影時間設定を行う。図１０では、この時間を１０秒に設定している。

ステップＳ８５３では、合図設定部（図１０の２０７）で、例えば合図はしないことを選択する。

ステップＳ８０２、ステップＳ８０３では、第１の実施形態と同様な処理を行う。

ステップＳ８０４ではステップＳ８０３で得られたデジタル画像中の人物の検出を行う。人物の検出方法は、例えば、特開平７−３０２３２８号公報に示されているように、更新された背景画像と入力画像との背景差分により人物を検出する方法を用いる。

ステップＳ８０５では、ＡＦ（Automatic Focus）動作、及びＡＥ（Automatic Exposure）動作のための露出値の算出が行われる。このとき、ステップＳ８０４で検出された人物の顔の位置にフォーカスを合わせたり、検出された人物の顔に露出を合わせるようにしてもよい。

ステップＳ８０６では、ステップＳ８０４で検出された人物が図１２の９００のようにピースポーズであるかどうかを判定する。姿勢・ポーズの認識方法は、特開平７−５７１０３号公報に開示されているような、被写体の特定部位の輪郭を抽出し、記憶されたパターンと比較することによってポーズや姿勢を認識する方法を用いる。

なお、動作を認識する場合は、例えば特開平５−４６５８３号公報に開示されているような方法を用いる。具体的には、画像からオプティカルフローの方向分布などの特徴量ベクトルを抽出し、各認識カテゴリに対応する確率的状態遷移モデルとして行動の時系列モデルを学習データによりトレーニングする。そして、それらのトレーニングモデルから認識対象行動の確率を計算することによって行動を認識する。

ステップＳ８０７で、ステップＳ８０４で検出された人物がピースポーズと判定されないならば、ステップＳ８０９でタイマー１０８から信号を受信したか否かを確認する。そして、もし、信号を受信したならば、ステップＳ８０８で処理画像が外部メモリ１１１に保持される。一方、ステップＳ８０９でタイマー１０８から信号を受信していないと確認されれば、ステップＳ８０３へ戻り、映像入力部１０５から逐次出力される次の画像の処理を行う。

ステップＳ８０７で、ステップＳ８０４で検出された人物がピースポーズと判定されたならば、ステップＳ８０８で処理画像が外部メモリ１１１に保持される。

（第３の実施形態）
図１３は、本発明の第３の実施形態における自動撮影装置の主要部分の一連の動作を示すフローチャートである。なお、自動撮影装置の構成は、第１の実施形態と同様である。

本実施形態では、自動撮影の条件を満たした場合に処理画像を外部メモリ１１１に保持する。一方、自動撮影のための条件をタイマー動作開始から一定時間満たさず自動撮影が行われない場合、タイマー動作開始から一定の時間経過後に、この時間の間に得られた画像の中で自動撮影の条件に最も近い画像である近接画像を外部メモリ１１１に保持する。なお、外部メモリ１１１に保持する以外にもメモリ１１２などに保持するようにしても良い。

まず、ステップＳ１００１では、図１４のように撮影対象者もしくはユーザーが表示部１０１（インターフェイス２００）と操作部１０２に含まれる十字ボタン２０６を用いて、図５に示したような夫々の設定を行う。

ステップＳ４５０では、表情選択部（図１４の２０１〜２０３）で、自動撮影のための条件を選択する。例えば、度合いの大きい笑顔表情（笑顔閾値Th１以上）を選択する。

ステップＳ４５１では、装置動作設定部（図１４の２０４）で、度合いの大きい笑顔表情（笑顔閾値Th１以上）などの自動撮影の条件が検出されずタイマー動作開始から一定時間（sTime）自動撮影が行われない場合、次のような動作を選択する。即ち、タイマー動作開始から一定時間後に、その一定時間経過までに得られた画像の中で、度合いの大きい笑顔表情に最も近い画像（近接画像）を保持することを選択する。

なお、笑顔閾値Th１などは、あらかじめ表示部１０１と操作部１０２を用いて設定されている。また、笑顔閾値Th１などは撮影者の好みによって変更可能である。

ステップＳ４５２では、時間設定部（図１４の２０５）で、度合いが大きい笑顔表情（笑顔閾値Th１以上）など自動撮影の条件が検出されない場合に、上記の近接画像を保持するためのタイマーの設定時間（sTime）の設定を行う。図１４では、１０秒を選択している。

ステップＳ４５３では、合図設定部（図１４の２０７）で、「合図あり」を選択することによって、タイマー動作開始から１０秒後に近接画像の保持を行い、タイマー動作開始から１０＋Δt秒後に終了合図を出すように設定する。

ステップＳ１００２〜ステップＳ１００３までは第１の実施形態と同様の処理を行う。

ステップＳ１００４では、第１の実施形態で記載したようにステップＳ１００３で得られたデジタル画像から顔の有無、顔の位置の検出処理を行う。

ステップＳ１００５では、ＡＦ（Automatic Focus）動作、及びＡＥ（Automatic Exposure）動作のための露出値の算出が行われる。このとき、ステップＳ１００４で検出された人物の顔の位置にフォーカスを合わせたり、検出された人物の顔に露出を合わせるようにしてもよい。

ステップＳ１００６では、第１の実施形態で記載したようにステップＳ１００４で検出された人物の顔の表情を認識する。

ステップＳ１００７で自動撮影の条件を満たさない、つまり度合いの大きい笑顔表情（SumScore１≧Th１）でないならば、ステップＳ１００９でタイマー１０８から信号を受信したか否かが確認される。

もし、ステップＳ１００９で信号を受信していないならば、ステップＳ１０１０に進む。ステップＳ１０１０で、メモリ１１２などに保持されている笑顔画像の得点SumScore１”よりも現フレーム処理画像の笑顔表情得点SumScore１の方が高いならば、ステップＳ１０１１でメモリ１１２などに保持されている画像が更新される。つまり、図１５のようにメモリ１１２などに保持されている画像１２００よりも入力画像１２０１の方が笑顔の度合いが大きいならば、メモリ１１２などに保持されている画像は画像１２０１に更新される。なお、笑顔画像がメモリ１１２に何も保持されていない場合は、そのままメモリ１１２に保持される。また、メモリ１１２には笑顔の度合いを示す得点SumScore１と笑顔画像をペアとして保持させる。

ステップＳ１０１０でメモリ１１２に保持されている笑顔画像の得点SumScore１”よりも得点SumScore１が低いならば、次の画像の処理を行うためにステップＳ１００３へ戻る。

ステップＳ１００９でタイマー１０８から信号を受信したならば、ステップＳ１０１２でメモリ１１２に保持されている一時保持画像を外部メモリ１１１に保持する。その後、ステップＳ１０１３で合図部１０６を使用してストロボを発光させるなどにより終了合図を出す。

ステップＳ１００７で、度合いの大きい笑顔（SumScore１≧Th１）と判定されれば、ステップＳ１００８で処理画像を外部メモリ１１１に保持した後、ステップＳ１０１３で合図部１０６を使用してストロボを発光させるなどにより終了合図を出す。

（第４の実施形態）
図１６は、本発明の第４の実施形態における自動撮影装置の主要部分の一連の動作を示すフローチャートである。なお、自動撮影装置の構成は、第１の実施形態と同様である。

本実施形態では、自動撮影の条件を満たした場合に処理画像を外部メモリ１１１に保持する。一方、自動撮影のための条件をタイマー動作開始から一定時間ｔ’満たさず自動撮影が行われない場合、タイマー動作開始からｔ’＋Δt１’の時間経過後に、合図部１０６を用いて音を出すなどの撮影合図を出す。そして、ｔ’+Δt１’+Δt２’経過後に撮影を行って得られた撮影画像と、メモリ１１２に保持されている所定時間ｔ’経過までに得られた画像の中で自動撮影の条件に最も近い一時保持画像とを比較する。そして、より自動撮影の条件に近い画像を外部メモリ１１１に保持する。なお、本実施形態では、撮影画像に対しても状況判別部１０３を用いて撮影対象者の状況判別処理を行う。

まず、ステップＳ１５０１では、図１７のように撮影対象者もしくはユーザーが表示部１０１（インターフェイス２００）と操作部１０２に含まれる十字ボタン２０６を用いて、図５に示したような夫々の設定を行う。

ステップＳ４５０では、表情選択部（図１７の２０１〜２０３）で、自動撮影のための条件を選択する。例えば、度合いの大きい笑顔表情（笑顔閾値Th１以上）を選択する。

ステップＳ４５１では、装置動作設定部（図１７の２０４）で、度合いの大きい笑顔表情（笑顔閾値Th１以上）などの自動撮影の条件が検出されずタイマー動作開始から一定時間自動撮影が行われない場合、次のような動作を選択する。即ち、タイマー動作開始から一定時間後に、その一定時間経過までに得られた画像の中で、度合いの大きい笑顔表情に最も近い画像（近接画像）を保持することを選択する。それと共に、タイマー動作開始から一定時間経過後に自動的に撮影動作も行う。

ステップＳ４５２では、時間設定部（図１７の２０５）で、度合いが大きい笑顔表情（笑顔閾値Th１以上）など自動撮影の条件が検出されない場合に、上記の近接画像を保持するためのタイマーの設定時間（ｔ’）の設定を行う。図１７では、１０秒に設定している。

ステップＳ４５３で、合図設定部（図１７の２０７）で、「合図あり」を選択することによって、タイマー動作開始からｔ’秒後に近接画像の保持を行い、タイマー動作開始からｔ’＋Δt１’秒後に撮影合図を出すように設定する。

これにより、度合いの大きい笑顔表情が時間ｔ’の間認識できずに自動撮影が行われない場合、次のような処理が行われる。即ち、所定時間ｔ’+Δt１’ +Δt２’経過後に撮影された撮影画像と、メモリ１１２に一時的に保持されている時間ｔ’経過までに得られた処理画像の中で最も自動撮影条件に近い一時保持画像とを比較する。そして、より自動撮影条件に近い画像を外部メモリ１１１に保持するようにする。なお、外部メモリ１１１に保持する以外にもメモリ１１２などに保持するようにしても良い。

なお、Δt１’とΔt２’に関しては、撮影者の好みに応じて変更可能である。

ステップＳ１５０２〜ステップＳ１５０３までは第１の実施形態と同様な処理を行う。

ステップＳ１５０４では、第１の実施形態で説明したようにステップＳ１５０３で得られたデジタル画像から顔の有無、顔の位置の検出処理を行う。

ステップＳ１５０５では、ＡＦ（Automatic Focus）動作、及びＡＥ（Automatic Exposure）動作のための露出値の算出が行われる。このとき、ステップＳ１５０４で検出された人物の顔の位置にフォーカスを合わせたり、検出された人物の顔に露出を合わせるようにしてもよい。

ステップＳ１５０６では、第１の実施形態で説明したようにステップＳ１５０４で検出された人物の顔の表情を認識する。

ステップＳ１５０７で自動撮影条件でない、つまりSumScore１≧Th１（度合いの大きい笑顔表情）でないならば、ステップＳ１５０９でタイマー１０８から信号を受信したか否かが確認される。

もし、信号を受信していないならば、ステップＳ１５１４に進む。そして、メモリ１１２に保持されている笑顔画像の得点SumScore１”よりも現処理画像の笑顔表情の得点SumScore１が高いならば、ステップＳ１５１５でメモリ１１２に保持されている画像は現処理画像に更新される。なお、笑顔画像がメモリ１１２に何も保持されていない場合は、現処理画像をそのままメモリ１１２に保持させる。

ステップＳ１５１４で現処理画像の笑顔表情の得点SumScore１がメモリ１１２に保持されている笑顔画像の得点SumScore１”よりも低いならば、更新せずに次の画像の処理を行うためにステップＳ１５０３へ戻る。

ステップＳ１５０９でタイマー１０８から信号を受信したならば、ステップＳ１５１０で合図部１０６によりライトを点灯するなどして撮影合図を出し、ステップＳ１５１１で撮影が行われる。

ステップＳ１５１２では、ステップＳ１５１１で撮影された撮影画像の笑顔表情の得点SumScore１’がメモリ１１２に保持されている画像の笑顔表情の得点SumScore１”よりも高いか否かが判定される。もし、撮影画像の得点の方がメモリ１１２に保持されている画像の得点よりも高いならば、ステップＳ１５１３でメモリ１１２に保持されている画像を撮影画像に更新する。その後、ステップＳ１５０８でフラッシュメモリなどの外部メモリ１１１に画像が保持される。

一方、ステップＳ１５０７で度合いの大きい笑顔の画像と判定されたならば、ステップＳ１５０８で処理画像が外部メモリ１１１に保持される。

（第５の実施形態）
図１８は、本発明の第５の実施形態における自動撮影装置の主要部分の一連の動作を示すフローチャートである。なお、自動撮影装置の構成は、第１の実施形態と同様である。

本実施形態では、自動撮影の条件を満たした場合に処理画像を外部メモリ１１１に保持する。一方、自動撮影のための条件をタイマー動作開始から一定時間満たさず自動撮影が行われない場合、タイマー動作開始から一定の時間経過後に合図部１０６を用いて音を出すなどの撮影合図を出した後、撮影を行い、外部メモリ１１１に保持する。なお、外部メモリ１１１に保持する以外にもメモリ１１２などに保持するようにしても良い。

まず、ステップＳ１３０１では、図１９のように撮影対象者もしくはユーザーが表示部１０１（インターフェイス２００）と操作部１０２に含まれる十字ボタン２０６を用いて、図５に示したような夫々の設定を行う。

ステップＳ４５０では、表情選択部（図１９の２０１〜２０２）で、自動撮影のための条件を選択する。撮影対象者全員が目を開いていることを選択する。

ステップＳ４５１では、装置動作設定部（図１９の２０４）で、撮影対象者全員が目を開いていることが検出されずタイマー動作開始から一定時間（sTime）自動撮影が行われない場合、タイマー動作開始から一定時間後に撮影を行うことを選択する。

ステップＳ４５２では、時間設定部（図１９の２０５）で、撮影対象者全員が目を開いていることが検出されない場合に、自動撮影時間をｔ’秒と設定する。図１９では、１０秒に設定している。

ステップＳ４５３では、合図設定部（図１９の２０７）で、「合図あり」を選択することによって、タイマー動作開始からｔ’秒後に撮影合図を出し、タイマー動作開始からｔ’＋Δｔ’秒後に撮影を行うようにする。

ステップＳ１３０２〜ステップＳ１３０３では第１の実施形態と同様な処理を行う。

ステップＳ１３０４では、第１の実施形態で説明したように人物の顔の検出処理が行われる。

ステップＳ１３０５では、ＡＦ（Automatic Focus）動作、及びＡＥ（Automatic Exposure）動作のための露出値の算出が行われる。このとき、ステップＳ１３０４で検出された人物の顔の位置にフォーカスを合わせたり、検出された人物の顔に露出を合わせるようにしてもよい。

ステップＳ１３０６では、ステップＳ１３０４で検出された人物の顔に対して、図２０のように人物１４００〜１４０２の目瞑り認識処理が行われる。

目瞑り認識処理は、例えば特開平８−２６６４６８号公報に開示されているような、デジタル画像を２値化し、瞳孔を含む虹彩部分の面積または瞼開閉方向の直径を算出し、その算出結果から目瞑り認識を行う技術を使用する。

ステップＳ１３０７では、図２０のように撮影対象者全員が目を開いていると判定されれば、ステップＳ１３０８で処理画像を外部メモリ１１１に保持する。

ステップＳ１３０７で、撮影対象者全員が目を開いていないと判定されたならば、ステップＳ１３０９で制御部１００がタイマー１０８から信号を受信したか否かを判断する。

制御部１００がタイマー１０８から信号を受信したならば、ステップＳ１３１０で合図部１０６によりストロボ発光などを用いて撮影合図を行った後、ステップＳ１３１１で撮影が行われる。そして、ステップＳ１３０８で撮影された撮影画像が外部メモリ１１１に保持される。

ステップＳ１３０９でタイマー１０８から信号を受信していないと判断されれば、ステップＳ１３０３へ戻り、次の画像の処理を行う。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。 第１の実施形態における設定用のインターフェイスと十字ボタンを示す図である。 タイマーの動作フローチャートである。 第１の実施形態における全体動作フローチャートである。 第１の実施形態における自動撮影条件の設定の流れを示す図である。 顔検出処理用フィルタを示した図である。 表情認識処理時に行われる領域分割を示す図である。 表情判定処理時に行われる処理の流れを示す図である。 第２の実施形態における全体動作フローチャートである。 第２の実施形態における設定用のインターフェイスと十字ボタンを示す図である。 第２の実施形態における自動撮影条件の設定の流れを示す図である。 人物のピースポーズを示した図である。 第３の実施形態における全体動作フローチャートである。 第３の実施形態における設定用のインターフェイスと十字ボタンを示す図である。 笑顔度の低い顔と笑顔度の高い顔を示した図である。 第４の実施形態における全体動作フローチャートである。 第４の実施形態における設定用のインターフェイスと十字ボタンを示す図である。 第５の実施形態における全体動作フローチャートである。 第５の実施形態における設定用のインターフェイスと十字ボタンを示す図である。 複数の撮影対象者の顔を示した図である。

符号の説明

１００ 制御部
１０１ 表示部
１０２ 操作部
１０３ 状況判別処理部
１０４ 状況判別処理メモリ
１０５ 映像入力部
１０６ 合図部
１０７ 自動撮影モード開始検知部
１０８ タイマー
１０９ 焦点制御部
１１０ 露出制御部
１１１ 外部メモリ
１１２ メモリ

Claims (10)

1. 被写体像を光電変換して画像信号を生成する入力手段と、
   前記入力手段により生成された画像中の被写体の状況を判別する状況判別手段と、
   前記状況判別手段により判別された被写体の状況が予め定められた自動撮影条件を満たした場合に、自動的に前記入力手段で生成された画像を第１記憶手段に記憶する動作である自動撮影動作を開始させるための指示手段と、
   前記指示手段により自動撮影動作が指示された後に、自動的に前記入力手段で生成された画像を第２記憶手段に記憶させる制御手段と、
   を具備し、
   前記制御手段は、前記指示手段により自動撮影動作が指示されてから一定の時間が経過しても被写体の状況が前記自動撮影条件を満たさない場合に、前記指示手段により自動撮影動作が指示された後に前記入力手段で生成され前記第２記憶手段に記憶させた画像の内で、前記自動撮影条件に最も近い撮影条件で撮影された画像を前記第１記憶手段に記憶させることを特徴とする撮像装置。
2. 前記制御手段は、前記指示手段により自動撮影動作が指示されてから一定の時間が経過しても被写体の状況が前記自動撮影条件を満たさない場合に、前記入力手段に入射する光を遮光するシャッターの開閉動作により前記入力手段により撮影動作を行わせて撮影画像を生成させると共に、前記指示手段により自動撮影動作が指示されてから前記一定の時間の間に前記入力手段で生成され前記第２記憶手段に記憶させた画像の内で前記自動撮影条件に最も近い撮影条件で撮影された画像を選択し、前記撮影画像と前記選択された画像の内で前記自動撮影条件により近い撮影条件で撮影された画像を、前記第１記憶手段に記憶させることを特徴とする請求項１に記載の撮像装置。
3. 前記自動撮影動作は、前記入力手段で逐次に生成され前記第２記憶手段に記憶させた画像の内の前記自動撮影条件を満たす画像を前記第１記憶手段に記憶させる動作であることを特徴とする請求項１に記載の撮像装置。
4. 前記入力手段で生成された画像を前記第１記憶手段に記憶する動作を行う前に、被写体又は撮影者に合図を送る出力手段をさらに具備することを特徴とする請求項１に記載の撮像装置。
5. 前記入力手段で生成された画像を前記第１記憶手段に記憶する動作を行った後に、被写体又は撮影者に合図を送る出力手段をさらに具備することを特徴とする請求項１に記載の撮像装置。
6. 前記状況判別手段は、前記画像中の少なくとも一人の人物の状況を判別することを特徴とする請求項１に記載の撮像装置。
7. 前記状況判別手段は、前記人物の表情、動作、姿勢、ポーズの内の少なくとも１つの状況を判別することを特徴とする請求項６に記載の撮像装置。
8. 前記状況判別手段は、前記第１記憶手段に記憶される画像の解像度とは異なる解像度の画像で前記人物の状況を判別することを特徴とする請求項６に記載の撮像装置。
9. 被写体像を光電変換して画像信号を生成する入力手段を備える撮像装置を制御する方法であって、
   前記入力手段により生成された画像中の被写体の状況を判別する状況判別工程と、
   前記状況判別工程において判別された被写体の状況が予め定められた自動撮影条件を満たした場合に、自動的に前記入力手段で生成された画像を第１記憶手段に記憶する動作である自動撮影動作を開始させるための指示工程と、
   前記指示工程により自動撮影動作が指示された後に、自動的に前記入力手段で生成された画像を第２記憶手段に記憶させる制御工程と、
   を具備し、
   前記制御工程では、前記指示工程により自動撮影動作が指示されてから一定の時間が経過しても被写体の状況が前記自動撮影条件を満たさない場合に、前記指示工程により自動撮影動作が指示された後に前記入力手段で生成され前記第２記憶手段に記憶させた画像の内で、前記自動撮影条件に最も近い撮影条件で撮影された画像を前記第１記憶手段に記憶させることを特徴とする撮像装置の制御方法。
10. 請求項９に記載の制御方法をコンピュータに実行させるためのプログラム。

Images