ところで、集合写真では一般に、前列の顔と後列の顔との間で、撮像装置からの距離が異なるため、被写界画像に含まれる複数の顔画像の間でサイズにばらつきが出る。
しかし、背景技術は、顔画像の重なりの回避を図っているに過ぎないので、顔画像サイズの不均等を是正することはできなかった。
それゆえに、この発明の主たる目的は、新規な、撮像装置および集合写真撮影支援プログラムを提供することである。
この発明の他の目的は、集合写真撮影を行うとき顔画像サイズの不均等を是正できる、撮像装置および集合写真撮影支援プログラムを提供することである。
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
第1の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、撮像手段によって作成された各被写界画像から顔画像を検出する顔検出手段、および顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面と被写界像に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第1情報を出力する、第1情報出力手段を備える、撮像装置である。
第1の発明では、撮像装置(10)は、撮像手段(14)、顔検出手段(S131〜S147)、および第1情報出力手段(42,S73〜S79)を備える。撮像面上に結ばれた被写界像は、撮像手段によって繰り返し捉えられ、顔検出手段は、撮像手段によって作成された各被写界画像から顔画像を検出する。顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回ると、撮像面と被写界像に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第1情報が、第1情報出力手段によって出力される。
第1の発明によれば、ユーザが第1情報に従って行動することで、撮像面と被写界像に含まれる各顔との間の距離差が減少するので、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる。
なお、第1情報は、ある実施例では画像の態様で出力されるが、他の実施例では、音声の態様で出力されてもよく、画像および音声の両方の態様で出力されてもよい。後述する第2〜第7情報についても同様である。
また、顔画像のサイズは、ある実施例では、顔画像(F1,F2,…)の輪郭に沿う矩形(Fr1,Fr2,…)の面積である。他の実施例では、同様の矩形の長さ(たとえば隣り合う2辺を合計した長さや、対角線の長さなど)でもよく、顔画像自体の面積ないし長さでもよい。
第2の発明は、第1の発明に従属する撮像装置であって、顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らない場合に、各顔画像のサイズは均等であることを通知するための第2情報を出力する、第2情報出力手段をさらに備える。
第2の発明では、撮像装置は、第2情報出力手段(42,S81)をさらに備える。顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らなければ、各顔画像のサイズは均等であることを通知するための第2情報が、第2情報出力手段によって出力される。
第2の発明によれば、ユーザは、第2情報を通じて、顔画像サイズは均等である(第1情報に従って行動した結果不均等が是正された)ことを明確に認識することができる。
第3の発明は、第1または第2の発明に従属する撮像装置であって、顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らない場合に、顔検出手段によって検出された顔画像のサイズが第1既定範囲内か否かを判別するサイズ判別手段、およびサイズ判別手段によってサイズが第1既定範囲内でないと判別された場合に、当該サイズが当該第1既定範囲内となるような行動を促すための第3情報を出力する、第3情報出力手段をさらに備える。
第3の発明では、撮像装置は、サイズ判別手段(S83)および第3情報出力手段(42,S85〜S89)をさらに備える。サイズ判別手段は、顔検出手段によって検出された複数の顔画像の間のサイズ差が閾値を上回らない場合に、顔検出手段によって検出された顔画像のサイズが第1既定範囲内か否かを判別し、サイズ判別手段によってサイズが第1既定範囲内でないと判別されると、当該サイズが当該第1既定範囲内となるような行動を促すための第3情報が、第3情報出力手段によって出力される。
第3の発明によれば、ユーザが第3情報に従って行動することで、さらに顔画像サイズを集合写真に適したサイズにすることができる。なお、ここで行動は、ある実施例では、ユーザ自身が目標に近づく行動、またはズームアップ操作を行う行動である。他の実施例では、ユーザが自分に近づくよう目標に指示する行動でもよい。
第4の発明は、第3の発明に従属する撮像装置であって、サイズ判別手段によってサイズが第1既定範囲内であると判別された場合に、当該サイズは適正であることを通知するための第4情報を出力する、第4情報出力手段をさらに備える。
第4の発明では、撮像装置は、第4情報出力手段(42,S91)をさらに備える。サイズ判別手段によってサイズが第1既定範囲内であると判別されると、当該サイズは適正であることを通知するための第4情報が、第4情報出力手段によって出力される。
第4の発明によれば、ユーザは、第4情報を通じて、顔画像サイズは適正である(第3情報に従って行動した結果第1既定範囲内に収まった)ことを明確に認識することができる。
第5の発明は、第3または第4の発明に従属する撮像装置であって、サイズ判別手段によってサイズが第1既定範囲内であると判別された場合に、顔検出手段によって検出された複数の顔画像の間の間隔が第2既定範囲内か否かを判別する間隔判別手段、および間隔判別手段によって間隔が第2既定範囲内でないと判別された場合に、当該間隔が当該第2既定範囲内となるような行動を促すための第5情報を出力する、第5情報出力手段をさらに備える。
第5の発明では、撮像装置は、間隔判別手段(S93)および第5情報出力手段(42,S95〜S99)をさらに備える。間隔判別手段は、サイズ判別手段によってサイズが第1既定範囲内であると判別された場合に、顔検出手段によって検出された複数の顔画像の間の間隔が第2既定範囲内か否かを判別し、間隔判別手段によって間隔が第2既定範囲内でないと判別されると、当該間隔が当該第2既定範囲内となるような行動を促すための第5情報が、第5情報出力手段によって出力される。
第5の発明によれば、ユーザが第5情報に従って行動することで、さらに顔画像間隔を集合写真に適した間隔にすることができる。なお、ここでいう行動は、ある実施例では、ユーザが目標に対して互いに近づくよう指示する行動である。
第6の発明は、第5の発明に従属する撮像装置であって、間隔判別手段によって間隔が第2既定範囲内であると判別された場合に、当該間隔は適正であることを通知するための第6情報を出力する、第6情報出力手段をさらに備える。
第6の発明では、撮像装置は、第6情報出力手段(42,S101)をさらに備える。間隔判別手段によって間隔が第2既定範囲内であると判別されると、当該間隔は適正であることを通知するための第6情報が、第6情報出力手段によって出力される。
第6の発明によれば、ユーザは、第6情報を通じて、顔画像間隔は適正である(第5情報に従って行動した結果第2既定範囲内に収まった)ことを明確に認識することができる。
第7の発明は、第5または第6の発明に従属する撮像装置であって、撮像手段によって作成された被写界画像を記録操作に応答して記録媒体に記録する記録手段、および間隔判別手段によって間隔が第2既定範囲内であると判別された場合に、記録操作を促すための第7情報を出力する、第7情報出力手段をさらに備える。
第7の発明では、撮像装置は、記録手段(36,S57)および第7情報出力手段(42,S103)をさらに備える。記録手段は、撮像手段によって作成された被写界画像を記録操作に応答して記録媒体(38)に記録する。間隔判別手段によって間隔が第2既定範囲内であると判別されると、記録操作を促すための第7情報が、第7情報出力手段によって出力される。
第7の発明によれば、ユーザが第7情報に従って記録操作を行うことで、好適な集合写真、すなわち顔画像サイズのばらつきが少なくかつ顔画像サイズおよび顔画像間隔が適正な集合写真を記録することができる。
第8の発明は、第1ないし第7のいずれか発明に従属する撮像装置であって、少なくとも第1情報出力手段が有効化される集合写真モードを含む複数の撮影モードのうち1つをモード選択操作に基づいて選択する選択手段、および撮像手段の画質を集合写真モードが選択されている期間に渡って一時的に高める画質制御手段をさらに備える。
第8の発明では、撮像装置は、選択手段(26,S15)および画質制御手段(S26,S27)をさらに備える。選択手段は、集合写真モードを含む複数の撮影モードのうち1つをモード選択操作に基づいて選択し、画質制御手段は、撮像手段の画質を集合写真モードが選択されている期間に渡って一時的に高める。
集合写真モードで実行される第1情報出力処理は、顔画像サイズのばらつきが大きい状態で、すなわち被写界画像に小さなサイズの顔画像が含まれている状態で行われることが前提なので、撮像手段の画質が低いと、小さな顔画像を検出することができず、結果として第1情報出力が行えない場合がある。第8の発明によれば、撮像手段の画質を一時的に高めることで、消費電力の増加を抑制しながら、第1情報出力を的確に行うことができるようになる。なお、ここで画質は、ある実施例ではS/N比であるが、他の実施例では解像度などでもよい。
第9の発明は、第1ないし第7のいずれかの発明に従属する撮像装置であって、被写界像が集合写真モードに適合するか否かを、被写界画像内での各顔画像の配置を示す座標に少なくとも基づいて判別するモード判別手段、およびモード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくとも第1情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくとも第1情報出力手段を無効化する、モード制御手段をさらに備える。
第9の発明では、撮像装置は、モード判別手段(S31,S33)およびモード制御手段(S35,S37,S23,S25)をさらに備える。モード判別手段は、被写界像に含まれる各顔の配置が集合写真モードに適合するか否かを、被写界画像内での各顔画像の配置を示す座標に少なくとも基づいて判別し、モード制御手段は、モード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくとも第1情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくとも第1情報出力手段を無効化する。なお、ある実施例では、モード判別にあたって、被写界画像に含まれる顔画像の個数も考慮している。
第9の発明によれば、撮像装置は、顔配置が集合写真モードに適合するか否かを判別して、適合すれば自動的に、少なくとも第1情報による集合写真撮影支援、好ましくは第1〜第7情報による集合写真撮影支援を開始するので、ユーザは、特に意識することなく好適な集合写真撮影を行える。また、顔配置が集合写真モードに適合するか否かの判別を、顔座標を参照して行う(ある実施例では、画面内で各顔画像が前列・後列を構成しているか否かを顔座標に基づいて判別する)ので、大人の顔と子供の顔のように顔自体のサイズが異なる場合にも、好適な集合写真撮影が行える。
第10の発明は、第1ないし第7のいずれかの発明に従属する撮像装置であって、被写界像に含まれる各顔の配置が集合写真モードに適合するか否かを、撮像面と被写界像に含まれる各顔との間の距離差に少なくとも基づいて判別するモード判別手段、およびモード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくともサイズ差検出手段および第1情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくともサイズ差検出手段および第1情報出力手段を無効化する、モード制御手段をさらに備える。
第10の発明では、撮像装置は、モード判別手段(S31,S33a)およびモード制御手段(S35,S37,S23,S25)をさらに備える。モード判別手段は、被写界像に含まれる各顔の配置が集合写真モードに適合するか否かを、被写界像に含まれる各顔との間の距離差に少なくとも基づいて判別し、モード制御手段は、モード判別手段によって配置が集合写真モードに適合すると判別された場合に少なくともサイズ差検出手段および第1情報出力手段を有効化する一方、配置が集合写真モードに適合しないと判別された場合には少なくともサイズ差検出手段および第1情報出力手段を無効化する。なお、ある実施例では、モード判別にあたって、被写界画像に含まれる顔画像の個数も考慮している。
第10の発明によれば、撮像装置は、顔配置が集合写真モードに適合するか否かを判別して、適合すれば自動的に、少なくとも第1情報による集合写真撮影支援、好ましくは第1〜第7情報による集合写真撮影支援を開始するので、ユーザは、特に意識することなく好適な集合写真撮影を行える。また、顔配置が集合写真モードに適合するか否かの判別にあたって、各顔までの距離差を参照するので、大人の顔と子供の顔のように顔自体のサイズが異なる場合にも、好適な集合写真撮影が行える。
第11の発明は、第9または第10の発明に従属する撮像装置であって、撮像手段の画質をモード判別手段が判別を行う期間および集合写真モードが選択されている期間に渡って一時的に高める画質制御手段をさらに備える。
第11の発明では、撮像装置は、画質制御手段(S9,S27)をさらに備える。画質制御手段は、撮像手段の画質をモード判別手段が判別を行う期間および集合写真モードが選択されている期間に渡って一時的に高める。
モード判別処理および集合写真モードで実行される第1情報出力処理は、顔画像サイズのばらつきが大きい状態で、すなわち被写界画像に小さなサイズの顔画像が含まれている状態で行われることが前提なので、撮像手段の画質が低いと、小さな顔画像を検出することができず、結果として的確なモード判別や第1情報出力が行えない場合がある。第11の発明によれば、撮像手段の画質を一時的に高めることで、消費電力の増加を抑制しながら、モード判別および第1情報出力を的確に行うことができるようになる。なお、ここで画質は、ある実施例ではS/N比であるが、他の実施例では解像度などでもよい。
第12の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段と撮像手段の処理に関連する情報を出力する情報出力手段とを備える撮像装置のプロセッサに、撮像手段によって作成された各被写界画像から顔画像を検出する顔検出ステップ、および顔検出ステップによって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面と被写界像に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第1情報を、情報出力手段を通じて出力する、第1情報出力ステップを実行させるための、集合写真撮影支援プログラムである。
第12の発明では、撮像装置(10)は、撮像面(14f)上に結ばれた被写界像を繰り返し捉える撮像手段(14)、および撮像手段の処理に関連する情報を出力する情報出力手段(42)を備え、集合写真撮影支援プログラム(50〜60)は、撮像装置のプロセッサ(24)に、顔検出ステップ(S131〜S147)および第1情報出力ステップ(S73〜S79)を実行させる。プロセッサは、顔検出ステップで、撮像手段によって作成された各被写界画像から顔画像を検出し、第1情報出力ステップでは、顔検出ステップによって検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面と被写界像に含まれる各顔との間の距離差が減少するような向きに当該撮像装置自身を移動させる行動を促すための第1情報を、情報出力手段を制御して出力する。
第12の発明でも、第1の発明と同様に、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる。
この発明によれば、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる、撮像装置および集合写真撮影支援プログラムが実現される。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のディジタルカメラ10は、フォーカスレンズ12を含む。被写界の光学像は、フォーカスレンズ12を経てイメージセンサ14の撮像面14fに結像し、ここで光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。
電源が投入されると、スルー撮影処理が開始される。このとき、CPU24は、スルー撮影用の露光および電荷読み出しの繰り返しをタイミングジェネレータ(TG)18に命令する。TG18は、撮像面14fの露光動作と、これによって得られた電荷の間引き読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ14に与える。撮像面14fで生成された電荷の一部は、1/30秒に1回の割合で発生する垂直同期信号Vsyncに応答して、ラスタ走査に従う順序で読み出される。こうして、低解像度(たとえばx方向320画素*y方向240画素:以下“320*240”のように記述する)の生画像信号が、30fpsのフレームレートでイメージセンサ14から出力される。
イメージセンサ14から出力された生画像信号は、カメラ処理回路20によってA/Dなどの処理を施され、ディジタル信号である生画像データに変換される。生画像データは、メモリ制御回路28を通してSDRAM30の生画像エリアに30a(図9(A)参照)に書き込まれる。カメラ処理回路20はその後、生画像エリアに30aに格納された生画像データをメモリ制御回路28を通して読み出し、色分離,YUV変換などの処理を施す。こうして得られたYUV形式の画像データは、メモリ制御回路28を通してSDRAM30のYUV画像エリア30b(図9(A)参照)に書き込まれる。
LCD駆動回路32は、YUV画像エリア30bに格納された画像データをメモリ制御回路28を通して1/30秒毎に読み出し、読み出された画像データでLCDモニタ34を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がLCDモニタ34に表示される。
このようなスルー撮影中にキー力装置26によってズーム操作が行われると、ズーム回路44は、YUV画像エリア30bに格納された画像データをメモリ制御回路28を通して読み出し、読み出された画像データに電子ズーム処理を施す。電子ズーム処理を施された画像データは、再びメモリ制御回路28を通してYUV画像エリア30bに書き込まれる。LCD駆動回路32へは、こうして電子ズーム処理を施された画像データが与えられ、これにより、モニタ画面に表示されているスルー画像のサイズが変化する。なお、この実施例ではズーム回路44による電子ズームを行っているが、他の実施例では、フォーカスレンズ12の前方または後方にズームレンズ(図示せず)を追加し、電子ズームに代えて、またはこれと組み合わせて、ズームレンズによる光学ズームを行ってもよい。
なお、図示は省略しているが、スルー撮影中、カメラ処理回路20によって生成されたYデータに基づいて被写界の明るさ(輝度)を1/30秒毎に評価する処理が輝度評価回路によって実行されている。CPU24は、輝度評価回路によって求められた輝度評価値に基づいてイメージセンサ14の露光量を調整し、これによってLCDモニタ34に表示されるスルー画像の明るさが適度に調整される。
フォーカス評価回路22は、カメラ処理回路20によって生成されたYデータのうちフォーカス評価エリア(図示せず)に属するYデータを取り込み、取り込まれたYデータの高域周波数成分を積分し、そして積分結果つまりフォーカス評価値を出力する。この一連の処理は、Vsyncに応答して1/30秒毎に実行される。CPU24は、こうして求められたフォーカス評価値に基づいて、いわゆるコンティニュアスAF処理(S119:図15参照)を実行する。フォーカスレンズ12の光軸方向の位置は、CPU24の制御の下でドライバ(Dr)16によって継続的に変更される。
CPU24はまた、SDRAM30に格納されたYUVデータに注目した顔認識処理を実行する。顔認識処理は、人物の目,鼻,口などに相当する顔辞書データ66(図9(B)参照)を注目するYUVデータと照合する一種のパターン認識処理であり、これによって被写界像から人物の顔画像が検出される。
詳しくは、図2に示すように、所定サイズ(たとえば80*80)の顔検出枠FDを、スルー画像(LCDモニタ34のモニタ画面:320*240)内の開始位置(左上)に配置して、これをラスタ走査の態様で既定量ずつ移動させつつ、顔検出枠FD内の画像に対して照合処理を施していく。顔検出枠FDが終了位置(画面の右下)に到達すると、これを開始位置に戻して同様の動作を繰り返す。
なお、他の実施例では、サイズの異なる複数の顔検出枠(図示せず)を準備して、各画像に対してこれらの顔検出枠による複数の検出処理を順次的または並列的に実行することで、検出精度を向上させてもよい。また、顔検出処理は、AF処理と並列的に実行されるので、各顔にピントが合った時点でのフォーカスレンズ12の位置に基づいて、撮像面14fから被写界内の各顔までの距離を算出するようにしてもよい。
顔画像が検出されると、CPU24はさらに、その顔画像についてサイズおよび位置を算出し、算出結果を“顔サイズ”および“顔位置”として識別子(ID)と共に第1テーブル62に登録する(図9(B),図3参照)。具体的には、顔画像F(F1,F2,…)のサイズとして、顔画像を取り囲む矩形の顔枠Fr(Fr1,Fr2,…:図6(A)等参照)の縦横の長さ(画素数)を、顔画像Fの位置としては顔枠Frの重心座標を、それぞれ用いることができる。IDとしては、たとえば連続番号1,2,…が用いられる。現在検出されている顔の数つまり第1テーブル62に登録されている顔の数を、以下単に「顔数」と呼ぶ。なお、図3には、スルー画像のサイズを320*240とした場合の数値が示されている。
このような顔検出処理は、所定周期たとえば1/10秒周期(3フレームに1回の割合)で実行される。したがって、第1テーブル62の内容もまた、1/10秒周期で更新されていく。更新にあたっては、それまで第1テーブル62に登録されていた顔情報が履歴エリア40c(図9(B)参照)に移動され、そこで所定時間たとえば1秒間保持される。すなわち、履歴エリア40cは10回分の顔情報を記憶可能に構成されており、そこで最古の顔情報が新たな顔情報で上書きされていく。これにより、履歴エリア40cには常時、直近10回分(1秒相当)の顔情報が保持されている結果となる。
一度検出された顔が、横を向くなどして一時的に検出されなくなると、第1テーブル62には、その顔に関し“消失”が登録される。第1テーブル62で“消失”状態にある顔については、必要に応じて、履歴エリア40cに保持されている顔情報が利用される。履歴エリア40cには図19に示すようなテーブルがさらに格納されており、CPU24は、履歴エリア40cに保持されている顔情報を利用するにあたってこのテーブルを参照する。テーブルには、第1テーブル62に登録されている各顔F1,F2,…の有無を示すフラグ(“1”は有を“0”は無をそれぞれ示す)が、直近10回分(No.1〜10)登録されている。このテーブルを参照することによって、第1テーブル62で“消失”状態にある顔の顔情報を、履歴エリア40cから素早く読み取ることが可能となる。たとえば、第1テーブル62で顔F1が“消失”状態となっても、図19のテーブルを参照すると顔F1は8フレーム前まで検出さているので、この場合には、顔F1は消失していないとみなし、履歴エリア40cに記憶されている8フレーム前の顔F1に関する顔情報を利用して、第2テーブル64の作成を行うことができる。もし、顔F1が直近10フレームの間に1度も検出さていなければ、顔F1は“消失”したとみなされる。なお、履歴エリア40cに保持する顔情報は、ここでは1秒分(10フレーム相当)であるが、これよりも長くても短くてもよい。
なお、他の実施例では、CPU24は、顔サイズおよび顔位置に加え、撮像面14fから被写界内の各顔までの距離をフォーカスレンズ12の位置に基づいて算出し、算出結果を“顔距離”として第1テーブル62に登録してもよい。したがって、この場合、第1テーブル62には、“顔サイズ”および“顔位置”に加えて“顔距離”が登録される。顔距離は、CPU24が撮影モードを決定する際に利用される(図18参照:後述)。
CPU24はまた、キャラクタジェネレータ(CG)42を通してLCD駆動回路32を制御することにより、顔枠FrをLCDモニタ34のスルー画像上に描画(オンスクリーン表示)する。
以上のようなスルー撮影中にシャッタボタン26shが半押しされると、CPU24は、Dr16を制御して記録用AF処理を実行する。さらにシャッタボタン26shが全押しされると、CPU24は、本撮影用の露光および電荷読み出しをTG18に命令する。TG18は、撮像面14fの露光動作と、これによって得られた電荷の全画素読み出し動作とをそれぞれ1回実行するべく、1つのタイミング信号をイメージセンサ14に与える。撮像面14fで生成された全電荷が、ラスタ走査に従う順序で読み出される。こうして、高解像度(たとえば1280*960)の生画像信号がイメージセンサ14から出力される。
イメージセンサ14から出力された生画像信号は、カメラ処理回路20によって生画像データに変換され、生画像データは、メモリ制御回路28を通してSDRAM30の生画像エリアに30aに書き込まれる。カメラ処理回路20はその後、生画像エリアに30aに格納された生画像データをメモリ制御回路28を通して読み出し、YUV形式の画像データに変換する。YUV形式の画像データは、メモリ制御回路28を通してSDRAM30の記録画像エリア30c(図9(A)参照)に書き込まれる。I/F36は、こうして記録画像エリア30cに書き込まれた画像データをメモリ制御回路28を通して読み出し、ファイル形式で記録媒体38に記録する。
以上が、ディジタルカメラ10の基本動作つまりノーマル撮影モードが選択されている場合の動作である。撮影モードとしては、ノーマル撮影モードのほかに、集合写真モード,ポートレートモード,夜景モードなどが準備されており、ユーザは、目標や状況に応じた撮影モードをキー入力装置26で選択することができる。また、ディジタルカメラ10はモード自動決定機能を有しており、この機能がオンされている場合には、撮影モードはCPU24によって自動的に決定される。
モード自動決定機能がオンされている場合の動作は、次のようになる。電源がオンされると、上述したようなスルー撮影処理,AF処理および顔検出処理が開始される。スルー撮影処理では、イメージセンサ12は、消費電力を抑制するために低画質モードで動作しており、CPU24は、撮影モード決定の際に顔の数や配置を参照するため、顔検出処理の精度を上げるべく、イメージセンサ12の動作モードをスルー撮影中にもかかわらず一時的に高画質モードに変更する。ここで画質は、具体的にはS/N比であり、S/N比はたとえば画素加算を行うことで向上する。
なお、他の実施例では、S/N比に代えて、またはこれに加えて、解像度を高めてもよい。たとえば、ディジタルカメラ10が動画記録機能を有しており、記録用動画の解像度が640*480であれば、解像度を640*480に高める。
これによって、低画質モードでは検出できなかった小さな顔も検出することができるようになる。CPU24はまた、第1テーブル62(図3参照)に登録された顔位置および顔サイズに対して座標変換処理を施し、各顔を前列および後列(第1列,第2列,…)に区分し、そして変換後の顔位置および顔サイズを列毎に第2テーブル64(図5参照)に登録する。第2テーブル64に登録される顔サイズは、ここでは顔枠Frの面積(=縦*横)とする。なお、第1テーブル62で“消失”状態にある顔については、履歴エリア40cからその顔の情報を抽出して、第2テーブル64に登録するための情報を作成する。
なお、詳細は後述するが、図3の第1テーブル62は、図6(A)の画面に対応しており、図5(A)の第2テーブル64もまた、図6(A)の画面に対応している。一方、図5(B)の第2テーブル64は、図6(B)の画面に対応している。
ここで座標変換処置は、x座標およびy座標の各々を20で除算する処理である。したがって、第1テーブル62では、図2に示すように、スルー画像の左上および右下をそれぞれ(0,0)および(320,240)とする座標系で記述されていた顔位置および顔サイズは、第2テーブル64では、図5に示すように、スルー画像の左上および右下をそれぞれ(0,0)および(16,12)とする座標系で記述される結果となる。なお、他の実施例では、このような座標変換は行わず、検出された顔位置および顔サイズをそのまま第2テーブル64に登録してもよい。
また、区分処理では、複数の顔の間でy座標の差分が閾値(たとえば0.2)以下であるとき、これら複数の顔は同じ列に属するとみなされる。そして、複数の列の間では、そこに属する顔のy座標が小さい列ほど手前に位置している(ディジタルカメラ10に近い)とみなされる。したがって、たとえば図6(A)の画面について、CPU24は、2つの顔画像F1およびF2が後列に、3つの顔画像F3〜F5が前列にそれぞれ属していると判断する。なお、閾値は、固定値とは限らず、顔サイズに応じた値(たとえば顔枠Frの縦方向の長さの定数倍)としてもよい。
CPU24はまた、各列で互いに隣り合う2つの顔画像の間隔(以下「顔間隔」と呼ぶ:この実施例では重心間距離)を算出し、算出結果を“顔間隔”として第2テーブル64にさらに登録する。たとえば図6(A)の画面では、2つの顔画像F1およびF2の間の間隔は、それぞれに対応する2つのx座標6.5および9.5の差分として|6.5−9.5|=3.0のように計算される。
CPU24はその後、第2テーブル64やカメラ処理回路20によって生成されたYデータなどに基づいて撮影モードを決定する。撮影モードとして集合写真モードを選択するか否かは、第2テーブル64に基づいて判別される。この実施例では、CPU24は、顔数が5以上でかつ顔配置が前列・後列を構成している場合に、集合写真モードを選択する。したがって、図6(A)のような場面では、図5(A)に示される第2テーブル64に基づいて、集合写真モードが選択される。一方、顔数および顔配列がこの条件を満足しない場合には、さらにYデータなどを参照して、他のモードたとえばポートレートモードや夜景モードなどを選択する。
このようなモード自動決定処理によって、またはキー入力装置26の操作によって集合写真モードが選択されると、CPU24は、顔サイズのばらつき具合,顔サイズそれ自体,および顔間隔などに基づいて、ユーザに適切な行動ないし操作を行わせるためのアシスト情報(たとえば撮影アシストA01〜A10:図13,図14参照)を、CG42およびLCD駆動回路32を制御してオンスクリーン表示する(図6〜図8参照)。
詳しくは、CPU24はまず、顔サイズが前列・後列間で均等か否かを判別して、均等であれば撮影アシストA03すなわち“顔サイズは均等です”を表示する一方、不均等であれば前列および後列のどちら側の顔サイズが小さいかをさらに判別する。そして、後列側の顔サイズが小さければ撮影アシストA01すなわち“カメラを少し高所から構えてください”を表示し、前列側の顔サイズが小さければ撮影アシストA02すなわち“カメラを少し低所から構えてください”を表示する。CPU24がこのようなアシスト処理を繰り返し行うことで、ユーザはディジタルカメラ10を顔1,2,…に対して適切な高さ、つまり画面内で顔サイズFS1,FS2,…が均等になるような高さに構えることができる。
たとえば、図6(A)の画面の場合、ディジタルカメラ10と、画面内の2つの顔画像F1およびF4に対応する2つの顔1および4とは、奥行き方向および鉛直方向に関して図4(A)のような位置関係にある。この状態でディジタルカメラ10を上向きに移動させると、ディジタルカメラ10と2つの顔1および4との位置関係は、図4(B)のように変化する。ディジタルカメラ10から各顔1,4までの距離をd1,d4とすると、その距離差|d1−d4|は、ディジタルカメラ10を鉛直上方に移動させることで縮小され、この結果、図6(B)に示すように、画面内で顔サイズのばらつきが軽減される。
顔サイズが均等になると、CPU24は次に、顔サイズが既定範囲内か否かを判別して、既定範囲内であれば撮影アシストA06すなわち“顔サイズは適正です”を表示する一方、既定範囲外であれば小さすぎるか大きすぎるかをさらに判別する。そして、顔サイズが小さすぎる場合には撮影アシストA04すなわち“目標に近づくかズームアップしてください”を表示し、顔サイズが大きすぎる場合には撮影アシストA05すなわち“目標から遠ざかるかズームダウンしてください”を表示する。CPU24がこのようなアシスト処理を繰り返し行うことで、ユーザは、画面内で顔サイズFS1,FS2,…が適正な大きさになるように、自分の立ち位置やズーム倍率を変更することができる。
たとえば、図7(A)の画面の場合、CPU24は顔サイズFS1,FS2,…が小さすぎると判断し、撮影アシストA04を表示する。応じてユーザが目標に近づくかズームアップ操作を行うと、顔サイズは拡大され、図7(B)のように適正サイズとなる。
顔サイズが適正になると、CPU24は次に、顔間隔が既定範囲内か否かを判別して、既定範囲内であれば撮影アシストA09すなわち“顔間隔は適正です”を表示する一方、既定範囲外であればつまり過ぎかあき過ぎかをさらに判別する。そして、顔間隔があき過ぎの場合には撮影アシストA07すなわち“目標に間を少しつめるよう指示してください”を表示し、顔間隔がつまり過ぎの場合には撮影アシストA08すなわち“目標に間を少しあけるよう指示してください”を表示する。CPU24がこのようなアシスト処理を繰り返し行うことで、ユーザは、画面内で顔間隔が適切な大きさになるように、目標である各人物に立ち位置を変えさせることができる。
たとえば、図8(A)の画面の場合、CPU24は顔間隔があき過ぎていると判断し、撮影アシストA07を表示する。応じてユーザが目標に間を少しつめるよう指示し、目標がそのように立ち位置を変えると、顔間隔は短縮され、図7(B)のように適正間隔となる。
以上のようなディジタルカメラ10の動作は、CPU24がメインメモリ40に格納されたプログラムおよびデータに基づいて、図10および図11に示すモード制御タスク,図12に示す撮影タスク,図13および図14に示す撮影アシストタスク,図15に示すAFタスク,図16に示す顔検出タスク,および図17に示す顔情報変換タスクを実行することにより実現される。なお、CPU24は、マルチタスクOSの制御下にあり、複数のタスクを並列的に実行することができる。
メインメモリ40のメモリマップを図9(B)に示す。メインメモリ40にはプロググラムエリア40a,データエリア40bおよび履歴エリア40cが形成され、プログラムエリア40aにはモード制御タスクに対応するモード制御プログラム50,撮影タスクに対応する撮影プログラム52,撮影アシストタスクに対応する撮影アシストプログラム54,AFタスクに対応するAFプログラム56,顔検出タスクに対応する顔検出プログラム58,および顔情報変換タスクに対応する顔情報変換プログラム60などが格納されている。先述した第1テーブル62,第2テーブル64および顔辞書データ66は、データエリア40bに格納されている。データエリア40bにはまた、現時点で選択されている撮影モードを示す撮影モード情報68,モード自動決定機能がオン状態かオフ状態かを示すモード自動決定フラグ70,およびイメージセンサ14の現時点での動作モード(低画質モードか高画質モードか)を示すイメージセンサ動作モード情報72などが記憶される。履歴エリア40cには、第1テーブル62の更新履歴(過去の顔情報)などが保持される。
ディジタルカメラ10の電源がオンされると、モード制御タスクが起動される。図10を参照して、モード制御タスクが起動されると、CPU24はまず、ステップS1でスルー撮影命令を発行し、ステップS3およびS5でAFタスクおよび顔検出タスク(図15および図16:後述)をそれぞれ起動する。これにより、イメージセンサ14は低画質モードで動作を開始し、モニタ画面にスルー画像が表示される。CPU24は、AFタスクおよび顔検出タスクを通じて、フォーカス調整を行いつつスルー画像に含まれる顔画像を検出し、その位置およびサイズを示す顔情報を第1テーブル62(図3参照)に登録する。
CPU24は次に、ステップS7で、モード自動設定機能がオン状態か否かをモード自動決定フラグ70に基づいて判別し、YESであればステップS9〜S13の一連の処理を経てステップS21に進む。ステップS9では、イメージセンサ動作モード情報72を更新して、イメージセンサ14の動作モードを低画質モードから高画質モードに変更する。ステップS11では、顔情報変換タスク(図17参照:後述)を起動して、第1テーブル62の顔情報に座標変換,区分などの処理を施し、変換後の顔情報を第2テーブル64(図5参照)に登録する。ステップS13では、第2テーブル64の顔情報に基づいて撮影モードを決定する。
一方、ステップS7でNOであれば、ステップS15に移ってモード選択操作の有無を判別する。ここでYESであれば、ステップS17で、撮影モード情報68の値を選択された撮影モードを示す値に更新した後、ステップS21に進む。ステップS15でNOであれば、ステップS19で撮影モード情報68の値をデフォルト値または前回と同じ値とした後、ステップS21に進む。
ステップS21では撮影タスク(図12参照:後述)を起動し、そしてステップS23で現時点の撮影モードが集合写真モードであるか否かを撮影モード情報68に基づいて判別する。ステップS23でYESであれば、ステップS25で撮影アシストタスク(図13および図14参照:後述)をさらに起動し、そしてステップS26でイメージセンサ14の動作モードを低画質モードから高画質モードに変更し(S26)、処理を終了する。ステップS23でNOであれば、ステップS27で、イメージセンサ動作モード情報72を更新して、イメージセンサ14の動作モードを高画質モードから低画質モードに復帰させ、処理を終了する。なお、ステップS26,S27では、既に動作モードが高画質モード,低画質モードであれば、現状維持される。
上記ステップS13の撮影モード決定処理は、詳しくは図11のサブルーチンに従って実行される。CPU24は、まずステップS31で、現時点での顔数つまり第1テーブル62に登録されている顔の数が集合写真に該当するかどうかを判別する。この実施例では、顔数が5以上であればステップS31でYESと判別し、ステップS33に進む。ステップS33では、現時点での顔配置つまり第1テーブル62に登録されている各顔の位置関係が集合写真に該当するか否かをさらに判別する。この実施例では、先述したように、各顔の位置が前列・後列を構成していれば(第1列,第2列,…のように前後方向に列を構成していれば)YESと判別し、ステップS35に進む。ステップS35では、撮影モード情報68に現時点の撮影モードが集合写真モードであることを記述し(以下では「撮影モードに集合写真モードをセットする」のように記す)、上位層のルーチンに復帰する。
一方、顔数が5に満たなければ、ステップS31でNOと判別し、ステップS37に進む。また、顔配置が前列・後列を構成していなければ(たとえば5つの顔をどのような2つの列または3つ以上の列に区分しても、各列でy座標の差分が閾値以下とならない場合)には、ステップS33でNOと判別し、ステップS37に進む。ステップS37では、さらにYデータなども参照して他の撮影モード(ポートレートモード,夜景モードなど)を選択し、これを撮影モードにセットする。そして上位層のルーチンに復帰する。
図12を参照して、撮影タスクが起動されると、CPU24は、まずステップS51でシャッタボタン26shが半押し状態であるか否かを判別し、NOであればステップS55に進む。ステップS51でYESであれば、ステップS53で記録用AF命令を発行した後、ステップS55に進む。フォーカスレンズ12の位置は、AFタスク(図15参照:後述)による記録用AF処理を通じて、Dr16により微調整される。
ステップS55では、シャッタボタン26shが全押し状態であるか否かを判別し、NOであればステップS51に戻って上記と同様の処理を繰り返す。ステップS55でYESであれば、ステップS57で本撮影命令を発行した後、ステップS59で記録処理を実行する。本撮影命令に応じて、スルー撮影処理は中断され、イメージセンサ14の動作モードは低画質モードから高画質モードへと変化する。本撮影処理によって記録画像エリア30cに高解像度の画像データが書き込まれると、CPU24は、この画像データをI/F回路36を通じてファイル形式で記録媒体38に記録する。記録処理が完了すると、ステップS61に進んでスルー撮影命令を発行し、ステップS51に戻って上記と同様の処理を繰り返す。これにより、イメージセンサ14の動作モードは高画質モードから低画質モードへと復帰し、スルー撮影処理が再開される。
図13および図14を参照して、撮影アシストタスクが起動されると、CPU24は、まずステップS71でスルー撮影中か否かを判別し、NOであれば待機する。ステップS71でYESであればステップS73に進み、顔サイズが前列・後列間で均等であるか否かを第2テーブル64(図5参照)に基づいて判別する。具体的には、各列で顔サイズの平均値を求め、これらの平均値の差分(dFS)が閾値(たとえば0.5)以下であるか否かを判別する。この実施例では、dFS≦0.5のときステップS73でYESと判別し、ステップS81に進んで撮影アシストA03の表示をCG42に命令する。CG42は、LCD駆動回路32を通してLCDモニタ34に“顔サイズは均等です”を表示する(図6(B)参照)。その後、ステップS83に進む。
一方、dFS>0.5であれば、ステップS73でNOと判別し、ステップS75に移って、顔サイズが前列よりも後列で小さいか否かをさらに判別する。ステップS75でYESであれば、ステップS77で撮影アシストA01の表示をCG42に命令し、応じてLCDモニタ34には“カメラを少し高所から構えてください”が表示される(図6(A)参照)。ステップS75でNOであれば、ステップS79で撮影アシストA02の表示をCG42に命令し、応じてLCDモニタ34には“カメラを少し低所から構えてください”が表示される(図示せず)。アシスト表示後、ステップS71に戻って同様の処理を繰り返す。このため、ユーザがアシスト表示に従ってカメラを構える高さを調整し、dFS≦0.5となると、画面表示は撮影アシストA01またはA02からA03に更新される。
顔サイズが均等になると、CPU24は、ステップS83で顔サイズが既定範囲内か否かをさらに判別する。この実施例では、顔サイズの平均値(FS)が5から10の範囲内にある(5≦FS≦10)ときYESと判別し、ステップS91に進んで撮影アシストA06の表示を命令する。LCDモニタ34には“顔サイズは適正です”が表示される(図7(B)参照)。その後、ステップS93に進む。
一方、FS<5または10<FSであれば、ステップS83でNOと判別し、ステップS85に移って、顔サイズが小さすぎるか否かをさらに判別する。この実施例では、FS<5のときステップS85でYESと判別する。ステップS85でYESであれば、ステップS87で撮影アシストA04の表示をCG42に命令し、応じてLCDモニタ34には“目標に近づくかズームアップしてください”が表示される(図7(A)参照)。ステップS85でNOであれば、ステップS89で撮影アシストA05の表示をCG42に命令し、応じてLCDモニタ34には“目標から遠ざかるかズームダウンしてください”が表示される(図示せず)。アシスト表示後、ステップS83に戻って同様の処理を繰り返す。このため、ユーザがアシスト表示に従って自分の立ち位置またはズーム倍率を調整し、5≦FS≦10となると、画面表示は撮影アシストA04またはA05からA06に更新される。
顔サイズが適正になると、CPU24は、ステップS93で顔間隔が既定範囲内か否かをさらに判別する。この実施例では、顔間隔の平均値(dx)が3から4の範囲内にある(3≦dx≦4)ときYESと判別し、ステップS101に進んで撮影アシストA09の表示を命令する。LCDモニタ34には“顔間隔は適正です”が表示される(図7(B)参照)。さらにステップS103で撮影アシストA10の表示を命令し、LCDモニタ34には“この状態でシャッタを押してください”が表示される(図示せず)。その後、ステップS71に戻って同様の処理を繰り返す。
一方、dx<3または4<dxであれば、ステップS93でNOと判別し、ステップS95に移って、顔間隔があきすぎか否かをさらに判別する。この実施例では、4<dxのときステップS95でYESと判別する。ステップS95でYESであれば、ステップS97で撮影アシストA07の表示をCG42に命令し、応じてLCDモニタ34には“目標に間を少しつめるよう指示してください”が表示される(図8(A)参照)。ステップS95でNOであれば、ステップS99で撮影アシストA08の表示をCG42に命令し、応じてLCDモニタ34には“目標に間を少し空けるよう指示してください”が表示される(図示せず)。アシスト表示後、ステップS93に戻って同様の処理を繰り返す。このため、ユーザがアシスト表示に従って目標である人物に隣との間隔を変えるように指示し、応じて人物が間隔を調整した結果、3≦dx≦4となると、画面表示は撮影アシストA07またはA08からA09に更新される。その後、画面表示は撮影アシストA09からA10にさらに更新され、応じてユーザがシャッタ操作を行うと、撮影タスクによる撮影処理が実行される。
図15を参照して、AFタスクが起動されると、CPU24は、ステップS151でVsyncの発生を待った後、記録用AF命令の有無をステップS113で判別する。撮影タスク(図12参照)によって記録用AF命令が発行されると、ステップS113でYESと判別し、ステップS115に進んで記録用AF処理を実行する。そしてステップS111に戻り、上記と同様の処理を繰り返す。
ステップS113でNOであれば、現時点のフォーカス評価値がAF起動条件を満足したか否かをステップS117で判別する。ここでNOであればステップS111に戻って同様の処理を繰り返す。ステップS117でYESであれば、ステップS119に進んでコンティニュアスAF処理を実行した後、ステップS111に戻って同様の処理を繰り返す。
図16を参照して、顔検出タスクが起動されると、CPU24は、ステップS131で第1テーブル62(図3参照)を初期化する。次に、ステップS133で顔検出枠FDを開始位置(たとえば画面左上:図2参照)に配置した後、ステップS135でVsyncが3回発生されるのを待ち、Vsyncが3回発生するとステップS137に進んで、被写界画像から顔検出枠FD内の画像を切り出す。そしてステップS139で、切り出した画像と顔辞書データ66との照合処理を実行し、照合結果が適合を示すか否かをステップS141で判別する。ステップS141でNOであればステップS137に戻って同様の処理を繰り返し、YESであればステップS143で当該顔に関する顔情報(ID,位置およびサイズ)を第1テーブル62に記述する。それまで第1テーブル62に記述されていた顔情報は、履歴エリア40cに移動される。その後、未照合部分の有無をステップS145で判別し、YESであればステップS147で顔検出枠FDを図2の要領で1ステップ移動させた後、ステップS137に戻って同様の処理を繰り返す。顔検出枠FDが画面の右下に到達していれば、ステップS145でNOと判別し、ステップS133に戻って同様を繰り返す。
図17を参照して、顔情報変換タスクが起動されると、CPU24は、まずステップS161で第2テーブル64(図5参照)を初期化する。次に、第1テーブル62が更新されたか否かをステップS163で判別し、NOであれば待機する。ステップS163でYESであれば、ステップS165に移って、第1テーブル62に登録された顔情報のうち位置およびサイズに関して座標変換を行う。なお、第1テーブル62で“消失”となっている顔については、履歴エリア40cに保持されている顔情報に関して座標変換を行う。
CPU24は次に、座標変換された後の位置およびサイズに基づいて、ステップS167で各顔を前列および後列(第1列,第2列,…)に区分し、ステップS169では各顔サイズつまり顔枠Friに対応する矩形の面積を算出し、そしてステップS171で顔間隔つまり矩形の重心間距離を算出する。なお、上記ステップS165〜S171にそれぞれ対応する座標変換,区分,顔サイズ算出および顔間隔算出の各処理については、先に説明したので省略する。こうして、第1テーブル62に登録された顔情報は撮影アシスト用の顔情報に変換され、変換後の顔情報がステップS173で第2テーブル64に記述される。その後、ステップS163に戻って同様の処理を繰り返す。
以上から明らかなように、この実施例のディジタルカメラ10は、撮像面14f上に結ばれた被写界像を繰り返し捉えるイメージセンサ14、およびこれによる撮像処理に関連する情報をLCD駆動回路32を介してLCDモニタ34に表示するCG42を備える。CPU24は、イメージセンサ14によって作成された各被写界画像から顔画像を検出し(S131〜S147)、検出された複数の顔画像の間のサイズ差が閾値を上回る場合に、撮像面14fと被写界に含まれる各顔との間の距離差が減少するような向きにディジタルカメラ10自身を移動させる行動を促すための撮影アシスト情報(A01,A02)を、CG42を制御して出力する(S73〜S79)。
したがって、ユーザが撮影アシスト情報に従って行動することで、撮像面14f(ディジタルカメラ10)と被写界に含まれる各顔1,2,…との間の距離差が減少する(図4参照)ので、集合写真撮影を行うとき顔画像サイズの不均等を是正することができる(図6参照)。
なお、撮影アシスト情報(A01〜A10)は、この実施例ではCG42によって画像(図6〜図8参照)の態様で出力されるが、他の実施例では、サウンドジェネレータ(図示せず)によって音声の態様で出力されてもよく、画像および音声の両方の態様で出力されてもよい。
また、顔画像のサイズは、この実施例では、顔画像(F1,F2,…)の輪郭に沿う矩形(顔枠Fr1,Fr2,…)の面積であるが、他の実施例では、同様の矩形の長さ(たとえば隣り合う2辺を合計した長さや、対角線の長さなど)でもよく、顔画像それ自体の面積や長さでもよい。
また、この実施例では、撮影モードの決定にあたって、顔配置が集合写真に該当するか否かを、画面内で顔画像が前列・後列を形成しているか否か、すなわち顔画像の平面的な配置つまり座標(x,y)に基づいて判別した(S33)が、変形例では、撮像面14f(ディジタルカメラ10)から各顔1,2,…までの距離つまり顔距離d1,d2,…の差分、言い換えると奥行き方向の配置(図4参照)に基づいて、これを判別してもよい。この場合、第1テーブル62(図3参照)には顔距離がさらに登録され、CPU24は、図11の撮影モード決定処理に代えて、図18の撮影モード決定処理を実行する。
図18の撮影モード決定処理は、図11のそれにおいて、ステップS33をステップS33aに置き換えたものであり、ステップS33aでCPU24は、第1テーブル62に登録された顔距離の間で距離差があるか否かを判別する。この変形例では、距離差が閾値(たとえば0.15m)以上のとき距離差ありとみなし、閾値に満たなければ距離差なしとみなす。たとえば図3の例では、距離差が0.2mなので、ステップS33aの判別結果はYESつまり距離差ありとなる。
顔配置が集合写真に該当するか否かの判別を、この実施例のように各顔画像の座標(x,y)に基づいて行うか、または、この変形例のように撮像面から各顔までの距離差に基づいて行えば、大人の顔と子供の顔のように顔自体のサイズが異なる場合でも、好適な集合写真撮影が行える。
なお、以上で挙げた位置,サイズ,間隔および距離などの値や、各種判別のための閾値は、理解を助けるための一例に過ぎず、適宜変更される。また、各タスクは、CPU24によって実行されたが、図示しないMPUやマイコンによって実行されもよい。画像は、LCD以外のディスプレイ、たとえば有機ELディスプレイに表示されてもよい。画像データは、I/F36を通して記録媒体38に記憶されたが、メインメモリ40などの内蔵メモリに記録してもよい。記録の形式は、必ずしもファイル形式でなくてもよい。
以上では、一例として、ディジタルカメラ10について説明したが、この発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段(たとえばCCDやCMOSなどのイメージセンサ)、撮像手段の処理に関連する情報を出力する情報出力手段(たとえばキャラクタジェネレータ,サウンドジェネレータなど)、およびプロセッサ(CPU,MPU,マイコンなど)を備える、撮像装置(たとえばディジタルスチルカメラ,ディジタルムービーカメラ,カメラ付き携帯端末など)に適用できる。