JP4415879B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、動画像撮像中に静止画像を撮像する撮像装置および撮像方法に関する。

近年、動画と静止画の両方を撮影可能なカメラ、いわゆるハイブリッドカメラが出現している。これらのカメラでは、通常の動画撮影機能に加え、より高精細・高解像度の静止画の撮影も行うことが可能である。
これらのカメラでは、動画撮影中に静止画撮影のためのシャッターボタンを押した場合、動画の記録が途絶えるものが一般的であったが、静止画撮影時も動画の記録を継ぎ目なく継続させることが可能なカメラも商品化されている。
その実現方法としては、光学経路や撮像素子は共有しながら、その後段で動画と静止画で完全に別の画像処理回路を備え、双方を平行に処理するものや、単一の画像処理回路を時間分割して使い分けることで、動画処理の時間的合間に静止画処理を行うものなどが提案されている。
特開２００３−１５８６８４号公報

しかしながら、上述したハイブリッドカメラを実際に使用する場面を考えると、動画撮影に撮影者が集中する中で、静止画を撮影するタイミングを逃すことが少なくない。
また撮影者が静止画撮影のシャッターボタンを押すことでカメラ装置の揺れを起こし、高精細に撮るべき静止画に手ブレを起こさせてしまうことも多い。加えて、動画と静止画を同じ外部記録装置に記録する場合は、撮影者が記録装置の残り容量に気を配りながら静止画撮影を追加していく中でのわずらわしさがある。

本発明では、動画撮影中に静止画撮影を行う場合のユーザの手間を低減できる撮像装置および撮像方法を提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の撮像装置は、入射光を受光素子に結像して画像データを生成する撮像手段と、前記撮像手段が生成した画像データに対して、動画像データを生成する動画像処理及び静止画像を生成する静止画像処理を行う画像処理手段と、前記画像処理手段が前記静止画像処理を開始するタイミングである静止画像撮像タイミングを自動的に決定する静止画撮像タイミング決定手段と、前記撮像手段が撮像した前記画像データ内で顔画像データを検出する顔画像検出手段と、を有し、前記静止画撮像タイミング手段は、前記顔画像検出手段が検出した前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する。

第２の観点の発明の撮像装置は、入射光を受光素子に結像して画像データを生成する撮像手段と、前記撮像手段が生成した画像データに対して、動画像データを生成する動画像処理を行う動画処理手段と、前記撮像手段が生成した画像データに対して、静止画像データを生成する静止画処理手段と、前記画像処理手段が前記静止画像処理を開始するタイミングである静止画像撮像タイミングを自動的に決定する静止画撮像タイミング決定手段と、を有し、前記動画処理手段と前記静止画処理手段とは並行して処理を行い、前記静止画撮像タイミング手段は、前記顔画像検出手段が検出した前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する。

第３の観点の発明の撮像方法は、撮像手段が画像データを撮像する第１の工程と、顔画像検出手段が前記撮第１の工程において撮像された前記画像データ内で顔画像データを検出する第２の工程と、静止画撮像タイミング手段が、前記第２の工程において検出された前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する第３の工程と、前記第１の工程において撮像された画像データに対して動画像処理を行い動画像データを生成する第４の工程と、前記第４の工程の前記動画像処理と時分割で、前記第３の工程で決定した前記静止画像撮像タイミングで前記画像データに対して静止画像処理を行い静止画像データを生成する第５の工程と、を有する。

第４の観点の発明の撮像方法は、静止画像撮像タイミングを自動的に決定する第１の工程と、撮像した画像データを動画像処理する第２の工程と、前記第２の工程と並行して、前記第１の工程で決定した前記静止画像撮像タイミングで前記撮像した前記画像データを静止画像処理する第３の工程とを有する。

第４の観点の発明の撮像方法は、撮像手段が画像データを撮像する第１の工程と、顔画像検出手段が前記撮第１の工程において撮像された前記画像データ内で顔画像データを検出する第２の工程と、静止画撮像タイミング手段が、前記第２の工程において検出された前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する第３の工程と、前記第１の工程において撮像された画像データに対して動画像処理を行い動画像データを生成する第４の工程と、前記第４の工程の前記動画像処理と並行して、前記第３の工程で決定した前記静止画像撮像タイミングで前記画像データに対して静止画像処理を行い静止画像データを生成する第５の工程と、を有する。

以下、本発明の実施形態に係わる撮影装置について説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
表示装置１１３が本発明のディスプレイの一例であり、固体撮像素子１０２が本発明の撮像手段の一例であり、ＣＰＵ１１８が本発明の静止画撮像タイミング決定手段の一例であり、画像サイズ変換部１０７や画質調整部１０９が本発明の画像処理手段の一例である。

図１は、本発明の実施形態に係わる撮影装置１の全体構成図である。
撮影装置１は、動画および静止画の同時記録が可能である。
図１に示すように、撮影装置１は、レンズ１０１、固体撮像素子１０２、アナログ信号処理部１０３、ＡＤ変換部１０４、画像データ補正部１０５、メモリ制御部１０６、画像サイズ変換部１０７、動き検出部１０８、画質調整部１０９、表示用画像作成部１１０、メモリ制御部１１１、表示装置Ｉ／Ｆ１１２、ディスプレイ１１３、画像圧縮部１１４、外部記録Ｉ／Ｆ１１５、保存容量計数部１１６、ＣＰＵ１１８、タイマー１１９、動き検出センサ制御部１２０、ユーザＩ／Ｆ１２１、入力装置１２２、入力装置１２３、露光量調整部１２５、焦点調整部１２６、画像メモリ１３０、並びに表示用メモリ１３１を有する。
ここで、図１に示す各構成は、電子回路によって実現してもよいし、演算回路がプログラムを実行することで実現してもよい。

撮影装置１は、動画あるいは静止画を撮影する場合共に、レンズ１０１を介し集光された撮影対象画像が固体撮像素子１０２によってアナログ電気信号化される。
固体撮像素子１０２には、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等のセンサが用いられる。
アナログ電気信号となった撮影対象画像は、ゲイン調整や色調整等の信号処理をアナログ信号処理部１０３によって施された後、AD変換部１０４によってディジタル信号に変換される。ここ以降で処理される画像データは全てディジタル信号である。
ディジタル化された画像データは、画像データ補正部１０５によって、後段に待ち構える画質処理のための前処理を施される。具体的には信号値のある値以下を黒とみなす様に決定する黒レベルの補正や、固体撮像素子１０２に由来する欠陥画素補正等の処理がある。

補正された画像データは本例では一旦画像メモリ１３０に貼り付けられる。画像メモリ１３０に貼り付けられた画像を画像サイズ変換部１０７が読み出して画像サイズを適当に変換する。例えば、固体撮像素子１０２で撮影された数百万画素以上の画像データを、SD(７２０x４８０、Standard Definition), HD(１９２０x１０８０、High Definition)といった動画用のサイズに変換する。静止画を撮影した場合は、画像サイズを変換せずにそのまま後段の処理に進む事も出来る。
サイズ変換された画像は、動き検出部１０８において、手ぶれ度合いの検出などが行われ、その結果に応じて電子手ぶれ補正など、適宜補正がかけられる。以上の前処理を行われた画像データは、画質調整部１０９に送られ、ここでは本格的な画像処理、いわゆる絵作りが行われる。具体例としては、γ補正、ホワイトバランス調整、エッジ強調等である。ここで各映像記録装置の画質の傾向が決定される。絵作りを終えた画像データは、再び画像メモリ１３０に貼り付けられる。

なお、ここで示した例の他のシステムでは、１０５〜１０９に至る経路は順番が前後することもある。画像メモリ１３０に貼り付けられた画像データは、主として二つの行き先に流れていくことになる。その二つは、保存目的の外部記録装置１１７と、撮影者への情報供給を目的とする表示装置１１３である。保存目的の経路では、画像圧縮部１１４で一般的にはJPEG(Joint Photographic Experts Group), MPEG(Moving Picture Experts Group)といった方式による容量圧縮処理を受け、外部記録I/F１１５を以って外部記録装置１１７に書き込まれる。
一方、表示目的の経路では、表示用画像作成部１１０において、各種アイコンや時刻情報などの別画像を重ね合わされ、表示装置に合わせたサイズ変換を受けた後、表示用メモリ１３１(いわゆるVRAM)に貼り付けられる。表示メモリ１３１上に貼り付けられた表示用画像は、適宜表示装置I/F１１２を介して、表示装置１１３に送出され、表示が行われる。動画撮影・あるいは静止画連写の際は、これらのデータフローが連続的に次々と処理されていく。
通常の静止画の撮影の場合であれば、絵作り後のデータを表示装置に表示するとともに、撮影者に画像保存をするかの判断を仰ぎ、画像保存が決定されて初めて外部記録装置１１７への画像記録を行うといったことも、一般的に行われる。

図１に示す撮影装置１の動作は、ＣＰＵ１１８によって統括的に制御される。

図２は、以上で説明された画像データフローの中における、メモリ領域使用のイメージ図である。
本例では、固体撮像素子１０２側からは、常に数百〜千数百万画素単位の、フルサイズの画像データが送られてくる(３０４)。動画処理の場合も、静止画処理の場合も、基本的にはこの同じ画像３０４を読み出すことで、それぞれの処理を開始する。動画の場合は、画像サイズ変換部１０７において適当なサイズに変換後、画質調整部１０９で画質調整を行って、再び画像メモリに貼り付ける(３０６)。静止画の場合も同様に、画像サイズ変換部１０７で必要があればサイズ変換し、画質調整部１０９で画質調整を行ったのちに、画像メモリ１３０に貼り付ける(３０８)。動画・静止画ともに、外部保存する場合は画像圧縮部１１４でデータ量を圧縮した後、外部記録Ｉ／Ｆ１１５を以って外部記録装置に保存する。一方、LCD等に表示する場合は、表示用画像作成部１１０で各種アイコンや時刻情報などの画像と合成した後、表示用メモリ１３１に貼り付け(３１２)、その後、表示装置Ｉ／Ｆ１１２を介して表示装置１１３への表示を行う。

図１および図２に示す画像サイズ変換部１０７、動き検出部１０８、画質調整部１０９の処理は、例えば、図３に示すように、各フレーム時間内に１枚の動画フレームの処理を完了し、複数のフレーム時間（例えば、４フレーム時間）で単数の静止画像データの処理を分割して行う。

以下、図１に示す撮影装置１の動作例を説明する。
［第１動作例］
本動作例では、撮影装置１の撮影時の主動作を説明する。
図４は、図１に示す撮影装置１の撮影時の主動作を説明するためのフローチャートである。
ステップＳＴ１１：
固体撮像素子１０２が結像結果に応じ取得した画像データがメモリ制御部１０６によって画像メモリ１３０に書き込まれる。
そして、画像メモリ１３０から画像サイズ変換部１０７に上記画像データが読み出され、画像サイズ変換部１０７による画像サイズ変換、動き検出部１０８による動き検出、画質調整部１０９による画質調整などの動画処理が行われる。

ステップＳＴ１２：
ＣＰＵ１１８は、ユーザが自動撮影設定の終了命令を出したか否かを判断し、自動撮影設定の終了命令を出したと判断すると自動撮影設定を終了する。
一方、ＣＰＵ１１８は、ユーザが自動撮影設定の終了命令を出していないと判断するとステップＳＴ１３に進む。
ステップＳＴ１３：
ＣＰＵ１１８は、例えば、図５に示すように、タイマー１１９からのカウント値を基に、前回静止画を撮像した時刻から一定時間（例えば、１０秒）経過したか否かを判断し（ＳＴ３１）、一定時間経過したと判断すると静止画自動撮影時刻になったと判断する（ＳＴ３２）。
ステップＳＴ１４：
図１に示す画像サイズ変換部１０７、動き検出部１０８および画質調整部１０９において、図３を用いて説明したように、動画フレーム処理と静止画処理とが行われる。

ステップＳＴ１５：
ＣＰＵ１１８は、入力装置１２３からの操作信号を基に、ユーザがシャッターを操作したか否かを判断し、操作したと判断するとステップＳＴ１６に進み、そうでない場合にはステップＳＴ１７に進む。
ステップＳＴ１６：
ＣＰＵ１１８は、ステップＳＴ１４で自動的に撮像した静止画像データを画像メモリ１３０から破棄する。
ステップＳＴ１７：
ＣＰＵ１１８は、ステップＳＴ１１４の静止画処理が終了したか否かを判断し、終了したと判断するとステップＳＴ１８に進み、そうでない場合にはステップＳＴ１４に戻る。
具体的には、ＣＰＵ１１８は、例えば、図３に示す４回分の静止画部分処理が終了したと判断するとステップＳＴ１８に進む。

ステップＳＴ１８：
ＣＰＵ１１８は、ステップＳＴ１４で処理を完了した静止画像データを、表示用画像作成部１１０を介して、表示用メモリ１３１に書き込む。
これにより、自動的に撮像された静止画がディスプレイ１１３に表示される。
ステップＳＴ１９：
ＣＰＵ１１８は、入力装置１２２からの操作信号を基に、ユーザが静止画の保存許可を出したか否かを判断し、保存許可を出したと判断するとステップＳＴ２０に進み、そうでない場合にはステップＳＴ２１に進む。

ステップＳＴ２０：
ＣＰＵ１１８は、ステップＳＴ１４の処理で画像メモリ１３０に書き込んだ静止画像データを、外部記録Ｉ／Ｆ１１５を介して外部記録装置１１７に書き込む。
ステップＳＴ２１：
ＣＰＵ１１８は、ステップＳＴ１４の処理で画像メモリ１３０に書き込んだ静止画像データを破棄（消去）する。

図４に示すステップＳＴ１７〜ＳＴ２１の処理は、例えば、図６に示すフローに従って行われる。
例えば、ＣＰＵ１１８は、ステップＳＴ１４で処理を完了した静止画像データを、表示用画像作成部１１０によって縮小画像データに変換した後に、表示用メモリ１３１に書き込む（ステップＳＴ４１）。
そして、ＣＰＵ１１８は、ユーザの保存許可を待たずに常に静止画像データを外部記録装置１１７に書き込む設定になっているか否かを判断する（ステップＳＴ４２）。
ＣＰＵ１１８は、上記設定になっていると判断すると、ステップＳＴ１４で処理を完了した静止画像データを画像メモリ１３０から読み出して、外部記録Ｉ／Ｆ１１５を介して外部記録装置１１７に書き込む（ＳＴ４４）。
一方、ＣＰＵ１１８は、上記設定になっていないと判断すると、入力装置１２２からの操作信号を基に、ユーザが静止画の保存許可を出したか否かを判断する（ステップＳＴ４３）。
そして、ＣＰＵ１１８は、ステップＳＴ４３で保存許可を検出すると、ステップＳＴ４４で静止画像データを外部記録装置１１７に書き込む。
一方、ＣＰＵ１１８は、ステップＳＴ４３で保存破棄を検出すると、画像メモリ１３０に記憶された静止画像データの記憶を破棄（消去）する（ステップＳＴ４５）。

［第２動作例］
本動作例では、撮影シーンの変化を撮影実行の要因とするものである。
この手法は、一般的に、撮影者が装置を動かしたりして撮影シーンを変化させるのは、その新たなシーンが撮影者にとって興味のあるシーンである可能性が高いことを利用している。
動き検出センサ制御部１２０は振り子様の物理的な検出素子を持っており、撮影装置１全体が動かされると、その動き量を検出する機能を持っている。

図７は、当該動作例を説明するためのフローチャートである。
図７に示すステップは、図４に示すステップＳＴ１３における静止画を撮像する時刻に到達したかを判断する処理として行われる。

ステップＳＴ５１：
ＣＰＵ１１８は、動き検出センサ制御部１２０の検出信号を基に、撮影装置１の一定以上の動き量が検出するとステップＳＴ５２に進む。
ステップＳＴ５２：
ＣＰＵ１１８は、ステップＳＴ５１で検出した一定以上の動き量が一定時間以上続いたか否かを判断し、一定時間以上続いたと判断するとステップＳＴ５３に進み、そうでない場合にはステップＳＴ５１に戻る。
ここで、撮影装置１の一定量以上の動きが一定時間以上続くことは、撮影装置１がユーザなどにより大きく動かされたことを示す。

ステップＳＴ５３：
ＣＰＵ１１８は、動き検出センサ制御部１２０の検出信号を基に、撮影装置１の一定以下の動き量を検出するとステップＳＴ５４に進む。
ステップＳＴ５４：
ＣＰＵ１１８は、ステップＳＴ５３で検出した一定以下の動き量が一定時間以上続いたか否かを判断し、一定時間以上続いたと判断するとステップＳＴ５５に進み、そうでない場合にはステップＳＴ５３に戻る。
これにより、撮影装置１の動きが止まったと判断することができる。

ステップＳＴ５５：
ＣＰＵ１１８は、予め決めた手ぶれ安定化時間の経過を待つ。
なお、ＣＰＵ１１８は、検出した手ぶれ具合から、安定化時間を動的に決定してもよい。
ステップＳＴ５６：
ＣＰＵ１１８は、静止画自動撮像時刻であると判断する。
撮影装置１を移動させた直後に静止画撮影を行った場合は、まだ手ぶれ等で装置の捕らえる撮影画像が安定していないことが考えられるので、近年のカメラに搭載されている手ぶれ補正機能を使うか、手ぶれが収まるであろう時間、例えば０.５秒などを経過した後に、静止画自動撮影を行う時刻であると判断すると良い。この安定化のための時間は、撮影者の動きの癖などとも関係するため、撮影者側から設定可能とすることも望ましい方法であると考えられる。

［第３動作例］
当該動作例では、画像処理の過程で動画フレーム間、あるいは処理性能が許せば静止画フレーム間の動きを検出し、それを以って装置および撮影シーンの移動を検出する。
実際の処理は、動きベクトルの算出と、動きベクトル算出結果の評価による撮影シーンの変化の有無の判断となる。
動きベクトルの算出は、それ専用の動き検出部１０８を設けて、そこで算出しても良いし、もし画像圧縮部１１４の処理として、MPEGのような動きベクトルを算出する過程を含むのであれば、そこから動きベクトルを得ることが出来る。画面全体の動きベクトルを評価し、例えば、一定以上動きの大きな箇所が局所的に画面内に存在するのであれば、それは装置の移動ではなく、むしろ画面内の一物体の移動であるとみなす。
一方で画面全体として同様の大きさ・同様の方向の動きベクトルが多数存在すれば、それは画面全体の移動すなわち装置の移動であるとみなす。こうすることで、撮影シーンの動きを検出することが出来る。実際、こういった技術は様々に提案されている。特開平０７-２８４０１６号公報では、画面全体の動き、あるいは手ぶれによる動きを他の動きから区別する方法が提案されている。特開平０９-１３０７４８号公報では、画面全体の動きベクトルから画面全体に対する動きベクトルを算出する方法が提案されている。以上の手段により、シーンの移動を動き検出センサ制御部１２０の場合と同様にして静止画自動撮影時刻を算出することが出来る。

図８は、当該動作例を説明するためのフローチャートである。
図８に示すステップは、図４に示すステップＳＴ１３における静止画を撮像する時刻に到達したかを判断する処理として行われる。
図８に示す例では、動き検出部１０８において動きベクトルを生成する場合を例示する。

ステップＳＴ６１：
ＣＰＵ１１８は、動き検出部１０８で検出した動きベクトルを基に、撮影装置１の一定以上の動き量が検出されるとステップＳＴ６２に進む。
ステップＳＴ６２：
ＣＰＵ１１８は、ステップＳＴ６１で検出した一定以上の動き量が一定時間以上続いたか否かを判断し、一定時間以上続いたと判断するとステップＳＴ６３に進み、そうでない場合にはステップＳＴ６１に戻る。
ここで、撮影装置１の一定量以上の動きが一定時間以上続くことは、撮影装置１がユーザなどにより大きく動かされたことを示す。

ステップＳＴ６３：
ＣＰＵ１１８は、ステップＳＴ６１で検出した動きベクトルを基に、撮影装置１の一定以下の動き量が検出されるとステップＳＴ６４に進む。
ステップＳＴ６４：
ＣＰＵ１１８は、動き検出部１０８で検出した一定以下の動き量が一定時間以上続いたか否かを判断し、一定時間以上続いたと判断するとステップＳＴ６５に進み、そうでない場合にはステップＳＴ６３に戻る。
これにより、撮影装置１の動きが止まったと判断することができる。

ステップＳＴ６５：
ＣＰＵ１１８は、予め決めた手ぶれ安定化時間の経過を待つ。
ステップＳＴ６６：
ＣＰＵ１１８は、静止画自動撮像時刻であると判断する。

［第４動作例］
本動作例では、図１に示す顔検出部１２４の顔検出機能を用いて自動撮影時刻を決定する。
顔検出部１２４は、例えば、 画像内に存在する顔の個数、画像内に存在する各顔の大きさ、画像内に存在する各顔の位置を特定する機能を有している。
顔検出部１２４は、例えば、検出した顔が誰の顔であるかや、性別、年齢などを認識するものが考えられる。こういった高度な機能を組み合わせた、より緻密な条件判定（若い女性ばかりを重点的に撮影する、など）を行えることも望ましいが、本願発明では必須ではない。
なお、こういった顔検出に関する様々な手法、およびその応用例が考案されている。特開２００４-３２０２８６号公報では、撮影画面内の顔検出情報を元に、撮影装置の焦点距離を変更する手法、特開２００４-３２０２８４号公報では、おなじく顔検出結果から、ストロボ発光光量を変更する方法が提案されている。
特開２００１-３３０８８２号公報でも、撮影画面内に顔の存在を検出した場合におうじて、カメラの各種設定調節を行う手法が記載されている。また、特開２００３-０７５７１７号公報では、撮影画面内で検出した顔の大きさ情報から被写体までの距離を算出する方法なども提案されている。

図９は、当該動作例を説明するための図である。
図９に示すステップは、図４に示すステップＳＴ１３における静止画を撮像する時刻に到達したかを判断する処理として行われる。
ステップＳＴ７１：
ＣＰＵ１１８が、次の画像データを画像メモリ１３０から読み出して顔検出部１２４に出力させる。
このとき、ＣＰＵ１１８は、画像メモリ１３０に所定数の画像データが書き込まれる度に、そのうち一つを画像メモリ１３０から読み出して顔検出部１２４に出力する。
ステップＳＴ７２：
顔検出部１２４は、入力した画像データ内で顔検出処理を行う。
このとき、顔検出部１２４は、例えば、画像内に存在する顔の個数、画像内に存在する各顔の大きさ、画像内に存在する各顔の位置を検出する。
図１０に示す例では、顔検出部１２４は、撮影画面内において、二名の顔の存在と、位置、大きさがそれぞれ検出されている。

ステップＳＴ７３：
ＣＰＵ１１８は、ステップＳＴ７２で顔検出部１２４が顔を検出すると、ステップＳＴ７４に進み、そうでない場合にはステップＳＴ７１に戻る。
ステップＳＴ７４：
ＣＰＵ１１８は、ステップＳＴ７２で顔検出部１２４が検出した顔の個数と大きさが一定の制限範囲内であれば、ステップＳＴ７５に進み、そうでない場合にはステップＳＴ７１に戻る。
ここでの個数と大きさの制限は、顔が検出された画像が撮影に値するか否かの条件判定の役割を果たしている。例えば、ＣＰＵ１１８は、顔が３つ以内で、画面内に合計面積３０%以上の割合を占めるのであれば、それは人物を中心とした画面であるとみなすことができ、撮影に値する画像であると判断できる。ＣＰＵ１１８は、判断の際、まったく同じ様な画像を複数撮影しても意味が薄いので、一度自動撮影した後は、顔検出から一定の期間を置いて撮影してもよい。なお、顔検出に用いた画像と、実際に撮影する画像が全く同一でなく、数フレーム分の時間的差異が両者の間にあってもかまわない。

ステップＳＴ７５：
ＣＰＵ１１８は、予め決めた一定時間の経過を待つ。
ステップＳＴ７６：
ＣＰＵ１１８は、静止画自動撮像時刻であると判断する。

以上の顔検出を用いる方法は、人物を中心とした思わぬ画像を高精度に保存できるという点で、非常に有用である。

上述した第２、第３および第４の動作例において、自動撮影時刻の条件に、撮影装置１が検知している撮影環境要因を加えても良い。例えば、露光量調整部１２５から得られる撮影画像の明度情報、焦点調整部１２６によって得られるピント精度情報などをＣＰＵ１１８で判断し、一定以上の好条件のときのみ、自動撮影時刻の決定を行うというものである。こういった条件を付加することで、光量不足で真っ暗な写真であるとか、ピンボケの写真である場合は自動的に撮影されないことになり、自動的に撮影される静止画全体の平均的な質を高いレベルに維持することができる。

［第５動作例］
本動作例では、ＣＰＵ１１８が、外部記録装置１１７の残り記録容量を基に、自動撮影時刻算出条件の調整を行う。
図１１（Ａ）は、当該動作例を説明するためのフローチャートである。
ステップＳＴ８１：
保存容量計数部１１６は、外部記録装置１１７の残り記録容量を監視する。
ＣＰＵ１１８は、保存容量計数部１１６の検視結果を基に、外部記録装置１１７の残り記録容量が基準値より少ないと判断すると、ステップＳＴ８２に進み、そうでない場合には上記判断を繰り返す。

ステップＳＴ８２：
ＣＰＵ１１８は、図５、図７、図８、図９等に示した静止画自動撮像に移行するための条件を厳しくなるように変更（更新）する。
当該変更としては、例えば、図１１（Ｂ）に示すように、図９のステップＳＴ７４で説明した制約範囲を厳しく（個数制限範囲を小さく、大きさ範囲を狭める）変更したり、図１２（Ａ）に示すように、図５のステップＳＴ３１で用いる一定時間間隔を長く設定したり、図１２（Ｂ）に示すように、図７に示すステップＳＴ５２および図８に示すステップＳＴ６３における動きが継続する時間を長く設定したりする。
これにより、静止画像データが外部記録装置１１７に書き込まれる頻度を低下することができ、外部記録装置１１７の記録容量を節約できる。
ＣＰＵ１１８は、上記条件を変更するタイミングは、残り容量が変化するごとに、段階的に順次設定される。ＣＰＵ１１８は、ユーザの操作などで外部記録装置１１７内の画像データが消去され、残り容量が増加した場合には、自動撮影時刻算出条件を易化させればよい。
ステップＳＴ８３：
ＣＰＵ１１８は、ステップＳＴ８１で次に用いる上記基準値を設定する。

以上説明したように、撮影装置１によれば、動画撮像中に静止画を自動的に撮像できる。
そのため、動画撮像中に静止画を撮像する際のユーザの手間を軽減できる。
すなわち、撮影装置１によれば、撮影者が動画撮影に集中する中で、意識しないうちに自動的に高精細な静止画を複数枚確保することができる。
また、撮影装置１によれば、一定の時間間隔で静止画を自動撮影することで、連続的な動画像と、装置の性能が許す範囲で可能な限りの静止画を取得することが出来る。
また、撮影装置１によれば、撮影シーンの変更を検出して自動的に静止画を保存することで、撮影者の意図に近い静止画像を撮り逃しなく保存することができる。
また、撮影装置１によれば、自動的な静止画撮影に顔検出機能を併用することで、人物を撮る目的の場合に自動撮影画像の価値を上昇させることが出来る。
また、撮影装置１によれば、自動的な静止画撮影により、撮影者による静止画の撮り逃しをカバーすることができる。
また、撮影装置１によれば、自動的な静止画撮影ではシャッターボタン押下の必要がないため、手ぶれのリスクが少ない静止画像を得ることができる。
また、撮影装置１によれば、装置自体が光量やフォーカス等に関する好条件下で静止画撮影時刻を判断することも可能なため、比較的高画質な静止画ばかりが多数保存されることが期待できる。
また、撮影装置１によれば、外部記録装置の残り容量を考慮した自動的撮影により、撮影者が残り容量を気にすることなく自動撮影された静止画像を得ることが出来る。
また、撮影装置１によれば、撮影者は、完全な動画像と、自己の意図した静止画像と、動画像の中でピックアップされ自動的に撮影された静止画像の全てを得ることが出来る。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、図１に示す撮影装置１は、図１３に示すように、画像サイズ変換部１０７、動き検出部１０８、画質調整部１０９と並行に、静止画像サイズ変換部６０７、静止画画質調整部６０９を設けてもよい。
そして、図１４に示すように、画像サイズ変換部１０７、動き検出部１０８および画質調整部１０９による動画処理と、静止画像サイズ変換部６０７および静止画画質調整部６０９による静止画処理とを並列に実行してもよい。

図１は、本発明の実施形態の撮影装置の構成図である。 図２は、図１に示す画像メモリと表示用メモリのデータ書き込みおよび読み出し動作を説明するための図である。 図３は、図１に示す撮像装置において動画処理と静止画処理とを時分割で行う場合を説明するための図である。 図４は、動画撮像中に静止画を自動撮像する場合の処理のフローチャートである。 図５は、図４に示すステップＳＴ１３を説明するためのフローチャートである。 図６は、図４に示すステップＳＴ１８等を説明するためのフローチャートである。 図７は、図４に示すステップＳＴ１３のその他の例（動きセンサを使う場合）を説明するためのフローチャートである。 図８は、図４に示すステップＳＴ１３のその他の例（動きベクトルを使う場合）を説明するためのフローチャートである。 図９は、図４に示すステップＳＴ１３のその他の例（顔検出を使う場合）を説明するためのフローチャートである。 図１０は、図９に示す顔検出を説明するための図である。 図１１は、外部記録媒体の記憶残量を基に静止画自動撮像タイミング決定条件を難化させる処理を説明するためのフローチャートである。 図１２は、外部記録媒体の記憶残量を基に静止画自動撮像タイミング決定条件を難化させる処理を説明するためのフローチャートである。 図１３は、本発明のその他の実施形態の撮影装置の構成図である。 図１４は、図１３に示す撮像装置において動画処理と静止画処理とを並列処理する場合を説明するための図である。

符号の説明

１…撮影装置、１０１…レンズ、１０２…固体撮像素子、１０３…アナログ信号処理部、１０４…ＡＤ変換部、１０５…画像データ補正部、１０６…メモリ制御部、１０７…画像サイズ変換部、１０８…動き検出部、１０９…画質調整部、１１０…表示用画像作成部、１１１…メモリ制御部、１１２…表示装置Ｉ／Ｆ，１１３…ディスプレイ、１１４…画像圧縮部、１１５…外部記録Ｉ／Ｆ、１１６…保存容量計数部、１１８…ＣＰＵ、１１９…タイマー、１２０…動き検出センサ制御部、１２１…ユーザＩ／Ｆ、１２２…入力装置、１２３…入力装置、１２５…露光量調整部、１２６…焦点調整部、１３０…画像メモリ、１３１…表示用メモリ

Claims (10)

1. 入射光を受光素子に結像して画像データを生成する撮像手段と、
   前記撮像手段が生成した画像データに対して、動画像データを生成する動画像処理及び静止画像を生成する静止画像処理を行う画像処理手段と、
   前記画像処理手段が前記静止画像処理を開始するタイミングである静止画像撮像タイミングを自動的に決定する静止画撮像タイミング決定手段と、
   前記撮像手段が撮像した前記画像データ内で顔画像データを検出する顔画像検出手段と、
   を有し、
   前記静止画撮像タイミング手段は、前記顔画像検出手段が検出した前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する
   撮像装置。
2. 前記静止画撮像タイミング決定手段は、前記静止画撮像タイミングが予め決められた所定の時間間隔になるように前記決定を行う
   請求項１に記載の撮像装置。
3. 前記撮像装置の動きを検出する装置動き検出手段
   をさらに有し、
   前記静止画撮像タイミング決定手段は、前記装置動き検出手段が前記撮像装置の所定量以上の動きを一定時間以上検出した時点から所定時間経過した時刻を、前記静止画撮像タイミングとして決定する
   請求項１に記載の撮像装置。
4. 前記撮像手段が生成した画像データの動きベクトルを生成する動きベクトル生成手段
   をさらに有し、
   前記静止画撮像タイミング決定手段は、前記動きベクトル生成手段が生成した前記動きベクトルの一定量以上の動き量を一定時間以上検出した時点から所定時間経過した時刻を、前記静止画撮像タイミングとして決定する
   請求項１に記載の撮像装置。
5. 前記画像処理手段は、前記静止画像処理して生成した前記静止画像データを記録する記録媒体
   をさらに有し、
   前記静止画撮像タイミング決定手段は、前記記録媒体の記憶残容量が所定の基準値よりも少ない場合は、前記顔画像検出手段が検出した前記顔画像データにおいて、顔の数が前記所定数よりも少ない数以内かつ、画面内における顔の占める合計面積の割合が前記所定の割合よりも大きい割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する
   請求項１に記載の撮像装置。
6. ディスプレイ
   をさらに有し、
   前記画像処理手段は、前記静止画像データを前記ディスプレイに自動的に表示し、前記
   静止画像データを前記ディスプレイに表示した後に、ユーザの操作に応じた記録指示を入
   力したことを条件に、前記静止画像データを記録媒体に書き込む
   請求項１に記載の撮像装置。
7. 前記画像処理手段は、ユーザの操作に応じた静止画撮像指示を入力したタイミングで前記撮像手段が撮像した前記画像データを、前記静止画撮像タイミング決定手段が決定した前記タイミングで前記撮像手段が生成した前記画像データに対して優先させて前記静止画像処理する
   請求項１に記載の撮像装置。
8. 入射光を受光素子に結像して画像データを生成する撮像手段と、
   前記撮像手段が生成した画像データに対して、動画像データを生成する動画像処理を行う動画処理手段と、
   前記撮像手段が生成した画像データに対して、静止画像データを生成する静止画処理手段と、
   前記画像処理手段が前記静止画像処理を開始するタイミングである静止画像撮像タイミングを自動的に決定する静止画撮像タイミング決定手段と、
   を有し、
   前記動画処理手段と前記静止画処理手段とは並行して処理を行い、
   前記静止画撮像タイミング手段は、前記顔画像検出手段が検出した前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する
   撮像装置。
9. 撮像手段が画像データを撮像する第１の工程と、
   顔画像検出手段が前記撮第１の工程において撮像された前記画像データ内で顔画像データを検出する第２の工程と、
   静止画撮像タイミング手段が、前記第２の工程において検出された前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する第３の工程と、
   前記第１の工程において撮像された画像データに対して動画像処理を行い動画像データを生成する第４の工程と、
   前記第４の工程の前記動画像処理と時分割で、前記第３の工程で決定した前記静止画像撮像タイミングで前記画像データに対して静止画像処理を行い静止画像データを生成する第５の工程と、
   を有する撮像方法。
10. 撮像手段が画像データを撮像する第１の工程と、
    顔画像検出手段が前記撮第１の工程において撮像された前記画像データ内で顔画像データを検出する第２の工程と、
    静止画撮像タイミング手段が、前記第２の工程において検出された前記顔画像データにおいて、顔の数が所定数以内かつ、画面内における顔の占める合計面積の割合が所定の割合以上である場合に、前記顔画像検出手段が顔を検出した時点から所定時間経過した時刻を前記静止画像撮像タイミングとして決定する第３の工程と、
    前記第１の工程において撮像された画像データに対して動画像処理を行い動画像データを生成する第４の工程と、
    前記第４の工程の前記動画像処理と並行して、前記第３の工程で決定した前記静止画像撮像タイミングで前記画像データに対して静止画像処理を行い静止画像データを生成する第５の工程と、
    を有する撮像方法。

Images