JP5209521B2 - 撮影装置および撮影方法 - Google Patents

Description

本発明は、連続的に撮影処理を行って連続画像を取得する撮影装置および撮影方法に関するものである。

従来から、例えばデジタルカメラ等の撮影装置において、被写体を短時間で連続的に撮影する連続撮影モード（連写モード）を備えたものが知られている。この連写モードでは、所定の撮影間隔で順次撮影画像を生成し、最終的に所定の連写枚数の撮影画像で構成される連続画像を得る。

ところで、連写モードで撮影された撮影画像は、ユーザによって順次閲覧され、必要に応じて選択された全部または一部が保存される。このため、連写枚数が増加すると、ユーザは、撮影画像を閲覧するために時間を費やさなければならず、所望の画像を選択して保存するための作業負担が増大する。

この種の問題を解決するため、ユーザにとって有用な画像を提示するための技術として、連続して撮影された複数の画像の中から代表的な画像（代表画像）を抽出する技術が種々提案されている。例えば特許文献１では、画像の特徴量を抽出して評価を行い、プリントに値する最良な画像を自動的に抽出している。特許文献２では、画像と対応付けて撮影時におけるデジタルカメラの状態情報等の付属情報を記憶しておき、プリント時に付属情報を参照することで、プリントに適した画像を配列した１枚のプリントデータを取得している。特許文献３では、複数の画像データを解析して被写体の動きを検出し、検出した動きに基づいて保存すべき画像データを選択している。

特開２００７−８８５９４号公報 特開２００７−８１９７３号公報 特開２００４−１８００７６号公報

ところで、撮影装置が備える連写モードは、通常、動きのある被写体（移動体）を撮影する場合に利用される。したがって、連写モードで得られる連続画像では、連続画像内で移動体がどのように動いたかによってどの撮影画像が有用なのかが異なる。このため、例えば特許文献１のような画像単体の特徴量を算出して画像を抽出する手法や、特許文献２のような撮影時のカメラの状態情報をもとに画像を抽出する手法では、代表画像を適切に抽出できない場合があった。また、特許文献３の手法では、隣接する画像間の動きについては考慮されているものの、連続画像全体として移動体がどのように動いたかは考慮されていなかった。

本発明は、上記に鑑みてなされたものであって、連続画像の中からユーザにとって有用な代表画像を適切に抽出することができる撮影装置および撮影方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる撮影装置は、連続的に撮影処理を行って複数の撮影画像の画像データで構成される連続画像を取得する連続画像取得部と、前記複数の撮影画像毎に、隣接する撮影画像との間の動きを検出して前記撮影画像中の移動体を検出する移動体検出部と、前記移動体検出部による検出結果をもとに、前記連続画像内での前記移動体の状態変化を判別する変化判別部と、前記変化判別部による判別結果をもとに、前記連続画像の中から代表画像を抽出する画像抽出部と、を備えることを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記変化判別部は、前記移動体の移動方向の変化、前記移動体の移動速度の変化および前記移動体の大きさの変化の少なくともいずれか１つを判別することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像抽出部は、前記変化判別部による判別結果に応じた位置で前記連続画像を分割し、少なくとも前記分割した位置の撮影画像を前記代表画像として抽出することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記変化判別部は、前記移動体の移動方向が所定の変化パターンに従って規則的に変化した状態を判別し、前記画像抽出部は、前記変化判別部によって前記規則的な変化が判別された場合に、前記移動体の移動方向が変化した位置で前記連続画像を分割することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記変化判別部は、前記移動体が方向を変えずに所定の方向に沿って移動した状態または前記移動体の移動方向が不規則に変化した状態を判別し、前記画像抽出部は、前記変化判別部によって前記所定方向に沿った変化または前記不規則な変化が判別された場合に、前記移動体の移動開始位置から前記移動体の移動終了位置までの移動経路上の中間位置で前記連続画像を分割することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記変化判別部は、前記移動体が方向を変えずに所定の方向に沿って移動した状態または前記移動体の移動方向が不規則に変化した状態を判別し、前記画像抽出部は、前記変化判別部によって前記所定方向に沿った変化または前記不規則な変化が判別された場合に、前記移動体が撮影画角の中央に最も近接した位置で前記連続画像を分割することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記移動体検出部は、複数の移動体を検出可能に構成されており、前記変化判別部は、前記移動体同士が重なった状態を重なり状態として判別し、前記画像抽出部は、前記移動体同士が重なった位置で前記連続画像を分割することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記移動体検出部は、複数の移動体を検出可能に構成されており、前記変化判別部は、前記複数の移動体のうちのいずれか１つの移動体の位置を始点として他の移動体が移動を開始した状態を分裂状態として判別し、前記画像抽出部は、前記移動体が分裂した位置で前記連続画像を分割することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像抽出部は、前記移動体の移動開始位置および前記移動体の移動終了位置の少なくともいずれかの位置で前記連続画像をさらに分割することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像抽出部は、前記分割した位置の撮影画像と撮影順が隣接する所定枚数の撮影画像を前記代表画像として抽出することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像抽出部は、前記変化判別部による判別結果に従って前記移動体の移動区間内を１つ以上の区間に区切り、前記区間のうちの少なくとも１つの区間内を分割することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記代表画像を表示部に表示する処理を行う表示処理部を備えることを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記表示処理部は、前記画像抽出部によって前記代表画像が複数抽出された場合に、各代表画像を一覧で表示または撮影順に順番に表示する処理を行うことを特徴とする。

また、本発明にかかる撮影方法は、連続的に撮影処理を行って複数の撮影画像の画像データで構成される連続画像を取得する連続画像取得工程と、前記複数の撮影画像毎に、隣接する撮影画像との間の動きを検出して前記撮影画像中の移動体を検出する移動体検出工程と、前記移動体検出工程による検出結果をもとに、前記連続画像内での前記移動体の状態変化を判別する変化判別工程と、前記変化判別工程による判別結果をもとに、前記連続画像の中から代表画像を抽出する画像抽出工程と、を含むことを特徴とする。

本発明によれば、隣接する撮影画像間で動き検出を行って連続画像内に出現する移動体を検出し、検出した移動体の連続画像内での状態変化を判別することによって、連続画像の中から代表画像を抽出することができる。したがって、ユーザにとって有用な代表画像を適切に抽出することができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮影装置をデジタルカメラに適用した場合を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

ここで、本実施の形態のデジタルカメラは、撮影モードの１つとして連写モードを備えている。この連写モードでは、例えば連写開始が指示されたタイミングで連写を開始し、所定の撮影間隔で順次撮影画像を生成することによって、最終的に所定の連写枚数の撮影画像で構成される連続画像を取得する。なお、連写枚数は、例えばユーザ操作に従って決定される。例えば、連写モード中の操作入力に応じて連写を終了する構成としてもよいし、事前に操作入力された連写枚数に従って連続画像を取得する構成としてもよい。本実施の形態は、この連写モードで取得される連続画像の中から、ユーザにとって有用と推定される撮影画像を代表画像として抽出し、ユーザに提示するものである。なお、本実施の形態では、連写画像中に動きのある被写体（移動体）が含まれることを前提としている。

（実施の形態１）
実施の形態１では、取得した連続画像内に出現する移動体の状態変化を判別してその連写シーンを分類する。そして、分類した連写シーンに応じて連続画像を分割し、分割位置をもとに代表画像を抽出する。以下、連写シーンをシーンａ〜シーンｅの５つに分類する場合について説明する。なお、例示する連写シーンの分類手法は一例であって、適宜設定できる。

例えば、連続画像内で移動体が方向を変えずに所定の方向に沿って移動した場合（移動方向が一定方向の場合）には、その連写シーンをシーンａとする。また、移動体の移動方向が不規則で定まらず安定していない場合（移動方向が不安定の場合）には、その連写シーンをシーンｂとする。また、移動方向が所定の変化パターンに従って規則的に変化した状態を判別した場合には、その連写シーンをシーンｃとする。また、連続画像内で複数の移動体が検出された場合であって、これらの移動体同士が重なった状態を判別した場合に、その連写シーンをシーンｄとする。そして、連続画像内で複数の移動体が検出された場合であって、１つの移動体が２つ以上に分裂した状態を判別した場合には、その連写シーンをシーンｅとする。

図１は、シーンａに分類される連続画像の一例を示す図であり、連続画像を構成する５枚の撮影画像Ｉ１１〜Ｉ１９を時系列順（撮影順）に示している。図１では、移動体として鳥Ｏ１を写しており、木の枝に止まった鳥（移動体）Ｏ１が羽ばたき始めて枝から飛び立ち、フレームアウトする様子が写されている。ここで、移動体Ｏ１は、画像中の右下方から左上方に向けて略一直線上を移動している。このように、移動体Ｏ１が所定の方向に沿って移動した連写シーンでは、移動体Ｏ１が停止した状態を写した撮影画像Ｉ１１や移動体Ｏ１がフレームアウトした後を写した撮影画像Ｉ１９に比べて、移動体Ｏ１が移動を開始した位置の撮影画像Ｉ１３や、移動途中を写した撮影画像Ｉ１５、フレームアウトした位置の撮影画像Ｉ１７がユーザにとって有用と推定できる。

また、図２は、シーンａに分類される連続画像の他の例を示す図であり、連続画像を構成する５枚の撮影画像Ｉ２１〜Ｉ２９を時系列順（撮影順）に示している。図２では、移動体として車Ｏ２を写しており、向かって右側から出現した車（移動体）Ｏ２が左側に移動してフレームアウトする様子を示している。図２の例では、移動体Ｏ２が移動を開始した位置（この場合はフレームインした位置）の撮影画像Ｉ２１や、移動途中、特に画面の中央付近に位置した撮影画像Ｉ２５、フレームアウトした位置の撮影画像Ｉ２９が、ユーザにとって有用と推定できる。

そこで、連写シーンがシーンａに分類された連続画像については、移動体の移動開始位置、移動体の移動経路上の中間位置（以下、「移動中心位置」と呼ぶ。）、移動終了位置（移動途中で消失した位置を含む）またはフレームアウト位置を分割位置として連続画像を分割し、分割位置の撮影画像を代表画像として抽出することによって、代表画像をユーザに提示する。

これによれば、例えば図１の例では、移動体Ｏ１の動き始めの撮影画像Ｉ１３や移動途中（移動中心位置）の撮影画像Ｉ１５、フレームアウト位置の撮影画像Ｉ１７を代表画像として提示することができる。したがって、ユーザは、提示された代表画像によって連続画像の内容を把握できる。そして例えば、これらの代表画像の中から１つを選択し、選択した代表画像から順番に撮影順が前後に隣接する撮影画像を閲覧するといったことが可能となる。したがって、連続画像を構成する全ての撮影画像を先頭から順次閲覧していく必要がないため、撮影画像Ｉ１１に示すような移動体Ｏ１が木の枝に止まった状態が長時間続くような場合であっても、所望の撮影画像を簡単に選択することができ、ユーザの作業負担を軽減できる。

また、図３は、シーンｃに分類される連続画像の一例を示す図であり、連続画像を構成する５枚の撮影画像Ｉ３１〜Ｉ３９を時系列順（撮影順）に示している。図３では、移動体としてイルカＯ３を写しており、水面から出現したイルカ（移動体）Ｏ３が放物線に沿って移動し、放物線の頂点位置で輪をくぐった後水面に潜る様子が写されている。本例では、移動開始位置の撮影画像Ｉ３１や、移動終了位置（図３では消失位置）の撮影画像Ｉ３９の他、移動体Ｏ３が輪をくぐっている撮影画像Ｉ３５がユーザにとって有用と推定される。

そこで、移動体の移動方向が所定の変化パターンに従って規則的に変化しており、連写シーンがシーンｃに分類された連続画像については、移動体の移動開始位置、移動体の移動方向の変化位置（図３に例示した移動体Ｏ３が放物線に沿って移動した場合であればその頂点位置）、移動終了位置またはフレームアウト位置を分割位置として連続画像を分割し、分割位置の撮影画像を代表画像として抽出する。なお、ここでは、移動体が放物線に沿って移動した場合を例示したが、これに限定されるものではなく、適宜の変化パターンを検出し、移動方向が変化する位置で連続画像を分割することとしてよい。また、複数の位置で方向が変化している場合には、各位置の中から１つまたは複数の位置を選出して分割位置としてもよいし、全ての位置をそれぞれ分割位置としてもよい。

また、図４は、シーンｄに分類される撮影画像の一例を示す図であり、連続画像を構成する５枚の撮影画像Ｉ４１〜Ｉ４９を時系列順（撮影順）に示している。図４では、移動体である人物Ｏ４１が別の移動体であるボールＯ４３をバッティングする様子を写している。本例では、移動体（人物）Ｏ４１の移動開始位置（バッティング動作の開始位置）の撮影画像Ｉ４１や、移動体（ボール）Ｏ４３の移動開始位置（フレームインした位置）の撮影画像Ｉ４３、移動体（ボール）Ｏ４３のフレームアウト位置である撮影画像Ｉ４７の他、バッティングの瞬間、すなわち移動体（人物が持つバット）Ｏ４１と移動体（ボール）Ｏ４３とが重なった位置の撮影画像Ｉ４５がユーザにとって有用と推定される。

そこで、連続画像内で複数の移動体が重なっており、連写シーンがシーンｄに分類された連続画像については、移動体の移動開始位置、移動体の重なり位置、移動終了位置またはフレームアウト位置を分割位置として連続画像を分割し、分割位置の撮影画像を代表画像として抽出する。移動体同士が重なった状態としては、例示したような移動体同士が接触した場合の他、移動体が交差する場合等が挙げられる。

また、図示しないが、シーンｂに分類される連続画像としては、例えば、移動体としてアイススケートをしている人物を写した連続画像等が挙げられる。連写シーンがシーンｂに分類された連続画像については、例えば、シーンａに分類された連続画像と同様に、移動体の移動開始位置、移動中心位置、移動終了位置またはフレームアウト位置を分割位置として連続画像を分割し、分割位置の撮影画像を代表画像として抽出する。

また、シーンｅに分類される連続画像としては、例えば、移動体として打ち上げ花火を写した連続画像等が挙げられる。連続画像内で移動体が分裂しており、連写シーンがシーンｅに分類された連続画像については、例えば、移動体の移動開始位置、移動体の分裂位置、移動終了位置またはフレームアウト位置を分割位置として連続画像を分割し、分割位置の撮影画像を代表画像として抽出する。

図５は、実施の形態１のデジタルカメラ１の構成例を示す概略ブロック図である。図５に示すように、デジタルカメラ１は、撮像光学系１１、連続画像取得部としての撮像素子１２、ＡＦＥ（Analog Front End）１３、フレームメモリ１４、移動体検出部としての動き検出部１５、画像処理部１６、顔検出部１７、記録媒体Ｉ／Ｆ１８、記録媒体保持部１９、記録媒体２０、ビデオエンコーダ２１、表示ドライバ２２、表示部２３、ビデオ信号出力端子２４、操作部２５、ＲＡＭ２６、ＲＯＭ２７、コントローラ２８等を備える。

撮像光学系１１は、撮像レンズ、絞り、シャッター等を含み、入射される被写体像を撮像素子１２に結像する。撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子であり、被写体からの光束を撮像光学系１１を介して受光し、光電変換することによってフレーム単位の画像データ（アナログ電気信号）を得るものである。ＡＦＥ１３は、撮像素子１２によって得られる画像データに対してＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）等のアナログ信号処理を施した後、Ａ／Ｄ変換処理を施してデジタル電気信号に変換する。ＡＦＥ１３によってデジタル化された画像データは、フレームメモリ１４および動き検出部１５に出力されるとともに、ＲＡＭ２６に一時的に記録される。

フレームメモリ１４は、動き検出部１５による作業用メモリとして用いられる。このフレームメモリ１４は、２フレーム分の画像データを保持するための領域を備え、連写モード中において、今回生成した最新の撮影画像（最新画像）の画像データと前回生成した撮影画像（前回画像）の画像データとが保持される。

動き検出部１５は、ＡＦＥ１３からの画像データをもとに、連写モード中に生成される撮影画像間の動きを検出するためのものであり、所定の撮影間隔毎の連写タイミングで順次撮像素子１２から取り込まれてＡＦＥ１３から出力される撮影画像間で動きベクトルを求めることによって、画像間の動きを検出する。

図６は、撮影画像の画角範囲Ｅｖに対して設定される移動体検出エリアＥａおよび登録移動体エリアＥｂ−１の一例を示す図である。また、図７（ａ）および図７（ｂ）は、図６に続いて順次取り込まれる撮影画像の画角範囲Ｅｖに設定される移動体検出エリアＥａおよび登録移動体エリアＥｂ−２，Ｅｂ−３の一例をそれぞれ示す図である。実施の形態１では、動き検出部１５は、図６に示すように、例えば前回画像の画角範囲（被写体範囲）Ｅｖのほぼ全域に対して一点鎖線で示す移動体検出エリアＥａを設定するとともに、図６や図７（ａ）、図７（ｂ）中に二点鎖線で示すように、既に移動体が検出されて登録されている場合には、その移動体（登録移動体）の現在位置に登録移動体エリアＥｂ−１，Ｅｂ−２，Ｅｂ−３を設定する。ここで、移動体検出エリアＥａは、画角範囲Ｅｖに対して固定的に設定される。一方、図６や図７（ａ）、図７（ｂ）に示すように、登録移動体エリアＥｂ−１，Ｅｂ−２，Ｅｂ−３は、前回生成された撮影画像との間で実行した動き検出の結果に従って決定される登録移動体の位置に設定される。

そして、動き検出部１５は、移動体検出エリアＥａを対象に動き検出を行うことによって最新画像中に出現した移動体を検出するとともに、登録移動体エリアＥｂ−１，Ｅｂ−２，Ｅｂ−３を対象に動き検出を行うことによって最新画像中の登録移動体の位置を追尾する。具体的には、前回画像に設定した移動体検出エリアＥａについて、最新画像との間でパタンマッチングを行うとともに、前回画像に設定した登録移動体エリアＥｂ−１，Ｅｂ−２，Ｅｂ−３について最新画像との間でパタンマッチングを行う。ここで、パタンマッチングは、精度を高めるため、移動体検出エリアＥａや登録移動体エリアＥｂ−１，Ｅｂ−２，Ｅｂ−３内に複数のマクロブロックを設定し、マクロブロック毎にその動きベクトルを求めることにより行う。例えば、図６や図７（ａ）、図７（ｂ）に示す例では、移動体検出エリアＥａに対して７０個のマクロブロックＢａを設定している。一方、図６中において画角範囲Ｅｖの外に模式的に示すように、あるいは図７（ａ）や図７（ｂ）に示すように、登録移動体エリアＥｂ−１，Ｅｂ−２，Ｅｂ−３に対しては、そのサイズに応じた数のマクロブロックＢｂを設定する。例えば、図６の登録移動体エリアＥｂ−１や図７（ａ）の登録移動体エリアＥｂ−２には６個のマクロブロックＢｂを設定しており、図７（ｂ）の登録移動体エリアＥｂ−３には４個のマクロブロックを設定している。なお、登録移動体エリア内に設定するマクロブロックの数は同数であってもよい。また、移動体検出エリアや登録移動体エリア内に設定するマクロブロックのサイズについては、適宜設定できる。

なお、ここでは、１つの登録移動体について登録移動体エリアＥｂ−１，Ｅｂ−２，Ｅｂ−３を設定してこの登録移動体を追尾する場合を例示したが、実際には、移動体検出エリアＥａを対象に行った動き検出によって移動体が検出されるたびに、検出された移動体が登録移動体として登録されるようになっており、動き検出部１５は、登録移動体毎に登録移動体エリアを設定し、個別に動き検出を行う。

顔検出部１７は、図５に示すように、ＡＦＥ１３によってデジタル化されてＲＡＭ２６に記録された画像データを処理して顔を検出する。例えば、顔検出部１７は、テンプレートマッチング法によって撮影画像中（より具体的には最新画像中）の顔の位置を検出し、目や鼻、口等の顔の特徴点の位置を検出することによって、顔の大きさや向き、角度等を検出する。この顔検出部１７による顔検出によって、例えば撮影画像中の顔の有無、顔の位置、顔の大きさ、顔の向き、顔の角度（傾き）等が顔検出結果として得られる。なお、撮影画像中に複数の顔が含まれる場合には、顔毎に顔検出結果が得られる。

画像処理部１６は、ＲＡＭ２６に一旦記録された画像データを読み出し、この画像データに対して各種の画像処理を施すとともに、記録用、あるいは表示用等に適した画像データに変換する処理を行う。例えば、撮影画像の画像データを記録する際、あるいは記録されている画像データを表示する際等に、ＪＰＥＧ（Joint Photographic Experts Group）方式等に基づく画像データの圧縮処理や伸張処理を行う。この画像処理部１６で画像処理された画像データは、記録媒体Ｉ／Ｆ１８に出力されて記録媒体２０に記録され、あるいはビデオエンコーダ２１に出力されて表示部２３に表示される。

ビデオエンコーダ２１は、表示用に変換された画像データを表示ドライバ２２に送出する。例えば撮影モードでは、１フレーム毎に撮像素子１２から取り込まれて画像処理部１６によって画像処理された画像をフレーム単位で表示部２３に切換表示させ、ライブビュー画像の表示を行う。一方、再生モードでは、記録媒体２０から読み出されて画像処理部１６よって画像処理された撮影画像を表示部２３に表示させる。また、このビデオエンコーダ２１は、ビデオ信号出力端子２４に接続された外部機器に対し、必要に応じて表示用の画像データを出力する。表示部２３は、撮影画像やライブビュー画像の他、デジタルカメラ１の各種設定情報等を表示するためのものであり、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ（Electroluminescence Display）等の表示装置で実現される。

記録媒体Ｉ／Ｆ１８は、記録媒体保持部１９によって挿脱自在に保持される記録媒体２０に対して、記録用に変換された画像データ等の書き込みや、記録された画像データの読み出し等を行う。記録媒体２０は、例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のメモリカードである。

操作部２５は、連写モードを含む各種の撮影モードや再生モードといったモードの設定操作、撮影開始の指示、連写開始や連写終了の指示、撮影条件の設定操作等、ユーザによる各種操作を受け付けて操作信号をコントローラ２８に通知するためのものであり、各種機能が割り当てられたボタンスイッチ、ダイヤル、各種センサ等で実現される。

ＲＯＭ２７は、デジタルカメラ１を動作させ、このデジタルカメラ１が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等を予め記録する。ＲＡＭ２６は、画像処理部１６やコントローラ２８の作業用メモリとして用いられる。例えば、ＡＦＥ１３からの画像データ等が一時的に記録され、表示部２３に表示するライブビュー画像を生成する際の作業用や撮影画像を記録媒体２０に記録する際の作業用、連続画像を取得し、この連続画像の中から保存画像として選択された撮影画像を記録媒体２０に記録する際の作業用等に用いられる。

コントローラ２８は、操作部２５からの操作信号等に応じてＲＯＭ２７からカメラプログラムを読み出して実行し、デジタルカメラ１を構成する各部の動作制御やメモリ制御を行ってデジタルカメラ１全体の動作を統括的に制御する。また、ＡＦ（自動焦点）、ＡＥ（自動露出）、ＡＷＢ（自動ホワイトバランス）等の処理を行う。このコントローラ２８は、変化判別部としての連写シーン分類部２８１と、画像抽出部としての連続画像分割部２８３と、重要度算出部２８５と、表示処理部としての保存画像選択処理部２８７とを含む。連写シーン分類部２８１は、連続画像の連写シーンを分類する。連続画像分割部２８３は、連写シーンに応じた位置で連続画像を分割し、分割位置の撮影画像を代表画像として抽出する。重要度算出部２８５は、連続画像を構成する各撮影画像の重要度を算出する。保存画像選択処理部２８７は、連続画像の中から抽出された代表画像をユーザに提示し、ユーザ操作に従って記録媒体２０に保存する撮影画像（保存画像）を選択するための処理を行う。

次に、デジタルカメラ１が行う処理手順について説明する。図８は、実施の形態１のデジタルカメラ１が行う処理の手順を説明するフローチャートであり、連写モードにおけるデジタルカメラ１の処理手順を示している。

連写モードでは、図８に示すように、ユーザによる連写開始の指示を受け付けるまで待機状態となる。そして、連写を開始する場合には（ステップａ１：Ｙｅｓ）、撮影処理に移る（ステップａ３）。すなわち、所定の撮影間隔毎の連写タイミングで順次撮影処理を行い、撮影画像の画像データを生成する。生成した撮影画像の画像データは、例えば撮影順に割り振られる画像番号と対応付けられてＲＡＭ２６に記録される。

続いて、動き検出部１５が動き検出処理を行う（ステップａ５）。この動き検出処理では、動き検出部１５は、ステップａ３において今回生成した最新の撮影画像（最新画像）と前回生成した撮影画像（前回画像）との間で動き検出を行い、最新画像中の移動体を検出するとともに、最新画像中の登録移動体を追尾する。なお、連写開始直後の最初の撮影処理の後は、直前画像が存在しないためステップａ５の動き検出処理は行わない。図９は、動き検出処理の詳細な処理手順を説明するフローチャートである。

動き検出処理では、動き検出部１５は先ず、登録移動体の有無を判定する。ここで、図９中のステップｂ１３または図１０に示して後述する顔検出処理のステップｃ９で移動体が登録される。このため、連写が開始されて最初に行う動き検出処理では登録移動体はなく（ステップｂ１：Ｎｏ）、ステップｂ７に移る。

一方、登録移動体がある場合には（ステップｂ１：Ｙｅｓ）、動き検出部１５は、その登録移動体について登録移動体エリアを設定し、最新画像と前回画像との間で動き検出を実行する（ステップｂ３）。このとき、複数の登録移動体が登録されている場合には、登録移動体毎に登録移動体エリアを設定し、動き検出を行う。具体的には、動き検出部１５は、前回算出した登録移動体の位置（前回画像中の位置）に登録移動体エリアを設定し、最新画像との間での動き検出を実行する。そして、動き検出部１５は、動き検出結果に従って登録移動体の位置（最新画像中の現在位置）を算出し、最新画像の画像番号とともにＲＡＭ２６に記憶する（ステップｂ５）。その後、ステップｂ７に移る。

ステップｂ７では、動き検出部１５は、最新画像と前回画像との間で移動体検出エリアの動き検出を実行する。具体的には、動き検出部１５は、画角範囲のほぼ全域に移動体検出エリアを設定し、最新画像との間での動き検出を実行する。ここでの動き検出の結果、移動体を検出しなければ（ステップｂ９：Ｎｏ）、図８のステップａ５にリターンし、その後ステップａ７に移る。一方、動き検出部１５は、移動体を検出した場合には（ステップｂ９：Ｙｅｓ）、検出した移動体が登録移動体か否かを判定する。そして、検出した移動体が既に登録された登録移動体であれば（ステップｂ１１：Ｙｅｓ）、図８のステップａ５にリターンし、その後ステップａ７に移る。一方、動き検出部１５は、検出した移動体が登録されていない場合には（ステップｂ１１：Ｎｏ）、登録移動体として登録し、現在位置や最新画像の画像番号等とともにＲＡＭ２６に記憶する（ステップｂ１３）。そして、図８のステップａ５にリターンし、その後ステップａ７に移る。

そして、ステップａ７では、顔検出部１７が顔検出処理を行う。この顔検出処理では、ステップａ３で今回生成した最新画像中の顔検出が行われる。図１０は、顔検出処理の詳細な処理手順を説明するフローチャートである。

顔検出処理では、顔検出部１７は先ず、最新画像中の顔検出を実行する（ステップｃ１）。ここでの顔検出の結果、顔を検出しなければ（ステップｃ３：Ｎｏ）、図８のステップａ７にリターンし、その後ステップａ９に移る。一方、顔検出部１７は、顔を検出した場合には（ステップｃ３：Ｙｅｓ）、顔検出結果を最新画像の画像番号とともにＲＡＭ２６に記憶する（ステップｃ５）。

続いて、顔検出部１７は、検出した顔が登録移動体か否かを判定する。具体的には、検出した顔の位置を登録移動体の現在位置（最新画像中の位置）と比較し、一致していれば登録移動体と判定し、一致しない場合には登録移動体ではないと判定する。そして、検出した顔が登録移動体であれば（ステップｃ７：Ｙｅｓ）、図８のステップａ７にリターンし、その後ステップａ９に移る。一方、顔検出部１７は、検出した顔が登録移動体でない場合には（ステップｃ７：Ｎｏ）、登録移動体として登録し、現在位置や最新画像の画像番号とともにＲＡＭ２６に記憶する（ステップｃ９）。そして、図８のステップａ７にリターンし、その後ステップａ９に移る。

ステップａ９では、連写を終了するか否かを判定し、連写を終了するまでの間（ステップａ９：Ｎｏ）、ステップａ３に戻って処理を繰り返す。そして、連写を終了する場合には（ステップａ９：Ｙｅｓ）、ステップａ１１に移る。例えば、ユーザによる連写終了の指示に応じて連写を終了する。あるいは、所定の連写枚数の撮影画像を生成した場合に連写を終了する。

そして、ステップａ１１では、連写枚数が所定枚数を超えているか否かを判定する。連写枚数が所定枚数以下の場合には（ステップａ１１：Ｎｏ）、処理を終える。一方、連写枚数が所定枚数を超えている場合には（ステップａ１１：Ｙｅｓ）、連写シーン分類部２８１が連写シーン分類処理を行う（ステップａ１３）。図１１は、連写シーン分類処理の詳細な処理手順を示すフローチャートである。

連写シーン分類処理では、連写シーン分類部２８１は先ず、連続画像内で検出された移動体の有無を判定する。連続画像内で移動体が検出されている場合、すなわち、撮影画像を生成するたびに行った動き検出や顔検出の結果、登録移動体として登録された移動体がある場合には（ステップｄ１：Ｙｅｓ）、移動体状態解析処理を行う（ステップｄ３）。図１２は、移動体状態解析処理の詳細な処理手順を示すフローチャートである。

移動体状態解析処理では先ず、連写シーン分類部２８１は、移動体の移動開始位置を解析する（ステップｅ１）。ここでの処理は、登録移動体として登録された移動体が複数ある場合には、各移動体それぞれについて行う。例えば、その移動体が最初に検出されて登録移動体として登録された撮影画像を移動開始位置とし、画像番号を移動開始画像番号として取得する。

続いて、連写シーン分類部２８１は、移動体の移動方向を解析する（ステップｅ３）。ここでの処理は、登録移動体として登録された移動体が複数ある場合には、各移動体それぞれについて行う。例えば、その移動体を登録移動体として行った動き検出結果やその移動体についての顔検出結果によって定まる移動体の移動経路に従って、移動体の移動方向の変化を判別する。そして、移動体が所定の方向に沿って移動している状態を判別した場合には、移動方向を一定とする。移動体の移動方向が不規則で定まらず、不安定な状態を判別した場合には、移動方向を不安定とする。そして、移動体の移動方向が所定の変化パターンに従って規則的に変化した状態を判別した場合には、移動方向が変化する撮影画像の画像番号を方向変化画像番号として取得する。例えば、図３に示して例示したように移動体Ｏ３の移動経路が２次曲線に近似できるような場合には、その頂点（極値）位置の撮影画像を移動方向が変化する撮影画像とし、画像番号を方向変化画像番号として取得する。

続いて、連写シーン分類部２８１は、連続画像内で検出された移動体の数を判定する。移動体の数が１つの場合には（ステップｅ５：Ｎｏ）、ステップｅ１１に移る。一方、検出された移動体が複数ある場合には（ステップｅ５：Ｙｅｓ）、連写シーン分類部２８１は、これらの移動体の重なり状態を解析する（ステップｅ７）。例えば、各移動体を登録移動体として行った動き検出結果やその移動体についての顔検出結果をもとに、これらの移動体の位置が重なった状態を判別し、判別した撮影画像の画像番号を重なり画像番号として取得する。

続いて、連写シーン分類部２８１は、移動体の分裂状態を解析し（ステップｅ９）、その後、ステップｅ１１に移る。例えば、各移動体を登録移動体として行った動き検出結果やその移動体についての顔検出結果をもとに、いずれか１つの移動体の位置を始点として別の移動体が移動を開始した状態を判別し、判別した撮影画像の画像番号を分裂画像番号として取得する。

そして、ステップｅ１１では、連写シーン分類部２８１は、移動体のフレームアウト位置を解析する。ここでの処理は、登録移動体として登録された移動体が複数ある場合には、各移動体それぞれについて行う。例えば、その移動体が画角範囲の端部に移動し、画角範囲から外れた撮影画像をフレームアウト位置とし、画像番号をフレームアウト画像番号として取得する。

続いて、連写シーン分類部２８１は、移動体の移動終了位置を解析する（ステップｅ１３）。ここでの処理は、登録移動体として登録された移動体が複数ある場合には、各移動体それぞれについて行う。例えば、その移動体が停止した撮影画像あるいはその移動体を追尾できなくなった撮影画像を移動終了位置とし、画像番号を移動終了画像番号として取得する。そして、図１１のステップｄ３にリターンし、その後、ステップｄ５に移る。

ステップｄ５では、連写シーン分類部２８１は、ステップｄ３の移動体状態解析処理の結果に従って移動体の移動方向を判定する。そして、連写シーン分類部２８１は、移動方向が一定の移動体について（ステップｄ５：Ｙｅｓ）、方向一定フラグをセット（ＯＮ）する（ステップｄ７）。一方、連写シーン分類部２８１は、移動方向が一定でない移動体であって（ステップｄ５：Ｎｏ）、移動方向が不安定でない移動体（移動方向が所定の変化パターンに従って規則的に変化した移動体）について（ステップｄ９：Ｎｏ）、方向変化フラグをセットする（ステップｄ１１）。また、連写シーン分類部２８１は、移動方向が不安定である移動体については（ステップｄ９：Ｙｅｓ）、方向不安定フラグをセットする（ステップｄ１３）。

続いて、連写シーン分類部２８１は、ステップｄ３の移動体状態解析処理の結果に従って移動体の重なりを判定する。そして、連写シーン分類部２８１は、移動体の重なりがあれば（ステップｄ１５：Ｙｅｓ）、重なりフラグをセットし（ステップｄ１７）、連続画像の連写シーンをシーンｄとして設定する（ステップｄ１９）。移動体の重なりがない場合には（ステップｄ１５：Ｎｏ）、続いて連写シーン分類部２８１は、移動体の分裂を判定する。そして、連写シーン分類部２８１は、移動体の分裂があれば（ステップｄ２１：Ｙｅｓ）、分裂フラグをセットし（ステップｄ２３）、連続画像の連写シーンをシーンｅに設定する（ステップｄ２５）。移動体の分裂がない場合には（ステップｄ２１：Ｎｏ）、続いて連写シーン分類部２８１は、方向不安定フラグを判定する。そして、連写シーン分類部２８１は、方向不安定フラグがＯＮであれば（ステップｄ２７：Ｙｅｓ）、連続画像の連写シーンをシーンｃに設定する（ステップｄ２９）。方向不安定フラグがＯＦＦの場合には（ステップｄ２７：Ｎｏ）、続いて連写シーン分類部２８１は、方向変化フラグを判定する。そして、連写シーン分類部２８１は、方向変化フラグがＯＮであれば（ステップｄ３１：Ｙｅｓ）、連続画像の連写シーンをシーンｂに設定する（ステップｄ３３）。方向変化フラグがＯＦＦの場合には（ステップｄ３１：Ｎｏ）、連写シーン分類部２８１は、連続画像の連写シーンをシーンａに設定する（ステップｄ３５）。なお、このステップｄ３５で連続画像の連写シーンがシーンａに設定されるのは、方向フラグがＯＮの場合である。

続いて、連写シーン分類部２８１は、ステップｄ３の移動体状態解析処理の結果に従って移動体のフレームアウトの有無を判定する。そして、連写シーン分類部２８１は、フレームアウトしている移動体について（ステップｄ３７：Ｙｅｓ）、フレームアウトフラグをセットする（ステップｄ３９）。

続いて、連写シーン分類部２８１は、ステップｄ３の移動体状態解析処理の結果に従って移動体が移動を終了したか否かを判定する。そして、連写シーン分類部２８１は、移動を終了した移動体について（ステップｄ４１：Ｙｅｓ）、移動終了フラグをセットする（ステップｄ４３）。そして、図８のステップａ１３にリターンし、その後ステップａ１５に移る。

そして、ステップａ１５では、連続画像分割部２８３が連続画像分割処理を行う。図１３は、実施の形態１の連続画像分割処理の詳細な処理手順を示すフローチャートである。

連続画像分割処理では、連続画像分割部２８３は先ず、移動体の移動開始画像番号を取得する（ステップｆ１）。続いて、連続画像分割部２８３は、移動終了フラグを判定する。そして、連続画像分割部２８３は、移動終了フラグがＯＮであれば（ステップｆ３：Ｙｅｓ）、移動終了画像番号を取得し（ステップｆ５）、移動終了画像番号から移動開始画像番号を差し引いた値を算出して算出した値が所定値を超えているか否かを判定する。そして、所定値を超えている場合、すなわち移動体が移動を開始してから移動を終了するまでの間の撮影画像の枚数が所定枚数より多い場合には（ステップｆ７：Ｙｅｓ）、ステップｆ１７に移る。所定値を超えていない場合には（ステップｆ７：Ｎｏ）、ステップｆ１５に移る。

一方、ステップｆ３において判定した移動終了フラグがＯＦＦであれば（ステップｆ３：Ｎｏ）、続いて連続画像分割部２８３は、フレームアウトフラグを判定する。そして、連続画像分割部２８３は、フレームアウトフラグがＯＮであれば（ステップｆ９：Ｙｅｓ）、フレームアウト画像番号を取得し（ステップｆ１１）、フレームアウト画像番号から移動開始画像番号を差し引いた値を算出して算出した値が所定値を超えているか否かを判定する。そして、所定値を超えている場合、すなわち移動体が移動を開始してからフレームアウトするまでの間の撮影画像の枚数が所定枚数より多い場合には（ステップｆ１３：Ｙｅｓ）、ステップｆ１７に移る。所定値を超えていない場合には（ステップｆ１３：Ｎｏ）、ステップｆ１５に移る。また、ステップｆ９において判定したフレームアウトフラグがＯＦＦの場合も（ステップｆ９：Ｎｏ）、ステップｆ１５に移る。

ステップｆ１５では、連続画像分割部２８３は、最終画像番号から移動開始画像番号を差し引いた値を算出し、算出した値が所定値を超えているか否かを判定する。そして、所定値を超えている場合、すなわち移動体が移動を開始してから連写を終了するまでの間の撮影画像の枚数が所定枚数より多い場合には（ステップｆ１５：Ｙｅｓ）、ステップｆ１７に移る。所定値を超えていない場合には（ステップｆ１５：Ｎｏ）、図８のステップａ１５にリターンし、その後ステップａ１７に移る。

そして、ステップｆ１７では、連続画像分割部２８３は、図８のステップａ１３の連写シーン分類処理によって設定されたシーンを判定し、シーンに応じて処理を分岐する。すなわち、連続画像分割部２８３は、連写シーンがシーンａまたはシーンｃの場合にはシーンａ／ｃ分割処理を行う（ステップｆ１９）。そして、図８のステップａ１５にリターンし、その後ステップａ１７に移る。連写シーンがシーンｂであれば、連続画像分割部２８３は、シーンｂ分割処理を行う（ステップｆ２１）。そして、図８のステップａ１５にリターンし、その後ステップａ１７に移る。連写シーンがシーンｄであれば、連続画像分割部２８３は、シーンｄ分割処理を行う（ステップｆ２３）。そして、図８のステップａ１５にリターンし、その後ステップａ１７に移る。連写シーンがシーンｅであれば、連続画像分割部２８３は、シーンｅ分割処理を行う（ステップｆ２５）。そして、図８のステップａ１５にリターンし、その後ステップａ１７に移る。ここで、ステップｆ１９〜ステップｆ２５の各処理について順次説明する。

図１４は、シーンａ／ｃ分割処理の詳細な処理手順を示すフローチャートである。シーンａ／ｃ分割処理では、連続画像分割部２８３は先ず、第１分割位置を移動開始画像番号とする（ステップｇ１）。続いて、連続画像分割部２８３は、移動体の移動中心位置を算出する（ステップｇ３）。すなわち、移動体の移動開始位置から移動終了位置またはフレームアウト位置までの移動経路上の中間位置を移動中心位置として算出する。そして、連続画像分割部２８３は、第２分割位置を移動中心画像番号とする（ステップｇ５）。

続いて、連続画像分割部２８３は、移動終了フラグを判定する。そして、移動終了フラグがＯＮならば（ステップｇ７：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置を移動終了画像番号とし（ステップｇ９）、ステップｇ１７に移る。一方、連続画像分割部２８３は、移動終了フラグがＯＦＦの場合には（ステップｇ７：Ｎｏ）、続いてフレームアウトフラグを判定する。そして、フレームアウトフラグがＯＮならば（ステップｇ１１：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置をフレームアウト画像番号とし（ステップｇ１３）、ステップｇ１７に移る。また、フレームアウトフラグがＯＦＦの場合には（ステップｇ１１：Ｎｏ）、連続画像分割部２８３は、第３分割位置を設定せずになしとする（ステップｇ１５）。そして、連続画像分割部２８３は、設定した第１分割位置、第２分割位置および第３分割位置の撮影画像を代表画像として抽出し（ステップｇ１７）、その後図１３のステップｆ１９にリターンする。

図１５は、シーンｂ分割処理の詳細な処理手順を示すフローチャートである。シーンｂ分割処理では、連続画像分割部２８３は先ず、第１分割位置を移動開始画像番号とする（ステップｈ１）。続いて、連続画像分割部２８３は、方向変化画像番号を取得する（ステップｈ３）。そして、連続画像分割部２８３は、第２分割位置を方向変化画像番号とする（ステップｈ５）。

続いて、連続画像分割部２８３は、移動終了フラグを判定する。そして、移動終了フラグがＯＮならば（ステップｈ７：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置を移動終了画像番号とし（ステップｈ９）、ステップｈ１７に移る。一方、連続画像分割部２８３は、移動終了フラグがＯＦＦの場合には（ステップｈ７：Ｎｏ）、続いてフレームアウトフラグを判定する。そして、フレームアウトフラグがＯＮならば（ステップｈ１１：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置をフレームアウト画像番号とし（ステップｈ１３）、ステップｈ１７に移る。また、フレームアウトフラグがＯＦＦの場合には（ステップｈ１１：Ｎｏ）、連続画像分割部２８３は、第３分割位置を設定せずになしとする（ステップｈ１５）。そして、連続画像分割部２８３は、設定した第１分割位置、第２分割位置および第３分割位置の撮影画像を代表画像として抽出し（ステップｈ１７）、その後図１３のステップｆ２１にリターンする。

図１６は、シーンｄ分割処理の詳細な処理手順を示すフローチャートである。シーンｄ分割処理では、連続画像分割部２８３は先ず、第１分割位置を移動開始画像番号とする（ステップｉ１）。続いて、連続画像分割部２８３は、分裂画像番号を取得する（ステップｉ３）。そして、連続画像分割部２８３は、第２分割位置を分裂画像番号とする（ステップｉ５）。

続いて、連続画像分割部２８３は、移動終了フラグを判定する。そして、移動終了フラグがＯＮならば（ステップｉ７：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置を移動終了画像番号とし（ステップｉ９）、ステップｉ１７に移る。一方、連続画像分割部２８３は、移動終了フラグがＯＦＦの場合には（ステップｉ７：Ｎｏ）、続いてフレームアウトフラグを判定する。そして、フレームアウトフラグがＯＮならば（ステップｉ１１：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置をフレームアウト画像番号とし（ステップｉ１３）、ステップｉ１７に移る。また、フレームアウトフラグがＯＦＦの場合には（ステップｉ１１：Ｎｏ）、連続画像分割部２８３は、第３分割位置を設定せずになしとする（ステップｉ１５）。そして、連続画像分割部２８３は、設定した第１分割位置、第２分割位置および第３分割位置の撮影画像を代表画像として抽出し（ステップｉ１７）、図１３のステップｆ２３にリターンする。

図１７は、シーンｅ分割処理の詳細な処理手順を示すフローチャートである。シーンｅ分割処理では、連続画像分割部２８３は先ず、第１分割位置を移動開始画像番号とする（ステップｊ１）。続いて、連続画像分割部２８３は、重なり画像番号を取得する（ステップｊ３）。そして、連続画像分割部２８３は、第２分割位置を重なり画像番号とする（ステップｊ５）。

続いて、連続画像分割部２８３は、移動終了フラグを判定する。そして、移動終了フラグがＯＮならば（ステップｊ７：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置を移動終了画像番号とし（ステップｊ９）、ステップｊ１７に移る。一方、連続画像分割部２８３は、移動終了フラグがＯＦＦの場合には（ステップｊ７：Ｎｏ）、続いてフレームアウトフラグを判定する。そして、フレームアウトフラグがＯＮならば（ステップｊ１１：Ｙｅｓ）、連続画像分割部２８３は、第３分割位置をフレームアウト画像番号とし（ステップｊ１３）、ステップｊ１７に移る。また、フレームアウトフラグがＯＦＦの場合には（ステップｊ１１：Ｎｏ）、連続画像分割部２８３は、第３分割位置を設定せずになしとする（ステップｊ１５）。そして、連続画像分割部２８３は、設定した第１分割位置、第２分割位置および第３分割位置の撮影画像を代表画像として抽出し（ステップｊ１７）、図１３のステップｆ２５にリターンする。

連続画像分割処理を終えると、続いて図８に示すように、重要度算出部２８５が移動体重要度算出処理を行う（ステップａ１７）。図１８は、移動体重要度算出処理の詳細な処理手順を示すフローチャートである。この優先度採点処理では、連続画像を構成する全ての撮影画像についてそれぞれループＡの処理を行う（ステップｋ１〜ステップｋ２５）。以下、ループＡで処理の対象とする撮影画像を処理画像と呼ぶ。

すなわち先ず、重要度算出部２８５は、処理画像中の移動体の有無を判定する。処理画像中で移動体が検出されていない場合、すなわち処理画像中で登録移動体の動きが検出されていない場合には（ステップｋ３：Ｎｏ）、ステップｋ１１に移る。

一方、処理画像中で移動体が検出されている検出されている場合、すなわち処理画像中で登録移動体の動きが検出されている場合には（ステップｋ３：Ｙｅｓ）、重要度算出部２８５は、移動体の位置を採点する（ステップｋ５）。例えば、画角範囲の中心に位置するほど重要度が高いと推定し、重要度算出部２８５は、処理画像中で検出されている移動体の位置が画角範囲の中心に近いほど採点値を大きく設定する。

続いて重要度算出部２８５は、移動体の速度変化を採点する（ステップｋ７）。例えば、移動体の移動速度が速いほど重要度が高いと推定する。重要度算出部２８５は、例えば処理画像よりも前に生成した数枚分の撮影画像中における登録移動体の位置を参照してその位置の変位をもとに移動体の移動速度を算出する。そして、重要度算出部２８５は、その移動速度が速いほど採点値を大きく設定する。

続いて重要度算出部２８５は、移動体の方向変化を採点する（ステップｋ９）。例えば、移動体の移動方向の変化が大きいほど重要度が高いと推定する。重要度算出部２８５は、例えば処理画像よりも前に生成した数枚分の撮影画像中の移動体の位置を参照してその位置の変位をもとに移動方向の変化を判定する。そして、重要度算出部２８５は、判定した移動方向の変化が大きいほど採点値を大きく設定する。

続くステップｋ１１では、重要度算出部２８５は、処理画像中の顔の有無を判定する。処理画像中に顔がない場合、すなわち処理画像中の顔検出の結果顔が検出されていない場合には（ステップｋ１１：Ｎｏ）、ステップｋ２１に移る。

一方、処理画像中に顔がある場合、すなわち処理画像中の顔検出の結果顔が検出されている場合には（ステップｋ１１：Ｙｅｓ）、重要度算出部２８５は、顔の大きさを採点する（ステップｋ１３）。サイズの大きい顔は、サイズの小さい顔に比べて重要度が高い。そこで、例えば重要度算出部２８５は、顔が大きいほど採点値を大きく設定する。

続いて重要度算出部２８５は、顔の位置を採点する（ステップｋ１５）。顔の位置が画角範囲の中心に近いほど重要度が高い。一方、顔の位置が画角範囲の端部に位置している場合、その顔は次の撮影画像でフレームアウトする可能性があるため、重要度は低い。そこで、例えば重要度算出部２８５は、顔の位置が画角範囲の中心に近いほど採点値を大きく設定する。

続いて重要度算出部２８５は、顔の向きを採点する（ステップｋ１７）。例えば、顔が正面向きから外れた方向を向いているほど重要度が低いと推定し、重要度算出部２８５は、顔が正面を向いている場合の採点値を小さくし、顔の向きが正面から外れるほど採点値を大きく設定する。

続いて重要度算出部２８５は、顔の角度を採点する（ステップｋ１９）。例えば、処理画像の縦方向に対して顔が傾いていないほど重要度が高いと推定し、重要度算出部２８５は、顔が傾いていない場合の採点値を小さくし、顔の角度が大きいほど採点値を大きく設定する。

続いて、重要度算出部２８５は、各採点値に対する重み付けを行う（ステップｋ２１）。ここで行う重み付けは、例えば、移動体の位置、移動体の速度変化、移動体の方向変化、顔の大きさ、顔の位置、顔の向きおよび顔の角度の各採点項目について予め重み係数を設定しておき、各採点値に重み係数を乗じて行う。重み係数は、採点項目の重要度に応じて適宜設定しておくことができる。例えば、ユーザが画角範囲の中央に移動体が写っている撮影画像を重要視しているような場合であれば、移動体の位置や顔の位置の重み係数を大きく設定しておくことで、これらの採点値が高い撮影画像の重要度を高く設定することができる。

そして、重要度算出部２８５は、重み付けした各採点値の総和を処理画像の重要度として算出する（ステップｋ２３）。そして、連続画像を構成する全ての撮影画像を処理画像としてループＡの処理を行ったならば、図８のステップａ１７にリターンし、その後ステップａ１９に移る。なお、上記した移動体重要度算出処理は一例であって、採点方法や採点項目はこれに限定されず、適宜設定できる。

続いて、保存画像選択処理部２８７が、表示部２３に対し、ステップａ１５の連続画像分割処理の結果抽出された代表画像を表示する処理を行うとともに、分割シーンの選択依頼の通知を表示する処理を行う（ステップａ１９）。例えば、代表画像のサムネイルを一覧表示し、代表画像の選択操作を受け付けることによって分割シーンを選択する構成としてもよいし、代表画像を１枚ずつユーザ操作に従って順次切換表示し、代表画像の選択操作を受け付けることによって分割シーンを選択する構成としてもよい。

そして、保存画像選択処理部２８７は、選択依頼の通知に応答して分割シーンが選択された場合には（ステップａ２１：Ｙｅｓ）、続いて、選択された分割シーンの撮影画像を表示する処理を行うとともに、保存画像の選択依頼の通知を表示する処理を行う（ステップａ２３）。このとき、保存画像選択処理部２８７は、例えば、選択された代表画像と撮影順が後順の代表画像との間の撮影画像、例えば第１分割位置の代表画像が選択された場合であれば、第１分割位置の撮影画像および第１分割位置と第２分割位置との間の撮影画像を分割シーンの撮影画像として選出する。そして、保存画像選択処理部２８７は、ステップａ１７の移動体重要度算出処理の結果をもとに、選出した撮影画像を重要度の高い順番で並び替える。そして、保存画像選択処理部２８７は、並び替えた順番で選出した撮影画像のサムネイルを一覧表示し、保存する撮影画像の選択操作を受け付ける。これによれば、選択された分割シーンの撮影画像のうち、重要度の高いものから順番にユーザに提示することができる。したがってユーザは、分割シーンの撮影画像の枚数が多い場合であっても効率よく撮影画像を閲覧することができるので、作業負担をより軽減できる。

なお、分割シーンの撮影画像のうち、重要度の高いものから所定数の撮影画像をさらに選出して一覧表示し、保存画像の選択を受け付ける構成としてもよい。また、重要度による並び替えを行わずに、撮影順に一覧表示する構成としてもよい。また、ここでは、選択された分割シーンの撮影画像のサムネイルを一覧表示することとしたが、選択された分割シーンの撮影画像を１枚ずつユーザ操作に従って順次切換表示し、保存する撮影画像の選択操作を受け付ける構成としてもよい。そしてこのとき、ステップａ１７の重要度算出処理の結果をもとに、分割シーンの撮影画像を重要度の高い順番で並び替えて、並び替えた順番で切換表示するようにしてもよい。

そして、保存画像選択処理部２８７は、選択依頼の通知に応答して保存画像が選択された場合には（ステップａ２５：Ｙｅｓ）、保存処理を行い（ステップａ２７）、ステップａ２９に移る。

ステップａ２９では、保存画像選択処理部２８７は、分割シーンの変更操作の有無を監視する。そして、保存画像選択処理部２８７は、分割シーンの変更操作があった場合には（ステップａ２９：Ｙｅｓ）、ステップａ１９に戻って再度分割シーンの選択依頼を通知し、上記した処理を行う。一方、保存画像選択処理部２８７は、分割シーンの変更操作がない場合には（ステップａ２９：Ｎｏ）、保存完了操作の有無によって保存を完了するか否かを判定し、保存を完了するまでの間（ステップａ３１：Ｎｏ）、ステップａ２５に戻って上記した処理を行う。一方、保存を完了する場合には（ステップａ３１：Ｙｅｓ）、本処理を終える。

以上説明したように、実施の形態１によれば、連続画像を構成する撮影画像間で動き検出を行って連続画像中に出現する移動体の動きを検出し、動き検出結果をもとに連続画像内での移動体の状態変化を判別することによって、連続画像の中から代表画像を抽出することができる。詳細には、移動体の状態変化をもとに連続画像を連写シーンに分類し、分類した連写シーンに応じた位置で連続画像を分割することによって、分割した位置の撮影画像を代表画像として抽出することができる。これによれば、連続画像中で移動体がどのように動いたかによって代表画像を抽出することができるので、連続画像の中からユーザにとって有用な代表画像を適切に抽出することができる。また、抽出した代表画像を表示部２３に表示してユーザに提示することができる。したがって、連続画像の中から保存する撮影画像を選択する際のユーザの作業負担を軽減できる。

なお、上記した実施の形態１では、連続画像の連写シーンがシーンａに分類された場合に、移動体の移動中心位置を分割位置として代表画像を抽出することとした。これに対し、移動体が撮影画角の中央に最も近接した位置で連続画像を分割するようにしてもよい。これによれば、移動体が中央付近に写る撮影画像を代表画像として抽出することができる。

また、連続画像の連写シーンをシーンｃに分類した場合に、移動方向の変化位置を分割位置として代表画像を抽出する場合について例示したが、これに限定されるものではない。例えば、移動体の移動方向が所定の変化パターンに従って規則的に変化している場合には、移動体の移動開始位置から移動終了位置またはフレームアウト位置までの間を予め設定される所定数に等分割し、分割した位置の撮影画像を代表画像として抽出することとしてもよい。

また、移動体が顔である場合に、顔検出部１７によって検出された顔の位置、顔の大きさ、顔の向き、顔の角度（傾き）等を加味して移動体の状態変化を判別するようにしてもよい。

また、代表画像としてユーザに提示する撮影画像の枚数を予め設定しておくようにしてもよい。そして、設定された枚数以上の代表画像が抽出された場合には、抽出された代表画像の中から設定された枚数の代表画像を選出するようにしてもよい。このとき、重要度算出部２８５によって撮影画像毎に算出される重要度の値を用いて、重要度の高い代表画像から順番に設定された枚数の代表画像を選出するようにしてもよい。

また、上記した実施の形態１では、連続画像分割部２８３によって分割位置とされた位置の撮影画像を代表画像として抽出する場合について説明したが、これに限定されるものではない。例えば、分割位置とされた位置を基準として前後に隣接する所定枚数の撮影画像を代表画像として抽出するようにしてもよい。

また、上記した実施の形態１では、連続画像分割部２８３によって抽出された代表画像を表示部２３に表示してユーザに提示し、保存画像の選択操作を受け付けることとしたが、抽出した代表画像を自動的に保存画像とし、記録媒体２０に記録するようにしてもよい。またこの場合に、変形例として上記したように、分割位置を基準として前後に隣接する所定枚数の撮影画像を代表画像として抽出し、抽出した代表画像を保存するようにしてもよい。これによれば、代表画像と例えばその前後数枚の撮影画像を自動的に記録媒体２０に記録することができる。

また、連続画像内において複数の移動体が検出された場合には、例えばユーザ操作に従って１つまたは複数の移動体を選択し、選択した移動体について動き検出を行ってその状態変化を判別するようにしてもよい。これによれば、複数の移動体のうちの所望の移動体に着目した代表画像の抽出が実現できる。

（実施の形態２）
図１９は、実施の形態２の代表画像の抽出原理を説明する図であり、連続画像を構成する各撮影画像に写る移動体の移動経路（移動体の位置の変化）の一例として、放物線を描いて移動する移動体の移動経路を示している。

実施の形態２では、撮影画像間の移動体の動き（移動量）をもとに、移動速度を解析する。続いて、移動体の移動区間内を、例えば移動速度が予め設定される所定の基準速度以上の区間と移動速度が基準速度に満たない区間とに区切り、各区間内を所定数に等分割する。この基準速度については、予め固定値として設定しておく構成としてもよいし、例えばユーザ操作に従って可変に設定する構成としてもよい。そして、各区間内を等分割した分割位置の撮影画像を代表画像として抽出する。図１９では、移動体の移動区間内を、移動速度が基準速度以上の区間Ａおよび区間Ｃと、移動速度が基準速度に満たない区間Ｂとに区切っている。そして、各区間Ａ，Ｂ，Ｃ内をそれぞれ等分割し、区間Ａから５枚の代表画像Ｉ５１〜Ｉ５５、区間Ｂから５枚の代表画像Ｉ６１〜Ｉ６５、区間Ｃから５枚の代表画像Ｉ７１〜Ｉ７５を抽出する様子を示している。図２０−１〜５は、図１９の区間Ａから抽出された代表画像Ｉ５１〜Ｉ５５を示す図であり、図２１−１〜５は、図１９の区間Ｂから抽出された代表画像Ｉ６１〜Ｉ６５を示す図であり、図２２−１〜５は、図１９の区間Ｃから抽出された代表画像Ｉ７１〜Ｉ７５を示す図である。

なお、ここでは、各区間Ａ，Ｂ，Ｃからそれぞれ同数の撮影画像を抽出する場合を例示したが、分割数は個別に設定してもよい。例えば、移動速度の速い区間の分割数を、移動速度の低い区間の分割数よりも多く設定してもよい。また、区間内の撮影画像の枚数を計数し、計数した枚数に応じた分割数で等分割することとしてもよい。また、移動速度の速い区間のみ分割し、移動速度の遅い区間は分割しないようにしてもよい。逆に、移動速度の遅い区間のみ分割し、移動速度の速い区間は分割しないようにしてもよい。また、図示しないが、移動体の移動速度が基準速度以上となる区間が存在しない場合には、移動体の移動区間全体を等分割して例えば５枚の撮影画像を抽出する。

図２３は、実施の形態２のデジタルカメラのコントローラ２８ｂの構成を示す図である。なお、実施の形態２のデジタルカメラは、実施の形態１において図５に示したデジタルカメラ１の構成において、コントローラ２８を図２３に示すコントローラ２８ｂに置き換えた構成で実現できる。また、図２３において、実施の形態１と同様の構成には、同一の符号を付している。

図２３に示すように、実施の形態２では、コントローラ２８ｂは、変化判別部としての移動体状態解析部２８２ｂと、画像抽出部としての連続画像分割部２８３ｂと、重要度算出部２８５と、表示処理部としての保存画像選択処理部２８７とを含む。移動体状態解析部２８２ｂは、連続画像内に出現した移動体の状態を解析して状態変化を判別する。実施の形態２では、移動体状態解析部２８２ｂは、移動体の移動開始位置、フレームアウト位置、移動終了位置および移動体の移動速度を解析する。連続画像分割部２８３ｂは、移動体の移動速度に応じた位置で連続画像を分割し、分割位置の撮影画像を代表画像として抽出する。

図２４は、実施の形態２のデジタルカメラが行う処理の手順を説明するフローチャートであり、連写モードにおけるデジタルカメラの処理手順を示している。なお、図２４では、実施の形態１と同様の処理工程については、同一の符号を付している。

実施の形態２では、連写枚数が所定枚数より多い場合に（ステップａ１１：Ｙｅｓ）、移動体状態解析部２８２ｂが移動体状態解析処理を行う（ステップｌ１３）。図２５は、移動体状態解析処理の詳細な処理手順を示すフローチャートである。

移動体状態解析処理では先ず、移動体状態解析部２８２ｂは、移動体の移動開始位置を解析する（ステップｍ１）。例えば、その移動体が最初に検出されて登録移動体として登録された撮影画像を移動開始位置とし、画像番号を移動開始画像番号として取得する。

続いて、移動体状態解析部２８２ｂは、移動体の移動速度を解析する（ステップｍ３）。例えば、移動体状態解析部２８２ｂは、連続画像を構成する各撮影画像間での移動体の動き検出結果をもとに、各撮影画像間での移動体の移動量を移動速度として算出する。

続いて、移動体状態解析部２８２ｂは、移動体のフレームアウト位置を解析する（ステップｍ５）。例えば、その移動体が画角範囲の端部に移動し、画角範囲から外れた撮影画像をフレームアウト位置とし、画像番号をフレームアウト画像番号として取得する。

続いて、移動体状態解析部２８２ｂは、移動体の移動終了位置を解析する（ステップｍ７）。例えば、その移動体が停止した撮影画像あるいはその移動体を追尾できなくなった撮影画像を移動終了位置とし、画像番号を移動終了画像番号として取得する。そして、図２４のステップｌ１３にリターンし、その後、ステップｌ１５に移る。

ステップｌ１５では、連続画像分割部２８３ｂが、連続画像分割処理を行う。図２６は、連続画像分割処理の詳細な処理手順を示すフローチャートである。

連続画像分割処理では、連続画像分割部２８３ｂは先ず、移動体の移動開始画像番号を取得する（ステップｎ１）。そして、連続画像分割部２８３ｂは、連続画像内で移動体が移動している区間（移動区間）の先頭の撮影画像を移動開始画像番号とする（ステップｎ３）。続いて、連続画像分割部２８３ｂは、移動終了フラグを判定する。そして、連続画像分割部２８３ｂは、移動終了フラグがＯＮであれば（ステップｎ５：Ｙｅｓ）、移動区間の最後尾の撮影画像を移動終了画像番号とし（ステップｎ７）、ステップｎ１５に移る。

一方、ステップｎ５において判定した移動終了フラグがＯＦＦであれば（ステップｎ５：Ｎｏ）、続いて連続画像分割部２８３ｂは、フレームアウトフラグを判定する。そして、連続画像分割部２８３ｂは、フレームアウトフラグがＯＮであれば（ステップｎ９：Ｙｅｓ）、移動区間の最後尾の撮影画像をフレームアウト画像番号とし（ステップｎ１１）、ステップｎ１５に移る。

また、ステップｎ９において判定したフレームアウトフラグがＯＦＦの場合には（ステップｎ９：Ｎｏ）、移動区間の最後尾の撮影画像を連続画像の最終画像番号とし（ステップｎ１３）、ステップｎ１５に移る。

ステップｎ１５では、連続画像分割部２８３ｂは、移動体の移動速度の変化を判別する。そして、連続画像分割部２８３ｂは、いずれかの撮影画像間で移動速度が所定の基準速度以上となっていれば（ステップｎ１５：Ｙｅｓ）、移動区間内を移動速度が基準速度以上の区間と基準速度に満たない区間とに区切り、先ず、移動速度が基準速度以上の区間内を所定数に等分割して分割位置を設定する（ステップｎ１７）。続いて、連続画像分割部２８３ｂは、移動速度が基準速度に満たない区間内を所定数に等分割して分割位置を設定する（ステップｎ１９）。そして、ステップｎ２３に移る。一方、移動速度が基準速度以上となっていない場合には（ステップｎ１５：Ｎｏ）、移動区間全体を所定数に等分割して分割位置を設定する（ステップｎ２１）。そして、ステップｎ２３に移る。

ステップｎ２３では、分割位置の撮影画像を代表画像として抽出する。そして、図２４のステップｌ１５にリターンし、その後ステップａ１７に移る。

以上説明したように、実施の形態２によれば、連続画像を構成する撮影画像間で動き検出を行って連続画像中に出現する移動体の動きを検出し、動き検出結果をもとに連続画像内での移動体の状態変化として移動速度の変化を判別することができる。そして、移動体の移動速度に応じた分割位置で連続画像を分割することによって、分割した位置の撮影画像を代表画像として抽出することができる。例えば、移動体の移動区間内を、移動速度が所定の基準速度以上の区間と基準速度に満たない区間とに区切り、区間内を等分割して分割位置を設定し、代表画像を抽出することができる。したがって、連続画像中での移動体の移動速度の変化に応じて代表画像を抽出し、ユーザに提示できる。

なお、上記した実施の形態１では、移動体の重なり状態や分裂状態、移動体の移動方向が一定なのか不安定なのかそれとも所定の変化パターンに従って規則的に変化しているのかを判別して連写シーンに分類し、連写シーンに応じた位置で連続画像を分割することとした。一方、実施の形態２では、移動体の状態変化として移動速度の変化を判別し、判別した移動方向の変化に応じた位置で連続画像を分割することとした。これに対し、移動体の大きさの変化を判別し、判別した大きさの変化に応じた位置で連続画像を分割することとしてもよい。例えば、実施の形態２の適用例と同様にして、移動体の大きさが所定の基準サイズ以上である区間と、基準サイズに満たない区間とに区切り、区間内を等分割して分割位置を設定し、代表画像を抽出することとしてもよい。また、移動体の大きさが基準サイズ以上となる区間が存在しない場合には、移動体の移動区間全体を等分割して分割位置を設定することとしてもよい。

またこの場合には、実施の形態２と同様に、移動体の大きさが大きい区間と、移動体の大きさが小さい区間とを異なる分割数で分割することとしてもよい。例えば、サイズの大きい区間の分割数を、サイズの小さい区間の分割数よりも多く設定してもよい。また、区間内の撮影画像の枚数を計数し、計数した枚数に応じた分割数で等分割することとしてもよい。また、サイズの大きい区間のみ分割し、サイズの小さい区間は分割しないようにしてもよい。逆に、サイズの小さい区間のみ分割し、サイズの大きい区間は分割しないようにしてもよい。

また、移動体の移動方向の変化、移動速度の変化および大きさの変化の少なくとも２つ以上を組み合わせて移動体の状態変化を判別し、分割位置を設定するようにしてもよい。さらにこのとき、移動体が顔である場合に、顔検出部１７によって検出された顔の位置、顔の大きさ、顔の向きおよび顔の角度（傾き）の少なくともいずれか１つの変化を加味してを加味して移動体の状態変化を判別するようにしてもよい。

また、画像処理部１６、コントローラ２８または２８ｂを構成する連写シーン分類部２８１、移動体状態解析部２８２ｂ、連続画像分割部２８３，２８３ｂ、重要度算出部２８５、保存画像選択処理部２８７は、ハードウェアで実現する構成としてもよいし、所定のプログラムを実行することによってソフトウェアとして実現することとしてもよい。ソフトウェアとして実現する場合には、例えば、図８〜図１８に示した処理、あるいは図２４〜図２６に示した処理の一部または全部を実現するためのプログラムをＲＯＭ２７に記録しておく。そして、コントローラ２８，２８ｂがこのプログラムを読み出して実行することによって、連写シーン分類部２８１、移動体状態解析部２８２ｂ、連続画像分割部２８３，２８３ｂ、重要度算出部２８５、保存画像選択処理部２８７の構成を実現するようにしてもよい。

また、上記した実施の形態では、本発明の撮影装置をデジタルカメラに適用した例について説明したが、適用対象はデジタルカメラに限定されず、携帯電話機に付属のカメラやＰＣ付属のカメラに適用してもよい。

連続画像の一例を示す図である。 連続画像の他の例を示す図である。 連続画像の他の例を示す図である。 連続画像の他の例を示す図である。 実施の形態１のデジタルカメラの構成例を示す概略ブロック図である。 移動体検出エリアおよび登録移動体エリアの一例を示す図である。 移動体検出エリアおよび登録移動体エリアの他の例を示す図である。 実施の形態１のデジタルカメラが行う処理の手順を説明するフローチャートである。 動き検出処理の詳細な処理手順を説明するフローチャートである。 顔検出処理の詳細な処理手順を説明するフローチャートである。 連写シーン分類処理の詳細な処理手順を示すフローチャートである。 移動体状態解析処理の詳細な処理手順を示すフローチャートである。 実施の形態１の連続画像分割処理の詳細な処理手順を示すフローチャートである。 シーンａ／ｃ分割処理の詳細な処理手順を示すフローチャートである。 シーンｂ分割処理の詳細な処理手順を示すフローチャートである。 シーンｄ分割処理の詳細な処理手順を示すフローチャートである。 シーンｅ分割処理の詳細な処理手順を示すフローチャートである。 移動体重要度算出処理の詳細な処理手順を示すフローチャートである。 実施の形態２の代表画像の抽出原理を説明する図である。 図１９の区間Ａから抽出された代表画像の一例を示す図である。 図１９の区間Ａから抽出された代表画像の他の例を示す図である。 図１９の区間Ａから抽出された代表画像の他の例を示す図である。 図１９の区間Ａから抽出された代表画像の他の例を示す図である。 図１９の区間Ａから抽出された代表画像の他の例を示す図である。 図１９の区間Ｂから抽出された代表画像の一例を示す図である。 図１９の区間Ｂから抽出された代表画像の他の例を示す図である。 図１９の区間Ｂから抽出された代表画像の他の例を示す図である。 図１９の区間Ｂから抽出された代表画像の他の例を示す図である。 図１９の区間Ｂから抽出された代表画像の他の例を示す図である。 図１９の区間Ｃから抽出された代表画像の一例を示す図である。 図１９の区間Ｃから抽出された代表画像の他の例を示す図である。 図１９の区間Ｃから抽出された代表画像の他の例を示す図である。 図１９の区間Ｃから抽出された代表画像の他の例を示す図である。 図１９の区間Ｃから抽出された代表画像の他の例を示す図である。 実施の形態２のデジタルカメラのコントローラの構成を示す図である。 実施の形態２のデジタルカメラが行う処理の手順を説明するフローチャートである。 移動体状態解析処理の詳細な処理手順を示すフローチャートである。 実施の形態２の連続画像分割処理の詳細な処理手順を示すフローチャートである。

１ デジタルカメラ
１１ 撮像光学系
１２ 撮像素子
１３ ＡＦＥ
１４ フレームメモリ
１５ 動き検出部
１６ 画像処理部
１７ 顔検出部
１８ 記録媒体Ｉ／Ｆ
１９ 記録媒体保持部
２０ 記録媒体
２１ ビデオエンコーダ
２２ 表示ドライバ
２３ 表示部
２４ ビデオ信号出力端子
２５ 操作部
２６ ＲＡＭ
２７ ＲＯＭ
２８，２８ｂ コントローラ
２８１ 連写シーン分類部
２８２ｂ 移動体状態解析部
２８３，２８３ｂ 連続画像分割部
２８５ 重要度算出部
２８７ 保存画像選択処理部

Claims (11)

1. 連続的に撮影処理を行って複数の撮影画像の画像データで構成される連続画像を取得する連続画像取得部と、
   前記複数の撮影画像毎に、隣接する撮影画像との間の動きを検出して前記連続画像中の移動体を検出する移動体検出部と、
   前記移動体検出部による検出結果をもとに、前記移動体の移動方向の変化、前記移動体の移動速度の変化および前記移動体の大きさの変化の少なくともいずれか１つを判別する変化判別部と、
   前記変化判別部による判別結果に応じた位置で前記連続画像を分割し、少なくとも前記分割した位置の撮影画像を代表画像として抽出する画像抽出部と、
   を備え、
   前記変化判別部は、前記移動体の移動方向が所定の変化パターンに従って規則的に変化した状態を判別し、
   前記画像抽出部は、前記変化判別部によって前記規則的な変化が判別された場合に、前記移動体の移動方向が変化した位置で前記連続画像を分割することを特徴とする撮影装置。
2. 前記変化判別部は、前記移動体が方向を変えずに所定の方向に沿って移動した状態または前記移動体の移動方向が不規則に変化した状態をさらに判別し、
   前記画像抽出部は、前記変化判別部によって前記所定の方向に沿った変化または前記不規則な変化が判別された場合に、前記移動体の移動開始位置から前記移動体の移動終了位置までの移動経路上の中間位置で前記連続画像を分割することを特徴とする請求項１に記載の撮影装置。
3. 前記変化判別部は、前記移動体が方向を変えずに所定の方向に沿って移動した状態または前記移動体の移動方向が不規則に変化した状態をさらに判別し、
   前記画像抽出部は、前記変化判別部によって前記所定の方向に沿った変化または前記不規則な変化が判別された場合に、前記移動体が撮影画角の中央に最も近接した位置で前記連続画像を分割することを特徴とする請求項１に記載の撮影装置。
4. 前記移動体検出部は、複数の移動体を検出可能に構成されており、
   前記変化判別部は、前記移動体同士が重なった状態を重なり状態として判別し、
   前記画像抽出部は、前記変化判別部によって前記重なり状態が判別された場合に、前記移動体同士が重なった位置で前記連続画像を分割することを特徴とする請求項１に記載の撮影装置。
5. 前記移動体検出部は、複数の移動体を検出可能に構成されており、
   前記変化判別部は、前記複数の移動体のうちのいずれか１つの移動体の位置を始点として他の移動体が移動を開始した状態を分裂状態として判別し、
   前記画像抽出部は、前記変化判別部によって前記分裂状態が判別された場合に、前記移動体が分裂した位置で前記連続画像を分割することを特徴とする請求項１に記載の撮影装置。
6. 前記画像抽出部は、前記移動体の移動開始位置および前記移動体の移動終了位置の少なくともいずれかの位置で前記連続画像をさらに分割することを特徴とする請求項１に記載の撮影装置。
7. 前記画像抽出部は、前記分割した位置の撮影画像と撮影順が隣接する所定枚数の撮影画像を前記代表画像として抽出することを特徴とする請求項１に記載の撮影装置。
8. 前記画像抽出部は、前記変化判別部による判別結果に従って前記移動体の移動区間内を１つ以上の区間に区切り、前記区間のうちの少なくとも１つの区間内を分割することを特徴とする請求項１に記載の撮影装置。
9. 前記代表画像を表示部に表示する処理を行う表示処理部を備えることを特徴とする請求項１に記載の撮影装置。
10. 前記表示処理部は、前記画像抽出部によって前記代表画像が複数抽出された場合に、各代表画像を一覧で表示または撮影順に順番に表示する処理を行うことを特徴とする請求項９に記載の撮影装置。
11. 連続的に撮影処理を行って複数の撮影画像の画像データで構成される連続画像を取得する連続画像取得工程と、
    前記複数の撮影画像毎に、隣接する撮影画像との間の動きを検出して前記連続画像中の移動体を検出する移動体検出工程と、
    前記移動体検出工程による検出結果をもとに、前記移動体の移動方向の変化、前記移動体の移動速度の変化および前記移動体の大きさの変化の少なくともいずれか１つを判別する変化判別工程と、
    前記変化判別工程による判別結果に応じた位置で前記連続画像を分割し、少なくとも前記分割した位置の撮影画像を代表画像として抽出する画像抽出工程と、
    を含み、
    前記変化判別工程は、前記移動体の移動方向が所定の変化パターンに従って規則的に変化した状態を判別し、
    前記画像抽出工程は、前記変化判別工程によって前記規則的な変化が判別された場合に、前記移動体の移動方向が変化した位置で前記連続画像を分割することを特徴とする撮影方法。

Images