JPWO2012102276A1 - 静止画抽出装置 - Google Patents

Abstract

本発明は、複数のフレームから特定のフレームを静止画として抽出する静止画抽出装置である。静止画抽出装置は、抽出条件登録手段と、抽出判定手段と、抽出手段とを備える。抽出条件登録手段は、当該静止画抽出装置の使用者によって指定された、静止画を抽出する際の抽出条件を抽出条件記録部に登録する。抽出判定手段は、前記複数のフレームが前記抽出条件記録部に登録された抽出条件に合致するか否かを前記フレーム毎に判定する。抽出手段は、前記抽出条件に合致すると判定されたフレームを静止画として抽出する。

Description

関連出願の相互参照

本国際出願は、２０１１年１月２４日に日本国特許庁に出願された日本国特許出願第２０１１−０１２０００号に基づく優先権を主張するものであり、日本国特許出願第２０１１−０１２０００号の全内容を参照により本国際出願に援用する。

本発明は、動画等の複数のフレームから特定のフレームを静止画として抽出する静止画抽出装置に関する。

上記の静止画抽出装置として、動画等の複数のフレームのそれぞれに対して、顔の向きや表情に応じて評価値を設定し、評価値の高いフレームを抽出する技術が知られている（例えば、特許文献１参照）。

特開２０１０−１０９５９２号公報

しかしながら、静止画として抽出したいと思う条件には個人差があり、上記のように評価値の高いフレームを抽出したとしても、使用者が気に入るとは限らないという問題点があった。そこで、このような問題点を鑑み、複数のフレームから特定のフレームを静止画として抽出する静止画抽出装置において、使用者が求める静止画を抽出できるようにすることを本発明の目的とする。

かかる目的を達成するために成された第１の構成の静止画抽出装置は、
複数のフレームから特定のフレームを静止画として抽出する静止画抽出装置であって、
当該静止画抽出装置の使用者によって指定された、静止画を抽出する際の抽出条件を抽出条件記録部に登録する抽出条件登録手段と、
前記複数のフレームが前記抽出条件記録部に登録された抽出条件に合致するか否かを前記フレーム毎に判定する抽出判定手段と、
前記抽出条件に合致すると判定されたフレームを静止画として抽出する抽出手段と、
を備えたことを特徴とする。

このような静止画抽出装置によれば、使用者が指定した抽出条件に従って複数のフレームから特定の静止画を抽出することができる。よって、使用者が求める静止画を抽出することができる。具体的な抽出条件としては、被写体が最も美人に写るときの表情、日の出の瞬間、事故の瞬間、前回撮影した写真・絵と類似するもの、天気等が挙げられる。

ところで、上記静止画抽出装置においては、第２の構成のように、
当該静止画抽出装置の使用者によって指定された、静止画を抽出しない条件を表す除外条件を除外条件記録部に登録する除外条件登録手段と、
前記複数のフレームが前記除外条件記録部に登録された除外条件に合致するか否かを前記フレーム毎に判定する除外判定手段と、
前記抽出手段が、前記抽出条件に合致すると判定されたフレームのうちの前記除外条件に合致すると判定されたフレームを抽出することを禁止する抽出禁止手段と、
を備えていてもよい。

このような静止画抽出装置によれば、抽出条件に合致するフレームであっても、除外条件に合致するフレームであれば抽出されないようにすることができるので、不要なフレームが抽出されることを抑制することができる。具体的な除外条件としては、撮像された人物が瞬きをしていること、ピントが合っていないこと等が挙げられる。

また、上記静止画抽出装置においては、第３の構成のように、
当該静止画抽出装置の外部に位置し、静止画を抽出する際の抽出条件を保持するサーバから前記抽出条件を取得する抽出条件取得手段、
を備えていてもよい。

このような静止画抽出装置によれば、好みの静止画を抽出するための条件をサーバから取得することができる。よって、誰でも容易に静止画とする瞬間を設定することができる。

さらに、上記静止画抽出装置においては、第４の構成のように、
静止画を抽出する際の抽出条件を保持するとともに、外部から抽出条件を受けるとこの抽出条件を保持するサーバに対して前記抽出条件記録部に記録された抽出条件を送信する抽出条件送信手段、を備えていてもよい。

このような静止画抽出装置によれば、使用者が設定した抽出条件を、サーバに送信することができるので、上記第３の構成と組み合わせることで、この抽出条件を他の静止画抽出装置と共有することができる。

また、上記静止画抽出装置においては、第５の構成のように、
前記除外条件登録手段は、前記除外条件として、類似する静止画の抽出を禁止する旨を登録可能であり、
前記除外判定手段は、前記除外条件記録部に、前記除外条件として類似する静止画の抽出を禁止する旨が登録されている場合に、前記複数のフレームについて類似するフレーム毎にグループ化し、前記グループ毎に２枚以上のフレームが存在するか否かを判定し、
前記抽出禁止手段は、前記グループ毎に２枚以上のフレームが抽出されることを禁止する、ようにしてもよい。

このような静止画抽出装置によれば、類似する静止画を複数枚抽出してしまうことを抑制することができる。よって、抽出した静止画をプリントする場合に、コストの削減をするとともに、プリントする静止画を選別する際の煩雑さを軽減することができる。

本発明の具体例としては、例えば既に同じグループでのフレームが選択されている場合にはそれ以後に選択されるフレームを無視する構成や、同じグループでのフレームを順次上書きする構成等が挙げられる。なお、本発明は、以下の発明の記載を考慮しなければ、第３の構成および第４の構成として記載した発明に従属する発明とすることができる。

特に、上記静止画抽出装置においては、第６の構成のように、
前記抽出手段は、前記グループ毎に最も抽出条件に合致するフレームを抽出する、ようにしてもよい。

このような静止画抽出装置によれば、使用者が希望する最適なフレームのみを抽出することができる。
さらに、上記静止画抽出装置においては、第７の構成のように、
前記抽出条件登録手段は、前記抽出条件として、特定人物の顔写真とともに、この顔写真と類似する顔を含むフレームを抽出する旨を登録可能であり、
前記抽出判定手段は、前記抽出条件記録部に、前記抽出条件として前記顔写真と類似する顔を含むフレームを抽出する旨が登録されている場合に、各フレームに含まれる顔が前記抽出条件記録部に記録された顔写真と類似するか否かを判定する、ようにしてもよい。

このような静止画抽出装置によれば、抽出しようとする表情の顔写真を登録し、この顔写真と類似する表情の顔を含むフレームを抽出することができる。よって、使用者の好みの顔の表情の静止画を容易に抽出することができる。

また、上記静止画抽出装置においては、第８の構成のように、
前記抽出条件登録手段は、前記抽出条件として、物体が衝突した瞬間を抽出する旨を登録可能であり、
前記抽出判定手段は、前記抽出条件記録部に、前記抽出条件として物体が衝突した瞬間を抽出する旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体を追跡することによってこの物体の形状が変化し始めたか否かを判定する、ようにしてもよい。

このような静止画抽出装置によれば、複数のフレームに含まれる物体が変形を開始した瞬間を衝突の瞬間の静止画として抽出することができる。
さらに、上記静止画抽出装置においては、第９の構成のように、
前記抽出条件登録手段は、前記抽出条件として、物体の変形量が最大のときを抽出する旨を登録可能であり、
前記抽出判定手段は、前記抽出条件記録部に、前記抽出条件として物体の変形量が最大のときを抽出する旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体を追跡することによってこの物体が変形し、変形が停止したか否かを判定する、ようにしてもよい。

このような静止画抽出装置によれば、複数のフレームに含まれる物体の変形量が最大となった瞬間の静止画を抽出することができる。この構成では、例えば球場においてバッターがホームランを打つ瞬間の写真等のいわゆる決定的な瞬間の写真を複数のフレームから容易に抽出することができる。

また、上記静止画抽出装置においては、第１０の構成のように、
複数のフレームを順次表示装置に出力する表示出力手段と、
使用者による特定の外部指令を入力するための外部指令入力手段と、
を備え、
前記抽出判定手段は、前記表示出力手段が複数のフレームを出力しているときにおいて、前記外部指令入力手段を介して特定の外部指令が入力されると、この瞬間において前記表示出力手段が出力したフレームよりも、使用者の反応速度に応じた所定フレーム前のフレームを、抽出条件に合致すると判定する、ようにしてもよい。

このような静止画抽出装置によれば、使用者が例えば入力ボタンを押す等の特定の外部指令を入力した瞬間の一瞬前のフレームを抽出することができる。なお、本発明でいう複数のフレームとは、撮像後に再生される動画および撮像中の画像をモニタリングする際の動画を含む。

さらに、上記静止画抽出装置においては、第１１の構成のように、
前記抽出条件登録手段は、前記抽出条件として、最高到達点に到達した旨を登録可能であり、
前記抽出判定手段は、前記抽出条件記録部に最高到達点に到達した旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体が上方に移動し、その後、停止したか否かを判定する、ようにしてもよい。

このような静止画抽出装置によれば、複数のフレームに含まれる物体が最高到達点に到達した瞬間の静止画を抽出することができる。よって例えば、動物が最も高くジャンプした瞬間のフレーム等を抽出することができる。

また、上記静止画抽出装置においては、第１２の構成のように、
前記抽出手段は、
前記抽出条件に合致すると判定されたフレームを表す合致フレームを抽出する合致フレーム抽出手段と、
前記合致フレームの直前または直後に撮像された所定数のフレームを表す前後フレームを抽出する前後フレーム抽出手段と、
前記合致フレームおよび前記前後フレームのうちの使用者から選択されたフレームを前記静止画として抽出する選択抽出手段と、
を備えていてもよい。

このような静止画抽出装置によれば、当該装置が抽出するとよいフレームを数フレームに絞り込んだ上で、最適なフレームを使用者に選択させ、この選択されたフレームを静止画として抽出することができる。したがって、使用者は容易に最適なフレームを選択することができる。

次に、上記目的を達成するために成された第１３の構成としての静止画抽出プログラムは、コンピュータを上記何れかの静止画抽出装置を構成する各手段として機能させるためのプログラムであることを特徴とする。

このような静止画抽出プログラムによれば、上記何れかの静止画抽出装置と同様の効果を享受することができる。

本発明が適用された画像抽出システム１の概略構成を示すブロック図である。 撮像装置１０のマイクロコンピュータ１１が実行する抽出条件設定処理の前半部分を示すフローチャートである。 抽出条件設定処理の後半部分を示すフローチャートである。 撮像装置１０のマイクロコンピュータ１１が実行する除外条件設定処理を示すフローチャートである。 マイクロコンピュータ１１が実行する静止画抽出処理の第１の部分を示すフローチャートである。 静止画抽出処理の第２の部分を示すフローチャートである。 静止画抽出処理の第３の部分を示すフローチャートである。 静止画抽出処理のうちの除外処理を示すフローチャートである。 マイクロコンピュータ１１が実行するアップロード処理を示すフローチャートである。 マイクロコンピュータ１１が実行する手動抽出処理を示すフローチャートである。 変形例の抽出条件設定処理を示すフローチャートである。 変形例の静止画抽出処理の前半部分を示すフローチャートである。 変形例の静止画抽出処理の後半部分を示すフローチャートである。 マイクロコンピュータ１１が実行する画像修正処理を示すフローチャートである。 マイクロコンピュータ１１が実行するアップロード処理を示すフローチャートである。 マイクロコンピュータ１１が実行するダミー音連動抽出処理を示すフローチャートである。 マイクロコンピュータ１１が実行する前後フレーム抽出処理を示すフローチャートである。 マイクロコンピュータ１１が実行する開始タイミング設定処理を示すフローチャートである。

１…画像抽出システム、１０…撮像装置、１１…マイクロコンピュータ、１２…撮像部、１３…動画記録部、１４…通信部、１５…条件記録部、１６…静止画記録部、２１…操作部、２２…表示部、２３…集音部、３０…サーバ、４０…インターネット網、５０…基地局、３１…抽出条件ＤＢ、１１１…メモリ。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
画像抽出システム１は、複数のフレームを備えて構成される動画等から特定のフレームを静止画として抽出する機能を有するシステムである。詳細には、図１に示すように、撮像装置１０（静止画抽出装置）と、インターネット網４０に接続されたサーバ３０と、サーバ３０とインターネット網４０を介して通信可能であり、撮像装置１０の無線通信基地局として機能する基地局５０と、を備えている。

撮像装置１０は、例えば、ＭＰＥＧ４形式等の任意の形式で動画を記録可能な周知のビデオカメラとしての機能を備えている。また、動画から静止画を抽出する機能も備えている。詳細には、撮像装置１０は、マイクロコンピュータ１１と、撮像部１２と、動画記録部１３と、通信部１４と、条件記録部１５（抽出条件記録部、除外条件記録部）と、静止画記録部１６と、操作部２１（外部指令入力手段の一例）と、表示部２２と、集音部２３と、を備えている。

マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイクロコンピュータとして構成されており、ＲＯＭ等のメモリ１１１に格納されたプログラム（静止画抽出プログラム等）を実行することで撮像装置１０全体の制御を司る。撮像部１２は、レンズや撮像素子を備えたカメラとして構成されており、撮像した動画（例えば３０ｆｐｓ）のデータを動画記録部１３に記録させる。なお、動画記録部１３は、周知のメモリとして構成されている。

通信部１４は、撮像装置１０と基地局５０との間の無線通信を媒介する通信モジュールとして構成されている。通信方式は任意の方式を採用できるが、例えば無線ＬＡＮや携帯電話機の通信モジュールとして構成されていればよい。

条件記録部１５は、動画から静止画を抽出する際の各種条件を記録しておくためのメモリとして構成されている。静止画記録部１６は、抽出された静止画を記録するためのメモリとして構成されている。なお、各記録部１３，１５，１６は、物理的に別々のメモリとして構成されていてもよいし、物理的には１つのメモリの領域として構成され、機能毎にこの領域を区切って利用する構成とされていてもよい。

操作部２１は、撮像装置１０への指令を使用者が入力するためのインタフェースとして構成されている。具体的には、操作部２１は、複数のボタンやタッチパネル等として構成されている。

ここで、撮像装置１０（マイクロコンピュータ１１）は、操作部２１を介した入力によって複数の作動モードを切り換えて実行できるように構成されている。詳細には、撮像部１２を利用して動画を記録する録画モード、動画記録部１３や静止画記録部１６に記録された動画や静止画を再生する再生モード、動画から静止画を抽出する抽出条件を設定する条件設定モード、動画から静止画を抽出する静止画抽出モード、および抽出条件や静止画を外部に送信する送信モードを切換可能に構成されている。

次に、表示部２２は、液晶カラーディスプレイや有機ＥＬディスプレイとして構成されている。表示部２２には、マイクロコンピュータ１１の指令による画像（例えば、撮像部１２を利用して動画を記録する際には記録される動画が表示され、動画記録部１３や静止画記録部１６に記録された動画や静止画を再生する際には再生された動画や静止画）が表示される。

集音部２３は、周知のマイクとして構成され、検出した音波信号をマイクロコンピュータ１１に送る。次に、サーバ３０は、インターネット網４０や基地局５０を介して多数の撮像装置１０と接続可能に構成されているとともに、各撮像装置１０における設定内容を取得可能に構成されている。

これらの設定内容は、サーバ３０内の抽出条件データベース（ＤＢ）３１に格納される。また、各撮像装置１０は、抽出条件ＤＢ３１に記録された他の撮像装置１０による設定内容や、サーバ３０において準備された設定内容を条件設定モード等において取得可能に構成されている。

［本実施形態の処理］
上記のような撮像装置１０では、動画から静止画を抽出する際の条件を設定する処理と、設定された条件に従って動画から静止画を抽出する処理とをそれぞれ実行する。まず、動画から静止画を抽出する際の条件を設定する処理について、図２Ａ、２Ｂおよび図３を用いて説明する。

抽出条件設定処理（図２Ａ及び２Ｂ）では、動画から静止画を抽出するための条件である抽出条件を設定し、除外条件設定処理（図３）では、抽出条件に合致したとしても動画から静止画を抽出しない場合の条件である除外条件を設定する。

抽出条件設定処理および除外条件設定処理は、それぞれ撮像装置１０が条件設定モードに操作部２１を介して設定されたときに開始され、条件設定モードから他のモードに切り換えられるまでの間、繰り返し実行される。抽出条件設定処理では、まず、抽出条件をサーバ３０から取得するよう設定されているか否かを判定する（Ｓ５）。なお、抽出条件をサーバ３０から取得するか否かについては、操作部２１を介した操作によって予め設定されているものとする。

抽出条件をサーバ３０から取得するよう設定されている場合には（Ｓ５：ＹＥＳ）、抽出条件をサーバ３０から取得し、取得した抽出条件を設定する（Ｓ１０：抽出条件取得手段の一例）。サーバ３０は、撮像装置１０から抽出条件の要求を受けると、抽出条件を要求元の撮像装置１０に返す。この際、サーバ３０が有する全ての抽出条件を返し、撮像装置１０において設定する抽出条件を選択してもよいし、サーバ３０が有する複数の抽出条件（抽出条件に対応する静止画でも可）を撮像装置１０に選択可能に提示し、撮像装置１０が選択した抽出条件のみを撮像装置１０に返すようにしてもよい。

ところでＳ１０の処理では、後述するＳ５５〜Ｓ１７０の処理で設定されるような抽出条件が取得され設定される。また、本処理でいう設定とは、抽出条件を確定するものではなく、一時的にＲＡＭ等のメモリに抽出条件を記録しておくことを意味し、後述するＳ１７５で登録されると設定された抽出条件が確定するものとする。

続いて、抽出条件を手動で設定する旨が操作部２１を介して入力されたか否かを判定する（Ｓ１５）。抽出条件を手動で設定する旨が入力されていなければ（Ｓ１５：ＮＯ）、後述するＳ１７５の処理に移行する。

また、抽出条件を手動で設定する旨が入力されている場合（Ｓ１５：ＹＥＳ）、或いは、Ｓ５の処理にて抽出条件をサーバ３０から取得するよう設定されている場合（Ｓ５：ＹＥＳ）には、Ｓ５５以下の処理を実施することで抽出条件を手動で設定する。

詳細には、まず、使用者のお気に入りの表情（好表情）の静止画を抽出するよう設定するか否かを判定する（Ｓ５５）。使用者のお気に入りの表情の静止画を抽出するよう設定されていなければ（Ｓ５５：ＮＯ）、後述するＳ１０５の処理に移行する。

また、使用者のお気に入りの表情の静止画を抽出するよう設定されていれば（Ｓ５５：ＹＥＳ）、使用者がよい表情で写った写真を選択するために、静止画記録部１６に記録されている静止画（比較用写真）を表示部２２に表示させる（Ｓ６０）。なお、使用者は、図示しないインタフェースから入力される静止画（比較用写真）を操作部２１の操作によって取り込み、この静止画を予め静止画記録部１６に登録することができるよう構成されている。

続いて、操作部２１を介して静止画が選択されたか否かを判定する（Ｓ６５）。静止画が選択されていなければ（Ｓ６５：ＮＯ）、Ｓ６０の処理に戻る。また、静止画が選択されていれば（Ｓ６５：ＹＥＳ）、顔の角度を選択するための画像を表示部２２に表示させる（Ｓ７０）。そして、顔の角度が操作部２１を介して選択されたか否かを判定する（Ｓ７５）。

ここで、顔の角度を選択させるのは、選択された静止画について、顔の表情は気に入っているが、顔の角度が気に入らないような場合に、顔の角度を変更できるようにするためである。詳細には、表示部２２に「右＋１０度」「下＋１５度」等の表示とともに、対応する角度の顔（実写のもの、或いはモデルとなるキャラクタのもの）を表示させ、使用者に好みの角度を選択させる。

顔の角度が選択されていなければ（Ｓ７５：ＮＯ）、Ｓ７０の処理に戻る。また、顔の角度が選択されていれば（Ｓ７５：ＹＥＳ）、選択された静止画における顔の表情の特徴や選択された顔の角度を設定する（Ｓ８０）。なお、顔の表情の特徴とは、顔のパーツの位置関係、大きさ、間隔、等の情報を表す。

続いて、抽出条件として、動画中に含まれる物体の衝突を抽出するように使用者による操作部２１の操作によって設定されたか否かを判定する（Ｓ１０５）。
物体の衝突を抽出するように設定されていなければ（Ｓ１０５：ＮＯ）、後述するＳ１５５の処理に移行する。また、物体の衝突を抽出するよう設定されれば（Ｓ１０５：ＹＥＳ）、項目を示す画像を表示部２２に表示させる（Ｓ１１０）。

詳細な項目としては、物体の衝突の瞬間を抽出するか、物体が衝突後に変形量が最大になったときを抽出するか、衝突の所定時間前後を抽出するか、を選択させるための画像を表示させる。

そして、使用者が操作部２１を介して項目を選択したか否かを判定する（Ｓ１１５）。使用者が項目を選択していなければ（Ｓ１１５：ＮＯ）、Ｓ１１０の処理に戻る。また、使用者が項目を選択していれば（Ｓ１１５：ＹＥＳ）、選択された項目を設定する（Ｓ１５５）。

続いて、抽出条件として、動画中に含まれる物体が最高到達点に到達した瞬間を抽出するように使用者による操作部２１の操作によって設定されたか否かを判定する（Ｓ１５５）。最高到達点に到達した瞬間を抽出しなければ（Ｓ１５５：ＮＯ）、後述するＳ１６５の処理に移行する。

また、最高到達点に到達した瞬間を抽出するならば（Ｓ１５５：ＹＥＳ）、最高到達点の瞬間を抽出するよう設定する（Ｓ１６０）。続いて、音を検出した瞬間（音に連動したフレーム）を抽出するように使用者による操作部２１の操作によって設定されたか否かを判定する（Ｓ１６５）。

音を検出した瞬間を抽出しないならば（Ｓ１６５：ＮＯ）、後述するＳ１７５の処理に移行する。また、音を検出した瞬間を抽出するならば（Ｓ１６５：ＹＥＳ）、音を検出した瞬間を抽出するよう設定する（Ｓ１７０）。そして、設定された内容を条件記録部１５に登録し（Ｓ１７５：抽出条件登録手段の一例）、抽出条件設定処理を終了する。

次に、除外条件設定処理について図３を用いて説明する。除外条件設定処理では、まず、除外条件をサーバ３０から取得するよう設定されているか否かを判定する（Ｓ２０５）。なお、除外条件をサーバ３０から取得するか否かについては、操作部２１を介した操作によって予め設定されているものとする。

除外条件をサーバ３０から取得するよう設定されている場合には（Ｓ２０５：ＹＥＳ）、抽出条件を取得する場合と同様の手法で除外条件をサーバ３０から取得し、取得した除外条件を設定する（Ｓ２１０）。なお、ここでは、抽出条件の場合と同様に、後述するＳ２２０〜Ｓ２３５に示すような除外条件が設定される。また、後述するＳ２４０の処理で登録されると設定された除外条件が確定する。

続いて、除外条件を手動で設定する旨が操作部２１を介して入力されたか否かを判定する（Ｓ２１５）。除外条件を手動で設定する旨が入力されていなければ（Ｓ２１５：ＮＯ）、後述するＳ２４０の処理に移行する。

また、除外条件を手動で設定する旨が入力されている場合（Ｓ２１５：ＹＥＳ）、或いは、Ｓ２０５の処理にて除外条件をサーバ３０から取得するよう設定されている場合（Ｓ２０５：ＹＥＳ）には、Ｓ２２０以下の処理を実施することで除外条件を手動で設定する。

詳細には、まず、フレーム中にピントが合っていない物体や輪郭がはっきりしない物体が存在することを示すブレが発生したものを除外する使用者による操作部２１の操作によって設定されたか否かを判定する（Ｓ２２０）。ブレが発生したものを除外しないならば（Ｓ２２０：ＮＯ）、後述するＳ２３０の処理に移行する。

また、ブレが発生したものを除外するならば（Ｓ２２０：ＹＥＳ）、ブレが発生したものを除外する旨を設定する（Ｓ２２５）。続いて、重複する静止画（類似する静止画）を除外する使用者による操作部２１の操作によって設定されたか否かを判定する（Ｓ２３０）。

重複する静止画を除外しないならば（Ｓ２３０：ＮＯ）、Ｓ２４０の処理に移行する。また、重複する静止画を除外するならば（Ｓ２３０：ＹＥＳ）、重複する静止画を除外する旨を設定する（Ｓ２３５）。そして、設定された内容を条件記録部１５に登録し（Ｓ２４０：除外条件登録手段の一例）、除外条件設定処理を終了する。

次に、設定された条件に従って動画から所定のフレーム（静止画）を抽出する静止画抽出処理について図４Ａ、４Ｂ、４Ｃおよび図５（除外処理）を用いて説明する。
なお、静止画抽出処理のうちのＳ３５５〜Ｓ５２０の処理は、本発明でいう抽出判定手段の一例に相当する。また、除外処理のうちのＳ６２０，Ｓ６５５，Ｓ６６５〜Ｓ６７５の処理は、本発明でいう除外判定手段の一例に相当する。

静止画抽出処理は、使用者が操作部２１を介して撮像装置１０を静止画抽出モードに設定し、さらに、静止画を抽出する対象となる動画が選択されると開始される処理である。静止画抽出処理では、図４に示すように、まず、登録された抽出条件のうちの１つ目の抽出条件を選択する（Ｓ３０５）。

そして、ｎ＝０番目のフレーム、つまり動画を構成する最初のフレームを選択する（Ｓ３１０）。続いて、選択された抽出条件が何れの条件であるかを判定する（Ｓ３１５）。
抽出条件が使用者のお気に入りの表情（好表情）の静止画を抽出する旨であれば（Ｓ３１５：好表情）、選択中のフレーム中の顔部分を周知の画像処理によって抽出し（Ｓ３５５）、登録された比較用写真と比較し（Ｓ３６０）、また、顔の角度（基準方向（正面など）に対する角度）を演算する（Ｓ３６５）。

そして、比較用写真との表情の一致度と角度の一致度とを点数化し、一致度の点数を算出する（Ｓ３７０）。ここで、顔の角度については、周知の画像処理技術を用いて顔のパーツの位置を特定することで検出することができる。

続いて、比較用写真とフレーム中の写真とが概ね同表情であり、顔の向きも指定通りと認定できる程度の点数に設定された閾値と一致度の点数とを比較する（Ｓ３７５）。一致度の点数が閾値以上であれば（Ｓ３７５：ＹＥＳ）、後述するＳ５５５の処理に移行する。また、一致度の点数が閾値未満であれば（Ｓ３７５：ＮＯ）、後述するＳ５６０の処理に移行する。

次に、Ｓ３１５の処理にて、抽出条件が動画中に含まれる物体の衝突を抽出する旨であれば（Ｓ３１５：衝突）、フレーム中から移動物体（および静止物体）を抽出する（Ｓ４０５）。この処理では、選択中のフレームに含まれる物体を抽出し、既に選択されたフレームにおけるこの物体の位置を検出することで、この物体が移動する移動物体であるか否かを判定する。したがって、動画の開始直後のフレームでは、移動物体は抽出されない。

続いて、移動物体の変形が開始したか否かを判定する（Ｓ４１０）。ここで、移動物体の変形とは、移動物体が他の物体（他の移動物体または静止物体）と衝突することによる変形を意味し、移動物体を見る方向が変わることによる変形等、衝突によらない変形は除外する。

すなわち、本処理では、移動物体と他の物体との位置関係、および移動物体の形状を複数フレームに跨って監視することで、衝突による変形があったか否かが判定される。なお、Ｓ４０５の処理にて移動物体が抽出されていない場合には、移動物体抽出後の各判定において否定判定される。

移動物体の変形が開始していなければ（Ｓ４１０：ＮＯ）、後述するＳ４２０の処理に移行する。また、移動物体の変形が開始していれば（Ｓ４１０：ＹＥＳ）、変形の開始が検出された直前のフレームを衝突時のフレームに設定する（Ｓ４１５）。このようにするのは、実際に衝突が検出されたフレームは衝突後のフレームであり、この直前のフレームが衝突時のフレームであると推定できるからである（後述するＳ４２５，Ｓ４６５の処理でも同様）。

続いて、この移動物体について、衝突による変形量を過去のフレームと比較し、今回のフレームにおいて変形量が減少し始めたか否かを判定する（Ｓ４２０）。つまり、衝突により変形を開始し、その後、変形量が最大となり、さらにその後、変形が復元しようとしたか否かを判定する。

変形量が減少し始めていなければ（Ｓ４２０：ＮＯ）、後述するＳ５５５の処理に移行する。また、変形量が減少し始めていれば（Ｓ４２０：ＹＥＳ）、変形量の減少の開始が検出されたフレームの直前のフレームを変形量最大のフレームに設定する（Ｓ４２５）。

次に、Ｓ３１５の処理にて、抽出条件が動画中に含まれる物体が最高到達点に到達した瞬間を抽出する旨であれば（Ｓ３１５：最高到達点）、Ｓ４０５の処理と同様に、移動物体（および静止物体）を抽出し（Ｓ４５５）、移動物体が下降を開始したか否かを判定する（Ｓ４６０）。この処理では、移動物体がジャンプしている場合のように、上方に移動後、一瞬静止し、下降に転じる瞬間のフレームであるか否かを判定する。詳細には、過去のフレームにおいて移動物体の挙動を検出し、この移動物体が上方に移動する状態から下方への移動を開始したことを検出する。

このフレームにおいて移動物体が下降を開始していなければ（Ｓ４６０：ＮＯ）、後述するＳ５５５の処理に移行する。また、このフレームにおいて移動物体が下降を開始していれば（Ｓ４６０：ＹＥＳ）、移動物体の下降の開始が検出されたフレームの直前のフレームを最大到達点のフレームに設定する（Ｓ４６５）。

Ｓ３１５の処理にて、抽出条件が音を検出した瞬間を抽出する旨であれば（Ｓ３１５：音連動）、このフレームの録画の際に、例えば、衝突音や爆発音等の音波を示すパルス波が集音部２３を介して検出されたか否かを判定する（Ｓ５０５）。パルス波が検出されていなければ（Ｓ５０５：ＮＯ）、Ｓ５５５の処理に移行する。

パルス波が検出されていれば（Ｓ５０５）、このフレーム中に存在する物体のうちの代表的な物体（例えば、フレーム中に占める面積の割合が最大の物体や、速度が変化した移動物体等）までの距離を検出し、設定する。距離を検出する際には、撮像装置１０に備えられた赤外線やレーダ等による検出結果を利用してもよいし、外部の距離測定装置による検出結果を利用してもよい。或いは、撮像装置１０がステレオカメラとして構成されている場合には、画像処理によって物体までの位置を検出してもよいし、撮像装置１０が道路等において固定配置されている場合には、予めフレーム中の物体の位置と距離との関係を撮像装置１０に記録しておき、この情報を利用してもよい。

そして、この距離を音速で除して求めた時間に対応するフレーム分だけ前のフレームを音連動フレームに設定し（Ｓ５２０）、Ｓ５５５の処理に移行する。Ｓ５２０の処理は、音が発生した瞬間を捉えるための構成である。

続いて、上記の処理で何らかの設定されたフレームに、設定の種別に応じたフラグ（静止画として抽出する旨のフラグ）を付す（Ｓ５５５：抽出手段の一例）。例えば、衝突時のフレームに設定されたフレームには、衝突時のフレームである旨のフラグを付す。

そして、現在選択している抽出条件以外に、他の抽出条件が設定されているか否かを判定する（Ｓ５６０）。他の抽出条件が設定されていれば（Ｓ５６０：ＹＥＳ）、未選択の次の抽出条件を選択し（Ｓ５６５）、Ｓ３１５以下の処理を実施する。

また、他の抽出条件が設定されていなければ（Ｓ５６０：ＮＯ）、フレーム番号ｎをインクリメントする（つまり、次のフレームを選択する）（Ｓ５７０）。そして、フレーム番号ｎが動画を構成するフレーム数（ｎｍａｘ）以上であるか否か（つまり、動画の最後のフレームを選択済みか）を判定する（Ｓ５７５）。

フレーム番号ｎが動画を構成するフレーム数未満であれば（Ｓ５７５：ＮＯ）、再度、１つ目の抽出条件を選択し（Ｓ５８０）、Ｓ３１５以下の処理を実施する。また、フレーム番号ｎが動画を構成するフレーム数以上であれば（Ｓ５７５：ＹＥＳ）、除外処理を実施する（Ｓ５８５）。

除外処理では、図５に示すように、ブレが発生したものを除外する旨が設定されているか否かを判定する（Ｓ６０５）。ブレが発生したものを除外する旨が設定されていなければ（Ｓ６０５：ＮＯ）、Ｓ６５５の処理に移行する。また、ブレが発生したものを除外する旨が設定されていれば（Ｓ６０５：ＹＥＳ）、抽出する旨のフラグが立てられたもの（抽出フレーム）のうちの初めのフレーム（例えば最初にフラグが立てられたもの）を選択する（Ｓ６１０）。

そして、選択した抽出フレームのブレの程度を検出する（Ｓ６１５）。ここでブレの程度とは、ピントが合っている程度や、輪郭（エッジ）の明確性等を画像処理によって数値化したものを示す。続いて、この数値が許容範囲内であるか否かを判定する（Ｓ６２０）。

許容範囲内であるか否かについては、数値が所定の閾値（静止画が明確であると多くの人が感じる程度の値）以上であるか否かを判定することによって求めることができる。この数値が許容範囲外（つまり静止画が明確でない場合）であれば（Ｓ６２０：ＹＥＳ）、選択したフレームに立てられた静止画として抽出する旨のフラグを解除することで、抽出対象から除外する（Ｓ６２５：抽出禁止手段の一例）。

また、この数値が許容範囲内であれば（Ｓ６２０：ＮＯ）、選択したフレームに立てられた静止画として抽出する旨のフラグを解除することなく、Ｓ６３０の処理に移行する。続いて、全ての抽出フレーム（抽出する旨のフラグが立てられたフレーム）を選択したか否かを判定する（Ｓ６３０）。

何れかの抽出フレームを選択していなければ（Ｓ６３０：ＮＯ）、次の抽出フレームを選択し（Ｓ６３５）、Ｓ６１５の処理に戻る。また、全ての抽出フレームを選択していれば（Ｓ６３０：ＹＥＳ）、Ｓ６５５の処理に移行する。

次に、重複する静止画を除外する旨が設定されているか否かを判定する（Ｓ６５５）。重複する静止画を除外する旨が設定されていなければ（Ｓ６５５：ＮＯ）、除外処理を終了する。また、重複する静止画を除外する旨が設定されていれば（Ｓ６５５：ＹＥＳ）、抽出フレーム同士を比較し（Ｓ６６０）、全体的に、或いは、物体の後方の背景が類似したもの同士をグループ分けする（Ｓ６６５）。この処理では、フレーム全体の画素（色や輝度）の配置や、背景の画素の配置が一定割合以上一致するフレームを互いに類似するものとして同一グループとして振り分ける。また、類似するフレームのみに類似するフレームについては同一グループとして振り分けてもよい。

そして、同一のグループ中において、点数が付されたもの（Ｓ３７０の処理が実施されたもの）について、グループ中の最高得点以外のフレームに立てられた静止画として抽出する旨のフラグを解除することで、抽出対象から除外し（Ｓ６７５：抽出禁止手段の一例）、除外処理を終了する。

このような除外処理が終了すると、抽出する旨のフラグが立てられたフレームを静止画として抽出し、これらのフレームを静止画記録部１６に記録し（Ｓ５９０：抽出手段の一例）、静止画抽出処理を終了する。

次に、撮像装置１０が写真とともに抽出条件（除外条件含む）をサーバ３０にアップロードする処理について図６を用いて説明する。
アップロード処理は、撮像装置１０が送信モードに設定されると開始され、その後、他のモードに変更されるまでの間、繰り返し実行される処理である。アップロード処理では、まず、図６に示すように、使用者が操作部２１を介して抽出された静止画（写真）を選択したか否かを判定する（Ｓ９０５）。

静止画が選択されていなければ（Ｓ９０５：ＮＯ）、アップロード処理を終了する。また、静止画が選択されていれば（Ｓ９０５：ＹＥＳ）、この静止画を抽出したときの抽出条件（除外条件を含む）をこの静止画に付されたフラグに基づき抽出する（Ｓ９１０）。そして、抽出条件と、静止画のデータとをサーバ３０に送信し（Ｓ９１５：抽出条件送信手段の一例，Ｓ９２０）、アップロード処理を終了する。なお、サーバ３０は、撮像装置１０からアップロードされた静止画と抽出条件とを撮像装置１０を特定する情報とともに抽出条件ＤＢ３１に記録させる。

このようなアップロード処理によれば、サーバ３０に静止画と抽出条件を送信するので、他の使用者は、サーバ３０に記録された静止画を見て、同様の静止画を撮りたいと感じれば、静止画を選択することで、この抽出条件を取得して自身の撮像装置１０に同様の静止画を撮るための抽出条件を設定することができる。

次に、使用者が静止画を抽出するタイミングを任意に選択する場合の処理について、図７を用いて説明する。
手動抽出処理は、上記の説明で述べた抽出条件とは無関係に、使用者が撮像装置１０に対して抽出指令を入力すると、そのタイミングに基づく静止画を抽出する処理である。この手動抽出処理は、撮像装置１０が録画モードまたは再生モードに設定されると開始され、他のモードに変更されるまでの間、繰り返し実行される処理である。

詳細な手動抽出処理では、まず、撮像装置１０が動画を記録中または再生中であるか否かを判定する（Ｓ９５５）。撮像装置１０が動画を記録中または再生中でなければ（Ｓ９５５：ＮＯ）、手動抽出処理を終了する。

また、撮像装置１０が動画を記録中または再生中であれば（Ｓ９５５：ＹＥＳ）、表示部２２に記録中の動画または再生中の動画を表示させる（Ｓ９６０：表示出力手段の一例）。続いて、抽出指令が入力されたか否かを判定する（Ｓ９６５：抽出判定手段の一例）。この処理では、使用者がシャッタを切る操作等の操作部２１を操作する特定の操作を行ったか否かを判定する。

抽出指令が入力されていなければ（Ｓ９６５：ＮＯ）、後述するＳ９７５の処理に移行する。抽出指令が入力されていれば（Ｓ９６５：ＹＥＳ）、この瞬間の数フレーム前（例えば５フレーム前）のフレームを静止画として抽出し、静止画記録部１６に記録させる（Ｓ９７０）。ここで、抽出指令が入力されたときからどれだけ前のフレームを抽出するかについては、使用者が任意に設定できるようにしてもよい。すなわち、使用者が動画を見ながら、「今だ」と思った瞬間の静止画が抽出するために、使用者が「今だ」と思った瞬間から実際に操作部２１が操作されるまでのタイムラグを考慮して、このタイムラグの分だけ遡ったフレームを抽出する。

続いて、録画や再生を終了する旨の指示があったか否かを判定する（Ｓ９７５：抽出判定手段の一例）。録画や再生を終了する旨とは、例えば、使用者が操作部２１を介して停止する旨を入力する場合や、動画の再生が終了した場合等が挙げられる。

終了指示がなければ（Ｓ９７５：ＮＯ）、Ｓ９６０の処理に戻る。終了指示があれば（Ｓ９７５：ＹＥＳ）、手動抽出処理を終了する。
［本実施形態による効果］
以上のように詳述した画像抽出システム１において撮像装置１０のマイクロコンピュータ１１は、撮像装置１０の使用者によって指定された、静止画を抽出する際の抽出条件を条件記録部１５に登録し、前記複数のフレームが条件記録部１５に登録された抽出条件に合致するか否かをフレーム毎に判定する。そして、マイクロコンピュータ１１は、抽出条件に合致すると判定されたフレームを静止画として抽出する。

このような撮像装置１０によれば、使用者が指定した抽出条件に従って動画から静止画を抽出することができる。よって、使用者が求める静止画を抽出することができる。
また、撮像装置１０においてマイクロコンピュータ１１は、撮像装置１０の使用者によって指定された、静止画を抽出しない条件を表す除外条件を条件記録部１５に登録し、前記複数のフレームが条件記録部１５に登録された除外条件に合致するか否かをフレーム毎に判定する。そして、マイクロコンピュータ１１は、抽出条件に合致すると判定されたフレームのうちの除外条件に合致すると判定されたフレームを抽出することを禁止する。

このような撮像装置１０によれば、抽出条件に合致するフレームであっても、除外条件に合致するフレームであれば抽出されないようにすることができるので、不要なフレームが抽出されることを抑制することができる。

また、撮像装置１０においてマイクロコンピュータ１１は、撮像装置１０の外部に位置し、静止画を抽出する際の抽出条件を保持するサーバから抽出条件を取得する。
このような撮像装置１０によれば、好みの静止画を抽出するための条件をサーバから取得することができる。よって、誰でも容易に静止画とする瞬間を設定することができる。

さらに、撮像装置１０においてマイクロコンピュータ１１は、静止画を抽出する際の抽出条件を保持するとともに、外部から抽出条件を受けるとこの抽出条件を保持するサーバに対して条件記録部１５に記録された抽出条件を送信する。

このような撮像装置１０によれば、使用者が設定した抽出条件をサーバに送信するので、この抽出条件を他の撮像装置１０と共有することができる。
また、上記撮像装置１０においてマイクロコンピュータ１１は、除外条件として、類似する静止画の抽出を禁止する旨を登録可能であり、条件記録部１５に、除外条件として類似する静止画の抽出を禁止する旨が登録されている場合に、前記複数のフレームについて類似するフレーム毎にグループ化し、グループ毎に２枚以上のフレームが存在するか否かを判定し、グループ毎に２枚以上のフレームが抽出されることを禁止する。

このような撮像装置１０によれば、類似する静止画を複数枚抽出してしまうことを抑制することができる。よって、抽出した静止画をプリントする場合に、コストの削減をするとともに、プリントする静止画を選別する際の煩雑さを軽減することができる。

また、撮像装置１０においてマイクロコンピュータ１１は、グループ毎に最も抽出条件に合致するフレームを抽出する。
このような撮像装置１０によれば、使用者が希望する最適なフレームのみを抽出することができる。

さらに、上記撮像装置１０においてマイクロコンピュータ１１は、抽出条件として、特定人物の顔写真とともに、この顔写真と類似する顔を含むフレームを抽出する旨を登録可能であり、条件記録部１５に、抽出条件として顔写真と類似する顔を含むフレームを抽出する旨が登録されている場合に、各フレームに含まれる顔が条件記録部１５に記録された顔写真と類似するか否かを判定する。

このような撮像装置１０によれば、抽出しようとする表情の顔写真を登録し、この顔写真と類似する表情の顔を含むフレームを抽出することができる。よって、使用者の好みの顔の表情の静止画を容易に抽出することができる。

また、上記撮像装置１０においては、マイクロコンピュータ１１は、抽出条件として、物体が衝突した瞬間を抽出する旨を登録可能であり、条件記録部１５に、抽出条件として物体が衝突した瞬間を抽出する旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体を追跡することによってこの物体の形状が変化し始めたか否かを判定する。

このような撮像装置１０によれば、動画に含まれる物体が変形を開始した瞬間を衝突の瞬間の静止画として抽出することができる。
さらに、上記撮像装置１０においてマイクロコンピュータ１１は、抽出条件として、物体の変形量が最大のときを抽出する旨を登録可能であり、マイクロコンピュータ１１は、条件記録部１５に、抽出条件として物体の変形量が最大のときを抽出する旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体を追跡することによってこの物体が変形し、変形が停止したか否かを判定する。

このような撮像装置１０によれば、動画に含まれる物体の変形量が最大となった瞬間の静止画を抽出することができる。この構成では、例えば球場においてバッターがホームランを打つ瞬間の写真等のいわゆる決定的な瞬間の写真を動画から容易に抽出することができる。

また、上記撮像装置１０においてマイクロコンピュータ１１は、動画を表示装置に出力する機能を備え、マイクロコンピュータ１１は、動画を表示装置に出力しているときにおいて、使用者によって特定の外部指令が入力されると、この瞬間において出力したフレームよりも、使用者の反応速度に応じた所定フレーム前のフレームを、抽出条件に合致すると判定する。

このような撮像装置１０によれば、使用者が例えば入力ボタンを押す等の特定の外部指令を入力した瞬間の一瞬前のフレームを抽出することができる。
さらに、上記撮像装置１０においてマイクロコンピュータ１１は、抽出条件として、最高到達点に到達した旨を登録可能であり、条件記録部１５に最高到達点に到達した旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体が上方に移動し、その後、停止したか否かを判定する。

このような撮像装置１０によれば、動画に含まれる物体が最高到達点に到達した瞬間の静止画を抽出することができる。よって例えば、動物が最も高くジャンプした瞬間のフレーム等を抽出することができる。

［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

例えば、上記実施形態において、衝突を検出した瞬間やその前後の静止画を抽出するようにしたが、例えば、撮像装置１０が交差点に配置されている場合、衝突の瞬間だけでなく、衝突前に信号機の灯色が変化した瞬間や、移動物体が所定の位置（停止線等）を通過した瞬間の静止画を抽出するようにしてもよい。

また、撮像装置１０はビデオカメラとして構成したが、スピーカやヘッドホン端子等の音声出力手段を備えた携帯電話機として構成されていてもよい。
さらに、上記撮像装置１０においては、移動物体が最高到達点に到達したことを移動物体の移動方向が上方向から下方向に変化したことを検出することによって判断したが、最高到達点に限らず、移動物体の移動方向が任意の方向に変化するときのフレームを抽出するようにしてもよい。例えば、右方向に移動する移動物体が停止、或いは左方向に戻る場合や、下方向に移動する物体が停止、或いは上方向に戻る場合等を検出し、このときのフレームを抽出するようにしてもよい。

さらに、上記の構成では、衝突の瞬間や音が発生した瞬間のフレーム等を抽出するようにしたが、ライトアップや爆発等、色合いや光量が変化した瞬間のフレームを抽出するようにしてもよい。

この場合、例えば、図８に示す変形例の抽出条件設定処理、および図９Ａ及び９Ｂに示す変形例の静止画抽出処理を実施するとよい。変形例の抽出条件設定処理では、図８に示すように、前述のＳ５５〜Ｓ１７０の処理（Ｓ１０１０）の終了後、色合いや光量の変化に対応したフレームを抽出する旨を示す光連動が選択されたか否かを判定する（Ｓ１０２０）。

光連動が選択されていれば（Ｓ１０２０）、光連動に関するフレームを抽出するよう設定し（Ｓ１０３０）、Ｓ１７５の処理に移行する。また、変形例の静止画抽出処理では、図９Ａ及び９Ｂに示すように、Ｓ３１５の処理にて、抽出条件として、図４Ａ、４Ｂ、及び４Ｃにて示した条件が設定されていた場合には（Ｓ３１５：他の条件）、選択された条件に応じて前述のＳ３５５〜Ｓ５５５の処理を実施する（Ｓ１１００）。

抽出条件として光連動が設定されていた場合には（Ｓ３１５：光連動）、現在選択中のフレームおよび直前のフレームの輝度を抽出する（Ｓ１１１０）。なお、ここでいう輝度は、フレーム全体の平均輝度であってもよいし、ある一部分（物体が存在する部位）の輝度であってもよい。

続いて、輝度が増大または減少したか否かを判定する（Ｓ１１２０、Ｓ１１４０）。ここでの判定は、例えば、輝度の変化率が予め設定された基準変化率を超えるか否かによって行う。

輝度が増大していれば（Ｓ１１２０：ＹＥＳ）、現在選択中のフレームを輝度増大時フレームに設定し（Ｓ１１３０）、Ｓ５５５の処理と同様に設定を記録し（Ｓ１１８０）、Ｓ５６０の処理に移行する。また、輝度が減少していれば（Ｓ１１２０：ＮＯ，Ｓ１１４０：ＹＥＳ）、現在選択中のフレームの直前のフレームを輝度減少時フレームに設定し（Ｓ１１５０）、前述のＳ１１８０の処理に移行する。

また、輝度が増大も減少もしてなければ（Ｓ１１２０：ＮＯ、Ｓ１１４０：ＮＯ）、直前のフレームおよび現在選択中のフレームで色バランスが変化したか否かを判定する（Ｓ１１６０）。この処理では、例えば、画像中の輝度が比較的高い領域の色（例えば、ＲＧＢやＬａｂ値等のバランス）が所定値以上に変化したことを検出すればよく、ライトアップに利用される照明の色や信号灯色等が変化したことを捉えられるよう設定される。

色バランスが変化していれば（Ｓ１１６０：ＹＥＳ）、現在選択中のフレームを色変化フレームに設定し（Ｓ１１７０）、前述のＳ１１８０の処理に移行する。色バランスが変化していなければ（Ｓ１１６０：ＮＯ）、直ちにＳ１１８０の処理に移行する。

このようにすれば、色合いや光量が変化した瞬間のフレームを抽出する処理を実現することができる。
ところで、人物を撮像する際には、その人物の事情によって撮像されることを嫌がる場合がある。そこで、人物が撮像されることを嫌がる状況または嫌がる仕草・表情を拒絶指令として検出し、この拒絶指令が検出された場合に、撮像画像中の人物に対して明確に撮像されることを抑制するようにしてもよい。

例えば、撮像中において処理を実施する場合には、拒絶指令が検出されると、人物にピントを合わせるのではなく、人物以外の背景等にピントを合わせるようにしてもよいし、既に撮像した撮像画像を編集する場合には、対象の人物にモザイクやぼかし等の対象の人物が不明確になるような、或いはより美しく見えるような画像処理を施すとよい。

既に撮像した撮像画像を編集する場合であって、対象の人物にモザイクやぼかし等の対象の人物が不明確になるような処理を実施する場合には、例えば、図１０に示す画像修正処理を実施するとよい。詳細には、図１０に示すように、画像の編集時（例えば、動画から静止画を抽出した直後において抽出した静止画に対して）、抽出した対象フレーム（静止画）の前後のフレーム（同じシーンのフレーム）から撮影を拒絶する表情・ポーズがある拒絶フレームを抽出する（Ｓ１２１０）。

例えば、カメラを確認した直後に嫌がる表情（笑顔と同様にこの表情の特徴的パラメータが登録されているものとする。）や、指や腕で×印を作るポーズ等が拒絶する表情・ポーズに該当する。

続いて、化粧をしていない女性、いわゆる「すっぴん」である人物を抽出する（Ｓ１２２０）。この処理では、照明光の反射率や肌部分の部位毎の色の変化程度を検出することで、「すっぴん」であるか否かを判断し、「すっぴん」であるフレームを抽出する。

より詳細には、化粧品には紫外線を反射する成分が含まれているため、化粧をしたときとそうでないときとでは紫外線を反射する程度が異なると推定できる。また、化粧をすると「しみ」や「そばかす」、「ほくろ」等の色合いが変化する部位が隠され、色の変化程度が小さくなる傾向がある。そこで、上記の処理では、化粧をしている場合とそうでない場合との上記のような相違点を検出することで、「すっぴん」のフレームを抽出する。

続いて、選択中のフレームが拒絶フレームまたは「すっぴん」のフレームであるか否かを判定する（Ｓ１２３０，Ｓ１２５０）。選択中のフレームが拒絶フレームや「すっぴん」のフレームであれば（Ｓ１２３０：ＹＥＳ、またはＳ１２４０：ＹＥＳ）、対象フレームに対しの対象物（ここでは人物の顔）をぼかす処理を行う（Ｓ１２４０）。

ここで、選択中のフレームが拒絶フレームである場合には、比較的強めに対象物をぼかし、人物が特定できない程度に画像における隣接する画素との色合い、コントラスト等を小さくする（Ｓ１２４０）。また、選択中のフレームが「すっぴん」のフレームである場合には、比較的弱めに対象物をぼかし、人物は特定できるが細部が目立たない程度に画像における隣接する画素との色合い、コントラスト等を小さくする（Ｓ１２６０）。

このような処理が終了すると、画像修正処理を終了する。
次に、上記実施形態においては、選択された静止画をサーバ３０にアップロードするようにしたが、事故等の静止画を強制的にサーバ３０にアップロードするようにしてもよい。この場合には、例えば、図１１に示すアップロード処理のような処理を実施するとよい。

アップロード処理は、静止画が抽出されるとマイクロコンピュータ１１が実施する処理である。詳細には、図１１に示すように、まず、抽出した静止画を画像解析することで、車両や人物が変形しているか否かを判定する（Ｓ１３１０，Ｓ１３２０）。この処理は、抽出した静止画の前後のフレームを用いて判定してもよい。

車両や人物が変形していなければ（Ｓ１３２０：ＮＯ）、強制アップロード処理を終了する。また、車両や人物が変形していれば（Ｓ１３２０：ＹＥＳ）、この静止画における事故フラグをＯＮに設定し、この静止画を撮像した位置を示す位置情報を取得するとともに、位置情報を静止画に付加し（Ｓ１３４０）、前述のＳ９１０〜Ｓ９２０の処理を実施する。

このようにすれば、車両や人物が関係する事故を撮像できた場合に、直ちにサーバに送ることができる。
また、上記のように複数のフレームから静止画を抽出する際には、記録領域を節約するために、記録を行う際に、何らかのトリガが入力されたときに動画の撮影を開始し、その後、動画の撮影を終了するようにしてもよい。例えば、シャッタ音のようなダミー音を出力し、このときに動画の撮影を開始し、ダミー音を聞いて撮影が終わったものと安心した人物の表情を抽出できた後のタイミングで動画の撮影を終了するようにしてもよい。

具体的には、図８に示す抽出条件設定処理において、Ｓ１０３０の処理の後で、ダミー音に連動したタイミングの静止画を抽出する旨を示すダミー音連動が使用者に選択されているか否かを判定する（Ｓ１０４０）。ダミー音連動に選択されていれば（Ｓ１０４０：ＹＥＳ）、ダミー音連動設定を行い（Ｓ１０５０）、抽出条件設定処理を終了する。また、ダミー音連動が選択されていなければ（Ｓ１０４０：ＮＯ）、抽出条件設定処理を終了する。

また、図１２に示す、ダミー音連動抽出処理を実施する。ダミー音連動抽出処理は、例えば、ダミー音連動設定にされると開始され、その後、ダミー音連動設定が解除されるまで繰り返し実施される処理である。

ダミー音連動抽出処理では、まず、操作部２１(シャッタ)の操作があったか否かを判定する（Ｓ１４１０）。操作部２１の操作がなければ（Ｓ１４１０：ＮＯ）、この処理を繰り返す。また、操作部２１の操作があれば（Ｓ１４１０：ＹＥＳ）、シャッタ音をスピーカ（図示省略）等から出力し（Ｓ１４１５）、動画（複数のフレーム）の記録を開始する（Ｓ１４２０）。

続いて、一定時間が経過したか否かを判定する（Ｓ１４３０）。ここで、一定時間とは、被写体となる人物が、撮影が終了してリラックスする程度の時間を示し、例えば、３秒程度に設定される。

一定時間が経過していなければ（Ｓ１４３０：ＮＯ）、この処理を繰り返す。また、一定時間が経過していれば（Ｓ１４３０）、動画の記録を終了し、ダミー音連動抽出処理を終了する。この処理の終了後に、静止画抽出処理（図４Ａ−４Ｃ、または図９Ａ及び９Ｂ）が実行されることで、最良の静止画が抽出されることになる。

なお、上記のダミー音連動処理では、トリガ（操作部２１の操作）後、直ちに動画の記録を開始するようにしたが、一定時間経過後に動画の記録を開始してもよい。また、動画を記録する際には、例えばＦＩＦＯ方式で、古い動画を上書き記録するようにしてもよい。

特に、古い動画が新しい動画に上書きされる前に、静止画の抽出（静止画抽出処理等）を実施すれば、最適な静止画を保存することができる。
また、上記の構成では、１枚の静止画を抽出したが、上記の処理で抽出しようとするフレーム（静止画）の前後の数フレームを抽出し、これらのフレームから抽出する静止画を使用者に選択させるように構成してもよい。例えば、これらのフレームを通常の動画の再生速度よりも低速度で再生し（つまり、複数の静止画を１枚ずつ数秒毎にゆっくりと順次切り換えて表示し）、シャッタを切る動作が操作部２１を介して入力されたときのフレームを抽出するフレームとして選択してもよい。

具体的には、図１３に示す前後フレーム抽出処理を実施するとよい。前後フレーム抽出処理では、まず、出力された静止画の前後の所定フレームを抽出する（Ｓ１５１０）。
例えば、対象となる静止画の前の連続する数フレームを抽出してもよいし、対象となる静止画の後の連続する数フレームを抽出してもよいし、前および後の数フレームを抽出してもよい。また、連続するフレームを抽出する必要はなく、対象となる静止画の前または後において所定フレーム毎等に抽出するようにしてもよい。

続いて、これらの繰り返しスロー再生する（Ｓ１５２０）。つまり、動画として表示する場合には、３０ｆｐｓであるところ、本処理では、例えば、０．３ｆｐｓ程度の速度で対象となる複数のフレームを順次切り替えながら表示部２２に表示させる。

続いて、使用者にフレームが選択されたか否かを判定する（Ｓ１５３０）。この処理では、例えば操作部２１が操作されると、Ｓ１５２０の処理で再生されているフレームが選択されたものとする。

そして、フレームが選択されていれば（Ｓ１５３０：ＹＥＳ）、選択されたフレームを出力する静止画に設定し、Ｓ１５２０の処理に戻る。また、フレームが選択されていなければ（Ｓ１５３０：ＮＯ）、使用者によって再生の終了が操作部２１を介して選択されたか否かを判定する（Ｓ１５５０）。

終了が選択されていなければ（Ｓ１５５０：ＮＯ）、Ｓ１５２０の処理に戻る。また、終了が選択されていれば（Ｓ１５５０：ＹＥＳ）、出力する静止画として選択された静止画を出力し（Ｓ１５６０）、前後フレーム抽出処理を終了する。なお、出力された静止画は、静止画記録部１６に記録される。

また、上記実施形態では、電源が投入されたときや、使用者による操作がなされたときを基準として動画の記録を開始したが、動画記録部１３の容量を節約するためには、使用者が撮像を行おうとするタイミングを検出し、このときに動画の記録を開始するようにしてもよい。

詳細には、図１４に示す処理を実施するとよい。開始タイミング設定処理は、例えば、撮像装置１０の電源が投入されると開始される処理である。
なお、本実施形態では、撮像部１２において３Ｄ加速度センサやジャイロ等が備えられており、マイクロコンピュータ１１が撮像装置１０の移動の有無を検出できるものとする。また、撮像部１２は、被写体側だけでなく、使用者側（撮像部１２のファインダ側）も撮像範囲内としており、撮像範囲内に使用者の顔が接近してくることを検出することで、使用者がファインダを覗いたことが検出できるよう構成されているものとする。

開始タイミング設定処理では、図１４に示すように、まず、撮像装置１０の移動を検出したか否かを判定する（Ｓ１６１０）。撮像装置１０の移動を検出していなければ（Ｓ１６１０：ＮＯ）、Ｓ１６１０の処理を繰り返す。

また、撮像装置１０の移動を検出していれば（Ｓ１６１０：ＹＥＳ）、この移動が周期的なものであるか（つまり、周期振動であるか）否かを判定する（Ｓ１６２０）。周期振動であれば（Ｓ１６２０：ＹＥＳ）、撮像を開始し（Ｓ１６５０）、開始タイミング設定処理を終了する。

また、周期振動でなければ（Ｓ１６２０：ＮＯ）、撮像装置１０が静止したか否かを判定する（Ｓ１６３０）。撮像装置１０が静止していれば（Ｓ１６３０：ＹＥＳ）、撮像を開始し（Ｓ１６５０）、開始タイミング設定処理を終了する。

撮像装置１０が静止していなければ（Ｓ１６３０：ＮＯ）、ファインダが覗かれたか否かを判定する（Ｓ１６４０）。ファインダが覗かれていなければ（Ｓ１６４０：ＮＯ）、Ｓ１６３０の処理に戻る。また、ファインダが覗かれていれば（Ｓ１６４０：ＹＥＳ）、撮像を開始し（Ｓ１６５０）、開始タイミング設定処理を終了する。

なお、上記実施形態では、マイクロコンピュータ１１に含まれるＲＯＭをメモリ１１１としたが、メモリ１１１は、ハードディスクドライブ、フラッシュメモリ等のＲＡＭ、或いはその他の周知のメモリとして構成してもよい。

これらのような変形例の構成であっても、上記実施形態の構成と同様の効果を享受することができる。

Claims (13)

1. 複数のフレームから特定のフレームを静止画として抽出する静止画抽出装置であって、
   当該静止画抽出装置の使用者によって指定された、静止画を抽出する際の抽出条件を抽出条件記録部に登録する抽出条件登録手段と、
   前記複数のフレームが前記抽出条件記録部に登録された抽出条件に合致するか否かを前記フレーム毎に判定する抽出判定手段と、
   前記抽出条件に合致すると判定されたフレームを静止画として抽出する抽出手段と、
   を備えたことを特徴とする静止画抽出装置。
2. 請求項１に記載の静止画抽出装置において、
   当該静止画抽出装置の使用者によって指定された、静止画を抽出しない条件を表す除外条件を除外条件記録部に登録する除外条件登録手段と、
   前記複数のフレームが前記除外条件記録部に登録された除外条件に合致するか否かを前記フレーム毎に判定する除外判定手段と、
   前記抽出手段が、前記抽出条件に合致すると判定されたフレームのうちの前記除外条件に合致すると判定されたフレームを抽出することを禁止する抽出禁止手段と、
   を備えたことを特徴とする静止画抽出装置。
3. 請求項１または請求項２に記載の静止画抽出装置において、
   当該静止画抽出装置の外部に位置し、静止画を抽出する際の抽出条件を保持するサーバから前記抽出条件を取得する抽出条件取得手段、を備えたこと
   を特徴とする静止画抽出装置。
4. 請求項３に記載の静止画抽出装置において、
   静止画を抽出する際の抽出条件を保持するとともに、外部から抽出条件を受けるとこの抽出条件を保持するサーバに対して前記抽出条件記録部に記録された抽出条件を送信する抽出条件送信手段、を備えたこと
   を特徴とする静止画抽出装置。
5. 請求項２に記載の静止画抽出装置において、
   前記除外条件登録手段は、前記除外条件として、類似する静止画の抽出を禁止する旨を登録可能であり、
   前記除外判定手段は、前記除外条件記録部に、前記除外条件として類似する静止画の抽出を禁止する旨が登録されている場合に、前記前記複数のフレームについて類似するフレーム毎にグループ化し、前記グループ毎に２枚以上のフレームが存在するか否かを判定し、
   前記抽出禁止手段は、前記グループ毎に２枚以上のフレームが抽出されることを禁止すること
   を特徴とする静止画抽出装置。
6. 請求項５に記載の静止画抽出装置において、
   前記抽出手段は、前記グループ毎に最も抽出条件に合致するフレームを抽出すること
   を特徴とする静止画抽出装置。
7. 請求項１〜請求項６の何れか１項に記載の静止画抽出装置において、
   前記抽出条件登録手段は、前記抽出条件として、特定人物の顔写真とともに、この顔写真と類似する顔を含むフレームを抽出する旨を登録可能であり、
   前記抽出判定手段は、前記抽出条件記録部に、前記抽出条件として前記顔写真と類似する顔を含むフレームを抽出する旨が登録されている場合に、各フレームに含まれる顔が前記抽出条件記録部に記録された顔写真と類似するか否かを判定すること
   を特徴とする静止画抽出装置。
8. 請求項１〜請求項７の何れか１項に記載の静止画抽出装置において、
   前記抽出条件登録手段は、前記抽出条件として、物体が衝突した瞬間を抽出する旨を登録可能であり、
   前記抽出判定手段は、前記抽出条件記録部に、前記抽出条件として物体が衝突した瞬間を抽出する旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体を追跡することによってこの物体の形状が変化し始めたか否かを判定すること
   を特徴とする静止画抽出装置。
9. 請求項１〜請求項８の何れか１項に記載の静止画抽出装置において、
   前記抽出条件登録手段は、前記抽出条件として、物体の変形量が最大のときを抽出する旨を登録可能であり、
   前記抽出判定手段は、前記抽出条件記録部に、前記抽出条件として物体の変形量が最大のときを抽出する旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体を追跡することによってこの物体が変形し、変形が停止したか否かを判定すること
   を特徴とする静止画抽出装置。
10. 請求項１〜請求項９の何れか１項に記載の静止画抽出装置において、
    前記複数のフレームを順次表示装置に出力する表示出力手段と、
    使用者による特定の外部指令を入力するための外部指令入力手段と、
    を備え、
    前記抽出判定手段は、前記表示出力手段が前記複数のフレームを順次出力しているときにおいて、前記外部指令入力手段を介して特定の外部指令が入力されると、この瞬間において前記表示出力手段が出力したフレームよりも、使用者の反応速度に応じた所定フレーム前のフレームを、抽出条件に合致すると判定すること
    を特徴とする静止画抽出装置。
11. 請求項１〜請求項１０の何れか１項に記載の静止画抽出装置において、
    前記抽出条件登録手段は、前記抽出条件として、最高到達点に到達した旨を登録可能であり、
    前記抽出判定手段は、前記抽出条件記録部に最高到達点に到達した旨が登録されている場合に、各フレームを時系列に従って連続的に比較することによって、各フレーム内に存在する物体の移動を検出し、この物体が上方に移動し、その後、停止したか否かを判定すること
    を特徴とする静止画抽出装置。
12. 請求項１〜請求項１１の何れか１項に記載の静止画抽出装置において、
    前記抽出手段は、
    前記抽出条件に合致すると判定されたフレームを表す合致フレームを抽出する合致フレーム抽出手段と、
    前記合致フレームの直前または直後に撮像された所定数のフレームを表す前後フレームを抽出する前後フレーム抽出手段と、
    前記合致フレームおよび前記前後フレームのうちの使用者から選択されたフレームを前記静止画として抽出する選択抽出手段と、
    を備えたことを特徴とする静止画抽出装置。
13. コンピュータを請求項１〜請求項１２の何れか１項に記載の静止画抽出装置を構成する各手段として機能させるための静止画抽出プログラム。

Images