JP6676873B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来から、一連のスイング動作をしている被写体を撮影した動画像のデータから、インパクト時の画像を特定する装置が知られている（特許文献１参照）。
具体的には、特許文献１に記載の装置は、動画像のデータをエンドレスにリングバッファに記憶しつつ、ドップラセンサによりボール速度を測定し、ボール速度の測定に掛かった処理時間に基づいて、インパクト時のフレーム画像データを特定する。

特開２０１１−３０６６９号公報

しかしながら、特許文献１に記載の装置では、動画像のデータから一連のスイング動作中の所定の時点を特定するためには、ドップラセンサのような特殊なデバイスが必要であった。

本発明は、このような状況に鑑みてなされたものであり、特殊なデバイスを使用しなくても所望の時点を特定できることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の画像で共通する所定の領域内での、当該複数の画像の画素値の変動値を算出する第１の算出手段と、
前記第１の算出手段により算出された画素値の変動値が所定の閾値以上となる複数の区間各々における前記画素値の変動値から、前記複数の区間の各積算値を算出する第２の算出手段と、
前記第２の算出手段により算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により２つの時点を特定する第１の特定手段と、
を備えることを特徴とする。

本発明によれば、特殊なデバイスを使用しなくても所望の時点を特定できる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態における被写体の動作の特定手法を説明するための模式図である。 スタート位置付近からインパクト位置付近の評価値の時系列における遷移を示すグラフである。 図１の撮像装置の機能的構成のうち、動画像撮影処理及びスイング動画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図４の機能的構成を有する図１の撮像装置が実行する動画像撮影処理の流れを説明するフローチャートである。 図４の機能的構成を有する図１の撮像装置が実行するスイング動画像生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１においては、被写体の動作（本実施形態においては、ゴルフのスイング）が含まれる動画を解析して、所定の動作の期間（本実施形態においては、スイングのスタート位置からインパクト位置までの期間）からなる動画（本実施形態においては、スイング動画）を生成することができる機能を有する。

図２は、本実施形態における被写体の動作の特定手法を説明するための模式図である。なお、図２（ａ）は、スイングを行う被写体を正面から撮影した場合を説明するための図であり、図２（ａ）は、スイングを行う被写体を後方から撮影した場合を説明するための図である。

本実施形態においては、図２（ａ）及び図２（ｂ）に示すように、スイングのスタート後と、インパクト前にゴルフクラブ（詳細には、ゴルフクラブのヘッド）が通過する位置に、動画像データにおけるゴルフのスイングのスタート直後の時点とインパクト直前の時点を特定するための領域（以下、「特定エリア」という。）Ｈ１，Ｈ２が設けられる。
ゴルフのスイングにおいては、スイングのスタート位置（アドレス位置）に対応する時点からインパクト位置に対応する時点までの期間は、スイングが往復運動となることを考慮して、処理の対象となる動画像データのフレーム中におけるスタート位置からインパクト位置の間に特定エリアＨ１，Ｈ２を設定することで、各特定エリアＨ１，Ｈ２でゴルフクラブのスイングのスタート直後とインパクトの直前の計２回の特定機会を得ることができ、インパクト時点のみの１回を特定する技術に比べて誤特定を低減することができる。

ここで、ゴルフクラブが特定のエリアに存在するフレーム画像データの特定処理について説明する。
特定エリアにゴルフクラブが存在するフレーム画像データの特定は、動画像データを構成する複数のフレーム画像データの間で隣接するフレーム画像データ間を比較し、ゴルフクラブが特定のエリアに存在しない状態のフレーム画像データとゴルフクラブが特定のエリアに存在する状態のフレーム画像データとの画素値の変化を特定することにより行う。
即ち、隣接するフレーム画像データにおける各特定エリア間の各画素値の差分値の総計が閾値以上であった場合に、当該総計が閾値以上となった時点に対応するフレーム画像データの特定エリアにゴルフクラブが存在するものと推定できる。詳細には、本実施形態においては、特定エリアにおける輝度値である画素値の差分値である差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）（以下、「評価値」という。）が閾値以上であった場合に、当該評価値が閾値以上になった時点に対応するフレーム画像データを、ゴルフクラブが特定エリアに存在するフレーム画像データの候補として推定する。
なお、閾値は、本実施形態においては、特定エリアにゴルフクラブが存在しない状態で算出された差分値を所定の期間で算出した平均値から決定される。

図３は、スタート位置付近からインパクト位置付近の評価値の時系列における遷移を示すグラフである。

一般的に、撮影範囲のスタート位置からインパクト位置の間に特定エリアが設けられた場合、ゴルフスイングのスタート位置付近からインパクト位置付近では、図３に示すように、画像に発生するノイズのため、隣接するフレーム画像データ間における評価値が閾値以上となった時点から閾値未満になる直前の時点までの期間（以下、「区間」という。）が複数存在する。

特定エリアは、本実施形態においては、スイングのスタート位置付近からインパクト位置付近の間に設定されているために、複数の区間から特定された２つの区間は、それぞれスタート位置の直後の区間とインパクト位置の直前の区間であることを示す。したがって、スタート位置付近に対応するフレーム画像データとインパクト位置付近に対応するフレーム画像データとの間のフレーム画像データ群に、特定された２つの区間のうち、前の区間を代表する時点（例えば、前の区間での最も評価値が高い時点）の所定時間前から、後の区間を代表する時点（前の区間での最も評価値が高い時点）から所定時間を経過までフレーム画像データ群を所望の動画像データとして抽出することで、スタート位置とインパクト位置とに各々対応するフレーム画像データが所望の動画像データに含まれることになる。
また、スタート位置の直後の区間を代表する時点とインパクト位置の直前を代表する時点は、各々の区間で評価値が最も高い時点に限らず、各々の区間における中央の時点としても良いし、各区間を構成する前後の端の何れかの時点でも良い。

より詳細には、本実施形態のスタート位置付近の時点とインパクト位置付近の時点の特定のために、閾値以上となった時点から閾値未満になる直前の時点までの区間における評価値を積算して、区間の面積に相当する積算値を算出する。そして、複数の区間における積算値が１、２番目であり、幅が所定の範囲内であり、かつ、積算値が所定の範囲以内に収まっている区間を特定し、さらに、積算値が１、２番目の区間を代表する時点の間の期間（例えば、１番目の区間における評価値が最も高い時点から２番目の区間における評価値が最も高い時点までの期間）が所定の期間内のものである場合に、特定された２つの区間のうち、１番目の区間における評価値が最も高い時点に対応するフレーム画像データをスタート位置直後の時点に対応するフレーム画像データに決定し、２番目の区間における評価値が最も高い時点に対応するフレーム画像データをインパクト位置直前のフレーム画像データに決定する。

このように本実施形態においては、スタート位置直後のフレーム画像データとインパクト位置直前のフレーム画像データとを基準として、スタート位置直後のフレーム画像データの所定時間前のフレーム画像データから、インパクト位置直前のフレーム画像データ所定時間後までのフレーム画像データを抽出することで、動画像データを生成する。その結果、スタート位置からインパクト位置までのスイングを撮影したスイング動画データが生成されることになる。

なお、本実施形態においては、スイング動画像データの抽出対象の動画像データに対して数フレームずつデコード処理を行いながら、都度、スタート位置直後及びインパクト位置直前に対応する各時点の特定の処理を行っていく。
以下、デコード処理がなされた動画像データのフレーム画像をデコード画像とも呼ぶ。

図４は、このような撮像装置１の機能的構成のうち、動画像撮影処理及びスイング動画像生成処理を実行するための機能的構成を示す機能ブロック図である。
「動画像撮影処理」とは、スイング動画像生成処理によるスイング動画像データの抽出対象となる動画像データを撮影する一連の処理である。
「スイング動画像生成処理」とは、動画解析の結果、特定されたスイングのスタート位置付近の時点とインパクト位置付近の時点とに各々対応するデコード画像を基準として動画像データを抽出して、スタート位置に対応する時点とインパクト位置に対応する時点のフレーム画像データとを各々含むスイング動画像データを生成する一連の処理である。
撮像装置１では、まず、動画像撮影処理により、スイング動画像データの抽出対象となる動画像データを撮影し、次いで、スイング動画像生成処理を実行して抽出対象の動画像データからスイング動画像データを生成する。

動画像撮影処理を実行する場合には、図４に示すように、ＣＰＵ１１において、出力制御部５１と、撮像制御部５２と、動画像取得部５３と、が機能する。

また、記憶部１９の一領域には、動画像記憶部７１と、解析情報記憶部７２が設定される。
動画像記憶部７１には、撮像部１６から取得した動画像データが記憶される。
解析情報記憶部７２には、スイング動画の生成に好適な動画を撮影するために、撮影時に被写体の位置合わせの目安となるガイド（以下、「撮影ガイド」という。）やスタート位置やインパクト位置の時点の候補の特定で用いる後述する積算値・後述するピーク評価値・後述する区間の時間帯の情報が記憶される。ここで、撮影ガイドは、例えば、図２に示すような半透明なスタート位置での姿勢を模した人型Ｆ１，Ｆ２と、特定エリアＨ１，Ｈ２がライブビュー画像上に表示される。
なお、撮影ガイドは、特定エリアを表示せずに、人型のみを表示するようにしても良いし、特定エリアのみを表示するように構成してもよい。

出力制御部５１は、ライブビュー画像と共に、ライブビュー画像上に解析情報記憶部７２に記憶される撮影ガイド（図２を参照）を表示させるように出力部１８を制御する。その結果、出力部１８には、ライブビュー画像と、当該ライブビュー画像上に撮影ガイドが表示され、ユーザは、当該ライブビュー画像に映し出されている被写体を撮影ガイドの人型に一致させる位置となるように撮影位置を決定する。

撮像制御部５２は、撮像処理を行うように撮像部１６を制御する。撮像処理の結果、撮像部１６からフレーム画像データが順次出力されて、出力された複数のフレーム画像データを所定の圧縮処理により動画像データにさせることで１つの動画像データが出力される。

動画像取得部５３は、撮像部１６から出力される動画を取得する。取得した動画像データは、動画像記憶部７１に記憶される。

スイング動画像生成処理を実行する場合には、図４に示すように、ＣＰＵ１１において、動画像取得部５３と、特定エリア設定部５４と、デコード処理部５５と、算出処理部５６と、特定エリア解析部５７と、動画像生成部５８と、が機能する。

また、記憶部１９の一領域には、動画像記憶部７１と、解析情報記憶部７２が設定される。
動画像記憶部７１には、生成されたスイング動画像データが記憶される。
解析情報記憶部７２には、例えば、特定エリアに関する情報（以下、「特定エリア情報」という。）や算出した積算値等の動画像データの解析に係る情報が記憶される。特定エリアに関する情報は、動画像データにおける特定エリアの設定位置や撮影シーンである特定の撮影シーンにおける撮像条件を設定するためのＢＳ（ベストショット）シーン、スイング動画データの生成対象である人物が左利きの場合に対応したレフティ設定、動画の撮影方向（縦撮り・横撮り）を示す動画の回転角度に応じて変化する特定エリアの位置や形状に関する情報である。

動画像取得部５３は、動画像記憶部７１からスイング動画の生成に用いる動画像データを取得する。

特定エリア設定部５４は、解析情報記憶部７２に記憶される特定エリア情報に基づいて、動画像取得部５３により取得された動画像データの各フレームに対応するデコード画像の所定位置（正面撮影の場合には、図２（ａ）に示すように、アドレス姿勢の被写体のテイクバック方向側の側方位置）に特定エリアを設定する。また、特定エリア設定部５４は、ＢＳシーンが設定されていたり、レフティ設定がされていたり、縦撮り・横撮りの動画の回転角度に応じて、解析情報記憶部７２に記憶される特定エリア情報に基づいて、特定エリアの位置や形状を変更して特定エリアを設定する。

デコード処理部５５は、解析対象となる動画像データのフレームをデコードしてデコード画像を出力する。
具体的には、デコード処理部５５は、閾値を算出するために、解析対象の動画像データの先頭部分（スイングを行っておらず、特定エリアにゴルフクラブ等がない状態を撮影した部分）の所定期間のフレーム（本実施形態においては、５フレーム分）をデコード処理してデコード画像を出力する。
また、デコード処理部５５は、スタート位置付近とインパクト位置付近に各々対応する時点の特定をするために、特定エリアにおけるノイズを判定するための閾値の計算のために使用したフレーム以外の全てのフレームをデコード処理の対象とし、処理の都度デコードを行う。

算出処理部５６は、隣接するデコード画像データにおける各特定エリア間の各画素値との差分二乗和を評価値として算出する。
具体的には、算出処理部５６は、所定の期間（本実施形態においては、５フレーム分）で隣接するデコード画像データにおける特定エリア間の輝度値の差分二乗和の各々の代表値（例えば、平均値、中央値等）を計算する。算出された代表値は、特定エリアにおけるノイズを判定するための閾値となる。計算された閾値は、解析情報記憶部７２に記憶される。
また、算出処理部５６は、隣接するデコード画像データ（直近にデコードされたデコード画像データと当該直近のデコード画像データより一つ前にデコードされたデコード画像データ）における各特定エリア間の各画素値の差分二乗和を算出することで、評価値を算出する。そして、特定エリア解析部５７は、閾値と算出した評価値を比較し、評価値が閾値以上である場合には、直近のデコード画像の評価値を、一つ前のデコード画像の評価値に積算し積算値を算出する。

特定エリア解析部５７は、スイングのスタート直後の時点（以下、「第１の基準時点」という。）とスイングのインパクトの直前の時点（以下、「第２の基準時点」という。）の候補を特定して取得する。詳細には、特定エリア解析部５７は、評価値が閾値以上となった時点から閾値未満になる直前の時点までの区間の積算値が一定値以上であり、区間の幅が所定の範囲内であり、当該区間における積算値が所定の範囲以内である区間を２つ特定する。このように処理することにより、図３に示すような閾値を短期間超えて評価値が低い区間、閾値を短期間超えて評価値が高い区間（短期間で急峻な区間）、長期間評価値が低い区間が特定対象から外されることになる。
そして、特定エリア解析部５７は、特定した２つの区間に各々属する値の最も高い評価値（以下、「ピーク評価値」という。）の期間（又はピーク評価値が属する積算値の評価値が閾値以上となった時点から閾値未満になる直前の時点までの期間）が所定の期間内にあるか否かを判定して第１の基準時点及び第２の基準時点の特定を行ってゆき、条件に合う２つのピーク評価値に対応する各時点を第１の基準時点及び第２の基準時点の候補として、解析情報記憶部７２に記憶させる。（即ち、特定における第１の基準時点及び第２の基準時点の候補の条件とは、１：各区間の積算値が一定値以上であり、２：各区間の幅が所定の範囲内であり、３：各区間の積算値が所定の範囲内であること、４：各区間のピーク評価値に対応する時点間の幅が所定の期間内であることの４つの条件が必要となる。）
この際、候補の条件に合う２つのピーク評価値でない場合には、当該２つのピーク評価値に対応する各時点を第１の基準時点及び第２の基準時点の候補とはしない。即ち、暫定の積算値の上位１位と２位について候補の特定を行った結果、候補の条件に合う２つのピーク評価値を含まない場合には、次の順位の３位と４位について候補の特定を行う。
また、本実施形態においては、バッファリングとソーティングをし、処理毎に順次候補を差し替えていくため、特定エリア解析部５７は、候補選択に関係するデータ（積算値・ピーク評価値、区間の時間帯）以外のデータは保持せずに順次候補のデータの記憶・更新を行うことになる。

動画像生成部５８は、特定された第１の基準時点及び第２の基準時点間のフレーム画像データに各々数フレーム分のマージンを設けて（第１の基準時点の場合、当該第１の基準時点より数フレーム前のフレームから当該第１の基準時点の直前のフレームまでをマージンとし、第２の基準時点の場合、当該第２の基準時点より一つ後のフレームから当該第１２の基準時点の数フレーム後までのフレームをマージンとする）スイング動画データを生成する。その結果、スタート位置の時点のフレーム画像データからインパクト位置の時点のフレーム画像データが含まれるスイング動画像データが生成される。

図５は、図４の機能的構成を有する図１の撮像装置１が実行する動画像撮影処理の流れを説明するフローチャートである。
動画像撮影処理は、ユーザによる入力部１７への動画像撮影処理開始の操作により開始される。

ステップＳ１１において、ライブビュー画像と共に、当該ライブビュー画像上に解析情報記憶部７２に記憶される撮影ガイドを表示するように出力部１８を制御する。その結果、出力部１８には、ライブビュー画像と、当該ライブビュー画像上に図２に示すような撮影ガイドが表示される。ユーザは、当該ライブビュー画像に映し出されている被写体を撮影ガイドの人型に一致させる位置となるように撮影位置を決定する。

ステップＳ１２において、撮像制御部５２は、ユーザにより入力部１７に対して、撮像操作があったか否かを判定する。
撮像操作がない場合には、ステップＳ１２においてＮＯと判定されて、待機状態となる。
撮像操作があった場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、撮像制御部５２は、撮像処理を行うように撮像部１６を制御する。撮像処理の結果、撮像部１６からフレーム画像データが順次出力されて、出力された複数のフレーム画像データを所定の圧縮形式で圧縮させることで１つの動画像データが出力される。

ステップＳ１４において、動画像取得部５３は、撮像部１６から出力される動画像データを取得する。取得した動画像データは、動画像記憶部７１に記憶される。
その後、動画像撮影処理は終了する。

図６は、図４の機能的構成を有する図１の撮像装置１が実行するスイング動画像生成処理の流れを説明するフローチャートである。
スイング動画像生成処理は、ユーザによる入力部１７へのスイング動画像生成処理開始の操作により開始される。

ステップＳ３１において、動画像記憶部７１からスイング動画データの生成に用いる動画像データを取得する。

ステップＳ３２において、特定エリア設定部５４は、解析情報記憶部７２に記憶される特定エリア情報に基づいて、動画像取得部５３により取得された動画の所定位置に特定エリアを設定する。この際、特定エリア設定部５４は、ＢＳシーンが設定されていたり、レフティ設定がされていたり、縦撮り・横撮りで撮像された動画像データの回転角度に応じて、解析情報記憶部７２に記憶される特定エリア情報に基づいて、特定エリアの位置や形状を変更して特定エリアを設定する。

ステップＳ３３において、デコード処理部５５は、閾値を計算するための解析対象の動画像データの所定期間におけるフレームをデコードの対象として動画デコード処理を実行する。

ステップＳ３４において、算出処理部５６は、所定の期間（本実施形態においては、５フレーム分）で隣接するデコード画像データにおける特定エリア間の輝度値の差分二乗和の各々における代表値を閾値として計算する。詳細には、所定の期間（本実施形態においては、５フレーム分）の期間で隣接するデコード画像データにおける特定エリア間の差分二乗和の代表値（例えば、平均値、中央値等）を当該特定エリアの閾値として算出する。計算された閾値は、解析情報記憶部７２に記憶される。

ステップＳ３５において、デコード処理部５５は、第１の基準時点及び第２の基準時点の特定のための解析対象となるフレーム画像データをデコードの対象として動画デコード処理を実行する。
具体的には、デコード処理部５５は、特定エリア内の画像のノイズを考慮した閾値を算出するために、動画の先頭部分（スイングを行っておらず、特定エリアにゴルフクラブ等が存在しない状態を撮影した部分）の所定期間のフレーム画像データをデコードしてデコード画像を出力することになる。

ステップＳ３６において、算出処理部５６は、デコード処理がされた隣接するデコード画像データ（直近のデコード画像データと当該直近のデコード画像データより一つ前にデコードされたデコード画像データ）における特定エリア間の差分二乗和を評価値として算出する。

ステップＳ３７において、特定エリア解析部５７は、解析情報記憶部７２に記憶された閾値よりも評価値が大きいか否かを判定する。
評価値が閾値より小さい場合には、ステップＳ３７においてＮＯと判定されて、処理はステップＳ３９に進む。ステップＳ３９以降の処理は後述する。
評価値が閾値より大きい場合には、ステップＳ３７においてＹＥＳと判定されて、処理はステップＳ３８に進む。

ステップＳ３８において、算出処理部５６は、評価値を積算する。詳細には、算出処理部５６は、隣接するデコード画像データにおける各特定エリア間の各画素値の差分二乗和を算出することで、評価値を算出する。その後、処理はステップＳ４１に進む。ステップＳ４１以降の処理は後述する。

ステップＳ３９において、算出処理部５６は、評価値が積算されているか否かを判定する。
評価値が積算されていない場合には、ステップＳ３９においてＮＯと判定されて、処理はステップＳ４１に進む。
評価値が積算されている場合には、ステップＳ３９においてＹＥＳと判定されて、処理はステップＳ４０に進む。

ステップＳ４０において、特定エリア解析部５７は、バッファリング処理とソーティング処理を行い、第１の基準時点及び第２の基準時点の候補に対応するピーク評価値を特定して取得する。そして、候補の条件と合致した場合には、解析情報記憶部７２に当該ピーク評価値・当該ピーク評価値が特定された積算値・当該ピーク評価値が算出された区間の時間帯を記憶させる。
第１の基準時点及び第２の基準時点におけるフレーム画像データの候補の特定は、積算値が一定値以上であり、幅が所定の範囲内であり、かつ積算値が所定の範囲以内である区間を２つ特定し、当該特定した２つの区間に属するピーク評価値が所定の期間内にあるか否を判定してゆき、候補の条件に合う２つのピーク評価値に対応する各時点を第１の基準時点及び第２の基準時点の候補として、解析情報記憶部７２に記憶させる。この際、候補の条件に合う２つのピーク評価値でない場合には、スイング動画像データの抽出のための第１の基準時点及び第２の基準時点の候補としない。即ち、暫定の積算値の上位１位と２位について候補の特定を行った結果、候補の条件に合う２つのピーク評価値を含まない場合には、次の順位の３位と４位について候補の特定を行う。また、第１の基準時点及び第２の基準時点の候補が既にある場合には、さらに条件に合う各基準時点の候補の特定を行う。
即ち、ステップＳ４０において第１の基準時点及び第２の基準時点の候補が発見できなかった場合には、再度、ステップＳ３５から動画デコード処理を進め、ピーク候補となる点以外の評価値の情報を破棄しつつ、新たにデコードしたフレーム間（新たなデコード画像間）の評価値の積算値をストックしていくことで、新たにステップＳ４０において第１の基準時点及び第２の基準時点の候補を特定していく処理を行うことになる。そして、順次、積算が行われた区間の積算値が一定値以上であり、幅が所定の範囲内であり、かつ積算値が所定の範囲内となる区間に属するピーク評価値の間隔が所定の期間に収まっている２つの時点を第１の基準時点及び第２の基準時点の候補として、当該第１の基準時点及び第２の基準時点の候補を特定する情報（ピーク評価値・積算値・区間の時間帯）を一時記憶・順次更新させる処理が行われる。最終的に、全てのデコード画像の解析が終了したときに記憶されている２つの時点が第１の基準時点及び第２の基準時点となる。

ステップＳ４１において、特定エリア解析部５７は、全てのデコード画像の解析が終了したか否かを判定する。
全てのデコード画像の解析が終了してない場合には、ステップＳ４１においてＮＯと判定されて、処理はステップＳ３５に戻る。
全てのデコード画像の解析が終了している場合には、ステップＳ４１においてＹＥＳと判定されて、処理はステップＳ４２に進む。

ステップＳ４０で条件の判定を行って候補を決めて、ステップＳ４２において、特定エリア解析部５７は、第１の基準時点及び第２の基準時点の候補があるか否かを判定する。
候補がない場合には、ステップＳ４２においてＮＯと判定されて、スイング動画像生成処理を終了する。即ち、候補がなく第１の基準時点及び第２の基準時点が特定できないためスイング動画像の生成を行わない。
候補がある場合には、ステップＳ４２においてＹＥＳと判定されて、処理はステップＳ４３に進む。

ステップＳ４３において、動画像生成部５８は、動画像取得部５３により取得された動画像データから、特定された第１の基準時点及び第２の基準時点の前後数フレーム分のマージンを設けてフレーム画像データを抽出することにより、スイング動画データを生成する。その結果、スイングのスタートの時点から、インパクトの時点までのスイング動画データが生成される。
その後、スイング動画像生成処理は終了する。

＜変形例＞
上述した実施形態では、第１の基準時点及び第２の基準時点の候補の取得を、デコードと評価値の算出とを逐次行ってバッファリングを行うように構成したが、本例では、全てのデコード画像から算出した動画像データ全ての評価値に対してソーティング処理を行うように構成する。その際、まず、ピーク評価値が高い２つの積算値（上位２位のピーク評価値の属する積算値）を候補の特定対象とし、当該上位２位のピーク評価値の属する積算値が候補の条件に合わない場合には、次にピーク評価値が高い２つの積算値（上位３位４位のピーク評価値の属する積算値）を候補の特定対象とするように構成する。
なお、上位２位のピーク評価値の属する積算値が候補の条件に合わない場合、上位３位４位のピーク評価値の属する積算値を次の候補の特定対象とするように構成したが、順次順位を下げて２位のピーク評価値の属する積算値と３位のピーク評価値の属する積算値を次の候補の特定対象とするように構成してもよいし、１つのピーク評価値の属する積算値に対して、他の全ての積算値を候補の特定対象とし、条件に合わなければ次の順位で候補の特定を行うように構成してもよい。

以上のように構成される撮像装置１は、動画像取得部５３と、算出処理部５６と、特定エリア解析部５７と、を備える。
動画像取得部５３は、連続して撮像された複数の画像を取得する。
算出処理部５６は、動画像取得部５３により取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する。
特定エリア解析部５７は、算出処理部５６により算出された画素値の変動値に基づいて、時系列中の複数の時点から、所定の基準により２つの時点を特定する。
これにより、撮像装置１においては、特殊なデバイスを使用しなくても所望の時点を特定できる。

特定エリア解析部５７は、算出処理部５６により算出された画素値の変動値に基づいて、時系列に沿った画素値の変動値が所定の閾値以上となる複数の区間を複数の時点として特定する。
算出処理部５６は、特定エリア解析部５７により特定された複数の区間の各評価値を算出する。
また、特定エリア解析部５７は、算出処理部５６により算出された複数の区間の各評価値に基づいて、当該複数の区間から２つの区間を選択する。
また、特定エリア解析部５７は、特定エリア解析部５７により選択された２つの区間に各々対応する２つの時点を特定する。
これにより、撮像装置１においては、画像解析を行うだけで、特殊なデバイスを使用しなくても所望の時点を特定することができる。

特定エリア解析部５７は、複数の区間の評価値が所定の順に高い２つの区間を選択する。
これにより、撮像装置１においては、高い精度で所望の時点を特定することができる。

特定エリア解析部５７は、複数の区間の評価値から、上位２つの評価値を有する２つの区間を選択する。
これにより、撮像装置１においては、より高い精度で所望の時点を特定することができる。

特定エリア解析部５７は、２つの区間に各々対応する２つの時点間の長さが所定の範囲内に入るか否かを判定して、所定の範囲内に入れば、当該２つの画像間の複数の画像を選択する。
これにより、撮像装置１においては、より高い精度で所望の時点を特定することができる。

また、算出処理部５６は、連続して撮像された複数の画像のうちの一部の区間の所定の領域内の画素値の評価値を所定の閾値として算出する。
これにより、撮像装置１においては、より高い精度で所望の時点を特定することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、スタート／インパクト位置の時点の候補の特定において、積算値を構成する評価値のうち最も値の高い評価値をピーク評価値として判定の対象として、条件に合わない場合には、次の積算値について、スタート／インパクト位置の時点の候補の特定をするように構成していたが、最も値の高い評価値で条件に合わなかった場合、次に高い値をピーク評価値として判定の対象として再度特定を行うように構成してもよい。

また、上述の実施形態では、全てのデコード画像の解析を行って、スタート／インパクト位置を特定するように構成したが、条件を満たしたピークがあった場合に、スタート／インパクト位置の特定を終了して、スイング動画の生成を行うように構成してもよい。

また、上述の実施形態では、スタート位置からインパクト位置までのスイング動画を生成するように構成したが、特定した位置（スタート位置・インパクト位置）から予測される動作の時間を加味して、例えば、スタート位置からフィニッシュ位置までのスイング動画やインパクト位置前後のスイング動画等の所定の区間のスイング動画を生成するように構成してもよい。

また、上述の実施形態では、撮影ガイドを目安に撮影した動画を用いて、スイング動画を生成したが、正面や後方から特定エリアが含むように撮影を行った動画を用いてスイング動画を生成するように構成してもよい。

また、上述の実施形態では、ゴルフのスイング動作の特定について説明したが、特定の領域を通過するような所定の動作であれば適用可能である。また、所定の往復動作があるスポーツのスイング、例えば、野球のバッティングの動作、サッカーのキックの動作、剣道の竹刀の動作に特に有効的に機能する。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、スイング動画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する第１の算出手段と、
前記第１の算出手段により算出された画素値の変動値に基づいて、前記時系列中の複数の時点から、所定の基準により２つの時点を特定する第１の特定手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記第１の算出手段により算出された画素値の変動値に基づいて、前記時系列に沿った前記画素値の変動値が所定の閾値以上となる複数の区間を前記複数の時点として特定する第２の特定手段と、
前記第２の特定手段により特定された複数の区間の各代表値を算出する第２の算出手段と、
前記第２の算出手段により算出された複数の区間の各代表値に基づいて、当該複数の区間から２つの区間を選択する選択手段と、
を更に備え、
前記第１の特定手段は、前記選択手段により選択された２つの区間に各々対応する前記２つの時点を特定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記選択手段は、前記複数の区間の代表値が所定の順に高い２つの区間を選択する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記選択手段は、前記複数の区間の代表値から、上位２つの代表値を有する２つの区間を選択する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記選択手段は、前記２つの区間に各々対応する２つの時点間の長さが所定の範囲内に入るか否かを判定して、所定の範囲内に入れば、当該２つの画像間の複数の画像を選択する、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記連続して撮像された複数の画像のうちの一部の区間の前記所定の領域内の画素値の代表値を前記所定の閾値として算出する第３の算出手段を更に備える、
ことを特徴とする付記２乃至５の何れか１つに記載の画像処理装置。
［付記７］
連続して撮像された複数の画像を取得する取得ステップと、
前記取得ステップにより取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する算出ステップと、
前記算出ステップにより算出された画素値の変動値に基づいて、前記時系列中の複数の時点から、所定の基準により２つの時点を特定する特定ステップと、
を含むことを特徴とする画像処理方法。
［付記８］
コンピュータを、
連続して撮像された複数の画像を取得する取得手段、
前記取得手段により取得された複数の画像間で共通する所定の領域内での当該複数の画像の時系列に沿った画素値の変動値を算出する第１の算出手段、
前記第１の算出手段により算出された画素値の変動値に基づいて、前記時系列中の複数の時点から、所定の基準により２つの時点を特定する第１の特定手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・出力制御部，５２・・・撮像制御部，５３・・・動画像取得部，５４・・・特定エリア設定部，５５・・・デコード処理部，５６・・・算出処理部，５７・・・特定エリア解析部，５８・・・動画像生成部，７１・・・動画像記憶部，７２・・・解析情報記憶部

Claims (12)

1. 連続して撮像された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像で共通する所定の領域内での、当該複数の画像の画素値の変動値を算出する第１の算出手段と、
   前記第１の算出手段により算出された画素値の変動値が所定の閾値以上となる複数の区間各々における前記画素値の変動値から、前記複数の区間の各積算値を算出する第２の算出手段と、
   前記第２の算出手段により算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により２つの時点を特定する第１の特定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第２の算出手段により算出された複数の区間の各積算値に基づいて、当該複数の区間から２つの区間を選択する選択手段と、
   を更に備え、
   前記第１の特定手段は、前記選択手段により選択された２つの区間に各々対応する前記２つの時点を特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の特定手段は、前記選択手段により選択された２つの区間の各々から、画素値の変動値が高い時点を、前記２つの時点として特定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記選択手段は、前記複数の区間の積算値が所定の順に高い２つの区間を選択する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記選択手段は、前記複数の区間の積算値から、上位２つの積算値を有する２つの区間を選択する、
   ことを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
6. 前記選択手段は、前記２つの区間に各々対応する２つの時点間の長さが所定の範囲内に入るか否かを判定して、所定の範囲内に入れば、当該２つの時点間の複数の画像を選択する、
   ことを特徴とする請求項２乃至５の何れか１項に記載の画像処理装置。
7. 前記選択手段により選択された当該２つの時点間の複数の画像を合成して新たな画像を生成する生成手段を更に備える、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記所定の閾値は、前記所定の領域内に特定の被写体が存在しない状態で、当該所定の領域内の前記画素値の変動値を所定の期間算出することで決定される、
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記連続して撮像された複数の画像のうち、前記所定の領域内に特定の被写体が存在しない区間の前記所定の領域内の画素値の代表値を前記所定の閾値として算出する第２の算出手段を更に備える、
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記第２の算出手段は被写体の動作を連続して撮像した複数の画像で共通する所定の位置での当該複数の画像の動作による画素値の変動値を算出する、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 連続して撮像された複数の画像を取得する取得ステップと、
    前記取得ステップにより取得された複数の画像で共通する所定の領域内での当該複数の画像の画素値の変動値を算出する第１の算出ステップと、
    前記第１の算出ステップにより算出された画素値の変動値が所定の閾値以上となる複数の区間各々における前記画素値の変動値から、前記複数の区間の各積算値を算出する第２の算出ステップと、
    前記第２の算出ステップにより算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により２つの時点を特定する特定ステップと、
    を含むことを特徴とする画像処理方法。
12. コンピュータを、
    連続して撮像された複数の画像を取得する取得手段、
    前記取得手段により取得された複数の画像で共通する所定の領域内での当該複数の画像の画素値の変動値を算出する第１の算出手段、
    前記第１の算出手段により算出された画素値の変動値が所定の閾値以上となる複数の区間各々における前記画素値の変動値から、前記複数の区間の各積算値を算出する第２の算出手段、
    前記第２の算出手段により算出された積算値に基づいて、時系列中の複数の時点から、所定の基準により２つの時点を特定する第１の特定手段、
    として機能させることを特徴とするプログラム。

Images