JP6060585B2 - 画像特定装置、画像特定方法及びプログラム - Google Patents

Description

本発明は、画像を特定する画像特定装置、画像特定方法及びプログラムに関する。

近年、ユーザは、ゴルフにおける一連の動作であるスイングが撮像された画像を見て、自己のスイングフォームを確認することができる。
このようなゴルフのスイングフォームを撮像する装置として、撮影された被験者の動画の中から、被験者が行う一連のスイング動作に関わるフレームをスイングデータとして抽出し、このスイングデータにおける各フレームと基準の画像とを比較した差分画像における移動部分画像の解析結果に応じて、スイング動作中の特定動作点毎に対応するフレームを抽出する装置が提案されている（特許文献１参照）。

特開２００３−１１７０４５号公報

しかしながら、上記特許文献１では、基準の画像全体とスイング動作に関わるフレームの画像全体との差分を算出することでスイングフォームの特定動作点に対応する画像を抽出するため、演算量が大きくなることから、スイングフォームの特定動作点を特定する処理負担が重くなる虞がある。

本発明は、このような状況に鑑みてなされたものであり、被写体の一連の動作が連続して撮像された画像から所定の状態の画像を特定する処理負担を軽くすることを目的とする。

上記目的を達成するため、本発明の一態様の画像特定装置は、
被写体の一連の動作が連続して撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データにおいて、互いに離間する位置に配置される複数の第一の評価領域を設定する設定手段と、
前記設定手段により設定された複数の第一の評価領域における前記複数の画像データ間の評価値を夫々算出する第１の算出手段と、
前記第１の算出手段により算出された評価値に基づいて、前記設定手段により設定された複数の第一の評価領域から、互いに重複する複数の第二の評価領域に変更する領域変更手段と、
前記領域変更手段により変更された複数の第二の評価領域における前記複数の画像データ間の評価値を夫々算出する第２の算出手段と、
前記第２の算出手段により夫々算出された評価値に基づいて、前記複数の画像データかた所定の状態の画像データを特定する特定手段と、
を備えたことを特徴とする。

本発明によれば、被写体の一連の動作が連続して撮像された画像から所定の状態の画像を特定する処理負担を軽くできる。

本発明に係る画像処理装置の一実施形態としての画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置が実行する画像特定処理の概要を説明する図である。 図１の画像処理装置が画像特定処理を実行するための機能的構成を示す機能ブロック図である。 図１の画像処理装置が表示するセッティング画面の一例を示す図である。 アドレス検出識別器を構築するための学習サンプルの一例を示す図である。 設定部における差分算出領域を設定する機能的構成を説明する図である。 差分算出領域１における差分評価値の分布の一例を示す図である。 図３の画像処理装置が実行する画像特定処理の流れを説明するフローチャートである。 図３の画像処理装置が実行する第２基準点設定処理の流れを説明するフローチャートである。 図３の画像処理装置が実行する第１基準点設定処理の流れを説明するフローチャートである。 図３の画像処理装置が実行する差分算出領域３設定処理の流れを説明するフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の一実施形態としての画像処理装置１のハードウェアの構成を示すブロック図である。画像処理装置１は、例えばデジタルカメラにより構成することができる。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
ここで、本実施形態では、画像処理装置１による画像の処理単位は一枚の静止画像であり、このような処理単位としての静止画像が、本明細書では「フレーム画像」と呼ばれている。即ち、本実施形態では、動画像は複数のフレーム画像から構成されており、フレーム画像毎に処理が実行される。そこで、以下、特に断りがない限り、画像とはフレーム画像を意味するものとし、画像データとはフレーム画像のデータを意味するものとする。
例えば、画像処理部１４は、後述する撮像部１７から出力される画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、及びドライブ２２が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。したがって、撮像部１７からは画像データが出力されて、ＣＰＵ１１や画像処理部１４等に適宜供給される。

操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１４等から出力された画像のデータを一時的に記憶する。また、記憶部２０は、画像処理部１４等の処理に必要な各種データも記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像データ等の各種データも、記憶部２０と同様に記憶することができる。

このような構成を有する画像処理装置１は、撮像の前後を通じて、ライブビュー撮像処理及びライブビュー表示処理を開始する。
即ち、画像処理装置１は、撮像部１７による撮像動作を継続させ、その間、当該撮像部１７を介して画像処理部１４からフレーム画像の単位で順次出力される画像データを、メモリ（本実施形態では記憶部２０）に一時的に記憶させる。このような一連の処理が、ここでいう「ライブビュー撮像処理」である。
また、画像処理装置１は、ライブビュー撮像時にメモリ（本実施形態では記憶部２０）に一時的にフレーム画像の単位で記録された各画像データを順次読み出して、各々に対応するフレーム画像を表示部１９に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」である。なお、ライブビュー表示処理により表示部１９に表示されているフレーム画像を、以下、「ライブビュー画像」と呼ぶ。

ユーザは、ライブビュー画像をみながら構図を決めた後、操作部１８のシャッタスイッチ（図示せず）を下限まで押下することで、画像データの記録の指示をすることができる。なお、このように、シャッタスイッチを下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
なお、以下、ライブビュー撮像処理及びライブビュー表示処理のための撮像と区別すべく、全押し操作により記録の指示がなされたときの撮像を、「記録用撮像」と呼ぶ。

画像処理装置１は、全押し操作により記録の指示がなされたとき、記録用撮像として、被写体の一連の動作を撮像した連続する複数の画像データを、記憶部２０又はリムーバブルメディア３１に記録する。ここで、本実施形態において、「連続する複数の画像データ」は、動画又は連写された静止画の画像データである。

図２は、図１の画像処理装置１が実行する画像特定処理の概要を説明する図である。
画像特定処理は、被写体の一連の動作が連続して撮像された複数の画像データの中から、一連の動作における所定の状態の画像データを特定する処理である。
具体的には、画像特定処理は、例えば、被写体であるユーザのゴルフクラブのスイングにおける一連の動作が連続して撮像された複数の画像データの中から、例えば、所定の状態として、ハーフウェイバック（バックスイングでクラブが地面と並行になった状態）、トップ（バックスイングでクラブのヘッドが頂点にきた状態）、フォロースルー（ボールを打った後、クラブが地面と並行になった状態）等の状態を撮像した画像を特定する処理である。
なお、画像特定処理は、ハーフウェイダウン（ダウンスイングでクラブが地面と並行になった状態）が撮像された画像データを特定することもできる。

画像処理装置１は、被写体であるユーザの一連の動作（ゴルフクラブのスイング）を連続して撮像した複数の画像データを記憶部２０又はリムーバブルメディア３１から取得する。
そして、画像処理装置１は、この取得された複数の画像データの各々に、被写体に応じた複数の差分算出領域群を設定する。本実施形態では、画像処理装置１は、差分算出領域群１、２及び３を設定する。

具体的には、画像処理装置１は、例えば、ユーザのアドレス（ボールの前に立ち、ゴルフクラブのヘッドをボールの脇に添えた状態）を撮像した画像データにおける、ユーザの頭の位置に基づく点Ａとボールの位置に基づく点Ｂとからユーザの大きさと位置を決定する。
そして、画像処理装置１は、この決定したユーザの大きさと位置に応じた差分算出領域群１、２及び３を設定する。

差分算出領域群１は、ハーフウェイバックの状態が撮像された画像データを特定するために設定される複数の差分算出領域（ＳＷｂ１，ＳＷｂ２，ＳＷｂ３，・・・，ＳＷｂｎ）から成る。なお、差分算出領域群１は、ハーフウェイダウンが撮像された画像データを特定するために用いてもよい。
差分算出領域群２は、フォロースルーの状態が撮像された画像データを特定するために設定される複数の差分算出領域（ＳＷｆ１，ＳＷｆ２，ＳＷｆ３，・・・，ＳＷｆｎ）から成る。
差分算出領域３は、トップの状態が撮像された画像データを特定するために設定される複数の差分算出領域（ＳＷｔ１，ＳＷｔ２，ＳＷｔ３，・・・，ＳＷｔｎ）から成る。
また、画像処理装置１は、トップの状態が撮像された画像データを特定するために、まず、複数の１次差分算出領域から成る１次差分算出領域群を設定し、これら複数の１次差分算出領域の中から、クラブのヘッドの移動が反転する位置を含む１次差分算出領域群を決定する。そして、画像処理装置１は、この決定された１次差分算出領域群において、差分算出領域群３を設定する。

次に、画像処理装置１は、設定された差分算出領域群毎に、連続する画像データ間における同一領域中の画素の成分の差分値を算出する。
具体的には、画像処理装置１は、差分算出領域群１、２及び３のそれぞれについて、設定された差分算出領域毎（例えば、ＳＷｂ１，ＳＷｂ２，ＳＷｂ３，・・・，ＳＷｂｎ毎）に、連続する画像データ間における同一領域中の画素の色成分の差分値を算出する。

そして、画像処理装置１は、算出された差分値に基づいて、一連の動作における所定の状態の画像データを特定する。具体的には、画像処理装置１は、差分算出領域１において算出した差分値に基づき、ハーフウェイバックの状態が撮像された画像データを特定する。また、画像処理装置１は、差分算出領域２において算出した差分値に基づき、フォロースルーの状態が撮像された画像データを特定する。また、画像処理装置１は、差分算出領域３群において算出した差分値に基づき、トップの状態が撮像された画像データを特定する。

そして、画像処理装置１は、例えば、ユーザの操作に基づき、ハーフウェイバックの状態が撮像された画像データによるフレーム画像、フォロースルーの状態が撮像された画像データによるフレーム画像又はトップの状態が撮像された画像データによるフレーム画像を、表示部１９に表示する。

図３は、図１の画像処理装置１が画像特定処理を実行するための機能的構成を示す機能ブロック図である。
図３においては、図１の画像処理装置１の構成のうち、ＣＰＵ１１と、画像処理部１４と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、のみが図示されている。画像処理装置１は、ＣＰＵ１１と画像処理部１４とが協働し、記憶部２０に記憶されたデータを参照して、画像特定処理を実行する。

ＣＰＵ１１においては、画像特定処理が実行される場合、制御部５１が機能する。
画像処理装置１は、操作部１８において、ユーザにより、解析モードが選択された場合、ライブビュー画像を表示部１９に表示し、画像特定処理を開始する。本実施形態において、「解析モード」とは、画像特定処理が実行されるモードである。具体的には、ユーザは、操作部１８において「解析モード」を選択することで、一連の動作であるゴルフクラブのスイングを撮像し、所定の状態であるハーフウェイバック、フォロースルー及びトップの状態が撮像された画像を表示部１９に表示できる。

制御部５１は、ユーザにより解析モードが選択されると、画像特定処理を開始し、表示部１９にセッティング画面を表示する制御を行う。
図４は、図１の画像処理装置１が表示するセッティング画面の一例を示す図である。
制御部５１は、セッティング画面において、ボールから画像処理装置１の設置位置までの距離を指示する表示とともに、例えば、円形状の枠を表示し、ボールが当該枠内に入るように画像処理装置１を設置する指示を表示する。このような表示は、解析モードにおいて、適正な画角を得るように、画像処理装置１を設置するときの目安となる。また、制御部５１は、セッティング画面において、上記枠内にボールが入るように画像処理装置１を設置した後に、操作部１８（図４の文字表示における「校正ボタン」）を操作する指示を表示する。

図３に戻って、ユーザにより操作部１８が操作されると、画像処理部１４においては、取得部４１と、基準被写体領域設定部４２と、第２基準点設定部４３と、基準領域設定部４４と、検出部４５と、第１基準点設定部４６と、決定部４７と、設定部４８と、算出部４９と、特定部５０と、が機能する。

取得部４１は、背景より明るい色で形成された基準被写体を撮像した基準画像データを取得する。本実施形態において、「背景より明るい色で形成された基準被写体」とは、通常、白色であるゴルフボールである。また、本実施形態において、「基準画像データ」とは、セッティング画面において上記枠内にボールが入るように画像処理装置１を設置し、ユーザによる操作部１８の操作を契機に、撮像部１７により撮像された画像データである。
なお、基準画像データは、人が撮像されていない画像データであることが望ましい。これにより、後述する第２基準点設定部４３による第２基準点の設定精度が向上し、これに伴い、最終的に所定の状態が撮像された画像データを特定する精度が向上する。

基準被写体領域設定部４２は、基準画像データにおいて、基準被写体を含む領域（以下、「基準被写体領域」と呼ぶ）を設定する。具体的には、基準被写体領域設定部４２は、セッティング画面において表示されていた枠内の領域を、基準被写体領域として設定する。

第２基準点設定部４３は、基準被写体領域設定部４２により設定された基準被写体領域において、輝度が所定の閾値以上の画素からなる画素群の重心を算出し、当該重心の位置に第２基準点を設定する。
ここで、本実施形態において、基準画像データは、ＹＵＶ形式（Ｙ：輝度信号、Ｕ：輝度信号と青色成分の差、Ｖ：輝度信号と赤色成分の差）の画像データである。なお、基準画像データは、ＹＵＶ形式に限らず、ＲＧＢ形式（Ｒ：赤、Ｇ：緑、Ｂ：青）の画像データであってもよい。

詳細には、第２基準点設定部４３は、ＹＵＶ形式の基準画像データから、基準被写体領域の各画素の輝度を計測しヒストグラムを作成する。ここで、基準画像データの基準被写体領域には、人が入っていなければ、通常、ゴルフボールが設置される緑色の芝と、緑色より輝度が高い白色のゴルフボールが撮像されている。
第２基準点設定部４３は、ヒストグラムにおいて、輝度が高い方から、所定量の画素が含まれる輝度の下限値を閾値に設定する。そして、第２基準点設定部４３は、基準被写体領域において、輝度が所定の閾値以上の画素からなる画素群の重心を算出し、当該重心の位置に第２基準点（例えば、図１中点Ｂ）を設定する。即ち、第２基準点は、基準画像データにおけるゴルフボールの中心座標である。
なお、当該ヒストグラムが適正に算出できるのであれば、セッティング画面において表示される枠によらなくともゴルフボールの中心座標が算出可能である。

ＣＰＵ１１の制御部５１は、第２基準点設定部４３が第２基準点を設定すると、表示部１９において、ユーザにゴルフスイングを促す画面を表示する制御を行うとともに、撮像部１７を制御して記録用撮像を開始する。

取得部４１は、撮像部１７により、被写体の一連の動作であるゴルフスイングが連続して撮像された複数の画像データを取得する。
基準領域設定部４４は、取得部４１により取得された画像データ内において、被写体を含む所定の大きさの基準領域を設定する。
ここで、本実施形態において、「基準領域」とは、例えば、セッティング画面（図４参照）でユーザに指示した位置に画像処理装置１が設置された場合において、アドレス姿勢のユーザ及びゴルフボールを囲む矩形形状の領域である。

記憶部２０は、一連の動作における初期状態を検出するための検出用情報を記憶する。
ここで、本実施形態において、「初期状態」とは、一連の動作であるゴルフスイングにおけるユーザのアドレス姿勢である。また、本実施形態において、「検出用情報」とは、アドレス姿勢の画像データを検出するためのアドレス検出識別器である。

アドレス検出識別器は、学習サンプルとして、アドレス姿勢の画像データ群であるポジティブサンプルと、アドレス姿勢以外の画像データ群であるネガティブサンプルを用いて、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量とＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）よる機械学習により構築される。アドレス検出識別器は、詳細には、ポジティブサンプル及びネガティブサンプルの各画像データのエッジ方向ヒストグラムの特徴であるＨＯＧ特徴量を算出して弱識別器を構築し、構築した弱識別器に重み付けをすることで構築された強識別器である。

図５は、アドレス検出識別器を構築するための学習サンプルの一例を示す図である。図５中、（ａ）及び（ｂ）はポジティブサンプルを示し、（ｃ）及び（ｄ）はネガティブサンプルを示す。
ポジティブサンプルは、図５（ａ）及び（ｂ）に示すように、様々な人のゴルフスイングのアドレス姿勢の画像データを含む。また、ネガティブサンプルは、図５（ｃ）に示すように、人が全く含まれていない画像データに加えて、（ｄ）に示すように、アドレス姿勢でない人の画像データも含む。このような学習サンプルを用いて機械学習することで、アドレス姿勢に近い姿勢ほど、厳密に識別できる強識別機を形成できる。
また、図５に示す矩形の枠は、基準領域設定部４４により設定される基準領域と同じ画素数で形成された領域であり、アドレス検出識別器は、当該領域の画素を学習サンプルとして構築される。

検出部４５は、記憶部２０に記憶された検出用情報としてのアドレス検出識別器を用いて、取得部４１により取得された複数の画像データの中から、基準領域設定部４４により設定された基準領域における特徴量が最も高い初期状態の画像データをアドレス時の画像データとして検出する。
検出部４５は、具体的には、取得部４１により取得された複数の画像データそれぞれに対して、記憶部２０に記憶されたアドレス検出識別器を時系列順に使用してアドレス姿勢の画像データか否かの識別を行い、出力が最も高かった画像データを初期状態の画像データとして検出する。

第１基準点設定部４６は、検出部４５により検出された初期状態の画像データの基準領域において、第１基準点（例えば、図２中点Ａ）を自動的に設定する。
ここで、本実施形態において、「第１基準点」は、基準領域の内部において、予め設定された位置であり、基準領域の上端近傍の中央、即ち、アドレス姿勢をとる人の頭部がくると推定される位置である。
ここで、例えば、アドレス検出識別器により検出されたアドレス姿勢の画像データの領域中の所定の位置を頭部の位置と予め設定することで、第１基準点を自動的に設定することができる。
このように、第１基準点が設定されることにより画像データ中の被写体の位置を決定することができる。

決定部４７は、第１基準点設定部４６により設定された第１基準点（例えば、図２中点Ａ）と、第２基準点設定部４３により設定された第２基準点（例えば、図２中点Ｂ）とに基づき、被写体の大きさと位置を決定する。

設定部４８は、取得部４１により取得された複数の画像データの各々に、被写体に応じた複数の差分算出領域群を設定する。詳細には、設定部４８は、決定部４７により決定された被写体の大きさと位置に応じた複数の差分算出領域群を設定する。即ち、設定部４８は、第１基準点設定部４６により設定された第１基準点に基づき、差分算出領域群を設定する。

図６は、設定部４８における差分算出領域群を設定する機能的構成を説明する図である。
具体的には、設定部４８は、決定部４７により決定された被写体の大きさと位置に応じた矩形形状の差分算出領域群１、２及び３を設定する。

差分算出領域群１は、ハーフウェイバックの状態が撮像された画像データを特定するために設定される複数の差分算出領域（ＳＷｂ１，・・・，ＳＷｂｎ）から成る。
差分算出領域群２は、フォロースルーの状態が撮像された画像データを特定するために設定される複数の差分算出領域（ＳＷｆ１，・・・，ＳＷｆｎ）から成る。
差分算出領域群３は、トップが撮像された画像データを特定するために設定される複数の差分算出領域（ＳＷｔ１，・・・，ＳＷｔｎ）から成る。
また、設定部４８は、トップが撮像された画像データを特定するために、まず、複数の１次差分算出領域から成る１次差分算出領域群を設定し、これら複数の１次差分算出領域の中から、クラブのヘッドの移動が反転する位置を含む１次差分算出領域を決定する。そして、設定部４８は、この決定された１次差分算出領域において、差分算出領域群３を設定する。
つまり、設定部４８は、決定された１次差分算出領域から他の差分算出領域群（差分算出領域群３）に変更するように設定をする。

設定部４８は、決定部４７により決定された被写体の大きさと位置に応じて、差分算出領域群１の、例えば、ＳＷｂｎの中心座標（ｗｂ１ｘｎ,ｗｂ１ｙｎ）を以下の数式により算出する。

(数１)
ｗｂ１ｘｎ＝ａｖｅ＿ｘ＋ｂｓ１ｘ
ｗｂ１ｙｎ＝ａｖｅ＿ｙ＋ｂｓ１ｙ＋Ｎ＊Ｄ
ａｖｅ＿ｘ＝（Ｍｘ＋ｉｎ＿ｈｅａｄ＿ｘ）／２
ａｖｅ＿ｙ＝（Ｍｙ＋ｉｎ＿ｈｅａｄ＿ｙ）／２
ｂｓ１ｘ＝−ｆｌｏａｔ（ｃｏｒ＿ｙ）＊Ｐ１
ｂｓ１ｙ＝−ｃｏｒ＿ｙ／２
ｃｏｒ＿ｙ＝Ｍｙ−ｉｎ＿ｈｅａｄ＿ｙ

数１における「ａｖｅ＿ｘ」及び「ａｖｅ＿ｙ」は、第１基準点（図６中点Ａ：人の頭の中心点）と、第２基準点（図６中点Ｂ：ゴルフボールの中心点）とから算出される人体位置調整項である。
「Ｍｘ」は、点ＢのＸ位置を示す。「ｉｎ＿ｈｅａｄ＿ｘ」は、点ＡのＸ位置を示す。即ち、「ａｖｅ＿ｘ」は、スイングする人の中心Ｘ位置を示す。
「Ｍｙ」は、点ＢのＹ位置を示す。「ｉｎ＿ｈｅａｄ＿ｙ」は、点ＡのＹ位置を示す。即ち、「ａｖｅ＿ｙ」は、スイングする人の中心Ｙ位置を示す。

数１における「ｂｓ１ｘ」は、スイングする人の中心位置に対する、差分算出領域群１の中心位置の距離調整幅（横方向）を示す。「ｂｓ１ｘ」は、腕を伸ばした位置が差分算出領域群１の右端になるように設定される。
「ｆｌｏａｔ（ｃｏｒ＿ｙ）」は、点ＢのＹ位置から点ＡのＹ位置までの距離である被写体の大きさを示し、具体的には、スイングする人の身長と仮定する値である。
「Ｐ１」は、差分算出領域群１にゴルフクラブのシャフトのみが入るように、予め設定されたパラメータであり、１より小さい値で設定される。差分算出領域群１にゴルフクラブのシャフトのみが入るようにすることで、差分算出領域群１における連続する画像データ間の画素の色成分の差分が明確になり、後述する特定部５０による画像データの特定の精度を向上できる。

数１における「ｂｓ１ｙ」は、スイングする人の中心位置に対する、差分算出領域１の中心位置の距離調整幅（縦方向）を示す。「ｂｓ１ｙ」は、頭の位置とボール位置のほぼ中心が差分算出領域１の中心になるように設定される。
「ｃｏｒ＿ｙ」は、点ＢのＹ位置から点ＡのＹ位置までの距離である被写体の大きさを示し、具体的には、スイングする人の身長と仮定する値である。

数１における「Ｎ」は、差分算出領域１における複数の領域の段数を示す。段数は、Ｙ軸プラス方向最上段の領域を１とし、例えば、Ｙ軸マイナス方向に向かって１段下がると２となり、２段下がると３となる。
数１における「Ｄ」は、ずらし幅を示す。ずらし幅は、例えば、所定のドット数（例えば、５ドット）に予め設定されている。

本実施形態では、差分算出領域群１は、ＳＷｂ１からＹ軸マイナス方向に５ドットずつずらして９段の領域（ＳＷｂ１〜ＳＷｂ９）が設定されている。また、複数の領域（ＳＷｂ１〜ＳＷｂ９）は、互いに一部重複するように設定されている。
このように、差分算出領域における複数の領域を互いに一部重複するように設定することで、被写体（例えば、スイングする人）の微妙な大きさ（例えば、スイングする人の体格）や一連の動作（スイングの癖等）の違いがあっても、確実に一連の動作における所定の状態（ハーフウェイバック、トップ、フォロースルーの状態）を撮像した画像データを特定できる。

図６に示すように、設定部４８は、矩形状の領域ＳＷｂｎのＸ軸方向マイナス側端部の座標ｂｘｓｎを中心座標ｗｂ１ｘｎから所定値ｈｂ＿ｄｏｗｎを減算した値に設定する。
また、設定部４８は、矩形状の領域ＳＷｂｎのＸ軸方向プラス側端部の座標ｂｘｅｎを中心座標ｗｂ１ｘｎに所定値ｈｂ＿ｄｏｗｎを加算した値に設定する。
また、設定部４８は、矩形状の領域ＳＷｂｎのＹ軸方向プラス側端部の座標ｂｙｓｎを中心座標ｗｂ１ｙｎに所定値ｖｂを加算した値に設定する。
また、設定部４８は、矩形状の領域ＳＷｂｎのＹ軸方向マイナス側端部の座標ｂｙｅｎを中心座標ｗｂ１ｙｎから所定値ｖｄを減算した値に設定する。

設定部４８は、決定部４７により決定された被写体の大きさと位置に応じて、差分算出領域群２の、例えば、ＳＷｆｎの中心座標（ｗｆ１ｘｎ,ｗｆ１ｙｎ）を以下の数式により算出する。

(数２)
ｗｆ１ｘｎ＝ａｖｅ＿ｘ＋ｆｓ１ｘ
ｗｆ１ｙｎ＝ａｖｅ＿ｙ＋ｆｓ１ｙ＋Ｎ＊Ｄ
ｆｓ１ｘ＝ｃｏｒ＿ｙ＊Ｐ２
ｆｓ１ｙ＝−ｃｏｒ＿ｙ／２

以下、数２に示す数式について説明するが、数２において、数１の数式と同じ文字で示される値は数１の値と同じ値であるので説明を省略する。
数２における「ｆｓ１ｘ」は、スイングする人の中心位置に対する、差分算出領域群２の中心位置の距離調整幅（横方向）を示す。「ｆｓ１ｘ」は、腕を伸ばした位置が差分算出領域群２の左端になるように設定される。
「Ｐ２」は、差分算出領域２にゴルフクラブのシャフトのみが入るように、予め設定されたパラメータであり、１より小さい値で設定される。「Ｐ２」は、フォロースルーの状態が撮像された画像データを特定するために設定されため、ハーフウェイバックの状態が撮像された画像データを特定するための上記Ｐ１とは値が異なる。差分算出領域群２にゴルフクラブのシャフトのみが入るようにすることで、差分算出領域群２における連続する画像データ間の画素の色成分の差分が明確になり、後述する特定部５０による画像データの特定の精度を向上できる。

数２における「ｆｓ１ｙ」は、スイングする人の中心位置に対する、差分算出領域群２の中心位置の距離調整幅（縦方向）を示す。「ｆｓ１ｙ」は、頭の位置とボール位置のほぼ中心が差分算出領域群２の中心になるように設定される。

本実施形態では、差分算出領域群２は、ＳＷｆ１からＹ軸マイナス方向に５ドットずつずらして９ヶ所の領域（ＳＷｆ１〜ＳＷｆ９）を設定している。

図６に示すように、設定部４８は、矩形状の領域ＳＷｆｎのＸ軸方向マイナス側端部の座標ｆｘｓｎを中心座標ｗｆ１ｘｎから所定値ｈｂ＿ｆｏｒｗを減算した値に設定する。
また、設定部４８は、矩形状の領域ＳＷｆｎのＸ軸方向プラス側端部の座標ｆｘｅｎを中心座標ｗｆ１ｘｎに所定値ｈｂ＿ｆｏｒｗを加算した値に設定する。
また、設定部４８は、矩形状の領域ＳＷｆｎのＹ軸方向プラス側端部の座標ｆｙｓｎを中心座標ｗｆ１ｙｎに所定値ｖｂを加算した値に設定する。
また、設定部４８は、矩形状の領域ＳＷｆｎのＹ軸方向マイナス側端部の座標ｆｙｅｎを中心座標ｗｆ１ｙｎから所定値ｖｂを減算した値に設定する。

ここで、一般的にゴルフのスイングでは、トップの状態のゴルフクラブの位置は、ハーフウェイバックやフォロースルーに比べ、非常に個人差があり、決定部４７により決定された被写体の大きさと位置だけに基づき差分算出領域の設定した場合には、検出精度が期待できない場合が存在する。
このため、設定部４８は、以下に機能的構成により、差分算出領域群３を設定する。

設定部４８は、第１基準点設定部４６により設定された第１基準点（図６中点Ａ）上方に、互いに重ならない複数の１次差分算出領域（図６中の細い点線で示す枠）を設定する。設定部４８は、後述する算出部４９により算出された、連続する画像データ間の差分評価値の平均値を算出する。設定部４８は、算出した平均値が最小に切り替わる直前の１次差分算出領域を検出する。この検出した１次差分算出領域は、ゴルフクラブのヘッドが反転する位置と推定できる。そして、設定部４８は、検出した１次差分算出領域に、差分算出領域群３を設定する。設定部４８は、差分算出領域群１及び差分算出領域群２と同様の処理により差分算出領域群３を設定する。
これにより、トップの姿勢（状態）が撮像された画像データの検出精度が向上する。

算出部４９は、設定部４８により設定された差分算出領域群毎に、連続する画像データ間における同一領域の画素の色成分の差分値を算出する。
詳細には、算出部４９は、差分算出領域群１、２及び３の各領域群における、画像データ間の差分評価値を算出する。
また、算出部４９は、設定部４８が設定した１次差分算出領域群における、画像データ間の差分評価値を算出する。
本実施形態において、「差分評価値」は、ｎ番目（ｎは整数を示す）の画像データとｎ−１番目の画像データ間における各色成分の差分絶対値と、ｎ番目の画像データとｎ＋１番目の画像データ間における各色成分の差分絶対値との乗算値が、所定の閾値を超えた領域におけるピクセル数の総和である。
なお、算出部４９は、連続する画像データ間における同一領域中の画素の各色成分の差分値の合計値を算出し、算出した合計値の変化量に応じて加算される値を、差分評価値として算出してもよい。
また、算出部４９は、算出した差分評価値に対して、ＬｏｗＰａｓｓフィルタをかけ、所定の閾値より高い値を除去してもよい。これにより、後述する特定部５０が誤った画像データを特定することを防止できる。
また、差分評価値の算出において、差分絶対値は、差分二乗値とすることもできる。また、差分評価値の算出において、乗算値は、加算値とすることもできる。

図７は、差分算出領域１における差分評価値の分布の一例を示す図である。
図７の例では、３５３番目の画像データにおける、差分算出領域１の領域ＳＷｂ６の差分評価値が最も高くなっている。

また、算出部４９は、まず、差分算出領域群３（トップ姿勢が撮像された画像データを特定するための領域）において、差分評価値を算出する。算出部４９は、次に、一連の動作が撮像された複数の画像データのうち、検出部４５により初期状態の画像データ（アドレス姿勢が撮像された画像データ）として検出された画像データと、差分算出領域群３において差分評価値が最も高かった画像データとの間の複数の画像データにおいて、差分算出領域群１（ハーフウェイバックが撮像された画像データを特定するための領域群）の差分評価値を算出する。そして、算出部４９は、次に、一連の動作が撮像された複数の画像データのうち、差分算出領域群３において差分評価値が最も高かった画像データ以降の複数の画像データにおいて、差分算出領域群２（フォローが撮像された画像データを特定するための領域）の差分評価値を算出する。
このように、差分評価値を算出する複数の画像データの範囲を限定することで、演算量も少なく、かつ高い精度で、所定の状態が撮像された画像データの特定が可能となる。

図３に戻って、特定部５０は、算出部４９により算出された差分値に基づいて、一連の動作における所定の状態が撮像された画像データを特定する。
詳細には、特定部５０は、差分算出領域群１、２及び３のそれぞれにおいて、差分評価値が最も高くなっている画像データを特定する。
例えば、特定部５０は、図７の例では、差分算出領域群１において、３５３番目の画像データを特定する。即ち、特定部５０は、一連の動作における所定の状態としてハーフウェイバックの状態が撮像された画像データを特定する。

制御部５１は、例えば、ユーザの操作部１８の操作に基づき、画像処理部１４の特定部５０が特定した画像データの画像を表示部１９に表示する。

次に、図８を参照して、画像処理装置１の処理のうち、このような図３の機能的構成により実現される画像特定処理について説明する。
図８は、図３の画像処理装置１が実行する画像特定処理の流れを説明するフローチャートである。

図８の画像特定処理は、撮像部１７による撮像が行われる場合に実行される処理である。
即ち、画像処理装置１は、操作部１８において、ユーザにより、解析モードが選択された場合、ライブビュー画像を表示部１９に表示し、画像特定処理を開始する。

ステップＳ１において、制御部５１は、表示部１９にセッティング画面（図４参照）を表示する制御を行う。
ステップＳ２において、取得部４１、基準被写体領域設定部４２及び第２基準点設定部４３は、第２基準点設定処理を実行する。

図９は、図３の画像処理装置１が実行する第２基準点設定処理の流れを説明するフローチャートである。
ステップＳ２１において、取得部４１は、背景より明るい色で形成された基準被写体を撮像した基準画像データを取得する。
ステップＳ２２において、基準被写体領域設定部４２は、ステップＳ２１で取得部４１が取得した基準画像データにおいて、基準被写体領域を設定する。
ステップＳ２３において、第２基準点設定部４３は、ステップＳ２２で基準被写体領域設定部４２により設定された基準被写体領域において、輝度が所定の閾値以上の画素からなる画素群の重心を算出し、当該重心の位置に第２基準点（図６中点Ｂ）を設定する。

図８に戻って、ステップＳ３において、制御部５１は、表示部１９において、ユーザにゴルフスイングを促す画面を表示する制御を行うとともに、撮像部１７を制御して記録用撮像を開始する。
ステップＳ４において、取得部４１は、撮像部１７により、被写体の一連の動作であるゴルフスイングが連続して撮像された複数の画像データを取得する。
ステップＳ５において、基準領域設定部４４、検出部４５及び第１基準点設定部４６は、第１基準点設定処理を実行する。

図１０は、図３の画像処理装置１が実行する第１基準点設定処理の流れを説明するフローチャートである。
ステップＳ５１において、基準領域設定部４４は、ステップＳ４で取得部４１により取得された画像データ内において、被写体を含む所定の大きさの基準領域を設定する。
ステップＳ５２において、検出部４５は、記憶部２０に記憶されたアドレス検出識別器を用いて、ステップＳ４で取得部４１により取得された複数の画像データの中から、ステップＳ５１で基準領域設定部４４により設定された基準領域における特徴量が最も高い初期状態の画像データを検出する。
ステップＳ５３において、第１基準点設定部４６は、ステップＳ５２で検出部４５により検出された初期状態の画像データの基準領域において、第１基準点（図６中点Ａ）を設定する。

図８に戻って、ステップＳ６において、決定部４７は、ステップＳ５３で第１基準点設定部４６により設定された第１基準点（図６中点Ａ）と、ステップＳ２３で第２基準点設定部４３により設定された第２基準点（図６中点Ｂ）と、に基づき、被写体の大きさと位置を決定する。
ステップＳ７において、設定部４８は、ステップＳ４で取得部４１により取得された複数の画像データの各々に、ステップＳ６で決定部４７により決定された被写体の大きさと位置に応じた複数の差分算出領域群１、２を設定する。
ステップＳ８において、設定部４８及び算出部４９は、差分算出領域群３設定処理を実行する。

図１１は、図３の画像処理装置１が実行する差分算出領域３設定処理の流れを説明するフローチャートである。
ステップＳ８１において、設定部４８は、ステップＳ５３で第１基準点設定部４６により設定された第１基準点（図６中点Ａ）上方に、互いに重ならない複数の１次差分算出領域（図６中の細い点線で示す枠）を設定する。
ステップＳ８２において、算出部４９は、ステップＳ８１で設定部４８が設定した１次差分算出領域における、画像データ間の差分評価値を算出する。
ステップＳ８３において、設定部４８は、ステップＳ８２で算出部４９により算出された、連続する画像データ間の差分評価値の平均値を算出する。そして、設定部４８は、算出した平均値が最小に切り替わる直前の１次差分算出領域を検出し、この検出した１次差分算出領域の位置に重複するように、差分算出領域３群を設定する。

図８に戻って、ステップＳ９において、算出部４９は、ステップＳ７及びステップＳ８３設定部４８により設定された差分算出領域群１、２及び３毎に、連続する画像データ間における同一領域中の差分評価値を算出する。
ステップＳ１０において、特定部５０は、ステップＳ９で算出部４９により算出された差分値に基づいて、一連の動作における所定の状態が撮像された画像データを特定する。
ステップＳ１１において、制御部５１は、画像処理部１４の特定した画像データの画像を表示部１９に表示する。

以上説明したように、本実施形態の画像処理装置１は、取得部４１と、設定部４８と、算出部４９と、特定部５０と、を備える。
取得部４１は、被写体の一連の動作が連続して撮像された複数の画像データを取得する。
設定部４８は、取得部４１により取得された複数の画像データの各々に、被写体の大きさ及び位置に応じた評価領域を設定する。
算出部４９は、設定部４８により設定された評価領域における複数の画像データ間の評価値を夫々算出する。
特定部５０は、算出部４９により夫々算出された評価値に基づいて、一連の動作における所定の状態の画像データを特定する。

これにより、複数の画像データの中から、所定の状態が撮像された画像を特定する処理において、被写体に応じた複数の差分算出領域群だけで、連続する画像データ間における同一領域の差分値を算出する。よって、画像データ全体において、連続する画像データ間の差分値を算出した場合に比べ、画像処理装置１の処理負担を軽減できる。
したがって、所望の被写体の動作における所定の状態が撮像された画像を特定する処理負担を軽くできる。
また、このように処理負担を軽減することで、比較的処理能力の低いＣＰＵを備える携帯端末においても、所定の状態が撮像された画像を特定する処理が可能となる。

また、本実施形態の画像処理装置１は、更に、基準領域設定部４４と、記憶部２０と、検出部４５と、第１基準点設定部４６と、を備える。
基準領域設定部４４は、取得部４１により取得された画像データ内において、被写体を含む所定の大きさの基準領域を設定する。
記憶部２０は、一連の動作における初期状態を検出するための検出用情報を記憶する。
検出部４５は、記憶部２０に記憶された検出用情報を用いて、取得部４１により取得された複数の画像データの中から、基準領域設定部４４により設定された基準領域における特徴量が最も高い初期状態の画像データを検出する。
第１基準点設定部４６は、検出部４５により検出された初期状態の画像データの基準領域において、第１基準点を設定する。
設定部４８は、第１基準点設定部４６により設定された第１基準点に基づき、差分算出領域群を設定する。

これにより、一連の動作における初期状態（例えば、ゴルフクラブのスイングにおけるアドレス姿勢の状態）が撮像された初期状態の画像データを検出できる。そして、この初期状態画像データの基準領域において、被写体（例えば、スイングをする人）の大きさと位置を決定する基準となる第１基準点（例えば、スイングをする人の頭の位置）を設定することで、当該被写体による所定の状態が撮像された画像を特定する処理の精度を向上できる。

また、本実施形態の画像処理装置１は、更に、基準被写体領域設定部４２と、第２基準点設定部４３と、決定部４７と、を備える。
取得部４１は、背景より明るい色で形成された基準被写体を撮像した基準画像データを取得する。
基準被写体領域設定部４２は、基準画像データにおいて、基準被写体領域を設定する。
第２基準点設定部４３は、基準被写体領域設定部４２により設定された基準被写体領域において、輝度が所定の閾値以上の画素からなる画素群の重心を算出し、当該重心の位置に第２基準点を設定する。
決定部４７は、第１基準点設定部４６により設定された第１基準点と、第２基準点設定部４３により設定された第２基準点とに基づき、被写体の大きさと位置を決定する。
設定部４８は、決定部４７により決定された被写体の大きさと位置に応じた複数の差分算出領域群を設定する。

これにより、基準被写体領域の中で、輝度により基準被写体（例えば、ゴルフボール）の重心を算出し、この重心を第２基準点（例えば、ゴルフボールの中心位置）に設定できる。よって、基準被写体の検出範囲を基準被写体領域に限定することで、検出範囲を画像データ全体として場合に比べて、第２基準点を設定する処理速度を向上できる。
また、被写体の大きさと位置を仮定する基準となる第１基準点及び第２基準点の２点に基づき被写体の大きさと位置を決定することで、当該被写体による所定の状態が撮像された画像を特定する処理の精度を更に向上できる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画像処理装置１が実行する画像特定処理の対象である一連の動作は、ゴルフクラブのスイングとしたが、これに限らず、例えば、野球のバットのスイング、各種スポーツやダンスのフォーム等であってもよい。

また、上述の実施形態では、制御部５１は、表示部１９に表示したセッティング画面において、円形状の枠を表示し、ボールが当該枠内に入るように画像処理装置１を設置する指示を表示するが、これに限らず、例えば、表示部１９をユーザの操作を受け付け可能なタッチパネルで構成し、制御部５１は、セッティング画面において、上記枠の位置を、ユーザのタッチパネル操作で受け付けることができる。

また、上述の実施形態では、制御部５１は、表示部１９にセッティング画面を表示するが、これに限らず、例えば、１打目のボールの位置を記憶部２０に記憶し、２打目以降では、セッティング画面の表示を省略し、記憶部２０に記憶されたボールの位置にボールが設置されたと判断した場合に、撮像部１７を制御して記録用撮像を開始してもよい。

また、上述の実施形態では、決定部４７は、第１基準点設定部４６により設定された第１基準点（スイングする人の頭の位置）と、第２基準点設定部４３により設定された第２基準点（ボールの中心）とに基づき、被写体の大きさと位置を決定するが、これに限らず、例えば、表示部１９をユーザの操作を受け付け可能なタッチパネルで構成し、決定部４７は、ユーザのタッチパネル操作で受け付けた第１基準点及び／又は第２基準点に基づき、被写体の大きさと位置を決定してもよい。

また、上述の実施形態では、差分算出領域１をハーフウェイバックが撮像された画像データを特定するための領域として用いているが、これに限らず、差分算出領域１をハーフウェイダウンの状態が撮像された画像データを特定するための領域として用いてもよい。これにより、所定の状態としてハーフウェイダウンが撮像された画像データを特定できる。
また、上述の実施形態に加え、インパクト（ゴルフクラブのヘッドがボールに当たった瞬間）が撮像された画像データを特定してもよい。この場合、設定部４８は、第２基準点設定部４３により設定された第２基準点（アドレス時のボールの中心）に基づき、差分算出領域群を設定する。算出部４９は、この設定部４８により設定された差分算出領域群における、連続する画像データ間の差分値を解析する。具体的には、この解析において、ボールの有無の差分を検出する。そして、特定部５０は、ボールが撮像された最後の画像データを、インパクトが撮像された画像データとして特定する。
また、上記の場合、算出部４９は、差分算出領域群３において、差分評価値が最も高かった画像データ以降の複数の画像データ間の差分値を解析し、ボールの有無の差分を検出する。次に、差分算出領域群３において差分評価値が最も高かった画像データと、ボールが検出された最後の画像データとの間の複数の画像データにおいて、差分算出領域群１（ハーフウェイダウンが撮像された画像データを特定するための領域）の差分評価値を算出する。そして、算出部４９は、次に、ボールが検出された最後の画像データ以降の複数の画像データにおいて、差分算出領域群２（フォローが撮像された画像データを特定するための領域）の差分評価値を算出する。
このように、特定する所定状態が複数ある場合でも、差分評価値を算出する複数の画像データの範囲を限定することで、演算量も少なく、かつ高い精度で、所定の状態が撮像された画像データの特定が可能となる。

また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の画像処理装置として構成される例として説明した。しかしながら、本発明は、画像処理装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の一連の動作が連続して撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データの各々に、前記被写体の大きさ及び位置に応じた評価領域を設定する設定手段と、
前記設定手段により設定された評価領域における前記複数の画像データ間の評価値を夫々算出する第１の算出手段と、
前記第１の算出手段により夫々算出された評価値に基づいて、前記一連の動作における所定の状態の画像データを特定する特定手段と、
を備えたことを特徴とする画像特定装置。
［付記２］
前記画像データに基づいて、前記被写体を決定する被写体決定手段を更に備え、
前記設定手段は、前記被写体決定手段により決定された被写体の大きさ及び位置に応じた評価領域を設定する、
ことを特徴とする付記１に記載の画像特定装置。
［付記３］
前記画像データ中の第１基準点を設定する第１基準点設定手段を更に備え、
前記被写体決定手段は、前記第１基準点設定手段により設定された第１基準点に基づいて、前記被写体の位置を決定する、
ことを特徴とする付記２に記載の画像特定装置。
［付記４］
前記取得手段により取得された画像データ内において、前記被写体を含む所定の大きさの領域を設定する基準領域設定手段と、
前記一連の動作における特定の状態を検出するための検出用情報を記憶する記憶手段と、
前記記憶手段に記憶された前記検出用情報を用いて、前記取得手段により取得された複数の画像データの中から、前記基準領域設定手段により設定された領域における特徴量が高い画像データを前記特定の状態の画像データとして検出する検出手段と、
を更に備え、
前記第１基準点設定手段は、前記検出手段により検出された画像データ中の前記基準領域設定手段により設定された領域において、前記第１基準点を設定する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記画像データ中の第２基準点を設定する第２基準点設定手段を更に備え、
前記被写体決定手段は、前記第１基準点設定手段により設定された第１基準点と、前記第２基準点設定手段により設定された第２基準点とに基づいて、前記被写体の大きさ及び位置を決定する、
ことを特徴とする付記３又は４に記載の画像処理装置。
［付記６］
前記取得手段は、基準被写体の画像データを取得し、
前記取得手段により取得された画像データにおいて、前記基準被写体を含む領域を設定する領域設定手段と、
前記領域設定手段により設定された領域において、特定の画素群の重心を算出する重心算出手段と、
を更に備え、
前記第２基準点設定手段は、前記重心算出手段により算出された重心の位置に第２基準点を設定し、
前記被写体決定手段は、前記第１基準点設定手段により設定された前記第１基準点と、前記第２基準点設定手段により算出された前記第２基準点とに基づいて、前記被写体の大きさ及び位置を決定する、
ことを特徴とする付記５に記載の画像処理装置。
［付記７］
前記設定手段は、前記被写体に応じた複数の評価領域を設定し、
前記第１の算出手段は、前記設定手段により設定された複数の評価領域における前記複数の画像データ間の評価値を夫々算出する、
ことを特徴とする付記１から６のうち何れか１つに記載の画像特定装置。
［付記８］
前記設定手段は、前記被写体に応じた複数の評価領域を各々の評価領域が一部重複するように設定する、
ことを特徴とする付記１から７のうち何れか１つに記載の画像特定装置。
［付記９］
前記設定手段は、互いに近接する複数の評価領域を設定し、
前記第１の算出手段は、前記設定手段により設定された複数の評価領域における前記複数の画像データ間の評価値を夫々算出し、
前記第１の算出手段により夫々算出された評価値に基づいて、前記設定手段により設定された複数の評価領域から、互いに重複する複数の評価領域に変更する領域変更手段と、
前記領域変更手段により変更された複数の評価領域における前記複数の画像データ間の評価値を夫々算出する第２の算出手段と、
を更に備え、
前記特定手段は、前記第２の算出手段により夫々算出された評価値に基づいて、前記所定の状態の画像データを特定する、
ことを特徴とする付記１から８のうち何れか１つに記載の画像特定装置。
［付記１０］
前記第１の算出手段は、前記評価値として、前記評価領域における前記複数の画像データ間の画素の差分値を算出する、
ことを特徴とする付記１から９のうち何れか１つ記載の画像処理装置。
［付記１１］
被写体の一連の動作における所定の状態が撮像された画像データを特定する画像処理装置が実行する画像処理方法であって、
前記一連の動作が連続して撮像された複数の画像データを取得する取得ステップと、
前記取得ステップで取得した複数の前記画像データの各々に、前記被写体の大きさ及び位置に応じた複数の評価領域を設定する設定ステップと、
前記設定ステップで設定した評価領域における前記複数の画像データ間の評価値を算出する算出ステップと、
前記算出ステップで夫々算出した評価値に基づいて、前記所定の状態の画像データを特定する特定ステップと、
を含むことを特徴とする画像処理方法。
［付記１２］
被写体の一連の動作における所定の状態が撮像された画像データを特定する画像処理を制御するコンピュータを、
被写体の一連の動作が連続して撮像された複数の画像データを取得する取得手段、
前記取得手段により取得された複数の画像データの各々に、前記被写体の大きさ及び位置に応じた評価領域を設定する設定手段、
前記設定手段により設定された評価領域における前記複数の画像データ間の評価値を夫々算出する算出手段、
前記算出手段により夫々算出された評価値に基づいて、前記所定の状態の画像データを特定する特定手段、
として機能させることを特徴とするプログラム。

１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１７・・・撮像部、１７・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・取得部、４２・・・基準被写体領域設定部、４３・・・第２基準点設定部、４４・・・基準領域設定部、４５・・・検出部、４６・・・第１基準点設定部、４７・・・決定部、４８・・・設定部、４９・・・算出部、５０・・・特定部

Claims (12)

1. 被写体の一連の動作が連続して撮像された複数の画像データを取得する取得手段と、
   前記取得手段により取得された複数の画像データにおいて、互いに離間する位置に配置される複数の第一の評価領域を設定する設定手段と、
   前記設定手段により設定された複数の第一の評価領域における前記複数の画像データ間の評価値を夫々算出する第１の算出手段と、
   前記第１の算出手段により算出された評価値に基づいて、前記設定手段により設定された複数の第一の評価領域よりも、互いに密な位置になるよう配置される複数の第二の評価領域に変更する領域変更手段と、
   前記領域変更手段により変更された複数の第二の評価領域における前記複数の画像データ間の評価値を夫々算出する第２の算出手段と、
   前記第２の算出手段により夫々算出された評価値に基づいて、前記複数の画像データから所定の状態の画像データを特定する特定手段と、
   を備えたことを特徴とする画像特定装置。
2. 前記画像データに基づいて、前記被写体を決定する被写体決定手段を更に備え、
   前記設定手段は、前記被写体決定手段により決定された被写体の大きさ及び位置に応じた評価領域を設定する、
   ことを特徴とする請求項１に記載の画像特定装置。
3. 前記画像データ中の第１基準点を設定する第１基準点設定手段を更に備え、
   前記被写体決定手段は、前記第１基準点設定手段により設定された第１基準点に基づいて、前記被写体の位置を決定する、
   ことを特徴とする請求項２に記載の画像特定装置。
4. 前記取得手段により取得された画像データ内において、前記被写体を含む所定の大きさの領域を設定する基準領域設定手段と、
   前記一連の動作における特定の状態を検出するための検出用情報を記憶する記憶手段と、
   前記記憶手段に記憶された前記検出用情報を用いて、前記取得手段により取得された複数の画像データの中から、前記基準領域設定手段により設定された領域における特徴量が高い画像データを前記特定の状態の画像データとして検出する検出手段と、
   を更に備え、
   前記第１基準点設定手段は、前記検出手段により検出された画像データ中の前記基準領域設定手段により設定された領域において、前記第１基準点を設定する、
   ことを特徴とする請求項３に記載の画像特定装置。
5. 前記画像データ中の第２基準点を設定する第２基準点設定手段を更に備え、
   前記被写体決定手段は、前記第１基準点設定手段により設定された第１基準点と、前記第２基準点設定手段により設定された第２基準点とに基づいて、前記被写体の大きさ及び位置を決定する、
   ことを特徴とする請求項３又は４に記載の画像特定装置。
6. 前記取得手段は、基準被写体の画像データを取得し、
   前記取得手段により取得された画像データにおいて、前記基準被写体を含む領域を設定する領域設定手段と、
   前記領域設定手段により設定された領域において、特定の画素群の重心を算出する重心算出手段と、
   を更に備え、
   前記第２基準点設定手段は、前記重心算出手段により算出された重心の位置に第２基準点を設定し、
   前記被写体決定手段は、前記第１基準点設定手段により設定された前記第１基準点と、前記第２基準点設定手段により算出された前記第２基準点とに基づいて、前記被写体の大きさ及び位置を決定する、
   ことを特徴とする請求項５に記載の画像特定装置。
7. 前記設定手段は、前記被写体に応じた複数の評価領域を設定し、
   前記第１の算出手段は、前記設定手段により設定された複数の評価領域における前記複数の画像データ間の評価値を夫々算出する、
   ことを特徴とする請求項１から６のうち何れか１項に記載の画像特定装置。
8. 前記設定手段は、前記被写体に応じた複数の評価領域を各々の評価領域が一部重複するように設定する、
   ことを特徴とする請求項１から７のうち何れか１項に記載の画像特定装置。
9. 前記領域設定手段は、前記第１の算出手段により夫々算出された評価値に基づいて、前記設定手段により設定された前記複数の第一の評価領域から、互いに重複するよう前記複数の第二の評価領域に変更する、
   ことを特徴とする請求項１から８のうち何れか１項に記載の画像特定装置。
10. 前記第１の算出手段は、前記評価値として、前記評価領域における前記複数の画像データ間の画素の差分値を算出する、
    ことを特徴とする請求項１から９のうち何れか１項に記載の画像特定装置。
11. 被写体の一連の動作における所定の状態が撮像された画像データを特定する画像特定装置が実行する画像特定方法であって、
    被写体の一連の動作が連続して撮像された複数の画像データを取得する取得ステップと、
    前記取得ステップにより取得された複数の画像データにおいて、互いに離間する位置に配置される複数の第一の評価領域を設定する設定ステップと、
    前記設定ステップにより設定された複数の第一の評価領域における前記複数の画像データ間の評価値を夫々算出する第１の算出ステップと、
    前記第１の算出ステップにより算出された評価値に基づいて、前記設定ステップにより設定された複数の第一の評価領域から、互いに密な位置になるよう配置される複数の第二の評価領域に変更する領域変更ステップと、
    前記領域変更ステップにより変更された複数の第二の評価領域における前記複数の画像データ間の評価値を夫々算出する第２の算出ステップと、
    前記第２の算出ステップにより夫々算出された評価値に基づいて、前記複数の画像データかた所定の状態の画像データを特定する特定ステップと、
    を含むことを特徴とする画像特定方法。
12. 被写体の一連の動作における所定の状態が撮像された画像データを特定する画像特定装置を制御するコンピュータを、
    被写体の一連の動作が連続して撮像された複数の画像データを取得する取得手段と、
    前記取得手段により取得された複数の画像データにおいて、互いに離間する位置に配置される複数の第一の評価領域を設定する設定手段、
    前記設定手段により設定された複数の第一の評価領域における前記複数の画像データ間の評価値を夫々算出する第１の算出手段、
    前記第１の算出手段により算出された評価値に基づいて、前記設定手段により設定された複数の第一の評価領域から、互いに密な位置になるよう配置される複数の第二の評価領域に変更する領域変更手段、
    前記領域変更手段により変更された複数の第二の評価領域における前記複数の画像データ間の評価値を夫々算出する第２の算出手段、
    前記第２の算出手段により夫々算出された評価値に基づいて、前記複数の画像データかた所定の状態の画像データを特定する特定手段、
    として機能させることを特徴とするプログラム。

Images