JP5790710B2 - 画像処理装置、制御方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、制御方法及びプログラムに関する。

ゴルフボールを打つためにゴルフクラブを振る動作（以下、ゴルフスイングと記載する）を行うヒトを静止画像又は動画等の画像として撮像してゴルフスイング中の姿勢やゴルフクラブのヘッドの位置等を確認可能とするゴルフスイングの解析システムが知られている。従来のゴルフスイングの解析システムとして、例えば動画上において動作する複数のポイントを数値化して所定の数値データと比較することでゴルフスイングを分析する構成（例えば特許文献１）、マイクを設けてゴルフクラブのヘッドがゴルフボールを打つ瞬間（インパクト瞬間）に生ずる音をマイクが取得したタイミングをインパクト瞬間と判断してゴルフスイングの分析を行う構成（例えば特許文献２）、ゴルフスイングの画像と分析結果を一画面上で対比して表示する構成（例えば特許文献３）等がある。これらのゴルフスイングの解析システムの中には、複数のカメラを用いてそれぞれ異なる角度からゴルフスイングを行うヒト（被写体）を撮像するものもある。

特許第２７９４０１８号公報 特開２００６−２６３１６９号公報 特許２００３−０８８６０４号公報

ところで、複数のカメラを用いて被写体を撮像するゴルフスイングの解析システムにおいては、それぞれのカメラにより撮像された画像を同期させたいという需要がある。なぜなら、同一のタイミングにおける複数の異なる視点からの画像を確認することで、ゴルフスイング中の被写体の姿勢等をより正確に把握することができるからである。また、ゴルフスイング中の被写体に加えて、ゴルフボールを載置するピン付近を拡大撮像することでインパクト瞬間におけるゴルフボールとゴルフクラブのヘッドの位置関係を把握する機能も有するゴルフスイングの解析システムもあるが、このようなシステムではインパクト瞬間の被写体の姿勢を撮影した画像と、インパクト瞬間におけるゴルフボールとゴルフクラブのヘッドの位置関係を拡大撮影した画像とを同期させたいという需要がある。ゴルフスイング中の被写体の姿勢とゴルフボールとゴルフクラブのヘッドの位置関係とを連動させることで、より正確にゴルフスイングの状態を把握できるからである。

しかしながら、従来のゴルフスイングの解析システムでは、複数のカメラにより撮像された複数の画像を同期させる場合、複雑な構成を要するため、容易に導入できるものではなかった。
例えば、音によりインパクト瞬間を取得して画像を同期させる場合、各カメラがマイクを備える必要が生じる上、画像と音声とを時系列に沿って同期させながら継続して記録しなければならないため、高度な性能を有するカメラ及び記録装置が必要となり、コスト高となる。加えて、カメラの位置関係によってはインパクト瞬間に伴う音の到達タイミングがずれ、同期が不完全となる場合がある。
一方、各カメラが撮像した画像を専用のアルゴリズムで解析し、その解析結果に基づき複数のカメラの画像を同期させる方法があるが、このようなシステムの場合、解析を行うための画像中のポイント等があらかじめ定められている都合上、各カメラのアングルはほぼ固定されるため自由度が低い。加えて、被写体の身長やゴルフスイングのモーション、その他の条件によっては解析結果に基づく同期が不正確となる可能性があり、信頼性に欠ける。さらに、専用のアルゴリズムによる処理を行うためのソフトウェア開発によりシステムが高コストとなる。

複数の画像を同期させるシステムにおける従来技術の問題点は、ゴルフスイングの解析システムに限らず、動体の移動軌跡を複数のカメラによりそれぞれ異なる角度から撮像する構成において生ずる普遍的な問題である。

上記課題を解決するため、本発明による画像処理装置は、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、を備え、前記取得手段により取得した複数の動画像は、単位時間毎に撮影された画像フレームの数が各々異なっており、前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、ユーザーに指定させた画像フレームの位置を、前記選択手段により選択した姿勢に対応する画像フレームの位置として特定し、前記第１の動画像とは異なる第２の動画像については、各動画像における前記単位時間毎に撮影された画像フレームの数の違いと、前記第１の動画像に対してユーザーが指定した画像フレームの位置に基づいて前記選択手段により選択した姿勢に対応する画像フレームの位置を自動的に特定することを特徴とする。

上記課題を解決するため、他の態様による画像処理装置は、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、を備え、前記選択手段は、前記特定動作における複数の体勢のうちの複数を選択し、前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、前記選択手段により選択した複数の姿勢の各々に対応する画像フレームの位置をユーザーの操作に基づいて特定した後、前記第１の動画像内の第１の姿勢に対応する画像フレームの位置に対応する前記第１の動画像とは異なる第２の動画像内の前記第１の姿勢に対応する画像フレームの位置がユーザーにより指定されると、前記第１の動画像内の前記第１の姿勢とは異なる第２の姿勢に対応する画像フレームの位置に対応する前記第２の動画像内の前記第２の姿勢に対応する画像フレームの位置を自動的に特定し、前記同期手段は、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した複数の姿勢の各々に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させることを特徴とする。

上記課題を解決するため、他の態様による画像処理装置は、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、ユーザーの操作に基づいて画像フレームを選択するための操作入力手段と、少なくとも一の動画像に含まれる画像フレーム送り用の調整ゲージを有する第１操作画面を表示させ、この第１操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第１の指定手段と、前記第１の指定手段により指定された画像フレームと、当該画像フレームに対応する他の動画像に含まれる画像フレーム送り用の調整ゲージとからなる第２操作画面を表示させ、この第２操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第２の指定手段と、を備え、前記特定手段は、前記第１の指定手段により指定された画像フレームと、前記第２の指定手段により指定された画像フレームとを、前記選択手段により選択した姿勢に対応する各々の動画像の画像フレームとして特定することを特徴とする。

上記課題を解決するため、本発明による制御方法は、画像処理装置による動画像の再生を制御する制御方法であって、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得処理と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択処理と、前記取得処理により取得した複数の動画像の各々について、前記選択処理により選択した姿勢に対応する画像フレームの位置を特定する特定処理と、前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期処理と、を含み、前記取得処理により取得した複数の動画像は、単位時間毎に撮影された画像フレームの数が各々異なっており、前記特定処理は、前記取得処理により取得した複数の動画像のうちの第１の動画像について、ユーザーに指定させた画像フレームの位置を、前記選択処理により選択した姿勢に対応する画像フレームの位置として特定し、前記第１の動画像とは異なる第２の動画像については、各動画像における前記単位時間毎に撮影された画像フレームの数の違いと、前記第１の動画像に対してユーザーが指定した画像フレームの位置に基づいて前記選択処理により選択した姿勢に対応する画像フレームの位置を自動的に特定することを特徴とする。
上記課題を解決するため、他の態様による制御方法は、画像処理装置による動画像の再生を制御する制御方法であって、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得処理と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択処理と、前記取得処理により取得した複数の動画像の各々について、前記選択処理により選択した姿勢に対応する画像フレームの位置を特定する特定処理と、前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期処理と、を含み、前記選択処理は、前記特定動作における複数の
体勢のうちの複数を選択し、前記特定処理は、前記取得処理により取得した複数の動画像のうちの第１の動画像について、前記選択処理により選択した複数の姿勢の各々に対応する画像フレームの位置をユーザーの操作に基づいて特定した後、前記第１の動画像内の第１の姿勢に対応する画像フレームの位置に対応する前記第１の動画像とは異なる第２の動画像内の前記第１の姿勢に対応する画像フレームの位置がユーザーにより指定されると、前記第１の動画像内の前記第１の姿勢とは異なる第２の姿勢に対応する画像フレームの位置に対応する前記第２の動画像内の前記第２の姿勢に対応する画像フレームの位置を自動的に特定し、前記同期処理は、前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した複数の姿勢の各々に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させることを特徴とする。
上記課題を解決するため、他の態様による制御方法は、画像処理装置による動画像の再生を制御する制御方法であって、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得処理と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択処理と、前記取得処理により取得した複数の動画像の各々について、前記選択処理により選択した姿勢に対応する画像フレームの位置を特定する特定処理と、前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期処理と、ユーザーの操作に基づいて画像フレームを選択するための操作入力処理と、少なくとも一の動画像に含まれる画像フレーム送り用の調整ゲージを有する第１操作画面を表示させ、この第１操作画面に基づいて前記操作入力処理を介して画像フレームを指定する第１の指定処理と、前記第１の指定処理により指定された画像フレームと、当該画像フレームに対応する他の動画像に含まれる画像フレーム送り用の調整ゲージとからなる第２操作画面を表示させ、この第２操作画面に基づいて前記操作入力処理を介して画像フレームを指定する第２の指定処理と、を含み、前記特定処理は、前記第１の指定処理により指定された画像フレームと、前記第２の指定処理により指定された画像フレームとを、前記選択処理により選択した姿勢に対応する各々の動画像の画像フレームとして特定することを特徴とする。

上記課題を解決するため、本発明によるプログラムは、コンピュータを、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、として機能させ、前記取得手段により取得した複数の動画像は、単位時間毎に撮影された画像フレームの数が各々異なっており、前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、ユーザーに指定させた画像フレームの位置を、前記選択手段により選択した姿勢に対応する画像フレームの位置として特定し、前記第１の動画像とは異なる第２の動画像については、各動画像における前記単位時間毎に撮影された画像フレームの数の違いと、前記第１の動画像に対してユーザーが指定した画像フレームの位置に基づいて前記選択手段により選択した姿勢に対応する画像フレームの位置を自動的に特定することを特徴とする。
上記課題を解決するため、他の態様によるプログラムは、コンピュータを、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、として機能させ、前記選択手段は、前記特定動作における複数の体勢のうちの複数を選択し、前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、前記選択手段により選択した複数の姿勢の各々に対応する画像フレームの位置をユーザーの操作に基づいて特定した後、前記第１の動画像内の第１の姿勢に対応する画像フレームの位置に対応する前記第１の動画像とは異なる第２の動画像内の前記第１の姿勢に対応する画像フレームの位置がユーザーにより指定されると、前記第１の動画像内の前記第１の姿勢とは異なる第２の姿勢に対応する画像フレームの位置に対応する前記第２の動画像内の前記第２の姿勢に対応する画像フレームの位置を自動的に特定し、前記同期手段は、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した複数の姿勢の各々に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させることを特徴とする。
上記課題を解決するため、他の態様によるプログラムは、コンピュータを、被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、ユーザーの操作に基づいて画像フレームを選択するための操作入力手段と、少なくとも一の動画像に含まれる画像フレーム送り用の調整ゲージを有する第１操作画面を表示させ、この第１操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第１の指定手段と、前記第１の指定手段により指定された画像フレームと、当該画像フレームに対応する他の動画像に含まれる画像フレーム送り用の調整ゲージとからなる第２操作画面を表示させ、この第２操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第２の指定手段と、として機能させ、前記特定手段は、前記第１の指定手段により指定された画像フレームと、前記第２の指定手段により指定された画像フレームとを、前記選択手段により選択した姿勢に対応する各々の動画像の画像フレームとして特定することを特徴とする。

請求項６記載の発明によるプログラムは、コンピュータを、
画像フレームを選択するための操作入力手段と、撮影対象を複数の撮影方向から撮影して得られた複数グループの非同期動画像から前記各複数グループ単位の静止画像を得て、少なくとも一の静止画像の動作シーンと画像フレーム送り用の調整ゲージとからなる第１操作画面を表示手段に表示させ、前記第１操作画面に基づいて前記操作入力手段を介して選択された基準動作シーンと当該基準動作シーンに対応する他の静止画像の動作シーンと画像フレーム送り用の調整ゲージとからなる第２操作画面を表示手段に表示させ、前記基準動作シーンと前記第２操作画面で選択された一の静止画像とを同期した静止画像として対応付ける制御手段、として機能させることを特徴とする。

本発明によれば、複数のカメラによりそれぞれ異なる角度から撮像された画像を良好に同期させることができる。

本発明の一実施形態である画像処理装置を用いたゴルフスイング解析システムを示す図である。 画像処理装置の構成を示すブロック図である。 画像処理装置の処理内容を示すフローチャートである。 同期動画作成により作成された動画ファイルの再生画面Ｄ１の一例を示す。 記憶装置の記憶内容を示すブロック図である。 基準位置情報テーブルの一例を示す図であり。図６（ａ）は初期化された基準位置情報テーブルの一例を示す図であり、図６（ｂ）はスイング対象抽出後の基準位置情報テーブルの一例を示す図であり、図６（ｃ）はスイング画像同期後の基準位置情報テーブルの一例を示す図である。 第１の座標データ及び第２の座標データの一例を示す図である。図７（ａ）は第１の座標データの一例を示す図であり、図７（ｂ）は第２の座標データの一例を示す図である。 「正面静止画像」におけるゴルフクラブのヘッド及びゴルフボールの移動軌跡を描画した画面の一例を示す図である。 「後方静止画像」におけるゴルフクラブのヘッド及びゴルフボールの移動軌跡を描画した画面の一例を示す図である。 「ボール静止画像」におけるゴルフクラブのヘッド及びゴルフボールの移動軌跡を描画した画面の一例を示す図である。 スイング対象抽出画面の表示内容及びその遷移の一例を示す図である。図１１（ａ）は初期表示内容を示す図であり、図１１（ｂ）は「テークバック開始」の静止画像選択時を示す図であり、図１１（ｃ）は「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」及び「フォロースルー終了」の静止画像選択後を示す図である。 スイング画像同期画面の一例を示す図である。 スイング対象抽出の処理内容のうち、ステップＳ２１からステップＳ３１までの処理内容を示すフローチャートである。 スイング対象抽出の処理内容のうち、ステップＳ３２からステップＳ４４までの処理内容を示すフローチャートである。 スイング画像同期の処理内容のうち、ステップＳ５１からステップＳ６０までの処理内容を示すフローチャートである。 スイング画像同期の処理内容のうち、ステップＳ６１からステップＳ７３までの処理内容を示すフローチャートである。

以下、図を参照して本発明の実施形態について詳細に説明する。

図１に、本発明の一実施形態である画像処理装置を用いたゴルフスイング解析システム１を示す。ゴルフスイング解析システム１は、３台のカメラ２、３、４と、ＨＵＢ５と、画像処理装置１０と、プリンタ６と、ディスクライタ７と、を備える。

カメラ２、３、４は、ゴルフスイングを行う被写体Ｈ又はゴルフボールを載置するピンＰ及びその付近をそれぞれ異なる角度から撮像する。以下の説明において、ゴルフボールが飛翔する方向を前方、その反対側を後方とし、被写体Ｈから見てゴルフボールが載置される側を正面とする。本実施形態において、カメラ２，３，４は、1200[fps]のハイスピード動画撮影が可能なハイスピードデジタルカメラである。
カメラ２はゴルフスイングを行うヒトである被写体Ｈの正面側から被写体Ｈを撮像し、カメラ３は同被写体Ｈの後方から被写体Ｈを撮像する。カメラ４は被写体Ｈの正面側からピンＰ及びその付近を撮像することで、ゴルフボール及びゴルフボールを打つゴルフクラブのヘッドを撮像する。画像編集の際に表示される撮像画像は静止画像であるが、カメラ２、３、４は撮像画像を動画として出力する。
カメラ２、３、４はバッファメモリ（図示略）を有し、各カメラは撮像画像をバッファメモリに格納し、後に外部へ転送出力する。

カメラ２、３、４は、動画撮像時の秒間撮像フレーム数（frame per second、以降fpsと記載）を300〜1200[fps]に設定することができる。本実施形態において、カメラ２、３は300[fps]、カメラ４は1200[fps]で撮像を行う。

ＨＵＢ５は、３台のカメラ２、３、４と画像処理装置１０との間に介在する集線装置であり、３台のカメラ２、３、４と画像処理装置１０とを接続する。

画像処理装置１０は、スイング解析を行う。スイング解析は、３台のカメラ２、３、４による撮像動画の記憶と、当該撮像動画をもとにした各種の処理を指す。スイング解析の詳細については後述する。

プリンタ６は、画像処理装置１０が行う印刷処理により、印刷媒体（例えば紙等）に対して印刷を施す機器である。プリンタ６は、例えばページプリンタ等の印刷装置により構成される。
ディスクライタ７は、画像処理装置１０の制御によりデジタルデータをＤＶＤメディアに書き込む機器である。

次に、画像処理装置１０の構成について説明する。図２は、画像処理装置１０の構成を示すブロック図である。
画像処理装置１０は、ＣＰＵ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、表示装置１６と、インターフェース１７、１８、１９と、これらの各構成を相互接続するバス２０と、を有する。
本実施形態において、画像印刷装置１０は、例えば、パーソナルコンピュータ、デスクトップコンピュータ等の情報処理装置により構成される。

ＣＰＵ１１は、ＲＯＭ１３や記憶装置１４からプログラム、データ等を読み込んで実行処理すると共に、画像処理装置１０の各部や画像処理装置１０に接続されている各構成の動作制御を行う。ＣＰＵ１１が読み込んだプログラム、データ等及びＣＰＵ１１の処理において一時的に生じたパラメータ等はＲＡＭ１２に格納される。

ＲＯＭ１３は、例えばＲＯＭチップ等であり、プログラム、データ等を書き換え不可能に記憶する。
記憶装置１４は、例えばハードディスクドライブやフラッシュメモリ等であり、プログラム、データ等を書き換え可能に記憶することができる。

入力装置１５は、例えばキーボードやマウス等であり、オペレータの手動による画像処理装置１０に対する入力処理を可能とする。

表示装置１６は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ(Electro-Luminescence)ディスプレイ等により構成され、画像処理装置１０の画面出力処理に応じた内容を表示する。

インターフェース１７、１８、１９は、例えばＵＳＢ（Universal Serial Bus）等のバスインターフェースであり、画像処理装置１０と外部機器との接続を可能にする。カメラ２、３、４はＨＵＢ５を介してインターフェース１７に接続され、プリンタ６はインターフェース１８に接続され、ディスクライタ７はインターフェース１９に接続される。

次に、スイング解析の処理内容について説明する。図３は、スイング解析の処理内容を示すフローチャートである。

まず、３つのカメラ２、３、４による３方向からの撮影を行う（ステップＳ１）。撮影は、オペレータによる所定の入力操作により、画像入力装置１０が３台のカメラ２、３、４を動作させて被写体Ｈを撮像する処理である。３台のカメラ２、３、４による撮像動画は、画像処理装置１０に転送され、画像処理装置１０は転送された撮像動画を記憶装置１４に記憶する。

次に、画像処理装置１０は静止画像生成を行う（ステップＳ２）。静止画像生成は、記憶装置１４に記憶された各撮像動画から静止画像を生成する処理である。生成された静止画像は記憶装置１４に記憶される。

次に、オペレータの入力内容に基づき画像処理装置１０はスイング対象抽出を行う（ステップＳ３）。スイング対象抽出は、静止画像に分割された画像のうち、カメラ２が撮像した画像についてゴルフスイング中を撮像した画像の範囲（スイング対象）を決定する処理である。これは、カメラ２、３、４による動画撮像時にゴルフスイング中でない撮像画像が含まれることがあるために行われる処理である。ゴルフスイング中でない撮像画像として、例えば被写体Ｈが姿勢を整える動作を行っている最中や、被写体Ｈがその他の動作（例えば煙草を吸う等）を行っている最中の撮像画像等が挙げられる。カメラ３、４が撮像した画像についてはスイング対象抽出を行わないが、後述するスイング画像同期によってスイング対象が決定される。

次に、オペレータの入力内容に基づき画像処理装置１０はスイング画像同期を行う（ステップＳ４）。スイング画像同期は、３方向からの静止画像を同期させる処理であり、カメラ２、３、４がそれぞれ撮像した画像の静止画像について、同じタイミングを撮像した静止画像を対応付ける。

次に、オペレータの入力内容に基づき画像処理装置１０は移動状態プロットを行う（ステップＳ５〜７）。移動状態プロットは、３方向からの画像のそれぞれについて、所定の間引き数に基づきピックアップされた各静止画像におけるゴルフクラブのヘッドの位置を座標データとして記憶する処理である。インパクト位置以降の静止画像のうち、ゴルフボールが写っている静止画像についてはゴルフボールの位置についても座標データとして記憶する。ゴルフクラブのヘッドの位置及びゴルフボールの位置の入力はオペレータの手動入力による。移動状態プロットは、カメラ２、３、４の撮像した画像の静止画像それぞれに対して個別に行われる。

次に、画像処理装置１０はスイングスピード解析を行う（ステップＳ８）。スイングスピード解析は、ゴルフスイング中のゴルフクラブのヘッドの移動速度の算出処理である。スイングスピード解析は、移動状態プロットによって入力されたゴルフクラブのヘッド位置に基づき行われる。

次に、画像処理装置１０はスイングフォーム印刷を行う（ステップＳ９）。スイングフォーム印刷は、ゴルフスイング中の画像を所定のルールに基づきピックアップして印刷する処理である。

稼動状態プロット、スイング解析及びスイングフォーム印刷と並行して、又はこれらと別工程で、画像処理装置１０は同期動画作成を行うことができる（ステップＳ１０）。同期動画作成は、スイング画像同期が終了した静止画像を合成して一つの動画に変換し、その一つの動画ファイルの再生によって３つのカメラ２、３、４による撮像動画が同期して再生される動画ファイルを作成する処理である。ＣＰＵ１１は、同期動画作成により作成された動画ファイルを再生することで、ステップＳ４のスイング画像同期を経て同期した静止画像に基づいて複数グループの画像を同期させて再生する。
図４に、同期動画作成により作成された動画ファイルの再生画面Ｄ１の一例を示す。図４に示すように、同期動画作成により作成された動画ファイルの再生画面Ｄ１には、カメラ２、３、４によって撮影された３つの画像（正面の動画像、側面の動画像及びボールの動画像）が一画面上で同期した状態で再生される。

画像処理装置１０による処理は、ＣＰＵ１１がスイング解析アプリケーション２１を実行処理することで行われる。スイング解析アプリケーション２１は記憶装置１４に記憶され、ＣＰＵ１１によって読み出され、解釈処理される。

図５は、記憶装置１４の記憶内容を示すブロック図である。記憶装置１４は少なくとも、スイング解析アプリケーション２１を記憶する。スイング解析アプリケーションは、撮影指示プログラム２１ａ、スイング対象抽出プログラム２１ｂ、スイング画像同期プログラム２１ｃ、移動状態プロットプログラム２１ｄ、スイングスピード解析プログラム２１ｅ、スイングフォーム印刷プログラム２１ｆ、同期動画作成プログラム２１ｇ等の各種プログラム部品を含む。
ステップＳ１の撮影の処理内容は撮像支持プログラム２１ａに含まれる。ステップＳ２の静止画像生成及びステップＳ３スイング対象抽出の処理内容はスイング対象抽出プログラムに含まれる。ステップＳ４のスイング画像同期の処理内容はスイング画像同期プログラムに含まれる。ステップＳ５〜Ｓ７の移動状態プロットの処理内容は移動状態プロットプログラム２１ｄに含まれる。ステップＳ８のスイングスピード解析の処理内容はスイングスピード解析プログラム２１ｅに含まれる。ステップＳ９のスイングフォーム印刷の処理内容は、スイングフォーム印刷プログラム２１ｆに含まれる。ステップＳ１０の同期動画作成の処理内容は同期動画作成プログラム２１ｇに含まれる。

図示しないが、記憶装置１４は、３つの動画ファイル（ファイルＦＲ、ファイルＢＫ及びファイルＢＬ）、生成される複数の静止画像、後述する基準位置情報テーブル、第１の座標データ、第２の座標データ、各動画のfps等を記憶するための記憶領域を有する。

ここで、画像処理装置１０が行う各処理において処理対象となるデータ（ファイル）及び処理結果となるデータ（ファイル）又は印刷物等のメディアについて説明する。

ステップＳ１の撮影によって３つの動画ファイルが記憶装置１４に記憶される。以降の説明において、カメラ２の撮像による動画ファイルをファイルＦＲ、カメラ３の撮像による動画ファイルをファイルＢＫ、カメラ４の撮像による動画ファイルをファイルＢＬとする。

ステップＳ２によって各動画ファイルから静止画像が生成される。つまり、各動画を元とする３つのグループの静止画像が生成され、各グループには同じ動画から生成された静止画像が複数含まれる。このとき、各静止画像ファイルには元となった動画ファイルの名称の末尾に番号を付したファイル名が付与される。番号は、初期値１の連番であり、各動画の最初のフレームに１が付与され、以降継続するフレームの番号は順次増加する。ファイルＦＲから生成された静止画像を例に挙げると、「ＦＲ００００００１」、「ＦＲ００００００２」…のように、７桁の連番による番号が元の動画ファイル名の末尾に付されたファイル名が付与される。
ファイルＢＫ、ファイルＢＬを元に生成された静止画像についても同様である。以降の説明において、各静止画像に付与される元となった動画ファイルのファイル名の末尾に続く番号部分を「静止画像の番号」と記載し、元となった動画が「ＦＲ」の静止画像を「正面静止画像」と記載し、元となった動画が「ＢＫ」の静止画像を「後方静止画像」と記載し、元となった動画が「ＢＬ」の静止画像を「ボール静止画像」と記載する。

生成される静止画像の枚数は、各動画のfpsに応じる。例えば、300[fps]の動画を静止画像にした場合、１秒間の撮像動画に対応した静止画像は300[枚]生成される。つまり、一の静止画像は、元の動画における一の画像フレームに対応する。
画像処理装置１０は、各カメラのfpsを変数で管理、記憶する。具体的には、カメラ２のfpsを変数FRfpsの値とし、カメラ３のfpsを変数BKfpsの値とし、カメラ４のfpsを変数BLfpsの値として記憶装置１４に記憶する。ＣＰＵ１１は、FRfpsの値に応じた枚数の静止画像をファイルＦＲから生成し、BKfpsの値に応じた枚数の静止画像をファイルＢＫから生成し、BLfpsの値に応じた枚数の静止画像をファイルＢＬから生成する。

ステップＳ３のスイング対象抽出によって、基準位置情報テーブル情報が生成、更新される。
図６に基準位置情報テーブルの一例を示す。図６（ａ）は初期化された基準位置情報テーブルを示し、図６（ｂ）はスイング対象抽出後の基準位置情報テーブルを示し、図６（ｃ）はスイング画像同期後の基準位置情報テーブルを示す。

基準位置情報テーブルは、ゴルフスイング中の被写体Ｈの体勢のうち、「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」に対応する静止画像の番号を記憶するテーブルである。
「テークバック開始」は、被写体Ｈがゴルフボールを打つ前の動作としてゴルフクラブを後方経由で振り上げる動作（テークバック）を開始する動作シーンである。「振り下ろし開始」は、被写体Ｈがゴルフボールを打つため、テークバック後にゴルフクラブを振り下ろす動作を開始する動作シーンである。「インパクト瞬間」は、ゴルフクラブのヘッドがゴルフボールを打つ動作シーンである。「フォロースルー終了」は、ゴルフボールを打った後、被写体Ｈがゴルフクラブを前方へ振りぬく動作を終了する動作シーンである。

図６（ａ）、（ｂ）、（ｃ）に示すように、基準位置情報テーブルは、「正面静止画像」、「後方静止画像」及び「ボール静止画像」のそれぞれについて「テークバック開始」位置、「振り下ろし開始」位置、「インパクト瞬間」位置、「フォロースルー終了」位置に対応する静止画像の番号を記憶する。基準位置情報テーブルは記憶装置１４に記憶される。

ステップＳ３のスイング対象抽出では、「正面静止画像」について、「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」に対応する静止画像を手動で指定する。このとき、「テークバック開始」に対応する静止画像、「フォロースルー終了」に対応する静止画像及びその間の静止画像がスイング対象となる。

ステップＳ４のスイング画像同期によって、図６（ｃ）に示すように、「正面静止画像」、「後方静止画像」及び「ボール静止画像」のそれぞれについて、「テークバック開始」位置、「振り下ろし開始」位置、「インパクト瞬間」位置、「フォロースルー終了」位置に対応する静止画像の番号が記憶される。これに伴い、「後方静止画像」及び「ボール静止画像」のスイング対象も決定する。

ステップＳ５〜Ｓ７の移動状態プロットによって、各静止画像像に写ったゴルフクラブのヘッド位置及びゴルフボールの第１の座標データが記憶される。
図７に、座標データの一例を示す。図７（ａ）はヘッド位置及びボール位置の座標データ（第１の座標データ）、図７（ｂ）はラインの座標データ（第２の座標データ）である。

図７（ａ）に示すように、第１の座標データはファイル名ならびにヘッド位置及びボール位置のＸ座標及びＹ座標を示すパラメータを有するテーブルデータである。ヘッド位置はゴルフクラブのヘッドの位置を示し、ボール位置はゴルフボールの位置を示す。第１の座標データはＸ座標及びＹ座標によって表される。Ｘ座標及びＹ座標によりヘッド位置及びボール位置を特定するための原点は、あらかじめ静止画像の所定位置（例えば矩形の画像データの左下角の座標）に定められている。第１の座標データのヘッド位置及びボール位置のＸ座標及びＹ座標は全ての静止画像に対して記憶されるのではなく、前述のように所定の間引き数に基づいてピックアップされた各静止画像について記憶される。

図７（ａ）に示す第１の座標データは、「正面静止画像」の第１の座標データであるが、「後方静止画像」及び「ボール静止画像」についても同様の仕組みで第１の座標データが記憶される。

また、各静止画像の座標位置データを一画面上に表示することでゴルフクラブのヘッドの移動軌跡及びゴルフボールの移動軌跡を描画することができる。
図８及至図１０に、ゴルフスイング中のゴルフクラブのヘッド及びゴルフボールの移動軌跡を描画した画面の一例を示す。図８は「正面静止画像」における移動軌跡を示し、図９は「後方静止画像」における移動軌跡を示し、図１０は「ボール静止画像」における移動軌跡を示す。以降の説明及び図において、各静止画像の表示内容に含まれるゴルフクラブのヘッドに符号Ｗを付する。

ステップＳ５の移動状態プロット（正面）によって、「正面静止画像」におけるゴルフクラブのヘッドＷ及びゴルフボールの第１の座標データが記憶される。第１の座標でーたによって、図８に示すように「正面静止画像」におけるゴルフクラブのヘッドＷの座標（プロットＱ）及びゴルフボールの座標（プロットＳ）を描画することができ、プロットＱからゴルフクラブのヘッドの移動軌跡Ｒを、プロットＳからゴルフボールの移動軌跡Ｔを得ることができる。同様に、ステップＳ６の移動状態プロット（後方）によって「後方静止画像」の第１の座標データ及び移動軌跡が得られ、ステップＳ７の移動状態プロット（ボール）によって「ボール静止画像」の第１の座標データ及び移動軌跡が得られる。
図８〜１０において、プロットＱを白丸、移動軌跡Ｒを破線、プロットＳを黒丸、移動軌跡Ｔを実線で示す。プロットＱは移動軌跡Ｒ上のひとつの白丸にのみ付されているが、移動軌跡Ｒ上の白丸はいずれもプロットＱである。プロットＳは移動軌跡Ｔ上のひとつの黒丸にのみ付されているが、移動軌跡Ｔ上の黒丸はいずれもプロットＳである。

図８及び図９に示すゴルフスイング中のゴルフクラブのヘッド及びゴルフボールの移動軌跡を描画した画面において、ラインＬを描画することができる。ラインＬは直線であり、ラインの一端側を開始位置、他端側を終了位置とし、開始位置及び終了位置を静止画像に対するＸ座標、Ｙ座標として図７（ｂ）に示す第２の座標データに記憶する。

図７（ｂ）に示すように、第２の座標データはライン種類と、開始位置及び終了位置のＸ座標、Ｙ座標とを対応付けるテーブル形式のデータである。ライン種類は、ラインＬが垂直のラインＬであるか斜めのラインＬであるかを示すパラメータであり、垂直のラインＬは図８に示すように正面静止画像に対して施され、斜めのラインＬは図９に示すように後方静止画像に施される。図８に示すように一つの種類の静止画像に複数のラインＬが施される場合、その開始位置及び終了位置の各座標は個別に第２の座標データに記憶される。

図７（ａ）、（ｂ）に示す各座標データのＸ座標、Ｙ座標にはそれぞれＸ又はＹのアルファベット一文字と３桁の数値で表されたパラメータが記載されているが、実際の座標データはＸ座標、Ｙ座標を示す値を記憶する。

ステップＳ８のスイングスピード解析によって、ゴルフクラブのヘッドの移動速度が得られる。スイングスピード解析で得られるゴルフクラブのヘッドの移動速度は、ゴルフスイング中全般に渡るゴルフクラブのヘッドの移動速度の平均である。

ステップＳ９のスイングフォーム印刷によって、所定のルールに基づきピックアップされた静止画像を印刷することができる。印刷は、「正面静止画像」、「後方静止画像」及び「ボール静止画像」のそれぞれについて個別に行うことができる。

ステップＳ１０の同期動画作成によって、３つのカメラ２、３、４による撮像動画が同期して再生される一つの動画ファイルが生成される。同期動画作成によって得られた一つの動画ファイルは、ディスクライタ７を用いてＤＶＤビデオディスクのデータとしてＤＶＤメディアに記録する等の外部出力やその他の活用が可能である。

次に、スイング対象抽出の詳細について説明する。
スイング対象抽出の開始時、画像処理装置１０のＣＰＵ１１は、基準位置情報テーブルを初期化状態で生成する。初期化状態の基準位置情報テーブルは、図６（ａ）に示すように、「正面静止画像」、「後方静止画像」及び「ボール静止画像」の全ての「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」及び「フォロースルー終了」の静止画像の番号について最小の番号（0000001）を記憶している。

そして、ＣＰＵ１１は表示装置１６に「第１操作画面」としてのスイング対象抽出画面を表示させる。
図１１に、スイング対象抽出画面の表示内容及びその遷移の一例を示す。図１１（ａ）は初期表示内容を示し、図１１（ｂ）は「テークバック開始」の静止画像選択時を示し、図１１（ｃ）は「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」及び「フォロースルー終了」の静止画像選択後を示す。
図１１（ａ）〜（ｃ）に示すように、スイング対象抽出画面は、４枚の静止画像と、画像送りゲージ３０とを表示する。４枚の静止画像は横方向（１行）に並ぶよう表示され、左側から順に「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像と対応する。画像送りゲージ３０は、表示される静止画像を変更するためのインターフェースである。

スイング対象抽出画面に表示される静止画像は「正面静止画像」であり、その静止画像の番号は基準位置情報テーブルに対応する。つまり、基準位置情報テーブルが初期化状態のとき、スイング対象抽出画面に表示される静止画像の番号は４枚全てについて「0000001」である。スイング対象抽出画面の表示処理が行われるとき、基準位置情報テーブルは初期化状態である。

その後、オペレータは４つの静止画像それぞれについて別の静止画像を選択する操作を行う。具体的には、オペレータは４つの静止画像のうちいずれか一つをクリック操作する。ＣＰＵ１１はクリック操作された静止画像にフォーカスを当てる処理を行う。図１１（ｂ）では、フォーカスの当たった静止画像を破線で囲うことで示す。
その後、オペレータは画像送りゲージ３０を操作してフォーカスの当たっている静止画像を変更する。画像送りゲージ３０の操作は、矢印ボタン３２、３２の操作又はゲージの空白部分３３に対するクリック操作のいずれか一方によって行うことができる。

オペレータが矢印ボタン３２、３２をクリックすると、フォーカスの当たっている静止画像の表示内容が、それまで表示されていた静止画像の番号より１大きい又は１小さい静止画像の番号を有する静止画像に更新される。このとき、画像送りゲージ３０の右端に位置する矢印ボタン３２をクリック操作すると静止画像の番号が１大きい静止画像に更新され、画像送りゲージ３０の左端に位置する矢印ボタン３１をクリックすると静止画像の番号が１小さい静止画像に更新される。それまで表示されていた静止画像の番号が既に最大である場合、右端の矢印ボタン３１をクリックしても静止画像の表示内容は更新されない。それまで表示されていた静止画像の番号が既に最小である場合、左端の矢印ボタン３２をクリックしても静止画像の表示内容は更新されない。

オペレータがゲージの空白部分３３をクリックすると、フォーカスの当たっている静止画像の表示内容が、それまで表示されていた静止画像の番号より所定のスキップ量大きい又は所定のスキップ量小さい静止画像の番号を有する静止画像に更新される。このとき、画像送りゲージ３０のスクロールゲージ３４の右側の空白部分３３をクリックすると静止画像の番号が所定のスキップ量大きい静止画像に更新され、スクロールゲージ３４の左側の空白部分３３をクリックすると静止画像の番号が所定のスキップ量小さい静止画像に更新される。スクロールゲージ３４の右側の空白部分３３をクリックしたとき、スクロールゲージ３４の表示されている静止画像と静止画像の番号が最大の静止画像との間の静止画像の番号の差が所定のスキップ量に満たない場合、フォーカスの当たっている静止画像の表示内容は更新されない。スクロールゲージ３４の左側の空白部分３３をクリックしたとき、スクロールゲージ３４の表示されている静止画像と静止画像の番号が最小の静止画像との間の静止画像の番号の差が所定のスキップ量に満たない場合、フォーカスの当たっている静止画像の表示内容は更新されない。

所定のスキップ量は、任意に定めることができる。本実施形態では、スキップ量を決定するための変数（例えば変数SKIP）を記憶装置１４に記憶させて管理し、ＣＰＵ１１が当該変数に設定された値を読み込んでスキップ量を制御する。

スキップ対象抽出において、オペレータは、４つの静止画像について、フォーカスを当てる静止画像の選択と画像送りゲージ３０に対するクリック操作とを行うことによって、それぞれ「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の瞬間を撮像した静止画像を選択する。

オペレータによる画像送りゲージ３０の矢印ボタン又はゲージの空白部分３３に対するクリック操作に応じて、ＣＰＵ１１はスイング対象抽出画面において上述のようにフォーカスの当たっている静止画像の表示内容を更新すると共に、基準位置情報テーブルに記憶された静止画像の番号のうち表示内容を更新した静止画像に対応する静止画像の番号を更新する。例えば、ＣＰＵ１１は「テークバック開始」の静止画像について表示の更新を行った場合、基準情報位置テーブルのうち「正面静止画像」の「テークバック位置」の静止画像の番号を更新後の静止画像の番号に置き換える。同様の仕組みにより、スキップ対象抽出において、「正面静止画像」の「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号が更新される。

スイング対象抽出画面には、スイング対象抽出を終了することを入力指示するキーが併せて表示されている（例えば画面右上の×ボタン）。スイング対象抽出を終了することを入力指示するキーがクリックされると、ＣＰＵ１１はスイング対象抽出画面の表示を終了する。このとき、表示を終了する直前のスイング対象抽出画面に表示された「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像に対応する静止画像の番号が基準位置情報テーブルの「正面静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」にそれぞれ記憶されている。

ＣＰＵ１１は、スイング対象抽出画面の表示を終了する処理と共に、基準位置情報テーブルの「後方静止画像」及び「ボール静止画像」の静止画像の番号を更新する処理を行う。
具体的には、ＣＰＵ１１は基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号を、「正面静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号と同一とする処理を行う。

そして、ＣＰＵ１１は、「正面静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号に基づき、「ボール静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号を算出する処理を行う。算出は、以下の式（１）〜（４）による。以降記載する各式において、Ｙ１は「ボール静止画像」の「テークバック位置」の静止画像の番号を、Ｙ２は「ボール静止画像」の「振り下ろし開始」の静止画像の番号を、Ｙ３は「ボール静止画像」の「インパクト瞬間」の静止画像の番号を、Ｙ４は「ボール静止画像」の「フォロースルー終了」の静止画像の番号を示す。さらに、「ボール静止画像」の最大の静止画像の番号に対する７０％（端数切り捨て又は切り上げのいずれか一方）をＸとし、「正面静止画像」の「テークバック位置」の静止画像の番号をＸ１とし、「正面静止画像」の「振り下ろし開始」の静止画像の番号をＸ２とし、「正面静止画像」の「インパクト瞬間」の静止画像の番号をＸ３とし、「正面静止画像」の「フォロースルー終了」の静止画像の番号をＸ４とする。
Ｙ１＝Ｘ−（Ｘ３−Ｘ１）×BLfps／FRfps……（１）
Ｙ２＝Ｘ−（Ｘ３−Ｘ２）×BLfps／FRfps……（２）
Ｙ３＝Ｘ……（３）
Ｙ４＝Ｘ＋（Ｘ４−Ｘ３）×BLfps／FRfps……（４）

「ボール静止画像」の「テークバック開始」の静止画像の番号を求めるとき、式（１）に示すように、「正面静止画像」の「インパクト瞬間」の静止画像の番号と「テークバック開始」の静止画像の番号との差にBLfpsをFRfpsで除算した結果を乗算して得られた値をＸから減算する。このとき、「正面静止画像」の「インパクト瞬間」の静止画像の番号と「テークバック開始」の静止画像の番号との差は、「正面静止画像」の「インパクト瞬間」と「テークバック開始」との間にある静止画像の枚数に対応する。そして、BLfpsをFRfpsで除算した結果は、同一時間中を撮像した「正面静止画像」の枚数に対する「ボール静止画像」の枚数の比率に対応する。つまり、式（１）によって求められる「ボール静止画像」の「テークバック開始」の静止画像の番号は、「正面静止画像」の「インパクト瞬間」と「テークバック開始」との間にある静止画像の枚数及び同一時間中を撮像した「正面静止画像」の枚数に対する「ボール静止画像」の枚数の比率に対応する。式（２）によって求められる「ボール静止画像」の「振り下ろし開始」の静止画像の番号及び式（４）によって求められる「ボール静止画像」の「フォロースルー終了」の静止画像の番号も、それぞれ「正面静止画像」の「インパクト瞬間」の静止画像の番号に対する「振り下ろし開始」又は「フォロースルー終了」の静止画像の番号の関係と、同一時間中を撮像した「正面静止画像」の枚数に対する「ボール静止画像」の枚数の比率に対応する。

ＣＰＵ１１は、算出されたＹ１〜Ｙ４をそれぞれ、基準位置情報テーブルの「ボール静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号として記憶する。

次に、スイング画像同期の詳細について説明する。
スイング画像同期において、ＣＰＵ１１は表示装置１６に「第２操作画面」としてのスイング画像同期画面を表示させる。
図１２に、スイング画像同期画面の一例を示す。図１２において、ゴルフボールに符号Ｇを付して記載する。
スイング画像同期画面は、４つの静止画像を横方向（１行）に配した２行と、６つの静止画像を横方向（１行）に配した１行の計３行の表示内容を含む。各行に表示されている静止画像は、上の行から、「正面静止画像」、「後方静止画像」、「ボール静止画像」である。「正面静止画像」及び「後方静止画像」を表示する行は、左側から「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の瞬間に対応する静止画像を表示する。即ち、基準位置情報テーブルにおいて「正面静止画像」及び「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号に対応する静止画像が１、２行目に表示される。

３行目は、左から順に、基準位置情報テーブルにおける「ボール静止画像」の「インパクト瞬間」の静止画像の番号に対して−３、−２、−１、０、＋１、＋２を加算した６枚の静止画像の番号を有する「ボール静止画像」を表示する。つまり、左から４番目の静止画像が基準位置情報テーブルにおける「ボール静止画像」の「インパクト瞬間」の静止画像の番号と対応する。

オペレータは、スイング画像同期画面に表示された「後方静止画像」及び「ボール静止画像」について、「インパクト瞬間」に対応する静止画像を選択する操作を行う。
図１２に示すように、２行目の右から３番目（以後、２行目−３番目と記載）の静止画像即ち「後方静止画像」の「インパクト瞬間」の静止画像及び３行目−４番目の静止画像即ち「ボール静止画像」の「インパクト瞬間」の静止画像の下方にそれぞれ画像送りゲージ４０、５０が表示される。オペレータは、２行目−３番目の静止画像の下方に表示された画像送りゲージ４０を操作することで「後方静止画像」の「インパクト瞬間」に対応する静止画像を選択し、３行目−４番目の静止画像の下方に表示された画像送りゲージ５０を操作することで「ボール静止画像」の「インパクト瞬間」に対応する静止画像を選択する。スイング画像同期画面に表示される画像送りゲージ４０、５０の操作方法は、スイング対象抽出画面における画像送りゲージ３０と同様である。

オペレータにより２行目−３番目の画像送りゲージ４０が操作されると、ＣＰＵ１１は２行目に表示されている各静止画像の表示内容を更新する。具体的には、ＣＰＵ１１は、２行面−３番目の画像送りゲージ４０に対する操作に応じて、スイング対象抽出画面における表示内容の更新と同様の仕組みで２行目−３番目の静止画像の表示内容を更新する。

ＣＰＵ１１は、２行目−３番目の画像送りゲージ４０の操作による２行目−３番目の静止画像の更新処理と共に、２行目−３番目の画像送りゲージ４０の操作内容に応じて基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」及び「フォロースルー終了」の静止画像の番号を置き換える。具体的には、ＣＰＵ１１は、２行目−３番目の静止画像の下方の画像送りゲージ４０の操作に応じた静止画像の番号の遷移量に応じた加減算を基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」及び「フォロースルー終了」の静止画像の番号のそれぞれに行い、その算出結果により基準位置情報テーブルを更新する。例えば、２行目−３番目の画像送りゲージ４０の右端の矢印ボタンがクリック操作された場合、ＣＰＵ１１は２行目−３番目の静止画像の番号をそれまでより１大きい静止画像の番号を有する静止画像に更新すると共に、基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」及び「フォロースルー終了」の静止画像の番号にそれぞれ１を加算する。

さらに、ＣＰＵ１１は、２行目の他の静止画像の表示内容を更新後の基準位置情報テーブルの静止画像の番号に対応させる。つまり、２行目−３番目の画像送りゲージ４０の操作により、２行目に表示された４つの静止画像に対して同時に画像送りが行われることとなる。例えば、２行目−３番目の画像送りゲージ４０の右端の矢印ボタンがクリック操作された場合、２行目の４つの静止画像の表示内容はそれぞれ、それまで表示されていた静止画像の番号よりも１大きい静止画像の番号を有する静止画像に更新される。即ち、ＣＰＵ１１は、スイング画像同期画面の２行目に表示されている４つの静止画像が有する静止画像の番号と、基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号とが同一となるよう制御する。

オペレータにより３行目−４番目の画像送りゲージ５０が操作されると、ＣＰＵ１１は前述の２行目の４枚の静止画像の更新と同様の仕組みで３行目−４番目の静止画像の表示内容を更新する。

ＣＰＵ１１は、３行目−４番目の静止画像の更新処理と共に、３行目−４番目の画像送りゲージ５０の操作内容に応じて基準位置情報テーブルの「ボール静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」及び「フォロースルー終了」の静止画像の番号を算出して更新する。ＣＰＵ１１は、以下の式（５）〜（８）により、「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号を算出する。式（５）〜（８）において、Ｚはスイング画像同期画面に表示されている３行目−４番目の静止画像が有する静止画像の番号を示す。
Ｙ１＝Ｚ−（Ｘ３−Ｘ１）×BLfps／FRfps……（５）
Ｙ２＝Ｚ−（Ｘ３−Ｘ２）×BLfps／FRfps……（６）
Ｙ３＝Ｚ……（７）
Ｙ４＝Ｚ＋（Ｘ４−Ｘ３）×BLfps／FRfps……（８）

つまり、ＣＰＵ１１は、３行目−４番目に表示された静止画像の番号を「ボール静止画像」の「インパクト瞬間」に対応する静止画像の番号とし、その番号に基づき「ボール静止画像」の「テークバック位置」、「振り下ろし開始」及び「フォロースルー終了」の静止画像の番号を算出する。式（５）、（６）、（８）による「ボール静止画像」の「テークバック位置」、「振り下ろし開始」及び「フォロースルー終了」の静止画像の番号の算出結果は、前述の式（１）〜（４）と同様、「正面静止画像」の「インパクト瞬間」と「テークバック開始」との間にある静止画像の枚数及び同一時間中を撮像した「正面静止画像」の枚数に対する「ボール静止画像」の枚数の比率に対応する。

さらに、ＣＰＵ１１は、３行目の他の静止画像の表示内容を更新する。このとき、３行目の６枚の静止画像は、３行目−４番目の静止画像が有する静止画像の番号を基準として、−３、−２、−１、０、＋１、＋２を加算した静止画像の番号を有する「ボール静止画像」が左から順に並ぶよう制御される。つまり、３行目−４番目の静止画像の番号の遷移量に応じた分だけ３行目の他の静止画像の番号も遷移する。

以上により、スイング画像同期画面において、オペレータが２行目−３番目の「後方静止画像」が「インパクト瞬間」の静止画像を撮像した静止画像となるよう操作を行うと、２行目の４枚の静止画像は、左から順に、「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の瞬間に対応する静止画像となる。つまり、１行目の４つの静止画像と、２行目の４つの静止画像とは同期する関係となる。そして、基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号がスイング画像同期画面の２行目に表示された各静止画像と対応するよう置き換えられることにより、基準位置情報テーブルに記憶された「正面静止画像」の各静止画像の番号に対応した静止画像と、「後方静止画像」の各静止画像の番号に対応した静止画像とは同期する関係となる。

同様に、スイング画像同期画面において、オペレータが３行目−４番目の「ボール静止画像」が「インパクト瞬間」の静止画像を撮像した静止画像となるよう操作を行うと、３行目−４番目の静止画像は１行目−３番目の静止画像即ち「正面静止画像」の「インパクト瞬間」と同期する関係となる。そして、基準位置情報テーブルの「ボール静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号が式（５）〜（８）の算出結果による静止画像の番号に更新されることにより、基準位置情報テーブルに記憶された「正面静止画像」の各静止画像の番号に対応した静止画像と、「ボール静止画像」の各静止画像の番号に対応した静止画像とは同期する関係となる。

「正面静止画像」と「後方静止画像」とが同期し、「正面静止画像」と「ボール静止画像」とが同期することで、「後方静止画像」と「ボール静止画像」も同期する。

スイング画像同期画面では、２行目−３番目の静止画像又は３行目−４番目の静止画像に対してのみフォーカスを当てることができ、その静止画像を変更することができる。他の静止画像に対して個別にフォーカスを当て、個別に静止画像を変更することはできない。つまり、３つの静止画像の同期処理は、「正面静止画像」、「後方静止画像」及び「ボール静止画像」の同期は「インパクト瞬間」の静止画像の対応付けと、「正面静止画像」の「インパクト瞬間」の静止画像の番号と「テークバック開始」、「振り下ろし開始」及び「フォロースルー終了」の静止画像の番号との差と、「正面静止画像」の元になった動画ファイルＦＲのfpsに対する各静止画像の元になった動画ファイルのfpsの比率と、各静止画像における「インパクト瞬間」の静止画像が有する静止画像の番号とによって行われる。

スイング画像同期画面には、スイング画像同期を終了することを入力指示するキーが併せて表示されている（例えば画面右上の×ボタン）。スイング画像同期を終了することを入力指示するキーがクリックされると、ＣＰＵ１１はスイング画像同期画面の表示を終了する。このとき、表示を終了する直前のスイング画像同期画面に表示された２行目の４枚の静止画像の番号が基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」にそれぞれ記憶され、３行目−４番目の静止画像の番号に基づいて式（５）〜（８）により算出される静止画像の番号が基準位置情報テーブルの「ボール静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」にそれぞれ記憶されている。

次に、画像処理装置１０の処理の流れについて、図１３及至図１６のフローを用いて説明する。
まず、スイング対象抽出における画像処理装置１０の処理の流れについて説明する。
図１３及び図１４に、スイング対象抽出の処理内容を示すフローチャートを示す。図１３はスイング対象抽出の処理内容のうち、ステップＳ２１からステップＳ３１までの処理内容を示すフローチャートである。図１４はスイング対象抽出の処理内容のうち、ステップＳ３２からステップＳ４４までの処理内容を示すフローチャートである。

ＣＰＵ１１は、カメラ２、３、４によって撮像された動画ファイルのうちいずれか一つを記憶装置１４から読み込み（ステップＳ２１）、当該動画ファイルから静止画像を生成して（ステップＳ２２）生成した静止画像を個別のファイルとして動画ファイルの名前に連番を付して記憶装置１４に保存する（ステップＳ２３）。ステップＳ２の処理において、ＣＰＵ１１は静止画像を生成する元となる動画ファイルのfpsを取得してそのfpsに応じた秒間枚数の静止画像を生成する。そして、ＣＰＵ１１はステップＳ２の処理において取得した動画ファイルのfpsを記憶装置１４に記憶する（ステップＳ２４）。

ステップＳ２４の後、ＣＰＵ１１はカメラ２、３、４によって撮像された３つの動画の全てについて静止画像の生成及びfpsの記憶がなされたか判定する（ステップＳ２５）。３つの動画ファイルのうち、まだ静止画像が生成されていない動画ファイルがある場合（ステップＳ２５：ＮＯ）、ＣＰＵ１１は静止画像が生成されていない動画ファイルを指定して（ステップＳ２６）ステップＳ１以降の処理を行う。３つの動画ファイル全てについて静止画像の生成及びfpsの記憶がなされている場合（ステップＳ２５：ＹＥＳ）、ＣＰＵ１１は静止画像の番号が最小の「正面静止画像」を読み込み（ステップＳ２７）、基準位置情報テーブルを初期化状態で生成して記憶装置１４に記憶し（ステップＳ２８）、スイング対象抽出画面を表示装置１６に表示させる（ステップＳ２９）。ステップＳ２９で表示されたスイング対象抽出画面には、ステップＳ２７で読み込んだ「正面静止画像」が４つ並んで表示されている。

その後、ＣＰＵはスイング対象抽出画面のいずれかの静止画像に対するクリック操作が行われるまで待機する（ステップＳ３０：ＮＯ）。いずれかの静止画像に対してクリック操作が行われると（ステップＳ３０：ＹＥＳ）、ＣＰＵ１１は、その画像にフォーカスが当たっていることを示す表示を行う（ステップＳ３１）。そして、ＣＰＵ１１は、画像送りゲージ３０に対するクリック操作（ステップＳ３２、ステップＳ３７）、他の静止画像がクリック操作（ステップＳ３９）又はスイング対象抽出を終了する入力指示（ステップＳ４０）のいずれかが行われるまで待機する。

画像送りゲージ３０の矢印ボタン３２、３２のいずれか一方がクリック操作されると（ステップＳ３２：ＹＥＳ）、ＣＰＵ１１はそのときフォーカスが当たっている静止画像が有する静止画像の番号から更新後に表示する静止画像の番号を算出し（ステップＳ３３）、ステップＳ３３で算出された静止画像の番号を有する「正面静止画像」が存在するかどうか判定する（ステップＳ３４）。ステップＳ３３で算出された静止画像の番号を有する「正面静止画像」が存在する場合（ステップＳ３４：ＹＥＳ）、ＣＰＵ１１はフォーカスが当たっている静止画像の表示内容をステップＳ３３で算出された静止画像の番号を有する静止画像に置き換えて更新し（ステップＳ３５）、基準位置情報テーブルのうちフォーカスが当たっている静止画像に対応する静止画像の番号をステップＳ３３で算出された静止画像の番号に置き換えて更新する（ステップＳ３６）。ステップＳ３４において、ステップＳ３３で算出された静止画像の番号を有する「正面静止画像」が存在しない場合（ステップＳ３４：ＮＯ）、ステップＳ３２の判定に戻る。

画像送りゲージ３０の矢印ボタン３２、３２のいずれか一方がクリック操作されず（ステップＳ３２：ＮＯ）、画像送りゲージ３０の空白部分３３がクリック操作されると（ステップＳ３７：ＹＥＳ）、ＣＰＵ１１はあらかじめ記憶装置１４に記憶されている変数SKIPの値、即ち所定の間引き量を読み出す（ステップＳ３８）。その後、ＣＰＵ１１はステップＳ３８で得た間引き量に基づき前述のステップＳ３３以降の処理を行う。

画像送りゲージ３０の空白部分３３がクリック操作されず（ステップＳ３７：ＮＯ）、そのときフォーカスが当たっている静止画像とは別の静止画像がクリックされると（ステップＳ３９：ＹＥＳ）、ステップＳ３１の処理に戻る。

そのときフォーカスが当たっている静止画像とは別の静止画像がクリックされず（ステップＳ３９：ＮＯ）、スイング対象抽出を終了する入力指示が行われると（ステップＳ４０：ＹＥＳ）、ＣＰＵ１１は表示装置１６によるスイング対象抽出画面の表示を終了させる（ステップＳ４１）。

ステップＳ４１の後、ＣＰＵ１１は、基準位置情報テーブルの「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号を、「正面静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号と同一とするよう基準位置情報テーブルを更新する（ステップＳ４２）。
そして、ＣＰＵ１１は、「正面静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号に基づき、式（１）〜（４）により「ボール静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号を算出し（ステップＳ４３）、ステップＳ４４の算出結果を基準位置情報テーブルに反映、更新する（ステップＳ４４）。以上でスイング対象抽出は終了する。

次に、スイング画像同期における画像処理装置１０の処理の流れについて説明する。
図１５及び図１６に、スイング画像同期の処理内容を示すフローチャートを示す。図１５はスイング画像同期の処理内容のうち、ステップＳ５１からステップＳ６０までの処理内容を示すフローチャートである。図１６はスイング対象抽出の処理内容のうち、ステップＳ６１からステップＳ７３までの処理内容を示すフローチャートである。
ＣＰＵ１１は、基準位置情報テーブルを読み込む（ステップＳ５１）。次に、ＣＰＵ１１は、スイング画像同期画面を表示する（ステップＳ５２）。ステップＳ５２では、スイング画像同期画面は枠組みが表示されるのみであり、１〜３行目の各静止画像はまだ表示されていない。

ステップＳ５２の後、ＣＰＵ１１は、ステップＳ５１で読み込んだ「正面静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号を有する静止画像を順次読み込んで表示する（ステップＳ５３）。ステップＳ５３の処理は、４つの「正面静止画像」の表示が完了するまで繰り返し行われる（ステップＳ５４：ＮＯ）。

４つの「正面静止画像」の表示が完了すると（ステップＳ５４：ＹＥＳ）、ＣＰＵ１１は、ステップＳ５１で読み込んだ「後方静止画像」の「テークバック位置」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の静止画像の番号を有する静止画像を順次読み込んで表示する（ステップＳ５５）。ステップＳ５５の処理は、４つの「後方静止画像」の表示が完了するまで繰り返し行われる（ステップＳ５６：ＮＯ）。

４つの「後方静止画像」の表示が完了すると（ステップＳ５６：ＹＥＳ）、ＣＰＵ１１は、ステップＳ５１で読み込んだ「ボール静止画像」の「インパクト瞬間」の静止画像の番号を有する静止画像とその前後の静止画像（「ボール静止画像」の「インパクト瞬間」の静止画像の番号を基準として−３、−２、−１、±０、＋１、＋２である静止画像の番号を有する静止画像を順次読み込んで表示する（ステップＳ５７）。ステップＳ５７の処理は、６つの「ボール静止画像」の表示が完了するまで繰り返し行われる（ステップＳ５８：ＮＯ）。

ステップＳ５７の後、ＣＰＵ１１は２行目−３番目の静止画像又は３行目−４番目の静止画像のいずれか一方に対するクリック操作、即ち「後方静止画像」又は「ボール静止画像」の「インパクト瞬間」に対応する静止画像に対するクリック操作が行われるまで待機する（ステップＳ５９：ＮＯ）。２行目−３番目の静止画像又は３行目−４番目の静止画像のいずれか一方に対するクリック操作が行われると（ステップＳ５９：ＹＥＳ）、ＣＰＵ１１はクリックされた静止画像にフォーカスが当たったことを示す表示を行う（ステップＳ６０）。そして、ＣＰＵ１１は、フォーカスが当たった静止画像の下方に表示された画像送りゲージ４０、５０のいずれか一方に対するクリック操作（ステップＳ６１、ステップＳ６９）、他方の静止画像に対するクリック操作（ステップＳ７１）又はスイング画像同期を終了する入力指示（ステップＳ７２）のいずれかが行われるまで待機する。

画像送りゲージ４０、５０のいずれか一方の矢印ボタンのいずれか一方がクリック操作されると（ステップＳ６１：ＹＥＳ）、ＣＰＵ１１はそのときフォーカスが当たっている静止画像が有する静止画像の番号から更新後に表示する静止画像の番号を算出し（ステップＳ６２）、ステップＳ６２で算出された静止画像の番号を有する「正面静止画像」が存在するかどうか判定する（ステップＳ６３）。ステップＳ６２で算出された静止画像の番号を有する「正面静止画像」が存在する場合（ステップＳ６３：ＹＥＳ）、ＣＰＵ１１はフォーカスが当たっている静止画像の表示内容をステップＳ６２で算出された静止画像の番号を有する静止画像に置き換えて更新する（ステップＳ６４）。そして、ＣＰＵ１１は基準位置情報テーブルのうちフォーカスが当たっている静止画像の種類（「後方静止画像」又は「ボール静止画像」）に対応する「インパクト瞬間」の静止画像の番号をステップＳ６２で算出された静止画像の番号に置き換えて更新すると共に、フォーカスの当たっている静止画像の種類の「テークバック開始」、「振り下ろし開始」及び「フォロースルー終了」の静止画像の番号を算出して基準位置情報テーブルを更新する（ステップＳ６５）。

ステップＳ６５の後、ＣＰＵ１１は、フォーカスが当たっている静止画像が「後方静止画像」であるかどうか判定する（ステップＳ６６）。「後方静止画像」の場合（ステップＳ６６：ＹＥＳ）、ステップＳ６２で算出した更新後の静止画像の番号に応じて、スイング画像同期画面の２行目に表示された「後方静止画像」の「テークバック開始」、「振り下ろし開始」及び「フォロースルー終了」に対応する３枚の静止画像の表示内容を更新する（ステップＳ６７）。ステップＳ６６において、フォーカスが当たっている静止画像が「ボール静止画像」の場合（ステップＳ６６：ＮＯ）、ステップＳ６２で算出した更新後の静止画像の番号に応じて、スイング画像同期画面の３行目に表示された「インパクト瞬間」以外の５枚の静止画像の表示内容を更新する（ステップＳ６８）。

ステップＳ６３において、ステップＳ６２で算出された静止画像の番号を有する静止画像が存在しない場合（ステップＳ６３：ＮＯ）、ステップＳ６１の判定に戻る。

画像送りゲージ４０、５０のいずれか一方の矢印ボタンのいずれか一方がクリック操作されず（ステップＳ６１：ＮＯ）、画像送りゲージ４０、５０の空白部分がクリック操作されると（ステップＳ６９：ＹＥＳ）、ＣＰＵ１１はあらかじめ記憶装置１４に記憶されている変数SKIPの値、即ち所定の間引き量を読み出す（ステップＳ７０）。その後、ＣＰＵ１１はステップＳ７０で得た間引き量に基づき前述のステップＳ６２以降の処理を行う。

画像送りゲージ４０、５０の空白部分がクリック操作されず（ステップＳ６９：ＮＯ）、そのときフォーカスが当たっている「インパクト瞬間」の静止画像とは異なる静止画像、即ち他方の「インパクト瞬間」の静止画像がクリックされると（ステップＳ７１：ＹＥＳ）、ステップＳ６０の処理に戻る。

他方の「インパクト瞬間」の静止画像がクリックされず（ステップＳ７１：ＮＯ）、スイング対象抽出を終了する入力指示が行われると（ステップＳ７２：ＹＥＳ）、ＣＰＵ１１は表示装置１６によるスイング対象抽出画面の表示を終了させる（ステップＳ７３）。以上でスイング画像同期は終了する。

本実施形態によれば、スイング画像同期画面において「正面静止画像」の「インパクト瞬間」の静止画像と同一のタイミングを撮像した「後方静止画像」及び「ボール静止画像」の静止画像を、画像送りゲージに対する入力を介して手動で選択することができ、ＣＰＵ１１は、スイング画像同期画面において選択された「後方静止画像」及び「ボール静止画像」の静止画像の番号を「インパクト瞬間」の静止画像の番号として「正面静止画像」の「インパクト瞬間」の静止画像の番号と対応付けて基準位置情報テーブルに記憶させる。これによって、複数のカメラ２、３、４によってそれぞれ異なる角度から撮像された複数の動画から生成された静止画像同士を良好に同期させることができる。この同期処理においては、音声の取得による同期処理のための構成や、画像を解析するための専用のアルゴリズム等を必要としないので、低コストで同期処理を行うことができる。
加えて、手動による同期処理であるので、カメラのアングルの変更等、各種条件に変更が生じても、オペレータの判断により同一のタイミングを撮像した静止画像同士の判別を良好に行うことができ、極めて柔軟性の高い同期処理を実現することができる。
さらに、スイング対象抽出画面において「正面静止画像」の「インパクト瞬間」の静止画像を選択することができる。これによって、オペレータは各動画から生成された静止画像を同期させるための基準となる静止画像を任意に選択することができる。

さらに、ＣＰＵ１１は、同期動画作成により作成された動画ファイルを再生することで、ステップＳ４のスイング画像同期を経て同期した静止画像に基づいて複数グループの画像を同期させて再生する。これによって、複数の撮影方向から撮影された複数グループのゴルフスイングの画像を同期させた状態で確認することができ、ゴルフスイング中の被写体Ｈの姿勢やゴルフクラブのヘッド位置の移動軌跡、ゴルフボールの移動軌跡等を良好に把握することができる。

さらに、スイング対象抽出画面において「正面静止画像」の「テークバック開始」、「振り下ろし開始」及び「フォロースルー終了」の静止画像を選択することができる。

さらに、スイング対象抽出画面において「正面静止画像」の「テークバック開始」及び「フォロースルー終了」の静止画像を選択することで、ゴルフスイング中を撮像している複数の静止画像を抽出することができる。これによって、スイング解析の対象とならない他の複数の静止画像を処理対象から外すことができ、処理の負荷を大幅に軽減することができる上、スイング画像同期の処理により多くのマシンパワーリソースを割り振ることができるので、軽快な同期処理を実現することができる。

さらに、各動画から生成された静止画像には時系列に従って連続した番号が付され、ＣＰＵ１１は、各動画から生成された静止画像の「インパクト瞬間」に対応するそれぞれの静止画像の番号と、「正面静止画像」の「インパクト瞬間」の静止画像の番号に対する「テークバック開始」、「振り下ろし開始」及び「フォロースルー終了」の静止画像の番号の差と、各静止画像の元となった動画のfpsの比率とに基づいて「後方静止画像」及び「ボール静止画像」の「テークバック開始」、「振り下ろし開始」及び「フォロースルー終了」の静止画像の番号を求め、基準位置情報テーブルに記憶させる。つまり、ＣＰＵ１１は、「正面静止画像」と他の２種類の静止画像の同期処理を行うと共に、他の２種類の静止画像のスイング対象抽出を行う。これによって、一種類の静止画像に対するスイング対象抽出さえ行えば、他の種類の静止画像についてもスイング解析の対象となる複数の静止画像を特定でき、スイング解析の対象とならない他の複数の静止画像を処理対象から外すことができるので、一層処理の負荷を大幅に軽減することができる上、スイング画像同期の処理により多くのマシンパワーリソースを割り振ることができるので、軽快な同期処理を実現することができる。

なお、ゴルフスイング中の被写体Ｈを撮像する場合、300[fps]以上の高いfps設定で撮像することにより、ゴルフクラブのヘッドがゴルフボールを打つ瞬間（「インパクト瞬間」）の撮像画像を好適に得ることができる。つまり、300[fps]以上の高いfpsでゴルフスイング中の被写体Ｈを撮像することにより、その撮像動画をfpsに応じた数の静止画像に変換した場合、「インパクト瞬間」を撮像した静止画像が極めて高い確率で含まれている。
仮に、300[fps]未満でゴルフスイング中の被写体Ｈを撮像した場合、その撮像動画を静止画像に変換した場合に「インパクト瞬間」の静止画像を得られない確率が飛躍的に高まる。

前述の実施形態における記述は、本発明の一例を示すものであり、これに限定しない。
例えば、本発明で扱う動画はゴルフスイングを撮影したものに限らず、動体の移動軌跡を撮像した動画ならば適用可能である。
例えば、野球のバットのスイングの移動軌跡とボールの移動軌跡を撮影したり、テニスのラケットスイングの移動軌跡とボールの移動軌跡を撮影したり、卓球のラケットスイングの移動軌跡とボールの移動軌跡を撮影したり、アイスホッケーのラケットスイングの移動軌跡とパッド(ボール)の移動軌跡を撮影したりするものに適用可能である。

画像処理装置１０は、ＣＰＵ１１が処理内容に応じたソフトウェアを読み出して実行処理するソフトウェア処理により画像処理装置１０の各機能を実現しているが、機能毎に専用の構成を設けてもよい。

カメラは３台に限らず、２台又は４台以上でもよい。同期させたい動画の数に応じた静止画像を同期させるためのスイング画像同期画面等の同期静止画像選択画面が表示され、基準位置情報テーブル等の対応付け情報も動画の数に合わせて情報量の拡張又は縮小が行われる。

スイング対象抽出画面等のタイミング選択画面で選択可能な所定のタイミングは４つに限らず、任意の数のタイミングを設けることができる。タイミングの数に応じて、基準位置情報テーブル等の対応付け情報も情報量の拡張又は縮小が行われる。

その他、前述の実施形態で記載した数値、式等はあくまで一例であり、同期させる静止画像の元となる動画の数やfpsその他の各種条件に応じた最適な条件とすることを想定している。
例えば、前述の実施形態における「正面静止画像」と「後方静止画像」の元となる動画のfpsは同一であるため、「正面静止画像」の静止画像の番号を基準とした「後方静止画像」の静止画像の番号の算出に式による算出を伴わないが、両者の元となる動画のfpsが異なる場合には、「正面静止画像」と「ボール静止画像」との関係と同様、fps比率を考慮した式による静止画像の番号の算出を行う。
また、同期させた画像の再生は、同期動画作成による動画ファイルの再生に限らない。例えば、スイング画像同期によって同期した静止画像として対応付けられた静止画像の番号に基づいて複数グループの静止画像を同期させて並列に連続表示させるようにしてもよいし、同期した静止画像として対応付けられた静止画像に対応する元の動画における画像フレームの位置に基づいて各動画を同期させた状態で並列して再生するようにしてもよい。

２、３、４カメラ
５ ＨＵＢ
６ プリンタ
７ ディスクライタ
１０ 画像処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１４ 記憶装置
１５ 入力装置
１６ 表示装置
１７、１８、１９ インターフェース
２０ バス
Ｈ 被写体
Ｐ ピン

Claims (13)

1. 被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、
   前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、
   前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、
   前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、
   を備え、
   前記取得手段により取得した複数の動画像は、単位時間毎に撮影された画像フレームの数が各々異なっており、
   前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、ユーザーに指定させた画像フレームの位置を、前記選択手段により選択した姿勢に対応する画像フレームの位置として特定し、前記第１の動画像とは異なる第２の動画像については、各動画像における前記単位時間毎に撮影された画像フレームの数の違いと、前記第１の動画像に対してユーザーが指定した画像フレームの位置に基づいて前記選択手段により選択した姿勢に対応する画像フレームの位置を自動的に特定する
   ことを特徴とする画像処理装置。
2. 前記特定手段は、前記第１の動画像と前記第２の動画像における前記単位時間毎に撮影された画像フレームの数の比に応じて、前記第１の動画像に対してユーザーが指定した画像フレームの位置に対応する前記第２の動画像の画像フレームの位置を算出することを特徴とする請求項１に記載の画像処理装置。
3. 被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、
   前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、
   前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、
   前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、
   を備え、
   前記選択手段は、前記特定動作における複数の体勢のうちの複数を選択し、
   前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、前記選択手段により選択した複数の姿勢の各々に対応する画像フレームの位置をユーザーの操作に基づいて特定した後、前記第１の動画像内の第１の姿勢に対応する画像フレームの位置に対応する前記第１の動画像とは異なる第２の動画像内の前記第１の姿勢に対応する画像フレームの位置がユーザーにより指定されると、前記第１の動画像内の前記第１の姿勢とは異なる第２の姿勢に対応する画像フレームの位置に対応する前記第２の動画像内の前記第２の姿勢に対応する画像フレームの位置を自動的に特定し、
   前記同期手段は、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した複数の姿勢の各々に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる
   ことを特徴とする画像処理装置。
4. 被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、
   前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、
   前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、
   前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、
   ユーザーの操作に基づいて画像フレームを選択するための操作入力手段と、
   少なくとも一の動画像に含まれる画像フレーム送り用の調整ゲージを有する第１操作画面を表示させ、この第１操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第１の指定手段と、
   前記第１の指定手段により指定された画像フレームと、当該画像フレームに対応する他の動画像に含まれる画像フレーム送り用の調整ゲージとからなる第２操作画面を表示させ、この第２操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第２の指定手段と、
   を備え、
   前記特定手段は、前記第１の指定手段により指定された画像フレームと、前記第２の指定手段により指定された画像フレームとを、前記選択手段により選択した姿勢に対応する各々の動画像の画像フレームとして特定する
   ことを特徴とする画像処理装置。
5. 前記取得手段により取得した複数の動画像の各々について、前記特定動作の開始タイミングから終了タイミングまでの間の複数の画像フレームを抽出する抽出手段と、
   前記特定手段は、前記抽出手段により抽出された複数の画像フレームの中から、前記選択手段により選択した姿勢に対応する画像フレームを特定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記取得手段により取得した複数の動画像は、前記特定動作の期間内に撮影された画像フレームの数が各々異なっており、
   前記抽出手段は、各動画像における前記特定動作の期間内に撮影された画像フレームの数の違いに応じて、各動画像から異なる数の画像フレームを抽出することを特徴とする請求項５に記載の画像処理装置。
7. 前記取得手段は、前記特定動作を行う被写体を複数の異なる撮影方向から撮影して得られた複数の動画像を取得することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 画像処理装置による動画像の再生を制御する制御方法であって、
   被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得処理と、
   前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択処理と、
   前記取得処理により取得した複数の動画像の各々について、前記選択処理により選択した姿勢に対応する画像フレームの位置を特定する特定処理と、
   前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期処理と、
   を含み、
   前記取得処理により取得した複数の動画像は、単位時間毎に撮影された画像フレームの数が各々異なっており、
   前記特定処理は、前記取得処理により取得した複数の動画像のうちの第１の動画像について、ユーザーに指定させた画像フレームの位置を、前記選択処理により選択した姿勢に対応する画像フレームの位置として特定し、前記第１の動画像とは異なる第２の動画像については、各動画像における前記単位時間毎に撮影された画像フレームの数の違いと、前記第１の動画像に対してユーザーが指定した画像フレームの位置に基づいて前記選択処理により選択した姿勢に対応する画像フレームの位置を自動的に特定する
   ことを特徴とする制御方法。
9. コンピュータを、
   被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、
   前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、
   前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、
   前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、
   として機能させ、
   前記取得手段により取得した複数の動画像は、単位時間毎に撮影された画像フレームの数が各々異なっており、
   前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、ユーザーに指定させた画像フレームの位置を、前記選択手段により選択した姿勢に対応する画像フレームの位置として特定し、前記第１の動画像とは異なる第２の動画像については、各動画像における前記単位時間毎に撮影された画像フレームの数の違いと、前記第１の動画像に対してユーザーが指定した画像フレームの位置に基づいて前記選択手段により選択した姿勢に対応する画像フレームの位置を自動的に特定する
   ことを特徴とするプログラム。
10. 画像処理装置による動画像の再生を制御する制御方法であって、
    被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得処理と、
    前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択処理と、
    前記取得処理により取得した複数の動画像の各々について、前記選択処理により選択した姿勢に対応する画像フレームの位置を特定する特定処理と、
    前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期処理と、
    を含み、
    前記選択処理は、前記特定動作における複数の体勢のうちの複数を選択し、
    前記特定処理は、前記取得処理により取得した複数の動画像のうちの第１の動画像について、前記選択処理により選択した複数の姿勢の各々に対応する画像フレームの位置をユーザーの操作に基づいて特定した後、前記第１の動画像内の第１の姿勢に対応する画像フレームの位置に対応する前記第１の動画像とは異なる第２の動画像内の前記第１の姿勢に対応する画像フレームの位置がユーザーにより指定されると、前記第１の動画像内の前記第１の姿勢とは異なる第２の姿勢に対応する画像フレームの位置に対応する前記第２の動画像内の前記第２の姿勢に対応する画像フレームの位置を自動的に特定し、
    前記同期処理は、前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した複数の姿勢の各々に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる
    ことを特徴とする制御方法。
    
11. コンピュータを、
    被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、
    前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、
    前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、
    前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、
    として機能させ、
    前記選択手段は、前記特定動作における複数の体勢のうちの複数を選択し、
    前記特定手段は、前記取得手段により取得した複数の動画像のうちの第１の動画像について、前記選択手段により選択した複数の姿勢の各々に対応する画像フレームの位置をユーザーの操作に基づいて特定した後、前記第１の動画像内の第１の姿勢に対応する画像フレームの位置に対応する前記第１の動画像とは異なる第２の動画像内の前記第１の姿勢に対応する画像フレームの位置がユーザーにより指定されると、前記第１の動画像内の前記第１の姿勢とは異なる第２の姿勢に対応する画像フレームの位置に対応する前記第２の動画像内の前記第２の姿勢に対応する画像フレームの位置を自動的に特定し、
    前記同期手段は、前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した複数の姿勢の各々に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる
    ことを特徴とするプログラム。
12. 画像処理装置による動画像の再生を制御する制御方法であって、
    被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得処理と、
    前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択処理と、
    前記取得処理により取得した複数の動画像の各々について、前記選択処理により選択した姿勢に対応する画像フレームの位置を特定する特定処理と、
    前記特定処理により特定された画像フレームの位置情報に基づいて、前記選択処理により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期処理と、
    ユーザーの操作に基づいて画像フレームを選択するための操作入力処理と、
    少なくとも一の動画像に含まれる画像フレーム送り用の調整ゲージを有する第１操作画面を表示させ、この第１操作画面に基づいて前記操作入力処理を介して画像フレームを指定する第１の指定処理と、
    前記第１の指定処理により指定された画像フレームと、当該画像フレームに対応する他の動画像に含まれる画像フレーム送り用の調整ゲージとからなる第２操作画面を表示させ、この第２操作画面に基づいて前記操作入力処理を介して画像フレームを指定する第２の指定処理と、
    を含み、
    前記特定処理は、前記第１の指定処理により指定された画像フレームと、前記第２の指定処理により指定された画像フレームとを、前記選択処理により選択した姿勢に対応する各々の動画像の画像フレームとして特定する
    ことを特徴とする制御方法。
13. コンピュータを、
    被写体の体勢が一連の動作の中で複数の体勢を経て変化する特定動作を撮影した動画像を複数取得する取得手段と、
    前記特定動作における複数の体勢のうちの少なくとも１つをユーザーの操作に基づいて選択する選択手段と、
    前記取得手段により取得した複数の動画像の各々について、前記選択手段により選択した姿勢に対応する画像フレームの位置を特定する特定手段と、
    前記特定手段により特定された画像フレームの位置情報に基づいて、前記選択手段により選択した姿勢に対応するフレームを再生するタイミングが前記複数の動画像で同じになるように、前記複数の動画像の再生タイミングを同期させる同期手段と、
    ユーザーの操作に基づいて画像フレームを選択するための操作入力手段と、
    少なくとも一の動画像に含まれる画像フレーム送り用の調整ゲージを有する第１操作画面を表示させ、この第１操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第１の指定手段と、
    前記第１の指定手段により指定された画像フレームと、当該画像フレームに対応する他の動画像に含まれる画像フレーム送り用の調整ゲージとからなる第２操作画面を表示させ、この第２操作画面に基づいて前記操作入力手段を介して画像フレームを指定する第２の指定手段と、
    として機能させ、
    前記特定手段は、前記第１の指定手段により指定された画像フレームと、前記第２の指定手段により指定された画像フレームとを、前記選択手段により選択した姿勢に対応する各々の動画像の画像フレームとして特定する
    ことを特徴とするプログラム。

Images