JP5321012B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

動体の軌跡を複数の方向から撮影して得られた動画像について解析することにより、動体の軌跡を多角度的に容易に把握することが可能となる。特に、ゴルフスイング時のスイング動作者を複数の方向から撮影して得られた動画像について解析することで、スイングフォームの良し悪しについて容易にチェックすることができる。

特許文献１によれば、複数の方向から撮影したスイング時の動画像をリアルタイムで解析し、自動的にフォームのチェックを行い得る技術が開示されている。
また、特許文献２によれば、複数の方向から撮影したスイング時の動画像について、簡易な操作により解析し得る技術が開示されている。
また、特許文献３によれば、複数の方向から撮影したスイング時の動画像と打撃解析データとを関連付けることにより、スイング時のフォームについてチェックし得る技術が開示されている。
特許第２７９４０１８号公報 特開２００６−２６３１６９号公報 特開２００３−０８８６０４号公報

ここで、複数の方向から撮影された動画像を１画面表示用の動画像に変換して再生する場合、再生される複数の動画像は互いに同期がとられていることが望ましい。

本発明の課題は、複数の撮影装置により撮影された複数の動画像について同期をとって同時再生できるようにすることである。

請求項１記載の発明は、数の撮影装置で撮影された動画像の再生を制御する画像処理装置であって、前記各撮影装置により夫々異なるフレームレートで撮影された複数の動画像を同時に再生するに当たって、各動画像の同期基準となる基準フレームを、その各動画像毎に個別に設定する設定手段と、前記各動画像を同時再生した際に、前記設定手段により設定された各動画像の基準フレームが同一の再生タイミングで再生されるように、前記基準フレームよりも前のフレームの内で同期再生されるべき開始基準フレームを前記各動画像毎に個別に決定する決定手段と、前記異なるフレームレートで撮影された前記各動画像をその個々に決定された開始基準フレームから同時に再生開始させ、少なくとも前記各動画像の夫々の前記基準フレームが同一再生タイミングで再生されるよう制御する再生制御手段と、を具備したことを特徴とする。

本発明によれば、複数の撮影装置により撮影された複数の動画像を同期をとって同時再生することができる。

図１に、本発明の一実施形態における画像処理システム１００の全体構成を示す。
画像処理システム１００は動体の軌跡を表示又は解析するためのシステムであり、本実施形態では打撃球技の一例としてゴルフスイングの軌跡を表示又は解析する場合について説明する。

画像処理システム１００は、ハイスピードカメラ１〜３、ＨＵＢ４、画像処理装置１０、プリンタ５、メディア書込部６等を備えて構成される。これらはＬＡＮ（Local Area Network）ケーブル７により接続されている。

ハイスピードカメラ１〜３は、１秒間に３００枚〜１２００枚程度の静止画像を撮影して動画像を出力する高機能のデジタルカメラである。秒間撮像フレーム数（フレームレート）はｆｐｓ（frame per second）で表される。
本実施形態では、ハイスピードカメラ１、２は１秒間に３００枚の静止画像を撮影することができ、フレームレートは３００[fps]である。また、ハイスピードカメラ３は１秒間に１２００枚の静止画像を撮影することができ、フレームレートは１２００[fps]である。

ハイスピードカメラ１は、スイング動作者の正面を撮影するカメラであり、正面の動画像を画像処理装置１０に出力する。図１の静止画像１Ａは、ハイスピードカメラ１により撮影された１フレームの静止画像例である。

ハイスピードカメラ２は、スイング動作者の側面かつ後方を撮影するカメラであり、側面かつ後方の動画像（以下、単に「後方の動画像」という）を画像処理装置１０に出力する。ここでいう「後方」とは、ゴルフボールの飛翔する方向を前方とした場合、飛翔する方向とは逆方向をいう。図１の静止画像２Ａは、ハイスピードカメラ２により撮影された１フレームの静止画像例である。本実施形態では、打撃対象物の一例としてゴルフボールを示している。

ハイスピードカメラ３は、ゴルフクラブのヘッドとゴルフボールとのインパクトの瞬間を撮影するカメラであり、ゴルフボールをスイング動作者の正面方向から撮影するカメラである。最も高速で動くインパクトの瞬間を撮影するため、他のハイスピードカメラ１、２よりもフレームレートは高い。図１の静止画像３Ａは、ハイスピードカメラ３により撮影された１フレームの静止画像例である。
ハイスピードカメラ１〜３は、ＬＡＮケーブル７を介し、撮影した動画像を画像処理装置１０に出力する。

画像処理装置１０は、ハイスピードカメラ１〜３により撮影された動画像を入力して、入力した動画像の表示又は解析等を行う。

図２に、画像処理装置１０の内部構成を示す。
画像処理装置１０は、制御部１１、入力部１２、表示部１３、記憶部１４、接続部１５等を備えて構成される。また、各部はバス１６により接続される。本実施形態において、画像処理装置１０は、例えば、パーソナルコンピュータ、デスクトップコンピュータ等の情報処理装置により構成される。

制御部１１は、図示しないＣＰＵやＲＡＭ等を備えて構成され、記憶部１４との協働により画像処理装置１０の各部を集中制御する。

入力部１２は、カーソルキーや各種機能キーを備えたキーボード及びマウス等を備えて構成され、操作信号を制御部１１に出力する。

表示部１３は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ(Electro-Luminescence)ディスプレイ等により構成され、制御部１１からの表示信号に従って画面表示を行う。

記憶部１４は、ＨＤＤ（Hard Disk Drive）等により構成され、各種プログラム及び各種データを記憶する。

接続部１５は、ＵＳＢ（Universal Serial Bus）等のバスインターフェイスにより構成され、ハイスピードカメラ１〜３から出力された動画像を入力し、一方でプリンタ５やメディア書込部６に動画像又は静止画像を出力する。

図１に戻り、ＨＵＢ４は、ハイスピードカメラ１〜３と画像処理装置１０との間に介在する集線装置であってこれらを接続する。
プリンタ５は、画像処理装置１０からの印刷指示に従い、印刷媒体（例えば紙等）に対して印刷処理を行う。プリンタ５は、例えばページプリンタ等の印刷装置により構成される。
メディア書込部６は、画像処理装置１０の書込指示に従い、デジタルの動画像をＤＶＤ等のメディア（可搬記憶媒体）に書き込む機器である。なお、メディア書込部６は、画像処理装置１０に内蔵されるものとしてもよい。

図３Ａ〜図３Ｅを参照して、画像処理装置１０の同期処理について説明する。
前提として、ハイスピードカメラ１〜３によりゴルフスイング時のスイング動作者及びボールが同時期に撮影され、撮影された各方向の動画像が画像処理装置１０により記憶されているものとする。

制御部１１は、ハイスピードカメラ１〜３により撮影された正面、後方、ボールの各方向の動画像のうち、何れかの動画像を読み込む（ステップＳ１）。
ここで読み込む各方向の動画像は、互いに撮影開始のタイミングを人為的に合わせて同時期に撮影されてはいるが、フレーム単位の正確な同期はとられていない動画像である。制御部１１は、各方向の動画像を例えば、「FRONT.mov（正面の動画像）」、「BACK.mov（後方の動画像）」、「BL.mov（ボールの動画像）」等の名前を付けて、記憶部１４により記憶している。

制御部１１は、動画像のフレームレートに基づいて、動画像を静止画像群に変換する（ステップＳ２）。
本実施形態では、正面の動画像及び後方の動画像のフレームレートが３００[fps]であり、ボールの動画像のフレームレートが１２００[fps]である動画像をそれぞれ静止画像群に変換する場合について説明する。

制御部１１は、動画像を静止画像群に変換した後、静止画像群を記憶部１４により記憶する（ステップＳ３）。
制御部１１は、静止画像群を記憶する際、静止画像群における各静止画像に対して連番を振って記憶する。例えば、制御部１１は正面の静止画像群における各静止画像に「FR0000001.jpg…」、後方の静止画像群における各静止画像に「BK0000001.jpg…」、ボールの静止画像群における各静止画像に「BL0000001.jpg…」と連番を振って記憶する。

制御部１１は、静止画像群の画像情報を記憶部１４により記憶する（ステップＳ４）。
画像情報は、具体的にはフレームレートの情報であり、制御部１１は静止画像群のフレームレートの情報に名前を付けて記憶する。例えば、制御部１１は正面の静止画像群のフレームレートの情報に「ＦＲｆｐｓ」、後方の静止画像群のフレームレートの情報に「ＢＫｆｐｓ」、ボールの静止画像群のフレームレートの情報に「ＢＬｆｐｓ」と名前を付けて記憶する。なお、本実施形態では、ＦＲｆｐｓは３００[fps]、ＢＫｆｐｓは３００[fps]、ＢＬｆｐｓは１２００[fps]である。

制御部１１は、正面、後方及びボールの３方向の動画像について、ステップＳ１〜Ｓ４までの処理を終了したか否か判断する（ステップＳ５）。
終了していない場合（ステップＳ５；Ｎ）、制御部１１は、ステップＳ１に移行して未処理の他の方向の動画像について上述してきた処理を行う。
終了している場合（ステップＳ５；Ｙ）、制御部１１は、記憶されている正面の静止画像群を読み込む（ステップＳ６）。

制御部１１は、記憶部１４に予め記憶されている基準位置情報を初期化する（ステップＳ７）。
図４に、基準位置情報の概念図を示す。
基準位置情報とは、予め定められた４つのタイミングにおける画像番号の情報である。４つのタイミングとは、具体的には(1)「テークバック開始」、(2)「振り下ろし開始」、(3)「インパクト瞬間」、(4)「フォロースルー終了」の各タイミングである。
制御部１１は、ステップＳ７において、各タイミングの画像番号を例えば「００００００１」と初期化する。

制御部１１は、基準位置抽出パネルを表示部１３に表示する（ステップＳ８）。
図５に、表示部１３に表示する基準位置抽出パネルＰ１を示す。
基準位置抽出パネルＰ１は、４つのフレームＦ１〜Ｆ４及びゲージＧ１により構成される。フレームＦ１〜Ｆ４の上部には、それぞれ「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の文字が表示される。
フレームＦ１〜Ｆ４内には、ステップＳ７で初期化された全て同一の静止画像が表示される。以降の処理で各タイミングに相当する静止画像が更新、決定されることとなる。

制御部１１は、入力部１２を介して、４つのフレームＦ１〜Ｆ４のうち何れかのフレームが選択されたか否か判断する（ステップＳ９）。
何れかのフレームが選択されない場合（ステップＳ９；Ｎ）、制御部１１は、選択されるまで待機する。
何れかのフレームが選択された場合（ステップＳ９；Ｙ）、制御部１１は、選択されたフレーム内の静止画像を編集可能に設定する（ステップＳ１０）。

制御部１１は、編集指示があるか否かについて判断する（ステップＳ１１）。
編集指示がない場合（ステップＳ１１；Ｎ）、制御部１１は、指示があるまで待機する。
編集指示があった場合（ステップＳ１１；Ｙ）、制御部１１は、ゲージＧ１の間引き操作があるか否か判断する（ステップＳ１２）。
ゲージＧ１の間引き操作とは、ゲージＧ１の「▲」を操作するのではなく、スライダを操作することをいう。なお、ゲージＧ１の「▲」を操作すると選択されたフレーム内の静止画像が１画像ずつ切り替わって表示され、スライダを操作すると予め定められた間引き量ごとに切り替わって表示される。

ゲージＧ１の間引き操作がない場合（ステップＳ１２；Ｎ）、制御部１１は、ステップＳ１４に移行する。
ゲージＧ１の間引き操作があった場合（ステップＳ１２；Ｙ）、制御部１１は、予め定められている間引き量の読み込みを行う（ステップＳ１３）。

制御部１１は、ゲージＧ１の「▲」又はスライダによる操作指示に従って、フレームＦ１内の静止画像の位置を計算する（ステップＳ１４）。

制御部１１は、計算した静止画像の位置が静止画像の存在する範囲内であるか否か判断する（ステップＳ１５）。
静止画像の存在する範囲内でない場合（ステップＳ１５：Ｎ）、制御部１１は、ステップＳ１１に移行する。
静止画像の存在する範囲内である場合（ステップＳ１５；Ｙ）、制御部１１は、フレームＦ１内の静止画像を切り替えて表示する（ステップＳ１６）。

図６に、フレームＦ１が選択された場合の基準位置抽出パネルＰ２を示す。
フレームＦ１が選択されてゲージＧ１の「▲」が操作され又はスライダが操作されると、静止画像の位置が切り替わる。切り替わった位置の静止画像がフレームＦ１内に表示される。

制御部１１は、ステップＳ７で初期化した基準位置情報を更新する（ステップＳ１７）。
制御部１１は、他のフレームが選択されたか否か判断する（ステップＳ１８）。
他のフレームとは、フレームＦ２〜４である。
他のフレームが選択された場合（ステップＳ１８；Ｙ）、制御部１１は、ステップＳ１０に移行して、ステップＳ１８までにフレームＦ１に対して行った処理と同様の処理を行う。つまり、他のタイミングについても静止画像の切り替えを行う。

図７〜図９に、フレームＦ２〜Ｆ４が選択された場合の基準位置抽出パネルＰ３〜Ｐ５を示す。
フレームＦ１が選択された場合と同様、フレームＦ２〜Ｆ４が選択されてゲージＧ１の「▲」が操作され又はスライダが操作されると、静止画像の位置が切り替わる。切り替わった位置の静止画像がフレームＦ２〜Ｆ４内に表示される。

他のフレームが選択されない場合（ステップＳ１８；Ｎ）、制御部１１は、正面の静止画像の基準位置情報を決定する（ステップＳ１９）。

図１０に、正面の静止画像の基準位置情報を決定した後の基準位置情報の概念図を示す。
図１０に示すように、ステップＳ１０〜Ｓ１９の処理により、正面の静止画像における「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の各タイミングの画像番号が決定される。

制御部１１は、決定した正面の静止画像の基準位置情報に基づいて、後方の静止画像の仮の基準位置情報を計算し（ステップＳ２０）、計算した後方の静止画像の仮の基準位置情報を更新する（ステップＳ２１）。
更新される後方の静止画像の仮の基準位置情報は、ステップＳ１９で決定した正面の静止画像の基準位置情報と同一の画像番号とする。

制御部１１は、ボールの静止画像の仮の基準位置情報を計算し（ステップＳ２２）、計算したボールの静止画像の仮の基準位置情報を更新する（ステップＳ２３）。
ボールの静止画像の仮の基準位置情報は、予め定められた計算式に基づいて計算されて更新される。予め定められた計算式を下記式（１）〜（５）に示す。

[ボールの静止画像枚数の７０％の位置に相当する画像番号]＝Ｘ・・・（１）
[「テークバック開始」の基準位置]＝Ｘ−（正面の静止画像の「インパクト瞬間」位置−「テークバック開始」位置）×ＢＬｆｐｓ／ＦＲｆｐｓ ・・・（２）
[「振り下ろし開始」の基準位置]＝Ｘ−（正面の静止画像の「インパクト瞬間」位置−「振り下ろし開始」位置）×ＢＬｆｐｓ／ＦＲｆｐｓ ・・・（３）
[「インパクト瞬間」の基準位置]＝Ｘ ・・・（４）
[「フォロースルー終了」の基準位置]＝Ｘ＋（正面の静止画像の「フォロースルー終了」位置−「インパクト瞬間」位置）×ＢＬｆｐｓ／ＦＲｆｐｓ ・・・（５）

図１１に、各方向の静止画像の基準位置情報を決定又は更新した後の基準位置情報の概念図を示す。
図１１に示すように、後方の静止画像の仮の基準位置情報は、正面の静止画像の基準位置情報と同一である。また、ボールの静止画像の仮の基準位置情報は、上記式（１）〜（５）に基づいて計算されたものである。

制御部１１は、基準位置情報を読み込む（ステップＳ２４）。
制御部１１は、基準位置情報に基づいて、「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の各タイミングに相当する正面の静止画像を読み込んで表示部１３に表示する（ステップＳ２５）。

制御部１１は、各タイミングに相当する正面の静止画像を全て表示したか否か判断する（ステップＳ２６）。
表示していない場合（ステップＳ２６；Ｎ）、制御部１１は、ステップＳ２５に移行する。
表示した場合（ステップＳ２６；Ｙ）、制御部１１は、基準位置情報に基づいて、「テークバック開始」、「振り下ろし開始」、「インパクト瞬間」、「フォロースルー終了」の各タイミングに相当する後方の静止画像を読み込んで表示部１３に表示する（ステップＳ２７）。

制御部１１は、各タイミングに相当する後方の静止画像を全て表示したか否か判断する（ステップＳ２８）。
表示していない場合（ステップＳ２８；Ｎ）、制御部１１は、ステップＳ２７に移行する。
表示した場合（ステップＳ２８；Ｙ）、制御部１１は、基準位置情報に基づいて、ボールの静止画像を読み込んで表示部１３に表示する（ステップＳ２９）。

制御部１１は、同期ゲージを表示部１３に表示する（ステップＳ３０）。
図１２に、各方向の静止画像及び同期ゲージＧ２、Ｇ３を含む同期パネルＰ６を示す。
同期パネルＰ６では、基準位置情報に基づく静止画像がフレームＦ１〜Ｆ１４内に表示される。フレームＦ１〜Ｆ４内には正面の静止画像が表示され、フレームＦ５〜Ｆ８内には後方の静止画像が表示され、フレームＦ９〜Ｆ１４内にはボールの静止画像が表示される。

また、同期パネルＰ６では、「インパクト瞬間」に相当する後方及びボールの静止画像を表示するフレームＦ７、Ｆ１２の下部に、同期ゲージＧ２、Ｇ３が表示される。
後述するが、入力部１２を介して同期ゲージＧ２、Ｇ３が操作されることにより、後方の静止画像の「仮」の基準位置情報、及びボールの静止画像の「仮」の基準位置情報が「決定」されることになる。

制御部１１は、「インパクト瞬間」に相当する後方又はボールの静止画像を表示するフレームＦ７、Ｆ１２の何れかが選択されたか否か判断する（ステップＳ３１）。
何れかのフレームが選択されない場合（ステップＳ３１；Ｎ）、制御部１１は、選択されるまで待機する。
何れかのフレームが選択された場合（ステップＳ３１；Ｙ）、制御部１１は、選択されたフレーム内の静止画像を編集可能に設定する（ステップＳ３２）。
以下、フレームＦ７が選択されたものとして説明する。

制御部１１は、編集指示があるか否かについて判断する（ステップＳ３３）。
編集指示がない場合（ステップＳ３３；Ｎ）、制御部１１は、指示があるまで待機する。
編集指示があった場合（ステップＳ３３；Ｙ）、制御部１１は、ゲージＧ２の間引き操作があるか否か判断する（ステップＳ３４）。
ゲージＧ２の間引き操作は、ゲージＧ１と同様であるためここでの説明は省略する。また、ゲージＧ２の「▲」の操作及びスライダの操作は、ゲージＧ１と同様であるためここでの説明は省略する。

ゲージＧ２の間引き操作がない場合（ステップＳ３４；Ｎ）、制御部１１は、ステップＳ１４に移行する。
ゲージＧ２の間引き操作があった場合（ステップＳ３４；Ｙ）、制御部１１は、予め定められている間引き量の読み込みを行う（ステップＳ３５）。

制御部１１は、ゲージＧ２の「▲」又はスライダによる操作指示に従って、フレームＦ７内の後方の静止画像の位置を計算する（ステップＳ３６）。

制御部１１は、計算した後方の静止画像の位置が静止画像の存在する範囲内であるか否か判断する（ステップＳ３７）。
静止画像の存在する範囲内でない場合（ステップＳ３７：Ｎ）、制御部１１は、ステップＳ３３に移行する。
静止画像の存在する範囲内である場合（ステップＳ３７；Ｙ）、制御部１１は、フレームＦ７内の後方の静止画像を切り替えて表示する（ステップＳ３８）。

制御部１１は、図１１に示す基準位置情報を更新する（ステップＳ３９）。
制御部１１は、現在操作対象の静止画像が後方の静止画像であるか否か判断する（ステップＳ４０）。つまり、ステップＳ３２で選択されたフレームがフレームＦ７であって、ゲージＧ２の操作が行われたか否か判断する。

現在操作対象の静止画像が後方の静止画像である場合（ステップＳ４０；Ｙ）、制御部１１は、ステップＳ３８で切り替えて表示した「インパクト瞬間」の後方の静止画像に応じて、他のタイミングに相当する後方の静止画像をフレームＦ５、Ｆ６、Ｆ８内に更新して表示する（ステップＳ４１）。

現在操作対象の静止画像が後方の静止画像でない場合（ステップＳ４０；Ｎ）、つまりゲージＧ３の操作が行われた場合、制御部１１は、「インパクト瞬間」のボールの静止画像を中心に前後のボールの静止画像をフレームＦ９〜Ｆ１１、Ｆ１３、Ｆ１４内に更新して表示する（ステップＳ４２）。

制御部１１は、他のフレーム（ここではフレームＦ１２）について選択指示があるか否か判断する（ステップＳ４３）。
選択指示があった場合（ステップＳ４３；Ｙ）、制御部１１は、ステップＳ３３に移行する。
選択指示がない場合（ステップＳ４３；Ｎ）、制御部１１は、３方向全ての静止画像の基準位置情報を決定し（ステップＳ４４）、同期処理を終了する。

図１３に、３方向全ての静止画像の基準位置情報を決定した後の基準位置情報の概念図を示す。
図１３に示すように、ステップＳ３３〜Ｓ４４の処理により、後方の静止画像の仮の基準位置情報、及びボールの静止画像の仮の基準位置情報が微調整され、３方向全ての静止画像の基準位置情報が決定される。

図１４を参照して、動画生成処理について説明する。
制御部１１は、記憶部１４に記憶されている基準位置情報を読み込む（ステップＳ５１）。具体的には、制御部１１は各方向の開始画像番号と終了画像番号を読み込む。

各方向の開始画像番号とは、図１３に示すように、「テークバック開始」に相当する正面の静止画像の画像番号（以下、「正面ＳＴ」）、後方の静止画像の画像番号（以下、「後方ＳＴ」）、ボールの静止画像の画像番号（以下、「ボールＳＴ」）である。
また、終了画像番号とは、「フォロースルー終了」に相当する正面の静止画像の画像番号（以下、「正面ＥＤ」）である。本実施形態では、正面ＳＴは「０００１５５８」、後方ＳＴは「０００１０９２」、ボールＳＴは「０００５３８６」である。また、正面ＥＤは「０００２０２３」である。

制御部１１は、画像番号に基づいて、３方向の静止画像を読み込む（ステップＳ５２〜５４）。
３方向の静止画像とは、「テークバック開始」に相当する正面、後方及びボールの静止画像である。

制御部１１は、読み込んだ３方向の静止画像を１枚の静止画像にレイアウトして合成する（ステップＳ５５）。
制御部１１は、合成した静止画像を記憶部１４に記憶する（ステップＳ５６）。

制御部１１は、正面ＳＴ及び後方ＳＴを＋１だけインクリメントし（ステップＳ５７、Ｓ５８）、ボールＳＴを＋Δｄだけインクリメントする（ステップＳ５９）。
ΔｄはＢＬｆｐｓ／ＦＲｆｐｓにより定まる。ＢＬｆｐｓ及びＦＲｆｐｓは、既述したように、ステップＳ４で記憶したボールの静止画像群及び正面の静止画像群のフレームレートの情報である。本実施形態では、Δｄ＝ＢＬｆｐｓ／ＦＲｆｐｓ＝１２００／３００＝「４」となる。

制御部１１は、正面ＳＴ＞正面ＥＤであるか否か判断する（ステップＳ６０）。
正面ＳＴ＞正面ＥＤでない場合（ステップＳ６０；Ｎ）、制御部１１は、ステップＳ５２に移行する。
正面ＳＴ＞正面ＥＤである場合（ステップＳ６０；Ｙ）、制御部１１は、複数の合成した静止画像を動画像に変換して（ステップＳ６１）、動画生成処理を終了する。
ステップＳ６１で変換して生成した動画像は、可搬記憶媒体に書込可能な１画面表示用の動画像である。動画像変換処理の後、制御部１１はメディア書込部６により、変換した１画面表示用の動画像をＤＶＤ等の可搬記憶媒体に書き込むとしてもよい。

図１５に、可搬記憶媒体に書込可能な１画面表示用の動画像Ｄ１の一例を示す。
１画面表示用の動画像Ｄ１では、正面の動画像、後方の動画像及びボールの動画像が１画面に同時に表示される。また、動画像Ｄ１を再生した場合、正面の動画像、後方の動画像及びボールの動画像は互いに同期して再生される。

以上のように、本実施形態によれば、動体の軌跡を複数の方向から撮影した動画像について、同期のとれた動画像及び可搬記憶媒体に書込可能な動画像に変換することができる。また、フレームレートが異なる動画像を合わせこんで１画面表示用の動画像に変換することができる。変換した動画像を閲覧することにより、動体の軌跡について多角度的に把握することができる。

また、打撃球技の一例としてゴルフスイング動作時のスイング動作者の軌跡及び打撃対象物の一例としてゴルフボールの軌跡を複数の方向から撮影した動画像について、同期のとれた動画像及び可搬記憶媒体に書込可能な動画像に変換することができる。

また、複数の方向から撮影した動画像のうち何れか一の方向の動画像において、予め定められた４つのタイミングに基づいて、複数の方向から撮影した動画像の同期をとることができる。

また、入力部により、同期のとれた複数の動画像を更に微調整して精度の高い同期をとることができる。

また、メディア書込部により、同期のとれた動画像をＤＶＤ等の可搬記憶媒体に書き込むことができる。
前述の実施形態における記述は、本発明の一例を示すものであり、これに限定しない。
例えば、本発明で扱う動画はゴルフスイングを撮影したものに限らず、動体の移動軌跡を撮像した動画ならば適用可能であり、ゴルフスイング及びゴルフボールに限定されず、打撃球技におけるスイング動作時のスイング動作者及び打撃対象物を撮影するものに広く適用できる。
例えば、ゴルフ以外の打撃球技としては、野球のバットスイングの移動軌跡とボールの移動軌跡を撮影したり、テニスのラケットスイングの移動軌跡とボールの移動軌跡を撮影したり、卓球のラケットスイングの移動軌跡とボールの移動軌跡を撮影したり、アイスホッケーのラケットスイングの移動軌跡とパッド(ボール)の移動軌跡を撮影したりするものに適用可能である。

画像処理システムの全体構成を示す図である。 画像処理装置の内部構成を示す図である。 同期処理を示すフロー図である。 同期処理を示すフロー図である。 同期処理を示すフロー図である。 同期処理を示すフロー図である。 同期処理を示すフロー図である。 基準位置情報の概念図である。 基準位置抽出パネルの一例を示す図である。 基準位置抽出パネルの一例を示す図である。 基準位置抽出パネルの一例を示す図である。 基準位置抽出パネルの一例を示す図である。 基準位置抽出パネルの一例を示す図である。 基準位置情報の概念図である。 基準位置情報の概念図である。 同期パネルの一例を示す図である。 基準位置情報の概念図である。 動画生成処理を示すフロー図である。 可搬記憶媒体に書込可能な１画面表示用の動画像の一例を示す図である。

符号の説明

１００ 画像処理システム
１０ 画像処理装置
１１ 制御部
１２ 入力部
１３ 表示部
１４ 記憶部
１５ 接続部
１〜３ ハイスピードカメラ
４ ＨＵＢ
５ プリンタ
６ メディア書込部

Claims (6)

1. 複数の撮影装置で撮影された動画像の再生を制御する画像処理装置であって、
   前記各撮影装置により夫々異なるフレームレートで撮影された複数の動画像を同時に再生するに当たって、各動画像の同期基準となる基準フレームを、その各動画像毎に個別に設定する設定手段と、
   前記各動画像を同時再生した際に、前記設定手段により設定された各動画像の基準フレームが同一の再生タイミングで再生されるように、前記基準フレームよりも前のフレームの内で同期再生されるべき開始基準フレームを前記各動画像毎に個別に決定する決定手段と、
   前記異なるフレームレートで撮影された前記各動画像をその個々に決定された開始基準フレームから同時に再生開始させ、少なくとも前記各動画像の夫々の前記基準フレームが同一再生タイミングで再生されるよう制御する再生制御手段と、
   を具備したことを特徴とする画像処理装置。
2. 前記再生制御手段は、前記各動画像をその各動画像のフレームレートの比に応じた異なる再生速度で再生するように制御する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記設定手段は、第１動画像に含まれる複数フレームの中から所定の第１基準フレームを表示させた状態で、第２動画像に含まれる複数フレームの中から前記第１基準フレームと同期させたい第２基準フレームを任意に選択することで、前記各動画像の同期基準となる基準フレームを設定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記再生制御手段は、前記各動画像を同一表示画面上で同時に再生表示されるように制御する、
   ことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
5. 前記再生制御手段は、前記各動画像が前記同一表示画面上で同時に再生表示されるようにした新たな動画像を前記各動画像の各フレームを合成することで生成し、その生成された動画像を所定の記録媒体に書込む、
   ことを特徴とする請求項４記載の画像処理装置。
6. 複数の撮影装置で撮影された動画像の再生を制御する画像処理装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   前記各撮影装置により夫々異なるフレームレートで撮影された複数の動画像を同時に再生するに当たって、各動画像の同期基準となる基準フレームを、その各動画像毎に個別に設定する設定手段、
   前記各動画像を同時再生した際に、前記設定手段により設定された各動画像の基準フレームが同一の再生タイミングで再生されるように、前記基準フレームよりも前のフレームの内で同期再生されるべき開始基準フレームを前記各動画像毎に個別に決定する決定手段、
   前記異なるフレームレートで撮影された前記各動画像をその個々に決定された開始基準フレームから同時に再生開始させ、少なくとも前記各動画像の夫々の前記基準フレームが同一再生タイミングで再生されるよう制御する再生制御手段、
   として機能させるようにしたコンピュータ読み取り可能なプログラム。

Images