JP6337911B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、テニス、ゴルフあるいは野球等におけるスイングをカメラ撮影し、撮影したスイングの画像を見ながらフォームをチェックすることが行われている（例えば、特許文献１）。

また、このようなフォームのチェックを行うにあたり、ゴルフクラブ等の動体の軌跡を表示するようにしてチェックを容易にするようにしたものもある（例えば、特許文献２）。

特開２００３−１１７０４５号公報 特開平１１−９８４５０号公報

ところで、フォームのチェックは、自分のスイングをカメラ撮影してこれをチェックするだけでなく、例えば、プロ選手やインストラクター等の理想のフォームによるスイングを撮影しておき、これと比較表示してチェックを行う場合がある。

しかしながら、このような場合、理想のフォームによるスイングを撮影するカメラの角度等の撮影条件が自分のスイングを撮影したときと一致するとは限らないため、このような状況においては、上記各特許文献に記載の技術を用いたとしても、理想のフォームを正確に把握することができず、フォームのチェックが困難であるという問題があった。

本発明の課題は、撮影条件が異なっても理想のフォームを正確に把握することができる画像処理装置、画像処理方法及びプログラムを提供することである。

以上の課題を解決するため、本発明の画像処理装置は、
移動しうる被写体が第１の撮影環境下で撮影された少なくとも１つの第１の動画像と前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された第２の動画像を取得する画像取得手段と、
前記画像取得手段により取得された前記第１の動画像に含まれる前記被写体の動作に基づいて、第１の軌跡を生成する軌跡生成手段と、
前記第１の動画像及び前記第２の動画像の前記移動しうる被写体に含まれる特徴点に基づいて、画像内における位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得された位置情報に基づいて、前記軌跡生成手段により生成された第１の軌跡を、前記第２の撮影環境下に適合するように補正する軌跡補正手段と、
前記第２の動画像に前記軌跡補正手段により補正された第１の軌跡が重畳するように合成する合成手段と、
を備えたことを特徴とする。

本発明によれば、撮影条件が異なっても理想のフォームを正確に把握することができる。

画像処理システムの全体構成を示す図である。 画像処理装置の内部構成を示す図である。 制御部の機能的構成を示す図である。 動体の軌跡を表示又は解析する手順について説明するフローチャートである。 データ登録処理について説明するフローチャートである。 フォームチェック開始フレームの指定画面について説明する図である。 ラインの指定を行う画面について説明する図である。 スイング動作者の位置の指定を行う画面について説明する図である。 テニスラケットの位置の指定を行う画面について説明する図である。 テニスラケットの位置の指定を行う画面について説明する図である。 バックスイング開始フレームの指定画面について説明する図である。 フォロースイング開始フレームの指定画面について説明する図である。 フォロースイング終了フレームの指定画面について説明する図である。 規定したラインの傾きについて説明する図である。 撮影角度の算出について説明する図である。 撮影角度の算出について説明する図である。 テニスラケットの軌跡について説明する図である。 チェック対象の動画像について説明する図である。 ファイル選択画面について説明する図である。 軌跡の補正について説明する図である。 軌跡の補正について説明する図である。 動画像の再生タイミングについて説明する図である。 チェック対象者のフォームの診断画面について説明する図である。 フォームチェック開始フレームの指定画面について説明する図である。 ラインの指定を行う画面について説明する図である。 スイング動作者の位置の指定を行う画面について説明する図である。 ゴルフクラブの位置の指定を行う画面について説明する図である。 ゴルフクラブの位置の指定を行う画面について説明する図である。 バックスイング開始フレームの指定画面について説明する図である。 フォロースイング開始フレームの指定画面について説明する図である。 フォロースイング終了フレームの指定画面について説明する図である。 規定したラインの傾きについて説明する図である。 撮影角度の算出について説明する図である。 撮影角度の算出について説明する図である。 撮影角度の算出について説明する図である。 撮影角度の算出について説明する図である。 軌跡の補正について説明する図である。 軌跡の補正について説明する図である。 チェック対象者のフォームの診断画面について説明する図である。 ゴルフクラブとスイング動作者の肩の位置の指定を行う画面について説明する図である。 ゴルフクラブとスイング動作者の肩の位置の指定を行う画面について説明する図である。 軌跡の設定について説明する図である。 ゴルフクラブの軌跡について説明する図である。

図１に、本発明の一実施形態における画像処理システム１００の全体構成を示す。
画像処理システム１００は動体の軌跡を表示又は解析するためのシステムであり、本実施の形態では、一例として、テニスコートにおけるテニススイングの軌跡を表示又は解析する場合について説明する。なお、本実施の形態によれば、ゴルフスイング、野球でのバットのスイング、その他の動体の軌跡の表示又は解析が可能である。

画像処理システム１００は、撮影手段としてのカメラ１〜３、ＨＵＢ４、画像処理装置１０、プリンタ５、メディア書込部６等を備えて構成される。これらはＬＡＮ（Local Area Network）ケーブル７により接続されている。

カメラ１〜３は、１秒間に３０枚程度の静止画像を撮影して動画像を出力する高機能のデジタルカメラである。秒間撮像フレーム数（フレームレート）はｆｐｓ（frame per second）で表される。すなわち、カメラ１〜３のフレームレートは３０[fps]である。本実施の形態では、上述したように、フレームレートが３０[fps]であるカメラを適用したが、フレームレートはこれに限らず、例えば、フレームレートが３００〜１２００[fps]であるハイスピードカメラを適用してもよい。

カメラ１は、テニスコートのバックラインに対して第１の撮影角度でスイング動作者を撮影するカメラであり、当該位置で撮影した動画像の画像データを画像処理装置１０に出力する。カメラ２は、テニスコートのバックラインに対して第２の撮影角度でスイング動作者を撮影するカメラであり、当該位置で撮影した動画像の画像データを画像処理装置１０に出力する。カメラ３は、テニスコートのバックラインに対して第３の撮影角度でスイング動作者を撮影するカメラであり、当該位置で撮影した動画像の画像データを画像処理装置１０に出力する。

画像処理装置１０は、カメラ１〜３により撮影された動画像の画像データを入力して、入力した画像データによる動画像の表示又は解析等を行う。

図２に、画像処理装置１０の内部構成を示す。
画像処理装置１０は、制御部１１、入力部１２、表示部１３、記憶部１４、接続部１５等を備えて構成される。また、各部はバス１６により接続される。本実施の形態において、画像処理装置１０は、例えば、パーソナルコンピュータ等の情報処理装置により構成される。なお、画像処理装置の機能をカメラ１〜３が備える構成であってもよい。

軌跡補正手段として機能する制御部１１は、図示しないＣＰＵやＲＡＭ等を備えて構成され、記憶部１４との協働により画像処理装置１０の各部を集中制御する。すなわち、制御部１１は、記憶部１４に記憶された各種プログラムを実行することにより、図３に示すように、第１設定部１１ａ、第２設定部１１ｂ、第１軌跡取得部１１ｃ、第２軌跡取得部１１ｄ、第１撮影角度算出部１１ｅ、第２撮影角度算出部１１ｆ、撮影角度差分算出部１１ｇ、補正部１１ｈ、第３設定部１１ｉ、第４設定部１１ｊ、比率算出部１１ｋ、位置差分算出部１１ｍ、軌跡差分判定部１１ｎ、画像指定部１１ｐ、移動対象画像抽出部１１ｒ及び表示制御部１１ｓとして機能する。

第１設定部１１ａは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第１の特徴点として交差する２以上の直線を設定する。具体的には後述するが、第１設定部１１ａは、ある撮影環境下で理想のフォームによるスイングを撮影して得られた動画像に基づいてユーザにより２以上の直線を設定する。この２以上の直線は、例えば、テニスコートにあっては、バックラインとサイドラインに沿ってそれぞれ設定された直線である。

第２設定部１１ｂは、カメラ１〜３によって第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点として交差する２以上の直線を設定する。具体的には後述するが、第２設定部１１ｂは、理想のフォームを撮影したときとは異なる撮影環境下でチェック対象のスイングを撮影して得られた動画像に基づいてユーザにより２以上の直線を設定する。この２以上の直線は、例えば、テニスコートにあっては、バックラインとサイドラインに沿ってそれぞれ設定された直線である。

第１軌跡取得部１１ｃは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から第１の移動対象の軌跡を第１軌跡として取得する。具体的には後述するが、第１軌跡取得部１１ｃは、撮影した理想のフォームによるスイングの動画像からテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡を取得する。

第２軌跡取得部１１ｄは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像から第２の移動対象の軌跡を第２軌跡として取得する。具体的には後述するが、第２軌跡取得部１１ｄは、撮影したチェック対象のスイングの動画像からテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡を取得する。

第１撮影角度算出部１１ｅは、第１設定部１１ａによって設定された２以上の直線のそれぞれのなす角度から第１の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。具体的には後述するが、第１撮影角度算出部１１ｅは、理想のフォームによるスイングを撮影して得られた動画像から設定された２以上の直線のそれぞれのなす角度から、ある位置に対するカメラ１〜３の撮影角度を算出する。

第２撮影角度算出部１１ｆは、第２設定部１１ｂによって設定された２以上の直線のそれぞれのなす角度から第２の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。具体的には後述するが、第２撮影角度算出部１１ｆは、チェック対象のスイングを撮影して得られた動画像から設定された２以上の直線のそれぞれのなす角度から、ある位置に対するカメラ１〜３の撮影角度を算出する。

撮影角度差分算出部１１ｇは、第１撮影角度算出部１１ｅによって算出された撮影角度と、第２撮影角度算出部１１ｆによって算出された撮影角度との差分を算出する。

補正部１１ｈは、撮影角度差分算出部１１ｇによって算出された撮影角度の差分に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置を補正する。具体的には後述するが、補正部１１ｈは、第１の撮影環境下で撮影されたときのカメラ１〜３の撮影角度と第２の撮影環境下で撮影されたときのカメラ１〜３の撮影角度との差分から、撮影した理想のフォームによるスイングの動画像から取得されたテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡の位置を補正する。

第３設定部１１ｉは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第３の特徴点としての直線を設定する。具体的には後述するが、第３設定部１１ｉは、理想のフォームによるスイングを撮影して得られた動画像に基づいて、ユーザにより第１の特徴点としての直線とは異なる直線を設定する。この直線は、例えば、理想のフォームによるスイングを行うスイング動作者の体の中心線に沿って設定された直線である。

第４設定部１１ｊは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像における第４の特徴点としての直線を設定する。具体的には後述するが、第４設定部１１ｊは、チェック対象のスイングを撮影して得られた動画像に基づいて、ユーザにより第２の特徴点としての直線とは異なる直線を設定する。この直線は、例えば、チェック対象のスイングを行うスイング動作者の体の中心線に沿って設定された直線である。

比率算出部１１ｋは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線との長さの比率を算出する。

位置差分算出部１１ｍは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線との位置の差分を算出する。すなわち、位置差分算出部１１ｍは、第３の特徴点としての直線の位置と、第４の特徴点としての直線の位置とのずれ量を求める。

軌跡差分判定部１１ｎは、補正部１１ｈによって補正された第１軌跡と、第２軌跡取得部１１ｄによって取得された第２軌跡との差分を判定する。具体的には後述するが、軌跡差分判定部１１ｎは、撮影したチェック対象のスイングの動画像からテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡が、位置が補正された撮影した理想のフォームによるスイングの動画像から取得されたテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡からどのくらいずれているかを判定する。

画像指定部１１ｐは、第１の移動対象の画像を指定する。具体的には後述するが、画像指定部１１ｐは、移動対象を特定するために、ユーザによって当該移動対象部分の画像を指定する。

移動対象画像抽出部１１ｒは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から画像指定部１１ｐによって指定された画像に対応する画像を抽出する。具体的には後述するが、移動対象画像抽出部１１ｒは、ユーザによって指定された画像をテンプレートとするテンプレートマッチングを行う。これにより、理想のフォームによるスイングを撮影して得られた動画像を構成する各静止画像からテンプレートに相当する画像を抽出する。

表示制御部１１ｓは、表示部１３の表示制御を行う。

入力部１２は、カーソルキーや各種機能キーを備えたキーボード及びマウス等を備えて構成され、操作信号を制御部１１に出力する。

表示部１３は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成され、制御部１１からの表示信号に従って画面表示を行う。

記憶部１４は、ＨＤＤ（Hard Disk Drive）等により構成され、各種プログラム及び各種データを記憶する。

接続部１５は、ＵＳＢ（Universal Serial Bus）等のバスインターフェイスにより構成され、カメラ１〜３から出力された動画像の画像データを入力し、一方でプリンタ５やメディア書込部６に動画像又は静止画像の画像データを出力する。

図１に戻り、ＨＵＢ４は、カメラ１〜３と画像処理装置１０との間に介在する集線装置であってこれらを接続する。
プリンタ５は、画像処理装置１０からの印刷指示に従い、印刷媒体（例えば紙等）に対して印刷処理を行う。プリンタ５は、例えば、ページプリンタ等の印刷装置により構成される。
メディア書込部６は、画像処理装置１０の書込指示に従い、デジタルの動画像の画像データをＤＶＤ等のメディア（可搬型記録媒体）に書き込む機器である。なお、メディア書込部６は、画像処理装置１０に内蔵されるものとしてもよい。

次に、上述のようにして構成された画像処理システム１００を用いて、動体の軌跡を表示又は解析する手順について、図４を参照しながら説明する。
なお、以下の説明において、カメラ１〜３によりテニススイング時のスイング動作者が同時期に撮影され、撮影された各方向の動画像の画像データが画像処理装置１０により記憶されるものとする。

最初に、ある撮影環境（第１の撮影環境）下において、例えばインストラクターやプロ選手のスイング等、見本とするフォーム（理想のフォーム）によるスイングの撮影をカメラ１〜３によって行う。なお、撮影に使用するカメラの数は３つに限らず、１つであっても、２以上であってもよい。撮影された動画像の画像データ（理想のフォームの動画像データ）は、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０１）。

次に、理想のフォームによるスイングの撮影時とは異なる撮影位置（第２の撮影環境下）にて、フォームのチェックを行いたいスイングの撮影をカメラ１〜３によって行う。ここで、撮影するカメラはカメラ１〜３の何れかであってもよい。撮影された動画像の画像データ（チェック対象の動画像データ）は、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０２）。

次に、制御部１１は、記憶部１４から理想のフォームの動画像データを読み出し、移動対象であるテニスラケットの軌跡を取得するための各種データの登録を行う（ステップＳ１０３）。ここで、図５を参照して、テニスラケットの軌跡を取得するためのデータ登録処理の手順について説明する。なお、以下の説明においては、理想のフォームの動画像データを用いて各種データの登録を行う内容について説明するが、チェック対象の動画像データを用いた各種データの登録も同様の手順にて行われる。

最初に、制御部１１は、読み出した理想のフォームの動画像データから、フォーム開始フレームの指定を行う（ステップＳ２０１）。すなわち、制御部１１は、フォームの診断を開始するフレームの指定を行う。より具体的には、例えば、図６に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。なお、図６には、テニスラケットＲ１を把持したスイング動作者Ｑ１がテニスコート上でスイングしている様子が表示されている。テニスコートは、コーナーＣ１で交差するバックラインＢＬ１とサイドラインＳＬ１とに囲まれている。また、表示画面上に表示された選択ボタンＢ１，Ｂ２は、例えば、入力部１２としてのマウスの操作によ
り入力することができる。そして、制御部１１は、表示画面上にフォーム開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォーム開始フレームを指定する。

次に、制御部１１は、第１設定部１１ａを機能させて、指定されたフォーム開始フレームの静止画像を利用したバックライン及びサイドラインの指定を行う（ステップＳ２０２）。具体的には、例えば、図７に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ_１〜Ｐ_３の位置が変位操作されることにより、バックラインＢＬ１及びサイドラインＳＬ１をラインＬ_１，Ｌ_２によって規定する。なお、表示画面上に表示されたポインタＰ_１〜Ｐ_３は、例えば、入力部１２としてのマウスによるドラッグ操作によって変位させることができる。ポインタＰ_１〜Ｐ_３の位置は、例えば、制御部１１の備えるＲＡＭに保存される。

次に、制御部１１は、第３設定部１１ｉを機能させて、スイング動作者Ｑ１の位置の指定を行う（ステップＳ２０３）。具体的には、例えば、図８に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ_４，Ｐ_５の位置が変位操作されることにより、スイング動作者Ｑ１の位置をラインＬ_３によって規定する。ラインＬ_３の規定は、例えば、スイング動作者Ｑ１の首と腰の部分をそれぞれポインタＰ_４，Ｐ_５で規定することにより行うことができる。なお、表示画面上に表示されたポインタＰ_４，Ｐ_５は、例えば、入力部１２としてのマウスによるドラッグ操作によって変位させることができる。
ポインタＰ_４，Ｐ_５の位置は、例えば、制御部１１の備えるＲＡＭに保存される。

次に、制御部１１は、画像指定部１１ｐを機能させて、テニスラケットＲ１の位置の指定を行う（ステップＳ２０４）。具体的には、例えば、図９、図１０に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＴ_１，Ｔ_２の位置が変位操作されると、当該ポインタＴ_１，Ｔ_２の位置により方形状の枠ＦＴを規定する。テニスラケットＲ１の指定は、例えば、図１０に示すように、テニスラケットＲ１の左上部分と右下部分とをそれぞれポインタＴ_１，Ｔ_２で規定することにより行うことができる。なお、表示画面上に表示されたポインタＴ_１，Ｔ_２は、例えば、入力部１２としてのマウスによるドラッグ操作によって変位させることができる。ポインタＴ_１，Ｔ_２の位置は、例えば、制御部１１の備えるＲＡＭに保存される。

次に、制御部１１は、理想のフォームの動画像データから、バックスイング開始フレームの指定を行う（ステップＳ２０５）。すなわち、制御部１１は、バックスイングの動作の開始に相当するフレームの指定を行う。より具体的には、例えば、図１１に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にバックスイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、バックスイング開始フレームを指定する。

次に、制御部１１は、理想のフォームの動画像データから、フォロースイング開始フレームの指定を行う（ステップＳ２０６）。すなわち、制御部１１は、フォロースイングの動作の開始に相当するフレームの指定を行う。より具体的には、例えば、図１２に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング開始フレームを指定する。

次に、制御部１１は、理想のフォームの動画像データから、フォロースイング終了フレームの指定を行う（ステップＳ２０７）。すなわち、制御部１１は、フォロースイングの動作の終了に相当するフレームの指定を行う。より具体的には、例えば、図１３に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング終了フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング終了フレームを指定する。

以上のようにして理想のフォームのデータ登録が完了すると、制御部１１は、図４に示すように、第１撮影角度算出部１１ｅを機能させて、理想のフォームによるスイングが撮影されたときのテニスコートのバックラインに対する撮影角度（理想のフォームの撮影角度）を算出する（ステップＳ１０４）。

具体的には、制御部１１は、図１４に示すように、ラインＬ_１，Ｌ_２によって規定されたバックライン及びサイドラインの水平線ＨＬに対する傾き、すなわち、角度α，βを求める。ここで、理想のフォームによるスイングが撮影されたときのテニスコートの状況を平面視で表すと、図１５（Ａ）に示すようになる。なお、立体視で表した状態を、図１５（Ｂ）に示す。このとき、カメラ１〜３のうちの一のカメラＣＭと、バックラインＢＬとサイドラインＳＬとの交点であるコーナーとを結ぶ軸線をｙ軸とし、このコーナーに接するとともにｙ軸と直交する軸線をｘ軸とすると、ｘ軸とバックラインＢＬとでなす角度はα_０となり、ｘ軸とサイドラインＳＬとでなす角度はβ_０となる。このとき、バックラインＢＬとｙ軸とがなす角度が撮影角度θとなる。テニスコートを平面視でみた場合、バックラインＢＬとサイドラインＳＬとのなす角度は９０°であり、下記式（１）の関係が成り立つ。なお、ａは変換係数を示す。
（ａ×ｓｉｎα_０）^２＋（ａ×ｓｉｎβ_０）^２＝１・・・（１）

さらに、これをｘｙｚ軸上で表すと、図１６に示すようになる。平面視においては、視点はｚ軸上とされているため、これを実際のカメラＣＭの視点にするために、ｘ軸を回転軸として、全体を角度δ回転させる。すると、ｘｙｚ軸上にある任意の点Ｘは、ｘ軸で回転してＸ´となる。すなわち、点Ｘの座標を（ｘ，ｙ，ｚ）とし、点Ｘ´の座標を（ｘ´，ｙ´，ｚ´）とすると、点Ｘ´の座標は下記式（２）のようにして求めることができる。

上記式（２）によれば、変換係数ａは１／ｃｏｓδとなることがわかる。
そして、バックラインＢＬとサイドラインＳＬの交点であるコーナーの位置のｚ軸上の高さを０とすると、下記式（３）及び下記式（４）の関係が成り立つ。
ｓｉｎα＝ｃｏｓδ×ｓｉｎα_０・・・（３）
ｓｉｎβ＝ｃｏｓδ×ｓｉｎβ_０・・・（４）

すなわち、上記式（３）及び上記式（４）から下記式（５）を表すことができる。
（１／ｃｏｓδ×ｓｉｎα）^２＋（１／ｃｏｓδ×ｓｉｎβ）^２＝１・・・（５）
したがって、下記式（６）及び下記式（７）の関係が成り立つ。
ｃｏｓθ＝１／ｃｏｓδ×ｓｉｎβ・・・（６）
ｓｉｎθ＝１／ｃｏｓδ×ｓｉｎα・・・（７）
これにより、撮影角度θを求めることができる。なお、上述した説明は、カメラ１〜３のうちの一のカメラＣＭについての撮影角度θを求めるものであるが、他のカメラについても同様の手順で撮影角度θを求めることができる。

以上のようにして、理想のフォームの撮影角度を算出すると、制御部１１は、第１軌跡取得部１１ｃを機能させて、撮影した理想のフォームによるスイングの動画像から移動対象であるテニスラケットの軌跡を取得する（ステップＳ１０５）。具体的には、制御部１１は、移動対象画像抽出部１１ｒを機能させて、理想のフォームによるスイングの動画像のうち、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、テニスラケットの部分の画像を抽出する。
すなわち、制御部１１は、先ず、画像指定部１１ｐを機能させて上述のようにして指定されたテニスラケットの画像をテンプレートとする。次に、制御部１１は、理想のフォームの動画像のうち、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、テンプレートとした画像とマッチングする画像の部分を抽出する。制御部１１は、この抽出された画像をテニスラケットの部分の画像とし、この抽出された画像の中心を軌跡としてプロットする。その結果、例えば、図１７に示されるようなフレーム毎の軌跡Ｈ_１〜Ｈ_ｎを取得することができる。テンプレートマッチングの手法は、公知のものが採用できるが、例えば、最初にテンプレートを設定したフレームの次のフレームの静止画像から、テンプレートとした画像の座標の近傍の一定範囲を探索範囲とし、例えば、ＲＧＢ等の画像のパラメータの差分が最も小さい領域を特定する。その次以降のフレームの静止画像についても同様の手順を繰り返すことにより、各フレームについてテンプレートとマッチングする画像の部分を特定する。

制御部１１は、上述した処理を、カメラ１〜３のそれぞれで撮影して得られた動画像についてそれぞれ実施する。

次に、カメラ１〜３のそれぞれで撮影されて得られた理想のフォームの動画像データを、上述のようにして生成された、テニスラケットの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、理想のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１０６）。なお、理想のフォームデータファイルは、ファイル名が指定される。また、理想のフォームデータファイルは、理想のフォームの動画像データを作成する毎に生成される。

次に、制御部１１は、第２設定部１１ｂ及び第４設定部１１ｊ等を機能させて、記憶部１４からチェック対象の動画像データを読み出し、移動対象であるテニスラケットの軌跡を取得するための各種データの登録を行う（ステップＳ１０７）。テニスラケットの軌跡を取得するためのデータの登録の処理手順は、上述した理想のフォームによるスイングの動画像についてのテニスラケットの軌跡を取得するためのデータの登録の処理手順と同様である。すなわち、制御部１１は、図１８に示すようなチェック対象のスイングの動画像を表示部１３の表示画面上に表示させた後に、フォーム開始フレームの指定、バックラインＢＬ２及びサイドラインＳＬ２の規定、スイング動作者Ｑ２の位置の指定、テニスラケットＲ２の位置の指定、バックスイング開始フレームの指定、フォロースイング開始フレ
ームの指定及びフォロースイング終了フレームの指定を行う。

続いて、制御部１１は、第２撮影角度算出部１１ｆを機能させて、チェック対象者のスイングが撮影されたときのテニスコートのバックラインに対する撮影角度（チェック対象者の撮影角度）を算出する（ステップＳ１０８）。チェック対象者の撮影角度の算出は、上述した理想のフォームの撮影角度の算出と同様の手順により行うことができる。

次に、制御部１１は、第２軌跡取得部１１ｄを機能させて、撮影したチェック対象者のスイングの動画像から移動対象であるテニスラケットの軌跡を取得する（ステップＳ１０９）。チェック対象者のスイングの動画像におけるテニスラケットの軌跡の取得方法は、上述した理想のフォームによるスイングの動画像におけるテニスラケットの軌跡の取得方法と同様の手順により行うことができる。

次に、制御部１１は、カメラ１〜３の１つ又は２以上で撮影されて得られたチェック対象の動画像データを、上述のようにして生成された、テニスラケットの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、チェック対象のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１１０）。なお、チェック対象のフォームデータファイルは、ファイル名が指定される。

その後、制御部１１は、チェック対象のフォームデータファイルを記憶部１４から読み出した後（ステップＳ１１１）、理想のフォームデータファイルを記憶部１４から読み出す（ステップＳ１１２）。制御部１１は、理想のフォームデータファイルを読み出すときは、例えば、表示部１３の表示画面上に、図１９に示すようなファイル選択画面を表示する。ユーザは、例えば、入力部１２であるマウスやキーボードを操作して、ファイル選択画面におけるリストから何れかを選択することにより、任意の理想のフォームデータファイルを選択することができる。

次に、制御部１１は、補正部１１ｈ、比率算出部１１ｋ及び位置差分算出部１１ｍを機能させて、ステップＳ１１２において読み出したファイルに含まれる理想のフォームによるスイングの動画像についてのテニスラケットの軌跡データの位置の補正を行う（ステップＳ１１３）。
ここで、本実施の形態では、カメラ１〜３により、３つの撮影角度によって理想のフォームによるスイングを撮影し、それぞれの動画像を取得している。そのため、テニスラケットの軌跡データの位置の補正を行う対象である動画像を選択する。テニスラケットの軌跡データの位置の補正を行う対象である動画像の選択は、理想のフォームによるスイングを撮影した動画像の撮影角度のそれぞれを、チェック対象のスイングを撮影して得られた動画像の撮影角度と比較し、撮影角度の差分の最も小さいものの動画像を特定することにより行う。

具体的には、先ず、図２０（Ａ）に示すように、理想のフォームによるスイングが撮影されたときのテニスコートの状況を平面視で表したとき、スイング動作者の体の中心からテニスラケットの中心ＲＣまでの距離を距離ｒで表し、テニスボールが飛来する方向（例えば、クロスの方向）である打球の方向に対する、スイング動作者の体の中心とテニスラケットの中心ＲＣを結ぶ線の角度を角度εで表すことができる。このとき、バックラインＢＬに対する打球の方向のなす角度は、例えば、６０°である。また、このとき、バックラインＢＬに対して撮影角度θをなす軸線と直交する線に対するスイング動作者の体の中心とテニスラケットの中心ＲＣを結ぶ線の角度は角度γで表すことができる。そして、チ
ェック対象のスイングの動画像に対する理想のフォームによるスイングの動画像の変換係数をＡとすると、理想のフォームによるスイングの動画像における、バックラインＢＬに対して撮影角度θをなすカメラＣＭを通る軸線とテニスラケットの中心ＲＣとの距離Ｘ（図２０（Ａ）、図２０（Ｂ）参照）は、下記式（８）によって表すことができる。
Ｘ＝Ａ×ｒ×ｃｏｓγ・・・（８）
なお、変換係数Ａは、例えば、図２１に示すように、理想のフォームによるスイングの動画像において規定したラインＬ_３の長さに対する、チェック対象のスイングの動画像において規定したラインＬ_４の長さの割合によって求めることができる。

ここで、角度γは、下記式（９）によって表すことができる。
γ＝ａｂｓ（９０°−（ε−６０°＋θ）
＝ａｂｓ（１５０°−ε−θ）・・・（９）

そして、理想のフォームによるスイングの動画像における撮影角度とチェック対象のスイングの動画像における撮影角度とのずれ量をΔθとすると、チェック対象のスイングの動画像における撮影角度とした場合の距離Ｘ´を、下記式（１０）により表すことができる。すなわち、距離Ｘを距離Ｘ´に変換することができる。なお、撮影角度のずれ量Δθは、制御部１１が、撮影角度差分算出部１１ｇを機能させて求められる。
Ｘ´＝Ａ×ｒ×ｃｏｓ（γ＋Δθ）
＝Ａ×ｒ×ｃｏｓγ×ｃｏｓΔθ−Ａ×ｒ×ｓｉｎγ×ｓｉｎΔθ
＝Ｘ×ｃｏｓΔθ−Ａ×ｒ×ｓｉｎγ×ｓｉｎΔθ・・・（１０）

例えば、理想のフォームによるスイングの動画像における撮影角度とチェック対象のスイングの動画像における撮影角度とのずれ量Δθが１０°である場合には、Ｘ´は下記式（１１）により求められる。
Ｘ´＝０．９８×Ｘ−Ａ×ｒ×ｓｉｎγ×０．１７・・・（１１）

ここで、理想のフォームにおける上述の角度εを求める。角度εは、例えば、理想のフォームによるスイングの動画像において、予め、バックスイング開始の状態となる時間、フォロースイング開始の状態となる時間及びフォロースイング終了の状態となる時間をそれぞれ設定し、そこから、時間の経過により予測することができる。例えば、バックスイングの開始のときの角度εを０°とした場合、バックスイングの終了のとき、すなわち、フォロースイングの開始のときの角度εは１８０°となり、フォロースイングの終了のときの角度εは０°となる。これらの時間は、例えば、上述したようにして指定したバックスイング開始フレーム、フォロースイング開始フレーム及びフォロースイング終了フレー
ムにより特定することができる。

そして、角度εが求められると、上記式（９）により角度γを求めることができ、これにより、上記式（１０）における「Ａ×ｒ×ｓｉｎγ」の解が得られる結果、距離Ｘ´を求めることができる。
このようにして理想のフォームのフレーム毎の軌跡Ｈ_１〜Ｈ_ｎを距離Ｘから距離Ｘ´とすることにより変換することができる。

そして、制御部１１は、上述したようにして変換された理想のフォームの軌跡の位置を、チェック対象のスイングの動画像におけるスイング動作者Ｑ２の位置に対応するようにシフトする。これにより、チェック対象のスイングの動画像におけるチェック対象者のテニスラケットの軌跡との比較表示を行うことができるようになる。具体的には、制御部１１は、上述のようにして変換された理想のフォームのフレーム毎の軌跡Ｈ_１〜Ｈ_ｎのそれぞれの座標（Ｘ_１，Ｙ_１）〜（Ｘ_ｎ，Ｙ_ｎ）を、それぞれシフトして（Ｘ_１´，Ｙ_１´）〜（Ｘ_ｎ´，Ｙ_ｎ´）に補正する。各軌跡Ｈ_１〜Ｈ_ｎの補正後の座標は、図２１に示すように、第３設定部１１ｉが機能して上述したようにして規定されたポインタＰ_４，Ｐ_５の座標Ｐ_４（ｘ０，ｙ０），Ｐ_５（ｘ１，ｙ１）と、第４設定部１１ｊが機能して上述したようにして規定されたポインタＰ_６，Ｐ_７の座標Ｐ_６（ｘ２，ｙ２），Ｐ_７（ｘ３，ｙ３
）とに基づき、下記式（１２）及び下記式（１３）により求めることができる。なお、下記式（１２）及び下記式（１３）においては、理想のフォームのフレーム毎の軌跡Ｈ_ｎの座標（Ｘ_ｎ，Ｙ_ｎ）から座標（Ｘ_ｎ´，Ｙ_ｎ´）への変換式を示すが、他の軌跡の座標についても同様にして求めることができる。
Ｘ_ｎ´＝（ｙ０−ｙ１）／（ｙ２−ｙ３）×Ｘ_ｎ＋（ｘ２−ｘ０）・・・（１２）
Ｙ_ｎ´＝（ｙ０−ｙ１）／（ｙ２−ｙ３）×Ｙ_ｎ＋（ｙ２−ｙ０）・・・（１３）

以上のようにして理想のフォームによるスイングの動画像についてのテニスラケットの軌跡の位置の補正を行った後、制御部１１は、図４に示すように、補正した理想のフォームのテニスラケットの軌跡と、チェック対象者のテニスラケットの軌跡とを表示部１３に表示するための表示データを生成する（ステップＳ１１４）。なお、フレーム毎の軌跡を点で表示してもよいし、点を結んだ線で表示するようにしてもよい。このとき、テニスラケットのスイングのタイミングは、理想のフォームによるスイングの動画像とチェック対象のスイングの動画像とで異なる場合があるため、例えば、図２２（Ａ）に示すように、各動画像の再生タイミングを、上述したようにして指定したバックスイング開始フレームで合わせるのが好ましい。すると、図２２（Ａ）に示すように、理想のフォームによるス
イングとチェック対象者のスイングとでスイングの速度が異なる場合には、これをユーザに認識できるように表示することができるようになる。この場合において、理想のフォームによるスイングとチェック対象者のスイングとでスイングの速度を合わせたいときには、例えば、図２２（Ｂ）に示すように、理想のフォームによるスイングの動画像において、フレーム数が増加するように静止画像を追加する。静止画像の追加は、例えば、理想のフォームによるスイングの動画像の一部のフレームの静止画像と同一の静止画像を挿入することで実現することができる。また、チェック対象のスイングの動画像の一部のフレームの静止画像を間引くようにしてもよい。このようにすると、理想のフォームのテニスラケットの軌跡とチェック対象者のテニスラケットの軌跡との相異をより明確に理解させる
ことができるようになる。そして、制御部１１は、軌跡差分判定部１１ｎを機能させて、これらの軌跡の差分を判定することによりチェック対象者のテニスラケットの軌跡の診断を行う（ステップＳ１１５）。具体的には、例えば、制御部１１は、フォロースイング開始時における軌跡の差分や、フォロースイング終了時における軌跡の差分等が所定の大きさであるか否かを判定する。そして、制御部１１は、診断結果に対応するメッセージを表示するための表示データを生成する（ステップＳ１１６）。制御部１１は、表示部１３の表示画面上に、チェック対象のスイングの動画像を表示するとともに、ステップＳ１１４及びステップＳ１１６において生成された表示データに基づく表示を行う（ステップＳ１１７）。その結果、例えば、図２３に示すような画面が表示部１３の表示画面上に表示さ
れる。図２３では、フォロースイング終了時における、補正した理想のフォームのテニスラケットの軌跡と、チェック対象者のテニスラケットの軌跡との差分が所定の大きさを超えているため、補正した理想のフォームのテニスラケットの軌跡ＳＷ１及びチェック対象者のテニスラケットの軌跡ＳＷ２とともに、例えば、「フォロースルーを高くしましょう」といった表示が行われている。なお、各軌跡は、表示されたフレームの動画像に応じて順次表示するようにしてもよい。例えば、３０フレーム目の動画像が表示部１３の表示画面に表示されるタイミングでは、１〜３０フレーム目までの軌跡を表示するようにし、３１フレーム以降の軌跡は表示しない。また、本実施の形態では、チェック対象のスイングの動画像を表示する場合において、打球をヒットする瞬間や、スイング開始のタイミング
等の代表的なタイミングにおける静止画像を表示することができる。このとき、当該表示された静止画像に対応する、補正された理想のフォームのテニスラケットの軌跡を表示する。

次に、本実施の形態の他の例として、上述した画像処理システム１００を用いて、ゴルフ練習場におけるゴルフスイングの軌跡を表示又は解析する場合について説明する。なお、以下の説明において示される各ステップは、図４及び図５における各処理に対応しているため、これらの図面を参照するものとする。

まず、ある撮影環境（第１の撮影環境）下において、上述したようにして、理想のフォームによるスイングの撮影をカメラ１〜３によって行う。撮影された理想のフォームの動画像データは、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０１）。
また、理想のフォームによるスイングの撮影時とは異なる撮影位置（第２の撮影環境下）にて、上述したようにして、フォームのチェックを行いたいスイングの撮影をカメラ１〜３によって行う。撮影されたチェック対象の動画像データは、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０２）。

次に、制御部１１は、記憶部１４から理想のフォームの動画像データを読み出し、移動対象であるゴルフクラブの軌跡を取得するための各種データの登録を行う（ステップＳ１０３）。

ここで、ゴルフクラブの軌跡を取得するためのデータ登録処理の手順について説明すると、先ず、制御部１１は、読み出した理想のフォームの動画像データから、フォーム開始フレームの指定を行う（ステップＳ２０１）。より具体的には、例えば、図２４に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。なお、図２４には、ゴルフクラブＷ１を把持したスイング動作者Ｑ３がマットＭ１上でスイングしている様子が表示されている。マットＭ１は、左端部ＭＬ１と先端部ＭＴ１と右端部ＭＲ１とに囲まれている。そして、制御部１１は、表示画面上にフォーム開始フレームとして適切な静止画像が表示されたときに
セットボタンＢ３が入力されることにより、フォーム開始フレームを指定する。

次に、制御部１１は、第１設定部１１ａを機能させて、指定されたフォーム開始フレームの静止画像を利用したマットＭ１の左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１の指定を行う（ステップＳ２０２）。具体的には、例えば、図２５に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ_１１〜Ｐ_１４の位置が変位操作されることにより、マットの左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１をそれぞれラインＬ_１１〜Ｌ_１３によって規定する。なお、本実施の形態では、マットの左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１の３点を規定し、撮影角度の算出の精度を向上するようにしたが、これらのうちの２点を規定して撮影角度の算出を行うようにしてもよい。ポインタＰ_１１〜Ｐ_１４の位置は、例えば、制御部１１の備えるＲＡＭに保存される。

次に、制御部１１は、第３設定部１１ｉを機能させて、スイング動作者Ｑ３の位置の指定を行う（ステップＳ２０３）。具体的には、例えば、図２６に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ_１５，Ｐ_１６の位置が変位操作されることにより、スイング動作者Ｑ３の位置をラインＬ_１４によって規定する。ポインタＰ_１５，Ｐ_１６の位置は、例えば、制御部１１の備えるＲＡＭに保存される。

次に、制御部１１は、画像指定部１１ｐを機能させて、ゴルフクラブＷ１の位置の指定を行う（ステップＳ２０４）。具体的には、例えば、図２７、図２８に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＴ_１１，Ｔ_１２の位置が変位操作されると、当該ポインタＴ_１１，Ｔ_１２の位置により方形状の枠ＦＧを規定する。ゴルフクラブＷ１の規定は、例えば、図２８に示すように、ゴルフクラブＷ１のヘッドの左上部分と右下部分とをそれぞれポインタＴ_１１，Ｔ_１２で規定することにより行うことができる。ポインタＴ_１１、Ｔ_１２の位置は、例えば、制御部１１の備えるＲＡＭに保存される。

次に、制御部１１は、理想のフォームの動画像データから、バックスイング開始フレームの指定を行う（ステップＳ２０５）。より具体的には、例えば、図２９に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にバックスイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、バックスイング開始フレームを指定する。

次に、制御部１１は、理想のフォームの動画像データから、フォロースイング開始フレームの指定を行う（ステップＳ２０６）。より具体的には、例えば、図３０に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング開始フレームを指定する。

次に、制御部１１は、理想のフォームの動画像データから、フォロースイング終了フレームの指定を行う（ステップＳ２０７）。より具体的には、例えば、図３１に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング終了フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング終了フレームを指定する。

以上のようにして理想のフォームのデータ登録が完了すると、制御部１１は、第１撮影角度算出部１１ｅを機能させて、理想のフォームの撮影角度を算出する（ステップＳ１０４）。

具体的には、制御部１１は、図３２に示すように、ラインＬ_１１〜Ｌ_１３によって規定されたマットＭ１の左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１の水平線ＨＬに対する傾き、すなわち、角度α，ζ，βを求める。ここで、理想のフォームによるスイングが撮影されたときのマットの状況を平面視で表すと、図３３に示すようになる。このとき、カメラ１〜３のうちの一のカメラＣＭと、マットの先端部ＭＴと右端部ＭＲとの交点であるコーナーとを結ぶ軸線をｙ軸とし、ｙ軸と直交する軸線をｘ軸とすると、ｘ軸とマットの右端部ＭＲとでなす角度はβ_０となり、ｘ軸とマットの先端部ＭＴとでなす角度はζ_０となる。

ここで、先ず、マットの先端部ＭＴと右端部ＭＲとの交点について注目し、マットの右端部ＭＲに対するカメラＣＭとこの交点とを結ぶ軸線のなす角度θ_１について求める。マットを平面視でみた場合、マットの先端部ＭＴと右端部ＭＲとのなす角度は９０°であり、また、図３３によれば、角度θ_１は角度ζ_０と一致することがわかり、下記式（１４）の関係が成り立つ。なお、ａ_１は変換係数を示す。
（ａ_１×ｓｉｎβ_０）^２＋（ａ_１×ｓｉｎζ_０）^２＝１・・・（１４）

上述したようにして、これをｘｙｚ軸上で表した場合、平面視においては、視点はｚ軸上とされているため、これを実際のカメラＣＭの視点にするために、ｘ軸を回転軸として全体を角度δ_１回転させる。すると、上述によれば、変換係数ａ_１は、１／ｃｏｓδ_１となることがわかる。
そして、マットの先端部ＭＴと右端部ＭＲの交点であるコーナーの位置のｚ軸上の高さを０とすると、下記式（１５）及び下記式（１６）の関係が成り立つ。
ｓｉｎβ＝ｃｏｓδ_１×ｓｉｎβ_０・・・（１５）
ｓｉｎζ＝ｃｏｓδ_１×ｓｉｎζ_０・・・（１６）

すなわち、上記式（１５）及び上記式（１６）から下記式（１７）を表すことができる。
（１／ｃｏｓδ_１×ｓｉｎβ）^２＋（１／ｃｏｓδ_１×ｓｉｎζ）^２＝１・・・（１７）
したがって、下記式（１８）及び下記式（１９）の関係が成り立つ。
ｃｏｓθ_１＝１／ｃｏｓδ_１×ｓｉｎβ・・・（１８）
ｓｉｎθ_１＝１／ｃｏｓδ_１×ｓｉｎζ・・・（１９）
これにより、角度θ_１を求めることができる。

次に、図３４を参照して、マット先端部ＭＴと左端部ＭＬとの交点について注目し、マット左端部ＭＬに対するカメラＣＭとこの交点とを結ぶ軸線のなす角度θ_２について求める。マットを平面視でみた場合、マットの先端部ＭＴと左端部ＭＬとのなす角度は９０°であり、下記式（２０）の関係が成り立つ。なお、ａ_２は変換係数を示す。
（ａ_２×ｓｉｎα_１）^２＋（ａ_２×ｓｉｎζ_１）^２＝１・・・（２０）

上述したようにして、これをｘｙｚ軸上で表した場合、平面視においては、視点はｚ軸上とされているため、これを実際のカメラＣＭの視点にするために、ｘ軸を回転軸として全体を角度δ_２回転させる。すると、上述によれば、変換係数ａ_２は、１／ｃｏｓδ_２となることがわかる。
そして、マットの先端部ＭＴと左端部ＭＬの交点であるコーナーの位置のｚ軸上の高さを０とすると、下記式（２１）及び下記式（２２）の関係が成り立つ。
ｓｉｎα＝ｃｏｓδ_２×ｓｉｎα_１・・・（２１）
ｓｉｎζ＝ｃｏｓδ_２×ｓｉｎζ_１・・・（２２）

すなわち、上記式（２１）及び上記式（２２）から下記式（２３）を表すことができる。
（１／ｃｏｓδ_２×ｓｉｎα）^２＋（１／ｃｏｓδ_２×ｓｉｎζ）^２＝１・・・（２３）
したがって、下記式（２４）及び下記式（２５）の関係が成り立つ。
ｃｏｓθ_２＝１／ｃｏｓδ_２×ｓｉｎα・・・（２４）
ｓｉｎθ_２＝１／ｃｏｓδ_２×ｓｉｎζ・・・（２５）
これにより、角度θ_２を求めることができる。

次に、角度θ_１及び角度θ_２から撮影角度θを求める。
図３５に示すように、マットを平面視でみた場合、撮影角度θは、下記式（２６）によって表すことができる。
θ＝ｈ_２´／（ｈ_１´＋ｈ_２´）×θ_１＋ｈ_１´／（ｈ_１´＋ｈ_２´）×θ_２・・・（２６）

上記式（２６）に示される関係は、表示画面上においてもほぼ同じになるので、図３６に示すように、ラインＬ_１１とラインＬ_１２との交点とゴルフクラブのヘッドの中心ＷＣとの水平方向の距離ｈ_１と、ラインＬ_１２とラインＬ_１３との交点とゴルフクラブのヘッドの中心ＷＣとの水平方向の距離ｈ_２を求めると、下記式（２７）によって撮影角度θを算出することができる。なお、ゴルフクラブのヘッドの中心ＷＣは、上述のようにしてポインタＴ_１１，Ｔ_１２の位置により規定された枠ＦＧの中心である。
θ＝ｈ_２／（ｈ_１＋ｈ_２）×θ_１＋ｈ_１／（ｈ_１＋ｈ_２）×θ_２・・・（２７）
これにより、撮影角度θを求めることができる。なお、上述した説明は、カメラ１〜３のうちの一のカメラＣＭについての撮影角度θを求めるものであるが、他のカメラについても同様の手順で撮影角度θを求めることができる。

以上のようにして、理想のフォームの撮影角度を算出すると、制御部１１は、第１軌跡取得部１１ｃを機能させて、撮影した理想のフォームによるスイングの動画像から移動対象であるゴルフクラブの軌跡を取得する（ステップＳ１０５）。具体的には、制御部１１は、移動対象画像抽出部１１ｒを機能させて、理想のフォームによるスイングの動画像のうち、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、ゴルフクラブの部分の画像を抽出する。すなわち、制御部１１は、先ず、画像指定部１１ｐを機能させて上述のようにして指定されたゴルフクラブのヘッドの画像をテンプレートとする。次に、制御部１１は、理想のフォームによるスイングの動画像のうち、フォロースイング開始フレームからフォロースイング
終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、テンプレートとした画像とマッチングする画像の部分を抽出する。制御部１１は、この抽出された画像をゴルフクラブのヘッドの部分の画像とし、この抽出された画像の中心を軌跡としてプロットする。その結果、上述と同様にフレーム毎の軌跡を取得することができる。

制御部１１は、上述した処理を、カメラ１〜３のそれぞれで撮影して得られた動画像についてそれぞれ実施する。

次に、カメラ１〜３のそれぞれで撮影されて得られた理想のフォームの動画像データを、上述のようにして生成された、ゴルフクラブの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、理想のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１０６）。なお、理想のフォームデータファイルは、ファイル名が指定される。また、理想のフォームデータファイルは、理想のフォームの動画像データを作成する毎に生成される。

次に、制御部１１は、第２設定部１１ｂ及び第４設定部１１ｊ等を機能させて、記憶部１４からチェック対象の動画像データを読み出し、移動対象であるゴルフクラブの軌跡を取得するための各種データの登録を行う（ステップＳ１０７）。ゴルフクラブの軌跡を取得するためのデータの登録の処理手順は、上述した理想のフォームによるスイングの動画像についてのゴルフクラブの軌跡を取得するためのデータの登録の処理手順と同様である。

続いて、制御部１１は、第２撮影角度算出部１１ｆを機能させて、チェック対象者のスイングが撮影されたときの撮影角度（チェック対象者の撮影角度）を算出する（ステップＳ１０８）。チェック対象者の撮影角度の算出は、上述した理想のフォームの撮影角度の算出と同様の手順により行うことができる。

次に、制御部１１は、第２軌跡取得部１１ｄを機能させて、撮影したチェック対象者のスイングの動画像から移動対象であるゴルフクラブの軌跡を取得する（ステップＳ１０９）。チェック対象者のスイングの動画像におけるゴルフクラブの軌跡の取得方法は、上述した理想のフォームによるスイングの動画像におけるゴルフクラブの軌跡の取得方法と同様の手順により行うことができる。

次に、制御部１１は、カメラ１〜３の１つ又は２以上で撮影されて得られたチェック対象の動画像データを、上述のようにして生成された、ゴルフクラブの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、チェック対象のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１１０）。なお、チェック対象のフォームデータファイルは、ファイル名が指定される。

その後、制御部１１は、チェック対象のフォームデータファイルを記憶部１４から読み出した後（ステップＳ１１１）、理想のフォームデータファイルを記憶部１４から読み出す（ステップＳ１１２）。理想のフォームデータファイルの読み出しの要領は上述したとおりである。

次に、制御部１１は、補正部１１ｈ、比率算出部１１ｋ及び位置差分算出部１１ｍを機能させて、ステップＳ１１２において読み出したファイルに含まれる理想のフォームによるスイングの動画像についてのゴルフクラブの軌跡データの位置の補正を行う（ステップＳ１１３）。なお、ゴルフクラブの軌跡データの位置の補正を行う対象である動画像の選択の要領は上述したとおりである。

具体的には、先ず、図３７に示すように、理想のフォームによるスイングが撮影されたときのゴルフ練習場のマットの状況を平面視で表したとき、スイング動作者の体の中心からゴルフクラブのヘッドの中心ＷＣまでの距離を距離ｒで表し、打球の方向とは垂直の方向に対するスイング動作者の体の中心とゴルフクラブのヘッドの中心ＷＣを結ぶ線の角度を角度εで表すことができる。また、このとき、マットの右端部ＭＲに対して撮影角度θをなす軸線と直交する線に対するスイング動作者の体の中心とゴルフクラブのヘッドの中心ＷＣを結ぶ線の角度は角度γで表すことができる。そして、チェック対象者のスイングの動画像における、マットの右端部ＭＲに対して撮影角度θのなすカメラＣＭを通る軸線とゴルフクラブのヘッドの中心ＷＣとの距離Ｘ（図３７、図３８参照）は、上記式（８）
によって同様に表すことができる。
なお、変換係数Ａは、上述したように、理想のフォームによるスイングの動画像において規定したラインの長さに対する、チェック対象者のスイングの動画像において規定したラインの長さの割合によって求めることができる。

ここで、角度γは、下記式（２８）によって表すことができる。
γ＝ε−θ・・・（２８）

そして、理想のフォームによるスイングの動画像における撮影角度とチェック対象者のスイングの動画像における撮影角度とのずれ量をΔθとすると、チェック対象者のスイングの動画像における撮影角度とした場合の距離Ｘ´については、上記式（１０）により同様に表すことができる。なお、撮影角度のずれ量Δθは、制御部１１が、撮影角度差分算出部１１ｇを機能させて求められる。

ここでも上述の要領で、理想のフォームにおける上述の角度εを求める。例えば、バックスイングの開始のときの角度εを０°とした場合、フォロースイングの開始のときの角度εは１８０°となる。また、インパクトのときの角度εは０°となり、フォロースイングの終了のときの角度εは１８０°となる。

そして、角度εが求められると、上記式（２８）により角度γを求めることができ、これにより、上記式（１０）における「Ａ×ｒ×ｓｉｎγ」の解が得られる結果、距離Ｘ´を求めることができる。
このようにして理想のフォームのフレーム毎の軌跡を距離ＸからＸ´とすることにより変換することができる。

そして、制御部１１は、上述したようにして変換された理想のフォームの軌跡の位置を、チェック対象者のスイングの動画像におけるスイング動作者の位置に対応するようにシフトする。これにより、チェック対象者のスイングの動画像におけるチェック対象者のゴルフクラブの軌跡との比較表示を行うことができるようになる。理想のフォームの軌跡の位置のシフトの要領は上述と同様にして実施することができる。

以上のようにして理想のフォームによるスイングの動画像についてのゴルフクラブの軌跡の位置の補正を行った後、制御部１１は、図４に示すように、補正した理想のフォームのゴルフクラブの軌跡と、チェック対象者のゴルフクラブの軌跡とを表示部１３に表示するための表示データを生成する（ステップＳ１１４）。なお、フレーム毎の軌跡を点で表示してもよいし、点を結んだ線で表示するようにしてもよい。そして、制御部１１は、必要に応じて、軌跡差分判定部１１ｎを機能させて、チェック対象者のゴルフクラブの軌跡の診断を行い（ステップＳ１１５）、診断結果に対応するメッセージを表示するための表示データを生成する（ステップＳ１１６）。制御部１１は、表示部１３の表示画面上に、チェック対象の動画像を表示するとともに、ステップＳ１１４及びステップＳ１１６にお
いて生成された表示データに基づく表示を行う（ステップＳ１１７）。その結果、例えば、図３９に示すような画面が表示部１３の表示画面上に表示される。図３９では、補正した理想のフォームのゴルフクラブの軌跡ＳＷ３及びチェック対象者のゴルフクラブの軌跡ＳＷ４の表示が行われている。

また、上述した実施の形態では、ゴルフクラブのヘッドの画像の中心を軌跡としてプロットするようにしたが、スイング動作者の体の中心からゴルフクラブのヘッドまでのラインを設定し、この設定されたラインの軌跡をプロットすることもできる。

具体的には、例えば、上述したようにしてゴルフクラブＷ１の位置の指定を行う場合に、図４０及び図４１に示すように、ゴルフクラブＷ１の位置の指定とともに、ゴルフクラブＷ１のスイングの起点となるスイング動作者の肩の位置を指定する。より具体的には、例えば、制御部１１は、表示部１３の表示画面上に表示されたポインタＴ_２１〜Ｔ_２４の位置が変位操作されると、当該ポインタＴ_２１，Ｔ_２２の位置により方形状の枠ＦＧａを規定するとともに、ポインタＴ_２３，Ｔ_２４の位置により方形状の枠ＦＳａを規定する。そして、図４１に示すように、枠ＦＧａによりゴルフクラブＷ１のヘッドが囲まれ、枠ＦＳａによりスイング動作者の肩が囲まれると、図４２に示すように、枠ＦＧａと枠ＦＳａの中心が結ばれた直線が規定される。そして、上述した要領で、制御部１１が移動対象画像抽出部１１ｒを機能させて、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、枠ＦＧａ及び枠ＦＳａでそれぞれ規定した画像をテンプレートとして、当該テンプレートとした画像とマッチングする画像の部分を抽出する。そして、この抽出された画像の各中心を直線で結んで、これを軌跡とする。例えば、図４３に示すように、フレーム毎にテンプレートにマッチングした画像の各中心を直線で結ぶと、ライン状の軌跡Ｊ_１〜Ｊ_ｎを取得することができる。そして、このようにして得られたライン状の軌跡Ｊ_１〜Ｊ_ｎを、上述したようにして位置の補正を行い、その結果を表示部１３の表示画面上に表示する。その結果、ゴルフクラブの軌跡の表示に多様性を持たすことができるようになる。

以上説明したように、本実施の形態では、制御部１１は、第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、第１の撮影環境下で撮影して得られた動画像か得られた第１の移動対象である第１軌跡を補正する。表示制御部１１ｓは、制御部１１によって補正された軌跡を表示させる。その結果、第１の撮影環境と第２の撮影環境とで撮影角度等の撮影環境が異なっても、第１軌跡の位置を第２の撮影環境における撮影角度に合わせて補正して表示することができるので、第２の撮影環境での第１軌跡の位置を正確に把握することができる。そのため、例えば、第１軌跡の位置を正確に把握するために、第２の撮影環境において再度動画像を撮影する必要がなくなる
。

また、本実施の形態では、第１設定部１１ａは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第１の特徴点として交差する２以上の直線を設定する。第１軌跡取得部１１ｃは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から第１の移動対象の軌跡（第１軌跡）を取得する。第２設定部１１ｂは、カメラ１〜３によって第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点として交差する２以上の直線を設定する。第１撮影角度算出部１１ｅは、第１設定部１１ａによって設定された２以上の直線のそれぞれのなす角度から第１の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。第２撮影角度算出部１１ｆは、第２設定部１１ｂによって設定された２以上の直線のそれぞれのなす角度か
ら第２の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。撮影角度差分算出部１１ｇは、第１撮影角度算出部１１ｅによって算出された撮影角度と、第２撮影角度算出部１１ｆによって算出された撮影角度との差分を算出する。補正部１１ｈは、撮影角度差分算出部１１ｇによって算出された撮影角度の差分に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置を補正する。表示制御部１１ｓは、補正部１１ｈによって補正された第１軌跡を表示させる。その結果、第１の撮影環境と第２の撮影環境とで撮影角度が異なっても、第１軌跡の位置を第２の撮影環境における撮影角度に合わせて補正して表示することができるので、第２の撮影環境での第１軌跡の位置を正確に把握することができる。

また、本実施の形態では、画像指定部１１ｐは、第１の移動対象の画像を指定する。移動対象画像抽出部１１ｒは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から画像指定部１１ｐによって指定された画像に対応する画像を抽出する。第１軌跡取得部１１ｃは、移動対象画像抽出部１１ｒによって抽出された画像に基づいて第１軌跡を取得する。その結果、容易に第１軌跡の抽出を行うことができるようになる。

また、本実施の形態では、第３設定部１１ｉは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第３の特徴点としての直線を設定する。第４設定部１１ｊは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像における第４の特徴点としての直線を設定する。比率算出部１１ｋは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線の長さの比率を算出する。補正部１１ｈは、比率算出部１１ｋによって算出された比率に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置をさらに補正する。その結果、第１の軌跡の位置を、例えば、第２の撮影環境下で撮影して得られた動画像のスケールに合わせて表示することができるので、第２の撮影環境での第１軌跡の位置をより正確に把握することができ
る。

また、本実施の形態では、位置差分算出部１１ｍは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線との位置の差分を算出する。補正部１１ｈは、位置差分算出部１１ｍによって算出された位置の差分に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置をさらに補正する。その結果、第１の軌跡の位置を、例えば、第２の撮影環境下で撮影して得られた動画像の所定の位置に合わせて表示することができるので、第２の撮影環境での第１軌跡の位置をより正確に把握することができる。

また、本実施の形態では、第１設定部１１ａは、カメラ１〜３によって第１の撮影環境下で複数の撮影角度でそれぞれ撮影して得られた動画像に対応して２以上の直線をそれぞれ設定する。第１軌跡取得部１１ｃは、第１軌跡を撮影毎に取得する。第１撮影角度算出部１１ｅは、複数の撮影角度をそれぞれ算出する。撮影角度差分算出部１１ｇは、第１撮影角度算出部１１ｅによって算出された複数の撮影角度から第２撮影角度算出部１１ｆによって算出された撮影角度に最も近似するものを選択するとともに、選択された撮影角度と第２撮影角度算出部１１ｆによって算出された撮影角度との差分を算出する。補正部１１ｈは、撮影角度差分算出部１１ｇによって算出された撮影角度の差分に基づいて、第１軌跡取得部１１ｃによって取得された複数の第１軌跡から撮影角度差分算出部１１ｇによ
って選択された撮影角度に対応するものの位置を補正する。その結果、第１軌跡の位置の補正量を小さくすることができ、第１軌跡の位置の補正の精度を高めることができる。

また、本実施の形態では、第１軌跡取得部１１ｃは、第１の移動対象としての直線を設定し、直線の軌跡を第１軌跡として取得する。その結果、より多様な軌跡表示を行うことができるので、例えば、より多様なフォームの解析を行うことができるようになる。

また、本実施の形態では、第２軌跡取得部１１ｄは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像から第２の移動対象の軌跡を第２軌跡として取得する。
表示制御部１１ｓは、制御部１１によって補正された第１軌跡とともに、第２軌跡取得部１１ｄによって取得された第２軌跡を表示させる。その結果、第１軌跡と第２軌跡とを比較表示することができる。

また、本実施の形態では、軌跡差分判定部１１ｎは、補正された第１軌跡と、第２軌跡取得部１１ｄによって取得された第２軌跡との差分を判定する。表示制御部１１ｓは、軌跡差分判定部１１ｎによる判定結果に応じた表示を行わせる。その結果、例えば、軌跡によって特定されるフォームについての適切なアドバイスを示すことができる等、利便性が向上する。

また、本実施の形態では、表示制御部１１ｓは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像のうちの所定のタイミングにおける静止画像に対応する、補正された第１軌跡を表示させる。その結果、例えば、打球がヒットする瞬間等のあるタイミングにおける軌跡の解析が容易となる。

なお、本実施の形態では、テニスコートのラインや、ゴルフ練習場のマットを第１の特徴点及び第２の特徴点として規定し、これにより撮影角度を求めるようにしたが、第１の特徴点及び第２の特徴点については撮影する対象に応じて適宜設定することができる。例えば、野球のバットのスイングを撮影する場合には、バッターボックスを特徴点として規定することができる。また、特徴点は、テニスコートのラインや、ゴルフ練習場のマット等に限らず、他のものであってもよく、例えば、樹木や建造物であってもよい。このとき、固定されている物体を特徴点の対象とするのが好ましい。

また、本実施の形態では、第３の特徴点及び第４の特徴点として、スイング動作者の体の長さを規定するようにしたが、第３の特徴点及び第４の特徴点においても撮影する対象に応じて適宜設定することができる。例えば、第３の特徴点及び第４の特徴点として、スイング動作者の足の長さ、頭の先からつま先までの長さ、あるいは、スイングする腕及び移動対象であるテニスラケットやゴルフクラブの先までの長さであってもよい。

また、本実施の形態では、第３の特徴点及び第４の特徴点としてのスイング動作者の体の長さをポインタにより規定するようにしたが、例えば、上述したテンプレートマッチングの手法により被写体追跡を行って規定するようにしてもよい。具体的には、例えば、スイング動作者の肩周辺の画像と、腰周辺の画像とをテンプレートとして設定し、フォロースイング開始フレームからフォロースイング終了フレームまでの動画像を構成する静止画像のそれぞれについて、テンプレートとした画像とマッチングする画像の部分を抽出する。そして、抽出した肩周辺の画像の中心と、腰周辺の画像の中心とを結ぶ線をスイング動作者の体の長さとして規定する。これにより、スイング動作者が移動した場合でも正確に位置を把握することができるようになる。

また、本実施の形態では、第２の撮影環境下で撮影して得られたチェック対象の動画像データを保存し、保存した動画像データを読み出して、移動対象の軌跡を取得するための各種データの登録を行うようにしたが、第２の撮影環境下で撮影して得られたリアルタイムでの動画像を利用して、各種データの登録を行うようにしてもよい。

また、本実施の形態では、理想のフォームの動画像データやチェック対象の動画像データを利用して、ユーザの入力により移動対象の軌跡を取得するための各種データの登録を行うようにしたが、画像認識を行って、自動的に各種データの登録を行うことができるものであってもよい。

また、本実施の形態では、チェック対象者のスイングの動画像に、理想のフォームの移動対象の軌跡と、チェック対象の移動対象の軌跡とを表示部１３に比較表示するようにしたが、チェック対象者のスイングの動画像に、理想のフォームの移動対象の軌跡のみ表示するようにしてもよい。

また、本実施の形態では、第１の撮影環境で理想のフォームによるスイングを撮影し、第２の撮影環境でチェック対象者のスイングを撮影するようにしたが、第１の撮影環境でチェック対象者のスイングを撮影し、第２の撮影環境で理想のフォームによるスイングを撮影してもよい。

また、本実施の形態では、テンプレート画像にマッチングする画像を抽出することによってフレーム毎の軌跡を取得するようにしたが、入力部１２の操作等によってフレーム毎に軌跡を手動で規定するようにしてもよい。

また、本実施の形態では、カメラ１〜３にて第１の撮影環境で理想のフォームによるスイングを撮影し、この撮影した理想のフォームによるスイングの動画像を利用して軌跡を取得するようにしたが、理想のフォームによるスイングの動画像の画像データが、カメラ１〜３にて撮影して得たものではなく、メディアや通信手段により取得されたものであってもよい。

また、本実施の形態では、理想のフォームによるスイングの動画像の画像データを複数種類取得し、ユーザにより選択して軌跡の表示を行うようにしたが、取得する理想のフォームによるスイングの動画像の画像データを１種類のみとしてもよい。

また、本実施の形態では、比率算出部１１ｋ及び位置差分算出部１１ｍによる軌跡の位置補正を行うようにしたが、これら各機能部による位置補正を実施しないものであってもよい。

本発明の実施の形態及び変形例を説明したが、本発明の範囲は、上述の実施の形態及び変形例に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、前記第１の撮影環境下で撮影して得られた動画像から得られた移動対象である軌跡を補正する軌跡補正手段と、
前記軌跡補正手段によって補正された軌跡を表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記軌跡補正手段は、
撮影手段によって第１の撮影環境下で撮影して得られた動画像における第１の特徴点として交差する２以上の直線を設定する第１設定手段と、
前記撮影手段によって第１の撮影環境下で撮影して得られた動画像から移動対象の軌跡を取得する軌跡取得手段と、
撮影手段によって前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点として交差する２以上の直線を設定する第２設定手段と、
前記第１設定手段によって設定された２以上の直線のそれぞれのなす角度から前記第１の撮影環境下で撮影されたときの撮影手段の撮影角度を算出する第１撮影角度算出手段と、
前記第２設定手段によって設定された２以上の直線のそれぞれのなす角度から前記第２の撮影環境下で撮影されたときの撮影手段の撮影角度を算出する第２撮影角度算出手段と、
前記第１撮影角度算出手段によって算出された撮影角度と、前記第２撮影角度算出手段によって算出された撮影角度との差分を算出する撮影角度差分算出手段と、
前記撮影角度差分算出手段によって算出された撮影角度の差分に基づいて、前記軌跡取得手段によって取得された軌跡の位置を補正する補正手段と、
を備え、
前記表示制御手段は、前記補正手段によって補正された軌跡を表示させることを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記軌跡補正手段は、
前記移動対象の画像を指定する画像指定手段と、
前記撮影手段によって第１の撮影環境下で撮影して得られた動画像から前記画像指定手段によって指定された画像に対応する画像を抽出する移動対象画像抽出手段と、
を備え、
前記軌跡取得手段は、前記移動対象画像抽出手段によって抽出された画像に基づいて前記軌跡を取得することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記軌跡補正手段は、
前記撮影手段によって第１の撮影環境下で撮影して得られた動画像における第３の特徴点としての直線を設定する第３設定手段と、
前記撮影手段によって第２の撮影環境下で撮影して得られた動画像における第４の特徴点としての直線を設定する第４設定手段と、
前記第３設定手段によって設定された直線と、前記第４設定手段によって設定された直線との長さの比率を算出する比率算出手段と、
を備え、
前記補正手段は、前記比率算出手段によって算出された比率に基づいて、前記軌跡取得手段によって取得された軌跡の位置をさらに補正することを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記軌跡補正手段は、前記第３設定手段によって設定された直線と、前記第４設定手段によって設定された直線との位置の差分を算出する位置差分算出手段を備え、
前記補正手段は、前記位置差分算出手段によって算出された位置の差分に基づいて、前記軌跡取得手段によって取得された軌跡の位置をさらに補正することを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
前記第１設定手段は、前記撮影手段によって第１の撮影環境下で複数の撮影角度でそれぞれ撮影して得られた動画像に対応して２以上の直線をそれぞれ設定し、
前記軌跡取得手段は、前記軌跡を撮影毎に取得し、
前記第１撮影角度算出手段は、複数の撮影角度をそれぞれ算出し、
前記撮影角度差分算出手段は、前記第１撮影角度算出手段によって算出された複数の撮影角度から前記第２撮影角度算出手段によって算出された撮影角度に最も近似するものを選択するとともに、該選択された撮影角度と前記第２撮影角度算出手段によって算出された撮影角度との差分を算出し、
前記補正手段は、前記撮影角度差分算出手段によって算出された撮影角度の差分に基づいて、前記軌跡取得手段によって取得された複数の軌跡から前記撮影角度差分算出手段によって選択された撮影角度に対応するものの位置を補正することを特徴とする請求項２〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記軌跡取得手段は、前記移動対象としての直線を設定し、該直線の軌跡を前記軌跡として取得することを特徴とする請求項２〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記軌跡補正手段は、前記撮影手段によって第２の撮影環境下で撮影して得られた動画像から第２の移動対象の軌跡を第２軌跡として取得する第２軌跡取得手段を備え、
前記表示制御手段は、前記軌跡補正手段によって補正された前記軌跡とともに、前記第２軌跡取得手段によって取得された第２軌跡を表示させることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記軌跡補正手段は、補正された前記軌跡と、前記第２軌跡取得手段によって取得された第２軌跡との差分を判定する軌跡差分判定手段を備え、
前記表示制御手段は、前記軌跡差分判定手段による判定結果に応じた表示を行わせることを特徴とする請求項８に記載の画像処理装置。
＜請求項１０＞
前記表示制御手段は、前記撮影手段によって第１の撮影環境下で撮影して得られた動画像のうちの所定のタイミングにおける静止画像に対応する、補正された前記軌跡を表示させることを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
画像処理装置を用いた画像処理方法であって、
第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、前記第１の撮影環境下で撮影して得られた動画像から得られた移動対象である軌跡を補正する軌跡補正ステップと、
前記軌跡補正ステップにおいて補正された軌跡を表示する表示ステップと、
を含むことを特徴とする画像処理方法。
＜請求項１２＞
コンピュータを、
第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、前記第１の撮影環境下で撮影して得られた動画像から得られた移動対象である軌跡を補正する軌跡補正手段、
前記軌跡補正手段によって補正された軌跡を表示させる表示制御手段、
として機能させるプログラム。

１００ 画像処理システム
１，２，３ カメラ（撮影手段）
１０ 画像処理装置
１１ 制御部（軌跡補正手段）
１１ａ 第１設定部
１１ｂ 第２設定部
１１ｃ 第１軌跡取得部
１１ｄ 第２軌跡取得部
１１ｅ 第１撮影角度算出部
１１ｆ 第２撮影角度算出部
１１ｇ 撮影角度差分算出部
１１ｈ 補正部
１１ｉ 第３設定部
１１ｊ 第４設定部
１１ｋ 比率算出部
１１ｍ 位置差分算出部
１１ｎ 軌跡差分判定部
１１ｐ 画像指定部
１１ｒ 移動対象画像抽出部
１１ｓ 表示制御部
１３ 表示部（表示手段）

Claims (16)

1. 移動しうる被写体が第１の撮影環境下で撮影された少なくとも１つの第１の動画像と前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された第２の動画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記第１の動画像に含まれる前記被写体の動作に基づいて、第１の軌跡を生成する軌跡生成手段と、
   前記第１の動画像及び前記第２の動画像の前記移動しうる被写体に含まれる特徴点に基づいて、画像内における位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段により取得された位置情報に基づいて、前記軌跡生成手段により生成された第１の軌跡を、前記第２の撮影環境下に適合するように補正する軌跡補正手段と、
   前記第２の動画像に前記軌跡補正手段により補正された第１の軌跡が重畳するように合成する合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記軌跡補正手段は、前記位置情報取得手段により取得された位置情報に基づいて、前記第１の軌跡を前記第１の撮影環境下とは異なる第２の撮影環境下に適合するように補正する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の動画像及び前記第２の動画像の前記移動しうる被写体に含まれる特徴点に線を設定する設定手段、
   を更に備え、
   前記位置情報取得手段は、前記設定手段により前記移動しうる被写体に含まれる特徴点に設定された線に基づいて、前記第１の動画像又は前記第２の動画像の前記移動しうる被写体の位置情報を取得する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記位置情報取得手段により取得された位置情報に基づいて、前記第１の動画像及び前記第２の動画像の前記移動しうる被写体の位置情報の差分を算出する位置情報差分算出手段を更に備え、
   前記軌跡補正手段は、前記位置情報差分算出手段により算出された位置情報の差分に基づいて、前記第１の軌跡を前記第１の撮影環境下とは異なる第２の撮影環境下に適合するように補正する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記軌跡補正手段は、前記位置情報の差分に基づいて、前記第１の軌跡の位置を前記位置情報の差分が縮小する方向に補正することで、前記第１の軌跡を前記第２の撮影環境下に適合するよう補正する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記軌跡生成手段は前記第２の動画像中の被写体の動作に基づいて第２の軌跡を生成し、
   前記軌跡補正手段により補正された第１の軌跡と、前記第２の軌跡とを前記第２の動画像中に合成する軌跡合成手段を更に備える、
   ことを特徴とする請求項２から５の何れか１項に記載の画像処理装置。
7. 前記軌跡生成手段は、前記第１の動画像に撮影された被写体の動作を、前記第１の動画像を構成する複数の画像から時系列に沿って検出する検出手段を更に備え、
   前記軌跡生成手段は、前記検出手段により前記複数の画像から時系列に沿って検出された動作に基づいて第１の軌跡を生成する、
   ことを特徴とする請求項２から６の何れか１項に記載の画像処理装置。
8. 前記第１の動画像及び第２の動画像を表示手段に表示させるよう制御する表示制御手段、
   を更に備え、
   前記表示制御手段は、前記軌跡生成手段により生成された第１の軌跡又は第２の軌跡を前記表示手段に表示させる
   ことを特徴とする請求項２から７の何れか１項に記載の画像処理装置。
9. 前記表示制御手段は第１の動画像及び第２の動画像を時系列に沿って表示させ、
   前記軌跡生成手段は、前記表示制御手段により表示された範囲に対応する前記検出手段により検出された動作に基づいて軌跡画像を生成し、
   前記表示制御手段は、前記表示手段に前記軌跡生成手段により生成される当該軌跡画像を表示させる、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記軌跡生成手段により生成された第２の軌跡と、前記軌跡補正手段により補正された第１の軌跡との差分を算出する差分算出手段と、
    前記差分算出手段により算出された差分に基づく情報を報知する報知手段と、
    を更に備えることを特徴とする請求項６から９の何れか１項に記載の画像処理装置。
11. 前記報知手段は、前記差分に基づく情報を報知するか否かの閾値を設定する閾値設定手段を含み、
    前記報知手段は、前記差分が前記閾値設定手段により設定された閾値を超えた場合に当該差分に基づく情報を報知する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の動画像、及び第２の動画像の夫々が撮影された際の撮影角度を算出する撮影角度算出手段を更に備え、
    前記軌跡補正手段は、前記撮影角度算出手段の算出結果に基づいて前記第１の軌跡を前記第２の動画像の撮影角度に適合するように補正する
    ことを特徴とする請求項３から１１の何れか１項に記載の画像処理装置。
13. 前記設定手段は、前記第１の動画像又は前記第２の動画像に複数の直線を設定し、
    前記撮影角度算出手段は、前記設定手段により設定された複数の直線のなす角に基づいて前記撮影角度を算出する、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記第１の動画像及び前記第２の動画像に表示開始及び終了時点を特定する特定手段、
    を更に備え、
    前記軌跡生成手段は、前記特定手段により特定された表示開始及び終了時点に基づいて、前記第１の動画像中に第１の軌跡を生成し、
    前記軌跡補正手段は、前記軌跡生成手段により生成された前記第１の軌跡を前記表示開始及び終了時点に対応する範囲で第２の撮影環境下に適合するように補正する、
    ことを特徴とする請求項１から１３の何れか１項に記載の画像処理装置。
15. 移動しうる被写体が第１の撮影環境下で撮影された少なくとも１つの第１の動画像と前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された第２の動画像を取得する画像取得ステップと、
    前記画像取得ステップにより取得された前記第１の動画像に含まれる前記被写体の動作に基づいて、第１の軌跡を生成する軌跡生成ステップ、
    前記第１の動画像及び前記第２の動画像の前記移動しうる被写体に含まれる特徴点に基づいて、画像内における位置情報を取得する位置情報取得ステップと、
    前記位置情報取得ステップにより取得された位置情報に基づいて、前記軌跡生成ステップにより生成された第１の軌跡を、前記第１の撮影環境下とは異なる第２の撮影環境下に適合するように補正する軌跡補正ステップと、
    前記第２の動画像に前記軌跡補正手段により補正された第１の軌跡が重畳するように合成する合成ステップと、
    を備えたことを特徴とする画像処理方法。
16. コンピュータを、
    移動しうる被写体が第１の撮影環境下で撮された少なくとも１つの第１の動画像と前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された第２の動画像を取得する画像取得手段、
    前記画像取得手段により取得された前記第１の動画像に含まれる前記被写体の動作に基づいて、第１の軌跡を生成する軌跡生成手段、
    前記第１の動画像及び前記第２の動画像の前記移動しうる被写体に含まれる特徴点に基づいて、画像内における位置情報を取得する位置情報取得手段と、
    前記位置情報取得手段により取得された位置情報に基づいて、前記軌跡生成手段により生成された第１の軌跡を、前記第１の撮影環境下とは異なる第２の撮影環境下に適合するように補正する軌跡補正手段、
    前記第２の動画像に前記軌跡補正手段により補正された第１の軌跡が重畳するように合成する合成手段、
    として機能させることを特徴とするプログラム。

Images