JP5411806B2 - 画像合成装置およびそのプログラム - Google Patents

Description

本発明は、予め設定されたカメラワークを行うロボットカメラにより異なる被写体を撮影した撮影映像が入力され、被写体ごとの撮影映像を用いて、異なる被写体が同一のフレーム画像に含まれる合成映像を生成する画像合成装置およびそのプログラムに関する。

従来から、例えば、アルペンスキーやスピードスケートのように、選手のタイムを競い合うスポーツ競技の中継が行われている。このとき、選手同士のタイム差をアナウンサが解説し、または、各選手のタイムを画面に表示することが多い。この場合、視聴者には、選手同士がどの程度離れてゴールしたか、視覚的に伝わりにくかった。そこで、異なる時間に撮影した選手同士を１つの映像に合成し、これら選手が同時にスポーツ競技を行っているような映像を視聴者に提供する技術が提案されている（非特許文献１−３参照）。この非特許文献１−３に記載の技術は、同じカメラワークを繰り返すロボットカメラにより、比較したい選手を個別に撮影し、それぞれの映像から選手を切り出して合成することで、比較したい選手同士のタイム差が視覚的に表された合成映像を生成する。

また、比べたい映像同士をマッチングで重ね合わせる技術が提案されている（非特許文献４参照）。この非特許文献４に記載の技術は、映像の中から、選手などの特徴部分を検出し、この特徴部分が重なるように合成映像を生成する。

石川他、「「仮想対決」システムにおけるマスタースレーブ駆動型カメラの動特性」、１９９８年映像情報メディア学会年次大会予稿集、１９９８年、ｐ．４２２ 加藤、「長野オリンピックにおける新映像表現技術−仮想対決システム」、計測自動制御学会誌、１９９９年、Ｖｏｌ．３８、Ｎｏ．４ 土生他、「仮想対決システム」、兼六館出版株式会社、放送技術、１９９８年、Ｖｏｌ．５１、Ｎｏ．９、ｐｐ．７０−７３ 「ＤａｒｔＦｉｓｈ」、http://dartfish.co.jp/New/Software/index.html

しかし、非特許文献１−４に記載の技術は、カメラマンが撮影した映像に比べて、合成映像が不自然であるという問題がある。例えば、選手の移動にあわせてパンを行う場合を考える。この場合、熟練したカメラマンは、選手が画面中央ではなく、選手の移動方向に空きが多くなるようなカメラワークで撮影することが多い。一方、非特許文献１−４に記載の技術は、選手の位置を中心として映像を合成するため、熟練したカメラマンが撮影した映像に比べて、画面中央に選手が位置し続けるような不自然な合成映像となり、合成映像の臨場感が低くなってしまう。

そこで、本発明は、臨場感が高い合成映像を生成できる画像合成装置およびそのプログラムを提供することを目的とする。

前記した課題を解決するため、本願第１発明に係る画像合成装置は、予め設定されたカメラワークを行うロボットカメラにより異なる被写体を撮影した撮影映像が入力され、前記被写体ごとの撮影映像を用いて、前記異なる被写体が同一のフレーム画像に含まれる合成映像を生成する画像合成装置であって、切り出し条件入力手段と、映像切り出し手段と、記憶手段と、抽出位置算出手段と、映像補間手段と、映像合成手段と、を備えることを特徴とする。

かかる構成によれば、画像合成装置は、切り出し条件入力手段によって、前記撮影映像における切り出し対象のフレーム画像を一意に示す情報と、当該フレーム画像における切り出し位置および切り出しサイズとを、切り出し条件として入力する。また、画像合成装置は、映像切り出し手段によって、前記切り出し条件入力手段に入力された切り出し条件に基づいて、前記撮影映像ごとに、前記切り出し対象のフレーム画像のそれぞれから、前記切り出し位置および前記切り出しサイズで前記被写体を切り出すことで、切り出し映像を生成する。

また、画像合成装置は、記憶手段によって、カメラマンの撮影技法を統計処理した統計情報を予め記憶する。そして、画像合成装置は、抽出位置算出手段によって、前記記憶手段が記憶する統計情報に基づいて、当該撮影映像における抽出対象のフレーム画像から前記被写体を抽出する位置を示す抽出位置を算出する。さらに、画像合成装置は、映像補間手段によって、前記撮影映像ごとに、前記抽出対象のフレーム画像から、前記抽出位置算出手段が算出した抽出位置および所定の抽出サイズで前記被写体を抽出することで、前記切り出し映像を補間した補間映像を生成する。さらに、画像合成装置は、映像合成手段によって、前記映像補間手段が生成した補間映像に含まれる被写体同士を合成することで、前記異なる被写体が前記同一のフレーム画像に含まれる合成映像を生成する。
つまり、画像合成装置は、カメラマンの撮影技法（カメラワーク）を示す統計情報を用いることで、合成映像にカメラマンの撮影技法を反映させることができる。

また、本願第２発明に係る画像合成装置は、前記記憶手段が、前記統計情報として、前記カメラマンによる撮影開始時間を０および撮影終了時間を１として正規化した時間軸に対する前記カメラマンの操作速度を示す速度曲線を予め記憶し、前記抽出位置算出手段が、前記撮影映像のフレーム画像の時間について、前記撮影映像の開始時間を０および終了時間を１として正規化した抽出時間を求め、前記撮影開始時間から前記抽出時間までの前記時間軸と前記速度曲線とで囲われる部分領域の面積と、前記撮影開始時間から前記撮影終了時間までの前記時間軸と前記速度曲線とで囲われる全領域の面積との面積比を算出し、前記抽出対象のフレーム画像の幅から前記抽出サイズを減算して抽出最大位置を算出すると共に、当該抽出最大位置に前記面積比を乗算した値を前記抽出位置として算出することを特徴とする。

かかる構成によれば、画像合成装置は、カメラマンの操作速度（カメラワーク）を示す速度曲線を用いるため、カメラマンが実際に撮影したような合成映像を生成することができる。

また、本願第３発明に係る画像合成装置は、前記記憶手段が、前記時間軸において０．３５以上０．４以下の範囲内で前記カメラマンの操作速度が最高となる前記速度曲線を、予め記憶することを特徴とする。

かかる構成によれば、画像合成装置は、速度曲線がカメラマンの操作速度（カメラワーク）に極めて近似するため、カメラマンが実際に撮影した映像に合成映像をより近づけることができる。

また、本願第４発明に係る画像合成装置は、前記被写体同士の時間差を示す情報が補間パラメータとして入力される補間パラメータ入力手段と、前記補間パラメータ入力手段に入力された時間差を第１の補正係数として前記切り出しサイズに乗じることで、前記切り出しサイズを拡大した前記抽出サイズを算出する抽出サイズ算出手段と、をさらに備えることを特徴とする。
かかる構成によれば、画像合成装置は、被写体同士の時間差が大きくなる程、抽出サイズを拡大する。

また、本願第５発明に係る画像合成装置は、前記補間パラメータ入力手段が、前記ロボットカメラのズーム値が前記補間パラメータとしてさらに入力され、前記抽出サイズ算出手段が、さらに、前記ロボットカメラのズーム値を第２の補正係数として前記切り出しサイズに乗じることで、前記抽出サイズを算出することを特徴とする。
かかる構成によれば、画像合成装置は、撮影映像をズームしながら撮影した場合には抽出サイズを拡大する。

また、本願第６発明に係る画像合成装置は、前記抽出サイズ算出手段が、複数の前記フレーム画像から抽出した前記被写体のサイズ変化率を第３の補正係数として算出すると共に、さらに、前記第３の補正係数を前記切り出しサイズに乗じることで、前記抽出サイズを算出することを特徴とする。

ここで、撮影映像をズームしながら撮影した場合、その撮影映像に含まれる被写体サイズが大きくなる。従って、画像合成装置は、ロボットカメラのズーム値を入力できない環境において、被写体サイズ変化率に基づいて抽出サイズを拡大する。

また、本願第７発明に係る画像合成装置は、前記補間パラメータ入力手段が、前記映像補間手段が前記被写体を抽出する領域である抽出領域の中心点から水平方向および垂直方向に前記被写体の位置ずれ量を示す被写体ずれ量がさらに入力され、前記抽出領域の中心点から水平方向および垂直方向に前記被写体の位置ずれ量を示す被写体ずれ量がさらに入力され、前記補間パラメータ入力手段に入力された被写体ずれ量に基づいて、前記抽出領域の中心点を水平方向および垂直方向に移動させた点を結んだ抽出軌道を算出する抽出軌道算出手段をさらに備え、前記映像補間手段が、前記抽出軌道に基づいて、前記撮影映像から前記被写体を前記抽出軌道に沿うように抽出することを特徴とする。
かかる構成によれば、画像合成装置は、カメラマンが実際に撮影した映像のように、合成映像において被写体の置き位置を変化させることができる。

また、前記した課題を解決するため、本願第８発明に係る画像合成プログラムは、予め設定されたカメラワークを行うロボットカメラにより異なる被写体を撮影した撮影映像が入力され、前記被写体ごとの撮影映像を用いて、前記異なる被写体が同一のフレーム画像に含まれる合成映像を生成するために、カメラマンの撮影技法を統計処理した統計情報を予め記憶する記憶手段を備えるコンピュータを、条件入力手段、映像切り出し手段、抽出位置算出手段、映像補間手段、映像合成手段、として機能させることを特徴とする。

かかる構成によれば、画像合成プログラムは、切り出し条件入力手段によって、前記撮影映像における切り出し対象のフレーム画像を一意に示す情報と、当該フレーム画像における切り出し位置および切り出しサイズとを、切り出し条件として入力する。また、画像合成プログラムは、映像切り出し手段によって、前記切り出し条件入力手段に入力された切り出し条件に基づいて、前記撮影映像ごとに、前記切り出し対象のフレーム画像のそれぞれから、前記切り出し位置および前記切り出しサイズで前記被写体を切り出すことで、切り出し映像を生成する。

また、画像合成プログラムは、抽出位置算出手段によって、前記記憶手段が記憶する統計情報に基づいて、当該撮影映像における抽出対象のフレーム画像から前記被写体を抽出する位置を示す抽出位置を算出する。また、画像合成プログラムは、映像補間手段によって、前記撮影映像ごとに、前記抽出対象のフレーム画像から、前記抽出位置算出手段が算出した抽出位置および所定の抽出サイズで前記被写体を抽出することで、前記切り出し映像を補間した補間映像を生成する。さらに、画像合成プログラムは、映像合成手段によって、前記映像補間手段が生成した補間映像に含まれる被写体同士を合成することで、前記異なる被写体が前記同一のフレーム画像に含まれる合成映像を生成する。
つまり、画像合成プログラムは、カメラマンの撮影技法（カメラワーク）を示す統計情報を用いることで、合成映像にカメラマンの撮影技法を反映させることができる。

本発明は、以下のような優れた効果を奏する。
本願第１，８発明は、カメラマンの撮影技法（カメラワーク）を示す統計情報を用いるため、カメラマンの撮影技法を合成映像に反映させることができ、臨場感が高い合成映像を生成することができる。

本願第２発明は、カメラマンの操作速度（カメラワーク）を示す速度曲線を用いるため、カメラマンが実際に撮影したような合成映像を生成でき、合成映像の臨場感をより高くすることができる。

本願第３発明は、速度曲線がカメラマンの操作速度（カメラワーク）を極めて近似するため、カメラマンが実際に撮影した映像に合成映像をより近づけることができ、合成映像の臨場感をより高くすることができる。

本願第４発明は、被写体同士の時間差が大きくなる程抽出サイズを拡大するため、合成映像に何れかの被写体が含まれないこと、および、合成映像から被写体の一部が欠落することを防止することができる。これによって、本願第４発明は、合成映像の臨場感をより高くすることができる。

本願第５発明は、撮影映像をズームしながら撮影した場合には抽出サイズを拡大するため、カメラマンのズーム操作（カメラワーク）を合成映像に反映させて、カメラマンが実際に撮影したような合成映像を生成でき、合成映像の臨場感をより高くすることができる。

本願第６発明は、ロボットカメラのズーム値を入力できない環境においても、撮影映像をズームしながら撮影した場合には抽出サイズを拡大することができる。これによって、本願第６発明は、カメラマンのズーム操作（カメラワーク）を合成映像に反映させて、カメラマンが実際に撮影したような合成映像を生成でき、合成映像の臨場感をより高くすることができる。

本願第７発明は、カメラマンが実際に撮影した映像のように、合成映像において被写体の置き位置を変化させることができるため、合成映像の臨場感をより高くすることができる。

本発明の実施形態に係る画像合成装置を含む画像合成システムの構成を示すブロック図である。 図１の画像合成装置による合成映像の生成を説明する図であり、（ａ）は選手Ａの撮影映像であり、（ｂ）は選手Ｂの撮影映像であり、（ｃ）は選手Ａ，Ｂの合成映像である。 図１の画像合成装置の構成を示すブロック図である。 図３の抽出位置算出手段が算出する抽出位置と、統計情報記憶手段に記憶した速度曲線との関係を示す図であり、（ａ）は抽出位置を示し、（ｂ）は速度曲線を示している。 図３の抽出位置算出手段による抽出位置の算出を説明する図であり、（ａ）は抽出位置を示し、（ｂ）は速度曲線を示している。 図３の抽出サイズ算出手段による抽出サイズの算出を説明する図であり、（ａ）はスタートでの選手Ａ，Ｂの位置関係を示しており、（ｂ）は前半での選手Ａ，Ｂの位置関係を示しており、（ｃ）はゴールでの選手Ａ，Ｂの位置関係を示している。 本発明において、（ａ）は抽出領域中心点を説明する図であり、（ｂ）は被写体基準点を説明する図である。 図３の抽出軌道算出手段による抽出軌道の算出を説明する図であり、（ａ）はスタートでの被写体基準点を示しており、（ｂ）は中間での被写体基準点を示しており、（ｃ）はゴールでの被写体基準点を示しており、（ｄ）は被写体基準点を結んだ抽出軌道を示している。 図３の抽出軌道算出手段による抽出軌道の算出について、別の例を説明する図である。 本発明において、補間映像を補足する図であり、（ａ）はスタート直後の撮影映像であり、（ｂ）はスタート直後の補間映像であり、（ｃ）ゴール直前の撮影映像であり、（ｄ）はゴール直前の補間映像である。 図３の画像合成装置の動作を示すフローチャートである。 本発明の変形例２に係る画像合成装置を説明する図であり、（ａ）はスタートでの選手Ａ，Ｂの位置関係を示しており、（ｂ）は前半での選手Ａ，Ｂの位置関係を示しており、（ｃ）はゴールでの選手Ａ，Ｂの位置関係を示している。 本発明の変形例３に係る画像合成装置を説明する図であり、（ａ）はスタートでの選手Ａ，Ｂの位置関係を示しており、（ｂ）は前半での選手Ａ，Ｂの位置関係を示しており、（ｃ）はゴールでの選手Ａ，Ｂの位置関係を示している。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。

［画像合成システムの構成］
以下、図１および図２を参照して、画像合成システム１００の構成について説明する。
画像合成システム１００は、例えば、単独でスキーのアルペン競技を行う選手を被写体として撮影し、それぞれの撮影映像に含まれる選手を切り出して、切り出した選手同士を合成した合成映像を生成する。このため、図１に示すように、画像合成システム１００は、時間計測器１と、テレビジョン同期信号発生器２と、ロボットカメラ３と、雲台４と、リモート操作器５と、カメラ制御部６と、画像合成装置７とを備える。

時間計測器１は、選手がアルペン競技をスタートしたことを示すスタート信号をテレビジョン同期信号発生器２に入力する。例えば、時間計測器１は、アルペン競技のスタート位置に設置された公式タイムを計測するタイム計測器である。この場合、時間計測器１は、公式タイムの計測を開始するのと同時にスタート信号を生成し、このスタート信号をテレビジョン同期信号発生器２に入力する。

テレビジョン同期信号発生器２は、ロボットカメラ３の撮影タイミングを同期させる同期信号を生成する。具体的には、テレビジョン同期信号発生器２は、時間計測器１からスタート信号が入力され、このスタート信号が入力されたタイミングで同期信号を生成し、この同期信号をカメラ制御部６に出力する。

ロボットカメラ３は、アルペン競技を行う選手を撮影し、その撮影映像を画像合成装置７に出力する。例えば、ロボットカメラ３は、２Ｋカメラ、４Ｋカメラ、スーパーハイビジョンカメラなどの高解像度カメラである。また、ロボットカメラ３は、パン、チルト、ズーム、フォーカスなどのカメラワークでロボットカメラ３を駆動可能な雲台４に搭載されている。

雲台４は、後記するリモート操作器５から入力された操作信号、または、後記するカメラ制御部６から入力された制御信号に基づいて、パン、チルト、ズーム、フォーカスなどのカメラワークでロボットカメラ３を駆動する。

リモート操作器５は、カメラマン（不図示）がロボットカメラ３を遠隔操作するときに用いる操作手段（例えば、ジョイスティック）である。ここで、リモート操作器５は、カメラマンの操作に応じてロボットカメラ３を駆動する操作信号を生成し、この操作信号を雲台４に出力する。このとき、リモート操作器５は、この操作信号を、雲台４を介してカメラ制御部６に出力する。

カメラ制御部６は、リモート操作器５から操作信号が入力され、この操作信号を、ロボットカメラ３を駆動する制御信号として、図示を省略したメモリに記憶する。そして、カメラ制御部６は、テレビジョン同期信号発生器２から同期信号が入力されたタイミングで、メモリに記憶した制御信号を雲台４に出力する。

画像合成装置７は、予め設定されたカメラワークを行うロボットカメラ３により異なる選手を撮影した撮影映像が入力され、選手ごとの撮影映像を用いて、異なる選手が同一のフレーム画像に含まれる合成映像を生成する。ここで、例えば、画像合成装置７は、ロボットカメラ３から、図２（ａ）および図２（ｂ）に示すように、各選手を撮影した撮影映像がそれぞれ入力され、それぞれの撮影映像から、図２（ｃ）に示すように、異なる選手が含まれる合成映像を生成する。
なお、画像合成装置７の構成は、後記する。

［画像合成システムによる合成映像の生成］
以下、図１および図２を参照して、画像合成システム１００による合成映像の生成する手順を説明する。
まず、画像合成システム１００では、ロボットカメラ３のカメラワークを設定する。例えば、図２（ａ）に示すように、カメラマンが、リモート操作器５によってロボットカメラ３を遠隔操作し、一人目の選手Ａがアルペン競技を行う様子を撮影する。そして、ロボットカメラ３は、選手Ａが撮影された撮影映像を画像合成装置７に出力する。このとき、カメラマンは、二人目以降の選手のタイムを考慮し、比較したい全選手が映像に納まるように広い画角およびルーズなカメラワークで選手Ａを撮影する。このカメラマンの操作を示す操作信号は、雲台４を介してカメラ制御部６に出力される。そして、カメラ制御部６は、この入力された操作信号を制御信号として記憶する。つまり、カメラ制御部６は、カメラマンが選手Ａを撮影したときと同一のカメラワークで、ロボットカメラ３を駆動可能な制御信号を記憶する。

次に、画像合成システム１００は、二人目の選手Ｂがアルペン競技を行う様子を自動撮影する。例えば、時間計測器１は、選手Ｂがアルペン競技を開始すると同時にスタート信号を生成し、このスタート信号をテレビジョン同期信号発生器２に入力する。すると、テレビジョン同期信号発生器２は、時間計測器１からスタート信号が入力されたタイミングで同期信号を生成し、雲台４を介して、この同期信号をカメラ制御部６に出力する。そして、カメラ制御部６は、テレビジョン同期信号発生器２から同期信号が入力されたタイミングで、記憶した制御信号を雲台４に出力する。つまり、選手Ｂがアルペン競技を開始したタイミングで、ロボットカメラ３は、カメラマンが選手Ａを撮影したのと同一のカメラワークで選手Ｂを自動撮影する。そして、図２（ｂ）に示すように、ロボットカメラ３は、選手Ｂを自動撮影した撮影映像を画像合成装置７に出力する。

ここで、画像合成装置７は、図２（ａ）および図２（ｂ）に示すように、選手Ａの撮影映像と、選手Ｂの撮影映像とをそれぞれ記憶している。これら撮影映像は、同じタイミング、同じ画角および同じカメラワークで撮影されているため、容易に合成することができる。このため、画像合成装置７は、図２（ｃ）に示すように、選手Ａと選手Ｂとのタイム差が視覚的に表現された合成映像を生成することができる。

なお、三人目以降の選手を合成する場合、画像合成システム１００は、同様の手順で、三人目以降の選手を自動撮影し、選手Ａまたは選手Ｂと、三人目以降の選手とを合成すればよい。

［画像合成装置の構成］
以下、図３を参照し、画像合成装置７の構成について説明する（適宜図１参照）。
図３に示すように、画像合成装置７は、キーフレーム入力手段（切り出し条件入力手段）７１と、映像記憶手段７２と、映像切り出し手段７３と、切り出し映像記憶手段７４と、補間パラメータ入力手段７５と、映像補間手段７６と、統計情報記憶手段（記憶手段）７７と、補間映像記憶手段７８と、映像合成手段７９とを備える。

キーフレーム入力手段７１は、選手Ａの撮影映像と、選手Ｂの撮影映像というように、選手ごとに撮影映像について、フレーム時間と、切り出し位置と、切り出しサイズとをキーフレーム（切り出し条件）として指定（入力）する。ここで、キーフレーム入力手段７１は、例えば、オペレータから、重要な場面（シーン）を構成する切り出し対象のフレーム画像と、画面内での選手Ａの位置を考慮した切り出し位置と、画面内での選手Ａのサイズを考慮した切り出しサイズとが、キーフレームとして指定（入力）される。

フレーム時間は、撮影映像において、切り出し対象のフレーム画像を一意に示すタイムコードなどの情報である。例えば、フレーム時間は、オペレータから指定されたフレーム画像のタイムコードとなる。
切り出し領域は、切り出し対象のフレーム画像から、後記する映像切り出し手段７３が切り出す領域（例えば、矩形領域）を示す。
切り出し位置は、切り出し対象のフレーム画像から選手を切り出すときの基準となる位置である。例えば、切り出し領域を矩形領域とした場合、切り出し位置は、矩形領域の左辺となる。
切り出しサイズは、切り出し対象のフレーム画像において、切り出し領域の高さおよび幅である。例えば、切り出し領域を矩形領域とした場合、切り出しサイズは、矩形領域の高さおよび幅となる。

映像記憶手段７２は、ロボットカメラ３から入力された撮影映像を記憶するハードディスクなどの記憶装置である。ここで、映像記憶手段７２は、例えば、選手Ａの撮影映像と、選手Ｂの撮影映像というように、選手ごとに撮影映像を記憶している。

映像切り出し手段７３は、キーフレーム入力手段７１からキーフレームが入力される。そして、映像切り出し手段７３は、入力されたキーフレームに基づいて、映像記憶手段７２に記憶された撮影映像ごとに、切り出し対象のフレーム画像のそれぞれから、切り出し位置および切り出しサイズで選手を切り出すことで、切り出し映像を生成する。ここで、例えば、先頭と最後とのフレーム画像が切り出し対象のフレーム画像として指定されたとして説明する。この場合、映像切り出し手段７３は、選手Ａの撮影映像における先頭のフレーム画像から、選手Ａが含まれる切り出し領域を切り出す。また、映像切り出し手段７３は、選手Ａの撮影映像における最後のフレーム画像から、選手Ａが含まれる切り出し領域を切り出す。そして、映像切り出し手段７３は、先頭のフレーム画像から切り出された領域の画像と、最後のフレーム画像から切り出された領域の画像とを時系列に連続させた切り出し映像を生成する。また、映像切り出し手段７３は、選手Ａと同様に、選手Ｂの切り出し映像を生成する。その後、映像切り出し手段７３は、選手Ａの切り出し映像と、選手Ｂの切り出し映像とを切り出し映像記憶手段７４に記憶する。

切り出し映像記憶手段７４は、切り出し映像記憶手段７４から入力された切り出し映像を記憶するハードディスクなどの記憶装置である。ここで、切り出し映像記憶手段７４は、例えば、選手Ａの切り出し映像と、選手Ｂの切り出し映像というように、選手ごとに切り出し映像を記憶している。

補間パラメータ入力手段７５は、補間パラメータが入力されると共に、入力された補間パラメータを映像補間手段７６に出力する。例えば、補間パラメータ入力手段７５は、オペレータから、補間パラメータとして、被写体タイム差と、被写体ズレ量とが入力される。

被写体タイム差（時間差情報）は、撮影映像における任意の時間（例えば、ゴール時などの撮影映像の終了時間）において、選手Ａ，Ｂなどの選手同士のタイム差を示す情報である。この被写体タイム差は、後記する抽出領域を拡大するために入力する。
被写体ズレ量は、選手Ａ，Ｂの位置ずれ量を示す情報であり、後記する抽出軌道を算出するために入力する。

映像補間手段７６は、抽出位置と、抽出サイズと、抽出軌道とを算出するために、抽出位置算出手段７６ａと、抽出サイズ算出手段７６ｂと、抽出軌道算出手段７６ｃとを備える。そして、映像補間手段７６は、映像記憶手段７２に記憶された選手Ａ，Ｂの撮影映像ごとに、抽出対象のフレーム画像から、抽出位置算出手段７６ａが算出した抽出位置および抽出サイズ算出手段７６ｂが算出した抽出サイズで、抽出軌道算出手段７６ｃが算出した抽出軌道に沿って選手Ａ，Ｂを抽出することで、切り出し映像を補間した選手Ａ，Ｂの補間映像を生成する。つまり、補間映像は、切り出し対象のフレーム画像から切り出した領域の画像と、抽出対象のフレーム画像から抽出した領域の画像とが時系列に連続するものとなる。その後、映像補間手段７６は、選手Ａの補間映像と、選手Ｂの補間映像とを切り出し映像記憶手段７４に記憶する。

抽出位置算出手段７６ａは、後記する統計情報記憶手段７７が記憶する速度曲線を参照して、部分領域の面積と全領域の面積との面積比を算出し、抽出対象のフレーム画像の幅から抽出サイズを減算して抽出最大位置を算出すると共に、抽出最大位置に面積比を乗算した値を抽出位置として算出する。なお、抽出位置算出手段７６ａの詳細は、後記する。

抽出領域は、抽出対象のフレーム画像から、映像補間手段７６が抽出する領域（例えば、矩形領域）を示す。
抽出位置は、撮影映像における抽出対象のフレーム画像から、選手を抽出するときの基準となる位置である。例えば、抽出領域を矩形領域とした場合、抽出位置は、矩形領域の左辺となる。
抽出対象のフレーム画像は、撮影映像において、切り出し対象のフレーム画像以外のフレーム画像である。

抽出サイズ算出手段７６ｂは、補間パラメータ入力手段７５に入力された被写体タイム差（時間差情報）を第１の補正係数として切り出しサイズに乗じることで、切り出しサイズを拡大した抽出サイズを算出する。なお、抽出サイズ算出手段７６ｂの詳細は、後記する。
抽出サイズは、抽出対象のフレーム画像において、抽出領域の高さおよび幅である。例えば、抽出領域を矩形領域とした場合、抽出サイズは、矩形領域の高さおよび幅となる。

抽出軌道算出手段７６ｃは、補間パラメータ入力手段７５に入力された被写体ズレ量に基づいて、抽出領域の中心点を水平方向および垂直方向に移動させた点を結んだ抽出軌道を算出する。なお、抽出軌道算出手段７６ｃの詳細は、後記する。

ここで、補間映像を生成する理由について、簡単に説明する。
前記したように、先頭と最後とのフレーム画像が切り出し対象のフレーム画像として指定された場合、切り出し映像は、先頭のフレーム画像から切り出した領域の画像と、最後のフレーム画像から切り出した領域の画像という、２枚の画像だけが含まれている。言い換えるなら、この切り出し映像は、先頭と最後以外の画像が含まれておらず、選手の動きが途切れる極めて不自然なものとなる。このため、映像補間手段７６は、切り出し映像で不足している画像、すなわち、先頭と最後以外の画像を補間して、補間映像を生成する。つまり、補間映像は、切り出し映像に含まれる先頭の画像と、切り出し映像で不足する先頭および最後以外の画像と、切り出し映像に含まれる最後の画像とが時系列に連続しており、選手の動きが途切れない自然なものとなる。

統計情報記憶手段７７は、統計情報を予め記憶するハードディスクなどの記憶装置である。ここで、統計情報記憶手段７７は、統計情報として、図４（ｂ）の速度曲線を予め記憶している。

以下、図４（ｂ）を参照し、速度曲線について詳細に説明する。
まず、熟練した何人かのカメラマンが、水平方向に移動する被写体をパンなどのカメラワークを行いながら撮影する。このとき、撮影開始から撮影終了までの間、各カメラマンがカメラを操作する速度（カメラワークの速度）を測定した測定データを生成する。そして、各カメラマンの測定データの時間軸を、撮影開始時間を０および撮影終了時間を１として正規化し、ガウス分布などの統計処理を行って速度曲線を求める。つまり、図４（ｂ）の速度曲線は、撮影開始時間から撮影終了時間までのどの部分で、どのくらい速度でカメラワークを行ったかを示す曲線となっている。

ここで、前記した統計処理の結果から、熟練したカメラマンは、正規化した時間軸で０．３５〜０．４となる部分（ピーク区間）で、カメラワークを最も速くすることがわかった。このため、図４（ｂ）に示すように、最高速度Ｖｍａｘが正規化した時間軸において０．３５〜０．４となるピーク区間内となる場合、この速度曲線は、熟練したカメラマンのカメラワーク（撮影技法）を近似することになる。

以下、図１に戻り、画像合成装置７の構成について説明を続ける。
補間映像記憶手段７８は、映像補間手段７６から入力された補間映像を記憶するハードディスクなどの記憶装置である。ここで、補間映像記憶手段７８は、例えば、選手Ａの補間映像と、選手Ｂの補間映像というように、選手ごとに補間映像を記憶している。

映像合成手段７９は、補間映像記憶手段７８に記憶した補間映像に含まれる選手Ａ，Ｂを合成することで、異なる選手Ａ，Ｂが含まれる合成映像を生成する。ここで、例えば、映像合成手段７９は、選手Ｂの補間映像から選手Ｂを切り出して選手Ａの補間映像に合成することで、選手Ａ，Ｂが含まれる背景付き合成映像を生成できる。また、映像合成手段７９は、比較対象となる選手Ｂを半透明で合成してもよい。さらに、映像合成手段７９は、この合成映像をデジタルハイビジョン放送規格に準拠した映像信号に変換してもよい。その後、映像合成手段７９は、この合成映像を出力する。

＜抽出位置算出手段の詳細＞
以下、図４，図５を参照し、抽出位置算出手段７６ａを詳細に説明する。
ここで、説明を簡易にするために、選手Ａの動きに合わせて左から右へのパン（カメラワーク）を例に説明する。また、選手Ａの撮影映像が時系列に連続する１１枚のフレーム画像で構成されているとする。また、先頭のフレーム画像（Ｔ０）、および、最後のフレーム画像（Ｔ１０）が抽出対象のフレーム画像（キーフレーム）として指定されたとする。

抽出位置算出手段７６ａは、統計情報記憶手段７７が記憶する統計情報に基づいて、抽出位置を算出する。まず、抽出位置算出手段７６ａは、抽出対象のフレーム画像の時間（タイムコード）について、撮影映像の開始時間を０および終了時間を１として正規化して、抽出時間を求める。これによって、抽出時間は、０以上１以下の値となるため、速度曲線の時間軸上で扱うことが可能となる。このため、図４（ｂ）の横軸（時間軸）上に、抽出対象のフレーム画像の時間をＴ０〜Ｔ１０と表すことができる。

次に、抽出位置算出手段７６ａは、キーフレームとして指定されていない抽出対象のフ
レーム画像、つまり、時間Ｔ１〜Ｔ９のフレーム画像について、抽出位置を算出する。ここで、図４（ｂ）の速度曲線のように、熟練したカメラマンは、ピーク区間でカメラワークを最も速くする。従って、抽出位置算出手段７６ａは、このカメラワークを近似して抽出位置を算出する。具体的には、図４（ａ）に示すように、抽出位置算出手段７６ａは、カメラワークが遅い時間Ｔ０からＴ１では、抽出領域Ａ０と抽出領域Ａ１との距離差が少なくなるように、抽出領域Ａ１における抽出位置を算出する。また、抽出位置算出手段７６ａは、カメラワークが遅い時間Ｔ９からＴ１０でも同様に、抽出領域Ａ９と抽出領域Ａ１０との距離差が小さくなるように、抽出領域Ａ９における抽出位置を算出する。その一方、抽出位置算出手段７６ａは、ピーク区間付近の時間Ｔ３からＴ５では、抽出領域Ａ３からＡ５までの距離差が大きくなるように、抽出領域Ａ３〜Ａ５における抽出位置を算出する。

なお、図４（ａ）では、図面を見やすくするため、抽出位置を矩形領域の左辺として、太線で図示した。また、図４（ａ）では、図面を見やすくするため、各領域Ａ０〜Ａ１０を垂直方向にずらして図示したが、通常、各領域Ａ０〜Ａ１０は垂直方向において同一位置とする。

以下、図５を参照し、抽出位置の算出方法を具体的に説明する。
ここで、撮影映像の中間（Ｔ５）のフレーム画像が抽出対象のフレーム画像であるとき、その抽出位置Ｌ５を求める例で説明する。

まず、抽出位置算出手段７６ａは、時間Ｔ５のフレーム画像について、撮影映像の開始時間を０および終了時間を１として正規化し、抽出時間（時間Ｔ５）を求める。ここで、抽出時間（時間Ｔ５）は、図５（ｂ）の時間軸上で略中央に図示した。

次に、抽出位置を最も右に設定したときでも、抽出領域の幅の分だけ余裕を残すため、下記の式（１）に示すように、抽出最大位置Ｌｍａｘを算出する。

Ｌｍａｘ＝Ｗｍａｘ−Ｗｉｎｉ・・・式（１）
なお、式（１）では、Ｗｍａｘが映像幅（抽出対象のフレーム画像の幅）であり、Ｗｉｎｉが幅減算値である。この幅減算値は、例えば、抽出サイズ（幅）と同じ値とする。

そして、抽出位置算出手段７６ａは、撮影開始時間（Ｔ０）から抽出時間（Ｔ５）までの時間軸と速度曲線とで囲われる部分領域の面積、すなわち、図５（ｂ）の濃いドット領域の面積を算出する。また、抽出位置算出手段７６ａは、撮影開始時間（Ｔ０）から撮影終了時間（Ｔ１０）までの時間軸と速度曲線とで囲われる全領域の面積、すなわち、図５（ｂ）の濃いドット領域と薄いドット領域との面積を算出する。そして、抽出位置算出手段７６ａは、下記の式（２）に示すように、部分領域と全領域との面積比を算出する。

面積比＝部分領域の面積／全領域の面積
＝濃いドット領域の面積／（濃いドット領域の面積＋薄いドット領域の面積）
・・・式（２）

さらに、抽出位置算出手段７６ａは、抽出最大位置Ｌｍａｘに面積比を乗算した値を抽出位置として算出する。例えば、映像幅Ｗｍａｘ＝１９２０（ピクセル）、幅減算値Ｗｉｎｉ＝６０（ピクセル）、部分領域の面積＝６０、全領域の面積＝１００の場合を考える。この場合、抽出位置算出手段７６ａは、前記した式（１）により、抽出最大位置Ｌｍａｘ＝１８６０（ピクセル）を求める。また、抽出位置算出手段７６ａは、前記した式（２）により、面積比０．６を求める。そして、抽出位置算出手段７６ａは、抽出最大位置Ｌｍａｘ＝１８６０に面積比＝０．６を乗じて、抽出位置Ｌ５＝１１１６（ピクセル）を求める。従って、抽出位置算出手段７６ａは、図５（ａ）に示すように、抽出位置を撮影映像の左辺からの距離（ピクセル数）で表すことができる。

以上のように、画像合成装置７は、カメラマンのカメラワーク（操作速度）を極めて近似した速度曲線を用いて抽出位置を算出するため、カメラマンのカメラワークが遅くなる程、抽出領域同士の距離差を小さくし、カメラマンのカメラワークが速くなる程、抽出領域同士の距離差を大きくする（図４参照）。これによって、画像合成装置７は、カメラマンのカメラワークを合成映像に反映させて、その合成映像をカメラマンが実際に撮影した映像により近づけることができる。

なお、抽出位置を矩形領域の左辺として説明したが、これに限定されない。例えば、抽出位置は、矩形領域の右辺としてもよい。この場合、抽出基準位置は、撮影映像の右辺とする。
また、例えば、抽出位置は、矩形領域の一辺でなく、矩形領域の左上、右上、左下または右下の何れか一点としてもよい。

なお、パンを例に説明したが、本発明に適用可能なカメラワークは、パンに限定されない。
なお、選手Ａの撮影映像に対する抽出位置を算出する例を説明したが、抽出位置算出手段７６ａは、選手Ｂの撮影映像についても、同様に抽出位置を算出できるため、その説明を省略する。

なお、先頭のフレーム画像（Ｔ０）および最後のフレーム画像（Ｔ１０）をキーフレームとして指定した例を説明したが、途中のフレーム画像（Ｔ１〜Ｔ９）をキーフレームとして指定することもできる。例えば、先頭（Ｔ０）、中間（Ｔ５）および最後（Ｔ１０）のそれぞれがキーフレームとして指定された場合を考える。この場合、抽出位置算出手段７６ａは、先頭（Ｔ０）から中間（Ｔ５）まで、図４および図５の処理を適用して抽出位置を求めてもよい。そして、抽出位置算出手段７６ａは、中間（Ｔ５）から最後（Ｔ１０）まで、図４および図５の処理を適用して抽出位置を求めてもよい。このようにして、抽出位置算出手段７６ａは、途中のフレーム画像（Ｔ１〜Ｔ９）がキーフレームとして指定された場合でも、抽出位置を算出することができる。

＜抽出サイズ算出手段の詳細＞
以下、図６を参照し、抽出サイズ算出手段７６ｂの詳細について説明する。
例えば、選手Ｂが選手Ａに比べて大きく遅れた場合、この選手Ｂが抽出領域に含まれずに合成映像に映らない、または、この選手Ｂの手足などの一部分が抽出領域から欠落することが考えられる。そこで、抽出サイズ算出手段７６ｂは、この選手Ｂが抽出領域に含まれないこと、および、この選手Ｂの一部が抽出領域から欠落することを防止するために、抽出領域を拡大する。

具体的には、抽出サイズ算出手段７６ｂは、下記の式（３）を用いて、抽出対象のフレーム画像ごとに、抽出サイズとして、抽出領域の高さＨｎおよび幅Ｗｎを算出する。

Ｈｎ＝Ｈ０＋Ｈ０×α・ｄＴ×Ｔｎ／Ｔａ
Ｗｎ＝Ｗ０＋Ｗ０×α・ｄＴ×Ｔｎ／Ｔａ・・・式（３）
なお、式（３）では、被写体タイム差ｄＴが第１の補正係数である。また、定数αは、被写体タイム差ｄＴを調整するための定数であり、０を超えて１以下の値で予め設定される。

つまり、抽出サイズ算出手段７６ｂは、抽出サイズ（高さ）の初期値Ｈ０に、定数αと、入力された被写体タイム差ｄＴと、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。そして、抽出サイズ算出手段７６ｂは、除算した値を抽出サイズ（高さ）の初期値Ｈ０に加算して、時間Ｔｎでの抽出サイズ（高さ）Ｈｎを算出する。ここで、抽出サイズ（高さ）の初期値Ｈ０は、例えば、先頭側のキーフレームでの切り出しサイズ（高さ）とする。例えば、スタート時（Ｔ０）のフレーム画像がキーフレームとして指定された場合、抽出サイズ（高さ）の初期値Ｈ０は、図６（ａ）に示すように、時間Ｔ０のフレーム画像での切り出しサイズ（高さ）となる。

また、抽出サイズ算出手段７６ｂは、抽出サイズ（幅）の初期値Ｗ０に、定数αと、入力された被写体タイム差ｄＴと、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。そして、抽出サイズ算出手段７６ｂは、除算した値を抽出サイズ（幅）の初期値Ｗ０に加算して、時間Ｔｎでの抽出サイズ（幅）Ｗｎを算出する。ここで、抽出サイズ（幅）の初期値Ｗ０は、フレーム時間が最も小さくなる先頭側の切り出しサイズ（高さ）と同一とする。例えば、キーフレームとして時間Ｔ０のフレーム画像の場合、図６（ａ）に示すように、時間Ｔ０のフレーム画像での切り出しサイズ（幅）と同一とする。

例えば、定数α＝０．４、被写体タイム差ｄＴ＝２（秒）、高さ初期値Ｈ０＝５０（ピクセル）、全時間長Ｔａ＝１１のとき、図６（ｂ）に示すように、時間Ｔ３での抽出サイズ（高さ）Ｈ３を算出する例を示す。この場合、抽出サイズ算出手段７６ｂは、式（４）に示すように、時間Ｔ３での抽出サイズ（高さ）Ｈ３≒６１（ピクセル）と算出する。なお、抽出サイズの計算結果は小数点第１位で四捨五入している。
Ｈ３＝５０＋５０×０．４・２×３／１１≒６１・・・式（４）

また、例えば、抽出サイズ算出手段７６ｂは、式（５）に示すように、時間Ｔ１０での抽出サイズ（高さ）Ｈ１０＝９０（ピクセル）と算出する（図６（ｃ）参照）。
Ｈ１０＝５０＋５０×０．４・２×１１／１１＝９０・・・式（５）

以上のように、画像合成装置７は、抽出領域を拡大することで、大きく遅れた選手Ｂが抽出領域に含まれないこと、および、この選手Ｂの一部分が抽出領域から欠落することを防止できる。これによって、画像合成装置７は、合成映像の臨場感をより高くすることができる。

なお、抽出サイズ算出手段７６ｂが抽出領域を拡大すると、補間映像の各フレーム画像は、それぞれのサイズが異なることになる。このため、映像合成手段７９は、補間映像の各フレーム画像を、デジタルハイビジョン放送規格に準拠したサイズに変換してもよい。

＜抽出軌道算出手段の詳細＞
図７〜図９を参照し、選手Ａの撮影映像に対する抽出軌道を算出する例で、抽出軌道算出手段７６ｃを詳細に説明する。
ここでは、図７（ａ）に示すように、抽出領域の中心点を抽出領域中心点と呼ぶ。

そして、抽出軌道算出手段７６ｃは、図７（ｂ）に示すように、撮影映像から選手Ａのゼッケンや顔を色領域抽出により検出し、それらの中心点を被写体基準点として求める。つまり、被写体ズレ量は、抽出領域中心点に対する被写体基準点のズレ量を示す。

なお、図７に示すように、抽出領域中心点を基準として、水平方向に右側への被写体ズレ量を＋Ｘとし、左側への被写体ズレ量を−Ｘとする。また、抽出領域中心点を基準として、垂直方向に上側への被写体ズレ量を＋Ｙとし、下側への被写体ズレ量を−Ｙとする。

図８（ａ）に示すように、抽出軌道算出手段７６ｃは、スタート（Ｔ０）では、被写体基準点を抽出領域中心点に一致させる。つまり、抽出軌道算出手段７６ｃは、スタート時（Ｔ０）では、被写体ズレ量を水平方向および垂直方向にゼロとする。また、図８（ｂ）に示すように、抽出軌道算出手段７６ｃは、中間（Ｔ５）では、被写体基準点を抽出領域中心点から、入力された被写体ズレ量の約半分だけ移動させる。そして、図８（ｃ）に示すように、抽出軌道算出手段７６ｃは、ゴール（Ｔ１０）では、被写体基準点を抽出領域中心点から、入力された被写体ズレ量の分だけ移動させる。

つまり、抽出軌道算出手段７６ｃは、式（６）に示すように、時間が経過する程、被写体基準点Ｘｎ，Ｙｎが抽出領域中心点から大きくずれるように、被写体基準点Ｘｎ，Ｙｎを算出する。

Ｘｎ＝Ｘ×Ｔｎ／Ｔａ
Ｙｎ＝Ｙ×Ｔｎ／Ｔａ・・・式（６）
なお、式（６）では、Ｘが水平方向での被写体ズレ量、Ｙが垂直方向での被写体ズレ量、Ｘｎが時間Ｔｎのフレーム画像における被写体基準点（水平方向の位置）、Ｙｎが時間Ｔｎのフレーム画像における被写体基準点（垂直方向の位置）である。

その後、図８（ｄ）に示すように、抽出軌道算出手段７６ｃは、算出した被写体基準点を結んだ抽出軌道を算出する。この抽出軌道に沿った抽出領域では、時間の経過に伴って、選手Ａが抽出領域中心点から左上部に移動するというように、抽出領域内で選手Ａの置き位置が変化している。一方、抽出領域中心点を追いかけた軌道の場合、この軌道に沿った抽出領域では、時間の経過に関わらず、選手Ａが抽出領域中心点から移動せずに、抽出領域内で選手Ａの置き位置が変化しない。

以上のように、画像合成装置７は、抽出軌道算出手段７６ｃが算出した抽出軌道に沿って映像補間手段７６が補間映像を生成することで、カメラマンが実際に撮影した映像のように、合成映像において選手Ａの置き位置を変化させることができる。これによって、画像合成装置７は、合成映像の臨場感をより高くすることができる。

なお、最後（Ｔ１０）での被写体ズレ量が入力される例を示したが、例えば、中間（Ｔ５）のように、最後以外の時間での被写体ズレ量を入力することもできる。この場合、図９に示すように、抽出軌道算出手段７６ｃは、先頭（Ｔ０）から中間（Ｔ５）までの間では、被写体基準点が抽出領域中心点から徐々にずれ、中間（Ｔ５）から最後（Ｔ１０）までの間で被写体基準点が抽出領域中心点に徐々に収束するような抽出軌道を算出する。

なお、選手Ａの撮影映像に対する抽出軌道を算出する例を説明したが、抽出軌道算出手段７６ｃは、選手Ｂの撮影映像についても、同様に抽出軌道を算出できるため、その説明を省略する。

＜補間映像の補足＞
以下、図１０を参照し、補間映像について補足する。なお、説明を簡易にするため、スタート直後およびゴール直前以外を省略している。

図１０（ａ）に示すように、スタート直後の撮影映像は、山頂付近のスタートゲートから選手Ａが滑り出していくフレーム画像が含まれている。ここで、映像補間手段７６は、図１０（ａ）のフレーム画像から抽出領域を抽出し、図１０（ｂ）の画像を生成したとする。この場合、図１０（ｂ）の画像は、図１０（ａ）と同様、スタートゲートから滑り出す選手Ａが含まれており、山頂付近の風景が背景となっている。

また、図１０（ｃ）に示すように、ゴール直前の撮影映像は、山麓付近のゴールゲートに選手Ａが滑り込んで行くフレーム画像が含まれている。ここで、映像補間手段７６は、図１０（ｃ）のフレーム画像から抽出領域を抽出し、図１０（ｄ）の画像を生成したとする。この場合、図１０（ｄ）の画像は、図１０（ｃ）と同様、ゴールゲートに滑り込む選手Ａが含まれており、山麓付近の風景が背景となっている。

そして、映像補間手段７６は、これらの画像を時系列で連続させた補間映像を生成する。つまり、映像補間手段７６が生成した補間映像は、図１０（ｂ）および図１０（ｄ）に示すように、時間の経過に伴って、山頂付近の風景から山麓付近の風景というように、背景が変化することになる。従って、画像合成装置７は、映像補間手段７６が生成した補間映像を用いることで、スタート直後からゴール直前まで背景が変化して、選手Ａ，Ｂが同時に滑走しているような合成映像を生成できる。

［画像合成装置の動作］
以下、図１１を参照し、画像合成装置７の動作について説明する（適宜図３参照）。
画像合成装置７は、キーフレーム入力手段７１によって、キーフレームとして、フレーム時間、切り出し位置および切り出しサイズが入力される。そして、画像合成装置７は、キーフレーム入力手段７１によって、入力されたキーフレームを、映像切り出し手段７３に出力する（ステップＳ１）。

また、画像合成装置７は、映像切り出し手段７３によって、入力されたキーフレームに基づいて、撮影映像ごとに、切り出し対象のフレーム画像のそれぞれから、切り出し位置および切り出しサイズで選手を切り出すことで、切り出し映像を生成する（ステップＳ２）。

また、画像合成装置７は、補間パラメータ入力手段７５によって、補間パラメータとして、被写体タイム差と、被写体ズレ量とが入力される。そして、画像合成装置７は、補間パラメータ入力手段７５によって、入力された補間パラメータを映像補間手段７６に出力する（ステップＳ３）。

また、画像合成装置７は、抽出位置算出手段７６ａによって、統計情報記憶手段７７が記憶する統計情報に基づいて、撮影映像における抽出対象のフレーム画像から選手を抽出する位置を示す抽出位置を算出する。具体的には、画像合成装置７は、抽出位置算出手段７６ａによって、撮影映像の開始時間を０および終了時間を１として、抽出対象のフレーム画像の時間を正規化して抽出時間を求める。そして、画像合成装置７は、抽出位置算出手段７６ａによって、前記した式（１）を用いて、抽出最大位置を算出する。さらに、画像合成装置７は、抽出位置算出手段７６ａによって、撮影開始時間から抽出時間までの時間軸と速度曲線とで囲われる部分領域の面積と、撮影開始時間から撮影終了時間までの時間軸と速度曲線とで囲われる全領域の面積とを算出する。さらに、画像合成装置７は、抽出位置算出手段７６ａによって、前記した式（２）を用いて、部分領域と全領域との面積比を算出する。さらに、画像合成装置７は、抽出位置算出手段７６ａによって、抽出最大位置に面積比を乗算した値を抽出位置として算出する（ステップＳ４）。

また、画像合成装置７は、抽出サイズ算出手段７６ｂによって、補間パラメータ入力手段７５に入力された被写体タイム差（時間差情報）に基づいて、抽出サイズを算出する。具体的には、画像合成装置７は、抽出サイズ算出手段７６ｂによって、前記した式（３）を用いて、抽出対象のフレーム画像ごとに、抽出サイズ（高さおよび幅）を算出する（ステップＳ５）。

また、画像合成装置７は、抽出軌道算出手段７６ｃによって、補間パラメータ入力手段７５に入力された被写体ズレ量に基づいて、抽出領域の中心点を結んだ軌道を補正した抽出軌道を算出する。具体的には、画像合成装置７は、抽出軌道算出手段７６ｃによって、前記した式（６）に示すように、時間が経過する程、被写体基準点が抽出領域中心点から大きくずれるように、被写体基準点を算出する。そして、画像合成装置７は、抽出軌道算出手段７６ｃによって、算出した被写体基準点を結んだ抽出軌道を算出する（ステップＳ６）。

また、画像合成装置７は、映像補間手段７６によって、映像記憶手段７２に記憶された撮影映像ごとに、抽出対象のフレーム画像から選手を抽出することで、切り出し対象のフレーム画像を補間した補間映像を生成する。つまり、画像合成装置７は、映像補間手段７６によって、抽出対象のフレーム画像から、抽出位置算出手段７６ａが算出した抽出位置および抽出サイズ算出手段７６ｂが算出した抽出サイズで、抽出軌道算出手段７６ｃが算出した抽出軌道に沿って選手を抽出する（ステップＳ７）。

また、画像合成装置７は、映像合成手段７９によって、補間映像記憶手段７８に記憶した補間映像に含まれる選手Ａ，Ｂを合成することで、異なる選手Ａ，Ｂが同一フレーム画像に含まれる合成映像を生成する（ステップＳ８）。

以上のように、本発明の実施形態に係る画像合成装置７は、カメラマンの撮影技法を示す速度曲線（統計情報）を用いることで、合成映像にカメラマンの撮影技法を反映させて、臨場感が高い合成映像を生成することができる。

例えば、図４（ａ）に示すように、画像合成装置７は、カメラマンのカメラワークが遅くなる程抽出領域同士の距離差を小さくし、カメラマンのカメラワークが速くなる程抽出領域同士の距離差を大きくする。このように、画像合成装置７は、カメラマンのカメラワーク（操作速度）を極めて近似した速度曲線を用いて抽出位置を算出するので、合成映像をカメラマンが実際に撮影した映像により近づけることができる。

一方、リニア補間または台形制御などの従来技術を用いて抽出位置を算出した場合、図４（ａ）において抽出領域Ａ０〜Ａ１０までが等間隔になる。この場合、この等間隔の抽出領域Ａ０〜Ａ１０に基づいて生成した合成映像は、例えば、選手Ａ，Ｂが画面の中央に位置し続けるような、カメラマンが実際に撮影した映像とは程遠いものとなり、視聴者に不自然な印象を与える。つまり、画像合成装置７生成した合成映像は、選手Ａ，Ｂが画面の中央に位置し続けるようなことがなく、従来技術に比べて、視聴者により高い臨場感を与えることができる。

また、画像合成装置７は、アルペン競技の選手がタイムを競うスポーツ中継において、同時に競技を行っていない選手同士を高い精度で合成することができ、選手のタイム差、コース取りおよび選手の姿勢の相違を、視聴者に視覚的に伝えることができる。このため、視聴者が、選手の動きを容易に理解できるようになり、画像合成装置７は、判り易いスポーツ番組の制作に寄与する。また、画像合成装置７は、競技テクニックの分析や強化に役立てることができ、スポーツ業界の発展にも寄与する。

なお、本発明の実施形態では、アルペン競技を例に説明したが、陸上競技、自転車競技、スケート競技などの他のスポーツ競技であってもよい。また、画像合成装置７は、被写体を人間に限定せずに、例えば、自動車レースに適用することも可能である。

なお、本発明の実施形態では、画像合成装置７が抽出サイズ算出手段７６ｂを備えるとして説明したが、抽出サイズ算出手段７６ｂを備えなくともよい。この場合、画像合成装置７は、例えば、入力された切り出しサイズをそのまま抽出サイズとして用いればよい。

なお、本発明の実施形態では、画像合成装置７が抽出軌道算出手段７６ｃを備えるとして説明したが、抽出軌道算出手段７６ｃを備えなくともよい。この場合、画像合成装置７は、抽出軌道を変更することなく補間映像を生成する。

なお、本発明の実施形態では、本発明に係る画像合成装置を独立した装置として説明したが、本発明では、一般的なコンピュータのハードウェア資源を、前記した各手段として協調動作させるプログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリなどの記録媒体に書き込んで配布しても良い。

以上、本発明の実施形態に係る画像合成装置７の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
本発明の種々の変形例について、実施形態と異なる点を説明する。

［変形例１：平均タイム差を考慮］
以下、図３に戻り、本発明の変形例１に係る画像合成装置７について説明する。
画像合成装置７は、抽出サイズ算出手段７６ｂが平均タイム差を考慮して抽出サイズを算出する。

具体的には、抽出サイズ算出手段７６ｂは、下記の式（７）を用いて、入力された被写体タイム差ｄＴおよび平均タイム差ａｖｅに基づいて、抽出対象のフレーム画像ごとに、抽出サイズとして、抽出領域の高さＨｎおよび幅Ｗｎを算出する。

Ｈｎ＝Ｈ０＋Ｈ０×α（ｄＴ−ａｖｅ）×Ｔｎ／Ｔａ
Ｗｎ＝Ｗ０＋Ｗ０×α（ｄＴ−ａｖｅ）×Ｔｎ／Ｔａ・・・式（７）
なお、式（７）では、平均タイム差ａｖｅは、選手Ａ，Ｂなどの選手同士のタイム差の平均値を示す情報であり、予め設定されている。

つまり、抽出サイズ算出手段７６ｂは、被写体タイム差ｄＴと平均タイム差ａｖｅとの差分値を算出する。そして、抽出サイズ算出手段７６ｂは、抽出サイズ（高さ）の初期値Ｈ０に、定数αと、算出した差分値と、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。さらに、抽出サイズ算出手段７６ｂは、除算した値を抽出サイズ（高さ）の初期値Ｈ０に加算して、時間Ｔｎでの抽出サイズ（高さ）Ｈｎを算出する。

また、抽出サイズ算出手段７６ｂは、抽出サイズ（幅）の初期値Ｗ０に、定数αと、前記した差分値と、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。そして、抽出サイズ算出手段７６ｂは、除算した値を抽出サイズ（幅）の初期値Ｗ０に加算して、時間Ｔｎでの抽出サイズ（幅）Ｗｎを算出する。

例えば、定数α＝０．４、被写体タイム差ｄＴ＝２（秒）、高さ初期値Ｈ０＝５０（ピクセル）、全時間長Ｔａ＝１１、平均タイム差ａｖｅ＝１（秒）のとき、時間Ｔ３での抽出サイズ（高さ）Ｈ３を算出する例を示す。この場合、抽出サイズ算出手段７６ｂは、式（８）に示すように、時間Ｔ３での抽出サイズ（高さ）Ｈ３≒５５（ピクセル）と算出する。
Ｈ３＝５０＋５０×０．４（２−１）×３／１１≒５５・・・式（８）

また、例えば、抽出サイズ算出手段７６ｂは、式（９）に示すように、時間Ｔ１０での抽出サイズ（高さ）Ｈ１０＝７０（ピクセル）と算出する。
Ｈ１０＝５０＋５０×０．４（２−１）×１１／１１＝７０・・・式（９）

以上のように、本発明の変形例１に係る画像合成装置７は、抽出サイズ算出手段７６ｂが平均タイム差を考慮することで、抽出サイズが大きくなりすぎることを防止できる。これによって、画像合成装置７は、合成映像の臨場感をより高くすることができる。

［変形例２：ズームインして撮影映像を撮影、ズーム値の入力あり］
以下、図１２を参照し、本発明の変形例２に係る画像合成装置７について説明する（適宜図３参照）。ここで、ロボットカメラ３が選手Ａ，Ｂをズームインしながら撮影したとする。この場合、図１２（ａ）〜図１２（ｃ）に示すように、時間の経過に応じて、選手Ａ，Ｂが大きくなる。

ロボットカメラ３が、ロボットカメラ３のズーム値を補間パラメータ入力手段７５に入力する。このロボットカメラ３のズーム値は、撮影映像の各フレーム画像に対応するように、撮影映像を撮影したときのロボットカメラ３のズーム値を示す情報である。

補間パラメータ入力手段７５は、さらに、補間パラメータとして、ロボットカメラ３のズーム値が入力される。そして、補間パラメータ入力手段７５は、ロボットカメラ３のズーム値を含めた補間パラメータを映像補間手段７６に出力する。

抽出サイズ算出手段７６ｂは、下記の式（１０）に示すように、入力された被写体タイム差ｄＴおよびズーム値Ｚｎに基づいて、抽出対象のフレーム画像ごとに、抽出サイズとして、抽出領域の高さＨｎ´および幅Ｗｎ´を算出する。

Ｈｎ´＝Ｚｎ・β（Ｈ０＋Ｈ０×α・ｄＴ×Ｔｎ／Ｔａ）
Ｗｎ´＝Ｚｎ・β（Ｗ０＋Ｗ０×α・ｄＴ×Ｔｎ／Ｔａ）・・・式（１０）
なお、式（１０）では、Ｚｎが時間Ｔｎでのロボットカメラ３のズーム値（第２の補正係数）である。また、定数βは、ズーム値Ｚｎを調整するための定数であり、０を超えて１以下の値で予め設定される。

つまり、抽出サイズ算出手段７６ｂは、抽出サイズ（高さ）の初期値Ｈ０に、定数αと、入力された被写体タイム差ｄＴと、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。そして、抽出サイズ算出手段７６ｂは、この除算した値を抽出サイズ（高さ）の初期値Ｈ０に加算して加算値を求める。さらに、抽出サイズ算出手段７６ｂは、この加算値に、ロボットカメラ３のズーム値Ｚｎと定数βとを乗算して、時間Ｔｎでの抽出サイズ（高さ）Ｈｎ´を算出する。

また、抽出サイズ算出手段７６ｂは、抽出サイズ（幅）の初期値Ｗ０に、定数αと、入力された被写体タイム差ｄＴと、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。そして、抽出サイズ算出手段７６ｂは、この除算した値を抽出サイズ（幅）の初期値Ｗ０に加算して加算値を求める。さらに、抽出サイズ算出手段７６ｂは、この加算値に、ロボットカメラ３のズーム値Ｚｎと定数βとを乗算して、時間Ｔｎでの抽出サイズ（高さ）Ｗｎ´を算出する。

例えば、定数α＝０．４、被写体タイム差ｄＴ＝２（秒）、高さ初期値Ｈ０＝５０（ピクセル）、全時間長Ｔａ＝１１、ズーム値Ｚ３＝５、定数β＝０．３のとき、図１２（ｂ）に示すように、時間Ｔ３での抽出サイズ（高さ）Ｈ３を算出する例を示す。この場合、抽出サイズ算出手段７６ｂは、式（１１）に示すように、時間Ｔ３での抽出サイズ（高さ）Ｈ３´≒９２（ピクセル）と算出する。

Ｈ３´＝５・０．３（５０＋５０×０．４・２×３／１１）
≒１．５・６１
≒９２・・・式（１１）

また、例えば、Ｔ１０のときのズーム値Ｚ１０＝９とすると、抽出サイズ算出手段７６ｂは、式（１２）に示すように、時間Ｔ１０での抽出サイズ（高さ）Ｈ１０´＝２７０（ピクセル）と算出する（図１２（ｃ）参照）。

Ｈ１０´＝９・０．３（５０＋５０×０．４・２×１１／１１）
＝３・９０
＝２７０・・・式（１２）

以上のように、本発明の変形例２に係る画像合成装置７は、ズームなどのカメラワークを補間映像に反映することができ、合成映像の臨場感をより高くすることができる。また、画像合成装置７は、大きく遅れた選手Ｂが抽出領域に含まれないこと、および、この選手Ｂの一部分が抽出領域から欠落することを防止できる。

［変形例３：ズームインして撮影映像を撮影、ズーム値の入力なし］
以下、図１３を参照し、本発明の変形例３に係る画像合成装置７について説明する（適宜図３参照）。ここで、変形例２と同様、ロボットカメラ３が選手Ａ，Ｂをズームインしながら撮影しているが、変形例２と異なり、ロボットカメラ３のズーム値が入力されないとする。

この場合、図１３（ａ）に示すように、抽出サイズ算出手段７６ｂは、各時間のフレーム画像からエッジ領域抽出処理により選手Ａのエッジ領域を抽出し、そのエッジ領域の高さを被写体サイズｒｎとして算出する。そして、抽出サイズ算出手段７６ｂは、下記の式（１３）に示すように、先頭（時間Ｔ０）における被写体サイズγ０と、時間Ｔｎにおける被写体サイズγｎと、入力された被写体タイム差ｄＴとに基づいて、抽出対象のフレーム画像ごとに、抽出サイズとして抽出領域の高さＨｎ´および幅Ｗｎ´を算出する。
なお、選手Ａの被写体サイズγｎを用いているが、選手Ｂのサイズを被写体サイズγｎとして用いてもよい。

Ｈｎ´＝（γｎ／γ０）・（Ｈ０＋Ｈ０×α・ｄＴ×Ｔｎ／Ｔａ）
Ｗｎ´＝（γｎ／γ０）・（Ｗ０＋Ｗ０×α・ｄＴ×Ｔｎ／Ｔａ）・・・式（１３）
なお、式（１３）では、γｎ／γ０が被写体のサイズ変化率（第３の補正係数）である。

つまり、抽出サイズ算出手段７６ｂは、先頭（時間Ｔ０）における被写体サイズγ０と、時間Ｔｎにおける被写体サイズγｎとの比を、被写体のサイズ変化率として算出する。また、抽出サイズ（高さ）の初期値Ｈ０に、定数αと、入力された被写体タイム差ｄＴと、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。そして、抽出サイズ算出手段７６ｂは、除算した値を抽出サイズ（高さ）の初期値Ｈ０に加算して加算値を求める。さらに、抽出サイズ算出手段７６ｂは、この加算値に被写体のサイズ変化率を乗算して、時間Ｔｎでの抽出サイズ（高さ）Ｈｎ´を算出する。

また、抽出サイズ算出手段７６ｂは、抽出サイズ（幅）の初期値Ｗ０に、定数αと、入力された被写体タイム差ｄＴと、抽出対象のフレーム画像の時間Ｔｎとを乗算し、撮影映像の全時間長Ｔａを除算した値を求める。そして、抽出サイズ算出手段７６ｂは、除算した値を抽出サイズ（幅）の初期値Ｗ０に加算して加算値を求める。さらに、抽出サイズ算出手段７６ｂは、この加算値に被写体のサイズ変化率を乗算して、時間Ｔｎでの抽出サイズ（幅）Ｗｎ´を算出する。

例えば、図１３（ｂ）に示すように、定数α＝０．４、被写体タイム差ｄＴ＝２（秒）、高さ初期値Ｈ０＝５０（ピクセル）、全時間長Ｔａ＝１１、先頭（時間Ｔ０）における被写体サイズγ０＝３０、時間Ｔ３における被写体サイズγ３＝３５のとき、時間Ｔ３での抽出サイズ（高さ）Ｈ３を算出する例を示す。この場合、抽出サイズ算出手段７６ｂは、式（１４）に示すように、時間Ｔ３での抽出サイズ（高さ）Ｈ３´≒７１（ピクセル）と算出する。

Ｈ３´＝（３５／３０）・（５０＋５０×０．４・２×３／１１）
≒１．１６・６１
≒７１・・・式（１４）

また、例えば、最後（時間Ｔ１０）における被写体サイズγ１０＝５０とすると、抽出サイズ算出手段７６ｂは、式（１５）に示すように、時間Ｔ１０での抽出サイズ（高さ）Ｈ１０´≒１５０（ピクセル）と算出する（図１３（ｃ）参照）。

Ｈ１０´＝（５０／３０）・（５０＋５０×０．４・２×１１／１１）
≒１．６７・９０
≒１５０・・・式（１５）

以上のように、本発明の変形例３に係る画像合成装置７は、ロボットカメラ３のズーム値を入力できない環境において、ズームなどのカメラワークを補間映像に反映することができ、合成映像の臨場感をより高くすることができる。また、画像合成装置７は、大きく遅れた選手Ｂが抽出領域に含まれないこと、および、この選手Ｂの一部分が抽出領域から欠落することを防止できる。

１ 時間計測器
２ テレビジョン同期信号発生器
３ ロボットカメラ
４ 雲台
５ リモート操作器
６ カメラ制御部
７ 画像合成装置
７１ キーフレーム入力手段（切り出し条件入力手段）
７２ 映像記憶手段
７３ 映像切り出し手段
７４ 切り出し映像記憶手段
７５ 補間パラメータ入力手段
７６ 映像補間手段
７７ 統計情報記憶手段（記憶手段）
７６ａ 抽出位置算出手段
７６ｂ 抽出サイズ算出手段
７６ｃ 抽出軌道算出手段
７７ 統計情報記憶手段
７８ 補間映像記憶手段
７９ 映像合成手段
１００ 画像合成システム

Claims (8)

1. 予め設定されたカメラワークを行うロボットカメラにより異なる被写体を撮影した撮影映像が入力され、前記被写体ごとの撮影映像を用いて、前記異なる被写体が同一のフレーム画像に含まれる合成映像を生成する画像合成装置であって、
   前記撮影映像における切り出し対象のフレーム画像を一意に示す情報と、当該フレーム画像における切り出し位置および切り出しサイズとを、切り出し条件として入力する切り出し条件入力手段と、
   前記切り出し条件入力手段に入力された切り出し条件に基づいて、前記撮影映像ごとに、前記切り出し対象のフレーム画像のそれぞれから、前記切り出し位置および前記切り出しサイズで前記被写体を切り出すことで、切り出し映像を生成する映像切り出し手段と、
   カメラマンの撮影技法を統計処理した統計情報を予め記憶する記憶手段と、
   前記記憶手段が記憶する統計情報に基づいて、当該撮影映像における抽出対象のフレーム画像から前記被写体を抽出する位置を示す抽出位置を算出する抽出位置算出手段と、
   前記撮影映像ごとに、前記抽出対象のフレーム画像から、前記抽出位置算出手段が算出した抽出位置および所定の抽出サイズで前記被写体を抽出することで、前記切り出し映像を補間した補間映像を生成する映像補間手段と、
   前記映像補間手段が生成した補間映像に含まれる被写体同士を合成することで、前記異なる被写体が前記同一のフレーム画像に含まれる合成映像を生成する映像合成手段と、
   を備えることを特徴とする画像合成装置。
2. 前記記憶手段は、前記統計情報として、前記カメラマンによる撮影開始時間を０および撮影終了時間を１として正規化した時間軸に対する前記カメラマンの操作速度を示す速度曲線を予め記憶し、
   前記抽出位置算出手段は、
   前記撮影映像のフレーム画像の時間について、前記撮影映像の開始時間を０および終了時間を１として正規化した抽出時間を求め、
   前記撮影開始時間から前記抽出時間までの前記時間軸と前記速度曲線とで囲われる部分領域の面積と、前記撮影開始時間から前記撮影終了時間までの前記時間軸と前記速度曲線とで囲われる全領域の面積との面積比を算出し、
   前記抽出対象のフレーム画像の幅から前記抽出サイズを減算して抽出最大位置を算出すると共に、当該抽出最大位置に前記面積比を乗算した値を前記抽出位置として算出することを特徴とする請求項１に記載の画像合成装置。
3. 前記記憶手段は、前記時間軸において０．３５以上０．４以下の範囲内で前記カメラマンの操作速度が最高となる前記速度曲線を、予め記憶することを特徴とする請求項２に記載の画像合成装置。
4. 前記被写体同士の時間差を示す情報が補間パラメータとして入力される補間パラメータ入力手段と、
   前記補間パラメータ入力手段に入力された時間差を第１の補正係数として前記切り出しサイズに乗じることで、前記切り出しサイズを拡大した前記抽出サイズを算出する抽出サイズ算出手段と、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の画像合成装置。
5. 前記補間パラメータ入力手段は、前記ロボットカメラのズーム値が前記補間パラメータとしてさらに入力され、
   前記抽出サイズ算出手段は、さらに、前記ロボットカメラのズーム値を第２の補正係数として前記切り出しサイズに乗じることで、前記抽出サイズを算出することを特徴とする請求項４に記載の画像合成装置。
6. 前記抽出サイズ算出手段は、複数の前記フレーム画像から抽出した前記被写体のサイズ変化率を第３の補正係数として算出すると共に、さらに、前記第３の補正係数を前記切り出しサイズに乗じることで、前記抽出サイズを算出することを特徴とする請求項４に記載の画像合成装置。
7. 前記補間パラメータ入力手段は、前記映像補間手段が前記被写体を抽出する領域である抽出領域の中心点から水平方向および垂直方向に前記被写体の位置ずれ量を示す被写体ずれ量がさらに入力され、
   前記補間パラメータ入力手段に入力された被写体ずれ量に基づいて、前記抽出領域の中心点を水平方向および垂直方向に移動させた点を結んだ抽出軌道を算出する抽出軌道算出手段をさらに備え、
   前記映像補間手段は、前記抽出軌道に基づいて、前記撮影映像から前記被写体を前記抽出軌道に沿うように抽出することを特徴とする請求項４から請求項６の何れか一項に記載の画像合成装置。
8. 予め設定されたカメラワークを行うロボットカメラにより異なる被写体を撮影した撮影映像が入力され、前記被写体ごとの撮影映像を用いて、前記異なる被写体が同一のフレーム画像に含まれる合成映像を生成するために、カメラマンの撮影技法を統計処理した統計情報を予め記憶する記憶手段を備えるコンピュータを、
   前記撮影映像における切り出し対象のフレーム画像を一意に示す情報と、当該フレーム画像における切り出し位置および切り出しサイズとを、切り出し条件として入力する切り出し条件入力手段、
   前記切り出し条件入力手段に入力された切り出し条件に基づいて、前記撮影映像ごとに、前記切り出し対象のフレーム画像のそれぞれから、前記切り出し位置および前記切り出しサイズで前記被写体を切り出すことで、切り出し映像を生成する映像切り出し手段、
   前記記憶手段が記憶する統計情報に基づいて、当該撮影映像における抽出対象のフレーム画像から前記被写体を抽出する位置を示す抽出位置を算出する抽出位置算出手段、
   前記撮影映像ごとに、前記抽出対象のフレーム画像から、前記抽出位置算出手段が算出した抽出位置および所定の抽出サイズで前記被写体を抽出することで、前記切り出し映像を補間した補間映像を生成する映像補間手段、
   前記映像補間手段が生成した補間映像に含まれる被写体同士を合成することで、前記異なる被写体が前記同一のフレーム画像に含まれる合成映像を生成する映像合成手段、
   として機能させるための画像合成プログラム。

Images