JP4700476B2 - 多視点映像合成装置及び多視点映像合成システム - Google Patents

Description

本発明は、例えばスポーツ中継において選手やボール等の動きの映像を視聴者に分かりやすく表現する多視点映像合成装置及び多視点映像合成システムに関する。

従来、この種の装置としては、例えば非特許文献１及び特許文献１に示されたものが知られている。

まず、非特許文献１に示されたものは、カーネギーメロン大学により開発された「ＥｙｅＶｉｓｉｏｎ（登録商標）」と呼ばれるシステムである。このシステムは、複数のテレビカメラをそれぞれ電動雲台に載せて設置し、機械的なパンやチルトの制御により、スポーツの試合のような被写体が動き回る場合においても、多視点映像表現を準リアルタイムで実現するものである。

具体的には、このシステムは、１台のマスターカメラと、複数のスレーブカメラとを備えている。カメラマンが１台のマスターカメラを操作し、注視する被写体が常にカメラ映像の中央に映るよう撮影される。マスターカメラのカメラワークに応じて他の複数のスレーブカメラの視点が注視点で輻輳するよう電動雲台を自動制御することにより、このシステムは、多視点映像表現を実現することができる。米国の放送会社であるＣＢＳは、このシステムを用いて「スーパーボール」のテレビ中継を行った。なお、多視点映像表現とは、被写体の周りに円弧状、直線状、Ｌ字状等に配列された複数のカメラからの映像を、注視点を変えないで、カメラの並び順に従って順次切り替えることをいう。

次に、特許文献１に示されたものは、入力されたフレーム画像から映像オブジェクトを抽出するオブジェクト抽出手段と、映像オブジェクトの軌跡画像を生成する軌跡画像生成手段と、軌跡画像とフレーム画像とを合成する画像合成手段とを備え、例えば野球中継においてオブジェクト抽出手段が抽出したボールの軌跡画像を軌跡画像生成手段が生成し、画像合成手段がボールの軌跡画像とフレーム画像とを合成することにより、ボールの変化を視聴者に視覚的に分かりやすく表現することができるようになっている。

伊佐憲一、他４名、「最新スポーツ中継技術 世界初！ プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐｐ．９６−１０５ 特開２００５−１２３８２４号公報

しかしながら、非特許文献１に示されたものでは、電動雲台の機械的な動作速度には限界があるため、例えばスポーツ選手やボール等の高速な動きに追従できず、視聴者に臨場感を与えられない場合が生じるという問題があった。

また、特許文献１に示されたものでは、被写体の軌跡画像が２次元で表現されるので、被写体を撮影するアングルによっては被写体の動きが分かりづらい場合があった。

本発明は、従来の問題を解決するためになされたものであり、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる多視点映像合成装置及び多視点映像合成システムを提供することを目的とする。

本発明の多視点映像合成装置は、複数のカメラがそれぞれ所定の視点で撮影した被写体の画像から予め定められた移動物体の画像を所定のフレーム毎に検出して前記移動物体の画像座標を取得する画像座標取得手段と、前記移動物体の画像座標を前記複数のカメラに共通な世界座標に変換する世界座標変換手段と、前記世界座標に基づいて前記所定のフレーム毎の前記移動物体の画像を前記複数のカメラ毎に撮影された所定フレームの各画像に合成する画像合成手段と、前記複数のカメラの前記世界座標で定義される注視点を指定する注視点指定手段と、前記画像合成手段によって合成された前記複数のカメラ毎の合成画像上の前記注視点の投影点が画像中心となるように射影変換する射影変換手段と、射影変換された前記複数のカメラ毎の合成画像を生成し、所定のカメラ順に従って各カメラの合成画像を出力する変換画像生成手段とを備えた構成を有している。

この構成により、本発明の多視点映像合成装置は、画像合成手段は、世界座標に基づいて所定のフレーム毎の移動物体の画像を複数のカメラ毎に撮影された所定フレームの各画像に合成するので、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる。

この構成により、本発明の多視点映像合成装置は、画像合成手段は、移動物体の画像と注視点を含む所定フレームの各画像とを合成するので、移動物体の移動軌跡を疑似立体的に表現することができ、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる。

この構成により、本発明の多視点映像合成装置は、変換画像生成手段は、射影変換された複数のカメラ毎の合成画像を生成するので、所定のカメラ順に従って合成画像を出力することにより、移動物体の移動軌跡を多視点映像の中で疑似立体的に表現することができ、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる。

さらに、本発明の多視点映像合成装置は、複数のカメラがそれぞれ所定の視点で撮影した被写体の画像から予め定められた移動物体の画像を所定のフレーム毎に検出して前記移動物体の画像座標を取得する画像座標取得手段と、前記移動物体の画像座標を前記複数のカメラに共通な世界座標に変換する世界座標変換手段と、前記世界座標に基づいて前記所定のフレーム毎の前記移動物体の画像を前記複数のカメラ毎に撮影された所定フレームの各画像に合成する画像合成手段と、前記複数のカメラの前記世界座標で定義される注視点を指定する注視点指定手段と、前記注視点の画像座標に基づいて前記複数のカメラの各視点が前記注視点に向くように前記複数のカメラの動作を制御するカメラ制御手段とを備え、前記画像合成手段は、前記注視点を基準として前記移動物体の画像を前記所定フレームの各画像に合成し、所定のカメラ順に従って合成画像を出力する構成を有している。

この構成により、本発明の多視点映像合成装置は、カメラ制御手段は、複数のカメラの視点を注視点に一致させ、画像合成手段は、注視点を基準とした合成画像を所定のカメラ順に従って出力するので、移動物体の移動軌跡を疑似立体的に表現することができ、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる。

さらに、本発明の多視点映像合成装置は、前記注視点指定手段は、前記注視点をリアルタイムで指定する構成を有している。

この構成により、本発明の多視点映像合成装置は、複数のカメラが撮影する映像を同時にモニタしながら注視点をリアルタイムで指定することができるので、移動物体の動きを視聴者に分かりやすく表現できる映像を選択して移動物体の合成画像を生成することができる。

本発明の多視点映像合成システムは、多視点映像合成装置と、前記被写体を撮影する複数のカメラと、前記複数のカメラが前記被写体を撮影した映像信号を記録する映像記録装置とを備えた構成を有している。

この構成により、本発明の多視点映像合成システムは、多視点映像合成装置の画像合成手段が、世界座標に基づいて所定のフレーム毎の移動物体の画像を複数のカメラ毎に撮影された所定フレームの各画像に合成するので、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる。

本発明は、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができるという効果を有する多視点映像合成装置及び多視点映像合成システムを提供することができるものである。

以下、本発明の実施の形態について図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態に係る多視点映像合成システムの構成について説明する。なお、本実施の形態に係る多視点映像合成システムを、サッカー競技を中継するものに適用する例を挙げて説明する。

図１に示すように、本実施の形態に係る多視点映像合成システム１０は、複数のカメラ２０（カメラ２１〜２５を含む。）と、複数のカメラ２０が撮影した被写体の映像信号を記録する映像記録装置２６と、多視点映像合成装置３０とを備えている。

多視点映像合成装置３０は、ユーザが操作して情報を入出力するユーザインターフェース部３１と、映像記録装置２６に記録された映像信号を選択するセレクタ部３２と、カメラパラメータを算出するカメラパラメータ算出部３３と、被写体の画像から予め定められた移動物体の画像を検出し、移動物体の画像座標を取得する画像座標取得部３４と、移動物体の世界座標を算出する世界座標算出部３５と、コンピュータグラフィクス（以下「ＣＧ」という。）を合成するＣＧ合成部３６と、画像上の注視点を指定する注視点指定部３７と、射影変換行列を生成する射影変換行列生成部３８と、射影変換された画像を生成する変換画像生成部３９とを備えている。

なお、多視点映像合成装置３０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備え、所定のプログラムに従って動作するようになっている。また、以下の記載において、画像座標取得部３４が画像座標を取得する予め定められた移動物体の画像として、サッカー競技におけるボールの画像を例に挙げて説明する。

複数のカメラ２０は、例えば図２に示すように配置される。すなわち、複数のカメラ２０は、被写体４１の周囲に設定された多視点映像表現領域４２に対して円弧状に配置される。その結果、カメラ２１〜２５は、それぞれ、互いに異なる視点から多視点映像表現領域４２を含む領域を撮影するようになっている。なお、カメラ２１〜２５は、各カメラを識別するための固有のカメラ番号をそれぞれ有している。

映像記録装置２６は、例えばハードディスクドライブで構成され、例えば図２に示すように配置されたカメラ２１〜２５がそれぞれ一斉に撮影した被写体の映像信号をカメラ毎に入力し、カメラ番号別に映像信号を記録するようになっている。

また、映像記録装置２６は、カメラ２１〜２５の各々のカメラパラメータを得るために、事前に撮影したキャリブレーションパターンの画像データもカメラ番号別に記録するようになっている。例えば、サッカー競技を対象とする場合、サッカー競技場に描かれたタッチライン、ゴールライン、ハーフウエーライン等は既知の寸法でマーキングされているので、これらのラインをカメラ２１〜２５の各々で撮影することによりキャリブレーションパターンの画像データがカメラ毎に得られる。

なお、本実施の形態においては、映像記録装置２６が、５台のカメラ２１〜２５から映像信号を入力する構成を例に挙げているが、本発明はこれに限定されるものではなく、複数台のカメラから映像信号を入力する構成であればよい。

ユーザインターフェース部３１は、例えばマウス、キーボード、操作用モニタ等で構成されている。例えば、キーボード操作によりカメラ番号が指定され、マウス操作により注視点の指定が行われるようになっている。操作用モニタは、セレクタ部３２、画像座標取得部３４、ＣＧ合成部３６、注視点指定部３７及び変換画像生成部３９の処理に係る画像を表示することができるようになっている。

セレクタ部３２は、ユーザインターフェース部３１のキーボード操作により指定されたカメラ番号に基づき、映像記録装置２６に記録された映像信号を選択し、選択した映像信号による画像のデータ及び該当するカメラ番号のデータをＣＧ合成部３６に出力するようになっている。

カメラパラメータ算出部３３は、映像記録装置２６に記録された各カメラのキャリブレーションパターンの画像データから各カメラのカメラパラメータを算出し、カメラパラメータ算出部３３のメモリ（図示省略）に格納するようになっている。カメラパラメータは、各カメラの位置や向き、焦点距離、回転行列、平行移動ベクトル等のパラメータを含み、複数のカメラ毎に撮影された被写体の画像座標を複数のカメラの全てに共通する世界座標に変換するためのものである。

ここで、画像座標、世界座標及び後述するカメラ座標について説明する。本実施の形態の説明において使用する座標系は、一般的に用いられるピンホールカメラモデルの座標系を適用する。すなわち、図３に示すように、ボール４３の座標は、Ｘ軸、Ｙ軸及びＺ軸による世界座標系と、ｕ軸及びｖ軸による画像座標系と、ｘ軸、ｙ軸及びｚ軸によるカメラ座標系とで表される。

図３において、カメラ座標系の原点Ｏｃを以下「カメラ光学主点」と呼び、カメラ光学主点から画像面までの距離Ｆはカメラの焦点距離を示し、画像面のアスペクト比＝ａとする。また、Ｘ−Ｙ平面（Ｚ＝０）はサッカー競技場のグラウンド面とする。

画像座標取得部３４は、ある時間区間内における映像信号を映像記録装置２６から入力し、少なくとも２台のカメラの映像からボールの画像を検出してボールの画像座標を取得するようになっている。ここで、ある時間区間内における映像信号とは、例えば時刻ｔ１からｔ２までに撮影された連続する全フレームの映像信号、又は、時刻ｔ１からｔ２までに撮影された全フレームのうち所定フレーム間隔で選択したフレームの映像信号等をいう。なお、画像座標取得部３４は、本発明の画像座標取得手段を構成している。

世界座標算出部３５は、画像座標取得部３４がボールの画像座標を取得するために用いた少なくとも２台のカメラのカメラパラメータをカメラパラメータ算出部３３から受け取り、画像座標取得部３４が少なくとも２台のカメラの映像から取得したボールの画像座標に基づいてボールの世界座標を算出するようになっている。なお、世界座標算出部３５は、本発明の世界座標変換手段を構成している。

ＣＧ合成部３６は、世界座標算出部３５が算出したある時間区間内における全てのボールの世界座標系の座標点を所定の１フレームの画像に多重的に投影し、投影された画像座標系の座標点にボール画像のＣＧを合成することによりＣＧ合成画像を生成するようになっている。ここで、所定の１フレームの画像とは、例えば、ある時間区間内における最終フレームの画像をいい、この画像を以下「背景画像」という。なお、ＣＧ合成部３６は、本発明の画像合成手段を構成している。

注視点指定部３７は、ＣＧ合成部３６からＣＧ合成画像のデータを入力し、ユーザインターフェース部３１から注視点を指定するための信号を入力して、ＣＧ合成画像における注視点を指定し、指定された注視点の画像座標を求めるようになっている。なお、注視点指定部３７は、本発明の注視点指定手段を構成している。

射影変換行列生成部３８は、注視点が指定されたＣＧ合成画像の背景画像を撮影したカメラのカメラパラメータをカメラパラメータ算出部３３から入力して、注視点指定部３７が出力する注視点の画像座標データに基づいて、注視点が全てのカメラ映像の中心になるような射影変換行列を生成するようになっている。なお、射影変換行列生成部３８は、本発明の射影変換手段を構成している。

変換画像生成部３９は、ＣＧ合成部３６から、ＣＧ合成画像のデータと、そのＣＧ合成画像の背景画像を撮影したカメラのカメラ番号を示すデータとを入力し、射影変換行列生成部３８から該当するカメラ番号のカメラの射影変換行列を示す信号を入力して、ＣＧ合成画像に射影変換を施した射影変換画像を出力するようになっている。その結果、変換画像生成部３９は、カメラの並び順に従って画像を出力することで多視点映像表現を行う映像信号を出力する。なお、変換画像生成部３９は、本発明の変換画像生成手段を構成している。

次に、本実施の形態の多視点映像合成システム１０の動作について、図１及び図４〜図６を用いて説明する。図４は、本実施の形態の多視点映像合成システム１０の各ステップのフローチャートである。図５及び図６は、それぞれ、移動物体の世界座標算出処理及び映像信号入力処理のフローチャートである。

まず、図４に示すように、カメラパラメータ算出部３３によって、各カメラのカメラパラメータが算出される（ステップＳ１１）。具体的には、カメラパラメータ算出部３３は、映像記録装置２６からカメラ２１〜２５がそれぞれ撮影したキャリブレーション画像のデータを入力し、各カメラのカメラパラメータを算出する。算出した各カメラのカメラパラメータは、カメラパラメータ算出部３３のメモリ（図示省略）に格納される。

次いで、カメラ２０によって、被写体が撮影され（ステップＳ１２）、撮影された映像信号は、映像記録装置２６に記録される（ステップＳ１３）。

続いて、移動物体の世界座標算出処理が実行される（ステップＳ１４）。移動物体の世界座標算出処理は、ボールの世界座標を算出対象として図５に示すように実行される。

まず、ユーザインターフェース部３１によって、少なくとも２台のカメラのカメラ番号と、ある時間区間内の対象フレームとが指定され（ステップＳ３１）、カメラ番号及びフレーム番号を示す信号が、ユーザインターフェース部３１から画像座標取得部３４に出力される。

次いで、画像座標取得部３４によって、少なくとも２台のカメラ、例えばカメラ２１及び２２が撮影した映像信号が映像記録装置２６から入力される（ステップＳ３２）。

さらに、画像座標取得部３４によって、入力した映像信号に含まれるフレーム画像から移動物体としてのボールの画像が検出され、ボールの画像座標が取得される（ステップＳ３３）。例えばボールの「移動物体」「円形」「白色」という特徴を拘束条件として利用し、フレーム画像からそれらの特徴を併せ持つ点を抽出してボールの画像座標を取得する。以下、画像座標取得部３４の動作を具体的に説明する。

まず、移動物体だけを抽出した画像を作成するため、前後それぞれのフレームとの差分画像を作成し、それらの画像で論理積処理を行い、映像上の移動物体領域を抽出する。

次いで、抽出された移動物体にはボール以外の移動物体も含まれている場合があるので、移動物体領域から円形物体を抽出するため、例えば図７（ａ）に示すようなカーネルを持つ２次元フィルタで移動物体領域を探索する。図７（ｂ）に示すように、ボールのような円形物体はこのフィルタの円形部分に大きくかかり、輪部分にはほとんどかからないが、図７（ｃ）及び（ｄ）に示すように、円形物体以外はフィルタの円形部、輪部それぞれにかかる。このフィルタの特徴を利用し、フィルタの円形部に大きくかかり、輪部にかからない特徴点を円形物体と認識、抽出し、ボール候補領域とする。

最後に、抽出したボール候補領域のうち、周囲がボールと同じ色、例えば白色である領域を抽出するため、カメラ映像において候補領域の色情報を調べ、ボールに最も近い色情報を持つ領域を最終的にボールと認識し、その画像座標を求める。

なお、あるカメラ映像でボールがオクルージョン等で写っていなかった場合は、ボールが写っている可能性がある他のアングルのカメラ映像でボールの認識を試みる。また全てのカメラでボールの認識が不可能であったときは、前後のボールの位置から物体の動きを推測する。

画像座標取得部３４は、以上の処理をある時間区間内のフレームで繰り返し、それぞれのフレームにおけるボールの画像座標を求め、ボールの画像座標データを世界座標算出部３５に出力する。

引き続き、世界座標算出部３５によって、ボールの世界座標が算出される（ステップＳ３４）。

具体的には、世界座標算出部３５は、画像座標取得部３４から、ある時間区間内におけるボールの画像座標データと、その画像座標を取得するために用いた少なくとも２台のカメラのカメラ番号のデータとを入力する。そして、カメラ番号に該当するカメラのカメラパラメータをカメラパラメータ算出部３３から受け取り、ボールの世界座標を以下のように算出する。

まず、世界座標算出部３５は、カメラ番号に応じたカメラのカメラパラメータから次式に示す行列を生成する。

ここで、ａは画像面のアスペクト比、Ｆはカメラの焦点距離、（Ｃ_ｘ、Ｃ_ｙ）はカメラ光軸と画像面との交点の座標を示している（図３参照）。

次に、式（１）の行列、ボールの画像座標（ｕ_ｍ、ｖ_ｍ）及び世界座標（Ｘ、Ｙ、Ｚ）から以下のような関係式を生成する。

ここで、ｗ_ｋはカメラの光学主点とボールとの距離、Ｒ_ｍは世界座標からカメラ座標に変換するための３行３列からなる回転行列、Ｔ_ｍは世界座標からカメラ座標に変換するための平行移動ベクトルを示している。

画像座標取得部３４において２つ以上のカメラを用いてボールの画像座標（ｕ_ｍ、ｖ_ｍ）が算出されているので、世界座標算出部３５は、式（２）を少なくとも２つ生成することができ、これらを連立方程式として未知数である移動物体の（Ｘ、Ｙ、Ｚ）を求める。

また、世界座標算出部３５は、画像座標取得部３４と同様に、以上の処理をある時間区間内のフレームで繰り返し、それぞれのフレームにおけるボールの世界座標を算出し、算出した世界座標のデータをＣＧ合成部３６に出力する（ステップＳ３５）。

次いで、ＣＧ合成部３６によって、それぞれのフレームにおけるボールの世界座標のデータがＣＧ合成部３６のメモリ（図示省略）に格納される（ステップＳ３６）。

図４に戻り、続いて、映像信号入力処理が実行される（ステップＳ１５）。この映像信号入力処理は、図６に示すように実行される。

まず、ユーザインターフェース部３１によって、カメラ番号及びフレーム番号が指示され（ステップＳ４１）、セレクタ部３２によって、映像記録装置２６から該当するカメラのフレーム画像が選択される（ステップＳ４２）。ここで選択されるフレーム画像は、移動物体の世界座標算出処理（図５参照）において用いられたある時間区間内のフレームにおけるものである。

次いで、セレクタ部３２によって、選択されたカメラのカメラ番号データと、該当するカメラのフレーム画像のデータとがＣＧ合成部３６に出力される（ステップＳ４３）。

さらに、ＣＧ合成部３６によって、カメラ番号データと、該当するカメラのフレーム画像のデータとが画像メモリ（図示省略）に格納される（ステップＳ４４）。

そして、ユーザインターフェース部３１によって、カメラ番号が変更されるか否かが判断され（ステップＳ４５）、カメラ番号が変更される場合はステップＳ４１に戻り、カメラ番号が変更されない場合は、映像信号入力処理を終了する。

なお、図４に示された映像信号入力処理は一例であり、本発明は、これに限定されるものではない。例えば、ユーザインターフェース部３１が所定の信号をセレクタ部３２に出力した際に、セレクタ部３２は、ある時間区間内のフレームの映像信号をカメラ２１〜２５毎にＣＧ合成部３６に出力する構成としてもよい。また、セレクタ部３２は、ある時間区間内の最終フレームの映像信号のみをカメラ２１〜２５毎にＣＧ合成部３６に出力する構成としてもよい。また、図３において、映像信号入力処理を例えば移動物体の世界座標算出処理と並行して実行するようにしてもよい。

図４に戻り、引き続き、ＣＧ合成部３６によって、世界座標算出部３５が算出したある時間区間内における全てのボールの世界座標系の座標点が、ＣＧ合成部３６の画像メモリ（図示省略）に格納された所定の１フレームの画像に多重的に投影され、投影された画像座標系の座標点にボールの画像がＣＧ合成される（ステップＳ１６）。この結果、各カメラが撮影した背景画像にボールの軌跡画像が合成されたＣＧ合成画像が得られる。なお、ここで合成するボールの画像は、実際に撮影されたボールの画像を用いてもよいし、ＣＧで生成したボールを示す画像、例えば白色の円形画像等を用いてもよい。

次いで、注視点指定部３７によって、ＣＧ合成画像に対して注視点が指定される（ステップＳ１８）。具体的には、注視点指定部３７は、ＣＧ合成部３６からＣＧ合成画像のデータを入力し、ユーザインターフェース部３１から注視点を指定するための信号を入力して、ＣＧ合成画像上に注視点を指定する。次に、注視点の画像座標を求めて、注視点の画像座標データと、注視点を求めた画像を撮影したカメラのカメラ番号のデータとを射影変換行列生成部３８に出力する。

続いて、射影変換行列生成部３８によって、注視点指定部３７が指定した注視点が全てのカメラ映像の中心となるよう射影変換行列が生成される（ステップＳ１９）。

具体的には、注視点指定部３７から取得したカメラ番号から該当するカメラパラメータをカメラパラメータ算出部３３より入力し、式（２）を生成して注視点の画像座標と、ユーザが与える注視点の世界座標のＺ軸座標値から全てのカメラ映像に共通である注視点の世界座標Ｘ軸、Ｙ軸座標値を求める。ここで、Ｚ軸座標値としては、例えばＺ＝０、又は、ボールの直径をｄとしたときＺ＝ｄ／２等の値を与える。そして、求めた注視点の世界座標から各カメラの光軸が注視点に向いた仮想的なカメラ座標軸を求めていく。

まず、式（３）によってカメラ光学主点位置の世界座標（Ｘ_ｍ、Ｙ_ｍ、Ｚ_ｍ）を求め、式（４）によってカメラ光学主点から注視点に向くベクトルＥ_ｍｚを求める。

次に、カメラ座標系のｘ軸を画面水平方向、ｙ軸を画面垂直方向、ｚ軸を光軸方向とする（図３参照）と、式（５）より、求めたベクトルＥ_ｍｚの単位ベクトルで、カメラ座標のｚ軸ｅ_ｍｚ及び世界座標のＺ軸ｅ_ｚの両方に直交するカメラ座標のｘ軸ｅ_ｍｘを求める。また、式（６）より、ｅ_ｍｚとカメラ座標のＸ軸ｅ_ｍｘとの外積を求め、カメラ座標のｙ軸ｅ_ｍｙを得る。

次に、式（７）より、求めたカメラ座標軸から仮想カメラの回転行列Ｒ_ｍ'を求め、式（８）より全てのカメラの光軸が仮想的にユーザが指定した注視点を向いた射影変換行列Ｈ_ｍを生成する。

射影変換行列生成部３８は、注視点が変更される度に式（３）〜（８）の処理を行う。射影変換行列生成部３８によって生成された射影変換行列Ｈ_ｍを含む信号は、射影変換行列生成部３８に出力される。

続いて、変換画像生成部３９によって、ＣＧ合成部３６からＣＧ合成画像のデータと、その画像のカメラ番号のデータとが入力され、カメラ番号から該当するカメラの射影変換行列を含む信号が射影変換行列生成部３８から取得され、ＣＧ合成画像に射影変換が施されて変換画像が生成される（ステップＳ２０）。

そして、変換画像生成部３９によって、カメラの並び順に従った画像が出力されることで、ボールの軌跡画像が合成された多視点映像表現が行われる（ステップＳ２１）。

次に、本実施の形態の多視点映像合成システム１０を実際に使用して、サッカー競技における多視点映像表現の確認実験を行った例を図８に基づいて説明する。この確認実験では、１８台のカメラを使用し、予め定めた多視点映像表現領域に対して円弧状に配置した。

図８（ａ）〜（ｃ）にそれぞれ示されたフレームａからフレームｃまでのフレーム画像は、１８台のカメラのうち、カメラ番号１、９及び１８のカメラで時刻ｔ１からｔ３までの時間区間内に撮影したものである。なお、これら３台のカメラ以外のフレーム画像、フレームａ−ｂ間及びフレームｂ−ｃ間の画像の図示は省略している。また、時刻ｔ１からｔ３までの時間区間内に撮影したフレーム数は１０個として以下説明する。

まず、画像座標取得部３４は、時刻ｔ１に撮影されたフレームａの画像データから、少なくとも２台のカメラ、例えばカメラ１及びカメラ９が撮影した画像からそれぞれボールの画像座標を取得する。

次いで、世界座標算出部３５は、ボールの画像座標を取得するのに用いた少なくとも２台のカメラのカメラパラメータをカメラパラメータ算出部３３から入力し、ボールの画像座標とカメラパラメータとから、フレームａにおけるボールの世界座標を算出する。

同様に、フレームｂ及びｃを含む他のフレームにおいても、画像座標取得部３４は、各フレームにおけるボールの画像座標を取得し、世界座標算出部３５は、各フレームにおけるボールの世界座標を算出する。

続いて、ＣＧ合成部３６は、世界座標算出部３５が算出した時刻ｔ１からｔ３までの時間区間内における全てのボールの世界座標系の座標点を最終フレームであるフレームｃの画像に多重的に投影し、投影された画像座標系の座標点にＣＧを合成することによりＣＧ合成画像を生成する。

さらに、注視点を指定することにより、射影変換行列生成部３８は、注視点が全てのカメラ映像の中心になるような射影変換行列を生成する。

そして、変換画像生成部３９は、ＣＧ合成部３６から、ＣＧ合成画像のデータと、そのＣＧ合成画像の背景画像（フレームｃ）を撮影したカメラのカメラ番号を示すデータとを入力し、射影変換行列生成部３８から該当するカメラ番号のカメラの射影変換行列を示す信号を入力してＣＧ合成画像に射影変換が施され、各カメラの画像が滑らかにつながった射影変換画像を出力する。

その結果、変換画像生成部３９は、カメラの並び順、すなわちカメラ１〜１８の順序に従って、図８（ｄ）に示すような画像を出力することで多視点映像表現を行う映像信号を出力する。

したがって、多視点映像合成システム１０は、ボールの軌跡画像を多視点映像表現の中で疑似立体的に表現することができ、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる。

以上のように、本実施の形態の多視点映像合成システム１０によれば、ＣＧ合成部３６は、世界座標に基づいて所定のフレーム毎のボールの画像を複数のカメラ毎に撮影された所定フレームの各画像に合成する構成としたので、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間におけるボールの動きの理解促進を図ることができる。

また、本実施の形態の多視点映像合成システム１０によれば、注視点指定部３７は、複数のカメラの注視点を指定し、ＣＧ合成部３６は、移動物体の画像と注視点を含む所定フレームの各画像とを合成する構成としたので、移動物体の移動軌跡を疑似立体的に表現することができる。

さらに、本実施の形態の多視点映像合成システム１０によれば、射影変換行列生成部３８は、ＣＧ合成部３６によって合成された複数のカメラ毎の合成画像を注視点の画像座標に基づいて射影変換するための射影変換行列を生成し、変換画像生成部３９は、射影変換された複数のカメラ毎の合成画像を生成する構成としたので、所定のカメラ順に従って合成画像を出力することにより、ボールの移動軌跡を多視点映像の中で疑似立体的に表現することができる。

さらに、本実施の形態の多視点映像合成システム１０によれば、多視点映像合成装置３０の処理高速化、例えば画像座標取得部３４及び世界座標算出部３５等の処理高速化を図ることにより、ボールの軌跡画像を多視点映像表現の中で疑似立体的にリアルタイムで表現することができる。

なお、前述の実施の形態において、多視点映像合成システム１０をサッカー競技の中継に適用する例を挙げて説明したが、本発明はこれに限定されるものではなく、他のスポーツ中継や、移動物体の移動解析等に適用する構成としても同様の効果が得られる。

また、前述の実施の形態において、複数のカメラを円弧状に配置する例を挙げて説明したが、本発明はこれに限定されるものではなく、円弧状以外の構成、例えば直線状、Ｌ字状等に複数のカメラを配置する構成としても同様の効果が得られる。

また、前述の実施の形態において、カメラのレンズ歪みについての説明は省略したが、カメラのレンズ歪みを考慮する必要がある場合は、従来の既知の手法でカメラのレンズ歪みを補正すればよい。

（第２の実施の形態）
まず、本発明の第２の実施の形態に係る多視点映像合成システムの構成について説明する。

図９に示すように、本実施の形態に係る多視点映像合成システム５０は、複数のカメラ６０（カメラ６１〜６５を含む。）と、複数のカメラ６０が撮影した被写体の映像信号を記録する映像記録装置６６と、多視点映像合成装置７０とを備えている。

多視点映像合成装置７０は、ユーザが操作して情報を入出力するユーザインターフェース部７１と、映像記録装置６６に記録された映像信号を選択するセレクタ部７２と、カメラパラメータを算出するカメラパラメータ算出部７３と、被写体の画像から予め定められた移動物体の画像を検出し、移動物体の画像座標を取得する画像座標取得部７４と、移動物体の世界座標を算出する世界座標算出部７５と、ＣＧを合成するＣＧ合成部７６と、画像上の注視点を指定する注視点指定部７７と、カメラの姿勢や焦点等を制御するカメラ制御部７８とを備えている。

なお、多視点映像合成装置７０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、所定のプログラムに従って動作するようになっている。また、本発明の第１の実施の形態に係る多視点映像合成システム１０（図１参照）の構成の説明と重複する説明は省略する。

カメラ６１〜６５は、電動雲台及びカメラ制御装置（共に図示省略）に接続されている。具体的には、カメラ６１〜６５は、それぞれ、個別の電動雲台に搭載され、電動雲台は、カメラ制御部７８からのカメラ制御信号に基づいて機械的なパン及びチルト等の動作を制御するようになっている。また、カメラ制御装置は、カメラ制御部７８からのカメラ制御信号に基づいて、カメラ６１〜６５に対し、ズーム制御及び合焦制御等を個別に行うものである。

映像記録装置６６は、例えばハードディスクドライブで構成され、カメラ６１〜６５からの映像信号を記録すると共に、記録中の映像信号をセレクタ部７２に出力することができるようになっている。なお、本実施の形態においては、映像記録装置６６が、５台のカメラ６１〜６５から映像信号を入力する構成を例に挙げているが、本発明はこれに限定されるものではなく、複数台のカメラで構成されていればよい。

ユーザインターフェース部７１は、例えばマウス、キーボード、操作用モニタ等で構成されている。例えば、キーボード操作によりカメラ番号が指定され、マウス操作により注視点の指定がリアルタイムに行われるようになっている。操作用モニタは、セレクタ部７２、画像座標取得部７４、ＣＧ合成部７６及び注視点指定部７７の処理に係る画像を表示することができるようになっている。

セレクタ部７２は、ユーザインターフェース部７１のキーボード操作により指定されたカメラ番号に基づき、該当するカメラが撮影中の映像信号を選択し、ユーザインターフェース部７１の操作用モニタに出力できるようになっている。また、セレクタ部７２は、ユーザインターフェース部７１のキーボード操作により指定されたカメラ番号に基づき、映像記録装置６６に記録された映像信号を選択し、選択した映像信号による画像のデータ及び該当するカメラ番号のデータをＣＧ合成部７６に出力するようになっている。

カメラパラメータ算出部７３は、映像記録装置６６に記録されたキャリブレーションパターンの画像データから各カメラのカメラパラメータを算出し、カメラパラメータ算出部７３のメモリ（図示省略）に格納するようになっている。

画像座標取得部７４は、ある時間区間内における映像信号を映像記録装置６６から入力し、少なくとも２台のカメラの映像からボールの画像を検出してボールの画像座標を取得するようになっている。なお、画像座標取得部７４は、本発明の画像座標取得手段を構成している。

世界座標算出部７５は、画像座標取得部７４がボールの画像座標を取得するために用いた少なくとも２台のカメラのカメラパラメータをカメラパラメータ算出部７３から受け取り、画像座標取得部７４が少なくとも２台のカメラの映像から取得したボールの画像座標に基づいてボールの世界座標を算出するようになっている。なお、世界座標算出部７５は、本発明の世界座標変換手段を構成している。

ＣＧ合成部７６は、世界座標算出部７５が算出したある時間区間内における全てのボールの世界座標系の座標点を所定の１フレームの画像に多重的に投影し、投影された画像座標系の座標点にＣＧを合成することによりＣＧ合成画像を生成するようになっている。なお、ＣＧ合成部７６は、本発明の画像合成手段を構成している。

注視点指定部７７は、ユーザインターフェース部７１から注視点を指定するための信号を入力して、指定された注視点の画像座標をリアルタイムに求めるようになっている。なお、注視点指定部７７は、本発明の注視点指定手段を構成している。

カメラ制御部７８は、注視点指定部７７から注視点画像座標及びカメラ番号のデータを入力し、また、カメラパラメータ算出部７３から該当するカメラのカメラパラメータを入力して、各カメラの注視点が一致するよう電動雲台の動き、ズーム、焦点距離等の制御を行うためのカメラ制御信号を電動雲台及びカメラ制御装置に出力するようになっている。なお、カメラ制御部７８は、本発明のカメラ制御手段を構成している。

次に、本実施の形態の多視点映像合成システム５０の動作について、図９及び図１０を用いて説明する。図１０は、本実施の形態の多視点映像合成システム５０の各ステップのフローチャートである。なお、本発明の第１の実施の形態に係る多視点映像合成システム１０の動作の説明と重複する説明は省略する。

まず、図１０に示すように、カメラパラメータ算出部７３によって、各カメラのカメラパラメータが算出される（ステップＳ５１）。

次いで、カメラ６０によって、被写体が撮影され（ステップＳ５２）、撮影された映像信号は、映像記録装置６６に記録される（ステップＳ５３）。同時に、撮影された映像信号のうち、ユーザが選択したカメラの映像信号がセレクタ部７２を介してユーザインターフェース部７１に送られ、該当するカメラの撮影画像がユーザインターフェース部７１の操作モニタ（図示省略）に表示される。

続いて、注視点指定部７７によって、注視点が変更されるか否かが判断される（ステップＳ５４）。この判断は、ユーザインターフェース部７１からの注視点を指定する信号に基づいて実行される。例えば、ユーザインターフェース部７１の操作モニタに表示された画像の所定位置をユーザがマウスでクリックした場合、その画像位置が注視点とされる。

ステップＳ５４において、注視点指定部７７がユーザインターフェース部７１から注視点を指定する信号を受信した場合は、注視点指定部７７によって、注視点の画像座標が取得される（ステップＳ５５）。取得された画像座標及びカメラ番号のデータは、カメラ制御部７８に出力される。

次いで、カメラ制御部７８によって、取得された画像座標及びカメラ番号のデータに基づいて、該当するカメラのカメラパラメータがカメラパラメータ算出部７３から取得され、注視点の世界座標が算出されて、その注視点に全カメラの視点が向くようカメラ制御信号が生成され、電動雲台及びカメラ制御装置に出力されてカメラ制御が実行され（ステップＳ５６）、ステップＳ５３に戻る。

一方、ステップＳ５４において、注視点指定部７７がユーザインターフェース部７１から注視点を指定する信号を受信しなかった場合は、ユーザインターフェース部７１によって、多視点映像を制作するか否かが判断される（ステップＳ５７）。

ステップＳ５７において、多視点映像を制作すると判断された場合は、移動物体の世界座標算出処理（図５参照）が実行され（ステップＳ５８）、多視点映像を制作すると判断されなかった場合は、ステップＳ５３に戻る。

続いて、映像信号入力処理（図６参照）が実行され（ステップＳ５９）、ＣＧ合成部７６によって、ＣＧ合成が行われる（ステップＳ６０）。

さらに、ＣＧ合成部７６によって、ＣＧ合成した映像信号がＣＧ合成部７６のメモリ（図示省略）に格納され（ステップＳ６１）、カメラの並び順に従った画像が出力されることで、ボールの軌跡画像が合成された多視点映像表現が行われる（ステップＳ６２）。

以上のように、本実施の形態の多視点映像合成システム５０によれば、注視点指定部７７は、リアルタイムで注視点を指定し、カメラ制御部７８は、注視点の画像座標に基づいて各カメラの動作を制御して複数のカメラの視点を注視点に一致させ、ＣＧ合成部７６は、注視点を基準とした合成画像を所定のカメラ順に従って出力する構成としたので、移動物体の移動軌跡を疑似立体的に表現することができ、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができる。

また、本実施の形態の多視点映像合成システム５０によれば、注視点指定部７７は、リアルタイムで注視点を指定する構成としたので、複数のカメラが撮影する映像を同時にモニタしながら注視点を指定することができ、移動物体の動きを視聴者に分かりやすく表現できる映像を選択して移動物体の合成画像を生成することができる。

以上のように、本発明に係る多視点映像合成システムは、従来のものよりも、より高い臨場感を視聴者に与え、３次元空間における物体の動きの理解促進を図ることができるという効果を有し、スポーツ中継において選手やボール等の動きの映像を視聴者に分かりやすく表現する多視点映像合成装置及び多視点映像合成システム等として有用である。

本発明の第１の実施の形態に係る多視点映像合成システムのブロック図 本発明の第１の実施の形態に係る多視点映像合成システムにおいて、各カメラが円弧状に配置された例を示す図 本発明の第１の実施の形態に係る多視点映像合成システムの説明において用いた座標系の説明図 本発明の第１の実施の形態に係る多視点映像合成システムの各ステップのフローチャート 本発明の第１の実施の形態に係る多視点映像合成システムにおける移動物体の世界座標算出処理のフローチャート 本発明の第１の実施の形態に係る多視点映像合成システムにおける映像信号入力処理のフローチャート （ａ）本発明の第１の実施の形態に係る多視点映像合成システムにおける移動物体領域を探索するためのフィルタを示す図 （ｂ）本発明の第１の実施の形態に係る多視点映像合成システムにおいて、フィルタの円形部に円形物体が含まれた状態を示す図 （ｃ）本発明の第１の実施の形態に係る多視点映像合成システムにおいて、フィルタに四角形の物体が重なった状態を示す図 （ｄ）本発明の第１の実施の形態に係る多視点映像合成システムにおいて、フィルタに三角形の物体が重なった状態を示す図 （ａ）本発明の第１の実施の形態に係る多視点映像合成システムの多視点映像表現の確認実験におけるフレームａの画像を示す図 （ｂ）本発明の第１の実施の形態に係る多視点映像合成システムの多視点映像表現の確認実験におけるフレームｂの画像を示す図 （ｃ）本発明の第１の実施の形態に係る多視点映像合成システムの多視点映像表現の確認実験におけるフレームｃの画像を示す図 （ｄ）本発明の第１の実施の形態に係る多視点映像合成システムの多視点映像表現の確認実験におけるボールの移動軌跡の合成画像を示す図 本発明の第２の実施の形態に係る多視点映像合成システムのブロック図 本発明の第２の実施の形態に係る多視点映像合成システムの各ステップのフローチャート

符号の説明

１０、５０ 多視点映像合成システム
２０（２１〜２５）、６０（６１〜６５） 複数のカメラ
２６、６６ 映像記録装置
３０、７０ 多視点映像合成装置
３１、７１ ユーザインターフェース部
３２、７２ セレクタ部
３３、７３ カメラパラメータ算出部
３４、７４ 画像座標取得部（画像座標取得手段）
３５、７５ 世界座標算出部（世界座標変換手段）
３６ ＣＧ合成部（画像合成手段）
３７、７７ 注視点指定部（注視点指定手段）
３８ 射影変換行列生成部（射影変換手段）
３９ 変換画像生成部（変換画像生成手段）
４１ 被写体
４２ 多視点映像表現領域
４３ ボール
７６ ＣＧ合成部（画像合成手段）
７８ カメラ制御部（カメラ制御手段）

Claims (4)

1. 複数のカメラがそれぞれ所定の視点で撮影した被写体の画像から予め定められた移動物体の画像を所定のフレーム毎に検出して前記移動物体の画像座標を取得する画像座標取得手段と、前記移動物体の画像座標を前記複数のカメラに共通な世界座標に変換する世界座標変換手段と、前記世界座標に基づいて前記所定のフレーム毎の前記移動物体の画像を前記複数のカメラ毎に撮影された所定フレームの各画像に合成する画像合成手段と、前記複数のカメラの前記世界座標で定義される注視点を指定する注視点指定手段と、前記画像合成手段によって合成された前記複数のカメラ毎の合成画像上の前記注視点の投影点が画像中心となるように射影変換する射影変換手段と、射影変換された前記複数のカメラ毎の合成画像を生成し、所定のカメラ順に従って各カメラの合成画像を出力する変換画像生成手段とを備えたことを特徴とする多視点映像合成装置。
2. 複数のカメラがそれぞれ所定の視点で撮影した被写体の画像から予め定められた移動物体の画像を所定のフレーム毎に検出して前記移動物体の画像座標を取得する画像座標取得手段と、前記移動物体の画像座標を前記複数のカメラに共通な世界座標に変換する世界座標変換手段と、前記世界座標に基づいて前記所定のフレーム毎の前記移動物体の画像を前記複数のカメラ毎に撮影された所定フレームの各画像に合成する画像合成手段と、前記複数のカメラの前記世界座標で定義される注視点を指定する注視点指定手段と、前記注視点の画像座標に基づいて前記複数のカメラの各視点が前記注視点に向くように前記複数のカメラの動作を制御するカメラ制御手段とを備え、
   前記画像合成手段は、前記注視点を基準として前記移動物体の画像を前記所定フレームの各画像に合成し、所定のカメラ順に従って合成画像を出力することを特徴とする多視点映像合成装置。
3. 前記注視点指定手段は、前記注視点をリアルタイムで指定することを特徴とする請求項２に記載の多視点映像合成装置。
4. 請求項１から請求項３までのいずれか１項に記載の多視点映像合成装置と、前記被写体を撮影する複数のカメラと、前記複数のカメラが前記被写体を撮影した映像信号を記録する映像記録装置とを備えたことを特徴とする多視点映像合成システム。