JPH06105231A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 実空間での移動体の撮像データを基にこれを
異なる撮像位置、撮像アングルにて仮想的に再生するこ
とにより、従来にない迫力のある映像効果を実現できる
画像合成装置を提供すること。 【構成】 映像カメラ１０、１２により撮影された移動
体の撮影データは移動体座標検出部２０、３０に入力さ
れ、データ抽出部２２、３２により移動体の撮影データ
のみが抽出され、座標検出部２４、３４により移動体の
２次元座標が検出される。そしてこの２次元座標は、移
動体軌跡演算装置４０に入力され、設定値メモリ４２に
記憶されている映像カメラ１０、１２の撮影位置、撮影
アングルに基づいて、基準３次元座標に座標変換され、
移動体軌跡が求めらる。そして、操作部４６の指示によ
り、仮想カメラの撮影位置、撮影アングルが設定され、
仮想撮像データ演算装置５０にて、仮想カメラから見え
る撮影データが演算される。そして、この撮影データに
基づき、画像プロセッサー５２により画像合成され、Ｃ
ＲＴ５４より出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像合成装置、特に実空
間での移動体の撮像データを基に、これを異なる撮像位
置、撮像アングルから見た撮像画面として仮想的に再生
する画像合成装置に関する。

【０００２】

【従来の技術】スポーツ放送、例えばプロ野球のテレビ
放送は、既に生活の一部といえるほど私達の生活にすっ
かりとけ込んでしまっている。しかし、このプロ野球人
気も、近年、相撲などの他のスポーツ人気などに押され
気味であり、人気球団におけるスーパースターの不在と
あいまって、世の中ではいわゆるプロ野球離れと呼ばれ
る現象がささやかれ始めている。従って、最近は、各テ
レビ放送局も演出面等で各局独自の工夫を凝らし、この
プロ野球人気の低下に伴う視聴率の低下を防ごうとして
いる。

【０００３】さて、このような演出面における工夫の一
つとして、例えばスーパーインポーズと呼ばれるシステ
ムを利用した解説ツールがある。これは、ストライクゾ
ーンの枠をキャッチャーミットの前に設けて解説者が次
の投球を予想しライトペンでマークをつけたり、選手の
動作をスローモーションで再生しその映像上にライトペ
ンでマークをつけて解説するものである。しかし、この
ようなライトペンの操作を行うのあくまでも人間であ
り、その操作がぎこちなく遅いため、リアルタイムで進
行する野球に対しては不向きであるといった欠点があっ
た。

【０００４】また、他の演出方法としては例えば、放送
カメラの撮影位置を変えて、違った視点位置から撮影す
ることにより、今までにない演出効果を得ようというも
のがある。例えば有名なものとして、ドーム球場の天井
に設置される遠隔操作の放送カメラがある。これは従来
とは異なった視点位置、即ち上方からの視点位置より撮
影することにより、今までにない演出効果を得ようとす
るものである。

【０００５】さて、図１９には、これまでの野球放送に
おける、放送カメラ２００の撮影位置が示される。

【０００６】まず、図１９（ａ）には、一昔前の野球放
送におけるカメラの撮影位置が、図１９（ｂ）には、こ
の場合の放送画像が示される。同図に示されるように、
一昔前においては、バックネット裏に据えた放送カメラ
２００によりピッチャーの投球を見ていたが、これでは
審判２０２とキャッチャー２０４が邪魔で、ピッチャー
の投げた球が、ストレートなのかカーブなのか視聴者に
はほとんどわからず、その判定は内野席の見やすいとこ
ろにいる解説者を信じるのみであった。

【０００７】また、図１９（ｃ）には、現在の野球放送
における主なカメラの撮影位置が、図１９（ｄ）には、
この場合の放送画像が示される。同図に示されるよう
に、現在の野球放送では、外野席のセンターからややレ
フトよりの場所に設置された放送カメラ２００から、ホ
ームベース方向に向かって撮影をしている。この方向か
らだと審判２０２とキャッチャー２０４が邪魔になら
ず、投手の球筋もよく見える。しかし、この方向からだ
と、遠くから望遠レンズを使用して撮影しなければなら
ないため、迫力が失われ、また、球筋に対してカメラの
アングルが角度をもっているため、視聴者がストライク
の判定や、ボールの変化をまちがって認識してしまうと
いう問題があった。

【０００８】また、これに対し、審判の帽子に小型のカ
メラを付けてピッチャーの投球を審判の視線で放送する
という試みもあったが、この方法では、審判が動くと画
像が大変揺れてしまい、実質的に視聴者が納得のゆく映
像をつくり出すことはできなかった。しかし、うまく撮
影できた映像は大変迫力のあるものであった。

【０００９】

【発明が解決しようとする課題】このように従来の例え
ば野球放送では、放送カメラ２００の撮影位置が、例え
ば図１９（ａ）、（ｃ）に示す位置に限られ、本来の野
球のもつダイナミックな迫力を十分に視聴者に伝えるこ
とはできなかった。そして、これを解決するのに、例え
ば審判、キャッチャー、バッターの位置に小型カメラ等
を設置して、放送を行う方法も考えられる。この方法に
よれば、例えば著名なエースピッチャのフォークボール
がどのようにバッターから見え、バッターがなぜこれを
打てないのか、視聴者は映像によりこれを体験できる。
しかし、この場合、前記したように、審判、キャッチャ
ー等が動くことにより、画像が揺れてしまい、このよう
な放送を行っても、視聴者が満足できるような映像効果
を作り出すことは実質上できなかった。更に、現在の野
球協定のルールからも、このような位置に小型カメラを
設置することは不可能である。

【００１０】また、現在の例えば野球放送のマンネリ化
を防ぐための、いわゆるハイテクを用いた解説ツールと
して、例えば前記したスーパーインポーズを用いた解説
ツールが使用されている。しかし、この方法は、野球等
のリアルタイムでゲームが進行していくスポーツには、
実際上、不向きであり、投球されるボールの実際の軌跡
を表現することは不可能であった。

【００１１】本発明は、このような従来の課題に鑑みな
されたものであり、その目的とするところは、実空間で
の移動体の撮像データを基にこれを異なる撮像位置、撮
像アングルにて仮想的に再生することにより、従来にな
い迫力のある映像効果を実現できる画像合成装置を提供
することにある。

【００１２】

【課題を解決するための手段】前記目的を達成するため
に本発明は、実空間において移動する移動体を異なる設
定位置で異なる設定アングルにより連続撮像し、これを
撮像データとして出力する少なくとも２以上の撮像手段
と、前記各撮像手段からの撮像データより前記移動体の
撮像データを抽出し、各撮像画面上における移動体の２
次元座標を検出する移動体座標検出手段と、前記各撮像
手段の設定位置及び設定アングルと、前記各撮像画面上
における移動体の２次元座標とに基づいて、基準３次元
空間での移動体の基準３次元座標を演算し、基準３次元
空間での移動体軌跡を求める移動体軌跡演算手段と、前
記基準３次元空間内に、任意の位置及び任意のアングル
で設定された仮想撮像手段により撮像される前記移動体
の仮想撮像データを、前記移動体軌跡と、前記仮想撮像
手段の設定位置および設定アングルとに基づき演算する
仮想撮像データ演算手段と、前記仮想データ演算手段か
らの仮想撮像データに基づき、移動体の表示画像を合成
する画像合成手段と、を含み、合成された移動体の画像
を表示することを特徴とする。

【００１３】

【作用】本発明によれば、実空間での移動体を少なくと
も２以上の撮像手段により撮像し、この撮像データから
各撮像画面内における移動体の２次元座標を検出でき
る。また、これらの２次元座標から、基準３次元空間で
の基準３次元座標を演算することにより基準３次元空間
での移動体の軌跡を求めることができる。そして、この
移動体軌跡に基づいて、仮想撮像手段を異なる撮像位
置、撮像アングルに設定した際に得られる撮像画面を再
現し、これを画像合成出力することができる。従って、
本発明によれば、実空間での移動体の撮像データを基に
これを異なる撮像位置、撮像アングルにて仮想的に再生
することができ、これにより従来にない迫力のある映像
効果をほぼリアルタイムに再現することができる。

【００１４】この場合、仮想撮像手段の撮像アングル
を、移動体軌跡に追従させて変化させれば、例えば移動
体が野球におけるボールであった場合、実際にバッター
から見たボールの変化、ボールのスピードを従来にない
迫力のある映像で再現することができる。

【００１５】また、所定の移動体軌跡を記憶する記憶手
段を設け、これを切り替え出力するようにすれば、例え
ばあるピッチャーの過去の投球の球筋を放送中に再現し
たり、この過去の投球の球筋と現在の投球の球筋を比較
して、これを同時に再現することが可能となる。

【００１６】更に、移動体の軌跡を求める際に、基準３
次元座標をデータ補間することによりこれを行えば、従
来にないリアルな移動体の軌跡を再現することができ
る。この場合、特にスローモーション再生する時に、ス
ムーズな移動体軌跡を再現することができ、効果的であ
る。

【００１７】

【実施例】次に本発明の好適な実施例を、図面に基づき
詳細に説明する。 １．第１実施例 まず、本発明に係る画像合成装置を、例えば野球ゲーム
に適用した場合を、第１の実施例として説明する。 （１）実施例の概要 図１には、本第１の実施例に係る画像合成装置の概略ブ
ロック図が示される。

【００１８】図１に示すように、この画像合成装置は、
実際の移動体を撮影する映像カメラ１０、１２と、これ
ら各映像カメラ１０、１２にそれぞれ接続され各撮像画
面内における移動体の座標を検出する移動体座標検出装
置２０、３０と、これらのデータを取り込み移動体の軌
跡を演算する移動体軌跡演算装置４０と、この移動体軌
跡を異なった撮影位置、アングルにより見た仮想的な撮
像データを演算する仮想撮像データ演算装置５０と、こ
れを画像合成する画像合成プロセッサ５２と、画像表示
を行うＣＲＴ５４とを含む。

【００１９】前記映像カメラ１０、１２は、移動体例え
ば野球においてピッチャーが投げたボールを連続撮影す
るものであり、図２に示すように球場内の任意の異なる
位置に設定される。そしてこの撮影データは、移動体座
標検出部２０、３０内のデータ抽出部２２、３２にコマ
送りデータとして入力され、例えば図５に示すように背
景処理によりボールの撮影データのみが抽出される。そ
してこの抽出されたボールの撮影データは座標検出部２
４、３４に入力される。座標検出部２４、３４では、ボ
ールの座標位置例えばボールの重心位置の２次元座標が
検出され、移動体軌跡演算装置４０に出力される。

【００２０】移動体軌跡演算装置４０では、図１０に示
すように、ボールの重心位置の２次元座標と、設定値記
憶メモリ４２に記憶されている映像カメラ１０、１２の
設定位置及び撮影アングルにより、基準３次元空間にお
けるボールの重心位置の基準３次元座標が演算され、こ
れによりボールの軌跡、即ち球筋が演算され、仮想撮像
データ演算装置５０に出力される。

【００２１】仮想撮像データ演算装置５０は、前記した
移動体軌跡演算装置４０にて演算されたボールの球筋
を、映像カメラ１０、１２とは異なる撮影位置、異なる
撮影アングルにて撮影した場合の撮影データを演算する
ものである。このような演算処理を行うために本実施例
では仮想カメラという概念を導入している。即ち、ここ
にいう仮想カメラとは、実空間である野球場内の任意の
撮影位置、任意の撮影アングルにて球筋を撮影できるカ
メラを、仮想的に想定したものである。そして、この仮
想撮像データ演算装置５０は、この想定された仮想カメ
ラにより撮影されるべき球筋の画像データの演算を行
い、この演算された画像データを画像合成プロセッサ５
２に出力している。

【００２２】なお、この仮想カメラの撮影位置、撮影ア
ングルは、例えば野球放送室に設置された操作部４６か
らの操作信号に基づき変化させることができる。これに
より、野球放送中に、カメラの撮影位置、撮影アングル
を変化させた画像データを、ほぼリアルタイムに切り替
えて表示することが可能となり、ＴＶ放送の演出効果を
大幅に向上させることができる。

【００２３】画像合成プロセッサ５２では、このように
演算されたボールの球筋と背景との画像合成が行われ、
ＣＲＴ５４にて画像出力される。これにより、前記仮想
カメラを例えばキャッチャーミットまたはバッターの視
点位置に設定すれば、図１３、図１５に示すようにキャ
ッチャーミット及びバッターの眼からみた仮想的な映像
画面を得ることができることとなる。

【００２４】なお、データ記憶装置４４は、蓄積データ
例えば過去における当該ピッチャーの投球の球筋が記憶
されており、これを操作部４６を用いて切り替え出力す
ることにより、例えば過去と現在における当該ピッチャ
ーの球筋の比較を行うことができる。

【００２５】以上のように本実施例に係る画像合成装置
によれば、映像カメラ１０、１２にて撮影された実際の
ボールの撮影データに基づいて、これを任意の撮影位
置、任意の撮影アングルにより撮影される撮影データと
して仮想的に再生することができる。そして、この場合
の撮影位置及び撮影アングルの切り替えは、野球放送室
に設置された操作部４６の操作信号に基づいて、ほぼリ
アルタイムに行うことができ、ＴＶ放送の演出効果を大
幅に向上させることができる。また、この他にも、デー
タ記憶装置４４に例えば過去における当該ピッチャーの
投球の球筋を記憶させておけば、これと現在のピッチャ
ーの球筋との切り替えもしくは合成を、操作部４６の操
作信号に基づいてほぼリアルタイムに行うことができ、
更にＴＶ放送の演出効果を向上させることができる。ま
た、本実施例に係る画像合成装置によれば、後述するよ
うにボールの球筋のスローモーション再生への切り替
え、再生スピードの変更についても、操作部４６がらの
操作信号によりほぼリアルタイムに行うことができる。

【００２６】次に、各ブロック毎に、その構成及び動作
について詳細に説明する。 （２）映像カメラ 映像カメラ１０、１２は、例えば図２（ａ）（ｃ）に示
すように、例えばドーム形の球場であればドーム１４及
び１塁側ベンチ１６付近の位置に設置され、同図に示す
ようにピッチャーの投げるボールを撮影できるようなア
ングルに設定される。図２（ｂ）、（ｄ）には、この場
合の映像カメラ１０、１２から撮影される実際の撮影画
面が示される。この映像カメラ１０、１２の設置位置、
及び撮影アングルは、図１における設定値記憶メモリ４
２に記憶され、移動体軌跡演算装置４０での演算の際に
利用される。

【００２７】なお、映像カメラ１０、１２をどの位置、
どのアングルに設定するかは全く任意であり、少なくと
も移動体、即ちボールを撮影できる異なる位置、異なる
撮影アングルであればどのように設定してもよい。ま
た、映像カメラの設置台数も少なくとも２台以上ならば
何台設置してもかまわない。

【００２８】また、本実施例で使用される映像カメラと
しては、例えば現状の放送用ＴＶカメラ、より高解像度
の映像カメラである工業用の画像解析カメラ、また、よ
り手軽な映像カメラであるビデオカメラなど、各種の映
像カメラを使用することができる。

【００２９】また、この映像カメラ１０、１２は必ずし
も固定設置式である必要はなく、移動式、即ち持ち運び
可能式のものであってもよい。図３には、映像カメラ１
０、１２を移動式とした場合の、本画像合成装置の構成
の一例が示される。

【００３０】映像カメラ１０、１２を移動式とした場合
は、映像カメラの撮影位置、撮影アングルを正確に測定
することが重要となってくる。従って、図３では、映像
カメラ１０、１２に例えば無線機をつけて、これにより
映像カメラ１０、１２の撮影位置、撮影アングル、映像
情報の通信が可能となる構成となっている。

【００３１】まず、位置検出信号が、位置検出装置６４
より送信機７２を介して受信機６６に送信される。そし
て、この受信機６６にて受信された位置検出信号に基づ
いて、位置検出装置６２、撮影アングル検出装置６０に
より、現在の映像カメラ１０の撮影位置、撮影アングル
が検出される。そして、この検出信号は、映像カメラ１
０で撮影された映像情報と共に、送信機７０から受信機
６８に送信される。

【００３２】受信機６８では、受信したデータのうち映
像信号は、データ抽出部２２に送られ、その後の画像処
理に利用される。また、受信データのうち、撮影位置、
撮影アングルの検出信号は、移動体軌跡演算装置４０に
送られ、設定値記憶メモリ４２に記憶される。

【００３３】以上のような構成とすれば、他の構成部分
を、設置固定式のものと全く同様の構成としながら、映
像カメラ１０、１２が移動式のものである場合に対応で
きることとなる。

【００３４】なお、位置検出の方式としては例えば以下
のような方式が可能である。

【００３５】例えば、位置検出装置６４からの位置検出
信号として磁場を発生させる。そして、位置検出装置６
２、撮影アングル検出装置６０としては、例えば映像カ
メラ１０内の相異なる位置に設置された第１、第２の磁
場検出器を用いる。そして、第１の磁場検出器により検
出された磁場の強度により、映像カメラ１０の撮影位置
を検出する。また、第１の磁場検出器と第２の磁場検出
器とで検出される磁場強度の差分より、映像カメラ１０
の向いている方向、即ち撮影アングルを検出する。

【００３６】これ以外にも、例えば位置検出信号として
赤外線等を用いた場合は、赤外線の強度により撮影位置
を検出し、赤外線の波長より撮影アングルを検出する。 （３）移動体座標検出装置 移動体座標検出装置２０、３０は、データ抽出部２２、
３２と、座標検出部２４、３４とで構成される。

【００３７】データ抽出部２２、３２は、映像カメラ１
０、１２で撮影された映像データをコマ送りの画像デー
タとして取り込む。そして、この画像データから、図４
（ａ）（ｂ）に示す範囲、即ち取り込み範囲７４、７６
の範囲のもののみを取り込むようにする。このように画
像データの取り込み範囲７４、７６を、ボールの軌道の
範囲とほぼ一致させるようにすれば、この範囲で移動す
るものが、ボールのみになるため、後述する移動体抽出
が容易になる。

【００３８】次に、このコマ送りの画像データからの移
動体抽出の画像処理を行う。この移動体抽出の手法とし
ては、種々の手法が考えられるが、例えば図５には、フ
レーム間の差分を利用した移動体抽出の手法が示され
る。

【００３９】この手法によれば、映像カメラ１０、１２
から入力されたコマ送りの画像データのフレームうち、
ボールが画面に侵入してくる直前の画像を第１フレーム
８０として、それ以後のボールの存在する画像である第
２フレーム８２、第３フレーム８６……との差分を演算
し、差分フレーム８４、８８……を求める。第１フレー
ム８０は、ほぼ静止物だけの画像であり、言い換えれば
背景だけの画像である。従って、この第１フレーム８０
の画像と、この画像の上にボールの載った第１フレーム
以降の画像との差分は、ボールそのものの画像となる。
映像カメラ１０、１２から入力されてくるコマ送りの画
像データ（図５におけるフレームに該当するもの）は、
逐次、第１フレーム８０と差分演算され、別のフレー
ム、即ち重ね書きフレームバッファ９０に重ね書きされ
る。ボールが通過後、この重ね書きフレームバッファ９
０に残った画像が背景を処理しボールだけの軌跡とな
る。即ち、フレームバッファ９０には、結果的に、ピッ
チャーがボールが投げてからキャッチャーのミットに捕
球されるまでのボールの軌跡のコマ送りの画像データ
が、一枚のフレームバッファ上に全て重ね書きされた形
で出力されることになる。なお、この場合、前述したよ
うに、取り込み範囲７４、７６を図４に示すような範囲
にすれば、この移動体抽出の処理が、より簡易に、確実
に行うことができる。

【００４０】移動体抽出を行う他の手法としては、例え
ばボールの形状及び色彩と同じ画像データ、即ち円形で
あって白色である画像データのみを認識し抽出させると
いう画像処理の手法も考えられる。即ち、例えば、まず
コマ送りの撮影データのそれぞれに対して、白色のみを
通過させるフィルター処理を行う。その後、この通過し
たデータのうち、円形の画像データのみを取り出す画像
処理を行い、ボールの画像データのみを抽出する。この
ようにして抽出されたそれぞれのコマ送り撮影データ上
のボールの画像データは、例えば上記と同様に一枚のフ
レームバッファに重ね書きされ、出力される。

【００４１】以上のように一枚のフレームバッファに重
ね書きする手法によれば、その後の演算処理は、この一
枚のフレームバッファの画像データにのみ行えばよいこ
ととなり、その後の処理装置におけるメモリー等のハー
ドの節約に貢献することができる。但し、本発明による
画像処理は、このように一枚のフレームに重ね書きする
手法に限られるものではない。例えば、このような重ね
書きは行わず、ボールの画像データのみが抽出されたコ
マ送りデータとして、その後の座標検出部２４３４に画
像データ出力する。そして、例えばパイプライン処理に
より、または、これらのデータを全て記憶するメモリを
座標検出部２４、３４に設けることにより、その後の演
算処理を行うようにしてもよい。

【００４２】座標検出部２４、３４では、以上のような
画像処理により求められた重ね書き差分フレーム９０の
画像データから、ボールの例えば重心位置の２次元座標
のみを検出する演算を行う。そして、この検出された２
次元座標値を、移動体軌跡演算装置４０に出力する。

【００４３】以上のような手法により、移動体、即ちボ
ールの重心位置の２次元座標が検出されたことになる
が、この場合、次の問題点がある。即ち、映像カメラ１
０、１２により撮影された映像を処理する際に、ボール
の通過範囲のように極端に横長な領域を取り扱わなけれ
ばならない点である。これは、図６（ａ）に示すような
現状の、即ち縦横比が３：４（４８０ｐｉｘ、６４０ｐ
ｉｘ）である映像カメラでは大変にロスが大きく、画像
処理が円滑に行えない可能性がある。

【００４４】これを解決する手段として、横長高解像度
の映像カメラ、例えば縦横比が９：１６（１１２５ｐｉ
ｘ、１９２０ｐｉｘ）の映像カメラを用いる手段が図６
（ｂ）に示される。但し、この方式の映像カメラは大変
高価であり、現状の設備がそのまま使用できないという
欠点がある。

【００４５】図７、図８には、複数の映像カメラを分割
して撮影したフレーム９１、９２、９３、９４から、そ
れぞれの有効測定領域を切り出して二枚のフレーム１５
０、１５２に書き込み、これを更に一枚のフレームバッ
ファ９５に書き込み画像処理する解決手段が示される。
即ち、例えば分割撮影ブロック１４２を構成する４台の
映像カメラ９６、９７、９８、９９により、ボールの全
ての軌道範囲を分割して撮影する。この分割撮影ブロッ
ク１４２は、前記した映像カメラ１０、１２のそれぞれ
当たるものであり、この分割撮影ブロック１４２は球場
内の異なる撮影位置、撮影アングルにて少なくとも２以
上の位置に設置される。

【００４６】次に、この映像カメラ９６、９７、９８、
９９より撮影された映像情報は、図８に示すように分割
表示器１００、１０２、１０４から構成される分割表示
ブロック１４４に入力される。即ち、映像カメラ９６、
９７で撮影されたフレーム９１、９２に示される映像情
報は、分割表示器１００に入力される。分割表示器１０
０では、フレーム９１の有効測定範囲の映像情報を下側
に、フレーム９２の有効測定範囲の映像情報を上側にし
た映像情報を合成し、これをフレーム１５０に書き込
む。同様にして分割表示器１０２には、フレーム９３、
９４の映像情報が入力され、フレーム９３の有効測定範
囲の映像情報を下側に、フレーム９４の有効測定範囲の
映像情報を上側にした映像情報を合成し、これをフレー
ム１５２に書き込む。そして、これらのフレーム１５０
及び１５２に示される映像情報は、分割表示器１０４に
入力され、フレーム１５０の有効測定範囲の映像情報を
下側に、フレーム１５２の有効測定範囲の映像情報を上
側にした映像情報を合成し、これをフレームバッファ９
５に書き込み、映像情報の合成が終了する。

【００４７】その後、この映像情報は、データ抽出部２
２に出力され、その後の処理がなされる。この処理によ
り、既存の方式の装置を用いて、フレームバッファ９５
に占める有効測定範囲を広げることができ、フレームバ
ッファ９５を構成するメモリのロスを抑えることも可能
となる。

【００４８】図９に示される方式は、映像カメラ１０を
移動体であるボールに追従させることにより、横長の画
像処理範囲に対応しようというものである。

【００４９】この方式によれば、まず映像カメラ１０の
アングルを図９（ａ）のＡに示すアングルに設定する。
そして、ピッチャーの投げたボール１１０がこの映像カ
メラ１０の撮影画面に入った瞬間を検出し、これをトリ
ガーとして映像カメラ１０のアングルを例えば一定の角
速度でＡＢＣと変化させる。そして、この場合の回転の
角速度は、ボールの速度より若干遅くなるように設定す
る。このようにすれば、図９（ｂ）に示すように、ボー
ルの軌道が時間的に圧縮された形の映像データを得るこ
とができることとなる。

【００５０】なお、この場合に、このボールに対する追
従をより精密に制御するためには、例えばアングル変化
のための角速度を、自動補正機能を用いて調整すればよ
い。即ち、例えば１／３０秒毎に、ボールの位置を画像
検出し、この検出データよりアングル変化のための角速
度を調整する。これにより、例えばカーブと直球という
ように、その速度が大幅に違うような球種に、より的確
に対応することができることとなる。 （３）移動体軌跡演算装置 まず、移動体軌跡演算装置４０では、映像カメラ１０、
１２で撮影され、移動体検出装置２０、３０で検出され
た、例えばボールの重心位置の２次元座標を基に、ボー
ルの重心位置の３次元座標を求める演算が行われる。こ
の様子が図１０、図１１に示される。

【００５１】この場合、まず球場内での基準３次元座標
を設定しておく必要がある。この基準３次元座標として
は、例えば、図１１に示すように、キャッチャーのミッ
トの位置を基準点として、基準点からピッチャーに向か
う方向をＺ軸、基準点から天井に向かって垂直の方向を
Ｙ軸と設定する。そして、Ｘ軸については、Ｙ軸、Ｚ軸
に共に垂直な方向に設定する。なお、この基準３次元座
標の設定としてはどのようなものを選んでもよい。

【００５２】まず、図１０のフローＳ1 に示すように、
映像カメラ１０で撮影されたボール、即ちドームの天井
から撮影されたボールの重心位置の２次元座標が、映像
カメラ１０の撮影位置及び撮影アングル条件を基に、基
準３次元座標系での例えば図１１におけるＸＺ軸に座標
変換される。この場合の座標変換は、例えば並進、回転
等の行列式を用いて、ボールの重心位置の２次元座標を
行列演算することにより行われる。また、映像カメラ１
０の撮影位置及び撮影アングルは、設定メモリ４２にあ
らかじめ記憶されている。

【００５３】これと同時に、図１０に示すフローＳ2 に
おいて、フローＳ１と同様の方法により、映像カメラ１
２で撮影されたボール、即ち１塁側ベンチ側の付近から
撮影されたボールの重心位置の２次元座標が、映像カメ
ラ１２の撮影位置及び撮影アングル条件を基に、基準３
次元座標系での例えば図１１におけるＹＺ軸に座標変換
される。

【００５４】次に、上記のように座標変換により求めら
れた２次元座標を基に、フローＳ3によりボールの重心
位置の基準３次元座標が求められ、基準３次元空間での
移動体の軌跡、即ちボールの球筋が求められたこととな
る。

【００５５】なお、以上のように求めた基準３次元座標
を、データ補間、例えば補間装置４１によりスプライン
補間することにより移動体軌跡を求める構成とすれば、
よりリアルな移動体軌跡を再現できる。例えば、現在の
ＶＴＲによる撮影による映像技術では、１秒間に３０フ
レーム程度の映像しか再現できず、また、これをデータ
補間することは不可能である。しかし、本実施例によれ
ば、ただ単に例えばスプライン補間することによりこれ
を解決でき、これにより例えば１秒間に６０フレーム以
上の映像を再現できる。従って、例えばボールの軌跡を
スローモーション再生した場合などに、スピードの遅い
カーブなどでも、とびとびにならない滑らかな変化の映
像を再現できることとなる。

【００５６】なお、ここでスプライン補間とは、与えら
れた離散データを基に、この離散データ間の軌跡を高次
の曲線により近似する補間手法である。この手法によれ
ば、例えばカーブのような変化球でも、従来のＶＴＲに
よる再生では得られなかった滑らかな変化の映像として
再現することが可能となる。但し、本実施例での補間方
法は、このスプライン補間に限らず、例えば直線補間と
呼ばれる補間手法を用いてもよい。この場合には、例え
ば直線補間の補間率を上げることで、カーブのような滑
らかな変化の変化球に対応することができる。

【００５７】また、データ記憶装置４４には、例えばこ
れまでの過去の移動体軌跡のデータが蓄積し、放送の際
に操作部４６を操作することにより、例えば、現在の投
球ボールの球筋と、過去の投球ボールの球筋とを同時に
出力して、これを解説したりすることもできる。 （５）仮想撮像データ演算装置 移動体軌跡演算装置４０により演算された移動体軌跡の
情報は仮想撮像データ演算装置５０に入力される。そし
て、この仮想撮像データ演算装置５０により、色々な撮
影位置、撮影アングルから見た移動体軌跡の情報を演算
することができることとなる。なお、この場合の仮想カ
メラの撮影位置、撮影アングルの設定は、例えば放送席
に設けられた操作部４６により行う。

【００５８】図１２には、仮想カメラ１１４をキャッチ
ャーのミットの位置に設置し、撮影アングルをピッチャ
ーの方向に向けた場合の例が示される。即ち、図１２
で、基準３次元座標系の基準点は、キャッチャーのミッ
トの位置に設定され、仮想カメラ１１４もこの基準点の
位置に設置される。そして、基準３次元座標におけるボ
ール１１０の軌跡の座標（Ｘ, Ｙ, Ｚ）を、（０, ０,
ｈ）位置に置かれた投影面１１６に透視投影変換する。
即ち、以下に示す演算を行う。

【００５９】 Ｘ* ＝Ｘ×ｈ／Ｚ Ｙ* ＝Ｙ×ｈ／Ｚ Ｚ* ＝ｈ このような演算を行うことにより、キャッチャーのミッ
トの位置からみたボールの軌跡、即ち仮想カメラ１１４
から見たボールの軌跡を演算することができる。 この
様子が図１３に示される。図１３の（ａ）〜（ｐ）に
は、ボール１１０が遠くの位置からカーブをしながらキ
ャッチャーのミット（図示せず）位置に落ちていく様子
がリアルな映像で再現されている。このように本実施例
では、従来の野球放送では不可能であったキャッチャー
のミット位置から見た迫力のある画像を再現することが
できる。即ち、視聴者は、キャッチャーや審判などの妨
害物に邪魔されることなく、例えば、著名なエースピッ
チャのフォークボールはどのようにして鋭く落ちるのか
等を仮想的に体験し、堪能することができることとな
る。

【００６０】なお、図１３には、ストライクゾーンの枠
１１８が表示されている。このように、ストライクゾー
ンの枠を、各バッターの身長に合わせて例えばデータ記
憶装置４４に記憶しておき、これを表示するようにすれ
ば、よりリアルに野球放送を楽しむことができることに
なる。また、図１３では、ボール１１０の球筋以外の背
景、例えばホームプレート１１１などが表示されている
が、本実施例においては、これは画像合成プロセッサー
５２により合成して画像出力する構成となっている。

【００６１】図１４には、今度は、バッターの眼から見
える位置に視点変更した場合の例が示される。即ち、こ
の場合、仮想カメラ１１４は、基準３次元座標ＸＹＺに
おけるバッターの視点の位置に設置されることになる。

【００６２】次に、バッターの視点位置に置かれた仮想
カメラ１１４の撮影アングルを、実際のバッターがボー
ルを追うように、ボール１１０に追従して撮影アングル
を変化させる。この様子が図１５に示される。即ち、仮
想カメラ１１４の撮影アングルを、ボール１１０が常に
撮影画面の中心にくるように設定する必要がある。これ
を行うために、図１４に示すように、仮想カメラ１１４
の設定位置を基準として相対３次元座標系Ｘ' Ｙ' Ｚ'
を設定する。この相対３次元座標系Ｘ' Ｙ' Ｚ' の方向
は、ボール１１０の軌跡に沿って変化してゆくことにな
る。

【００６３】この演算は例えば次のような方法により行
う。即ち、まず、ボール１１０の軌跡の座標（Ｘ, Ｙ,
Ｚ）を基に、ボールが常に撮影画面の中央にくるように
相対３次元座標系（Ｘ' Ｙ' Ｚ' ）を求める。次に、ボ
ール１１０の軌跡の座標（Ｘ, Ｙ, Ｚ）を、この相対３
次元座標系（Ｘ' Ｙ' Ｚ' ）に座標変換する。その後、
前述した方法と同様の方法により、この座標変換された
ボールの座標を投影面１１６に透視投影変換する。

【００６４】以上の様に演算されたボール１１０の軌道
の再生画面の一例が図１５に示される。図１５に示すよ
うに、この手法によれば、ピッチャーが投げたボール１
１０がどのようにバッターに迫ってくるかをよりリアル
に、より迫力ある映像として再現できる。即ち、これま
での野球放送では到底不可能であった、バッターから見
たボールの映像の再現を行うことができ、これにより視
聴者は、なぜバッターが著名なエースピッチャのフォー
クボールを打てないのかをバッターの立場で仮想的に体
験できることとなり、野球放送をより堪能できることと
なる。 （６）画像合成プロセッサー 本実施例においては、画像合成プロセッサー５２は、仮
想撮像データ演算装置５０により求められたボール１１
０の軌跡を、実際に視聴者が見る映像画面として合成
し、これを再生する機能をもつ。即ち、図１３における
ボール１１０以外の映像データ、例えばホームプレー
ト、グラウンド、ピッチャープレート等の背景画面とボ
ール１１０の軌跡とを合成し、これを再生して、ＣＲＴ
５４に出力している。この際、例えばこれらの背景デー
タの他に、例えばピッチャーやバッターの投げるフォー
ムを再生してもよい。この場合、例えば各ピッチャー、
各バッター毎にフォームの癖なども記憶させておき、こ
れを再生するようにすれば、よりリアルで迫力のある映
像を楽しむことができる。なお、この場合のピッチャー
やバッターのフォームは、例えば前記したデータ記憶装
置４４に記憶させておき、野球放送室に設置された操作
部４６によりほぼリアルタイムに画像出力できるように
しておけば、よりＴＶ放送の演出効果を高めることがで
きる。

【００６５】また、ボール１１０の軌跡を合成させる背
景画面としては、例えば映像カメラであらかじめとって
おいた実写の映像を用いてもよい。このようにすればよ
り迫力のある映像を再生させることができる。

【００６６】以上のように本実施例によれば、映像カメ
ラにより撮影された実空間でのボールの球筋に基づい
て、これを任意の撮影位置、撮影アングルで撮影した場
合の画像データを、ほぼリアルタイムに、任意の再生ス
ピードにより画像合成することができる。そして、この
撮影位置、撮影アングル、再生スピードの切り替えは、
野球放送室に設置された操作部４６の操作信号により行
うことができ、スポーツ等のリアルタイムでゲームが進
行しゆくものの解説ツールとして最適なものとなってい
る。この他にも、データ記憶装置４４に、例えば特定の
ピッチャーの投球の球筋を蓄積記憶させておき、操作部
４６からの操作信号により、例えば去年のボールの球筋
と今年の球筋とを、ＣＲＴ上で合成出力してこれを比較
し解説することができる。これにより、従来全くなかっ
たＴＶ放送の演出効果を得ることができる。また、デー
タ記憶装置４４に、更に、ピッチャー、バッターのフォ
ームの癖などを蓄積記憶しておき、これを背景画面とし
て出力させることにより、視聴者はよりリアリティのあ
る映像を堪能することができる。

【００６７】また、データ記憶装置に、本発明で演算さ
れた移動体の軌跡データを蓄積してゆけば、過去の映像
データからデータを抽出することで、データベースとし
て利用できる。そして、このデータベースを利用して、
練習用としての変化球シュミレータや、いわゆるベース
ボールゲーム作成用のデータベースとして利用すること
もできる。 ２．第２の実施例 図１６には、本発明に係る画像装置をゴルフに適用した
場合の第２の実施例が示される。本第２の実施例に係る
画像合成装置は、図１に示す本第１の実施例とほぼ同様
の構成となる。

【００６８】本第２の実施例によれば、まずプレーヤ１
３０のテイーショットを、映像カメラ１０、１２により
撮影する。この場合、映像カメラ１０、１２は、例えば
図１４に示すように、プレーヤ１３０の後方及び側方に
設置する。そして、映像カメラ１０、１２により撮影さ
れた撮影データは、データ抽出部２２、３２に入力さ
れ、ここで画像処理によりゴルフボールの画像データの
みが抽出される。そして、このゴルフボールの画像デー
タは、座標検出部２４、３４に入力され、ゴルフボール
の重心位置の２次元座標が演算され、移動体軌跡演算装
置４０に出力される。移動体軌跡演算装置４０では、こ
の２次元座標に基づいて基準３次元空間でのゴルフボー
ルの軌道を演算し、仮想撮像データ演算装置５０に出力
する。仮想撮像データ演算装置５０では、ゴルフ放送の
中継ポイントに設置された操作部４６からの操作信号に
基づいて、撮影位置、撮影アングルの変更、スローモー
ション再生のスピード変更などを行うための演算処理を
行い、画像合成処理プロセッサ５２に出力する。そし
て、画像合成プロセッサ５２では、例えばデータ記憶装
置４４にあらかじめ映像入力されているコース１３２上
に、ゴルフボールの弾道を立体的に重ね合わせてこれを
再現する。これにより、例えば、従来放送することが困
難であったグリーンから見たゴルフボールの弾道、上空
からみたゴルフボールの弾道等を再現することができ
る。

【００６９】なお、本画像合成装置をティーショットに
おけるゴルフボールの軌道の再生に使用する場合は、ゴ
ルフボールの飛ぶ距離が長いため、映像カメラ１２は極
端に横長の領域を取り扱わなければならないという困難
性がある。従って、この場合には、例えば映像カメラ１
２の有効測定範囲において得られ演算されたゴルフボー
ルの弾道に基づき、その後のゴルフボールの弾道を推定
し、演算する手法を用いることが望ましい。なお、この
弾道の再現は、例えば打った方向とインパクト時の初速
から弾道を推定するようにしてもよい。更に、ドラコン
などで飛距離を測定する場合は、その飛距離データも入
力すれば、複数プレーヤの弾道と飛距離を、同時に、か
つ、忠実に映像として再現することができ、ゴルフ放送
の演出効果を高めることができる。

【００７０】また、本画像合成装置を、例えばグリーン
へのアプローチショットなどの使用する場合は、図３に
て説明した移動可能な映像カメラを使用することが特に
有効となる。即ち、映像カメラ１０を例えばアプローチ
ショットを行っているプレーヤの後方に移動させ、放送
用カメラ１２を例えばグリーン付近を撮影できる位置に
移動させることにより、アプローチショットの弾道をよ
り正確に再現することができる。また、このようにすれ
ば、例えばグリーン上のピンの位置からみたアプローチ
ショットの弾道を再現することができる。即ち、従来の
ＴＶ放送では、映像カメラにゴルフボールが当たってし
まうため実質的に不可能であった、ピンの位置からみた
アプローチショットの再現を行うことができ、視聴者は
その迫力ある映像を堪能することができることとなる。

【００７１】更に、例えばショットを打っているプレー
ヤとグリーンとの間に障害物があった場合に、それをど
のように攻略してゆくのかが、例えば上空から見た映
像、側方からみた映像を、操作部４６により切り替え
て、ほぼリアルタイムにこれを再現することにより、よ
り質の高いゴルフ放送の解説が可能となる。 ３．第３の実施例 図１７、図１８には、本発明の第３の実施例が示され
る。

【００７２】図１８に示すように、本第３の実施例は、
第１の実施例の移動体座標検出装置２０、３０を移動体
変化分検出装置１４０に変更し、これに変化球データマ
トリクス１２０を新たに追加した実施例である。

【００７３】即ち、この第３の実施例では、図１７に示
すように、まず、映像カメラ１０、１２により撮影され
たデータから、移動体変化分検出装置１４０にてボール
の第１の方向の変化分、例えば横方向変化分、及び、第
２の方向の変化分、例えば縦方向変化分を抽出する。な
お、この第１、第２の方向は、縦、横というように必ず
しも直交している必要はない。

【００７４】次に、この抽出した縦方向変化分、横方向
変化分は、移動体軌跡演算装置４０に入力される。そし
て、移動体軌跡演算装置４０は、この縦方向変化分及び
横方向変化分をアドレスとして、変化球データマトリク
ス１２０から球筋データを読み出し、この球筋データを
基にボールの３次元での軌跡を演算し、仮想撮像データ
演算装置５０に出力する。

【００７５】この変化球データマトリクス１２０には、
横方向変化分及び縦方向変化分に対応するボールの軌道
を演算するための球筋データが、変化球の種類に応じて
あらかじめ物理的に演算され記憶されている。即ち、投
げたボールがカーブなのかシュートなのか等を操作部４
６により入力すれば、映像カメラ１０、１２より抽出さ
れた横方向変化分及び縦方向変化分を基に、ボールの球
筋を再現できることとなる。この際、例えば投げるボー
ルのスピードが異なれば、ボールの軌跡も異なってくる
ため、例えばスピードガンにより測定したボールの初
速、終速等を用いて、求められたボールの軌跡を補正す
ればよりリアルな映像を再現することができる。この場
合、ボールのスピードに応じて変化球データマトリクス
１２０を複数用意しておく構成としてもよい。

【００７６】なお、より再生されるボール画像のリアリ
ティを高めるために、例えばボールの回転方向等を再現
することも効果的である。この場合は、ボールの横方向
変化分、縦方向変化分、球種に応じてあらかじめ物理的
に演算されたボールの回転データを、変化球データマト
リクス１２０に記憶させておく。そして、移動体軌跡演
算装置４０は、ボールの横方向変化分及び縦方向変化分
をアドレスとして、このボールの回転データを読み出
し、この回転データを基にボールが回転する方向を画像
データとして再現するようにすればよい。

【００７７】以上の様に、変化球データマトリクス１２
０により取り出され、補正されたボールの軌跡情報、回
転情報は、本第１の実施例と同様に、仮想撮像データ演
算装置５０に入力され、視点変更、撮影アングルの変更
等の演算が行われ、画像合成プロセッサ５２で画像処理
された後、ＣＲＴ５４にて画像出力される。

【００７８】なお、本発明は上記実施例に限定されるも
のではなく、本発明の要旨の範囲内で種々の変形実施が
可能である。

【００７９】例えば本発明に係る画像装置は、野球に限
らず種々のものに適用できる。即ち、例えば、バレーボ
ールにおけるスパイクの比較・再現、バトミントンのス
マッシュの比較・再現、テニスのサーブ・スマッシュの
比較・再現等種々のものに適用できる。また、野球おい
てもピッチャーの投球に限らず、例えば外野席からみた
ホームランボールの比較・再現等に用いることもでき
る。

【００８０】また、移動体座標検出手段における座標検
出も、本実施例のように差分を用いた座標検出には限ら
れず、少なくとも移動体の２次元座標を撮像装置からの
映像データから検出できればどのような手法を用いても
よい。

【００８１】また、これと同様に、移動体軌跡演算手段
における移動体軌跡の演算方法、仮想撮像データ演算手
段における仮想撮像データの演算方法も、本実施例に記
載したものに限らず、例えば数学的に等価な演算方法等
はすべてこれに含まれる。

【００８２】

【発明の効果】本発明によれば、実空間での移動体の撮
像データを基に、これを任意の撮像位置、撮像アングル
にて撮像した場合の撮像データを仮想的に再生すること
ができる。これにより従来不可能だった撮影位置、撮影
アングルにおける映像を再現することができ、視聴者は
従来にない迫力のある映像を堪能することができる。

【００８３】この場合、仮想撮像手段の撮像アングルを
移動体に追従させれば、例えば移動体が野球におけるボ
ールであった場合、実際にバッターから見たボールの映
像を再現でき、視聴者は、従来体験できなかった映像を
堪能することができる。

【００８４】また、所定の移動体軌跡を記憶する記憶手
段を設け、切り替え出力することにより、例えば過去の
投球の球筋と現在の投球の球筋を比較して、これを同時
に再現でき、例えば野球の場合、野球解説のマンネリ化
等を解消することができる。

【００８５】更に、移動体の軌跡を求める際に、基準３
次元座標をデータ補間することにより、例えば、従来に
ない滑らかなスローモーション画面を再生することがで
きる。

【図面の簡単な説明】

【図１】本発明に係る画像装置の概略を示す概略ブロッ
ク図である。

【図２】映像カメラの設定位置、設定アングルについて
示す概略説明図である。

【図３】映像カメラを移動式とした場合に必要な機能を
示す概略説明図である。

【図４】移動体の画像データの抽出における取り出し範
囲を示す概略図である。

【図５】差分方式を利用した移動体抽出を説明するため
の概略説明図である。

【図６】図６（ａ）は、縦横比３：４の方式を用いた映
像装置の有効測定範囲を示す概略説明図であり、図６
（ｂ）は、縦横比９：１６の方式を用いた映像装置の有
効測定範囲を示す概略説明図である。

【図７】複数の映像カメラで分割して撮影する方式につ
いて示す概略説明図である。

【図８】図７に示す撮影方式を実現する映像カメラの構
成について示す概略説明図である。

【図９】移動体追従型の映像カメラを使用して撮影する
方式について示す概略説明図である。

【図１０】移動体軌跡演算装置における演算手法を説明
するためのフロチャート図である。

【図１１】移動体軌跡演算装置における演算手法を説明
するための概略説明図である。

【図１２】仮想カメラをキャッチャーのミットの位置に
置いた場合の座標変換について説明するための概略説明
図である。

【図１３】仮想カメラをキャッチャーのミットの位置に
置いた場合に再生される映像を示す概略図である。

【図１４】仮想カメラをバッターの視点位置に置いた場
合の座標変換について説明するための概略説明図であ
る。

【図１５】仮想カメラをバッターの視点位置に置いた場
合に再生される映像を示す概略図である。

【図１６】本発明をゴルフに応用した第２の実施例を示
す概略説明図である。

【図１７】変化球マトリクスを用いた本発明の第３の実
施例を説明するための概略説明図である。

【図１８】変化球マトリクスを用いた本発明の第３の実
施例の構成を示す概略ブロック図である。

【図１９】従来の野球放送により放送されていた放送画
面を示す概略図である。

【符号の説明】

１０、１２ 映像カメラ ２０、３０ 移動体座標検出装置 ２２、３２ データ抽出部 ２４、３４ 座標検出部 ４０ 移動体軌跡演算装置 ４２ 設定値記憶メモリ ４４ データ記憶装置 ５０ 仮想撮像データ演算装置 ５２ 画像合成プロセッサ １１０ ボール １１４ 仮想カメラ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 実空間において移動する移動体を異なる
   設定位置で異なる設定アングルにより連続撮像し、これ
   を撮像データとして出力する少なくとも２以上の撮像手
   段と、 前記各撮像手段からの撮像データより前記移動体の撮像
   データを抽出し、各撮像画面上における移動体の２次元
   座標を検出する移動体座標検出手段と、 前記各撮像手段の設定位置及び設定アングルと、前記各
   撮像画面上における移動体の２次元座標とに基づいて、
   基準３次元空間での移動体の基準３次元座標を演算し、
   基準３次元空間での移動体軌跡を求める移動体軌跡演算
   手段と、 前記基準３次元空間内に、任意の位置及び任意のアング
   ルで設定された仮想撮像手段により撮像される前記移動
   体の仮想撮像データを、前記移動体軌跡と、前記仮想撮
   像手段の設定位置および設定アングルとに基づき演算す
   る仮想撮像データ演算手段と、 前記仮想データ演算手段からの仮想撮像データに基づ
   き、移動体の表示画像を合成する画像合成手段と、 を含み、合成された移動体の画像を表示することを特徴
   とする画像合成装置。
2. 【請求項２】 請求項１において、 前記基準３次元空間内における所定移動体の移動体軌跡
   を蓄積データとして記憶する蓄積データ記憶手段と、 前記蓄積データ記憶手段に記憶された任意の移動体を指
   定し、前記指定移動体の移動体軌跡蓄積データの読み出
   しを指示する蓄積データ読出し指示手段と、 を含み、前記移動体軌跡演算手段は、 前記蓄積データ記憶手段から、前記指定移動体の移動体
   軌跡蓄積データを読出し、前記基準３次元空間内に、任
   意の位置および任意のアングルで設定された仮想撮像手
   段により撮像される前記指定移動体の仮想撮像データ
   を、読み出された移動体軌跡蓄積データと、仮想撮像手
   段の設定位置および設定アングルとに基づき演算出力す
   るよう形成されたことを特徴とする画像合成装置。
3. 【請求項３】 請求項１乃至２のいずれかにおいて、 前記移動体軌跡演算手段は、 連続撮影される各撮像画面上における移動体の２次元座
   標に基づき、各連続撮像画面に対応する移動体の基準３
   次元座標を演算し、各基準３次元座標間をデータ補完
   し、移動体軌跡を求めることを特徴とする画像合成装
   置。
4. 【請求項４】 請求項１乃至３のいずれかにおいて、 前記仮想撮像データ演算手段は、 前記仮想撮像手段の撮像アングルを前記移動体軌跡に追
   従して変化させ、仮想撮像データを求めることを特徴と
   する画像合成装置。
5. 【請求項５】 野球において、ピッチャーが投球したボ
   ールを、異なる設定位置で異なる設定アングルにより撮
   像し、これを撮像データとして出力する少なくとも２以
   上の撮像手段と、 前記撮像手段からの撮像データより前記ボールの撮像デ
   ータを抽出し、各撮像画面上におけるボールの２次元座
   標を検出する移動体座標検出手段と、 前記各撮像手段の設定位置及び設定アングルと、前記ボ
   ールの２次元座標とに基づいて、基準３次元空間でのボ
   ールの基準３次元座標を演算し、ボールの球筋を移動体
   軌跡として求める移動体軌跡演算手段と、 前記基準３次元空間内に、任意の位置及び任意のアング
   ルで設定された仮想撮像手段により撮像される前記ボー
   ルの仮想撮像データを、前記ボールの球筋と仮想撮像手
   段の設定位置および設定アングルとに基づき演算する仮
   想撮像データ演算手段と、 前記仮想データ演算手段からの仮想撮像データに基づ
   き、前記ボールの表示画像を合成する合成手段と、 を含み、合成されたボールの画像を表示することを特徴
   とする画像合成装置。
6. 【請求項６】 野球において、ピッチャーが投球したボ
   ールを、異なる設定位置で異なる設定アングルにより撮
   像し、これを撮像データとして出力する少なくとも２以
   上の撮像手段と、 前記撮像手段からの撮像データより前記ボールの第１の
   方向の変化分及び第２の方向の変化分を検出する移動体
   変化分検出手段と、 前記第１の方向の変化分及び第２の方向の変化分に対応
   した前記ボールの球筋データが、ピッチャーの投げた変
   化球の種類に応じて記憶されている移動体データ記憶手
   段と、 前記各撮像手段の設定位置及び設定アングルと、前記球
   筋データとに基づいて、基準３次元空間でのボールの球
   筋を移動体軌跡として求める移動体軌跡演算手段と、 前記基準３次元空間内に、任意の位置及び任意のアング
   ルで設定された仮想撮像手段により撮像される前記ボー
   ルの仮想撮像データを、前記ボールの球筋と仮想撮像手
   段の設定位置および設定アングルとに基づき演算する仮
   想撮像データ演算手段と、 前記仮想データ演算手段からの仮想撮像データに基づ
   き、前記ボールの表示画像を合成する合成手段と、 を含み、合成されたボールの画像を表示することを特徴
   とする画像合成装置。