JP3526896B2 - 動画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、移動物体を撮像した画
像の編集に利用する。本発明は、例えば、スポーツなど
の競技者を撮影した画像を任意の空間位置から撮った画
像や任意の時間軸の画像に変換編集して放送あるいは解
析を行う場合に利用する。この編集された画像により異
なる時間に行われた競技を比較でき、また、撮影装置の
設定してある位置から撮った画像を特殊な空間位置から
見た画像に変換できる。

【０００２】なお、本明細書でいう動画像には、撮像の
対象となる移動物体をリアルタイムで撮像した画像だけ
でなく、実時間の動きとは異なる時間間隔で撮像再生さ
れる連続する画像を含む。例えば動きの遅い撮像対象物
体をある時間間隔で撮像して記録し、撮像したときとは
異なる時間間隔で再生するコマ撮り等の処理が行われる
画像も対象物体の動画像である。このような移動物体の
画像も撮像時の時間間隔とは異なる時間間隔で編集すれ
ばリアルタイムで撮像した動画像とまったく同じものと
なるからである。また、一枚の静止画像を空間位置を移
動させながら撮像した場合も動画像である。

【０００３】

【従来の技術】出願人は、陸上のトラック競技や水泳な
どの選手が移動する空間が２次元平面であるものについ
て、その平面を固定の拘束平面として、撮像カメラで撮
像した画像を拘束平面をいわばスクリーンとする投影面
に投影し、この投影された画像を任意の空間位置や時間
軸上の仮想の撮像手段のカメラ（以下仮想カメラとい
う）から撮像した画像と等価な画像に変換する技術を提
案した（特願平５−２２１３６３、出願時に未公開）。

【０００４】この先願技術は、二次元に固定された拘束
平面を用いたもので、撮像カメラで撮像した画像を投影
する時空間マップは平面に限られる。しかし編集操作
で、撮像に用いたカメラとは別の位置、方向、画角の仮
想カメラの映像を得ることができる。

【０００５】この技術は、撮像された映像を撮影された
場所から拘束平面上に投影し、これを仮想カメラの位置
から撮像した時に得られる画像を演算によって生成して
いた。このように、仮想カメラの画像に変換するための
画像変換面を拘束平面とすると、拘束平面を用いた位置
計測系では、画像変換面を拘束平面と一致するものとし
て演算を行うことができ、その演算処理が容易で演算時
間が少なくてすむ利点がある。

【０００６】

【発明が解決しようとする課題】しかし、このような拘
束平面を変換面とする画像変換では、例えばスキーのジ
ャンプ競技やアルペン競技などのように、対象物体が３
次元空間を移動するような競技には用いることができな
い問題がある。

【０００７】また、平面であるグランド上で行われるサ
ッカーやラグビーあるいはアメリカンフットボールなど
でも、選手の姿勢は直立状態だけではなく、倒れたりあ
るいは倒立状態など大きく変化するため、拘束平面を用
いた計測では、誤差が大きくなり、計測に拘束平面を用
いることが適当でない場合もある。また、水泳のように
選手の動き方向が１次元の場合と違って、選手の動きは
２次元であるため、仮想カメラの視点によっては選手同
士の前後関係が入れ代わり、画像の重なり順が入れ代わ
ることが生ずる。

【０００８】本発明の目的は、このような３次元空間を
移動する移動物体を任意の空間位置あるいは任意の時間
軸から撮像したと等価な画像に変換する動画像処理装置
を提供することにある。

【０００９】本発明の他の目的は、背景画像も３次元情
報でもち、この３次元情報をもとに仮想カメラのパラメ
ータに応じた背景画像として移動物体の画像と合成して
現実感ある動画像を提供できる動画像処理装置を提供す
ることにある。

【００１０】また本発明の他の目的は、選手同士が重な
りあうような競技を撮影しこれを任意の空間位置あるい
は任意の時間軸から撮像した画像に変換するときに、そ
の選手同士の重なりを調整して合成できる動画像処理装
置を提供することにある。

【００１１】また本発明の他の目的は、複数の撮像手段
で撮像した３次元空間内の画像を合成する場合に、仮想
カメラの位置等にもっとも適合する画像を用いて変換し
自然な編集画像を出力できる動画像処理装置を提供する
ことにある。

【００１２】さらに本発明の他の目的は、複数の撮像手
段で撮像した複数の移動物体の画像を仮想カメラからみ
た複数の移動物体の前後関係に調整した画像に変換する
動画像装置を提供することにある。

【００１３】

【課題を解決するための手段】本発明の第一の観点は、
３次元空間を移動する移動物体の動画像処理装置に係
り、１または複数の移動物体を撮像し当該移動物体の３
次元空間情報とともに出力する撮像手段と、この撮像手
段の出力画像を前記３次元空間情報を用いて処理する画
像編集手段とを備えた動画像処理装置において、前記画
像編集手段は、前記３次元空間情報に基づいて撮像され
た移動物体の画像を当該移動物体が移動する空間内の一
つの変換面に投影し投影された画像を前記撮像手段とは
異なる空間位置または異なる時間軸に存在する仮想の撮
像手段で撮像された画像と等価な画像に変換する画像変
換手段を備え、この画像変換手段は、１画像単位で前記
画像変換を行う演算手段と、前記変換面として前記移動
物体の移動にしたがって異なる空間位置の変換面を用い
る手段とを含むことを特徴とする。

【００１４】なお、複数の撮像手段を備え、この複数の
撮像手段の視野が交叉する３次元空間内の平面または曲
面のいずれかを前記変換面に設定する手段を含むことが
できる。

【００１５】また、変換面は平面であり、一つの撮像手
段のカメラの光軸または上記仮想の撮像手段のカメラの
光軸に垂直な面であることができる。

【００１６】また、変換面は平面であり、一つの撮像手
段のカメラの光軸と仮想の撮像手段のカメラの光軸とが
なす角度の所定角度以下で前記二つのカメラの光軸と交
叉する面であることができる。

【００１７】また、変換面は撮像される移動物体を通過
する平面であることができる。

【００１８】また、変換面は曲面を含むことができ、曲
面上に投影された移動物体の画像を平面上の画像に変換
する手段を含むこともできる。

【００１９】さらに、変換面は撮像される移動物体が移
動する３次元空間内のあらかじめ定められた立体表面で
あることができる。

【００２０】本発明の第二の観点は、仮想の撮像手段で
撮像された画像と等価な画像に３次元空間情報に基づく
背景画像を合成するものであって、画像編集手段は、前
記３次元空間情報に基づいて撮像された移動物体の画像
を当該移動物体が移動する空間内の一つの変換面に投影
し投影された画像を前記撮像手段とは異なる空間位置ま
たは異なる時間軸に存在する仮想の撮像手段で撮像され
た画像と等価な画像に変換する画像変換手段と、前記移
動物体とは別に３次元情報の背景画像を記憶する背景画
像記憶手段と、前記背景画像に基いて前記仮想撮像手段
のカメラの空間的または時間軸パラメータにしたがう背
景画像を生成し前記仮想の撮像手段で撮像された画像と
等価な移動物体の画像とを合成する背景合成手段とを含
み、前記画像変換手段は、１画像単位で前記画像変換を
行う演算手段と、変換面として前記移動物体の移動にし
たがって異なる空間位置の変換面を用いる手段とを含む
ことを特徴とする。

【００２１】ここにおいて、背景画像記憶手段は、移動
物体の軌跡を背景画像として記憶する手段を含み、背景
合成手段は、この記憶された軌跡を他の移動物体の背景
画像としてその他の移動物体の動画像に合成する手段を
含むことができる。

【００２２】また、背景画像記憶手段は、ある時刻の移
動物体の画像を背景画像として記憶する手段を含み、背
景合成手段は、この記憶されたある時刻の移動物体の画
像を他の移動物体の背景画像として当該移動物体の画像
に合成する手段を含むことができる。

【００２３】本発明の第三の観点は、複数の移動物体を
複数の撮像手段でそれぞれ撮像する場合の動画像処理装
置に係り、画像編集手段は、３次元空間情報に基づいて
撮像された移動物体の画像を当該移動物体が移動する空
間内の一つの変換面に投影し投影された画像を前記撮像
手段とは異なる空間位置または異なる時間軸に存在する
仮想の撮像手段で撮像された画像と等価な画像に変換す
る画像変換手段を備え、この画像変換手段は、１画像単
位で前記画像変換を行う演算手段と、前記変換面として
前記移動物体の移動にしたがって異なる空間位置の変換
面を用いる手段とを含み、前記撮像手段は、それぞれの
撮像手段で複数の移動物体のいずれかを撮像する手段を
含み、前記画像編集手段は、この撮像された複数の移動
物体の画像を前記仮想撮像手段の仮想カメラの位置から
みた前後関係に基づいて合成する手段を含むことを特徴
とする。

【００２４】ここにおいて、前後関係に基づいて合成す
る手段は、１画像単位で複数の対象物体の前記仮想の撮
像手段に対する前後関係を指定するテーブルと、このテ
ーブルを参照して前の画像を出力し、後の画像をマスク
する手段とを備えることができる。

【００２５】また、画像編集手段は、撮像手段が撮像し
た画像から撮像対象の移動物体を背景から抽出する手段
を含むことができる。

【００２６】本発明の第四の観点は、複数の撮像手段か
らの画像を切り替えて仮想の撮像手段で撮像された画像
と等価な画像に変換する動画像処理装置に係り、画像編
集手段は、３次元空間情報に基づいて撮像された移動物
体の画像を当該移動物体が移動する空間内の一つの変換
面に投影し投影された画像を前記撮像手段とは異なる空
間位置または異なる時間軸に存在する仮想の撮像手段で
撮像された画像と等価な画像に変換する画像変換手段を
備え、この画像変換手段は、１画像単位で前記画像変換
を行う演算手段と、前記変換面として前記移動物体の移
動にしたがって異なる空間位置の変換面を用いる手段と
を含み、前記複数の撮像手段は同一移動物体を撮像する
手段を備え、前記画像変換手段は、前記複数の撮像手段
の出力する画像のうち、前記仮想の撮像手段のカメラに
適合する条件の画像を選択し、その撮像条件の変化によ
って複数の撮像手段の出力する画像を切り換えて変換す
る手段を含むことを特徴とする。

【００２７】ここにおいて、仮想の撮像手段のカメラの
撮像条件にもっとも近い条件の撮像手段の画像を選択す
ることが好ましい。

【００２８】また、移動物体に対する仮想の撮像手段の
カメラがなす角度に従って複数の撮像手段の出力画像を
切り換える手段を含むことができる。

【００２９】また、撮影対象の移動物体がある空間領域
に存在する場合に、前記撮像手段の一つがその空間領域
を撮像し、仮想カメラの位置から遠い位置にある場合で
あっても、その移動物体が存在する空間領域を撮像して
いる撮像手段の少なくとも一つの画像を用いることがで
きる。

【００３０】また、画像の切り替えにはヒステリシスが
設けられていることが好ましい。

【００３１】本発明の第五の観点は、複数の撮像手段か
らの画像を切り替えて仮想の撮像手段で撮像された画像
と等価な画像に変換する動画像処理装置に係り、その切
り替えにおいて複数の撮像手段の中間的な画像を生成す
るものであって、画像変換手段は、前記複数の撮像手段
の出力する複数の画像を平均化した画像を変換面の画像
として仮想の撮像手段のカメラで撮像した画像に変換す
る手段を含むことを特徴とする。

【００３２】

【作用】本発明では、移動物体である対象物体を撮影し
たカメラとは別の仮想カメラの映像を得るために、３次
元空間を移動する面を利用した画像変換を行う。この３
次元空間を移動する変換面は、対象物体の動きや撮像カ
メラの動き、仮想カメラの動きなどに応じて３次元空間
内を移動する。この場合、さらに必要に応じて複数の変
換面を利用する。このため、撮像カメラからの画像を投
影する時空間マップは３次元に拡張され、複数の画像変
換面が３次元空間に存在し、それらに投影された画像を
仮想カメラの画像に変換する。この場合、移動物体は３
次元空間を移動するものであるため、仮想カメラへの画
像変換は１画像（１フィールドあるいは１フレーム）単
位で行って、動画像として編集する。

【００３３】３次元空間を移動する対象物体の３次元位
置情報は、１台の追尾ヘッドあるいは２台以上の追尾ヘ
ッドによって求めることができる。それぞれの追尾ヘッ
ドは自身の３次元空間での位置、カメラの向いている方
向、カメラの姿勢、カメラの画角を正確に求めることが
できる。

【００３４】カメラで撮像された画像は、画像処理装置
によって画像内での特定の点を求めることができる。レ
ンズの画角、投影中心位置、撮像素子の姿勢などのパラ
メータはわかっているので、観測対象の対象物体上の同
一点を１または複数のカメラヘッドが撮影していれば３
次元空間でのその位置が計算できる。この３次元情報と
画像とに基づいて画像の編集操作が行われる。

【００３５】編集操作では、撮像したカメラとは別の視
点から見た画像（仮想カメラ画像）を得ることができ
る。この仮想カメラ画像を得るためには、撮像されてい
る画像に対して、３次元情報を用いて座標変換による変
形を加え、画像変換を行う。この画像の変換は、空間内
のある面（変換面）に撮像された画像を投影し、その画
像を仮想カメラで撮影することと等価である。本発明
は、この変換を１フィールド時間内に行い、この変換に
用いる変換面を複数使用し、さらに３次元情報に応じて
変換面も動かすこと（順次異なる変換面を用いること）
で、拘束平面を使わないで画像変換し３次元空間内を移
動する対象物体に対する画像変換を行なえるようにす
る。

【００３６】このように３次元空間内を移動する移動物
体の画像を仮想カメラの画像に変換する場合、変換面を
どのように選ぶかが問題である。一般的には、複数の撮
像カメラで撮像した場合、変換面は理論的にはその複数
の撮像カメラの視野が交叉する３次元空間内のどの平面
または曲面でも用いることが可能である。しかし、画像
処理の観点からは移動物体の性質によって決まり、観測
対象の移動物体の代表点を通過する平面を使用すること
がよい。また、一つの撮像カメラあるいは仮想カメラの
光軸に垂直な面を変換面とすると画像変換のためのパラ
メータが減少し演算処理が容易になる。ただし、一つの
撮像カメラと仮想カメラの位置により、一つの撮像カメ
ラからだけの画像を考えた場合、その撮影カメラの光軸
と仮想カメラの光軸とが垂直に交わる場合には、その撮
像カメラの光軸に垂直な変換面を使用することができな
いため、このような場合には撮像カメラの光軸と仮想カ
メラの光軸とがなす角度の半分程度の角度をなす変換面
を採用する。

【００３７】さらに、移動物体の背景画像も３次元空間
となるため、背景画像も３次元データとなる。このため
背景画像も３次元空間情報として立体モデルを合成して
記憶しておき、仮想カメラの位置や画角等のパラメータ
に応じて変形して移動物体の画像と合成する。この場
合、アルペン競技を撮影した画像のような場合、先の競
技者の軌跡を背景画像として記憶しておき、後の競技者
の画像に背景画像として合成する。また、ある時刻の対
象移動物体の画像を記録しておき、別の時刻で移動する
移動物体の背景画像として合成することも可能である。

【００３８】また、複数の撮像カメラで撮像された複数
の対象物体の画像を一つの仮想カメラの画像に変換する
場合、対象物体の前後関係がその動きによって変動す
る。このような場合には、仮想カメラの位置からの対象
物体の前後関係を画像の１フィールドごとに把握してお
き、仮想カメラの画像に変換する場合にその対象物体の
前後関係に応じた画像に変換する。すなわち、後ろに隠
れる画像部分についてはマスクし前の画像部分のみを出
力し、仮想カメラから見た画像が対象物体の前後関係に
あうように編集する。

【００３９】さらに、複数の撮像カメラで撮像された対
象物体の画像を仮想カメラの画像に変換する場合に、対
象物体の位置により、あるいは仮想カメラの位置により
画像変換にもっと適した撮像カメラの画像を用いて変換
する。あるいは複数の撮像カメラの画像を平均化した画
像を用いて仮想カメラの画像に変換する。この複数の撮
像カメラ間の画像を切り替える場合その切り替えが中間
位置で度々生じないように、また切り替えが不自然にな
らないように、切り替えにはヒステリシスをつける。あ
るいは中間位置では複数の撮像カメラの中間的画像を生
成して複数の撮像カメラ間の画像を変換する。

【００４０】なお、変換面としては撮像する競技により
曲面を用いることもできる。例えばトラックやスピード
スケート競技のような場合には、地面に垂直な面を変換
面とすると、変換面は曲面となる場合がある。しかしそ
の曲面はあらかじめ決まっているため、このような曲面
に投影して仮想カメラで撮像することができる。この場
合、曲面を直線方向に引き伸ばした形の画像とすれば、
曲面方向を伴う競技を１次元方向の競技の画像に変換す
ることができる。

【００４１】

【実施例】以下図面を参照して本発明の実施例を説明す
る。

【００４２】〔第１実施例〕スキーのジャンプ競技を撮
影し、その撮影した画像に基づいて仮想カメラで撮影し
た画像に変換する場合の例で説明する。

【００４３】スキーのジャンプ競技を対象とした場合、
例えば図１のように２台の位置計測編集カメラヘッドＨ
１、Ｈ２を配置する。また２台のヘッドはあらかじめキ
ャリブレーションなどを行ない空間的な位置などのパラ
メータをあらかじめ測定しておく。ジャンプ台などの固
定部分もまたあらかじめ位置関係を測定する。またそれ
ぞれのヘッドはたとえば選手のヘルメットを追尾するよ
うにプログラムしておく。助走路のスタート位置近傍に
サーチエリアを設定しておけば選手がそのエリアを通過
するときからそれぞれのヘッドは自動追尾を始める。測
定対象の選手が２台のヘッドの視野にある間はカメラの
フィールド周期で３次元の位置が測定される。

【００４４】位置の測定と同時にヘッドの台数だけの画
像も得られる（ヘッドを２台使った場合は２つの画像が
同時に得られる）。また、それぞれのヘッドの姿勢、画
角などの情報も同時に得られる。これらは必要に応じて
記録装置に記録を行なう。ヘルメットなど画像からの抜
き出しを自動的に行なうことができるので、２台のヘッ
ドでの対応も自動的に取れるものは測定中に自動的に３
次元座標を計算することができるが、自動的に抜き出す
ことがむずかしい点でも、２台のヘッドから見えていて
対応をつけることができれば３次元の座標を求めること
ができる。その場合、通常は対応付けは人間が指示する
必要があるため一度記録し、あとでゆっくり再生しなが
ら行う。画像とともにヘッドの姿勢などのパラメータが
記録されているため、画像に写っていて２台の画像で対
応をとることができればどのような点でも３次元の位置
が計算できる。数値情報は３次元であるから、追尾ヘッ
ドの位置とは関係なく視点を選んで軌跡を表示したりで
きる。

【００４５】それに対して画像は、カメラヘッドの視点
からの画像しかないため任意の視点からの画像を得るた
めに変換処理を行う。図２に画像変換のためのハードウ
エアのブロック図を示す。この図２の画像処理装置の基
本的構成は拘束平面を用いて画像処理を行う特願平５−
２２１３６３の動画像処理装置の構成と基本的には相違
しないが、図２に示す構成は、３次元空間を移動する対
象物体およびその背景画像の処理を行う構成となってい
る点で相違する。

【００４６】この図２の画像処理装置は、対象物体であ
る選手を撮影する二つのカメラヘッド１１、１２と、こ
のカメラヘッド１１、１２から出力される画像およびヘ
ッドパラメータを記録する記録ユニット１３と、この記
録ユニット１３から出力される画像および３次元情報に
基づいて仮想カメラで撮影した画像に編集して仮想カメ
ラ画像１８を出力する画像編集ユニット１４と、カメラ
ヘッド１１、１２から出力される画像およびヘッドパラ
メータに基づいて３次元位置を演算し記録ユニット１３
に与える３次元位置演算ユニット１５と、カメラヘッド
１１、１２、３次元位置演算ユニット１５および記録ユ
ニット１３に基準となる時刻情報を与えるタイムベース
ユニット１６と、画像編集ユニット１４に仮想カメラの
パラメータを与える仮想カメラコントローラ１７とを備
える。

【００４７】この画像処理装置での処理動作を説明す
る。測定時に得られた画像はそれぞれのカメラヘッド１
１、１２のパラメータや３次元情報とともに必要に応じ
て記録ユニット１３で記録され、画像編集ユニット１４
に入力される。一方、出力に必要な視点や画角といった
仮想カメラのパラメータは仮想カメラコントローラ１７
から入力される。画像編集ユニット１４では、これらの
情報をもとにカメラヘッドからの映像の変形などを行な
い、実際の測定時には存在しなかった仮想カメラで撮影
されたかのような映像である仮想カメラ画像１８を出力
する。

【００４８】すなわち、本実施例では、１または複数の
移動物体を撮像し当該移動物体の３次元空間情報ととも
に出力する撮像手段であるカメラヘッド１１、１２と、
このカメラヘッド１１、１２の撮像手段の出力画像を前
記３次元空間情報を用いて処理する画像編集手段である
画像編集ユニット１４とを備えた動画像処理装置におい
て、本発明の第一の観点の特徴として画像編集ユニット
１４は、３次元空間情報に基づいて撮像された移動物体
の画像を当該移動物体が移動する空間内の一つの変換面
に投影し投影された画像をカメラヘッド１１または１２
とは異なる空間位置または異なる時間軸に存在する仮想
カメラで撮像されたと等価な画像に変換する画像変換手
段を備えており、この画像変換手段は、１画像（１フィ
ールド）単位で前記画像変換を行う演算手段を含み、前
記変換面は前記移動物体の移動にしたがって異なる空間
位置の変換面を用いている。

【００４９】以下で本実施例による画像変換の原理につ
いて説明する。

【００５０】画像の変換は図３のように空間内の変換面
３４を介して変換を行なう。この変換は実際は電気的
（コンピュータでの画像処理）に処理が行なわれるが、
ちょうど空間内のスクリーンにスライド映写のように撮
影された画像を投影し、それを別のカメラで撮影しなお
すのと同様な処理となる。たとえばヘッド１（カメラヘ
ッド３１）で撮影された画像をもとに変換を行なう場
合、空間内の変換面３４に撮影された時と同じ位置から
同じ画角で逆に投影する。それとは別に欲しい視点の欲
しい画角の仮想カメラ３３を考えてそれで投影された画
像を撮影するのに対応する処理となる。空間内の変換面
３４は平面でも曲面でも同様な考え方で画像の変換に使
うことができる。

【００５１】変換面を曲面とした場合、計算に必要なパ
ラメータが平面とした場合に比べてかなり増大する。し
かしながら、変換によって得られた画像は、実際に仮想
カメラ３３の位置に本当のカメラをおいて撮影した画像
ではなく、変形を複雑にしたところで本当に撮影した画
像と同じ画像を得ることは基本的にできない。また計算
が複雑になると誤差の影響が大きくなってしまいノイズ
に弱いシステムとなる。これらのことから通常は、変換
面は平面とするのが良い。この平面の空間内の位置につ
いては後述する。

【００５２】画像は、フィールド単位で得られるから変
換もフィールド時間単位で行う。すなわち変換しようと
するフィールドが決定すれば、画像は１枚の静止画と考
えられ、カメラの位置関係、変換面の位置はそのフィー
ルド固有の位置に固定となる。対象物体は動いているか
ら追尾しているカメラヘッドもまた動いており、さらに
仮想カメラも動いている可能性がある。カメラが画像を
写すためには一定の時間が必要であるし、また仮想カメ
ラの出力を表示装置に表示するためにも時間がかかるか
ら厳密には、画像は一枚の面としては扱えない。しかし
変換によって画像を得ることが厳密な処理ではないか
ら、フィールド単位での処理でも問題は起こらない。た
だし、カメラの位置関係、変換面の位置関係をフィール
ド時間内のどの時刻とするかは考慮しなければならな
い。通常のＣＣＤカメラではシャッタ動作の関係からフ
ィールドの後半で光電荷の蓄積を行なうから通常はフィ
ールドの後ろに合わせるのがよい。また同期の取れてい
ない複数のカメラ画像を扱う場合はタイムベースユニッ
ト１６からの時刻情報に基づく絶対的な時間管理が必要
となる。

【００５３】図４は変換面を介する画像変換の原理を説
明するための図である。ここではヘッド１（カメラヘッ
ド３１）からの画像から変換する場合の例で説明する。
画像変換のための計算を簡略化するため、変換面を平
面、カメラをピンホールカメラモデルとする。必要なの
は仮想カメラ画像である。つまり仮想カメラ画像上のあ
る点をその画像上のローカル座標で指定したときにそれ
がヘッド１（カメラヘッド３１）画像のカメラヘッド画
像でのローカル座標でどこの点に対応するかを求めるこ
とになる。一方でカメラヘッド、画像変換面、仮想カメ
ラは３次元空間にありそれぞれの位置関係はグローバル
な座標系で求められる。

【００５４】まず画像の変換に注目すると、これは平面
から平面への投影となる。変換を線形にするため媒介変
数Ｈを追加して次元を１次元高める。ヘッド１の画像の
座標軸をｕ_H1, ｖ_H1、仮想カメラの画像の座標軸をｕ
_VC, ｖ_VCとする。変換面上に座標軸ｕ_CP, ｖ_CPをとる。
ヘッド１の画像を変換面に投影する変換は媒介変数を使
った表現で次の（１）式で表される。

【００５５】ここからｕ_CP, ｖ_CPを求めるには（２）式
のように媒介変数を計算して求めることになる。同様に
仮想カメラ画像を変換面に投影する変換は（３）式とな
る。これらの式から仮想カメラ画像とヘッド画像の間は
（４）式、（５）式の関係となる。

【００５６】

【数１】 ヘッドおよび仮想カメラのそれぞれの変換マトリクス
は、それぞれのカメラと変換面の関係が決まれば求ま
る。たとえばカメラヘッドの変換マトリクスは、カメラ
ヘッド画像の４点たとえば４隅のｂ１，ｂ２，ｂ３，ｂ
４と、それらに対応する変換面上の４点ｂ１′, ｂ
２′, ｂ３′, ｂ４′から求めることができる。同様に
して仮想カメラマトリクスも対応する点が４点以上求ま
れば計算できる。ここで問題となるのが画像と変換面の
対応する点の位置の計算である。この計算は、さきに述
べたようにフィールド単位では位置関係は固定とするか
ら１フィールドに対して１度行なえば良い。また３次元
のグローバル座標系で行ない、それぞれのローカル座標
系に変換する。ＰＰ_H1h はヘッド１のカメラの投影中
心、ＰＰ_VCは仮想カメラの投影中心、変換面はＣＰであ
る。それぞれの平面はグローバル座標系において、平面
上の１点（その平面上でのローカル座標の原点とするの
がよい）と、法線ベクトルで決定される。これはカメラ
のポジでの結像面（撮像素子の投影中心に対して対象の
位置）の主点の位置とレンズの主軸方向に対応する。

【００５７】座標変換は次のように行なう。図５のよう
にグローバル座標系ＸＹＺと平面ＣＰ上でのローカル座
標系ｕｖを考える。平面上の任意の点Ｐはグローバル座
標系では（ｘＰ，ｙＰ，ｚＰ）となる。ローカル座標系
の原点のグローバル座標での位置は（ｘ０，ｙ０，ｚ
０）である。またローカル座標系のｕ軸ｖ軸のグローバ
ル座標系での方向ベクトルをそれぞれ（ｘｕ，ｙｕ，ｚ
ｕ），（ｘｖ，ｙｖ，ｚｖ）とするとこれらは法線ベク
トルｎと直交する（（９）式）。平面上の任意点Ｐはこ
れらを使って（６）式のように表わされ、これをまとめ
て（７）式とする。また逆は（８）式のようになる。

【００５８】

【数２】

【００５９】このマトリクスＤが座標変換マトリクスで
ある。このマトリクスの値を求めるためには、ローカル
座標の原点とローカル座標のｕｖ軸上の点のグローバル
座標での位置から求めるのがよい。カメラ画像ではｕｖ
軸は平面上で直交しているが、変換面ではその角度は任
意に採ることができる。この座標変換マトリクスをそれ
ぞれの平面について求めれば座標の変換ができるように
なる。カメラ画像と変換面の対応点を求めるには、グロ
ーバル座標系において、投影中心と、ポジ結像面のある
点を通る直線が変換面と交差する点を求めれば良い。以
上の計算を行なうことで（４）式の画像変換マトリクス
Ｃ_C1を求めることができる。これらの計算は１フィール
ドに１度でよく、また計算は十分な精度で行なう必要が
あるためソフトウエアで行なうのが良い。画像の変換は
仮想カメラ画像の各画素について行なわなければならな
いが、一度画像変換マトリクスが決定すればあとはマト
リクスとベクトルの掛け算、割り算であるからハードウ
エアでも容易に行なえる。（４）式を使うと仮想カメラ
画像の任意の画素に対するカメラヘッド画像の画素の位
置がわかる。もしその位置が実際の画像で存在しない位
置であれば、仮想カメラのその画素に対する画像はない
つまり背景部分であることになる。

【００６０】実際の画像変換の回路ブロックは図６のよ
うになる。これはアドレス計算ユニット４１と、画像デ
ータテーブル４２の２つに大きくわかれる。上述のマト
リクス計算は、画像の位置つまりアドレスに対応する。
この計算を行なうのがアドレス計算ユニット４１であ
り、出力画像の画素位置を使ってそれが入力画像のどこ
に対応するかを計算する。計算された位置の画像データ
は画像データテーブル４２をつかって取りだす。アドレ
ス計算ユニット４１は、座標変換用係数を格納する係数
レジスタ４３〜５１とこれらの係数を出力画像アドレス
に乗算する乗算器、乗算結果を加算する加算器および割
算器を備えている。また、画像データテーブル４２は、
アドレス出力を比較するコンパレータ５５、５６と、フ
ィールド単位で画像が入力されるイメージメモリＩＦＭ
および画像コントロール用の情報が格納される画像コン
トロールメモリＣＤＭとを備えている。

【００６１】それぞれの動作を簡単に説明する。入力画
像はカメラヘッドによって撮影された画像である。この
画像はそのまま順番に１フィールド分のイメージメモリ
ＩＦＭに書き込まれる。この時の書き込みアドレスは撮
像素子の位置に対応しているから書き込みアドレスは図
示されていないが、撮像素子と同期したカウンタを使え
ば作り出せる。また、画像のなかで対象物体を抜き出す
ことができればその情報をコントロールデータとして画
像コントロールメモリＣＤＭに書き込む。画像コントロ
ールメモリＣＤＭはイメージデータと画素毎に対応して
いる２次元のメモリである。たとえばその画素が対象物
体であれば１、背景であれば０を書き込むことで１ビッ
トで対象物体の形を抜き出せる。対象物体の形を正確に
抜き出せない場合などは、ぼかしたりできるように必要
に応じて画像コントロールメモリＣＤＭも複数のビット
を持っている。すなわち、この画像コントロールメモリ
ＣＤＭの出力は複数の画像を重ねたり背景画像を重ねた
りする場合に対象物体を抜き出すために使用する。

【００６２】一方アドレス計算は次のように行なう。カ
メラヘッド、変換面、仮想カメラの３次元空間の位置が
きまれば（４）′式が決定する。この計算はソフトウエ
アで行ない、変換マトリクスＣ_C1の各係数をフィールド
毎に計算する。計算された係数Ｃ₁ 〜Ｃ₈ はＣＰＵバス
を介して係数レジスタ４３〜５１に書き込まれる。
（４）′式では１の部分もハードウエアでは係数レジス
タ５１として必要があれば変更できるようになってい
る。出力アドレスつまり仮想カメラの画素位置は、出力
に同期したアドレスカウンタ（図示されていない）で作
ることができる。この出力アドレスに対して乗算器、加
算器で係数レジスタの値で演算を行なう。さらに媒介変
数も同様に計算し割り算器５３、５４を使ってアドレス
の変換を行う。割り算が入っているため、係数に間違い
があったりすると計算できなくなるが、そのようになる
係数はあらかじめソフトウエアで取り除く。計算された
アドレスの範囲が入力画像の視野の範囲内かどうかをそ
れぞれの軸でコンパレータ５５、５６を使って調べる。
範囲内であれば視野内信号ＩＶＦが１となる。この信号
はそのまま出力もされるが、画像データ、画像コントロ
ールデータに対してもマスキングが行われ、あり得ない
データが出力されないようになっている。

【００６３】以上のようにすれば、仮想カメラの画像を
得ることができ、以上の仮想カメラの画像への変換は１
フィールド単位だけで考えると、その変換面を拘束平面
とした特願平５−２２１３６３と実質的に同じである。
また、背景から対象物体を抜き出す構成についても先願
に開示されている。

【００６４】さらに、拘束平面を使用した場合にも、そ
の時に使用する変換面を拘束平面とは別に選ぶことがで
きるため、拘束平面があるような用途にも同様に応用で
きる。

【００６５】ここで本発明の場合問題となるのが変換面
の空間的位置である。すなわち、本発明では対象物体は
３次元空間内を移動しており、その変換面は拘束平面を
用いるのと違って、変換面の位置そのものも移動する。
そこでその変換面をどのように設定するかを述べる。

【００６６】変換面は実際に存在する面ではなく仮想的
な面であるから、カメラヘッドまたは仮想カメラ（カメ
ラの撮像面）に対して垂直でなければどこにあっても式
の上では問題ない。しかし得られる映像はこの変換面を
どうするかで大きく変わるためその位置は重要である。
必要とする映像は対象物体のものであるから変換面は対
象物体と関連した位置に置くのが良い。

【００６７】例えば、図７のように二つのヘッド１、ヘ
ッド２で対象物体を追尾する場合を考えた場合、それぞ
れのヘッドのカメラの視野は、図８のように二つのカメ
ラの視野が交叉する共通の視野領域が存在する。変換面
は、このような図８のように測定用の複数のヘッドの視
野が交わる領域が構成する立体の面を含む平面とするこ
とができる。３次元座標を求められるのは２台以上のヘ
ッドの視野を共有する領域である。たとえば２台のヘッ
ドの画角が同じ場合には、共有視野領域は図８（ａ）の
ように４枚の平面で囲まれるこの平面のなかでヘッド１
の画像の変換につかえるのは２１、２２の２枚のどちら
かである。２台のカメラヘッドの画角が異なる場合は、
視野の共有領域は図８（ｂ）のような形となるが、変換
面の範囲をこの立体を構成する面に限る必要はなく、こ
の範囲を含む平面とすれば良い。また２つの面はどちら
を使っても良い。このように、変換面として二つのカメ
ラヘッドの共通視野領域が構成する立方の表面を変換面
として使用するのは、対象物体が複数あるような競技の
場合に便利である。このような面を使う場合、視野が対
象物体に比べて大きい場合変換面と対象物体の位置が離
れてしまうため変換される画像としてあまり良くない。

【００６８】その場合は図９のような面を使う。図９で
は、対象物体のどこか１点たとえば測定カメラヘッドの
自動追尾の目標点などを通ってカメラの光軸に垂直な面
とする。図９（ａ）では撮影するカメラヘッドの光軸に
垂直な面としている。また図９（ｂ）では仮想カメラの
光軸に垂直な面としている。このようにどちらかの光軸
に垂直とすることで変換の計算は楽になる。とくに撮影
カメラの位置と仮想カメラの位置が近い場合は計算が楽
であるだけでなく画像としても自然な画像が得られる。

【００６９】撮影カメラと仮想カメラの位置が離れてい
る場合、基本的に画像は歪んだものになってしまう。そ
の歪みを少しでも減らすように変換面を選ぶことができ
る。図１０にその例を示す。対象物体の代表点とそれぞ
れのカメラの投影中心を結ぶ直線は対象物体とそれぞれ
のカメラの位置関係で決まる角度をなす。投影面をこの
代表点を通る平面とし、それぞれのカメラとの直線と一
定の角度を持つようにとる。たとえば図１０（ａ）は撮
影カメラと仮想カメラのなす角度の２等分線を含み代表
点、それぞれのカメラの投影中心の３点で決まる平面と
垂直な面を変換面としている。この場合画像の変換はち
ょうどスクリーンを裏から撮影されることになるため画
像が裏返しに変換される。また図１０（ｂ）のように図
１０（ａ）の面と垂直な面とすることもできる。この場
合画像が裏返しとなることはない。図８の場合変換面は
撮影カメラである２台の計測カメラヘッドの位置関係だ
けで決まってしまうため仮想カメラの位置によって、変
換される画像が不自然に歪むだけでなく、変換自体がで
きなくなることもある。同様に図９の場合も変換の片側
のカメラだけで位置が決まるため同様なことがありえ
る。図１０では変換の入力と出力の両方の位置関係をつ
かうから変換ができないことを避けることができ比較的
歪みの少ない画像となる。

【００７０】この変換面の角度は、図１０に示しただけ
でなく状況に応じていろいろな角度が選べる。対象物体
上の計測点を複数にすると対象物体の姿勢の情報を得る
ことができる。この対象物体の姿勢の情報をつかって変
換面の角度を変えることもできる。また対象物体の形が
ある程度わかっている場合その形が自然に見えるような
角度を選ぶことができる。たとえばスキーのジャンプ競
技の場合、図１１のように選手を縦に貫く面を変換面と
すると、仮想カメラが選手の正面に近くなってくると横
方向が縮まったような画像となり自然な感じに近くでき
る。

【００７１】また、対象物体の形が決まっている場合
は、変換面を空間内の立体表面とすることもできる。こ
の変換は、変換面への投影ではなく、コンピュータグラ
フィックで行なわれているレンダリングの技術をつかっ
て、映像を空間の立体表面に貼り付け、それを仮想カメ
ラで撮影することになる。得られた画像は非常に多量の
計算処理が必要となるが比較的自然になる場合がある。

【００７２】以上のような変換面の選び方は固定である
必要はなく、対象物体に応じて切り替えたり、あるい
は、対象物体、カメラの位置関係で自動的に切り替えた
りすることができる。また同時に複数の変換によって複
数の画像を得、それらを合成して１つの画像とすること
もできる。その場合単純に複数の画像を重ねる方法もあ
るが、対象物体が大きい場合や、対象物体を分割できる
あるいは画像が分割できる場合は、対象物体の部分毎
に、あるいは画面の範囲毎に、あるいは対象物体と背景
で変換方式をかえて合成することもできる。

【００７３】以上の述べてきた画像の変換方式をとれ
ば、対象物体の画像を必要としたとき、撮影位置によら
ず映像を得ることができる。したがって、たとえば別の
日に計測したスキーのジャンプのデータを使って、同一
画面に重ねて表示することができる。これはちょうどそ
れぞれの選手が同時にジャンプを行なった時に得られる
ような映像を作り出せる。そのときにそれぞれの測定で
測定カメラヘッドの位置が違っていてもよく、別の場所
にある別のジャンプ台でのデータを重ねて表示すること
もできる。さらに観察位置は自由に選べ、選手と同時に
動くこともできる。図１２はその画像の例で、二人の選
手を重ねて表示しその軌跡を残し、それらを観客席の上
空から見たような画像を得たものである。

【００７４】二人の選手を並べて表示する場合、仮想カ
メラは１台であるが映像は二人分となる。撮影に使った
カメラヘッドの位置がそれぞれ異なる場合はそれぞれに
変換面をつかうのがよい。複数の変換面を同時に使う場
合については詳細を第３実施例に述べる。

【００７５】なお、上記実施例では画像変換処理は１フ
ィールド単位としたが、画像処理上１画像単位で行うも
のであればよく、フレーム単位やインタレース走査方式
以外の画像の１画像単位であってもよい。

【００７６】〔第２実施例〕ジャンプと異なりスキーの
回転競技、大回転競技などでは、選手は３次元的な動き
をするとともにポールとの位置関係が重要である。した
がってたとえば選手だけを抜き出して表示しても画像と
してはあまり意味がなく、背景も重要になる。拘束平面
をつかった位置計測では対象物体は２次元平面だけを移
動するため、背景は２次元でちょうど拘束平面の模様の
ようなものとして扱うことができたが、対象物体が３次
元空間を移動する場合は、その方法では不自然であるた
め次のような方法を用いる。

【００７７】背景は基本的に動かない場合、あらかじめ
３次元計測しておくことができる。したがって原理的に
計測は背景すべてについて行なうこともできるがスキー
の場合のポールの位置など必要な部分を正確にそれ以外
は粗く計測すると効率的でデータ量も小さくなる。この
データをつかって図１３のような立体モデルをつくる。
このモデルは実際の形に表わすのではなく、コンピュー
タ内で持っていれば良い。正確でなくても良い部分は幾
何学的な形の立体で近似しても良い。仮想カメラのパラ
メータがわかるとこの立体モデルをつかってコンピュー
タグラフィックスの手法を使って背景を合成することが
できる。前述した画像の変換面はこのモデルのなかを対
象物体の位置と共に動き回ることになるが、あるフィー
ルドを指定するとその変換面の位置は決定する。この立
体モデルとその中の変換面をまとめて、ある時刻での時
空間マップと考えられる。この時空間マップには背景の
３次元情報と、対象物体の３次元情報と変換面の３次元
情報を含んでいて、同時に扱うことができる。この背景
の立体モデルとして、スキーのコースの場合地形をすべ
て正確に再現しても、画像の上では雪の白で凸凹がわか
りにくいため、たとえばポールの位置だけを正確に求
め、地面はとくにマッピングせず、対象物体とポール以
外の部分を単に白くするだけでも良い。もし凸凹が重要
である場合には、撮影された画像にそれが良くわかるよ
うにたとえば等高線をいれるとか、印影を強調するとか
の手法が必要となる。また選手の軌跡をこのマップ内に
マッピングできるから、選手のスキーの軌跡で地面の凸
凹が表現できる場合もある。

【００７８】対象物体の代表点の位置がわかれば仮想カ
メラの画像に変換する変換面の位置を決めることができ
る。また撮影された画像で対象物体と背景を分離するこ
とができる場合、選手は写真を切り抜いて模型の中に置
いたかのような形となる。変換面の位置は３次元的にわ
かっているから仮想カメラから見たときに、隠れるポー
ルと隠れないポールは計算できる。

【００７９】この場合、対象物体である選手のみを画像
から切り出す情報は、図６の画像コントロール出力でわ
かる。

【００８０】仮想カメラの画像を合成する場合、画像コ
ントロール出力で対象物体がない部分は時空間マップか
ら背景のデータを取りだしてきて表示する。対象物体の
部分は撮影された画像に前述したような変換をした映像
となる。

【００８１】動画を扱う場合、仮想カメラのパラメータ
が静止している場合をのぞきフィールド周期で背景を合
成しなければならない。したがって計算機の処理能力に
応じて時空間マップへの背景情報の投影は必要最小限の
データに限ったほうがよい。またスキーのコースのよう
に選手の移動範囲がある程度限定でき、それに伴なう仮
想カメラのパラメータの動きもわかっている場合などは
前もって背景の画像の計算を済ましておくことができ
る。背景となる画像は、図１４のようにコース、ポール
１４３などのような実際の背景には限定されない。選手
の軌跡１４２を背景としてもよい。すなわち、先の選手
の軌跡やある特定の選手の軌跡を記憶しておくことがで
きるので、この軌跡を背景としてポール１４３と同じく
背景として選手の画像と合成する。この軌跡のデータ
は、当然３次元の情報を含んでいるから、仮想カメラの
視点に応じて違う形で見える。また仮想的なグリッドを
空間に配置すると３次元の目盛りのようになり位置がわ
かりやすくなる。

【００８２】また符号１４１のように移動する選手のあ
る瞬間の画像を背景として残すこともできる。この画像
は静止画となる。ちょうど等身大の切り抜き写真がコー
ス内に立っているような感じとなる。位置は正確に再現
されるから、別の選手がこの静止画のところを通過する
場合、それよりも前を通過するか後ろを通過するかで、
どちらが隠れるかは再現できる。これには必要に応じて
影を合成してつけることもできる。背景となる地面の形
状がわかっているとき、照明（太陽）の位置を仮定すれ
ば地面におちる影が計算できる。影によって背景として
も立体的な印象を受けるようになる。影の演算は効果の
わりには大変ではあるが、背景用に残した選手の静止画
につけるだけでなく、動画として動いている対象物体で
ある選手に対してもつけることができる。どちらの場合
でも選手の形は、変換面を選手の形に切り抜いた感じの
平面的なものであるから、不自然な影にならないように
太陽の位置をうまく選ぶ必要がある。

【００８３】選手の像を残す場合に、撮影されたそのも
のとして残す以外に、例えば選手のアウトラインだけを
残す、透明な像として残す、など、画像処理を加えてか
ら背景とすることもできる。連続していくつかの像を残
すとこまどり写真のような背景が得られる。当然これら
の画像は変換面をつかって変換されるものであるから仮
想カメラの位置を変化させるとそれに応じた形に変化す
る。

【００８４】あらかじめ計測する背景としてポールだけ
としても、すべての選手のスキーの軌跡を重ねて残せば
コースの形が浮かび上がってくる。仮想カメラの位置は
自由に選べるから正面や真上から撮影し競技会のコース
の記録として残すこともできる。

【００８５】〔第３実施例〕いままでは撮影画像１つに
対して仮想カメラ１つであった場合で説明したが、サッ
カーのように多くの選手が行なう競技の場合、選手毎に
計測ヘッドが追従し計測する場合がある。その場合、撮
影される画像は基本的にそれぞれ一人の選手の画像であ
る。しかし仮想カメラの画像としては、画角に応じて複
数の選手の画像を同時に写せなければならない。そのた
め図１５のように計測ヘッド毎に変換面を考える。たと
えば変換面の位置は選手の中心位置とし、変換面として
地面に垂直な面を変換面とする。ちょうど選手の位置に
ついたてが立っていてそれをスクリーンとしてそれぞれ
の映像を投影し、それを仮想カメラで撮影しなおすよう
な感じとなる。この場合当然仮想カメラと選手の位置関
係で前後関係が生じて後ろの映像は隠れる。また背景と
してグランド上のラインなどが合成される。

【００８６】また、スキーのジャンプの場合のように対
象物体が１つであっても、編集操作で複数の選手を同時
に撮影することがある。この時、撮影したヘッドの位置
が同じであれば変換面を共通につかうことができる場合
もあるが、通常はヘッド毎にそれぞれ別の面が必要で複
数となる。

【００８７】カメラヘッド同士、あるいはカメラヘッド
と記録装置の組み合わせなど、複数の画像を使う場合、
画像同士で時間的に同期させなければならない。特願平
５−２２１３６３で説明したように、時間の管理は対象
物体の位置を調整して合わせる。つまり同期させられる
方のカメラヘッドの方向を画像を撮影した時とはずら
し、合わせた時刻に対象物体があると考えられる方向を
向いた状態とする。当然対象物体の動きは３次元である
からその計算は３次元座標で行なう。このとき画像を前
の画像をそのまま使っても良いし、前後のフィールドの
画像から作り出しても良い。使う画像をすべて同期さ
せ、１対１の変換同様に、フィールド単位で静止画とし
て扱う。図１６にこの複数の対象物体をそれぞれのカメ
ラヘッドで追尾して撮影した画像を一つの仮想カメラの
画像として出力するためのハードウエアのブロック図を
示す。この図ではもとになる画像は３つであり、３つの
画像変換ユニット１６０を備え、その画像変換ユニット
１６０で変換された仮想カメラの画像をプライオリティ
テーブル１６６の情報を参照してイメージセレクタ１６
７で選択して一つの仮想カメラの画像として出力する構
成を示している。

【００８８】複数のカメラヘッド（あるいは記録ユニッ
ト）１５１〜１５３は、同期コントローラ１５４で同期
されている。これはまた、仮想カメラの出力のタイミン
グを決めるタイミングジェネレータ１５５にも同期して
いる。仮想カメラの出力を別のユニットと同期させなけ
ればならないときはこのタイミングジェネレータ１５５
に対して外部同期をかける。

【００８９】それぞれのカメラヘッドの３次元データは
ＣＰＵバス１５６を介してフィールド単位でメインコン
トローラ１５７に読み込まれる。また仮想カメラのパラ
メータは仮想カメラ操作器１５８を操作することで仮想
カメラコントローラ１５９が作り出す。仮想カメラが動
く場合はこの仮想カメラコントローラ１５９が現在のフ
ィールドに対応したカメラパラメータを作り出す。この
パラメータはカメラヘッドと同様にＣＰＵバス１５６を
介してメインコントローラ１５７に読み込まれる。メイ
ンコントローラ１５７では、３次元データをもとにそれ
ぞれのヘッドに応じて変換面を計算し、変換パラメータ
を求める。この変換パラメータはＣＰＵバス１５６を介
して画像変換ユニット１６０へ書き込まれる。この画像
変換ユニット１６０は図６で示した画像変換用回路であ
り、変換に必要な画像の数だけ並んでいる。同期コント
ローラ１５４とタイミングジェネレータ１５５では、そ
れぞれ書き込みアドレスと読み出しアドレスのカウンタ
をもっている。複数のカメラヘッドを同時に使って撮影
した場合などではこれらのカウンタを共通にできる場合
もある。画像変換ユニット１６０ではこれら同期コント
ローラ１５４からの書込みアドレスとタイミングジェネ
レータ１５５からの読み出しアドレスとカメラヘッドか
らの画像とでそれぞれのヘッドに応じた画像を作り出
す。またカメラヘッドで対象物体を背景と分離するコン
トロールデータ信号を作り出す。はっきりと背景から対
象物体を抜き出せる場合は１ビットでもよいが、複数ビ
ットとすれば境目をぼかすこともできる。画像データと
同様にこのコントロールデータ信号もまた変換される。

【００９０】一方仮想カメラデータをもとに、背景を背
景用計算機１６１が計算し背景画像メモリ１６２に書き
込む。この計算は大抵の場合かなりの計算量となるた
め、この例では専用の計算機としている。背景画像メモ
リ１６２からはタイミングジェネレータ１５５に同期し
て背景の画像１６５が得られる。

【００９１】以上のようにしてそれぞれのヘッドに応じ
て変換された画像１６３と対象物体と背景の関係を表わ
すコントロールデータ１６４および、背景画像１６５が
得られる。

【００９２】メインコントローラ１５７では、それぞれ
のヘッドからの３次元データをつかって、それぞれの変
換面を計算するが、その時点で、それらの変換面の前後
関係がわかる。

【００９３】たとえばサッカーの場合は、３人の選手を
それぞれ別のカメラヘッドが追尾している場合、仮想カ
メラからの画像に変換すると図１７のような画像が得ら
れる。この図１７のＡ、Ｂ、Ｃが仮想カメラの画像で、
Ａ′、Ｂ′、Ｃ′は画像の対象物体である選手を背景か
ら切りだした１ビットの画像コントロール信号を示す。
画像コントロール信号は背景と対象物体の区別につか
う。それぞれの選手の３次元位置から、仮想カメラの位
置から見たときに図１８のような前後関係であったとす
る。選手Ａがもっとも手前で次に選手Ｂ、一番奥が選手
Ｃである。それぞれの距離は変換の時に変換マトリクス
として画像の変換に含まれている。今問題としているの
は前後関係である。前後関係が求まると、メインコント
ローラ１５７はプライオリティテーブル１６６にこの関
係を書き込む。このプライオリティテーブル１６６の値
に応じてイメージセレクタ１６７が変換された画像を切
り替えて仮想カメラ画像出力とする。画像コントロール
データが１ビットで、対象物体があるないだけの情報で
あればイメージセレクタ１６７は単なるセレクタでよい
が、画像コントロールデータが複数のビットを持ってい
て対象物体の周辺をぼかす場合は単なるセレクタだけで
はなく、それぞれの画像データに係数を乗して加え合わ
せる演算装置が必要である。

【００９４】ここでは簡単にするため画像コントロール
データは１ビットとした場合を説明する。図１９のよう
な位置関係の時、プライオリティテーブル１６６は図２
０のようになる。これは選手の位置関係が決まればその
フィールドでは固定となる。（フィールド単位で更新さ
れる）テーブルの入力は、それぞれの画像コントロール
信号である。この例では１ビットであるから１か０であ
る。１の場合対象物体で、０の場合は背景とする。プラ
イオリティテーブル１６６の出力はイメージセレクタ１
６７を制御し、対応する画像を出力する。この例では０
の時背景画像が選択され、１の時選手Ａの画像が選択さ
れ、同様に２の時選手Ｂ、３の時選手Ｃが選択されるよ
うになっている。これによって出力画像のそれぞれの画
素で、テーブルを参照することでどの画像を出力するか
決定する。

【００９５】たとえば画素１８１では、図１７でわかる
ように、画像コントロール信号はすべて０であるから背
景の画像が選択される。画素１８２では選手Ａを撮影し
ているヘッド１の画像コントロール信号だけが１である
からイメージセレクタ１６７へは１となってヘッド１の
画像つまり選手Ａの画像が選択される。また画素１８３
ではヘッド２とヘッド１ともに画像コントロールデータ
は１であるが、テーブルからヘッド１が選択される。こ
のようにして画像の前後関係をつけると図１９のように
なりあたかも実際に撮影したように手前の選手に後ろの
選手が隠れた映像が得られる。

【００９６】画像コントロールデータが複数のビットを
持っているときはテーブルの出力はセレクトするヘッド
の番号ではなく、それぞれのヘッドの画像の重み係数ｋ
１，ｋ２，ｋ３，．．．．とし次の（１０）式 出力＝（ヘッド１）×ｋ１＋（ヘッド２）×ｋ２＋（ヘッド３）×ｋ＋・・・ ・・ （１０） のような計算で求めることができる。１ビットのときは
これらの係数が１と０だけと考えることもできる。

【００９７】上述のように画像の前後関係についてプラ
イオリティテーブル１６６を用いたのは、それぞれの画
素ごとにその前後関係を判断するとなると、高速な比較
演算が必要であるのに対して、プライオリティテーブル
は、画像コントロール信号によりどの画像が出力される
かを１フィールドごとに簡単に構成でき、その容量も小
さくてすみかつその書き替えも簡単であるため、実用的
な速度で仮想カメラの画像を出力することができるため
である。

【００９８】以上は１台の仮想カメラについて考慮した
が、複数の仮想カメラの画像が必要な場合は上記を必要
数行なえば良い。その場合共有にできるのはカメラヘッ
ドからの映像、３次元データと背景のデータくらいで変
換パラメータや、背景画像は、仮想カメラパラメータに
よって異なるため共有化はむずかしい。結局仮想カメラ
を複数使う場合はそれぞれにほとんど同じ規模のハード
ウエア、ソフトウエアが必要になり、それらが平行して
動作するようなシステムとなる。

【００９９】〔第４実施例〕上記の変換では変換面は、
仮想カメラと撮影するカメラヘッド、対象物体の位置か
ら決まっていたが、この変換面をそれらとは別の３次元
情報を使って決め、さらに変換面に投影された画像をふ
くめ変換面自体に変形を加えることができる。

【０１００】たとえば陸上競技のトラック競技のように
選手の移動する範囲が決まっている場合など、図２１の
ように変換面をトラックの中心を通りトラックに垂直な
曲面とすることができる。図２１のように画像を撮影す
る計測カメラヘッドをトラックの内側から撮影するよう
にすると、ヘッドは常に選手のほぼ真横から撮影するこ
とになる。同様に図２２では直線のトラックを走る選手
を撮影した場合で、このときも変換面をトラックの中央
をとおる平面とすることができる。

【０１０１】次に、図２１のようなカーブを走る選手
と、図２２のような直線を走る選手を比較したい場合、
変換面を変形することで比較のための映像を得ることが
できる。例えば図２３のように曲面であった変換面に画
像を投影し、投影された画像を含めたその面を直線に引
き延ばす変形を行なう。これによって図２２のような直
線コースを走ったときと同様な変換面となり、たとえば
図２２の選手の隣のトラックに引き伸ばした変換面をも
っていき仮想カメラで撮影することで、曲線コースと直
線コースの選手を比較できる。仮想カメラは任意の位置
で観察できるから、選手と同時に真横から見るように仮
想カメラを動かすとペースの違いや、姿勢の違いなどが
良くわかる画像となる。

【０１０２】この第４実施例をスピードスケートの撮影
に用いる場合を考えると、その効果が理解できる。スピ
ードスケートは、インコース、アウトコースで曲線コー
スの取り方が変わってくる。そのため、例えば５００ｍ
競技の場合、インコーススタート選手とアウトコースス
タート選手との前後関係は最後のホームストレートコー
スに入らないと見た目でも分からない。これを上述のよ
うに曲線コースも直線コースを走ったように引き伸ばし
て仮想カメラの画像とすれば、コースが異なる選手でも
同じに比較することができる。また、スピードスケート
は異なる時刻に選手ごとに滑走するものであるため、選
手を比較する場合、異なる時刻に滑走する選手を同時に
写して表示したい場合が多い。このため、本実施例では
異なる時刻に滑走した選手の画像を同時にしかも比較し
易い直線コースを滑走するものとして写すこともでき、
従来はできなかった画像で競技を見ることができる。

【０１０３】曲線コースを走る選手の変換面を上記では
曲面としたがこれを、図２４のようにカーブがそれほど
きつくなければその曲面と選手の位置で接する平面とし
ても良い。この変換平面は選手と同時にトラックの中心
を移動する。このように平面とすることで前述した変換
の式、ハードウエアがそのままつかえるようになる。

【０１０４】また背景として、変換曲面上に距離目盛り
や、記録を持っている選手の位置をコンピュータグラフ
ィックスで書き込むこともできる。変換面の変形のとき
にはこれらも同時に変形することで位置関係を保ったま
ま、ほかのトラックの選手と比較できる。

【０１０５】〔第５実施例〕通常、３次元座標を得るた
め同一点を複数の計測ヘッドが撮影する。そのため１つ
の対象物体の画像は複数のカメラヘッドから得られる場
合が多い。仮想カメラの画像を作り出す場合にどのヘッ
ドからの画像をもとにするかは、あらかじめ設定してお
いてもよいが、もっとも自然な画像が得られるようにす
るためには複数のヘッドの画像を利用するのが良い。

【０１０６】画像の変換による画像の歪みは、変換面と
撮影カメラ、変換面と仮想カメラそれぞれのなす角度に
大きく依存する。つまりそれぞれのカメラの主軸と変換
面が垂直に近いほうが歪みが小さい。対象物体が移動し
たり、仮想カメラが移動したりするとそれぞれの角度は
変化する。したがって少しでも自然な画像とするために
は、複数のカメラヘッドがある場合、画像を切り替える
のが有効である。例えば図２５（ａ）は、１００ｍ走を
計測した場合である。対象物体である選手を、２台のカ
メラヘッドＨ１、Ｈ２で追尾している。仮想カメラＶＣ
をこの図ではヘッドと同じ側から選手と一定距離を保つ
ように選手と平行に動かす。スタートライン付近では、
仮想カメラとヘッドＨ１のなす角度の方が、ヘッドＨ２
よりも小さい。したがって仮想カメラの画像はヘッドＨ
１の画像をもとに変換したほうがよい。それに対して、
ゴール付近になると今度はヘッドＨ２のほうが仮想カメ
ラとなす角度が小さくなる。そのためヘッドＨ２の画像
を使ったほうがよい。また図２５（ｂ）では仮想カメラ
とヘッドは対象物体の反対側に位置する。したがって、
変換された画像は裏返しとなる。しかし、同様にそれぞ
れのヘッドと仮想カメラのなす角度でスタート近くでは
ヘッドＨ１、ゴール近くではヘッドＨ２の画像をもとに
変換するのが良い。

【０１０７】どのヘッドの映像を使うかの選択にはいま
のような仮想カメラとのなす角度が一番小さいものとす
る以外に、対象物体の位置に応じて切り替える方法があ
る。図２５（ａ）のような１００ｍ走の場合でも対象物
体の移動する範囲はあらかじめわかっているからたとえ
ば０から６０ｍまでＨ１、そこからＨ２といったように
切り替えることができる。この対象物体の位置による切
り替えは、テレビ中継でのカメラの切り替えと似ている
ため画像の切り替えによる不連続さは見慣れたものとな
る。

【０１０８】また、仮想カメラが動き回る場合もその位
置に応じて切り替えることができる。また、対象物体が
あまり動き回らないときでも姿勢が変化するものでは、
その姿勢に応じて見たい角度になるようにヘッドを切り
替えることができる。また、対象物体が時間に応じて変
化するような場合は時間に応じて切り替えることができ
る。

【０１０９】あるいは上記の切り替え条件の複数を総合
的に判断し切り替えることもできるたとえば対象物体の
位置と仮想カメラの位置を両方つかって一定の関係式あ
るいはテーブルでどのヘッドの画像を使うかを決めたり
できる。

【０１１０】次に画像の切り替え方式について述べる。
もっとも単純なのは切り替え条件が成立した時点でフィ
ールド単位で切り替えてしまう方法である。この場合ハ
ードウエア、ソフトウエアは非常に簡単で良いが、対象
物体の移動速度が小さい場合や、３次元計測のノイズが
多い場合などは複数の画像切り替えを繰り返し、見た目
に良くない場合がある。そのときは、切り替え条件にヒ
ステリシスを持たせると良い。例えば計測ヘッドＨ１の
画像からヘッドＨ２の画像に切り替える条件とヘッドＨ
２からヘッドＨ１に切り替える条件に幅をもたせ、途中
でばたばたと切り替わるのをふせぐ。

【０１１１】画像のなかで背景と対象物体がはっきりと
区別できる場合は、対象物体の画像だけを切り替えて使
うのがよい。切り替え前後で画像がまったく同じことは
ありえないためすこしでも影響を小さくする意味で画像
全体を切り替えるよりも対象物体だけの方が面積的に小
さく切り替えの影響を最小限にできる。その場合背景
は、合成して得られた背景には切り替えの影響はないか
ら、時空間マップにあるデータから合成して得られた背
景をつかうのがもっとも良い。

【０１１２】切り替えるヘッドどうしの位置が離れてい
たりして切り替える画像どうしの差が大きい場合、切り
替えた瞬間がはっきりとわかり不自然になる場合があ
る。その場合は完全に切り替える前に２つの画像から合
成した中間的な画像をつかって柔らかく切り替える。た
とえば画像の編集で良く行なわれるクロスフェードのよ
うな感じで切り替える。図２６のようにこれは切り替え
る２つの画像にそれぞれ重みをつけて加えることで実現
できる。図２６では、切り替え条件の例として仮想カメ
ラの位置によって切り替える場合ある。仮想カメラの位
置に応じて係数kが変化している。この係数を次の（１
１）式に入れ中間的な画像を作り出す。式（１１）は、
ヘッド１とヘッド２を切り替える場合である。切り替え
は画像は変換面を使って変換したあとのものを使う。

【０１１３】 出力画＝（変換後のヘッド１画像）・ｋ＋（変換後のヘッド２画像）・（１− ｋ） （１１） ところで、切り替え条件とかさなる条件のところを短時
間で通過してしまえば問題はないが、ちょうど中間的な
値の部分が長時間かかる場合は、切り替えの方向を考え
て、空間的な位置では切り替え条件の途中であっても、
一定時間でその切り替えを終了させてしまうことが必要
になる。またストップモーションや駒送りなど特殊再生
では切り替えを行なわないほうが自然な場合もある。そ
のため切り替え条件は複数用意して、再生方法や、撮影
条件で切り替え条件を選んだり、切り替えをやめるなど
の設定が必要となる。

【０１１４】ヘッドの切り替えを行なう場合、変換面も
また切り替えることになる。切り替えるヘッドどうしが
離れていたりすると、切り替え点での変換面の傾きが大
きく違う可能性がある。変換面の傾きは画像の歪みに大
きく関与するから、変換面の切り替えで画像が大きく変
化する可能性がある。そのため変換面の傾きや、位置を
切り替えの前後でなめらかに連続するようにすると良
い。図２７（ａ）ではヘッド２７１と仮想カメラＶＣの
間の変換面は２７３であるが、ヘッド２７２との間の変
換面は２７４でその角度が大きく違う。図２７（ｂ）で
は切り替え点での変換面は２７５で共通である。このよ
うに切り替えが予想される場合の変換面はたとえば仮想
カメラの光軸に垂直な面など仮想カメラに対して決定で
きるものを使ったほうが切り替えの時の変換面の移動が
なく計算が楽になる。

【０１１５】また、仮想カメラが移動するような画像
で、対象物体の位置により仮想カメラに近い方のヘッド
の画像ではなく、対象物体に近い方のヘッドの画像を用
い、対象物体が移動した場合に、その位置によってヘッ
ドの画像を切り替えることができる。例えば、図２８
（ａ）に示すように、対象物体がＡのエリアにいる場
合、仮想カメラＶＣがＡのエリアからＢのエリアに動く
場合、図２８（ｂ）に示すように仮想カメラがＢのエリ
アに動いてもなお対象物体がエリアＡにいる場合、仮想
カメラはヘッドＨ２に近いが、対象物体の画像は遠い方
のヘッドＨ１の方が対象物体に対する情報が多く、画像
変換する場合にはヘッドＨ２の画像より優れている場合
がある。この場合には対象物体の位置により切り替える
方式をとることができる。

【０１１６】

【発明の効果】このように、本発明は構成されるため、
次の効果がある。

【０１１７】（１）ジャンプやアルペン競技のように競
技者が３次元空間内を移動する競技を撮影して任意の位
置から撮像した画像として画像編集することができる。

【０１１８】（２）アメリカンフットボールやラグビー
のように競技者が倒れたりする競技であっても３次元画
像として画像編集できる。

【０１１９】（３）変換平面を移動物体を通過する面と
することで撮像する移動物体に適合する自然な画像変換
ができる。

【０１２０】（４）複数の撮像カメラを用いた場合に、
変換平面を一つの撮像カメラあるいは仮想カメラの光軸
に垂直の角度とすることで画像変換に伴う演算処理にお
いてパラメータを減らすことができるためその演算を簡
単化できる。

【０１２１】（５）撮像カメラは固定であり、仮想カメ
ラの空間位置を移動させるような場合に、仮想カメラが
撮像カメラの光軸と垂直になるような位置にくるような
場合であっても、変換面を撮像カメラの光軸と仮想カメ
ラの光軸との角度となす角度のたとえば半分となるよう
な角度にすることで仮想カメラの位置がどのような条件
であっても画像変換ができる。

【０１２２】（６）変換面として複数の撮像装置の視野
が構成する空間領域内の任意の面をとることができるた
め、移動物体が複数あった場合に、それぞれの移動物体
の位置に係わらず変換面を設定して仮想カメラの画像に
変換できる。

【０１２３】（７）背景画像も３次元情報としてもって
おり、この背景画像を仮想カメラの位置等のパラメータ
にしたがって変形して移動物体の画像と合成するため、
移動物体の背景も移動物体の動きにしたがって移動し、
３次元空間を移動するリアル感のある画像を合成でき
る。

【０１２４】（８）アルペンスキー競技のように、背景
が白色で立体感覚がつかみ難い場合の画像でも、前の競
技者の軌跡を背景画像として用いることで、競技状況を
認識しやすくなる。また前の競技者の画像を背景画像と
して残すことにより、前の競技者との比較が可能とな
る。

【０１２５】（９）サッカーのように複数の競技者が移
動するような競技を仮想カメラで撮像した画像に編集す
る場合に、その複数の競技者の仮想カメラに対する前後
関係がその動きによって前後するような場合であって
も、その前後関係を考慮して後ろの画像を隠れたものと
することができる。

【０１２６】（１０）複数の画像を用いてその前後関係
により一つの仮想カメラの画像に変換する場合に、移動
物体を背景から抜き出しているため、その合成が容易で
あり、また前後関係から後ろの画像をマスクする処理が
容易となる。

【０１２７】（１１）複数の撮像カメラで同一の移動物
体を撮像した画像を仮想カメラの画像に変換する場合
に、仮想カメラの撮像条件にもっとも適合する撮像カメ
ラの画像を用いて変換するので、仮想カメラが移動する
ような場合でも自然な画像が得られる。

【０１２８】（１２）仮想カメラが移動し複数の撮像カ
メラで撮像した画像を切り替えながら画像変換する場合
でも、その切り替え条件がヒステリシスになっているた
め、中間領域で切り替えが頻発して画像が悪化すること
はない。

【０１２９】（１３）移動物体がゆっくり移動している
場合に、仮想カメラも移動しながら撮像カメラの画像を
切り替える場合にも、切り替えを急激に行うことで、見
た目にその切り替えが不自然ではないようにできる。

【０１３０】（１４）二つの撮像カメラの中間領域の部
分は二つの撮像カメラの画像情報を平均化した画像を合
成し、これを変換面に投影して仮想カメラの画像に変換
するためその切り替えが不自然にはならない。

【０１３１】（１５）変換面として平面ではなく曲面を
用いることで、トラック競技やスピードスケートのよう
に曲線コースを用いる競技を撮影している場合でも、曲
線コースと直線コースとを同じに扱うことができるた
め、競技者の比較が容易にできる。特に曲線コースの内
側から撮った画像で処理すると、曲線コースを直線コー
スに変換でき、例えばスピードスケートのコース別の競
技者や別の時刻に行われた競技者の動作を比較が一目で
可能である。

【０１３２】（１６）先願のように拘束平面を使用して
３次元位置を求めて画像処理を行う場合に拘束平面とは
別に変換面を選択することでより自然な画像を得ること
ができる。

【図面の簡単な説明】

【図１】本発明第１実施例でジャンプ競技を計測する場
合の様子を示す図。

【図２】本発明第１実施例の画像処理装置の構成を示す
ブロック図。

【図３】撮像された画像を変換面を介して仮想カメラの
画像へ変換する様子を説明する図。

【図４】カメラヘッドの座標から仮想カメラへの座標変
換を説明する図。

【図５】座標系の変換を示す図。

【図６】座標変換を行うための画像変換ユニットの構成
を示すブロック図。

【図７】二つのカメラヘッドで対象物体を撮影するとき
の様子を示す図。

【図８】二つのカメラヘッドの視野が構成する領域を説
明する図。（ａ）は視野が同じ場合の例、（ｂ）は視野
が異なる場合の例。

【図９】一つの撮影カメラの光軸に垂直な平面を変換面
とした場合を説明する図。

【図１０】撮影カメラと仮想カメラとのなす角度の半分
の位置に変換面を設定した場合を説明する図、（ａ）
は、撮影カメラと仮想カメラとのなす角度の半分に平行
に変換面を設定した場合、（ｂ）は撮影カメラと仮想カ
メラのなす角度の半分に垂直に変換面を設定した場合の
例。

【図１１】ジャンプ選手を通過する面を変換面とした
例。

【図１２】二人のジャンプ選手を同時に重ねて表示した
例を示す図。

【図１３】回転競技の場合に作成する背景の立体モデル
の例を示す図。

【図１４】背景としてスキーの軌跡を用いる場合および
選手の映像を背景として用いる例を示す図。

【図１５】第３実施例の複数の競技者をそれぞれの追尾
ヘッドで追尾する場合の変換を説明する図。

【図１６】第３実施例に用いる画像編集ユニットのブロ
ックを示す図。

【図１７】第３実施例の３つのヘッドからの画像例とそ
の画像コントロール信号を示す図。

【図１８】第３実施例の仮想カメラ位置と３つのヘッド
画像から変換した仮想カメラ画像との関係を示す図。

【図１９】図１７の３つの仮想カメラ画像から合成した
画像例を示す図。

【図２０】第３実施例のプライオリティテーブルの例と
その出力画像を説明する図。

【図２１】曲線上の走行している対象物体に変換面とし
て曲面を用いる例を説明する図。

【図２２】直線上を走る選手を撮像している例を示す
図。

【図２３】曲面を変換面とする画像を直線に引き伸ばす
様子を説明する図。

【図２４】曲面上を走行する選手を変換面を平面として
直線上を走行する画像に変換する様子を説明する図。

【図２５】第５実施例の二つのヘッドで追尾して撮影し
た画像を移動する仮想カメラの画像に変換する場合を説
明する図、（ａ）は仮想カメラがヘッドと同じ側にある
場合、（ｂ）は仮想カメラがヘッドとは反対側にある場
合の例。

【図２６】第５実施例の画像を切り替える場合に二つの
ヘッドの中間領域で中間的な画像を生成する場合の係数
ｋの変化を示す図。

【図２７】画像を切り替える場合の変換面のヘッドに対
する角度を説明する図、（ａ）は二つのヘッドと仮想カ
メラとの変換面の角度が異なる場合、（ｂ）は二つのヘ
ッドと仮想カメラの変換面が共通の場合。

【図２８】対象物体の存在する領域によりヘッドの画像
を切り替える場合を説明する図。

【符号の説明】

１１、１２ カメラヘッド １３ 記録ユニット １４ 画像編集ユニット １５ ３次元位置演算ユニット １６ タイムベースユニット １７ 仮想カメラコントローラ １８ 仮想カメラ画像 ３１、３２ カメラヘッド ３３ 仮想カメラ ３４ 変換面（投影面） ４１ アドレス計算ユニット ４２ 画像データテーブル ４３〜５１ 係数レジスタ ５２、５３ 割算器 ５５、５６ コンパレータ １５１、１５２、１５３ カメラヘッド／記録ユニット １５４ 同期コントローラ １５５ タイミングジェネレータ １５６ ＣＰＵバス １５７ メインコントローラ １５８ 仮想カメラ操作器 １５９ 仮想カメラコントローラ １６０ 画像変換ユニット １６１ 背景用計算機 １６２ 背景画像メモリ １６６ プライオリティテーブル １６７ イメージセレクタ １８１、１８２、１８３ 画素 ２７３、２７４、２７５ 変換面

フロントページの続き (56)参考文献 特開 平２−84889（ＪＰ，Ａ) 特開 平６−105231（ＪＰ，Ａ) 特開 平６−105340（ＪＰ，Ａ) 特開 平５−91409（ＪＰ，Ａ) 特開 平６−34343（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/262 - 5/28 G06T 1/00 G06T 17/40 H04N 1/38 - 1/393 H04N 13/00 - 17/06

Claims (16)

(57)【特許請求の範囲】
1. 【請求項１】 １または複数の移動物体を撮像し当該移
   動物体の位置の３次元空間情報とともに出力する撮像手
   段と、 この撮像手段の出力画像を前記３次元空間情報を用いて
   処理する画像編集手段とを備えた動画像処理装置におい
   て、 前記画像編集手段は、 前記３次元空間情報に基づいて撮像された移動物体の画
   像を当該移動物体が移動する空間内の一つの変換面に投
   影し投影された画像を前記撮像手段とは異なる空間位置
   または異なる時間軸に存在する仮想の撮像手段で撮像さ
   れた画像と等価な画像に変換する画像変換手段を備え、 この画像変換手段は、 １画像単位で前記画像変換を行う演算手段と、 前記変換面として前記移動物体の移動にしたがって異な
   る空間位置の変換面を用いる手段とを含み、 前記変換面は平面であり、一つの撮像手段のカメラの光
   軸と仮想の撮像手段のカメラの光軸とがなす角度の所定
   角度以下で前記二つのカメラの光軸と交叉する面である
   ことを特徴とする動画像処理装置。
2. 【請求項２】 複数の撮像手段を備え、この複数の撮像
   手段が交差する３次元空間内の平面または曲面のいずれ
   かを前記変換面に設定する手段を含む請求項１記載の動
   画像処理装置。
3. 【請求項３】 変換面は撮像される移動物体を通過する
   平面である請求項１または２記載の動画像処理装置。
4. 【請求項４】 １または複数の移動物体を撮像し当該移
   動物体の位置の３次元空間情報とともに出力する撮像手
   段と、 この撮像手段の出力画像を前記３次元空間情報を用いて
   処理する画像編集手段とを備えた動画像処理装置におい
   て、 前記画像編集手段は、 前記３次元空間情報に基づいて撮像された移動物体の画
   像を当該移動物体が移動する空間内の一つの変換面に投
   影し投影された画像を前記撮像手段とは異なる空間位置
   または異なる時間軸に存在する仮想の撮像手段で撮像さ
   れた画像と等価な画像に変換する画像変換手段を備え、 この画像変換手段は、 １画像単位で前記画像変換を行う演算手段と、 前記変換面として前記移動物体の移動にしたがって異な
   る空間位置の変換面を用いる手段とを含み、 前記変換面は曲面を含むことを特徴とする 動画像処理装
   置。
5. 【請求項５】 曲面上に投影された移動物体の画像を平
   面上の画像に変換する手段を含む請求項４記載の動画像
   処理装置。
6. 【請求項６】 １または複数の移動物体を撮像し当該移
   動物体の位置の３次元空間情報とともに出力する撮像手
   段と、 この撮像手段の出力画像を前記３次元空間情報を用いて
   処理する画像編集手段とを備えた動画像処理装置におい
   て、 前記画像編集手段は、 前記３次元空間情報に基づいて撮像された移動物体の画
   像を当該移動物体が移動する空間内の一つの変換面に投
   影し投影された画像を前記撮像手段とは異なる空間位置
   または異なる時間軸に存在する仮想の撮像手段で撮像さ
   れた画像と等価な画像に変換する画像変換手段を備え、 この画像変換手段は、 １画像単位で前記画像変換を行う演算手段と、 前記変換面として前記移動物体の移動にしたがって異な
   る空間位置の変換面を用いる手段とを含み、 前記変換面は撮像される移動物体が移動する３次元空間
   内のあらかじめ定められた立体表面であることを特徴と
   する 動画像処理装置。
7. 【請求項７】 １または複数の移動物体を撮像し当該移
   動物体の位置の３次元空間情報とともに出力する撮像手
   段と、この撮像手段の出力画像を前記３次元空間情報を
   用いて処理する画像編集手段とを備えた動画像処理装置
   において、 前記画像編集手段は、 前記３次元空間情報に基づいて撮像された移動物体の画
   像を当該移動物体が移動する空間内の一つの変換面に投
   影し投影された画像を前記撮像手段とは異なる空間位置
   または異なる時間軸に存在する仮想の撮像手段で撮像さ
   れた画像と等価な画像に変換する画像変換手段と、 前記移動物体とは別に３次元情報の背景画像を記憶する
   背景画像記憶手段と、 前記背景画像に基いて前記仮想撮像手段のカメラの空間
   的または時間軸パラメータにしたがう背景画像を生成し
   前記仮想の撮像手段で撮像された画像と等価な移動物体
   の画像とを合成する背景合成手段とを含み、 前記画像変換手段は、 １画像単位で前記画像変換を行う演算手段と、 前記変換面として前記移動物体の移動にしたがって異な
   る空間位置の変換面を用いる手段とを含み、 背景画像記憶手段は、移動物体の軌跡を背景画像として
   記憶する手段を含み、背景合成手段は、この記憶された
   軌跡を他の移動物体の背景画像としてその他の移動物体
   の動画像に合成する手段を含むことを特徴とする 動画像
   処理装置。
8. 【請求項８】 １または複数の移動物体を撮像し当該移
   動物体の位置の３次元空間情報とともに出力する撮像手
   段と、この撮像手段の出力画像を前記３次元空間情報を
   用いて処理する画像編集手段とを備えた動画像処理装置
   において、 前記画像編集手段は、 前記３次元空間情報に基づいて撮像された移動物体の画
   像を当該移動物体が移動する空間内の一つの変換面に投
   影し投影された画像を前記撮像手段とは異なる空間位置
   または異なる時間軸に存在する仮想の撮像手段で撮像さ
   れた画像と等価な画像に変換する画像変換手段と、 前記移動物体とは別に３次元情報の背景画像を記憶する
   背景画像記憶手段と、 前記背景画像に基いて前記仮想撮像手段のカメラの空間
   的または時間軸パラメータにしたがう背景画像を生成し
   前記仮想の撮像手段で撮像された画像と等価な移動物体
   の画像とを合成する背景合成手段とを含み、 前記画像変換手段は、 １画像単位で前記画像変換を行う演算手段と、 前記変換面として前記移動物体の移動にしたがって異な
   る空間位置の変換面を用いる手段とを含み、 背景画像記憶手段は、ある時刻の移動物体の画像を背景
   画像として記憶する手段を含み、背景合成手段は、この
   記憶されたある時刻の移動物体の画像を他の移動物体の
   背景画像として当該移動物体の画像に合成する手段を含
   むことを特徴とする 動画像処理装置。
9. 【請求項９】 複数の移動物体を撮像し当該移動物体の
   位置の３次元空間情報とともに出力する複数の撮像手段
   と、この撮像手段の出力画像を前記３次元空間情報を用
   いて処理する画像編集手段とを備えた動画像処理装置に
   おいて、 前記画像編集手段は、前記３次元空間情報に基づいて撮
   像された移動物体の画像を当該移動物体が移動する空間
   内の一つの変換面に投影し投影された画像を前記撮像手
   段とは異なる空間位置または異なる時間軸に存在する仮
   想の撮像手段で撮像された画像と等価な画像に変換する
   画像変換手段を備え、 この画像変換手段は、１画像単位で前記画像変換を行う
   演算手段と、前記変換面として前記移動物体の移動にし
   たがって異なる空間位置の変換面を用いる手段とを含
   み、 前記撮像手段は、それぞれの撮像手段で複数の移動物体
   のいずれかを撮像する手段を含み、前記画像編集手段
   は、この撮像された複数の移動物体の画像を前記仮想撮
   像手段の仮想カメラの位置からみた前後関係に基づいて
   合成する手段を含む ことを特徴とする動画像処理装置。
10. 【請求項１０】 前後関係に基づいて合成する手段は、
    １画像単位で複数の対象物体の前記仮想の撮像手段に対
    する前後関係を指定するテーブルと、このテーブルを参
    照して前の画像を出力し、後の画像をマスクする手段と
    を備える請求項９記載の動画像処理装置。
11. 【請求項１１】 画像編集手段は、撮像手段が撮像した
    画像から撮像対象の移動物体を背景から抽出する手段を
    含む請求項９または１０記載の動画像処理装置。
12. 【請求項１２】 １または複数の移動物体を撮像し当該
    移動物体の位置の３次元空間情報とともに出力する複数
    の撮像手段と、 この撮像手段の出力画像を前記３次元空間情報を用いて
    処理する画像編集手段とを備えた動画像処理装置におい
    て、 前記画像編集手段は、 前記３次元空間情報に基づいて撮像された移動物体の画
    像を当該移動物体が移動する空間内の一つの変換面に投
    影し投影された画像を前記撮像手段とは異なる空間位置
    または異なる時間軸に存在する仮想の撮像手段で撮像さ
    れた画像と等価な画像に変換する画像変換手段を備え、 この画像変換手段は、 １画像単位で前記画像変換を行う演算手段と、 前記変換面として前記移動物体の移動にしたがって異な
    る空間位置の変換面を用いる手段とを含み、前記複数の撮像手段は同一移動物体を撮像する手段を備
    え、 前記画像変換手段は、前記複数の撮像手段の出力する画
    像のうち、前記仮想の撮像手段のカメラに適合する条件
    の画像を選択し、その撮像条件の変化によって複数の撮
    像手段の出力する画像を切り換えて変換する手段を含む
    ことを特徴とする動画像処理装置。
13. 【請求項１３】 仮想の撮像手段のカメラの撮像条件に
    もっとも近い条件の撮像手段の画像を選択する請求項１
    ２記載の動画像処理装置。
14. 【請求項１４】 移動物体に対する仮想の撮像手段のカ
    メラがなす角度に従って複数の撮像手段の出力画像を切
    り換える手段を含む請求項１２記載の動画像処理装置。
15. 【請求項１５】 撮影対象の移動物体がある空間領域に
    存在する場合に、前記撮像手段の一つがその空間領域を
    撮像し、仮想カメラの位置から遠い位置にある場合であ
    っても、その移動物体が存在する空間領域を撮像してい
    る撮像手段の少なくとも一つの画像を用いる請求項１２
    記載の動画像処理装置。
16. 【請求項１６】 画像の切り替えにはヒステリシスが設
    けられている請求項１２ないし１５のいずれか記載の動
    画像処理装置。