JPH07184115A - 画像表示装置 - Google Patents

Abstract

(57)【要約】 【目的】 競技者あるいは演技者である観察者に実際に
撮像された他人の動作がその競技者あるいは演技者の位
置から見える画像として表示できるようにして、動作者
自身で比較対象となる動作を見ながら動作できるように
する。また観察者の位置により表示される仮想物体の見
え方をかえることができるようにする。 【構成】 観察者を計測して３次元情報を抽出し、その
３次元情報に基づいて、その観察者から見える画像とな
るようにスクリーンに投影する画像を変換して、観察者
の位置とは別の場所から投影する。観察者の３次元情報
に基づいて観察者の位置から見える画像に変換して表示
する。 【効果】 観察者は臨場感のある雰囲気で動作でき、競
争者等を認識しながら動作することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、移動物体を撮像し、そ
の画像に特殊効果を加えて編集する装置に利用する。ま
た、移動する観察者に対してその観察者から見える仮想
物体を投影等で表示させる装置に利用する。本発明は、
例えばスポーツなどで選手を撮影する場合に、編集した
あとで加えられる仮想物体を被写体であるその選手にも
撮影しながら認識できるようにする場合に利用する。ま
た、映画等の特殊効果で編集される画像を撮影する場合
に編集で加えられる仮想物体をみながら被写体の俳優が
演技する場合に利用される。

【０００２】

【従来の技術】出願人は３次元空間座標（以下３次元情
報という）を計測しながら移動物体を撮影し、その対象
物体の画像と３次元情報および時間とを同時に取り扱っ
て特殊画像編集を行い、別の時空間に存在する仮想の撮
像手段（以下仮想カメラという）から撮影した画像を生
成する技術を提案した（特願平５−２２１３６３、特願
平５−３０９４７３、出願時に未公開）。この技術で
は、別の時空間での記録や時空間の画像とを表示して比
較することができる。

【０００３】

【発明が解決しようとする課題】しかし、スポーツの練
習では、ライバル選手や比較すべき記録の選手と比較す
る場合に、画像による編集で、複数の選手を比較しなが
ら見ることは可能であるが、実際に動いている選手自身
は、比較すべき選手が隣にいるわけではないため、選手
自身が比較しながら競技を行うことはできず、実際に並
んで競技をしているという実感がない問題がある。

【０００４】また、競技中にペース調整を行う場合でも
撮影している間は被写体となっている選手自身が判断す
るしかなかった。

【０００５】同様にテレビや映画等の特殊効果を使って
映像を作り出す場合に、俳優はなにもないスタジオで、
編集したあとに加えられるものを想像しながら演技しな
ければならなかった。

【０００６】上述の場合被写体の対象物体である選手や
俳優に、編集後に加えられる仮想物体を認識させるため
には、バーチャルリアリティの技術を用いればその画像
の中に入ることができるが、そのためにはその画像を表
示するゴーグル等の特殊な装置を装着することが必要で
あった。

【０００７】本発明の目的は、このような特殊な装置を
被写体に装着することなしに、被写体である観察者に編
集後に加えられる仮想物体を認識しながら動作させるこ
とができる画像表示装置を提供することにある。

【０００８】また本発明の他の目的は、実際に撮影され
た他人の動画像を観察者から見える形で表示し、観察者
自身がその他人の画像を見ていわば並んで競争するなど
の動作をすることができ、観察者自身に臨場感を与える
ことができる画像表示装置を提供することにある。

【０００９】また本発明の他の目的は、観察者の３次元
位置から見える画像を表示することで観察者そのものが
その仮想の画像内に入り込んで自然な演技や動作を行う
ことが可能な画像表示装置を提供することにある。

【００１０】

【課題を解決するための手段】本発明の第一の観点は、
観察者に対して観察者から見える画像を表示する画像表
示装置に係るもので、観察者の３次元情報を計測する計
測手段と、この計測された観察者の３次元情報に基づい
てこの観察者の視点位置から見える画像に等価な画像を
生成する画像生成手段と、この生成した画像を前記観察
者とは別の位置にある前記画像表示手段で表示したとき
に前記観察者の視点位置から見える画像に変換する画像
変換手段とを備えたことを特徴とする。

【００１１】本発明の第二の観点は、実写画像を用いて
これを観察者に表示する画像表示装置に係るもので、１
または複数の移動物体を撮像してその３次元情報ととも
に出力する撮像手段と、この移動物体の画像を当該移動
物体が移動する空間内の一つの変換面に投影された画像
を前記撮像手段とは異なる空間位置または異なる時間軸
に存在する仮想の撮像手段で撮像された画像と等価な画
像に変換する画像変換手段と、この画像変換された移動
物体の画像を表示する画像表示手段とを備えた画像表示
装置において、前記画像表示手段は、移動する観察者に
対して前記移動物体の画像を表示する画像表示手段であ
り、前記観察者の３次元情報を計測する計測手段を備
え、前記画像変換手段は、前記計測手段で計測した観察
者の３次元情報に基づいて、その観察者に対して表示す
る前記移動物体の画像がその観察者から見える画像と等
価な画像に変換する第一変換手段と、この変換された画
像を観察者とは別の位置にある投影手段から投影される
画像が前記観察者から見える画像と等価となる画像に変
換する第二変換手段とを含むことを特徴とする。

【００１２】なお、観察者の３次元情報を計測する計測
手段は、観察者を撮像してその観察者の３次元情報を計
測する装置であることができる。

【００１３】また、画像表示手段は、雲台を備えた１ま
たは複数のプロジェクタおよびそのプロジェクタの投影
するスクリーンで構成することができる。

【００１４】また、画像表示手段は、１または複数のデ
ィスプレイ装置であることもできる。

【００１５】また、複数のプロジェクタは観察者の位置
にしたがって切換られることができる。

【００１６】また、画像表示手段は、移動可能なスクリ
ーンを含み、このスクリーンの３次元情報を計測する計
測手段を備え、画像変換手段はこの計測手段で計測した
スクリーンの３次元情報に基づいて表示される画像変換
が行うことができる。

【００１７】また、観察者の３次元情報に基づいて、音
響効果音を発生する手段を設けることができる。

【００１８】また、前記観察者に対して表示する画像
は、１または複数の対象物体を撮像した画像であること
ができる。

【００１９】さらに、前記観察者に対して表示する画像
は、コンピュータグラフィクスによって生成された画像
であることができる。

【００２０】

【作用】移動する対象物体の３次元情報を計測し、その
画像とともに出力し、この３次元情報に基づいて任意の
時空間に存在する仮想カメラの画像に変換することがで
きる。この仮想カメラを移動する観察者の目であるとし
た場合、その観察者の３次元情報がわかれば、仮想カメ
ラの３次元情報が決まるため、今度は、仮想カメラの画
像をスクリーン等を変換面として投影器の画像に変換す
るという逆の手順で、その観察者（仮想カメラ）から見
えるはずの移動物体の画像を対象物体を撮影した画像か
ら生成して撮影とは逆に投影あるいは表示することがで
きる。本発明は先に出願人が提案した仮想カメラの技術
を応用して、さらに移動する観察者から見える画像をそ
の観察者の３次元情報に基づいて他の時空間の画像から
生成して表示するものである。

【００２１】まず、移動物体を撮像するときには、対象
物体の位置を計測するために高精度雲台と高精度ズーム
レンズ付きカメラを用いることにより、そのカメラの向
きと撮影された画像を用いて対象物体の３次元情報を求
めている。この雲台とレンズを用いることで、カメラの
代わりに動画投影器（たとえばビデオプロジェクタ）を
付ければ、カメラで撮影したのとはまったく逆に撮影し
た画像を投影することができる。また編集操作において
仮想カメラの画像を得るためには仮想的な変換面に画像
を投影し、再撮影するのと同様な変換をリアルタイムで
行うことができた。

【００２２】これらの技術を用い、空間内にあるスクリ
ーンの位置とプロジェクタヘッドの位置と投影する画像
の仮想物体の空間内の位置が分かれば空間内のスクリー
ンに、観察者の方向から見たときに仮想物体が見えるよ
うな画像に変換して実際に投影することができる。この
投影された画像はリアルタイムで求められる３次元情報
で計算されてリアルタイムで変換され、動画像として投
影されるから観察者からみると仮想物体も動いているよ
うに見える。

【００２３】このような編集操作と投影等の表示によ
り、観察者に対して臨場感を与えることができる。

【００２４】

【実施例】

（第一実施例）図１は、本発明の原理を説明するための
図で、図２はこの図１を上の方から見たときの位置関係
を示すものである。

【００２５】符号１は観察者であり、この観察者１から
見た仮想物体３の間にスクリーン２が配置され、このス
クリーン２に投影器の投影中心６から投影像５を投影す
る。こうすると、観察者１からみると、スクリーン２に
投影された仮想物体の投影像４により仮想物体３を認識
できる。

【００２６】投影する画像は、観察者１の３次元情報、
スクリーン２の位置および投影器（プロジェクタ）の投
影中心６の位置ならびに仮想物体の３次元情報が分かれ
ば変換パラメータが決定できる。

【００２７】本発明の第一の観点の特徴は、観察者の視
点位置に対応する画像を表示する画像表示手段としてス
クリーンおよびプロジェクタを備えた画像表示装置にお
いて、観察者１の３次元情報を計測する計測手段と、こ
の計測された観察者１の３次元情報に基づいてこの観察
者の視点位置から見える画像に等価な画像を生成する画
像生成手段と、この生成した画像を前記観察者とは別の
位置にある前記画像表示手段で表示したときに前記観察
者の視点位置から見える画像に変換する画像変換手段と
を備えたことを特徴とする。

【００２８】図３は、この投影される画像変換の原理を
説明するためのものである。まず、別の時空間で仮想物
体を撮影した場合、カメラヘッド（ＭＨ）２２でその３
次元情報とともに仮想物体（移動する対象物体）を撮影
する。これを観察者１の視点を仮想カメラとして画像変
換を行う。この画像変換については、先願に係る特願平
５−２２１３６３あるいは特願平５−３０９４７３にお
いて説明している。この先願に係る仮想カメラの空間位
置等については任意に設定できたが、本実施例の場合、
観察者１の動きに依存しており、観察者１の視点を仮想
カメラの視点として扱う。この場合、観察者１について
はその視点を決めるために、別途３次元情報計測装置が
設けられており、例えば仮想物体を撮影したと同じ高精
度雲台およびズームレンズ等を用いたカメラヘッドによ
りその３次元情報が計測されている。

【００２９】この観測者１を仮想カメラとすると、カメ
ラヘッド２２で対象物体２１を撮影した画像を観察者１
から見たときの画像になるように変換面２３を用いて変
換する。この画像変換は先願に係る特願平５−２２１３
６３あるいは特願平５−３０９４７３において説明して
いる。この変換によって、対象物体２１の観察者から見
たときの画像が得られる。次にこの得られた画像を観察
者１を中心としてスクリーン２に投影することでスクリ
ーン２上の画像４が得られる。次にこの得られた画像４
をプロジェクタの投影中心６を使って投影像５に変換す
る。この場合スクリーン２が観察者１で撮影した画像を
プロジェクタの投影像５に変換する第二の変換面にな
る。

【００３０】このように３段階の画像の変換を行うこと
で、プロジェクタで投影すべき投影像５を得ることがで
きる。実際の変形では、面から面への投影の変形の繰り
返しであり、その画像変換は変換マトリクスによる座標
変換であり、その原理は特願平５−３０９４７３で詳し
く説明されている。この画像の変換はフィールド単位で
行うことで動画としてスクリーン２に投影することがで
きる。

【００３１】なお、仮想物体３をコンピュータグラフィ
クスで生成した場合、観察者１から仮想物体３をみたと
きのスクリーン上の画像４は、計算によりかなり正確に
求めることができるため、その像を作り出すような投影
像５と、プロジェクタの３次元データ（姿勢と画角）は
スクリーンを変換面とする１回の変換で行うことができ
る。

【００３２】一方プロジェクタは３次元情報計測に使用
できる精度でその姿勢を制御できる雲台に搭載されてお
り、さらに画角もまた正確に制御可能である。投影像は
たとえばビデオプロジェクタのようにブラウン管式の投
影方式や液晶プロジェクタなどを使うことでカメラと同
様にフィールド単位で像を更新することができる。この
ようなプロジェクタを用いれば３次元情報とその変換パ
ラメータをフィールド単位で求めることでスクリーン２
上に動画として投影することができる。

【００３３】観察者（選手）の位置は、選手を撮影する
カメラヘッドによって求められる。また仮想物体はコン
ピュータグラフィクスで合成するにしても、また３次元
情報計測を行うカメラヘッドを用いて撮影した画像を用
いるとしても、画像とともに必ず３次元情報が付随して
いる。したがって、スクリーン２の３次元空間での位置
と姿勢、およびプロジェクタの位置などのパラメータが
わかれば投影する画像の変換計算ができる。スクリーン
２の位置、プロジェクタのパラメータの求め方について
は後述する。

【００３４】観察者である選手はまた被写体でもある。
選手を計測カメラヘッドで撮影することで得られた画像
は、先に提案した動画像処理装置と同様に編集される。
この時に仮想物体の情報も加えられる。この様子を図
４、図５、図６に示す。

【００３５】図４ないし図６は直線のコースにスクリー
ン４２が設けられ、観察者である選手４１が走り、その
選手から見える比較対象の仮想の選手像をプロジェクタ
から投影し、この選手４１をカメラヘッドＭＨ１、ＭＨ
２で撮影する。撮影は図４のように行なわれる。選手４
１はスクリーン４２にそって走る。選手はそのとき２台
の計測カメラヘッドＭＨ１、ＭＨ２によって追尾され、
３次元位置の計測と画像の撮影が行なわれる。一方スク
リーン４２にはプロジェクタヘッドＰＨから仮想物体で
ある別の選手の像が投影される。この像の投影位置、大
きさあるいは像そのものは計測されている選手４１の位
置によって計算され、選手４１から見たときに、仮想物
体が想定した位置に見えるように投影される。計測カメ
ラヘッドによって撮影された選手の画像は図５のように
基本的に対象物体としての選手だけの像である。しか
し、編集された画像は図６のように選手だけでなく仮想
物体である別の選手の像が加えられる。また必要に応じ
て背景を加えることもできる。この編集操作もまた選手
の３次元データ、仮想物体の３次元データに基づいて行
なわれる。仮想物体である別の選手のスクリーン上の像
は、選手の位置をもとにして計算されるから、もしその
仮想物体が移動しないものであっても観察者の選手が移
動すれば投影される像の位置、形は変化する。これによ
って選手から見るとスクリーンに投影されているにも係
わらず、仮想物体の位置がスクリーンの位置ではなく、
設定した仮想物体の位置にあるように感じられる。した
がってスクリーンと選手の位置関係は、選手が投影され
たスクリーン像を見ることができる場所であればどこで
も良い。

【００３６】このような図４に示す選手４１の動作に対
応して仮想物体をスクリーン４２に投影する画像表示装
置のブロック図を図７に示す。

【００３７】この画像表示装置のブロック図において、
カメラヘッド７１、７２、３次元演算ユニット７３、画
像編集ユニット７４の構成およびこの画像編集ユニット
７４に与える背景画像を持つ背景データベース７５およ
び仮想カメラのデータを与える仮想カメラコントローラ
７６に係る構成は、先願にかかる特願平５−３０９４７
３の構成と同じである。

【００３８】この図７における特徴とする点は、図面の
下方部分に示される仮想物体を投影するための仮想物体
の画像およびその３次元情報をもつ仮想物体データベー
ス７７、スクリーンの３次元情報をもつスクリーンデー
タベース７８、仮想物体画像にプロジェクタの変換パラ
メータにより画像変換を行う画像変換ユニット８０、観
察者および仮想物体の３次元情報に基づいてプロジェク
タヘッドの制御を行うプロジェクタコントローラ７９、
このプロジェクタコントローラ７９の制御出力により変
換された仮想物体の画像をスクリーンに投影するプロジ
ェクタヘッド８１とを備えたことにある。このプロジェ
クタヘッド８１は、プロジェクタ８２、レンズ８３、プ
ロジェクタ８２を載置する雲台を制御する雲台モータ８
４、高精度のズーム機能の付いたレンズ８３を制御する
レンズモータ８５、この雲台モータ８４、レンズモータ
８５をサーボ制御するサーボ回路８６を含む。

【００３９】また、この画像表示装置は、音響効果を与
えることができ、サウンドデータベース８７と、観察者
の３次元情報および仮想物体の３次元情報により出力す
る音響を制御するサウンド制御パラメータを出力するサ
ウンドコントローラ８８と、このサウンド制御パラメー
タに基づいて出力する効果音を生成するディジタルシグ
ナルプロセッサ（ＤＳＰ）８９と、このＤＳＰ８９の出
力を増幅して出力するアンプ９０およびスピーカ９１を
備えている。

【００４０】その動作を説明する。

【００４１】選手４１の３次元位置は計測カメラヘッド
７１、７２と３次元演算ユニット７３で計算される。こ
の例では選手の３次元位置の計測に計測ヘッドを２台つ
かったが、対象物体の性質によっては拘束平面を使って
１台でもよく、また３台以上としてもよい。３次元デー
タの計測とともに画像の撮影も行なわれる。撮影された
画像と３次元データは画像編集ユニット７４で編集され
る。この編集操作については先願の特願平５−３０９４
７３での画像編集ユニットでの画像編集における画像変
換で説明したので、ここでは省略する。

【００４２】また、選手４１の３次元データは仮想物体
の計算にも使われる。仮想物体の画像および３次元デー
タは仮想物体データベース７７をアクセスすることで得
られる。このデータは適当な物理モデルとコンピュータ
グラフィクスで作っても良いが、この例では別の選手の
計測データを使っている。この仮想物体データベース７
７は、たとえばスタートの合図からの経過時間を指定す
ることで仮想物体の３次元データで画像を取りだせるよ
うになっている。また仮想物体を投影するスクリーンの
３次元データはあらかじめ測定しておきスクリーンデー
タとしてスクリーンデータベース７８に記録されてい
る。スクリーンを固定とした場合は、このデータは固定
値のテーブルとなるが、スクリーンもまた移動する場合
は、仮想物体データベースと同様たとえばスタート合図
からの経過時間をもとにスクリーンの３次元データが得
られるようになっている。

【００４３】プロジェクタコントローラ７９はこれらを
もとに、投影位置を計算しプロジェクタヘッド８１をコ
ントロールする。画像の変換パラメータを求め画像変換
ユニット８０を制御して仮想物体データベース７７から
の画像を変換し、プロジェクタ８２で投影する。この計
算を行なうときに問題となるのが、時間的なずれであ
る。選手の３次元位置は通常、数フィールド遅れで得ら
れる。また投影する画像のデータベースアクセスや、画
像変換や投影でも数フィールドの遅れが生じる。その時
間が問題とならないような遅い動きもあるが通常の人間
の動きであってもずれを感じる。そのため、制御にはフ
ィードフォワードの要素が必要になる。まず、仮想物体
のデータベースアクセスは、スタート合図からの時間で
行なわれるから、実際のスタート合図に先行して行なう
ことができる。さらに選手の３次元データは、選手の動
きを予測して先行して計算する。選手の動きの予測は、
図４の例のような単に走るだけの場合は簡単であるが、
複雑な動きの場合は物理モデルを考えるなどの工夫が必
要になる場合がある。また、特殊なカメラと特殊なビデ
オプロジェクタをつかってフィールド周期を高速にする
ことで遅れの時間を減らすことができる。この場合、仮
想物体データは、基本的に絶対時刻で３次元データは管
理されているからフィールド周期が異なっていても計算
は支障なくできるが、仮想物体データも高速フィールド
周期の方が画像の点で望ましい。

【００４４】プロジェクタヘッド８１は、基本的に計測
カメラヘッドのカメラをビデオプロジェクタに取り替え
たものである。像を投影するビデオプロジェクタ（プロ
ジェクタ８２）は、超高輝度ＣＲＴを使ったものや、液
晶シャッタを使ったものなどがあるが、フィールド周期
で投影する画像を更新でき、必要な輝度が得られれば基
本的に方式に制約はないが、動特性を良くすることを考
えると重量が軽く、振動に強い方式のものが良い。

【００４５】ビデオプロジェクタの画像はレンズ８３に
よってスクリーンへ投影される。このレンズは、画角を
正確にコントロールする必要がある。ビデオプロジェク
タ自体の解像度が十分にあり、また輝度も十分にあれば
レンズを画角は必要とされる最大の画角に固定してもよ
い。その場合でも画角は正確に求める必要があり、また
リモートコントロールで画角を制御できたほうが便利で
ある。カラー画像を投影する場合には、複数のビデオプ
ロジェクタと複数のレンズを組み合わせてもよい。その
ときは色ズレが生じないようにレンズの特性を良く合わ
せておくことが必要である。この例では液晶プロジェク
タを使うことで色の混合はプロジェクタ内部の光学系を
使い、投影レンズは１つとしている。レンズのコントロ
ールは、画角以外にフォーカスがあるが、スクリーンの
３次元データとプロジェクタヘッドの３次元データがわ
かっているからスクリーンとの距離は計算で求められ
る。この値をもとにレンズモータ８５でレンズ８３は駆
動される。スクリーンとプロジェクタに角度がつくと画
像の中で距離が異なってしまうため、披写界深度の大き
な光学系にしたほうが良い。

【００４６】これらのプロジェクタ８２とレンズ８３は
精密に角度をコントロールできる雲台に乗っている。画
像の回転については画像変換で行なうとすればこの雲台
は２自由度あればよく、計測ヘッドと同様なものがつか
える。この例では、動特性と精度を考慮しダイレクトド
ライブモータを２つ使った雲台としている。この雲台と
プロジェクタはプロジェクタコントローラ７９からの指
示にしたがって指定された姿勢になるようにサーボ系が
組まれている。十分な動特性がある場合、コントローラ
７９の指示と実際の雲台の姿勢の間にはずれがないが、
通常はずれがある。精度をあげるためにはこれを考慮
し、画像変換パラメータなどの計算には、コントローラ
７９の指示値ではなくプロジェクタヘッド８１の実際の
姿勢の値を使う必要がある。またプロジェクタ８２の解
像度が十分にある場合、必要な画角よりも広めの画角と
することで、仮想物体の像のスクリーン上の動きをプロ
ジェクタヘッドの動きだけでなく投影する画像の中での
動きで置き換えることもできる。このようにすることで
プロジェクタヘッド８１に要求される動特性を緩和する
ことができる。

【００４７】以上のような系をつかえば被写体である選
手に仮想物体を認識させることができるが、さらに臨場
感を高めるためこの例では音響効果を加えている。音響
効果は臨場感を高めるだけでなく、たとえばスタート合
図としてのスターターの声とかピストルの音など選手に
とって重要である。この例ではそれに加えて臨場感を出
すようになっている。実際の音をサンプリングしたり電
気的に合成したりした効果音のもとになるそれぞれの音
はサウンドデータベース８７に蓄えられている。これに
はスターターの声や、会場の歓声などが含まれる。また
その選手を応援する声など選手に固有のデータも含める
ことができる。選手の３次元位置がわかるからゴールに
近づくと歓声が大きくなるなどの制御ができる。この制
御をおこなうのがサウンドコントローラ８８である。選
手の３次元データと仮想物体である別の選手の３次元デ
ータをもとに追い抜きなどがわかるからその場合に選手
の応援の声を加えたり、歓声の音量を変化させたりす
る。このような操作を行なうのはデジタルシグナルプロ
セッサ（ＤＳＰ）８９である。このＤＳＰ８９には複数
のアンプ９０と複数のスピーカ９１が接続されていて、
音量、音質コントロールのほかに、複数のスピーカーを
使った音場のコントロールが可能となっている。音場の
コントロールでスピーカの位置と独立に音の方向などを
コントロールできる。選手の移動に伴ない、音の方向を
コントロールすることで応援席の前の通過や、別の選手
の追い抜きでの選手の息遣い音の移動などをリアルに再
現できる。また選手の近くにはスクリーンがあるが音場
コントロールをすることでスクリーンによる音の反射の
影響を減らし、スクリーンの存在感をすこしでも減らす
ことにも役立てることができる。

【００４８】本システムでは観察者である選手が被写体
で常にその位置が測定されているから、その位置に応じ
て周囲の状態を変化させることができる。したがって画
像や音以外にも観察者が認識できる刺激たとえば風のな
がれや、床を傾けたりして加速度を変化させたり、温度
や照明などを観察者の位置に応じて変化させることで、
さらに臨場感を盛り上げられる。

【００４９】（第２実施例）仮想物体が複数の場合、プ
ロジェクタヘッドを仮想物体の数だけ並べる方法もある
が、観察者から見て同じような方向に見える仮想物体
は、プロジェクタヘッドが投影する画像の変換処理で加
え合わせることができる。それぞれの仮想物体は３次元
データをもとに画像の変換を行なう。また同時にそれぞ
れの仮想物体の３次元データがあるから観察者から見た
ときの前後関係は計算できる。計算された前後関係に応
じて変換された画像を重ね合わせることで、複数の対象
物体を１つのプロジェクタの像とすることができる。複
数の仮想物体がある場合、図８のように仮想物体が静止
していたとしても、観察者の移動に伴なって重なり具合
が変化する。図８では３つの仮想物体を投影している。
この図でスクリーン２とプロジェクタヘッド９３は静止
している。仮想物体９４、９５、９６がこの図のような
位置関係にあるものとしてスクリーン２に投影される。
観察者１は図示されてはいないが、計測ヘッドによって
３次元データを計測されている。そして投影される画像
は観察者１の３次元データに基づいて合成されるのはい
うまでもない。観察者１がＡの位置にいた場合、スクリ
ーンに投影される画像は図９Ａのようになる。仮想物体
９５は仮想物体９４に隠れて見えない。また仮想物体と
観察者の距離が遠いため全体は小さい。観察者がＢの位
置に移動するとスクリーンの画像は図９Ｂのようにな
る。Ａの位置では隠れていた仮想物体９５が見えてく
る。さらに観察者がＣの位置に移動すると画像は図９Ｃ
のようになる。今度は仮想物体９６が隠れ、観察者との
距離が近くなって大きくなる。これらは観察者の位置を
もとに仮想物体のスクリーン上の画像を作り出したもの
であるから、平面画像である。しかし観察者にとってみ
れば自分の位置がかわると見え方が変化するため、立体
的な感じをうける。ちょうど部屋の中を歩き回ったとき
に窓からみえる外の景色が見る位置で変化するのと同じ
感じをうける。

【００５０】図８では、投影される画像はスクリーンの
一部分であったが、十分な解像度のプロジェクタで広い
画角で投影したり複数のプロジェクタを使うことで広い
範囲に投影することができるようになる。それによって
多くの仮想物体を配置することが可能となる。仮想物体
には移動物体および景色のような静止している物体の両
方がつかえる。これによってスクリーン全面の画像が観
察者の位置で変化させることができる。さらに観察者の
移動範囲をスクリーンで囲むことで、観察者からみた周
りの環境すべてを画像で合成できる。

【００５１】また計測カメラヘッドの視野を観察者全身
が写るようにして、手や足の関節や頭などにマーカをつ
けたりすることで、観察者の位置だけでなく姿勢や、指
の方向、頭の向きなどの３次元データも同時に得られ
る。この場合隠れたりすることがあるから計測カメラヘ
ッドは複数の方向から撮影することが必要となるときも
ある。このようにして観察者の位置と姿勢などをリアル
タイムで計測することができるからゴーグルや、データ
スーツのような特殊な装置を装着することなしにバーチ
ャルリアリティを実現できる。

【００５２】（第３実施例）観察者の移動に合わせて、
スクリーンに投影した仮想物体の像を移動させる場合、
観察者とスクリーンとプロジェクタヘッドの関係によっ
ては影ができる可能性がある。図１０のような配置の場
合プロジェクタヘッド１０２から投影すると、観察者１
の影が投影像に写ってしまうことになる。図４や図８よ
うにスクリーン２の背面から投影すれば影はできない
が、広い場所を必要とする。また図１１のようにプロジ
ェクタヘッドを平行移動すれば比較的場所は取らない
が、画像変換に必要な精度で位置がわかる平行移動機構
が大規模で複雑になる。また観察者１はその位置を１つ
あるいは複数の計測カメラヘッド１０３で測定されるこ
とが必要である。したがってスペースを有効に使うため
には、計測カメラヘッドとプロジェクタヘッドをスクリ
ーンの同じ側に配置できる必要がある。

【００５３】この実施例ではプロジェクタヘッドを複数
使い、１つのスクリーン画像を投影する。プロジェクタ
を動かす場合、その位置と姿勢をフィールド周期で画像
変換に必要な精度で知る必要がある。図１１のような平
行移動タイプでも位置と姿勢がわかるようになっていれ
ばつかえるが装置の規模が大きくなってしまう。この例
では図１２のように回転軸を２つ持っている極座標タイ
プのプロジェクタヘッドを使う。ビデオプロジェクタ１
２１は、ティルト軸モータ１２３とパン軸モータ１２４
の２つのモータで向きを変えられる。計測カメラヘッド
に比べてビデオプロジェクタは重いためベース１２５は
かなりしっかりと固定する必要がある。この例ではビデ
オプロジェクタ自体を回転させるが、ミラーなどを使え
ば回転部分は軽くすることもできる。またこの例では２
つの回転軸の交点に投影レンズ１２２の光軸がくるよう
になっているが、ずれていてもそのズレが回転によって
変化しなければ、画像変換の計算の時にズレを考慮する
ことで補正できる。

【００５４】図１０ではこのような２つの極座標タイプ
のプロジェクタヘッド１０１、１０２を使っている。い
まプロジェクタヘッド１０２から投影すると観察者の影
ができてしまうが、プロジェクタヘッド１０１は影にな
らずに像を投影できる。このように複数のプロジェクタ
ヘッドをつかえば観察者の位置によらずに常に仮想物体
の像を投影することができる。

【００５５】複数のプロジェクタヘッドをつかった場
合、切り替えが必要になってくる。観察者の位置をふく
め投影に必要な３次元データはすべて測定されているか
ら、どういう状態で投影に邪魔になるかは計算できる。
この例では、観察者が影を作るため観察者の位置と投影
位置の関係によってプロジェクタヘッドを切り替えれば
良い。また建物の柱などが邪魔になる場合はプロジェク
タヘッドの角度によって切り替えることができる。もっ
とも単純なのは切り替え条件が成立した時点でフィール
ド単位で片方のプロジェクタヘッドの画像からもう一方
のプロジェクタヘッドの画像へ切り替えてしまう方法で
ある。それぞれのプロジェクタヘッドはビデオプロジェ
クタであるからフィールド単位で画像を出したり、止め
たりすることには何の問題もなく切り替えは容易にでき
る。それに対して投影位置および画角を決定するのはメ
カニカルな機構であるため動きに制約がある。したがっ
て像を投影していないほうのプロジェクタヘッドであっ
ても切り替え時点で投影位置、画角が一致するようにメ
カの制御は切り替え前後で一定時間は連続して動かす必
要がある。切り替え条件を対象物体の３次元データをも
とに決める場合、どうしても誤差やノイズの影響があ
る。対象物体の移動速度が小さい場合や、３次元計測の
ノイズが多い場合などは複数の画像切り替えを繰り返
し、見た目に良くない場合がある。そのときは、切り替
え条件にヒステリシスを持たせると良い。例えばあるプ
ロジェクタヘッドの画像から別のプロジェクタヘッドの
画像に切り替える条件とその逆に切り替える条件に幅を
もたせ、途中でばたばたと切り替わるのをふせぐ。

【００５６】切り替えを行なうプロジェクタヘッドどう
しが離れている場合は、図１３のように投影範囲の形は
大きく異なる。投影位置はおなじでも右の方向からの投
影では範囲は１３１のような形になるのに対して、左の
方向からの投影では１３２のようになる。プロジェクタ
の画面いっぱいに映像がある場合、この投影範囲の形が
切り替えの瞬間大きく変化して不自然になる。そのため
切り替えが行なわれる場合、仮想物体の像としてつかえ
るのはこれらの共通領域である１３３の領域に限られ
る。なお、切り替えに伴なう画像の変化が許される場合
はこの限りではない。

【００５７】投影位置、画角に誤差が少なく、投影され
る像が共通領域に入っている場合で、解像度に十分な余
裕があり、色バランスが十分にとれている場合は、フィ
ールド単位で完全に切り替えてしまっても像の変化は小
さく不自然ではない。しかし投影位置、画角はメカニカ
ルに決めるためサーボの遅れなどでぴったりと一致させ
るのはむずかしく、さらに解像度に余裕があることは少
なく、色もばらつくため投影される画像に違いが出てし
まう。そのときに完全に切り替えると不自然さが出る場
合がある。その場合は完全に切り替える前に２つの画像
から合成した中間的な画像をつかって柔らかく切り替え
る。たとえば画像の編集で良く行なわれるクロスフェー
ドのような感じで切り替える。つまり切り替えの間は一
時的に複数のプロジェクタからの像が混じって投影され
ることになる。そしてそれぞれのプロジェクタの輝度を
変化させることでなめらかに切り替える。

【００５８】ところで、切り替え条件とかさなる条件の
ところを短時間で通過してしまえば問題はないが、ちょ
うど中間的な値の部分が長時間かかる場合は、切り替え
の方向を考えて、空間的な位置では切り替え条件の途中
であっても、一定時間でその切り替えを終了させてしま
うことが必要になる。図１０のように観察者の選手が走
る場合、ゴール位置近くや、とくに選手が静止するスタ
ート位置では投影される画像は高画質が要求されるのに
対して、走っている途中は選手は動いているから投影さ
れる画質はそれほど良くなくても気にならない。このよ
うに観察者の位置や、動き、姿勢などで要求される仮想
物体の像の画質は異なる。図１０では、そのためゴール
とスタート位置では最高の画質が得られるように２つの
プロジェクタヘッドは、それぞれゴールとスタート位置
近くでスクリーンとプロジェクタの光軸が垂直に近くな
るように配置されている。また、切り替えは選手が走っ
ている途中で行なえるような配置にしている。

【００５９】（第４実施例）今までの例ではスクリーン
は観察者の横の固定された平面だけを扱っていたが、投
影される画像の変換に必要な３次元データが得られれ
ば、平面である必要はなく、また静止している必要もな
い。また投影された画像が観察者に見ることができれ
ば、半透明で後ろが透けて見えても問題はないし、水
や、煙、水中の泡など固体である必要もない。

【００６０】図１４は楕円形のトラックを選手が走る場
合で、スクリーンは半透明で、曲面である。また図１５
は床をスクリーンとした例である。水泳などではプール
の底をスクリーンとして水中への投影もできる。またペ
ースがわかれば良い程度の画質を問わない投影であれば
水面の泡などに投影することもできる。図１６のように
観察者を囲むようなスクリーンを通常の材料で作ると、
観察者を計測カメラヘッドが捕らえられなくなってしま
う。しかし計測カメラヘッドは可視光を使う必要はな
く、たとえば近赤外線をつかった計測カメラヘッドを使
うことができる。スクリーンを近赤外線は透過し、可視
光は乱反射するようにすればこのようなスクリーンの配
置であっても観察者を計測することができる。

【００６１】スクリーンの位置と姿勢など３次元データ
を計測すると、スクリーンを動かしても画像の変換がで
きる。スクリーンはある程度の大きさが必要だから動か
す場合指定された位置へ必要な精度でもっていくのは非
常に難しい。しかし、必要なのはその位置にもっていく
ことでなくスクリーンの３次元データであるから、移動
機構はそれほど精度がなくても良い。図１７にそのよう
な例を示す。スクリーンは自走車にのっているため精度
はそれほどでないが、観察者とともにスクリーン自体も
計測カメラヘッドＭＨ１〜ＭＨ４によって３次元データ
を計測されている。スクリーンの隅にはマーカが取り付
けられ位置とともにその姿勢も計測される。これによっ
て画像変換に必要な精度を確保する。なおこのようなス
クリーンを動かす場合、平面スクリーンだと空気の抵抗
が大きいため、網状のものがよい。そのとき必要な画質
によって網目の細かさや、開口率をえらぶ。

【００６２】図１８は、スクリーンを観察者といっしょ
に動かす例である。スクリーンにはその姿勢がわかるよ
うなマーカが取り付けられる。この図ではスクリーンと
観察者の顔の向きが一致するようになっているがスクリ
ーンの姿勢と観察者の顔の向きは一致する必要はない。
それぞれ独立に計測してしまえば良いから、スクリーン
をしっかりと固定せずぶらぶらしていても良い。ただし
この場合、スクリーンの姿勢と観察者の顔の動きはかな
り早く、３次元データを計測する計測カメラのフィール
ド周期は通常のＴＶカメラの１／６０秒では遅すぎるた
め特殊なカメラが必要になる場合がある。

【００６３】（第５実施例）いままでの例では、計測カ
メラヘッドとプロジェクタヘッドの位置や回転軸、レン
ズパラメータなどはわかっているものとしていたが、こ
れらのパラメータは画像変換や３次元データ計測の精度
に非常に大きく影響する。計測カメラヘッドとプロジェ
クタヘッドを新たに設置したときはもちろんなんらかの
はずみで位置がずれたりした場合はそれらのパラメータ
を求めなければならない。それぞれのヘッドについての
パラメータは設計値や、工場での測定ができた場合で
も、ヘッドを現地に設置した場合、ヘッド相互の位置関
係は現地で求めなければならない。そこでそれらを求め
る方法について簡単に説明する。パラメータを求めるに
は、実際に動作させ、あらかじめ設定してあるリファレ
ンスと比較してキャリブレーションを行うことで求め
る。

【００６４】まず、計測カメラヘッドのパラメータを求
める。レンズの画角や、フォーカス、絞りのデータにつ
いてはあらかじめジグ（jig)をつかって測定しておく。
図１９のように形と大きさのわかっているキャリブレー
ション用の立体をおき、観察者の移動範囲、計測カメラ
ヘッドの計測範囲などを考慮して空間に決めた座標軸で
の立体の位置と姿勢を計測カメラヘッドコントローラに
入力する。一番最初は、計測カメラヘッド１８１をオペ
レータがマニュアルで操作してこの立体を計測カメラの
視野に入れる。その場合フォーカスもマニュアルで操作
するのは大変であるから、カメラが撮影した画像をもと
にたとえば視野中心の高周波成分が最大となるようなア
ルゴリズムでオートフォーカスコントロールをすること
ができる。これはオペレータの負担を軽減するととも
に、かなり概略ではあるが距離の情報も得られる。キャ
リブレーションに使用する空間座標は、点数を理論的に
必要な点数よりも増やすことで統計処理を用いることに
より精度を上げることができる。次にレンズパラメータ
は固定のまま自動的に計測カメラヘッドの各軸が回転す
る。キャリブレーション立体は静止しているが撮影され
た画像の中ではヘッドの回転に伴なって動いて見える。
これからヘッド自身の回転軸の空間的な位置を求めるこ
とができる。回転角度については回転軸についているエ
ンコーダの繰り返し精度が十分にあるためとくにキャリ
ブレーションは行なう必要はない。これらの操作は複数
の計測カメラヘッドがある場合同時に行なうことができ
る。精度をあげるため、レンズの画角を変えて同様な操
作を行なったり、キャリブレーション立体の位置を変え
たり、複数の計測カメラヘッドがある場合、おたがいに
計測カメラヘッドを撮影してマーカの動きから回転軸を
決定したりする。

【００６５】次に固定スクリーンの場合、スクリーンの
３次元データを測定する。図２０のように固定スクリー
ンでは、どうしてもスクリーンが大きくなってしまい、
平面といったような目的とする空間立体からずれてしま
う。図２０ではスクリーン１９１を平面にしたいが歪み
が出ている。このためその形を特定できるように多くの
測定ポイント１９２を決めて計測カメラヘッドで測定す
る。この例の場合１２点を測定し、５枚の平面と近似し
ている。計測ポイントには精度良く計るためマーカをつ
けるのが良い。そのときこの図２０のように全部の点に
マーカをあらかじめつけておくこともできる。そのとき
はマーカの色を変えたりすれば自動的にマーカの区別が
できる。また、人間がマーカを持って歩き、測定したい
点にあてるようにすると、自動追尾機能をつかえるから
連続的な３次元データも計測できる。

【００６６】次に、プロジェクタヘッドのパラメータを
求める。計測カメラヘッドのときと同様に画角やフォー
カスなどレンズパラメータは前もって測定しておく。

【００６７】図２１のように、プロジェクタヘッド自体
を計測カメラヘッドが撮影できる位置関係にある場合
は、プロジェクタヘッドにつけた複数のマーカ２０１の
位置と動きからプロジェクタヘッドの空間的位置と回転
軸を求めることもできる。プロジェクタヘッドを撮影で
きない場合やできても角度が良くなくて精度がでないな
どの場合は、プロジェクタヘッドからスクリーンに投影
した像を測定することでプロジェクタヘッドの位置を計
算する。このときフォーカスを決めるのには、投影され
た像のフォーカスが合うように調整するか、プロジェク
タヘッドとスクリーンの距離を距離計で計って決める。
像を人間が観察しながらリモコンでフォーカスを合わせ
る方法もあるが、計測カメラヘッドがその像を撮影し、
画像処理でフォーカスが合っているかどうかを検出しな
がらプロジェクタヘッドのフォーカスをコントロールす
ることもできる。そのときに投影される像は画像処理に
適したパターンとなる。

【００６８】フォーカスがきまると、つぎにわかってい
るパターンを投影する。たとえば図２１に示されている
のはさいころの目のような５つの丸の像（符号２０２）
である。この丸はそれぞれ色が違い、計測カメラヘッド
で撮影した場合自動的に区別できるようになっている。
また区別のためには時間的にずらしながらそれに同期し
て撮影してもよい。投影された像の空間的位置（スクリ
ーン面上の位置）とそのときのプロジェクタヘッドの画
角と、投影したパターンの形がわかっているからプロジ
ェクタヘッドの位置が計算できる。しかし、これは計測
カメラヘッドのときとは違って間接的であり、精度はよ
くない。そのため投影パターンを変化させたり、画角を
変化させたりしながら、数多くデータをとり統計処理を
する必要がある。次に計測カメラヘッドのときと同様、
回転軸を回して同様な操作を繰り返す。回転角度はエン
コーダの精度が十分にあり計測の必要はない。プロジェ
クタヘッドのパラメータの決定は精度をあげるためには
統計処理が必要不可欠になる。そのため計測カメラヘッ
ドと協調動作の自動化をおこなってオペレータの作業を
軽減する。

【００６９】（第６実施例）このシステムを複数用意し
て、図２２のように通信回線で結ぶことで、選手が移動
しなくても、ちょうどテレビ会議のように、競争するこ
とができる。

【００７０】この時に一番問題となるのが、時間的な遅
れである。通信回線の遅れもふくめ最小にする必要があ
る。とくに衛星回線は遅れがどうしても大きくなるため
地上回線が望ましい。競技によっては水泳のように比較
的移動速度が遅いものでは、選手の位置情報のおくれは
目立ちにくいが、画像では動きがおそいわけではないか
ら目立ちやすい。

【００７１】実際に走っている観察者は細かいところは
気づかないから、多少遅れがあってもわからないが、仮
想カメラの画像を編集するときは一旦記録するなどして
遅れを考慮した処理が必要である。

【００７２】（第７実施例）図２３のように、映画やテ
レビの特殊効果を使う場合の撮影では、俳優はないもの
を相手に演技しなければならなかったが、このシステム
を使うことで、仮想物体を認識できるためより正確な演
技ができるようになる。

【００７３】このときに投影する画像は、基本的に俳優
の演技の目標であるから、スクリーンはバックでも床で
も良い。また映像の編集でクロマキーなどで俳優を映像
から抜き出すときの邪魔にならないような投影をする必
要がある。たとえば、クロマキーの場合は、ブルーバッ
クの色に対して、撮影用のカメラでみたときに近い色
相、近い彩度で、輝度だけが変化しているようにモノク
ロの画像を投影する必要がある。また、画像も仮想物体
をそのままの形で投影する以外に、輪郭だけとか必要と
なるポイントがわかる範囲で減らすことで、映像にあた
える影響を少なくできる。

【００７４】複数の俳優が演技する場合には、シーンに
応じてどの俳優にとっての画像とするかを切り替えたり
することもできる。スクリーンの位置に仮想物体がある
場合を除いて基本的に観察者の位置に応じて投影する場
所、形を変化させるから正確にはどの俳優にとっての仮
想物体かを考慮する必要がある。投影する画像を単純化
し、本当に目標程度にあつかえば、観察者の位置のズレ
は投影位置のズレだけですみ、スクリーンあるいはスク
リーンのかわりとなるセットをうまく工夫することで複
数の俳優にとって１つの投影ですますことができる。

【００７５】もし複数の俳優が離れていてさらに正確に
演技する必要がある場合、仮想物体の数に関係なく俳優
の数だけ投影画像を必要とする。色をかえても撮影され
る映像に影響がないときは色分けしたりしてそれぞれの
俳優は、それを相手に演技する自分にとっての仮想物体
を区別する。色がつかえない場合、投影する画像に印と
なるパターンをつけたりして区別できるようにする。

【００７６】（第８実施例）いままでの例では投影した
画像は平面的なものとして観察者にはみえてしまう。観
察者が特殊な眼鏡やゴーグルなどをつけられる場合は、
図２４のように投影画像を立体画像とすることでさらに
臨場感をもりあげられる。また、図２５に示すように左
右の目に別の画像を見せるシステムをつかって、複数の
観察者にそれぞれ別の画像を提供できれば、複数観察者
のシステムとすることもできる。このゴーグルはたとえ
ば液晶シャッタをつかって時間的に分割して画像をより
分けたり、色を使ってより分けたりすることで、両目に
違う画像を見せることができる装置である。これにより
観察者と自由に動きながら仮想の立体像を見ることがで
きる。

【００７７】同様に複数の観察者に対しても別の画像を
見せることができる。複数の観察者の場合は当然それぞ
れの観察者の位置を計測しなければならないが、複数の
観察者が機械的な結合たとえば乗り物に乗っているなど
でそれぞれの位置を求めることができれば測定する対象
の数を減らせる。

【００７８】この図２４および図２５の例では、立体メ
ガネを付けた観察者を計測する計測カメラヘッドが図示
されていないが、上述の実施例のように、観察者の位置
および姿勢は図示されていない計測カメラヘッドによっ
て計測されており、その計測された３次元情報に基づい
て投影される仮想物体の立体像が変換されている。

【００７９】（第９実施例）観察者に提供する画像のサ
イズが比較的小さくても良い場合などは、スクリーンに
投影するのではなくＣＲＴや、液晶、プラズマディスプ
レイなどに表示することで明かるくきれいな画像が得ら
れる。また複数台の表示装置を組み合わせれば、つなぎ
目があるものの大きな画像を提供することもできる。例
えば図２６では６個のＣＲＴを組み合わせた表示装置を
構成したもので、観察者の位置から見たときの画像をそ
れぞれのＣＲＴに表示する。この図２６ではテーブルの
上に壷が乗っているような表示をしている。仮想物体と
しては壷と、テーブルでテーブルは実際にこの表示装置
が乗っているものと同じ大きさ、位置関係にしてある。
観察者の３次元情報は別の計測装置によって計測されて
おり、その観察者の観察位置から見える画像に変換され
たＣＲＴに表示されているため、観察者の位置計測範囲
で観察者が動き回ってもその位置から見たように表示で
きるから、裏側へ回れば壷の裏が見える。またテーブル
の下へ潜れば下から見た壷を見ることができる。ＣＲＴ
のつなぎ目をうまく処理すればあたかも展示ケースの中
の壷を見るときと同じ感じが得られる。

【００８０】また図２７は可動式の平面ディスプレイを
使った場合である。このディスプレイは、観察者からみ
てもっとも高画質となるように向きが観察者の位置に応
じて自動的に変わる。また当然表示されている画像も観
察者からみたように変換されている。この図では仮想物
体として自動車のフロントサスペンションを表示してい
る。このような複雑な立体では、いろいろな角度から見
ないとなかなか全体がわからないが、観察者は、仮想物
体の見たい部分が見えるように移動しながら観察するこ
とができる。表示装置の可動範囲と観察者の位置計測範
囲があれば後ろに回り込むことも下に潜り込むこともで
きる。また必要に応じて仮想物体の倍率を変化させるこ
ともできるし、動画表示であるから、この場合のような
動くものであれば動かした画像を表示できるためホログ
ラムでは実現できない表現が可能である。

【００８１】あるいはＣＲＴが多数並べられたマルチデ
ィスプレイ装置の前で、観察者が動く場合にも観察者の
位置、姿勢等の３次元情報は計測されているため、表示
されている仮想画像をその観察者が見える仮想画像に変
換してこの多数のＣＲＴ装置全体で表示させることがで
きる。

【００８２】また、観察者がゴーグルや立体眼鏡を装着
できる場合や、立体表示できる表示器をつかえば、表示
自体も両眼視による立体とすることができる。

【００８３】また表示装置が自動で動かなくても表示装
置の姿勢と位置がわかるように図２８のようにたとえば
マーカをつけ、観察者も位置と姿勢がわかるようにマー
カをつけると同様なシステムが構成できる。これを例え
ば３次元ＣＡＤの出力に使ったりすることができる。あ
る立体を表示していてその横や後ろが見たい場合は観察
者と共に表示装置を手で回すことで横や後ろが見えるよ
うになる。従来のＣＡＤでは表示されている物体の姿勢
を変える場合は、キーボードなどで指示を与えなければ
ならず、なれないと欲しい角度でみることが難しかった
が、このようにすると見たい方向へ自分が動いて、画面
が見えるようにＣＲＴを回せばそれでその角度からの画
像がみえるためまったく熟練を必要としないシステムと
なる。

【００８４】

【発明の効果】このように本発明は構成されているため
次の効果がある。

【００８５】（１）観察者の動きに対応して自身からみ
た対象物体の動きを見ながら動作することができるた
め、スポーツの場合には競争者との関係を認識しながら
自然に動作することができる。

【００８６】（２）被写体となる観察者が演技者である
場合、組み合わされる画像を見ながら動作することがで
きるため、自然な演技を行うことができる。

【００８７】（３）観察者は実際に撮影された実物の画
像を見ながらその場にいて動作する感覚をもつことがで
きるため、臨場感をもつことができる。

【００８８】（４）観察者の位置、姿勢等に応じた音響
効果により臨場感をさらに高めることができる。

【００８９】（５）遠隔の地で同時に行われる競技で
も、その競技者と並んで同時に競技している感覚を選手
に与えることができる。

【００９０】（６）時間および空間的に違ったところで
行われた比較対象の競技者と一緒に競技する感覚を選手
に与えることができる。

【００９１】（７）観察者の動作に合わせて仮想画像を
投影できるため、観察者の認識できる程度に応じた画像
を生成することができる。

【００９２】（８）観察者の見る位置を計測してその見
る位置から見える画像を表示装置に表示することができ
るため、一つの物を表示しても、その観察方向に応じた
表示を行うことができる。

【００９３】（９）投影されるスクリーンも移動するこ
とができるため、観察者が複雑な動きをする場合であっ
ても、それに応じた画像を観察者に対して表示すること
ができる。

【００９４】（１０）立体視を行う装置を観察者が装着
し、その立体画像を投影あるいは表示することで、観察
者が立体画像を認識しながら動作することができる。

【００９５】（１１）観察者の見る位置に合わせて最適
な画像を切り替えて表示することができるため、観察者
にとって自然な画像を表示することができる。

【００９６】（１２）観察者に対して表示する仮想の画
像をコンピュータグラフィクスで生成することにより、
表示すべき画像が演算により正確に求められるので、画
像生成演算とプロジェクタで投影する画像に変換する画
像変換とを演算のみで行うことができる。

【図面の簡単な説明】

【図１】本発明の原理的な観察者とプロジェクタと投影
された画像との関係を示す図。

【図２】図１を上方からみた図。

【図３】撮影した画像を観察者からみた画像に変換し、
それをスクリーンに投影する原理を説明する図。

【図４】走る観察者と並んで仮想物体をスクリーンに表
示する第１実施例を説明する図。

【図５】観察者を撮影した画像を示す図。

【図６】観察者と並んで仮想の移動物体および背景が表
示された画像を示す図。

【図７】本発明実施例の画像表示装置のブロック図を示
す図。

【図８】第２実施例の複数の仮想物体が重なって観察者
に見える様子を説明する図。

【図９】第２実施例の観察者に見える投影画像の例を示
す図。

【図１０】第３実施例の観察者の動きに応じて複数のプ
ロジェクタを用いて仮想物体を投影する例を示す図。

【図１１】第３実施例の観察者の動きに応じてプロジェ
クタを移動させて仮想物体を投影する例を示す図。

【図１２】本発明の実施例に用いるプロジェクタヘッド
の外観を示す図。

【図１３】第３実施例で二つのプロジェクタで投影した
ときに生ずる投影領域を示す図。

【図１４】第４実施例の観察者の移動する楕円のコース
に沿ってスクリーンを設けて仮想物体を投影する例を示
す図。

【図１５】第４実施例の観察者の移動する平面をスクリ
ーンにして仮想物体を投影する例を示す図。

【図１６】第４実施例の観察者を囲んでスクリーンを設
け、スクリーンを通して観察者を計測しながらスクリー
ンに仮想物体を投影する例を示す図。

【図１７】第４実施例のスクリーンに移動機構が設けら
れ、移動するスクリーンに仮想物体を投影する例を示す
図。

【図１８】第４実施例の観察者とともにスクリーンが移
動し、この移動するスクリーンに仮想物体を投影する例
を示す図。

【図１９】第５実施例の計測カメラヘッドのキャリブレ
ーションを説明する図。

【図２０】第５実施例の計測カメラヘッドにより固定ス
クリーンの３次元情報を計測する例を示す図。

【図２１】第５実施例のプロジェクタヘッドの調整をす
る様子を示す図。

【図２２】第６実施例の空間的に遠隔地にある観察者同
士を同時に表示させるシステムを示す図。

【図２３】第７実施例の演技者の近傍に仮想物体を投影
して演技者を撮影する例を示す図。

【図２４】第８実施例の観察者が立体メガネを装着する
場合の例を示す図。

【図２５】第８実施例の複数の観察者がゴーグルを装着
する場合の例を示す図。

【図２６】第９実施例の複数のＣＲＴ装置を組み合わせ
て仮想物体を表示した例を示す図。

【図２７】第９実施例の可動式の平面ディスプレイに仮
想物体を表示した例を示す図。

【図２８】第９実施例の回転式ＣＲＴ装置に仮想物体を
表示した例を示す図。

【符号の説明】

１ 観察者 ２ スクリーン ３ 仮想物体 ４ 仮想物体の画像 ５ 投影像 ６ 投影中心 ２１ 対象物体 ２３ 変換面 ４１ 選手 ４２ スクリーン ７１、７２ 計測カメラヘッド ７３ ３次元演算ユニット ７４ 画像編集ユニット ７５ 背景データベース ７６ 仮想カメラコントローラ ７７ 仮想物体データベース ７８ スクリーンデータベース ７９ プロジェクタコントローラ ８０ 画像変換ユニット ８１ プロジェクタヘッド ８２ プロジェクタ ８３ レンズ ８４ 雲台モータ ８５ レンズモータ ８６ サーボ回路 ８７ サウンドデータベース ８８ サウンドコントローラ ８９ ディジタルシグナルプロセッサ ９０ アンプ ９１ スピーカ ９３ プロジェクタヘッド ９４〜９６ 仮想物体 １０１、１０２ プロジェクタヘッド １０３ 計測カメラヘッド １２１ ビデオプロジェクタ １２２ 投影レンズ １２３ ティルト軸モータ １２４ パン軸モータ １２５ ベース １３１、１３２、１３３ 投影領域 １８１ 計測カメラヘッド １９１ スクリーン １９２ 測定ポイント ２０１ マーカ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00 Ｇ０９Ｇ 5/00 ５５０ Ｃ 9471−5Ｇ Ｈ０４Ｎ 7/18 Ｕ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 観察者の視点位置に対応する画像を表示
   する画像表示手段を備えた画像表示装置において、 観察者の３次元情報を計測する計測手段と、 この計測された観察者の３次元情報に基づいてこの観察
   者の視点位置から見える画像に等価な画像を生成する画
   像生成手段と、 この生成した画像を前記観察者とは別の位置にある前記
   画像表示手段で表示したときに前記観察者の視点位置か
   ら見える画像に変換する画像変換手段とを備えたことを
   特徴とする画像表示装置。
2. 【請求項２】 １または複数の移動物体を撮像してその
   ３次元情報とともに出力する撮像手段と、 この移動物体の画像を当該移動物体が移動する空間内の
   一つの変換面に投影された画像を前記撮像手段とは異な
   る空間位置または異なる時間軸に存在する仮想の撮像手
   段で撮像された画像と等価な画像に変換する画像変換手
   段と、 この画像変換された移動物体の画像を表示する画像表示
   手段とを備えた画像表示装置において、 前記画像表示手段は、移動する観察者に対して前記移動
   物体の画像を表示する画像表示手段であり、 前記観察者の３次元情報を計測する計測手段を備え、 前記画像変換手段は、 前記計測手段で計測した観察者の３次元情報に基づい
   て、その観察者に対して表示する前記移動物体の画像が
   その観察者から見える画像と等価な画像に変換する第一
   変換手段と、 この変換された画像を観察者とは別の位置にある投影手
   段から投影される画像が前記観察者から見える画像と等
   価となる画像に変換する第二変換手段とを含むことを特
   徴とする画像表示装置。
3. 【請求項３】 観察者の３次元情報を計測する計測手段
   は、観察者を撮像してその観察者の３次元情報を計測す
   る装置である請求項１または２記載の画像表示装置。
4. 【請求項４】 画像表示手段は、雲台を備えた１または
   複数のプロジェクタおよびそのプロジェクタの投影する
   スクリーンで構成された請求項１ないし３のいずれか記
   載の画像表示装置。
5. 【請求項５】 画像表示手段は、１または複数のディス
   プレイ装置である請求項１ないし３項のいずれか記載の
   画像表示装置。
6. 【請求項６】 複数のプロジェクタは観察者の位置にし
   たがって切換られる請求項４記載の画像表示装置。
7. 【請求項７】 画像表示手段は、移動可能なスクリーン
   を含み、 このスクリーンの３次元情報を計測する計測手段を備
   え、 画像変換手段は、この計測手段で計測したスクリーンの
   ３次元情報に基づいて表示される画像変換を行う手段を
   含む請求項１ないし４または６のいずれか記載の画像表
   示装置。
8. 【請求項８】 観察者の３次元情報に基づいて、音響効
   果音を発生する手段が設けられた請求項１ないし７のい
   ずれか記載の画像表示装置。
9. 【請求項９】 前記観察者に対して表示する画像は、１
   または複数の対象物体を撮像した画像である請求項１な
   いし８のいずれか記載の画像表示装置。
10. 【請求項１０】 前記観察者に対して表示する画像は、
    コンピュータグラフィクスによって生成された画像であ
    る請求項１、３ないし９のいずれか記載の画像表示装
    置。