JPH07240945A

JPH07240945A - 仮想空間生成提示装置

Info

Publication number: JPH07240945A
Application number: JP6028521A
Authority: JP
Inventors: Kenya Uomori; 謙也魚森; Mitsuo Yamada; 光穗山田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Japan Broadcasting Corp; Panasonic Holdings Corp
Priority date: 1994-02-25
Filing date: 1994-02-25
Publication date: 1995-09-12

Abstract

(57)【要約】【目的】取扱が簡単であり、複数人で観察することが
可能で、臨場感を向上させることができる仮想空間生成
提示装置を提供すること。【構成】複数の方向から撮像された左目の視野に相当
する画像データＬ1 〜Ｌ5と右目の視野に相当する画像
データＲ1〜Ｒ5 を、各方向毎に時間的に交互に合成し
て時分割立体画像信号Ｄ1〜Ｄ5 を生成し、その時分割
立体画像信号Ｄ1〜Ｄ5 により、各方向に対応して配置
されたディスプレイに画像を表示し、一方、時分割立体
画像信号Ｄ1〜Ｄ5に同期して液晶シャッタ眼鏡を開閉し
て立体画像を提示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、立体カメラ等により得
られた画像や、コンピュータグラフィックスにより生成
された画像等を、仮想空間に表示する仮想空間生成提示
装置に関するものである。

【０００２】

【従来の技術】一般に、仮想空間や人工現実感といわれ
る、人間がその場所にいなくても、その場所にいたよう
な感覚を実現するには、観察者が観察できる視野をでき
る限り広くする必要があり、従来は左右眼の画像に対応
する２つの液晶モニタを内蔵したヘッドマウントディス
プレイを用いて、観察者はこれを装着していた。

【０００３】また、ヘッドマウントディスプレイほどは
広視野が得られないが、立体カメラにより撮像された立
体画像をマルチスクリーンに再生する方法もある。この
場合、１組のカメラでできるかぎり広範囲を撮影して、
スクリーン上で分割表示したり、２組の立体カメラを用
いる方式でも再生スクリーンに明確なつなぎ目を設けて
いた。これは、２組のカメラの接続点で左右像の不連続
が生じて、観察者に不快感や疲労が生じるのを避けるた
めである。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような構成では、前者については、観察者は重いヘッド
マウントディスプレイを装着しなければならないため取
扱が煩雑であり、ヘッドマウントディスプレイでは一人
しか観察できないといった課題を含んでいた。また、後
者については、これをマルチスクリーンに分割表示する
場合でも、小数のカメラで撮像された画像をマルチスク
リーンに分割表示すると、ひとつのスクリーンあたりの
解像度が低下してしまう。また、複数画面のつなぎ目は
明確に存在し、つなぎ目近辺の画像が連続的に構成され
ず、幾何学的にひずんでいたり、同じ画像がつなぎ目の
両方に存在したり、つなぎ目近辺の画像が欠けたりし
て、臨場感を低下させる要因になるという課題がある。

【０００５】本発明は、従来の仮想空間生成提示装置の
このような課題を考慮し、取扱が簡単であり、複数人で
観察することが可能で、臨場感を向上させることができ
る仮想空間生成提示装置を提供することを目的とするも
のである。

【０００６】

【課題を解決するための手段】請求項１の本発明は、所
定の複数方向にそれぞれ向けて配置され、左目の視野に
相当する画像と右目の視野に相当する画像を撮影する複
数個の立体カメラを有する撮像手段と、その撮像された
左右眼用の画像を、観察者の左右眼に提示するために、
各方向のそれぞれに対応して表示する複数個のディスプ
レイを有する画像表示手段とを備えた仮想空間生成提示
装置である。

【０００７】請求項８の本発明は、所定の複数方向に対
して、左目の視野に相当する画像データと右目の視野に
相当する画像データを生成する画像生成部と、各方向に
ついて左右眼用の画像を、それぞれ観察者の左右眼に提
示するための複数個のディスプレイを有する画像表示手
段とを備えた仮想空間生成提示装置である。

【０００８】

【作用】請求項１の本発明は、撮像手段により撮像され
た複数方向の、左目の視野に相当する画像と右目の視野
に相当する画像を、観察者の左右眼に提示するために、
画像表示手段の複数個のディスプレイに、それぞれ対応
して表示することにより、解像度の低下がなく広視野が
得られる。

【０００９】請求項８の本発明は、画像生成部により生
成された複数方向の左目の視野に相当する画像データと
右目の視野に相当する画像データを用いて、画像を観察
者の左右眼に提示するために、画像表示手段の複数個の
ディスプレイに、それぞれ表示することにより、広視野
の立体画像を提示できる。

【００１０】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。

【００１１】図１は、本発明にかかる第１の実施例の仮
想空間生成提示装置におけるディスプレイ部の構成を示
す図である。図１において、１〜５はディスプレイ、６
は時分割立体画像を左右眼に独立提示するための液晶シ
ャッタ眼鏡である。５台のディスプレイ１〜５が立方体
状に配置され、観察者は、ディスプレイの無い前面から
液晶シャッター眼鏡６を通して観察する。ディスプレイ
１〜５が画像表示手段を構成している。ここで、本実施
例を示す各図面に共通して、信号、カメラ等の記号に付
された添え字1 ，2，3，4，5は、それぞれ各ディスプレ
イ１〜５に対応していることを示し、Ｌは左眼用、Ｒは
右眼用を示す。又、ディスプレイ１は奥に配置されたデ
ィスプレイを示し、同様に、ディスプレイ２は左のディ
スプレイ、ディスプレイ３は右のディスプレイ、ディス
プレイ４は上のディスプレイ、ディスプレイ５は下のデ
ィスプレイをそれぞれ示す。この様に、観察者は正面、
左右方向、上下方向全ての方向について立体画像を観察
することができる。

【００１２】図２は、５台のディスプレイ１〜５に画像
を提示するための映像系統図を示す。図２において、７
〜１１は左右画像信号を時分割立体画像信号に変換する
画像変換部、１２は同期信号発生部である。ここでは１
２０Ｈｚの垂直走査周波数で時分割立体画像を提示する
場合について説明する。同期信号発生部１２は、垂直走
査周波数が１２０Ｈｚの同期信号を発生し、画像変換部
７〜１１に供給するとともに液晶シャッターの切替信号
を液晶シャッターに供給する。画像変換部７〜１１の動
作は全く同じであり、画像変換部７について図３にその
動作原理の例を示す。通常の６０Ｈｚの垂直走査周波数
の左右ビデオ信号（Ｌ1、Ｒ1）は、画像変換部７により
１２０Ｈｚのビデオ信号（Ｌ1’、Ｒ1’）に変換され、
さらにＬ1’、Ｒ1’を交互にシリアルに合成されてビデ
オ信号Ｄ1が生成され、ディスプレイ１に供給される。
立体として用いない場合はいずれか一方の画像のみが、
繰返し再現される。例えば、Ｌ1’、Ｒ1’がＬ1’、Ｌ
1’となる。

【００１３】第１の実施例の形態には２つの撮影法が考
えられ、図４はそのうちのひとつである。図４におい
て、１３〜１７はそれぞれ左眼用、右眼用のカメラで構
成される立体カメラ組を示し、（ＣL1，ＣR1）の組がデ
ィスプレイ１に対応し、（ＣL2，ＣR2）の組がディスプ
レイ２に対応し、（ＣL3，ＣR3）の組がディスプレイ３
に対応し、（ＣL4，ＣR4）の組がディスプレイ４に対応
し、（ＣL5，ＣR5）の組がディスプレイ５にそれぞれ対
応している。

【００１４】観察者から見て、奥、左右、上下の５方向
に左目用カメラ、右目用カメラからなるステレオカメラ
がセットされる。このうち左右、上下の４台のカメラに
ついては、臨場感を再現するというのみの目的では、い
ずれか一方のカメラを用いた通常の２Ｄ画像でも良い。
即ちこの場合は５方向の画像のうち左右上下の画像につ
いては、必ずしも立体でなくてもよく、図示した何れか
一方の画像を用いて提示する構成としてもよい。

【００１５】また、必ずしも５台のディスプレイ１〜５
を用いない構成、例えば正面と左右のみ等の構成でもよ
い。図５は、２つの撮影法のうちもうひとつの方法を示
し、前述の方法とは左右カメラの配置が反対となり、１
つの被写体を５組のカメラで撮影する。立体カメラ１３
〜１７、又は１４〜１８が撮像手段を構成している。

【００１６】図５において、（ＣL1，ＣR1）はカメラを
後方に置いた場合、後から見た全体像を観察できる。
（ＣL1’，ＣR1’）はカメラを前に置いた場合、前から
見た全体像を観察できる。以上の様にすることにより、
少なくとも５方向からの立体像を複数の観察者が観察で
き、仮想空間の再現に役立てることができる。

【００１７】図６は、本発明にかかる第２の実施例にお
ける映像系統を示す構成図である。図６において、１９
〜２４は格納手段である画像メモリ、２５はアドレス計
算用のＣＰＵ、２６はメモリテーブル、２７は左カメラ
の画像を制御する左カメラアドレス制御部、２８は右カ
メラの画像を制御する右カメラアドレス制御部である。
ＣＰＵ２５、左カメラアドレス制御部２７及び右カメラ
アドレス制御部２８がアドレス制御部を構成している。

【００１８】第２の実施例では、第１の実施例の撮影法
の部分（立体カメラシステム部分）に特徴がある。即ち
図２のＬ1〜Ｌ5、Ｒ1〜Ｒ5の信号の実現方法の詳細部、
具体的には複数視点画像の合成時のつなぎ目処理につい
てである。

【００１９】図６に示す各画像メモリ１９〜２４の出力
Ｌo1,Ｌo2,...,Ｒo1,Ｒo2,... が図２のＬ1,Ｌ2,...,Ｒ
1,Ｒ2,...に接続される。

【００２０】図６において、立体カメラシステム部分
は、少なくとも２組以上の左目用画像撮影用カメラと右
目用画像撮影用カメラとこれらの対応画像を格納するた
めのメモリから構成される。このメモリについては、水
平方向にカメラ組（ここで左目用画像撮影用カメラと右
目用画像撮影用カメラの１セットを１組とする）を配置
する場合は、水平方向走査方向のみのラインメモリで十
分であるが、後述する本発明の第３の実施例の垂直方向
にもカメラ組を配置する場合は、フレームメモリが必要
である。ＣＰＵ２５は各カメラ組のズーム情報をもと
に、少なくとも２組以上の立体カメラ画像を滑らかに合
成するためのメモリアドレスを記憶するためのメモリテ
ーブル２６から、カメラのズーム情報に対応するメモリ
アドレスを読み出してメモリアドレスの制御信号を生成
し、その制御信号よって左カメラアドレス制御部２７
と、右カメラアドレス制御部２８を制御し、各画像メモ
リ１９〜２４からの画像データ読み出しを制御する。

【００２１】次に、各部の動作について具体的に示す。
図７は、３組のカメラを用いた時の本実施例の実現概念
図を示す図である。図７（ａ）は、３組の立体カメラが
配置され、景色を撮影している様子を示す。図７（ｂ）
は、その撮影された画像の３枚のスクリーン上への合成
例である。これは、上記第１の実施例の図１において、
上下のディスプレイ４，５がなく、左右のディスプレイ
２，３の角度を浅く設定した場合の構成である。

【００２２】図示してはいないが、実際には左右カメラ
の画像が再現されているため、２重像になっている。偏
光フィルタや液晶シャッタ、レンチキュラースクリーン
等を用いて左右像を分離し、観察者の各左右眼に、対応
する画像が入力される。この立体テレビの再現方法につ
いては、よく知られているのでここでは説明を省略す
る。図７（ｃ）は、これら３組のカメラ画像を合成し
て、等価的な１組のカメラ画像の様に提示しようという
本実施例の実現概念図である。

【００２３】図８は、前述した図７（ａ）における３組
のカメラ画像のスクリーン上への表示例を示し、図８
（ａ）は従来の問題点を、図８（ｂ）は本実施例の効果
を示す。たとえばカメラＬ1、Ｒ1の画像がスクリーンＳ
1に、カメラＬ2、Ｒ2 の画像がスクリーンＳ2 に再現さ
れているが、立体であるため、左右カメラの画角サイズ
は同じでなけらばならず、その結果、スクリーンの継ぎ
目Ｊ1 を見て、分るようにＳ1の右端には、Ｌ1の左画像
はなく、Ｓ2の左端には、Ｒ2の右画像がなく、この位置
を観察者が見ると、立体像は不連続となり、立体融像が
不可能となり、極めて不快な状態となる。さらに、この
状況でカメラのズーム操作を行うと、不快感はさらに増
大する。本実施例では図８（ｂ）に示すように、隣り合
うカメラ画像を滑らかに合成させ、あたかも１台のカメ
ラで撮影しているように見せることにより、この問題点
を解消する。

【００２４】そのための初期設定の方法について、図９
を用いて説明する。ここで初期設定とは、複数のカメラ
の画像が滑らかにつながる様にカメラの絞り値と画像の
端の位置を設定することである。また、立体カメラに最
近主流となっている固体撮像素子を用いた場合、撮影さ
れる画像サイズの大きさがエイジングの状態によってず
れることはほとんど無く、この初期設定は撮影毎に設定
する必要は無い。

【００２５】まず、図９（ａ）に示すようなグレーティ
ングパターン（徐々に輝度が変化しているパターン）２
９をカメラの前に提示する。グレーティングパターン２
９の輝度分布は図９（ｂ）の第１段に示すように、１本
の直線である。これをレンズ絞りを同一に設定したアド
レス設定前の３組のカメラで撮影すると、第２段に示す
左カメラの出力例から分るように、それぞれのカメラの
撮影範囲が合っていないために、波形に段差が生じてい
る。これを微分すると第３段に示すように段差のある部
分がパルス状に表現され、また、絞りの設定のずれは平
坦部分の大きさによって表現される。次に、このパルス
状の部分がなくなるように、ＣＰＵ２５がメモリのアド
レス位置を調整して、隣り合うカメラの接続位置毎にメ
モリーテーブル２６に記憶する。更に、ＣＰＵ２５はズ
ーム比を変えて、左右カメラそれぞれについて、この演
算を繰返し、その結果をメモリーテーブル２６に記憶す
る。もちろん単焦点のレンズを用いる場合は、ズーム比
を変える必要はない。また、ズームを大きくして、隣り
合うカメラの画像間に対応点がなくなった場合は、その
点が、隣合う画像を滑らかにつなぐ場合のズームのリミ
ットとなる。また、図９（ｂ）の平坦部分の大きさをそ
ろえることにより、正確に全てのカメラの絞りの値を一
致させることもできる。図９（ｃ）は、初期設定に、グ
レーティングパターン２９の代わりに用いる楔型のパタ
ーン３０の例を示した図である。

【００２６】この例では、左から右にいくにつれ、楔が
大きくなり撮影される黒の量が多くなっている。撮影画
像から、黒画像の含まれる走査線数を順にカウントして
いくと、カメラが滑らかに接続されるためには、このカ
ウント数が連続的になっていく必要がある。このような
方法でＣＰＵ２５は滑らかに接続するためのメモリのア
ドレス位置を計算することができる。

【００２７】以上のように、被写体パターンを用いて初
期設定を行なえば、被写体パターンの距離に存在する被
写体を撮像した場合、滑らかに複数の画像を合わせるこ
とが出来る。実際には色々な距離の被写体が存在する場
合が多いが、その中で最も滑らかにつなぐべき距離につ
いて、この初期設定を行なう。

【００２８】図１０は、本発明にかかる第３の実施例に
おけるカメラ配置を示す図である。図１０に示すよう
に、カメラ３１〜３４を垂直に配置し、上下の隣り合う
カメラを滑らかに接続するアドレスを、上述の第２の実
施例で示した水平方向の手段と同じ方法を垂直方向に適
用することにより、垂直方向にも広視野の画像を実現す
ることができる。

【００２９】以上の様にして、第２、３の実施例によれ
ば、複数組のカメラ映像を左右それぞれを滑らかに接続
するようにすることにより、あたかも１組の立体カメラ
で魚眼レンズを用いることなく全視野を撮影することを
可能として、非常に臨場感の高い広視野の立体画像の再
現を行うことができる。また、同様の方法を垂直方向に
設置されたカメラ画像にも適用することにより、全球面
上をあたかも１組の立体カメラで魚眼レンズを用いるこ
となく全視野を撮影することを可能として、非常に臨場
感の高い広視野の立体画像の再現が可能である。

【００３０】図１１は、本発明にかかる第４の実施例に
おける立体カメラの配置を示す図である。図１１におい
て、３５、３６、３７、３８はそれぞれ左眼カメラのレ
ンズ、回転位置に配置した左眼カメラのレンズ、右眼カ
メラのレンズ、回転位置に配置した右眼カメラのレンズ
である。

【００３１】本実施例においては、本発明の第１〜第３
の実施例の立体カメラシステムにおけるカメラの配置を
規定することにより、複数のカメラ視野のつなぎ目での
不連続が最小限になるように被写体空間を分割すること
ができる。

【００３２】簡単のために、図１１では２組の立体カメ
ラで水平方向に視野を分割する方法の例を示している。
図１１において、Ｌ1・Ｒ1とＬ2・Ｒ2で２つの視野を撮
像する立体カメラ組を構成しており、それぞれレンズの
中心位置またはカメラの名前を示している。Ｏはそれぞ
れの立体カメラにおける中心点であり、これを回転中心
として回転した位置に立体カメラを配置し、撮像方向を
変化させている。また、ｍL1、ｍR1、ｍL2、ｍR2は、そ
れぞれレンズＬ1、Ｒ1、Ｌ2、Ｒ2の光軸であり、ステレ
オカメラの回転角をφ、カメラの画角をαとしている。
ここで三角形Ｏ−Ｌ1−Ｌ2は二等辺三角形となるので、
回転角φとカメラの画角αを等しく設定すると、２組の
立体カメラの視野のつなぎ目は連続となる。即ち視野Ｓ
L1とＳL2、ＳR1とＳR2が連続してつながる。

【００３３】また、Ｌ2カメラの筐体が大きく、Ｌ1の視
野を遮る場合には、図１２に示すように、それぞれのス
テレオカメラを垂直方向に重ねるか、回転角φを大きく
とり、カメラ筐体が視野に入らない範囲でなるべく大き
な視野角αになるように設定する。垂直方向にカメラを
重ねる場合には、図６に示した後処理の画像メモリの制
御において、垂直方向に画像がずれた分、垂直方向に画
像を並行移動して複数の画像がずれないようにする必要
がある。または、Ｌ1・Ｒ1の光軸を下方向に向け、Ｌ2
・Ｒ2の光軸を上に向けることである程度垂直方向の画
像ずれを小さくすることも可能である。

【００３４】また、図１３に示す様に左右眼用のレンズ
それぞれの中心を回転中心として回転した位置にカメラ
を配置して視野を変更する場合も、回転角φと視野角α
を等しく設定すれば、視野ＳL1とＳL2、ＳR1とＳR2が連
続的につながる。ただしこの場合にはＬ2、Ｒ2の光軸方
向が直線Ｌ2−Ｒ2に対して垂直でなくなるため、近距離
のステレオ画像においては左右像の大きさが異なってし
まうため、ある程度の距離以上の場所に存在する被写体
の撮像のみに適している。また、撮影方向によって、カ
メラ間隔が変化し、立体画像の視差が変化するので（図
１３のＤ1、Ｄ2）撮影方向を大きく変えることは出来な
い。さらに、この場合にもカメラＬ1とＬ2、Ｒ1とＲ2は
垂直方向に重ねる必要がある。

【００３５】以上の様に、本実施例によれば、ステレオ
カメラのレンズ中心間の中心点を回転中心として左右眼
のカメラを回転して視野を変え、カメラの視野角と回転
角を等しくなるように設定し、無限遠からＬ1とＬ2の距
離までの近点まで、２組のステレオカメラによる撮像視
野が重なることなく、また、撮像されない被写体領域が
発生することなく複数の視野を連続的に撮像することが
出来る。

【００３６】また、第４の実施例以外のカメラ配置で
は、全ての距離の被写体に対して視野のつなぎ目を連続
に出来ないため、第１〜第３の実施例を用いて最適な撮
影方法をとる。

【００３７】図１４は、本発明にかかる第５の実施例に
おける動作を説明する図である。本実施例では、前述の
第１の実施例（図２）の入力画像Ｌ1、Ｒ1...Ｌ5、Ｒ5
に相当する複数の視点のステレオ画像をコンピュータグ
ラフィクス（CG）により生成する方法について取り扱
う。通常の３次元モデルを用いたCGでは、図１４の CRT
１のみが存在する場合を取り扱っているが、本実施例で
は表示したい画像を CRT１〜CRT５のどれの部分に表示
するかを判断し、更にそのCRT上での表示位置を計算
し、そこに画像を表示することにより、広範囲のステレ
オ画像を表示可能とする。

【００３８】図１４において、空間の座標形をx、y、z
の直交座標系で記述する。

【００３９】観察者の左右眼の位置をEL(-We,-ds,Wz),E
R(We,-ds,Wz)とし、正面のCRT1をy=l(エル)、左のCRT2をx
=-W/2、右のCRT3をx=W/2、上のCRT4をz=H、下のCRT5をz
=0と定義する。又、表示したい物体M の点Pの座標を(x
_pc,y_pc,z_pc)とする。以下、この点Pの表示CRTの決定と
表示位置の計算法を説明する。

【００４０】まず、左目の画像について考える。点Pと
点EL を結ぶ直線は、（数１）で表される。

【００４１】

【数１】

【００４２】次に、この直線とCRT１〜CRT５の交点C1〜
C5を、（数２）〜（数６）により求める。

【００４３】

【数２】

【００４４】

【数３】

【００４５】

【数４】

【００４６】

【数５】

【００４７】

【数６】

【００４８】これらの交点と、左目ELの位置との距離を
計算する。CRTn(n=1〜5)の交点とELの距離l(エル)nは、
（数７）で表される。

【００４９】

【数７】

【００５０】ただし、条件によって交点は目の位置より
後ろにも存在し、複数個の交点が得られることがあるた
め、（数８）の条件を満たす交点が求める交点となる。

【００５１】

【数８】

【００５２】次に、これらの距離l(エル)1〜l(エル)5 のう
ち、最小のものを選び、その交点を含むCRTが点Pを表示
するべきCRTとなる。あとは、選ばれた交点Cnの座標を
用いて、CRTn上に点Pを表示する。

【００５３】ここで、距離の計算はユークリッド距離を
用いたが、計算コストの削減のために、（数９）に示す
ように、ハニング距離を用いてもよい。

【００５４】

【数９】

【００５５】あるいは又、ユークリッド距離l(エル)nの平
方根を計算しないで、l(エル)nの自乗を用いてもよい。

【００５６】次に、右目画像用の計算では、（数１）〜
（数９）において、Weを-We におき替えて計算すればよ
い。以上の様にして、物体上の任意の点について、表示
CRTを選択し、表示位置を計算することができる。

【００５７】表示するべき輝度、色については、多くの
手法があるが、例えばその頂点での法線ベクトルn、物
体色obj、光源スペクトルLit[i]、光源方向ベクトルL
により次式（数１０）で計算される（ハイライト部がな
い場合）。

【００５８】

【数１０】

【００５９】（数１０）により計算された輝度、色情報
を用いて前記表示位置の画素を表示する。

【００６０】以上の様にして、物体M上の任意の点Pにつ
いて画像を表示できる。これを物体M上の点すべてにつ
いて処理を行なう。

【００６１】ここで、CGでは点データは物体の頂点のみ
記述し、複数の頂点の集合で定義される面（ポリゴン）
内部はポリゴンを構成する頂点の内挿計算によって画像
を表現するのが一般的である。この場合、各頂点の画像
データについては、前述の方法によって処理すれば良
い。しかし、ポリゴン内部の画像については、複数画面
にまたがって内挿しなければならない。

【００６２】この内挿処理について、三角形ポリゴンの
場合の処理方法について、以下説明する。

【００６３】図１５〜図１７は、この内挿処理について
説明する図である。図１５はポリゴンMPの３頂点の内、
３頂点とも同じCRT に表示される場合、図１６は、２頂
点が同じCRTに表示される場合、図１７は３頂点とも異
なったCRTに表示される場合である。

【００６４】まず、図１５において、P1,P2,P3は、物体
M上のポリゴンMP を構成する３頂点のCRT1への投影であ
る。前述の様に、これらの点については、座標と輝度や
色の情報を直接計算できるので、それを用いてCRT 上に
表示する。その他のポリゴン内の画素については、XZ平
面において、Z 座標値の最大（l(エル)1）、最小（l(エル)
3）を求め、その範囲でX軸に平行な直線l(エル)を定義
し、その時のポリゴンMPの辺との交点をP12,P13 とす
る。そして、線分P12P13上の画素を内挿して求める。内
挿方法は、まずP1とP2の座標における法線ベクトル、物
体色から、P12 の位置の法線ベクトル、物体色を直線内
挿する。また、P1とP3の座標の法線ベクトル、物体色か
ら、P13 の位置の法線ベクトル、物体色を直線内挿す
る。そして、P12からP13に向かって画素を走査し、線分
P12P13の直線内挿で、P12,P13 の法線ベクトル、物体色
を元にしてそれぞれの画素での法線ベクトル、物体色を
求める。この、直線内挿で求められた法線ベクトル、物
体色をもとにして、（数１０）を用いて画像の輝度、色
情報を求める。これが、CGで一般的に行なわれているポ
リゴン内部の画素の内挿方法の一例である。

【００６５】次に、図１６を用いて、２頂点が同じCRT
にある場合の内挿方法について説明する。基本的には、
図１５での方法に帰着する方法をとる。即ち、CRT1上の
ポリゴン（右上がり斜線部）の投影については、P1,P3
の他に直線EP2を延長してCRT1'での交点P2'を用いて同
一平面のCRT1,CRT1'上にポリゴンの投影像P1P3P2'を
得、それで前述と同じ内挿計算を行なう。ここで、CRT
1'とは、CRT1をそのままX軸方向に延長したものであ
る。次に、CRT2上のポリゴンの投影については、直線EP
1,EP3 とCRT2'（CRT2'はCRT2をY軸方向に延長したも
の）の交点P1',P3'を求め、同一平面のCRT2,CRT2'上で
のポリゴンの投影P1'P2P3'を元にして、内挿演算を行な
う（右下がり斜線部）。

【００６６】次に、図１７を用いて、３頂点とも別々の
CRT 上に表示される場合について説明する。

【００６７】基本的には図１５、図１６の例と同様に、
同一CRT 上に表示されると考えた時の方法を用いる。図
１７において、例えば、CRT１上のポリゴン内部の画素
（斜線部）については、EP2を延長した時のCRT1'との交
点P2',EP3を延長した時のCRT1''との交点P3'を求め、ポ
リゴンの同一平面CRT1,CRT1',CRT1''への投影P1P2'P3'
を用いて、図１５と同じ方法で、斜線部の画素の輝度、
色情報を計算する。同様に、CRT2,CRT5上のポリゴン投
影像内部の画素についても、それぞれCRT2,CRT5を含む
平面と各頂点と目の位置E を結ぶ直線の交点を求め、同
じ平面上でのポリゴン投影像を求め、図１５での方法に
帰着する。

【００６８】以上のように、本実施例によれば、CGにお
いて、複数の視点のステレオ画像をコンピュータグラフ
ィクス（CG）により生成し、表示したい画像を複数の表
示CRTのうちどれに表示するかを自動的に判断し、そのC
RT上での表示位置を計算して画像を表示することによ
り、広範囲のステレオ画像を表示可能とする。更に、CG
データがポリゴンを用いて記述されていても、ポリゴン
内部の画素について、表示されるべき画面上での画素情
報を、ポリゴンを構成する頂点の画素情報から内挿する
ことが出来、臨場感の高い画像を得ることが出来る。

【００６９】図１８は、本発明にかかる第６の実施例の
仮想空間生成提示装置の構成図である。図１８におい
て、仮想空間を表示する立体テレビシステムは、本発明
における第１の実施例と同じであり、また、それぞれの
画像を生成する方法は、本発明の第５の実施例であるコ
ンピュータ・グラフィクスを用いた方法とほぼ同じであ
る。これらの実施例と異なるのは、観察者の眼の位置を
測定する３次元位置測定部４１と、測定された眼の３次
元位置に基づいて、その視点位置に対応した画像を生成
するＣＧ画像生成部４２が追加されたことである。又、
観察者の眼の位置を測定するために磁気センサ３９及び
磁界発生器４０が３次元位置測定部４１に接続されてい
る。

【００７０】まず、磁気センサ３９、磁界発生器４０、
３次元位置測定部４１により、観察者に装着された磁気
センサの位置を測定する。この、磁界を用いた３次元位
置測定方法は、磁界発生器４０により発生される３種類
の互いに独立な磁界を、磁気センサ３９の内部に装備さ
れた３種類の方向の異なるコイルで検出し、磁気センサ
３９の３次元位置を測定するものであり、公知の技術で
あるので、詳細な説明は省略する。３次元位置測定部４
１は、このようにして得られた磁気センサ３９の３次元
位置から、観察者の両眼の３次元位置を計算し、これを
ＣＧ画像生成部４２に送る。磁気センサ３９の位置から
両眼の位置の計算については、両者の位置関係が一定し
ているので、予めこれを測定しておいて計算する。

【００７１】ＣＧ画像生成部４２の計算手法は、第５の
実施例の計算と全く同じでよい。ただ、観察者の左右眼
の位置の座標EL(-We,-ds,Wz),ER(We,-ds,Wz)に、測定さ
れた３次元座標を代入して用いる点のみが異なる。この
場合、左眼の３次元座標を(xe,ye,ze)とすると、（数
１）〜（数９）において、-We→xe,-ds→ye,Wz→zeと置
き換えて計算する。右眼の画像の計算に対しても同様に
右眼の３次元位置を代入することにより計算できる。こ
のようにして得られた複数方向の立体画像Ｒ1Ｌ1〜Ｒ5
Ｌ5を、第１の実施例の画像変換部７〜１１（図２参
照）に入力し、それによりディスプレイ１〜５に画像を
表示し、これを観察する。

【００７２】以上のように、本実施例によれば、観察者
の視点移動に対して複数方向の表示画像を連動させ、広
い視空間に対して視点移動に対応した立体画像を表示で
きるので、更に臨場感の高い画像を観賞することが出来
る。

【００７３】以上説明したように、本発明によれば、よ
り臨場感の高い、広範囲で多方向からの立体画像の生成
・提示を実現することができ、仮想空間、人工現実感の
再現のために役立てることができる。

【００７４】なお、上記第６の実施例では、観察者の視
点の３次元座標を磁気センサを用いて測定したが、これ
に代えて、例えば立体カメラにより観察者を撮像し、両
眼立体視の原理を用いて測定する等の他の３次元位置計
測の可能な方法を用いてもよい。

【００７５】また、上記第６の実施例では、視点の３次
元座標を測定して得る構成としたが、これに代えて、Ｃ
Ｇ画像生成部４２に入力する視点の３次元位置データ
を、観察者がデータ入力機器（マウス、ボリューム等）
を用いて入力する構成としてもよい。この場合、観察者
が意図する視点からの広範囲の画像を表示することが出
来る。

【００７６】また、上記第１の実施例では、左右画像を
時分割信号にして表示して立体画像を得る構成とした
が、これに限らず、他の多くの立体画像表示方式が使用
可能である。例えば、１台の立体ディスプレイについて
左右２台のディスプレイを用いる偏光方式や、レンチキ
ュラ方式等、他の立体画像表示方式が考えられる。偏光
方式の場合には、画像変換部７〜１１を外し、そのまま
左画像用、右画像用のディスプレイに左右画像信号をそ
れぞれ入力すれば良い。また、レンチキュラ方式の場合
には、画像変換部７〜１１の代わりに、左右の画像信号
を縦方向のストライプ状に交互に表示するように変換す
ればよい。

【００７７】また、上記第１の実施例、第２の実施例、
第３の実施例、第４の実施例では、カメラシステムと立
体テレビシステムが直接、接続されている構成とした
が、これに限らず、前者を送信側とし、後者を受信側と
し、その間を赤外線又は無線もしくは光ファイバなどの
有線で結ぶ構成としても勿論よい。同様に第５の実施例
において画像生成用のコンピュータグラフィックス生成
部を送信側に置く実現例も可能である。

【００７８】

【発明の効果】以上述べたところから明らかなように本
発明は、取扱が簡単であり、複数人で観察することが可
能で、臨場感を向上させることができるという長所を有
する。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例の仮想空間生成提
示装置におけるディスプレイ部の構成図である。

【図２】同第１の実施例における各ディスプレイに画像
を提示するための映像系統を示す構成図である。

【図３】同第１の実施例における画像変換部の動作原理
の例を示す図である。

【図４】同第１の実施例における観察者から見た５方向
の立体空間を再現するためのカメラの配置図である。

【図５】同第１の実施例における５方向から被写体を撮
影し立体空間を再現するためのカメラの配置図である。

【図６】本発明にかかる第２の実施例における映像系統
を示す構成図である。

【図７】同図（ａ）は、同第２の実施例において、３組
のカメラにより景色を撮影している様子を示す図、同図
（ｂ）は、その撮影された３枚の画像の、スクリーン上
への合成例を示す図、同図（ｃ）は、その時の、等価的
な１組のカメラを説明する図である。

【図８】同図（ａ）は、従来例における画像のつなぎ目
を示す図、同図（ｂ）は、同第２の実施例における画像
のつなぎ目を示す図である。

【図９】同図（ａ）は、同第２の実施例におけるカメラ
の初期設定を行うために、カメラ前にキャリブレーショ
ン用のグレーティングパターンを配置した例を示す図、
同図（ｂ）は、そのときの左カメラ出力を例にした時の
波形の合成例を示す図、同図（ｃ）は、キャリブレーシ
ョン用のパターンとして用いる楔パターンを示す図であ
る。

【図１０】本発明にかかる第３の実施例におけるカメラ
配置を示す図である。

【図１１】本発明にかかる第４の実施例における立体カ
メラの配置を示す図である。

【図１２】同第４の実施例において立体カメラを垂直方
向に配置した例を示す図である。

【図１３】同第４の実施例において、左右眼用のレンズ
それぞれの回転中心でカメラを回転して視野を変更する
例を示す図である。

【図１４】本発明にかかる第５の実施例における動作を
説明する図である。

【図１５】同第５の実施例におけるポリゴン（３頂点と
も同じディスプレイ上に存在する場合）内の画素の内挿
処理を説明する図である。

【図１６】同第５の実施例におけるポリゴン（２頂点が
同じディスプレイ上に存在する場合）内の画素の内挿処
理を説明する図である。

【図１７】同第５の実施例におけるポリゴン（３頂点と
も異なるディスプレイ上に存在する場合）内の画素の内
挿処理を説明する図である。

【図１８】本発明にかかる第６の実施例の仮想空間生成
提示装置の構成図である。

【符号の説明】

１〜５ディスプレイ６液晶シャッタ眼鏡７〜１１画像変換部１２同期信号発生部１３〜１８立体カメラ１９〜２１左画像メモリ２２〜２４右画像メモリ２６メモリテーブル２７左カメラアドレス制御部２８右カメラアドレス制御部４１３次元位置測定部４２ＣＧ画像生成部

Claims

【特許請求の範囲】

【請求項１】所定の複数方向にそれぞれ向けて配置さ
れ、左目の視野に相当する画像と右目の視野に相当する
画像を撮影する複数個の立体カメラを有する撮像手段
と、その撮像された左右眼用の画像を、観察者の左右眼
に提示するために、前記各方向のそれぞれに対応して表
示する複数個のディスプレイを有する画像表示手段とを
備えたことを特徴とする仮想空間生成提示装置。
【請求項２】撮像手段は、前記立体カメラ毎、左右画
像毎に、前記撮影された画像を格納する格納手段と、撮
影された前記各立体カメラ画像を滑らかに合成するため
に予め設定されたメモリアドレスを記憶するためのメモ
リテーブルと、そのメモリアドレスに基づいて、前記格
納手段に格納された画像情報を出力するアドレス制御部
とを備えたことを特徴とする請求項１記載の仮想空間生
成提示装置。
【請求項３】予め設定されたメモリアドレスは、隣合
う画像同士の撮像領域を重複させ、その隣合う左目画像
同士のデータ、又は右目画像同士のデータが実質上連続
するように、重複させて得たデータを適宜取捨選択する
ものであることを特徴とする請求項２記載の仮想空間生
成提示装置。
【請求項４】撮像手段は、所定方向に設定された立体
カメラと、その立体カメラの左右レンズ中心間の中心点
を回転中心として、カメラの視野角と等しい回転角で回
転した方向に向けて設定された立体カメラとを有するこ
とを特徴とする請求項２記載の仮想空間生成提示装置。
【請求項５】撮像手段は、所定方向に設定された立体
カメラと、その立体カメラの左右レンズの各中心点を回
転中心として、カメラの視野角と等しい回転角で回転し
た方向にそれぞれ向けて設定された立体カメラとを有す
ることを特徴とする請求項２記載の仮想空間生成提示装
置。
【請求項６】立体カメラは、ズーム機能を有するもの
であり、前記メモリアドレスは、そのズーム情報に応じ
て設定され、前記アドレス制御部は、前記立体カメラの
ズーム情報に基づいて、前記メモリテーブルのメモリア
ドレスを読み出すものであることを特徴とする請求項２
〜５のいずれかに記載の仮想空間生成提示装置。
【請求項７】立体カメラは、垂直方向にも配置されて
いることを特徴とする請求項１〜６のいずれかに記載の
仮想空間生成提示装置。
【請求項８】所定の複数方向に対して、左目の視野に
相当する画像データと右目の視野に相当する画像データ
を生成する画像生成部と、前記各方向について左右眼用
の画像を、それぞれ観察者の左右眼に提示するための複
数個のディスプレイを有する画像表示手段とを備えたこ
とを特徴とする仮想空間生成提示装置。
【請求項９】画像生成部は、前記観察者の視点から表
示物体の所定点の３次元位置とを結ぶ直線の延長が前記
各々のディスプレイと交わる点のうち、最も観察者の視
点から近い距離の点を表示するディスプレイに、前記所
定点を表示させることを特徴とする請求項８記載の仮想
空間生成提示装置。
【請求項１０】観察者の視点とその観察者の視点から
表示物体の所定点の３次元位置とを結ぶ直線の延長が前
記各々のディスプレイと交わる点との距離は、ユークリ
ッド距離、又はハニング距離を用いることを特徴とする
請求項９記載の仮想空間生成提示装置。
【請求項１１】左目の視野に相当する画像と右目の視
野に相当する画像は、複数の頂点よりなるポリゴン内部
の点の内挿計算において、各頂点が同じディスプレイに
表示されないポリゴンに対し、表示される複数のディス
プレイそれぞれについて、そのポリゴンに属する全ての
頂点を一つのディスプレイ上に投影したとしてそのディ
スプレイ上に表示されるポリゴン内部の点を内挿するこ
とを特徴とする請求項８記載の仮想空間生成提示装置。
【請求項１２】観察者の視点の３次元位置を測定する
３次元位置測定部を備え、前記画像生成部は、前記３次
元位置測定部により測定された前記観察者の視点の３次
元位置に応じて、左目の視野に相当する画像データと右
目の視野に相当する画像データを生成し、観察者の動き
に対応して視野内の画像を変化させることを特徴とする
請求項８記載の仮想空間生成提示装置。
【請求項１３】観察者の指示により視点の３次元位置
を指定する３次元位置指定手段を備え、前記画像生成部
は、前記指定された視点の３次元位置に応じて、左目の
視野に相当する画像データと右目の視野に相当する画像
データを生成し、観察者の意図に対応して視野内の画像
を変化させることを特徴とする請求項８記載の仮想空間
生成提示装置。
【請求項１４】撮像手段又は前記画像生成部及び／又
は前記画像表示手段は、前記複数の方向の画像の内の少
なくとも１つが片方の眼用の画像のみを処理するもので
あることを特徴とする請求項１〜１３のいずれかに記載
の仮想空間生成提示装置。