JPH0888870A

JPH0888870A - 立体映像表示装置

Info

Publication number: JPH0888870A
Application number: JP6223361A
Authority: JP
Inventors: Atsushi Morimura; 森村　　淳; Kenya Uomori; 謙也魚森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-09-19
Filing date: 1994-09-19
Publication date: 1996-04-02
Anticipated expiration: 2014-09-20
Also published as: JP2950160B2

Abstract

(57)【要約】【目的】あたかもそこにほんとうの物体が存在するよ
うに表示する立体映像表示装置を提供することを目的と
する。【構成】観察者の体や顔又は目の位置を検出する位置
センサー手段１と、観察者の観察位置に応じて合成した
立体映像を表示する表示部２と、検出された観察者の方
向に表示部２の正面を向ける表示部上下支持手段３及び
表示部左右支持手段４と、表示部２と表示部上下支持手
段３及び表示部左右支持手段４をおおう覆い手段５より
構成され、回転角に応じて表示物体の表示する方向を回
転させ、覆い手段５は光透過時に光を一部減衰させ、映
像の表示部と表示制御部は光を多く吸収する構成とし、
覆い手段の外側から見たときその内部が観察されずらい
構成としたものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、立体映像を表示観察す
る分野で有効に利用でき、ＴＶゲームや３Ｄテレビ、Ｃ
ＡＤ、芸術、航空管制など多くの分野で利用可能な立体
映像表示装置に関する。

【０００２】

【従来の技術】従来より、立体映像を表示する装置は種
々提案されている。その一例として、日商エレクトロニ
クス株式会社（開発元：米国ステレオグラフィックス
社）のカタログ（Crystal EYES VR System）に記載の立
体映像表示装置は、表示部分は固定し、一定範囲内で人
間の頭部（眼鏡）を追跡し、頭部の移動とともに映像の
表示内容（視点）を変換し、あたかも物体がそこに存在
するようなバーチャルリアリティの表示を実現しようと
している。

【０００３】

【発明が解決しようとする課題】しかしながら、上記し
た従来の構成では、表示部分は固定であり、任意の方向
（例えば横方向）からの映像は観察できない。また斜め
方向であっても表示面が固定であるため、視点変換を受
けた画像が頭と表示面のなす角度で変形され、物体がそ
こに存在する印象が非常に低下する。

【０００４】更に表示部の装置外形が表示内容とともに
観察され、立体の表現範囲が表示装置の外形に強く影響
され、立体の表現が非常に制限される課題があった。

【０００５】本発明は、上記課題を解決するもので、あ
たかもそこにほんとうの物体が存在するように表示する
ものである。この目的を実現するため、さらに以下の２
つの目的を同時に高いレベルで実現する。その１つは、
どの方向からでも立体の映像が観察できる構成とし、視
点変換された画像が頭と表示面のなす角度で変形を受け
ない構成とする。もう１つは表示装置自身の外形を観察
できない構成とする。そうしてこの２つの特徴により、
立体表示された映像が、表示装置自身の外形形状により
立体表現範囲を狭められず、またそこに表示装置がある
ことを認識させず、さらに全ての方向から立体表現範囲
の広い立体映像を表示することができ、観察位置が移動
した場合にも頭と表示面のなす角度により、視点変換さ
れた画像の変形が発生せず、あたかもそこにほんとうの
物体が存在するように表示することを目的とする。

【０００６】

【課題を解決するための手段】本発明は上記目的を達成
するため、観察者の体や顔または目の位置を検出する検
出部と、前記観察者の観察位置に応じた位置の映像を合
成する映像合成部と、合成された立体映像を表示する表
示部と、検出された観察者の方向に前記表示部の正面を
向ける表示制御部と、前記表示部と前記表示制御部をお
おう覆い手段より構成され、前記覆い手段は光透過時に
光を一部減衰させ、前記表示部と表示制御部は光を多く
吸収する構成である。

【０００７】

【作用】本発明によれば、どの方向からでも立体の映像
が観察することが可能となり、また頭と表示面のなす角
がほぼ一定に制御され、観察位置の移動にともなう画像
の変形がない。更に表示装置自身の外形を観察できない
構成としているため、立体表示された映像が、表示装置
自身の外形形状により立体表現範囲を狭められない。そ
うしてこの２つの特徴を同時にもたすことにより、全て
の方向から観察しても自然で立体表現範囲の広い立体映
像を表示することが可能となり、３次元物体が非常にリ
アルに、あたかもそこに物体が実在するかのように表示
が可能になる。

【０００８】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図１は本発明の第１の実施例の立体
表示装置の外形を示すもので、図中１は観察者の体や顔
または目の位置を計測するための位置センサー手段、２
は立体画像を表示する表示部、３は表示部２を上下方向
に動くように支持する支持表示部上下支持手段、４は表
示部２を左右方向に動くように支持する表示部左右支持
手段で、検出された観察者の方向に表示部２の正面を向
けるように制御される。さらに、表示部２と表示部上下
支持手段３、表示部左右支持手段４は光を多く吸収する
構成となっている。５は表示部２と表示部上下支持手段
３、表示部左右支持手段４をおおう覆い手段で、覆い手
段５は光透過時に光を一部減衰させ、覆い手段５の外側
から見たときその内部が観察されづらい構成となってい
る。

【０００９】図２は本実施例の信号処理のブロック図
で、図中１１は位置計測処理手段、１２は表示部２を動
かす表示駆動部をドライブする表示部ドライバー手段、
１３は表示部２を動かす表示部駆動手段、１４は表示部
２の回転を計測する回転計測手段、１５、１６は信号の
加算手段、１７は回転指示の操作を回転角にする回転角
指示手段、１８は物体のデータを回転角に応じて回転さ
せ画像の表示面での投影像を計算するＣＧ合成手段、１
９は物体のデータを蓄える物体データ蓄積手段である。
以上の様に構成された立体表示装置について以下その各
部の動作を説明する。

【００１０】位置計測処理手段１１では位置センサー手
段１からの信号を用い、以下に示す処理を行う。位置セ
ンサー手段１を上からみた配置を、図３に示す。図３に
おいて、３３、３４は指向性をもつ赤外センサー、３５
は赤外ＣＣＤ（カメラ）センサーである。赤外センサー
３３、３４の信号は水平方向センサー入力端子２０に接
続される。表示部２を観察するとき、観察者は赤外発光
のＬＥＤを付け、そのＬＥＤから放射された赤外光を赤
外センサー３３、３４で受ける。この時の赤外センサー
の指向性をＣＬ、ＣＲで示す。Ｖ１からＶ４で示す位置
から放射された赤外光をＰＬ，ＰＲの位置で受光した場
合の信号レベルを図４に示す。センサーの指向性によ
り、位置の変化を信号レベルに変換する。

【００１１】位置計測処理手段１１では、この信号のレ
ベル差を用い、赤外センサー３３、３４の信号をＥｐ
ｌ、ＥｐｒとするとＥｐｌ−Ｅｐｒが正のとき観察者
（ＬＥＤ保持者）は左側におり、Ｅｐｌ−Ｅｐｒが負の
とき観察者（ＬＥＤ保持者）は右側にいる。このようし
て位置計測処理手段１１では左右方向の位置を計測す
る。上下方向は上記説明したものを垂直方向に回転させ
れば実現できる。赤外ＣＣＤセンサー３５は、ほぼ正面
にある観察者（ＬＥＤ保持者）を１画素単位で計測す
る。赤外センサー３３、３４で十分な精度がとれる場合
には用いなくてよい。このようにして観察者が正面にな
るまで左右上下の位置計測処理結果を表示部ドライバー
手段１２に出力する。

【００１２】表示部ドライバー手段１２は左右上下方向
に対応した正負信号を増幅し、表示部駆動手段１３のモ
ーターの駆動電力を供給する。表示部駆動手段１３は供
給された電力により表示部上下支持手段３、表示部左右
支持手段４を回転させ表示部２を必要な位置に回転移動
させる。この時の回転量を回転計測手段１４で上下、左
右の角度に変換する。また観察者からの画像回転指令が
入力端子２２、２３から入力された場合、これを回転角
指示手段１７で回転角に変換し、回転計測手段１４の信
号と合成し、ＣＧ合成手段１８に入力する。画像の回転
指令は観察者が覆い手段５を直接回転させるか、スイッ
チ等のマンマシンインターフェイスによって、左右上下
の回転指令を与える。

【００１３】ＣＧ合成手段１８では物体データ蓄積手段
１９に蓄積されている物体の座標データから、定められ
た視点と物体の位置及びスクリーンの位置と上記方法に
より求められた物体の回転角より、スクリーン上に透視
される画像を合成する。この画像の合成は、一般にコン
ピュータグラフィックス（ＣＧ）の手法として知られて
いるものであるが、簡単にその概要を説明する。

【００１４】図５（ａ）において、ｘｙｚ座標で原点Ｅ
を視点とする。スクリーンをＺ軸に垂直にとり、スクリ
ーン上の座標をＸＹＺ座標でＺ軸はｚ軸と同じ方向であ
る。物体の頂点をＰＱＲとし、Ｐ（ｘ，ｙ，ｚ）はＹＺ
平面（ｙｚ平面）にあるとすると、点Ｐのスクリーン上
での透視点Ｐ’は図５（ｂ）より、（１）式のように表
され、ｘｚ平面でも同様にして、（２）式のように表さ
れ、点Ｑ，Ｒについても同様に求められる。Ｙ＝ｙ・ａ／（ｚ＋ａ）・・・（１）Ｘ＝ｘ・ａ／（ｚ＋ａ）・・・（２）また、物体ＰＱＲの回転は、回転マトリックスＲｅを用
い、原点と点（ｌ，ｍ，ｎ）を通る軸を中心にθだけ回
転させるとき、（数１）となる。

【００１５】

【数１】

【００１６】ここでＨは同次座標系とするための追加座
標であり、Ｔは（数２）であらわされる回転の変換マト
リックスである。ここでＲｅは以下の（数３）である。

【００１７】

【数２】

【００１８】

【数３】

【００１９】ここで回転軸がｘ軸となす角をα、ｙ軸と
なす角をβ、ｚ軸となす角をγとするとｎｘ＝ｃｏｓ
α ｎｙ＝ｃｏｓβ ｎｚ＝ｃｏｓγで指定する。

【００２０】このようにして物体に、観察点の移動によ
る任意の回転を上記の方法でＣＧ合成手段１８で計算す
る。計算方法の詳細は、増田千尋著「３次元ディスプレ
イ」産業図書Ｐ６９からｐ８８に詳しく解説されている
ので、詳細な説明は教科書に譲りここでの説明は省略す
る。

【００２１】ＣＧ合成手段１８ａ〜ｎは、両眼間隔もし
くはその数分の１程度の間隔で、観察者の視点を移動さ
せた画像をあらかじめ合成しておく。これは表示部２を
観察者の視点の移動にあわせて回転移動させるようにし
ているが、表示部２の物理的な回転が観察者の視点移動
に間に合わない場合が発生する。この時観察者は立体表
示されたものと、実際の存在する物体の違いを違和感と
して感じ、立体表示であることに気が付くことになる。
このときすでに視点移動した画像を合成し、視点を移動
した点にあらかじめ表示しておくことにより、高速な視
点移動があった場合にも、物体と立体表示の違いの違和
感が発生せず、非常に実在感の高い立体表示を可能とす
ることができる。

【００２２】このようにして合成された複数視点の画像
を、表示部２に出力する。表示部２の詳細を図６に示
す。図６において、４０はレンチキュラースクリーン、
４１〜４５は画像投影手段、４６は観察者である。レン
チキュラースクリーン４０により画像投射手段４１から
ａの方向に投射された画像は、観察者４６の手前のａａ
の方向にその像を結ぶ。また、画像投射手段４５からｅ
の方向に投射された画像は、ｅｅの方向にその像を結
ぶ。このように、ａからｅの方向に投射されたそれぞれ
の画像は、観察者４６の手前のａａ、ｂｂ，ｃｃ，ｄ
ｄ，ｅｅの方向にそれぞれその像を結ぶことになる。

【００２３】図６の場合、ａａとｃｃのペア、ｂｂとｄ
ｄのペア、ｃｃとｅｅのペアがステレオペアとなり、観
察者の両眼に入射し、立体的な画像が観察者の頭の中で
再合成される。ステレオペアのとりかたをａａとｂｂ、
ｂｂとｃｃ，・・・ｄｄとｅｅとした場合、ペア数が増
え立体に見える範囲が増えるが、画像の変わり目の変化
が大きくなり、自然さが低下する。また、ステレオペア
のとりかたをａａとｄｄ、ｂｂとｅｅとした場合、画像
の変わり目の変化が少なくなるが、ステレオペアの数が
減少し、立体的に見える範囲が少なくなる。理想的には
画像の変わり目の変化を少なくし、画像投射手段を多く
して立体的に見える範囲を増やすのが良い。このようし
て、一定の範囲で立体的に見える表示部２を持つことに
より、視点追跡に多少の遅れがあった場合においても、
立体表示であることの違和感が全く発生しない。このた
め、あたかもそこにものが存在するような、立体表示が
可能となる。

【００２４】また画像表示装置全体を黒い光の吸収体と
し、さらに装置の覆い自体を光を一部吸収するＮＤ系の
ガラス（プラスティック）とすることにより、表示装置
自体を見えにくくする。このような構成により、立体表
示された画像が画像の周囲に存在する実際の立体構造
（表示部の周囲のパネル枠など）が見えなくなり、これ
らの実在する構造物の影響により、立体表示された画像
の周辺が狭くなる制約を受けることがなくなる。これら
の構成により、初めにＣＧ合成部１８で計算された、意
図した通りの表示が可能となる。

【００２５】以上の構成により、観察者の移動や表示指
示された全ての方向の画像が表示可能となる。このため
観察者が移動し見る位置を替わった場合でも、両眼視差
による立体感だけでなく、運動（モーション）による自
然な奥行き感（観察者の顔が動くことにより、対象物の
位置関係が変化し、この対象物の位置関係の変化が自然
な奥行き感に重要である。）を得ることができる。また
観察位置が移動しても頭と表示面のなす角がほぼ一定に
保たれ画像の変形を受けない。このため、いままでの表
示装置では実現できなかった、非常に自然な立体表示装
置を実現できる。

【００２６】次に本発明の第２の実施例について説明す
る。第２の実施例の構成図を図７に示す。第１の実施例
の構成を示す図２と同じ構成部分は同じ番号を付け、説
明は省略する。図２と異なるのは、観察者の位置を計算
する位置演算手段５０、回転計測手段１４のデータから
減算する減算手段５１、５２、回転変換手段５３、透視
変換手段５４、ＣＧ描写手段５５を備えた構成である。

【００２７】この第２の実施例の目的は、観察者の素早
い動きに対応するための手法を実現し、表示された立体
画像が更に実際の物体に近い存在感の高いものにするも
のである。この目的の実現には位置計測処理手段１１の
信号を用い、観測者の位置を回転計測手段１４とは独立
に演算する。表示部の回転位置とは独立に観察者の位置
を得ることにより、表示部の回転遅れに依存しない表示
を実現する。

【００２８】まず、位置演算手段５０は、それぞれの方
向センサーの出力レベル（図４に示す）ＰＲとＰＬのレ
ベル差より観察者の位置を角度で求める。これと同時に
ＣＣＤセンサー（赤外線を用いるのがよい）を用い、観
察者の顔の重心を求める。方向センサーで角度０近辺で
十分な精度がないとき、ＣＣＤセンサーの画素単位の位
置を角度に変換し用いる。

【００２９】このようにして求められた角度に観察者か
らの表示画像の回転指令を回転角に変換し、加算手段１
５、１６で加算する。このようにして最終的に得られた
角度により、回転変換手段５３により物体データの回転
変換を行う。図８（ａ）で物体をＳＴとする。現在の視
点Ａから視点Ｂまで移動したとすると、視点と物体の角
度を変換するために、物体の座標データをα−β＝θ度
だけ回転させる。また観察者の位置と表示手段の位置の
差（表示手段の正面から観察者までの角度）を減算手段
５１、５２で求め、透視変換手段５４にその角度θを入
力する。透視変換手段５４では、図８（ａ）に示すよう
に想定スクリーン面（物体が視点から透視されるときの
透視投影される面）をＶからＵにθ度回転させ、実際の
表示部２の位置がＵであった場合、回転遅れのない仮想
的なＶのスクリーン面から実際の回転遅れがあるスクリ
ーンの位置Ｕにスクリーン面を変換し、ＣＧ描写手段５
５で表示する画像として合成する。

【００３０】分かりやすくするために、視点を固定した
図を図８（ｂ）に示す。回転変換、透視変換をする前の
状態を点線で示し、変換後の状態を実線で示す。このよ
うに視点が急速に動き、表示面がこれに追従できない一
瞬の状態の透視変換を行うスクリーン面の位置を、表示
部の回転計測手段１４と位置演算手段５０との差として
求め、透視変換を行う想定スクリーンをこの状態に合わ
せる。このようにして表示面の応答の遅れをカバーして
過渡状態を吸収し、観察者に違和感を与えないようにす
る。この構成をとることにより、観察者の素早い動きに
対しても遅れることなく画像を変換することが可能とな
る。従って立体表示された物体が、本当に物体がそこに
存在するのと代わりなく自然に表示することができる。

【００３１】以上のように本発明の第２の実施例によれ
ば、観察者の素早い動きに対しても応答でき、視点の移
動に対する違和感が一切発生せず、本当に物体がそこに
存在するのと代わりなく自然に表示することができ、そ
の実用的価値は高い。

【００３２】また表示部の外側の覆い手段５であるが、
観察者が与える回転指令に応じて、表示される画像だけ
でなく覆い手段５を同時に回転させることにより、表示
された画像と覆い手段５が一体になっているような感覚
を与えることも可能である。また覆い手段５を回転させ
て、表示画像の回転指令を与える場合、回転角の大きさ
や信号処理量の大きさにより、覆い手段５の回転負荷を
変化させても、物体がそこに存在する感覚を与える補助
になる。

【００３３】尚、表示部２は５枚の視差のある画像をレ
ンチキュラースクリーンを用いて表示する形態のものを
用いたが、視差画像の枚数はこれに限る必要はない。ま
た表示する形態もレンチキュラーに限る必要はなく、Ｉ
Ｐ（インテグラルフォトグラフ）や液晶などの光変調素
子を用いた干渉波面再現による動画ホログラムでもよ
い。このとき動画ホログラムは画像の観察範囲が狭くて
も良く、動画ホログラムとして非常に実現しやすい形態
となる。

【００３４】また観察者の追尾には赤外線とＴＶカメラ
を用いるものを示したが、この方式に限定する必要はな
く、速度と精度の条件を満たすものであれば良い。

【００３５】また画像の合成にはＣＧを用いて任意の方
向の画像を出力できるものを示したが、これはあらかじ
め必要な方向の画像を合成し、蓄積したものを読み出す
方式を用いてもよい。この時はカメラで撮像した画像を
蓄積し読み出すことも可能である。

【００３６】

【発明の効果】以上のように本発明によれば、観察者の
移動したすべての点や表示指示された全ての方向の画像
が表示可能となる。このため観察者が移動し見る位置を
替わった場合でも、両眼視差による立体感だけでなく、
運動（モーション）による自然な奥行き感（観察者の顔
が動くことにより、対象物の位置関係が変化し、この対
象物の位置関係の変化が自然な奥行き感に重要であ
る。）を得ることができる。また観察位置が移動したと
き、観察者の頭（目）と表示面のなす角が一定に保た
れ、表示された画像が観察者の見る位置による変形を受
けず、自然な物体の存在感を提示できる。

【００３７】同時に画像の表示装置全体が、それ自体見
えない構成とすることにより、現実の構造物（表示装置
の外形）の影響を受けずに、意図した構成の立体像の提
示観察が可能となる。

【００３８】この２つの条件を同時に満たすことによ
り、いままでの表示装置では実現できなかった、非常に
自然な立体表示装置を実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の立体画像表示装置の構
成を示す図

【図２】本発明の第１の実施例の立体画像表示装置の信
号処理の構成を示すブロック図

【図３】本実施例における位置センサーを示す図

【図４】本実施例における位置センサーの信号レベル特
性図

【図５】(a),(b)は本実施例に用いるＣＧの透視変換を
示す図

【図６】本実施例の表示部の構成を示す図

【図７】本発明の第２の実施例の立体画像表示装置の信
号処理の構成を示すブロック図

【図８】(a),(b)は本発明の第２の実施例の立体画像表
示装置の動作を示す図

【符号の説明】１位置センサー手段２表示部３表示部上下支持手段４表示部左右支持手段５覆い手段１１位置計測処理手段１２表示部ドライバー手段１３表示部駆動手段１４回転計測手段１７回転角指示手段１８ＣＧ合成手段

Claims

【特許請求の範囲】

【請求項１】観察者の体や顔または目の位置を検出する
検出部と、前記観察者の観察位置に応じた位置の映像を
合成する映像合成部と、合成された立体映像を表示する
表示部と、検出された観察者の方向に前記表示部の正面
を向ける表示制御部と、前記表示部と前記表示制御部を
おおう覆い手段より構成され、前記覆い手段は光透過時
に光を一部減衰させ、前記表示部と表示制御部は光を多
く吸収する構成としたことを特徴とする立体画像表示装
置。
【請求項２】表示部は、視差の異なる２枚の画像を左右
の目にそれぞれ独立に観察できるようにする構造を持つ
ことを特徴とする請求項１記載の立体映像表示装置。
【請求項３】表示部は、視差の異なる２枚以上の映像を
映像が表示される面上にレンズや透過・遮断部をもつ光
学系により、左右の目にそれぞれ独立に観察できるよう
にする構造を持つことを特徴とする請求項１記載の立体
映像表示装置。
【請求項４】覆い手段は、上下左右に動かせる可動構造
とし、この上下左右の動きまたはスイッチなどのマンマ
シンインターフェイスを通しての人間の意図に対応して
表示物体の角度または表示物体の角度と前記覆い手段を
同時に変更さすよう映像合成部を制御することを特徴と
する請求項１記載の立体映像表示装置。
【請求項５】観察者の手動入力により映像を表示する方
向を任意の方向に入力し指定できることを特徴とする請
求項１記載の立体映像表示装置。