JPH05324799A

JPH05324799A - バーチャルリアリティ制御方法および装置

Info

Publication number: JPH05324799A
Application number: JP4123211A
Authority: JP
Inventors: Tomohito Nakagawa; 智仁中川; Kousuke Sakota; 行介迫田; Hiroshi Ota; 寛太田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-05-15
Filing date: 1992-05-15
Publication date: 1993-12-07

Abstract

(57)【要約】【目的】バーチャルリアリティシステムにおいて、動
作と反応の時間遅れを従来より改善する。【構成】描画による時間遅れを考慮して、時間遅れに
よって生じる位置的な誤差を画像を平行移動させて補正
することにより、現実との違和感を解消する。具体的に
は、図３（ａ）の視点Ｂにおける画像２３が出力される
時点で、実際は視点Ｃに移動している（本当は画像２４
となる）場合、画像２３を補正して画像２５を生成し、
これを出力する方法および実現装置である。【効果】とくに、首振りのように運動と画像お動きと
が殆ど一致するべき動作について有効である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】バーチャルリアリティすなわちコ
ンピュータ上で作り出された仮想的な世界の疑似体験技
術を利用した製品あるいは装置にかかわる。

【０００２】

【従来の技術】近年、人工現実感（Artificial Realit
y）・仮想現実感（Virtual Reality）などと呼ばれる技
術が関心を集めている（以下、バーチャルリアルティで
表現を統一する）。この技術は、「計算機により作り出
された人工の世界を人間の周囲に発生させ、あたかもそ
の内部に自分が存在するかのごとく錯覚させる技術（広
瀬：人工現実感はどこまで実現するか：日本機械学会
誌,Vol.93,No.863(Oct.1990))」である。

【０００３】図１では、代表的なバーチャルリアリティ
のシステムを示す。ユーザはヘッドマウントディスプレ
ー１６およびグローブ型センサ１５を装着する。ヘッド
マウントディスプレー１６およびグローブ型センサ１５
には、それぞれ頭および手の位置を測定するための位置
センサ１１の計測部が装着されている。さらに、グロー
ブ型センサには、手の形状を把握するため各指ごとに曲
がりセンサ（例えば、グラスファイバーの屈折率により
評価する）の計測部が装着されている。これらの計測部
によって得られた信号は、位置センサ１１あるいは曲が
りセンサ１２によって有限ビット長のデジタル信号に変
換され、処理装置１３に入力される。処理装置１３で
は、人工的な現実感を得るためには、三次元コンピュー
タグラフィックス（ＣＧ）における形状モデリング技法
により、予め設定してある仮想世界の三次元モデルに従
って、頭や手の位置や形状をセンサ情報に基づいて解析
し、仮想世界における自分の位置・形状を決定（形状モ
デルを定義）する。そして、仮想世界での人の視点（目
の位置）から見た仮想世界の三次元ＣＧを、全視野型の
ディスプレー（例えば、ヘッドマウントのディスプレ
ー）上の三次元ＣＧ画像として表示する。この操作は、
一定の間隔で反復継続的に処理され、人の動きに合った
仮想的な現実感が提供される。

【０００４】また、将来的には位置センサ１１および曲
がりセンサ１２の代わりに、立体カメラ１４を用い、画
像認識によって人の現在位置を決定し、ヘッドマウント
ディスプレーの代わりに、パノラマディスプレーのよう
な大画面デスプレー用いてリアリティを表現する方法も
考えられてる。

【０００５】従来の方法は、このようにセンサから得ら
れたデータと仮想世界の相互関係から、仮想世界の形状
モデルの修正および自分の位置を決定する（形状を定義
する）作業を行い、その三次元形状モデルに従い三次元
ＣＧを描画していた。従って、センサ入力に対応した画
像は、センサの入力後に膨大な計算量の３ＤＣＧの描画
計算を実行したため、高度なレンダリング（例えば、レ
イトレーシング）を施さなくとも、若干の時間遅れは生
じる。

【０００６】これに対応する方法として、アルゴリズム
を改善することも考えられるが、一般にはハードウェア
を改善して（より演算速度を向上させ）対応することが
多い。現在では、グラフィック処理に適したワークステ
ーションも数多く製品化されているが、しかし現状では
処理能力が十分とは言えない。画像処理向けのスーパコ
ンピュータ（並列計算機）などの利用も可能であるが、
それではシステム価格が非常に高価になる問題点が生じ
ることになる。

【０００７】一方、アルゴリズムの改善法としては、例
えばバーチャルリアリティと類似の技術として、フライ
トシミュレータでのイメージ生成法として「コンピュー
タ・イメージ生成のための予測先読みメモリ管理方式」
（A.f.Griffen et al.Predictive look ahead memory m
anagement for computer image generation in simulat
ors : United States Patent, Patent-Number 4,952,92
2 Aug. 28,1990）が提案されている。この方式は、シミ
ュレートしている飛行機の動特性に基づき、その取りう
べき飛行経路を（すべて）予測し、その（予測された）
地点について操作者が見る光景を描画するのに必要なデ
ータを二次記憶から先読みする方法である。当該方式
は、特に二次記憶の低速性を補う方法として有効であ
る。また、当該明細書には明記されていないが、当該方
法の簡単な応用として、二次記憶から先読みするステッ
プに代えて、画像そのものを描画することにより高速化
することも原理には可能であると思われる。

【０００８】

【発明が解決しようとする課題】上記の従来方法におい
て、次のような問題がある。すなわち、先に述べたよう
に、三次元コンピュータグラフィックス（ＣＧ）に必要
な計算量は膨大であるため、一般的に使用されるグラフ
ィックワークステーションを用いたシステムでは、若干
のタイムラグ（時間遅れ）が生じる。この時間遅れは、
通常の動作ではあまり気にならないことも多いが、人の
位置の変位が急に大きく変更された場合、大きな違和感
を感じさせることがある。特に、首を横に大きく振った
ような場合、首の回転に画像が付いていかないと、非常
な不快感をもたらす。

【０００９】また、フライトシミュレータ等の応用が有
効と思われる「コンピュータ・イメージ生成のための予
測先読みメモリ管理方式」は、フライトシミュレータの
ように対象の動特性が明確で、挙動が明確に予測される
ことが必要であり、人の動きのシミュレーションのよう
に、動作が複雑ですべての事例を予測し尽くすことが不
可能な事例では適用できない。また実際問題として、三
次元モデルそのものを二次記憶から頻繁に呼び出す場合
はともかく、多くのバーチャルリアルティシステムのよ
うに、三次元モデルをメモリ上に置く場合では、あまり
効果がない。

【００１０】本発明の目的は、上記の問題点を解決する
ために、バーチャルリアリティ装置において生じる（特
に首振り時における）不快感を解消するための方法を提
供することにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明では「人の頭が回転するときのスクリーン画
像の動きの特徴」に着目した。人の頭の回転は水平方向
の回転および垂直方向の回転によって表現できる。今、
図２のように仰角ψで正面方向を向いた人の頭を左方向
にΔθだけ回転させた事例を考える。図２（ａ）では、
ヘッドマウントディスプレーに係わる前提を示してい
る。では、スクリーンを示している。一般にヘッドマ
ウントディスプレーはステレオタイプのディスプレーと
なっている。ここでは、その一方のディスプレーを例に
したが、視点の位置が異なる（＝画像は当然違う）だけ
で、原理的には共通であるから、ここでは一方について
説明する。は視点とスクリーンの関係（上からの図）
を示している。一般には、スクリーンの横の長さ（以下
スクリーン長）とスクリーンの視差との関係からスクリ
ーンと視点の距離（以下画像距離）は論じられもする
が、バーチャルリアリティにおいては、頭（顔）に装着
されるため画像距離は、装置固有の定数となる。も同
様に視点とスクリーンの関係（横からの図）を示してい
る。今、図２（ｂ）のように、上を向いて頭を回転させ
た場合を考える。のように水平方向（人の脊髄を中心
として）の回転を想定する。また、ここでの仰角をに
示している。

【００１２】この場合、対象物のスクリーン上での像の
軌跡は、視点から垂直方向に延ばした線とスクリーン
（を含む平面）との交点を中心とする円弧を、自分の回
転と反対方向に動く。これは、ちょうど星が回転するの
と同じ（固定された対象を自ら回転して凝視すると、
（首の）回転軸の方向を中心とした円弧を描いて動くよ
うに見える）原理に他ならない。この円弧の曲率半径Ｒ
は

【００１３】

【数１】

【００１４】ただし、ここでＬはスクリーンと視点との
距離（画像距離）であり

【００１５】

【数２】

【００１６】すなわち、Ｒ∽1/tanψである。従って、
ψ→０ならばＲ→∞ であり、ψが十分小さければ、
平行に移動することになる。

【００１７】本発明では、この原理に加えて、人の動態
視力が静止視力に比べ劣っていることを勘案し、首の動
きのような急な画像の移動に対しては、すでに生成され
ている画像を現在の入力データによって補正して出力す
る。

【００１８】そこで、次に本発明の基本的概念を図３を
用いて説明する。図３（ａ）には、通常のバーチャルリ
アリティシステムにおける取扱いを示している。首の回
転等により、視点Ａから視点Ｂに視点が移動した場合、
対象Ｏは画像３１から画像３２のように変わる。しか
し、現在のグラフィックワークステーションの能力で
は、正確な描写を行った場合（例えば、３次元ＣＧ技法
を用い各種レンダリングを施した場合）ある程度時間遅
れが生じる。この間に視点が視点Ｃへ移動したなら、仮
に描写そのものは正確であったとしても、現在の（視点
Ｂが生成された時点での）位置関係とは掛け離れたもの
になってしまう。実際、人の受ける違和感は、視点Ｃで
本来見れるべき画像３３と画像３２のずれにともなって
増大し、特に首を高速に回転させた場合など、不快感が
大きい。

【００１９】そこで、本発明ではイメージ出力として視
点Ｂにおける諸情報で作成した画像をさらに視点Ｃの位
置情報によって補正するものである。図３（ｂ）を例に
とって説明すると、視点Ｂにおいて生成されたイメージ
画像３２は、平行移動させイメージ画像３３と同じよう
な位置の場所に出力する（画像３４）。ここでは、図形
の形状は視点Ｂのものであるが、全体的な位置関係は視
点Ｃのものであるため、視点Ｂの画像をそのまま出力す
る従来法に比べてより実際に近い（具体的には画像３３
に近い）イメージ画像を得ることができる。

【００２０】もちろん、本発明でも理論上誤差を内包す
ると言えるであろう。しかし、計算機の計算時間がある
一定以上必要な現状においては、バーチャルリアリティ
といっても、現在の視点から正確にグラフィックスを生
成することは厳密には困難であり、如何に現在の視点か
らの画像に近い画像を出力するかが重要であるといえ
る。

【００２１】このようなことから、高速に首が回転する
場合にのみ、新たに（センサ入力に対応して修正された
形状モデルに基づいて）三次元ＣＧを生成するのでな
く、既に生成されている画像をセンサ入力に応じてリニ
アに移動させた（偏差に比例的に平行移動させた）画像
を、（近似的に）現在の出力として利用する手段を用
い、これによって従来法より高速に首の動きに追従する
方法を実現した。

【００２２】また、特に対象が固定されているシステム
に対しては、背景と対象を別々に生成し合成する描画法
を採用し、それぞれの移動量を変えることで相対的な位
置関係の整合性を確保する。再び図３を例にして説明す
ると、視点Ａから視点Ｂに移動した時、背景と対象Ｃと
の相対な位置関係は、対象Ｃが右へ移動するように見え
る。特に相手が決まっているような場合、視点が動いて
も見る対象が固定されていることが多いため、対象の画
像が精細であることが望ましい場合も多い。

【００２３】そこで、特に対象が明確なシステムでは、
その対象（例えば対象Ｃ）と背景を別々に生成し合成す
る。図４は、近接物体と背景の相対関係を示している。
図４（ａ）では、視点移動時における、無限遠方の背景
と対象物との視差の変化を示す。移動前の視点を P1′
とし、移動後の視点を P2 とする。ここで、移動距離ｒ
および移動前の視差αは既知である。このとき、移動後
の視差γは次のようになる。

【００２４】

【数３】

【００２５】これを一般的に示すと図４（ｂ）に示す。
視点が P1(or P1′) から P2 へ移動した場合、近接対
象Ａと背景対象Ｂの視差（スクリーン上の距離は、視差
＊画像距離で換算される（図２参照））を考える。回転
前の視差を α とし、回転後の視差を β とする（ここ
で、背景の対象は近似的に距離Ｒにすべてあり、Ｒ＝
∞ のときの回転後の視差を γ、β と γ のずれ γ−
β を δ とする）。また、P1, P2 から近接対象Ａへ引
いた線と背景（を含む平面）との交点を、それぞれ M1,
M2 とする。また、P2 から背景平面に下ろした足を MH
とする。このときγは上記の（数３）であり、δは言う
までもなく

【００２６】

【数４】

【００２７】となる。

【００２８】以上により、βはγ−δから導けるが、Δ
θが十分小さく、Ｒが十分大きいければ、sin(Δθ)≒
０，１／Ｒ≒０となることから、結局βは、

【００２９】

【数５】

【００３０】によって求められる。対象画像および背景
画像の移動距離はα・βによって一意に決定できる（近
似的に移動距離は視差に比例する）。

【００３１】

【作用】本発明の作用は、大きな首の回転のように、局
所的な画像の整合性よりも大局的な運動との一致が重視
される場合には、局所的な画像の整合性より運動との一
致に重みを置いた処理が実現される（小さな移動で局所
的な画像の整合性が重要な場合の処理では、従来の方法
を適用する）。これは、人間の制約条件を巧妙に利用し
たもので、実際に不必要な計算処理をしない作用があ
る。

【００３２】なぜなら、視点の動く速さが小さい場合の
人の視力は静止状態に近く識別能力は高く、不完全な描
画は好ましくない。また、一般に時間遅れによる誤差
は、視点の動く速さに比例して大きくなるから、時間遅
れによる誤差のために生じる不快感は小さく、それに比
べて描画の不整合性や描画の粗雑さによる不快感がずっ
と大きいといえる。従って、視点の動く速さの小さい場
合の処理は。現状のように多少の時間遅れを伴っても、
センサ入力に応じて形状モデルを修正し、それに基づい
て三次元ＣＧを描く方法が適当である。

【００３３】しかし、視点の動く速さが大きい場合（こ
れは、背景の移動で評価する。従って、例えば首の回転
などは非常に大きい場合に該当する）人の視力は、静止
時の視力に比べて著しく低下する。このような場合、人
は細かな識別をすることが困難であり、時間をかけた緻
密な描画は余り意味はない。ここでは、専ら視点の動き
と背景の移動との関連が認識の主な要素であり、時間遅
れに伴う不快感には非常に敏感である（特に首の回転に
背景が付いていかない場合、もはや現実感とは言い難い
不快感である）。従って、視点の動く速さの大きい場合
の処理は、多少画像の完全性は犠牲にしても、動作に素
早く追従する画像生成が必要であり、本発明により、す
でに生成された画像を利用して、素早い追従が可能とな
る。

【００３４】尚、本発明で画像の完全性が若干犠牲にさ
れるが、後述する実施例で説明するように、例えば１ス
テップ前の画像を常に使用するようにすれば、背景の変
化は１ステップ遅れで付いてくる。また、移動の速さに
よって描画方法が切り替わる場合の整合性は、実施例で
示すような補正により十分対処できるため、大きな違和
感はない。

【００３５】また、対象画像と背景画像を分離すること
で、特に対話式のバーチャルリアリティシステムにおい
ても、高速処理が可能になる。

【００３６】

【実施例】バーチャルリアリティとは、コンピュータに
よって作りだされた仮想的な世界による現実感のことで
ある。すなわち、視野のすべてを覆う表示装置と体の動
きをモニタするセンサをを用い、三次元ＣＧによって表
現された仮想的な世界の中に自分の動きをシミュレーシ
ョンすることにより、仮想的な世界を疑似体験するもの
であることは先に述べた通りである（図１）。このシス
テムに基づいて本発明の実施例を詳細に説明する。

【００３７】実施例１では、図１のシステムを基本にし
て、大きな首振りに対し高速に対応するバーチャルリア
リティシステムについて説明する。図２は、首振り時の
処理について、簡単に示している。現在の正面方向を常
にθ＝０とし、水平方向の回転をΔθで表す（図２
（ｂ））。また、水平面と視線の成す角をψとし、垂直
方向の回転をΔψとする（図２（ｃ））。このとき、ψ
が大きければディスプレー上での対象点の移動はあまり
大きくないが、θが小さくなるに従って（回転角Δθに
比例して）ディスプレー上の移動量は大きくなる。単位
時間に画面上を移動する大きさが大きくなると、少しの
時間遅れでも感覚的に大きな不快感をもたらすが、細か
い認識をする能力はないため、このような場合、画面の
全体的な動きを首の回転にリンクさせれば実用上十分で
ある。特にψ≒０の場合、図２（ａ）のように対象は左
右平行に移動する。従って、ψが小さいくΔθとΔψが
相応な水準であれば、既に生成された描画を平行移動す
ることで、近似的に首の回転を表現できる。

【００３８】そこで、図３に示したように、視点Ｂでの
情報に基づいて生成されたＣＧ画像が出力されるとき、
その位置関係を最も新しい位置情報（視点Ｃでの情報）
によって補正することために、図５のような装置を考え
る。

【００３９】図５では、図１の処理装置１３に対応する
装置を具体的に示している。中央処理装置１０１は、例
えば高性能マイクロプロセッサを中心にして、メモリそ
の他を含む、通常のワークステーション（ＷＳ）に相当
する部分である。中央処理装置１０１のメモリ上に仮想
世界の形状データが保存されており、中心のＣＰＵでは
形状モデリングおよび相互関係シミュレーションを実行
する。描画プロセッサ１０２および主画像描画フレーム
バッファ７は、三次元ＣＧ作成のための装置であり、こ
れと中央処理装置１０３と組合せたものは、一般にグラ
フィックスＷＳ（ＧＷＳ）と呼ばれる。本実施例では、
このようなＧＷＳの基本構成に、副画像フレームバッフ
ァ１０４およびアクセス制御装置１０５・出力画像選択
装置１０６を付加する。そして、一定の条件（首が大き
く回転する）の入力では、処理を副画像の操作に移す。

【００４０】図５の各装置のうち、中央処理装置１０１
・描画プロセッサ１０２・主画像フレームバッファ１０
３および主画像フレームバッファ１０４、さらにはビデ
オコントローラ１０７・ディスプレ１６は既に公知の装
置を利用すれば足りる。そこで、アクセス制御装置１０
５および出力画像選択装置１０６の実現例について図６
および図７で説明する。

【００４１】図６はアクセス制御装置１０５の具体例に
ついて示す。本実施例では、副画像フレームバッファは
ディスプレーの画素数の数倍の画像データを管理する。
そして、与えられた位置情報に基づきアクセスする範囲
を決定する。図６（ｂ）はその基本概念を示している。
今、ディスプレーの縦および横の画素数を Nx, Ny とす
る。平行移動原理に基づく場合、それより広範囲の副画
像（メモリ上に画像データとして保持する）を生成す
る。副画像データは主画像（すなわちディスプレで表示
される画像）同じ視野領域（縦および横の画素数を nx,
ny）を中心にし上下左右に伸長させる。大きな動作が
加えられた場合、その動作に応じて平行移動させるが、
これは副画像データから必要なデータを抽出・出力する
ことで実現する。

【００４２】この操作を高速に実行するために、例えば
図６（ａ）のような装置構成を考える。信号線１１１に
よって伝達された制御情報およびセンサ情報は、主画像
アクセス制御回路１１８およびセンサ情報解析装置１２
０に入力される。

【００４３】主画像側アクセス制御回路１１８は、通常
の（画素数と対応する量の画像情報を持つ）フレームバ
ッファを制御するものであり、公知の装置を利用でき
る。しかし、副画像側フレームバッファにアクセスする
場合、アクセスするアドレスが一様にならない。仮に副
バッファのアドレスを左上から順に１，２，…とする
と、必要なフレームにアクセスする場合、１から nx ま
で、少し飛んで Nx+1 からNx+nx までというように、そ
のままでは連続的にアクセスできない。通常のフレーム
バッファは連続的にアドレスが割り振ってあることが前
提であるから、通常のフレームバッファに少々手を加え
る必要がある。そこで、本実施例では制御回路１１９を
同様に公知の装置を利用する場合、ルックアップテーブ
ルによるアドレス変換装置１２１を用いて、実際の飛び
飛びのアドレスに変換し、さらにこれと移動情報に基づ
く画像移動情報を加算器１２２により加算する。この方
式では、通常のフレームバッファと同様に取り扱える。

【００４４】例えば、図６（ｂ）のように横の移動量が
Vx, 縦の移動量が Vy の事例に対しては、アドレス変
換装置１２１の出力に、Vx+Nx*Vy を単純に加算するこ
とで計算できる（実際は、１画素に必要なデータ量との
積になる）。

【００４５】図７は出力画像切替の例について示す。通
常、フレームバッファから画像を出力する場合、一旦シ
フトレジスタヘ転送し、そこから１ビットづつビデオコ
ントローラへ転送する。本実施例では、このシフトレジ
スタからビデオコントローラへの転送経路に画像切替装
置を挿入し、出力画像をコントロールする。

【００４６】すなわち、信号線１１５によって伝達され
た切替情報を、フラグメモリ１２３へ格納する。信号線
１１４によって伝達された制御信号に基づいて、画像情
報切替装置１２１は切替制御を行う。この様子を図７
（ｂ）に示す。この図では、1/f ごとに新しい画像とな
るが、画像が更新されるごとに同期をとる（例えば、各
画像が更新時に信号をおくり両者の同期をとる）切り替
えはこのタイミングで実行する。この図では、画像が一
フレーム更新される時間を k とし、k=0 で副画像であ
る場合を例示している。k=1 と k=2 との中間でフラグ
が設定されても、ここでは切り替わらず、k=2 において
画像が次のフレームの更新されるタイミングで画像を主
画像へ変更する。すなわち、切替情報は一旦フラグメモ
リ１２３に格納し、切り替え時に参照してフラグが設定
されていた場合にのみ切り替えを実行する（マイコンの
リード端子のように、情報が設定されている時に限って
出力可能な構成とする）。実際は、フレーム更新時のキ
ャリー信号を認識して切替処理を実行させることにな
る。

【００４７】図８には、実施例１の一連の処理ステップ
を示している。主プロセッサにおいて、入力されたセン
サ情報を解析し（ステップ１３１）、自分の位置を解析
する。そして、その位置情報１２６に基づきモデルを修
正する（ステップ１３２）。これは、一般のバーチャル
リアリティシステムと共通である。さらに、本発明では
位置情報を解析し（ステップ１３３）、それに基づき出
力する画像を選択（ステップ１３４）し、仮に副画像出
力を選択したあ場合、その移動量を決定する（スッテプ
１３５）。描画プロセッサで、ＣＧを作成するのは通常
のＧＷＳと同様であるが、主画像・副画像が並列に実行
処理される。これらのデータは、いずれか一方だけが選
択されて（ステップ１３７）、画像として出力される
（ステップ１３８）。

【００４８】図９では、図８で示した処理ステップのう
ち、画像選択および出力切り替えの実行ステップに関し
て、より具体的に示してある。。位置情報１２６から、
ステップ１４０で首の回転パラメータであるθとψを入
力する。そして、ステップ１４１においてΔθi, Δψ
i, Δ²ψ を計算する。ステップ１４３の首振り条件の
判定では、例えば、条件判定のための評価関数ｆ(Δθ
i，Δψi)を設定し、その符号によって判定する。これ
らの情報を、ステップ１４２で画像選択装置に入力する
が、特に切り替えの判定に関しては、専用のフラグメモ
リ（図７（ａ）装置１２３）に格納する。ステップ１４
３では、この専用メモリのフラグをテストすることで出
力変更評価を行う。ステップ１４４でフラグが認識され
れば、ステップ１４５のデータバス切り替えを行った後
にステップ１３８の選択出力系のバッファアドレス計算
を行い、フラグが認識されなければ、そのままステップ
１３８を実行する。このアドレスに基づき画像データ１
３０から必要な情報を取り出して、画像出力１３９を生
成する。

【００４９】一連の処理を時系列で見ると図１０ような
になる。現在を基準にして時間 tをt=kT (k=0,±1,±2・
・・) で表現し、センサ入力 (≡ S(k)) によって更新さ
れた形状モデルを M(k) とする。ここで、サンプリング
間隔は、一般に画像更新周期1/f よりも大きい。つま
り、１サンプリング間隔あたり、複数回（一般に十数
回）更新されることを想定する。従来方式（および本発
明における通常の実行）では、形状モデル M(-1) をセ
ンサ入力 S(0)［状態１４６］で修正した M(0)［処理１
４７］に基づき画像 M(0)［状態１４８］を生成する
が、本発明（首振り対応時）では、形状モデル M(-2)
をセンサ入力 S(-1)［状態１４９］で修正した M(-1)
［処理１５０］を利用し、M(-1)［処理１５０］に基
づき生成した画像を、センサ入力 S(0)［状態１５１］
によって修正し、出力画像として利用する（画像出力 P
(0+)［状態１５２］）。この画像は、バックグラウンド
で常に作成し、必要に応じて選択する。通常実行時の場
合、移動に対する時間遅れと形状変化に対する時間遅れ
とは、共にＴである。これに対し、首振り対応時（ψ
が大きい場合を除く）では、k=-1 でのセンサ入力に対
応する画像出力をバックグラウンドで生成し、k=0 での
センサ入力で出力画像を移動させ出力する。この場合、
形状変化の時間遅れはＴ＋t′ と大きくなるが、移動
に対する時間遅れはt′ となり、相当小さくできる。

【００５０】実施例２では、図１１に示すようなバーチ
ャルリアリティシステムについて説明する。この例は、
形状処理・主画像描画処理・副画像描画処理・副画像移
動解析処理に専用のプロセッサ（中央処理装置２０１・
副画像移動解析用プロセッサ２０２・主画像描画プロセ
ッサ２０３・副画像描画プロセッサ２０５）を割当て、
パイプライン的処理をすることで、センサのサンプリン
グ間隔を短くしている（図１２で詳述する）。図１２で
は、この処理処理経過を示してある。先ほどの例と同様
に、現在を基準に時間 t を t=k′T (k′=0,±1,±2・・
・) で表現し、センサ入力(≡ S(k)) によって更新され
た形状モデルを M(k) とする。また、t=kTにおける生成
画像を P(k) とする。実施例１と比較すると、サンプリ
ング周波数を２倍にしている。もっとも計算時間はプロ
セッサの能力に依存するため、（実施例１と同等のもの
を利用すると）２ステップ必要となる。この事例は、時
間遅れについては基本的にはかわらないが、画像品質を
向上させる（単位時間あたりの画像更新回数が２倍とな
る）ことが可能である。このような事例でも、本発明を
適用できる。

【００５１】図１３では、通常実行から首振り実行への
移行を示している。k′=0 での位置情報により出力切り
替えが指示される（フラグが設定される）場合、その後
で来た最初のキャリー信号で切り替えが実行される。す
なわち、本来ならば、プロセス２１８の一連の処理が実
行された後には、プロセス２１９の処理が実行される
が、首振り対応時ではプロセス２１８に加え、センサ入
力 S(0)［状態２１５］により補正し、画像出力を P(0
+)［状態２２１］を出力する。

【００５２】この場合、切替時にすでにプロセス２１９
の実行は開始されているが、出力画像 P(1)［状態２１
４］は出力しない。図１４は、この一連の処理を時系列
で表現してある。この図は、それぞれの画像出力が何時
のセンサ情報に基づいて生成されたものかを示してい
る。例えば、画像出力 P(0)［状態２１１］は動きの情
報が S(-2) 形状の情報が S(-2) であるが、これは画像
出力 P(0)［状態２１１］が、先に示したプロセス２１
８（図１３）において、S(-2) に基づいて生成されたこ
とを示す。また、画像出力 P(0+)［状態２２１］は動
きの情報が S(0)形状の情報が S(-2) であるが、これは
画像出力 P(0+)［状態２２１］が、先に示したプロセス
２２０（図１３）において、S(-2) に基づいて生成され
た画像がS(0) によって位置の修正されていることを示
している。

【００５３】今、画像出力 P(1)［状態２１１］が出力
された場合の整合性について検討する。この画像は、
k′=-1 の位置および形状を反映しているが、既に出力
された画像出力 P(0+)［状態２２１］は、形状は k′=-
2 の情報を反映しているが、位置は、k′=0 の位置情報
を反映している。従って、位置に関しては出力画像 P(0
+) と P(1) との間で逆戻りが生じてしまう。そこでこ
の出力を生成せず画像の切り替えを実行する。この場
合、k′=1 の前で既に出力が切り替わっているため、こ
のような不整合は生じない。

【００５４】これとは逆に、図１５では首振り実行から
通常実行への移行を示している。これを時系列で表現す
ると、図１６のようになる。この図１６からわかるよう
に、仮に k′=0 での位置情報により出力切り替えが指
示された後、すぐに切り替えの実行を行う（P(1)が出力
される）と動きで逆戻りが生じる。そこで、この問題を
解決するために、すぐに切り替えを実行せず、さらにあ
と一度副画像を出力する。そして、画像出力 P(2) と整
合させるために、逆戻りが生じないように P(0+), P(1
+) を補正する。この補正は、P(2) が S(0) の位置を示
していることから、 P(0+), P(1+) を S(0) と S(-1)
の中間の位置を反映するように、移動量を抑制する。そ
して、P(1+) が出力された後に出力切り替えを実行す
る。

【００５５】図１７、図１８では、この処理のステップ
について示す。ステップ１３３およびステップ１３４
は、基本的に実施例１と同じである。ステップ２２６で
は切り替えフラグのかわりにセマフォを用い、通常から
首振りへの移行には負値（−１）を、首振りから通常へ
の移行切り替えを遅れせる分だけ値を増加させた正値
（本実施例では３に設定）を設定する。ステップ２２７
・２２８およびステップ１３８は、実施例１と共通であ
る。ステップ２２９は、図１８に詳細を示している。ス
テップ２３０では、セマフォ（出力制御変数）をチェッ
クし、２より大きければ、ステップ２３３でセマフォを
ディクリメントし、ステップ２３４で移動量補正する。
移動量補正はその回数に応じて調整するため、セマフォ
の関数として定義する。セマフォが負（通常から首振り
への移行）あるいは１（首振りから通常へ設定回数だけ
ウエイトした）場合、ステップ２３１により出力バスを
切り替え、ステップ２３２によってセマフォを初期化す
る。

【００５６】移動補正量については、さまざまな補正が
考えられるが、最も簡単なものとしては、Δ²θが大き
い場合 S(0) に近くし、逆に小さい場合 S(1) に近くな
るように補正式を定義する。なぜなら、図１８（ｂ）に
示すように、Δ²θが大きい場合、すぐにΔθが０にな
る（動きがとまる）恐れが強く、この場合、P(0+), P(1
+) の画像が P(2) と殆ど同じ方が（動きが抑制された
方が）好ましいからである。しかし、Δ²θ が小さけれ
ば、まだ動き続けることが予想されるために、画像が滑
らかに変化することが望ましく、従って P(0+), P(1+)
での画像移動量は抑制される方が望ましいからである。
また、経験を重視してファジイ推論を応用することも可
能である（入出力の関係をテーブルにしておくことで、
ＬＵＴにより容易に実現できる）。

【００５７】実施例３では、主な対象の描画と背景の描
画を別々に作成し、最後に合成する方式のＶＲシステム
の実施例である。首を回転させた場合、図４に示したよ
うに、すぐ近くの物体（以下、近接物体）と遠方の物体
（以下、背景物体）とではスクリーン上で物体が見かけ
上移動する距離が異なる。特に、ユーザが特定の対象を
凝視続けることの多い対話型システム（特定の相手・対
象との関連で意味を持つようなシステム）では、その対
象と背景の相対的な関係をより正確に表現することが望
まれる。そこで、このように対象を特定するような利用
（例えば、ゲームあるいは訓練とかで、特定の相手・対
象を仮定する）に対応するために、特定の対象の描画の
質を向上させるためのものである。

【００５８】このように、その特定の相手・対象（以
下、主対象）およびその周囲の描写は精細であることが
望ましい。しかし一方、限られた計算機資源でシステム
を構築する場合、プロセッサの能力などに限界がある。
そこで、対象のみを精細に描画し（当然計算量は大きく
なる）、背景は多少画質をおとしてでも少ない計算の処
理を実行し、最後に合成するＶＲシステムも必要となろ
う。以下、このようなＶＲシステムに本発明を適用した
実施例３を説明する。

【００５９】図１９は、本実施例の処理装置について示
してある。中央処理装置３０１は、先に示した実施例と
同様に、センサ入力の処理（位置情報の生成）および形
状データの更新を行う。主対象描画プロセッサ３０２
は、中央処理装置３０１からは対象の形状データを受取
り、そこで生成された画像データを主対象画像データバ
ッファ３０５に格納する。同様に、背景映像描画プロセ
ッサ３０４には、対象以外の全ての形状データを送り、
そこで生成された画像データを背景画像データバッファ
３０７に格納する。一方、映像移動解析プロセッサ３０
３では、ユーザの位置変化に対応する主対象画像および
背景画像の移動を解析し、それぞれの移動量を計算する
（後述）。生成されたそれぞれの画像は、出力画像合成
装置３０６で合成され、フレームバッファ３０８に送ら
れる。以下、シフトレジスタ３１０及びビデオコントロ
ーラ３０９を経てディスプレーに送られるが、この一連
の処理は通常のシステムと同じである。

【００６０】図２０では、実施例３の処理手順を示して
ある。主プロセッサでの処理は、実施例１と全く同じで
ある。しかし、実施例３では描画系そのものを２系統に
分け、主対象の画像生成と背景画像の生成のプロセスを
分離している。主対象画像生成３２１では、与えられた
形状モデルから主対象の三次元モデルのみを抽出して描
画する。一方、背景画像生成３２２では中央処理装置３
０１で更新された形状モデルから主対象を取り除いたモ
デルに基づき描画する（あるいは、主対象の影など考慮
する場合は影そのものをモデルで表現する）。中間生成
画像データ３２３は、それぞれの画像を別々に保持され
（具体的には、主対象画像データバッファ３０５および
背景映像画像データ３０７にそれぞれ格納する。）それ
ぞれが画像合成装置３０６に伝送され画像合成３２４が
実行される。ここで合成された画像データはフレームバ
ッファ３０８、シフトレジスタ３１０及びビデオコント
ローラ３０９を経てデータ伝送線１８経由でヘッドマウ
ントディスプレーに伝送されるが、この一連のプロセス
を画像の出力３２５で示す。

【００６１】図２１では、図２０の処理手続きのうち描
画処理系に係わる部分をさらに具体的に説明してある。
形状モデルの入力３２７では、中央処理装置３０１から
モデルのパラメータを主対象描画プロセッサ３０２およ
び背景映像描画プロセッサ３０４に伝送する。主対象プ
ロセッサ３０２では、主対象の位置を計算（中央処理装
置３０１に計算させた値を確認する方法も可）し、それ
に基づいて描画データを作成する。背景描画プロセッサ
３０４では、背景の画像を生成する（背景の画像生成ス
テップ３２２）。これらは、一旦それぞれのフレームバ
ッファに蓄えられてから、出力合成装置へ伝送される。
ここでは、主対象画像データを各画素ごとに評価（０か
否かのビットテストを実行するだけでよい）し、０でな
ければそのデータを転送し（主対象画像を出力するステ
ップ３３２）、０であれば同じスクリーン上の座標の背
景画像の画素データを転送する（背景画像を出力するス
テップ３３３）ことにより、主対象画像と背景画像を合
成する（フレームバッファへの転送のステップ３３
４）。この転送されたデータはフレームバッファ３０８
に保存され、その後は通常の画像表示装置の例に従って
フレームバッファから出力される（フレームバッファへ
のアクセス処理３２６）。

【００６２】図２２には、出力合成装置３０６を具体的
に示している。主対象画像バッファあるいは背景画像バ
ッファに格納されている画像データを、データレジスタ
３３５ (R0) あるいはレジスタ３３７ (R1) に送り、画
像合成演算装置３３６によって両者を合成する。主対象
画像データバッファには、主対象の像がある領域（画
素）に関しては各画素の画像データ、主対象の像がない
領域（画素）に関しては０が入力されるように実現す
る。このように、スクリーン上同じ位置に存在する画
素データを比較し適宜選択することで、高速に主対象画
像と背景画像の合成が可能である。

【００６３】また、主対象の位置に関しては、背景を基
準とした相対関係によって評価する。図４は、近接物体
と背景の相対関係を示している。図４（ｂ）のように視
点がP1(orP1′)から P2 へ移動した場合、近接対象Ａと
背景対象Ｂの視差（スクリーン上の距離は、視差＊映像
距離で換算される（図２参照））を考える。回転前の視
差を α とし、回転後の視差を β とする（ここで、背
景の対象は近似的に距離Ｒにすべてあり、Ｒ＝∞ の
ときの回転後の視差を γ、β と γ のずれγ−β を
δ とする）。また、P1, P2 から近接対象Ａへ引いた線
と背景（を含む平面）との交点を、それぞれ M1, M2 と
する。また、P2 から背景平面に下ろした足を MH とす
る。

【００６４】図４（ａ）には、β の導出について簡単
に説明している。Ａから直線 P1P2に下ろした足をＨ
とする。回転前の目の位置（P1′）における視差 α は
既知であるとして、まずγ（∠ＡP2MH）を求める。ＡＨ
と P2MH とは平行であるから、∠ＨＡP2＝γ である。
従って(△ＡＨP2 に着目すると）、γは

【００６５】

【数６】

【００６６】となる。また、δは言うまでもなく

【００６７】

【数７】

【００６８】となる。

【００６９】Δθが十分小さく、Ｒが十分大きいけれ
ば、sin(Δθ)≒０，１／Ｒ≒０となることから、結
局β（β＝γ−δ）は、

【００７０】

【数８】

【００７１】によって求められる。この式は、三角関数
および逆三角関数を用いているため、直接（テーラー展
開などを用いて）実行すると効率はよくない。しかし、
α やθ などは、多くの場合８ビット程度で表現される
ため、これらを予め計算し配列で定義しても、それほど
メモリを必要としない。従って、式の実行にはあまり負
担とはならない。尚、実際の処理は、実施例１および実
施例２と同様に処理（移動量を計算した後に画像を合成
する）をすればよい。

【００７２】

【発明の効果】本発明により、従来の処理能力のハード
ウェアを用いたシステムで、従来以上に高速に動きに追
従するシステムの構築が可能となる。

【図面の簡単な説明】

【図１】現在実用化されているバーチャルリアリティ装
置の一例を示した図である。

【図２】図１のシステムにおいて頭を回転させた場合
の、スクリーン上での対象の移動と頭の動きの関係を説
明するための図である。

【図３】本発明の基本原理説明するため、図３（ａ）で
画像生成の時間遅れによりずれを生じる様子を示した。
図３（ｂ）で、本発明による補正の原理とその効果を示
した図である。

【図４】頭を回転させた場合の近接物体と背景の相対関
係（位置のずれ）とその計算方法を説明する図である。

【図５】図１のバーチャルリアリティシステムを前提と
した（によって構成した）実施例１に関して、中央処理
装置１３を具体的に説明した図である。

【図６】実施例１のアクセス制御装置１０５を具体的に
説明した図である。

【図７】実施例１の出力画像切替装置１０６を具体的に
説明した図である。

【図８】実施例１の全体的な処理手順を説明した図であ
る。

【図９】実施例１の処理手順のうち、本発明の重要な要
素に係わる部分をさらに具体的に説明した図である。

【図１０】実施例１の通常時の処理（従来の処理）と首
振り対応時の処理（本発明の処理）との処理手順を比較
した図である。

【図１１】図１のバーチャルリアリティシステムを前提
とした（によって構成した）実施例２に関して、中央処
理装置１３を具体的に説明した図である。

【図１２】実施例２の処理経過（通常時）の説明の図で
ある。

【図１３】実施例２の処理経過（切替時）の説明の図で
ある。

【図１４】実施例２の画像経過（切替時）の説明（その
１）図である。

【図１５】実施例２の画像経過（切替時）の説明（その
２）図である。

【図１６】実施例２の画像経過（切替時）の説明（その
１）図である。

【図１７】実施例２の処理手順のうち、本発明の重要な
要素に係わる部分をさらに具体的に説明した図である。

【図１８】図１７の処理手順のうち、本発明の重要な要
素に係わる部分をさらに具体的に説明した図である。

【図１９】図１のバーチャルリアリティシステムを前提
とした（によって構成した）実施例３に関して、中央処
理装置１３を具体的に説明した図である。

【図２０】実施例１の全体的な処理手順を説明した図で
ある。

【図２１】実施例１の処理手順のうち、本発明の重要な
要素に係わる部分をさらに具体的に説明した図である。

【図２２】実施例３の出力合成装置３０６を具体的に説
明した図である。

【符号の説明】

１１…位置センサ，１２…曲がりセンサ，１３…（情
報）処理装置，１４…立体カメラ，１５…グローブ型セ
ンサ，１６…ヘッドマウントディスプレー，１７…大画
面ディスプレー、１０１…中央処理装置，１０２…描画
プロセッサ，１０３…主画像フレームバッファ，１０４
…副画像フレームバッファ，１０５…アクセス制御装
置，１０６…出力画像選択装置，１０７…ビデオコント
ローラ，２０１…中央情報処理装置，２０２…副画像移
動解析用プロセッサ，２０３…主画像描画プロセッサ，
２０４…アクセス制御装置，２０５…副画像描画プロセ
ッサ，２０６…主画像フレームバッファ，２０７…出力
画像選択装置，２０８…副画像フレームバッファ，３０
１…中央処理装置，３０２…主対象描画プロセッサ，３
０３…映像移動解析プロセッサ，３０４…背景映像描画
プロセッサ，３０５…主対象画像データバッファ，３０
６…出力画像合成装置，３０７…背景画像データバッフ
ァ，３０８…フレームバッファ，３０９…ビデオコント
ローラ，３１０…シフトレジスタ

Claims

【特許請求の範囲】

【請求項１】グローブあるいはスーツ型のセンサから得
られた情報をもとに、ヘッドマウントディスプレー上に
コンピュータグラフィックスによって、仮想的な現実感
を提供する際に、首振りのような大きな動作に対して、１ないし数ステッ
プ前の入力情報によって得られた画像を、現在の入力情
報により修正し、現在の画像として出力することを特徴
とするバーチャルリアリティ制御方法。
【請求項２】グローブあるいはスーツ型のセンサから得
られた情報をもとに、ヘッドマウントディスプレー上に
コンピュータグラフィックスによって、仮想的な現実感
を提供する装置において、画素の数倍の容量をもつフレームバッファあるいはそれ
に相当する画像メモリを用い、過去のセンサ情報に基づ
き既に生成され、フレームバッファ上にある画像情報
を、現在のセンサ情報に応じて画像を修正するーすなわ
ち位置のずれに対応させ平行移動させる操作を、相当す
るフレームバッファ上のアドレスを計算して、そのアド
レス上の画像データをシフトレジスタに転送する手段を
有することを特徴とするバーチャルリアリティ制御装
置。
【請求項３】グローブあるいはスーツ型のセンサから得
られた情報をもとに、ヘッドマウントディスプレー上に
コンピュータグラフィックスによって、仮想的な現実感
を提供する際に、背景の急な動きが生じうるセンサ入力のうち、一ステッ
プ前の入力との差が予め指定したレベル以上の値となっ
た場合、センサ入力に対応して修正された形状モデルに
基づいて新たに三次元ＣＧを生成せずに、既に生成され
ている画像をセンサ入力に応じてリニアに移動させて偏
差に比例的に平行移動させた画像を近似的に現在の出力
として出力することを特徴とするバーチャルリアリティ
方法。
【請求項４】グローブあるいはスーツ型のセンサから得
られた情報をもとに、ヘッドマウントディスプレー上に
コンピュータグラフィックスによって、仮想的な現実感
を提供する装置において、ディスプレーの表示に必要なデータの数倍の容量のフレ
ームバッファまたはフレームバッファに画像データを転
送することのできる中間バッファを具備し、ディスプレ
ーに対応する画像の他にディスプレーで表現される視野
を中心としたその数倍の画像を生成し、当該中間バッフ
ァに一時的に格納した後、背景の急な動きが生じうるセ
ンサ入力のうち、一ステップ前の入力との差が予め指定
したレベル以上の値となった場合、中間バッファに格納
した画像をセンサ入力に応じてリニアに移動させて偏差
に比例的に平行移動させた画像に相当する画像データを
ＣＲＴに転送する手段を有することを特徴とするバーチ
ャルリアリティ制御装置。
【請求項５】グローブあるいはスーツ型のセンサから得
られた情報をもとに、ヘッドマウントディスプレー上に
コンピュータグラフィックスによって、仮想的な現実感
を提供する際に、対象の描画と背景の描画を別々に実行したのち、画像合
成することにより出力画像を生成し、対象および背景の
それぞれについて移動量を計算し、その移動情報に基づ
いて画像合成することを特徴とする請求項１記載のバ−
チャルリアリティ制御方法。