JPH04277871A - 映像生成処理装置 - Google Patents
映像生成処理装置Info
- Publication number
- JPH04277871A JPH04277871A JP3039732A JP3973291A JPH04277871A JP H04277871 A JPH04277871 A JP H04277871A JP 3039732 A JP3039732 A JP 3039732A JP 3973291 A JP3973291 A JP 3973291A JP H04277871 A JPH04277871 A JP H04277871A
- Authority
- JP
- Japan
- Prior art keywords
- line
- priority
- sight
- vector
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
- G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【0001】
【産業上の利用分野】本発明は、ヘッドマウンテッド・
ディスプレイに、それを装着した人の視線の移動に応じ
て、所要の映像を表示して、いわゆる仮想環境或いは人
工現実感を生成するシステムにおける、該映像の生成処
理装置に関する。
ディスプレイに、それを装着した人の視線の移動に応じ
て、所要の映像を表示して、いわゆる仮想環境或いは人
工現実感を生成するシステムにおける、該映像の生成処
理装置に関する。
【0002】
【従来の技術】仮想環境或いは人工現実感を生成するシ
ステムにおいて、視覚に関しては、図2に例示するよう
に、映像生成処理装置1がコンピュータグラフィックス
技術によって所要の立体画像を生成して、利用者の頭部
2に装着するヘッドマウンテッド・ディスプレイ3にそ
の映像を表示し、又適当に検出する視線の移動に応じて
、刻々その映像を更新する。
ステムにおいて、視覚に関しては、図2に例示するよう
に、映像生成処理装置1がコンピュータグラフィックス
技術によって所要の立体画像を生成して、利用者の頭部
2に装着するヘッドマウンテッド・ディスプレイ3にそ
の映像を表示し、又適当に検出する視線の移動に応じて
、刻々その映像を更新する。
【0003】立体画像は、例えば両眼の視差に応じた左
右の映像を別個に生成することによって行なわれ、ヘッ
ドマウンテッド・ディスプレイ3は、それぞれの映像が
各一方の眼にのみ見えるような構造にされている。
右の映像を別個に生成することによって行なわれ、ヘッ
ドマウンテッド・ディスプレイ3は、それぞれの映像が
各一方の眼にのみ見えるような構造にされている。
【0004】視線の移動の検出には、同じく頭部2に装
着する適当なセンサ4と例えば磁気信号等を発生する信
号源5とを使用して、信号源5を基準としたセンサ4の
位置情報や向き等を計測できるようにし、それによって
頭部の位置と動きを検出し、その動きから視線の方向を
決定する方法が採られる。
着する適当なセンサ4と例えば磁気信号等を発生する信
号源5とを使用して、信号源5を基準としたセンサ4の
位置情報や向き等を計測できるようにし、それによって
頭部の位置と動きを検出し、その動きから視線の方向を
決定する方法が採られる。
【0005】視線に追随する映像の更新は、例えばある
適当な周期でセンサ4からの計測値を受け取って視線の
方向を決定することにより、その視線の方向が視野の中
心になるような新映像を決定して、表示画像を新映像に
なるように更新することによって行なわれる。
適当な周期でセンサ4からの計測値を受け取って視線の
方向を決定することにより、その視線の方向が視野の中
心になるような新映像を決定して、表示画像を新映像に
なるように更新することによって行なわれる。
【0006】
【発明が解決しようとする課題】前記のような、視線に
追随する映像の更新において、、ある1つの視野全体を
カバーする立体画像を生成する処理は比較的長時間を要
し、例えば1画面に少なくとも100 ミリ秒程度を要
する。
追随する映像の更新において、、ある1つの視野全体を
カバーする立体画像を生成する処理は比較的長時間を要
し、例えば1画面に少なくとも100 ミリ秒程度を要
する。
【0007】一方、動画像を人間が自然な動きに感じる
ようにするためには、毎秒30フレーム程度の速さで画
面を変化させなければならないといわれているが、視線
の移動に応じて更新する場合に、更新処理時間より短い
周期で画面を更新することはできないので、前記の画像
更新処理時間では上記要件を満足できず、円滑な画面の
遷移ができないという問題がある。
ようにするためには、毎秒30フレーム程度の速さで画
面を変化させなければならないといわれているが、視線
の移動に応じて更新する場合に、更新処理時間より短い
周期で画面を更新することはできないので、前記の画像
更新処理時間では上記要件を満足できず、円滑な画面の
遷移ができないという問題がある。
【0008】本発明は、視線の移動に応ずる画像の更新
における処理量を減少して、更新間隔を短縮できるよう
にした映像生成処理装置を目的とする。
における処理量を減少して、更新間隔を短縮できるよう
にした映像生成処理装置を目的とする。
【0009】
【課題を解決するための手段】図1は、本発明の構成を
示すブロック図である。図は映像生成処理装置の構成で
あって、センサ部10と、画像処理部11と、表示部1
2とを有し、センサ部10が、人体の視線を検出して、
視線の方向を表す所定の視線ベクトルを発生し、画像処
理部11が、所与の画像データに基づき、該視線ベクト
ルによって定まる画像を生成して、該画像を表示部12
の表示画面13に表示する装置である。
示すブロック図である。図は映像生成処理装置の構成で
あって、センサ部10と、画像処理部11と、表示部1
2とを有し、センサ部10が、人体の視線を検出して、
視線の方向を表す所定の視線ベクトルを発生し、画像処
理部11が、所与の画像データに基づき、該視線ベクト
ルによって定まる画像を生成して、該画像を表示部12
の表示画面13に表示する装置である。
【0010】画像処理部11に、視線移動識別部14と
、優先度割当部15と、部分更新部16とを設け、視線
移動識別部14は、該視線ベクトルを所定の時間間隔で
採取して、最近に採取した2個の該視線ベクトルの差か
ら、視線の移動速度を示す所定の視線移動ベクトルを算
出する。
、優先度割当部15と、部分更新部16とを設け、視線
移動識別部14は、該視線ベクトルを所定の時間間隔で
採取して、最近に採取した2個の該視線ベクトルの差か
ら、視線の移動速度を示す所定の視線移動ベクトルを算
出する。
【0011】優先度割当部15は、該視線移動ベクトル
を、表示画面13の中心を起点とするように表示画面1
3に投影して投影ベクトルを生成し、表示画面13の所
定の各部分ごとの優先度を、該投影ベクトルに近い程高
く、且つ該投影ベクトルに沿って、該表示画面の中心か
ら周辺に向かって低くする所定の処理によって決定する
。
を、表示画面13の中心を起点とするように表示画面1
3に投影して投影ベクトルを生成し、表示画面13の所
定の各部分ごとの優先度を、該投影ベクトルに近い程高
く、且つ該投影ベクトルに沿って、該表示画面の中心か
ら周辺に向かって低くする所定の処理によって決定する
。
【0012】部分更新部16は、該優先度に従い、該優
先度の高い該部分の順に、最近の該視線ベクトルによっ
て定まる画像によって、表示画面13の表示を該部分ご
とに更新する。
先度の高い該部分の順に、最近の該視線ベクトルによっ
て定まる画像によって、表示画面13の表示を該部分ご
とに更新する。
【0013】以上において、表示画面13の所定の各部
分は、表示画面13を、同じ大きさ同じ形状の長方形に
分割した部分としてよい。又、優先度割当部15の所定
の処理は、前記投影ベクトル上のそれぞれ異なる所定点
に頂点を有し、該投影ベクトルの起点で該投影ベクトル
に垂直な、前記表示画面上の直線上に底辺を持ち、それ
ぞれ異なる所定面積を有する所定個数の各二等辺三角形
について、最小の該三角形の領域、及び各該三角形とそ
の次に大きな該三角形とによって区切られる各領域ごと
に、各該領域ごとに定める優先度に基づいて、当該領域
と重なる前記各部分の優先度を決定する処理としてよい
。
分は、表示画面13を、同じ大きさ同じ形状の長方形に
分割した部分としてよい。又、優先度割当部15の所定
の処理は、前記投影ベクトル上のそれぞれ異なる所定点
に頂点を有し、該投影ベクトルの起点で該投影ベクトル
に垂直な、前記表示画面上の直線上に底辺を持ち、それ
ぞれ異なる所定面積を有する所定個数の各二等辺三角形
について、最小の該三角形の領域、及び各該三角形とそ
の次に大きな該三角形とによって区切られる各領域ごと
に、各該領域ごとに定める優先度に基づいて、当該領域
と重なる前記各部分の優先度を決定する処理としてよい
。
【0014】以上に加えて、部分更新部16は、前記表
示画面の所定の各部分の所定の優先度を予め保持し、各
該部分の画像の更新を行なった場合に当該部分の該優先
度を所定量だけ低くし、前記視線移動ベクトルによって
視線の移動が無い状態を識別した場合には、該優先度に
従う順に各該部分の画像の更新を行なう処理を、該視線
の移動が無い状態が継続する間繰り返すようにしてよい
。
示画面の所定の各部分の所定の優先度を予め保持し、各
該部分の画像の更新を行なった場合に当該部分の該優先
度を所定量だけ低くし、前記視線移動ベクトルによって
視線の移動が無い状態を識別した場合には、該優先度に
従う順に各該部分の画像の更新を行なう処理を、該視線
の移動が無い状態が継続する間繰り返すようにしてよい
。
【0015】
【作用】本発明の映像生成処理装置により、視線の方向
を最優先として、視線に沿って視線の動く方向の部分画
像が優先的に更新される。従って視線に追随する画像更
新を適当に短い周期で行なうと、視線が移動している間
は前記のようにして優先されるある何個かの部分領域の
画像のみが更新されることになる。
を最優先として、視線に沿って視線の動く方向の部分画
像が優先的に更新される。従って視線に追随する画像更
新を適当に短い周期で行なうと、視線が移動している間
は前記のようにして優先されるある何個かの部分領域の
画像のみが更新されることになる。
【0016】しかし、視線を動かしている場合には、視
野の中で注意を向けることのできる範囲が狭められ、ほ
ぼ前記の優先処理の順に認識できなくなることが分かっ
ているので、以上のように部分的な更新でも、更新され
ない部分との違和感を生じ難く、むしろ注目する視野部
分が円滑に更新される効果によって、自然感を改善する
ことができる。
野の中で注意を向けることのできる範囲が狭められ、ほ
ぼ前記の優先処理の順に認識できなくなることが分かっ
ているので、以上のように部分的な更新でも、更新され
ない部分との違和感を生じ難く、むしろ注目する視野部
分が円滑に更新される効果によって、自然感を改善する
ことができる。
【0017】一方、視線の動きが止まったときは、速や
かに映像全体をそのときの状態に更新するように、例え
ば視野の中心から周辺に向かっての更新を継続して、全
視野領域を更新するようにする。
かに映像全体をそのときの状態に更新するように、例え
ば視野の中心から周辺に向かっての更新を継続して、全
視野領域を更新するようにする。
【0018】
【実施例】図1の視線移動識別部14は例えば30ミリ
秒ごとにセンサ部10からのデータを制御部17を経て
受信し、その時刻t におけるデータとして、頭部の位
置を示す座標(x,y,z)tと、視線の方向を示す視
線ベクトル(Ex,Ey,Ez)tとを得る。
秒ごとにセンサ部10からのデータを制御部17を経て
受信し、その時刻t におけるデータとして、頭部の位
置を示す座標(x,y,z)tと、視線の方向を示す視
線ベクトル(Ex,Ey,Ez)tとを得る。
【0019】視線移動識別部14は、1周期前の視線ベ
クトル(Ex,Ey,Ez)t−1を保持し、(Vx,
Vy,Vz)t=(Ex,Ey,Ez)t−(Ex,E
y,Ez)t−1によって、時刻tにおける視線移動ベ
クトル(Vx,Vy,Vz)tを求めて、優先度割当部
15に渡す。
クトル(Ex,Ey,Ez)t−1を保持し、(Vx,
Vy,Vz)t=(Ex,Ey,Ez)t−(Ex,E
y,Ez)t−1によって、時刻tにおける視線移動ベ
クトル(Vx,Vy,Vz)tを求めて、優先度割当部
15に渡す。
【0020】優先度割当部15は、例えば図3に概念的
に示すように、表示画面を格子状に分割した等大長方形
の各部分に、図に例示するような優先度を与え、優先度
値の大きいものから順に処理を行なうことにより、図に
矢印で示すように視線移動ベクトルを投影した投影ベク
トルに沿う部分が優先的に処理されるようにする。
に示すように、表示画面を格子状に分割した等大長方形
の各部分に、図に例示するような優先度を与え、優先度
値の大きいものから順に処理を行なうことにより、図に
矢印で示すように視線移動ベクトルを投影した投影ベク
トルに沿う部分が優先的に処理されるようにする。
【0021】このために優先度割当部15は、表示画面
13の平面に、その中心点に起点をもつように、前記の
視線移動ベクトルを投影し、視線移動ベクトルの長さに
比例した必要な長さをもつ投影ベクトルを図4の矢印線
のように想定する。
13の平面に、その中心点に起点をもつように、前記の
視線移動ベクトルを投影し、視線移動ベクトルの長さに
比例した必要な長さをもつ投影ベクトルを図4の矢印線
のように想定する。
【0022】この投影ベクトルを、例えば4等分して、
その分割点とベクトルの先とをそれぞれ頂点にし、投影
ベクトルの起点 (画面の中心) を通り、投影ベクト
ルに垂直な表示画面上の直線の上に底辺を持つ4個の2
等辺三角形を描く。
その分割点とベクトルの先とをそれぞれ頂点にし、投影
ベクトルの起点 (画面の中心) を通り、投影ベクト
ルに垂直な表示画面上の直線の上に底辺を持つ4個の2
等辺三角形を描く。
【0023】その場合、各三角形の面積は、予め定める
各一定の大きさとなるように各底辺の長さを決定する。 この面積は頂点の低い方から次第に大きくなるように定
め、例えば内側から1:4:9:16の比になるような
適当な大きさとする。従って、視線の移動が速く、従っ
て投影ベクトルが長い程、前記の各三角形は細長い三角
形になる。
各一定の大きさとなるように各底辺の長さを決定する。 この面積は頂点の低い方から次第に大きくなるように定
め、例えば内側から1:4:9:16の比になるような
適当な大きさとする。従って、視線の移動が速く、従っ
て投影ベクトルが長い程、前記の各三角形は細長い三角
形になる。
【0024】又、最小の (最も内側の)三角形の領域
と、各三角形に挟まれる部分の3領域との4領域に、そ
れぞれ優先度計算値を内側が最も大きく、外側が順次小
さくなるように、例えば図4のように定めておく。
と、各三角形に挟まれる部分の3領域との4領域に、そ
れぞれ優先度計算値を内側が最も大きく、外側が順次小
さくなるように、例えば図4のように定めておく。
【0025】以上の準備の後、各優先度計算値の領域ご
とに、その領域と交差のある表示画面の各部分について
、交差面積と優先度計算値とに比例するように定める値
を計算し、その値を各部分ごとに加えて、その部分の優
先度とする。
とに、その領域と交差のある表示画面の各部分について
、交差面積と優先度計算値とに比例するように定める値
を計算し、その値を各部分ごとに加えて、その部分の優
先度とする。
【0026】又、投影ベクトルの逆向きベクトルを設定
して、前記と同様に交差する部分の優先度を求める。但
しこの場合は、前記の視線の移動方向に沿う計算の場合
より充分小さい優先度計算値を使用するように定めてお
く。以上によって三角形によって作られる何れの領域と
も交差しない部分については、最低の優先度を与えるよ
うにする。
して、前記と同様に交差する部分の優先度を求める。但
しこの場合は、前記の視線の移動方向に沿う計算の場合
より充分小さい優先度計算値を使用するように定めてお
く。以上によって三角形によって作られる何れの領域と
も交差しない部分については、最低の優先度を与えるよ
うにする。
【0027】以上によって、視線の移動が速い程、移動
方向に沿って幅は狭く、長く延びた先まで比較的高い優
先度が与えられ、視線の移動が遅いと中心付近で比較的
幅の広い領域が高い優先度になる。
方向に沿って幅は狭く、長く延びた先まで比較的高い優
先度が与えられ、視線の移動が遅いと中心付近で比較的
幅の広い領域が高い優先度になる。
【0028】部分更新部16は、そのように定まる優先
度に従って各部分の更新処理を順次行ない、制御部17
を経て表示部12へ表示情報を送って表示画面13の表
示を部分的に更新する。この処理を次の視線移動ベクト
ルによる更新を始めるまでに可能な個数の各部分につい
て実行する。
度に従って各部分の更新処理を順次行ない、制御部17
を経て表示部12へ表示情報を送って表示画面13の表
示を部分的に更新する。この処理を次の視線移動ベクト
ルによる更新を始めるまでに可能な個数の各部分につい
て実行する。
【0029】又、部分更新部16は、表示画面13を分
割した前記の各部分について、例えば中心を最高として
周辺に向かって順次低くなる第2の優先度を予め保持し
、以上のようにして、ある部分の更新を終わると、その
部分の第2の優先度を例えばある一定値だけ下げて、処
理済の部分が他の部分より低い優先度になるようにする
。
割した前記の各部分について、例えば中心を最高として
周辺に向かって順次低くなる第2の優先度を予め保持し
、以上のようにして、ある部分の更新を終わると、その
部分の第2の優先度を例えばある一定値だけ下げて、処
理済の部分が他の部分より低い優先度になるようにする
。
【0030】このようにして次の周期の処理を開始する
とき、視線移動ベクトルの絶対値をある閾値と比較し、
閾値より小ければ視線移動が無いと判定し、その場合に
は上記の第2の優先度に従って更新処理を行う。この処
理は以後の周期で視線移動の無い状態が続く限り同様に
継続し、第2の優先度がすべて0以下になるか、又は視
線の移動があった場合には、第2の優先度を初期値の状
態に戻す。
とき、視線移動ベクトルの絶対値をある閾値と比較し、
閾値より小ければ視線移動が無いと判定し、その場合に
は上記の第2の優先度に従って更新処理を行う。この処
理は以後の周期で視線移動の無い状態が続く限り同様に
継続し、第2の優先度がすべて0以下になるか、又は視
線の移動があった場合には、第2の優先度を初期値の状
態に戻す。
【0031】図5は、以上の処理の流れを示す図であり
、視線移動識別部14が各周期の処理開始で処理ステッ
プ20においてセンサ部10から視線ベクトルを取得す
ると、処理ステップ21で、保持している1回前の視線
ベクトルとの差として視線移動ベクトルを算出し、今取
得した視線ベクトルを記憶する。
、視線移動識別部14が各周期の処理開始で処理ステッ
プ20においてセンサ部10から視線ベクトルを取得す
ると、処理ステップ21で、保持している1回前の視線
ベクトルとの差として視線移動ベクトルを算出し、今取
得した視線ベクトルを記憶する。
【0032】優先度割当部15は処理ステップ22で、
その視線移動ベクトルを表示画面に投影した投影ベクト
ルを生成し、処理ステップ23で投影ベクトルに基づい
て、表示画面の平面に前記のような三角形領域を設定し
、処理ステップ24で、三角形領域と表示画面の分割し
た各部分との交差面積に基づいて各部分の優先度を算出
決定する。
その視線移動ベクトルを表示画面に投影した投影ベクト
ルを生成し、処理ステップ23で投影ベクトルに基づい
て、表示画面の平面に前記のような三角形領域を設定し
、処理ステップ24で、三角形領域と表示画面の分割し
た各部分との交差面積に基づいて各部分の優先度を算出
決定する。
【0033】部分更新部16は、処理ステップ25で視
線移動ベクトルにより、視線移動の有無を判定し、移動
がある場合には処理ステップ26で第2の優先度を初期
値にリセットした後、処理ステップ27で時間を監視し
ながら、処理ステップ28で優先度順に採り上げる部分
の画像更新を行い、処理ステップ29でその部分の第2
の優先度を減じる処理を、順次各部分について進め、次
の周期になれば終了する。
線移動ベクトルにより、視線移動の有無を判定し、移動
がある場合には処理ステップ26で第2の優先度を初期
値にリセットした後、処理ステップ27で時間を監視し
ながら、処理ステップ28で優先度順に採り上げる部分
の画像更新を行い、処理ステップ29でその部分の第2
の優先度を減じる処理を、順次各部分について進め、次
の周期になれば終了する。
【0034】移動が無いと判定した場合には、処理ステ
ップ30で時間を監視しながら、処理ステップ31で第
2の優先度の順に採り上げる画像の各部分の画像更新を
行い、処理ステップ32でその部分の第 2の優先度を
減じる処理を、順次各部分について進め、次の周期にな
れば終了する。
ップ30で時間を監視しながら、処理ステップ31で第
2の優先度の順に採り上げる画像の各部分の画像更新を
行い、処理ステップ32でその部分の第 2の優先度を
減じる処理を、順次各部分について進め、次の周期にな
れば終了する。
【0035】この間に、処理ステップ33で識別して、
第2の優先度がすべて0以下になった場合には、処理ス
テップ34で第2の優先度を初期の値にリセットする。
第2の優先度がすべて0以下になった場合には、処理ス
テップ34で第2の優先度を初期の値にリセットする。
【0036】
【発明の効果】以上の説明から明らかなように本発明に
よれば、仮想環境を生成するシステムの映像生成処理装
置において、ヘッドマウンテッド・ディスプレイを装着
した人の視線の移動に応ずる画像の更新間隔を短縮でき
るので、視線移動に追随する自然な映像の生成が可能に
なるという著しい工業的効果がある。
よれば、仮想環境を生成するシステムの映像生成処理装
置において、ヘッドマウンテッド・ディスプレイを装着
した人の視線の移動に応ずる画像の更新間隔を短縮でき
るので、視線移動に追随する自然な映像の生成が可能に
なるという著しい工業的効果がある。
【図1】 本発明の構成を示すブロック図
【図2】
仮想環境を生成するシステムを説明する図
仮想環境を生成するシステムを説明する図
【図3】
優先度の割当を説明する図
優先度の割当を説明する図
【図4】 優先度の算出
処理を説明する図
処理を説明する図
【図5】 本発明の処理の流れ図
1 映像生成処理装置
2 頭部
3 ヘッドマウンテッド・ディスプレイ4 センサ
5 信号源
10 センサ部
11 画像処理部
12 表示部
13 表示画面
14 視線移動識別部
15 優先度割当部
16 部分更新部
17 制御部
20〜34 処理ステップ
Claims (4)
- 【請求項1】 センサ部と、画像処理部と、表示部と
を有し、該センサ部が、人体の視線を検出して、視線の
方向を表す所定の視線ベクトルを発生し、該画像処理部
が、所与の画像データに基づき、該視線ベクトルによっ
て定まる画像を生成して、該画像を該表示部の表示画面
に表示する装置であって、該画像処理部に、視線移動識
別部と、優先度割当部と、部分更新部とを設け、該視線
移動識別部は、該視線ベクトルを所定の時間間隔で採取
して、最近に採取した2個の該視線ベクトルの差から、
視線の移動速度を示す所定の視線移動ベクトルを算出し
、該優先度割当部は、該視線移動ベクトルを、該表示画
面の中心を起点とするように該表示画面に投影して投影
ベクトルを生成し、該表示画面の所定の各部分ごとの優
先度を、該投影ベクトルに近い程高く、且つ該投影ベク
トルに沿って、該表示画面の中心から周辺に向かって低
くする所定の処理によって決定し、該部分更新部は、該
優先度に従い、該優先度の高い該部分の順に、最近の該
視線ベクトルによって定まる画像によって、該表示画面
の表示を該部分ごとに更新するように構成されているこ
とを特徴とする映像生成処理装置。 - 【請求項2】 前記表示画面の所定の各部分は、該表
示画面を同じ大きさで、同じ形状の長方形に分割した部
分である、請求項1記載の映像生成処理装置。 - 【請求項3】 前記優先度割当部の所定の処理は、前
記投影ベクトル上のそれぞれ異なる所定点に頂点を有し
、該投影ベクトルの起点で該投影ベクトルに垂直な、前
記表示画面上の直線上に底辺を持ち、それぞれ異なる所
定面積を有する所定個数の各二等辺三角形について、最
小の該三角形の領域、及び各該三角形とその次に大きな
該三角形とによって区切られる各領域ごとに、各該領域
ごとに定める優先度に基づいて、当該領域と重なる前記
各部分の優先度を決定する処理である、請求項1又は請
求項2記載の映像生成処理装置。 - 【請求項4】 前記部分更新部は、前記表示画面の所
定の各部分の所定の優先度を予め保持し、各該部分の画
像の更新を行なった場合に当該部分の該優先度を所定量
だけ低くし、前記視線移動ベクトルによって視線の移動
が無い状態を識別した場合には、該優先度に従う順に各
該部分の画像の更新を行なう処理を、該視線の移動が無
い状態が継続する間繰り返す、請求項1、請求項2又は
請求項3記載の映像生成処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3039732A JP2671619B2 (ja) | 1991-03-06 | 1991-03-06 | 映像生成処理装置 |
DE69211185T DE69211185T2 (de) | 1991-03-06 | 1992-02-25 | Verfahren und Einrichtung zur Bildverarbeitung |
EP92301570A EP0502643B1 (en) | 1991-03-06 | 1992-02-25 | Image processing unit and method for executing image processing |
US07/845,422 US5442734A (en) | 1991-03-06 | 1992-03-06 | Image processing unit and method for executing image processing of a virtual environment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3039732A JP2671619B2 (ja) | 1991-03-06 | 1991-03-06 | 映像生成処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04277871A true JPH04277871A (ja) | 1992-10-02 |
JP2671619B2 JP2671619B2 (ja) | 1997-10-29 |
Family
ID=12561146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3039732A Expired - Fee Related JP2671619B2 (ja) | 1991-03-06 | 1991-03-06 | 映像生成処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5442734A (ja) |
EP (1) | EP0502643B1 (ja) |
JP (1) | JP2671619B2 (ja) |
DE (1) | DE69211185T2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305156A (ja) * | 1996-05-16 | 1997-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 映像表示方法及び装置 |
JP2017146607A (ja) * | 2013-06-07 | 2017-08-24 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
WO2023285908A1 (ja) * | 2021-07-16 | 2023-01-19 | 株式会社半導体エネルギー研究所 | 電子装置 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5590062A (en) * | 1993-07-02 | 1996-12-31 | Matsushita Electric Industrial Co., Ltd. | Simulator for producing various living environments mainly for visual perception |
DE69431929T2 (de) * | 1993-09-29 | 2003-08-21 | Sun Microsystems Inc | Verfahren und einrichtung zur anzeige einer virtuellen welt |
US5790950A (en) * | 1994-03-18 | 1998-08-04 | Fujitsu Limited | Computer graphics apparatus having an improved walk-through function |
JP3091075B2 (ja) * | 1994-03-30 | 2000-09-25 | ローム株式会社 | 重力感応型映像装置 |
JP3214776B2 (ja) * | 1994-04-13 | 2001-10-02 | 株式会社東芝 | 仮想環境表示装置および方法 |
AUPM701394A0 (en) * | 1994-07-22 | 1994-08-18 | Monash University | A graphical display system |
US5684498A (en) * | 1995-06-26 | 1997-11-04 | Cae Electronics Ltd. | Field sequential color head mounted display with suppressed color break-up |
US5764202A (en) * | 1995-06-26 | 1998-06-09 | Cae Electronics Ltd. | Suppressing image breakup in helmut mounted displays which use temporally separated bit planes to achieve grey scale |
JP3461980B2 (ja) * | 1995-08-25 | 2003-10-27 | 株式会社東芝 | 高速描画方法および装置 |
US5933125A (en) * | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
CA2238693C (en) * | 1995-11-27 | 2009-02-24 | Cae Electronics Ltd. | Method and apparatus for displaying a virtual environment on a video display |
US6127990A (en) | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
US6437758B1 (en) | 1996-06-25 | 2002-08-20 | Sun Microsystems, Inc. | Method and apparatus for eyetrack—mediated downloading |
GB9616261D0 (en) * | 1996-08-02 | 1996-09-11 | Philips Electronics Nv | Virtual environment manipulation device modelling and control |
US6364485B1 (en) | 1996-08-02 | 2002-04-02 | Vega Vista, Inc. | Methods and systems for relieving eye strain |
US5912675A (en) * | 1996-12-19 | 1999-06-15 | Avid Technology, Inc. | System and method using bounding volumes for assigning vertices of envelopes to skeleton elements in an animation system |
IL119928A (en) * | 1996-12-29 | 2001-01-11 | Univ Ramot | Model-based view extrapolation for interactive virtual reality systems |
JPH10247252A (ja) * | 1997-03-04 | 1998-09-14 | Sharp Corp | 衝突判定処理装置 |
US6026376A (en) * | 1997-04-15 | 2000-02-15 | Kenney; John A. | Interactive electronic shopping system and method |
US6278432B1 (en) * | 1998-06-11 | 2001-08-21 | Seiko Epson Corporation | Image delivery and display system |
US6076928A (en) | 1998-06-15 | 2000-06-20 | Fateh; Sina | Ideal visual ergonomic system for computer users |
EP1116211A4 (en) | 1998-09-22 | 2001-11-21 | Vega Vista Inc | INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN |
US20060061550A1 (en) * | 1999-02-12 | 2006-03-23 | Sina Fateh | Display size emulation system |
US20060279542A1 (en) * | 1999-02-12 | 2006-12-14 | Vega Vista, Inc. | Cellular phones and mobile devices with motion driven control |
US20060061551A1 (en) * | 1999-02-12 | 2006-03-23 | Vega Vista, Inc. | Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection |
US6424410B1 (en) * | 1999-08-27 | 2002-07-23 | Maui Innovative Peripherals, Inc. | 3D navigation system using complementary head-mounted and stationary infrared beam detection units |
US20020109673A1 (en) * | 2001-01-04 | 2002-08-15 | Thierry Valet | Method and apparatus employing angled single accelerometer sensing multi-directional motion |
JP2007507728A (ja) * | 2003-09-29 | 2007-03-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 双安定ディスプレイにおいて背景ピクチャに対してサブピクチャを表示するための方法及び装置 |
US7647175B2 (en) * | 2005-09-09 | 2010-01-12 | Rembrandt Technologies, Lp | Discrete inertial display navigation |
US20070057911A1 (en) * | 2005-09-12 | 2007-03-15 | Sina Fateh | System and method for wireless network content conversion for intuitively controlled portable displays |
CN101308576B (zh) * | 2008-07-11 | 2011-04-06 | 北京中星微电子有限公司 | 道路中的运动方向检测方法及装置 |
US10073516B2 (en) * | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
CN106303404A (zh) * | 2015-06-29 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 可视化内容传输控制方法、发送方法、及其装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4348186A (en) * | 1979-12-17 | 1982-09-07 | The United States Of America As Represented By The Secretary Of The Navy | Pilot helmet mounted CIG display with eye coupled area of interest |
US4685070A (en) * | 1984-08-03 | 1987-08-04 | Texas Instruments Incorporated | System and method for displaying, and interactively excavating and examining a three dimensional volume |
US4862388A (en) * | 1986-12-15 | 1989-08-29 | General Electric Company | Dynamic comprehensive distortion correction in a real time imaging system |
GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
-
1991
- 1991-03-06 JP JP3039732A patent/JP2671619B2/ja not_active Expired - Fee Related
-
1992
- 1992-02-25 DE DE69211185T patent/DE69211185T2/de not_active Expired - Fee Related
- 1992-02-25 EP EP92301570A patent/EP0502643B1/en not_active Expired - Lifetime
- 1992-03-06 US US07/845,422 patent/US5442734A/en not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305156A (ja) * | 1996-05-16 | 1997-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 映像表示方法及び装置 |
JP2017146607A (ja) * | 2013-06-07 | 2017-08-24 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
WO2023285908A1 (ja) * | 2021-07-16 | 2023-01-19 | 株式会社半導体エネルギー研究所 | 電子装置 |
Also Published As
Publication number | Publication date |
---|---|
US5442734A (en) | 1995-08-15 |
EP0502643A2 (en) | 1992-09-09 |
EP0502643A3 (en) | 1993-07-21 |
JP2671619B2 (ja) | 1997-10-29 |
EP0502643B1 (en) | 1996-06-05 |
DE69211185D1 (de) | 1996-07-11 |
DE69211185T2 (de) | 1996-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2671619B2 (ja) | 映像生成処理装置 | |
US10739849B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
US11836289B2 (en) | Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
US10775886B2 (en) | Reducing rendering computation and power consumption by detecting saccades and blinks | |
US10720128B2 (en) | Real-time user adaptive foveated rendering | |
US10409365B2 (en) | Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor | |
US20170155885A1 (en) | Methods for reduced-bandwidth wireless 3d video transmission | |
KR20160046495A (ko) | 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법 | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
JP2017156887A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7413077B2 (ja) | ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム | |
JP6723743B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN114026606A (zh) | 用于动态遮挡的快速手部网格划分 | |
CN112445339A (zh) | 基于注视和扫视的图形操纵 | |
US20220147138A1 (en) | Image generation apparatus and information presentation method | |
CN113658249A (zh) | 虚拟现实场景的渲染方法、装置、设备和存储介质 | |
US11353953B2 (en) | Method of modifying an image on a computational device | |
US20200133388A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US9959637B2 (en) | Method and apparatus for processing border of computer figure to be merged into background image | |
JPH02301798A (ja) | 画像表示装置 | |
US20240135660A1 (en) | Information processing apparatus and information processing method | |
WO2023058545A1 (ja) | 情報処理装置および方法、プログラム | |
JP2005122558A (ja) | 画像表示装置、画像表示方法、画像表示プログラム及び画像表示プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US11205076B2 (en) | Apparatus for alerting based on detecting objects approaching each other in images, alerting method, program, and non-transitory computer-readable information recording medium | |
JPH0765194A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |