JP2671619B2 - 映像生成処理装置 - Google Patents
映像生成処理装置Info
- Publication number
- JP2671619B2 JP2671619B2 JP3039732A JP3973291A JP2671619B2 JP 2671619 B2 JP2671619 B2 JP 2671619B2 JP 3039732 A JP3039732 A JP 3039732A JP 3973291 A JP3973291 A JP 3973291A JP 2671619 B2 JP2671619 B2 JP 2671619B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- priority
- image
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
- G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【0001】
【産業上の利用分野】本発明は、ヘッドマウンテッド・
ディスプレイに、それを装着した人の視線の移動に応じ
て、所要の映像を表示して、いわゆる仮想環境或いは人
工現実感を生成するシステムにおける、該映像の生成処
理装置に関する。
ディスプレイに、それを装着した人の視線の移動に応じ
て、所要の映像を表示して、いわゆる仮想環境或いは人
工現実感を生成するシステムにおける、該映像の生成処
理装置に関する。
【0002】
【従来の技術】仮想環境或いは人工現実感を生成するシ
ステムにおいて、視覚に関しては、図2に例示するよう
に、映像生成処理装置1がコンピュータグラフィックス
技術によって所要の立体画像を生成して、利用者の頭部
2に装着するヘッドマウンテッド・ディスプレイ3にそ
の映像を表示し、又適当に検出する視線の移動に応じ
て、刻々その映像を更新する。
ステムにおいて、視覚に関しては、図2に例示するよう
に、映像生成処理装置1がコンピュータグラフィックス
技術によって所要の立体画像を生成して、利用者の頭部
2に装着するヘッドマウンテッド・ディスプレイ3にそ
の映像を表示し、又適当に検出する視線の移動に応じ
て、刻々その映像を更新する。
【0003】立体画像は、例えば両眼の視差に応じた左
右の映像を別個に生成することによって行なわれ、ヘッ
ドマウンテッド・ディスプレイ3は、それぞれの映像が
各一方の眼にのみ見えるような構造にされている。
右の映像を別個に生成することによって行なわれ、ヘッ
ドマウンテッド・ディスプレイ3は、それぞれの映像が
各一方の眼にのみ見えるような構造にされている。
【0004】視線の移動の検出には、同じく頭部2に装
着する適当なセンサ4と例えば磁気信号等を発生する信
号源5とを使用して、信号源5を基準としたセンサ4の
位置情報や向き等を計測できるようにし、それによって
頭部の位置と動きを検出し、その動きから視線の方向を
決定する方法が採られる。
着する適当なセンサ4と例えば磁気信号等を発生する信
号源5とを使用して、信号源5を基準としたセンサ4の
位置情報や向き等を計測できるようにし、それによって
頭部の位置と動きを検出し、その動きから視線の方向を
決定する方法が採られる。
【0005】視線に追随する映像の更新は、例えばある
適当な周期でセンサ4からの計測値を受け取って視線の
方向を決定することにより、その視線の方向が視野の中
心になるような新映像を決定して、表示画像を新映像に
なるように更新することによって行なわれる。
適当な周期でセンサ4からの計測値を受け取って視線の
方向を決定することにより、その視線の方向が視野の中
心になるような新映像を決定して、表示画像を新映像に
なるように更新することによって行なわれる。
【0006】
【発明が解決しようとする課題】前記のような、視線に
追随する映像の更新において、、ある1つの視野全体を
カバーする立体画像を生成する処理は比較的長時間を要
し、例えば1画面に少なくとも100 ミリ秒程度を要す
る。
追随する映像の更新において、、ある1つの視野全体を
カバーする立体画像を生成する処理は比較的長時間を要
し、例えば1画面に少なくとも100 ミリ秒程度を要す
る。
【0007】一方、動画像を人間が自然な動きに感じる
ようにするためには、毎秒30フレーム程度の速さで画面
を変化させなければならないといわれているが、視線の
移動に応じて更新する場合に、更新処理時間より短い周
期で画面を更新することはできないので、前記の画像更
新処理時間では上記要件を満足できず、円滑な画面の遷
移ができないという問題がある。
ようにするためには、毎秒30フレーム程度の速さで画面
を変化させなければならないといわれているが、視線の
移動に応じて更新する場合に、更新処理時間より短い周
期で画面を更新することはできないので、前記の画像更
新処理時間では上記要件を満足できず、円滑な画面の遷
移ができないという問題がある。
【0008】本発明は、視線の移動に応ずる画像の更新
における処理量を減少して、更新間隔を短縮できるよう
にした映像生成処理装置を目的とする。
における処理量を減少して、更新間隔を短縮できるよう
にした映像生成処理装置を目的とする。
【0009】
【課題を解決するための手段】図1は、本発明の構成を
示すブロック図である。図は映像生成処理装置の構成で
あって、センサ部10と、画像処理部11と、表示部12とを
有し、センサ部10が、人体の視線を検出して、視線の方
向を表す所定の視線ベクトルを発生し、画像処理部11
が、所与の画像データに基づき、該視線ベクトルによっ
て定まる画像を生成して、該画像を表示部12の表示画面
13に表示する装置である。
示すブロック図である。図は映像生成処理装置の構成で
あって、センサ部10と、画像処理部11と、表示部12とを
有し、センサ部10が、人体の視線を検出して、視線の方
向を表す所定の視線ベクトルを発生し、画像処理部11
が、所与の画像データに基づき、該視線ベクトルによっ
て定まる画像を生成して、該画像を表示部12の表示画面
13に表示する装置である。
【0010】画像処理部11に、視線移動識別部14と、優
先度割当部15と、部分更新部16とを設け、視線移動識別
部14は、該視線ベクトルを所定の時間間隔で採取して、
最近に採取した2個の該視線ベクトルの差から、視線の
移動速度を示す所定の視線移動ベクトルを算出する。
先度割当部15と、部分更新部16とを設け、視線移動識別
部14は、該視線ベクトルを所定の時間間隔で採取して、
最近に採取した2個の該視線ベクトルの差から、視線の
移動速度を示す所定の視線移動ベクトルを算出する。
【0011】優先度割当部15は、該視線移動ベクトル
を、表示画面13の中心を起点とするように表示画面13に
投影して投影ベクトルを生成し、表示画面13の所定の各
部分ごとの優先度を、該投影ベクトルに近い程高く、且
つ該投影ベクトルに沿って、該表示画面の中心から周辺
に向かって低くする所定の処理によって決定する。
を、表示画面13の中心を起点とするように表示画面13に
投影して投影ベクトルを生成し、表示画面13の所定の各
部分ごとの優先度を、該投影ベクトルに近い程高く、且
つ該投影ベクトルに沿って、該表示画面の中心から周辺
に向かって低くする所定の処理によって決定する。
【0012】部分更新部16は、該優先度に従い、該優先
度の高い該部分の順に、最近の該視線ベクトルによって
定まる画像によって、表示画面13の表示を該部分ごとに
更新する。
度の高い該部分の順に、最近の該視線ベクトルによって
定まる画像によって、表示画面13の表示を該部分ごとに
更新する。
【0013】以上において、表示画面13の所定の各部分
は、表示画面13を、同じ大きさ同じ形状の長方形に分割
した部分としてよい。又、優先度割当部15の所定の処理
は、前記投影ベクトル上のそれぞれ異なる所定点に頂点
を有し、該投影ベクトルの起点で該投影ベクトルに垂直
な、前記表示画面上の直線上に底辺を持ち、それぞれ異
なる所定面積を有する所定個数の各二等辺三角形につい
て、最小の該三角形の領域、及び各該三角形とその次に
大きな該三角形とによって区切られる各領域ごとに、各
該領域ごとに定める優先度に基づいて、当該領域と重な
る前記各部分の優先度を決定する処理としてよい。
は、表示画面13を、同じ大きさ同じ形状の長方形に分割
した部分としてよい。又、優先度割当部15の所定の処理
は、前記投影ベクトル上のそれぞれ異なる所定点に頂点
を有し、該投影ベクトルの起点で該投影ベクトルに垂直
な、前記表示画面上の直線上に底辺を持ち、それぞれ異
なる所定面積を有する所定個数の各二等辺三角形につい
て、最小の該三角形の領域、及び各該三角形とその次に
大きな該三角形とによって区切られる各領域ごとに、各
該領域ごとに定める優先度に基づいて、当該領域と重な
る前記各部分の優先度を決定する処理としてよい。
【0014】以上に加えて、部分更新部16は、前記表示
画面の所定の各部分の所定の優先度を予め保持し、各該
部分の画像の更新を行なった場合に当該部分の該優先度
を所定量だけ低くし、前記視線移動ベクトルによって視
線の移動が無い状態を識別した場合には、該優先度に従
う順に各該部分の画像の更新を行なう処理を、該視線の
移動が無い状態が継続する間繰り返すようにしてよい。
画面の所定の各部分の所定の優先度を予め保持し、各該
部分の画像の更新を行なった場合に当該部分の該優先度
を所定量だけ低くし、前記視線移動ベクトルによって視
線の移動が無い状態を識別した場合には、該優先度に従
う順に各該部分の画像の更新を行なう処理を、該視線の
移動が無い状態が継続する間繰り返すようにしてよい。
【0015】
【作用】本発明の映像生成処理装置により、視線の方向
を最優先として、視線に沿って視線の動く方向の部分画
像が優先的に更新される。従って視線に追随する画像更
新を適当に短い周期で行なうと、視線が移動している間
は前記のようにして優先されるある何個かの部分領域の
画像のみが更新されることになる。
を最優先として、視線に沿って視線の動く方向の部分画
像が優先的に更新される。従って視線に追随する画像更
新を適当に短い周期で行なうと、視線が移動している間
は前記のようにして優先されるある何個かの部分領域の
画像のみが更新されることになる。
【0016】しかし、視線を動かしている場合には、視
野の中で注意を向けることのできる範囲が狭められ、ほ
ぼ前記の優先処理の順に認識できなくなることが分かっ
ているので、以上のように部分的な更新でも、更新され
ない部分との違和感を生じ難く、むしろ注目する視野部
分が円滑に更新される効果によって、自然感を改善する
ことができる。
野の中で注意を向けることのできる範囲が狭められ、ほ
ぼ前記の優先処理の順に認識できなくなることが分かっ
ているので、以上のように部分的な更新でも、更新され
ない部分との違和感を生じ難く、むしろ注目する視野部
分が円滑に更新される効果によって、自然感を改善する
ことができる。
【0017】一方、視線の動きが止まったときは、速や
かに映像全体をそのときの状態に更新するように、例え
ば視野の中心から周辺に向かっての更新を継続して、全
視野領域を更新するようにする。
かに映像全体をそのときの状態に更新するように、例え
ば視野の中心から周辺に向かっての更新を継続して、全
視野領域を更新するようにする。
【0018】
【実施例】図1の視線移動識別部14は例えば30ミリ秒ご
とにセンサ部10からのデータを制御部17を経て受信し、
その時刻t におけるデータとして、頭部の位置を示す座
標(x,y,z)tと、視線の方向を示す視線ベクトル(Ex,Ey,E
z)tとを得る。
とにセンサ部10からのデータを制御部17を経て受信し、
その時刻t におけるデータとして、頭部の位置を示す座
標(x,y,z)tと、視線の方向を示す視線ベクトル(Ex,Ey,E
z)tとを得る。
【0019】視線移動識別部14は、1周期前の視線ベク
トル(Ex,Ey,Ez)t-1を保持し、 (Vx,Vy,Vz)t=(Ex,Ey,Ez)t-(Ex,Ey,Ez)t-1 によって、時刻tにおける視線移動ベクトル(Vx,Vy,Vz)t
を求めて、優先度割当部15に渡す。
トル(Ex,Ey,Ez)t-1を保持し、 (Vx,Vy,Vz)t=(Ex,Ey,Ez)t-(Ex,Ey,Ez)t-1 によって、時刻tにおける視線移動ベクトル(Vx,Vy,Vz)t
を求めて、優先度割当部15に渡す。
【0020】優先度割当部15は、例えば図3に概念的に
示すように、表示画面を格子状に分割した等大長方形の
各部分に、図に例示するような優先度を与え、優先度値
の大きいものから順に処理を行なうことにより、図に矢
印で示すように視線移動ベクトルを投影した投影ベクト
ルに沿う部分が優先的に処理されるようにする。
示すように、表示画面を格子状に分割した等大長方形の
各部分に、図に例示するような優先度を与え、優先度値
の大きいものから順に処理を行なうことにより、図に矢
印で示すように視線移動ベクトルを投影した投影ベクト
ルに沿う部分が優先的に処理されるようにする。
【0021】このために優先度割当部15は、表示画面13
の平面に、その中心点に起点をもつように、前記の視線
移動ベクトルを投影し、視線移動ベクトルの長さに比例
した必要な長さをもつ投影ベクトルを図4の矢印線のよ
うに想定する。
の平面に、その中心点に起点をもつように、前記の視線
移動ベクトルを投影し、視線移動ベクトルの長さに比例
した必要な長さをもつ投影ベクトルを図4の矢印線のよ
うに想定する。
【0022】この投影ベクトルを、例えば4等分して、
その分割点とベクトルの先とをそれぞれ頂点にし、投影
ベクトルの起点 (画面の中心) を通り、投影ベクトルに
垂直な表示画面上の直線の上に底辺を持つ4個の2等辺
三角形を描く。
その分割点とベクトルの先とをそれぞれ頂点にし、投影
ベクトルの起点 (画面の中心) を通り、投影ベクトルに
垂直な表示画面上の直線の上に底辺を持つ4個の2等辺
三角形を描く。
【0023】その場合、各三角形の面積は、予め定める
各一定の大きさとなるように各底辺の長さを決定する。
この面積は頂点の低い方から次第に大きくなるように定
め、例えば内側から1:4:9:16の比になるような適当な大
きさとする。従って、視線の移動が速く、従って投影ベ
クトルが長い程、前記の各三角形は細長い三角形にな
る。
各一定の大きさとなるように各底辺の長さを決定する。
この面積は頂点の低い方から次第に大きくなるように定
め、例えば内側から1:4:9:16の比になるような適当な大
きさとする。従って、視線の移動が速く、従って投影ベ
クトルが長い程、前記の各三角形は細長い三角形にな
る。
【0024】又、最小の (最も内側の)三角形の領域
と、各三角形に挟まれる部分の3領域との4領域に、そ
れぞれ優先度計算値を内側が最も大きく、外側が順次小
さくなるように、例えば図4のように定めておく。
と、各三角形に挟まれる部分の3領域との4領域に、そ
れぞれ優先度計算値を内側が最も大きく、外側が順次小
さくなるように、例えば図4のように定めておく。
【0025】以上の準備の後、各優先度計算値の領域ご
とに、その領域と交差のある表示画面の各部分につい
て、交差面積と優先度計算値とに比例するように定める
値を計算し、その値を各部分ごとに加えて、その部分の
優先度とする。
とに、その領域と交差のある表示画面の各部分につい
て、交差面積と優先度計算値とに比例するように定める
値を計算し、その値を各部分ごとに加えて、その部分の
優先度とする。
【0026】又、投影ベクトルの逆向きベクトルを設定
して、前記と同様に交差する部分の優先度を求める。但
しこの場合は、前記の視線の移動方向に沿う計算の場合
より充分小さい優先度計算値を使用するように定めてお
く。以上によって三角形によって作られる何れの領域と
も交差しない部分については、最低の優先度を与えるよ
うにする。
して、前記と同様に交差する部分の優先度を求める。但
しこの場合は、前記の視線の移動方向に沿う計算の場合
より充分小さい優先度計算値を使用するように定めてお
く。以上によって三角形によって作られる何れの領域と
も交差しない部分については、最低の優先度を与えるよ
うにする。
【0027】以上によって、視線の移動が速い程、移動
方向に沿って幅は狭く、長く延びた先まで比較的高い優
先度が与えられ、視線の移動が遅いと中心付近で比較的
幅の広い領域が高い優先度になる。
方向に沿って幅は狭く、長く延びた先まで比較的高い優
先度が与えられ、視線の移動が遅いと中心付近で比較的
幅の広い領域が高い優先度になる。
【0028】部分更新部16は、そのように定まる優先度
に従って各部分の更新処理を順次行ない、制御部17を経
て表示部12へ表示情報を送って表示画面13の表示を部分
的に更新する。この処理を次の視線移動ベクトルによる
更新を始めるまでに可能な個数の各部分について実行す
る。
に従って各部分の更新処理を順次行ない、制御部17を経
て表示部12へ表示情報を送って表示画面13の表示を部分
的に更新する。この処理を次の視線移動ベクトルによる
更新を始めるまでに可能な個数の各部分について実行す
る。
【0029】又、部分更新部16は、表示画面13を分割し
た前記の各部分について、例えば中心を最高として周辺
に向かって順次低くなる第2の優先度を予め保持し、以
上のようにして、ある部分の更新を終わると、その部分
の第2の優先度を例えばある一定値だけ下げて、処理済
の部分が他の部分より低い優先度になるようにする。
た前記の各部分について、例えば中心を最高として周辺
に向かって順次低くなる第2の優先度を予め保持し、以
上のようにして、ある部分の更新を終わると、その部分
の第2の優先度を例えばある一定値だけ下げて、処理済
の部分が他の部分より低い優先度になるようにする。
【0030】このようにして次の周期の処理を開始する
とき、視線移動ベクトルの絶対値をある閾値と比較し、
閾値より小ければ視線移動が無いと判定し、その場合に
は上記の第2の優先度に従って更新処理を行う。この処
理は以後の周期で視線移動の無い状態が続く限り同様に
継続し、第2の優先度がすべて0以下になるか、又は視
線の移動があった場合には、第2の優先度を初期値の状
態に戻す。
とき、視線移動ベクトルの絶対値をある閾値と比較し、
閾値より小ければ視線移動が無いと判定し、その場合に
は上記の第2の優先度に従って更新処理を行う。この処
理は以後の周期で視線移動の無い状態が続く限り同様に
継続し、第2の優先度がすべて0以下になるか、又は視
線の移動があった場合には、第2の優先度を初期値の状
態に戻す。
【0031】図5は、以上の処理の流れを示す図であ
り、視線移動識別部14が各周期の処理開始で処理ステッ
プ20においてセンサ部10から視線ベクトルを取得する
と、処理ステップ21で、保持している1回前の視線ベク
トルとの差として視線移動ベクトルを算出し、今取得し
た視線ベクトルを記憶する。
り、視線移動識別部14が各周期の処理開始で処理ステッ
プ20においてセンサ部10から視線ベクトルを取得する
と、処理ステップ21で、保持している1回前の視線ベク
トルとの差として視線移動ベクトルを算出し、今取得し
た視線ベクトルを記憶する。
【0032】優先度割当部15は処理ステップ22で、その
視線移動ベクトルを表示画面に投影した投影ベクトルを
生成し、処理ステップ23で投影ベクトルに基づいて、表
示画面の平面に前記のような三角形領域を設定し、処理
ステップ24で、三角形領域と表示画面の分割した各部分
との交差面積に基づいて各部分の優先度を算出決定す
る。
視線移動ベクトルを表示画面に投影した投影ベクトルを
生成し、処理ステップ23で投影ベクトルに基づいて、表
示画面の平面に前記のような三角形領域を設定し、処理
ステップ24で、三角形領域と表示画面の分割した各部分
との交差面積に基づいて各部分の優先度を算出決定す
る。
【0033】部分更新部16は、処理ステップ25で視線移
動ベクトルにより、視線移動の有無を判定し、移動があ
る場合には処理ステップ26で第2の優先度を初期値にリ
セットした後、処理ステップ27で時間を監視しながら、
処理ステップ28で優先度順に採り上げる部分の画像更新
を行い、処理ステップ29でその部分の第2の優先度を減
じる処理を、順次各部分について進め、次の周期になれ
ば終了する。
動ベクトルにより、視線移動の有無を判定し、移動があ
る場合には処理ステップ26で第2の優先度を初期値にリ
セットした後、処理ステップ27で時間を監視しながら、
処理ステップ28で優先度順に採り上げる部分の画像更新
を行い、処理ステップ29でその部分の第2の優先度を減
じる処理を、順次各部分について進め、次の周期になれ
ば終了する。
【0034】移動が無いと判定した場合には、処理ステ
ップ30で時間を監視しながら、処理ステップ31で第2の
優先度の順に採り上げる画像の各部分の画像更新を行
い、処理ステップ32でその部分の第 2の優先度を減じる
処理を、順次各部分について進め、次の周期になれば終
了する。
ップ30で時間を監視しながら、処理ステップ31で第2の
優先度の順に採り上げる画像の各部分の画像更新を行
い、処理ステップ32でその部分の第 2の優先度を減じる
処理を、順次各部分について進め、次の周期になれば終
了する。
【0035】この間に、処理ステップ33で識別して、第
2の優先度がすべて0以下になった場合には、処理ステ
ップ34で第2の優先度を初期の値にリセットする。
2の優先度がすべて0以下になった場合には、処理ステ
ップ34で第2の優先度を初期の値にリセットする。
【0036】
【発明の効果】以上の説明から明らかなように本発明に
よれば、仮想環境を生成するシステムの映像生成処理装
置において、ヘッドマウンテッド・ディスプレイを装着
した人の視線の移動に応ずる画像の更新間隔を短縮でき
るので、視線移動に追随する自然な映像の生成が可能に
なるという著しい工業的効果がある。
よれば、仮想環境を生成するシステムの映像生成処理装
置において、ヘッドマウンテッド・ディスプレイを装着
した人の視線の移動に応ずる画像の更新間隔を短縮でき
るので、視線移動に追随する自然な映像の生成が可能に
なるという著しい工業的効果がある。
【図1】 本発明の構成を示すブロック図
【図2】 仮想環境を生成するシステムを説明する図
【図3】 優先度の割当を説明する図
【図4】 優先度の算出処理を説明する図
【図5】 本発明の処理の流れ図
1 映像生成処理装置 2 頭部 3 ヘッドマウンテッド・ディスプレイ 4 センサ 5 信号源 10 センサ部 11 画像処理部 12 表示部 13 表示画面 14 視線移動識別部 15 優先度割当部 16 部分更新部 17 制御部 20〜34 処理ステップ
Claims (4)
- 【請求項1】 センサ部と、画像処理部と、表示部とを
有し、該センサ部が、人体の視線を検出して、視線の方
向を表す所定の視線ベクトルを発生し、該画像処理部
が、所与の画像データに基づき、該視線ベクトルによっ
て定まる画像を生成して、該画像を該表示部の表示画面
に表示する装置であって、該画像処理部に、視線移動識
別部と、優先度割当部と、部分更新部とを設け、該視線
移動識別部は、該視線ベクトルを所定の時間間隔で採取
して、最近に採取した2個の該視線ベクトルの差から、
視線の移動速度を示す所定の視線移動ベクトルを算出
し、該優先度割当部は、該視線移動ベクトルを、該表示
画面の中心を起点とするように該表示画面に投影して投
影ベクトルを生成し、該表示画面の所定の各部分ごとの
優先度を、該投影ベクトルに近い程高く、且つ該投影ベ
クトルに沿って、該表示画面の中心から周辺に向かって
低くする所定の処理によって決定し、該部分更新部は、
該優先度に従い、該優先度の高い該部分の順に、最近の
該視線ベクトルによって定まる画像によって、該表示画
面の表示を該部分ごとに更新するように構成されている
ことを特徴とする映像生成処理装置。 - 【請求項2】 前記表示画面の所定の各部分は、該表示
画面を同じ大きさで、同じ形状の長方形に分割した部分
である、請求項1記載の映像生成処理装置。 - 【請求項3】 前記優先度割当部の所定の処理は、前記
投影ベクトル上のそれぞれ異なる所定点に頂点を有し、
該投影ベクトルの起点で該投影ベクトルに垂直な、前記
表示画面上の直線上に底辺を持ち、それぞれ異なる所定
面積を有する所定個数の各二等辺三角形について、最小
の該三角形の領域、及び各該三角形とその次に大きな該
三角形とによって区切られる各領域ごとに、各該領域ご
とに定める優先度に基づいて、当該領域と重なる前記各
部分の優先度を決定する処理である、請求項1又は請求
項2記載の映像生成処理装置。 - 【請求項4】 前記部分更新部は、前記表示画面の所定
の各部分の所定の優先度を予め保持し、各該部分の画像
の更新を行なった場合に当該部分の該優先度を所定量だ
け低くし、前記視線移動ベクトルによって視線の移動が
無い状態を識別した場合には、該優先度に従う順に各該
部分の画像の更新を行なう処理を、該視線の移動が無い
状態が継続する間繰り返す、請求項1、請求項2又は請
求項3記載の映像生成処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3039732A JP2671619B2 (ja) | 1991-03-06 | 1991-03-06 | 映像生成処理装置 |
DE69211185T DE69211185T2 (de) | 1991-03-06 | 1992-02-25 | Verfahren und Einrichtung zur Bildverarbeitung |
EP92301570A EP0502643B1 (en) | 1991-03-06 | 1992-02-25 | Image processing unit and method for executing image processing |
US07/845,422 US5442734A (en) | 1991-03-06 | 1992-03-06 | Image processing unit and method for executing image processing of a virtual environment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3039732A JP2671619B2 (ja) | 1991-03-06 | 1991-03-06 | 映像生成処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04277871A JPH04277871A (ja) | 1992-10-02 |
JP2671619B2 true JP2671619B2 (ja) | 1997-10-29 |
Family
ID=12561146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3039732A Expired - Fee Related JP2671619B2 (ja) | 1991-03-06 | 1991-03-06 | 映像生成処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5442734A (ja) |
EP (1) | EP0502643B1 (ja) |
JP (1) | JP2671619B2 (ja) |
DE (1) | DE69211185T2 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5590062A (en) * | 1993-07-02 | 1996-12-31 | Matsushita Electric Industrial Co., Ltd. | Simulator for producing various living environments mainly for visual perception |
EP0804783B1 (en) * | 1993-09-29 | 2002-12-18 | Sun Microsystems, Inc. | Method and apparatus for displaying a virtual world |
US5790950A (en) * | 1994-03-18 | 1998-08-04 | Fujitsu Limited | Computer graphics apparatus having an improved walk-through function |
JP3091075B2 (ja) * | 1994-03-30 | 2000-09-25 | ローム株式会社 | 重力感応型映像装置 |
JP3214776B2 (ja) * | 1994-04-13 | 2001-10-02 | 株式会社東芝 | 仮想環境表示装置および方法 |
AUPM701394A0 (en) * | 1994-07-22 | 1994-08-18 | Monash University | A graphical display system |
US5764202A (en) * | 1995-06-26 | 1998-06-09 | Cae Electronics Ltd. | Suppressing image breakup in helmut mounted displays which use temporally separated bit planes to achieve grey scale |
US5684498A (en) * | 1995-06-26 | 1997-11-04 | Cae Electronics Ltd. | Field sequential color head mounted display with suppressed color break-up |
JP3461980B2 (ja) * | 1995-08-25 | 2003-10-27 | 株式会社東芝 | 高速描画方法および装置 |
US5933125A (en) * | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
CA2238693C (en) * | 1995-11-27 | 2009-02-24 | Cae Electronics Ltd. | Method and apparatus for displaying a virtual environment on a video display |
US6127990A (en) * | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
JPH09305156A (ja) * | 1996-05-16 | 1997-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 映像表示方法及び装置 |
US6437758B1 (en) | 1996-06-25 | 2002-08-20 | Sun Microsystems, Inc. | Method and apparatus for eyetrack—mediated downloading |
US6364485B1 (en) | 1996-08-02 | 2002-04-02 | Vega Vista, Inc. | Methods and systems for relieving eye strain |
GB9616261D0 (en) * | 1996-08-02 | 1996-09-11 | Philips Electronics Nv | Virtual environment manipulation device modelling and control |
US5912675A (en) * | 1996-12-19 | 1999-06-15 | Avid Technology, Inc. | System and method using bounding volumes for assigning vertices of envelopes to skeleton elements in an animation system |
IL119928A (en) * | 1996-12-29 | 2001-01-11 | Univ Ramot | Model-based view extrapolation for interactive virtual reality systems |
JPH10247252A (ja) * | 1997-03-04 | 1998-09-14 | Sharp Corp | 衝突判定処理装置 |
US6026376A (en) * | 1997-04-15 | 2000-02-15 | Kenney; John A. | Interactive electronic shopping system and method |
US6278432B1 (en) * | 1998-06-11 | 2001-08-21 | Seiko Epson Corporation | Image delivery and display system |
US6076928A (en) | 1998-06-15 | 2000-06-20 | Fateh; Sina | Ideal visual ergonomic system for computer users |
EP1116211A4 (en) | 1998-09-22 | 2001-11-21 | Vega Vista Inc | INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN |
US20060279542A1 (en) * | 1999-02-12 | 2006-12-14 | Vega Vista, Inc. | Cellular phones and mobile devices with motion driven control |
US20060061551A1 (en) * | 1999-02-12 | 2006-03-23 | Vega Vista, Inc. | Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection |
US20060061550A1 (en) * | 1999-02-12 | 2006-03-23 | Sina Fateh | Display size emulation system |
US6424410B1 (en) * | 1999-08-27 | 2002-07-23 | Maui Innovative Peripherals, Inc. | 3D navigation system using complementary head-mounted and stationary infrared beam detection units |
US20020109673A1 (en) * | 2001-01-04 | 2002-08-15 | Thierry Valet | Method and apparatus employing angled single accelerometer sensing multi-directional motion |
KR20060096420A (ko) * | 2003-09-29 | 2006-09-11 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 쌍안정 디스플레이 상의 배경 화상 위에 서브-화상을디스플레이하기 위한 방법 및 장치 |
US7647175B2 (en) * | 2005-09-09 | 2010-01-12 | Rembrandt Technologies, Lp | Discrete inertial display navigation |
US20070057911A1 (en) * | 2005-09-12 | 2007-03-15 | Sina Fateh | System and method for wireless network content conversion for intuitively controlled portable displays |
CN101308576B (zh) * | 2008-07-11 | 2011-04-06 | 北京中星微电子有限公司 | 道路中的运动方向检测方法及装置 |
US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
US10073516B2 (en) * | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
CN106303404A (zh) * | 2015-06-29 | 2017-01-04 | 北京智谷睿拓技术服务有限公司 | 可视化内容传输控制方法、发送方法、及其装置 |
JPWO2023285908A1 (ja) * | 2021-07-16 | 2023-01-19 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4348186A (en) * | 1979-12-17 | 1982-09-07 | The United States Of America As Represented By The Secretary Of The Navy | Pilot helmet mounted CIG display with eye coupled area of interest |
US4685070A (en) * | 1984-08-03 | 1987-08-04 | Texas Instruments Incorporated | System and method for displaying, and interactively excavating and examining a three dimensional volume |
US4862388A (en) * | 1986-12-15 | 1989-08-29 | General Electric Company | Dynamic comprehensive distortion correction in a real time imaging system |
GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
-
1991
- 1991-03-06 JP JP3039732A patent/JP2671619B2/ja not_active Expired - Fee Related
-
1992
- 1992-02-25 DE DE69211185T patent/DE69211185T2/de not_active Expired - Fee Related
- 1992-02-25 EP EP92301570A patent/EP0502643B1/en not_active Expired - Lifetime
- 1992-03-06 US US07/845,422 patent/US5442734A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0502643A2 (en) | 1992-09-09 |
EP0502643A3 (en) | 1993-07-21 |
US5442734A (en) | 1995-08-15 |
DE69211185D1 (de) | 1996-07-11 |
DE69211185T2 (de) | 1996-10-02 |
EP0502643B1 (en) | 1996-06-05 |
JPH04277871A (ja) | 1992-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2671619B2 (ja) | 映像生成処理装置 | |
US10739849B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
US8963963B2 (en) | Video-based image control system | |
US20170364146A1 (en) | Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor | |
CN109741463B (zh) | 虚拟现实场景的渲染方法、装置及设备 | |
US20060050069A1 (en) | Virtual reality presentation device and information processing method | |
AU9418701A (en) | Image processing apparatus, image processing method, record medium, computer program, and semiconductor device | |
JP3143558B2 (ja) | 画像表示方法および装置 | |
WO2017169273A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
JPH08314621A (ja) | 画像生成方法及び装置 | |
WO2022084578A1 (en) | Display apparatuses and rendering servers incorporating prioritized re-rendering | |
JP6723743B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP0714057A1 (en) | Method and apparatus for displaying a cursor along a two dimensional representation of a computer generated three dimensional surface | |
JP5225259B2 (ja) | 表示制御装置及び表示制御方法 | |
US11275434B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JPH02301798A (ja) | 画像表示装置 | |
JP2709993B2 (ja) | 動画像高速生成装置 | |
CN110703902A (zh) | 用于遮蔽物理对象的投射增强现实 | |
JPH06301477A (ja) | 3次元空間に対する指示位置の入力装置 | |
EP4161069A1 (en) | Information processing apparatus, information processing method, and program | |
WO2023058545A1 (ja) | 情報処理装置および方法、プログラム | |
JP6713591B1 (ja) | 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 | |
US20240135660A1 (en) | Information processing apparatus and information processing method | |
JPH11175758A (ja) | 立体表示方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |