JPH11327425A - 画像処理による注視点検出手段を利用したバーチャルリアリティの実現方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ゲーム機器やシュミレーション機器等でバ
ーチャルリアリティを実現する場合において，使用者が
現実に体験している知覚や感覚等を不自然でなく実現す
る。 【解決手段】 赤外線等の光を照射された使用者１０の
眼球９を撮影するビデオカメラ１等の画像入力装置で撮
影された使用者の眼球９の映像から、使用者の表示器７
上の注視位置の検出及び光源３の制御をする注視点検出
手段２，使用者１０が操作等によって意志を仮想現実実
現手段５に伝達する意思伝達手段４，注視点検出手段２
から入力した表示器７上の注視位置の情報と意思伝達手
段４から入力した使用者の操作等の意志の情報によって
現実性の実現を行うための解析及び処理をする仮想現実
実現手段５，表示器７を制御して表示器７に映像を表示
をする計算機６，使用者に映像を表示する表示器７及び
使用者に光，音，振動等の物理的な力を与えて現実性を
実際に実現する仮想現実実現装置８を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は，ゲーム機器やシ
ュミレーション機器等でバーチャルリアリティを実現す
る場合において，使用者１０が計算機６によって表示さ
れた表示器７の画面を見ると，注視点検出手段２によっ
て制御された光源３が赤外線等の光を使用者１０の眼球
９に照射して，ビデオカメラ１で使用者１０の眼球９の
映像を撮影を行い，ビデオカメラ１に撮影された使用者
１０の眼球９の映像から注視点検出手段２が検出した使
用者１０の注視している表示器７上の注視位置の情報と
意思伝達手段４から使用者１０の操作等の意志の情報に
よって仮想現実実現手段５が使用者１０の目線の移動方
向，移動速度，移動量や目線位置等の使用者１０の眼球
９に関する情報の解析と使用者１０の操作等の意志の解
析を行い，その結果によって仮想現実実現手段５が計算
機６を制御して表示器７の映像表示や仮想現実実現装置
８の制御を行うことによって，使用者１０が現実に体験
している知覚や感覚等を仮想的に実現することができる
画像処理による注視点検出手段を利用したバーチャルリ
アリティの実現方式についてのものである。

【０００２】

【従来の技術】従来技術によるバーチャルリアリティの
実現方式の装置構成を図２により説明する。図２の２１
は使用者，２２は使用者２１の操作等の意志の情報を計
算機２３に伝達する意思伝達手段，２３は意思伝達手段
２２によって伝達された使用者２１の操作等の意志の情
報によって動作を行う計算機，２４は計算機２３に制御
されて映像を表示する表示器，２５は計算機２３に制御
されて使用者２１に光，音や振動等の物理的な力を与え
て現実性を実際に実現する仮想現実実現装置である。

【０００３】従来技術によるバーチャルリアリティの実
現方式の装置である自動車のレースゲームのゲーム機器
を一例にあげて，図２と対比させて説明する。ドライバ
ーである使用者２１がハンドルやアクセル等の意思伝達
手段２２を操作することによって，意思伝達手段２２は
計算機２３に使用者２１の意志の情報を出力する。使用
者２１の意志の情報を入力した計算機２３は表示器２４
に表示している映像を変更するが，意思伝達手段２２か
ら入力した使用者２１の意志の情報がハンドルであった
場合には表示器２４に表示している映像を左右に移動し
た映像に変更を行い，アクセルであった場合には表示器
２４に表示している映像の前方方向の拡大していく映像
表示の速度を上げ，ブレーキであった場合には表示器２
４に表示している映像の前方方向の拡大していく映像表
示の速度を下げる。また，計算機２３は表示器２４に表
示した映像の動きに合わせて仮想現実実現装置２５の制
御を行うことによって，光，音，振動やシートの移動・
傾斜等のアクションなどによって現実性を実際に実現し
ている。

【０００４】この様に従来技術によるバーチャルリアリ
ティの実現方式では使用者２１が意思伝達手段２２を操
作等によって意志を明らかにすることで，使用者２１の
意志を計算機２３に伝達し，計算機２３が使用者２１の
意志の情報から表示器２４の映像の表示や仮想現実実現
装置２５の制御方法の全てを決定してしまい，表示器２
４への映像の表示，光，音，振動やアクション等によっ
て，現実性を実現している方法である。

【０００５】

【発明が解決しようとする課題】図２に示される従来技
術によるバーチャルリアリティの実現方式では計算機２
３，表示器２４，仮想現実実現装置２５の制御及び動作
の全ては使用者２１が意思伝達手段２２の操作等を行う
ことで決定しているため，使用者２１が見ている表示器
２４の映像を立体映像で作成していても距離に伴う使用
者２１の目の焦点範囲に合っていない映像，使用者２１
の目の動きや行動に合っていない表示器２４の映像の表
示変更の内容や速度及び仮想現実実現装置２５の反応速
度や動作等の全てが現実とかけ離れているため非常に不
自然であり違和感を感じる。この発明は使用者１０の眼
球９に関する目線の移動方向，移動速度，移動量や注視
位置等の解析を行うことによって，使用者１０が現実に
体験している知覚や感覚等を仮想的に実現することがで
きるバーチャルリアリティの実現を目的とする。

【０００６】

【課題を解決するための手段】この目的を達成するため
に，この発明はゲーム機器やシュミレーション機器等で
バーチャルリアリティを実現する場合において，光源３
によって赤外線等の光を照射された使用者１０の眼球９
を撮影するビデオカメラ１等の画像入力装置，ビデオカ
メラ１に撮影された使用者１０の眼球９の映像から使用
者１０の表示器７上の注視位置を検出及び光源３の制御
をする注視点検出手段２，注視点検出手段２が制御かつ
使用者１０の眼球９の検出に必要な赤外線等の光を使用
者１０の眼球９に照射する光源３，使用者１０が操作等
によって意志を仮想現実実現手段５に伝達する意思伝達
手段４，注視点検出手段２から入力した表示器７上の注
視位置の情報と意思伝達手段４から入力した使用者１０
の操作等の意志の情報によって現実性の実現を行うため
の解析及び処理をする仮想現実実現手段５，表示器７を
制御して表示器７に映像を表示をする計算機６，使用者
１０が見るための映像を表示する表示器７及び使用者１
０に光，音，振動等の物理的な力を与えて現実性を実際
に実現する仮想現実実現装置８を備える。

【０００７】

【発明の実施の形態】この発明による画像処理による注
視点検出手段を利用したバーチャルリアリティの実現方
式における装置構成を図１，図３により説明する。図１
はこの発明による画像処理による注視点検出手段を利用
したバーチャルリアリティの実現方式における装置の構
成図であり，図３は装置の動作手順を説明するフローチ
ャートである。

【０００８】図３の３１では使用者１０が計算機６によ
って表示された表示器７の画面を見ると，注視点検出手
段２によって制御された光源３が赤外線等の光を使用者
１０の眼球９に照射し，ビデオカメラ１で使用者１０の
眼球９の撮影を行って注視点検出手段２に出力する。３
２では注視点検出手段２がビデオカメラ１から入力した
使用者１０の眼球９の映像から眼球９の表示器７上の注
視位置を検出して，その検出情報を仮想現実実現手段５
に出力する。３３では仮想現実実現手段５は注視点検出
手段２から表示器７上の注視位置の入力して，３４では
使用者１０の目線の移動方向，移動速度，移動量や注視
位置等の算出及び解析を行い，３５では意思伝達手段４
から使用者１０の操作等の情報を入力する。３６では仮
想現実実現手段５は３４で算出及び解析した結果と３５
で入力した意思伝達手段４の情報から，使用者１０が現
実に体験している知覚や感覚等を仮想的に実現すること
ができる表示器７の表示内容や方法等についての詳細を
決定して，３７では表示器７に表示する映像を計算機６
に指示して，３８では計算機６が表示器７を制御して仮
想現実実現手段５から指示された通りの映像を表示す
る。次に３９では仮想現実実現手段５は３４で算出及び
解析した結果の情報と３５で意思伝達手段４から入力し
た使用者１０の操作等の情報から仮想現実実現装置８の
制御及び動作を決定して，３Ａでは仮想現実実現手段５
が仮想現実実現装置８を制御して，３Ｂでは仮想現実実
現装置８が動作を行い，再び３１に戻って処理を繰り返
す。

【０００９】これによって，この発明による画像処理に
よる注視点検出手段を利用したバーチャルリアリティの
実現方式における装置では，計算機６，表示器７，仮想
現実実現装置８の制御及び動作の全てが使用者１０の意
思伝達手段４の操作等を行うことで決定していることが
なく，使用者１０の目線の移動や注視位置等によって仮
想現実実現手段５が表示器７の表示する映像の内容や仮
想現実実現装置８の制御及び動作を決定しているため
に，使用者１０が現実に体験している知覚や感覚等を仮
想的に実現することができることは明らかである。

【００１０】

【実施例】この発明による画像処理による注視点検出手
段を利用したバーチャルリアリティの実現方式における
装置を実現した場合の一例を図４，図５，図６，図７に
より説明する。図４はこの発明による画像処理による注
視点検出手段を利用したバーチャルリアリティの実現方
式における装置を実際に実現した装置の一例で，ビデオ
カメラ４１は使用者４Ａの眼球４９を撮影する画像入力
装置，注視点検出手段４２はビデオカメラ４１に撮影さ
れた使用者４Ａの眼球４９の映像から使用者４Ａの表示
器４７上の注視位置を検出する手段，光源４３は使用者
４Ａの眼球４９に赤外線等の光を照射する装置，意思伝
達手段４４は使用者４Ａが実際に操作することで使用者
４Ａ自身の意志を仮想現実実現手段４５に伝達すること
ができる手段，仮想現実実現手段４５は注視点検出手段
４２から入力した使用者４Ａの表示器４７上の注視位置
の情報と意思伝達手段４４から入力した使用者４Ａの操
作等の意志の情報から仮想現実を実現するための解析や
処理を行う手段，計算機４６は表示器４７の画面を表示
を行う装置，表示器４７は使用者４Ａが見る映像を表示
する装置，仮想現実実現装置４８は使用者４Ａに光，
音，振動等の物理的な力を与えて現実性を実際に実現す
る装置，眼球４９は使用者４Ａの眼球，使用者４Ａは実
際にこの装置を使用する人である。

【００１１】図５は図４の仮想現実実現手段４５の表示
器４７上での現実性を実現するための方法の一例で，
（Ａ）は表示器４７に表示する映像，（Ｂ）は現実の風
景の説明図，（Ｃ）は現実の風景において使用者４Ａが
正面方向に移動した場合の説明図である。図６は図４の
仮想現実実現手段４５を航空機のシュミレーションやゲ
ーム等に利用した場合に表示器４７に表示される映像画
面の一例の説明図で，目標物６１は図４の使用者４Ａが
目標にしている物体，目標物の捕捉完了のマーク６２は
図４の使用者４Ａが計算機４６に意志伝達を完了した確
認を表すマーク表示，使用者の注視位置のマーク６３は
図４の使用者４Ａが表示器４７上の注視位置を示したマ
ーク表示，目標物捕捉用の照準６４は図４の使用者４Ａ
が目標物６１を捕捉するための照準でこの範囲内に目標
物６１が入れば図４の使用者４Ａが計算機４６に目標物
６１の捕捉の意志を伝達することができる照準である。
図７は図４の仮想現実実現手段４５を航空機のシュミレ
ーションやゲーム等に利用した場合に表示器４７に表示
される映像画面の一例の説明図で，全体の映像７１は図
４の表示器４７に表示できる全体の映像，表示範囲７２
は図４の使用者４Ａの表示器４７上の注視位置が注視位
置７５にある時の表示器４７に表示する初期の映像の表
示範囲で，表示範囲７３は図４の使用者４Ａの表示器４
７上の注視位置が注視位置７５から注視位置７６に移動
したときに表示器４７に表示する映像の表示範囲，表示
範囲７４は図４の使用者４Ａの表示器４７上の注視位置
が注視位置７６から注視位置７７に移動したときに表示
器４７に表示する映像の表示範囲，注視位置７５，注視
位置７６及び注視位置７７は図４の使用者４Ａの表示器
４７上での注視位置である。

【００１２】図４において使用者４Ａが計算機４６によ
って表示された表示器４７の画面である図５の（Ａ）の
映像を見ると，注視点検出手段４２によって制御された
光源４３が赤外線等の光を使用者４Ａの眼球４９に照射
し，ビデオカメラ４１は使用者４Ａの眼球４９を撮影し
て映像を注視点検出手段４２に出力する。注視点検出手
段４２はビデオカメラ４１から入力した使用者４Ａの眼
球４９の映像から眼球４９の表示器４７上の注視位置を
検出して，その検出情報を仮想現実実現手段４５に出力
する。仮想現実実現手段４５は注視点検出手段４２から
表示器４７上の注視位置の入力して，使用者４Ａの目線
の移動方向，移動速度，移動量や注視位置等の算出及び
解析を行い，意思伝達手段４４から使用者４Ａの操作等
の意志の情報を入力する。次に仮想現実実現手段４５は
使用者４Ａが現実に体験している知覚や感覚等を仮想的
に実現することができる表示器４７の表示内容や方法等
についての詳細と仮想現実実現装置４８の制御及び動作
を決定して，表示器４７に表示する映像を計算機４６に
指示を行い，仮想現実実現装置４８を制御する。これに
よって計算機４６が表示器４７を制御することによって
映像を表示して，仮想現実実現装置４８が動作を行う。

【００１３】ここで，仮想現実実現手段４５が使用者４
Ａが現実に体験している知覚や感覚等を仮想的に実現す
ることができる表示器４７の表示内容や方法等について
の一例を図５によって説明する。図５の（Ａ）は現実に
ある風景を映像として図４の表示器４７に表示するが，
使用者４Ａと表示器４７との距離が一定であり、表示器
４７は平面であるために，図５の映像（Ａ）を立体画像
等で立体的に遠近感を表現したとしても，実際の風景で
距離が遠い部分でも近い部分でも使用者４Ａの眼球４９
の焦点が同時に合ってしまい表示器４７上の映像（Ａ）
は全て鮮明にみることができる。しかし，実際に使用者
４Ａが現実の風景を見た場合には図５の（Ｂ）において
使用者４Ａから遠く離れた焦点の範囲５１の部分を見た
際には，当然のことながら近い部分は焦点が合っていな
いため使用者４Ａは鮮明に見ることができない。仮想現
実実現手段４５は注視点検出手段４２から入力した使用
者４Ａの表示器４７上の注視位置の情報によって，注視
位置の周辺は鮮明な映像を表示して，注視位置と距離が
異なる部分の映像は徐々に映像の鮮明さを失わせる様に
映像を作成して，表示器４７にその映像を表示すること
によって，現実性を実現することができる。

【００１４】さらに，仮想現実実現手段４５は意思伝達
手段４４から入力した使用者４Ａの操作の情報によっ
て，使用者４Ａの表示器４７上の注視位置を中心とした
鮮明な映像の範囲と周辺の鮮明さを失わせる度合いを決
定することができる。図５の現実の風景である（Ｃ）に
おいて図４の使用者４Ａが原位置５８から移動後の位置
５７に移動した場合には，移動速度によって使用者４Ａ
が見える視界の範囲が変化する。使用者４Ａの移動速度
が低速の時には使用者４Ａの視界の範囲は視界５６であ
るが，移動速度が速くなるにしたがって使用者４Ａの視
界の範囲は視界５５，視界５４，視界５３，視界５２と
狭くなっていく。仮想現実実現手段４５は注視点検出手
段４２から入力した使用者４Ａの表示器４７上の注視位
置の情報と意思伝達手段４４から入力した使用者４Ａの
操作等の意志の情報から算出及び解析した結果によっ
て，使用者４Ａの表示器４７上の注視位置の周辺の鮮明
な映像の範囲及び範囲外の映像の鮮明さを失う度合いに
ついても実際の使用者４Ａの移動速度や距離等に応じて
全体の映像を作成することができ，表示器４７にその映
像を表示することによって，現実性を実現することがで
きる。

【００１５】次に，仮想現実実現手段４５を注視点検出
手段４２から入力した使用者の表示器４７上の注視位置
の情報から，航空機のシュミレーションやゲーム等に利
用した場合の応用例を図６，図７によって説明する。

【００１６】図６は図４の表示器４７に表示される映像
画面の一例で，映像画面内にある航空機等の目標物６１
を捕捉するというルールに基づいてシュミレーションや
ゲーム等が進行される。従来法の装置では使用者４Ａが
意思伝達手段４４を操作することによって目標物６１が
目標物捕捉用照準６４の範囲内に入った場合にのみ，計
算機４６が目標物６１の捕捉をすることができ，その場
合に計算機４６は目標物の捕捉完了のマーク６２を表示
した。この発明による実現装置では，使用者４Ａの表示
器４７上の注視位置が検出されるために使用者の注視位
置のマーク６３が表示されることによって，使用者４Ａ
は目標物６１を眼球４９で注視することで目標物６１の
捕捉を行うことができる。

【００１７】図７は図４の表示器４７に表示される映像
画面の一例の説明図で，従来法では表示範囲７２が図４
の表示器４７に表示されている時に，意思伝達手段４４
によって使用者４Ａが左に方向を変更する操作を行った
場合だけ表示範囲７３が表示器４７に表示され，使用者
４Ａが右に方向を変更する操作を行った場合だけ表示範
囲７４が表示器４７に表示される。この発明による実現
装置では使用者４Ａの表示器４７上の注視位置によって
画面の映像を変化させることができる。まず，使用者４
Ａの注視位置が注視位置７５にある場合には表示範囲７
２を表示して，使用者４Ａの表示器４７上の注視位置が
注視位置７６に移動した場合に表示範囲７３を表示し
て，使用者４Ａの表示器４７上の注視位置が注視位置７
７に移動した場合に表示範囲７４を表示させる。これに
よって使用者４Ａの表示器４７上の注視位置によって表
示器４７に表示する映像を変化させることができる。本
例は使用者４Ａの表示器４７上の注視位置が注視位置７
５から注視位置７６，注視位置７６から注視位置７７へ
と極端に移動しているが，実際は注視位置７５から注視
位置７６に移動する場合でもその中間に位置する注視位
置があるため，表示器４７に表示する映像は注視点検出
手段４２によって検出された表示器４７上の注視位置が
表示器４７の中心に位置する様に仮想現実実現手段４５
が全体の映像７１の中から実際に表示器４７に表示する
映像の範囲を算出及び解析する。

【００１８】この様に画像処理による注視点検出手段を
利用したバーチャルリアリティの実現方式における装置
を実現した場合の一例である図４の装置では，計算機４
６，表示器４７，仮想現実実現装置４８の制御及び動作
の全てが使用者４Ａの意思伝達手段４４の操作等を行う
ことで決定しているのではなく，使用者４Ａの目線の移
動や注視位置等によって仮想現実実現手段４５が表示器
４７の表示する映像の内容や仮想現実実現装置４８の制
御及び動作を決定しているために，使用者４Ａが現実に
体験している知覚や感覚等を仮想的に実現することがで
きる。

【００１９】

【発明の効果】この発明によれば，ゲーム機器やシュミ
レーション機器等でバーチャルリアリティを実現する場
合において，光源３によって赤外線等の光を照射された
使用者１０の眼球９を撮影するビデオカメラ１等の画像
入力装置，ビデオカメラ１に撮影された使用者１０の眼
球９の映像から使用者１０の表示器７上の注視位置を検
出及び光源３の制御をする注視点検出手段２，注視点検
出手段２が制御かつ使用者１０の眼球９の検出に必要な
赤外線等の光を使用者１０の眼球９に照射する光源３，
使用者１０が操作等によって意志を仮想現実実現手段５
に伝達する意思伝達手段４，注視点検出手段２から入力
した表示器７上の注視位置の情報と意思伝達手段４から
入力した使用者１０の操作等の意志の情報によって現実
性の実現を行うための解析及び処理をする仮想現実実現
手段５，表示器７を制御して表示器７に映像を表示をす
る計算機６，使用者１０が見るための映像を表示する表
示器７及び使用者１０に光，音，振動等の物理的な力を
与えて現実性を実際に実現する仮想現実実現装置８を備
えることによって，計算機６，表示器７，仮想現実実現
装置８の制御及び動作の全てが使用者１０の意思伝達手
段４の操作等を行うことで決定しているのではなく，使
用者１０の目線の移動や注視位置等によって仮想現実実
現手段５が表示器７の表示する映像の内容や仮想現実実
現装置８の制御及び動作を決定しているために，表示器
７の映像の表示変更の内容や速度及び仮想現実実現装置
８の反応速度や動作等の全てが現実に近くかつ非常に自
然で全く違和感を感じることがなく，使用者１０が現実
に体験している知覚や感覚等を仮想的に実現することが
できる。

【図面の簡単な説明】

【図１】この発明による画像処理による注視点検出手段
を利用したバーチャルリアリティの実現方式における装
置の構成図である。

【図２】従来技術によるバーチャルリアリティの実現方
式における装置の構成図である。

【図３】この発明による画像処理による注視点検出手段
を利用したバーチャルリアリティの実現方式における装
置の動作手順を説明するフローチャートである。

【図４】この発明による画像処理による注視点検出手段
を利用したバーチャルリアリティの実現方式における装
置を実際に実現した装置の一例である。

【図５】図４の仮想現実実現手段４５の表示器４７上で
の現実性を実現するための方法の一例である。

【図６】図４の仮想現実実現手段４５を航空機のシュミ
レーションやゲーム等に利用した場合に表示器４７に表
示される映像画面の一例の説明図である。

【図７】図４の仮想現実実現手段４５を航空機のシュミ
レーションやゲーム等に利用した場合に表示器４７に表
示される映像画面の一例の説明図である。

【符号の説明】

１ ビデオカメラ ２ 注視点検出手段 ３ 光源 ４ 意思伝達手段 ５ 仮想現実実現手段 ６ 計算機 ７ 表示器 ８ 仮想現実実現装置 ９ 眼球 １０ 使用者

Claims (1)

【特許請求の範囲】
1. 【請求項１】この発明は，ゲーム機器やシュミレーショ
   ン機器等でバーチャルリアリティを実現する場合におい
   て，光源３によって赤外線等の光を照射された使用者１
   ０の眼球９を撮影するビデオカメラ１等の画像入力装
   置，ビデオカメラ１に撮影された使用者１０の眼球９の
   映像から使用者１０の表示器７上の注視位置を検出及び
   光源３の制御をする注視点検出手段２，注視点検出手段
   ２が制御かつ使用者１０の眼球９の検出に必要な赤外線
   等の光を使用者１０の眼球９に照射する光源３，使用者
   １０が操作等によって意志を仮想現実実現手段５に伝達
   する意思伝達手段４，注視点検出手段２から入力した表
   示器７上の注視位置の情報と意思伝達手段４から入力し
   た使用者１０の操作等の意志の情報によって現実性の実
   現を行うための解析及び処理をする仮想現実実現手段
   ５，表示器７を制御して表示器７に映像を表示をする計
   算機６，使用者１０が見るための映像を表示する表示器
   ７及び使用者１０に光，音，振動等の物理的な力を与え
   て現実性を実際に実現する仮想現実実現装置８を備える
   ことを特徴とする画像処理による注視点検出手段を利用
   したバーチャルリアリティの実現方式である。