JPH1185725A - Virtual reality system - Google Patents

Virtual reality system

Info

Publication number
JPH1185725A
JPH1185725A JP23926697A JP23926697A JPH1185725A JP H1185725 A JPH1185725 A JP H1185725A JP 23926697 A JP23926697 A JP 23926697A JP 23926697 A JP23926697 A JP 23926697A JP H1185725 A JPH1185725 A JP H1185725A
Authority
JP
Japan
Prior art keywords
information
temperature
presenting
generating means
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP23926697A
Other languages
Japanese (ja)
Inventor
Takatoshi Ishikawa
隆敏 石川
Kenji Ishibashi
賢司 石橋
Yasushi Kobayashi
恭 小林
Akira Sato
彰 佐藤
Yasushi Tanijiri
靖 谷尻
Satoshi Osawa
聡 大澤
Hideki Osada
英喜 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP23926697A priority Critical patent/JPH1185725A/en
Priority to US09/145,222 priority patent/US20010045919A1/en
Publication of JPH1185725A publication Critical patent/JPH1185725A/en
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47CCHAIRS; SOFAS; BEDS
    • A47C7/00Parts, details, or accessories of chairs or stools
    • A47C7/62Accessories for chairs
    • A47C7/72Adaptations for incorporating lamps, radio sets, bars, telephones, ventilation, heating or cooling arrangements or the like
    • A47C7/74Adaptations for incorporating lamps, radio sets, bars, telephones, ventilation, heating or cooling arrangements or the like for ventilation, heating or cooling
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/64Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6692Methods for processing data by generating or executing the game program for rendering three dimensional images using special effects, generally involving post-processing, e.g. blooming
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Abstract

PROBLEM TO BE SOLVED: To present a virtual reality(VR) space with which high presence and reality can be provided by presenting a temperature to a person to be presented based on the information of a temperature information generating means. SOLUTION: Information from a force sense sensor 8 is added to force sense information generated by a force sense information generating means 14 and this force sense information is applied to a force sense presenting means 7. Besides, a temperature presenting means 6b is controlled based on the force sense information. Information from a head track sensor 1d is added to video and audio information generated by video and audio information generating means 9 and 17 and this video and audio information is applied to an audio presenting means 1. Besides, temperature presenting means 6a, 6c and 6d are controlled based on the video and audio information. Thus, since information on the temperature is generated inside a VR space information generating means 4 as well, the VR space information generating means 4 is also used as the temperature information generating means.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ヘッドマウントデ
ィスプレイ(HMD)、リラクゼーションシステム、シ
ミュレーターなどの被提示者に仮想現実空間を提示する
仮想現実感装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a virtual reality apparatus, such as a head mounted display (HMD), a relaxation system, and a simulator, for presenting a virtual reality space to a person to be presented.

【0002】[0002]

【従来の技術】従来の仮想現実感装置は、主として映像
を提示することによる視覚効果を利用して被提示者に仮
想現実空間を与える構成となっている。これらの装置に
おいては、より臨場感・現実感などの心理効果を高める
手段が模索されている。
2. Description of the Related Art A conventional virtual reality apparatus has a configuration in which a virtual reality space is given to a person to be presented mainly by using a visual effect by presenting an image. In these devices, means for further enhancing psychological effects such as a sense of reality and a sense of reality are being sought.

【0003】図14〜図17に、従来の仮想現実感装置
の簡単なブロック図を示す。尚、これらの仮想現実感装
置以外にも公知のものはあるが、ここでは省略する。
FIGS. 14 to 17 show simple block diagrams of a conventional virtual reality apparatus. Although there are known devices other than these virtual reality devices, they are omitted here.

【0004】〈従来例1〉図14の仮想現実感装置で
は、2D(2次元)映像信号生成手段100において生
成された映像信号が映像提示手段(例えばCRT)10
1に与えられ、ここで2D映像が表示される。被提示者
は、映像提示手段101に表示された映像を観察するこ
とにより仮想現実空間を体験することができる。テレビ
は、図14の仮想現実感装置の代表例である。
<Conventional Example 1> In the virtual reality apparatus shown in FIG. 14, a video signal generated by a 2D (two-dimensional) video signal generating means 100 is transmitted to a video presenting means (for example, a CRT) 10.
1 where the 2D video is displayed. The presentee can experience the virtual reality space by observing the video displayed on the video presenting means 101. The television is a typical example of the virtual reality apparatus in FIG.

【0005】〈従来例2〉図15の仮想現実感装置で
は、3D(3次元)映像信号生成手段102において生
成された映像信号が映像提示手段(例えばHMD)10
3に与えられ、ここで3D映像が表示される。映像提示
手段103がHMDである場合は、被提示者は頭部に搭
載したHMDのディスプレイに表示される映像を観察す
ることにより仮想現実空間を体験することができる。
<Conventional Example 2> In the virtual reality apparatus shown in FIG. 15, a video signal generated by a 3D (three-dimensional) video signal generating means 102 is transmitted to a video presenting means (for example, an HMD) 10.
3 where the 3D video is displayed. When the video presenting unit 103 is an HMD, the presentee can experience the virtual reality space by observing the video displayed on the display of the HMD mounted on the head.

【0006】〈従来例3〉図16の仮想現実感装置で
は、VR空間生成手段104において3D映像情報と、
被提示者の手や腕の動きに対して作用・反作用の感覚を
与えるための力覚情報を生成する。生成された3D映像
情報は、映像提示手段103に与えられここで3D映像
が表示される。力覚情報は、力覚提示手段104に与え
られる。力覚提示手段104では、与えられた力覚情報
に基づいて例えば被提示者の手や腕に力を提示する。
<Conventional Example 3> In the virtual reality apparatus shown in FIG. 16, 3D video information is
It generates force information for giving a sense of action / reaction to the movement of the presenter's hand or arm. The generated 3D video information is provided to the video presentation means 103, where the 3D video is displayed. The haptic information is provided to the haptic presentation means 104. The force sense presentation means 104 presents a force to, for example, the hand or arm of the presentee based on the given force sense information.

【0007】〈従来例4〉図17の仮想現実感装置で
は、ヘッドトラックセンサー106によって観察者の頭
部位置と方向を検出する。この検出結果はVR空間生成
手段104に与えられる。VR空間生成手段104内で
は、3D映像生成手段102によって映像情報が生成さ
れる。
<Conventional Example 4> In the virtual reality apparatus shown in FIG. 17, the head track sensor 106 detects the position and direction of the observer's head. This detection result is given to the VR space generation means 104. In the VR space generation unit 104, video information is generated by the 3D video generation unit 102.

【0008】そして、矢印107で、3D映像生成手段
102から出力された映像情報にヘッドトラックセンサ
ー106の検出結果が加味され、この映像信号が映像提
示手段103に与えられる。この装置では、被提示者が
観察する映像は被提示者の観ている方向の映像に順次切
り替えられることになる。被提示者はこのようにして与
えられた映像を観察することにより、仮想現実空間を体
験することができる。
[0008] At arrow 107, the detection result of the head track sensor 106 is added to the video information output from the 3D video generation means 102, and this video signal is given to the video presentation means 103. In this device, the image viewed by the presenter is sequentially switched to an image in the direction in which the presenter is viewing. The presented person can experience the virtual reality space by observing the image thus given.

【0009】上記仮想現実感装置の映像情報には、音声
情報を含む場合もあり、例えば映像に合わせたステレオ
音響で臨場感を増すように工夫した仮想現実感装置も開
示されている。
The video information of the virtual reality apparatus may include audio information. For example, a virtual reality apparatus designed to increase the sense of reality with stereo sound matched to the video is disclosed.

【0010】その他特殊な例として、バイクのシミュレ
ーターなどにおいて、速度に応じた映像を提示するとと
もに、扇風機やコンプレッサーなどにより前方から風を
送り、その風圧を変化させることで運転者(被提示者)
の仮想現実空間体験における心理効果を高めている。
[0010] As another special example, in a motorcycle simulator or the like, an image corresponding to the speed is presented, and a wind is sent from the front by a fan or a compressor, and the wind pressure is changed to change the driver (presentee).
Enhances the psychological effect in the virtual reality space experience.

【0011】[0011]

【発明が解決しようとする課題】視覚効果を利用したV
R装置において、現在の一般的な表示素子(LCD、C
RT)における映像輝度は150cd/m2程度のため、太
陽光や、炎などを含むまぶしいシーン、熱さ(暑さ)を
感じさせるシーンなどは表示できず、現実感が損なわれ
る。輝度レンジの広い映像を視覚的に提示することは、
レーザー光を2次元走査して網膜に直接描写することに
より達成可能である。
SUMMARY OF THE INVENTION V using visual effects
In R devices, current general display elements (LCD, C
Since the image brightness at (RT) is about 150 cd / m 2 , it is not possible to display a dazzling scene including sunlight, a flame, or the like, or a scene in which heat (heat) is felt, which impairs the sense of reality. Visually presenting an image with a wide luminance range
This can be achieved by scanning the laser light two-dimensionally and drawing directly on the retina.

【0012】しかし、例え映像観察装置によって自然な
映像(解像度、網膜像の大きさ、視差情報、輝度、コン
トラストなど)の表示を達成できたとしても、可視光以
外の光まで再現することはできない。現実の空間におい
て自然光は、可視光以外の赤外光や紫外光を含む。現実
の空間においては、赤外光の作用により例えば強い日差
し、弱い日差しなどの異なる明るさ感覚を肌で感じたり
(強い日差しの場合はその強さによっては痛みさえも感
じる)、暖炉の前では肌で熱輻射を感じたりする。
[0012] However, even if a natural image (resolution, retinal image size, parallax information, luminance, contrast, etc.) can be displayed by the image observation device, it is not possible to reproduce light other than visible light. . In the real space, natural light includes infrared light and ultraviolet light other than visible light. In a real space, due to the effect of infrared light, for example, different brightness sensations such as strong sunshine and weak sunshine are felt on the skin (in the case of strong sunshine, even the pain is felt depending on the intensity), and in front of a fireplace I feel heat radiation on my skin.

【0013】これら肌で感じる赤外光の作用を仮想現実
感装置で再現する事により、さらに臨場感を増すことが
できる。赤外光の作用の再現とは具体的には、観察者に
対して温度感覚を与えることである。尚、温度感覚を与
えることは、赤外光の作用を再現するだけでなく、人間
の心理に与える影響が大きい。例えば、恐怖や驚きの感
覚を与る場合、又はこれらの感覚を与える映像シーンを
表示する場合、冷たさ・熱を一瞬提示することで心理効
果が大きくなる。しかしながら、従来技術のVR装置に
おいて、温度感覚を与えることにより臨場感を増加させ
る技術はない。
The effect of the infrared light felt by the skin can be reproduced by a virtual reality apparatus to further enhance the sense of realism. Specifically, the reproduction of the action of the infrared light is to give an observer a sense of temperature. Giving a temperature sensation not only reproduces the effect of infrared light, but also has a large effect on human psychology. For example, when giving a sense of fear or surprise, or when displaying a video scene that gives such a sense, the psychological effect is enhanced by momentarily presenting coldness and heat. However, in the prior art VR device, there is no technology for increasing the sense of presence by giving a sense of temperature.

【0014】本発明は、より高い臨場感・現実感が得ら
れる仮想現実空間を被提示者に提示する仮想現実感装置
を提供することを目的とする。
An object of the present invention is to provide a virtual reality apparatus that presents a virtual reality space to a presentee with higher realism and reality.

【0015】[0015]

【課題を解決するための手段】上記目的を達成するため
に、請求項1に記載の仮想現実感装置は、温度に関する
情報を生成する温度情報生成手段と、該温度情報生成手
段により生成された情報に基づいて被提示者に温度を提
示する温度提示手段とを有する構成とする。
According to a first aspect of the present invention, there is provided a virtual reality apparatus, comprising: a temperature information generating unit for generating information relating to a temperature; Temperature presenting means for presenting the temperature to the person to be presented based on the information.

【0016】このような構成においては、被提示者に冷
たさや暖かさなどの温度感覚を提示する手段を有する。
人間は現実の空間において常に温度を感じているので、
被提示者に温度感覚を提示することにより与える心理効
果は大きい。例えば、夏は暑いと感じ冬は寒いと感じ
る。かき氷を食べたら冷たいと感じる。上記構成におい
ては、これらの感覚を被提示者に提示することができる
ので、より臨場感の高い仮想現実空間を提示できる。
In such a configuration, there is provided means for presenting a sense of temperature such as coldness or warmth to the person to be presented.
Since humans always feel the temperature in the real space,
The psychological effect given by presenting the sense of temperature to the subject is great. For example, summer feels hot and winter feels cold. I feel cold when I eat shaved ice. In the above configuration, since these sensations can be presented to the presentee, a virtual reality space with a higher sense of reality can be presented.

【0017】請求項2に記載の発明は、請求項1に記載
の仮想現実感装置において、映像に関する情報を生成す
る映像情報生成手段と、該映像情報生成手段により生成
された情報に基づいて被提示者に映像を提示する映像提
示手段とを有する構成とする。
According to a second aspect of the present invention, there is provided the virtual reality apparatus according to the first aspect, wherein the video information generating means for generating information relating to a video, and the video information generating means generating the information based on the information generated by the video information generating means. Video presenting means for presenting a video to the presenter is provided.

【0018】このような構成においては、仮想現実空間
に関する情報として映像と温度が提示される。よって、
例えば映像に合わせて顔面などに温度感覚を提示するよ
うに構成することで、視覚・温覚の複合的な心理効果が
得られる空間を被提示者に提示でき、より臨場感・現実
感の高い仮想現実空間を提示できる。太陽の映像を表示
する場合は、顔面に熱いと感じる温度感覚を与えるなど
の制御を行うようにする。
In such a configuration, an image and a temperature are presented as information on the virtual reality space. Therefore,
For example, by presenting a temperature sensation on the face etc. in accordance with the video, it is possible to present to the presentee a space in which a combined psychological effect of visual and thermal sensations can be obtained, and to provide a more realistic and realistic feeling A virtual reality space can be presented. When displaying an image of the sun, control such as giving a sense of temperature to the face that feels hot is performed.

【0019】請求項3に記載の発明は、請求項1又は2
に記載の仮想現実感装置において、音声に関する情報を
生成する音声情報生成手段と、該音声情報生成手段によ
り生成された情報に基づいて被提示者に音声を提示する
音響提示手段とを有する構成とする。
The invention described in claim 3 is the invention according to claim 1 or 2
The virtual reality device described in 1 above, comprising: a voice information generating means for generating information about voice; and a sound presentation means for presenting a voice to a person to be presented based on the information generated by the voice information generating means. I do.

【0020】このような構成においては、仮想現実空間
に関する情報として音声と温度更には映像が提示され
る。音響提示手段により恐怖感を与えるような音声や、
悲しい音楽を提示する場合は、温度提示手段で冷たい感
覚を被提示者に提示したり、南国音楽や楽しいロックの
音楽を提示する場合は、暖かさを提示したりすることで
心理効果が高まる。
In such a configuration, audio, temperature, and even video are presented as information about the virtual reality space. Sounds that give a sense of fear by sound presentation means,
The psychological effect is enhanced by presenting a cold sensation to the presenter by the temperature presenting means when presenting sad music, or by presenting warmth when presenting tropical music or fun rock music.

【0021】請求項4に記載の発明は、請求項1乃至3
に記載の仮想現実感装置において、力覚に関する情報を
生成する力覚情報生成手段と、該力覚情報生成手段によ
り生成された情報に基づいて被提示者に力覚を提示する
力覚提示手段とを有する構成とする。
The invention described in claim 4 is the first to third aspects of the present invention.
In the virtual reality apparatus described in 1 above, a force sense information generating means for generating information regarding force sense, and a force sense presenting means for presenting a force sense to a presented person based on the information generated by the force sense information generating means And a configuration having:

【0022】このような構成においては、仮想現実空間
に関する情報として力覚とともに温度を被提示者に提示
できる。被提示者が仮想現実空間の物体に触ったときに
力覚提示手段により反作用を指や腕などに提示するとと
もに、その物体の冷たさや暖かさを温度提示手段により
提示することで、現実感を増すことが可能である。例え
ば、冷たい金属棒に触れる場合と熱い金属棒に触れる場
合で温度提示を変えることで心理効果を高められる。
In such a configuration, the temperature as well as the force sense can be presented to the person to be presented as information relating to the virtual reality space. When the presenter touches an object in the virtual reality space, the force sense presentation means presents a reaction to the finger or arm, and the coldness or warmth of the object is presented by the temperature presentation means to enhance the sense of reality. It is possible to increase. For example, the psychological effect can be enhanced by changing the temperature presentation when touching a cold metal bar and when touching a hot metal bar.

【0023】請求項5に記載の発明は、請求項2に記載
の仮想現実感装置において、前記映像情報の画面輝度分
布を計算する処理手段を有し、前記温度情報生成手段は
前記処理手段の計算結果に基づいて温度に関する情報を
生成する構成とする。
According to a fifth aspect of the present invention, there is provided the virtual reality apparatus according to the second aspect, further comprising processing means for calculating a screen luminance distribution of the video information, wherein the temperature information generating means is provided with a function of the processing means. It is configured to generate information on the temperature based on the calculation result.

【0024】このような構成によると、処理手段は映像
情報に含まれる輝度に関する信号と色に関する信号から
一画面の輝度分布を求め、温度情報生成手段は前記輝度
分布に応じた温度情報を生成する。温度提示手段では、
前記温度情報に基づいて温度を提示する。例えば、映像
画面の左に暖炉が表示される場合は、被提示者の顔面の
左側に暖かさを提示する用に制御する。このような制御
により、映像に対応させて領域毎に提示する温度を変え
ることができことになる。
According to such a configuration, the processing means obtains a luminance distribution of one screen from the luminance signal and the color signal contained in the video information, and the temperature information generating means generates temperature information corresponding to the luminance distribution. . In the temperature presentation means,
The temperature is presented based on the temperature information. For example, when a fireplace is displayed on the left side of the video screen, control is performed to present warmth to the left side of the face of the presentee. By such control, it is possible to change the temperature to be presented for each area in correspondence with the image.

【0025】請求項6に記載の発明は、請求項2に記載
の仮想現実感装置において、前記映像情報生成手段は映
像空間内の物体の放射温度、位置の情報を含む映像に関
する情報を生成し、前記温度情報生成手段は前記映像情
報生成手段により生成された情報に基づいて温度に関す
る情報を生成する構成とする。
According to a sixth aspect of the present invention, in the virtual reality apparatus of the second aspect, the image information generating means generates information on an image including information on a radiation temperature and a position of an object in an image space. The temperature information generating means is configured to generate information relating to temperature based on the information generated by the video information generating means.

【0026】このような構成によると、映像空間内の物
体の放射温度と位置に関する情報に基づいてその物体位
置から被提示者が受ける熱量を算出し、算出量に対応す
る温度を温度提示手段によって被提示者に提示できる。
また、ここでは被提示者の視野内(表示手段に表示され
る映像の領域)に限らず仮想現実空間の全天周から到達
する温度を提示するように制御する。
According to this configuration, the amount of heat received by the presenter from the object position is calculated based on the information on the radiation temperature and the position of the object in the image space, and the temperature corresponding to the calculated amount is calculated by the temperature presenting means. Can be presented to the presentee.
In addition, here, control is performed so as to present not only the visual field of the presentee (the area of the image displayed on the display means) but also the temperature that reaches from the whole sky in the virtual reality space.

【0027】請求項7に記載の発明においては、請求項
6に記載の仮想現実感装置において、被提示者の仮想空
間内の位置を検出する検出手段を有し、前記温度情報生
成手段は前記検出手段の検出結果も加味して温度に関す
る情報を生成する構成とする。
[0027] According to a seventh aspect of the present invention, in the virtual reality apparatus of the sixth aspect, the apparatus further comprises detecting means for detecting a position of the person to be presented in the virtual space, and wherein the temperature information generating means comprises: The configuration is such that the information regarding the temperature is generated in consideration of the detection result of the detection means.

【0028】このような構成によると、被提示者が仮想
現実空間内を移動する場合にも、被提示者の位置に対応
する映像を提示することと、温度を提示することができ
る。例えば、被提示者は仮想現実空間内で左から強い日
差しが照りつける中で車を運転しているドライバーであ
るとする。ドライバーの視点で観察される映像を表示す
る場合に、画面によって知覚されない光(放射熱)を被
提示者の左側側面に温度感覚として提示し、日陰を横切
るときなどは温度提示を停止するなどとすることで臨場
感・現実感の高い仮想現実空間を提示できる。
According to such a configuration, even when the presenter moves in the virtual reality space, it is possible to present an image corresponding to the position of the presenter and present the temperature. For example, it is assumed that the presented person is a driver who is driving a car in the virtual reality space under strong sunshine from the left. When displaying an image viewed from the driver's point of view, light (radiant heat) that is not perceived by the screen is presented as a temperature sensation on the left side of the recipient, and the temperature presentation is stopped when crossing the shade. By doing so, it is possible to present a virtual reality space with a high sense of reality and reality.

【0029】請求項8に記載の発明は、仮想現実実感シ
ステムにおいて、温度に関する情報を生成する温度情報
生成手段を有する仮想現実感装置と、前記温度情報生成
手段で生成された情報に基づいて温度を提示する温度提
示装置とを備える構成とする。
According to an eighth aspect of the present invention, in the virtual reality / realization system, a virtual reality apparatus having temperature information generating means for generating information relating to temperature, and a temperature based on the information generated by the temperature information generating means. And a temperature presenting device that presents the temperature.

【0030】このような構成においては、仮想現実空間
において温度を提示する手段として、温度提示装置を備
えている。暖かさや冷たさを提示する温度提示装置とし
て、例えばエアコンなどを用いる。この場合、空間全体
の温度を変化させることができるので、空間全体を仮想
現実空間として提示することができ被提示者が得られる
臨場感も高いものとなる。
In such a configuration, a temperature presenting device is provided as means for presenting a temperature in the virtual reality space. For example, an air conditioner or the like is used as a temperature presenting device that presents warmth or coldness. In this case, since the temperature of the entire space can be changed, the entire space can be presented as a virtual reality space, and the presence of the presentee can be enhanced.

【0031】その他、被提示者が仮想現実空間を体験す
る際に着席する椅子などを温度提示装置とすることも可
能であり、この場合は被提示者に直接温度感覚が提示さ
れることになる。尚、このような被提示者の近傍に備え
られる温度提示装置と、空間全体に温度を提示するエア
コンなどの温度提示装置を組み合わせることで、より高
い臨場感を与えることができる仮想現実実感システムを
構成することが可能である。
In addition, it is also possible to use a chair or the like which the presenter sits in when experiencing the virtual reality space as the temperature presenting device. In this case, the presenter is directly presented with a sense of temperature. . It should be noted that a virtual reality realization system that can provide a higher sense of realism by combining such a temperature presenting device provided near the presentee with a temperature presenting device such as an air conditioner that presents the temperature in the entire space. It is possible to configure.

【0032】[0032]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

〈第1の実施形態〉図1に、被提示者2が本実施形態の
仮想現実感装置を装着している様子を示すとともに本装
置の基本構成を模式的に示す。1は、映像提示手段1a
と音響提示手段1bを備える(映像音響提示手段)ヘッ
ドマウントディスプレイ(HMD)である。映像提示手
段1aは、温度提示手段6cにもなっている。音響提示
手段1bはヘッドホンで構成されており、これも温度提
示手段6dとなっている。尚、HMD1には頭部位置を
検出するヘッドトラックセンサー(不図示)も構成され
ている。
<First Embodiment> FIG. 1 shows a state in which a person to be presented 2 is wearing a virtual reality apparatus of the present embodiment, and also schematically shows a basic configuration of the present apparatus. 1 is a video presenting means 1a
And a sound presentation means 1b (video and audio presentation means). The image presentation means 1a also serves as a temperature presentation means 6c. The sound presentation means 1b is composed of headphones, and also serves as a temperature presentation means 6d. The HMD 1 is also provided with a head track sensor (not shown) for detecting a head position.

【0033】7は、被提示者3がVR空間の物体を手で
掴もうとする場合などに、指や手に反作用力を与える力
覚提示手段である。8は、被提示者2の手の動きを検出
する力覚センサーである。尚、力覚センサー8は被提示
者2の手に温度感覚を与える温度提示手段6bにもなっ
ている。
Reference numeral 7 denotes force sense presentation means for giving a reaction force to a finger or a hand when the person to be presented 3 tries to grasp an object in the VR space by hand. Reference numeral 8 denotes a force sensor that detects the movement of the hand of the person to be presented 2. The force sensor 8 also serves as a temperature presenting means 6b for giving a sense of temperature to the hand of the person to be presented 2.

【0034】温度提示手段6bは、具体的には、本実施
形態のように手の甲に接触するように構成してもよい
し、指、腕、手の平に接触する構成又は手や腕の近傍に
配される構成であればその他の構成でもよい。、映像音
響提示手段1、力覚提示手段7、温度提示手段6a、6
b、6c、6dを合わせてVR(仮想現実)空間提示手
段という。VR空間提示手段で提示された情報により、
被提示者2はVR空間を体験する。
The temperature presenting means 6b may be specifically configured to contact the back of the hand as in the present embodiment, may be configured to contact the finger, arm, or palm, or may be disposed near the hand or arm. Other configurations may be used as long as the configurations are performed. , Audiovisual presentation means 1, force sense presentation means 7, temperature presentation means 6a, 6
The combination of b, 6c and 6d is referred to as VR (virtual reality) space presentation means. According to the information presented by the VR space presentation means,
The presented person 2 experiences the VR space.

【0035】4は、VR空間提示手段が提示する情報を
生成するVR空間生成手段である。VR空間生成手段4
はワークステーションで構成されている。尚、VR空間
生成手段4の構成は本実施形態の構成に限らず、一つ以
上のワークステーションやパソコンで構成することがで
きる。VR空間生成手段4内の構成については後述す
る。
Reference numeral 4 denotes VR space generation means for generating information to be presented by the VR space presentation means. VR space generation means 4
Consists of a workstation. Note that the configuration of the VR space generation means 4 is not limited to the configuration of the present embodiment, and can be configured by one or more workstations or personal computers. The configuration inside the VR space generation means 4 will be described later.

【0036】5は、本装置による仮想現実空間体験時に
被提示者2が座る椅子である。椅子5の内部には温度提
示手段6aが構成されており、これを介して椅子5に座
った被提示者3に温度感覚が提示される。尚、温度提示
手段6a、6b、6c、6dは具体的には暖かさや熱さ
を提示するための電熱線ヒーターやブラックランプ、冷
たさを提示するためのペルチェ素子などで構成される。
Reference numeral 5 denotes a chair on which the presentee 2 sits when experiencing the virtual reality space by the present apparatus. A temperature presenting means 6a is formed inside the chair 5, through which a sense of temperature is presented to the subject 3 sitting on the chair 5. The temperature presenting means 6a, 6b, 6c, 6d is specifically composed of a heating wire heater or a black lamp for presenting warmth or heat, a Peltier element for presenting coldness, or the like.

【0037】図2は、HMD1のより詳細な外観図であ
る。被提示者が頭部保持部材1cを耳にかけると、おお
よそ映像提示手段1aの瞳(接眼系)1a´の位置に眼
がくるように構成されている。また、被提示者の耳近傍
に音声手段であるヘッドホン1bが配されるように構成
されている。1dは、ヘッドトラックセンサーで観察者
の頭部位置を検出する。映像提示手段1aの被提示者の
眼に対向する面には温度提示手段6cが構成されてい
る。ヘッドホン1bの耳に当たる部分にも温度提示手段
6dが構成されている。
FIG. 2 is a more detailed external view of the HMD 1. When the person to be presented puts his / her head holding member 1c on his / her ear, his or her eyes are approximately at the position of the pupil (eyepiece system) 1a 'of the video presenting means 1a. In addition, a headphone 1b, which is a voice means, is arranged near the presenter's ear. 1d detects the position of the observer's head with a head track sensor. A temperature presenting means 6c is provided on the surface of the image presenting means 1a facing the eye of the person to be presented. A temperature presenting means 6d is also provided at a portion of the headphone 1b which is in contact with the ear.

【0038】図3に、温度提示手段6cの具体的な構成
を示す。温度提示手段6cは、接眼系1a´の両側と、
中間の位置に構成されている。両側の温度提示手段6c
L、6cRはそれぞれ3つの領域(イ、ロ、ハ又はイ
´、ロ´、ハ´)に分かれている(拡大図参照)。仮
に、観察者(被提示者)が図4に示すような映像を観察
している場合を考える。この場合、画面の左上に輝度の
高い太陽が表示され、右下には山の影が映し出されてい
る。観察者は、顔の全面で太陽光を受けるが、左上から
受ける熱さがより強くなる。
FIG. 3 shows a specific configuration of the temperature presenting means 6c. The temperature presenting means 6c includes both sides of the eyepiece system 1a ',
It is configured at an intermediate position. Temperature presentation means 6c on both sides
L and 6cR are each divided into three regions (a, b, c or b ', b' and c ') (see the enlarged view). It is assumed that an observer (presentee) is observing an image as shown in FIG. In this case, the high-luminance sun is displayed at the upper left of the screen, and the shadow of the mountain is projected at the lower right. The observer receives sunlight on the entire surface of the face, but receives more heat from the upper left.

【0039】このような実空間での温度感覚をできる限
り再現するために、本実施形態の温度提示手段6cLで
は、イの領域で一番高い温度が提示され、ロ、ハと提示
される温度が低くなるようにする。温度提示手段6cR
においては、ハ´の領域で一番低い温度が提示されるよ
うにする。このような制御は、VR空間生成手段4内で
行われる。以下、VR空間生成手段4の詳細な構成につ
いて説明する。
In order to reproduce the temperature sensation in the real space as much as possible, the temperature presenting means 6cL of the present embodiment presents the highest temperature in the area (a), and the temperatures presented as (b) and (c). To be low. Temperature presenting means 6cR
In, the lowest temperature is presented in the region C. Such control is performed in the VR space generation means 4. Hereinafter, a detailed configuration of the VR space generation unit 4 will be described.

【0040】本実施形態のVR空間生成手段4内には、
映像情報生成手段、力覚情報生成手段、音声情報生成手
段が構成されているとともに、前記三つのそれぞれの生
成手段に対応する処理手段と制御手段が構成されてい
る。それぞれの生成手段毎の関連手段を含むブロック図
を示し、信号処理の流れを説明する。
In the VR space generating means 4 of this embodiment,
The video information generating means, the haptic information generating means, and the audio information generating means are configured, and the processing means and the control means corresponding to each of the three generating means are configured. A block diagram including related means for each generating means is shown, and a flow of signal processing will be described.

【0041】図5に、VR空間生成手段4内に構成され
ている映像情報生成手段9と関連手段を含むブロック図
を示す。映像情報生成手段9では、例えば3Dコンピュ
ーターグラフィックスなどの3D映像情報が生成され記
憶される。この3D映像情報に、ヘッドトラックセンサ
ー1dからの頭部位置検出結果を加味し映像提示手段1
aへの映像情報を再生して処理手段10へ送る。
FIG. 5 is a block diagram including the video information generating means 9 and related means arranged in the VR space generating means 4. The video information generation means 9 generates and stores 3D video information such as 3D computer graphics. In addition to the 3D image information, the image presenting unit 1 adds the head position detection result from the head track sensor 1d.
The video information for “a” is reproduced and sent to the processing means 10.

【0042】処理手段10では、送られてきた映像情報
の画面輝度の分布を算出し、その分布信号に基づいて温
度提示データを生成する。例えば、前述の図4中の左上
の太陽の部分の輝度が高いので温度提示手段6cLのイ
領域での提示温度を高くするというような温度提示デー
タの生成は処理手段10で行われる。制御手段11で
は、温度提示データに基づく温度提示手段6cへの制御
信号を出力するとともに、この制御信号の出力のタイミ
ングと映像情報が映像提示手段1aへ送られるタイミン
グが同じになるように同期信号を出力する。
The processing means 10 calculates the distribution of the screen luminance of the transmitted video information, and generates temperature presentation data based on the distribution signal. For example, the processing means 10 generates temperature presentation data such as increasing the presentation temperature in the area A of the temperature presentation means 6cL because the brightness of the upper left sun portion in FIG. 4 is high. The control means 11 outputs a control signal to the temperature presenting means 6c based on the temperature presenting data, and generates a synchronization signal so that the output timing of the control signal and the timing at which the video information is sent to the video presenting means 1a are the same. Is output.

【0043】尚、処理手段10では映像情報に基づいて
前述のように画面輝度分布を求めるだけでなく、例えば
映像情報から画面内に映し出されている映像の季節に関
する情報を入手する。そして、その情報に基づいて例え
ば夏なら全体的に暖かい温度が提示されるような温度提
示データを生成する。本実施形態の制御手段11では、
この提示データに基づいて椅子5内の温度提示手段6a
を制御する。つまり、夏の映像が映し出されているとき
には、椅子5が暖かくなり、冬の映像が映し出されてい
るときには冷たくなるようにすることで、観察者はより
臨場感の高い仮想現実空間を体験できる。
The processing means 10 not only obtains the screen luminance distribution based on the video information as described above, but also obtains, for example, information on the season of the video projected on the screen from the video information. Then, based on the information, for example, in summer, temperature generation data that presents a warm temperature as a whole is generated. In the control means 11 of the present embodiment,
Temperature presenting means 6a in chair 5 based on the presented data
Control. That is, the observer can experience a more realistic virtual reality space by making the chair 5 warm when a summer image is displayed and cool when the winter image is displayed.

【0044】図6に、VR空間生成手段4内に構成され
ている力覚情報生成手段14と関連手段を含むブロック
図を示す。力覚情報生成手段14では、力覚センサー8
からの情報に基づいて力覚情報を生成する。例えば、観
察者がVR空間の物体を手で掴もうとした場合に力覚セ
ンサー8がこのことを検知し、この検知結果に基づいて
力覚情報生成手段14では指や手に反作用力を与えるよ
うにする力覚情報を生成する。この力覚情報は、力覚提
示手段7に送られ実際に観察者に反作用力が与えられる
ことになる。
FIG. 6 shows a block diagram including the force sense information generating means 14 and related means arranged in the VR space generating means 4. In the force information generating means 14, the force sensor 8
Generate force information based on information from For example, when the observer tries to grasp an object in the VR space with his / her hand, the force sensor 8 detects this, and based on the detection result, the force information generation unit 14 applies a reaction force to a finger or hand. To generate force information. This haptic information is sent to the haptic presentation means 7 and a reaction force is actually given to the observer.

【0045】処理手段15では、力覚情報に基づいて温
度提示データを生成する。例えば、力覚情報より観察者
が掴もうとしたVR空間内の物体が熱いものであると判
定された場合には温度提示データを熱くする。制御手段
16では、温度提示データに基づく制御信号を生成し、
温度提示手段6b内に出力する。尚、制御手段16で
は、力覚提示手段7に力覚情報が送られるタイミングと
温度提示手段6bに制御信号が送られるタイミングが同
一となるように同期信号を出力する。
The processing means 15 generates temperature presentation data based on the force sense information. For example, when it is determined from the force information that the object in the VR space that the observer has attempted to grab is hot, the temperature presentation data is heated. The control means 16 generates a control signal based on the temperature presentation data,
Output to the temperature presenting means 6b. The control means 16 outputs a synchronization signal so that the timing at which force information is sent to the force sense presentation means 7 and the timing at which a control signal is sent to the temperature presentation means 6b are the same.

【0046】図7に、VR空間生成手段4内に構成され
ている音声情報生成手段17と関連手段を含むブロック
図を示す。音声情報生成手段17では、音声情報が生成
される。この音声情報は音響提示手段1bに与えられこ
こで音声として出力される。
FIG. 7 is a block diagram including the voice information generating means 17 and related means arranged in the VR space generating means 4. The voice information generating means 17 generates voice information. This audio information is given to the audio presentation means 1b and output here as audio.

【0047】処理手段18では、音声情報に基づいて温
度提示データを生成する。例えば、悲しい音楽や恐怖感
を与える音が提示される場合には冷たい感覚を与える温
度提示データとする。南国音楽や楽しいロックの歌で
は、暖かい感覚を与える温度提示データとする。制御手
段19では、この温度提示データに基づいて駆動信号を
生成し、温度提示手段6a、6dに出力する。また、音
響手段1bに出力される音声情報に温度提示手段6a、
6dの温度変化が対応するようにする同期信号を生成し
出力する。
The processing means 18 generates temperature presentation data based on the audio information. For example, when sad music or a sound that gives a sense of fear is presented, the temperature is presented as temperature presentation data that gives a cold sensation. Tropical music and fun rock songs use temperature presentation data that gives a warm feeling. The control unit 19 generates a drive signal based on the temperature presentation data and outputs the drive signal to the temperature presentation units 6a and 6d. The audio information output to the audio means 1b is added to the temperature presentation means 6a,
A synchronization signal for making the temperature change of 6d correspond is generated and output.

【0048】尚、図5〜図7に示した各ブロック図にお
ける制御手段が制御する温度提示手段は図に示した通り
でなくても勿論本発明は達成される。例えば、音声情報
に基づいて温度提示手段6cも制御されるように構成し
てもよい。
Incidentally, the present invention can of course be achieved even if the temperature presenting means controlled by the control means in each block diagram shown in FIGS. 5 to 7 is not as shown in the figures. For example, the temperature presenting means 6c may be configured to be controlled based on the audio information.

【0049】図8に、図5〜図7に示した装置をひとま
とめにして簡略化して示す。つまり、本実施形態の仮想
現実感装置の概略構成のブロック図を示す。本装置で
は、力覚情報生成手段14により生成された力覚情報
に、矢印50で力覚センサー8からの情報が加味され、
この力覚情報が力覚提示手段7に与えられる。また、力
覚情報に基づいて温度提示手段6bが制御される。
FIG. 8 shows the apparatus shown in FIGS. 5 to 7 collectively and simplified. That is, a block diagram of a schematic configuration of the virtual reality apparatus of the present embodiment is shown. In the present apparatus, information from the force sensor 8 is added to the force information generated by the force information generating means 14 with an arrow 50,
This force sense information is given to the force sense presentation means 7. Further, the temperature presenting means 6b is controlled based on the force information.

【0050】矢印51では、映像・音声情報生成手段
9、17により生成された映像・音声情報に、ヘッドト
ラックセンサー1dからの情報が加味され、この映像・
音声情報が映像・音声提示手段1に与えられる。また、
映像・音声情報に基づいて温度提示手段6a、6c、6
dが制御される。このように、VR空間情報生成手段4
内では、温度に関する情報も生成されるので、VR空間
情報生成手段4は温度情報生成手段も兼ねることにな
る。
At the arrow 51, the video / audio information generated by the video / audio information generating means 9 and 17 is added with the information from the head track sensor 1d.
The audio information is provided to the video / audio presentation means 1. Also,
Temperature presenting means 6a, 6c, 6 based on video / audio information
d is controlled. Thus, the VR space information generating means 4
Inside, the information on the temperature is also generated, so that the VR space information generating means 4 also functions as the temperature information generating means.

【0051】〈第2の実施形態〉図9に、第2の実施形
態の仮想現実感装置の概略構成のブロック図を示す。本
装置は、映像・音声情報生成手段9、17により生成さ
れたVR空間情報がHMD1に出力される構成となって
いる。また、VR空間情報に基づいて温度提示手段6
a、6c、6dを制御する。本装置は、第1の実施形態
の装置から力覚手段7に関連する手段とヘッドトラック
センサー1dを除いた構成となっているだけなので詳細
な説明は省略する。
<Second Embodiment> FIG. 9 is a block diagram showing a schematic configuration of a virtual reality apparatus according to a second embodiment. This apparatus is configured to output VR space information generated by the video / audio information generating means 9 and 17 to the HMD 1. Also, based on the VR space information, the temperature presenting means 6
a, 6c and 6d. This device has the same configuration as that of the device of the first embodiment except that the means relating to the force sense means 7 and the head track sensor 1d are omitted, and a detailed description thereof will be omitted.

【0052】〈第3の実施形態〉図10に、第3の実施
形態の仮想現実感装置の概略構成のブロック図を示す。
本装置は、第2の実施形態の装置にヘッドトラックセン
サー1dを設けた構成となっており、映像・音声情報生
成手段9、17で情報が生成される。そして、矢印52
で、映像・音声情報生成手段9、17から出力された情
報にヘッドトラックセンサー1dからの情報が加味さ
れ、映像・音声提示手段1に与えられる。また、VR空
間情報に基づいて温度提示手段6a、6c、6dが制御
される。その他の構成は第2の実施形態と同様である。
<Third Embodiment> FIG. 10 is a block diagram showing a schematic configuration of a virtual reality apparatus according to a third embodiment.
This apparatus has a configuration in which a head track sensor 1d is provided in the apparatus of the second embodiment, and information is generated by video / audio information generating means 9 and 17. And arrow 52
Thus, the information output from the video / audio information generating means 9 and 17 is added to the information from the head track sensor 1d, and is given to the video / audio presenting means 1. Further, the temperature presenting means 6a, 6c, 6d is controlled based on the VR space information. Other configurations are the same as those of the second embodiment.

【0053】〈第4の実施形態〉図11に、第4の実施
形態の仮想現実感装置の概略構成のブロック図を示す。
本装置は、映像・音声・力覚情報生成手段9、14、1
7と、力覚提示手段7を備えている。情報生成手段9、
14、17で生成された情報は、力覚提示手段7にも与
えられる。その他の構成は第3の実施形態と同様であ
る。
<Fourth Embodiment> FIG. 11 is a block diagram showing a schematic configuration of a virtual reality apparatus according to a fourth embodiment.
This device is provided with video / audio / force information generation means 9, 14, 1
7 and force sense presentation means 7. Information generating means 9,
The information generated in 14 and 17 is also given to the force sense presentation means 7. Other configurations are the same as those of the third embodiment.

【0054】〈第5の実施形態〉本実施形態の仮想現実
感装置の原理を図12を用いて説明する。図12は、被
提示者2が本装置28を装着し、表示手段に表示される
映像を観察している様子を示した図である。20は、被
提示者2が観察している映像の画枠である。本装置28
は、VR空間内(視野内に限定されない空間内)に存す
る仮想物体の放射熱による温度感覚を被提示者2に提示
するように構成されている。
<Fifth Embodiment> The principle of the virtual reality apparatus of this embodiment will be described with reference to FIG. FIG. 12 is a diagram showing a state in which the presentee 2 wears the present apparatus 28 and observes an image displayed on the display means. Reference numeral 20 denotes an image frame of an image that the presentee 2 is observing. This device 28
Is configured to present the sensed temperature of the virtual object existing in the VR space (in a space that is not limited to the visual field) due to radiant heat to the presentee 2.

【0055】VR空間情報として、被提示者の周辺36
0゜における仮想物体の色、輝度、距離、方向、放射熱
に関する情報が用意されている。仮想物体A、B、Cが
VR空間内に存するとしてこれらの物体を図12に図示
した。
As the VR space information, the periphery 36 of the presented person
Information on the color, brightness, distance, direction, and radiant heat of the virtual object at 0 ° is prepared. Virtual objects A, B, and C are shown in FIG. 12 as being in VR space.

【0056】仮想物体Aは被提示者の頭部方向から角度
θA、距離LAのVR空間内に存在し、放射熱Aを有す
る。その他の仮想物体B、Cに関しても距離、方向、放
射熱等の情報が用意されている。本装置28では、これ
らの情報に基づいて被提示者2に与える温度を制御す
る。以下、本装置28の仮想物体の放射熱に基づく温度
の提示方法を説明する。
[0056] virtual object A is present in VR space angle theta A, the distance L A from the head direction of the presenter has a radiant heat A. Information such as distance, direction, and radiant heat is prepared for the other virtual objects B and C. The present device 28 controls the temperature given to the presentee 2 based on the information. Hereinafter, a method of presenting the temperature based on the radiant heat of the virtual object by the present device 28 will be described.

【0057】図13に、本装置を装着している被提示者
とVR空間内の仮想物体の頭上から見た様子を模式的に
示す。尚、図13で被提示者は、図12と同じVR空間
内の同じ位置にいるとする。頭部支持手段23により本
装置が被提示者の頭部に支持され、かつ本装置の映像表
示手段24が眼の前方に来るように固定される。21、
22は本装置内に構成されている温度提示手段である。
FIG. 13 schematically shows the presenter wearing the present apparatus and a virtual object in the VR space viewed from above. In FIG. 13, it is assumed that the presented person is at the same position in the same VR space as in FIG. 12. The apparatus is supported on the head of the person to be presented by the head support means 23, and the image display means 24 of the apparatus is fixed so as to be in front of the eyes. 21,
Reference numeral 22 denotes a temperature presenting unit configured in the present apparatus.

【0058】20は、被提示者2が観察している映像の
画枠である。温度提示の範囲と強さは放射熱の大小と距
離の長短によって算出される条件に基づいて行われる。
一般的には熱源から到達する熱量は、熱源からの距離の
2乗に反比例して小さくなっていくので、本実施形態で
は仮想物体の距離と放射熱のデータから提示温度を算出
するように制御する。また、仮想物体の存する方向も考
慮して温度提示領域を制御する。この場合、仮想物体が
視野内に存するか否かは関係ない。
Reference numeral 20 denotes an image frame of an image observed by the presentee 2. The range and intensity of the temperature presentation are performed based on the conditions calculated based on the magnitude of the radiant heat and the length of the distance.
In general, the amount of heat arriving from the heat source decreases in inverse proportion to the square of the distance from the heat source. Therefore, in the present embodiment, the control is performed such that the presentation temperature is calculated from the data of the distance of the virtual object and the radiant heat. I do. Also, the temperature presenting area is controlled in consideration of the direction in which the virtual object exists. In this case, it does not matter whether the virtual object exists in the field of view.

【0059】上記制御により、仮想物体Aの放射熱によ
る温度感覚が温度提示手段21の範囲25に提示され
る。同様に、仮想物体Cの放射熱による温度感覚が温度
提示手段22の範囲26に提示される。仮想物体Bにつ
いては、距離が長く、放射熱も大きくないので温度提示
は行われない。
With the above control, the temperature sensation due to the radiant heat of the virtual object A is presented in the range 25 of the temperature presentation means 21. Similarly, the temperature sensation due to the radiant heat of the virtual object C is presented in the range 26 of the temperature presentation means 22. For virtual object B, the temperature is not presented because the distance is long and the radiant heat is not large.

【0060】このような制御により、被提示者の視野内
にない物体からの放射熱による温度提示もされ、物体と
の距離に応じた自然な温度提示が行われる。尚、頭部が
動いた場合は不図示のヘッドトラックセンサーによりこ
れを検出し、この検出結果を加味して提示温度を決定す
るようにする。
By such control, the temperature is presented by the radiant heat from an object not in the field of view of the person to be presented, and a natural temperature presentation according to the distance to the object is performed. If the head moves, this is detected by a head track sensor (not shown), and the presentation temperature is determined in consideration of the detection result.

【0061】また、VR空間内を被提示者2が移動する
などして仮想物体の距離や方向が変わっても、随時温度
提示データを計算し、最適な温度提示範囲に最適な温度
を提示するように制御することが望ましい。上記のよう
な温度提示は、特に距離情報を有する立体映像情報やC
G画像に対して有効である。
Further, even if the distance or direction of the virtual object changes due to, for example, the subject 2 moving in the VR space, the temperature presenting data is calculated as needed, and the optimum temperature is presented in the optimum temperature presenting range. It is desirable to control in such a way. The temperature presentation as described above is performed particularly with stereoscopic image information having distance information or C information.
This is effective for G images.

【0062】上記第1〜第5の実施形態では、仮想現実
感装置内に温度提示手段が構成されていたが、温度提示
手段はこのような構成に限るものではない。例えば、エ
アコンなどを温度提示手段(装置)として用いてもよ
い。この場合、空間全体に温度が提示されることにな
る。
In the first to fifth embodiments, the temperature presenting means is provided in the virtual reality apparatus. However, the temperature presenting means is not limited to such a structure. For example, an air conditioner or the like may be used as the temperature presenting means (apparatus). In this case, the temperature is presented throughout the space.

【0063】[0063]

【発明の効果】本発明によると、赤外光などから感じる
温度感覚を被提示者に提示することができるので、可視
光による視覚的な情報のみを提示した場合より高い臨場
感・現実感の得られる仮想現実空間を提示することがで
きる。
According to the present invention, the sense of temperature sensed from infrared light or the like can be presented to the person to be presented, so that a higher sense of reality and reality can be achieved than when only visual information is presented by visible light. The obtained virtual reality space can be presented.

【0064】また、提示する温度情報を映像情報、聴覚
情報、力覚情報に基づいて生成することで、各情報が高
い関連性を有するので、自然な仮想現実空間を提示する
ことができる。
Further, by generating the temperature information to be presented based on the video information, the auditory information, and the force information, each information has a high relevance, so that a natural virtual reality space can be presented.

【0065】請求項6の発明によると、表示画面上の映
像からだけでなくVR空間全体から得られる仮想的な温
度情報を被提示者に提示することができるので、より現
実感の高い仮想現実空間を提示することができる。
According to the sixth aspect of the present invention, virtual temperature information obtained not only from the image on the display screen but also from the entire VR space can be presented to the person to be presented. Space can be presented.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 被提示者が第1の実施形態の仮想現実感装置
を装着している様子と装置の基本構成を示した模式図。
FIG. 1 is a schematic diagram showing a state where a presentee is wearing a virtual reality apparatus of a first embodiment and a basic configuration of the apparatus.

【図2】 第1の実施形態のHMDの外観図。FIG. 2 is an external view of the HMD according to the first embodiment.

【図3】 温度提示手段の具体的な構成を示した図。FIG. 3 is a diagram showing a specific configuration of a temperature presenting unit.

【図4】 HMDに表示される映像の一例を示した図。FIG. 4 is a diagram showing an example of a video displayed on the HMD.

【図5】 映像情報生成手段と関連手段を示したブロッ
ク図。
FIG. 5 is a block diagram showing video information generating means and related means.

【図6】 力覚情報生成手段と関連手段を示したブロッ
ク図。
FIG. 6 is a block diagram showing force sense information generating means and related means.

【図7】 音声情報生成手段と関連手段を示したブロッ
ク図。
FIG. 7 is a block diagram showing audio information generating means and related means.

【図8】 第1の実施形態の仮想現実感装置の概略構成
を示したブロック図。
FIG. 8 is a block diagram illustrating a schematic configuration of the virtual reality apparatus according to the first embodiment;

【図9】 第2の実施形態の仮想現実感装置の概略構成
を示したブロック図。
FIG. 9 is a block diagram illustrating a schematic configuration of a virtual reality apparatus according to a second embodiment.

【図10】 第3の実施形態の仮想現実感装置の概略構
成を示したブロック図。
FIG. 10 is a block diagram illustrating a schematic configuration of a virtual reality apparatus according to a third embodiment.

【図11】 第4の実施形態の仮想現実感装置の概略構
成を示したブロック図。
FIG. 11 is a block diagram illustrating a schematic configuration of a virtual reality apparatus according to a fourth embodiment.

【図12】 被提示者が第5の実施形態の仮想現実感装
置を装着している様子を示した図。
FIG. 12 is a diagram illustrating a state where a presentee is wearing the virtual reality apparatus of the fifth embodiment.

【図13】 第5の実施形態の仮想現実感装置を装着し
ている被提示者の頭上から見た様子を示した図。
FIG. 13 is a view showing a state of the presenter wearing the virtual reality apparatus according to the fifth embodiment as viewed from above;

【図14】 従来例1の仮想現実感装置の概略構成を示
したブロック図。
FIG. 14 is a block diagram showing a schematic configuration of a virtual reality apparatus of Conventional Example 1.

【図15】 従来例2の仮想現実感装置の概略構成を示
したブロック図。
FIG. 15 is a block diagram showing a schematic configuration of a virtual reality apparatus of Conventional Example 2.

【図16】 従来例3の仮想現実感装置の概略構成を示
したブロック図。
FIG. 16 is a block diagram showing a schematic configuration of a virtual reality apparatus according to Conventional Example 3.

【図17】 従来例4の仮想現実感装置の概略構成を示
したブロック図。
FIG. 17 is a block diagram showing a schematic configuration of a virtual reality apparatus according to Conventional Example 4.

【符号の説明】[Explanation of symbols]

1 HMD 1a 映像提示手段 1b 音響提示手段 1d ヘッドトラックセンサー 2 被提示者 4 VR空間生成手段(ワークステーション) 6a、6b、6c、6d 温度提示手段 7 力覚提示手段 8 力覚センサ 9 映像情報生成手段 10 処理手段 11 制御手段 14 力覚情報生成手段 17 音声情報生成手段 21、22 温度提示手段 DESCRIPTION OF SYMBOLS 1 HMD 1a Image presentation means 1b Sound presentation means 1d Head track sensor 2 Presenter 4 VR space generation means (workstation) 6a, 6b, 6c, 6d Temperature presentation means 7 Force presentation means 8 Force sensor 9 Image information production Means 10 Processing means 11 Control means 14 Force sense information generating means 17 Voice information generating means 21, 22 Temperature presenting means

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小林 恭 大阪市中央区安土町二丁目3番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 佐藤 彰 大阪市中央区安土町二丁目3番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 谷尻 靖 大阪市中央区安土町二丁目3番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 大澤 聡 大阪市中央区安土町二丁目3番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 長田 英喜 大阪市中央区安土町二丁目3番13号 大阪 国際ビル ミノルタ株式会社内 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor: Yasushi Kobayashi 2-3-13 Azuchicho, Chuo-ku, Osaka City Inside Osaka International Building Minolta Co., Ltd. (72) Inventor: Akira Sato 2-3-3, Azuchicho, Chuo-ku, Osaka-shi No. 13 Osaka International Building Minolta Co., Ltd. (72) Yasushi Yajiri 2-3-13 Azuchicho, Chuo-ku, Osaka-shi Osaka International Building Minolta Co., Ltd. (72) Inventor Satoshi Osawa 2-chome Azuchicho, Chuo-ku, Osaka-shi No. 3-13 Osaka International Building Minolta Co., Ltd. (72) Inventor Hideki Nagata 2-13-13 Azuchicho, Chuo-ku, Osaka City Osaka International Building Minolta Co., Ltd.

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 温度に関する情報を生成する温度情報生
成手段と、該温度情報生成手段により生成された情報に
基づいて被提示者に温度を提示する温度提示手段とを有
することを特徴とする仮想現実感装置。
1. A virtual system comprising: temperature information generating means for generating information relating to temperature; and temperature presenting means for presenting a temperature to a person to be presented based on information generated by the temperature information generating means. Reality device.
【請求項2】 映像に関する情報を生成する映像情報生
成手段と、該映像情報生成手段により生成された情報に
基づいて被提示者に映像を提示する映像提示手段とを有
することを特徴とする請求項1に記載の仮想現実感装
置。
2. An image processing apparatus, comprising: video information generating means for generating information about a video; and video presenting means for presenting a video to a person to be presented based on the information generated by the video information generating means. Item 7. The virtual reality device according to Item 1.
【請求項3】 音声に関する情報を生成する音声情報生
成手段と、該音声情報生成手段により生成された情報に
基づいて被提示者に音声を提示する音響提示手段とを有
することを特徴とする請求項1又は2に記載の仮想現実
感装置。
3. An audio information generating means for generating information related to audio, and an audio presenting means for presenting a voice to a person to be presented based on the information generated by the audio information generating means. Item 3. The virtual reality device according to item 1 or 2.
【請求項4】 力覚に関する情報を生成する力覚情報生
成手段と、該力覚情報生成手段により生成された情報に
基づいて被提示者に力覚を提示する力覚提示手段とを有
することを特徴とする請求項1乃至3に記載の仮想現実
感装置。
4. A haptic information generating means for generating information on haptics, and a haptic presentation means for presenting haptics to a person to be presented based on the information generated by the haptic information generating means. The virtual reality apparatus according to claim 1, wherein:
【請求項5】 前記映像情報の画面輝度分布を計算する
処理手段を有し、前記温度情報生成手段は前記処理手段
の計算結果に基づいて温度に関する情報を生成すること
を特徴とする請求項2に記載の仮想現実感装置。
5. The apparatus according to claim 2, further comprising processing means for calculating a screen luminance distribution of said video information, wherein said temperature information generating means generates information relating to temperature based on a calculation result of said processing means. A virtual reality device according to claim 1.
【請求項6】 前記映像情報生成手段は映像空間内の物
体の放射温度、位置の情報を含む映像に関する情報を生
成し、前記温度情報生成手段は前記映像情報生成手段に
より生成された情報に基づいて温度に関する情報を生成
することを特徴とする請求項2に記載の仮想現実感装
置。
6. The image information generating means generates information on an image including information on a radiation temperature and a position of an object in an image space, and the temperature information generating means is based on information generated by the image information generating means. The virtual reality apparatus according to claim 2, wherein the information about the temperature is generated by using the information.
【請求項7】 被提示者の仮想空間内の位置を検出する
検出手段を有し、前記温度情報生成手段は前記検出手段
の検出結果も加味して温度に関する情報を生成すること
を特徴とする請求項6に記載の仮想現実感装置。
7. A temperature detecting device for detecting a position of the presenter in a virtual space, wherein the temperature information generating device generates information relating to a temperature in consideration of a detection result of the detecting device. The virtual reality apparatus according to claim 6.
【請求項8】 温度に関する情報を生成する温度情報生
成手段を有する仮想現実感装置と、前記温度情報生成手
段で生成された情報に基づいて温度を提示する温度提示
装置とを備えることを特徴とする仮想現実実感システ
ム。
8. A virtual reality apparatus having temperature information generating means for generating information relating to temperature, and a temperature presenting apparatus for presenting a temperature based on the information generated by said temperature information generating means. Virtual reality feeling system.
JP23926697A 1997-09-04 1997-09-04 Virtual reality system Pending JPH1185725A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23926697A JPH1185725A (en) 1997-09-04 1997-09-04 Virtual reality system
US09/145,222 US20010045919A1 (en) 1997-09-04 1998-09-01 Display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23926697A JPH1185725A (en) 1997-09-04 1997-09-04 Virtual reality system

Publications (1)

Publication Number Publication Date
JPH1185725A true JPH1185725A (en) 1999-03-30

Family

ID=17042216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23926697A Pending JPH1185725A (en) 1997-09-04 1997-09-04 Virtual reality system

Country Status (2)

Country Link
US (1) US20010045919A1 (en)
JP (1) JPH1185725A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003159673A (en) * 2001-11-26 2003-06-03 Nec Fielding Ltd Virtual space provision system, method and program therefor
JP2016114746A (en) * 2014-12-15 2016-06-23 株式会社メガチップス Liquid crystal display device

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3711864B2 (en) * 2000-12-01 2005-11-02 日産自動車株式会社 Vehicle display device
US7520836B2 (en) * 2001-07-23 2009-04-21 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat attached to movable base structure
US7588516B2 (en) * 2001-07-23 2009-09-15 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat
US7381152B2 (en) * 2001-07-23 2008-06-03 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat
JP4054585B2 (en) * 2002-02-18 2008-02-27 キヤノン株式会社 Information processing apparatus and method
WO2004099967A1 (en) * 2003-04-17 2004-11-18 Southwest Research Institute Virtual reality system locomotion interface utilizing a pressure-sensing mat
US7920165B2 (en) * 2005-09-26 2011-04-05 Adderton Dennis M Video training system
WO2010093780A2 (en) * 2009-02-13 2010-08-19 University Of Florida Research Foundation, Inc. Communication and skills training using interactive virtual humans
US9754512B2 (en) 2009-09-30 2017-09-05 University Of Florida Research Foundation, Inc. Real-time feedback of task performance
US20110029142A1 (en) * 2010-07-02 2011-02-03 David Sun System tools that provides dispatchers in power grid control centers with a capability to make changes
BR102012013097A2 (en) * 2012-05-31 2014-05-06 Oliveira Heber Vieira De TAPE AND OLFATIVE REPRODUCTION SYSTEM IN AUDIO OR VIDEO EQUIPMENT WITH INTERNET
US20160195923A1 (en) * 2014-12-26 2016-07-07 Krush Technologies, Llc Gyroscopic chair for virtual reality simulation
JP6709633B2 (en) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント Simulation system and game system
CN105843380B (en) * 2016-03-17 2019-05-14 广东小天才科技有限公司 A kind of environment temperature simulation method and device for virtual reality scenario
CN105892679A (en) * 2016-04-28 2016-08-24 乐视控股(北京)有限公司 Virtual reality image playing method and device
CN106293058A (en) * 2016-07-20 2017-01-04 广东小天才科技有限公司 The method for changing scenes of virtual reality device and device for changing scenes
US10825350B2 (en) * 2017-03-28 2020-11-03 Wichita State University Virtual reality driver training and assessment system
WO2019013823A1 (en) * 2017-07-14 2019-01-17 Hewlett-Packard Development Company, L.P. Regulating environmental conditions inside cups of headphones

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003159673A (en) * 2001-11-26 2003-06-03 Nec Fielding Ltd Virtual space provision system, method and program therefor
JP2016114746A (en) * 2014-12-15 2016-06-23 株式会社メガチップス Liquid crystal display device

Also Published As

Publication number Publication date
US20010045919A1 (en) 2001-11-29

Similar Documents

Publication Publication Date Title
JPH1185725A (en) Virtual reality system
Chung et al. Exploring virtual worlds with head-mounted displays
CA2180964C (en) Multi-image compositing
TWI250311B (en) Image display device and simulation apparatus
US20120182206A1 (en) Head-mounted display control with sensory stimulation
US20120121138A1 (en) Method of identifying motion sickness
US20080125218A1 (en) Method of use for a commercially available portable virtual reality system
Barfield et al. Presence in virtual environments as a function of type of input device and display update rate
US20020128541A1 (en) Visual displaying device for virtual reality with a built-in biofeedback sensor
WO2012058175A1 (en) Method of operating a head-mounted display for prevention of motion sickness
JPH10153946A (en) Sensation information presenting device
CN108874147B (en) VR-BOX experiences interactive installation
TW201610757A (en) Generating and providing immersive experiences for users isolated from external stimuli
CN105310853A (en) Virtual reality somatosensory interaction massage chair
JP2006301654A (en) Image presentation apparatus
JP2008527918A (en) Enhance visual perception
Ito et al. Manipulation of the perceived direction of wind by cross-modal effects of wind and three-dimensional sound
US20230214015A1 (en) Content movement and interaction using a single controller
US20180205930A1 (en) Information processing device, information processing method, and program
Peterson Virtual Reality, Augmented Reality, and Mixed Reality Definitions
CN110441909A (en) A kind of wearable device for VR glasses
Hosoi et al. Vwind: Virtual wind sensation to the ear by cross-modal effects of audio-visual, thermal, and vibrotactile stimuli
KR20180098936A (en) HMD Working VR(virtual reality) Contents experience system based on Position Sensors
Callahan A 3-D display head-set for personalized computing
TW201925986A (en) Virtual reality device and method for operating a virtual reality device