WO2024084580A1 - 体性感覚制御装置、方法およびプログラム - Google Patents

体性感覚制御装置、方法およびプログラム Download PDF

Info

Publication number
WO2024084580A1
WO2024084580A1 PCT/JP2022/038760 JP2022038760W WO2024084580A1 WO 2024084580 A1 WO2024084580 A1 WO 2024084580A1 JP 2022038760 W JP2022038760 W JP 2022038760W WO 2024084580 A1 WO2024084580 A1 WO 2024084580A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
avatar
processing unit
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/038760
Other languages
English (en)
French (fr)
Inventor
真奈 笹川
有信 新島
直紀 萩山
俊一 瀬古
隆二 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2022/038760 priority Critical patent/WO2024084580A1/ja
Priority to JP2024551093A priority patent/JP7819782B2/ja
Publication of WO2024084580A1 publication Critical patent/WO2024084580A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • One aspect of the present invention relates to a somatosensory control device, method, and program using, for example, Virtual Reality (VR) technology.
  • VR Virtual Reality
  • Non-Patent Document 1 describes technology related to a service that utilizes VR technology for sports training. This service recreates the state of a sport in a virtual space based on measurement data acquired during the sporting scene, allowing the user to experience this through a head mounted display (HMD) and use it to improve their own training.
  • HMD head mounted display
  • Another service that utilizes VR technology has been proposed, which is communication such as online meetings using avatars on the metaverse.
  • this method inhibits the sense of immersion that is characteristic of the experience of VR space using an HMD, and there is a risk that users may lose concentration or motivation in training, meetings, etc. that utilize VR technology.
  • This invention was made with the above in mind, and aims to provide technology that allows users to recognize their own somatic sensations in real space without losing the sense of immersion in the virtual reality space.
  • one aspect of the somatosensory control device or method according to the present invention is to acquire mental and physical information representing the mental and physical state of the user when displaying information representing a virtual reality space including an avatar corresponding to the user on a head-mounted display worn by the user, and generate effect information for causing the user to perceive or have an illusion of a mental and physical state based on the acquired mental and physical information.
  • the effect information is then reflected on the avatar included in the information representing the virtual reality space, and information representing the virtual reality space including the avatar with the effect information reflected is output to the head-mounted display.
  • effect information representing the user's own mental and physical state at that time is reflected in an avatar corresponding to the user included in the information representing the virtual reality space.
  • This allows the user to perceive or have an illusion of their own state in real space from the appearance of their avatar while viewing the information representing the virtual reality space on the HMD.
  • the user can recognize their own somatic sensations without losing the sense of immersion in the virtual reality space.
  • one aspect of the present invention provides technology that allows a user to recognize their own somatic sensations in real space without losing the sense of immersion in the virtual reality space.
  • FIG. 1 is a diagram showing an example of an online conference system equipped with a somatosensory control device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the somatosensory control device according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the software configuration of the somatosensory control device according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing an example of the processing procedure and processing contents of the somatosensory control processing executed by the control unit of the somatosensory control device shown in FIG.
  • FIG. 5 is a diagram illustrating an example of VR effect information used to explain the first example of the first embodiment.
  • FIG. 6 is a diagram illustrating an example of VR effect information used to explain the second example of the first embodiment.
  • FIG. 7 is a diagram illustrating an example of VR effect information used to explain the third example of the first embodiment.
  • An embodiment of the present invention focuses on the "Proteus effect," in which the facial expressions and behavior of a character such as an avatar representing a user's alter-ego affect the user's behavioral characteristics and extroversion in an online conference system that utilizes VR technology.
  • the "Proteus effect” refers to the change that occurs when, for example, in an online game using VR technology, a person controlling an avatar character with a strong physique acts bolder in the game and negotiates more aggressively. This change in behavior can extend not only online but also to the user's real-life behavior.
  • the "Proteus effect” is reported in detail in, for example, the following references:
  • VR effect information is generated to allow the user to perceive or have an illusion of the user's mental and physical state, and the generated VR effect information is reflected in the user's avatar in the VR space data. Then, the VR space data including the avatar with the VR effect information reflected is displayed on the HMD.
  • the appearance of the avatar contained in the VR space data displayed on the HMD allows the user to perceive or have an illusion of his or her own mental and physical state in the real space. In other words, it is possible for the user to recognize his or her own somatic sensations in the real space without losing the sense of immersion in the VR space.
  • FIG. 1 is a diagram showing an example of a VR online conference system equipped with a somatosensory control device according to a first embodiment of the present invention.
  • a user uses a headset-type HMD 1 equipped with a microphone 2 to hold an online conference in a VR space with other participants' conference terminals 61 to 6n via an online conference server 5 located on a network 4, and a somatosensory control device 3 is connected to the HMD 1.
  • the microphone 2 is equipped with a breath sensor 7 for detecting the alcohol concentration in the user's breath.
  • the breath sensor transmits a detection signal of the breath alcohol concentration to the somatosensory control device 3 via the HMD 1.
  • the online conference server 5 enables online conference communication using a VR space between the terminals of multiple conference participants, including the user.
  • the terminals used by the conference participants are general-purpose personal computers.
  • Network 4 comprises, for example, a wide area network with the Internet at its core, and an access network for accessing this wide area network.
  • an access network for example, a public communication network using wired or wireless connections, a Local Area Network (LAN) using wired or wireless connections, or a Cable Television (CATV) network may be used.
  • Network 4 may also include a broadcasting medium using terrestrial or satellite waves.
  • Somatosensory control device 3 2 and 3 are block diagrams showing an example of a hardware configuration and a software configuration, respectively, of the somatosensory control device 3 according to the first embodiment of the present invention.
  • the somatosensory control device 3 is, for example, a personal computer, and has a control unit 31 that uses a hardware processor such as a central processing unit (CPU).
  • a memory unit having a program memory unit 32 and a data memory unit 33, a sensor interface (hereinafter, the interface will be abbreviated as I/F) unit 34, a communication I/F unit 35, and an input/output I/F unit 36 are connected to this control unit 31 via a bus 37.
  • the somatosensory control device 3 may be, for example, a smartphone or a tablet terminal other than a personal computer.
  • the somatosensory control device 3 may also be used as a terminal used by the user for online conference communication, and the function may be built into the HMD 1.
  • the sensor I/F unit 34 receives the breath alcohol concentration detection signal output from the breath sensor 7 and converts it into digital data.
  • the communication I/F unit 35 transmits and receives VR space data to and from the online conference server 5 via the network 4.
  • the input/output I/F unit 36 receives transmission data including the user's video and audio output from the HMD 1, and transmits the VR space data output from the control unit 31 to the HMD 1.
  • the sensor I/F unit 34 may be integrated into the input/output I/F unit 36, and the sensor I/F unit 34 and the input/output I/F unit 36 may be provided with a wireless interface function that employs a low-power wireless data communication standard such as Bluetooth (registered trademark).
  • a wireless interface function that employs a low-power wireless data communication standard such as Bluetooth (registered trademark).
  • the program storage unit 32 is configured by combining, for example, a non-volatile memory such as a solid state drive (SSD) as a storage medium that can be written to and read from at any time, and a non-volatile memory such as a read only memory (ROM), and stores application programs necessary for executing various controls according to the first embodiment, in addition to middleware such as an operating system (OS).
  • OS operating system
  • the OS and each application program will be collectively referred to as the program.
  • the data storage unit 33 is, for example, a combination of a non-volatile memory such as an SSD, which can be written to and read from at any time, and a volatile memory such as a RAM (Random Access Memory), and the storage area includes a mind-body information storage unit 331, a VR effect list storage unit 332, and a VR space data storage unit 333, which are the main storage units required to implement the first embodiment of the present invention.
  • a non-volatile memory such as an SSD, which can be written to and read from at any time
  • a volatile memory such as a RAM (Random Access Memory)
  • the storage area includes a mind-body information storage unit 331, a VR effect list storage unit 332, and a VR space data storage unit 333, which are the main storage units required to implement the first embodiment of the present invention.
  • the mind and body information storage unit 331 is used to temporarily store the detection data of the breath alcohol concentration received from the breath sensor 7.
  • the VR effect list storage unit 332 stores in advance VR effect information for changing the avatar in the VR space in association with multiple values of the breath alcohol concentration.
  • the VR space data storage unit 333 is used to temporarily store the VR space data sent from the online conference server 5 for avatar control processing.
  • the control unit 31 includes, as processing functions necessary for implementing the first embodiment of the present invention, a mind and body information acquisition processing unit 311, a VR effect information generation processing unit 312, a VR space data acquisition processing unit 313, an avatar control processing unit 314, and a VR space data output processing unit 315. All of these processing units 311 to 315 are realized by causing the hardware processor of the control unit 31 to execute application programs stored in the program storage unit 32.
  • processing units 311 to 315 may be realized using hardware such as an LSI (Large Scale Integration) or an ASIC (Application Specific Integrated Circuit).
  • LSI Large Scale Integration
  • ASIC Application Specific Integrated Circuit
  • the mental and physical information acquisition processing unit 311 receives breath alcohol concentration detection data of a user participating in an online conference from the breath sensor 7, and temporarily stores the received breath alcohol concentration detection data in the mental and physical information storage unit 331 as information representing the user's mental and physical state.
  • the VR effect information generation processing unit 312 searches for corresponding VR effect information from the VR effect list storage unit 332 based on the breath alcohol concentration detection data stored in the mind and body information storage unit 331.
  • the VR space data acquisition processing unit 313 receives VR space data representing the conference space sent from the online conference server 5 via the communication I/F unit 35, and temporarily stores the received VR space data in the VR space data storage unit 333.
  • the avatar control processing unit 314 reads the VR space data from the VR space data storage unit 333, and reflects the VR effect information generated by the VR effect information generation processing unit 312 to the user's avatar included in the read VR space data. An example of the process of reflecting the VR effect information to the avatar will be described in the operation example.
  • the VR space data output processing unit 315 outputs the VR space data, including the avatar on which the VR effect information is reflected by the avatar control processing unit 314, from the input/output I/F unit 36 to the HMD 1 for display.
  • FIG. 4 is a flowchart showing an example of the procedure and content of the somatosensory control process executed by the control unit 31 of the somatosensory control device 3.
  • the control unit 31 of the somatosensory control device 3 monitors whether or not the user has participated in the online conference in step S10.
  • the control unit 31 of the somatosensory control device 3 first receives, in step S11, detection data of the user's breath alcohol concentration detected by the breath sensor 7 via the sensor I/F unit 34 under the control of the mind and body information acquisition processing unit 311, and stores the received detection data in the mind and body information storage unit 331 as information representing the user's mind and body state.
  • the breath alcohol concentration detection data may be acquired continuously, or may be acquired periodically at a predetermined time interval for a certain period of time.
  • the acquired detection data may also be sampled and stored at a predetermined sampling interval.
  • step S12 the control unit 31 of the somatosensory control device 3 reads the breath alcohol concentration detection data from the mind and body information storage unit 331 at regular intervals under the control of the VR effect information generation processing unit 312. Then, the control unit 31 searches the VR effect list storage unit 332 for VR effect information corresponding to the read breath alcohol concentration detection data. Then, the control unit 31 passes the searched VR effect information to the avatar control processing unit 314.
  • the breath alcohol concentration detection data may be read only once, immediately after starting participation in the conference. However, in case the user continues to consume alcohol during the conference, it is desirable to continue reading the breath alcohol concentration detection data periodically thereafter and update the VR effect information.
  • the control unit 31 of the somatosensory control device 3 receives VR space data transmitted from the online conference server 5 via the communication I/F unit 35 in step S13 under the control of the VR space data acquisition processing unit 313, and temporarily stores the received VR space data in the VR space data storage unit 333.
  • step S14 the control unit 31 of the somatosensory control device 3 reads the VR space data from the VR space data storage unit 333 under the control of the avatar control processing unit 314, and recognizes the user's avatar included in the read VR space data. Then, the avatar control processing unit 314 performs a process of reflecting the VR effect information generated by the VR effect information generation processing unit 312 to the recognized avatar.
  • Example 1 In the first embodiment, the VR effect is reflected in the arm movements of an avatar.
  • FIG. 5 shows an example of the VR effect list used in the first embodiment. That is, the VR effect list storage unit 332 stores a control amount C1 of the avatar's arm in association with a range of multiple preset values of breath alcohol concentration. This control amount C1 causes the avatar to shake its arms as a VR effect, and defines, for example, the amplitude of arm swing per unit time.
  • the avatar control processing unit 314 performs video conversion so that the image showing the avatar's arm vibrates according to the control amount C1. For example, if the breath alcohol concentration [mg/L] is less than 0.1, the arm does not shake, but if the breath alcohol concentration [mg/L] is between 0.2 and 0.4, the arm is vibrated at 2 cm per second. Similarly, if the breath alcohol concentration [mg/L] is 0.4 or more, the arm is vibrated even more rapidly at 3 cm per second.
  • the avatar control processing unit 314 passes the VR space data including the avatar whose arms have been given trembling as described above to the VR space data output processing unit 315.
  • Example 2 In the second embodiment, the VR effect is reflected in the quality of the avatar's voice.
  • FIG. 6 shows an example of a VR effect list used in the second embodiment. That is, the VR effect list storage unit 332 stores a control amount C2 for changing the quality of the avatar's voice in association with a plurality of preset values of breath alcohol concentration. This control amount C2 blurs the avatar's voice as a VR effect, and is represented by control information for filter characteristics that change the frequency characteristics of the voice, for example.
  • the avatar control processing unit 314 uses filter processing to change the frequency characteristics of the avatar's voice in accordance with the control amount C2, thereby blurring the voice. For example, if the breath alcohol concentration [mg/L] is less than 0.1, the voice is not blurred, but if the breath alcohol concentration [mg/L] is between 0.2 and 0.4, the frequency characteristics of the voice are changed by 60%. Similarly, if the breath alcohol concentration [mg/L] is 0.4 or more, the frequency characteristics of the voice are changed by 90%.
  • the avatar control processing unit 314 passes the VR space data including the avatar whose voice quality has been converted as described above to the VR space data output processing unit 315.
  • Example 3 In the third embodiment, the VR effect is reflected in the image around the avatar.
  • FIG. 7 shows an example of a VR effect list used in Example 3. That is, the VR effect list storage unit 332 stores a control amount C3 for changing the surrounding image of the avatar in association with a plurality of preset values of breath alcohol concentration.
  • This control amount C3 applies a sway or rotation to the objects present around the avatar as a VR effect, and is represented by image control information for swaying or rotating the display position of the surrounding image, for example.
  • the avatar control processing unit 314 performs image processing to impart shaking or distortion to objects around the avatar in the VR space data in accordance with the control amount C3, thereby making it appear as if the scenery the avatar is seeing is shaking or spinning due to intoxication. For example, if the breath alcohol concentration [mg/L] is less than 0.1, the surrounding image is not changed, but if the breath alcohol concentration [mg/L] is between 0.2 and 0.4, the display position of the surrounding image is changed by 60%. Similarly, if the breath alcohol concentration [mg/L] is 0.4 or more, the display position of the surrounding image is changed by 90%.
  • the avatar control processing unit 314 passes the VR space data in which the objects around the avatar have been swayed or rotated as described above to the VR space data output processing unit 315.
  • step S15 the control unit 31 of the somatosensory control device 3 receives VR space data in which the user's avatar is controlled from the avatar control processing unit 314 under the control of the VR space data output processing unit 315, and outputs the received VR space data from the input/output I/F unit 36 to the HMD 1.
  • VR space data including an avatar that reflects a VR effect that represents a drunken state according to the alcohol concentration in the user's breath is displayed on the HMD1. Therefore, while immersed in the VR space displayed on the HMD1, the user can perceive their own state in the real space from the appearance of their own avatar that exists in this VR space data.
  • step S16 the control unit 31 of the somatosensory control device 3 determines whether the user has left the conference. If the user wishes to continue participating in the conference, the control unit 31 returns to step S11 and repeats the series of processes from acquiring mind-body information to reflecting the VR effect information on the avatar and displaying the VR space data after reflection. On the other hand, if the conference ends or the user leaves midway through, the process ends and the system returns to a standby state.
  • detection data of the breath alcohol concentration of a user participating in an online conference using a VR space is acquired from the breath sensor 7, and VR effect information corresponding to the acquired breath alcohol concentration is generated based on the VR effect list storage unit 332. Then, a process is performed in which the VR effect information is reflected in the user's avatar contained in the VR space data received from the online conference server 5, and the VR space data including the avatar after this reflection process is output to the HMD 1 for display.
  • the user can perceive his or her own state of intoxication in the real space from the appearance of his or her avatar in the VR space data. In other words, it is possible for the user to recognize his or her own somatic sensations in the real space without losing the sense of immersion in the VR space.
  • VR effect information representing a walking style, such as a staggering gait, may be generated and reflected in the avatar, allowing the user to perceive the degree of intoxication.
  • the user's level of fatigue or alertness can be estimated from biometric information obtained by a biosensor.
  • the level of fatigue can be estimated from the heart rate and facial color obtained from a heart rate sensor or a facial image captured by a camera.
  • the level of alertness is determined by arranging two types of sensors in the HMD1, a photoelectric pulse wave sensor and a thermopile, which measure the photoelectric pulse wave and respiratory waveform.
  • a thermopile is arranged to determine the temperature difference between inhaled and exhaled air.
  • the photoelectric pulse wave is measured using a photoelectric pulse wave sensor, and the peak interval RRI of the pulse wave is calculated.
  • the level of alertness can be estimated by evaluating the pattern of heart rate variability.
  • the method for measuring the level of alertness is introduced, for example, at the following website: ⁇ URL: https://www.itmedia.co.jp/news/articles/2001/24/news030.html>.
  • the control unit 31 of the somatosensory control device 3 acquires the bio-information output from the bio-sensor in step S11 under the control of the mind and body information acquisition processing unit 311. Then, in step S12, under the control of the VR effect information generation processing unit 312, it estimates the degree of fatigue or alertness from the acquired bio-information, and reads out the corresponding VR effect information from the VR effect list storage unit 332 based on the estimated degree of fatigue or alertness.
  • the VR effect list storage unit 332 is registered with an estimated value % of fatigue or alertness, and the video control amount for changing the image of the avatar's face or body, the audio control amount, or the control amount of the display range or display state of surrounding objects to indicate a change in field of view. Then, based on the estimated value of fatigue or alertness, the corresponding video control amount, audio control amount, or control amount of the display range or display state of surrounding objects is read from the VR effect list storage unit 332, and the read control amount is used as VR effect information.
  • the control unit 31 of the somatosensory control device 3 then performs processing in step S14 under the control of the avatar control processing unit 314 to reflect the VR effect information on the avatar included in the VR space data acquired by the VR space data acquisition processing unit 313. Then, in step S15, under the control of the VR space data output processing unit 315, the VR space data in which the VR effect information is reflected is output from the input/output I/F unit 36 to the HMD 1.
  • HMD1 thus displays VR space data in which the user's level of fatigue or alertness is reflected in the avatar, and while immersed in the VR space, the user is able to perceive their own level of fatigue or alertness in the real space through the avatar in the VR space.
  • the user's drunken state is reflected in the avatar.
  • a measurement value of the amount of the non-alcoholic beverage consumed is acquired, and VR effect information representing the drunken state corresponding to the acquired amount of the non-alcoholic beverage is generated and reflected in the avatar, thereby giving the user the illusion of being drunk.
  • the functions of the somatosensory control device 3 and the processing procedures therefor are basically the same as those shown in Figures 3 and 4, so the description will be given using Figures 3 and 4.
  • the amount of non-alcoholic beverage consumed by the user can be measured, for example, by attaching a weight sensor to the cup itself, the coaster, or the mat, and obtaining the weight measurement value output from this weight sensor as information representing the amount consumed.
  • the control unit 31 of the somatosensory control device 3 acquires the measurement data output from the weight sensor in step S11 under the control of the mind and body information acquisition processing unit 311. Then, in step S12, under the control of the VR effect information generation processing unit 312, the amount of non-alcoholic beverage consumed by the user is calculated from the acquired measurement data, and VR effect information for creating the illusion of a drunken state is read from the VR effect list storage unit 332 based on the calculated amount of non-alcoholic beverage consumed.
  • the VR effect list storage unit 332 registers, in association with the amount of drink in mL (or mg), a video control amount that changes the avatar's face or body to an intoxicated state, a sound control amount, or a control amount for imparting swaying or rotation to surrounding objects. Then, based on the measurement value of the non-alcoholic beverage, the VR effect information generation processing unit 312 reads out the corresponding video control amount, sound control amount, or control amount for the display state of the surrounding objects from the VR effect list storage unit 332, and treats the read out control amount as VR effect information.
  • the control unit 31 of the somatosensory control device 3 then performs processing in step S14 under the control of the avatar control processing unit 314 to reflect the VR effect information on the avatar included in the VR space data acquired by the VR space data acquisition processing unit 313. Then, in step S15, under the control of the VR space data output processing unit 315, the VR space data in which the VR effect information is reflected is output from the input/output I/F unit 36 to the HMD 1.
  • HMD1 thus displays VR space data that reflects the avatar's state of intoxication corresponding to the amount of non-alcoholic beverages consumed by the user, making it possible to give the user the illusion of being intoxicated using the avatar in the VR space.
  • the body temperature of a user immersed in a VR space may be measured, for example, by a temperature sensor provided in the HMD 1, and the user may be made to perceive the level of fever of the user using an avatar based on the measured value. Any other types of mental and physical state of the user to be acquired, or any control content for reflecting the VR effect on the avatar may be used.
  • this invention is not limited to the above-described embodiment as it is, and in the implementation stage, the components can be modified and embodied without departing from the gist of the invention.
  • various inventions can be formed by appropriately combining multiple components disclosed in the above-described embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components from different embodiments may be appropriately combined.
  • HMD Head-mounted display
  • Microphone 3 Somatosensory control device 4: Network 5: Online conference server 61-6n: Participant's conference terminal 7: Breath sensor 31: Control unit 32: Program storage unit 33: Data storage unit 34: Sensor I/F unit 35: Communication I/F unit 36: Input/output I/F unit 37: Bus 311: Mind and body information acquisition processing unit 312: VR effect information generation processing unit 313: VR space data acquisition processing unit 314: Avatar control processing unit 315: VR space data output processing unit 331: Mind and body information storage unit 332: VR effect list storage unit 333: VR space data storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

この発明の一態様は、ユーザに装着されるヘッドマウントディスプレイにユーザに対応するアバタを含む仮想現実空間を表す情報を表示する際に、ユーザの心身の状態を表す心身情報を取得し、取得した前記心身情報をもとにユーザに心身の状態を知覚または錯覚させるための効果情報を生成する。そして、仮想現実空間を表す情報に含まれるアバタに対し前記効果情報を反映し、この効果情報が反映されたアバタを含む前記仮想現実空間を表す情報をヘッドマウントディスプレイへ出力するようにしたものである。

Description

体性感覚制御装置、方法およびプログラム
　この発明の一態様は、例えば仮想現実（Virtual Reality：ＶＲ）技術を用いた体性感覚制御装置、方法およびプログラムに関する。
　近年、ＶＲ技術を活用したサービスが種々提案されている。例えば、非特許文献１には、ＶＲ技術を活用してスポーツトレーニングを行うサービスに関する技術が記載されている。このサービスは、スポーツシーンにおいて取得される計測データに基づいて、スポーツの状態を仮想空間に再現し、これをユーザがヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）を通じて体験することで、自身のトレーニングに役立てるようにしたものである。また、ＶＲ技術を活用した他のサービスとして、メタバース上でアバタを用いたオンライン会議等のコミュニケーションを行うサービスも提案されている。
三上弾ほか、「ＶＲ技術を活用したスポーツトレーニングの試み」、日本画像学会誌　第５８巻　第３号　p316-323 (2019)
　ところで、ＨＭＤを装着してＶＲ空間を体験する場合、ユーザは現実空間を視認できないため、現実空間における自身の体性感覚の認識が困難となる。そこで、例えば現実空間におけるユーザの状態をカメラで撮像してその映像データをＶＲ空間に併せて表示したり、ユーザの状況を表すテキストデータをＶＲ空間に表示することで、ＶＲ空間に没入しているユーザが現実空間における自身の体性感覚を認識できるようにする手法が考えられている。
　しかし、この手法では、ＨＭＤを用いたＶＲ空間の体験の特徴である没入感が阻害され、ＶＲ技術を活用したトレーニングや会議等に対するユーザの集中力の低下や意欲の低下を招くおそれがある。
　この発明は上記事情に着目してなされたもので、ユーザが仮想現実空間への没入感を損なうことなく現実空間における自身の体性感覚を認識できるようにする技術を提供しようとするものである。
　上記課題を解決するためにこの発明に係る体性感覚制御装置又は方法の一態様は、ユーザに装着されるヘッドマウントディスプレイに前記ユーザに対応するアバタを含む仮想現実空間を表す情報を表示する際に、前記ユーザの心身の状態を表す心身情報を取得し、取得した前記心身情報をもとに前記ユーザに心身の状態を知覚または錯覚させるための効果情報を生成する。そして、前記仮想現実空間を表す情報に含まれる前記アバタに対し前記効果情報を反映し、前記効果情報が反映された前記アバタを含む前記仮想現実空間を表す情報を前記ヘッドマウントディスプレイへ出力するようにしたものである。
　この発明の一態様によれば、例えば、仮想現実空間を表す情報に含まれるユーザに対応するアバタに、ユーザ自身のそのときの心身状態を表す効果情報が反映される。このため、ユーザはＨＭＤにおいて仮想現実空間を表す情報を見ながら、自身のアバタの様子から自身の現実空間における状態を知覚または錯覚することが可能となる。この結果、ユーザは仮想現実空間に対する没入感を損なうことなく自身の体性感覚を認識することが可能となる。
　すなわち、この発明の一態様によれば、ユーザが仮想現実空間に対する没入感を損なうことなく現実空間における自身の体性感覚を認識できるようにする技術を提供することができる。
図１は、この発明の第１の実施形態に係る体性感覚制御装置を備えるオンライン会議システムの一例を示す図である。 図２は、この発明の第１の実施形態に係る体性感覚制御装置のハードウェア構成の一例を示すブロック図である。 図３は、この発明の第１の実施形態に係る体性感覚制御装置のソフトウェア構成の一例を示すブロック図である。 図４は、図３に示した体性感覚制御装置の制御部が実行する体性感覚制御処理の処理手順と処理内容の一例を示すフローチャートである。 図５は、第１の実施形態の実施例１の説明に使用するＶＲ効果情報の一例を示す図である。 図６は、第１の実施形態の実施例２の説明に使用するＶＲ効果情報の一例を示す図である。 図７は、第１の実施形態の実施例３の説明に使用するＶＲ効果情報の一例を示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［原理］
　この発明の実施形態は、ＶＲ技術を活用したオンライン会議システム等において、ユーザの分身を表すアバタ等のキャラクタの表情や振る舞いが、そのユーザの行動特性や外向性に影響を与える「プロテウス効果」に着目する。
　「プロテウス効果」とは、例えばＶＲ技術を用いたオンラインゲームにおいて、アバタとして屈強な肉体を持つキャラクタを操る人に、ゲーム内でより大胆な行動をしたり、強気に交渉するといった変化が発生することを表す。この行動の変化は、オンライン上のみならずユーザの現実の行動にも及ぶ可能性がある。「プロテウス効果」については、例えば以下の参考文献において詳しく報告されている。
　　参考文献１；Nick Yee, & Jeremy Bailenson, “The Proteus effect: The effect of transformed self-representation on behavior”. Human communication research, 33(3), 271-290. 2019.
　　参考文献２；Konstantina Kilteni, Ilias Bergstrom and Mel SlaterBergstrom, “Drumming in immersive virtual reality: the body shapes the way we play”. IEEE transactions on visualization and computer graphics, 19(4), 597-605. 2013.
　この発明の実施形態は、上記「プロテウス効果」に着目し、ユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に、例えばオンライン会議上の様子をＶＲ空間データとして表示させる際に、ユーザの心身の状態をセンサにより測定する。そして、その測定情報をもとに、ユーザの心身の状態をユーザに知覚または錯覚させるためのＶＲ効果情報を生成し、生成した上記ＶＲ効果情報をＶＲ空間データ中のユーザのアバタに反映させる。そして、このＶＲ効果情報が反映されたアバタを含む上記ＶＲ空間データを、上記ＨＭＤに表示させる。
　この発明の実施形態によれば、ＨＭＤに表示されるＶＲ空間データに含まれるアバタの様子により、ユーザに自身の現実空間における心身状態を知覚、或いは錯覚させることが可能となる。すなわち、ユーザに対し、ＶＲ空間への没入感を損なうことなく現実空間における自身の体性感覚を認識させることが可能となる。
　［第１の実施形態］
　（構成例）
　（１）システム
　図１は、この発明の第１の実施形態に係る体性感覚制御装置を備えるＶＲオンライン会議システムの一例を示す図である。
　第１の実施形態に係るシステムは、ユーザがマイクロフォン２を備えたヘッドセット型のＨＭＤ１を使用して、他の参加者の会議端末６１～６ｎとの間で、ネットワーク４上に配置されたオンライン会議サーバ５を介して、ＶＲ空間でのオンライン会議を行うもので、ＨＭＤ１には体性感覚制御装置３が接続されている。
　マイクロフォン２には、ユーザの呼気に含まれるアルコール濃度を検出するための呼気センサ７が付設されている。呼気センサは、呼気アルコール濃度の検出信号をＨＭＤ１を介して体性感覚制御装置３へ送信する。
　なお、呼気アルコール濃度を検出するためのセンサとしては、例えば以下のサイトに記載されたものを使用することができる。　
　　＜URL: https://www.switch-science.com/catalog/6652/＞。
　オンライン会議サーバ５は、ユーザを含む複数の会議参加者の端末間でＶＲ空間を用いたオンライン会議通信を可能にする。なお、会議参加者が使用する端末は、汎用のパーソナルコンピュータが使用される。
　ネットワーク４は、例えばインターネットを中核とする広域ネットワークと、この広域ネットワークに対しアクセスするためのアクセスネットワークとを備える。アクセスネットワークとしては、例えば、有線または無線を使用する公衆通信ネットワーク、有線または無線を使用するＬＡＮ（Local Area Network）、ＣＡＴＶ（Cable Television）ネットワークが使用される。また、ネットワーク４には、地上波または衛星を使用する放送媒体が含まれていてもよい。
　（２）体性感覚制御装置３
　図２および図３は、それぞれこの発明の第１の実施形態に係る体性感覚制御装置３のハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
　体性感覚制御装置３は、例えばパーソナルコンピュータからなり、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部３１を備える。そして、この制御部３１に対し、バス３７を介して、プログラム記憶部３２およびデータ記憶部３３を有する記憶ユニットと、センサインタフェース（以後インタフェースをＩ／Ｆと略称する）部３４と、通信Ｉ／Ｆ部３５と、入出力Ｉ／Ｆ部３６とを接続したものとなっている。
　なお、体性感覚制御装置３としては、例えばパーソナルコンピュータ以外にスマートフォンやタブレット型端末が用いられてもよい。また体性感覚制御装置３は、ユーザがオンライン会議通信のために使用する端末と兼用されてもよく、さらにはその機能がＨＭＤ１に内蔵されてもよい。
　センサＩ／Ｆ部３４は、呼気センサ７から出力された呼気アルコール濃度の検出信号を受信してデジタルデータに変換する。通信Ｉ／Ｆ部３５は、ネットワーク４を介してオンライン会議サーバ５との間でＶＲ空間データの送受信を行う。入出力Ｉ／Ｆ部３６は、ＨＭＤ１から出力されるユーザの映像および音声等を含む送信データを受信すると共に、ＨＭＤ１へ制御部３１から出力されるＶＲ空間データを送信する。
　なお、センサＩ／Ｆ部３４は入出力Ｉ／Ｆ部３６に統合してもよく、またセンサＩ／Ｆ部３４および入出力Ｉ／Ｆ部３６には、例えばBluetooth（登録商標）等の小電力無線データ通信規格を採用した無線インタフェース機能が備えられていてもよい。無線インタフェース機能を用いることで、体性感覚制御装置３とＨＭＤ１との間の信号の送受信をコードレスで行うことが可能となる。
　プログラム記憶部３２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、第１の実施形態に係る各種制御を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。
　データ記憶部３３は、例えば記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、その記憶領域には、この発明の第１の実施形態を実施するために必要な主たる記憶部として、心身情報記憶部３３１と、ＶＲ効果リスト記憶部３３２と、ＶＲ空間データ記憶部３３３とが設けられている。
　心身情報記憶部３３１は、上記呼気センサ７から受信した呼気アルコール濃度の検出データを一時保存するために使用される。ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の複数の値に対応付けて、ＶＲ空間のアバタを変化させるためのＶＲ効果情報が事前に記憶されている。ＶＲ空間データ記憶部３３３は、オンライン会議サーバ５から送信されたＶＲ空間データを、アバタの制御処理のために一時保存するために使用される。
　制御部３１は、この発明の第１の実施形態を実施するために必要な処理機能として、心身情報取得処理部３１１と、ＶＲ効果情報生成処理部３１２と、ＶＲ空間データ取得処理部３１３と、アバタ制御処理部３１４と、ＶＲ空間データ出力処理部３１５とを備える。これらの処理部３１１～３１５は、何れもプログラム記憶部３２に格納されたアプリケーション・プログラムを制御部３１のハードウェアプロセッサに実行させることにより実現される。
　なお、上記処理部３１１～３１５の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
　心身情報取得処理部３１１は、オンライン会議参加中のユーザの呼気アルコール濃度検出データを呼気センサ７から受信し、受信した呼気アルコール濃度検出データをユーザの心身状態を表す情報として心身情報記憶部３３１に一時保存する。
　ＶＲ効果情報生成処理部３１２は、上記心身情報記憶部３３１に記憶された呼気アルコール濃度の検出データをもとに、ＶＲ効果リスト記憶部３３２から対応するＶＲ効果情報を検索する。
　ＶＲ空間データ取得処理部３１３は、オンライン会議サーバ５から送信された、会議スペースを表すＶＲ空間データを通信Ｉ／Ｆ部３５を介して受信し、受信したＶＲ空間データをＶＲ空間データ記憶部３３３に一時記憶する。
　アバタ制御処理部３１４は、上記ＶＲ空間データ記憶部３３３からＶＲ空間データを読み込み、読み込んだＶＲ空間データに含まれるユーザのアバタに対し、上記ＶＲ効果情報生成処理部３１２により生成されたＶＲ効果情報を反映させる。なお、アバタに対するＶＲ効果情報の反映処理の一例は動作例において述べる。
　ＶＲ空間データ出力処理部３１５は、上記アバタ制御処理部３１４によりＶＲ効果情報が反映されたアバタを含む上記ＶＲ空間データを入出力Ｉ／Ｆ部３６からＨＭＤ１へ出力し表示させる。
　（動作例）
　次に、以上のように構成された体性感覚制御装置３の動作例を説明する。
　図４は、体性感覚制御装置３の制御部３１が実行する体性感覚制御処理の処理手順と処理内容の一例を示すフローチャートである。
　（１）心身情報の取得
　体性感覚制御装置３の制御部３１は、ステップＳ１０によりユーザがオンライン会議に参加したか否かを監視する。
　この状態で、ユーザが会議に参加すると、体性感覚制御装置３の制御部３１は、先ずステップＳ１１において、心身情報取得処理部３１１の制御の下、呼気センサ７により検出されたユーザの呼気アルコール濃度の検出データをセンサＩ／Ｆ部３４を介して受信し、受信した検出データをユーザの心身状態を表す情報として心身情報記憶部３３１に保存する。
　なお、上記呼気アルコール濃度の検出データは、常時取得してもよいし、所定の時間間隔で周期的に一定期間分を取得するようにしてもよい。また、取得した検出データを所定のサンプリング間隔でサンプリングして保存するようにしてもよい。
　（２）ＶＲ効果情報の生成
　体性感覚制御装置３の制御部３１は、次にステップＳ１２において、ＶＲ効果情報生成処理部３１２の制御の下、上記心身情報記憶部３３１から一定期間ごとに呼気アルコール濃度の検出データを読み込む。そして、読み込んだ上記呼気アルコール濃度の検出データに対応するＶＲ効果情報をＶＲ効果リスト記憶部３３２から検索する。そして、検索したＶＲ効果情報をアバタ制御処理部３１４に渡す。
　なお、ユーザが会議参加前に飲酒をしていた場合には、呼気アルコール濃度がそれ以上増加することはないと推定されるので、上記呼気アルコール濃度の検出データの読み込みは会議への参加開始直後に１回のみ行われるようにしてもよい。但し、ユーザが会議中も飲酒を続ける場合に備え、呼気アルコール濃度の検出データの読み込みはその後も定期的に行い、ＶＲ効果情報を更新することが望ましい。
　（３）ＶＲ空間情報の取得
　体性感覚制御装置３の制御部３１は、ユーザが会議に参加している期間中に、オンライン会議サーバ５から送信されるＶＲ空間データを、ＶＲ空間データ取得処理部３１３の制御の下、ステップＳ１３により通信Ｉ／Ｆ部３５を介して受信し、受信したＶＲ空間データをＶＲ空間データ記憶部３３３に一旦保存する。
　（４）アバタの制御
　体性感覚制御装置３の制御部３１は、次にステップＳ１４において、アバタ制御処理部３１４の制御の下、上記ＶＲ空間データ記憶部３３３からＶＲ空間データを読み込み、読み込んだＶＲ空間データに含まれるユーザのアバタを認識する。そして、アバタ制御処理部３１４は、認識した上記アバタに対し、上記ＶＲ効果情報生成処理部３１２により生成されたＶＲ効果情報を反映させる処理を行う。
　以下に、反映処理の一例を示すいくつかの実施例を説明する。
　（実施例１）
　実施例１は、ＶＲ効果をアバタの腕の動きに反映させるものである。
　図５は、実施例１において使用されるＶＲ効果リストの一例を示すものである。すなわち、ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の予め設定された複数の値の範囲に対応付けてアバタの腕の制御量Ｃ１が記憶されている。この制御量Ｃ１は、ＶＲ効果としてアバタに対し腕の震えを与えるもので、例えば単位時間ごとの腕の振れ幅を定義する。
　アバタ制御処理部３１４は、上記制御量Ｃ１に従いアバタの腕の部位を表す画像を振動させるように映像変換を行う。例えば、呼気アルコール濃度［mg/L］が０．１未満であれば腕に震えを発生させないが、呼気アルコール濃度［mg/L］が０．２以上０．４未満であれば腕を毎秒２cmで振動させる。同様に、呼気アルコール濃度［mg/L］が０．４以上であれば腕を毎秒３cmでさらに大きく振動させる。
　そして、アバタ制御処理部３１４は、上記のように腕に震えが与えられたアバタを含むＶＲ空間データをＶＲ空間データ出力処理部３１５に渡す。
　（実施例２）
　実施例２は、ＶＲ効果をアバタの声の質に反映させるものである。
　図６は、実施例２において使用されるＶＲ効果リストの一例を示すものである。すなわち、ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の予め設定された複数の値に対応付けてアバタの声の質を変化させるための制御量Ｃ２が記憶されている。この制御量Ｃ２は、ＶＲ効果としてアバタの声に対しぼかしを与えるもので、例えば声の周波数特性を変化させるフィルタ特性の制御情報により表される。
　アバタ制御処理部３１４は、上記制御量Ｃ２に従いアバタの声の周波数特性をフィルタ処理により変化させ、これにより声にぼかしを与える。例えば、呼気アルコール濃度［mg/L］が０．１未満であれば声にぼかしを与えないが、呼気アルコール濃度［mg/L］が０．２以上０．４未満であれば声の周波数特性を６０％変化させる。同様に、呼気アルコール濃度［mg/L］が０．４以上であれば声の周波数特性を９０％変化させる。
　そして、アバタ制御処理部３１４は、上記のように声の質が変換されたアバタを含むＶＲ空間データをＶＲ空間データ出力処理部３１５に渡す。
　（実施例３）
　実施例３は、ＶＲ効果をアバタの周囲の映像に反映させるものである。
　図７は、実施例３において使用されるＶＲ効果リストの一例を示すものである。すなわち、ＶＲ効果リスト記憶部３３２には、呼気アルコール濃度の予め設定された複数の値に対応付けてアバタの周囲映像を変化させるための制御量Ｃ３が記憶されている。この制御量Ｃ３は、ＶＲ効果としてアバタの周囲に存在するオブジェクトに対し揺れまたは回転を与えるもので、例えば周囲映像の表示位置を揺動または回転させるための映像制御情報により表される。
　アバタ制御処理部３１４は、上記制御量Ｃ３に従い、ＶＲ空間データ中のアバタの周囲に存在するオブジェクトに対し揺れまたは歪みを与えるための映像処理を行い、これによりアバタが見ている景色が酒酔いのため揺れているまたは回っている状態を表現する。例えば、呼気アルコール濃度［mg/L］が０．１未満であれば周囲映像を変化させないが、呼気アルコール濃度［mg/L］が０．２以上０．４未満であれば周囲映像の表示位置を６０％変化させる。同様に、呼気アルコール濃度［mg/L］が０．４以上であれば周囲映像の表示位置を９０％変化させる。
　そして、アバタ制御処理部３１４は、上記のようにアバタの周囲のオブジェクトに揺れまたは回転が加えられたＶＲ空間データを、ＶＲ空間データ出力処理部３１５に渡す。
　（５）ＶＲ空間データの出力
　体性感覚制御装置３の制御部３１は、続いてステップＳ１５において、ＶＲ空間データ出力処理部３１５の制御の下、上記アバタ制御処理部３１４からユーザのアバタが制御されたＶＲ空間データを受け取り、受け取った上記ＶＲ空間データを入出力Ｉ／Ｆ部３６からＨＭＤ１に向け出力する。
　この結果ＨＭＤ１には、ユーザの呼気アルコール濃度に応じて酒酔い状態を表すＶＲ効果が反映されたアバタを含むＶＲ空間データが表示される。従って、ユーザは、ＨＭＤ１に表示されるＶＲ空間に没入した状態で、このＶＲ空間データに存在する自身のアバタの様子により現実空間における自身の状態を知覚することが可能となる。
　体性感覚制御装置３の制御部３１は、最後にステップＳ１６において、ユーザが会議から離脱したか否かを判定する。そして、会議への参加を継続してする場合には、ステップＳ１１に戻って心身情報の取得からアバタに対するＶＲ効果情報の反映、反映後のＶＲ空間データの表示までの一連の処理を繰り返し実行する。これに対し、会議が終了するかまたは会議を中途離脱すると、処理を終了し待機状態に復帰する。
　（作用・効果）
　以上述べたように第１の実施形態では、ＶＲ空間を用いたオンライン会議に参加中のユーザの呼気アルコール濃度の検出データを呼気センサ７から取得し、取得した上記呼気アルコール濃度に対応するＶＲ効果情報をＶＲ効果リスト記憶部３３２をもとに生成する。そして、上記ＶＲ効果情報を、オンライン会議サーバ５から受信されたＶＲ空間データに含まれるユーザのアバタに反映させる処理を行い、この反映処理後のアバタを含むＶＲ空間データをＨＭＤ１へ出力して表示させるようにしている。
　従って、ユーザは、ＨＭＤ１に表示されるＶＲ空間に没入した状態でも、このＶＲ空間データ中の自身のアバタの様子により現実空間における自身の酒酔いの状態を知覚することが可能となる。すなわち、ユーザに対し、ＶＲ空間への没入感を損なうことなく現実空間における自身の体性感覚を認識させることが可能となる。
　なお、上記説明では、酒酔いの症状として「腕の震え」、「声のぼかし」、「周囲オブジェクトの揺動または回転」を選択的に用いているが、ユーザによって酒酔いの症状の種類およびその程度は異なるため、事前にユーザの酒酔いの症状を聴取してその結果を反映させるようにするとよい。また、酒酔いの症状としては、他に「顔の色の変化」や「顔の弛緩」、「眠気の表情」等を用いてもよい。
　また、酒酔いの状態としては、他に例えば千鳥足などの歩き方を表すＶＲ効果情報を生成してアバタに反映させることにより、ユーザに酒酔いの状態の程度を知覚させるようにしてもよい。
　［第２の実施形態］
　第１の実施形態では、ユーザの酒酔いの状態をアバタに反映させる場合を例にとって説明した。これに対し、この発明の第２の実施形態は、ユーザの疲労度または覚醒度をアバタに反映させるようにしたものである。
　なお、体性感覚制御装置３が備える各機能およびその処理手順は、図３および図４に示したものと基本的には変わらないので、第２の実施形態でも図３および図４を用いて説明を行う。
　ユーザの疲労度または覚醒度は、生体センサにより得られる生体情報から推定することが可能である。例えば疲労度は、心拍数や顔色を心拍センサまたはカメラにより撮影される顔画像から推定可能である。
　また、覚醒度は、ＨＭＤ１に光電容積脈波センサとサーモパイルの２種類のセンサを配置し、これらのセンサにより光電容積脈波と呼吸波形を計測する。呼吸を計測するには、例えばサーモパイルを配置して呼気と吸気の温度差を求める。光電容積脈波は、光電容積脈波センサを用いて計測し、脈波のピーク間隔RRIを計算するこれにより求める。覚醒度は、心拍変動のパターンを評価することにより推定することができる。
　なお、上記覚醒度の計測方法については、例えば以下のサイトにより紹介されている。　
　　＜URL: https://www.itmedia.co.jp/news/articles/2001/24/news030.html＞。
　体性感覚制御装置３の制御部３１は、上記生体センサから出力される生体情報を、ステップＳ１１により心身情報取得処理部３１１の制御の下で取得する。そして、ステップＳ１２において、ＶＲ効果情報生成処理部３１２の制御の下、取得した上記生体情報から疲労度または覚醒度を推定し、推定した上記疲労度または覚醒度をもとにＶＲ効果リスト記憶部３３２から対応するＶＲ効果情報を読み出す。
　例えば、ＶＲ効果リスト記憶部３３２に、疲労度または覚醒度の推定値％に対応付けて、アバタの顔または身体の映像を変化させる映像制御量、音声の制御量、または視野の変化を表すための周囲オブジェクトの表示範囲やその表示状態の制御量を登録する。そして、上記疲労度または覚醒度の推定値をもとに、ＶＲ効果リスト記憶部３３２から対応する映像制御量、音声の制御量、または周囲オブジェクトの表示範囲やその表示状態の制御量を読み出し、読み出した上記制御量をＶＲ効果情報とする。
　体性感覚制御装置３の制御部３１は、次にステップＳ１４において、アバタ制御処理部３１４の制御の下、ＶＲ空間データ取得処理部３１３により取得されたＶＲ空間データに含まれるアバタに対し、上記ＶＲ効果情報を反映させるための処理を行う。そして、上記ＶＲ効果情報が反映されたＶＲ空間データを、ステップＳ１５において、ＶＲ空間データ出力処理部３１５の制御の下、入出力Ｉ／Ｆ部３６からＨＭＤ１に向け出力する。
　かくしてＨＭＤ１には、アバタにそのユーザの疲労度または覚醒度が反映されたＶＲ空間データが表示され、ユーザはＶＲ空間に没入した状態で、当該ＶＲ空間内のアバタにより現実空間における自身の疲労度または覚醒度を知覚することが可能となる。
　［第３の実施形態］
　上記第１の実施形態では、ユーザの酒酔いの状態をアバタに反映させる場合について述べた。これに対し、この発明の第３の実施形態は、ユーザがノンアルコール飲料を飲んだ場合にその飲量の計測値を取得し、取得した上記飲量に対応する酒酔いの状態を表すＶＲ効果情報を生成してアバタに反映させることにより、ユーザに酒酔い状態を錯覚させるものである。
　なお、第３の実施形態においても、体性感覚制御装置３が備える各機能およびその処理手順は、図３および図４に示したものと基本的には変わらないので、図３および図４を用いて説明を行う。
　ユーザがノンアルコール飲料を飲んだ量は、例えばコップ自体またはコースター或いはマットに重量センサを設け、この重量センサから出力される重量の計測値を飲量を表す情報として取得することが可能である。
　体性感覚制御装置３の制御部３１は、上記重量センサから出力される計測データを、ステップＳ１１により心身情報取得処理部３１１の制御の下で取得する。そして、ステップＳ１２において、ＶＲ効果情報生成処理部３１２の制御の下、取得した上記計測データからユーザが飲んだノンアルコール飲料の量を算出し、算出した上記ノンアルコール飲料の飲量をもとに、ＶＲ効果リスト記憶部３３２から酒酔い状態を錯覚させるためのＶＲ効果情報を読み出す。
　例えば、ＶＲ効果リスト記憶部３３２に、飲量mL（またはmg）に対応付けて、アバタの顔または身体を酒酔い状態に変化させる映像制御量、音声の制御量、または周囲オブジェクトに揺れや回転を与えるための制御量を登録する。そして、ＶＲ効果情報生成処理部３１２は、上記ノンアルコール飲料の計測値をもとに、ＶＲ効果リスト記憶部３３２から対応する映像制御量、音声の制御量、または周囲オブジェクトの表示状態の制御量を読み出し、読み出した上記制御量をＶＲ効果情報とする。
　体性感覚制御装置３の制御部３１は、次にステップＳ１４において、アバタ制御処理部３１４の制御の下、ＶＲ空間データ取得処理部３１３により取得されたＶＲ空間データに含まれるアバタに対し、上記ＶＲ効果情報を反映させるための処理を行う。そして、上記ＶＲ効果情報が反映されたＶＲ空間データを、ステップＳ１５において、ＶＲ空間データ出力処理部３１５の制御の下、入出力Ｉ／Ｆ部３６からＨＭＤ１に向け出力する。
　かくしてＨＭＤ１には、アバタにユーザが飲んだノンアルコール飲料の量に対応する酒酔いの状態が反映されたＶＲ空間データが表示され、これによりユーザに対しＶＲ空間内のアバタを用いて酒酔い状態を錯覚させることが可能となる。
　［その他の実施形態］
　（１）第２の実施形態では、疲労度または覚醒度をアバタを用いてユーザに知覚させる場合を例にとって説明した。しかし、疲労度または覚醒度が予め設定されたしきい値未満の場合には、ユーザを活気づけるためのＶＲ効果情報を生成してアバタに反映し、このアバタを含むＶＲ空間データをＨＭＤ１に表示させるようにしてもよい。このようにすると、ユーザに対しアバタを用いたプロテウス効果により、活気ややる気を与えることが可能となる。
　（２）ＶＲ空間に没入しているユーザの体温を例えばＨＭＤ１に設けた温度センサにより計測し、その計測値をもとにユーザの発熱の程度をアバタを用いてユーザに知覚させるようにしてもよい。その他、取得対象となるユーザの心身状態の種類や、アバタにＶＲ効果を反映させるための制御内容については、どのようなものであってもよい。
　（３）その他、体性感覚制御装置の機能構成やその処理手順と処理内容、ＶＲ効果情報の種類や内容等については、この発明の要旨を何時堕しない範囲で種々変形して実施可能である。
　以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　１…ヘッドマウントディスプレイ（ＨＭＤ）
　２…マイクロフォン
　３…体性感覚制御装置
　４…ネットワーク
　５…オンライン会議サーバ
　６１～６ｎ…参加者の会議端末
　７…呼気センサ
　３１…制御部
　３２…プログラム記憶部
　３３…データ記憶部
　３４…センサＩ／Ｆ部
　３５…通信Ｉ／Ｆ部
　３６…入出力Ｉ／Ｆ部
　３７…バス
　３１１…心身情報取得処理部
　３１２…ＶＲ効果情報生成処理部
　３１３…ＶＲ空間データ取得処理部
　３１４…アバタ制御処理部
　３１５…ＶＲ空間データ出力処理部
　３３１…心身情報記憶部
　３３２…ＶＲ効果リスト記憶部
　３３３…ＶＲ空間データ記憶部

Claims (7)

  1. 　ユーザに装着され当該ユーザに対応するアバタを含む仮想現実空間を表す情報を表示するヘッドマウントディスプレイに接続される体性感覚制御装置であって、
    　前記ユーザの心身の状態を表す心身情報を取得する第１の処理部と、
    　前記心身情報をもとに前記ユーザに前記心身の状態を知覚または錯覚させるための効果情報を生成する第２の処理部と、
    　前記仮想現実空間を表す情報に含まれる前記アバタに対し前記効果情報を反映する第３の処理部と、
    　前記効果情報が反映された前記アバタを含む前記仮想現実空間を表す情報を前記ヘッドマウントディスプレイへ出力する第４の処理部と
    　を具備する体性感覚制御装置。
  2. 　前記第１の処理部は、前記心身情報として、前記ユーザから発せられるアルコール濃度の測定情報を取得し、
    　前記第２の処理部は、前記効果情報として、前記アルコール濃度の前記心身に対する影響を前記ユーザに知覚または錯覚させるための情報を生成する
    　請求項１に記載の体性感覚制御装置。
  3. 　前記第１の処理部は、前記心身情報として、前記ユーザの疲労度を表す情報を取得し、
    　前記第２の処理部は、前記効果情報として、前記ユーザの疲労度を前記ユーザに知覚または錯覚させるための情報を生成する
    　請求項１に記載の体性感覚制御装置。
  4. 　前記第１の処理部は、前記心身情報として、前記ユーザの覚醒度を表す情報を取得し、
    　前記第２の処理部は、前記効果情報として、前記ユーザの覚醒度を前記ユーザに知覚または錯覚させるための情報を生成する
    　請求項１に記載の体性感覚制御装置。
  5. 　前記第２の処理部は、前記効果情報として、前記アバタの体の動きを変化させる映像制御情報、前記アバタが発する声を変化させる音声制御情報、および前記アバタとその周囲映像の表示状態を変化させる表示制御情報のうちの少なくとも１つを生成し、
    　前記第３の処理部は、前記映像制御情報、前記音声制御情報および前記表示制御情報の少なくとも１つに基づいて、前記仮想現実空間を表す情報に含まれる前記アバタの体の動き、声および周囲映像の少なくとも１つを変化させる
    　請求項１に記載の体性感覚制御装置。
  6. 　ユーザに装着され当該ユーザに対応するアバタを含む仮想現実空間を表す情報を表示するヘッドマウントディスプレイに接続される情報処理装置が実行する体性感覚制御方法であって、
    　前記ユーザの心身の状態を表す心身情報を取得する過程と、
    　前記心身情報をもとに前記ユーザに心身の状態を知覚または錯覚させるための効果情報を生成する過程と、
    　前記仮想現実空間を表す情報に含まれる前記アバタに対し前記効果情報を反映する過程と、
    　前記効果情報が反映された前記アバタを含む前記仮想現実空間を表す情報を前記ヘッドマウントディスプレイへ出力する過程と
    　を具備する体性感覚制御方法。
  7. 　請求項１乃至５のいずれかに記載の体性感覚制御装置が具備する第１乃至第４の処理部が実行する処理の少なくとも１つを、前記体性感覚制御装置が備えるプロセッサに実行させるプログラム。
PCT/JP2022/038760 2022-10-18 2022-10-18 体性感覚制御装置、方法およびプログラム Ceased WO2024084580A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/038760 WO2024084580A1 (ja) 2022-10-18 2022-10-18 体性感覚制御装置、方法およびプログラム
JP2024551093A JP7819782B2 (ja) 2022-10-18 2022-10-18 体性感覚制御装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/038760 WO2024084580A1 (ja) 2022-10-18 2022-10-18 体性感覚制御装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024084580A1 true WO2024084580A1 (ja) 2024-04-25

Family

ID=90737154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038760 Ceased WO2024084580A1 (ja) 2022-10-18 2022-10-18 体性感覚制御装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7819782B2 (ja)
WO (1) WO2024084580A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP2005066133A (ja) * 2003-08-26 2005-03-17 Sony Computer Entertainment Inc 情報端末
JP2009039157A (ja) * 2007-08-06 2009-02-26 Sony Corp 生体運動情報表示処理装置、生体運動情報処理システム、生体運動情報表示処理方法
JP2018074294A (ja) * 2016-10-26 2018-05-10 学校法人幾徳学園 情報処理システムおよび情報処理方法
JP2018120520A (ja) * 2017-01-27 2018-08-02 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018202012A (ja) * 2017-06-07 2018-12-27 スマート ビート プロフィッツ リミテッド 情報処理システム
WO2019082687A1 (ja) * 2017-10-27 2019-05-02 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
JP2020057153A (ja) * 2018-10-01 2020-04-09 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US20210358193A1 (en) * 2020-05-12 2021-11-18 True Meeting Inc. Generating an image from a certain viewpoint of a 3d object using a compact 3d model of the 3d object

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7037158B1 (ja) 2021-12-20 2022-03-16 有限会社池谷製作所 仮想空間における移動を操作する家具型機器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP2005066133A (ja) * 2003-08-26 2005-03-17 Sony Computer Entertainment Inc 情報端末
JP2009039157A (ja) * 2007-08-06 2009-02-26 Sony Corp 生体運動情報表示処理装置、生体運動情報処理システム、生体運動情報表示処理方法
JP2018074294A (ja) * 2016-10-26 2018-05-10 学校法人幾徳学園 情報処理システムおよび情報処理方法
JP2018120520A (ja) * 2017-01-27 2018-08-02 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018202012A (ja) * 2017-06-07 2018-12-27 スマート ビート プロフィッツ リミテッド 情報処理システム
WO2019082687A1 (ja) * 2017-10-27 2019-05-02 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
JP2020057153A (ja) * 2018-10-01 2020-04-09 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US20210358193A1 (en) * 2020-05-12 2021-11-18 True Meeting Inc. Generating an image from a certain viewpoint of a 3d object using a compact 3d model of the 3d object

Also Published As

Publication number Publication date
JP7819782B2 (ja) 2026-02-25
JPWO2024084580A1 (ja) 2024-04-25

Similar Documents

Publication Publication Date Title
US11481946B2 (en) Information processing apparatus, information processing method, program, and information processing system for reinforcing target behavior
US10901509B2 (en) Wearable computing apparatus and method
US9557814B2 (en) Biometric interface for a handheld device
CN110575001B (zh) 显示控制装置、显示控制方法及存储显示控制程序的介质
JP7655529B2 (ja) 情報処理装置及びプログラム
JP2013258555A (ja) ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
US20120194648A1 (en) Video/ audio controller
TW200827769A (en) Display device and display method
JP7207468B2 (ja) 出力制御装置、出力制御方法およびプログラム
Yeh et al. A multiplayer online car racing virtual-reality game based on internet of brains
JP7279121B2 (ja) ユーザ行動支援装置、方法およびプログラム
JP7819782B2 (ja) 体性感覚制御装置、方法およびプログラム
Eftekharifar et al. The role of binocular disparity and active motion parallax in cybersickness
US12254547B2 (en) System and method of head mounted display
CN117008725A (zh) 一种设备参数调整方法、装置及虚拟现实设备
JP2020099550A (ja) Ｖｄｔ症候群及び繊維筋痛症の改善
Hassan et al. Augmenting the Sense of Social Presence in Online Video Games Through the Sharing of Biosignals
KR102361994B1 (ko) 배틀 게임 시스템
WO2025099796A1 (ja) 情報処理装置、情報処理方法および記録媒体
JP7674745B2 (ja) フレイルを予防及び／又は改善するためのプロトコルを支援するための支援システム、支援方法、支援装置及び支援コンピュータプログラム
CN209203292U (zh) 一种用户情绪显示系统
JP2024165535A (ja) 撮像装置システム、及びサーバ装置
JP2025097866A (ja) 情報処理システム、情報処理方法及びプログラム
JP2019103036A (ja) 情報処理装置、情報処理システム、及びプログラム
JP2026068477A (ja) システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962692

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024551093

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22962692

Country of ref document: EP

Kind code of ref document: A1