WO2018011988A1 - 仮想現実システム、及び、情報処理システム - Google Patents

仮想現実システム、及び、情報処理システム Download PDF

Info

Publication number
WO2018011988A1
WO2018011988A1 PCT/JP2016/071046 JP2016071046W WO2018011988A1 WO 2018011988 A1 WO2018011988 A1 WO 2018011988A1 JP 2016071046 W JP2016071046 W JP 2016071046W WO 2018011988 A1 WO2018011988 A1 WO 2018011988A1
Authority
WO
WIPO (PCT)
Prior art keywords
biometric data
user
information processing
information
content
Prior art date
Application number
PCT/JP2016/071046
Other languages
English (en)
French (fr)
Inventor
浩史 澁川
雅史 田中
Original Assignee
ブレイニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブレイニー株式会社 filed Critical ブレイニー株式会社
Priority to EP16899690.8A priority Critical patent/EP3296940A4/en
Priority to CN201680087235.6A priority patent/CN109478288B/zh
Priority to PCT/JP2016/071046 priority patent/WO2018011988A1/ja
Priority to JP2016567869A priority patent/JP6095191B1/ja
Priority to CN202110945400.XA priority patent/CN113625880B/zh
Priority to US15/799,900 priority patent/US10437057B2/en
Publication of WO2018011988A1 publication Critical patent/WO2018011988A1/ja
Priority to US16/549,912 priority patent/US10996474B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to a virtual reality system and an information processing system.
  • VR virtual reality
  • a goggle-shaped device hereinafter referred to as a VR headset
  • the VR headset is provided with two displays corresponding to the left and right eyes, and each display displays an image with parallax for a user who has viewed the image to obtain a sense of depth (or a feeling of popping out).
  • the VR headset is equipped with a position sensor, acceleration sensor, gyro sensor, etc., and whenever the position or orientation of the user's head changes, the user's field of view moves in the direction in which the position or orientation of the user's head changes. As shown, the images displayed on the two displays are changed. Thereby, the user can obtain a feeling that the user is actually moving his / her head in the VR.
  • a user who experiences VR using a VR headset removes the VR headset and performs an operation for settlement when payment processing is required for purchase of paid content provided in the VR, for example.
  • the operation for settlement is, for example, input of a card number such as a credit card, input of a personal identification number, input of personal information, and the like.
  • a card number such as a credit card
  • a personal identification number input of personal information, and the like.
  • the present invention has been made in consideration of the above circumstances, and provides a VR system that facilitates settlement for a user who uses a VR headset and ensures the security of the settlement.
  • a virtual reality system includes a controller, a first information processing device, a VR headset, a biological data acquisition device, a first sensor, a second sensor, and second information. And a processing device.
  • the controller receives an instruction from the user.
  • the first information processing apparatus generates VR content according to the instruction received from the controller.
  • the VR headset is worn by the user and displays VR content received from the first information processing apparatus to the user.
  • the biometric data acquisition apparatus acquires user biometric data.
  • the first sensor generates first position information indicating the position of the biometric data acquisition device and first direction information indicating the direction of the biometric data acquisition device, and the first position information and the first direction information. Are transmitted to the first information processing apparatus.
  • the second sensor generates second position information indicating the position of the VR headset and second direction information indicating the direction of the VR headset, and generates the second position information and the second direction information. Transmit to the first information processing apparatus.
  • the second information processing apparatus is communicably connected to the first information processing apparatus.
  • the first information processing apparatus includes a content generation unit, a content transmission unit, and a biometric data transmission unit. When the content generation unit receives a settlement instruction from the controller, the content generation unit receives the first position information and the first direction information received from the first sensor, the second position information received from the second sensor, and the second position information.
  • the user wearing the VR headset Based on the direction information, the user wearing the VR headset recognizes the position and direction of the biometric data acquisition device and prompts the user wearing the VR headset to input biometric data by the biometric data acquisition device. An image is added to the VR content.
  • the content transmission unit transmits the VR content to the VR headset.
  • the biometric data transmission unit receives the biometric data of the user from the biometric data acquisition apparatus after VR content including an image prompting the user to input biometric data is displayed by the VR headset, and the biometric data is transmitted to the second information processing apparatus. Send to.
  • the second information processing device collates the biometric data received from the first information processing device with the registered biometric data of the user stored in the storage device referenced by the second information processing device, A biometric authentication unit that permits a settlement instruction in the case of success is included.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a VR system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the VR processing apparatus according to the first embodiment.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the VR headset according to the first embodiment.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the controller according to the first embodiment.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the sensor device according to the first embodiment.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the server device according to the first embodiment.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the mobile terminal according to the first embodiment.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a VR system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the VR processing apparatus according to the first embodiment.
  • FIG. 3 is a
  • FIG. 8 is a flowchart illustrating an example of payment processing using the VR system according to the first embodiment.
  • FIG. 9 is a flowchart illustrating the biometric data matching process according to the first embodiment.
  • FIG. 10 is a flowchart illustrating a biometric data registration process according to the first embodiment.
  • FIG. 11 is a diagram illustrating a first example of a VR screen display at the time of biometric data registration or biometric data acquisition according to the first embodiment.
  • FIG. 12 is a diagram illustrating a second example of the VR screen display at the time of biometric data registration or biometric data acquisition according to the first embodiment.
  • FIG. 13 is a diagram illustrating a VR screen display when biometric data is selected according to the first embodiment.
  • FIG. 14 is a diagram illustrating a VR screen display during content sharing according to the first embodiment.
  • FIG. 15 is a diagram illustrating a VR screen display during character display according to the second embodiment.
  • FIG. 16 is a flowchart illustrating an attribute determination process according to the second embodiment.
  • FIG. 17 is a block diagram illustrating the configuration of an automatic diagnosis system according to the third embodiment.
  • FIG. 18 is a flowchart illustrating the process of the automatic diagnosis system according to the third embodiment.
  • FIG. 19 is a diagram illustrating a first example of a screen display in the automatic diagnosis system according to the third embodiment.
  • FIG. 20 is a diagram illustrating a second example of screen display in the automatic diagnosis system according to the third embodiment.
  • the position and direction of the biometric data acquisition device included in the VR system is detected, and an image that allows the user wearing the VR headset to recognize the position and direction of the biometric data acquisition device at the time of settlement is obtained.
  • a VR system that is displayed on the display of the VR headset and allows the user to input biometric data while wearing the VR headset will be described.
  • the direction of the biometric data acquisition device may be a direction in which the biometric data acquisition device can acquire biometric data with high sensitivity and high accuracy, in other words, a direction in which the biometric data acquisition device performs sensing.
  • the identification information is referred to as ID.
  • the biometric data is, for example, fingerprint data, vein data, arterial data, palm data, retinal data, iris data, face data, blood vessel data, voice data, voiceprint data, ear data, or other data. It may be.
  • the biological data acquisition device may be, for example, a biological sensor, a camera, a microphone, or the like for acquiring the biological data.
  • the card type may be, for example, a credit card, a debit card, a prepaid card, an electronic money card, a point card, a cash card, or another card for performing electronic payment.
  • the present embodiment can be similarly applied when the medium or product used for settlement is not a card.
  • the settlement in the present embodiment may be a settlement using virtual currency.
  • the content includes, for example, image data, video data, software including at least one of a program and data, sound data, and the like.
  • the content may be a game program, for example.
  • FIG. 1 is a block diagram showing an example of the configuration of the VR system 1 according to the present embodiment.
  • the VR system 1 includes a VR processing device 2, a human body wearing device HD, a sensor device 5, and server devices 6 and 12.
  • the human body wearing device HD includes a VR headset 3 and a controller 4.
  • the VR headset 3 and the controller 4 are devices that the user U wears or directly holds and operates.
  • the VR system 1 can be controlled by the VR headset 3 and the controller 4.
  • the VR system 1 may include the mobile terminal 7 of the user U, or may include the mobile terminal 8 of another user V who is not the user U.
  • the mobile terminals 7 and 8 and the VR processing device 2 may be communicable via the network N, for example, or may be communicable without going through the network N. More specifically, the mobile terminals 7 and 8 and the VR processing device 2 may be communicable via a telephone line or the Internet, for example.
  • the portable terminals 7 and 8 and the VR processing device 2 may be communicable by wireless LAN communication, may be communicable by short-range wireless communication, or may be communicable by infrared communication.
  • the VR headset 3 is a device that the user U wears on the head.
  • the VR headset 3 includes a display, and the display displays the VR content generated by the VR processing device 2.
  • the user U can experience VR by visually recognizing the VR content displayed on the display.
  • the VR headset 3 includes a biological data acquisition device 33 and a sensor unit 32, for example.
  • the biometric data acquisition device 33 acquires the biometric data of the user U, for example, in contact with the user U or without contact. More specifically, the biological data acquisition device 33 includes, for example, a biological sensor corresponding to fingerprint data, vein data, artery data, palm data, retinal data, iris data, or voiceprint data.
  • the sensor unit 32 generates position information indicating the position of the VR headset 3 and direction information indicating the direction of the VR headset 3, and transmits the position information and direction information of the VR headset 3 to the VR processing device 2. .
  • the sensor unit 32 corresponds to the biometric data acquisition device 33, generates position information indicating the position of the biometric data acquisition device 33 and direction information indicating the direction of the biometric data acquisition device 33, and generates biometric data.
  • the position information and direction information of the acquisition device 33 may be transmitted to the VR processing device 2.
  • the controller 4 is a device for the user U to operate the VR system 1 and receives an instruction from the user U.
  • the controller 4 may be operated by being held in each of the left and right hands of the user U, or may be worn on either the left or right foot or other body part.
  • the VR system 1 includes two controllers 4 and each controller 4 is operated by being held in the left and right hands of the user U.
  • the controller 4 includes a biometric data acquisition device 43 and a sensor unit 42.
  • the biometric data acquisition device 43 acquires the biometric data of the user U, for example, in contact with the user U or without contact. More specifically, the biometric data acquisition device 43 includes, for example, a biometric sensor corresponding to fingerprint data, vein data, artery data, palm data, or voiceprint data.
  • the sensor unit 42 generates position information indicating the position of the controller 4 and direction information indicating the direction of the controller 4, and transmits the position information and direction information of the controller 4 to the VR processing device 2.
  • the sensor unit 42 corresponds to the biometric data acquisition device 43, generates position information indicating the position of the biometric data acquisition device 43 and direction information indicating the direction of the biometric data acquisition device 43, and generates biometric data.
  • the position information and direction information of the acquisition device 43 are transmitted to the VR processing device 2.
  • the sensor device 5 is a device that assists the construction of the VR experienced by the user U. Specifically, for example, when a plurality of sensor devices 5 are connected to the VR processing device 2, the VR processing device 2 displays the position of the sensor device 5 on the display included in the VR headset 3, thereby U may indicate the range in which the VR headset 3 can be mounted and moved. Further, for example, the VR processing device 2 may measure the movement, posture, position of a specific part of the body, and the like using the sensors provided in the plurality of sensor devices 5. Further, for example, the sensor device 5 may give the user U a sense of reality by making a sound when the user U approaches. In the following, it is assumed that there are four sensor devices 5 included in the VR system 1.
  • the sensor device 5 includes a biometric data acquisition device 53 and a sensor unit 52.
  • the biometric data acquisition device 53 acquires the biometric data of the user U without contacting the user U, for example. More specifically, the biometric data acquisition device 53 includes, for example, a biometric sensor and a camera corresponding to voiceprint data.
  • the sensor unit 52 generates position information indicating the position of the sensor device 5 and direction information indicating the direction of the sensor device 5, and transmits the position information and direction information of the sensor device 5 to the VR processing device 2.
  • the sensor unit 52 corresponds to the biometric data acquisition device 53, generates position information indicating the position of the biometric data acquisition device 53 and direction information indicating the direction of the biometric data acquisition device 53, and generates biometric data.
  • the position information and direction information of the acquisition device 53 are transmitted to the VR processing device 2.
  • the mobile terminal 7 can communicate with the VR processing device 2.
  • the mobile terminal 7 may be, for example, a mobile phone such as a smartphone, a tablet terminal, or the like.
  • the mobile terminal 7 may be used instead of the controller 4. That is, the user U may be able to operate the VR system 1 using the mobile terminal 7.
  • the mobile terminal 7 includes, for example, a biometric data acquisition device 73 and a sensor unit 72, and may be used to input the biometric data of the user U similarly to the sensor device 5.
  • the biometric data acquisition device 73 acquires the biometric data of the user U, for example, in contact with the user U or without contact. More specifically, the biometric data acquisition device 43 includes, for example, a biometric sensor corresponding to fingerprint data, vein data, artery data, palm data, or voiceprint data.
  • the sensor unit 72 generates position information indicating the position of the mobile terminal 7 and direction information indicating the direction of the mobile terminal 7, and transmits the position information and direction information of the mobile terminal 7 to the VR processing device 2.
  • the sensor unit 72 corresponds to the biometric data acquisition device 73, generates position information indicating the position of the biometric data acquisition device 73 and direction information indicating the direction of the biometric data acquisition device 73, and generates biometric data.
  • the position information and direction information of the acquisition device 73 are transmitted to the VR processing device 2.
  • the VR processing device 2 controls the entire VR system 1 or performs calculations necessary for the control.
  • the VR processing device 2 can communicate with the VR headset 3, at least one controller 4, and at least one sensor device 5 in a wired or wireless manner.
  • the VR processing device 2 generates VR content in response to the instruction received from the controller 4.
  • the VR processing device 2 includes, for example, a biometric data acquisition device 25, a sensor unit 26, a content generation unit 222, a content transmission unit 223, a biometric data transmission unit 224, and a content sharing unit 225.
  • the biometric data acquisition device 25 acquires the biometric data of the user U, for example, in contact with the user U or without contact. More specifically, the biometric data acquisition device 25 includes, for example, a biometric sensor corresponding to fingerprint data, vein data, arterial data, palm shape data, or voiceprint data.
  • the sensor unit 26 corresponds to the biometric data acquisition device 25, and generates position information indicating the position of the biometric data acquisition device 25 and direction information indicating the direction of the biometric data acquisition device 25.
  • the sensor unit 26 detects position information indicating the position of the VR headset 3 and direction information indicating the direction of the VR headset 3 by detecting light of a light mounted on the VR headset 3, for example. It may be generated.
  • the position information and direction information of the biometric data acquisition devices 25, 33, 43, 53, 73 received from the sensor units 26, 32, 42, 52, 72 are received.
  • the VR headset 3 is attached to the positions and directions of the biometric data acquisition devices 25, 33, 43, 53, 73 based on the position information and direction information of the user U received from the sensor units 26, 32, 52.
  • the user U who recognizes the biometric data acquisition device 25, 33, 43, 53, 73, an image that prompts the user U wearing the VR headset 3 to add biometric data to the VR content.
  • the content transmission unit 223 transmits the VR content to the VR headset 3.
  • the biometric data transmission unit 224 receives the user U from any of the biometric data acquisition devices 25, 33, 43, 53, and 73.
  • the biometric data D1 is received, and the biometric data D1 is transmitted to the server device 6.
  • the content sharing unit 225 can display the VR content displayed on the display unit 37 of the VR headset also on the mobile terminal 8 operated by another user V who is not the user U. That is, the content sharing unit 225 authenticates the mobile terminal 8 that can communicate with the VR processing device 2, and when the authentication with respect to the mobile terminal 8 is successful, permits the communication between the VR processing device 2 and the mobile terminal 8,
  • the VR content is converted into content corresponding to the mobile terminal 8, and the converted content is transmitted to the mobile terminal 8.
  • the user V is a friend or family member of the user U.
  • the content transmitted to the mobile terminal 8 may be content obtained by converting VR content into content not corresponding to VR, or content obtained by converting VR content into content suitable for the browser of the mobile terminal 8.
  • the portable terminal 8 includes a display unit 75, and displays the content received from the content sharing unit 225.
  • the server device 6 is connected to the VR processing device 2 via the network N so as to be communicable.
  • the server device 6 can refer to the database DB.
  • the database DB stores biometric data D2 registered by the user U.
  • the server device 6 includes a biometric authentication unit 62.
  • the biometric authentication unit 62 collates the biometric data D1 received from the VR processing device 2 via the network N with the registered biometric data D2 stored in the database DB. When the collation is successful, the server device 6 transmits a settlement permission notification indicating that the settlement is permitted to the server device 12 via the network N.
  • the server device 12 is communicably connected to the VR processing device 2 and the server device 6 via a network.
  • the server device 12 may be integrated with the server device 6.
  • the server device 12 includes a settlement processing unit 121.
  • the payment processing unit 121 receives a payment permission notification from the server device 6 via the network N
  • the payment processing unit 121 executes payment processing for the user U according to the payment instruction received from the VR processing device 2 via the network N.
  • the server device 12 is, for example, an acquirer (card payment company) server device, an issuer (card issuing company), or a card brand server device.
  • the content generation unit 222 adds an image or a character indicating that the content is shared to the VR content when the content sharing unit 225 transmits the content to the mobile terminal 8.
  • the content transmission unit 223 transmits VR content including images or characters indicating that the content is shared to the VR headset 3. Thereby, the user U wearing the VR headset 3 can recognize that the user V is sharing the content.
  • the content generation unit 222 determines the difference between the position information of one of the biometric data acquisition devices and the position information of the VR headset 3, the direction information of any one of the biometric data acquisition devices, and the direction information of the VR headset 3.
  • An image that guides the user U to any one of the biometric data acquisition devices may be added to the VR content based on the difference between the VR content and the VR content.
  • the content generation unit 222 may determine the attribute of the character corresponding to the user U based on the biometric data D1 acquired by any of the biometric data acquisition devices, and generate VR content according to the attribute. .
  • the content generation unit 222 receives the biological data D2 stored in the database DB via the server device 6 and the network N, determines the attribute of the character corresponding to the user U based on the received biological data D2, VR content may be generated according to the above.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the VR processing device 2 according to the present embodiment.
  • the VR processing device 2 includes a connection unit 21, a processor 22, a storage unit 23, a communication unit 24, a biometric data acquisition device 25, and a sensor unit 26.
  • the VR processing device 2 may not include the biometric data acquisition device 25.
  • the above-described processing units can communicate with each other via an internal bus IB.
  • connection unit 21 connects the VR processing device 2, the VR headset 3, the controller 4, and the sensor device 5.
  • the processor 22 performs arithmetic processing of the VR system 1.
  • the processor 22 includes a control unit 221, a content generation unit 222, a content transmission unit 223, a biometric data transmission unit 224, and a content sharing unit 225.
  • the processor 22 may be, for example, a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), or a DSP (Digital Signal Processor).
  • a CPU Central Processing Unit
  • MPU Micro-Processing Unit
  • DSP Digital Signal Processor
  • the control unit 221 controls the entire VR system 1.
  • the control unit 221 transmits and receives commands, addresses, data, information, instructions, signals, and the like to and from the VR headset 3, the controller 4, and the sensor device 5 via the connection unit 21.
  • the content generation unit 222 generates VR content to be displayed on the display included in the VR headset 3.
  • the VR content generated by the content generation unit 222 is transmitted to the VR headset 3 by the content transmission unit 223 via the connection unit 21.
  • the VR content may be transmitted to an external device such as the mobile terminals 7 and 8 via the communication unit 24.
  • the storage unit 23 may be used as a main storage device, for example.
  • the storage unit 23 follows the control from the processor 22. Data to be processed by the processor 22 is temporarily stored in the storage unit 23 based on the control of the processor 22.
  • the storage unit 23 stores the program 231 in, for example, a nonvolatile storage area.
  • the processor 22 may implement functions as the control unit 221, the content generation unit 222, the content transmission unit 223, the biometric data transmission unit 224, and the content sharing unit 225 by executing the program 231.
  • the biometric data D1 is biometric data of the user U acquired using any of the biometric data acquisition devices 25, 33, 43, 53, and 73.
  • the communication unit 24 transmits / receives commands, addresses, data, information, instructions, signals, and the like between the VR processing device 2 and the server devices 6 and 12 and the mobile terminals 7 and 8 via the network N, for example.
  • the communication unit 24 may communicate with other devices that are not the server devices 6 and 12 and the mobile terminals 7 and 8 via the network N.
  • the VR processing device 2 may be a general-purpose PC (personal computer), for example, or hardware dedicated to the VR system 1.
  • FIG. 3 is a block diagram showing an example of the configuration of the VR headset 3 according to the present embodiment.
  • the VR headset 3 includes a connection unit 31, a sensor unit 32, a biological data acquisition device 33, a control unit 34, a microphone 35, a speaker 36, and a display unit 37.
  • connection unit 31 connects the VR headset 3 and the VR processing device 2.
  • the sensor unit 32 includes an angular velocity sensor (gyro sensor) S1.
  • the sensor unit 32 may be built in the biometric data acquisition device 33 or may be installed in the vicinity of the biometric data acquisition device 33.
  • the angular velocity sensor S1 is a sensor that can detect a change in the rotation angle and direction of an object including the sensor. In other words, the change in the position and the direction of the VR headset can be detected by the angular velocity sensor S1.
  • the sensors included in the sensor unit 32 are not limited to those described above, and may include, for example, a proximity sensor, an acceleration sensor, a position sensor, a magnetic sensor, and a luminance sensor.
  • the control unit 34 controls each processing unit included in the VR headset 3.
  • the control unit 34 transmits / receives commands, addresses, data, information, instructions, signals, and the like to / from the VR processing device 2 via the connection unit 31. More specifically, for example, the control unit 34 receives sensor data such as position information and direction information acquired by the sensor unit 32, biological data acquired by the biological data acquisition device 33, and audio data input to the microphone 35. The data is transmitted to the VR processing device 2 via the connection unit 31.
  • the control unit 34 receives audio data from the VR processing device 2 via the connection unit 31 and outputs the audio data to the speaker 36, and receives VR content and outputs it to the display unit 37.
  • the microphone 35 inputs the voice of the user U to the VR system 1.
  • the microphone 35 may also serve as the biometric data acquisition device 33.
  • the speaker 36 outputs the sound generated by the VR processing device 2 or the sound generated by the control unit 34.
  • the speaker 36 may be a headphone, for example.
  • the display unit 37 displays the VR content generated by the content generation unit 222 of the VR processing device 2.
  • the display unit 37 includes two displays corresponding to the eyes of the user U.
  • the display unit 37 in a state where VR content is displayed is referred to as a VR screen.
  • FIG. 4 is a block diagram showing an example of the configuration of the controller 4 according to the present embodiment.
  • the controller 4 includes a connection unit 41, a sensor unit 42, a biological data acquisition device 43, a control unit 44, and an input unit 45.
  • connection unit 41 connects the controller 4 and the VR processing device 2.
  • the configuration of the sensor unit 42 is the same as that of the sensor unit 32.
  • the control unit 44 controls each processing unit included in the controller 4.
  • the control unit 44 transmits and receives commands, addresses, data, information, instructions, signals, and the like to and from the VR processing device 2 via the connection unit 41. More specifically, for example, the control unit 44 receives sensor data such as position information and direction information acquired by the sensor unit 42, biometric data acquired by the biometric data acquisition device 43, and data input to the input unit 45. The data is transmitted to the VR processing device 2 via the connection unit 41.
  • the input unit 45 receives an operation of the user U.
  • the input unit 45 may be, for example, a button, an analog stick, a rotary encoder, a touch panel, or various sensors.
  • FIG. 5 is a block diagram showing an example of the configuration of the sensor device 5 according to this embodiment.
  • the sensor device 5 includes a connection unit 51, a sensor unit 52, a biological data acquisition device 53, a control unit 54, a microphone 55, and a speaker 56. Further, the sensor device 5 may include a camera 57.
  • connection unit 51 connects the sensor device 5 and the VR processing device 2.
  • the configuration of the sensor unit 52 is the same as that of the sensor unit 32.
  • the control unit 54 controls each processing unit included in the sensor device 5.
  • the control unit 54 transmits and receives commands, addresses, data, information, instructions, signals, and the like to and from the VR processing device 2 via the connection unit 51.
  • the operation of the control unit 54 is equivalent to the operation of the control units 34 and 44.
  • the microphone 55 inputs the voice of the user U to the VR system 1. Note that when the sensor device 5 can acquire voiceprint biometric data, the microphone 55 may also serve as the biometric data acquisition device 53.
  • the speaker 56 outputs the sound generated by the VR processing device 2 or the sound generated by the control unit 34.
  • the camera 57 takes a still image or a moving image.
  • the camera 57 may be capable of capturing a two-dimensional image, or may be capable of acquiring depth information such as a stereo camera or an infrared camera.
  • the control unit 54 performs image processing on a still image or a moving image captured by the camera 57, for example, a gesture of the user U that cannot be recognized by the sensor unit 52, or a leg, arm, or joint of the user U It may be possible to recognize the movement of a specific part such as an object or an object existing in a space where the user U can move.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the server device 6 according to the present embodiment.
  • the server device 6 includes a communication unit 61, a biometric authentication unit 62, and a control unit 63.
  • the communication unit 61 is connectable to the network N and communicates with the VR processing device 2 via the network N.
  • the communication unit 61 can communicate with the database DB.
  • the database DB may be connected to the network N and may be able to communicate with the server device 6 via the network N.
  • the control unit 63 controls each processing unit included in the server device 6.
  • the control unit 63 transmits / receives commands, addresses, data, information, instructions, signals, and the like between the VR processing device 2 and the database DB via the communication unit 61.
  • the control unit 63 transmits a settlement permission notification to the effect that the settlement is permitted to the server device 12 via the network N.
  • FIG. 7 is a block diagram showing an example of the configuration of the mobile terminals 7 and 8 according to the present embodiment.
  • the mobile terminal 7 includes a communication unit 71, a sensor unit 72, a biological data acquisition device 73, a processor 74, and a display unit 75.
  • the portable terminal 8 includes a communication unit 71, a sensor unit 72, a processor 74, a display unit 75, and a content sharing unit 76. Note that the mobile terminal 8 may include a biometric data acquisition device 73.
  • the communication unit 71 is connectable to the network N and communicates with the VR processing device 2 via the network N.
  • the communication unit 71 may be capable of directly communicating with the communication unit 24 of the VR processing device 2 by wire or wireless without going through the network N.
  • the sensor unit 72 is the same as the sensor unit 32.
  • the processor 74 performs arithmetic processing of the mobile terminal 7.
  • the processor 74 includes a control unit 741.
  • the control unit 741 controls each processing unit included in the mobile terminal 7.
  • the control unit 741 transmits and receives commands, addresses, data, information, instructions, signals, and the like to and from the VR processing device 2 via the communication unit 71.
  • the operation of the control unit 741 is equivalent to the operation of the control units 34, 44 and 54.
  • the display unit 75 is, for example, a display of a general mobile terminal.
  • the mobile terminal 8 when VR content is displayed on the display unit 75 of the mobile terminal 8 by the content sharing unit 225, the mobile terminal 8 is preferably authenticated (logged in) to the VR system 1.
  • a login ID and a password may be used.
  • the VR processing device 2 displays a login screen on the display unit 75 or the display unit 37 of the VR headset 3 when the mobile terminal 8 accesses the VR processing device 2.
  • the user U inputs a login ID and a password according to the instruction on the login screen.
  • biometric authentication may be used for logging in to the VR system 1.
  • the biometric authentication procedure is the same as the biometric authentication procedure (described later with reference to FIG. 9) performed during the settlement process.
  • FIG. 8 is a flowchart illustrating an example of payment processing using the VR system 1 according to this embodiment.
  • step S801 the VR processing device 2 is activated.
  • the VR headset 3, the controller 4, and the sensor device 5 connected to the VR processing device 2 are also turned on, and can be operated by the user U.
  • step S802 the VR content generated by the content generation unit 222 of the VR processing device 2 is transmitted to the VR headset 3 via the connection unit 21.
  • the display unit 37 of the VR headset 3 displays the VR content received from the VR processing device 2.
  • the content generation unit 222 generates VR content that the user U can select and purchase a product according to the selection of the user U or automatically.
  • step S803 a product to be purchased by the user U is selected on the product selection screen displayed on the display unit 37.
  • the product may be selected, for example, by the user U operating the controller 4. Further, when the purchase of the selected product is approved, the VR processing device 2 starts a settlement process.
  • the consent to purchase the product may be performed, for example, by the user U selecting a purchase button displayed in the VR content.
  • step S804 the VR processing device 2 starts a biometric data collation process. Details of the biometric data collating process will be described later with reference to FIG.
  • step S805 the VR processing device 2 confirms the biometric data matching processing result obtained by the processing in step S804.
  • the VR processing device 2 or the server device 6 transmits a settlement permission notification to the server device 12.
  • the server device 12 receives a settlement permission notification from the VR processing device 2, and the settlement processing unit 121 performs a settlement process.
  • the server device 6 transmits a payment completion notification to the VR processing device 2 via the communication unit 61.
  • the VR processing device 2 receives the payment completion notification, and the content generation unit 222 generates VR content including a display indicating that the payment is completed.
  • step S808 the content generation unit 222 of the VR processing device 2 generates VR content including a display indicating that payment has failed.
  • the display of payment completion or payment failure may be, for example, a message, icon, dialog box, or the like.
  • the VR processing device 2 may perform authentication (login) of the user U at the time of activation in step S801.
  • Biometric authentication may be used to log in to the VR system 1.
  • the biometric authentication procedure is the same as the biometric authentication procedure (see FIG. 9) performed during the settlement process.
  • FIG. 9 is a flowchart illustrating a biometric data matching process according to this embodiment.
  • step S901 when there are a plurality of biometric data acquisition devices that can be used in the VR system 1, the VR processing device 2 causes the user to select which biometric data acquisition device to use to acquire biometric data.
  • the process proceeds to step S902.
  • step S902 the VR processing device 2 detects position information and direction information of the biometric data acquisition device designated by the user U in step S901. Specifically, when the biometric data acquisition device 33 is designated, the VR processing device 2 uses the VR headset 3 and the biometric data acquisition device 33 detected by the sensor unit 32 from the control unit 34 of the VR headset 3. Position information and direction information are received. Similarly, when the biometric data acquisition device 43 is designated, the VR processing device 2 receives the position information and direction information of the controller 4 and the biometric data acquisition device 43 detected by the sensor unit 42 from the control unit 44.
  • the VR processing device 2 receives the position information and direction information of the sensor device 5 and the biometric data acquisition device 53 detected by the sensor unit 52 from the control unit 54. Receive. Or similarly, when the biometric data acquisition device 73 is designated, the VR processing device 2 receives position information and direction information of the mobile terminal 7 and the biometric data acquisition device 73 from the control unit 741. The VR processing device 2 temporarily stores the received position information and direction information in the storage unit 23.
  • step S903 the VR processing device 2 displays the position information and direction information of each device detected in step S902 in the VR screen.
  • the content generation unit 222 of the VR processing device 2 reads the position information and direction information of each device stored in step S902 from the storage unit 23.
  • the content generation unit 222 generates new VR content by superimposing the image of each device based on the read position information and direction information of each device on the original VR content.
  • step S904 the VR processing device 2 causes the user U to input biometric data to the designated biometric data acquisition device.
  • step S905 the VR processing device 2 searches for available biometric data acquisition devices. Specifically, the VR processing device 2 can use the biological data acquisition devices 33, 43, 53, and 73 included in each device to the VR headset 3, the controller 4, the sensor device 5, and the mobile terminal 7. Inquire whether or not.
  • the control units 34, 44, 54, 74 confirm the states of the biometric data acquisition devices 33, 43, 53, 73 and transmit to the VR processing device 2 whether or not each biometric data acquisition device is available. .
  • step S906 the VR processing device 2 displays the position, orientation, and type of the available biometric data acquisition device obtained in step S905.
  • the detection method and display method of the position and orientation of the biological data acquisition apparatus are the same as those described in step S902 and step S903.
  • step S907 the VR processing device 2 causes the user U to input biometric data to any of the biometric data acquisition devices displayed in step S906.
  • each biometric data processing device transmits biometric data D1 to the VR processing device 2 when biometric data input from the user U is completed.
  • the VR processing device 2 receives the biometric data D1 and stores the biometric data D1 in the storage unit 23.
  • the VR processing device 2 may store the received plurality of biometric data in the storage unit 23 when the biometric data is received from a plurality of biometric data acquisition devices, and the first or last received biometric data is valid. You may store in the memory
  • step S908 the VR processing device 2 transmits a biometric data collation command to the server device 6.
  • the biometric data transmission unit 224 reads the biometric data D1 from the storage unit 23, and transmits the biometric data collation command and the biometric data D1 to the server device 6.
  • step S909 the biometric authentication unit 62 of the server device 6 receives the biometric data D1 of the user U and a biometric data collation command.
  • the server device 6 confirms whether or not the received biometric data D1 is registered in the database DB. If the biometric data of the user U is registered, the process proceeds to step S911.
  • the server device 6 notifies the VR processing device 2 that the biometric data is not registered.
  • the VR processing device 2 receives the notification that the biometric data is not registered, and performs biometric data registration processing in step S910.
  • biometric data registration process may be performed independently of the payment process.
  • the biometric data registration process may be performed when the VR system 1 is activated for the first time. Details of the biometric data registration process will be described later with reference to FIG.
  • step S911 the biometric authentication unit 62 of the server device 6 performs a biometric data matching process. Specifically, the biometric authentication unit 62 reads the registered biometric data D2 of the user U registered in the database DB and compares it with the biometric data D1 received from the VR processing device 2. The biometric authentication unit 62 transmits to the VR processing device 2 that the verification result has succeeded or failed.
  • FIG. 10 is a flowchart illustrating a biometric data registration process according to this embodiment.
  • step S1001 the VR processing device 2 displays the types of biometric data acquisition devices that can be registered.
  • the search process of the biometric data acquisition device that can be registered is the same as the process in step S905.
  • step S1002 the VR processing device 2 displays the position, orientation, and type of the biometric data acquisition device that can be registered obtained in step S1001 on the VR screen.
  • the detection method and display method of the position and orientation of the biological data acquisition apparatus are the same as those described in step S906.
  • step S1003 the VR processing device 2 causes the user U to select one of the biometric data acquisition devices displayed on the VR screen in step S1002.
  • step S901 when the biometric data acquisition apparatus is designated in step S901, the same biometric data acquisition apparatus designated in step S901 may be automatically designated. In this case, in step S1001 and step S1002, the biometric data acquisition device specified in step S901 is displayed on the VR screen, and the process in step S1003 may not be performed.
  • step S1004 the VR processing device 2 causes the user U to input biometric data to the designated biometric data acquisition device.
  • the input biometric data is transmitted to the VR processing device 2.
  • step S1005 the VR processing device 2 receives the biometric data input to the biometric data acquisition device in step S1004.
  • the biometric data transmission unit 224 of the VR processing device 2 transmits the biometric data and a biometric data registration instruction to the server device 6.
  • step S1006 the server device 6 registers the received biometric data in the database DB.
  • FIG. 11 is a diagram showing a first example of VR screen display at the time of biometric data registration or biometric data acquisition according to the present embodiment. More specifically, FIG. 11 shows the VR screen V1 displayed on the display unit 37 in S906 of FIG. 9 and S1002 of FIG.
  • the VR screen V1 displays a biosensor selection screen W1 that indicates available (or registerable) biosensors.
  • the biosensor selection screen W1 is displayed in a superimposed manner on the VR screen V1, but the display method is not limited to this.
  • the VR screen V1 may be switched, and the biosensor selection screen W1 may be displayed on the entire screen.
  • the biosensor selection screen W1 displays an available biometric data acquisition device and a device including the available biometric data acquisition device.
  • the biosensor selection screen W ⁇ b> 1 is included in the VR headset 103, the iris sensor 103 ⁇ / b> A, the voice print sensor 103 ⁇ / b> B, the vein sensor 103 ⁇ / b> C, the controller 104, and the controller 104 included in the VR headset 103.
  • the vein sensor 104A, the fingerprint sensor 104B, and the controller 105, the vein sensor 105A included in the controller 105, the fingerprint sensor 105B, the sensor device 106, and the voiceprint sensor 106A included in the sensor device 106 are displayed.
  • the orientation of each device and the image of the biosensor displayed on the biosensor selection screen W1 is preferably changed in real time according to the movement of the user U who operates each device.
  • the display is such that the user U can easily distinguish between the same type of biosensors and different types of biosensors, for example, by color or shape.
  • the biosensor selection screen W2 shows a state in which the vein sensor 104A is selected by the user U among the biosensors displayed on the biosensor selection screen W1.
  • the selection of the biosensor may be performed, for example, by the user U operating the input unit 45 of the controller 4.
  • the selection of the biometric sensor may be performed, for example, when the user U gives an instruction by voice through the microphone 35 of the VR headset 3.
  • a sensing area A is displayed around the selected vein sensor 104A.
  • the sensing possible region indicates a range in which biological data can be acquired by bringing a part of the body of the user U close to the biological sensor.
  • User U inputs vein data, for example, by bringing a finger close within the range of the detectable area A of the displayed vein sensor 104A.
  • the display of the controller 104 displayed on the biosensor selection screen W ⁇ b> 2 changes due to the user U changing the position and orientation of the controller 4
  • the display of the sensing area A also changes to the position and orientation of the controller 104. It changes together.
  • the display mode of the sensing possible area is not limited to the mode shown in FIG. 11 as long as the area is displayed.
  • FIG. 12 is a diagram showing a second example of the VR screen display at the time of biometric data registration or biometric data acquisition according to the present embodiment.
  • the VR screen V2 shows a state in which the voiceprint sensor 106A is selected by the user U among the biosensors displayed on the biosensor selection screen W1 in FIG.
  • the VR processing device 2 guides the user U to a position where the voiceprint sensor 106A reacts.
  • the control unit 221 acquires the position of the user U.
  • the control unit 54 or the control unit 221 may calculate the position and orientation of the user U in the VR system 1.
  • the position and orientation detected by the sensor unit of the VR headset 3 attached to the user U may be set as the position and orientation of the user U.
  • control unit 221 determines a direction for guiding the user U based on the acquired position and orientation of the user U and the position and orientation of the voice print sensor 106A.
  • the direction in which the user U is guided is converted into data indicating the position and orientation in the VR system 1 and input to the content generation unit 222.
  • the content generation unit 222 draws an arrow 201 indicating the direction in which the user U is guided in the VR content based on the data received from the control unit 221.
  • the method of guiding the user U is not limited to the method described above.
  • the position of the voiceprint sensor 106A may be highlighted on the VR screen V2 by the content generation unit 222.
  • the VR screen V3 shows a state where the position of the user U has approached the position where the voiceprint sensor 106A reacts.
  • the control unit 221 notifies the user U that the voiceprint sensor 106A is available when the distance between the user U and the voiceprint sensor 106A becomes equal to or less than a certain value. For example, when the content generation unit 222 receives a notification from the control unit 221 that the distance between the user U and the voiceprint sensor 106A has become a certain value or less, the content generation unit 222 may draw the mark E1 on the voiceprint sensor 106A of the VR content. The user U inputs voiceprint data to the voiceprint sensor 106A by visually recognizing the mark E1 in the VR content.
  • the shape and display method of the mark E1 are not limited to those displayed in FIG.
  • the method for notifying the user U that the voiceprint sensor 106A is available is not limited to the above.
  • the user U may be notified by voice through the speaker 36 of the VR headset 3.
  • FIG. 13 is a diagram illustrating a VR screen display when selecting biometric data according to the present embodiment. More specifically, FIG. 13 shows the VR screen V4 displayed on the display unit 37 in S901 of FIG.
  • the VR screen V4 displays a biometric data selection screen W3.
  • the biometric data selection screen W3 is displayed in a superimposed manner on the VR screen V4, but the display method is not limited to this as with the biometric sensor selection screen W1.
  • the biometric data selection screen W3 displays the type of biometric data to be acquired.
  • the biometric data selection screen W3 displays fingerprint data B1, face data B2, iris data B3, vein data B4, and voiceprint data B5 as selectable items.
  • the fact that the item has been selected is displayed on the VR screen V4.
  • a mark E2 may be displayed around the selected item on the VR screen V4.
  • biometric data may be selected by the user U operating the input unit 45 of the controller 4.
  • the biometric data may be selected, for example, when the user U gives an instruction by voice through the microphone 35 of the VR headset 3.
  • FIG. 14 is a diagram illustrating a VR screen display during content sharing according to the present embodiment. More specifically, the VR screen V5 displayed on the display unit 37 when the content sharing unit 225 transmits content to the mobile terminal 8 is shown.
  • VR screen V5 includes screen display W4.
  • the screen display W ⁇ b> 4 is an image or a character indicating that the content is shared with the mobile terminal 8.
  • the screen display W4 can be displayed at any position on the VR screen V5 that can be recognized by the user. Further, the screen display W4 may be moved or deleted automatically or by an operation of the user U.
  • the VR system 1 can display the position and orientation of the biosensor on the VR screen. Thereby, the user U can input biometric data without removing the VR headset 3 even when purchasing a product within the VR screen and obtaining biometric data for settlement.
  • biometric data is used for payment, the security of payment is ensured.
  • the mobile terminal 7 owned by the user U can be added to the VR system 1 instead of the controller 4, for example.
  • a system can be constructed with a normal virtual realization system and a mobile phone, and the cost can be reduced.
  • the VR system 1 guides the user U to a position where the user U can input biometric data even when the biometric data acquisition apparatus and the user U are separated from each other. Thereby, the convenience of the user U who inputs biometric data further increases.
  • the VR content displayed on the display unit 37 of the VR headset 3 can be output also to the display unit 75 of the mobile terminal 8 authenticated by the VR system 1.
  • the parent when sharing the VR system 1 with a family, for example, the parent can grasp what kind of game the child wearing the VR headset 3 is playing using his / her mobile terminal 8, Protect from harmful content.
  • VR content can be shared with those who do not wear the VR headset 3, and amusement can be improved.
  • the VR system used in the present embodiment is the same as the VR system 1 in the first embodiment.
  • FIG. 15 is a diagram illustrating a VR screen display during character display according to the second embodiment.
  • the VR screen V6 displays the character C corresponding to the user U and the attribute X of the character C.
  • the attribute X need not always be displayed on the VR screen V6, and may be displayed only when the user U receives an instruction to display the attribute X.
  • Attribute X includes the character C attribute.
  • the attribute X includes name P1, gender P2, age P3, physical strength P4, and personality P5.
  • the attribute of the character C may include items other than these.
  • the appearance and state of the character C image may change depending on the content of the attribute X item.
  • the appearance of the character C may be changed to match the sex P2 or the age P3
  • the posture of the character C may be changed by the physical strength P4
  • the expression of the character C may be changed by the personality P5. Also good.
  • Each item of the attribute X may be updated based on the result of analyzing the biometric data of the user U by the VR system 1 every time the user U performs biometric authentication.
  • FIG. 16 is a flowchart illustrating an example of attribute determination processing according to the second embodiment.
  • step S1601 the biometric data of the user U is input to an arbitrary biometric data acquisition device in the VR system 1.
  • the timing at which the biometric data of the user U is input may be step S904 or step S907 in FIG. 9 or step S1004 in FIG. 10, or may be input at a timing other than these.
  • the biometric data acquired by the biometric data acquisition device is transmitted to the VR processing device 2.
  • step S1602 the control unit 221 of the VR processing device 2 receives the biometric data input by the user U and performs analysis processing. For example, when the biometric data is voiceprint data, the control unit 221 determines the age and sex of the user U based on the pitch and quality of the voice. For example, when the biometric data is face data, the control unit 221 determines the personality of the user U by reading a facial expression. Note that the analysis processing performed by the control unit 221 is not limited to the above.
  • step S1603 the control unit 221 determines the attribute of the character C based on the analysis result of the biometric data obtained in step S1602.
  • the type (item) of the attribute may be determined in advance by the user U, or may be automatically generated by the control unit 221 based on the analysis result.
  • step S1604 the control unit 221 performs generation processing or update processing of the character C based on the attribute obtained in step S1603.
  • the image that is the basic state of the character C may be selected in advance by the user U.
  • the control unit 221 may automatically generate the character C based on the attribute.
  • step S1605 the control unit 221 inputs character information and attribute information to the content generation unit 222.
  • the content generation unit 222 generates VR content including display of the character C and the attribute X based on the input character information and attribute information.
  • the VR content is transmitted to the VR headset 3 by the content transmission unit 223 and displayed on the display unit 37.
  • the character C that automatically reflects the attribute X included in the biometric data can be displayed in the VR screen.
  • biological data that a user of the VR system routinely inputs to the VR system is accumulated, the accumulated biological data is input to the diagnostic system, and the result is received, so that the user can use the diagnostic system.
  • a diagnostic system that can obtain simple diagnosis results of diseases without being conscious of collecting necessary data.
  • user convenience can be further enhanced by proposing hospitals and departments that can be used by the user based on the diagnosis result.
  • FIG. 17 is a block diagram illustrating the configuration of an automatic diagnosis system according to the third embodiment.
  • the automatic diagnosis system 11 includes a VR system 1A, a diagnosis server device 9, and a reservation system 10.
  • the VR processing device 2 included in the VR system 1A includes a storage unit 23.
  • the storage unit 23 includes biological data D1 and position information 233.
  • the biometric data D1 stores the biometric data input by the user U to any of the biometric data acquisition devices 25, 33, 43, 53, and 73.
  • the location information 233 is used, for example, for the diagnosis server device 9 to extract a hospital where the user U can receive medical care.
  • the location information 233 may be, for example, an address registered in advance in the VR system 1 by the user U.
  • GPS Global Positioning System
  • a screen display T1 described later is displayed. It may be a position indicated by the GPS when displaying.
  • the method for acquiring the position information 233 is not limited to the above.
  • the diagnostic server device 9 includes a storage unit 91, a control unit 92, and a communication unit 93.
  • the storage unit 91 includes hospital information 911.
  • the hospital information 911 is information for associating, for example, a disease name, a hospital and medical department that can handle the disease name, and the position of the hospital.
  • the control unit 92 controls the entire diagnostic server device 9. For example, the control unit 92 executes a diagnosis process based on the biometric data of the user U, and obtains a disease name as a diagnosis result. Further, the control unit 92 generates a list of hospitals and departments that can handle disease names based on the hospital information 911, the diagnosis result, and the position information 233 received from the VR processing device 2, and the list is displayed as VR. Send to processing device.
  • the communication unit 93 transmits / receives commands, addresses, data, information, instructions, signals, and the like to / from the VR processing device 2 via the network N, for example.
  • the reservation system 10 is a general hospital reservation system capable of accepting reservations for medical treatment dates and times from patients and the like.
  • the reservation system 10 is realized by, for example, a program that operates on a server device provided in a hospital.
  • FIG. 18 is a flowchart illustrating the processing of the automatic diagnosis system 11 according to this embodiment.
  • step S1801 the VR processing device 2 is activated.
  • the VR headset 3, the controller 4, and the sensor device 5 connected to the VR processing device 2 are also turned on, and can be operated by the user U.
  • the VR processing device 2 collects biometric data used at the time of log-in when biometric data input is required when logging in to the VR system 1A.
  • the VR processing device 2 includes the biological data acquisition device that receives the biological data input to any of the biological data acquisition devices 25, 33, 43, 53, and 73 when the user U logs in. It is received from any of the headset 3, the controller 4, the sensor device 5, and the mobile terminal 7 and stored in the storage unit 23.
  • the user U may perform login to the VR system 1 ⁇ / b> A with respect to the VR processing device 2, or the user U may perform with respect to the mobile terminal 7.
  • step S1803 the VR processing device 2 collects biometric data used at the time of payment every time payment processing is performed in the VR system 1A.
  • the biometric data collection method is the same as that in step S1802.
  • step S1804 the VR processing device 2 confirms whether the amount and type of the biological data D1 stored in the storage unit 23 are sufficient to be input to the diagnostic server device 9 or not. If the VR processing device 2 determines that the amount and type of the biometric data D1 are not sufficient, the VR processing device 2 returns to step S1802 and continues collecting biometric data. If the VR processing apparatus 2 determines that the amount and quality of the biometric data D1 are sufficient, the process proceeds to step S1805.
  • step S1805 the VR processing device 2 acquires the position information 233 of the VR processing device and stores it in the storage unit 23. Then, the VR processing device 2 transmits the biological data D1 and the position information 233 to the diagnostic server device 9.
  • the diagnostic server device 9 executes a diagnostic process based on the biological data D1 received from the VR processing device 2 and obtains a diagnostic result.
  • the diagnosis result may be a disease name, for example.
  • the diagnosis process may be performed using AI (Artificial Intelligence) or may be performed using any other algorithm.
  • step S 1807 the diagnostic server device 9 searches and extracts hospitals in a range that can be used by the user U based on the position information 233 received from the VR processing device 2. Further, the diagnosis server device 9 determines hospitals and departments that the user U can receive based on the diagnosis result, the extracted hospital, and the hospital information 911.
  • step S1808 the diagnostic server apparatus 9 transmits the diagnosis result obtained in steps S1806 and S1807 and data including the hospital and department that the user U can receive to the VR processing apparatus 2.
  • step S ⁇ b> 1809 the VR processing device 2 stores information such as a diagnosis result, a hospital, and a department on the display unit 37 of the VR headset 3 or the display unit 75 of the mobile terminal 7 based on the data received from the diagnostic server device 9. indicate. Details of the screens displayed on the display units 37 and 75 will be described later with reference to FIG.
  • step S1810 the VR processing device 2 causes the user U to designate the hospital and the medical department displayed on the display units 37 and 75. Data indicating the hospital and department designated by the user U is transmitted to the reservation system 10.
  • step S1811 the reservation system 10 searches for the reservation possible date and time of the hospital and the department designated in step S1810, and transmits them to the VR processing device 2.
  • step S1812 the VR processing device 2 displays the reservation available date and time received from the reservation system 10 on the display units 37 and 75, and instructs the user U to specify the reservation date and time.
  • the reservation date and time designated by the user U is transmitted to the reservation system 10.
  • step S1813 the reservation system 10 transmits the reservation result to the VR processing device 2 and completes the reservation.
  • step S1814 the VR processing device 2 notifies the user that the reservation has been completed. Specifically, for example, a reservation completion message is displayed on the display units 37 and 75.
  • the VR processing device 2 may transmit the diagnosis result to the reserved hospital after completion of the reservation, for example.
  • FIG. 19 is a diagram showing a first example of screen display in the automatic diagnosis system 11 according to the present embodiment. Specifically, FIG. 19 shows a list of diagnosis results displayed on the display units 37 and 75 in step S1809 of FIG.
  • the screen display T1 includes a disease name Q1, a hospital Q2, a medical department Q3, and an address Q4.
  • Disease name Q1 indicates a disease name based on the received diagnosis result.
  • Hospital Q2 indicates the name of a hospital where a diagnosis relating to disease name Q1 can be received.
  • the medical department Q3 indicates a medical department that the user can receive regarding the disease name Q1 in the hospital Q2. It is desirable that the display of each medical department included in the medical department Q3 can be selected by the user U.
  • the control unit 221 or the control unit 741 displays a reservation screen for the medical department selected by the user U. The selected medical department is highlighted as shown by display E3, for example.
  • Address Q4 is an address indicating the location of information of hospital Q2 and department Q3.
  • the address may be, for example, a URL (UniformatorResource ⁇ ⁇ Locator).
  • the items included in the screen display T1 are not limited to those described above.
  • the screen display T1 may be displayed in a format other than the table format.
  • the display of each address included in the address Q4 may be selectable by the user U.
  • the control unit 221 or the control unit 741 may display a web page or the like associated with the address Q4 selected by the user U.
  • FIG. 20 is a diagram showing a second example of screen display in the automatic diagnosis system 11 according to the present embodiment. Specifically, FIG. 20 shows a reservation screen displayed on the display units 37 and 75 in step S1812 of FIG. FIG. 20 shows a screen displayed when “Otolaryngology at Hospital A” is selected in the screen display T1 of FIG. 19 (see display E3).
  • the screen display T2 includes a date selection display E4.
  • the date selection display E4 may be, for example, a calendar display or a list display.
  • the control unit 221 or the control unit 741 may further display a time zone selection display E5.
  • the user U further completes the designation of the reservation date and time by selecting a time slot that can be reserved.
  • the time zone selection display E5 may be, for example, a pop-up display, a list display, or other display formats.
  • the screen displays T1 and T2 may be displayed by an application installed in the VR processing device 2 or the mobile terminal 7.
  • the process of searching for and displaying the hospital Q2 and the medical department Q3 and the screen display process may be performed by the application using the processor 22 and the processor 74.
  • the automatic diagnosis system 11 collects biometric data input to the VR system 1A when the user U logs in to the VR system 1A or makes a payment, and transmits the collected biometric data to the diagnosis server device 9. To do.
  • the user U can acquire the diagnosis result without intentionally collecting data to be input to the diagnostic server device 9, and the convenience for the user is enhanced.
  • the automatic diagnosis system 11 selects an optimal hospital and department based on the diagnosis result, makes a visit reservation, and transmits the diagnosis result obtained from the diagnosis server device 9. This not only increases the convenience for the user, but also contributes to the prevention of medical errors and the reduction of medical hours.
  • the automatic diagnosis system 11 is not limited to the diagnosis of the disease name of the user U, and can be applied to all types of diagnoses.
  • the automatic diagnosis system 11 associates a test item and a detailed inspection organization in the contents of the screen display T1 instead of the disease name Q1 and the clinical department Q3, and It may be presented.
  • the automatic diagnosis system 11 may include another information processing apparatus or system capable of acquiring the biological data D1 and acquiring or storing the position information 233, instead of the VR system 1. .

Abstract

仮想現実システムは、情報処理装置と、仮想現実ヘッドセットと、生体データ取得装置と、第１及び第２のセンサとを含む。情報処理装置は、コントローラから受信した指示に応じて、仮想現実コンテンツを生成する。仮想現実ヘッドセットは、ユーザに装着され、情報処理装置から受信した仮想現実コンテンツをユーザに表示する。生体データ取得装置は、ユーザの生体データを取得する。第１のセンサは、生体データ取得装置の第１の位置情報と第１の方向情報とを生成する。第２のセンサは、仮想現実ヘッドセットの第２の位置情報と第２の方向情報とを生成する。情報処理装置は、第１及び第２の位置情報と第１及び第２の方向情報に基づいて、仮想現実ヘッドセットを装着しているユーザに生体データ取得装置の位置及び方向を認識させる画像を仮想現実コンテンツに付加する。

Description

仮想現実システム、及び、情報処理システム
　本発明は、仮想現実システム、及び、情報処理システムに関する。
　近年、仮想現実（Virtual reality：以下、ＶＲとする）に関するシステムの開発が盛んに行われている。一般的には、ユーザがＶＲのコンテンツを体験する際、ユーザは頭部にゴーグル形状の装置（以下、ＶＲヘッドセットとする）を装着する。ＶＲヘッドセットには、左右それぞれの眼に対応した２つのディスプレイが備えられ、それぞれのディスプレイには、映像を見たユーザが奥行き感（又は飛び出し感）を得るための視差のある映像が表示される。
　また、ＶＲヘッドセットは位置センサ、加速度センサ、ジャイロセンサなどを搭載し、ユーザの頭の位置又は向きが変化する毎に、あたかもユーザの頭の位置又は向きが変化した方向にユーザの視界が移動したかのように、２つのディスプレイに表示する映像を変化させる。これにより、ユーザは、ＶＲにおいて実際に自分の頭を動かしているような感覚を得ることができる。
　通常、ＶＲヘッドセットを用いてＶＲを体験するユーザは、例えばＶＲ中で提供される有料コンテンツの購入等のために決済処理が必要になると、ＶＲヘッドセットを外し、決済のための操作をする必要がある。決済のための操作は、例えばクレジットカードなどのカード番号の入力、暗証番号の入力、個人情報の入力などである。しかしながら、決済の度にＶＲヘッドセットを頭部から取り外し、決済後に再度頭部へ装着することはユーザにとって煩わしく、さらにＶＲヘッドセットの取り外しによりＶＲを体験するユーザの没入感が損なわれる。
　また、ＶＲヘッドセットが利用されるゲームなどでは、１つのＶＲヘッドセット及びＶＲマシンが例えば家族などの複数人によって共用されることが考えられ、この場合に決済の安全性が確保されることが望まれる。
　本発明は上記事情を考慮してなされたものであり、ＶＲヘッドセットを用いるユーザに対して決済を容易にするとともに、決済の安全性を確保するＶＲシステムを提供する。
　本発明の一態様に係る仮想現実システムは、コントローラと、第１の情報処理装置と、ＶＲヘッドセットと、生体データ取得装置と、第１のセンサと、第２のセンサと、第２の情報処理装置とを含む。コントローラは、ユーザからの指示を受け付ける。第１の情報処理装置は、コントローラから受信した指示に応じて、ＶＲコンテンツを生成する。ＶＲヘッドセットは、ユーザに装着され、第１の情報処理装置から受信したＶＲコンテンツをユーザに表示する。生体データ取得装置は、ユーザの生体データを取得する。第１のセンサは、生体データ取得装置の位置を示す第１の位置情報と、生体データ取得装置の方向を示す第１の方向情報とを生成し、第１の位置情報と第１の方向情報とを第１の情報処理装置へ送信する。第２のセンサは、ＶＲヘッドセットの位置を示す第２の位置情報と、ＶＲヘッドセットの方向を示す第２の方向情報とを生成し、第２の位置情報と第２の方向情報とを第１の情報処理装置へ送信する。第２の情報処理装置は、第１の情報処理装置と通信可能に接続されている。第１の情報処理装置は、コンテンツ生成部とコンテンツ送信部と生体データ送信部とを含む。コンテンツ生成部は、コントローラから決済指示を受信した場合に、第１のセンサから受信した第１の位置情報及び第１の方向情報と、第２のセンサから受信した第２の位置情報及び第２の方向情報とに基づいて、生体データ取得装置の位置及び方向をＶＲヘッドセットを装着しているユーザに認識させるとともに生体データ取得装置による生体データ入力をＶＲヘッドセットを装着しているユーザに促す画像、をＶＲコンテンツに付加する。コンテンツ送信部は、ＶＲコンテンツをＶＲヘッドセットへ送信する。生体データ送信部は、生体データ入力をユーザに促す画像を含むＶＲコンテンツがＶＲヘッドセットによって表示された後に、生体データ取得装置からユーザの生体データを受信し、生体データを第２の情報処理装置へ送信する。第２の情報処理装置は、第１の情報処理装置から受信した生体データと、第２の情報処理装置によって参照される記憶装置に記憶されているユーザの登録済み生体データとを照合し、照合成功の場合に決済指示を許可する生体認証部を含む。
　本発明によれば、ＶＲヘッドセットを用いるユーザに対して決済を容易にするとともに決済の安全性を確保することができる。
図１は、第１の実施形態に係るＶＲシステムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係るＶＲ処理装置の構成の一例を示すブロック図である。 図３は、第１の実施形態に係るＶＲヘッドセットの構成の一例を示すブロック図である。 図４は、第１の実施形態に係るコントローラの構成の一例を示すブロック図である。 図５は、第１の実施形態に係るセンサ装置の構成の一例を示すブロック図である。 図６は、第１の実施形態に係るサーバ装置の構成の一例を示すブロック図である。 図７は、第１の実施形態に係る携帯端末の構成の一例を示すブロック図である。 図８は、第１の実施形態に係るＶＲシステムを用いた決済処理を例示するフローチャートである。 図９は、第１の実施形態に係る生体データ照合処理を例示するフローチャートである。 図１０は、第１の実施形態に係る生体データ登録処理を例示するフローチャートである。 図１１は、第１の実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第１の例を示す図である。 図１２は、第１の実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第２の例を示す図である。 図１３は、第１の実施形態に係る生体データ選択時のＶＲ画面表示を例示する図である。 図１４は、第１の実施形態に係るコンテンツ共有中のＶＲ画面表示を例示する図である。 図１５は、第２の実施形態に係るキャラクター表示時のＶＲ画面表示を例示する図である。 図１６は、第２の実施形態に係る属性決定処理を例示するフローチャートである。 図１７は、第３の実施形態に係る自動診断システムの構成を例示するブロック図である。 図１８は、第３の実施形態に係る自動診断システムの処理を例示するフローチャートである。 図１９は、第３の実施形態に係る自動診断システムにおける画面表示の第１の例を示す図である。 図２０は、第３の実施形態に係る自動診断システムにおける画面表示の第２の例を示す図である。
　以下、本発明の実施形態を、図面を参照して説明する。なお、以下の説明において、略又は実質的に同一の機能及び構成要素については、同一符号を付し、必要な場合にのみ説明を行う。
　[第１の実施形態]
　本実施形態においては、ＶＲシステムに含まれる生体データ取得装置の位置及び方向を検出し、決済時に、ＶＲヘッドセットを装着しているユーザが生体データ取得装置の位置及び方向を認識可能な画像をＶＲヘッドセットのディスプレイに表示し、これによりユーザがＶＲヘッドセットを装着したままで生体データを入力可能とするＶＲシステムについて説明する。
　本実施形態において、生体データ取得装置の方向とは、生体データ取得装置が高感度・高精度に生体データを取得可能な方向、換言すれば生体データ取得装置がセンシングをする方向としてもよい。
　本実施形態において、識別情報はＩＤと称する。
　本実施形態において、生体データは、例えば指紋データ、静脈データ、動脈データ、掌形データ、網膜データ、虹彩データ、顔データ、血管データ、音声データ、声紋データ、耳型データ、又は、その他のデータであってもよい。
　本実施形態において、生体データ取得装置は、上記の生体データを取得するための例えば、生体センサ、カメラ、マイクなどとしてもよい。
　本実施形態においては、ユーザが行う決済はカード決済である場合について説明する。カードの種類は、例えばクレジットカード、デビットカード、プリペイドカード、電子マネーカード、ポイントカード、キャッシュカード、又は、その他の電子決済を行うためのカードであってもよい。しかしながら、本実施形態は、決済に用いられる媒体又はプロダクトがカードでない場合にも同様に適用可能である。本実施形態における決済は、仮想通貨による決済としてもよい。
　本実施形態において、コンテンツとは、例えば、画像データ、映像データ、プログラムとデータとのうちの少なくとも一方を含むソフトウェア、音データなどを含む。コンテンツは、例えば、ゲームプログラムなどでもよい。
　図１は、本実施形態に係るＶＲシステム１の構成の一例を示すブロック図である。
　ＶＲシステム１は、ＶＲ処理装置２、人体装着用装置ＨＤ、センサ装置５、サーバ装置６，１２を含む。人体装着用装置ＨＤは、ＶＲヘッドセット３とコントローラ４とを含む。ＶＲヘッドセット３、及び、コントローラ４は、ユーザＵが装着又は直接持って操作する装置である。ＶＲヘッドセット３、及び、コントローラ４により、ＶＲシステム１を制御可能である。また、ＶＲシステム１は、ユーザＵの携帯端末７を含んでいてもよく、ユーザＵではない他のユーザＶの携帯端末８を含んでいてもよい。携帯端末７，８とＶＲ処理装置２とは、例えばネットワークＮ経由で通信可能としてもよく、ネットワークＮを経由することなく通信可能としてもよい。より具体的には、携帯端末７，８とＶＲ処理装置２とは、例えば、電話回線又はインターネット経由で通信可能でもよい。携帯端末７，８とＶＲ処理装置２とは、例えば、無線ＬＡＮ通信により通信可能でもよく、近距離無線通信により通信可能でもよく、赤外線通信により通信可能でもよい。
　ＶＲヘッドセット３は、ユーザＵが頭部に装着する装置である。ＶＲヘッドセット３はディスプレイを備えており、ディスプレイはＶＲ処理装置２により生成されたＶＲコンテンツを表示する。ユーザＵは、当該ディスプレイに表示されたＶＲコンテンツを視認することにより、ＶＲを体験可能である。
　ＶＲヘッドセット３は、例えば、生体データ取得装置３３とセンサ部３２とを含む。
　生体データ取得装置３３は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置３３は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、網膜データ、虹彩データ、又は、声紋データに対応する生体センサを含む。
　センサ部３２は、ＶＲヘッドセット３の位置を示す位置情報と、ＶＲヘッドセット３の方向を示す方向情報を生成し、ＶＲヘッドセット３の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部３２は、生体データ取得装置３３に対応しており、生体データ取得装置３３の位置を示す位置情報と、生体データ取得装置３３の方向を示す方向情報とを生成し、生体データ取得装置３３の位置情報と方向情報とをＶＲ処理装置２へ送信するとしてもよい。
　コントローラ４は、ユーザＵがＶＲシステム１を操作するための装置であり、ユーザＵからの指示を受け付ける。コントローラ４は、ユーザＵの左右それぞれの手に持って操作されてもよく、左右それぞれの足、又はその他の体の部位のいずれかに装着されてもよい。以下では、ＶＲシステム１に含まれるコントローラ４は２台とし、それぞれのコントローラ４は、ユーザＵの左右それぞれの手に持って操作されるとする。
　コントローラ４は、生体データ取得装置４３とセンサ部４２とを含む。
　生体データ取得装置４３は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置４３は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、又は、声紋データに対応する生体センサを含む。
　センサ部４２は、コントローラ４の位置を示す位置情報と、コントローラ４の方向を示す方向情報を生成し、コントローラ４の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部４２は、生体データ取得装置４３に対応しており、生体データ取得装置４３の位置を示す位置情報と、生体データ取得装置４３の方向を示す方向情報とを生成し、生体データ取得装置４３の位置情報と方向情報とをＶＲ処理装置２へ送信する。
　センサ装置５は、ユーザＵが体験するＶＲの構築を補助する装置である。具体的には、例えばセンサ装置５がＶＲ処理装置２に複数台接続されている場合に、ＶＲ処理装置２はＶＲヘッドセット３の備えるディスプレイ上にセンサ装置５の位置を表示することにより、ユーザＵがＶＲヘッドセット３を装着して移動可能な範囲を示してもよい。また、例えばＶＲ処理装置２は、複数台のセンサ装置５に備えられるセンサを用いて、ユーザＵの動き、姿勢、体の特定の部位の位置などを測定してもよい。また、例えばセンサ装置５は、ユーザＵが近づいた時に音を発することで、ユーザＵに臨場感を与えてもよい。以下では、ＶＲシステム１に含まれるセンサ装置５は４台とする。
　センサ装置５は、生体データ取得装置５３とセンサ部５２とを含む。
　生体データ取得装置５３は、例えば、ユーザＵと非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置５３は、例えば、声紋データに対応する生体センサ、カメラを含む。
　センサ部５２は、センサ装置５の位置を示す位置情報と、センサ装置５の方向を示す方向情報を生成し、センサ装置５の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部５２は、生体データ取得装置５３に対応しており、生体データ取得装置５３の位置を示す位置情報と、生体データ取得装置５３の方向を示す方向情報とを生成し、生体データ取得装置５３の位置情報と方向情報とをＶＲ処理装置２へ送信する。
　携帯端末７は、ＶＲ処理装置２と通信可能である。携帯端末７は、例えば、スマートフォンなどのような携帯電話、タブレット端末などであってもよい。
　携帯端末７は、コントローラ４の代わりに用いられてもよい。すなわち、ユーザＵは携帯端末７を用いてＶＲシステム１を操作可能であるとしてもよい。携帯端末７は、例えば、生体データ取得装置７３とセンサ部７２とを含み、センサ装置５と同様に、ユーザＵの生体データを入力するために利用されてもよい。
　生体データ取得装置７３は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置４３は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、又は、声紋データに対応する生体センサを含む。
　センサ部７２は、携帯端末７の位置を示す位置情報と、携帯端末７の方向を示す方向情報を生成し、携帯端末７の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部７２は、生体データ取得装置７３に対応しており、生体データ取得装置７３の位置を示す位置情報と、生体データ取得装置７３の方向を示す方向情報とを生成し、生体データ取得装置７３の位置情報と方向情報とをＶＲ処理装置２へ送信する。
　ＶＲ処理装置２は、ＶＲシステム１全体の制御、又は、制御に必要な演算を行う。ＶＲ処理装置２は、ＶＲヘッドセット３、少なくとも１台以上のコントローラ４、少なくとも１台以上のセンサ装置５と有線又は無線で通信可能である。
　ＶＲ処理装置２は、コントローラ４から受信した指示に応じて、ＶＲコンテンツを生成する。ＶＲ処理装置２は、例えば、生体データ取得装置２５、センサ部２６、コンテンツ生成部２２２、コンテンツ送信部２２３、生体データ送信部２２４、コンテンツ共有部２２５を含む。
　生体データ取得装置２５は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置２５は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、又は、声紋データに対応する生体センサを含む。
　センサ部２６は、生体データ取得装置２５に対応しており、生体データ取得装置２５の位置を示す位置情報と、生体データ取得装置２５の方向を示す方向情報とを生成する。加えて、センサ部２６は、例えばＶＲヘッドセット３に装着されているライトの光を検出するなどにより、ＶＲヘッドセット３の位置を示す位置情報と、ＶＲヘッドセット３の方向を示す方向情報を生成するとしてもよい。
　コンテンツ生成部２２２は、コントローラ４から決済指示を受信した場合に、センサ部２６，３２，４２，５２，７２から受信した生体データ取得装置２５，３３，４３，５３，７３の位置情報及び方向情報と、センサ部２６，３２，５２から受信したユーザＵの位置情報及び方向情報とに基づいて、生体データ取得装置２５，３３，４３，５３，７３の位置及び方向をＶＲヘッドセット３を装着しているユーザＵに認識させるとともに、生体データ取得装置２５，３３，４３，５３，７３による生体データ入力をＶＲヘッドセット３を装着しているユーザＵに促す画像を、ＶＲコンテンツに付加する。
　コンテンツ送信部２２３は、ＶＲコンテンツをＶＲヘッドセット３へ送信する。
　生体データ送信部２２４は、生体データ入力をユーザＵに促す画像を含むＶＲコンテンツがＶＲヘッドセット３によって表示された後に、生体データ取得装置２５，３３，４３，５３，７３のいずれかからユーザＵの生体データＤ１を受信し、生体データＤ１をサーバ装置６へ送信する。
　コンテンツ共有部２２５は、ＶＲヘッドセットの表示部３７に表示されているＶＲコンテンツを、ユーザＵではない他のユーザＶによって操作される携帯端末８にも表示可能とする。すなわち、コンテンツ共有部２２５は、ＶＲ処理装置２と通信可能な携帯端末８の認証を行い、携帯端末８に対する認証が成功した場合に、ＶＲ処理装置２と携帯端末８との通信を許可し、ＶＲコンテンツを携帯端末８に対応するコンテンツに変換し、変換したコンテンツを携帯端末８へ送信する。例えば、ユーザＶは、ユーザＵの友人又は家族などである。例えば、携帯端末８へ送信されるコンテンツは、ＶＲコンテンツをＶＲに対応しないコンテンツへ変換したコンテンツでもよく、ＶＲコンテンツを携帯端末８のブラウザに適合したコンテンツへ変換したコンテンツでもよい。
　携帯端末８は、表示部７５を備えており、コンテンツ共有部２２５から受信したコンテンツを表示する。
　サーバ装置６は、ＶＲ処理装置２とネットワークＮ経由で通信可能に接続されている。サーバ装置６は、データベースＤＢを参照可能である。データベースＤＢは、ユーザＵの登録済みの生体データＤ２を記憶する。
　サーバ装置６は、生体認証部６２を含む。生体認証部６２は、ＶＲ処理装置２からネットワークＮ経由で受信した生体データＤ１とデータベースＤＢに記憶されている登録済み生体データＤ２とを照合する。サーバ装置６は、照合成功の場合に、ネットワークＮ経由でサーバ装置１２へ決済を許可する旨を示す決済許可通知を送信する。
　サーバ装置１２は、ＶＲ処理装置２及びサーバ装置６とネットワーク経由で通信可能に接続されている。このサーバ装置１２は、サーバ装置６と一体であってもよい。サーバ装置１２は、決済処理部１２１を含む。決済処理部１２１は、サーバ装置６からネットワークＮ経由で決済許可通知を受信した場合に、ＶＲ処理装置２からネットワークＮ経由で受信した決済指示に応じてユーザＵに対する決済処理を実行する。
　本実施形態において、サーバ装置１２は、例えば、アクワイアラ（カード決済会社）のサーバ装置、イシュア（カード発行会社）、又は、カードブランドのサーバ装置である。
　なお、本実施形態において、コンテンツ生成部２２２は、コンテンツ共有部２２５がコンテンツを携帯端末８へ送信している場合に、コンテンツが共有されていることを示す画像又は文字をＶＲコンテンツに付加する。コンテンツ送信部２２３は、コンテンツを共有していることを示す画像又は文字を含むＶＲコンテンツをＶＲヘッドセット３へ送信する。これにより、ＶＲヘッドセット３を装着しているユーザＵは、ユーザＶがコンテンツを共有していることを認識することができる。
　また、コンテンツ生成部２２２は、いずれかの生体データ取得装置の位置情報とＶＲヘッドセット３の位置情報との差分と、いずれかの生体データ取得装置の方向情報とＶＲヘッドセット３の方向情報との差分とに基づいて、ユーザＵをいずれかの生体データ取得装置まで誘導する画像をＶＲコンテンツに付加してもよい。
　さらに、コンテンツ生成部２２２は、いずれかの生体データ取得装置によって取得された生体データＤ１に基づいて、ユーザＵに対応するキャラクターの属性を決定し、属性に応じてＶＲコンテンツを生成してもよい。コンテンツ生成部２２２は、データベースＤＢに記憶されている生体データＤ２をサーバ装置６及びネットワークＮ経由で受信し、受信した生体データＤ２に基づいて、ユーザＵに対応するキャラクターの属性を決定し、属性に応じてＶＲコンテンツを生成してもよい。
　図２は、本実施形態に係るＶＲ処理装置２の構成の一例を示すブロック図である。
　ＶＲ処理装置２は、接続部２１、プロセッサ２２、記憶部２３、通信部２４、生体データ取得装置２５、センサ部２６を含む。ＶＲ処理装置２は、生体データ取得装置２５を含まなくてもよい。上述の各処理部は、内部バスＩＢにより相互に通信可能である。
　なお、図１で説明済の処理部についての説明は省略する。
　接続部２１は、ＶＲ処理装置２と、ＶＲヘッドセット３、コントローラ４、センサ装置５とを接続する。
　プロセッサ２２は、ＶＲシステム１の演算処理を行う。プロセッサ２２は、制御部２２１、コンテンツ生成部２２２、コンテンツ送信部２２３、生体データ送信部２２４、コンテンツ共有部２２５、を含む。
　プロセッサ２２は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又は、ＤＳＰ（Digital Signal Processor）などであってもよい。
　制御部２２１はＶＲシステム１全体の制御を行う。制御部２２１は、接続部２１を経由して、ＶＲヘッドセット３、コントローラ４、及びセンサ装置５との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。
　コンテンツ生成部２２２は、ＶＲヘッドセット３の備えるディスプレイに表示するＶＲコンテンツを生成する。コンテンツ生成部２２２により生成されたＶＲコンテンツは、コンテンツ送信部２２３により、接続部２１を経由してＶＲヘッドセット３に送信される。また、ＶＲコンテンツは、通信部２４を経由して、例えば携帯端末７，８などの外部装置に送信されてもよい。
　記憶部２３は、例えば、主記憶装置として用いられてもよい。記憶部２３は、プロセッサ２２からの制御に従う。記憶部２３には、プロセッサ２２の制御に基づいて、プロセッサ２２により処理されるデータなどが一時的に格納される。
　記憶部２３は、例えば、不揮発性記憶領域に、プログラム２３１を格納する。プロセッサ２２は、プログラム２３１を実行することにより、制御部２２１、コンテンツ生成部２２２、コンテンツ送信部２２３、生体データ送信部２２４、コンテンツ共有部２２５としての機能を実現するとしてもよい。
　記憶部２３は、生体データＤ１を格納する。生体データＤ１は、生体データ取得装置２５，３３，４３，５３，７３のいずれかを用いて取得したユーザＵの生体データである。
　通信部２４は、ネットワークＮを経由して、例えばＶＲ処理装置２とサーバ装置６，１２及び携帯端末７，８との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。なお、通信部２４は、サーバ装置６，１２及び携帯端末７，８ではない他の装置とネットワークＮを経由して通信を行ってもよい。
　なお、ＶＲ処理装置２は例えば汎用的なＰＣ（パーソナルコンピュータ）であってもよく、又はＶＲシステム１専用のハードウェアであってもよい。
　図３は、本実施形態に係るＶＲヘッドセット３の構成の一例を示すブロック図である。
　ＶＲヘッドセット３は、接続部３１、センサ部３２、生体データ取得装置３３、制御部３４、マイク３５、スピーカ３６、表示部３７を含む。
　なお、図１で説明済の処理部についての説明は省略する。
　接続部３１は、ＶＲヘッドセット３とＶＲ処理装置２とを接続する。
　センサ部３２は、角速度センサ（ジャイロセンサ）Ｓ１を含む。センサ部３２は、生体データ取得装置３３に内蔵されていてもよく、生体データ取得装置３３の近傍に設置されていてもよい。
　角速度センサＳ１は、センサを備える物体の回転角度、及び、向きの変化を検知できるセンサである。すなわち、角速度センサＳ１により、ＶＲヘッドセットの位置の変化及び向きが検出可能である。
　なお、センサ部３２に含まれるセンサは、上述のものに限られず、例えば、近接センサ、加速度センサ、位置センサ、磁気センサ、輝度センサなどが含まれていてもよい。
　制御部３４は、ＶＲヘッドセット３に含まれる各処理部の制御を行う。制御部３４は、接続部３１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。より具体的には、例えば、制御部３４は、センサ部３２が取得した位置情報及び方向情報などのセンサデータ、生体データ取得装置３３が取得した生体データ、マイク３５に入力された音声データを、接続部３１を経由してＶＲ処理装置２へ送信する。また、例えば、制御部３４は、接続部３１を経由してＶＲ処理装置２より音声データを受信してスピーカ３６へ出力し、ＶＲコンテンツを受信して表示部３７へ出力する。
　マイク３５は、ユーザＵの音声をＶＲシステム１に入力する。なお、ＶＲヘッドセット３が声紋の生体データを取得可能な場合は、マイク３５は、生体データ取得装置３３を兼ねてもよい。
　スピーカ３６は、ＶＲ処理装置２により生成された音、又は、制御部３４により生成された音を出力する。スピーカ３６は、例えばヘッドフォンであってもよい。
　表示部３７は、ＶＲ処理装置２のコンテンツ生成部２２２により生成されたＶＲコンテンツを表示する。表示部３７は、ユーザＵの両眼に対応した２つのディスプレイを備える。以下では、ＶＲコンテンツが表示されている状態の表示部３７を、ＶＲ画面とする。
　図４は、本実施形態に係るコントローラ４の構成の一例を示すブロック図である。
　コントローラ４は、接続部４１、センサ部４２、生体データ取得装置４３、制御部４４、入力部４５を含む。
　なお、図１で説明済の処理部についての説明は省略する。
　接続部４１は、コントローラ４とＶＲ処理装置２とを接続する。
　センサ部４２の構成は、センサ部３２と同等である。
　制御部４４は、コントローラ４に含まれる各処理部の制御を行う。制御部４４は、接続部４１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。より具体的には、例えば、制御部４４は、センサ部４２が取得した位置情報及び方向情報などのセンサデータ、生体データ取得装置４３が取得した生体データ、入力部４５に入力されたデータを、接続部４１を経由してＶＲ処理装置２へ送信する。
　入力部４５は、ユーザＵの操作を受け付ける。入力部４５は、例えば、ボタン、アナログスティック、ロータリエンコーダ、タッチパネル、各種のセンサなどでもよい。
　図５は、本実施形態に係るセンサ装置５の構成の一例を示すブロック図である。
　センサ装置５は、接続部５１、センサ部５２、生体データ取得装置５３、制御部５４、マイク５５、スピーカ５６を含む。また、センサ装置５は、カメラ５７を含むとしてもよい。
　なお、図１で説明済の処理部についての説明は省略する。
　接続部５１は、センサ装置５とＶＲ処理装置２とを接続する。
　センサ部５２の構成は、センサ部３２と同様である。
　制御部５４は、センサ装置５に含まれる各処理部の制御を行う。制御部５４は、接続部５１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。制御部５４の動作は、制御部３４，４４の動作と同等である。
　マイク５５は、ユーザＵの音声をＶＲシステム１に入力する。なお、センサ装置５が声紋の生体データを取得可能な場合は、マイク５５は、生体データ取得装置５３を兼ねてもよい。
　スピーカ５６は、ＶＲ処理装置２により生成された音、又は、制御部３４により生成された音を出力する。
　カメラ５７は、静止画又は動画を撮影する。カメラ５７は、２次元画像を撮影できるものでもよく、又は、例えばステレオカメラ、赤外線カメラなどの奥行き情報を取得できるものでもよい。制御部５４は、カメラ５７により撮影された静止画又は動画に対して画像処理を行うことにより、例えばセンサ部５２では認識することができないユーザＵのジェスチャ、又は、ユーザＵの足、腕、関節などの特定の部位の動き、又は、ユーザＵが移動可能な空間に存在する物体などを認識可能であってもよい。
　図６は、本実施形態に係るサーバ装置６の構成の一例を示すブロック図である。
　サーバ装置６は、通信部６１、生体認証部６２、制御部６３を含む。
　なお、図１で説明済の処理部についての説明は省略する。
　通信部６１は、ネットワークＮに接続可能であり、ネットワークＮを経由してＶＲ処理装置２と通信を行う。通信部６１は、データベースＤＢと通信可能である。
　なお、データベースＤＢは、ネットワークＮに接続されていてもよく、ネットワークＮを経由してサーバ装置６と通信可能であってもよい。
　制御部６３は、サーバ装置６に含まれる各処理部の制御を行う。制御部６３は、通信部６１を経由して、ＶＲ処理装置２及びデータベースＤＢとの間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。例えば、制御部６３は、生体認証部６２で実行された生体認証が成功した場合に、ネットワークＮ経由でサーバ装置１２へ決済を許可する旨の決済許可通知を送信する。
　図７は、本実施形態に係る携帯端末７，８の構成の一例を示すブロック図である。
　携帯端末７は、通信部７１、センサ部７２、生体データ取得装置７３、プロセッサ７４、表示部７５を含む。
　携帯端末８は、通信部７１、センサ部７２、プロセッサ７４、表示部７５、コンテンツ共有部７６を含む。なお、携帯端末８は、生体データ取得装置７３を備えていてもよい。
　なお、図１で説明済の処理部についての説明は省略する。
　通信部７１は、ネットワークＮに接続可能であり、ネットワークＮを経由してＶＲ処理装置２と通信を行う。通信部７１は、ネットワークＮを経由せずに、直接ＶＲ処理装置２の通信部２４と有線又は無線により通信可能としてもよい。
　センサ部７２は、センサ部３２と同様である。
　プロセッサ７４は、携帯端末７の演算処理を行う。プロセッサ７４は、制御部７４１を含む。
　制御部７４１は、携帯端末７に含まれる各処理部の制御を行う。制御部７４１は、通信部７１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。制御部７４１の動作は、制御部３４，４４，５４の動作と同等である。
　表示部７５は、例えば、一般的な携帯端末のディスプレイである。
　また、上述のように、コンテンツ共有部２２５により携帯端末８の表示部７５にＶＲコンテンツが表示される場合、携帯端末８は、ＶＲシステム１に認証（ログイン）されることが望ましい。ＶＲシステム１へのログインには、例えば、ログインＩＤ及びパスワードが用いられてもよい。より具体的には、例えば、ＶＲ処理装置２は、携帯端末８からＶＲ処理装置２へアクセスがあった場合に、表示部７５又はＶＲヘッドセット３の表示部３７にログイン画面を表示する。ユーザＵは、ログイン画面の指示に従い、ログインＩＤ及びパスワードを入力する。
　なお、携帯端末８が生体データ取得装置７３を備える場合は、ＶＲシステム１へのログインに生体認証が用いられてもよい。この場合、当該生体認証の手順は、決済処理の際に行われる生体認証の手順（図９を用いて後述する）と同等である。
　図８は、本実施形態に係るＶＲシステム１を用いた決済処理を例示するフローチャートである。
　ステップＳ８０１において、ＶＲ処理装置２が起動する。ＶＲ処理装置２に接続されているＶＲヘッドセット３、コントローラ４、センサ装置５にも電源が入り、ユーザＵによる操作が可能な状態となる。
　ステップＳ８０２において、ＶＲ処理装置２のコンテンツ生成部２２２が生成したＶＲコンテンツが、接続部２１を経由してＶＲヘッドセット３へ送信される。ＶＲヘッドセット３の表示部３７は、ＶＲ処理装置２より受信したＶＲコンテンツを表示する。さらに、コンテンツ生成部２２２は、ユーザＵの選択により、又は、自動的に、ユーザＵが商品を選択し購入可能なＶＲコンテンツを生成する。
　ステップＳ８０３において、表示部３７に表示された商品選択画面において、ユーザＵが購入する商品が選択される。商品は、例えば、ユーザＵがコントローラ４を操作することにより選択されてもよい。さらに、選択された商品の購入が承諾されると、ＶＲ処理装置２は、決済処理を開始する。商品の購入の承諾は、例えば、ＶＲコンテンツ内に表示された購入ボタンがユーザＵによって選択されることにより行われてもよい。
　ステップＳ８０４において、ＶＲ処理装置２は、生体データの照合処理を開始する。生体データ照合処理の詳細については、図９で後述する。
　ステップＳ８０５において、ＶＲ処理装置２は、ステップＳ８０４の処理により得られた生体データ照合処理結果を確認する。
　生体データ照合処理結果が成功である場合は、ＶＲ処理装置２又はサーバ装置６は、サーバ装置１２に対して決済許可通知を送信する。この場合、ステップＳ８０６において、サーバ装置１２は、ＶＲ処理装置２より決済許可通知を受信し、決済処理部１２１は、決済処理を行う。決済処理が完了した場合、サーバ装置６は、通信部６１を経由して決済完了通知をＶＲ処理装置２へ送信する。さらに、ステップＳ８０７において、ＶＲ処理装置２は、決済完了通知を受信し、コンテンツ生成部２２２は、決済完了した旨の表示を含んだＶＲコンテンツを生成する。
　また、生体データ照合処理結果が失敗である場合は、ＶＲ処理装置２は、決済処理を中止する。この場合、ステップＳ８０８において、ＶＲ処理装置２のコンテンツ生成部２２２は、決済失敗した旨の表示を含んだＶＲコンテンツを生成する。
　なお、決済完了又は決済失敗した旨の表示は、例えば、メッセージ、アイコン、ダイアログボックスなどによる表示であってもよい。
　本実施形態において、ＶＲ処理装置２は、ステップＳ８０１における起動時に、ユーザＵの認証（ログイン）を行うとしてもよい。ＶＲシステム１へのログインには、生体認証が用いられてもよい。この場合、当該生体認証の手順は、決済処理の際に行われる生体認証の手順（図９参照）と同等である。
　図９は、本実施形態に係る生体データ照合処理を例示するフローチャートである。
　ステップＳ９０１において、ＶＲ処理装置２は、ＶＲシステム１内で利用可能な生体データ取得装置が複数存在する場合に、どの生体データ取得装置を用いて生体データを取得するかをユーザに選択させる。ユーザＵが生体データ取得装置を選択した場合は、ステップＳ９０２へ進む。
　利用可能な生体データ取得装置がＶＲシステム１内に１つのみである場合、又は、ＶＲ処理装置２がユーザに生体データ取得装置を選択させない場合は、ステップＳ９０５に進む。
　ステップＳ９０２において、ＶＲ処理装置２は、ステップＳ９０１においてユーザＵが指定した生体データ取得装置の位置情報及び方向情報を検出する。具体的には、生体データ取得装置３３が指定された場合は、ＶＲ処理装置２は、ＶＲヘッドセット３の制御部３４より、センサ部３２が検出したＶＲヘッドセット３及び生体データ取得装置３３の位置情報及び方向情報を受信する。同様に、生体データ取得装置４３が指定された場合は、ＶＲ処理装置２は、制御部４４より、センサ部４２が検出したコントローラ４及び生体データ取得装置４３の位置情報及び方向情報を受信する。又は、同様に、生体データ取得装置５３が指定された場合は、ＶＲ処理装置２は、制御部５４より、センサ部５２が検出したセンサ装置５及び生体データ取得装置５３の位置情報及び方向情報を受信する。又は、同様に、生体データ取得装置７３が指定された場合は、ＶＲ処理装置２は、制御部７４１より、携帯端末７及び生体データ取得装置７３の位置情報及び方向情報を受信する。ＶＲ処理装置２は、受信した位置情報及び方向情報を、記憶部２３に一時的に格納する。
　ステップＳ９０３において、ＶＲ処理装置２は、ステップＳ９０２において検出した各装置の位置情報及び方向情報を、ＶＲ画面内に表示する。具体的には、ＶＲ処理装置２のコンテンツ生成部２２２は、記憶部２３よりステップＳ９０２で格納した各装置の位置情報及び方向情報を読み出す。コンテンツ生成部２２２は、読み出したそれぞれの装置の位置情報及び方向情報に基づいた各装置の画像を、もとのＶＲコンテンツに重畳し、新たなＶＲコンテンツを生成する。上述の処理により生成されるＶＲコンテンツの例は、図１１で後述する。
　ステップＳ９０４において、ＶＲ処理装置２は、ユーザＵに、指定した生体データ取得装置へ生体データを入力させる。
　ステップＳ９０５において、ＶＲ処理装置２は、利用可能な生体データ取得装置を検索する。具体的には、ＶＲ処理装置２は、ＶＲヘッドセット３、コントローラ４、センサ装置５、携帯端末７へ、各装置に備えられた生体データ取得装置３３，４３，５３，７３が利用可能であるか否かを問い合わせる。
　制御部３４，４４，５４，７４は、生体データ取得装置３３，４３，５３，７３の状態を確認し、各生体データ取得装置が利用可能であるか否かをそれぞれＶＲ処理装置２へ送信する。
　ステップＳ９０６において、ＶＲ処理装置２は、ステップＳ９０５で得られた利用可能な生体データ取得装置の位置、向き、及び種類を表示する。生体データ取得装置の位置及び向きの検出方法、及び表示方法は、ステップＳ９０２及びステップＳ９０３で述べた方法と同等である。
　ステップＳ９０７において、ＶＲ処理装置２は、ユーザＵへステップＳ９０６で表示したいずれかの生体データ取得装置へ生体データを入力させる。この場合、例えば、各生体データ処理装置は、ユーザＵより生体データの入力が完了した場合に、生体データＤ１をＶＲ処理装置２へ送信する。ＶＲ処理装置２は、生体データＤ１を受信し、生体データＤ１を記憶部２３に格納する。
　なお、ＶＲ処理装置２は、複数の生体データ取得装置から生体データを受信した場合は、受信した複数の生体データを記憶部２３に格納してもよく、最初又は最後に受信した生体データを有効なデータとして記憶部２３へ格納してもよい。
　ステップＳ９０８において、ＶＲ処理装置２は、サーバ装置６へ生体データ照合命令を送信する。具体的には、生体データ送信部２２４は、記憶部２３より生体データＤ１を読み出し、生体データ照合命令と生体データＤ１をサーバ装置６へ送信する。
　ステップＳ９０９において、サーバ装置６の生体認証部６２は、ユーザＵの生体データＤ１と、生体データ照合命令を受信する。サーバ装置６は、受信した生体データＤ１がデータベースＤＢに登録されているか否かを確認する。ユーザＵの生体データが登録されている場合は、ステップＳ９１１へ進む。ユーザＵの生体データが登録されていない場合は、サーバ装置６は、ＶＲ処理装置２へ生体データが未登録である旨の通知を行う。ＶＲ処理装置２は、生体データが未登録である旨の通知を受信し、ステップＳ９１０において、生体データ登録処理を行う。
　なお、生体データ登録処理は、決済処理と独立して行われてもよい。例えば、生体データ登録処理は、ＶＲシステム１の初回起動時などに行われてもよい。生体データ登録処理の詳細については、図１０で後述する。
　ステップＳ９１１において、サーバ装置６の生体認証部６２は、生体データ照合処理を行う。具体的には、生体認証部６２は、データベースＤＢに登録されているユーザＵの登録済生体データＤ２を読み出し、ＶＲ処理装置２より受信した生体データＤ１と照合する。生体認証部６２は、照合結果が成功又は失敗した旨をＶＲ処理装置２へ送信する。
　図１０は、本実施形態に係る生体データ登録処理を例示するフローチャートである。
　ステップＳ１００１において、ＶＲ処理装置２は、登録可能な生体データ取得装置の種類を表示する。登録可能な生体データ取得装置の検索処理は、ステップＳ９０５の処理と同様である。
　ステップＳ１００２において、ＶＲ処理装置２は、ステップＳ１００１で得られた登録可能な生体データ取得装置の位置、向き、及び種類をＶＲ画面に表示する。生体データ取得装置の位置及び向きの検出方法、及び表示方法は、ステップＳ９０６で述べた方法と同等である。
　ステップＳ１００３において、ＶＲ処理装置２は、ステップＳ１００２でＶＲ画面に表示された生体データ取得装置のうち１つの生体データ取得装置を、ユーザＵに選択させる。
　なお、ステップＳ９０１で生体データ取得装置を指定された場合は、自動的にステップＳ９０１で指定された生体データ取得装置と同じものが指定されてもよい。この場合、ステップＳ１００１及びステップＳ１００２において、ステップＳ９０１で指定された生体データ取得装置がＶＲ画面に表示され、ステップＳ１００３の処理はなくてもよい。
　ステップＳ１００４において、ＶＲ処理装置２は、ユーザＵに、指定した生体データ取得装置へ生体データを入力させる。入力された生体データは、ＶＲ処理装置２へ送信される。
　ステップＳ１００５において、ＶＲ処理装置２は、ステップＳ１００４で生体データ取得装置に入力された生体データを受信する。ＶＲ処理装置２の生体データ送信部２２４は、サーバ装置６へ、当該生体データと、生体データ登録指示を送信する。
　ステップＳ１００６において、サーバ装置６は、データベースＤＢに受信した生体データを登録する。
　図１１は、本実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第１の例を示す図である。より具体的には、図１１は、図９のＳ９０６、及び、図１０のＳ１００２において、表示部３７に表示されるＶＲ画面Ｖ１を示す。
　ＶＲ画面Ｖ１は、利用可能（又は登録可能）な生体センサを示す生体センサ選択画面Ｗ１を表示する。図１１では、生体センサ選択画面Ｗ１はＶＲ画面Ｖ１に重畳的に表示されているが、表示方法はこれに限られない。例えば、ＶＲ画面Ｖ１が切り替わり、生体センサ選択画面Ｗ１が全画面に表示されてもよい。
　生体センサ選択画面Ｗ１には、利用可能な生体データ取得装置と、利用可能な生体データ取得装置が含まれる装置が表示される。図１１の例では、生体センサ選択画面Ｗ１には、ＶＲヘッドセット１０３と、ＶＲヘッドセット１０３に含まれる虹彩センサ１０３Ａ、声紋センサ１０３Ｂ、静脈センサ１０３Ｃ、及び、コントローラ１０４と、コントローラ１０４に含まれる静脈センサ１０４Ａ、指紋センサ１０４Ｂ、及び、コントローラ１０５と、コントローラ１０５に含まれる静脈センサ１０５Ａ、指紋センサ１０５Ｂ、及び、センサ装置１０６と、センサ装置１０６に含まれる声紋センサ１０６Ａが表示される。
　なお、生体センサ選択画面Ｗ１に表示される各装置及び生体センサの画像の向きは、各装置を操作するユーザＵの動きに合わせて、リアルタイムに変化することが望ましい。また、生体センサが二種以上含まれる場合は、ユーザＵが同種の生体センサと異種の生体センサとを、例えば色又は形などで容易に判別できるよう表示されることが望ましい。
　生体センサ選択画面Ｗ２は、生体センサ選択画面Ｗ１に表示された生体センサのうち、ユーザＵにより静脈センサ１０４Ａが選択された状態を示す。
　生体センサの選択は、例えば、ユーザＵがコントローラ４の入力部４５を操作することにより行われてもよい。また、生体センサの選択は、例えば、ユーザＵがＶＲヘッドセット３のマイク３５を通じて音声により指示することにより行われてもよい。
　選択された静脈センサ１０４Ａの周囲には、センシング可能領域Ａが表示される。センシング可能領域は、ユーザＵの体の一部を生体センサに近接させて生体データを取得することができる範囲を示す。
　ユーザＵは、表示された静脈センサ１０４Ａのセンシング可能領域Ａの範囲内に、例えば指を近づけることで、静脈データを入力する。
　また、例えばユーザＵがコントローラ４の位置及び向きを変化させることにより、生体センサ選択画面Ｗ２に表示されるコントローラ１０４の表示が変化する場合、センシング可能領域Ａの表示もコントローラ１０４の位置及び向きに合わせて変化する。
　なお、他の生体センサが選択された場合も、上述と同様に、選択された生体センサに対応したセンシング可能領域が表示される。
　なお、センシング可能領域の表示態様は、領域を表示するものであれば、図１１中に示されている態様に限られない。
　図１２は、本実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第２の例を示す図である。
　ＶＲ画面Ｖ２は、図１１の生体センサ選択画面Ｗ１に表示された生体センサのうち、ユーザＵにより声紋センサ１０６Ａが選択された状態を示す。
　声紋センサ１０６Ａを含むセンサ装置１０６は、現在のユーザＵの位置から離れた場所に存在するため、ＶＲ処理装置２は、ユーザＵを声紋センサ１０６Ａが反応する位置まで誘導する。
　まず、制御部２２１は、ユーザＵの位置を取得する。センサ装置５のカメラ５７がユーザＵを撮影することにより、制御部５４又は制御部２２１がユーザＵのＶＲシステム１内における位置及び向きを計算してもよい。又は、ユーザＵに装着されたＶＲヘッドセット３のセンサ部が検出した位置及び向きを、ユーザＵの位置及び向きとしてもよい。
　次に、制御部２２１は、取得したユーザＵの位置及び向きと声紋センサ１０６Ａの位置及び向きとに基づいて、ユーザＵを誘導する方向を決定する。ユーザＵを誘導する方向は、ＶＲシステム１内の位置及び向きを示すデータに変換され、コンテンツ生成部２２２に入力される。
　コンテンツ生成部２２２は、制御部２２１より受信したデータに基づき、ＶＲコンテンツ内にユーザＵを誘導する方向を示す矢印２０１を描画する。
　なお、ユーザＵを誘導する方法は、上述の方法に限られない。例えば、コンテンツ生成部２２２により、ＶＲ画面Ｖ２上で声紋センサ１０６Ａの位置が強調表示されてもよい。
　ＶＲ画面Ｖ３は、ユーザＵの位置が、声紋センサ１０６Ａが反応する位置まで近づいた状態を示す。
　制御部２２１は、ユーザＵと声紋センサ１０６Ａとの距離が一定以下になった場合に、声紋センサ１０６Ａが利用可能になった旨をユーザＵに通知する。例えば、コンテンツ生成部２２２は、制御部２２１よりユーザＵと声紋センサ１０６Ａとの距離が一定以下になった旨の通知を受信すると、ＶＲコンテンツの声紋センサ１０６Ａに印Ｅ１を描画してもよい。ユーザＵは、ＶＲコンテンツ内の印Ｅ１を視認することにより、声紋センサ１０６Ａに対し、声紋データを入力する。
　なお、印Ｅ１の形状及び表示方法は、図１２中に表示されるものに限られない。また、声紋センサ１０６Ａが利用可能になった旨をユーザＵに通知する方法は、上述のものに限られない。例えば、ＶＲヘッドセット３のスピーカ３６を通じて音声によりユーザＵに通知してもよい。
　図１３は、本実施形態に係る生体データ選択時のＶＲ画面表示を例示する図である。より具体的には、図１３は、図９のＳ９０１において、表示部３７に表示されるＶＲ画面Ｖ４を示す。
　ＶＲ画面Ｖ４は、生体データ選択画面Ｗ３を表示する。図１３では、生体データ選択画面Ｗ３はＶＲ画面Ｖ４に重畳的に表示されているが、生体センサ選択画面Ｗ１と同様に、表示方法はこれに限られない。
　生体データ選択画面Ｗ３には、取得する生体データの種類が表示される。図１３の例では、生体データ選択画面Ｗ３には、指紋データＢ１、顔データＢ２、虹彩データＢ３、静脈データＢ４、声紋データＢ５が選択可能な項目として表示される。
　ユーザＵにより上述の項目のうち１つが選択された場合、ＶＲ画面Ｖ４上には、項目が選択された旨が表示される。例えば、ＶＲ画面Ｖ４上には、選択された項目の周囲に印Ｅ２が表示されてもよい。
　なお、生体データの選択は、ユーザＵがコントローラ４の入力部４５を操作することにより行われてもよい。また、生体データの選択は、例えば、ユーザＵがＶＲヘッドセット３のマイク３５を通じて音声により指示することにより行われてもよい。
　なお、印Ｅ２の形状及び表示方法は、図１３中に例示されるものに限られない。
　図１４は、本実施形態に係るコンテンツ共有中のＶＲ画面表示を例示する図である。より具体的には、コンテンツ共有部２２５がコンテンツを携帯端末８へ送信している場合に、表示部３７に表示されるＶＲ画面Ｖ５を示す。
　ＶＲ画面Ｖ５は、画面表示Ｗ４を含む。画面表示Ｗ４は、コンテンツが携帯端末８と共有されていることを示す画像又は文字である。
　なお、画面表示Ｗ４は、ユーザが認識することができるＶＲ画面Ｖ５上の任意の位置に表示可能である。また、画面表示Ｗ４は、自動的に又はユーザＵの操作により、移動又は消去されてもよい。
　以上説明した本実施形態においては、ＶＲシステム１は、ＶＲ画面上に生体センサの位置及び向きを表示可能である。これにより、ユーザＵは、ＶＲ画面内で商品購入し、決済のための生体データの取得が必要な場合であっても、ＶＲヘッドセット３を外すことなく、生体データを入力することができる。
　本実施形態においては、決済に生体データが用いられるため、決済の安全性が確保される。
　本実施形態においては、ユーザＵの所有する携帯端末７を、例えばコントローラ４の代わりとしてＶＲシステム１に追加可能である。これにより、通常の仮想実現システムと携帯電話とでシステムを構築でき、コスト削減が可能である。
　本実施形態においては、生体データ取得装置とユーザＵの位置が離れている場合であっても、ＶＲシステム１は、ユーザＵが生体データを入力可能な位置までユーザＵを誘導する。これにより、さらに生体データを入力するユーザＵの利便性が高まる。
　本実施形態においては、ＶＲヘッドセット３の表示部３７に表示されるＶＲコンテンツを、ＶＲシステム１に認証された携帯端末８の表示部７５にも出力可能とする。これにより、家族でＶＲシステム１を共有する場合、例えば、ＶＲヘッドセット３を装着した子供がどんなゲームをしているかを、親が自分の携帯端末８を用いて把握することができ、子供を有害コンテンツから守ることができる。また、ＶＲコンテンツを、ＶＲヘッドセット３を装着していない者にも共有することができ、アミューズメント性を高めることができる。
　[第２の実施形態]
　本実施形態においては、ＶＲシステムのユーザより取得した生体データを用いて、ＶＲ画面内に登場させるキャラクター（アバター）の属性を決定するＶＲシステムについて説明する。
　本実施形態で使用するＶＲシステムは、第１の実施形態におけるＶＲシステム１と同様である。
　図１５は、第２の実施形態に係るキャラクター表示時のＶＲ画面表示を例示する図である。
　ＶＲ画面Ｖ６は、ユーザＵに対応するキャラクターＣ、キャラクターＣの属性Ｘを表示する。属性Ｘは、常にＶＲ画面Ｖ６に表示されている必要はなく、ユーザＵにより属性Ｘの表示指示を受けた場合にのみ表示してもよい。
　属性Ｘは、キャラクターＣの属性を含む。例えば、属性Ｘは、名前Ｐ１、性別Ｐ２、年齢Ｐ３、体力Ｐ４、性格Ｐ５を含む。キャラクターＣの属性は、これら以外の項目を含んでいてもよい。
　キャラクターＣの画像は、属性Ｘの項目の内容によって、外見や状態が変化するとしてもよい。例えば、性別Ｐ２、又は、年齢Ｐ３に合致するようにキャラクターＣの外見が変化してもよく、体力Ｐ４によってキャラクターＣの姿勢が変化してもよく、性格Ｐ５によってキャラクターＣの表情が変化してもよい。
　属性Ｘの各項目は、ユーザＵが生体認証を行う毎に、ユーザＵの生体データがＶＲシステム１によって解析された結果に基づいて更新されてもよい。
　図１６は、第２の実施形態に係る属性決定処理を例示するフローチャートである。
　ステップＳ１６０１において、ユーザＵの生体データが、ＶＲシステム１内の任意の生体データ取得装置に入力される。ユーザＵの生体データが入力されるタイミングは、図９のステップＳ９０４又はステップＳ９０７、又は、図１０のステップＳ１００４であってもよく、これら以外のタイミングで入力されてもよい。生体データ取得装置により取得された生体データは、ＶＲ処理装置２へ送信される。
　ステップＳ１６０２において、ＶＲ処理装置２の制御部２２１は、ユーザＵが入力した生体データを受信し、解析処理を行う。制御部２２１は、例えば、生体データが声紋データである場合、声の高さ及び質より、ユーザＵの年齢及び性別を判定する。制御部２２１は、例えば、生体データが顔データである場合、表情を読み取ることにより、ユーザＵの性格を判定する。なお、制御部２２１が行う解析処理は上述のものに限られない。
　ステップＳ１６０３において、制御部２２１は、ステップＳ１６０２で得られた生体データの解析結果に基づき、キャラクターＣの属性の決定を行う。属性の種類（項目）は、あらかじめユーザＵにより決められていてもよく、又は、制御部２２１が解析結果に基づいて自動的に生成されてもよい。
　ステップＳ１６０４において、制御部２２１は、ステップＳ１６０３で得られた属性に基づいて、キャラクターＣの生成処理又は更新処理を行う。なお、キャラクターＣの初回生成時は、キャラクターＣの基本状態となる画像はあらかじめユーザＵによって選択されてもよい。又は、制御部２２１は、属性に基づいて、キャラクターＣを自動生成してもよい。
　ステップＳ１６０５において、制御部２２１は、キャラクター情報及び属性情報を、をコンテンツ生成部２２２へ入力する。コンテンツ生成部２２２は、入力されたキャラクター情報及び属性情報に基づき、キャラクターＣ及び属性Ｘの表示を含むＶＲコンテンツを生成する。当該ＶＲコンテンツは、コンテンツ送信部２２３によりＶＲヘッドセット３へ送信され、表示部３７に表示される。
　以上説明した本実施形態においては、ユーザＵより取得した生体データを用いて、自動的に生体データに含まれる属性Ｘが反映されたキャラクターＣをＶＲ画面内に表示することができる。これにより、ユーザＵの個性を反映したキャラクターの生成が可能となり、ＶＲを通じたネットワーク上での個人の識別が容易になる。また、ユーザＵの個性をキャラクターに反映させることにより、アミューズメント性を高めることができる。
　[第３の実施形態]
　近年、人工知能（ＡＩ：Artificial Intelligence）を用い、入力された検診データなどに基づいて病気の自動診断を行うシステムが開発されている。しかしながら、このような診断システムを利用するためには検診データの収集は、ユーザにとって負担であるため、ユーザの利便性を高める技術が望まれている。
　本実施形態においては、ＶＲシステムのユーザが日常的にＶＲシステムに入力する生体データを蓄積し、蓄積した生体データを診断システムに入力して結果を受信することで、ユーザが診断システムの利用に必要なデータの収集を意識することなく、簡易的な病気の診断結果が取得可能な診断システムを提案する。また、診断結果よりユーザが利用可能な病院と診療科を提案することにより、さらにユーザの利便性を高めることができる。
　図１７は、第３の実施形態に係る自動診断システムの構成を例示するブロック図である。
　自動診断システム１１は、ＶＲシステム１Ａと、診断用サーバ装置９と、予約システム１０とを含む。
　ＶＲシステム１Ａに含まれるＶＲ処理装置２は、記憶部２３を含む。記憶部２３は、生体データＤ１と、位置情報２３３を含む。
　生体データＤ１は、ユーザＵが生体データ取得装置２５，３３，４３，５３，７３のいずれかに入力した生体データを格納する。
　位置情報２３３は、例えば、診断用サーバ装置９がユーザＵの受診可能な病院を抽出するために用いられる。
　位置情報２３３は、例えば、ユーザＵがＶＲシステム１に予め登録した住所であってもよく、ＶＲ処理装置２又は携帯端末７がＧＰＳ（Global Positioning System）を備える場合は、後述の画面表示Ｔ１を表示する際に当該ＧＰＳが示す位置であってもよい。位置情報２３３の取得方法は、上述のものに限られない。
　なお、本実施形態に係るＶＲシステム１Ａのその他の構成は、第１の実施形態におけるＶＲシステム１の構成と同様である。
　診断用サーバ装置９は、記憶部９１と、制御部９２と、通信部９３とを含む。
　記憶部９１は、病院情報９１１を含む。
　病院情報９１１は、例えば、病名と、病名に対応可能な病院及び診療科と、病院の位置とを関連付ける情報である。
　制御部９２は、診断用サーバ装置９全体の制御を行う。制御部９２は、例えば、ユーザＵの生体データに基づいて診断処理を実行し、診断結果として病名を得る。さらに、制御部９２は、病院情報９１１と、診断結果と、ＶＲ処理装置２より受信した位置情報２３３とに基づいて、病名に対応可能な病院及び診療科の一覧を生成し、当該一覧をＶＲ処理装置へ送信する。
　通信部９３は、ネットワークＮを経由して、例えばＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。
　予約システム１０は、患者などからの診療日時の予約を受け付け可能な、一般的な病院の予約システムである。予約システム１０は、例えば病院が備えるサーバ装置上で動作するプログラムなどにより実現される。
　図１８は、本実施形態に係る自動診断システム１１の処理を例示するフローチャートである。
　ステップＳ１８０１において、ＶＲ処理装置２が起動する。ＶＲ処理装置２に接続されているＶＲヘッドセット３、コントローラ４、センサ装置５にも電源が入り、ユーザＵによる操作が可能な状態となる。
　ステップＳ１８０２において、ＶＲ処理装置２は、ＶＲシステム１Ａにログインする際に生体データの入力を要する場合に、ログイン時に用いた生体データの収集を行う。具体的には、ＶＲ処理装置２は、ユーザＵがログインの際に生体データ取得装置２５，３３，４３，５３，７３のいずれかに入力した生体データを、これらの生体データ取得装置を含むＶＲヘッドセット３、コントローラ４、センサ装置５、携帯端末７のいずれかより受信し、記憶部２３に格納する。
　なお、ＶＲシステム１Ａへのログインは、ユーザＵがＶＲ処理装置２に対して行ってもよく、又は、ユーザＵが携帯端末７に対して行ってもよい。
　ステップＳ１８０３において、ＶＲ処理装置２は、ＶＲシステム１Ａにおいて決済処理が行われる毎に、決済時に用いた生体データの収集を行う。生体データの収集方法は、ステップＳ１８０２と同様である。
　ステップＳ１８０４において、ＶＲ処理装置２は、記憶部２３に格納されている生体データＤ１の量及び種類が、診断用サーバ装置９に入力可能な程度に十分であるか否かを確認する。ＶＲ処理装置２は、生体データＤ１の量及び種類が十分でないと判断した場合は、ステップＳ１８０２に戻り、生体データの収集を続ける。また、ＶＲ処理装置２は、生体データＤ１の量及び質が十分であると判断した場合は、ステップＳ１８０５に進む。
　ステップＳ１８０５において、ＶＲ処理装置２は、ＶＲ処理装置の位置情報２３３を取得し、記憶部２３に格納する。そして、ＶＲ処理装置２は、生体データＤ１及び位置情報２３３を診断用サーバ装置９へ送信する。
　ステップＳ１８０６において、診断用サーバ装置９は、ＶＲ処理装置２より受信した生体データＤ１に基づいて、診断処理を実行し、診断結果を得る。診断結果は、例えば病名などでもよい。診断処理は、ＡＩ（Artificial Intelligence）を用いて行われてもよく、又は、その他任意のアルゴリズムを用いて行われてもよい。
　ステップＳ１８０７において、診断用サーバ装置９は、ＶＲ処理装置２より受信した位置情報２３３に基づき、ユーザＵが利用可能な範囲の病院を検索し、抽出する。さらに、診断用サーバ装置９は、診断結果及び抽出した病院と、病院情報９１１とに基づいて、ユーザＵが受診可能な病院及び診療科を決定する。
　ステップＳ１８０８において、診断用サーバ装置９は、ステップＳ１８０６及びステップＳ１８０７において得られた診断結果及びユーザＵが受診可能な病院及び診療科を含むデータを、ＶＲ処理装置２へ送信する。
　ステップＳ１８０９において、ＶＲ処理装置２は、診断用サーバ装置９より受信したデータに基づき、診断結果、病院、診療科などの情報をＶＲヘッドセット３の表示部３７又は携帯端末７の表示部７５に表示する。表示部３７，７５に表示される画面の詳細については、図１９で後述する。
　ステップＳ１８１０において、ＶＲ処理装置２は、ユーザＵに、表示部３７，７５に表示された病院及び診療科を指定させる。ユーザＵにより指定された病院及び診療科を示すデータは、予約システム１０へ送信される。
　ステップＳ１８１１において、予約システム１０は、ステップＳ１８１０において指定した病院及び診療科の予約可能日時を検索し、ＶＲ処理装置２へ送信する。
　ステップＳ１８１２において、ＶＲ処理装置２は、予約システム１０より受信した予約可能日時を表示部３７，７５に表示し、ユーザＵに予約日時を指定させる。ユーザＵにより指定された予約日時は、予約システム１０へ送信される。
　ステップＳ１８１３において、予約システム１０は、予約結果をＶＲ処理装置２へ送信し、予約を完了する。
　ステップＳ１８１４において、ＶＲ処理装置２は、予約完了した旨をユーザに通知する。具体的には、例えば、表示部３７，７５に予約完了メッセージを表示する。
　なお、ＶＲ処理装置２は、例えば、予約完了後に診断結果を予約済の病院へ送信してもよい。
　図１９は、本実施形態に係る自動診断システム１１における画面表示の第１の例を示す図である。具体的には、図１９は、図１８のステップＳ１８０９において、表示部３７，７５に表示される診断結果及びユーザＵが受診可能な病院及び診療科の一覧を示す。
　画面表示Ｔ１は、病名Ｑ１、病院Ｑ２、診療科Ｑ３、アドレスＱ４を含む。
　病名Ｑ１は、受信した診断結果に基づく病名を示す。
　病院Ｑ２は、病名Ｑ１に関する診断が受けられる病院名を示す。
　診療科Ｑ３は、病院Ｑ２の中でユーザが病名Ｑ１に関して受信可能な診療科を示す。診療科Ｑ３に含まれる各診療科の表示は、ユーザＵにより選択可能であることが望ましい。制御部２２１又は制御部７４１は、ユーザＵにより選択した診療科について、予約画面を表示する。選択された診療科は、例えば表示Ｅ３のように強調される。
　アドレスＱ４は、病院Ｑ２及び診療科Ｑ３の情報の所在を示すアドレスである。アドレスは、例えばＵＲＬ（Uniform Resource Locator）などであってもよい。
　なお、画面表示Ｔ１が含む項目は、上述のものに限られない。また、画面表示Ｔ１は表形式以外の形式で表示されてもよい。アドレスＱ４に含まれる各アドレスの表示は、ユーザＵにより選択可能であってもよい。この場合、制御部２２１又は制御部７４１は、ユーザＵにより選択されたアドレスＱ４に関連付けられたウェブページなどを表示してもよい。
　図２０は、本実施形態に係る自動診断システム１１における画面表示の第２の例を示す図である。具体的には、図２０は、図１８のステップＳ１８１２において、表示部３７，７５に表示される予約画面を示す。図２０は、図１９の画面表示Ｔ１において、「Ａ病院の耳鼻科」が選択された場合（表示Ｅ３参照）に表示される画面を示す。
　画面表示Ｔ２は、日付選択表示Ｅ４を含む。日付選択表示Ｅ４は、例えばカレンダー表示であってもよく、リスト表示であってもよい。
　日付選択表示Ｅ４は、予約可能な日付と、予約不可である日付が明示されていることが望ましい。制御部２２１又は制御部７４１は、ユーザＵにより予約可能な日付が選択されると、時間帯選択表示Ｅ５をさらに表示してもよい。ユーザＵは、さらに予約可能な時間帯を選択することにより、予約日時の指定を完了させる。なお、時間帯選択表示Ｅ５は、例えば、ポップアップ表示、リスト表示、又はその他の表示形式であってもよい。
　本実施形態において、画面表示Ｔ１，Ｔ２は、ＶＲ処理装置２又は携帯端末７にインストールされたアプリケーションにより表示されてもよい。この場合、病院Ｑ２及び診療科Ｑ３を検索して表示する処理及び画面表示処理は、当該アプリケーションがプロセッサ２２、プロセッサ７４を使用して行われてもよい。
　以上説明した本実施形態においては、自動診断システム１１は、ユーザＵがＶＲシステム１Ａにログインする際又は決済を行う際にＶＲシステム１Ａに入力する生体データを収集し、診断用サーバ装置９へ送信する。これにより、ユーザＵは診断用サーバ装置９へ入力するデータの収集を意識的に行うことなく診断結果を取得可能となり、ユーザの利便性が高まる。また、自動診断システム１１は、診断結果に基づいて最適な病院及び診療科を選択し、来院予約を行うとともに、診断用サーバ装置９より得られた診断結果を送信する。これによりさらにユーザの利便性が高まるだけでなく、医療ミスの防止及び診療時間の短縮にも貢献できる。
　なお、本実施形態において、自動診断システム１１は、ユーザＵの病名の診断に限らず、あらゆる種類の診断に適用可能である。例えば、自動診断システム１１を健康診断に適用する場合、自動診断システム１１は、画面表示Ｔ１の内容のうち、病名Ｑ１及び診療科Ｑ３に代えて、検査項目及び詳細検査機関を関連付け、ユーザＵに提示するとしてもよい。
　また、本実施形態において、自動診断システム１１には、ＶＲシステム１に代えて、生体データＤ１の取得及び位置情報２３３の取得又は格納が可能な他の情報処理装置又はシステムが含まれるとしてもよい。
　上記の実施形態は、例示であり、発明の範囲を限定することは意図していない。上記の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。上記の実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (7)

  1. 　ユーザからの指示を受け付けるコントローラと、
    　前記コントローラから受信した指示に応じて、仮想現実コンテンツを生成する第１の情報処理装置と、
    　前記ユーザに装着され、前記第１の情報処理装置から受信した前記仮想現実コンテンツを前記ユーザに表示する仮想現実ヘッドセットと、
    　前記ユーザの生体データを取得する生体データ取得装置と、
    　前記生体データ取得装置の位置を示す第１の位置情報と、前記生体データ取得装置の方向を示す第１の方向情報とを生成し、前記第１の位置情報と前記第１の方向情報とを前記第１の情報処理装置へ送信する第１のセンサと、
    　前記仮想現実ヘッドセットの位置を示す第２の位置情報と、前記仮想現実ヘッドセットの方向を示す第２の方向情報とを生成し、前記第２の位置情報と前記第２の方向情報とを前記第１の情報処理装置へ送信する第２のセンサと、
    　前記第１の情報処理装置と通信可能に接続されている第２の情報処理装置と、
    を具備し、
    　前記第１の情報処理装置は、
    　前記コントローラから決済指示を受信した場合に、前記第１のセンサから受信した前記第１の位置情報及び前記第１の方向情報と、前記第２のセンサから受信した前記第２の位置情報及び前記第２の方向情報とに基づいて、前記生体データ取得装置の前記位置及び前記方向を前記仮想現実ヘッドセットを装着している前記ユーザに認識させるとともに前記生体データ取得装置による生体データ入力を前記仮想現実ヘッドセットを装着している前記ユーザに促す画像、を前記仮想現実コンテンツに付加するコンテンツ生成部と、
    　前記仮想現実コンテンツを前記仮想現実ヘッドセットへ送信するコンテンツ送信部と、
    　前記生体データ入力を前記ユーザに促す画像を含む前記仮想現実コンテンツが前記仮想現実ヘッドセットによって表示された後に、前記生体データ取得装置から前記ユーザの前記生体データを受信し、前記生体データを前記第２の情報処理装置へ送信する生体データ送信部と、
    を具備し、
    　前記第２の情報処理装置は、
    　前記第１の情報処理装置から受信した前記生体データと、前記第２の情報処理装置によって参照される記憶装置に記憶されている前記ユーザの登録済み生体データとを照合し、照合成功の場合に前記決済指示を許可する生体認証部
    を具備する、
    仮想現実システム。
  2. 　前記第１のセンサと前記生体データ取得装置とを具備する携帯端末をさらに具備し、
    　前記携帯端末は、前記第１の位置情報及び前記第１の方向情報を前記第１の情報処理装置へ送信し、前記ユーザの前記生体データを前記第１の情報処理装置へ送信する、
    請求項１の仮想現実システム。
  3. 　前記第１の情報処理装置は、前記第１の情報処理装置と通信可能であり前記ユーザではない他のユーザによって操作される第３の情報処理装置の認証を行い、前記第３の情報処理装置に対する前記認証が成功した場合に、前記第１の情報処理装置と前記第３の情報処理装置との通信を許可し、前記仮想現実コンテンツを前記第３の情報処理装置に対応するコンテンツに変換し、前記コンテンツを前記第３の情報処理装置へ送信するコンテンツ共有部をさらに具備し、
    　前記第３の情報処理装置は、前記コンテンツ共有部から受信した前記コンテンツを表示する表示部を具備し、
    　前記第１の情報処理装置の前記コンテンツ生成部は、前記コンテンツ共有部が前記コンテンツを前記第３の情報処理装置へ送信している場合に、前記コンテンツが共有されていることを示す画像又は文字を前記仮想現実コンテンツに付加し、
    　前記第１の情報処理装置の前記コンテンツ送信部は、前記コンテンツを共有していることを示す前記画像又は前記文字を含む前記仮想現実コンテンツを前記仮想現実ヘッドセットへ送信する、
    請求項１の仮想現実システム。
  4. 　前記コンテンツ生成部は、前記第１の位置情報と前記第２の位置情報との差分と、前記第１の方向情報と前記第２の方向情報との差分とに基づいて、前記ユーザを前記生体データ取得装置まで誘導する画像を前記仮想現実コンテンツに付加する、
    請求項１の仮想現実システム。
  5. 　前記コンテンツ生成部は、前記生体データと前記登録済み生体データとのうちの少なくとも一方に基づいて、前記ユーザに対応するキャラクターの属性を決定し、前記属性に応じて前記仮想現実コンテンツを生成する、
    請求項１の仮想現実システム。
  6. 　請求項１の仮想現実システムと、
    　診断処理装置と、
    を具備し、
    　前記第１の情報処理装置は、
    　前記生体データ取得装置から受信した前記生体データの履歴データと前記ユーザの位置を示す第３の位置情報とを記憶する第１の記憶部と、
    　前記第１の記憶部に記憶されている前記履歴データと前記第３の位置情報とを前記診断処理装置へ送信する履歴送信部と、
    をさらに具備し、
    　前記診断処理装置は、
    　病名と前記病名に対応可能な病院及び診療科と前記病院の位置とを関連付けている病院情報とを記憶する第２の記憶部と、
    　前記第１の情報処理装置から前記履歴データと前記第３の位置情報とを受信し、前記履歴データに基づいて診断処理を実行し、前記病院情報と前記診断処理の結果と前記第３の位置情報とに基づいて、前記診断処理の結果に対応可能な病院及び診療科の一覧を生成し、前記一覧を前記第１の情報処理装置へ送信する第１の制御部と、
    を具備し、
    　前記第１の情報処理装置は、
    　前記診断処理装置から受信した前記一覧を表示部に表示する第２の制御部
    をさらに具備する、
    情報処理システム。
  7. 　前記第１の情報処理装置の前記第２の制御部は、前記ユーザに、前記表示部に表示された前記一覧に含まれる前記病院及び診療科のいずれかを選択させ、選択された前記病院の予約システムへ選択された診療科を示す診療科情報を送信し、
    　前記予約システムは、前記第１の情報処理装置から前記診療科情報を受信し、前記診療科情報の示す前記診療科の予約可能日時を前記第１の情報処理装置へ送信し、
    　前記第１の情報処理装置の前記第２の制御部は、前記予約システムから受信した前記予約可能日時を前記表示部に表示し、前記ユーザによって選択された日時を前記予約システムに送信する、
    請求項６の情報処理システム。
PCT/JP2016/071046 2016-07-15 2016-07-15 仮想現実システム、及び、情報処理システム WO2018011988A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP16899690.8A EP3296940A4 (en) 2016-07-15 2016-07-15 Virtual reality system and information processing system
CN201680087235.6A CN109478288B (zh) 2016-07-15 2016-07-15 虚拟现实系统及信息处理系统
PCT/JP2016/071046 WO2018011988A1 (ja) 2016-07-15 2016-07-15 仮想現実システム、及び、情報処理システム
JP2016567869A JP6095191B1 (ja) 2016-07-15 2016-07-15 仮想現実システム、及び、情報処理システム
CN202110945400.XA CN113625880B (zh) 2016-07-15 2016-07-15 虚拟现实系统及信息处理系统
US15/799,900 US10437057B2 (en) 2016-07-15 2017-10-31 Virtual reality system and information processing system
US16/549,912 US10996474B2 (en) 2016-07-15 2019-08-23 Virtual reality system and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/071046 WO2018011988A1 (ja) 2016-07-15 2016-07-15 仮想現実システム、及び、情報処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/799,900 Continuation US10437057B2 (en) 2016-07-15 2017-10-31 Virtual reality system and information processing system

Publications (1)

Publication Number Publication Date
WO2018011988A1 true WO2018011988A1 (ja) 2018-01-18

Family

ID=58281121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071046 WO2018011988A1 (ja) 2016-07-15 2016-07-15 仮想現実システム、及び、情報処理システム

Country Status (5)

Country Link
US (2) US10437057B2 (ja)
EP (1) EP3296940A4 (ja)
JP (1) JP6095191B1 (ja)
CN (2) CN113625880B (ja)
WO (1) WO2018011988A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941947B1 (ko) * 2018-07-13 2019-01-24 주식회사 유니브이알 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
WO2022113520A1 (ja) * 2020-11-30 2022-06-02 株式会社電通 情報処理システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6321271B1 (ja) * 2017-06-21 2018-05-09 株式会社コロプラ コンテンツ提供方法、当該方法をコンピュータに実行させるプログラム、およびコンテンツ提供装置
CN107734193A (zh) * 2017-11-22 2018-02-23 深圳悉罗机器人有限公司 智能设备系统及智能设备控制方法
JP7172139B2 (ja) * 2018-05-28 2022-11-16 大日本印刷株式会社 販売システム
CN111200745A (zh) * 2019-12-31 2020-05-26 歌尔股份有限公司 视点信息采集方法、装置、设备和计算机存储介质
US20230259920A1 (en) * 2022-02-15 2023-08-17 Htc Corporation Authentication method performed through wallet connection interface, authentication system, and computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015118556A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション コントロールデバイスのための拡張現実オーバーレイ
JP2015230236A (ja) * 2014-06-05 2015-12-21 株式会社ｅｃｂｅｉｎｇ 商品案内装置、端末装置、商品案内方法、及びプログラム
JP2016506530A (ja) * 2012-11-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー ヘッドマウントディスプレイ、およびこれを制御する方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006207908B2 (en) * 2005-01-28 2012-06-07 Cardinal Commerce Corporation System and method for conversion between internet and non-internet base transactions
US7839417B2 (en) * 2006-03-10 2010-11-23 University Of Northern Iowa Research Foundation Virtual coatings application system
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
CN101470875A (zh) * 2007-12-29 2009-07-01 阿里巴巴集团控股有限公司 一种通过中间平台进行支付的方法及支付系统
CN201299884Y (zh) * 2008-10-09 2009-09-02 上海惠诚咨询有限公司 智能心理身心反馈训练装置
CN102542483A (zh) * 2011-11-08 2012-07-04 莫健新 房产位置展示系统及方法、展示数据生成系统及方法
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
CN104302375A (zh) * 2012-02-06 2015-01-21 塞莱默水处理齐利诺普尔有限公司 具有内部空气分配管道的双平行横向排水沟
US9152226B2 (en) * 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
JP5891131B2 (ja) * 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9699271B2 (en) * 2013-01-29 2017-07-04 Blackberry Limited Method and apparatus for suspending screen sharing during confidential data entry
US20140267411A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Indicating observation or visibility patterns in augmented reality systems
JP6160154B2 (ja) * 2013-03-22 2017-07-12 セイコーエプソン株式会社 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
KR102127927B1 (ko) * 2013-07-30 2020-07-09 엘지전자 주식회사 이동 단말기, 스마트 워치 및 이동 단말기와 스마트 워치간 보안 인증방법
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US20150142596A1 (en) * 2013-11-18 2015-05-21 Gabriel Jakobson Commercial transactions via a wearable computer with a display
KR102080747B1 (ko) * 2014-03-28 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102239090B1 (ko) * 2014-06-05 2021-04-13 삼성전자 주식회사 위치 정보를 제공하기 위한 방법 및 장치
KR20160067373A (ko) * 2014-12-04 2016-06-14 김상백 아바타를 이용한 신변제품 착용 스타일 정보 제공 시스템 및 그 운용방법
CN104616190A (zh) * 2015-03-05 2015-05-13 广州新节奏智能科技有限公司 基于互联网和移动互联网的多终端3d体感购物方法及系统
US20160358181A1 (en) * 2015-05-14 2016-12-08 Magic Leap, Inc. Augmented reality systems and methods for tracking biometric data
KR102557801B1 (ko) * 2016-02-04 2023-07-21 삼성전자주식회사 휴대 장치 및 휴대 장치의 전자 결제방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016506530A (ja) * 2012-11-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー ヘッドマウントディスプレイ、およびこれを制御する方法
JP2015118556A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション コントロールデバイスのための拡張現実オーバーレイ
JP2015230236A (ja) * 2014-06-05 2015-12-21 株式会社ｅｃｂｅｉｎｇ 商品案内装置、端末装置、商品案内方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3296940A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941947B1 (ko) * 2018-07-13 2019-01-24 주식회사 유니브이알 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
WO2020013429A1 (ko) * 2018-07-13 2020-01-16 주식회사 유니브이알 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
WO2022113520A1 (ja) * 2020-11-30 2022-06-02 株式会社電通 情報処理システム

Also Published As

Publication number Publication date
US20190377178A1 (en) 2019-12-12
US20180052324A1 (en) 2018-02-22
CN109478288B (zh) 2021-09-10
JP6095191B1 (ja) 2017-03-15
CN113625880A (zh) 2021-11-09
EP3296940A1 (en) 2018-03-21
JPWO2018011988A1 (ja) 2018-07-12
US10437057B2 (en) 2019-10-08
US10996474B2 (en) 2021-05-04
CN113625880B (zh) 2024-04-12
CN109478288A (zh) 2019-03-15
EP3296940A4 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
JP6095191B1 (ja) 仮想現実システム、及び、情報処理システム
US10318958B2 (en) Smart watch and operating method using the same
KR102190056B1 (ko) 빅데이터 기반의 환자 맞춤형 복약 정보 제공 장치 및 복약 정보 제공 방법
CA2932528A1 (en) Service-provision management system
CN103781403A (zh) 用于执行自动的且自我指导的医学检查的系统和方法
US11257087B2 (en) Methods and systems for detecting suspicious or non-suspicious activities involving a mobile device use
KR20120087492A (ko) 키오스크와 스마트 모바일 기기를 이용한 정신건강 진단 장치
JP2021007000A (ja) 情報処理方法、情報処理装置及びプログラム
WO2016189908A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6719776B2 (ja) 仮想現実システム
JP5951244B2 (ja) 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体
TWM583581U (zh) 虛擬實境輔助交易系統
JP2017041199A (ja) 真正性保証装置及び真正性保証システム
TWI801718B (zh) 智慧型互動顯示裝置、智慧型互動顯示系統及其互動顯示方法
CN108364682A (zh) 一种红外热成像体检设备、云端服务器、终端及系统
US20170316482A1 (en) Person and machine matching device, matching system, person and machine matching method, and person and machine matching program
JP2020052505A (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
US20230161411A1 (en) Control device and control method
US20150107377A1 (en) Medical Screening Device
US20190108318A1 (en) Safety Center and Associated Equipment
US20170270251A1 (en) Social Media for ID Verification
KR20120118610A (ko) 자폐 장애 원격 치료 서비스 제공 시스템 및 방법
JP7315190B2 (ja) 遠隔診療システム
US20230143234A1 (en) Control device and control method
JP2017182530A (ja) 検索システム、検索方法、サーバ、およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016567869

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE