WO2022244052A1 - ヘッドマウントディスプレイ装置 - Google Patents

ヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
WO2022244052A1
WO2022244052A1 PCT/JP2021/018597 JP2021018597W WO2022244052A1 WO 2022244052 A1 WO2022244052 A1 WO 2022244052A1 JP 2021018597 W JP2021018597 W JP 2021018597W WO 2022244052 A1 WO2022244052 A1 WO 2022244052A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
head
mounted display
processing device
Prior art date
Application number
PCT/JP2021/018597
Other languages
English (en)
French (fr)
Inventor
眞弓 中出
万寿男 奥
康宣 橋本
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2023522001A priority Critical patent/JPWO2022244052A1/ja
Priority to CN202180098200.3A priority patent/CN117337462A/zh
Priority to PCT/JP2021/018597 priority patent/WO2022244052A1/ja
Publication of WO2022244052A1 publication Critical patent/WO2022244052A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present invention is a head-mounted display device (HMD: Head Mount Display) for experiencing virtual reality (VR: Virtual Reality) content, etc., in which the use of an information processing device, etc. can be started while experiencing content. It relates to a mount display device.
  • HMD Head Mount Display
  • VR Virtual Reality
  • VR technology that allows you to experience an artificially created virtual reality space as if it were a real space is well known.
  • VR technology is applied, for example, to flight simulators, tourist information, and games in which a large number of users participate via a network to build a virtual world.
  • a user wearing an HMD experiences VR content by viewing a VR content image (also referred to as a VR image) displayed on the display of the HMD.
  • the VR image is supplied from a server or the like to the HMD and updated according to the user's movement.
  • Such VR content is known as so-called immersive content.
  • Patent Literature 1 discloses that an HMD and an information processing device such as a smartphone are linked to allow the user to recognize the front background through the transflective display of the HMD.
  • Patent Document 1 discloses that when a smartphone receives an incoming call, an incoming call icon is displayed on the semi-transmissive display, and the user operates the smartphone through the semi-transmissive display without attaching or detaching the HMD. ing.
  • the device information of the smartphone is displayed as a two-dimensional code or the like on the screen of the smartphone, and the HMD captures and reads the device information displayed on the smartphone with a camera. If the read device information matches the device information registered in the HMD, the smartphone authentication procedure is reduced, thereby improving usability.
  • HMDs with non-transmissive displays there are also HMDs with non-transmissive displays.
  • an HMD with a non-transmissive display When using an HMD with a non-transmissive display to experience or view immersive content such as VR content, the user cannot visually recognize an information processing device such as a smartphone. For this reason, for example, when there is information that the user wants to view on the information processing device, or when there is an incoming call, it is not possible to perform necessary operations on the information processing device in a timely manner.
  • a head mounted display device includes a non-transmissive display that displays a VR image, a camera, and a control device, The control device analyzes the captured image generated by the camera while the user is experiencing the VR content, and if it determines from the captured image that the user is holding the information processing device, displays the VR image and the image of the information processing device on the display. are superimposed and displayed.
  • the present invention it is possible to provide a head-mounted display device that allows the user to use the information processing device when the user wants to use it, even when experiencing VR content.
  • FIG. 1 is a configuration diagram showing an example of a VR sensory system including a head-mounted display device according to Embodiment 1 of the present invention
  • FIG. BRIEF DESCRIPTION OF THE DRAWINGS It is an external view which shows an example of the head mounted display apparatus which concerns on Embodiment 1 of this invention.
  • 1 is a block diagram showing an example of a head mounted display device according to Embodiment 1 of the present invention
  • FIG. FIG. 4 is a block diagram showing another example of the head mounted display device according to Embodiment 1 of the present invention
  • It is a block diagram which shows an example of a structure of an information processing apparatus.
  • FIG. 10 is a flowchart showing an example of processing when a user who is experiencing VR content uses the information processing device;
  • FIG. 10 is a flowchart showing an example of processing when a user who is experiencing VR content uses the information processing device;
  • FIG. 10 is a flowchart showing an example of processing when a user who is experiencing VR content uses the information
  • FIG. 4 is a diagram showing a first example of a display image of the head-mounted display device in which a VR image and an image of the information processing device are superimposed;
  • FIG. 10 is a diagram showing a second example of a display image of the head-mounted display device in which a VR image and an image of the information processing device are superimposed;
  • FIG. 10 is a diagram showing a third example of a display image of the head-mounted display device in which a VR image and an image of the information processing device are superimposed;
  • FIG. 10 is an operation sequence diagram showing an example of processing when receiving an incoming call according to the second embodiment of the present invention;
  • FIG. 10 is a diagram showing an example of a display image when receiving an incoming call;
  • FIG. 12 is an operation sequence diagram showing an example of processing when receiving an incoming call according to Embodiment 3 of the present invention
  • 4 is a diagram illustrating a display image when the information processing device 3 is present within the imaging range of the camera
  • FIG. 4 is a diagram illustrating a display image when the information processing device 3 is present within the imaging range of the camera
  • FIG. 4 is a diagram illustrating a display image when the information processing device 3 is present within the imaging range of the camera
  • FIG. 10 is a diagram illustrating a display image when the information processing apparatus according to Embodiment 2 of the present invention is not within the imaging range of the camera
  • FIG. 10 is a diagram illustrating a display image when the information processing apparatus according to Embodiment 2 of the present invention is not within the imaging range of the camera;
  • FIG. 20 is a flowchart showing an example of a method for detecting a user's cooperation instruction according to Embodiment 4 of the present invention;
  • FIG. 20 is a flowchart showing another example of a method for detecting a user's cooperation instruction according to Embodiment 4 of the present invention;
  • FIG. 20 is a flowchart showing an example of cooperative processing by a VR sensory application according to Embodiment 4 of the present invention;
  • FIG. 13 is a diagram showing an example of an object used during VR content experience according to Embodiment 5 of the present invention;
  • FIG. 12 is a diagram showing another example of an object used while experiencing VR content according to Embodiment 5 of the present invention;
  • FIG. 3 is a block diagram showing an example of a communication module;
  • Embodiment 1 Embodiment 1 will be described with reference to FIGS. 1 to 8.
  • FIG. 1 An illustration of Embodiment 1 will be described with reference to FIGS. 1 to 8.
  • FIG. 1 is a configuration diagram showing an example of a VR sensory system including a head-mounted display device according to Embodiment 1 of the present invention.
  • the VR experience system of FIG. 1 includes a head-mounted display device 2 worn by a user 1, an information processing device 3, a network 6, an access point 5 to the network 6, a VR service server 7, and the like.
  • VR service server 7 transmits VR content (including VR images and VR audio) to head mounted display device 2 via network 6 and access point 5 in response to access from user 1 or head mounted display device 2. .
  • a user 1 wearing the head-mounted display device 2 experiences the VR content that the head-mounted display device 2 receives from the VR service server 7 and downloads.
  • the VR service server 7 may be provided with a storage for storing VR contents, a communication device connected to the head mounted display device 2, and the like.
  • a personal computer or the like can be used as the VR service server 7 .
  • the head-mounted display device 2 and the information processing device 3 send and receive various types of information to and from the VR service server 7 via the access point 5 and network 6 .
  • the head mounted display device 2 transmits various information to the VR service server 7 by transmitting various information to the access point 5 via the network signal 4a.
  • the head-mounted display device 2 receives various information from the VR service server 7 via the network signal 4c transmitted from the access point 5.
  • the network signals 4a, 4b, 4c are, for example, Wi-Fi (registered trademark) signals.
  • the information processing device 3 is, for example, a smart phone, a tablet terminal, a wearable terminal, etc., but is not limited to these.
  • transmission and reception of various information may be performed by the network signals 4 a and 4 b described above, or transmission and reception of information may be performed by the near field communication 8 .
  • the proximity communication 8 is, for example, Bluetooth (registered trademark).
  • FIG. 2 is an external view showing an example of the head mounted display device according to Embodiment 1 of the present invention.
  • FIG. 3A is a block diagram showing an example of a head mounted display device according to Embodiment 1 of the present invention.
  • the head mounted display device 2 includes cameras 20a and 20b, displays 22a and 22b, speakers 23a and 23b, a microphone 24, proximity communication receiving devices (receiving devices) 25a, 25b and 25c, a sensor group 210, A controller 220 is provided. These elements are connected to each other via internal bus 200 .
  • the head mounted display device 2 also includes holders 26a and 26b.
  • the user 1 wears the head mounted display device 2 using the holders 26a and 26b.
  • the head-mounted display device 2 is fixed on the head by a holder 26a and fixed on the nose by a holder 26b.
  • the cameras 20a and 20b are attached so as to photograph the front of the head-mounted display device 2, that is, the line-of-sight direction of the user 1.
  • the camera 20a is arranged at a position corresponding to the left eye of the user 1
  • the camera 20b is arranged at a position corresponding to the right eye of the user 1.
  • two cameras are provided here, three or more cameras may be provided.
  • the cameras 20 a and 20 b capture images in the line-of-sight direction of the user 1 and output captured image data to the control device 220 via the internal bus 200 .
  • the sensor group 210 includes, for example, an orientation sensor 211, a gyro sensor 212, an acceleration sensor 213, a distance sensor 214, a position sensor (not shown), etc., as shown in FIG. 3A. Based on the sensing results of these sensors, the position of the head-mounted display device 2 (that is, the user 1), the posture of the user 1 (for example, tilt of the head), the line-of-sight direction of the user 1, and the movement (change) of the line-of-sight direction of the user 1 ) are detected. Each sensor outputs sensing results to the control device 220 via the internal bus 200 .
  • the distance sensor 114 is a sensor that measures the distance from the head-mounted display device 2 (that is, the user 1) to the information processing device 3, which is the object. Any sensor capable of three-dimensionally estimating the position of an object can be used as the distance sensor 214 . Examples of the distance sensor 214 include three-dimensional distance sensors such as LiDAR (Light Detection And Ranging) and TOF (Time of Flight) type sensors. As shown in FIGS. 2 and 3A, when the head-mounted display device 2 is provided with a proximity communication receiver for distance measurement, the distance sensor 214 may be omitted.
  • LiDAR Light Detection And Ranging
  • TOF Time of Flight
  • the displays 22a and 22b display contents such as VR contents (VR images) and guidance contents (guidance images) of the head-mounted display device 2, for example.
  • the displays 22a and 22b are of a non-transmissive type, and are composed of display panels (for example, curved panels or flat panels) such as liquid crystal or organic EL (Organic Electro-Luminescence), lenses, and the like.
  • the display 22a is a display corresponding to the user's 1 left eye
  • the display 22b is a display corresponding to the user's 1 right eye.
  • the displays 22a and 22b receive display image data (for example, VR image data, guidance image data, etc.) output from the control device 220 via the internal bus 200, and display VR content corresponding to each eye of the user 1. to display respectively.
  • the speakers 23a and 23b receive output audio data output from the control device 220 via the internal bus 200, and based on the output audio data, output VR content (VR audio) and guidance content for the head mounted display device 2 (guidance voice) and various sounds such as operation sounds.
  • the speaker 23a is a speaker corresponding to the user's 1 left ear
  • the speaker 23b is a speaker corresponding to the user's 1 right ear.
  • the speakers 23a and 23b output sounds corresponding to the ears of the user 1, respectively.
  • the microphone 24 acquires voices such as voices uttered by the user and environmental sounds, and outputs the acquired voices to the control device 220 as input voice data via the internal bus 200 .
  • the close proximity communication receivers 25a, 25b, and 25c are receivers that receive close proximity communication signals (position detection signals) transmitted from the information processing device 3.
  • the near field communication receivers 25 a , 25 b , 25 c output the received near field communication signals to the control device 220 via the internal bus 200 .
  • the proximity communication signal is used for information and data communication with other devices such as the information processing device 3 and for measuring the distance from the head mounted display device 2 (that is, the user 1 ) to the information processing device 3 .
  • the control device 220 is a functional block that controls each element included in the head-mounted display device 2, performs image analysis processing, voice recognition processing, and the like. As shown in FIG. 3A, the control device 220 includes a communication device 221, a computer 222, a memory 223, an image memory 224, a storage device 225, and the like. Each element in controller 220 is connected to each other via internal bus 200 .
  • the communication device 221 covers multiple communication methods such as Wi-Fi (registered trademark), fourth generation (4G) and fifth generation (5G) mobile communication, selects an appropriate communication method, It connects with the network 6 and the information processing device 3 .
  • the communication device 221 may also have a close proximity communication function.
  • the communication device 221 may include a proximity communication receiver for data reception separately from the proximity communication receivers 25a to 25c for distance measurement, or the proximity communication receivers 25a to 25c may be used for data reception.
  • the communication device 221 may have a configuration capable of proprietary connection with the VR service server 7 .
  • the computer 222 is composed of a processor such as a CPU (Central Processing Unit).
  • the computer 222 reads out and executes various programs held in the memory 223 and implements functional blocks for performing various processes on the computer 222 .
  • the computer 222 also accesses the memory 223 and image memory 224 to write and read programs and data.
  • Computer 222 may include a graphics processor that primarily performs image processing.
  • the memory 223 is a volatile memory such as RAM (Random Access Memory).
  • the memory 223 temporarily holds various programs read from the storage device 225 and expanded.
  • the memory 223 also holds various data such as parameters used in various programs, calculation results in the computer 222, and the like.
  • the memory 223 outputs and holds various information such as program data and calculation results based on instructions from the computer 222 or functional blocks realized on the computer 222, for example.
  • the image memory 224 is, for example, a volatile memory such as a RAM, and mainly temporarily holds various data related to image processing (for example, display image data, captured image data, etc.).
  • the image memory 224 also mainly outputs and holds various data related to image processing based on instructions from the computer 222 or functional blocks realized on the computer 222, for example.
  • the image memory 224 is provided separately from the memory 223 in FIG. 3A, the image memory 234 may be provided within the memory 223 . In this case, the memory 233 temporarily holds various data relating to image processing.
  • the control device 220 measures (calculates) the distance from the head mounted display device 2 to the information processing device 3 using the respective proximity communication signals received by the proximity communication receivers 25a, 25b, and 25c. For example, the control device 220 performs processing such as detecting the phase difference between the near field communication receivers 25a, 25b, and 25c based on the near field communication signals input from the near field communication receivers 25a, 25b, and 25c. Thus, the distance between the head mounted display device 2 and the information processing device 3 is estimated. Further, the control device 220 can detect the three-dimensional position of the information processing device 3 using the respective proximity communication signals received by the proximity communication receivers 25a, 25b, and 25c.
  • the control device 220 can estimate the three-dimensional position of the object. Note that when the distance to the information processing device 3 is not estimated, the plurality of proximity communication receiving devices 25a to 25c may not be provided.
  • the control device 220 outputs output audio data to the speakers 23a and 23b.
  • the control device 220 also executes analysis processing of images captured by the cameras 20 a and 20 b and recognition processing of voices acquired by the microphone 24 .
  • the control device 220 also executes network communication, proximity communication processing, and the like.
  • the storage device 225 includes a non-volatile memory such as flash memory.
  • the storage device 225 includes, for example, a storage area 225a that stores a basic operation program for performing basic control of the head mounted display device 2, and a storage that stores a cooperation processing program for linking the head mounted display device 2 and the information processing device 3. It includes storage areas such as an area 225b, a storage area 225c for storing an image analysis program, and a storage area 225d for storing a speech recognition program.
  • a program stored in each storage area is developed in the memory 223 and executed by the computer 222 . Thereby, each functional block is realized on the computer 222 .
  • the content images displayed on the displays 22a and 22b are mainly VR images, but in the present embodiment, an image of the information processing device 3 cut out from the captured image of the camera may be superimposed on the VR image. be. Image data of these images are held in, for example, the image memory 224 , read out from the image memory 224 by an instruction from the control device 220 , and output to the display 22 .
  • FIG. 3B is a block diagram showing another example of the head mounted display device according to Embodiment 1 of the present invention.
  • the same elements as those in FIG. 3A are given the same reference numerals, and descriptions of parts overlapping with those in FIG. 3A will be omitted.
  • FIG. 3B differs from FIG. 3A in that the storage device 225 is provided with a storage area 225e for storing VR content.
  • the communication device 221 downloads VR content (images, sounds) from the VR service server 7 via the network 6 based on the control of the computer 222 .
  • the computer 222 stores the downloaded VR content in the storage area 225e of the storage device 225.
  • the computer 222 reads VR content from the storage area 225e as necessary, outputs VR images to the displays 22a and 22b, and outputs VR audio to the speakers 23a and 23b, thereby allowing the user 1 to experience the VR content. Then, the computer 222 performs update processing of the VR image and the VR audio according to the motion of the user 1 .
  • FIG. 4 is a block diagram showing an example of the configuration of the information processing device.
  • the configuration of the information processing device 3 will be described using a smartphone as an example.
  • the information processing device 3 illustrated in FIG. 4 includes a camera 30, an input integrated display 31, a sensor group 32, a microphone 33, a speaker 34, a communication device 35, a computer 36, a memory 37, an image memory 38, and a storage device 39.
  • a camera 30 an input integrated display 31
  • a sensor group 32 a microphone 33
  • a speaker 34 a communication device 35
  • a computer 36 includes a memory 37, an image memory 38, and a storage device 39.
  • the camera 30 is provided, for example, on the surface opposite to the input-integrated display 31 .
  • the camera 30 may also be provided on the input-integrated display 31 side.
  • the camera 30 outputs captured image data to the computer 36, the storage device 39, or the like via the internal bus 300.
  • the input-integrated display 31 is a display with an input function by so-called touch operation.
  • the input-integrated display 31 displays, for example, an operation screen of the information processing device 3, an incoming call screen, a captured image, and the like.
  • An operation of the information processing device 3 is performed by a touch operation via the input-integrated display 31 .
  • the sensor group 32 includes, for example, a direction sensor, a gyro sensor, an acceleration sensor, a position sensor (all not shown), and the like.
  • the position and orientation of the information processing device 3 are detected based on the sensing results of these sensors.
  • Each sensor outputs sensing results to the computer 36 via the internal bus 300 .
  • the microphone 33 acquires voices such as user's voice and environmental sounds, and outputs the acquired voices to the computer 36 as input voice data via the internal bus 300 .
  • the speaker 34 receives the output audio data output from the computer 36 via the internal bus 300, and based on the output audio data, various sounds such as call voice, application voice, guidance voice of the information processing device 3, operation sound, etc. Output audio.
  • the communication device 35 connects to, for example, a fourth generation (4G) or fifth generation (5G) mobile communication network. Also, the communication device 35 is connected to the network 6 and the head-mounted display device 2 via Wi-Fi (registered trademark), for example. The communication device 35 also has a close proximity communication function and transmits a close proximity communication signal to the head mounted display device 2 .
  • 4G fourth generation
  • 5G fifth generation
  • the computer 36 is composed of a processor such as a CPU, for example.
  • the computer 36 reads out and executes various programs held in the memory 37 and implements functional blocks for performing various processes on the computer 36 .
  • the computer 36 also accesses the memory 37 and the image memory 38 to write and read programs and data.
  • the memory 37 is, for example, a volatile memory such as RAM.
  • the memory 37 temporarily holds various programs read from the storage device 39 and expanded.
  • the memory 37 holds various data such as parameters used in various programs, calculation results in the computer 36, and the like.
  • the memory 37 outputs and holds various information such as program data and calculation results based on instructions from the computer 36 or functional blocks realized on the computer 36, for example.
  • the image memory 38 is, for example, a volatile memory such as a RAM, and mainly temporarily holds various data related to image processing (for example, display image data, captured image data, etc.).
  • the image memory 38 also mainly outputs and holds various data relating to image processing based on instructions from the computer 36 or functional blocks realized on the computer 36, for example.
  • the image memory 38 may be provided separately from the memory 37 , or the image memory 38 may be provided within the memory 37 . In this case, the memory 37 temporarily holds various data relating to image processing.
  • the storage device 39 includes a non-volatile memory such as flash memory. As shown in FIG. 4, the storage device 39 includes, for example, a storage area 391 that stores basic operation programs, a storage area 392 that stores call applications, and a storage area 393 that stores other applications such as SNS applications.
  • the head-mounted display device 2 of the present embodiment superimposes the image of the information processing device on the VR content image, thereby allowing the user 1 who is experiencing the VR content to use the information processing device 3 .
  • FIG. 5 is a flowchart showing an example of cooperative processing by the VR experience application according to Embodiment 1 of the present invention.
  • FIG. 5 shows an example of processing when a user who is experiencing VR content uses the information processing device.
  • the control device 220 transmits the network signal 4a from the communication device 221 to access the VR service server 7 (step S101).
  • the network signal 4a includes various information such as address information of the VR service server 7 on the network and VR content specifying information specifying the VR content to be downloaded.
  • the VR service server 7 transmits predetermined VR content designated by the VR content designation information to the head mounted display device 2 .
  • the control device 220 Upon receiving the VR content, the control device 220 stores the received VR content in the memory 223 or the image memory 224, for example. Note that if the storage device 225 is provided with a storage area 225e (FIG. 3B) for storing VR content, the control device 220 may store the received VR content in the storage area 225e. In this case, the VR content may be downloaded in advance and stored in the storage area 225e, and predetermined VR content may be read out from the storage area 225e when the head mounted display device 2 is started to be used. In this case, the process of step S101 is performed only when the necessary VR content is not stored.
  • predetermined VR content is output to provide user 1 with the VR content.
  • the control device 225 outputs VR initial image data (VR image data) at the start of the VR content to the displays 22a and 22b, and displays the VR initial images (VR images) on the displays 22a and 22b, respectively.
  • the control device 225 also outputs the VR audio data to the speakers 23a and 23b, and causes the speakers 23a and 23b to output the VR audio corresponding to the VR image.
  • step S ⁇ b>103 the control device 220 continues to acquire the movement information of the head mounted display device 2 , that is, the movement information of the user 1 based on the sensing information of each sensor of the sensor group 210 . Then, in step S104, the control device 220 generates VR updated image data (VR image data) based on the movement information acquired in step S103.
  • VR updated image data VR image data
  • step S105 the control device 220 outputs the VR updated image data generated in step S104 to the displays 22a and 22b, and displays the VR updated image data in accordance with the visual field, line-of-sight direction, inclination of the head and body, etc. of the user 1. (VR images) are displayed on the displays 22a and 22b, respectively.
  • step S106 the captured image data input from the cameras 20a and 20b is analyzed (image analysis).
  • the control device 220 analyzes the captured image data and extracts the information processing device 3 . Also, the control device 220 may extract the hand of the user 1 from the captured image data. Note that the imaging by the cameras 20a and 20b and the analysis of the captured image data may be performed asynchronously.
  • step S107 it is determined whether or not the user 1 is holding the information processing device 3 based on the analysis result of the captured image data in step S106. Specifically, in step S107, it is determined whether or not the user 1 has moved the information processing device 3 in front of the camera 20a or the camera 20b. When it is difficult to detect the hand of the user 1 in image analysis, the control device 220 determines whether or not the information processing device 3 is shown in the captured image so that the user 1 moves the information processing device 3 in front of the camera. It may be determined whether or not the
  • control device 220 recognizes from the photographed image that the image displayed when the information processing device 3 senses vibration by a vibration sensor or the like is being displayed, thereby indicating that the user 1 has moved the information processing device 3 . may be detected.
  • the control device 220 determines whether the user 1 has moved the information processing device 3 in front of the camera by combining the position of the information processing device 3 in the captured image and the line-of-sight direction of the user 1 extracted based on the sensing result. It may be determined whether In this case, the control device 220 may determine that the user 1 has moved the information processing device 3 in front of the camera if the line of sight of the user 1 is directed toward the information processing device 3, or may determine that the user 1 has moved the information processing device 3 in front of the camera. If the user 1 is not facing the information processing device 3, it may be determined that the user 1 has not moved the information processing device 3 in front of the camera.
  • the information processing device 3 is left on the desk, and the information processing device 3 is extracted in the captured image.
  • the content is not displayed on the head-mounted display device 2, the content viewing by the user 1 is not disturbed.
  • step S108 the control device 220 executes the process of step S108.
  • step S ⁇ b>108 the control device 220 cuts out an image of the information processing device 3 from the captured image, and generates image data of the information processing device 3 .
  • the display screen data of the information processing device 3 can be obtained by requesting the information processing device 3 to transmit the display screen data
  • the display screen data is transformed to match the display screen of the image data of the information processing device 3. , are superimposed on the image data of the information processing device 3 .
  • device registration and authentication have been performed in advance between the information processing device 3 and the head-mounted display device 2, and mutual authentication is performed by proximity wireless communication or the like. .
  • step S109 the control device 220 superimposes the image data of the information processing device 3 generated in step S108 on the VR image. Specifically, the control device 220 combines the image data of the information processing device 3 generated in step S108 and the VR updated image data (VR image data) to generate composite image data. Then, the control device 220 outputs the generated composite image data to the displays 22a and 22b, and causes the displays 22a and 22b to display composite images in which the VR image and the image of the information processing device 3 are superimposed. As a result, the user can visually recognize and start using the information processing device 3 while experiencing the VR content.
  • the control device 220 outputs the generated composite image data to the displays 22a and 22b, and causes the displays 22a and 22b to display composite images in which the VR image and the image of the information processing device 3 are superimposed.
  • step S110 it is determined whether or not User 1 has given an instruction to pause the progress of the VR content. If the user 1 has given an instruction to pause the progress of the VR content (Yes), the control device 220 proceeds to step S111 and pauses the progress of the VR content. This allows the user 1 to concentrate on using the information processing device 3 . Then, when the user 1 gives an instruction to restart the progress of the VR content, the progress of the VR content is restarted, and the process of step S112 is executed.
  • step S110 if the user 1 has not given an instruction to pause the progress of the VR content (No), the user 1 uses the information processing device 3 while the VR content is progressing.
  • step S112 the control device 220 determines termination of the VR experience application that executes the VR content. Termination of the VR sensory application may be determined based on whether or not the user 1 has instructed termination, or may be determined based on whether or not the VR content has terminated.
  • step S113 If the VR experience application is to be continued (No), the process returns to step S103, and the processes of steps S103 to S112 are executed again. On the other hand, when ending the VR sensation application (Yes), the control device 220 ends the VR sensation application (step S113).
  • step S107 if the user 1 does not hold the information processing device 3, that is, if the control device 220 determines that the user 1 has not moved the information processing device 3 in front of the camera (No), step Move to S112. Subsequent processing is as already explained.
  • step S111 the user 1 may not give an instruction to resume the progress of the VR content. Therefore, a step may be provided between steps S111 and S112 in which the control device 220 superimposes a guidance image for resuming the progress of the VR content on the VR image and the image of the information processing device 3 .
  • the time after the user 1 stops the progress of the VR content may be counted, and when a predetermined time has passed, the progress of the VR content may be forcibly restarted.
  • the time from when the user 1 stopped the progress of the VR content may be counted, and when a predetermined time has passed, the process may proceed to step S113 and terminate the VR experience application.
  • FIG. 6 is a diagram showing a first example of the display image of the head-mounted display device in which the VR image and the image of the information processing device are superimposed.
  • FIG. 6 shows a VR image 50, an imaging range 51 of the cameras 20a and 20b, and an image 52 of the information processing device 3. As shown in FIG. Although the imaging range 51 is illustrated for explanation, it is not displayed on the head mounted display device 2 .
  • the control device 220 recognizes the information processing device 3 within the imaging range 51 by analyzing the captured image data, and extracts the image 52 of the information processing device 3 (which may include the hand of the user holding it) from the captured image. break the ice. Then, the control device 220 superimposes the clipped image 52 of the information processing device 3 on the VR image.
  • the present invention can also be applied to a transmissive head-mounted display device. In the case of the transmissive head-mounted display device 2, the control device 220 controls the VR image of the region corresponding to the image 52 of the information processing device 3. may be made transparent and the VR image may not be displayed in the transparent area.
  • control device 220 may not display the hand of the user 1 holding the information processing device 3, or may replace it with another image such as a generated graphic image of the hand of the user 1.
  • the user 1 can confirm that the information processing device 3 has been recognized by the head-mounted display device 2 and can perform various operations such as authentication while viewing the image 52 of the information processing device 3 .
  • the finger on the opposite side of the hand holding the information processing device 3 may be used. By displaying images of the hand and fingers on the opposite side, an effect of facilitating operation can be expected.
  • FIG. 7 is a diagram showing a second example of the display image of the head-mounted display device in which the VR image and the image of the information processing device are superimposed.
  • an overlay image 53 of the information processing device 3 in which the image 52 of the information processing device 3 in FIG. 6 and the display image 53a of the information processing device 3 are superimposed is displayed.
  • the image of the hand of the user 1 is displayed in consideration of the positional relationship with the information processing device 3 .
  • the control device 220 acquires display image data related to the display image from the information processing device 3, for example, through network communication or proximity communication.
  • the head-mounted display device 2 and the information processing device 3 have been authenticated, and communication between the devices has been established.
  • the information processing device 3 transmits the display image data to the head mounted display device 2 .
  • the control device 220 generates composite image data by superimposing the VR image data, the image data of the information processing device 3, and the received display image data. Then, the control device 220 outputs the generated synthesized image data to the displays 22a and 22b, and outputs synthesized images obtained by superimposing the VR image 50, the image 52 of the information processing device 3, and the display image 53a to the displays 22a and 22b, respectively. display.
  • a composite image obtained by superimposing the image 52 of the information processing device 3 and the display image 53 a is the overlay image 53 of the information processing device 3 .
  • the head mounted display device 2 acquires the latest display image of the information processing device 3 by acquiring the display image of the information processing device 3 while recognizing the information processing device 3 in the captured image.
  • the display image 53a generated from the display image data of the information processing device 3 is used instead of the display image captured by the camera. This makes it possible to improve the definition of the display image in the synthesized image.
  • control device 220 displays the lock image of the information processing device 3 by, for example, an operation of lifting the information processing device 3, and the user 1 holds the information processing device 3 in the lock screen. It may be determined that the user 1 has picked up the information processing device 3 by determining that the display operation is being performed.
  • FIG. 8 is a diagram showing a third example of the display image of the head-mounted display device in which the VR image and the image of the information processing device are superimposed.
  • an enlarged display image 53b of the display image 53a of the information processing device 3 is displayed near the image 52 of the information processing device 3 (on the right side in FIG. 8).
  • the display position of the enlarged display image 53 b is not limited to the right side of the image 52 .
  • the size of the enlarged display image 53b is arbitrary, and can be changed to a size that is easy for the user 1 to see.
  • the display position and size may be controllable by the user 1 moving the information processing device 3 left, right, up and down to change the display position and moving it back and forth to change the size.
  • FIG. 8 shows an example in which an operation pointer 54 is superimposed on the information processing device 3 corresponding to the finger operated by the user 1 .
  • the control device 220 determines that the user 1 is holding the information processing device 3 and performing a lock screen display operation by, for example, lifting the information processing device 3 , and sends display image data to the information processing device 3 . may be requested to be sent.
  • the display image 53a of the information processing device 3 can be superimposed on the VR image, so it is possible to improve the definition of the display image.
  • the enlarged display image 53b of the information processing device 3 can be superimposed on the VR image, so it is possible to improve the visibility of the display image.
  • the functions that are considered to be particularly effective while the user 1 is experiencing the VR content have been described as an example. Regardless, for example, the present invention can obtain the same effect even when the menu is displayed or nothing is displayed. In transmissive displays, the present invention is effective while displaying content or the like that greatly obstructs the field of view.
  • Embodiment 2 Next, Embodiment 2 will be described. In the present embodiment, processing when an incoming call is received at the information processing device 3 while the user 1 is experiencing VR content will be described.
  • FIG. 9 is an operation sequence diagram showing an example of processing when receiving a call according to Embodiment 2 of the present invention.
  • FIG. 9 shows an interrupt sequence and the like for presenting the use of the information processing device 3 to the user 1 when there is an incoming call to the information processing device 3 .
  • the information processing device 3 receives an incoming call while the user 1 is experiencing VR content, and the information processing device 3 notifies the head mounted display device 2 of the incoming call.
  • An operation sequence diagram is shown for causing the user 1 to start using the information processing device 3 with the notification as a trigger.
  • FIG. 9 shows the relationship between the head-mounted display device 2, the information processing device 3, and the VR service server 7. While the user 1 is experiencing VR content, the head mounted display device 2 executes cooperative processing by the VR experience application 227 .
  • the head-mounted display device 2 (control device 220) transmits movement data of the head-mounted display device 2 detected based on, for example, sensing results to the VR service server 7 (step S207).
  • the VR service server 7 Upon receiving the movement data from the head-mounted display device 2, the VR service server 7 transmits the image data of the VR image updated along with the movement to the head-mounted display device 2 (step S201).
  • the head mounted display device 2 Upon receiving the VR image data for updating from the VR service server 7, the head mounted display device 2 displays VR updated images based on the VR image data for updating on the displays 22a and 22b (step S202). Steps S200 to S202 are repeatedly executed.
  • the information processing device 3 When the information processing device 3 receives an incoming call, the information processing device 3 activates the call application and becomes an incoming call status (step S207). Then, the information processing device 3 transmits to the head-mounted display device 2, as an interrupt request, a request to display an incoming call icon indicating that there is an incoming call (step S208).
  • step S203 when the head-mounted display device 2 receives the request to display the incoming call icon, it reads the image data of the incoming call icon held in, for example, the memory 223 and the image memory 224, and updates the VR image data and the image of the incoming call icon. Synthetic image data is generated by synthesizing the data. Based on the synthesized image data, the head mounted display device 2 causes the displays 22a and 22b to display a synthesized image in which an incoming call icon is superimposed on the VR image.
  • FIG. 10 is a diagram showing an example of a display image when receiving an incoming call.
  • FIG. 10 shows a composite image in which the VR image 50 and the incoming call icon 55 are superimposed. As shown in FIG. 10 , the incoming call icon 55 is superimposed on a partial area of the VR image 50 .
  • the display location of the incoming call icon 55 is not limited to the example in FIG.
  • the user 1 Upon recognizing the incoming call icon 55, the user 1 moves the information processing device 3 to the front of the head mounted display device 2 (S204). Recognition of the incoming call icon 55 is performed, for example, by detecting movement of the user's 1 finger by analyzing the captured image and comparing the detected movement of the finger with a predetermined movement pattern. Alternatively, the incoming call icon 55 may be recognized by acquiring the vocalization of the user 1 with the microphone 24 and comparing the vocalization of the user 1 with a predetermined vocalization pattern.
  • the head-mounted display device 2 analyzes the captured image data, extracts the information processing device 3, and superimposes the image of the information processing device 3 on the VR image, for example, as shown in FIGS. 6 to 8 (step S205). .
  • processing such as pausing the progress of the VR content may be performed (step S206).
  • step S209 the user 1 operates the information processing device 3 to make a call.
  • the information processing device 3 transmits a request to erase the incoming call icon to the head mounted display device 2 (step S210). Note that step S211 may be performed at any timing after the start of the call.
  • the head-mounted display device 2 When the head-mounted display device 2 receives the request to erase the incoming call icon, it finishes synthesizing the VR image data for updating and the image data of the incoming call icon, and erases the incoming call icon 55 displayed on the displays 22a and 22b (step S211).
  • the icon display time may be set in advance so that the display icon 55 is automatically deleted when the icon display time elapses after the incoming call icon 55 is displayed.
  • step S210 can be omitted.
  • Step S211 in this case is executed at any timing after step S204 according to the icon display time.
  • the head mounted display device 2 cancels the temporary stop of the VR content, executes steps S200 to S202, and restarts the progress of the VR content.
  • this embodiment can also be applied to SNS applications, mail applications, and the like.
  • the SNS application, mail application, or the like receives an incoming call or mail
  • the information processing device 3 transmits a request to display an incoming call icon or a received icon.
  • the user 1 can pick up the information processing device 3, check the received content of the SNS application, mail application, etc., and reply to the received content.
  • Embodiment 3 Next, Embodiment 3 will be described.
  • user 1 does not know the location of information processing device 3 .
  • the user 1 may not be able to operate the information processing device 3 immediately after recognizing the incoming call from the incoming call icon 55 . Therefore, in the present embodiment, a method for making the user 1 recognize the position of the information processing device 3 when there is an incoming call will be described.
  • FIG. 11 is an operation sequence diagram showing an example of processing when receiving a call according to Embodiment 3 of the present invention.
  • FIG. 11 is similar to FIG. 9, but differs from FIG. 9 in that step S312 is added between steps S204 and S205.
  • step S312 is executed.
  • the head mounted display device 2 generates a composite image in which the captured images of the cameras 20a and 20b are further superimposed on the composite image in which the VR image and the incoming call icon 55 are superimposed, and the captured images are superimposed.
  • a synthesized image is displayed on the displays 22a and 22b.
  • the user 1 searches the information processing device 3 while viewing the captured image superimposed on the VR image.
  • the user 1 grabs the information processing device 3 and performs an operation such as an unlocking operation.
  • step S205 is executed, and a synthesized image in which the VR image and the image of the information processing device 3 are superimposed is displayed on the displays 22a and 22b. to be displayed.
  • 12A, 12B, and 12C are diagrams illustrating display images when the information processing device 3 exists within the imaging range of the camera. Note that the incoming call icon 55 is also superimposed on the display images of FIGS. 12A, 12B, and 12C.
  • the image captured by the camera is not processed, and an image in which the VR image 50 and the unprocessed captured image 351A are superimposed is displayed on the displays 22a and 22b. According to the example of FIG. 12A, it is possible to search for the information processing device 3 without impairing visibility of the VR image 50 .
  • an image in which the VR image 50 and the transparent image 351B are superimposed is displayed on the displays 22a and 22b.
  • the transparent image 351B is generated by executing a transparent process for making the area other than the information processing device 3 transparent on the captured image.
  • the image 52 of the information processing device 3 is included in the transparent image 351B.
  • FIG. 12C an image in which the VR image 50 and the line drawing processed image 351C are superimposed is displayed on the displays 22a and 22b.
  • the linework processed image 351C is an image obtained by performing linework processing on the captured image. Edge detection is performed on the line drawing processed image 351C to detect the shape processing device and the like.
  • the broken line indicates the process in which line drawing processing was performed.
  • 13A and 13B are diagrams illustrating display images when the information processing apparatus according to Embodiment 2 of the present invention is not within the imaging range of the camera.
  • the head mounted display device 2 recognizes the position of the information processing device 3 by three-dimensional position detection using proximity communication, for example. Then, a mark 356 indicating the direction in which the information processing device 3 exists is superimposed on the VR image 50 and displayed in the outer region of the imaging range 51 of the camera image. For example, in FIGS. 13A and 13B , the information processing device 3 is positioned on the right side of the imaging range 51 , so the mark 356 is displayed on the right side of the imaging range 51 .
  • the image of the information processing device is shown as the mark 356, but an icon may be used as the mark 356.
  • an icon for example, an arrow
  • the mark position is not particularly limited.
  • FIG. 13A is similar to FIG. 12A, and an image in which the VR image 50 and the captured image 351A are superimposed is displayed on the displays 22a and 22b. Furthermore, a mark 356 indicating the direction in which the information processing device 3 exists is superimposed on the VR image 50 and displayed outside the captured image 351A (imaging range 51).
  • the user 1 faces the head mounted display device 2 in the direction in which the mark 356 is displayed or in the direction indicated by the mark 356 until the information processing device 3 enters the captured image 351A. Then, when the information processing device 3 enters the imaging range 51, the user 1 picks up the information processing device 3 and operates the information processing device 3 while viewing the captured image 351A.
  • the user 1 moves the head mounted display device 2 while looking at the mark 356 so that the information processing device 3 enters near the front of the head mounted display device 2 . Then, the user 1 picks up the information processing device 3 and operates the information processing device 3 while viewing the captured image 351A.
  • the head-mounted display device 2 recognizes that the user 1 reaches out and touches the information processing device 3 by analyzing the captured image (captured image data), the information processing device 3 and the hand are superimposed and displayed. The user 1 can be notified that the information processing device 3 has been recognized.
  • the user 1 can find the information processing device 3 even if the user 1 does not know the location of the information processing device 3 . Therefore, the information processing device 3 can be used by holding it without attaching or detaching the head mounted display device 2 .
  • Embodiment 4 cooperation processing for allowing user 1 to use information processing device 3 is performed in accordance with a cooperation instruction from user 1 . That is, in the present embodiment, based on an active cooperation instruction from user 1, cooperation processing between head-mounted display device 2 and information processing device 3 is started. The head-mounted display device 2 is informed that the user 1 intends to use the information processing device 3 by the cooperation instruction of the user 1 .
  • FIG. 14 is a flowchart showing an example of a method for detecting a user's cooperation instruction according to Embodiment 4 of the present invention.
  • the cooperation instruction from the user 1 is detected from the user 1's gesture (including the finger movement pattern of the user 1) from the images captured by the cameras 20a and 20b.
  • step S300 imaging by the cameras 20a and 20b is started (step S300).
  • the head-mounted display device 2 takes in captured image data generated by the cameras 20a and 20b (step S301), analyzes the captured image data, and extracts feature points of the captured image (step S302).
  • the feature points extracted here are, for example, the hand and fingers of the user 1 .
  • the head-mounted display device 2 detects gestures (movement patterns) of feature points using the analysis results of the plurality of captured image data (step S303).
  • the head-mounted display device 2 matches the feature point gesture detected in step S303 with a matching gesture registered in advance (step S304).
  • Verification gestures may include gestures other than those corresponding to user 1's cooperation instruction. In pattern matching, the gesture of the detected feature point is compared with the registered matching gesture to determine what the user 1 wants to do.
  • step S304 when the head-mounted display device 2 detects the cooperation instruction of the user 1 by pattern matching in step S304, it outputs a command to perform cooperation processing to the VR experience application 227 (step S305). On the other hand, if the user 1's cooperation instruction is not detected in the pattern matching in step S304, step S305 is ignored.
  • step S306 the head mounted display device 2 determines whether or not to terminate the image analysis application. If the motion pattern detection application is to be terminated (Yes), the process proceeds to step S307 and the image analysis application is terminated. On the other hand, if the image analysis application is not terminated (No), the processing of steps S301 to S306 is performed again.
  • FIG. 15 is a flowchart showing another example of a method for detecting a user's cooperation instruction according to Embodiment 4 of the present invention.
  • FIG. 15 shows a method of detecting user 1's cooperation instruction from user 1's uttered voice.
  • voice acquisition by the microphone 24 is started (step S320).
  • the head-mounted display device 2 captures input audio data generated by the microphone 24 (step S321), analyzes the input audio data, and extracts features of the input audio (step S322).
  • the features of the input speech extracted here are, for example, words, phrases, and sentences of the input speech.
  • the head-mounted display device 2 compares the feature of the input voice extracted in step S322 with the previously registered matching feature (step S323).
  • Matching features may include features other than those corresponding to user 1's cooperation instructions.
  • pattern matching the extracted features of the input speech are compared with the registered features for matching to determine what the user 1 wants to do.
  • step S323 when the head-mounted display device 2 detects the cooperation instruction of the user 1 by pattern matching in step S323, it outputs a command to perform cooperation processing to the VR experience application 227 (step S324). On the other hand, if the user 1's cooperation instruction is not detected in the pattern matching in step S323, step S324 is ignored.
  • step S325 the head mounted display device 2 determines whether or not to end the image analysis application. If the speech recognition application is to be terminated (Yes), the process proceeds to step S326 and the speech recognition application is terminated. On the other hand, if the voice recognition application is not terminated (No), the processing of steps S321 to S325 is performed again.
  • FIG. 16 is a flowchart showing an example of cooperative processing by the VR experience application according to Embodiment 4 of the present invention. Since FIG. 16 is similar to FIG. 5, differences from FIG. 5 will be mainly described below.
  • step S105 When the VR updated image is displayed in step S105, the process proceeds to step S420.
  • step S420 it is determined whether or not there is an instruction to perform cooperation processing based on the cooperation instruction of user 1.
  • a predetermined cooperation signal is input to control device 220 (computer 222) from, for example, memory 223 or a register (not shown) in computer 222. be. Based on the cooperation signal, the control device 220 determines whether or not there is an instruction to perform cooperation processing based on the cooperation instruction of the user 1 .
  • the control device 220 recognizes that there is an instruction to perform cooperation processing based on the cooperation instruction of user 1 . That is, in this case, the control device 220 determines that the user 1 has the intention of using the information processing device 3 . Then, the process proceeds to step S421.
  • the control device 220 recognizes that there is no instruction to perform cooperation processing based on the cooperation instruction of the user 1 . That is, in this case, the control device 220 determines that the user 1 has no intention of using the information processing device 3 . Then, the process proceeds to step S112.
  • step S421 the control device 220 superimposes and displays the VR image and the images captured by the cameras 20a and 20b. In this manner, the VR image and the captured image are superimposed and displayed based on the cooperation instruction from the user 1 .
  • the processing after step S421 is the same as in FIG.
  • the present embodiment it is possible to detect an active cooperation instruction from the user 1 and start using the information processing device 3 while experiencing VR content.
  • Embodiment 5 Next, Embodiment 5 will be described.
  • the user 1 who is experiencing VR content can use objects other than the information processing device 3 .
  • FIG. 17 is a diagram showing an example of an object used while experiencing VR content according to Embodiment 5 of the present invention.
  • FIG. 17 exemplifies a mug 60 as an object, but other objects may be used.
  • the shape of the object is registered in advance.
  • the head mounted display device 2 analyzes the captured image using an image analysis application.
  • the head mounted display device 2 displays an image of the mug 60, for example, superimposed on the VR image. This allows the user 1 to take a coffee break or the like using the mug 60, for example, while experiencing the VR content.
  • FIG. 18A is a diagram showing another example of an object used while experiencing VR content according to Embodiment 5 of the present invention.
  • FIG. 18A illustrates a mug 60 to which a communication module 61 is attached as an object.
  • the head mounted display device 2 can detect the position of the mug 60 based on the proximity communication signal (position detection signal) transmitted from the communication module 61 even when the position of the mug 60 is unknown.
  • FIG. 18B is a block diagram showing an example of a communication module.
  • communication module 61 includes proximity communication device 62 and microcomputer 63 .
  • Proximity communication device 62 and microcomputer 63 are connected to each other via internal bus 600 .
  • the microcomputer 63 incorporates, for example, an MPU (Micro Processor Unit) 631, a memory 632, and a storage device 633, as shown in FIG. 18B.
  • MPU Micro Processor Unit
  • the head mounted display device 2 receives the proximity communication signal transmitted from the proximity communication device 62 and detects the three-dimensional position of the mug 60 . Based on the detected three-dimensional position of the mug 60, the head mounted display device 2 superimposes the VR image 50 and a mark indicating the direction of existence of the mug 60 on the display.
  • the user 1 can use objects other than the information processing device 3 while experiencing VR content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ヘッドマウントディスプレイ装置は、ＶＲ画像を表示する非透過型のディスプレイと、カメラと、制御装置と、を備え、制御装置は、ユーザがＶＲコンテンツを体感中、カメラが生成する撮像画像を解析し（ステップＳ１０６）、撮像画像からユーザが情報処理装置を保持していると判定した場合（ステップＳ１０７：Ｙｅｓ）、ディスプレイにＶＲ画像と情報処理装置の画像とを重畳して表示させる（ステップＳ１０９）。

Description

ヘッドマウントディスプレイ装置
　本発明は、仮想現実（ＶＲ：Ｖｅｒｔｉａｌ　Ｒｅａｌｉｔｙ）コンテンツなどを体感するためのヘッドマウントディスプレイ装置（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）であって、コンテンツの体感中に情報処理装置等の使用開始が可能なヘッドマウントディスプレイ装置に関する。
　人工的に作られた仮想現実空間を現実空間のように体感させるＶＲ技術が知られる。ＶＲ技術は、例えばフライトシミュレータ、観光案内、多数のユーザがネットワークを介して参加し仮想世界を築いていくゲームなどに適用されている。ＨＭＤを装着したユーザは、ＨＭＤのディスプレイに映し出されるＶＲコンテンツ画像（ＶＲ画像とも記す）を視聴することでＶＲコンテンツを体感する。ＶＲ画像は、サーバ等からＨＭＤに供給され、ユーザの動きに応じて更新される。このようなＶＲコンテンツは、いわゆる没入型のコンテンツとして知られる。
　例えば特許文献１には、ＨＭＤとスマートフォンのような情報処理装置とをリンクさせ、ＨＭＤが備える半透過型のディスプレイ越しに前方背景をユーザに認識させる旨開示されている。具体的には、特許文献１には、スマートフォンが着信した時に、着信のアイコンを半透過型ディスプレイに表示させ、ＨＭＤの着脱なしに、ユーザが半透過型ディスプレイを通してスマートフォンを操作する旨が開示されている。このとき、スマートフォンの画面には、スマートフォンの機器情報が２次元コード等で表示され、ＨＭＤは、スマートフォンに表示される機器情報をカメラで撮影して読み取る。読み取った機器情報がＨＭＤ内に登録されている機器情報と一致する場合、スマートフォンの認証手順を軽減させることで、使い勝手を向上させている。
特許第６３００７０５号公報
　しかしながら、ＨＭＤには、非透過型ディスプレイを備えたものも存在する。非透過型ディスプレイを備えたＨＭＤを用いて、ＶＲコンテンツのような没入型のコンテンツを体感、あるいは視聴する場合、ユーザはスマートフォン等の情報処理装置を視認することができない。このため、例えば、ユーザが情報処理装置で閲覧したい情報がある場合や、着信等があった場合等、情報処理装置に対する必要な操作をタイムリーに行うことができない。
　そこで、本発明の目的は、非透過型のディスプレイを備えたＨＭＤでコンテンツを体感している場合でも、ユーザが使用したい時に情報処理装置を使用させることを目的とする。
　上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、ヘッドマウントディスプレイ装置は、ＶＲ画像を表示する非透過型のディスプレイと、カメラと、制御装置と、を備え、制御装置は、ユーザがＶＲコンテンツを体感中、カメラが生成する撮像画像を解析し、撮像画像からユーザが情報処理装置を保持していると判定した場合、ディスプレイにＶＲ画像と情報処理装置の画像とを重畳して表示させる。
　本発明によれば、ＶＲコンテンツを体感している場合でも、ユーザが使用したい時に情報処理装置を使用させることが可能なヘッドマウントディスプレイ装置を提供することができる。
本発明の実施の形態１に係るヘッドマウントディスプレイ装置を含むＶＲ体感システムの一例を示す構成図である。 本発明の実施の形態１に係るヘッドマウントディスプレイ装置の一例を示す外観図である。 本発明の実施の形態１に係るヘッドマウントディスプレイ装置の一例を示すブロック図である。 本発明の実施の形態１に係るヘッドマウントディスプレイ装置の他の例を示すブロック図である。 情報処理装置の構成の一例を示すブロック図である。 ＶＲコンテンツを体感中のユーザが情報処理装置を使用する際の処理の一例を示すフロー図である。 ＶＲ画像と情報処理装置の画像とが重畳されたヘッドマウントディスプレイ装置の表示画像の第１の例を示す図である。 ＶＲ画像と情報処理装置の画像とが重畳されたヘッドマウントディスプレイ装置の表示画像の第２の例を示す図である。 ＶＲ画像と情報処理装置の画像とが重畳されたヘッドマウントディスプレイ装置の表示画像の第３の例を示す図である。 本発明の実施の形態２に係る着信時の処理の一例を示す動作シーケンス図である。 着信時における表示画像の一例を示す図である。 本発明の実施の形態３に係る着信時の処理の一例を示す動作シーケンス図である。 情報処理装置３がカメラの撮像範囲内に存在する場合の表示画像を例示する図である。 情報処理装置３がカメラの撮像範囲内に存在する場合の表示画像を例示する図である。 情報処理装置３がカメラの撮像範囲内に存在する場合の表示画像を例示する図である。 本発明の実施の形態２に係る情報処理装置がカメラの撮像範囲内には存在しない場合の表示画像を例示する図である。 本発明の実施の形態２に係る情報処理装置がカメラの撮像範囲内には存在しない場合の表示画像を例示する図である。 本発明の実施の形態４に係るユーザの連携指示を検出する方法の一例を示すフロー図である。 本発明の実施の形態４に係るユーザの連携指示を検出する方法の他の例を示すフロー図である。 本発明の実施の形態４に係るＶＲ体感アプリケーションによる連携処理の一例を示すフロー図である。 本発明の実施の形態５に係るＶＲコンテンツ体感中に使用される物体の一例を示す図である。 本発明の実施の形態５に係るＶＲコンテンツ体感中に使用される物体の他の例を示す図である。 通信モジュールの一例を示すブロック図である。
　以下、図面を参照しながら本発明の実施の形態について説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　（実施の形態１）
　図１から図８を用いて、実施の形態１を説明する。
　＜ＶＲ体感システム構成＞
　図１は、本発明の実施の形態１に係るヘッドマウントディスプレイ装置を含むＶＲ体感システムの一例を示す構成図である。図１のＶＲ体感システムは、ユーザ１が装着するヘッドマウントディスプレイ装置２、情報処理装置３、ネットワーク６、ネットワーク６へのアクセスポイント５、ＶＲサービスサーバ７等を有する。
　ＶＲサービスサーバ７は、ユーザ１またはヘッドマウントディスプレイ装置２からのアクセスに応じて、ネットワーク６およびアクセスポイント５を介してＶＲコンテンツ（ＶＲ画像およびＶＲ音声を含む）をヘッドマウントディスプレイ装置２へ送信する。ヘッドマウントディスプレイ装置２を装着したユーザ１は、ヘッドマウントディスプレイ装置２がＶＲサービスサーバ７から受信、ダウンロードしたＶＲコンテンツを体感する。
　ＶＲサービスサーバ７は、複数あってもよい。ＶＲサービスサーバ７は、ＶＲコンテンツを記憶するストレージと、ヘッドマウントディスプレイ装置２と接続する通信装置等を備えたものであればよい。ＶＲサービスサーバ７は、例えばパーソナルコンピュータ等を用いることができる。
　ヘッドマウントディスプレイ装置２および情報処理装置３は、アクセスポイント５、ネットワーク６を介してＶＲサービスサーバ７との間で各種情報を送受信する。
　具体的に述べると、ヘッドマウントディスプレイ装置２は、ネットワーク信号４ａによりアクセスポイント５へ各種情報を送信することで、ＶＲサービスサーバ７へ各種情報を送信する。ヘッドマウントディスプレイ装置２は、アクセスポイント５から送信されるネットワーク信号４ｃによりＶＲサービスサーバ７から各種情報を受信する。ネットワーク信号４ａ、４ｂ、４ｃは、例えばＷｉ－Ｆｉ（登録商標）信号等である。
　情報処理装置３は、例えばスマートフォン、タブレット端末、ウェアラブル端末等であるが、これらに限定されるものではない。情報処理装置３とヘッドマウントディスプレイ装置２間の接続は、前述のネットワーク信号４ａ、４ｂにより各種情報の送受信が行われてもよいし、近接通信８により情報の送受信が行われてもよい。近接通信８は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。
　図２は、本発明の実施の形態１に係るヘッドマウントディスプレイ装置の一例を示す外観図である。図３Ａは、本発明の実施の形態１に係るヘッドマウントディスプレイ装置の一例を示すブロック図である。
　図２に示すように、ヘッドマウントディスプレイ装置２は、カメラ２０ａ、２０ｂ、ディスプレイ２２ａ、２２ｂ、スピーカ２３ａ、２３ｂ、マイク２４、近接通信受信装置（受信装置）２５ａ、２５ｂ、２５ｃ、センサ群２１０、制御装置２２０を備えている。これらの要素は、内部バス２００を介して互いに接続される。
　また、ヘッドマウントディスプレイ装置２は、ホルダ２６ａ、２６ｂを備えている。ユーザ１は、ホルダ２６ａ、２６ｂを用いてヘッドマウントディスプレイ装置２を装着する。ヘッドマウントディスプレイ装置２は、ホルダ２６ａにより頭部に固定され、ホルダ２６ｂにより鼻の上に固定される。
　カメラ２０ａ、２０ｂは、ヘッドマウントディスプレイ装置２の前方、すなわちユーザ１の視線方向を撮影するように取り付けられている。図２では、カメラ２０ａはユーザ１の左目に対応する位置に配置され、カメラ２０ｂはユーザ１の右目に対応する位置に配置されている。ここでは、カメラが２個設けられているが、３個以上のカメラが設けられてもよい。カメラ２０ａ、２０ｂは、ユーザ１の視線方向を撮像し、内部バス２００を介して、撮像画像データを制御装置２２０へ出力する。
　センサ群２１０は、図３Ａに示すように、例えば、方位センサ２１１、ジャイロセンサ２１２、加速度センサ２１３、距離センサ２１４、位置センサ（図示は省略）等を含む。これらのセンサによるセンシング結果に基づき、ヘッドマウントディスプレイ装置２（すなわちユーザ１）の位置、ユーザ１の姿勢（例えば頭部の傾き等）、ユーザ１の視線方向、ユーザ１の視線方向の移動（変化）等が検知される。各センサは、内部バス２００を介して、センシング結果を制御装置２２０へ出力する。
　距離センサ１１４は、ヘッドマウントディスプレイ装置２（すなわちユーザ１）から対象物である情報処理装置３までの距離を計測するセンサである。対象物の位置を３次元で推定可能なセンサであれば、距離センサ２１４として用いることができる。距離センサ２１４として、例えばＬｉＤＡＲ(Light Detection And Ranging)やＴＯＦ（Time of Flight）方式のセンサ等の３次元距離センサが挙げられる。なお、図２、図３Ａに示すように、ヘッドマウントディスプレイ装置２に距離測定用の近接通信受信装置が設けられている場合、距離センサ２１４がなくてもよい。
　ディスプレイ２２ａ、２２ｂは、例えば、ＶＲコンテンツ（ＶＲ画像）やヘッドマウントディスプレイ装置２のガイダンス用コンテンツ（ガイダンス画像）等のコンテンツを表示する。ディスプレイ２２ａ、２２ｂは、非透過型であり、例えば、液晶や有機ＥＬ(Organic Electro-Luminescence)等の表示パネル（例えば曲面パネルや平面パネル）およびレンズ等で構成される。ディスプレイ２２ａは、ユーザ１の左目に対応するディスプレイであり、ディスプレイ２２ｂは、ユーザ１の右目に対応するディスプレイである。ディスプレイ２２ａ、２２ｂは、内部バス２００を介して、制御装置２２０から出力される表示画像データ（例えばＶＲ画像データ、ガイダンス画像データ等）を入力し、ユーザ１のそれぞれの目に対応するＶＲコンテンツ等をそれぞれ表示する。
　スピーカ２３ａ、２３ｂは、内部バス２００を介して制御装置２２０から出力される出力音声データを入力し、出力音声データに基づき、ＶＲコンテンツ（ＶＲ音声）、ヘッドマウントディスプレイ装置２のガイダンス用コンテンツ（ガイダンス音声）、操作音等の各種音声を出力する。スピーカ２３ａはユーザ１の左耳に対応するスピーカであり、スピーカ２３ｂはユーザ１の右耳に対応するスピーカである。スピーカ２３ａ、２３ｂは、ユーザ１のそれぞれの耳に対応する音声をそれぞれ出力する。
　マイク２４は、ユーザが発する音声や環境音等の音声を取得し、内部バス２００を介して、取得した音声を入力音声データとして制御装置２２０へ出力する。
　近接通信受信装置２５ａ、２５ｂ、２５ｃは、情報処理装置３から送信される近接通信信号（位置検出信号）を受信する受信装置である。近接通信受信装置２５ａ、２５ｂ、２５ｃは、内部バス２００を介して、受信した近接通信信号を制御装置２２０へ出力する。近接通信信号は、情報処理装置３等の他機器との情報やデータ通信やヘッドマウントディスプレイ装置２（すなわちユーザ１）から情報処理装置３までの距離を計測するために用いられる。
　制御装置２２０は、ヘッドマウントディスプレイ装置２に含まれる各要素の制御、画像解析処理、音声認識処理等を行う機能ブロックである。図３Ａに示すように、制御装置２２０は、通信装置２２１、コンピュータ２２２、メモリ２２３、画像メモリ２２４、記憶装置２２５等を備えている。制御装置２２０内の各要素は、内部バス２００を介して互いに接続されている。
　通信装置２２１は、例えば、Ｗｉ－Ｆｉ（登録商標）、第４世代（４Ｇ）や第５世代（５Ｇ）のモバイル通信等、複数の通信方式をカバーし、適切な通信方式を選択して、ネットワーク６や情報処理装置３と接続する。また、通信装置２２１は、近接通信の機能を備えてもよい。この場合、通信装置２２１は、距離測定用の近接通信受信装置２５ａ～２５ｃとは別にデータ受信用の近接通信受信装置を備えてもよいし、近接通信受信装置２５ａ～２５ｃがデータ受信用として用いられてもよい。また、通信装置２２１は、ＶＲサービスサーバ７とプロプライエタリに接続可能な構成を備えてもよい。
　コンピュータ２２２は、例えばＣＰＵ(Central Processing Unit)等のプロセッサで構成される。コンピュータ２２２は、メモリ２２３に保持される各種プログラムを読み出して実行し、各種処理を行う機能ブロックをコンピュータ２２２上に実現させる。また、コンピュータ２２２は、メモリ２２３や画像メモリ２２４にアクセスし、プログラムやデータの書き込みおよび読み出しを行う。コンピュータ２２２は、主に画像処理を実行するグラフィックプロセッサを含んでもよい。
　メモリ２２３は、例えばＲＡＭ(Random Access Memory)等の揮発性メモリである。メモリ２２３は、記憶装置２２５から読み出して展開された各種プログラムを一時的に保持する。また、メモリ２２３は、各種プログラムに用いられるパラメータ等の各データや、コンピュータ２２２における演算結果等を保持する。メモリ２２３は、例えば、コンピュータ２２２またはコンピュータ２２２上に実現された機能ブロックからの指示に基づき、プログラムデータ、演算結果等の各種情報の出力や保持を行う。
　画像メモリ２２４は、例えばＲＡＭ等の揮発性メモリであり、主に画像処理に関する各種データ（例えば表示画像データ、撮像画像データ等）を一時的に保持する。画像メモリ２２４も、例えば、コンピュータ２２２またはコンピュータ２２２上に実現された機能ブロックからの指示に基づき、主に画像処理に関する各種データの出力や保持を行う。図３Ａでは、画像メモリ２２４は、メモリ２２３と別体で設けられているが、画像メモリ２３４がメモリ２２３内に設けられてもよい。この場合、メモリ２３３に、画像処理に関する各種データが一時的に保持される。
　制御装置２２０は、近接通信受信装置２５ａ、２５ｂ、２５ｃが受信したそれぞれの近接通信信号を用いて、ヘッドマウントディスプレイ装置２から情報処理装置３までの距離を計測（算出）する。制御装置２２０は、例えば、近接通信受信装置２５ａ、２５ｂ、２５ｃから入力されるそれぞれの近接通信信号に基づき、近接通信受信装置２５ａ、２５ｂ、２５ｃ間の位相差をそれぞれ検出する等の処理を行うことにより、ヘッドマウントディスプレイ装置２と情報処理装置３との距離を推定する。また、制御装置２２０は、近接通信受信装置２５ａ、２５ｂ、２５ｃが受信したそれぞれの近接通信信号を用いて、情報処理装置３の３次元位置を検出することができる。
　３個以上の近接通信受信装置を備えることにより、制御装置２２０は、対象物の３次元での位置を推定することができる。なお、情報処理装置３との距離の推定を行わない場合には、近接通信受信装置２５ａ～２５ｃは複数個なくてもよい。
　制御装置２２０は、スピーカ２３ａ、２３ｂに出力音声データを出力する。また、制御装置２２０は、カメラ２０ａ、２０ｂの撮像画像の解析処理、マイク２４が取得した音声の認識処理を実行する。また、制御装置２２０は、ネットワーク通信や、近接通信の処理等を実行する。
　記憶装置２２５は、例えばフラッシュメモリ等の不揮発性メモリを備える。記憶装置２２５は、例えば、ヘッドマウントディスプレイ装置２の基本制御を行うための基本動作プログラムを記憶する記憶領域２２５ａ、ヘッドマウントディスプレイ装置２と情報処理装置３とを連携させる連携処理プログラムを記憶する記憶領域２２５ｂ、画像解析プログラムを記憶する記憶領域２２５ｃ、音声認識プログラムを記憶する記憶領域２２５ｄ等の各記憶領域を備えている。各記憶領域に記憶されたプログラムは、メモリ２２３に展開され、コンピュータ２２２で実行される。これにより、コンピュータ２２２上に各機能ブロックが実現される。
　ディスプレイ２２ａ、２２ｂに表示されるコンテンツ画像は、主にＶＲ画像であるが、本実施の形態では、ＶＲ画像にカメラの撮像画像から切り取られた情報処理装置３の画像等が重畳されることがある。これらの画像の画像データは、例えば画像メモリ２２４等に保持され、制御装置２２０からの指示により画像メモリ２２４から読み出され、ディスプレイ２２に出力される。
　＜＜ヘッドマウントディスプレイ装置の他の構成例＞＞
　図３Ｂは、本発明の実施の形態１に係るヘッドマウントディスプレイ装置の他の例を示すブロック図である。図３Ｂにおいて、図３Ａと同一の要素には、同一の符号が付与されており、図３Ａと重複する箇所の説明は省略する。図３Ｂは、記憶装置２２５にＶＲコンテンツを記憶する記憶領域２２５ｅが設けられる点が図３Ａとは異なる。
　図３Ｂの構成では、通信装置２２１は、コンピュータ２２２の制御に基づき、ネットワーク６を介してＶＲサービスサーバ７からＶＲコンテンツ（画像、音声）をダウンロードする。コンピュータ２２２は、ダウンロードしたＶＲコンテンツを記憶装置２２５の記憶領域２２５ｅに記憶させる。
　コンピュータ２２２は、必要に応じて記憶領域２２５ｅからＶＲコンテンツを読み出し、ＶＲ画像をディスプレイ２２ａ、２２ｂへ出力し、ＶＲ音声をスピーカ２３ａ、２３ｂへ出力することで、ユーザ１にＶＲコンテンツを体感させる。そして、コンピュータ２２２は、ユーザ１の動きに応じてＶＲ画像やＶＲ音声の更新処理を行う。
　＜情報処理装置＞
　次に、情報処理装置について説明する。図４は、情報処理装置の構成の一例を示すブロック図である。図４では、スマートフォンを例にして、情報処理装置３の構成を説明する。図４に例示する情報処理装置３は、カメラ３０、入力一体型ディスプレイ３１、センサ群３２、マイク３３、スピーカ３４、通信装置３５、コンピュータ３６、メモリ３７、画像メモリ３８、記憶装置３９を備えている。
　カメラ３０は、例えば、入力一体型ディスプレイ３１とは反対側の面に設けられる。また、カメラ３０は、入力一体型ディスプレイ３１側にも設けられてよい。カメラ３０は、内部バス３００を介して、撮像画像データをコンピュータ３６や記憶装置３９等へ出力する。
　入力一体型ディスプレイ３１は、いわゆるタッチ操作による入力機能付きのディスプレイである。入力一体型ディスプレイ３１は、例えば、情報処理装置３の操作画面、着信画面、撮像画像等を表示する。入力一体型ディスプレイ３１を介したタッチ操作により、情報処理装置３の操作が実行される。
　センサ群３２は、例えば、方位センサ、ジャイロセンサ、加速度センサ、位置センサ（いずれも図示は省略）等を含む。これらのセンサによるセンシング結果に基づき、情報処理装置３の位置や姿勢が検知される。各センサは、内部バス３００を介して、センシング結果をコンピュータ３６へ出力する。
　マイク３３は、ユーザが発する音声や環境音等の音声を取得し、内部バス３００を介して、取得した音声を入力音声データとしてコンピュータ３６へ出力する。
　スピーカ３４は、内部バス３００を介してコンピュータ３６から出力される出力音声データを入力し、出力音声データに基づき、例えば、通話音声、アプリケーション音声、情報処理装置３のガイダンス音声、操作音等の各種音声を出力する。
　通信装置３５は、例えば、第４世代（４Ｇ）や第５世代（５Ｇ）のモバイル通信のネットワークへ接続する。また、通信装置３５は、例えば、Ｗｉ－Ｆｉ（登録商標）等によりネットワーク６やヘッドマウントディスプレイ装置２と接続する。また、通信装置３５は、近接通信機能を備え、ヘッドマウントディスプレイ装置２へ近接通信信号を送信する。
　コンピュータ３６は、例えばＣＰＵ等のプロセッサで構成される。コンピュータ３６は、メモリ３７に保持される各種プログラムを読み出して実行し、各種処理を行う機能ブロックをコンピュータ３６上に実現させる。また、コンピュータ３６は、メモリ３７や画像メモリ３８にアクセスし、プログラムやデータの書き込みおよび読み出しを行う。
　メモリ３７は、例えばＲＡＭ等の揮発性メモリである。メモリ３７は、記憶装置３９から読み出して展開された各種プログラムを一時的に保持する。また、メモリ３７は、各種プログラムに用いられるパラメータ等の各データや、コンピュータ３６における演算結果等を保持する。メモリ３７は、例えば、コンピュータ３６またはコンピュータ３６上に実現された機能ブロックからの指示に基づき、プログラムデータ、演算結果等の各種情報の出力や保持を行う。
　画像メモリ３８は、例えばＲＡＭ等の揮発性メモリであり、主に画像処理に関する各種データ（例えば表示画像データ、撮像画像データ等）を一時的に保持する。画像メモリ３８も、例えば、コンピュータ３６またはコンピュータ３６上に実現された機能ブロックからの指示に基づき、主に画像処理に関する各種データの出力や保持を行う。図４のように、画像メモリ３８は、メモリ３７と別体で設けられてもよいし、画像メモリ３８がメモリ３７内に設けられてもよい。この場合、メモリ３７に、画像処理に関する各種データが一時的に保持される。
　記憶装置３９は、例えばフラッシュメモリ等の不揮発性メモリを備える。記憶装置３９は、図４に示すように、例えば、基本動作プログラムを記憶する記憶領域３９１、通話アプリケーションを記憶する記憶領域３９２、ＳＮＳアプリ等のその他のアプリケーションを記憶する記憶領域３９３を含む。
　＜情報処理装置の使用を開始させる際の処理フロー＞
　本実施の形態のヘッドマウントディスプレイ装置２は、ＶＲコンテンツ画像に情報処理装置の画像を重畳させることで、ＶＲコンテンツを体感中のユーザ１に情報処理装置３を使用させることができる。
　図５は、本発明の実施の形態１に係るＶＲ体感アプリケーションによる連携処理の一例を示すフロー図である。図５では、ＶＲコンテンツを体感中のユーザが情報処理装置を使用する際の処理の一例が示されている。ＶＲ体感アプリケーションが起動して、処理が開始されると（ステップＳ１００）、制御装置２２０は、通信装置２２１からネットワーク信号４ａを送信してＶＲサービスサーバ７へアクセスする（ステップＳ１０１）。このとき、ネットワーク信号４ａには、ネットワーク上におけるＶＲサービスサーバ７のアドレス情報やダウンロードしたいＶＲコンテンツを指定するＶＲコンテンツ指定情報等の各種情報を含む。ＶＲサービスサーバ７は、ヘッドマウントディスプレイ装置２（制御装置２２０）からアクセスされると、ＶＲコンテンツ指定情報で指定された所定のＶＲコンテンツをヘッドマウントディスプレイ装置２へ送信する。
　制御装置２２０は、ＶＲコンテンツを受信すると、例えばメモリ２２３や画像メモリ２２４へ、受信したＶＲコンテンツを保持させる。なお、記憶装置２２５にＶＲコンテンツを記憶する記憶領域２２５ｅ（図３Ｂ）が設けられている場合、制御装置２２０は、受信したＶＲコンテンツを記憶領域２２５ｅに記憶させてもよい。また、この場合、事前にＶＲコンテンツをダウンロードして記憶領域２２５ｅに記憶させておき、ヘッドマウントディスプレイ装置２の使用開始時に所定のＶＲコンテンツを記憶領域２２５ｅから読み出すようにしてもよい。この場合、必要なＶＲコンテンツを記憶させていない場合のみ、ステップＳ１０１の処理が行われることとなる。
　次に、ステップＳ１０２では、所定のＶＲコンテンツを出力し、ユーザ１にＶＲコンテンツを提供する。制御装置２２５は、ＶＲコンテンツ開始時のＶＲ初期画像データ（ＶＲ画像データ）をディスプレイ２２ａ、２２ｂへ出力し、ＶＲ初期画像（ＶＲ画像）をディスプレイ２２ａ、２２ｂへそれぞれ表示させる。また、制御装置２２５は、ＶＲ音声データをスピーカ２３ａ、２３ｂへ出力し、ＶＲ画像と対応させたＶＲ音声をスピーカ２３ａ、２３ｂからそれぞれ出力させる。
　次に、ステップＳ１０３では、制御装置２２０は、引き続き、センサ群２１０の各センサのセンシング情報に基づき、ヘッドマウントディスプレイ装置２の移動情報、すなわちユーザ１の移動情報を取得する。そして、ステップＳ１０４において、制御装置２２０は、ステップＳ１０３で取得した移動情報に基づきＶＲ更新画像データ（ＶＲ画像データ）を生成する。
　そして、ステップＳ１０５において、制御装置２２０は、ステップＳ１０４で生成したＶＲ更新画像データをディスプレイ２２ａ、２２ｂへ出力し、ユーザ１の視野、視線方向、頭部や体の傾き等に合わせたＶＲ更新画像（ＶＲ画像）をディスプレイ２２ａ、２２ｂへそれぞれ表示させる。
　次に、ステップＳ１０６では、カメラ２０ａ、２０ｂから入力された撮像画像データの解析（画像解析）が行われる。制御装置２２０は、撮像画像データを解析し、情報処理装置３の抽出を行う。また、制御装置２２０は、撮像画像データからユーザ１の手の抽出等を行ってもよい。なお、カメラ２０ａ、２０ｂによる撮像および撮像画像データの解析は、非同期で行われてもよい。
　ステップＳ１０７では、ステップＳ１０６における撮像画像データの解析結果に基づき、ユーザ１が情報処理装置３を保持しているか否かが判定される。具体的には、ステップＳ１０７では、ユーザ１が情報処理装置３をカメラ２０ａまたはカメラ２０ｂの前に移動させたか否かが判定される。画像解析においてユーザ１の手の検出が難しいような場合には、制御装置２２０は、撮像画像に情報処理装置３が写っているか否かにより、ユーザ１が情報処理装置３をカメラの前に移動させたか否かを判定してもよい。
　また、制御装置２２０は、情報処理装置３が振動センサ等で振動を感知したときに表示する画像を表示していることを撮影画像から認識することによりユーザ１が情報処理装置３を移動したことを検知してもよい。
　あるいは、制御装置２２０は、撮像画像内の情報処理装置３の位置とセンシング結果に基づき抽出したユーザ１の視線方向との組み合わせ等により、ユーザ１が情報処理装置３をカメラの前に移動させたか否かを判定してもよい。この場合、制御装置２２０は、ユーザ１の視線が情報処理装置３に向いていれば、ユーザ１が情報処理装置３をカメラの前に移動させたと判定してもよいし、ユーザ１の視線が情報処理装置３に向いていなければ、ユーザ１は情報処理装置３をカメラの前に移動させていないと判定してもよい。
　以上のようにユーザ１が情報処理装置３を制御したいという意思がくみ取れない場合、例えば、情報処理装置３が机の上に放置されており、その情報処理装置３が撮像画像内で抽出されても、ヘッドマウントディスプレイ装置２に表示することをしないので、ユーザ１のコンテンツ視聴を妨げることはない。
　ユーザ１が情報処理装置３を保持している場合、すなわちユーザ１が情報処理装置３をカメラの前に移動させたと判定した場合（Ｙｅｓ）、制御装置２２０は、ステップＳ１０８の処理を実行する。ステップＳ１０８において、制御装置２２０は、撮像画像から情報処理装置３の画像を切り出し、情報処理装置３の画像データを生成する。さらに、情報処理装置３に表示画面データの送信を要求して情報処理装置３の表示画面データを取得できる場合は、表示画面データを情報処理装置３の画像データの表示画面に合わせて変形さし、情報処理装置３の画像データに重畳する。なお、情報処理装置３の表示画面データの取得には、予め情報処理装置３とヘッドマウントディスプレイ装置２間で機器の登録、認証がされているものとし、相互の認証は近接無線通信等で行う。
　ステップＳ１０９において、制御装置２２０は、ステップＳ１０８で生成した情報処理装置３の画像データをＶＲ画像に重畳させる。具体的には、制御装置２２０は、ステップＳ１０８で生成した情報処理装置３の画像データとＶＲ更新画像データ（ＶＲ画像データ）とを合成して合成画像データを生成する。そして、制御装置２２０は、生成した合成画像データをディスプレイ２２ａ、２２ｂへ出力し、ＶＲ画像と情報処理装置３の画像とを重畳させた合成画像をディスプレイ２２ａ、２２ｂへそれぞれ表示させる。これにより、ユーザは、ＶＲコンテンツを体感しながら、情報処理装置３を視認し、使用を開始することが可能となる。
　ステップＳ１１０では、ユーザ１がＶＲコンテンツの進行を一時停止する指示を行ったか否かが判定される。ユーザ１がＶＲコンテンツの進行を一時停止する指示を行った場合（Ｙｅｓ）、制御装置２２０は、ステップＳ１１１へ移行し、ＶＲコンテンツの進行を一時停止させる。これにより、ユーザ１は、情報処理装置３を集中して使用することが可能となる。そして、ユーザ１がＶＲコンテンツの進行を再開させる指示を行うと、ＶＲコンテンツの進行が再開され、ステップＳ１１２の処理が実行される。
　これに対し、ステップＳ１１０において、ユーザ１がＶＲコンテンツの進行を一時停止する指示を行っていない場合（Ｎｏ）、ＶＲコンテンツが進行したまま、ユーザ１は、情報処理装置３を使用する。
　ステップＳ１１２では、制御装置２２０は、ＶＲコンテンツを実行させるＶＲ体感アプリケーションの終了判定を行う。ＶＲ体感アプリケーションの終了判定は、ユーザ１による終了指示の有無に基づいてもよいし、ＶＲコンテンツが終了したか否かにより判定されてもよい。
　ＶＲ体感アプリケーションを継続させる場合（Ｎｏ）、ステップＳ１０３に戻り、ステップＳ１０３～Ｓ１１２の処理が再度実行される。一方、ＶＲ体感アプリケーションを終了させる場合（Ｙｅｓ）、制御装置２２０は、ＶＲ体感アプリケーションを終了させる（ステップＳ１１３）。
　一方、ステップＳ１０７において、ユーザ１が情報処理装置３を保持していない場合、すなわちユーザ１が情報処理装置３をカメラの前に移動させていないと制御装置２２０が判定した場合（Ｎｏ）、ステップＳ１１２へ移行する。それ以降の処理は、すでに説明した通りである。
　ところで、ステップＳ１１１において、ユーザ１がＶＲコンテンツの進行を再開させる指示を行わない場合もあり得る。このため、ステップＳ１１１とステップＳ１１２との間に、制御装置２２０は、ＶＲコンテンツの進行を再開させるためのガイダンス画像をＶＲ画像および情報処理装置３の画像に重畳させるステップが設けられてもよい。また、ユーザ１がＶＲコンテンツの進行を停止させてからの時間をカウントし、所定の時間が経過すると、ＶＲコンテンツの進行を強制的に再開させるようにしてもよい。また、ユーザ１がＶＲコンテンツの進行を停止させてからの時間をカウントし、所定の時間が経過すると、ステップＳ１１３へ移行し、ＶＲ体感アプリケーションを終了させてもよい。
　＜＜表示画像の具体例＞＞
　ここで、ヘッドマウントディスプレイ装置２に表示される表示画像の具体例について説明する。図６は、ＶＲ画像と情報処理装置の画像とが重畳されたヘッドマウントディスプレイ装置の表示画像の第１の例を示す図である。図６には、ＶＲ画像５０、カメラ２０ａ、２０ｂの撮像範囲５１、情報処理装置３の画像５２が示されている。なお、撮像範囲５１は説明のために図示しているが、ヘッドマウントディスプレイ装置２に表示されるものではない。
　制御装置２２０は、撮像画像データの解析により撮像範囲５１内にある情報処理装置３を認識し、情報処理装置３の画像５２（保持するユーザの手が含まれてもよい）を、撮像画像から切り出す。そして、制御装置２２０は、切り出した情報処理装置３の画像５２をＶＲ画像に重畳させる。なお、本発明は透過型のヘッドマウントディスプレイ装置にも適用可能であり、透過型のヘッドマウントディスプレイ装置２であれば、制御装置２２０は、情報処理装置３の画像５２に対応する領域のＶＲ画像を透明化し、透明化した領域にはＶＲ画像を表示しないようにしてもよい。
　また、制御装置２２０は、情報処理装置３を保持するユーザ１の手を表示させなくてもよいし、ユーザ１の手を生成した手のグラフィック画像等の別の画像に置き換えてもいい。ユーザ１は、情報処理装置３がヘッドマウントディスプレイ装置２に認識されたことが確認でき、さらに、情報処理装置３の画像５２を見ながら、認証等の各種操作を行うことができる。なお、ユーザ１が情報処理装置３を操作する際に、保持している手と反対側の指で操作する場合があるので、情報処理装置３を保持する手に加えて。反対側の手や指の画像等も表示することにより、操作をしやすくする効果が期待できる。
　図７は、ＶＲ画像と情報処理装置の画像とが重畳されたヘッドマウントディスプレイ装置の表示画像の第２の例を示す図である。図７では、図６の情報処理装置３の画像５２と、情報処理装置３の表示画像５３ａとが重畳された情報処理装置３のオーバレイ画像５３が表示される。この時、ユーザ１の手の画像は、情報処理装置３との位置関係を考慮して表示される。
　制御装置２２０は、例えば、ネットワーク通信あるいは近接通信により、情報処理装置３から表示画像に関する表示画像データを取得する。ここでは、ヘッドマウントディスプレイ装置２および情報処理装置３が認証済みで、お互いの装置間の通信が確立されているものとする。ヘッドマウントディスプレイ装置２から情報処理装置３へ表示画面データの送信を要求すると、情報処理装置３は、表示画像データをヘッドマウントディスプレイ装置２へ送信する。
　制御装置２２０は、ＶＲ画像データと情報処理装置３の画像データと受信した表示画像データとを重畳させた合成画像データを生成する。そして、制御装置２２０は、生成した合成画像データをディスプレイ２２ａ、２２ｂへ出力し、ＶＲ画像５０と情報処理装置３の画像５２と表示画像５３ａとを重畳させた合成画像をディスプレイ２２ａ、２２ｂへそれぞれ表示させる。ここで、情報処理装置３の画像５２と表示画像５３ａとを重畳させた合成画像が、情報処理装置３のオーバレイ画像５３である。
　ヘッドマウントディスプレイ装置２は、情報処理装置３を撮像画像内に認識している間、情報処理装置３の表示画像を取得することにより、情報処理装置３の最新の表示画像を取得する。
　以上説明したように、図７の例では、カメラで撮像した表示画像に替えて、情報処理装置３の表示画像データから生成される表示画像５３ａが用いられる。これにより、合成画像における表示画像の精細度を向上させることが可能となる。
　なお、ユーザ１の手の認識が難しい場合、制御装置２２０は、例えば情報処理装置３を持ち上げる操作により、情報処理装置３のロック画像が表示されユーザ１が情報処理装置３を手にしてロック画面表示操作を行っていると判断し、ユーザ１が情報処理装置３を手に取ったことを認識してもよい。
　図８は、ＶＲ画像と情報処理装置の画像とが重畳されたヘッドマウントディスプレイ装置の表示画像の第３の例を示す図である。図８では、情報処理装置３の表示画像をより見やすくするため、情報処理装置３の表示画像５３ａの拡大表示画像５３ｂを情報処理装置３の画像５２付近（図８では右側）に表示される。拡大表示画像５３ｂの表示位置は、画像５２の右側に限定されるものでない。また、拡大表示画像５３ｂのサイズは任意であり、ユーザ１にとって見やすいサイズに変更できる。表示位置や大きさは、ユーザ１が情報処理装置３を左右上下に移動させることで表示位置を、前後に移動させることで大きさを変えるようにすることで、制御可能にしてもよい。また、図８では、ユーザ１の操作する指に対応して情報処理装置３に操作ポインタ５４を重畳する例を示している。
　＜その他＞
　本実施の形態では、例えば、ユーザ１が手を下げることで情報処理装置３がカメラの撮像範囲から外れた場合、合成画像から情報処理装置３の画像（５２、５３、５３ｂ）が消去されるようにしてもよいし、ユーザ１の情報処理装置３の画像（５２、５３、５３ｂ）を消去する指示があるまで表示が継続されるようにしてもよい。
　また、例えば、ヘッドマウントディスプレイ装置２および情報処理装置３が互いに承認済であり、ヘッドマウントディスプレイ装置２から情報処理装置３の認証が可能であれば、カメラの撮像画像で情報処理装置３を確認できなくても、制御装置２２０は、例えば情報処理装置３を持ち上げる操作によりユーザ１が情報処理装置３を手にしてロック画面表示操作を行っていると判断し、情報処理装置３へ表示画像データの送信をリクエストしてもよい。
　＜本実施の形態による主な効果＞
　本実施の形態によれば、ユーザ１はＶＲコンテンツのような没入型のコンテンツを体感している時であっても、ヘッドマウントディスプレイ装置２を着脱することなく、外部の情報処理装置３を手に取って使用することが可能となる。
　また、本実施の形態によれば、ＶＲ画像に情報処理装置３の表示画像５３ａを重畳させることができるので、表示画像の精細度を向上させることが可能となる。
　また、本実施の形態によれば、ＶＲ画像に情報処理装置３の拡大表示画像５３ｂを重畳させることができるので、表示画像の見やすさを向上させることが可能となる。
　以上、特に有効と思われるユーザ１がＶＲコンテンツの体感中の機能を例に説明したが、非透過型ディスプレイを備えたＨＭＤにおいては、装着時の周囲が見えない状況であれば、コンテンツの内容にかかわらず、例えば、メニュー表示や何も表示していない場合においても本発明は、同様の効果が得られる。透過型ディスプレイにおいては、視界が大きく妨げられるコンテンツ等を表示中に本発明は有効である。
　（実施の形態２）
　次に、実施の形態２について説明する。本実施の形態では、ユーザ１がＶＲコンテンツを体験中に情報処理装置３に着信があった場合の処理について説明する。
　図９は、本発明の実施の形態２に係る着信時の処理の一例を示す動作シーケンス図である。図９には、情報処理装置３に着信があり、情報処理装置３の使用をユーザ１に提示する割り込みシーケンス等が示されている。具体的に述べると、図９には、ユーザ１がＶＲコンテンツを体感している最中に情報処理装置３に着信があり、着信があったことを情報処理装置３がヘッドマウントディスプレイ装置２へ通知したことをトリガーとして、ユーザ１に情報処理装置３の使用を開始させるための動作シーケンス図が示されている。
　図９には、ヘッドマウントディスプレイ装置２、情報処理装置３、およびＶＲサービスサーバ７間の関係が示されている。ユーザ１がＶＲコンテンツを体感している時、ヘッドマウントディスプレイ装置２は、ＶＲ体感アプリケーション２２７による連携処理を実行する。
　ヘッドマウントディスプレイ装置２（制御装置２２０）は、例えばセンシング結果等に基づき検出したヘッドマウントディスプレイ装置２の移動データをＶＲサービスサーバ７へ送信する（ステップＳ２０７）。ＶＲサービスサーバ７は、ヘッドマウントディスプレイ装置２から移動データを受信すると、移動に伴い更新されるＶＲ画像の画像データをヘッドマウントディスプレイ装置２へ送信する（ステップＳ２０１）。
　ヘッドマウントディスプレイ装置２は、ＶＲサービスサーバ７から更新用のＶＲ画像データを受信すると、更新用のＶＲ画像データに基づくＶＲ更新画像をディスプレイ２２ａ、２２ｂに表示する（ステップＳ２０２）。ステップＳ２００～ステップＳ２０２は、繰り返し実行される。
　情報処理装置３に着信があると、情報処理装置３は、通話アプリケーションを起動して着信ステータスとなる（ステップＳ２０７）。そして、情報処理装置３は、割り込み要求として、着信があったことを示す着信アイコンの表示要求をヘッドマウントディスプレイ装置２へ送信する（ステップＳ２０８）。
　ステップＳ２０３において、ヘッドマウントディスプレイ装置２は、着信アイコンの表示要求を受信すると、例えばメモリ２２３、画像メモリ２２４に保持された着信アイコンの画像データを読み出し、更新用のＶＲ画像データと着信アイコンの画像データとを合成した合成画像データを生成する。そして、ヘッドマウントディスプレイ装置２は、合成画像データに基づき、ＶＲ画像に着信アイコンを重畳させた合成画像をディスプレイ２２ａ、２２ｂに表示させる。
　図１０は、着信時における表示画像の一例を示す図である。図１０には、ＶＲ画像５０と着信アイコン５５とが重畳された合成画像が示されている。図１０に示すように、着信アイコン５５は、ＶＲ画像５０の一部の領域に重畳される。着信アイコン５５の表示箇所は、図１０の例に限定されない。
　ユーザ１は、着信アイコン５５を認識すると、情報処理装置３をヘッドマウントディスプレイ装置２の前方に移動させる（Ｓ２０４）。着信アイコン５５の認識は、例えば、撮像画像の解析によりユーザ１の指の動きを検出し、検出した指の動きと予め定められた動きパターンとを比較することで行われる。あるいは、着信アイコン５５の認識は、ユーザ１の発声をマイク２４で取得し、ユーザ１の発声と予め定められた発声パターンとを比較することで行われてもよい。
　そして、ヘッドマウントディスプレイ装置２は、撮像画像データを解析して情報処理装置３を抽出し、例えば図６～図８のように、情報処理装置３の画像をＶＲ画像に重畳させる（ステップＳ２０５）。この時、ＶＲコンテンツの進行を一時停止させる等の処理が行われてもよい（ステップＳ２０６）。
　そして、ユーザ１は、情報処理装置３を操作して通話を行う（ステップＳ２０９）。通話が終了すると、情報処理装置３は、着信アイコンの消去要求をヘッドマウントディスプレイ装置２へ送信する（ステップＳ２１０）。なお、ステップＳ２１１は、通話開始後の任意のタイミングで行われてもよい。
　ヘッドマウントディスプレイ装置２は、着信アイコンの消去要求を受信すると、更新用のＶＲ画像データと着信アイコンの画像データとの合成を終了させ、ディスプレイ２２ａ、２２ｂに表示された着信アイコン５５を消去する（ステップＳ２１１）。
　なお、予めアイコン表示時間を設定しておき、着信アイコン５５が表示されてからアイコン表示時間が経過すると表示アイコン５５が自動的に消去されるようにしてもよい。この場合、ステップＳ２１０を省略することが可能である。この場合のステップＳ２１１は、アイコン表示時間に応じて、ステップＳ２０４以降の任意のタイミングで実行される。
　そして、ヘッドマウントディスプレイ装置２は、ＶＲコンテンツの一時停止の解除等を行い、ステップＳ２００～Ｓ２０２を実行し、ＶＲコンテンツの進行を再開させる。
　なお、通話アプリケーション以外に、ＳＮＳアプリケーションやメールアプリケーション等についても、本実施形態を適用可能である。この場合、ＳＮＳアプリケーションやメールアプリケーション等に着信やメール受信があった場合、情報処理装置３は、着信アイコン、あるいは受信アイコンの表示要求を送信する。
　ユーザ１は、情報処理装置３を手に取り、ＳＮＳアプリケーションやメールアプリケーション等の受信内容を確認し、受信内容にリプライすることができる。
　本実施の形態によれば、実施の形態１の効果に加え、ユーザ１がＶＲコンテンツを体感中であっても、情報処理装置３からの割り込みを受け付けることが可能となる。
　（実施の形態３）
　次に、実施の形態３について説明する。本実施の形態では、ユーザ１は、情報処理装置３の位置を知らないものとする。この場合、ユーザ１は、着信アイコン５５により着信があったことを認識しても、すぐに情報処理装置３を操作できない場合があり得る。そこで、本実施の形態では、着信があった場合に情報処理装置３の位置をユーザ１に認識させる方法について説明する。
　図１１は、本発明の実施の形態３に係る着信時の処理の一例を示す動作シーケンス図である。図１１は、図９と類似しているが、ステップＳ２０４とステップＳ２０５との間にステップＳ３１２が追加されている点が図９と異なる。
　ステップＳ２０４においてユーザ１が着信アイコン５５を認識すると、ステップＳ３１２が実行される。ステップＳ３１２において、ヘッドマウントディスプレイ装置２は、ＶＲ画像と着信アイコン５５とが重畳された合成画像に、カメラ２０ａ、２０ｂの撮像画像がさらに重畳された合成画像を生成し、撮像画像が重畳された合成画像をディスプレイ２２ａ、２２ｂに表示させる。撮像画像が重畳された合成画像がディスプレイ２２ａ、２２ｂに表示されると、ユーザ１は、ＶＲ画像と重畳された撮像画像を見ながら情報処理装置３を捜索する。ユーザ１は、情報処理装置３の位置を認識すると、情報処理装置３を手に掴み、例えばロック解除動作等の操作を行う。
　ユーザ１が情報処理装置３の位置を認識し、情報処理装置３を手に掴むと、ステップＳ２０５が実行され、ＶＲ画像と情報処理装置３の画像とが重畳された合成画像がディスプレイ２２ａ、２２ｂに表示される。
　＜表示画像の具体例＞
　ここで、本実施の形態における、ヘッドマウントディスプレイ装置２に表示される表示画像の具体例について説明する。
　＜＜情報処理装置が撮像範囲内に存在する場合＞＞
　まず、情報処理装置がカメラの撮像画像内に存在する場合について説明する。図１２Ａ、図１２Ｂ、および図１２Ｃは、情報処理装置３がカメラの撮像範囲内に存在する場合の表示画像を例示する図である。なお、図１２Ａ、図１２Ｂ、および図１２Ｃの表示画像では、着信アイコン５５も重畳されている。
　まず、図１２Ａの例では、カメラの撮像画像が加工されず、ＶＲ画像５０と未加工の撮像画像３５１Ａとが重畳された画像がディスプレイ２２ａ、２２ｂに表示される。図１２Ａの例によれば、ＶＲ画像５０の視認性の低下を妨げることなく、情報処理装置３を捜索することが可能である。
　次に、図１２Ｂの例では、ＶＲ画像５０と透明化画像３５１Ｂとが重畳された画像がディスプレイ２２ａ、２２ｂに表示される。透明化画像３５１Ｂは、撮像画像に対し情報処理装置３以外の領域を透明化する透明化処理を実行することで生成される。透明化画像３５１Ｂには、情報処理装置３の画像５２が含まれる。
　そして、図１２Ｃの例では、ＶＲ画像５０と線画処理画像３５１Ｃとが重畳された画像がディスプレイ２２ａ、２２ｂに表示される。線画処理画像３５１Ｃは、撮像画像に対し線画処理を行った画像である。線画処理画像３５１Ｃに対し、エッジ検出を行うことで状処理装置等の検出が行われる。図１２Ｃには、線画処理が行われた過程が破線で示されている。
　図１２Ｂ、図１２Ｃの例によれば、ＶＲ画像５０の視認性を妨げることなく、情報処理装置３を捜索することが可能である。
　＜＜情報処理装置が撮像範囲内に存在しない場合＞＞
　次に、情報処理装置３がカメラの撮像範囲内には存在しない場合について説明する。図１３Ａ、図１３Ｂは、本発明の実施の形態２に係る情報処理装置がカメラの撮像範囲内には存在しない場合の表示画像を例示する図である。
　情報処理装置３がカメラの撮像範囲内には存在しない場合、ヘッドマウントディスプレイ装置２は、例えば近接通信を用いた３次元位置検出により、情報処理装置３の位置を認識する。そして、カメラ画像の撮像範囲５１の外側領域に、情報処理装置３の存在方向を示すマーク３５６がＶＲ画像５０と重畳され、表示される。例えば、図１３Ａ、図１３Ｂでは、情報処理装置３が撮像範囲５１に対して右側に位置しているため、撮像範囲５１の右側にマーク３５６が表示される。
　図１３Ａ、図１３Ｂでは、情報処理装置の画像がマーク３５６として示されているが、アイコンがマーク３５６として用いられてもよい。また、情報処理装置３の存在方向を示すアイコン（例えば矢印）がマーク３５６として用いられてもよい。この場合、マークの位置は特に限定されない。
　図１３Ａの例は、図１２Ａと類似しており、ＶＲ画像５０と撮像画像３５１Ａとが重畳された画像がディスプレイ２２ａ、２２ｂに表示される。さらに、撮像画像３５１Ａ（撮像範囲５１）の外側に、情報処理装置３の存在方向を示すマーク３５６がＶＲ画像５０と重畳して表示される。
　ユーザ１は、撮像画像３５１Ａ内に情報処理装置３が入るまで、マーク３５６が表示された方向、あるいは、マーク３５６が示す方向にヘッドマウントディスプレイ装置２を向ける。そして、撮像範囲５１内に情報処理装置３が入ると、ユーザ１は、撮像画像３５１Ａを見ながら、情報処理装置３を手に取り、情報処理装置３の操作を行う。
　一方、図１３Ｂの例では、情報処理装置３からの通知や、ユーザ１が情報処理装置３を使用する意図の検知の有無に関わらず、ユーザ１によるＶＲコンテンツの体感中、例えば近接通信により常に情報処理装置３の３次元位置が検出される。そして、ディスプレイ２２ａ、２２ｂには、マーク３５６がＶＲ画像と重畳して表示される。
　ユーザ１は、マーク３５６を見ながらヘッドマウントディスプレイ装置２を移動させ、情報処理装置３がヘッドマウントディスプレイ装置２の正面近傍に入るようにする。そして、ユーザ１は、ユーザ１は、撮像画像３５１Ａを見ながら、情報処理装置３を手に取り、情報処理装置３の操作を行う。
　なお、ヘッドマウントディスプレイ装置２は、撮像画像（撮像画像データ）の解析等によりユーザ１が手を伸ばし情報処理装置３にタッチしたと認識した場合、情報処理装置３と手とを重畳して表示させ、ユーザ１に情報処理装置３を認識したことを知らせることができる。
　本実施の形態によれば、ユーザ１が情報処理装置３の位置を知らない場合であっても、ユーザ１は情報処理装置３を発見することができる。よって、ヘッドマウントディスプレイ装置２を着脱することなく、情報処理装置３を手に取って使うことが可能となる。
　（実施の形態４）
　次に、実施の形態４について説明する。本実施の形態では、ユーザ１の連携指示に応じてユーザ１に情報処理装置３を使用させるための連携処理が行われる。すなわち、本実施の形態では、ユーザ１の能動的な連携指示に基づき、ヘッドマウントディスプレイ装置２と情報処理装置３との連携処理が開始される。ユーザ１の連携指示により、ユーザ１に情報処理装置３を使用する意志があることが、ヘッドマウントディスプレイ装置２に伝えられる。
　図１４は、本発明の実施の形態４に係るユーザの連携指示を検出する方法の一例を示すフロー図である。図１４の例では、カメラ２０ａ、２０ｂの撮像画像からユーザ１のジェスチャ（ユーザ１の指の動きパターンを含む）からユーザ１からの連携指示が検出される。
　画像解析アプリケーションが起動すると、カメラ２０ａ、２０ｂによる撮像が開始される（ステップＳ３００）。ヘッドマウントディスプレイ装置２（制御装置２２０）は、カメラ２０ａ、２０ｂで生成される撮像画像データを取り込み（ステップＳ３０１）、撮像画像データを解析して撮像画像の特徴点を抽出する（ステップＳ３０２）。ここで抽出される特徴点は、例えばユーザ１の手や指等である。
　そして、ヘッドマウントディスプレイ装置２は、複数の撮像画像データの解析結果を用いて特徴点のジェスチャ（動きパターン）を検出する（ステップＳ３０３）。ヘッドマウントディスプレイ装置２は、ステップＳ３０３で検出した特徴点のジェスチャと、予め登録された照合用ジェスチャとを照合する（ステップＳ３０４）。照合用ジェスチャは、ユーザ１の連携指示に対応するもの以外のものが含まれてもよい。パターン照合では、検出した特徴点のジェスチャと、登録された照合用ジェスチャとを照合し、ユーザ１が何を行いたいのかが判定される。
　そして、ヘッドマウントディスプレイ装置２は、ステップＳ３０４のパターン照合によりユーザ１の連携指示を検出した場合、連携処理を行わせる命令をＶＲ体感アプリケーション２２７へ出力する（ステップＳ３０５）。一方、ステップＳ３０４のパターン照合において、ユーザ１の連携指示が検出されなかった場合、ステップＳ３０５は無視される。
　ステップＳ３０６において、ヘッドマウントディスプレイ装置２は、画像解析アプリケーションを終了させるか否かの判定を行う。動きパターン検出アプリケーションを終了させる場合（Ｙｅｓ）、ステップＳ３０７へ移行して画像解析アプリケーションが終了する。一方、画像解析アプリケーションを終了させない場合（Ｎｏ）、ステップＳ３０１～ステップＳ３０６の処理が再度行われる。
　図１５は、本発明の実施の形態４に係るユーザの連携指示を検出する方法の他の例を示すフロー図である。図１５では、ユーザ１の発声音声からユーザ１の連携指示を検出する方法が示されている。
　音声認識アプリケーションが起動すると、マイク２４による音声取得が開始される（ステップＳ３２０）。ヘッドマウントディスプレイ装置２（制御装置２２０）は、マイク２４で生成される入力音声データを取り込み（ステップＳ３２１）、入力音声データを解析して入力音声の特徴を抽出する（ステップＳ３２２）。ここで抽出される入力音声の特徴は、例えば入力音声の単語、文節、文章等である。
　そして、ヘッドマウントディスプレイ装置２は、ステップＳ３２２で抽出した入力音声の特徴と、予め登録された照合用特徴とを照合する（ステップＳ３２３）。照合用特徴は、ユーザ１の連携指示に対応するもの以外のものが含まれてもよい。パターン照合では、抽出した入力音声の特徴と、登録された照合用特徴とを照合し、ユーザ１が何を行いたいのかが判定される。
　そして、ヘッドマウントディスプレイ装置２は、ステップＳ３２３のパターン照合によりユーザ１の連携指示を検出した場合、連携処理を行わせる命令をＶＲ体感アプリケーション２２７へ出力する（ステップＳ３２４）。一方、ステップＳ３２３のパターン照合において、ユーザ１の連携指示が検出されなかった場合、ステップＳ３２４は無視される。
　ステップＳ３２５において、ヘッドマウントディスプレイ装置２は、画像解析アプリケーションを終了させるか否かの判定を行う。音声認識アプリケーションを終了させる場合（Ｙｅｓ）、ステップＳ３２６へ移行して音声認識アプリケーションが終了する。一方、音声認識アプリケーションを終了させない場合（Ｎｏ）、ステップＳ３２１～ステップＳ３２５の処理が再度行われる。
　図１６は、本発明の実施の形態４に係るＶＲ体感アプリケーションによる連携処理の一例を示すフロー図である。なお、図１６は、図５に類似しているため、以下では、主に図５と異なる箇所について説明する。
　ステップＳ１０５においてＶＲ更新画像が表示されると、ステップＳ４２０へ移行する。ステップＳ４２０では、ユーザ１の連携指示に基づく連携処理を行わせる命令の有無が判定される。
　ユーザ１の連携指示に基づく連携処理を行わせる命令がある場合、制御装置２２０（コンピュータ２２２）には、例えばメモリ２２３やコンピュータ２２２内のレジスタ（図示は省略）から、所定の連携信号が入力される。制御装置２２０は、連携信号により、ユーザ１の連携指示に基づく連携処理を行わせる命令の有無を判定する。
　連携信号が入力されている場合（Ｙｅｓ）、制御装置２２０は、ユーザ１の連携指示に基づく連携処理を行わせる命令が存在していると認識する。すなわち、この場合、制御装置２２０は、ユーザ１に情報処理装置３を使用する意志があると判断する。そして、ステップＳ４２１へ移行する。
　一方、連携信号が入力されていない場合（Ｎｏ）、制御装置２２０は、ユーザ１の連携指示に基づく連携処理を行わせる命令が存在していない認識する。すなわち、この場合、制御装置２２０は、ユーザ１に情報処理装置３を使用する意志がないと判断する。そして、ステップＳ１１２へ移行する。
　ステップＳ４２１では、制御装置２２０は、ＶＲ画像とカメラ２０ａ、２０ｂの撮像画像とを重畳して表示させる。このように、ユーザ１の連携指示に基づき、ＶＲ画像と撮像画像とが重畳して表示される。ステップＳ４２１以降の処理は、図５と同様である。
　本実施の形態によれば、ユーザ１による能動的な連携指示を検出して、ＶＲコンテンツの体感中に情報処理装置３の使用を開始させることが可能となる。
　（実施の形態５）
　次に、実施の形態５について説明する。本実施の形態では、ＶＲコンテンツを体感中のユーザ１は、情報処理装置３以外の物体を使用することができる。
　図１７は、本発明の実施の形態５に係るＶＲコンテンツ体感中に使用される物体の一例を示す図である。図１７には、物体としてマグカップ６０が例示されているが、これ以外の物体でもよい。本実施の形態では、物体の形状が予め登録される。
　ヘッドマウントディスプレイ装置２（制御装置２２０）は、画像解析アプリケーションを用いて撮像画像を解析する。撮像画像からマグカップ６０を検出すると、ヘッドマウントディスプレイ装置２は、例えばマグカップ６０の画像をＶＲ画像と重畳して表示させる。これにより、ユーザ１は、ＶＲコンテンツを体感中に、例えばマグカップ６０を用いてコーヒーブレイク等を行うことが可能となる。
　図１８Ａは、本発明の実施の形態５に係るＶＲコンテンツ体感中に使用される物体の他の例を示す図である。図１８Ａには、物体として通信モジュール６１が貼り付けられたマグカップ６０が例示されている。ヘッドマウントディスプレイ装置２は、マグカップ６０の位置が不明な場合でも、通信モジュール６１から送信される近接通信信号（位置検出信号）に基づき、マグカップ６０の位置を検出することが可能である。
　図１８Ｂは、通信モジュールの一例を示すブロック図である。図１８Ｂに示すように、通信モジュール６１は、近接通信装置６２、マイクロコンピュータ６３を備えている。近接通信装置６２およびマイクロコンピュータ６３は、内部バス６００を介して互いに接続される。
　マイクロコンピュータ６３は、図１８Ｂに示すように、例えば、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｏｏｒ　Ｕｎｉｔ）６３１、メモリ６３２、記憶装置６３３を内蔵している。
　ヘッドマウントディスプレイ装置２は、近接通信装置６２から送信される近接通信信号を受信してマグカップ６０の３次元位置を検出する。ヘッドマウントディスプレイ装置２は、検出したマグカップ６０の３次元位置に基づいて、ＶＲ画像５０とマグカップ６０の存在方向を示すマークとを重畳して表示させる、
　ユーザ１は、マグカップ６０を発見すると、マグカップ６０を手に取り、コーヒーブレイクする。なお、マグカップ６０を使用する際、ユーザ１はＶＲコンテンツの進行を一時停止させてもよい。
　本実施の形態によれば、ユーザ１は、情報処理装置３以外の物体も、ＶＲコンテンツの体感中に使用することが可能になる。
　なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能である。また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
　また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。なお、図面に記載した各部材や相対的なサイズは、本発明を分かりやすく説明するため簡素化・理想化しており、実装上はより複雑な形状となる場合がある。
　１…ユーザ、２…ヘッドマウントディスプレイ装置、３…情報処理装置、４ａ～４ｃ…ネットワーク信号、５…アクセスポイント、６…ネットワーク、７…ＶＲサービスサーバ、８…近接通信、２０ａ、２０ｂ…カメラ、２１０…センサ群、２２ａ、２２ｂ…ディスプレイ、２４…マイク、２５ａ、２５ｂ、２５ｃ…近接通信受信装置、２２０…制御装置、２２１…通信装置、２２２…コンピュータ、２２３…メモリ、２２４…画像メモリ、２２５…記憶装置、５０…ＶＲ画像、５１…撮像範囲、５２、３５２…情報処理装置の画像、５３…オーバレイ画像、５５…着信アイコン、３５１Ａ…撮像画像、３５１Ｂ…透明化画像、３５１Ｃ…線画処理画像、３５６…マーク、６０…マグカップ、６１…通信モジュール。

Claims (16)

  1. 　非透過型のディスプレイと、
    　カメラと、
    　制御装置と、
    　を備え、
    　前記制御装置は、前記ディスプレイに表示する映像を生成し、ユーザが前記ディスプレイに表示された映像の視聴中に、前記カメラの撮像画像を解析し、前記解析した結果から前記ユーザが情報処理装置を保持して前記情報処理装置が撮像画像内に移動したと判定した場合、前記ディスプレイに表示する映像と前記情報処理装置の画像とを重畳して前記ディスプレイに表示させる、
    　ヘッドマウントディスプレイ装置。
  2. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、前記情報処理装置から表示画像を取得し、前記情報処理装置の前記画像と前記情報処理装置の前記表示画像とを重畳して前記ディスプレイに表示させる、
    　ヘッドマウントディスプレイ装置。
  3. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、前記情報処理装置から表示画像を取得し、前記ディスプレイに表示された映像と前記情報処理装置の前記表示画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  4. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、着信があったことを示す着信アイコンの表示要求を前記情報処理装置から受信すると、前記ディスプレイに表示された映像と前記着信アイコンとを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  5. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、前記ディスプレイに表示された映像と前記撮像画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  6. 　請求項５に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、前記撮像画像に対し前記情報処理装置以外の領域を透明化した透明化画像を生成し、前記ディスプレイに表示された映像と前記透明化画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  7. 　請求項５に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、前記撮像画像に対し線画処理を行った線画処理画像を生成し、前記ディスプレイに表示された映像と前記線画処理画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  8. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、着信があったことを示す着信アイコンの表示要求を前記情報処理装置から受信すると、前記ディスプレイに表示された映像と前記着信アイコンと前記撮像画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  9. 　請求項５に記載のヘッドマウントディスプレイ装置において、
    　前記制御装置は、前記撮像画像から前記ユーザのジェスチャを検出し、前記ユーザの連携指示を検出すると、前記ディスプレイに表示された映像画像と前記撮像画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  10. 　請求項５に記載のヘッドマウントディスプレイ装置において、
    　マイクを備え、
    　前記制御装置は、前記マイクが取得した入力音声から前記ユーザの連携指示を検出すると、前記ディスプレイに表示された映像と前記撮像画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  11. 　請求項５に記載のヘッドマウントディスプレイ装置において、
    　前記情報処理装置から送信される位置検出信号を受信する受信装置を備え、
    　前記制御装置は、前記撮像画像に前記情報処理装置が含まれない場合、前記受信装置が受信する前記位置検出信号に基づき前記情報処理装置の位置を認識し、前記ディスプレイに表示された映像と前記撮像画像と前記情報処理装置の存在方向を示すマークとを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  12. 　請求項１１に記載のヘッドマウントディスプレイ装置において、
    　前記ヘッドマウントディスプレイ装置は、近接通信で前記情報処理装置と接続される、
    　ヘッドマウントディスプレイ装置。
  13. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記情報処理装置から送信される位置検出信号を受信する受信装置を備え、
    　前記制御装置は、前記撮像画像に前記情報処理装置が含まれない場合、前記受信装置が受信する前記位置検出信号に基づき前記情報処理装置の位置を認識し、前記ディスプレイに表示された映像と前記情報処理装置の存在方向を示すマークとを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  14. 　非透過型のディスプレイと、
    　カメラと、
    　制御装置と、
    　を備え、
    　前記制御装置は、前記ディスプレイに表示する映像を生成し、ユーザが前記ディスプレイに表示された映像の視聴中に、前記カメラの撮像画像を解析し、物体の形状認識を行い、所定の物体を検出すると、前記ディスプレイに表示された映像と前記物体の画像とを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  15. 　請求項１４に記載のヘッドマウントディスプレイ装置において、
    　前記物体に通信モジュールが設けられ、
    　前記制御装置は、前記通信モジュールから送信される位置検出信号に基づき前記物体の位置を検出し、前記物体の位置検出結果に基づき前記ディスプレイに表示された映像と前記物体の存在方向を示すマークとを重畳して表示させる、
    　ヘッドマウントディスプレイ装置。
  16. 　請求項１５に記載のヘッドマウントディスプレイ装置において、
    　前記ヘッドマウントディスプレイ装置は、近接通信で前記物体と接続される、
    　ヘッドマウントディスプレイ装置。
PCT/JP2021/018597 2021-05-17 2021-05-17 ヘッドマウントディスプレイ装置 WO2022244052A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023522001A JPWO2022244052A1 (ja) 2021-05-17 2021-05-17
CN202180098200.3A CN117337462A (zh) 2021-05-17 2021-05-17 头戴式显示器装置
PCT/JP2021/018597 WO2022244052A1 (ja) 2021-05-17 2021-05-17 ヘッドマウントディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018597 WO2022244052A1 (ja) 2021-05-17 2021-05-17 ヘッドマウントディスプレイ装置

Publications (1)

Publication Number Publication Date
WO2022244052A1 true WO2022244052A1 (ja) 2022-11-24

Family

ID=84141355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018597 WO2022244052A1 (ja) 2021-05-17 2021-05-17 ヘッドマウントディスプレイ装置

Country Status (3)

Country Link
JP (1) JPWO2022244052A1 (ja)
CN (1) CN117337462A (ja)
WO (1) WO2022244052A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086328A (ja) * 2003-09-05 2005-03-31 Fuji Photo Film Co Ltd ヘッドマウントディスプレイ及びそのコンテンツ再生方法
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
WO2016021252A1 (ja) * 2014-08-05 2016-02-11 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
JP2016525917A (ja) * 2013-06-07 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
WO2020054760A1 (ja) * 2018-09-12 2020-03-19 株式会社アルファコード 画像表示制御装置および画像表示制御用プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086328A (ja) * 2003-09-05 2005-03-31 Fuji Photo Film Co Ltd ヘッドマウントディスプレイ及びそのコンテンツ再生方法
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP2016525917A (ja) * 2013-06-07 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
WO2016021252A1 (ja) * 2014-08-05 2016-02-11 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
WO2020054760A1 (ja) * 2018-09-12 2020-03-19 株式会社アルファコード 画像表示制御装置および画像表示制御用プログラム

Also Published As

Publication number Publication date
JPWO2022244052A1 (ja) 2022-11-24
CN117337462A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
US9983687B1 (en) Gesture-controlled augmented reality experience using a mobile communications device
US11372249B2 (en) Information processing device and information processing method
US10254847B2 (en) Device interaction with spatially aware gestures
US11373650B2 (en) Information processing device and information processing method
US10514755B2 (en) Glasses-type terminal and control method therefor
US10445577B2 (en) Information display method and information display terminal
CN110134744B (zh) 对地磁信息进行更新的方法、装置和系统
KR20160071263A (ko) 이동단말기 및 그 제어방법
CN111400610B (zh) 车载社交方法及装置、计算机存储介质
CN109917988B (zh) 选中内容显示方法、装置、终端及计算机可读存储介质
CN111723843B (zh) 一种签到方法、装置、电子设备及存储介质
CN113282355A (zh) 基于状态机的指令执行方法、装置、终端及存储介质
JP2018181256A (ja) 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
EP3905037B1 (en) Session creation method and terminal device
WO2022199102A1 (zh) 图像处理方法及装置
CN111415421B (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
US20200135150A1 (en) Information processing device, information processing method, and program
CN111061369B (zh) 交互方法、装置、设备及存储介质
US20210005014A1 (en) Non-transitory computer-readable medium, image processing method, and image processing system
CN113469360B (zh) 推理方法及装置
WO2022244052A1 (ja) ヘッドマウントディスプレイ装置
CN110213205B (zh) 验证方法、装置及设备
US11651567B2 (en) Display terminal, display control system and display control method
JP7155242B2 (ja) 携帯情報端末
KR20200122754A (ko) 증강 현실 이미지를 제공하는 스마트 안경 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940672

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023522001

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180098200.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18561332

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21940672

Country of ref document: EP

Kind code of ref document: A1