WO2025224876A1 - 情報表示端末及びヘッドマウントディスプレイ - Google Patents

情報表示端末及びヘッドマウントディスプレイ

Info

Publication number
WO2025224876A1
WO2025224876A1 PCT/JP2024/016062 JP2024016062W WO2025224876A1 WO 2025224876 A1 WO2025224876 A1 WO 2025224876A1 JP 2024016062 W JP2024016062 W JP 2024016062W WO 2025224876 A1 WO2025224876 A1 WO 2025224876A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
person
approach
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/016062
Other languages
English (en)
French (fr)
Inventor
康彦 國井
望 下田
伸和 近藤
万寿男 奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to PCT/JP2024/016062 priority Critical patent/WO2025224876A1/ja
Publication of WO2025224876A1 publication Critical patent/WO2025224876A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Definitions

  • the present invention relates to an information display terminal and a head-mounted display, and in particular to an information display terminal equipped with means for preventing contact between an information display terminal user (hereinafter sometimes referred to as "user") wearing the information display terminal and viewing virtual reality (VR) content unfolding in a virtual space and persons other than the user (hereinafter sometimes referred to as "external persons”).
  • user an information display terminal user
  • VR virtual reality
  • Information display devices are used to view VR content, such as games, that unfold in a virtual space. When doing so, users wear the information display device on their head, limiting their field of view of real space and allowing them to concentrate on the VR content.
  • Typical wearable information devices include head-mounted displays (sometimes written as HMDs), wearable devices such as smartphone-mounted VR goggles, and implantable devices such as eye-mounted contact lens displays.
  • Patent Documents 1 and 2 disclose solutions to these problems.
  • Patent Document 1 sets up a play area where the user can experience VR content, and when the user approaches the boundary of the play area or leaves the play area, the VR content is switched or interrupted, prompting the user to avoid colliding with real objects.
  • the HMD in Patent Document 2 detects obstacles such as outside people, measures the distance to the obstacle, and when the distance to the obstacle becomes close, superimposes a virtual object of the obstacle onto the VR content and displays it to warn the user.
  • Patent Documents 1 and 2 while a user is viewing VR content, virtual objects unrelated to the VR content are displayed or the VR content is interrupted, which leaves the problem of preventing the user from viewing the VR content. Furthermore, since the play area of the VR content cannot be seen by anyone other than the user, there is a risk that they may unintentionally enter the play area and come into contact with the user.
  • the purpose of this invention is to prevent the user from losing their sense of immersion in VR content while preventing interference with people other than the user.
  • the present invention has the configuration described in the claims.
  • the present invention provides an information display terminal that can be worn by a user and that plays virtual reality content, and that includes a ranging sensor, a camera, a display, a communication interface, and a processor.
  • the ranging sensor detects the distance to an obstacle, and when the processor detects from an image acquired by the camera that the obstacle is a person, it switches whether or not to transmit first information for avoiding interference between the user and the person from the communication interface to an information terminal carried by the person, based on the distance detected by the ranging sensor.
  • the present invention makes it possible to prevent the user from losing their sense of immersion in VR content while also preventing interference with people other than the user. Objectives, configurations, and effects other than those described above will be made clear in the following embodiments.
  • FIG. 1 is an overhead view showing the relationship between a user of an HMD and an external person in the first embodiment.
  • FIG. 2 is a functional block diagram of an HMD. External view of a fully immersive HMD.
  • FIG. 1 is an external view of a glasses-type HMD.
  • a smartphone display screen that displays two levels of approach information.
  • 10 is a flowchart showing how an approach transmission program transmits multi-stage approach information.
  • a smartphone display screen that displays multi-stage approach information. 10 is a flowchart for transmitting approach information taking into consideration the movement of a user, etc. 10 is a flowchart for transmitting approach information in response to a request from an external person.
  • a smartphone display screen showing a map of the surrounding area as approaching information.
  • a smartphone display screen showing a map of the surrounding area as approaching information.
  • FIG. 10 is a second embodiment of the present invention, showing an overhead view of the relationship between a user and an external person corresponding to a play area. 10 is a flowchart showing how an approach transmission program transmits approach information to an outside person in accordance with the play area. A bird's-eye view of the relationship between users and external parties corresponding to the divided play areas.
  • 18B is a flowchart showing an example of transmitting play area information in response to a request from an external person in FIG. 18A.
  • a smartphone display screen shows a map of the surrounding area corresponding to the divided play area, providing approach information.
  • a smartphone display screen shows a map of the surrounding area corresponding to the divided play area, providing approach information.
  • a smartphone display screen shows a map of the surrounding area corresponding to the divided play area, providing approach information.
  • a smartphone display screen shows a map of the surrounding area corresponding to the divided play area, providing approach information.
  • a smartphone display screen shows a map of the surrounding area corresponding to the divided play area, providing approach information.
  • a smartphone display screen shows a map of the surrounding area corresponding to the divided play area, providing approach information.
  • a smartphone display screen shows a map of the surrounding area, divided into sections corresponding to the play area, with approach information.
  • a smartphone display screen shows a map of the surrounding area, divided into sections corresponding to the play area, with approach information.
  • a smartphone display screen shows a map of the surrounding area, divided into sections corresponding to the play area, with approach information.
  • a smartphone display screen shows a map of the surrounding area, divided into sections corresponding to the play area, with approach information.
  • a smartphone display screen shows a map of the surrounding area, divided into sections corresponding to the play area, with approach information.
  • the information display terminal and information display method according to this embodiment aim to maintain the VR viewer's sense of immersion when viewing VR content and to prevent people other than the VR viewer from interfering with the VR viewer. Therefore, the present invention can increase the commercial value of information processing devices to which the present invention is applied, and is expected to contribute to Goal 8.2 of the United Nations' Sustainable Development Goals (SDGs) (increasing economic productivity through diversification, technological improvement, and innovation, particularly in industries that increase the value of goods and services and in labor-intensive industries).
  • SDGs Sustainable Development Goals
  • Fig. 1 is a block diagram of an HMD 1 according to this embodiment, which is applicable to the second and subsequent embodiments in addition to the first embodiment.
  • Figure 1 is an overhead view showing the relationship between an HMD user and an external person in the first embodiment.
  • Figure 1 shows a user 2 wearing an HMD 1 and an outside person 3 positioned near the user 2, holding a portable information terminal 4.
  • "external person” means someone other than the user.
  • the information terminal 4 may be any information terminal capable of receiving approach warning information from the HMD 1 and notifying the external person 3, and may be, for example, a smartphone, tablet, smartwatch, or a wearable terminal such as an eyeglass-type terminal capable of displaying AR (AR: Augmented Reality).
  • the approach warning information makes the external person 3 aware that the user 2 is viewing VR content, and encourages them to move with caution.
  • the HMD 1 receives VR content delivered from the VR service server 7 via the access point 5 and the network 6, and displays the VR content.
  • the network 6 may be the Internet, an intranet, or even an external device such as a PC that is directly connected via communication (it may also be an on-premise home server).
  • VR content stored on the HMD 1 may be displayed.
  • Desk lamp 8 and sofa 9 are examples of fixed obstacles that are real objects, but other objects may also be used. These real objects are obstacles that user 2 must avoid coming into contact with as he moves while watching VR content.
  • External person 3 is also an obstacle that User 2 must avoid coming into contact with. In addition to User 2's movement, the movement of external person 3 also reduces the mutual distance. Furthermore, contact with external person 3 has the potential to injure not only the user but also the other person, making avoidance highly important.
  • an approach warning area 30 with a radius R1 is set around user 2 of HMD 1, and a danger warning area 31 with a radius R2 (R2 ⁇ R1) is set inside approach warning area 30.
  • approach warning area 30 extends to the vicinity of obstacles such as desk lamp 8 and sofa 9, while danger warning area 31 is set inside approach warning area 30 with a radius R2 centered on the user.
  • Approach warning area 30 and danger warning area 31 may move in conjunction with user 2's movements, or, once set, may remain unchanged regardless of user 2's movements until the approach warning area 30 and danger warning area 31 are released.
  • VR viewing program 112b urges user 2 to avoid contact by superimposing an image of a virtual object displaying a contact warning on the image of the virtual reality content or by pausing viewing of the VR content.
  • the outsider 3 by notifying the information terminal 4 used by the outsider 3 of the setting information for the approach warning area 30, the outsider 3 is notified of the existence of the approach warning area 30 and danger warning area 31, which are not actually visible, and the outsider 3 is deterred from entering the approach warning area 30 and danger warning area 31.
  • This is expected to prevent the outsider 3 and user 2 from coming close to each other, thereby interfering with user 2's VR viewing and reducing the sense of immersion, while also preventing interference between the outsider 3 and user 2 in advance.
  • FIG. 2 is a functional block diagram of the HMD 1.
  • the HMD 1 comprises a processor 101, a storage device 110, an input interface (abbreviated as "I/F” in the diagram) 120, a video input/output device 130, an audio input/output device 140, a group of sensors 150, a communication interface 160, an expansion interface 171, and a timer 172, all of which are connected to one another by a bus 102.
  • the bus 102 forms a path for sending and receiving commands and data.
  • the storage device 110 includes a volatile memory 111 and a non-volatile memory 112.
  • Volatile memory 111 is composed of RAM, etc.
  • Non-volatile memory 112 is made up of non-volatile storage media such as ROM, flash ROM, or SSD, and stores a basic operation program (abbreviated as "PRG" in the diagram) 112a, a VR viewing program 112b, and an approach transmission program 112c.
  • PRG basic operation program
  • Processor 101 loads and executes basic operation program 112a, VR viewing program 112b, and approach transmission program 112c in volatile memory 111.
  • the basic operation program 112a is a program that controls the operation of the HMD 1.
  • the VR viewing program 112b is a program that receives VR content distribution using Internet communication and allows the user to view the VR content.
  • the proximity transmission program 112c is a program that uses close-proximity communication to transmit proximity information to external people.
  • the approach warning program 112c transmits approach warning information to the information terminal 4 carried by the outsider 3, alerting the outsider 3.
  • the input interface 120 includes button switches 121, such as a power button and a volume button.
  • the video input/output device 130 includes a display 131, an image processing signal unit 132, and an external camera 133.
  • Display 131 is a non-transparent display.
  • the image processing signal unit 132 performs image analysis processing on the image data acquired from the outer camera 133, including extracting image features and object recognition processing. In this embodiment, object recognition processing is performed to determine whether the subject is a person or not.
  • the image processing signal unit 132 is configured using, for example, a dedicated image processing circuit (LSI) or an image (video) signal processor.
  • LSI dedicated image processing circuit
  • video video
  • the outer camera 133 is a camera for capturing images of the surrounding area. Taking into account the need to capture images in dark areas, the outer camera 133 may be equipped with an infrared camera or infrared light source, and may have improved infrared light sensitivity.
  • the audio input/output device 140 includes a speaker 141, an audio signal processing unit 142, and a microphone 143.
  • the audio signal processing unit 142 is configured using, for example, an audio signal processor.
  • the sensor group 150 senses the user's movements, i.e., the movements of the HMD 1, i.e., the forward/backward and left/right movements of the head of the user wearing the HMD 1, the rotational movements that accompany changes in the line of sight, and the acceleration.
  • the sensor group 150 includes, for example, a positioning sensor 151, a geomagnetic sensor 152, a distance measurement sensor 153, an acceleration sensor 154, and a gyro sensor 155.
  • a GPS sensor for example, may be used as the positioning sensor 151.
  • the distance measurement sensor 153 may be configured as a sensor that measures distance using the parallax of the stereo camera. Furthermore, to improve detection accuracy, the distance measurement sensor 153 may measure the real space in three dimensions using Lidar or the like, and use the measured three-dimensional distance information in conjunction with images captured by the camera to detect obstacles or external people in the real space. Alternatively, the distance measurement sensor 153 may measure the real space in three dimensions, and perform image analysis of the time-varying information of the measured three-dimensional distance information to detect external people in the real space.
  • the communication interface 160 is equipped with multiple communication protocols, such as Internet communication, infrared communication, short-range communication, and telephone network communication, and is used depending on the purpose.
  • the communication interface 160 includes a LAN communication interface 161, a short-range wireless communication interface 162, and a telephone network communication interface 163.
  • the Wi-Fi (registered trademark) wireless signal may be used not only for wireless communication processing but also for Wi-Fi sensing processing.
  • a Wi-Fi sensing processor may be further provided, and the Wi-Fi sensing processor may perform position detection processing, posture detection processing, and distance measurement processing of users and obstacles based on the strength and interference distribution of the Wi-Fi signal.
  • the function of the distance sensor 153 may be realized by a LAN communication interface 161 that has Wi-Fi certified location and Wi-Fi sensing functions, etc.
  • the short-range wireless communication interface 162 may be an interface conforming to the Bluetooth (registered trademark), IrDA (Infrared Data Association, registered trademark), Zigbee (registered trademark), or HomeRF (Home Radio Frequency, registered trademark) standards.
  • the telephone network communication interface 163 may be an interface conforming to long-range wireless communication standards such as the LTE (Long Term Evolution, registered trademark), LTE-Advanced, Mobile WiMAX (Worldwide Interoperability for Microwave Access, registered trademark), or WiMAX2, as well as the fourth-generation mobile communication standard (4G) and fifth-generation mobile communication standard (5G).
  • 4G fourth-generation mobile communication standard
  • 5G fifth-generation mobile communication standard
  • the expansion interface 171 is, for example, a USB device connection terminal, and is used for data transmission and reception, charging, etc.
  • Timer 172 is a timer that holds the current time in the real world, and holds a time such as Coordinated Universal Time (UTC) as the current time.
  • Timer 172 may be configured as software, or may be configured using an RTC (Real Time Clock).
  • the outer camera 133 captures the external real space around the user of the HMD 1.
  • the outer camera 133 may be equipped with multiple cameras, or may be a 360-degree camera that captures the 360-degree surroundings of the HMD 1.
  • the processor 101 detects real objects such as obstacles and external people from images captured by the outer camera 133.
  • real objects such as obstacles and external people
  • the ranging sensor 153 obtains the distance to the detected real object.
  • the real object may be detected by analyzing the three-dimensional distance information from the ranging sensor, or the distance to the real object may be obtained from images captured by multiple cameras. Alternatively, these multiple methods may be combined.
  • the display 131 displays images of the VR content, and the speaker 141 outputs the sound of the VR content.
  • the microphone 143 captures the user's voice as needed.
  • some or all of the calculations of the processor 101 may be performed by a server on the Internet via the communication interface 160, or by a personal computer connected via, for example, Wi-Fi Direct (registered trademark).
  • Figure 3A is an external view of a fully immersive HMD 1.
  • the HMD 1 in Figure 3A is an HMD that implements the functions of the HMD 1 shown in Figure 2.
  • HMD1 is equipped with an outer camera 133 and a distance sensor 153 at the front. Furthermore, at the front of HMD1, a right display 131R and a left display 131L, each consisting of a thin lens and a display, are provided, and images for the left eye and right eye are displayed on the respective displays, providing a three-dimensional display.
  • the right display 131R and left display 131L are components of the display 131 in Figure 2.
  • a microphone 143, a sensor group 150, and a gaze detection sensor 156 are arranged between the right display 131R and the left display 131L.
  • the HMD 1 includes a wearing housing 191 for wearing the HMD 1 on the user's head.
  • the control device 192 is provided at the rear of the wearing housing 191.
  • a left speaker 141L and a right speaker 141R are provided on the left and right sides of the wearing housing 191, respectively.
  • the left speaker 141L and right speaker 141R are components of the speaker 141 in Figure 2.
  • the wearable housing 191 supports the right display 131R and the left display 131L.
  • the right display 131R and the left display 131L are positioned directly in front of the user's eyes.
  • the display 131 may also be equipped with a display device consisting of a flat display and a thin lens, which alternately displays images for the left eye and images for the right eye, with a shutter allowing only the corresponding eye to view the images in 3D.
  • Figure 3B is an external view of the eyeglass-type HMD 1a.
  • the eyeglass-type HMD 1a is equipped with a front outer camera 133F, a right outer camera 133R, and a left outer camera 133L as outer cameras 133 at the front of the eyeglass-type frame 193, and a distance sensor 153. Furthermore, the HMD 1a is equipped with a right display 131R and a left display 131L as displays 131 at the front.
  • the left side of the frame 193 is provided with a microphone 143 and left speaker 141L
  • the right side of the frame 193 is provided with a right speaker 141R, a sensor group 150, a communication interface 160, and a control device 192.
  • the control device 192 is a device that implements the processor 101, storage device 110, input interface 120, expansion interface 171, and timer 172.
  • the frame 193 is also provided with a gaze detection sensor 156 on its front inner surface.
  • Figure 4 is a functional block diagram of a smartphone 10 as an example of an information terminal 4.
  • the smartphone 10 includes a processor 201, a storage device 210, an input interface 220, a video input/output device 230, an audio input/output device 240, a sensor group 250, a communication interface 260, an expansion interface 271, and a timer 272, all of which are connected to one another via a bus 202.
  • a processor 201 a storage device 210, an input interface 220, a video input/output device 230, an audio input/output device 240, a sensor group 250, a communication interface 260, an expansion interface 271, and a timer 272, all of which are connected to one another via a bus 202.
  • a processor 201 includes a processor 201, a storage device 210, an input interface 220, a video input/output device 230, an audio input/output device 240, a sensor group 250, a communication interface 260, an expansion interface 271, and a timer 272, all of which are connected to one another via a bus 202.
  • the storage device 210 includes a volatile memory 211 and a non-volatile memory 212.
  • the non-volatile memory 212 stores a basic operation program 212a for controlling the basic operations of the smartphone 10, a VR viewing program 212b, and a proximity transmission program 212c.
  • the VR viewing program 212b and the proximity transmission program 212c realize the same functions as the VR viewing program 112b and the proximity transmission program 112c shown in Figure 2, so the VR viewing program 112b and the proximity transmission program 112c will be described below.
  • the smartphone 10 includes an input interface 220, which includes a button switch 221 and a touch sensor 222 stacked on a display 231.
  • the touch sensor 222 may be provided on the rear side opposite the display, or a display with a built-in touch sensor 222 may also be provided on the rear side.
  • the smartphone 10 includes an in-camera 234 instead of the gaze detection sensor 156, and performs gaze detection processing based on an image of the eyes of the user 2 captured by the in-camera 234.
  • the video input/output device 230 includes a display 231, an image processing signal unit 232, an outer camera 233, and an inner camera 234 that can also serve as the gaze detection sensor 256, and performs gaze detection processing based on an image of the eyes of user 2 captured by the inner camera 234.
  • the audio input/output device 240 includes a speaker 241, an audio signal processing unit 242, and a microphone 243.
  • the sensor group 250 includes a positioning sensor 251, a geomagnetic sensor 252, a distance measurement sensor 253, an acceleration sensor 254, and a gyro sensor 255.
  • the communication interface 260 includes a wireless communication interface 261, a short-range wireless communication interface 262, and a telephone network communication interface 263.
  • the telephone network communication interface 263 may be an interface conforming to long-range wireless communication standards such as the LTE (Long Term Evolution, registered trademark) system, the LTE-Advanced system, the Mobile WiMAX (Worldwide Interoperability for Microwave Access, registered trademark) system, or the WiMAX2 system, as well as the fourth generation mobile communication standard (4G) and the fifth generation mobile communication standard (5G).
  • head-mounted display terminals have been exemplified by HMDs 1 and 1a, but the smartphone 10 may also be used as a head-mounted display terminal in the same way as an HMD by using a smartphone holder that holds the smartphone 10 in front of the eyes of the user 2.
  • Figure 5 is a schematic diagram of the smartphone holder.
  • the smartphone holder 20 shown in FIG. 5 comprises a glasses-shaped holder body 21 and a smartphone storage section 22 provided at the front of the holder body 21.
  • the smartphone 10 is inserted with the display 231 facing the face of the user 2.
  • the smartphone holder 20 By wearing the smartphone holder 20 storing the smartphone 10 on the head of the user 2, the smartphone 10 can be used in place of an HMD.
  • the smartphone holder 20 may replace some of the functions of the smartphone 10.
  • the holder body 21 may also have an external terminal 23 that connects to the expansion interface 271 of the stored smartphone 10. This allows the smartphone 10 to be charged while stored in the smartphone holder 20, or to be connected to an external device via a wired connection.
  • Figure 6 is a flowchart showing how the approach transmission program 112c transmits approach information, such as approach alert information, to an outside person 3.
  • Processing by the approach notification program 112c begins at S10.
  • the system may be set to start automatically at S10, or the user may set whether or not to run the approach notification program 112c.
  • the processing load on the processor can be reduced and power consumption can be reduced.
  • the approach notification program 112c may be set to start automatically if an outsider enters a pre-set area such as an approach alert area or danger warning area.
  • the processor 101 executing the approach notification program 112c detects the presence of an obstacle in the camera image captured by the outer camera 133, or receives notification of the presence of an obstacle. If there is no obstacle (S11: NO), the process proceeds to S22, which will be described later. If there is an obstacle (S11: YES), the distance R to the obstacle is obtained in S12.
  • the processor 101 checks whether the obstacle is an external person. Whether the sensed obstacle is a person may be determined by image recognition from a camera image, or may be combined with infrared information from a human presence sensor or the like. Furthermore, information determining whether the obstacle is a person may be received from outside the HMD 1. However, the present invention is not limited to this.
  • a Beacom signal is transmitted from the HMD 1.
  • the Beacom signal may be transmitted using proximity communication such as Bluetooth (registered trademark).
  • the processor 101 checks for a response to the Beacom signal from the information terminal 4, and if there is a response (S15: YES), in S16 it checks whether the distance R is smaller than the first criterion R1.
  • the first criterion R1 corresponds to the distance from the user for setting the boundary of the approach warning area.
  • the processor 101 compares the distance R with the second criterion R2 (R1 > R2).
  • the second criterion R2 corresponds to the distance from the user for setting the boundaries of the danger warning area.
  • the processor 101 transmits danger warning information to the outsider's information terminal 4 using stronger wording than the approach alert information.
  • the danger warning information may be used to notify the outsider of the danger by using a larger font, blinking text, displaying a video, or other emphatic expressions. Alternatively, a combination of sound and vibration may be used. Then, proceed to S20.
  • the processor 101 determines in S13 that the obstacle is not a person (S13: NO), or if the outside person is not carrying a smartphone (S15: NO), the processor 101 compares the distance R with the second criterion R2 in S18.
  • the processor 101 sends danger warning information to the VR viewing program 112b (S20), prompting the user of the HMD 1 to display a collision avoidance warning or to interrupt the VR content. Additionally, to notify the user of the danger, the display content may be switched from the VR content to an external world image in part or all of the display area. Then, proceed to S22.
  • the approaching information displayed on the smartphone as shown in Figure 7B below may be displayed full-screen on a television in the same space, or the display screen of the television being watched may be divided and the approaching information displayed in a partial area of the screen, or the approaching information may be displayed translucently superimposed on the television screen being watched, or as a PinP (Picture in Picture) on the television screen.
  • the television is turned off, the television may be turned on using infrared communication from HMD1 or a smart speaker. Alternatively, a warning may be given by voice from the television or smart speaker.
  • the processor 101 checks the termination conditions of the approach transmission program 112c, and if the termination conditions are not met (S22: NO), the processor 101 returns to before S11 and waits for the detection of an obstacle.
  • Figures 7A and 7B show the display screen of a smartphone that supports two-stage approach information.
  • Display screen 35 in Figure 7A is an example of a screen displayed on information terminal 4 in an approach alert area (first criterion R1 > R > second criterion R2) as a result of an outsider entering the approach alert area.
  • Display screen 35 includes, as an example, a date display 36, a clock display 37, application icons 38, a search window 39, and an approach alert notification 40.
  • Display screen 35 is a so-called home screen, and is in the state before any application is launched by selecting one of the application icons 38.
  • the information terminal 4 uses the notification function of the basic operation program 212a to display the approach alert notification 40.
  • the notification function of the basic operation program 212a can be accessed via a dedicated app that has been installed in the information terminal 4, or the function of an existing app such as LINE Beacon(R) from LINE Corporation can be used.
  • LINE Beacon(R) from LINE Corporation
  • Apple's iBeacon(R) or Google's Eddystone(R) can be used as the notification function of the basic operation program 212a.
  • the approach alert information can be displayed by a message as shown, or by an audio alert, vibration, or a combination of these.
  • information terminal 4 When information terminal 4 receives danger warning information, it displays a danger warning notification 41 using the strongest wording on display screen 35.
  • the text may be displayed in a different font size, bolded, or in a different color (e.g., red). Note that in the method of using alert audio or vibration as described above, the size, frequency, and interval may be changed. A snooze function may also be provided.
  • FIG. 8 is a flowchart showing how the approach transmission program 112c transmits multi-stage approach information.
  • steps that have the same functions as those in the flowchart described in FIG. 6 are given the same numbers, and duplicate explanations will be omitted.
  • a third criterion R3 is set, where the relationship is R1 > R3 > R2.
  • the processor 101 After determining that the distance R from the HMD1 to the external person is R1 > R > R2 (S17: YES), the processor 101 then compares the distance R with a third criterion R3 in S25. If the distance R is R1 > R ⁇ R3 (S25: NO), approach alert information is transmitted in S19, and if R3 > R > R2 (S25: YES), approach warning information is transmitted in S26.
  • the approach warning information is an even stronger warning than the approach alert information, and may, for example, notify the user that there is an increasing possibility of intrusion into a danger warning area.
  • Figures 9A to 9C show the display screen of a smartphone that supports multi-stage approach information. Elements that are the same as those on the approach information display screen shown in Figures 7A and 7B are assigned the same numbers, and duplicate explanations will be omitted.
  • Figure 9A shows the case where the distance R is R1>R>R3, and the display screen 35 is the same as that in Figure 7A, with an approach alert notification 40 displayed as approach information.
  • Figure 9B shows a case where the distance R is R3 > R > R2, and an approach warning notification 42 is displayed on the display screen 35.
  • FIG. 9C shows the case where distance R is R2 > R, and the display screen 35 is the same as in FIG. 7B, with a danger warning notification 41 displayed.
  • the font size, bolding, and color (e.g., red) of the text may be changed to indicate that the notification level has been increased.
  • the size, frequency, and interval may be changed.
  • a snooze function may also be provided.
  • Figure 10 is a flowchart for transmitting approach information that takes into account the user's movement, etc.
  • steps that have the same functions as those in the flowchart described in Figure 6 are assigned the same numbers, and duplicate explanations will be omitted.
  • the processor 101 acquires information D about the user's movements.
  • Information D about the movements is the degree of the user's movements while watching the VR content live, or the degree of movement obtained from the user's movement history when watching the same VR content in the past. Movement history information of other users who have watched the same or similar content may also be used.
  • the user's movement history may be stored in the HMD itself, but if data stored in an external device such as a VR content service server is used, there may be more user movement history data.
  • the degree of movement may be, for example, the standard deviation value of a frequency map of the amount of movement.
  • weighting may be performed using the frequency, speed, and acceleration of the user's movements in combination.
  • processor 101 multiplies user movement information D by coefficient k and subtracts the result from distance R, replacing distance R, so that the more intense the movement, the more likely it is that approach warning information will be transmitted. For example, if the content the user is watching is sports or fighting content, the degree of movement (frequency and amount) will be greater than when watching content such as a concert or movie. In this way, coefficient k may be calculated from content information. Coefficient k may also be calculated based on the user's presence probability from user movement history information. Locations with a high presence probability suggest that the user is moving intensively in those locations.
  • Figure 11 is a flowchart for transmitting approach information in response to a request from an external person.
  • steps that have the same functions as those in the flowchart described in Figure 6 are assigned the same numbers, and duplicate explanations will be omitted.
  • approach information for the current position of the outsider is transmitted in S36.
  • the approach information relates to location information, such as "In a safe area” if R>R1, or "Approaching the HMD user” if R ⁇ R1, depending on the current distance R between the outsider and the user.
  • the transmitted information may be a text message or map information as described in Figure 12. It may also be set on the settings screen, etc., so that approach information is transmitted only when requested by an outsider, and approach alert information and danger warning information are not transmitted, or the transmission of each may be set to ON/OFF independently.
  • FIGS. 12A and 12B show the display screen of a smartphone that displays a surrounding area map as approach information. This can be used as approach information for a request, as explained in the flowchart of FIG. 11, but is not limited to this. It may also be used to issue approach alert information (S19) or danger warning information (S21).
  • approach alert information S19
  • danger warning information S21
  • a map display 45 is displayed across the entire display screen 33 in Figure 12A.
  • the map display 45 shows the current locations of the user 2 of the HMD 1, real objects such as a sofa or desk lamp, and the external person 3, and also shows an approach warning area with a radius of R1 and a danger warning area with a radius of R2.
  • the external person 3 can understand how far away he or she is from the user 2, as well as the positions of real objects, and can use this information as a reference for his or her own movement.
  • the map information shown is drawn with the user 2 at the center, but it may also be map information centered on the external person 3. Alternatively, it may be map information in a world coordinate system based on a room or the like.
  • Figure 12B shows an example in which approach warning information is displayed in conjunction with a map display.
  • approach warning information may be displayed not only as a message display as shown in the figure, but also by using an alert sound or vibration, or a combination of these.
  • approach information such as proximity alert is transmitted to outside person 3, alerting outside person 3 and making the user 2 less likely to be interrupted while viewing the VR content, and further making it possible to prevent contact between user 2 and outside person 3.
  • an information terminal 4 such as a smartphone
  • by transmitting approach information to outside person 3 it is possible to provide a wearable information display terminal that makes it possible to reduce the interruption to user 2's viewing of VR content in a busy area such as a living room where family members come and go, and to prevent user 2 from coming into contact with the obstacle.
  • Figure 13 is an overhead view of the relationship between users and external persons corresponding to the play area.
  • elements having the same functions as those in the relationship between users and external persons shown in Figure 3 are assigned the same numbers, and duplicated explanations will be omitted.
  • the play area 50 shown in Figure 13 is created by creating a 3D map of real space from camera images and distance sensor images, and is set as an area where VR content can be viewed, i.e., where viewing of VR content will not be interrupted, while avoiding real objects in real space such as a desk lamp 8 and sofa 9.
  • the play area 50 is set after the user has confirmed the data created from the camera images and distance sensor images, and the user may manually change some or all of the area.
  • Figure 14 is a flowchart showing how the approach transmission program 112c transmits approach information to an outside person 3 in response to the play area 50. Steps that are the same as those in the flowchart shown in Figure 6 are given the same numbers, and duplicate explanations will be omitted.
  • the processor 101 sets the play area 50 at S40 and calculates the position U of user 2 at S41.
  • the start of S10 may be set to be automatically activated by the system, or the user may set whether or not to execute the approach transmission program 112c. By turning off the approach transmission program 112c when it is clear that an outside person is not approaching, the processing load on the processor can be reduced and power consumption can be reduced. Furthermore, even when the approach transmission program 112c is OFF, it may be set to be automatically activated if an outside person enters a pre-set area such as an approach alert area or danger warning area.
  • danger warning information is transmitted to the VR viewing program 112b, prompting it to display a collision avoidance warning to user 2 or to interrupt the VR content.
  • the positional relationship between the position P of the outside person 3 and the play area 50 is determined. If the position P of the outside person 3 is inside the play area 50 (S44: YES), proceed to comparison with the danger warning area in S17. On the other hand, if the position P of the outside person 3 is outside the play area 50 (S44: NO), proceed to S22.
  • the settings screen may be configured to transmit approach information only upon request from an outsider, and not to transmit approach alert information or danger warning information, or the transmission of each may be set independently on/off.
  • the danger warning area 31 is set within the play area 50, but multiple criteria may also be set around the user 2, as in the example of Figure 6.
  • the second embodiment has the same features as the first embodiment, but also has the advantage that a play area where the user is likely to move, which is of a size depending on the content, can be used to determine the approach of an outside person 3. This allows the outside person 3 to know not only where the user 2 is currently located, but also where the user 2 may move to in the future, making it possible to avoid permanent contact.
  • Figure 15 is an overhead view of the relationship between a user 2 and an outside person 3 corresponding to a divided play area 50.
  • Figure 15 the same elements as in Figure 13 are assigned the same numbers, and duplicated explanations will be omitted.
  • the play area 50 shown in Figure 15 is divided into a mesh pattern by the processor 101.
  • the division method is not limited to a mesh pattern, and can be concentric, radial, or a combination of these.
  • the processor 101 evaluates the user's possibility of movement in each of the divided small areas, and classifies them into level 2 area P2, level 3 area P3, and level 4 area P4 in order of decreasing possibility of movement.
  • the processor 101 then classifies the area of the play area 50 excluding level 2 to level 4 areas into level 1 area P1, which is a highly secure area.
  • Figure 16 is an overhead view showing an example of classifying play areas using user movement history.
  • a space is divided into a mesh-like structure, and the user's movement potential in each section is evaluated and assigned a level.
  • User 2's movement history may be either the movement history when watching VR content live or the movement history when watching the same VR content in the past, or both. Furthermore, the movement history of other users who have watched the same VR content may also be referenced.
  • (c) shows an example of evaluating the possibility of user 2's movement at the current location based on (a).
  • the area separated forward and to the left and right of user 2's current location is evaluated as having a high possibility of movement, while the surrounding area is evaluated as having a medium possibility of movement.
  • (d) shows an example of risk assessment based on movement history in (b).
  • the movement frequency for each area is assessed based on past movement history, and areas with high movement frequency are assessed as having a medium possibility of movement, while areas with low movement frequency are assessed as having a low possibility of movement.
  • (e) shows an example of combining the evaluation results of (c) and (d).
  • the partial areas of the play area 50 are classified into level 1 area P1, level 2 area P2, level 3 area P3, and level 4 area P4 in order of decreasing likelihood of approach and movement.
  • Figure 17 is an overhead view showing an example of classifying play areas using user movement predictions.
  • a space is divided into a mesh-like structure, and the user's movement potential in each section is evaluated and assigned a level.
  • (a) shows the current location of user 2
  • (b) shows an example of user 2's predicted movement at the next time.
  • user 2's next action is to take a step forward to the right and rotate 90 degrees to the right.
  • Movement prediction may be performed by evaluating the content of the VR content, with the user following the next movement of the virtual object the user is focusing on. For example, in a role-playing game (RPG), in a scene where a monster appears from user 2's right, it is predicted that user 2 will turn to the right in order to face the monster head-on and fight. In this way, the user's actions are restricted by the content scenario, making it possible to predict their next action.
  • RPG role-playing game
  • movement prediction may be performed based on information such as the content progress status within the VR content and the type of content (such as exercise-based content or movie viewing content). As mentioned above, movement history of user 2 or other users while viewing the same content may also be used. Furthermore, HMD sensor information may be used for movement prediction.
  • (c) shows an example of evaluating the possibility of user 2's movement at the current location based on (a).
  • the possibility of movement is evaluated as high in the areas separated forward and to the left and right of user 2's current location, and as low in the surrounding areas.
  • (d) shows an example of assessing the risk level based on post-movement predictions, based on (b).
  • the possibility of movement for each area is evaluated based on future movement predictions, and areas with a high possibility of movement and areas with a medium possibility of movement are evaluated depending on the position and orientation of user 2 after movement.
  • (e) shows an example of combining the evaluation results of (c) and (d).
  • the partial areas of the play area 50 are classified into level 1 area P1, level 2 area P2, level 3 area P3, and level 4 area P4 in order of decreasing likelihood of approach and movement.
  • Figures 16 and 17 are shown as examples of methods for evaluating the possibility of movement, and either of Figures 16 and 17 or a combination of these methods may be used. Methods other than those described in Figures 16 and 17 may also be used, and the possibility of movement may be evaluated based on distance information from the user or the user's direction. Furthermore, the method for dividing the play area 50 may be a method other than that shown in Figure 15 that sets a finer degree of division, or a division method other than a mesh. The evaluation of the play area 50 is performed sequentially or at regular intervals, and the classification based on the evaluation results of the play area also changes.
  • Figure 18A is a flowchart for transmitting approach information corresponding to a divided play area. More specifically, it is a flowchart in which the approach transmission program 112c transmits approach risk information based on the user's movement possibility as information to an outside person 3, corresponding to a divided play area. The same steps as in the flowchart shown in Figure 16 are given the same numbers, and duplicate explanations will be omitted.
  • Approach risk information based on the user's movement possibility is information based on the possibility of approach, even if the user is not necessarily approaching.
  • processor 101 If processor 101 confirms in S42 that user 2 is within play area 50 (S42: YES), it evaluates the user's movement possibility for the small areas within the entire play area 50 divided in S45, and in S46 sets level 2 area P2 to level 4 area P4. Any area within play area 50 that does not fall into any of level 2 area P2 to level 4 area P4 is set as level 1 area P1.
  • processor 101 determines that position P of outsider 3 is within play area 50 (S44: YES), and further determines in S48 that position P of outsider 3 is outside level 4 area P4 (S48: YES). If processor 101 then determines in S49 that position P of outsider 3 is within level 3 area P3 (S49: YES), then in S52 it issues information of warning level 2, which is a strong approach warning. Then it proceeds to S22.
  • processor 101 determines in S50 that the position P of the outside person 3 is not within the level 2 area P2 (S50: NO), it can be determined that the position P of the outside person 3 is within the level 1 area P1, and therefore transmits approach alert information in S19. Then, the process proceeds to S22.
  • the processor 101 determines in S48 that the position P of the outside person 3 is within the level 4 area P4 (S48: NO), then in S21, because the outside person 3 is carrying an information terminal 4 and has responded to the Beacon signal, and because the outside person 3 is within the level 4 area P4, danger warning information is transmitted to the information terminal 4 in stronger wording than the approach alert information.
  • the text may be displayed by changing the font size, making it bold, or changing the color (for example, red).
  • the danger warning information is transmitted to the VR viewing program 112b, prompting the user to display a collision avoidance warning or to interrupt the VR content.
  • danger warning information is also transmitted in S20, as described above.
  • processor 101 determines in S13 that the obstacle is not a person (S13: NO), or if processor 101 determines in S15 that no response has been received (S15: NO), proceed to S47.
  • Figure 18B is a flowchart showing an example of transmitting information about the play area 50 in response to a request from an external person 3 in Figure 18A.
  • the outside person 3 Because the play area 50 cannot be seen by the outside person 3, there is a possibility that the outside person 3 may enter the play area 50 unintentionally. Therefore, when the outside person 3 visually recognizes the user 2 of the HMD 1, in S35 the outside person 3 requests information about approaching the play area 50 from the HMD 1, and if the HMD 1 receives the request (S35: YES), in S53 it transmits information about approaching the play area 50 to the information terminal 4 of the outside person 3. On the other hand, if the HMD 1 does not receive the request in S35 (S35: NO), the process proceeds to S22.
  • the HMD 1 determines the position of the outsider 3 and then receives a request from the outsider 3, but the position P of the outsider 3 may also be determined after receiving a request from the outsider 3. Also, on the settings screen, etc., it may be set so that play area approach information is transmitted only when there is a request from an outsider, and danger warning information, approach alert information, warning level 1 information, and warning level 2 information are not transmitted, or each of these may be set to be transmitted independently on/off.
  • Figures 19A to 19D show smartphone display screens that display approach information corresponding to the divided play areas. Elements that are the same as those on the approach information display screens shown in Figures 9A to 9C are assigned the same numbers, and duplicate explanations will be omitted.
  • Figure 19A shows a case where the position P of the outside person 3 is in the level 1 area P1 of the partial area of the play area 50, and an approach alert notification 55 is displayed, which is a weak expression of approach information, such as "You are currently in a safe area.”
  • Figure 19B shows a case where the position P of the outside person 3 is in the level 2 area P2, and the approach information displayed is an approach warning notification 56 with a warning level of 1, such as "Warning level 1.”
  • Figure 19C shows a case where the position P of the outside person 3 is in the level 3 area P3, and the approach information displayed is an approach warning notification 57 with a warning level of 2, such as "Warning level 2.”
  • Figure 19D shows the case where the position P of the outside person 3 is in the level 4 area P4, and a danger warning notification 41 is displayed.
  • Figure 19E shows a case where the position P of the outside person 3 is outside the play area 50, and a play area approach information notification 58 is displayed, indicating that the outside person 3 has not entered the play area 50 and is not in danger.
  • the text may be displayed in different font sizes, bolded, or in different colors (e.g., red), and an alert sound or vibration may also be used.
  • Figs. 20A to 20D show the display screen of a smartphone that displays a map of the surrounding area divided into sections corresponding to the play area as approach information. Although not shown in Fig. 18, it can be used in response to a request from an outsider 3 to confirm whether they are entering the play area 50, or to provide approach information for the user 2 of the HMD 1, but is not limited to this. It can also be used to issue danger warning information, approach alert information, warning level 1 information, or warning level 2 information.
  • a map display 45 of the room in which the play area 50 has been set is displayed across the entire display screen 33 in Figure 20A.
  • the map display 45 displays the play area 50 described in Figure 15, the level 1 area P1, the level 2 area P2, the level 3 area P3, the level 4 area P4, the desk lamp 8, the sofa 9, the position U of the user 2, and the position P which is the current location of the external person 3.
  • the external person 3 can check their own position P and understand which areas are most likely to be approached and moved, and can use this as a reference for their own movement.
  • the map information may also be centered on the external person 3.
  • Figure 20B shows an example in which the approach alert notification 40 and map display 45 are used together. In this way, a text notification and a map showing the relative position may be displayed together. Furthermore, the approach alert information may be provided by a message display as shown, or by a method that uses an alert sound or vibration, or a combination of these.
  • Figure 20C shows an example in which the approach alert notification 40 and map display 45 are used together.
  • the outsider 3 is located outside the play area 50, and it is possible to confirm whether the outsider 3 is entering the play area 50, thereby preventing the outsider 3 from entering the play area 50 in advance. Furthermore, by knowing the relative position of the play area 50 in advance, the outsider 3 can take action to prevent contact.
  • Figure 20D shows an example in which the division of the area based on the possibility of movement within the play area 50 is not displayed before entering the play area 50. Before entering the play area 50, there is no risk of contact, so it is considered that there is little need to display the possibility of movement within the play area 50. If the play area 50 has not been entered, it is sufficient to simply display the positional relationship of the play area 50.
  • the head-mounted display of the third embodiment has the same features as the first and second embodiments, and also makes it possible to transmit approach warning information in stages by using the classified approach movement possibilities within the play area.
  • any combination of the processes in the flowcharts of Figures 6, 8, and 10 may be executed in parallel.
  • some of the flowcharts may be omitted and executed.
  • some or all of the functions of the invention may be implemented in hardware, for example by designing them as integrated circuits. They may also be implemented in software by a microprocessor unit, CPU, etc. interpreting and executing an operating program. Furthermore, there are no limitations on the scope of software implementation, and hardware and software may be used together.
  • the above embodiment includes the following inventions.
  • Appendix 1 An information display terminal that can be worn by a user and plays virtual reality content, A ranging sensor; A camera and The display and a communication interface; a processor; Equipped with The distance measuring sensor detects the distance to an obstacle, The processor: When the image acquired by the camera detects that the obstacle is a person, the information display terminal switches whether or not to transmit first information for avoiding interference between the user and the person from the communication interface to the information terminal held by the person, based on the distance detected by the ranging sensor.
  • a head-mounted display A process of setting up a play area in which virtual reality content can be viewed; A process of allowing a user to view virtual reality content; A process of detecting an approach between the user and a person other than the user and transmitting approach information, The process of transmitting the approach of the user and the person other than the user switches between transmitting to both the user and the person other than the user and transmitting to one of them depending on the distance between the user and the person other than the user within the play area.
  • a head-mounted display characterized by:
  • a head-mounted display A process of setting up a play area in which virtual reality content can be viewed; A process of allowing a user to view virtual reality content; A process of detecting an approach between the user and a person other than the user and transmitting approach information, The process of transmitting the approach of the user and persons other than the user includes a process of dividing the play area into a plurality of regions, evaluating the user's movement possibility for each region, and classifying a group of small regions with the same degree of movement possibility, and switching between transmitting to both the user and persons other than the user and transmitting to one of them depending on the classification of the region in which persons other than the user are present within the play area.
  • a head-mounted display characterized by:
  • An information display terminal that can be worn by a user and plays virtual reality content, A ranging sensor; The display and a communication interface; a processor; Equipped with The distance measuring sensor detects the distance to an obstacle, The processor: When a request is received from a person other than the user, information for avoiding interference between the user and the person is transmitted from the communication interface to an information terminal held by the person.
  • An information display terminal characterized by:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)

Abstract

ユーザに装着可能であり、仮想現実コンテンツを再生する情報表示端末であって、測距センサと、カメラと、ディスプレイと、通信インタフェースと、プロセッサと、を備え、測距センサは、障害物との距離を検知し、プロセッサは、カメラが取得した画像から、障害物が人物であることを検知した場合、通信インタフェースから前記人物が有する情報端末へユーザと前記人物との干渉を回避するための第１の情報を発信するか否かを、測距センサが検知した距離に基づいて、切り替える。

Description

情報表示端末及びヘッドマウントディスプレイ
　本発明は、情報表示端末及びヘッドマウントディスプレイに係り、特に、情報表示端末を装着して、仮想空間に展開する仮想現実（ＶＲ：Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）コンテンツを視聴している情報表示端末ユーザ（以下、ユーザと記すことがある）とユーザ以外の人物（以下、外部人物と記すことがある）とが接触するのを予防する手段を備えた情報表示端末に関する。
　情報表示端末を使用して、仮想空間に展開するゲーム等のＶＲコンテンツを視聴することが行われている。このとき、ユーザは情報表示端末を頭部に装着して、現実空間の視野を制限し、ＶＲコンテンツに集中する。装着型の情報端末としては、代表的なものとしてヘッドマウントディスプレイ（ＨＭＤと記すこともある）やスマートフォン装着型のＶＲゴーグルのウェアラブルデバイスや、眼球装着型のコンタクトレンズ型ディスプレイなどのインプランタブルデバイスなどがある。
　一般にユーザは情報表示端末を装着してＶＲコンテンツを体験しているとき、ＶＲコンテンツに合わせて、ゆっくりと、あるいは激しく動くことがある。現実空間に現実物体（家具、壁など）があると、ユーザの動きによっては衝突してしまい、ＶＲコンテンツの視聴を中断せざるを得ないという課題がある。さらに、外部人物が近づいてくることをユーザが気付かず、外部人物に接触して、けが等を負わせてしまうという課題がある。これらの課題に対し、特許文献１及び特許文献２が開示されている。
　特許文献１は、ユーザがＶＲコンテンツを体験可能なプレイエリアを設定し、ユーザがプレイエリアの境界に近づいたとき、あるいはプレイエリアの外に出たときに、ＶＲコンテンツを切り替える、または中断させることにより、ユーザに現実物体と衝突することを回避するよう促す。
　特許文献２のＨＭＤは、外部人物等の障害物を検出し、障害物との距離を計測し、障害物との距離が近くなったとき、障害物の仮想物体をＶＲコンテンツに多重して表示し、ユーザに警告を与える。
特開２０１７－１１９０３１号公報
特開２０１３－２５７７１６号公報
　しかしながら、特許文献１、特許文献２では、ユーザがＶＲコンテンツを視聴しているときに、ＶＲコンテンツに関係のない仮想物体を表示させたり、ＶＲコンテンツを中断させたりするので、ユーザがＶＲコンテンツを視聴するのが妨げられるという課題が残る。またユーザ以外の人物からは、ＶＲコンテンツのプレイエリアを確認することが出来ない為、意図せずにプレイエリアへ侵入し、ユーザと接触することがあった。
　本発明の目的は、ユーザのＶＲコンテンツへの没入感の喪失を防ぎつつ、ユーザ以外の人物との干渉を抑止することを目的とする。
　上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例を挙げるならば、本発明は、ユーザに装着可能であり、仮想現実コンテンツを再生する情報表示端末であって、測距センサと、カメラと、ディスプレイと、通信インタフェースと、プロセッサと、を備え、前記測距センサは、障害物との距離を検知し、前記プロセッサは、前記カメラが取得した画像から、前記障害物が人物であることを検知した場合、前記通信インタフェースから前記人物が有する情報端末へ前記ユーザと前記人物との干渉を回避するための第１の情報を発信するか否かを、前記測距センサが検知した距離に基づいて、切り替えることを特徴とする。
　本発明によれば、ユーザのＶＲコンテンツへの没入感の喪失を防ぎつつ、ユーザ以外の人物との干渉を抑止することができる。なお、上記した以外の目的、構成、効果については、以下の実施形態において明らかにされる。
第一の実施形態におけるＨＭＤのユーザと外部人物との関係を示す俯瞰図。 ＨＭＤの機能ブロック図。 完全没入型のＨＭＤの外観図。 眼鏡型のＨＭＤの外観図。 情報端末の一例としてのスマートフォンの機能ブロック図。 スマートフォンホルダの概略図。 接近発信プログラムが外部人物への接近警戒情報等の接近情報を発信するフローチャート。 二段階の接近情報に対応したスマートフォンの表示画面。 二段階の接近情報に対応したスマートフォンの表示画面。 接近発信プログラムが多段階の接近情報を発信するフローチャート。 多段階の接近情報に対応したスマートフォンの表示画面。 多段階の接近情報に対応したスマートフォンの表示画面。 多段階の接近情報に対応したスマートフォンの表示画面。 ユーザの移動等を考慮した接近情報を発信するフローチャート。 外部人物のリクエストに応じ、接近情報を発信するフローチャート。 周辺マップを接近情報とするスマートフォンの表示画面。 周辺マップを接近情報とするスマートフォンの表示画面。 本発明の第二の実施形態であって、プレイエリアに対応したユーザと外部人物との関係の俯瞰図。 プレイエリアに対応して、接近発信プログラムが外部人物への接近情報を発信するフローチャート。 区分けされたプレイエリアに対応したユーザと外部人物との関係の俯瞰図。 ユーザの移動履歴を用いたプレイエリアの分類例を示す俯瞰図。 ユーザの移動予測を用いたプレイエリアの分類例を示す俯瞰図。 区分けされたプレイエリアに対応した接近情報を発信するフローチャート。 図１８Ａにおいて、外部人物からの要求に応じてプレイエリアの情報を発信する例を示すフローチャート。 区分けされたプレイエリアに対応した周辺マップを接近情報とするスマートフォンの表示画面。 区分けされたプレイエリアに対応した周辺マップを接近情報とするスマートフォンの表示画面。 区分けされたプレイエリアに対応した周辺マップを接近情報とするスマートフォンの表示画面。 区分けされたプレイエリアに対応した周辺マップを接近情報とするスマートフォンの表示画面。 区分けされたプレイエリアに対応した周辺マップを接近情報とするスマートフォンの表示画面。 区分けされプレイエリアに対応たした周辺マップを接近情報とするスマートフォンの表示画面。 区分けされプレイエリアに対応たした周辺マップを接近情報とするスマートフォンの表示画面。 区分けされプレイエリアに対応たした周辺マップを接近情報とするスマートフォンの表示画面。 区分けされプレイエリアに対応たした周辺マップを接近情報とするスマートフォンの表示画面。
　本実施形態に係る情報表示端末及び情報表示方法は、ＶＲ視聴時におけるＶＲ視聴者の没入感の維持と、ＶＲ視聴者以外の者がＶＲ視聴者に干渉することを防ぐことを目的とするものである。よって本発明は、本発明を適用した情報処理装置の商品価値を高めることができることから、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の８．２（商品やサービスの価値をより高める産業や、労働集約型の産業を中心に、多様化、技術の向上、イノベーションを通じて、経済の生産性をあげる）に貢献することが期待できる。
　以下、図面を参照しながら、本発明の実施形態について説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。以下、図面を参照しながら本発明の実施形態について説明する。ここからの説明においては、頭部装着型表示端末としてＨＭＤを用いた例について、説明するが前述したように、スマートフォン装着型のＶＲゴーグルや、眼球装着型のコンタクトレンズ型ディスプレイに置き換えても良い。
［第一の実施形態］
　図１から図１２で、第一の実施形態について説明する。図１は、本実施形態に係るＨＭＤ１のブロック図であり、第一の実施形態のほか、第二の実施形態以降の実施形態にも適用可能である。
　図１は、第一の実施形態におけるＨＭＤのユーザと外部人物との関係を示す俯瞰図である。
　図１は、ＨＭＤ１を装着したユーザ２と、ユーザ２の近くに外部人物３が携行する情報端末４を把持して位置している状態を示す。ここでいう「外部人物」とは、ユーザとは異なる他人という意味である。
　また情報端末４は、ＨＭＤ１から接近警戒情報を受信して外部人物３に通知可能な情報端末であればよく、例えばスマートフォン、タブレット、スマートウォッチ、又、ＡＲ表示可能な眼鏡型端末（ＡＲ：　Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）などのウェアラブル端末であってもよい。接近警戒情報は、外部人物３にユーザ２がＶＲコンテンツを視聴していることを意識させ、注意しながらの移動を促す。
　ＨＭＤ１は、アクセスポイント５及びネットワーク６を介し、ＶＲサービスサーバ７から、ＶＲコンテンツの配信を受け、ＶＲコンテンツを表示する。ネットワーク６は、インターネットでもよいし、イントラネットであってもよく、さらには、直接通信でつながるＰＣ等の外部装置（オンプレミスのホームサーバーでもよい）であってもよい。ＨＭＤ１にＶＲコンテンツを表示する別態様として、ＨＭＤ１に保存してあるＶＲコンテンツを表示してもよい。
　ユーザ２及び外部人物３が存在する室内には、電気スタンド８とソファ９が設置されている。電気スタンド８とソファ９は、現実物体の固定されている障害物の例であり、他のものであってもよい。これら現実物体は、ユーザ２がＶＲコンテンツを視聴しているとき、ユーザ２の移動によって接触することを避ける必要のある障害物である。
　外部人物３もまた、ユーザ２が接触を避けなければいけない障害物である。ユーザ２の移動に加え、外部人物３の移動によっても、相互距離は縮まる。また外部人物３との接触は、ユーザ自身だけでなく相手方にもけがを与える可能性があり、回避の重要性は高い。
　そこで、本実施形態では、ＨＭＤ１のユーザ２の周囲に半径Ｒ１の接近警戒エリア３０と、接近警戒エリア３０の内側に半径Ｒ２（Ｒ２＜Ｒ１）の危険警告エリア３１とを設定する。例えば、接近警戒エリア３０は電気スタンド８及びソファ９等の障害物の近傍までの広さがあり、危険警告エリア３１は、接近警戒エリア３０の内側かつユーザを中心とする半径Ｒ２の広さとする。接近警戒エリア３０、危険警告エリア３１は、ユーザ２の移動に付随して移動してもよいし、一旦設定した後に接近警戒エリア３０及び危険警告エリア３１の設定解除を行うまではユーザ２の動きに連動することなく設定位置を不変としてもよい。これら障害物に近くなったこと、すなわち危険警告エリア３１内に障害物が検知されたとき、ＶＲ視聴プログラム１１２ｂは、仮想現実コンテンツの画像に、接触の警告を示す仮想物体の画像を重畳する、もしくはＶＲコンテンツの視聴を一時停止させることによって、ユーザ２に接触の回避を促す。
　また、本実施形態では、外部人物３が使用する情報端末４に接近警戒エリア３０の設定情報を通知することで、外部人物３に現実には視認できない接近警戒エリア３０及び危険警告エリア３１の存在を知らせ、外部人物３が接近警戒エリア３０及び危険警告エリア３１に侵入することを抑止する。これにより、外部人物３とユーザ２とが接近することでユーザ２のＶＲ視聴が妨げられて没入感が損なわれることを未然に防ぎつつ、外部人物３とユーザ２との干渉も事前に防止することが期待できる。
　図２は、ＨＭＤ１の機能ブロック図である。
　ＨＭＤ１は、プロセッサ１０１、記憶装置１１０、入力インタフェース（図中において「Ｉ／Ｆ」と略記する）１２０、映像入出力装置１３０、音声入出力装置１４０、センサ群１５０、通信インタフェース１６０、拡張インタフェース１７１、及びタイマ１７２を備え、これらがバス１０２により互いに接続される。　バス１０２は、コマンドやデータの送受信経路を形成する。
　プロセッサ１０１はＣＰＵ等から成る。
　記憶装置１１０は、揮発性メモリ１１１、及び不揮発性メモリ１１２を含む。
　揮発性メモリ１１１は、ＲＡＭ等から構成される。
　不揮発性メモリ１１２は、ＲＯＭ、フラッシュＲＯＭ、ＳＳＤなどの不揮発性ストレージ媒体から成り、基本動作プログラム（図中において「ＰＲＧ」と略記する）１１２ａ、ＶＲ視聴プログラム１１２ｂ、接近発信プログラム１１２ｃを格納する。プロセッサ１０１は、基本動作プログラム１１２ａ、ＶＲ視聴プログラム１１２ｂ、接近発信プログラム１１２ｃを揮発性メモリ１１１に展開して実行する。
　基本動作プログラム１１２ａは、ＨＭＤ１の動作を制御するプログラムである。ＶＲ視聴プログラム１１２ｂは、インターネット通信を利用しＶＲコンテンツの配信を受信し、ユーザにＶＲコンテンツを視聴させるためのプログラムである。さらに、接近発信プログラム１１２ｃは、近接通信を利用して、接近情報を外部人物に発信するためのプログラムである。
　接近発信プログラム１１２ｃは、外部人物３が接近警戒エリア３０に侵入したときに、外部人物３が携行する情報端末４に接近警戒情報を発信し、外部人物３に注意を促す。
　入力インタフェース１２０は、ボタンスイッチ１２１を含み、電源ボタン、音量ボタン等がある。
　映像入出力装置１３０は、ディスプレイ１３１、画像処理信号部１３２、及びアウトカメラ１３３を含んで構成される。
　ディスプレイ１３１は、非透過型のディスプレイである。
　画像処理信号部１３２は、アウトカメラ１３３から取得した画像データに対して、画像特徴量の抽出及び物体認識処理を含む画像解析処理を実行する。本実施形態では、特に被写体が人物であるか否かの物体認識処理を行う。画像処理信号部１３２は、例えば、画像処理専用回路（ＬＳＩ）や、イメージ（ビデオ）シグナルプロセッサを用いて構成される。
　アウトカメラ１３３は、周辺撮影用のカメラである。アウトカメラ１３３は、暗部での撮影を考慮して、赤外線カメラや赤外光照明を備え、赤外光感度を向上させたものであってもよい。
　音声入出力装置１４０は、スピーカ１４１、音声信号処理部１４２、及びマイク１４３を含んで構成される。
　音声信号処理部１４２は、例えば、オーディオシグナルプロセッサを用いて構成される。
　センサ群１５０は、ユーザの動き、すなわちＨＭＤ１の動き、即ち、ＨＭＤ１を装着しているユーザの頭部の前後左右の動き、視線の向きの変更を伴う回転の動き、加速度をセンシングする。センサ群１５０として、例えば、位置測位センサ１５１、地磁気センサ１５２、測距センサ１５３、加速度センサ１５４、及びジャイロセンサ１５５を含む。
　位置測位センサ１５１として、例えばＧＰＳセンサを用いてもよい。
　測距センサ１５３は、アウトカメラ１３３がステレオカメラの場合は、ステレオカメラの視差を用いて測距するセンサとして構成してもよい。さらには、測距センサ１５３は、検出精度を向上させるために、Ｌｉｄａｒ等で現実空間を３次元計測し、計測した３次元距離情報とカメラ撮影画像を併用して、現実空間の障害物や外部人物を検知させるようにしてもよい。あるいは、測距センサ１５３が現実空間を３次元計測し、計測した３次元距離情報の時間変化情報を、画像解析することで、現実空間の外部人物を検知させるようにしてもよい。
　通信インタフェース１６０は、インターネット通信、赤外線通信、近接通信、電話網通信などの複数の通信プロトコルを備え、目的によって使い分ける。例えば通信インタフェース１６０として、ＬＡＮ通信インタフェース１６１、及び近距離無線通信インタフェース１６２、電話網通信インタフェース１６３を含む。
　ＬＡＮ通信インタフェース１６１として、Ｗｉ－Ｆｉ（登録商標）インタフェースを用いた場合には、Ｗｉ－Ｆｉ（登録商標）無線信号を無線通信処理だけでなく、Ｗｉ－Ｆｉセンシング処理に用いてもよい。例えば、Ｗｉ－Ｆｉセンシングプロセッサを更に備え、Ｗｉ－ＦｉセンシングプロセッサがＷｉ－Ｆｉ信号の強度、干渉分布を基にユーザや障害物の位置検出処理、姿勢検出処理、測距処理を実行してもよい。このように、測距センサ１５３の機能を、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　ＬｏｃａｔｉｏｎやＷｉ－Ｆｉセンシング機能などを持ったＬＡＮ通信インタフェース１６１により実現してもよい。
　近距離無線通信インタフェース１６２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ、登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Ｈｏｍｅ　Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ、登録商標）の各規格に沿ったインタフェースを用いてもよい。また電話網通信インタフェース１６３は、例えば、ＬＴＥ（ＬｏｎｇＴｅｒｍ　Ｅｖｏｌｕｔｉｏｎ、登録商標）方式、ＬＴＥ―Ａｄｖａｎｃｅｄ方式、モバイルＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ　Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ　ｆｏｒ　Ｍｉｃｒｏｗａｖｅ　Ａｃｃｅｓｓ、登録商標）方式、ＷｉＭＡＸ２方式などの遠距離の無線通信規格、第４世代移動通信規格（４Ｇ）、第５世代移動通信規格（５Ｇ）に沿ったインタフェースを用いてもよい。
　拡張インタフェース１７１は、例えばＵＳＢ機器接続端子であり、データ送受信や充電等に使用される。
　タイマ１７２は、現実世界の現在時刻を保持するタイマであり、現在時刻として世界協定時（ＵＴＣ：Ｃｏｏｒｄｉｎａｔｅｄ　Ｕｎｉｖｅｒｓａｌ　Ｔｉｍｅ）などの時刻を保持する。タイマ１７２はソフトウェアとして構成してもよいし、ＲＴＣ（Ｒｅａｌ　Ｔｉｍｅ　Ｃｌｏｃｋ）を用いて構成してもよい。
　ユーザがＨＭＤ１を装着して、ＶＲ視聴プログラム１１２ｂを用いてＶＲコンテンツを視聴するとき、アウトカメラ１３３はＨＭＤ１のユーザ周辺の外界の現実空間を撮影する。アウトカメラ１３３は、複数個のカメラを備えている場合、もしくは３６０度カメラによって、ＨＭＤ１の３６０度周囲を撮影することがある。
　プロセッサ１０１は、アウトカメラ１３３で撮影した画像から、障害物や外部人物などの現実物体を検知する。可視光領域だけでなく、赤外光に対応したカメラや赤外線照明を用いることで、部屋の照度が十分でない場合や、照明がついていない環境においても周囲の障害物や外部人物を検知することも可能となる。測距センサ１５３は、検知した現実物体との距離を得る。また、測距センサの３次元距離情報を解析して、現実物体を検知してもよいし、複数のカメラで撮影した画像から、現実物体との距離を得てもよい。あるいは、これら複数の手法を組み合わせてもよい。
　ディスプレイ１３１は、ＶＲコンテンツの画像を表示し、スピーカ１４１は、ＶＲコンテンツのサウンドを出力する。必要に応じてマイク１４３はユーザの音声を取得する。
　なお、プロセッサ１０１の演算は、通信インタフェース１６０を介してインターネット上のサーバーや、あるいは、例えばＷｉＦｉ　Ｄｉｒｅｃｔ（登録商標）でつながるパソコンで一部、または全てを実行してもよい。
　図３Ａは、完全没入型のＨＭＤ１の外観図である。図３ＡのＨＭＤ１は、図２に示すＨＭＤ１の機能を実装したＨＭＤである。
　ＨＭＤ１は、前部にアウトカメラ１３３、測距センサ１５３を備える。更に、ＨＭＤ１の前部に薄型レンズとディスプレイから成る右ディスプレイ１３１Ｒ及び左ディスプレイ１３１Ｌを備え、それぞれのディスプレイに左目用の画像と右目用の画像を表示させ、３次元表示を行う。右ディスプレイ１３１Ｒ及び左ディスプレイ１３１Ｌは、図２のディスプレイ１３１の構成要素である。
　また、右ディスプレイ１３１Ｒと左ディスプレイ１３１Ｌの間にマイク１４３、センサ群１５０及び視線検出センサ１５６が配置される。
　さらにＨＭＤ１は、ＨＭＤ１をユーザの頭部に装着するための装着用筐体１９１を備える。制御装置１９２は、装着用筐体１９１の後部に備えられる。また、左スピーカ１４１Ｌ、右スピーカ１４１Ｒのそれぞれが、装着用筐体１９１の左右側部に備えられる。左スピーカ１４１Ｌ、右スピーカ１４１Ｒは、図２のスピーカ１４１の構成要素である。
　装着用筐体１９１は、右ディスプレイ１３１Ｒ及び左ディスプレイ１３１Ｌを支持する。これにより、装着用筐体１９１をユーザの頭部に装着すると、ユーザの目前に右ディスプレイ１３１Ｒと左ディスプレイ１３１Ｌが位置する。なお、ディスプレイ１３１は、上述した構成のほか、平面ディスプレイおよび薄型レンズから成る表示デバイスを備え、左目用の画像と右目用の画像を交互に表示させ、シャッタで対応する片眼にのみ視認させ３次元表示を行ってもよい。
　図３Ｂは、眼鏡型のＨＭＤ１ａの外観図である。
　眼鏡型のＨＭＤ１ａは、眼鏡型のフレーム１９３の前部にアウトカメラ１３３としての前方アウトカメラ１３３Ｆ、右アウトカメラ１３３Ｒ、及び左アウトカメラ１３３Ｌと、測距センサ１５３を備える。更に、ＨＭＤ１ａの前部にディスプレイ１３１としての右ディスプレイ１３１Ｒ及び左ディスプレイ１３１Ｌを備える。
　また、フレーム１９３の左側部にマイク１４３と左スピーカ１４１Ｌ、フレーム１９３の右側部に右スピーカ１４１Ｒ、センサ群１５０、通信インタフェース１６０、及び制御装置１９２を備える。制御装置１９２は、プロセッサ１０１、記憶装置１１０、入力インタフェース１２０、拡張インタフェース１７１、及びタイマ１７２を実装する装置である。なお、図３Ｂでは図示を省略するもののフレーム１９３の前内表面には視線検出センサ１５６を備える。
　図４は、情報端末４の一例としてのスマートフォン１０の機能ブロック図である。
　スマートフォン１０は、プロセッサ２０１、記憶装置２１０、入力インタフェース２２０、映像入出力装置２３０、音声入出力装置２４０、センサ群２５０、通信インタフェース２６０、拡張インタフェース２７１、及びタイマ２７２を備え、これらがバス２０２により互いに接続される。図２と同じ構成要素についての重複説明は省略し、異なる構成要素について説明する。
　記憶装置２１０は、揮発性メモリ２１１及び不揮発性メモリ２１２を含む。不揮発性メモリ２１２は、スマートフォン１０の基本動作を制御するための基本動作プログラム２１２ａ、ＶＲ視聴プログラム２１２ｂ、及び接近発信プログラム２１２ｃを記憶する。ＶＲ視聴プログラム２１２ｂ及び接近発信プログラム２１２ｃは、図２に示したＶＲ視聴プログラム１１２ｂ及び接近発信プログラム１１２ｃと同様の機能を実現するので、以下ではＶＲ視聴プログラム１１２ｂ及び接近発信プログラム１１２ｃについて説明する。
　スマートフォン１０は、入力インタフェース２２０として、ボタンスイッチ２２１と、ディスプレイ２３１に積層されたタッチセンサ２２２とを備える。あるいは、ディスプレイとは反対の背面側にタッチセンサ２２２が備わっていてもよいし、タッチセンサ２２２を内蔵したディスプレイが背面側にも備わっていてもよい。また、視線検出センサ１５６に代わりインカメラ２３４を備え、インカメラ２３４が撮像したユーザ２の目画像を基に視線検出処理を実行する。
　映像入出力装置２３０は、ディスプレイ２３１、画像処理信号部２３２、アウトカメラ２３３、及び視線検出センサ２５６に代わりにもなるインカメラ２３４を備え、インカメラ２３４が撮像したユーザ２の目画像を基に視線検出処理を実行する。
　音声入出力装置２４０は、スピーカ２４１、音声信号処理部２４２、及びマイク２４３を含む。
　センサ群２５０は、位置測位センサ２５１、地磁気センサ２５２、測距センサ２５３、加速度センサ２５４、ジャイロセンサ２５５を含む。
　通信インタフェース２６０は、無線通信インタフェース２６１、近距離無線通信インタフェース２６２、電話網通信インタフェース２６３を備える。電話網通信インタフェース２６３は、例えば、ＬＴＥ（ＬｏｎｇＴｅｒｍ　Ｅｖｏｌｕｔｉｏｎ、登録商標）方式、ＬＴＥ―Ａｄｖａｎｃｅｄ方式、モバイルＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ　Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ　ｆｏｒ　Ｍｉｃｒｏｗａｖｅ　Ａｃｃｅｓｓ、登録商標）方式、ＷｉＭＡＸ２方式などの遠距離の無線通信規格、第４世代移動通信規格（４Ｇ）、第５世代移動通信規格（５Ｇ）に沿ったインタフェースを用いてもよい。
　頭部装着型表示端末の一例として、上記ではＨＭＤ１、１ａを例示したが、スマートフォン１０をユーザ２の眼前に保持するスマートフォンホルダを用いて、スマートフォン１０をＨＭＤと同様に頭部装着型表示端末として用いてもよい。
　図５は、スマートフォンホルダの概略図である。
　図５に示すスマートフォンホルダ２０は、眼鏡型のホルダ本体２１と、ホルダ本体２１の前部に備えられたスマートフォン収容部２２とを備える。スマートフォン１０は、ディスプレイ２３１をユーザ２の顔と対向する向きで挿入される。スマートフォン１０を収容したスマートフォンホルダ２０をユーザ２の頭部に装着することにより、スマートフォン１０をＨＭＤの代わりに用いることができる。またスマートフォンホルダ２０がスマートフォン１０を収容した場合は、スマートフォン１０の一部の機能をスマートフォンホルダ２０が代替してもよい。なお、ホルダ本体２１には、収容したスマートフォン１０の拡張インタフェース２７１に接続する外部端子２３を備えてもよい。これにより、スマートフォン１０をスマートフォンホルダ２０に収容したまま充電したり、外部装置に有線接続したりすることができる。
　図６は、接近発信プログラム１１２ｃが外部人物３への接近警戒情報等の接近情報を発信するフローチャートである。
　Ｓ１０で接近発信プログラム１１２ｃによる処理が開始する。Ｓ１０の開始については、システム側で自動的に起動するように設定されていてもよいし、ユーザ自身で接近発信プログラム１１２ｃを行うかどうかを設定してもよい。外部人物の接近が明らかにない場合などに、接近発信プログラム１１２ｃをＯＦＦにすることでプロセッサの処理負担を低減し、消費電力の削減を図ることができる。さらには、接近発信プログラム１１２ｃがＯＦＦの状態においても、接近警戒エリア、あるいは危険警告エリアなどあらかじめ設定されたエリアに外部人物が進入した場合、自動的に起動するように設定されていてもよい。
　Ｓ１１で、接近発信プログラム１１２ｃを実行中のプロセッサ１０１は、アウトカメラ１３３が撮像したカメラ画像に障害物が有ることを検知するか、有ることの通知を受け取る。障害物が無い場合（Ｓ１１：ＮＯ）では、後述するＳ２２に遷移する。障害物が有る場合（Ｓ１１：ＹＥＳ）、Ｓ１２で障害物との距離Ｒを取得する。
　Ｓ１３で、プロセッサ１０１は、障害物が外部人物であるかを確認する。センシングされた障害物が人物であるかは、カメラ画像からの画像認識により判別しても良く、また人感センサなどの赤外線情報と組み合わせても良い。さらには、ＨＭＤ１の外部から人物であるかを判別した情報を受け取ってもよい。またこれに限定されるものではない。
　外部人物である場合（Ｓ１３：ＹＥＳ）、Ｓ１４で、ＨＭＤ１からＢｅａｃｏｍ信号を発信する。Ｂｅａｃｏｍ信号は、例えばＢｌｅｕｔｏｏｔｈ（登録商標）などの近接通信を用いてもよい。
　Ｓ１５で、プロセッサ１０１は、情報端末４からのＢｅａｃｏｍ信号に対する応答を確認し、応答がある場合（Ｓ１５：ＹＥＳ）、Ｓ１６で、距離Ｒが第一のクライテリアＲ１より小さいかを確認する。第一のクライテリアＲ１は、接近警戒エリアの境界を設定するためのユーザからの距離に相当する。
　距離Ｒが第一のクライテリアＲ１以上の場合（Ｓ１６：ＮＯ）、外部人物は接近警戒エリア外にいるため、接近警戒情報の発信をすることなく、Ｓ２２へ進む。
　距離Ｒが第一のクライテリアＲ１より小さい場合（Ｓ１６：ＹＥＳ）は、さらにＳ１７で、プロセッサ１０１は、距離Ｒを第二のクライテリアＲ２（Ｒ１＞Ｒ２）と比較する。第二のクライテリアＲ２は、危険警告エリアの境界を設定するためのユーザからの距離に相当する。
　Ｓ１７の比較結果、距離Ｒが第二のクライテリアＲ２より大きい場合（Ｓ１７：ＹＥＳ）は、外部人物３が情報端末４を携行していてＢｅａｃｏｍ信号に応答していること、かつ、外部人物３が接近警戒エリア内で危険警告エリア外の領域にいることから、Ｓ１９で、プロセッサ１０１は、接近警戒情報を、外部人物の情報端末４に対して発信する。その後、Ｓ２２へ進む。
　またＳ１７の比較結果、距離Ｒが第二のクライテリアＲ２以下の場合（Ｓ１７：ＮＯ）は、外部人物が情報端末４を携行していてＢｅａｃｏｍ信号に応答していること、かつ、外部人物が危険警告エリア内の領域にいることから、Ｓ２１で、プロセッサ１０１は、接近警戒情報よりもより強い文言を用いた危険警告情報を外部人物の情報端末４に対して発信する。危険警告情報は、文字のフォントを大きくしたり、文字を明滅させたり、動画を表示するなどの強調表現により、外部人物へ危険を知らせてもよい。あるいは、音や振動を複合させて使用してもよい。その後、Ｓ２０へ進む。
　一方、Ｓ１３で、プロセッサ１０１が、障害物は人物でないと判断した場合（Ｓ１３：ＮＯ）、又は外部人物がスマートフォンを不携行の場合（Ｓ１５：ＮＯ）は、Ｓ１８で、プロセッサ１０１は、距離Ｒと第二のクライテリアＲ２とを比較する。
　距離Ｒが第二のクライテリアＲ２以下の場合（Ｓ１８：ＮＯ）は、障害物が危険警告エリア内あるので、Ｓ２０で、プロセッサ１０１は、ＶＲ視聴プログラム１１２ｂに対して、危険警告情報を発信し（Ｓ２０）、衝突回避警告をＨＭＤ１のユーザに向け表示すること、あるいはＶＲコンテンツを中断することを促す。またユーザに対して、危険を知らせる為に、ＶＲコンテンツから外界映像への表示内容の切替えを、表示領域の一部もしくは全部で行なってもよい。その後、Ｓ２２へ進む。
　別の例では、外部人物がスマートフォンを不携行の場合（Ｓ１５：ＮＯ）は、同一空間にあるテレビに後述する図７Ｂに記載のスマートフォンに表示する接近情報を全画面に表示させても良いし、視聴中のテレビの表示画面を分割し、画面の一部領域に接近情報を表示させても良いし、さらには視聴中のテレビ画面に重畳させた半透明な接近情報表示やテレビ画面上に接近情報をＰｉｎＰ（Ｐｉｃｔｕｒｅ　ｉｎ　Ｐｉｃｔｕｒｅ）表示をしても良い。テレビの電源がＯＦＦの場合には、ＨＭＤ１からの赤外線通信やスマートスピーカを利用して、テレビの電源をＯＮにする。あるいは。テレビやスマートスピーカから音声により注意を促しても良い。
　Ｓ１８で、距離Ｒが第二のクライテリアＲ２よりも大きい場合（Ｓ１８：ＹＥＳ）は、障害物は危険警告エリア外なので、危険警告情報を発信することなくＳ２２へ進む。
　Ｓ２２では、プロセッサ１０１は、接近発信プログラム１１２ｃの終了条件を確認し、終了条件を満たしていない場合（Ｓ２２：ＮＯ）は、Ｓ１１の前に戻り、障害物の発見を待機する。
　Ｓ２２で、接近発信プログラム１１２ｃの終了条件を満たしている場合（Ｓ２２：ＹＥＳ）、Ｓ２３でプログラムを終了する。
　図７Ａ、図７Ｂは、二段階の接近情報に対応したスマートフォンの表示画面である。
　図７Ａの表示画面３５は、外部人物が接近警戒エリアに入った結果、接近警戒エリア（第一のクライテリアＲ１＞Ｒ＞第二のクライテリアＲ２）で情報端末４に表示される画面例である。表示画面３５は、一例として、日付表示３６、時計表示３７、アプリアイコン３８、検索用の窓３９、及び接近警戒通知４０を含む。表示画面３５は、いわゆるホーム画面であって、アプリアイコン３８のいずれかを選択して、任意のアプリを立ち上げる前の状態である。
　このとき、情報端末４が接近警戒情報を受信すると、基本動作プログラム２１２ａの通知機能を使って、接近警戒通知４０を表示させる。基本動作プログラム２１２ａの通知機能へは、専用のアプリを情報端末４に組み込み、専用アプリ経由で行ってもよいし、ＬＩＮＥ社のＬＩＮＥ　Ｂｅａｃｏｎ（Ｒ）などの既存アプリの機能を使用してもよい。基本動作プログラム２１２ａの通知機能としては、例えばＡｐｐｌｅ社のｉＢｅａｃｏｎ（Ｒ）やＧｏｏｇｌｅ社のＥｄｄｙｓｔｏｎｅ（Ｒ）などが使用可能である。また、接近警戒情報は、図示したメッセージ表示のほか、アラート音声やバイブレーションを利用する方法、およびこれらを組み合わせた方法であってもよい。
　図７Ｂの表示画面３５は、外部人物が接近警戒エリアよりも更にＨＭＤ１のユーザ２に接近し、危険警告エリアに入った結果、危険警告エリア（Ｒ≦第二のクライテリアＲ２）で情報端末４に表示される画面例である。情報端末４は危険警告情報を受信すると、表示画面３５に最も強い文言を用いた危険警告通知４１を表示する。文字のフォントサイズ変更、太字化、色（例えば赤字）の変更を行って表示してもよい。なお、前記したようなアラート音声やバイブレーションを利用する方法では、大きさや、周波数、間隔を変えてもよい。スヌーズ機能を設けてもよい。
　図８は、接近発信プログラム１１２ｃが多段階の接近情報を発信するフローチャートである。図８のフローチャートにおいて、図６で説明したフローチャートと同一の機能を有するステップには、同一番号を付しており、重複する説明は省く。図８のフローチャートでは、Ｒ１＞Ｒ３＞Ｒ２の関係にある第三のクライテリアＲ３が設定されている。
　ＨＭＤ１から外部人物までの距離ＲがＲ１＞Ｒ＞Ｒ２あることを判定した後（Ｓ１７：ＹＥＳ）、さらにＳ２５で、プロセッサ１０１は、距離Ｒを第三のクライテリアＲ３と比較する。距離ＲがＲ１＞Ｒ≧Ｒ３（Ｓ２５：ＮＯ）であれば、Ｓ１９で接近警戒情報を発信し、Ｒ３＞Ｒ＞Ｒ２（Ｓ２５：ＹＥＳ）であれば、Ｓ２６で接近警告情報を発信する。接近警告情報は、接近警戒情報よりも更に強く警告する情報であり、一例として、危険警告エリアへの侵入の可能性が高まっていることを通知する内容でもよい。
　第三のクライテリアＲ３を設けることにより、接近警戒エリアに入った外部人物が接近警戒情報を確認して、ＨＭＤ１のユーザ２に注意を払いながら移動したとき、ＨＭＤ１のユーザ２に更に近づいて第三のクライテリアＲ３よりも更に下回ると、接近警告情報を受け取る。これにより、外部人物に移動がよりユーザのＶＲ試遊領域に接近している方向にあることを気付かせる。図８のフローチャートでは、三段階のクライテリアが設定される場合を示したが、さらに多くのクライテリアを設定してもよい。
　図９Ａ～図９Ｃは、多段階の接近情報に対応したスマートフォンの表示画面である。図７Ａ、図７Ｂに示した接近情報の表示画面と同一の要素については同一の番号を付しており、重複する説明は省く。
　図９Ａは、距離ＲがＲ１＞Ｒ＞Ｒ３の場合であり、表示画面３５としては図７Ａと同一で、接近情報としては接近警戒通知４０が表示されている。
　図９Ｂは、距離ＲがＲ３＞Ｒ＞Ｒ２の場合であり、表示画面３５には、接近警告通知４２が表示される。
　図９Ｃは、距離ＲがＲ２＞Ｒの場合であり、表示画面３５としては図７Ｂと同一で、危険警告通知４１が表示される。図９Ａに対して、図９Ｂ、図９Ｃでは、通知レベルを上げたことを知らせるために、文字のフォントサイズ変更、太字化、色（例えば赤字）の変更を行って表示してもよい。なお、前記したようなアラート音声やバイブレーションを利用する方法では、大きさや、周波数、間隔を変ええてもよい。スヌーズ機能を設けてもよい。
　図１０は、ユーザの移動等を考慮した接近情報を発信するフローチャートである。図１０のフローチャートにおいて、図６で説明したフローチャートと同一の機能を有するステップには、同一番号を付しており、重複する説明は省く。
　図１０のフローチャートでは、図６のフローチャートに対して、ステップＳ３０とＳ３１が加わる。
　Ｓ３０では、プロセッサ１０１は、ユーザの移動等情報Ｄを取得する。移動等情報Ｄとしては、ＶＲコンテンツを視聴しているライブのユーザの動きの程度、あるいは過去同じＶＲコンテンツを視聴したときのユーザの動き履歴から得る動きの程度である。また同一、あるいは同種のコンテンツを視聴した他のユーザの動き履歴情報も用いてもよい。ユーザの動き履歴は、ＨＭＤ本体に格納している場合もあるが、ＶＲコンテンツサービスサーバ等の外部機器に格納しているものを使うようにすれば、ユーザの動き履歴のデータ量は多くてもよい。この動きの程度は、例えば移動量の頻度マップの標準偏差値としてもよい。さらには、ユーザの動きの頻度や速度、加速度を併用して、重みづけしてもよい。
　Ｓ３１では、プロセッサ１０１は、ユーザの移動等情報Ｄに係数ｋを乗じて距離Ｒから減じ、距離Ｒを置き換えて、動きの激しいほど接近警戒情報が発信されやすくする。例えば、ユーザが視聴しているコンテンツが、スポーツや格闘系のコンテンツである場合は、コンサートや映画などのコンテンツを視聴している際に比べて、動きの程度（頻度や量）は大きくなる。このようにコンテンツ情報から、係数ｋを求めてもよい。また、ユーザの動き履歴情報から、ユーザの存在確率を基に、係数ｋを求めてもよい。存在確率の高い場所では、その場所で集中的に動いていることを示唆している。
　図１１は、外部人物のリクエストに応じ、接近情報を発信するフローチャートである。図１１のフローチャートにおいて、図６で説明したフローチャートと同一の機能を有するステップには、同一番号を付しており、重複する説明は省く。
　図１１のフローチャートでは、図６のフローチャートに対して、ステップＳ３５とＳ３６が加わる。
　Ｓ１５で、ＨＭＤ１がＢｅａｃｏｍ信号の応答を受信し接続が確立した後で、Ｓ３５で、外部人物の携行する情報端末４から接近情報の要求がある場合（Ｓ３５：ＹＥＳ）、Ｓ３６で現時点での外部人物の位置における接近情報を発信する。接近情報としては、外部人物とユーザとの現時点における距離Ｒに応じて、Ｒ＞Ｒ１であれば「安全領域にいます。」、Ｒ＜Ｒ１であれば「ＨＭＤユーザに接近しています。」という位置情報に関するものである。また発信する情報は、テキストメッセージであってもよく、あるいは図１２で説明するマップ情報であってもよい。また設定画面などにおいて、外部人物からの要求があった場合のみ、接近情報を発信し、接近警戒情報、危険警告情報の発信は行わないように設定されていてもよいし、それぞれを独立に発信のＯＮ／ＯＦＦを設定してもよい。
　図１２Ａ、図１２Ｂは、周辺マップを接近情報とするスマートフォンの表示画面である。図１１のフローチャートで説明した、リクエストへの接近情報として用いることが可能であるが、これに限定はされない。接近警戒情報発信（Ｓ１９）、危険警告情報発信（Ｓ２１）で使用してもよい。
　図１２Ａの表示画面３３の全面に、マップ表示４５が行われる。マップ表示４５は、ＨＭＤ１のユーザ２、ソファや電気スタンドなどの現実物体、外部人物３の現在地が記され、さらに半径Ｒ１の接近警戒エリア、半径Ｒ２の危険警告エリアが示されている。外部人物３は自身の位置、および現実物体の位置がどの程度ユーザ２から離れているのかを把握でき、外部人物３は自身の移動の参考にすることができる。図示したマップ情報は、ユーザ２を中心として描画しているが、外部人物３を中心としたマップ情報であってもよい。あるいは、部屋などを基準とした世界座標系のマップ情報であってもよい。
　図１２Ｂは、接近警戒情報表示とマップ表示を併用した例である。このように文字による通知とマップによる位置関係を合わせて表示してもよい。また、接近警戒情報は、図示したメッセージ表示のほか、アラート音声やバイブレーションを利用する方法、およびこれらを組み合わせた方法であってもよい。
　以上説明したように、第一の実施形態のヘッドマウントディスプレイによれば、人通りのあるところにおいて、ユーザ２がＶＲコンテンツを視聴しているときに、外部人物３に近接警戒等の接近情報を伝達することによって、外部人物３に対して注意を促すことにより、ユーザ２がＶＲコンテンツの視聴を妨げられることが少なくなり、さらにユーザ２と外部人物３の接触を防ぐことが可能となる。これにより、障害物が外部人物３であって、外部人物３がスマートフォンなどの情報端末４を携行する場合に、外部人物３に接近情報を伝達することによって、家族の往来があるリビングのような人通りのあるところにおいて、ユーザ２がＶＲコンテンツの視聴を妨げられることが少なくなり、ユーザ２と障害物の接触を防ぐことが可能となる装着可能な情報表示端末を提供することができる。
［第二の実施形態］
　図１３と図１４を参照して、第二の実施形態を説明する。図１３は、プレイエリアに対応したユーザと外部人物との関係の俯瞰図である。図１４にて、図３に示したユーザと外部人物との関係図と同一機能を有する要素については同一番号を付与しており、重複する説明は省く。
　図１３に示すプレイエリア５０は、カメラ撮影画像や測距センサ画像から、現実空間の３次元マップを作成し、現実空間内の電気スタンド８、ソファ９といった現実物体を避けて、ＶＲコンテンツの視聴が可能な、すなわちＶＲコンテンツの視聴が中断されない領域として設定する。プレイエリア５０は、カメラ撮影画像や測距センサ画像から作成されたものを、ユーザが確認した後に設定され、ユーザが手動で、一部または全部の領域を変更してもよい。
　図１４は、プレイエリア５０に対応して、接近発信プログラム１１２ｃが外部人物３への接近情報を発信するフローチャートである。図６に示したフローチャートと同一のステップには同一番号を付与しており、重複する説明を省く。
　Ｓ１０で処理を開始後、Ｓ４０で、プロセッサ１０１は、プレイエリア５０を設定し、Ｓ４１でユーザ２の位置Ｕを算出する。Ｓ４２で、ユーザ２の位置Ｕがプレイエリア５０内にあるかを判定し、プレイエリア５０内（Ｓ４２：ＹＥＳ）の場合、Ｓ１１で障害物を検知し、Ｓ４３で障害物の位置Ｐと距離Ｒを求める。Ｓ１０の開始は、システム側で自動的に起動するように設定されていてもよいし、ユーザ自身で接近発信プログラム１１２ｃを行うかどうかを設定してもよい。外部人物の接近が明らかにない場合などに、接近発信プログラム１１２ｃをＯＦＦにすることでプロセッサの処理負担を低減し、消費電力の削減を図ることができる。さらには、接近発信プログラム１１２ｃがＯＦＦの状態においても、接近警戒エリア、あるいは危険警告エリアなどあらかじめ設定されたエリアに外部人物が進入した場合、自動的に起動するように設定されていてもよい。
　Ｓ４２で、ユーザ２の位置Ｕがプレイエリア５０の外である場合（Ｓ４２：ＮＯ）、Ｓ２０で、ＶＲ視聴プログラム１１２ｂに対して、危険警告情報を発信し、衝突回避警告をユーザ２に向け表示すること、あるいはＶＲコンテンツを中断することを促す。
　さらに、Ｓ４４では外部人物３の位置Ｐとプレイエリア５０との位置関係を判定する。外部人物３の位置Ｐがプレイエリア５０の内側であれば（Ｓ４４：ＹＥＳ）、Ｓ１７の危険警告エリアとの比較に進む。一方、外部人物３の位置Ｐがプレイエリア５０の外側であれば（Ｓ４４：ＮＯ）、Ｓ２２へ進む。
　また図１１のＳ３５と同様に、Ｓ１５の処理後、外部人物３のリクエストがあった場合は、外部人物３がプレイエリア５０の内側にいるか、外側にいるかの情報を発信することで、プレイエリア５０への侵入を未然に防いでもよい。すなわち、図１４のフローチャートにおいて、Ｓ１５とＳ４４の間に、図１１Ｓ３５及びＳ３６を実行してもよい。その後のＳ１７以降は、図６と同様である。またその際には、設定画面などにおいて、外部人物からの要求があった場合のみ、接近情報を発信し、接近警戒情報、危険警告情報の発信は行わないように設定されていてもよいし、それぞれを独立に発信のＯＮ／ＯＦＦを設定してもよい。
　本例では、プレイエリア５０内に危険警告エリア３１のみ設けているが、図６の例のように複数のクライテリアをユーザ２の周囲に設定してもよい。
　以上説明したように、第二の実施形態によれば、第一の実施形態と同様の特徴を有するとともに、コンテンツ内容に応じた広さのユーザが動く可能性のあるプレイエリアを外部人物３の接近判定に用いることができるという特徴がある。これにより、外部人物３がユーザ２の現時点でいる場所のみならず、今後移動する可能性がある場所を知ることができ、永続的な接触の回避を図ることが可能となる。
［第三の実施形態］
　図１５から図２０を参照して、第三の実施形態について説明する。図１５は、区分けされたプレイエリア５０に対応したユーザ２と外部人物３との関係の俯瞰図である。図１５にて、図１３と同一の要素には、同一の番号を付与しており、重複した説明は省く。
　図１５に示すプレイエリア５０は、プロセッサ１０１により、網目状に区分けされている。なお、区分の方法は網目状に限定されず、同心円状や放射状。それらの組み合わせなど別の方法でもよい。プロセッサ１０１は、区分けされた小領域のそれぞれユーザの移動可能性を評価し、移動可能性の低い順に、レベル２エリアＰ２、レベル３エリアＰ３、レベル４エリアＰ４に分類する。そして、プロセッサ１０１は、プレイエリア５０から、レベル２～４エリアを除いた領域を安全性の高い領域であるレベル１エリアＰ１に分類する。
　図１６は、ユーザの移動履歴を用いたプレイエリアの分類例を示す俯瞰図である。ある空間を網目状に区分し、それぞれの区分におけるユーザの移動可能性を評価し、レベル分けを行っている。
　（ａ）は、ユーザの現在位置を示し、（ｂ）は、ユーザ２の移動履歴を線状に追加した例を示している。ユーザ２の移動履歴としては、ＶＲコンテンツをライブで視聴している時の移動履歴や、過去の同一内容のＶＲコンテンツを視聴した時の移動履歴のいずれか、あるいは両方を用いてもよい。さらに、同一ＶＲコンテンツを視聴した他のユーザの移動履歴を参照してもよい。
　（ｃ）は、（ａ）に基づいて、現在位置でのユーザ２の動きの可能性を評価した例を示す。現在位置でのユーザ２の位置に対して、前方、左右方向の区分けされた領域で移動可能性大と評価し、その周辺の領域では、移動可能性中と評価する。
　（ｄ）は、（ｂ）に基づいて、移動履歴から危険度を評価した例を示す。過去の移動履歴から領域毎の移動頻度を評価し、移動頻度の高い領域で移動可能性中と、移動頻度の低い領域を移動可能性小と評価している。
　（ｅ）は、（ｃ）と（ｄ）の評価結果を合わせて表示した例を示す。接近移動可能性の低い順から、プレイエリア５０の部分領域のレベル１エリアＰ１、レベル２エリアＰ２、レベル３エリアＰ３、レベル４エリアＰ４に分類する。
　図１７は、ユーザの移動予測を用いたプレイエリアの分類例を示す俯瞰図である。ある空間を網目状に区分し、それぞれの区分におけるユーザの移動可能性を評価し、レベル分けを行っている。
　（ａ）は、ユーザ２の現在位置を示し、（ｂ）は、ユーザ２の次の時刻での予想される移動の例を示している。（ｂ）の例では、ユーザ２の次の行動として右前方に一歩踏み出し、右に９０度回転している。移動の予測は、ＶＲコンテンツの内容を評価し、ユーザの注目している仮想物体の次の動きに、ユーザが追随すると考えてもよい。例えばＲＰＧゲーム（ＲＰＧ：Ｒｏｌｅ　Ｐｌａｙｉｎｇ　Ｇａｍｅ）において、ユーザ２の右側からモンスタが現れるようなシーンでは、ユーザ２はモンスタと正対して戦うために、右方向に向きを変える行動を取ることが予測される。このように、ユーザはコンテンツのシナリオにより、行動を制限されるため、次の行動を予測することが可能となる。更に、ＶＲコンテンツ内でのコンテンツ進行状況やコンテンツの種別（運動系のコンテンツや映画視聴のコンテンツなど）による情報などから移動の予測を行ってもよい。また前述したように、ユーザ２自身や他ユーザの同一コンテンツ視聴時の動き履歴を用いてもよい。さらに移動予測として、ＨＭＤのセンサ情報を利用してもよい。
　（ｃ）は、（ａ）に基づいて、現在位置でのユーザ２の動きの可能性を評価した例を示す。現在位置でのユーザ２の位置に対して、前方、左右方向の区分けされた領域で移動可能性大と評価し、その周辺の領域では、移動可能性小と評価する。
　（ｄ）は、（ｂ）に基づいて、移動後の予測から危険度を評価した例を示す。これからの移動予測から各領域毎の移動可能性を評価し、移動後のユーザ２の位置、向きに応じて、移動可能性大の領域と移動可能性中の領域を評価している。
　（ｅ）は、（ｃ）と（ｄ）の評価結果を合わせて表示した例を示す。接近移動可能性の低い順から、プレイエリア５０の部分領域のレベル１エリアＰ１、レベル２エリアＰ２、レベル３エリアＰ３、レベル４エリアＰ４に分類する。
　移動可能性評価の方法は、図１６や図１７の方法は一例として示したものであり、さらに、図１６と図１７のいずれでもよいし、組み合わせた方法でもよい。また図１６や図１７で説明した以外の方法であってもよく、ユーザからの距離情報やユーザの向きにより、移動可能性を評価してもよい。さらに、プレイエリア５０の区分け方法としては、図１５に示した方法以外で、区分けの程度をさらに細かくする設定する方法でも、あるいは網目以外の区分け方法でもよい。なお、プレイエリア５０の評価は逐次、または一定時間毎に行い、プレイエリアの評価結果による分類も変化する。
　図１８Ａは、区分けされたプレイエリアに対応した接近情報を発信するフローチャートである。より詳しくは、区分けされたプレイエリアに対応して、接近発信プログラム１１２ｃが外部人物３への情報として、ユーザの移動可能性に基づいた接近危険情報を発信するフローチャートである。図１６に示したフローチャートと同一のステップには同一番号を付与しており、重複した説明は省く。ユーザの移動可能性に基づいた接近危険情報は、必ずしも接近していなくても、接近する恐れがあることに基づく情報である。
　Ｓ４２で、ユーザ２がプレイエリア５０の内にいることをプロセッサ１０１が確認すると（Ｓ４２:ＹＥＳ）、Ｓ４５で区分けした全域のプレイエリア５０内の小領域に対して、ユーザの移動可能性を評価し、Ｓ４６で、レベル２エリアＰ２からレベル４エリアＰ４を設定する。プレイエリア５０の内、レベル２エリアＰ２からレベル４エリアＰ４のいずれにも該当しないエリアはレベル１エリアＰ１として設定する。
　Ｓ４４で、外部人物３の位置Ｐがプレイエリア５０内に存在し（Ｓ４４：ＹＥＳ）、さらに、Ｓ４８で外部人物３の位置Ｐがレベル４エリアＰ４の外にあること（Ｓ４８:ＹＥＳ）をプロセッサ１０１が判定した後、Ｓ４９で外部人物３の位置Ｐがレベル３エリアＰ３内にいるとプロセッサ１０１が判定すると（Ｓ４９:ＹＥＳ）、Ｓ５２で強い接近警告である警告度２の情報を発信する。その後Ｓ２２へ進む。
　Ｓ４９で、外部人物３の位置Ｐがレベル３エリアＰ３外にいて（Ｓ４９:ＮＯ）、さらに、Ｓ５０で、外部人物３の位置Ｐがレベル２エリアＰ２内にいるとプロセッサ１０１が判定すると（Ｓ５０：ＹＥＳ）、Ｓ５１で弱い接近警告である警告度１の情報を発信する。その後Ｓ２２へ進む。
　Ｓ５０で、外部人物３の位置Ｐがレベル２エリアＰ２内にいないとプロセッサ１０１が判定すると（Ｓ５０：ＮＯ）、外部人物３の位置Ｐがレベル１エリアＰ１内にいると判定できるので、Ｓ１９で接近警戒情報を発信する。その後Ｓ２２へ進む。
　一方、Ｓ４８で、外部人物３の位置Ｐがレベル４エリアＰ４内にいるとプロセッサ１０１が判定すると（Ｓ４８：ＮＯ）、Ｓ２１で外部人物３が情報端末４を携行していてＢｅａｃｏｎ信号に応答していること、かつ外部人物３がレベル４エリアＰ４内にいることから、接近警戒情報よりもより強い文言で危険警告情報を情報端末４に向けて発信する。文字のフォントサイズ変更、太字化、色（例えば赤字）の変更を行って表示してもよい。更にＳ２０でＶＲ視聴プログラム１１２ｂに対して危険警告情報を発信し、衝突回避警告をユーザに向け表示すること、あるいはＶＲコンテンツを中断することを促す。Ｓ４２で、ユーザ２がプレイエリア５０の外にいることをプロセッサ１０１が確認した際も（Ｓ４２:ＮＯ）、上記と同様、Ｓ２０で危険警告情報を発信する。
　Ｓ１３で障害物が人物ではないとプロセッサ１０１が判定した場合（Ｓ１３：ＮＯ）、Ｓ１５で、応答を受信しないとプロセッサ１０１が判定した場合（Ｓ１５：ＮＯ）は、Ｓ４７へ進む。
　Ｓ４７で、障害物又は外部人物３の位置Ｐが、プレイエリア５０内にあると判断すると（Ｓ４７：ＮＯ）、Ｓ２０でＶＲ視聴プログラム２１２ｂに警告を発信し、Ｓ２２へ進む。Ｓ４７で、障害物又は外部人物３の位置Ｐが、プレイエリア５０内にないと判定した場合（Ｓ４７：ＹＥＳ）、Ｓ２２へ進む。
　Ｓ１１で障害物がないとプロセッサ１０１が判定した場合（Ｓ１１：ＮＯ）、又はＳ４４で外部人物３の位置Ｐが、プレイエリア５０内にないと判定した場合（Ｓ４４：ＮＯ）は、Ｓ２２へ進む。
　図１８Ｂは、図１８Ａにおいて、外部人物３からの要求に応じてプレイエリア５０の情報を発信する例を示すフローチャートである。
　外部人物３からは、プレイエリア５０が確認できないため、意図とは関係なくプレイエリア５０へ侵入してしまう場合がある。そこで外部人物３が、ＨＭＤ１のユーザ２を視認した際に、Ｓ３５でＨＭＤ１へプレイエリア５０への接近情報の要求を行い、ＨＭＤ１が要求を受信すると（Ｓ３５：ＹＥＳ）、Ｓ５３でプレイエリア５０への接近情報を外部人物３の情報端末４に向けて発信する。一方、Ｓ３５で、ＨＭＤ１が要求を受信しなければ（Ｓ３５：ＮＯ）、Ｓ２２へ進む。
　これにより、外部人物３は、プレイエリア５０へ侵入する前に、現在位置がプレイエリア５０内かを確認することが可能となる。本例では、ＨＭＤ１側で外部人物３の位置判定後、外部人物３からの要求を受信しているが、外部人物３からの要求を受信後に、外部人物３の位置Ｐを判定してもよい。また設定画面などにおいて、外部人物からの要求があった場合のみ、プレイエリア接近情報を発信し、危険警告情報や接近警戒情報発信、警告度１情報発信、警告度２情報発信は行わないように設定されていてもよいし、それぞれを独立に発信のＯＮ／ＯＦＦを設定してもよい。
　図１９Ａ～図１９Ｄは、区分けされたプレイエリアに対応した接近情報に対応したスマートフォンの表示画面である。図９Ａ～図９Ｃに示した接近情報の表示画面と同一の要素については同一の番号を付しており、重複する説明は省く。
　図１９Ａは、外部人物３の位置Ｐがプレイエリア５０の部分領域のレベル１エリアＰ１にいる場合であり、接近情報としては弱い表現である「現在は安全なエリアです。」というような接近警戒通知５５が表示されている。
　図１９Ｂは、外部人物３の位置Ｐがレベル２エリアＰ２にいる場合であり、接近情報としては「警告レベル１です。」というような警告度１の接近警告通知５６が表示されている。
　図１９Ｃは、外部人物３の位置Ｐがレベル３エリアＰ３にいる場合であり、接近情報としては「警告レベル２です。」というような警告度２の接近警告通知５７が表示されている。
　図１９Ｄは、外部人物３の位置Ｐがレベル４エリアＰ４にいる場合であり、危険警告通知４１が表示されている。
　図１９Ｅは、外部人物３の位置Ｐがプレイエリア５０の外側にいる場合であり、プレイエリア５０に侵入しておらず、危険がないことを示すプレイエリア接近情報通知５８が表示されている。
　なお、前述したように、文字のフォントサイズ変更、太字化、色（例えば赤字）の変更を行って表示してもよいし、アラート音声、バイブレーションを用いてもよい。
　図２０Ａ～図２０Ｄは、区分けされプレイエリアに対応たした周辺マップを接近情報とするスマートフォンの表示画面を示す図である。図１８には図示されていないが、外部人物３のリクエストへの応答として、プレイエリア５０へ侵入しているかの確認情報や、ＨＭＤ１のユーザ２との接近情報として用いることが可能であるが、これに限定はされない。危険警告情報や接近警戒情報発信、警告度１情報発信、警告度２情報発信の際に使用してもよい。
　図２０Ａの表示画面３３の全面に、プレイエリア５０が設定された室内のマップ表示４５が行われる。マップ表示４５は、図１５で説明したプレイエリア５０及びレベル１エリアＰ１、レベル２エリアＰ２、レベル３エリアＰ３、レベル４エリアＰ４、電気スタンド８、ソファ９、ユーザ２の位置Ｕ、及び外部人物３の現在地である位置Ｐが表示される。外部人物３は自身の位置Ｐを確認し、どの領域で接近移動可能性が高いのかを把握でき、自身の移動の参考にすることができる。なお前述したように、外部人物３を中心としたマップ情報でもよい。
　図２０Ｂは、接近警戒通知４０とマップ表示４５を併用した例である。このように文字による通知とマップによる位置関係を合わせて表示してもよい。また、接近警戒情報は、図示したメッセージ表示のほか、アラート音声やバイブレーションを利用する方法、およびこれらを組み合わせた方法であってもよい。
　図２０Ｃは、接近警戒通知４０とマップ表示４５を併用した例である。この例では、外部人物３はプレイエリア５０外に存在しており、プレイエリア５０へ自身が侵入しているかの確認が可能となり、未然にプレイエリア５０への侵入を防ぐことができる。また事前にプレイエリア５０の位置関係を把握することで、外部人物３が接触を防ぐ行動を取ることが可能となる。
　図２０Ｄは、プレイエリア５０へ侵入する前には、プレイエリア５０内の移動可能性に基づくエリア内の区分けを表示しない例である。プレイエリア５０へ侵入する前には、接触の危険性が無いため、プレイエリア５０内での移動可能性を表示する必要性が低いと考えられる。プレイエリア５０へ侵入していない場合は、プレイエリア５０の位置関係を表示するだけでもよい。
　以上説明したように、第三の実施形態のヘッドマウントディスプレイによれば、第一と第二の実施形態と同様の特徴を有するとともに、プレイエリア内の分類した接近移動可能性を用い、段階的な接近警告情報の発信が可能となる。
　上記で説明した本発明の実施形態は、これらに限られるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
　例えば図６、図８、及び図１０のフローチャートの処理の任意の組み合わせを並列して実行してもよい。あるいはフローチャートの一部を省略して、実行してもよい。
　また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。
　上記実施形態は、以下の発明を含む。
（付記１）
　ユーザに装着可能であり、仮想現実コンテンツを再生する情報表示端末であって、
　測距センサと、
　カメラと、
　ディスプレイと、
　通信インタフェースと、
　プロセッサと、
　を備え、
　前記測距センサは、障害物との距離を検知し、
　前記プロセッサは、
　　前記カメラが取得した画像から、前記障害物が人物であることを検知した場合、前記通信インタフェースから前記人物が有する情報端末へ前記ユーザと前記人物との干渉を回避するための第１の情報を発信するか否かを、前記測距センサが検知した距離に基づいて、切り替える
　ことを特徴とする情報表示端末。
（付記２）
　ヘッドマウントディスプレイであって、
　仮想現実コンテンツの視聴が可能なプレイエリアを設定する処理と、
　ユーザに仮想現実コンテンツの視聴をさせる処理と、
　ユーザとユーザ以外の人物の接近を検知し、接近情報を発信する処理と、を有し、
　　ユーザとユーザ以外の人物の接近を発信する処理は、前記プレイエリア内において、ユーザとユーザ以外の人物の距離に応じて、ユーザとユーザ以外の人物の両方への発信と、片方への発信を切り替える、
　ことを特徴とするヘッドマウントディスプレイ。
（付記３）
　ヘッドマウントディスプレイであって、
　仮想現実コンテンツの視聴が可能なプレイエリアを設定する処理と、
　ユーザに仮想現実コンテンツの視聴をさせる処理と、
　ユーザとユーザ以外の人物の接近を検知し、接近情報を発信する処理と、を有し、
　　ユーザとユーザ以外の人物の接近を発信する処理は、前記プレイエリア内を複数の領域に分割し、領域毎にユーザの移動可能性を評価し、移動可能性の程度が同じ小領域の集合を分類する処理と、前記プレイエリア内において、ユーザ以外の人物の存在する領域の分類に応じて、ユーザとユーザ以外の人物の両方への発信と、片方への発信を切り替える、
　ことを特徴とするヘッドマウントディスプレイ。
（付記４）
　ユーザに装着可能であり、仮想現実コンテンツを再生する情報表示端末であって、
　測距センサと、
　ディスプレイと、
　通信インタフェースと、
　プロセッサと、
　を備え、
　前記測距センサは、障害物との距離を検知し、
　前記プロセッサは、
　ユーザ以外の人物からの要求があった際に、前記ユーザと前記人物との干渉を回避するための情報を、前記通信インタフェースから前記人物が有する情報端末へ発信する、
　ことを特徴とする情報表示端末。
１：ＨＭＤ、１ａ：ＨＭＤ、２：ユーザ、４：情報端末、５：アクセスポイント、６：ネットワーク、７：ＶＲサービスサーバ、８：電気スタンド、９：ソファ、１０：スマートフォン、２０：スマートフォンホルダ、２１：ホルダ本体、２２：スマートフォン収容部、２３：外部端子、３０：接近警戒エリア、３１：危険警告エリア、３３：表示画面、３５：表示画面、３６：日付表示、３７：時計表示、３８：アプリアイコン、３９：窓、４０：接近警戒通知、４１：危険警告通知、４２：接近警告通知、４５：マップ表示、５０：プレイエリア、５５：接近警戒通知、５６：接近警告通知、５７：接近警告通知、５８：プレイエリア接近情報通知、１０１：プロセッサ、１０２：バス、１１０：記憶装置、１１１：揮発性メモリ、１１２：不揮発性メモリ、１１２ａ：基本動作プログラム、１１２ｂ：ＶＲ視聴プログラム、１１２ｃ：接近発信プログラム、１２０：入力インタフェース、１２１：ボタンスイッチ、１３０：映像入出力装置、１３１：ディスプレイ、１３１Ｌ：左ディスプレイ、１３１Ｒ：右ディスプレイ、１３２：画像処理信号部、１３３：アウトカメラ、１３３Ｆ：前方アウトカメラ、１３３Ｌ：左アウトカメラ、１３３Ｒ：右アウトカメラ、１４０：音声入出力装置、１４１：スピーカ、１４１Ｌ：左スピーカ、１４１Ｒ：右スピーカ、１４２：音声信号処理部、１４３：マイク、１５０：センサ群、１５１：位置測位センサ、１５２：地磁気センサ、１５３：測距センサ、１５４：加速度センサ、１５５：ジャイロセンサ、１５６：視線検出センサ、１６０：通信インタフェース、１６１：ＬＡＮ通信インタフェース、１６２：近距離無線通信インタフェース、１６３：電話網通信インタフェース、１７１：拡張インタフェース、１７２：タイマ、１９１：装着用筐体、１９２：制御装置、１９３：フレーム、２０１：プロセッサ、２０２：バス、２１０：記憶装置、２１１：揮発性メモリ、２１２：不揮発性メモリ、２１２ａ：基本動作プログラム、２１２ｂ：ＶＲ視聴プログラム、２１２ｃ：接近発信プログラム、２２０：入力インタフェース、２２１：ボタンスイッチ、２２２：タッチセンサ、２３０：映像入出力装置、２３１：ディスプレイ、２３２：画像処理信号部、２３３：アウトカメラ、２３４：インカメラ、２４０：音声入出力装置、２４１：スピーカ、２４２：音声信号処理部、２４３：マイク、２５０：センサ群、２５１：位置測位センサ、２５２：地磁気センサ、２５３：測距センサ、２５４：加速度センサ、２５５：ジャイロセンサ、２５６：視線検出センサ、２６０：通信インタフェース、２６１：無線通信インタフェース、２６２：近距離無線通信インタフェース、２６３：電話網通信インタフェース、２７１：拡張インタフェース、２７２：タイマ

Claims (11)

  1. 　ユーザに装着可能であり、仮想現実コンテンツを再生する情報表示端末であって、
    　測距センサと、
    　カメラと、
    　ディスプレイと、
    　通信インタフェースと、
    　プロセッサと、
    　を備え、
    　前記測距センサは、障害物との距離を検知し、
    　前記プロセッサは、
    　　前記カメラが取得した画像から、前記障害物が人物であることを検知した場合、前記通信インタフェースから前記人物が有する情報端末へ前記ユーザと前記人物との干渉を回避するための第１の情報を発信するか否かを、前記測距センサが検知した距離に基づいて、切り替える
    　ことを特徴とする情報表示端末。
  2. 　請求項１に記載の情報表示端末であって、
    　前記プロセッサは、
    　　前記ディスプレイに前記ユーザと前記人物との干渉を回避するための第２の情報を表示するか否かを、前記測距センサが検知した距離に基づいて、切り替える
    　ことを特徴とする情報表示端末。
  3. 　請求項２に記載の情報表示端末であって、
    　前記プロセッサは、
    　　前記測距センサが検知した距離が、第１の閾値以上の場合、前記第１の情報を、前記通信インタフェースから前記人物が有する情報端末へ発信せず、かつ前記ディスプレイに前記第２の情報を表示せず、
    　　前記測距センサが検知した距離が、前記第１の閾値未満かつ前記第１の閾値より小さい第２の閾値以上の場合、前記第１の情報を、前記通信インタフェースから前記人物が有する情報端末へ発信し、前記ディスプレイに前記第２の情報を表示せず、
    　　前記測距センサが検知した距離が前記第２の閾値以下の場合、前記通信インタフェースから前記人物が有する情報端末へ発信し、前記ディスプレイに前記第２の情報を表示する、
    　ことを特徴とする情報表示端末。
  4. 　請求項１に記載の情報表示端末であって、
    　ユーザとユーザ以外の人物の接近情報を発信する処理は、ユーザ以外の人物のみに発信する際に、ユーザ以外の人物の受信が確認できない場合に、前記情報表示端末へ表示する、
    　ことを特徴とする情報表示端末。
  5. 　請求項１に記載の情報表示端末であって、
    　ユーザとユーザ以外の人物の接近情報を発信する処理は、ユーザ以外の人物からの要求があった際に発信する、
    　ことを特徴とする情報表示端末。
  6. 　請求項５に記載の情報表示端末であって、
    　ユーザとユーザ以外の人物の接近を発信する処理は、ユーザの移動の程度を評価する処理を含み、ユーザの移動の程度が大きいほど検知が行われ易くなるように調整する、
    　ことを特徴とする情報表示端末。
  7. 　ヘッドマウントディスプレイであって、
    　仮想現実コンテンツの視聴が可能なプレイエリアを設定する処理と、
    　ユーザに仮想現実コンテンツの視聴をさせる処理と、
    　ユーザとユーザ以外の人物の接近を検知し、接近情報を発信する処理と、を有し、
    　　ユーザとユーザ以外の人物の接近を発信する処理は、前記プレイエリア内において、ユーザとユーザ以外の人物の距離に応じて、ユーザとユーザ以外の人物の両方への発信と、片方への発信を切り替える、
    　ことを特徴とするヘッドマウントディスプレイ。
  8. 　ヘッドマウントディスプレイであって、
    　仮想現実コンテンツの視聴が可能なプレイエリアを設定する処理と、
    　ユーザに仮想現実コンテンツの視聴をさせる処理と、
    　ユーザとユーザ以外の人物の接近を検知し、接近情報を発信する処理と、を有し、
    　　ユーザとユーザ以外の人物の接近を発信する処理は、前記プレイエリア内を複数の領域に分割し、領域毎にユーザの移動可能性を評価し、移動可能性の程度が同じ小領域の集合を分類する処理と、前記プレイエリア内において、ユーザ以外の人物の存在する領域の分類に応じて、ユーザとユーザ以外の人物の両方への発信と、片方への発信を切り替える、
    　ことを特徴とするヘッドマウントディスプレイ。
  9. 　請求項８に記載のヘッドマウントディスプレイであって、
    　前記ユーザの移動可能性は、ユーザの移動履歴に基づいて評価する、
    　ことを特徴とするヘッドマウントディスプレイ。
  10. 　請求項８に記載のヘッドマウントディスプレイであって、
    　前記ユーザの移動可能性は、ユーザが視聴している仮想現実コンテンツに基づいて評価する、
    　ことを特徴とするヘッドマウントディスプレイ。
  11. 　ユーザに装着可能であり、仮想現実コンテンツを再生する情報表示端末であって、
    　測距センサと、
    　ディスプレイと、
    　通信インタフェースと、
    　プロセッサと、
    　を備え、
    　前記測距センサは、障害物との距離を検知し、
    　前記プロセッサは、
    　ユーザ以外の人物からの要求があった際に、前記ユーザと前記人物との干渉を回避するための情報を、前記通信インタフェースから前記人物が有する情報端末へ発信する、
    　ことを特徴とする情報表示端末。
PCT/JP2024/016062 2024-04-24 2024-04-24 情報表示端末及びヘッドマウントディスプレイ Pending WO2025224876A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016062 WO2025224876A1 (ja) 2024-04-24 2024-04-24 情報表示端末及びヘッドマウントディスプレイ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016062 WO2025224876A1 (ja) 2024-04-24 2024-04-24 情報表示端末及びヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
WO2025224876A1 true WO2025224876A1 (ja) 2025-10-30

Family

ID=97489689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/016062 Pending WO2025224876A1 (ja) 2024-04-24 2024-04-24 情報表示端末及びヘッドマウントディスプレイ

Country Status (1)

Country Link
WO (1) WO2025224876A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
US20180033306A1 (en) * 2015-12-02 2018-02-01 Lg Electronics Inc. Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
US20180040212A1 (en) * 2016-05-18 2018-02-08 Arima Communications Corp. Threat warning system adapted to a virtual reality display system and method thereof
WO2019038875A1 (ja) * 2017-08-24 2019-02-28 マクセル株式会社 ヘッドマウントディスプレイ
JP2020190852A (ja) * 2019-05-20 2020-11-26 パナソニックＩｐマネジメント株式会社 歩行者装置および交通安全支援方法
JP2022532825A (ja) * 2019-05-20 2022-07-20 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー ヘッドマウントディスプレイに対する動的な障害物衝突警告を生成するシステムおよび方法
JP2023520968A (ja) * 2020-04-09 2023-05-23 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 人工現実中にいる間に定義された空間の境界内のオブジェクトを検出するためのシステムおよび方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
US20180033306A1 (en) * 2015-12-02 2018-02-01 Lg Electronics Inc. Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
US20180040212A1 (en) * 2016-05-18 2018-02-08 Arima Communications Corp. Threat warning system adapted to a virtual reality display system and method thereof
WO2019038875A1 (ja) * 2017-08-24 2019-02-28 マクセル株式会社 ヘッドマウントディスプレイ
JP2020190852A (ja) * 2019-05-20 2020-11-26 パナソニックＩｐマネジメント株式会社 歩行者装置および交通安全支援方法
JP2022532825A (ja) * 2019-05-20 2022-07-20 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー ヘッドマウントディスプレイに対する動的な障害物衝突警告を生成するシステムおよび方法
JP2023520968A (ja) * 2020-04-09 2023-05-23 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 人工現実中にいる間に定義された空間の境界内のオブジェクトを検出するためのシステムおよび方法

Similar Documents

Publication Publication Date Title
US12401741B2 (en) Server, client terminal, control method, and storage medium
CN105474302B (zh) 头戴显示设备和图像显示方法
US7142231B2 (en) Method and apparatus for improved handset multi-tasking, including pattern recognition and augmentation of camera images
US11487354B2 (en) Information processing apparatus, information processing method, and program
RU2644265C2 (ru) Устройство отображения изображения и устройство для ввода информации
EP2395420B1 (en) Information display device and information display method
KR20210063928A (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN105051653B (zh) 信息处理装置、通知状态控制方法以及程序
CN115066721B (zh) 头戴式显示器装置
US11327317B2 (en) Information processing apparatus and information processing method
KR20170051136A (ko) 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치
JP2018005005A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024073526A (ja) ヘッドマウント情報処理装置
US20200135139A1 (en) Display system, device, program, and method of controlling device
KR20180052501A (ko) 디스플레이 장치 및 그 동작 방법
JP2026053522A (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法
EP4602449A1 (en) A computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved human perception in xr systems
CN118118776A (zh) 疲劳感知方法、设备及存储介质
US20200045240A1 (en) Hood with Multiple Cameras
EP4575736A1 (en) Display method while wearing head mounted display (hmd) device, and device therefor
KR20160027813A (ko) 글래스형 단말기
WO2024147194A1 (ja) 情報処理装置および情報処理方法
JP2017126021A (ja) 情報表示システムおよび情報表示方法
KR20240031830A (ko) HMD(head mounted display) 장치를 착용 중, 디스플레이 방법 및 그 장치
JP2022158241A (ja) 視覚支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24936995

Country of ref document: EP

Kind code of ref document: A1