WO2025182014A1 - 情報表示装置、情報表示システム、及び情報表示装置の表示制御方法 - Google Patents

情報表示装置、情報表示システム、及び情報表示装置の表示制御方法

Info

Publication number
WO2025182014A1
WO2025182014A1 PCT/JP2024/007560 JP2024007560W WO2025182014A1 WO 2025182014 A1 WO2025182014 A1 WO 2025182014A1 JP 2024007560 W JP2024007560 W JP 2024007560W WO 2025182014 A1 WO2025182014 A1 WO 2025182014A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
information display
information
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/007560
Other languages
English (en)
French (fr)
Inventor
和彦 吉澤
望 下田
康彦 國井
展明 甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to PCT/JP2024/007560 priority Critical patent/WO2025182014A1/ja
Publication of WO2025182014A1 publication Critical patent/WO2025182014A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present invention relates to an information display device, an information display system, and a display control method for an information display device.
  • Patent Document 1 discloses a head-mounted display comprising: "a display unit that projects image light onto the observer's eyes to display an image corresponding to the image light; a fatigue detection unit that detects the degree of eye fatigue of the observer while the display unit is displaying an image; and a control unit that, based on the detection result of the fatigue detection unit, reduces the display area of the image displayed by the display unit, and allocates the remaining area of the display area of the display unit excluding the displayed image as a display area reduction area encouraging the observer to take a break, thereby displaying a warning message (abstract excerpt)."
  • Patent document 2 also states, "The viewing determination unit of the video display device determines whether or not the observer is viewing the video provided by the display optical system based on the detection results of the line-of-sight detection sensor. If the viewing determination unit determines that the observer is viewing the video, the evaluation value calculation unit measures the time the observer has viewed the video, calculates an evaluation value according to the length of viewing time, and accumulates the evaluation value each time the video is viewed. The warning control unit causes the warning unit to warn the observer when the accumulated value of the evaluation values obtained by the evaluation value calculation unit exceeds a threshold value (summary excerpt)."
  • VR-HMDs (occluded HMDs, VR: Virtual Reality, HMD: Head Mounted Display) used for games and other applications are shaped like goggles that cover the area around the wearer's (user's) eyes. This allows the user wearing the VR-HMD to be shielded from the outside world and display virtual reality images on a display in front of their eyes, making it easier for them to immerse themselves in the virtual world.
  • VR-HMDs may be used excessively by minors, who have particularly low levels of self-control, and there is currently a social situation in which there is discussion about the need to restrict the use of VR-HMDs by minors.
  • Patent Documents 1 and 2 could be applied to VR-HMDs, but because both of these documents relate to open-type glasses-type HMDs, there is a need for usage restrictions that are appropriate for VR-HMDs, which do not allow the user to see the outside world.
  • the present invention was made in consideration of the above situation, and aims to provide technology that can appropriately restrict the use of immersive head-mounted information display devices.
  • the present invention has the configuration described in the claims.
  • the present invention provides technology that can appropriately restrict the use of an immersive head-mounted information display device. Issues, configurations, and advantages other than those described above will become clear from the description of the following embodiments.
  • FIG. 1 is a hardware configuration diagram of an information display device according to an embodiment of the present invention.
  • FIG. 2 is a top view showing a state in which the information display device is worn by a user.
  • FIG. 2 is a front view showing a state in which a user wears the information display device.
  • FIG. 2 is a left side view showing a state in which the information display device is worn by a user.
  • FIG. 2 is a functional block diagram of the information display device.
  • 5 is a flowchart showing a processing flow in a normal operating state of the information display device according to the first embodiment.
  • FIG. 4 is a conceptual diagram of an operation in a normal operating state according to the first embodiment.
  • FIG. 10 is a diagram showing an example of a screen display displayed in a normal operating state.
  • FIG. 10 is a diagram showing an example of a screen display displayed in a normal operating state.
  • FIG. 10 is a diagram showing an example of a screen display displayed in a normal operating state.
  • FIG. 10 is a diagram showing the screen state when the screen display is off. 6 is a flowchart showing a processing flow in a standby state according to the first embodiment.
  • 10 is a flowchart showing a flow of processing in a normal operating state according to the second embodiment.
  • FIG. 10 is a conceptual diagram of a normal operation according to the second embodiment.
  • FIG. 10 is a diagram showing an example of a screen display displayed in a normal operating state.
  • FIG. 10 is a system configuration diagram of an information display system according to a third embodiment.
  • FIG. 11 is a hardware configuration diagram of a mobile terminal device according to a third embodiment.
  • FIG. 2 is a functional block diagram of the mobile terminal device.
  • FIG. 11 is a sequence diagram showing an operation sequence during use of the information display device in the third embodiment.
  • 10 is a flowchart showing details of a process for generating display control information of an information display device.
  • 11 is a flowchart showing a processing flow in a standby state according to the third embodiment.
  • FIG. 10 is an operational sequence diagram relating to a forced disable process.
  • FIG. 10 is a diagram showing an example of an operation control screen.
  • FIG. 10 is a diagram showing an example of an operation control screen.
  • FIG. 10 is a diagram showing an example of a screen display during forced disable processing.
  • FIG. 10 is a diagram showing an example of a screen display during forced disable processing.
  • the information display device and information display system can prevent excessive immersion in a virtual space even when worn on the head and the user cannot see the outside world, thereby improving the convenience of the information display device. Therefore, the present invention can increase the commercial value of information display devices to which the present invention is applied, and is expected to contribute to goal 8.2 of the Sustainable Development Goals (SDGs) advocated by the United Nations (increasing economic productivity through diversification, technological improvement, and innovation, particularly in industries that increase the value of goods and services and in labor-intensive industries).
  • SDGs Sustainable Development Goals
  • FIG. 1 is a diagram showing the hardware configuration of an information display device 100 according to this embodiment.
  • the information display device 100 includes a processor 101 (corresponding to the first processor) using a CPU, MCU, etc., RAM 103, storage 110, an operation input device 120, an image processing unit 130, an audio processing unit 140, a location information acquisition unit 150, a group of sensors 160, a communication interface (I/F) 170 (corresponding to the first communication device), and an expansion I/F 180, which are connected to each other by a bus 102.
  • a processor 101 (corresponding to the first processor) using a CPU, MCU, etc., RAM 103, storage 110, an operation input device 120, an image processing unit 130, an audio processing unit 140, a location information acquisition unit 150, a group of sensors 160, a communication interface (I/F) 170 (corresponding to the first communication device), and an expansion I/F 180, which are connected to each other by a bus 102.
  • Bus 102 is the path for sending and receiving commands and data.
  • Storage 110 is configured using non-volatile storage media such as Flash ROM, EEPROM, SSD, and HDD.
  • non-volatile storage media such as Flash ROM, EEPROM, SSD, and HDD.
  • the operation input device 120 is a user operation I/F and includes operation keys 121 and a touch sensor 122.
  • Operation keys 121 include, for example, switches, a power key, and a volume key.
  • the touch sensor 122 is configured, for example, as a touchpad, and is used to operate the information display device 100, etc. If a separate controller (not shown) is used, the touch sensor 122 may not be necessary.
  • the image processing unit 130 includes a display 131 (corresponding to the first display), an image signal processing unit 132, an outer camera 133, and an inner camera 134.
  • display 131 is a video see-through VR head-mounted display
  • a non-transparent display is used.
  • a transparent display with variable transparency may also be used.
  • the image signal processing unit 132 is configured using, for example, an image (video) signal processor.
  • the outer camera 133 is a camera for capturing images of the surrounding area.
  • the in-camera 134 is a camera for detecting the line of sight.
  • the audio processing unit 140 includes an audio output unit 141, an audio signal processing unit 142, and a microphone 143.
  • the audio output unit 141 includes, for example, a speaker, an audio output terminal, etc.
  • the audio signal processing unit 142 is configured using, for example, an audio signal processor.
  • the location information acquisition unit 150 is a device that detects the current location of the information display device 100, and may be, for example, a GPS sensor, or a so-called VPS system that extracts feature points in space by analyzing the surrounding image captured by the outer camera 133 and acquires relative location information based on the feature points. It may also be a Bluetooth (registered trademark) beacon receiver, etc.
  • the sensor group 160 includes a gyro sensor 161, a geomagnetic sensor 162, an acceleration sensor 163, a wearing sensor 164, and a depth sensor 165.
  • the wearing sensor 164 is a sensor that detects whether the user is wearing the HMD.
  • the depth sensor 165 is a sensor that detects the distance to an object.
  • the communication I/F 170 includes a communication processor.
  • the communication I/F 170 includes a LAN I/F 171 and a BT I/F 172 (BT: BlueTooth (registered trademark)).
  • the expansion I/F 180 is, for example, a USB device connection terminal, and is used for data transmission and reception, charging, etc.
  • the device is also equipped with a timer that holds the current time in the real world.
  • the timer holds a time such as Coordinated Universal Time (UTC) as the current time.
  • UTC Coordinated Universal Time
  • the timer may also be configured as software, or may be configured using an RTC (Real Time Clock).
  • FIG. 2A is a top view showing the state in which user U1 is wearing information display device 100
  • FIG. 2B is a front view showing the state in which user U1 is wearing information display device 100
  • FIG. 2C is a left side view showing the state in which user U1 is wearing information display device 100.
  • Xh, Yh, and Zh are coordinate axes of a coordinate system based on information display device 100, with Xh indicating the left-right direction of information display device 100, Yh indicating the up-down direction of information display device 100, and Zh indicating the front-to-back direction of information display device 100.
  • the information display device 100 is formed in a shape that surrounds the eyes of user U1 above, below, left, and right, blocking the outside world from user U1's field of vision.
  • the left display 131L is disposed inside the housing of the information display device 100 in a position visible to the left eye of user U1.
  • the right display 131R is disposed inside the housing of the information display device 100 in a position visible to the right eye of user U1.
  • the left display 131L and the right display 131R may be collectively referred to as the display 131.
  • a single display 131 may divide the display area and display an image for the left eye and an image for the right eye side by side.
  • a left outer camera 133L, a right outer camera 133R, a left depth sensor 165L, and a right depth sensor 165R are arranged on the outside of the housing of the information display device 100.
  • the left side of the housing of the information display device 100 is provided with a left touch sensor 122L and a left stereo speaker 141L.
  • the right side of the information display device 100 is provided with a right stereo speaker, a monaural microphone, and a charging and wired communication terminal, which is one of the expansion I/F 180.
  • a right touch sensor may be provided on the right side of the information display device 100.
  • the touch sensor may be provided on either the left or right side, or on both sides.
  • the information display device 100 is described as an example of a device in which the display and other components are integrated into the housing, but it may also be a device in which a general-purpose smartphone or the like is inserted into a head-mounted adapter. In this case, the following processes are executed by the internal functions of the general-purpose smartphone or the like.
  • Figure 3 is a functional block diagram of the information display device 100.
  • the storage 110 of the information display device 100 includes a basic operating program 1001 including basic programs such as the OS, an application program 1002 for realizing the functions of the information display device 100 according to this embodiment, and a various data storage area 1009 for storing various operational setting values and various information (video, still images, audio, etc.).
  • a basic operating program 1001 including basic programs such as the OS
  • an application program 1002 for realizing the functions of the information display device 100 according to this embodiment
  • a various data storage area 1009 for storing various operational setting values and various information (video, still images, audio, etc.).
  • RAM 103 includes a basic operation function unit 1101, an attachment status confirmation unit 1111, a timing unit 1112, a display control unit 1113, and a temporary storage area 1199.
  • the basic operation function unit 1101 controls the basic operations of the information display device 100.
  • the wearing status confirmation unit 1111 analyzes the wearing status of the information display device 100 by the user U1 based on the detection results of the wearing sensor 164 and the state of the user U1's eyes captured in the image captured by the in-camera 134, and outputs the result as a wearing flag H.
  • the wearing flag H corresponds to wearing status information.
  • the timing unit 1112 references a timer function (not shown) provided in the information display device 100 and outputs time information t indicating the time that has elapsed when the processor 101 performs a specified process.
  • the time information t corresponds to the actual value measured by the timing unit 112.
  • the display control unit 1113 controls the cumulative usage time T and display enable flag F stored in the various data storage area 1009 based on the operating status of the information display device 100 (normal operating state, standby state, etc.), the attachment flag H, and time information t. It also controls the image information to be displayed on the display 131 based on the display enable flag F and the attachment flag H. It also controls the image information to be displayed on the display 131 based on display control information received from the mobile terminal device 200 via the LAN I/F 171.
  • the cumulative usage time T is either (1) the cumulative value of the time the information display device has been used within a specified period of time, or (2) the cumulative value of the time the information display device has been continuously used.
  • the cumulative usage time T may be the value obtained by accumulating the time the information display device 100 is used between midnight and midnight, for example.
  • the cumulative usage limit threshold may be set to, for example, three hours per day. In this way, if a child uses the information display device 100 for two hours, then stops using the information display device 100, does homework for one hour, and then resumes using the information display device 100, it is possible to limit the use of the information display device 100 to the remaining one hour for the rest of the day.
  • the information display device 100 measures the time during which it is continuously used. Continuous use is defined as an interruption of less than 10 minutes, and timing may continue without being counted as a break.
  • Temporary storage area 1199 is a temporary storage area for various information created or acquired by applications.
  • the basic operation program 1001 and application program 1002 stored in the storage 110 are deployed (loaded) into the RAM 103, and the processor 101 executes them to configure the various functional units of the information display device 100 according to this embodiment, specifically the basic operation function unit 1101, the wearing status confirmation unit 1111, the timing unit 1112, and the display control unit 1113.
  • FIG. 4A is a flowchart showing the flow of processing in the normal operating state of the information display device 100 according to the first embodiment.
  • the basic operation function unit 1101 checks whether the operation input device 120 has received a power-on operation (such as pressing the power key) from user U1 (S101). If a power-on operation has been received (S101: Yes), the process proceeds to step S102, where the device transitions from standby to normal operation. On the other hand, if a power-on operation has not been received (S101: No), the process of step S101 is repeated, and the device continues to wait for a power-on operation from user U1 (standby state).
  • a power-on operation such as pressing the power key
  • the display control unit 1113 reads the cumulative usage time T and the display flag F from the various data storage area 1009 of the storage 110 (S102).
  • the cumulative usage time T is set to "0" and the display flag F is set to "On.”
  • the display flag F being "On” indicates that the display of VR images (virtual reality images) is permitted, and the display flag F being “Off” indicates that the display of VR images is not permitted.
  • the cumulative usage time T and the display flag F are stored in the various data storage area 1009 of the storage 110.
  • the cumulative usage time T and the display flag F for each user may be stored in association with a user ID that can identify the user.
  • the cumulative usage time T and the display flag F may also be stored in association with the user ID in the server 300 on the network 400 described below. In this case, even if the same user uses different information display devices 100, it is possible to continue accumulating usage time between the different information display devices 100.
  • the display control unit 1113 checks the display enable flag F (S103). If the display enable flag F is "On” (S103: On), proceed to step S104; if the display enable flag F is "Off” (S103: Off), proceed to step S113.
  • the display control unit 1113 checks or sets the wearing flag H (S104).
  • the wearing flag H is set to either “On” or “Off” depending on the wearing status of the information display device 100 of the user U1 detected by the wearing status check unit 1111. “On” for the wearing flag H indicates that the user U1 is wearing the information display device 100, and “Off” for the wearing flag H indicates that the user U1 is not wearing the information display device 100. If the wearing flag H is "On” (S104: On), proceed to step S105. If the wearing flag H is "Off” (S104: Off), proceed to step S109.
  • the wearing flag H may be set to "Off." Whether the user U1's eyes are open or closed may be detected by image processing of the eye image captured by the in-camera 134.
  • the display control unit 1113 displays a VR image on the display 131 (S105).
  • the timer unit 1112 begins measuring the cumulative usage time.
  • the display control unit 1113 updates the cumulative usage time T by adding the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the first coefficient ⁇ to the cumulative usage time T (S106).
  • the process of adding the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the first coefficient ⁇ , as in step S106, is referred to as counting up the cumulative usage time T.
  • the first coefficient ⁇ may take a value according to the display content of the display 131, and the value to be used may be determined and set by the display control unit 1113 based on the type of application being executed, the brightness value of the display 131, the display magnification rate, etc.
  • the first coefficient ⁇ may be set to 1.0 for a game image with a lot of movement, 0.8 for a game image with little movement, 0.6 for a meeting image using avatars, and 0.4 for an outside world image captured through the camera.
  • the first coefficient ⁇ may be set to 1.2 for an image with high brightness, 1.2 for an image containing small text, etc.
  • the cumulative usage time T is saved as long as the user U1 is wearing the information display device 100, even if the information display device 100 is not being used.
  • the display control unit 1113 checks whether the cumulative usage time T is greater than or equal to a third predetermined threshold Th3 (cumulative usage limit threshold) (S107). If the cumulative usage time T is greater than or equal to the third predetermined threshold Th3 (S107: Yes), the process proceeds to step S108; if the cumulative usage time T is less than the third predetermined threshold Th3 (S107: No), the process proceeds to step S120.
  • Th3 cumulative usage limit threshold
  • the display control unit 1113 updates the display possible flag F to "Off" (S108) and proceeds to step S120.
  • a warning may be displayed before the display possible flag F is set to "Off.”
  • a grace period may be set before the external image is actually displayed. This allows time to save data from running applications, such as games.
  • step S104 the display control unit 1113 stops image display on the display 131 or displays a black image (S109).
  • the display control unit 1113 updates the cumulative usage time T by subtracting the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the second coefficient ⁇ from the cumulative usage time T (S110).
  • the process of subtracting the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the second coefficient ⁇ , as in step S110, is referred to as counting down the cumulative usage time T.
  • the display control unit 1113 may acquire biometric information from an external device while the user U1 of the information display device 100 is not wearing the information display device 100, and determine the second coefficient based on the biometric information.
  • the external device may be, for example, a smartwatch or a wearable device that acquires biometric information, and the biometric information may include the user U1's respiratory rate, body temperature, heart rate, and activity level measured by a motion sensor (acceleration sensor, gyro sensor, geomagnetic sensor, etc.).
  • the information display device 100 may be connected to an external device for communication to acquire biometric information, and if the user U1 has slept for a predetermined period of time or more, the cumulative usage time T may be reset (returned to 0) based on the biometric information. Furthermore, if the user has performed a predetermined exercise, the second coefficient ⁇ may be increased so that the subtraction value becomes larger.
  • the display control unit 1113 checks the cumulative usage time T (S111). If the cumulative usage time T is 0 or less (S111: Yes), proceed to step S112; if the cumulative usage time T is greater than 0 (S111: No), proceed to step S120.
  • the display control unit 1113 updates the value of the cumulative usage time T to 0 (S112) and proceeds to step S120.
  • step S103 the display control unit 1113 checks or sets the wearing flag H (S113). If the wearing flag H is "On” (S113: On), the process proceeds to step S114; if the wearing flag H is "Off” (S113: Off), the process proceeds to step S116. In this step, even if user U1 is wearing the information display device 100, if their eyes are closed for a predetermined period of time or longer, the wearing flag H may be set to "Off.” Whether user U1's eyes are open or closed may be detected by image processing the eye image captured by the in-camera 134.
  • the display control unit 1113 displays the external world image acquired by the outer camera 133 on the display 131 (S114).
  • the display switching process to the external world image may be such that when the cumulative usage time T reaches the cumulative usage limit threshold (third predetermined threshold Th3), the ratio of virtual reality image 100:external world image 0 is set, and then the ratio of virtual reality image is decreased and the ratio of external world image is increased according to the elapsed time, until finally the ratio of virtual reality image 0:external world image 100 is set. This allows time to be secured for shutdown preparation operations such as saving data.
  • the display control unit 1113 retains the value of the cumulative usage time T without updating it (S115).
  • step S113 If the attachment flag H is "Off" in step S113, the display control unit 1113 stops image display on the display 131 or displays a black image (S116).
  • the display control unit 1113 updates the cumulative usage time T by subtracting the elapsed time t measured by the timing unit 1112 multiplied by the second coefficient ⁇ (S117).
  • the display control unit 1113 checks whether the cumulative usage time T is less than the first predetermined threshold Th1 (corresponding to the restart permission threshold) (S118). If the cumulative usage time T is less than the first predetermined threshold Th1 (S118: Yes), proceed to step S119; if the cumulative usage time T is equal to or greater than the first predetermined threshold Th1 (S118: No), proceed to step S120.
  • the display control unit 1113 updates the display enable flag F to "On” (S119).
  • the basic operation function unit 1101 checks whether the operation input device 120 has received a power-off operation (such as pressing the power key) from user U1 (S120). If a power-off operation has been received (S120: Yes), processing ends. This causes the information display device 100 to transition from the normal operating state to the standby state. If the basic operation function unit 1101 has not received a power-off operation (S120: No), processing returns to step S103.
  • a power-off operation such as pressing the power key
  • FIG. 4B is a conceptual diagram of operation in a normal operating state according to the first embodiment, with the horizontal axis representing the elapsed time t measured by the timer unit 1112 and the vertical axis representing the cumulative usage time T.
  • Th1 in the conceptual diagram of operation represents the first predetermined threshold
  • Th3 represents the third predetermined threshold.
  • the display enable flag F is updated to "Off" to cause user U1 to stop using the information display device 100.
  • the display control unit 1113 does not allow the display of a VR image on the display 131 and instead displays an outside world image acquired by the outer camera 133 on the display 131.
  • step S107 this corresponds to the process in which "Yes” is determined in step S107, the display enable flag F is updated to "Off” in step S108, the process proceeds through step S120, and then the process proceeds to "Off” again in step S103 and “On” in step S113, where the outside world image is displayed in step S114.
  • Area C (3.50h to 6.50h) Because VR images are no longer displayed in area B, user U1 removes information display device 100 and takes a break, and the cumulative usage time T begins to decrease. In area C, user U1 is not wearing information display device 100 and display permission flag F is "Off," so the display control unit 1113 does not allow VR images to be displayed on display 131, and turns off the display processing of display 131 or displays a black image on display 131. In the flowchart of FIG. 4A , this corresponds to the process of determining "Off” in step S103, determining "Off” in step S113, and turning off the display processing of display 131 or displaying a black image in step S116.
  • Area F (8.75h ⁇ )
  • the cumulative usage time T of user U1 again becomes equal to or greater than the third predetermined threshold Th3, and the display enable flag F is updated to "Off.”
  • the display control unit 1113 does not allow the display of a VR image on the display 131 and turns off the display on the display 131 or displays a black image.
  • this corresponds to the process of determining "Yes” in step S107, updating the display enable flag F to "Off” in step S108, proceeding through step S120 to "Off” again in step S103 and "Off” in step S113, and turning off the display or displaying a black image in step S116.
  • Figures 4C and 4D show examples of screen displays that are displayed in normal operating mode.
  • Figure 4C is an example of a VR image displayed on the screen.
  • the VR image may be, for example, a game play image.
  • Areas A and E display VR images generated by the running application, so the screen shown in Figure 4C is displayed on the display 131 while the game is being played.
  • Figure 4D is an example of an external image displayed on the screen.
  • an external image acquired by the outer camera 133 such as an image of the room where user U1 is, is displayed on the display 131.
  • Figure 4E shows the screen state when the screen display is off. In areas C, D, and F, display processing on the display 131 is turned off, or the black image shown in Figure 4E is displayed.
  • FIG. 4F is a flowchart showing the flow of processing in the standby state according to the first embodiment.
  • the basic operation function unit 1101 checks whether the operation input device 120 has received a power-off operation (such as pressing the power key) from user U1 (S201). If a power-off operation has been received (S201: Yes), the normal operation state transitions to a standby state, and the display control unit 1113 stops displaying images on the display 131 (S202). If a power-off operation has not been received (S201: No), the processing of step S201 is repeated, and the normal operation state continues.
  • a power-off operation such as pressing the power key
  • the display control unit 1113 reads the cumulative usage time T and the display enable flag F from the various data storage area 1009 of the storage 110 (S203).
  • the display control unit 1113 checks the display enable flag F (S204). If the display enable flag F is "On" (S204: On), the display control unit 1113 updates the cumulative usage time T by subtracting the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the second coefficient ⁇ (S205).
  • the display control unit 1113 checks the cumulative usage time T (S206). If the cumulative usage time T is 0 or less (S206: Yes), the display control unit 1113 sets the value of the cumulative usage time T to 0 (S207) and proceeds to processing in step S211. If the cumulative usage time T is greater than 0 (S206: No), the display control unit 1113 proceeds to processing in step S211.
  • the display control unit 1113 checks the display enable flag F (S204), and if the display enable flag F is "Off" (S204: Off), the display control unit 1113 updates the cumulative usage time T by subtracting the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the second coefficient ⁇ (S208).
  • the display control unit 1113 checks whether the cumulative usage time T is less than the first predetermined threshold value Th1 (S209). If the cumulative usage time T is less than the first predetermined threshold value Th1 (S209: Yes), the display control unit 1113 updates the display enable flag F to On (S210) and proceeds to processing in step S211.
  • the basic operation function unit 1101 checks whether the operation input device 120 has received a power-on operation (such as pressing the power key) from user U1 (S211). If a power-on operation has been received (S211: Yes), the processing ends and the device transitions from the standby state to the normal operating state. If a power-on operation has not been received (S211: No), the processing returns to step S204.
  • a power-on operation such as pressing the power key
  • the cumulative usage time T of the information display device 100 reaches the third predetermined threshold Th3, an external image is displayed, and the user U1 can be brought back to real space from virtual reality, thereby preventing excessive immersion in virtual reality.
  • the screen display can be turned off to reduce power consumption.
  • the cumulative usage time T is subtracted, and use can be resumed when it reaches the first predetermined threshold Th1, which is a value smaller than the third predetermined threshold Th3.
  • Th1 which is a value smaller than the third predetermined threshold Th3.
  • the above processing including the measurement and storage of the cumulative usage time T, may be performed for each user identification information (hereinafter referred to as "user ID") that identifies a user.
  • user ID user identification information
  • the cumulative usage time T and the display enable flag F are managed for each user ID.
  • S101 power-on operation is accepted (S101)
  • a user login process is performed to identify the user ID. In this way, when multiple people use the same information display device 100, the device can be stopped from using the device according to each user's cumulative usage time.
  • the cumulative usage time T can also be referred to as the fatigue level Ti.
  • the cumulative usage time T or the degree of accumulation of fatigue level Ti may be changed depending on the app being used.
  • the cumulative degree may be higher for apps in which objects displayed during execution move quickly, the brightness is brighter, and the characters displayed are small, while the cumulative degree may be lower for apps in which objects move slowly, the brightness is appropriate, and the characters displayed are large (easy to read).
  • the value of the first coefficient ⁇ used in step S106 may be changed depending on the content of the application to adjust the speed at which the cumulative usage time T is counted up.
  • the value of the second coefficient ⁇ may be changed to adjust the speed at which the cumulative usage time T is counted down.
  • the first predetermined threshold Th1, second predetermined threshold Th2 (corresponding to the warning start threshold described below), third predetermined threshold Th3, first coefficient ⁇ , second coefficient ⁇ , and third coefficient ⁇ (described below) may be set by the user of the information display device 100 themselves (for each user ID), or a user with higher authority may be able to set them for all users. Alternatively, the information display device 100 may set them as defaults and they may not be changed by the user. Furthermore, user U1 may set the third predetermined threshold Th3 as a self-report of usage time.
  • FIG. 5A is a flowchart showing the flow of processing in a normal operating state according to the second embodiment.
  • the basic operation function unit 1101 checks whether the operation input device 120 has received a power-on operation (such as pressing the power key) from user U1 (S301). If a power-on operation has been received (S301: Yes), the process proceeds to step S302, where the device transitions from standby mode to normal operation mode. If a power-on operation has not been received (S301: No), the process repeats step S301, and the device continues to wait for a power-on operation from user U1 (standby mode).
  • a power-on operation such as pressing the power key
  • step S302 the display control unit 1113 reads the cumulative usage time T, the displayable flag F, and the superimposition flag M from the various data storage area 1009 of the storage 110 (S302).
  • the cumulative usage time T is set to "0”
  • the displayable flag F is set to "On”
  • the superimposition flag M is set to "Off”.
  • the display control unit 1113 checks the display enable flag F (S303). If the display enable flag F is "On” (S303: Yes), the display control unit 1113 checks the attachment flag H (S304). If the display enable flag F is "Off” (S303: No), the process proceeds to step S321.
  • the display control unit 1113 checks the superimposition flag M (S305). If the wearing flag H is "Off” (S304: No), the process proceeds to step S314. Note that in this step, even if user U1 is wearing the information display device 100, if their eyes are closed for a predetermined period of time or more, the wearing flag H may be treated as "Off” even if it is "On.” Whether user U1's eyes are open or closed may be detected by performing image processing on the eye image captured by the in-camera 134.
  • the display control unit 1113 checks the superimposition flag M (S305).
  • the superimposition flag M is a flag that determines whether or not to perform superimposition processing of the VR image and the outside world image. If the superimposition flag M is "Off" (S305: Off), the VR image is displayed on the display 131 (S306).
  • the display control unit 1113 After displaying the VR image on the display 131 (S306), the display control unit 1113 updates the cumulative usage time T by adding the elapsed time t measured by the timing unit 1112 multiplied by the first coefficient ⁇ to the cumulative usage time T (S307). The display control unit 1113 then checks whether the cumulative usage time T is greater than or equal to the second predetermined threshold Th2 (S308). If the cumulative usage time T is greater than or equal to the second predetermined threshold Th2, the display control unit 1113 updates the superimposition flag M to On (S309) and proceeds to the processing of step S328.
  • step S308 if the cumulative usage time T is less than the second predetermined threshold value Th2 (S308: No), proceed to processing in step S328.
  • step S305 the display control unit 1113 displays an image on the display 131 in which the VR image and the external image acquired by the outer camera 133 are superimposed (S310).
  • the display control unit 1113 updates the cumulative usage time T by adding the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the third coefficient ⁇ to the cumulative usage time T (S311).
  • the display control unit 1113 then checks whether the cumulative usage time T is equal to or greater than the third predetermined threshold Th3 (S312).
  • the display control unit 1113 updates the display enable flag F to "Off” and the superimposition flag M to “Off” (S313), and proceeds to the processing of step S328.
  • step S312 if the cumulative usage time T is less than the third predetermined threshold Th3 (S312: No), proceed to step S328.
  • step S304 If the attachment flag H is "Off" in step S304 (S304: Off), the display control unit 1113 stops image display on the display 131 or displays a black image (S314). The display control unit 1113 then updates the cumulative usage time T by subtracting the elapsed time t measured by the timing unit 1112 multiplied by the second coefficient ⁇ from the cumulative usage time T (S315). Next, the display control unit 1113 checks the superimposition flag M (S316). If the superimposition flag M is "Off” (S316: Off), the process proceeds to step S319.
  • the display control unit 1113 checks whether the cumulative usage time T is less than the second predetermined threshold Th2 (S317). If the cumulative usage time T is less than the second predetermined threshold Th2 (S317: Yes), the display control unit 1113 updates the superimposition flag M to "Off” (S318).
  • step S316: Off If the superimposition flag M is "Off" (S316: Off), or if the cumulative usage time T is equal to or greater than the second predetermined threshold Th2 (S317: No), or after step S318, the display control unit 1113 checks the cumulative usage time T (S319). If the cumulative usage time T is equal to or less than 0 (S319: Yes), the value of the cumulative usage time T is set to 0 (S320) and processing proceeds to step S328. If the cumulative usage time T is greater than 0 (S319: No), processing proceeds to step S328 without changing the value of the cumulative usage time T.
  • step S303 if the display enable flag F is "Off" in step S303 (S303: Off), the display control unit 1113 checks the attachment flag H (S321). If the attachment flag H is On (S321: On), the display control unit 1113 displays an external image acquired by the outer camera 133 on the display 131 (S322), retains the value of the cumulative usage time T as is (without updating it) (S323), and proceeds to the processing of step S328.
  • the display control unit 1113 stops image display on the display 131 or displays a black image (S324).
  • the display control unit 1113 updates the cumulative usage time T by subtracting the elapsed time t measured by the timing unit 1112 multiplied by the second coefficient ⁇ from the cumulative usage time T (S325).
  • the display control unit 1113 checks whether the cumulative usage time T is less than the first predetermined threshold Th1 (S326). If the cumulative usage time T is less than the first predetermined threshold Th1 (S326: Yes), the display control unit 1113 updates the display enable flag F to "On" (S327) and proceeds to the processing of step S328. If the cumulative usage time T is equal to or greater than the first predetermined threshold Th1 (S326: No), the processing proceeds to step S328.
  • step S328 the basic operation function unit 1101 checks whether the operation input device 120 has received a power-off operation (such as pressing the power key) from user U1. If a power-off operation has been received (S328: Yes), the processing ends and the device transitions from the normal operating state to the standby state. If a power-off operation has not been received (S328: No), the processing returns to step S303.
  • a power-off operation such as pressing the power key
  • the degree of superimposition between the VR image and the external image acquired by the outer camera 133 when displaying the superimposed image may be fixed, or may be changed according to the cumulative usage time T.
  • the ratio of the external image may be configured to increase according to the length of the cumulative usage time T when the cumulative usage time T is equal to or greater than the second predetermined threshold Th2 and less than the third predetermined threshold Th3.
  • a warning message may be displayed indicating that the VR image will soon no longer be displayed.
  • FIG. 5B is a conceptual diagram of operation during normal operation according to the second embodiment, with the horizontal axis representing elapsed time t measured by the timer unit 1112 and the vertical axis representing cumulative usage time T.
  • Th1 in the conceptual diagram of operation represents the first predetermined threshold
  • Th2 represents the second predetermined threshold
  • Th3 represents the third predetermined threshold.
  • the display control unit 1113 may use a third coefficient ⁇ used to count up the cumulative usage time T from the start of counting up the cumulative usage time T to the second predetermined threshold Th2 (area G) as the third coefficient ⁇ used to count up the cumulative usage time T from the second predetermined threshold Th2 to the third predetermined threshold Th3.
  • the third coefficient ⁇ may be the same as the first coefficient ⁇ .
  • the display control unit 1113 may superimpose the external world image on the display more clearly as the cumulative usage time T approaches from the second predetermined threshold Th2 to the third predetermined threshold Th3. That is, in the superimposition process, the ratio of virtual reality image to external world image is 100:0 until the warning start threshold (second predetermined threshold Th2) is reached, and then the ratio of virtual reality image to external world image is decreased and increased as time passes, until the cumulative usage limit threshold (third predetermined threshold Th3) is reached and the ratio is 0:100.
  • the cumulative usage time T becomes equal to or greater than the second predetermined threshold value Th2, and the superimposition flag M is updated to "On.” Because the user U1 is wearing the information display device 100, the display enable flag F is "On,” and the superimposition flag M is "On,” the display control unit 1113 displays a superimposed image of the outside world image and the VR image acquired by the outer camera 133 on the display 131. In the flowchart of FIG. 5A , this corresponds to the process of selecting "Yes” in S308, passing through S309 and S328, returning to S303 again, selecting "On” in S305, and proceeding to S310. In the processing of area O, the superimposition ratio of the outside world image and the VR image may be fixed or may be changed depending on the cumulative usage time T.
  • Areas G and N display a screen similar to Figure 4C, showing a VR image generated by the running application.
  • Figure 5C is an example of a superimposed display of a VR image and an outside world image.
  • the screen of Figure 5C is displayed, in which a VR image generated by the running application and an outside world image acquired by the outer camera 133 are superimposed.
  • the screen transitions to an example of an outside world image similar to Figure 4D.
  • the external world image is superimposed on the VR image, thereby gradually drawing user U1 back from virtual reality to real space. This allows user U1 to mentally prepare to return from virtual reality to real space, and to perform preparatory actions such as saving data from running applications.
  • FIG. 6 is a system configuration diagram of an information display system according to the third embodiment.
  • the information display system 1 is configured by connecting an information display device 100 and a mobile terminal device 200 for communication via a network 400.
  • the information display device 100 may be, for example, an HMD (Head Mounted Display).
  • a server 300 is connected to the network 400.
  • a user U1 wears the information display device 100 on his or her head, runs a VR application on the information display device 100, and views VR images provided by the server 300.
  • the mobile terminal device 200 may be, for example, a smartphone, a smartwatch, or even a personal computer.
  • User P1 is a person with higher authority than user U1, such as a guardian.
  • User P1 owns the mobile terminal device 200 and controls the operation of the information display device 100 worn by user U1 (a person with lower authority, such as a child).
  • FIG. 7 is a hardware configuration diagram of a mobile terminal device 200 according to the second embodiment. Duplicate explanations of components of the mobile terminal device 200 that have the same names as those of the information display device 100 will be omitted.
  • the mobile terminal device 200 includes a processor 201 (corresponding to a second processor) using a CPU, MCU, etc., RAM 203, storage 210, an operation input device 220, an image processing unit 230, an audio processing unit 240, a location information acquisition unit 250, a group of sensors 260, a communication interface (I/F) 270 (corresponding to a second communication device), and an expansion I/F 280, which are connected to each other by a bus 202.
  • a processor 201 (corresponding to a second processor) using a CPU, MCU, etc., RAM 203, storage 210, an operation input device 220, an image processing unit 230, an audio processing unit 240, a location information acquisition unit 250, a group of sensors 260, a communication interface (I/F) 270 (corresponding to a second communication device), and an expansion I/F 280, which are connected to each other by a bus 202.
  • Usage information DB 211 is a database that stores information about the usage of information display device 100 by user U1, and is registered in storage 210 in advance.
  • the operation input device 220 is a user operation I/F and includes operation keys 221 and a touch panel 222.
  • the touch panel 222 is placed over the display 231 (corresponding to the second display) and is used, for example, to operate a smartphone, etc.
  • the audio output unit 241 may include, for example, a monaural speaker used during calls and a stereo speaker used during AV playback.
  • the microphone 243 may include a monaural microphone for use during calls and a stereo microphone for use during video recording.
  • the sensor group 260 may include a gyro sensor, a geomagnetic sensor, an acceleration sensor, an angle sensor, a distance sensor, an illuminance sensor, etc.
  • the communication I/F 270 includes a communication processor.
  • the communication I/F 270 includes, for example, a LAN I/F 271, a BT I/F 272 (BT: BlueTooth (registered trademark)), and a telephone network I/F 273 (Mobile I/F).
  • BT BlueTooth
  • Mobile I/F Mobile I/F
  • FIG 8 is a functional block diagram of the mobile terminal device 200. Among the components of the mobile terminal device 200 shown in Figure 8, duplicated explanations of components with the same names as those in the information display device 100 will be omitted.
  • the storage 210 of the mobile terminal device 200 includes a basic operating program 2001, an application program 2002, a various data storage area 2009, and a usage information DB 211.
  • RAM 203 includes a basic operation function unit 2101, an operation status confirmation unit 2111, a timer unit 2112, an operation control unit 2113, and a temporary storage area 2199.
  • the basic operation function unit 2101 controls the basic operations of the mobile terminal device 200.
  • the operation status confirmation unit 2111 acquires the usage status (start and end of use) and wearing status of the information display device 100 by user U1 from the information display device 100 via the LAN I/F 271.
  • the timing unit 2112 references a timer function (not shown) provided in the mobile terminal device 200 and outputs time information t indicating the time that has elapsed when the processor 201 performs a specified process.
  • the operation control unit 2113 controls the cumulative usage time T and display enable flag F for user U1's information display device 100 stored in the usage status information DB 211 based on the usage status, wearing status, and time information t of the information display device 100. It also generates display control information (VR image display command, outside world image display command, image display off command) based on the above and transmits it to the information display device 100 via the LAN I/F 271. Furthermore, in response to an operational instruction from user P1, it transmits usage stop information to the information display device 100 via the LAN I/F 271.
  • display control information VR image display command, outside world image display command, image display off command
  • the temporary storage area 2199 is a temporary storage area for various information created and acquired by the application program 2002.
  • the basic operation program 2001 and application program 2002 stored in the storage 210 are deployed (loaded) into the RAM 203, and the processor 201 executes them to configure the various functional units of the mobile terminal device 200 according to this embodiment, specifically the basic operation function unit 2101, the operating status confirmation unit 2111, the timing unit 2112, and the operation control unit 2113.
  • FIG. 9A is a sequence diagram showing an operation sequence during use of the information display device in the second embodiment.
  • the information display device 100 is illustrated as an HMD
  • the mobile terminal device 200 is illustrated as an S-Phone (smartphone).
  • the basic operation function unit 1101 of the information display device 100 checks whether the operation input device 120 has received a power-on operation (such as pressing the power key) from user U1 (S401). If a power-on operation has been received (S401: Yes), the process proceeds to step S402, where the device transitions from standby mode to normal operation mode. If a power-on operation has not been received (S401: No), the process of step S401 is repeated, and the device continues to wait for a power-on operation from user U1 (standby mode).
  • a power-on operation such as pressing the power key
  • the basic operation function unit 1101 of the information display device 100 transmits information to the mobile terminal device 200 via the communication I/F 170 that use of the information display device 100 has begun (start-of-use information) (S402), and the operation status confirmation unit 2111 of the mobile terminal device 200 receives information to the mobile terminal device 200 via the communication I/F 270 that use of the information display device 100 has begun (start-of-use information) from the information display device 100 (S403).
  • the start-of-use information includes the device ID of the information display device 100 or the user ID of the user using the information display device 100.
  • the operation status confirmation unit 2111 of the mobile terminal device 200 reads the cumulative usage time T and display enable flag F associated with the device ID or user ID included in the usage start information received in step S403 from the usage status information DB 211 of the storage 210 (S404). In the initial state, the cumulative usage time T is set to "0" and the display enable flag F is set to "On.”
  • the display control unit 1113 of the information display device 100 checks the wearing flag H (the wearing status of the information display device 100 of user U1 detected by the wearing status checking unit 1111) and transmits the wearing flag H to the mobile terminal device 200 via the communication I/F 170 (S405), and the operation status checking unit 2111 of the mobile terminal device 200 receives the wearing flag H from the information display device 100 via the communication I/F 270 (S406).
  • the operation status confirmation unit 2111 of the mobile terminal device 200 generates display control information for the information display device 100 based on the cumulative usage time T, the displayable flag F, and the attachment flag H (S407). Details of this step will be described later with reference to Figure 9B.
  • the operating status confirmation unit 2111 of the mobile terminal device 200 transmits the display control information generated in the processing of S407 to the information display device 100 via the communication I/F 270 (S408), and the display control unit 1113 of the information display device 100 receives the display control information from the mobile terminal device 200 via the communication I/F 170 (S409).
  • the display control unit 1113 of the information display device 100 checks the display control information received in the processing of S409 (S410). If the display control information is "Display VR image” (S410: VR image), the display control unit 1113 of the information display device 100 displays the VR image on the display 131 (S411). If the display control information is "Display outside world image” (S410: outside world image), the display control unit 1113 of the information display device 100 displays the outside world image acquired by the outer camera 133 on the display 131 (S412). Furthermore, if the display control information is "Image display off” (S410: Off), the display control unit 1113 of the information display device 100 stops image display on the display 131 or displays a black image (S413).
  • the basic operation function unit 1101 of the information display device 100 checks whether the operation input device 120 has received a power-off operation (such as pressing the power key) from user U1 (S414). If a power-off operation has been received (S414: Yes), the basic operation function unit 1101 of the information display device 100 transmits end-of-use information for the information display device 100 to the mobile terminal device 200 via the communication I/F 170 (S415), and the device transitions to a standby state.
  • the end-of-use information includes the device ID of the information display device 100 or the user ID of the user using the information display device 100.
  • the operation status confirmation unit 2111 of the mobile terminal device 200 receives the end-of-use information from the information display device 100 via the communication I/F 270 (S416).
  • step S414 if the basic operation function unit 1101 of the information display device 100 has not received a power-off operation (S414: No), the process returns to step S405.
  • the mobile terminal device 200 may perform the above processing whether in normal operation or standby mode.
  • the VR image may be displayed only for a predetermined time after the use start information is sent, and the outside world image may be displayed thereafter.
  • server 300 may perform the above-mentioned right-hand process instead of the mobile terminal device 200.
  • FIG. 9B is a flowchart showing the details of the process of generating display control information for the information display device 100 in step S407.
  • the operation status confirmation unit 2111 checks the display permission flag F (S501). If the display permission flag F is "On” (a state in which display of VR images is permitted) (S501: On), the operation status confirmation unit 2111 checks the wearing flag H (the wearing status of the information display device 100 of user U1 detected by the wearing status confirmation unit 1111) (S502). If the display permission flag F is "Off” (a state in which display of VR images is not permitted), the process proceeds to step S511.
  • step S502 if the wearing flag H is "On” (the user U1 is wearing the information display device 100) (S502: On), the operation status confirmation unit 2111 sets "VR image display” as the display control information (S503). Furthermore, the operation status confirmation unit 2111 adds the value obtained by multiplying the elapsed time t measured by the timing unit 2112 by the first coefficient ⁇ to the cumulative usage time T, thereby updating the cumulative usage time T (S504).
  • the operation status confirmation unit 2111 checks whether the cumulative usage time T is equal to or greater than the third predetermined threshold Th3 (S505). If the cumulative usage time T is equal to or greater than the third predetermined threshold Th3 (S505: Yes), the operation status confirmation unit 2111 updates the displayable flag F to Off (S506). Then, the processing ends and returns to the main routine. On the other hand, if the cumulative usage time T is less than the third predetermined threshold Th3 (S505: No), the processing returns to the main routine.
  • step S502 if the wearing flag H is "Off" (a state in which the information display device 100 is not being worn by the user U1) (S502: Off), the operation status confirmation unit 2111 sets "Image display off” as the display control information (S507). Furthermore, the operation status confirmation unit 2111 updates the cumulative usage time T by subtracting the value obtained by multiplying the elapsed time t measured by the timing unit 1112 by the second coefficient ⁇ (S508).
  • the operation status confirmation unit 2111 checks whether the cumulative usage time T is 0 or less (S509). If the cumulative usage time T is 0 or less (S509: Yes), the operation status confirmation unit 2111 sets the value of the cumulative usage time T to 0 (S510) and returns to the main routine. On the other hand, if the cumulative usage time T is greater than 0 (S509: No), the operation status confirmation unit 2111 returns to the main routine.
  • step S501 if the display enable flag F is "Off" (S501: Off), the operation status confirmation unit 2111 checks the wearing flag H (the wearing status of the information display device 100 by user U1 detected by the wearing status confirmation unit 1111) (S511). If the wearing flag H is "On” (a state in which user U1 is wearing the information display device 100) (S511: On), the operation status confirmation unit 2111 sets "external world image display” as the display control information (S512). Then, the operation status confirmation unit 2111 retains the value of the cumulative usage time T as is (without updating it) (S513) and returns to the main routine.
  • step S511 a state in which the information display device 100 is not being worn by the user U1 (S511: Off)
  • step S511: Off the operation status confirmation unit 2111 sets "Image display off” as the display control information (S514). Then, the operation status confirmation unit 2111 updates the cumulative usage time T by subtracting the value obtained by multiplying the elapsed time t measured by the timing unit 2112 by the second coefficient ⁇ (S515).
  • the operating status confirmation unit 2111 checks whether the cumulative usage time T is less than the first predetermined threshold Th1 (S516). If the cumulative usage time T is less than the first predetermined threshold Th1 (S516: Yes), the display control unit 1113 updates the display enable flag F to "On" (S517) and returns to the main routine. On the other hand, if the cumulative usage time T is equal to or greater than the first predetermined threshold Th1 (S516: No), the process returns to the main routine.
  • the first predetermined threshold Th1, the third predetermined threshold Th3, the first coefficient ⁇ , and the second coefficient ⁇ may be set by the user of the mobile terminal device 200.
  • FIG. 9C is a flowchart showing the flow of processing performed by the mobile terminal device 200 when the information display device 100 is in a standby state according to the second embodiment.
  • the operating status confirmation unit 2111 checks whether use end information has been received from the information display device 100 (S601). If use end information has been received (S601: Yes), the information display device 100 transitions from a use state to an unused state, and processing proceeds to step S602. If use end information has not been received (S601: No), processing of step S601 is repeated, and the information display device 100 continues to be in use. In this case, the mobile terminal device 200 performs the processing of Figures 9A and 9B.
  • the operation status confirmation unit 2111 reads the cumulative usage time T and display permission flag F associated with the device ID or user ID included in the use end information received in the processing of step S601 from the usage status information DB 211 of the storage 210 (S602). Then, the operation status confirmation unit 2111 checks the display permission flag F (S603). If the display permission flag F is "On" (a state in which display of VR images is permitted) (S603: On), the operation status confirmation unit 2111 subtracts the value obtained by multiplying the elapsed time t measured by the timing unit 2112 by the second coefficient ⁇ from the cumulative usage time T, thereby updating the cumulative usage time T (S604).
  • the operation status confirmation unit 2111 checks the cumulative usage time T (S605). If the cumulative usage time T is 0 or less (S605: Yes), the operation status confirmation unit 2111 sets the value of the cumulative usage time T to 0 (S606) and proceeds to processing in step S610. If the cumulative usage time T is greater than 0 (S606: No), proceeds to processing in step S610.
  • step S603 If the display permission flag F is "Off" (display of VR images is not permitted) in step S603 (S603: Off), the operation status confirmation unit 2111 updates the cumulative usage time T by subtracting the elapsed time t measured by the timing unit 1112 multiplied by the second coefficient ⁇ (S607).
  • the operation status confirmation unit 2111 checks whether the cumulative usage time T is less than the first predetermined threshold Th1 (S608). If the cumulative usage time T is less than the first predetermined threshold Th1 (S608: Yes), the operation status confirmation unit 2111 updates the display possible flag F to "On” (S609) and proceeds to the processing of step S610.
  • step S610 If the cumulative usage time T is greater than or equal to the first predetermined threshold Th1 (S608: No), proceed to step S610.
  • the operating status confirmation unit 2111 checks whether or not use start information has been received from the information display device 100 (S610). If use start information has been received (S610: Yes), the information display device 100 transitions from an unused state to a used state. Thereafter, the mobile terminal device 200 performs the processing shown in Figures 9A and 9B.
  • step S610 If the start of use information has not been received (S610: No), the process returns to step S603, and the information display device 100 continues to be unused.
  • the mobile terminal device 200 performs the above processing whether in normal operation or standby mode.
  • FIG. 10 is an operational sequence diagram relating to the forced disable process.
  • the basic operation function unit 1101 of the information display device 100 checks whether the operation input device 120 has received a power-on operation (such as pressing the power key) from user U1 (S701). If a power-on operation has been received (S701: Yes), the process proceeds to step S702, where the device transitions from standby mode to normal operation mode. If a power-on operation has not been received (S701: No), the process repeats step S701, and the device continues to wait for a power-on operation from user U1 (standby mode).
  • a power-on operation such as pressing the power key
  • the basic operation function unit 1101 of the information display device 100 transmits start-of-use information for the information display device 100 to the mobile terminal device 200 via the communication I/F 170 (S702), and the operation status confirmation unit 2111 of the mobile terminal device 200 receives the start-of-use information from the information display device 100 via the communication I/F 270 (S703).
  • the start-of-use information includes the device ID of the information display device 100 or the user ID of the user using the information display device 100.
  • the operation status confirmation unit 2111 of the mobile terminal device 200 launches an operation control application that controls the operation of the information display device 100 (S704).
  • the operation control application is configured by an operation control unit 2113 deployed in the RAM 203.
  • the basic operation function unit 1101 of the information display device 100 checks the usage status of the information display device 100 by the user U1 (such as the wearing status and app operation status) and transmits this as usage status information to the mobile terminal device 200 via the communication I/F 170 (S705), and the operation status check unit 2111 of the mobile terminal device 200 receives the usage status information from the information display device 100 via the communication I/F 270 (S706).
  • the operation control unit 2113 of the mobile terminal device 200 displays an operation control screen including the usage status information received in the processing of S706 on the display 231 (S707). Details of this step will be described later with reference to Figures 11A and 11B.
  • the operation control unit 2113 of the mobile terminal device 200 checks whether the operation input device 220 has received a stop use instruction operation from user P1 (S708). If a stop use instruction operation has been received (S708: Yes), the operation control unit 2113 of the mobile terminal device 200 transmits stop use information to the information display device 100 via the communication I/F 270 (S709). If a stop use instruction operation has not been received (S708: No), no stop use information is transmitted.
  • the display control unit 1113 of the information display device 100 checks whether or not use suspension information has been received from the mobile terminal device 200 via the communication I/F 170 (S710). If use suspension information has not been received (S710: No), the display control unit 1113 of the information display device 100 displays a VR image on the display 131 (S711). On the other hand, if use suspension information has been received (S710: Yes), the display control unit 1113 of the information display device 100 displays an outside world image acquired by the outer camera 133 on the display 131 (S712).
  • the basic operation function unit 1101 of the information display device 100 checks whether the operation input device 120 has received a power-off operation (such as pressing the power key) from user U1 (S713). If a power-off operation has been received (S713: Yes), the basic operation function unit 1101 of the information display device 100 transmits end-of-use information for the information display device 100 to the mobile terminal device 200 via the communication I/F 170 (S714).
  • the end-of-use information includes the device ID of the information display device 100 or the user ID of the user using the information display device 100. The information display device 100 then transitions to a standby state.
  • the operation status confirmation unit 2111 of the mobile terminal device 200 receives information indicating that use of the information display device 100 has ended from the information display device 100 via the communication I/F 270 (S715), the operation status confirmation unit 2111 terminates the operation of the operation control app that controls the operation of the information display device 100 (S716). In step S716, the operation control unit 2113 (operation control app) deployed in RAM 203 is released.
  • step S713 If a power-off operation has not been received in step S713 (S713: No), processing returns to step S705.
  • FIG. 11A and 11B are diagrams showing examples of an operation control screen
  • Fig. 12A and 12B are diagrams showing examples of screen displays during forced disabling processing.
  • the mobile terminal device 200 is equipped with a touch screen 290 configured by stacking a display 231 and a touch panel 222. A message is displayed on the display 231 informing the user U1 of the usage status of the information display device 100.
  • a warning message 290M1 is displayed because the continuous use time of the information display device 100 by user U1 has exceeded a predetermined value.
  • a notification message 290M2 is displayed informing user U1 of the usage status of the information display device 100.
  • an operation guide message 290M3 is also displayed to allow user P1 to select an operation based on the warning message 290M1 and the notification message 290M2.
  • an operation guide message 290M3 is displayed along with at least one selection key to allow user P1 to select an operation.
  • a message send key 290K1 an external world display key 290K2, a force quit key 290K3, and a no action key 290K4 are displayed on the touch screen 290.
  • a predetermined message and a message display command are sent as usage suspension information in step S709.
  • the predetermined message may be entered by the user or may be prepared in advance.
  • the information display device 100 superimposes the predetermined message on the VR screen being displayed on the display 131.
  • an outside world image display command is sent as use suspension information in the processing of step S709.
  • the information display device 100 switches the display on the display 131 from the VR screen to an outside world image acquired by the outer camera 133. Before the screen switch, a message may be displayed indicating that the screen will be switched in n seconds.
  • FIG. 12B shows the screen displayed when an outside world image display command is received from the mobile terminal device 200, and a message is superimposed to notify the user of the process of switching the VR image to the outside world image.
  • a standby transition command is sent as usage suspension information in the processing of step S709.
  • the information display device 100 transitions from the normal operating state to the standby state. Before transitioning to the standby state, a message may be displayed indicating that transition to the standby state will occur in n seconds.
  • step S709 is not performed.
  • user P1 who is different from user U1 of information display device 100, can execute a forced suspension process on information display device 100 from mobile terminal device 200.
  • a forced suspension process can be performed by connecting the mobile terminal device 200 and information display device 100 via communication, so the information display device 100 can be made to execute the forced suspension process from a position that does not interfere with user U1's movements. This allows forced suspension to be performed while avoiding collisions between user U1 and user P1.
  • the present invention is not limited to the above-described embodiments, and it is possible to replace part of the configuration of one embodiment with that of another embodiment. It is also possible to add the configuration of one embodiment to the configuration of another embodiment. These all fall within the scope of the present invention, and the numerical values, messages, etc. appearing in the text and figures are merely examples, and the use of different ones does not impair the effects of the present invention.
  • the functions of the invention may be implemented in part or in whole in hardware, for example by designing them as integrated circuits, general-purpose processors, or special-purpose processors.
  • Processors include transistors and other circuits and are considered to be circuitry or processing circuitry. They may also be implemented in software by a microprocessor unit, processor, etc. interpreting and executing an operating program.
  • microprocessor unit processor, etc. interpreting and executing an operating program.
  • Information display device When the power supply of the information display device is turned on and the wearing sensor detects that the information display device is worn by a user, the accumulated usage time of the information display device is counted up, and when the accumulated usage time reaches a pre
  • An information display system including an information display device and a mobile terminal device communicatively connected to the information display device,
  • the information display device includes a first processor, a first display, a wearing sensor, and a first communicator for communicating with the mobile terminal device;
  • the mobile terminal device includes a second processor and a second communicator for communicating with the information display device;
  • the first processor of the information display device executes control to transmit, from the first communication device to the mobile terminal device, use start information indicating that use of the information display device has started and wearing status information indicating the wearing status of the information display device detected by the wearing sensor; when receiving display control information for the first display from the mobile terminal device via the first communication device, performing display control for the first display based on the display control information;
  • the second processor of the mobile terminal device When the use start information and the wearing status information are received via the second communication device, a cumulative use time of the information display device is calculated based on the use start information and the wearing status information, and the display control information is generated for executing a stop instruction for the
  • a display control method for an information display device worn on a user's head comprising: The processor: a step of counting up the accumulated usage time of the information display device when the information display device is powered on; When the cumulative usage time increases to a predetermined cumulative usage limit threshold, an external image of the real world is displayed on the information display device; When the information display device is removed from the user, stopping the screen display of the information display device and counting down the accumulated usage time; and when the cumulative usage time decreases to a predetermined restart permission threshold, allowing the screen display of the information display device to continue.
  • a display control method for an information display device comprising: The processor: a step of counting up the accumulated usage time of the information display device when the information display device is powered on; When the cumulative usage time increases to a predetermined cumulative usage limit threshold, an external image of the real world is displayed on the information display device; When the information display device is removed from the user, stopping the screen display of the information display device and counting down the accumulated usage time; and when the cumulative usage time decreases to a predetermined restart

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

情報表示装置は、プロセッサと、ディスプレイと、装着センサと、アウトカメラと、を備え、プロセッサは、情報表示装置の電源が投入されており、かつ装着センサが、ユーザに情報表示装置が装着されたことを検出すると、情報表示装置の累積使用時間をカウントアップし、累積使用時間が予め定めた累積使用限界閾値まで増加すると、ディスプレイにアウトカメラが撮像した現実世界の外界画像を表示し、装着センサが、ユーザから情報表示装置が取り外されたことを検出すると、ディスプレイの画面表示を停止すると共に累積使用時間をカウントダウンし、累積使用時間が予め定めた再開許可閾値まで減少すると、ディスプレイの画面表示を許容する。

Description

情報表示装置、情報表示システム、及び情報表示装置の表示制御方法
 本発明は、情報表示装置、情報表示システム、及び情報表示装置の表示制御方法に関する。
 従来、情報表示装置を用いた映像視聴による眼精疲労を防止するための工夫がなされている。
 その一例として、特許文献1は、「画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させて画像表示を行う表示部と、この表示部による画像表示を実行しているときに、前記観察者の眼の疲労度を検知する疲労検知部と、この疲労検知部による検知結果に基づいて、前記表示部による表示画像の表示面積を減じ、前記表示部の表示領域における前記表示画像を除いた残余の領域を前記観察者に休憩を促す表示面積削減領域として割り付けて注意喚起表示を行う制御部と、を備える(要約抜粋)。」ヘッドマウントディスプレイを開示している。
 また特許文献2には、「映像表示装置の閲覧判定部は、視線検知センサでの検知結果に基づいて、観察者が表示光学系によって提供される映像を閲覧しているか否かを判定する。閲覧判定部にて、観察者が映像を閲覧していると判定された場合、評価値算出部は、観察者の映像の閲覧時間を計時するとともに、閲覧時間の長さに応じた評価値を算出し、映像の閲覧ごとに評価値を積算する。警告制御部は、評価値算出部にて得られた評価値の積算値が閾値を超えたときに、警告部によって観察者に警告させる(要約抜粋)。」との記載がある。
特開2012-212990号公報 特開2018-101034号公報
 ゲームやその他の用途で使用されるVR-HMD(遮蔽型HMDである。VR:Virtual Reality、HMD:Head Mounted Display、)は、装着者(ユーザ)の眼周辺を覆うゴーグル形状に形成される。これにより、VR-HMDを装着したユーザの視界を外界から遮断して眼前のディスプレイに仮想現実画像を表示することができ、ユーザが仮想世界に没入しやすくなる。
 しかし、ユーザは一度仮想世界に没入すると外界確認が困難となり、時間の経過を忘れて操作に没頭してしまう傾向がある。特に自制心が低い未成年には、VR―HMDの過度な使用が懸念されており、未成年によるVR-HMDの使用制限の必要性についての議論が生じているという社会状況がある。
 ここで、特許文献1,2をVR―HMDに適用することも考えられるが、特許文献1,2は共に開放型眼鏡タイプのHMDに関するものであるため、外界が視認できないVR-HMDに合った使用制限が求められているという実情がある。
 本発明は上記実情に鑑みてなされたものであり、没入型の頭部装着型情報表示装置に好適な使用制限が行える技術を提供することを目的とする。
 上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。
 本発明によれば、没入型の頭部装着型情報表示装置に好適な使用制限が行える技術を提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本実施形態に係る情報表示装置のハードウェア構成図。 ユーザが情報表示装置を装着した状態を示す上面図。 ユーザが情報表示装置を装着した状態を示す正面図。 ユーザが情報表示装置を装着した状態を示す左側面図。 情報表示装置の機能ブロック図。 第一実施形態に係る情報表示装置の通常動作状態における処理の流れを示すフローチャート。 第一実施形態に係る通常動作状態における動作概念図。 通常動作状態で表示される画面表示例を示す図。 通常動作状態で表示される画面表示例を示す図。 画面表示オフ時の画面状態を示す図。 第1実施形態に係るスタンバイ状態の処理の流れを示すフローチャート。 第二実施形態に係る通常動作状態の処理の流れを示すフローチャート。 第二実施形態に係る通常動作時における動作概念図。 通常動作状態で表示される画面表示例を示す図。 第三実施形態に係る情報表示システムのシステム構成図。 第三実施形態に係る携帯端末装置のハードウェア構成図。 携帯端末装置の機能ブロック図。 第三実施形態において情報表示装置を使用中の動作シーケンスを示すシーケンス図。 情報表示装置の表示制御情報を生成処理の詳細を示すフローチャート。 第三実施形態に係るスタンバイ状態の処理の流れを示すフローチャート。 強制使用停止処理に係る動作シーケンス図。 動作制御画面例を示す図。 動作制御画面例を示す図。 強制使用停止処理時における画面表示例を示す図。 強制使用停止処理時における画面表示例を示す図。
 本実施形態に係る情報表示装置及び情報表示システムは、頭部に装着してユーザが外界風景を視認できない状態でも、仮想空間への過度な没入感を防止することができるので、情報表示装置の利便性を向上させることができる。よって本発明は、本発明を適用した情報表示装置の商品価値を高めることができることから、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の8.2(商品やサービスの価値をより高める産業や、労働集約型の産業を中心に、多様化、技術の向上、イノベーションを通じて、経済の生産性をあげる)に貢献することが期待できる。
 以下、図面を用いて本発明の実施形態について説明する。全図を通じて同一の構成には同一の符号を付して重複説明を省略する。
<第一実施形態>
 図1は、本実施形態に係る情報表示装置100のハードウェア構成図である。
 情報表示装置100は、CPUやMCU等を用いたプロセッサ101(第1プロセッサに相当)、RAM103、ストレージ110、操作入力装置120、画像処理部130、音声処理部140、位置情報取得部150、センサ群160、通信インタフェース(I/F)170(第1通信機に相当)、及び拡張I/F180を備え、これらがバス102により互いに接続される。
 バス102は、コマンド及びデータの送受信経路である。
 ストレージ110は、Flash ROM、EEPROM、SSD、HDD等の不揮発記憶媒体を用いて構成される。
 操作入力装置120は、ユーザ操作I/Fであり、操作キー121、及びタッチセンサ122が含まれる。
 操作キー121は、例えばSW類、電源キー、音量キー等がある。
 タッチセンサ122は、例えばタッチパッドにより構成され、情報表示装置100等の操作に使用される。別体のコントローラ(図示省略)を使用する場合、タッチセンサ122はなくとも良い。
 画像処理部130は、ディスプレイ131(第1ディスプレイに相当する。)、画像信号処理部132、アウトカメラ133、及びインカメラ134を含んで構成される。
 ディスプレイ131は、ビデオシースルー型のVRヘッドマウントディスプレイであるため非透過型のディスプレイを用いる。透過度が可変な透過型ディスプレイでもよい。
 画像信号処理部132は、例えばイメージ(ビデオ)シグナルプロセッサを用いて構成される。
 アウトカメラ133は、周辺撮影用のカメラである。
 インカメラ134は、視線検出用のカメラである。
 音声処理部140は、音声出力部141、音声信号処理部142、及びマイク143を含んで構成される。
 音声出力部141は、例えばスピーカ、音声出力端子等がある。
 音声信号処理部142は、例えばオーディオシグナルプロセッサを用いて構成される。
 位置情報取得部150は、情報表示装置100の現在位置を検出する装置であり、例えばGPSセンサでもよいし、アウトカメラ133で撮像した周辺画像の解析により空間内の特徴点を抽出し、特徴点を基準とした相対的位置情報を取得する所謂VPSシステムであっても良い。また、BlueTooth(登録商標)ビーコン受信機等であってもよい。
 センサ群160は、ジャイロセンサ161、地磁気センサ162、加速度センサ163、装着センサ164、及び深度センサ165を含む。
 装着センサ164は、ユーザのHMD装着状況を検出するセンサである。
 深度センサ165は、対象物までの距離を検出するセンサである。
 通信I/F170は、コミュニケーションプロセッサを含んで構成される。通信I/F170は、LAN I/F171、BT I/F172(BT:BlueTooth(登録商標))を含む。
 拡張I/F180は、例えばUSB機器接続端子であり、データ送受信や充電等に使用される。
 また図示はしないものの、現実世界の現在時刻を保持するタイマを備える。タイマは、現在時刻として世界協定時(UTC:Coordinated Universal Time)などの時刻を保持する。またタイマはソフトウェアとして構成してもよいし、RTC(Real Time Clock)を用いて構成してもよい。
 図2Aは、ユーザU1が情報表示装置100を装着した状態を示す上面図、図2Bは、ユーザU1が情報表示装置100を装着した状態を示す正面図、図2Cは、ユーザU1が情報表示装置100を装着した状態を示す左側面図である。図2A~図2Cにおいて、Xh、Yh、Zhは、情報表示装置100を基準とした座標系の座標軸であり、Xhは情報表示装置100の左右方向、Yhは情報表示装置100の上下方向、Zhは情報表示装置100の前後方向を示す。
 図2Aに示すように、情報表示装置100は、ユーザU1の目の上下左右の周囲を囲み、ユーザU1の視界から外界風景を遮断する形状に形成されている。
 図2Bに示すように、情報表示装置100は、左ディスプレイ131Lが情報表示装置100筐体の内側の、ユーザU1の左眼が視認可能な位置に配置される。また右ディスプレイ131Rが情報表示装置100筐体の内側の、ユーザU1の右眼が視認可能な位置に配置される。本実施形態では、左ディスプレイ131L、右ディスプレイ131Rを総称してディスプレイ131と称する場合がある。別構成例として、一つのディスプレイ131が、表示領域を分割して、左眼用画像と右眼用画像を並べて表示するようにしても良い。
 また情報表示装置100筐体の外側には、左アウトカメラ133L、右アウトカメラ133Rと、左深度センサ165L、右深度センサ165Rが配置される。
 また図2Cに示すように、情報表示装置100筐体の左側面に左タッチセンサ122L、左ステレオスピーカ141Lを備える。また図2では右側面は図示しないが、情報表示装置100の右側面に、右ステレオスピーカと、モノラルマイクと、拡張I/F180の一つである充電及び有線通信端子を備える。
 左タッチセンサ122Lに代えて右タッチセンサを情報表示装置100の右側面に備えてもよい。タッチセンサの設置個所は左右いずれか一つでもよいし、両側面に備えてもよい。
 本実施形態では、情報表示装置100としてディスプレイ等が筐体部分と一体となった装置を例に説明しているが、汎用型スマートフォン等を頭部装着用アダプタに挿入して使用する装置であっても良い。この場合、以下の各処理は汎用型スマートフォン等の内部機能にて実行される。
 図3は、情報表示装置100の機能ブロック図である。
 情報表示装置100のストレージ110は、OS等の基本的なプログラムを含む基本動作プログラム1001と、本実施形態に係る情報表示装置100の機能を実現するためのアプリケーションプログラム1002と、各種動作設定値や各種情報(動画、静止画、音声等)を記憶しておく領域となる各種データ記憶領域1009とを含む。
 RAM103は、基本動作機能部1101、装着状況確認部1111、計時部1112、表示制御部1113、及び一時記憶領域1199を含む。
 基本動作機能部1101は、情報表示装置100の基本的な動作を制御する。
 装着状況確認部1111は、装着センサ164の検出結果やインカメラ134が撮影取得した画像に撮影されたユーザU1の眼の状況に基づいて、ユーザU1による情報表示装置100の装着状況を解析し、結果を装着フラグHとして出力する。装着フラグHは、装着状況情報に相当する。
 計時部1112は、情報表示装置100に備えられたタイマ機能(図示省略)を参照することにより、プロセッサ101が所定の処理を行った際に経過した時間情報tを出力する。時間情報tは、計時部112で計測した実測値に相当する。
 表示制御部1113は、各種データ記憶領域1009に記憶されている累積使用時間T及び表示可フラグFを、情報表示装置100の動作状況(通常動作状態orスタンバイ状態、等)や装着フラグHや時間情報tに基づいて制御する。また、ディスプレイ131に表示する画像情報を、表示可フラグFや装着フラグHに基づいて制御する。また、LAN I/F171を介して携帯端末装置200から受信した表示制御情報に基づいてディスプレイ131に表示する画像情報を制御する。
 累積使用時間Tとは、(1)所定期間内において前記情報表示装置が使用された時間の累積値、又は(2)前記情報表示装置が連続使用された時間の累積値である。
 (1)の場合は、例えば0時から24時までの間に情報表示装置100が使用された時間を累積した値を累積使用時間Tしてもよい。この場合は、累積使用限界閾値として、例えば一日当たり3時間を設定してもよい。こうすることで、子供が情報表示装置100を2時間使用後一旦情報表示装置100の使用を中断し、宿題を1時間してから、再度情報表示装置100の使用を再開した場合は、当日中は残り1時間に情報表示装置100の使用を制限することができる。
 (2)の場合は、情報表示装置100が連続使用された時間を計測する。連続使用の定義として、10分以内の中断は休憩とカウントせずに計時を続行してもよい。
 一時記憶領域1199は、アプリケーションにより作成又は取得された各種情報の一時的な記憶領域である。
 ストレージ110に記憶されている基本動作プログラム1001やアプリケーションプログラム1002は、RAM103に展開(ロード)され、プロセッサ101がこれらを実行することにより、本実施形態に係る情報表示装置100の各機能部、具体的には基本動作機能部1101、装着状況確認部1111、計時部1112、及び表示制御部1113が構成される。
(通常動作状態)
 図4Aは、第一実施形態に係る情報表示装置100の通常動作状態における処理の流れを示すフローチャートである。
 基本動作機能部1101は、操作入力装置120がユーザU1からの電源On操作(電源キーの押下操作等)を受け付けたか否かを確認する(S101)。電源On操作を受け付けた場合は(S101:Yes)、ステップS102の処理に進み、スタンバイ状態から通常動作状態へ移行する。一方、電源On操作を受け付けていない場合は(S101:No)、ステップS101の処理を繰り返し、ユーザU1からの電源On操作の待ち受け状態(スタンバイ状態)が継続する。
 表示制御部1113が、ストレージ110の各種データ記憶領域1009から累積使用時間Tと表示可フラグFを読み込む(S102)。初期状態では、累積使用時間Tは「0」、表示可フラグFは「On」がセットされている。表示可フラグFの「On」は、VR画像(仮想現実画像)の表示が許容されている状態を示し、表示可フラグFの「Off」は、VR画像の表示が許容されていない状態を示す。なお、累積使用時間Tと表示可フラグFはストレージ110の各種データ記憶領域1009に記憶される。情報表示装置100が複数のユーザにより共用される場合には、それぞれのユーザに関する累積使用時間Tと表示可フラグFとがユーザを識別可能なユーザIDと関連付けられた状態で記憶されてよい。また、累積使用時間Tと表示可フラグFとは、後述のネットワーク400上にあるサーバ300に、ユーザIDと関連付けられた状態で記憶されてもよい。この場合、同一のユーザが異なる情報表示装置100を使用した場合でも、異なる情報表示装置100間において使用時間の累積を継続することが可能となる。
 表示制御部1113が、表示可フラグFを確認する(S103)。表示可フラグFが「On」であれば(S103:On)ステップS104へ、表示可フラグFが「Off」であれば(S103:Off)ステップS113へ進む。
 表示制御部1113が、装着フラグHを確認、又は設定する(S104)。装着フラグHは、装着状況確認部1111が検出したユーザU1の情報表示装置100装着状況に応じて「On」又は「Off」の何れかを設定する。装着フラグHの「On」は、ユーザU1が情報表示装置100を装着している状態を示し、装着フラグHの「Off」は、ユーザU1が情報表示装置100を装着していない状態を示す。装着フラグHが「On」であれば(S104:On)ステップS105へ、装着フラグHが「Off」であれば(S104:Off)ステップS109へ進む。本ステップにおいて、ユーザU1が情報表示装置100を装着していても、所定時間以上眼を閉じている場合は、装着フラグHは「Off」に設定してもよい。ユーザU1が目を開けているか閉じているかは、インカメラ134が撮像した目画像を画像処理することにより検出してもよい。
 装着フラグHが「On」の場合、表示制御部1113が、ディスプレイ131にVR画像を表示する(S105)。VR画像の表示が開始すると、計時部1112は累積使用時間の計測を開始する。
 表示制御部1113が、累積使用時間Tに、計時部1112で計測した経過時間tに第1係数αを乗じた値を加算して、累積使用時間Tを更新する(S106)。ステップS106のように、計時部1112で計測した経過時間tに第1係数αを乗じた値を加算する処理を累積使用時間Tのカウントアップと称する。
 第1係数αは、ディスプレイ131の表示内容に応じた値を用いてもよく、どの値を用いるかは表示制御部1113が実行中のアプリケーションの種類、ディスプレイ131の輝度値、表示拡大率等を基に決定し、設定してもよい。例えば、動きの激しいゲーム画像であれば第1係数αを1.0、動きの少ないゲーム画像であれば第1係数αを0.8、アバターによるミーティング画像であれば第1係数αを0.6、カメラスルーによる外界画像であれば第1係数αを0.4に定めてもよい。更に、輝度が高い画像であれば第1係数αを1.2、小さな文字が含まれる画像であれば第1係数αを1.2、等の設定を行っても良い。
 累積使用時間Tは、ユーザU1が情報表示装置100を装着している間は、情報表示装置100を使用していない場合も保存される。
 表示制御部1113が、累積使用時間Tが第三所定閾値Th3(累積使用限界閾値)以上か否かを確認する(S107)。累積使用時間Tが第三所定閾値Th3以上であれば(S107:Yes)ステップS108へ、累積使用時間Tが第三所定閾値Th3未満であれば(S107:No)、ステップS120へ進む。第三所定閾値Th3については図4Bを参照して後述する。
 累積使用時間Tが第三所定閾値Th3以上の場合、表示制御部1113が、表示可フラグFを「Off」に更新し(S108)、ステップS120へ進む。本ステップにおいて、表示可フラグFを「Off」とする前に警告表示を行ってもよい。また、表示可フラグFを「Off」とした後、実際に外界画像が表示されるまでに猶予時間を設けても良い。これにより、例えばゲーム等、実行中のアプリケーションのデータをセーブする時間を確保することができる。
 ステップS104において装着フラグHが「Off」の場合、表示制御部1113が、ディスプレイ131への画像表示を停止する、或いは、黒画像を表示する(S109)。
 表示制御部1113が、累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S110)。ステップS110のように、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算する処理を累積使用時間Tのカウントダウンと称する。
 表示制御部1113は、情報表示装置100のユーザU1が情報表示装置100を取り外している間の生体情報を外部機器から取得し、当該生体情報に応じて第2係数を決定してもよい。外部機器とは、例えばスマートウォッチや生体情報を取得するウェアラブル端末であり、生体情報は、呼吸数、体温、心拍数、動きセンサ(加速度センサ、ジャイロセンサ、地磁気センサ等)で計測したユーザU1の行動量等である。情報表示装置100を外部機器と通信接続し、生体情報を取得し、その生体情報から、所定時間以上の睡眠をとった場合は、累積使用時間Tをリセット(0に戻す)してもよい。また、所定の運動を行った場合に、減算値が大きくなるように第2係数βを大きくしても良い。
 表示制御部1113が、累積使用時間Tを確認する(S111)。累積使用時間Tが0以下であれば(S111:Yes)ステップS112へ進み、累積使用時間Tが0より大きければ(S111:No)ステップS120へ進む。
 累積使用時間Tが0以下の場合、表示制御部1113が、累積使用時間Tの値を0に更新し(S112)、ステップS120へ進む。
 一方、ステップS103において表示可フラグFが「Off」の場合、表示制御部1113が、装着フラグHを確認、又は設定する(S113)。装着フラグHが「On」の場合は(S113:On)ステップS114へ進み、装着フラグHが「Off」の場合は(S113:Off)ステップS116へ進む。本ステップにおいて、ユーザU1が情報表示装置100を装着していても、所定時間以上眼を閉じている場合は、装着フラグHは「Off」に設定してもよい。ユーザU1が目を開けているか閉じているかは、インカメラ134が撮像した目画像を画像処理することにより検出してもよい。
 装着フラグHが「On」の場合、表示制御部1113が、ディスプレイ131に、アウトカメラ133により取得した外界画像を表示する(S114)。外界画像への表示切替処理は、累積使用時間Tが累積使用限界閾値(第三所定閾値Th3)に到達した時点では、仮想現実画像100:外界画像0とし、その後経過時間に応じて仮想現実画像の比率を低め、外界画像の比率を高めていき、最終的に、仮想現実画像0:外界画像100としてもよい。これにより、データをセーブするなどの終了準備動作の時間を確保することができる。
 表示制御部1113が、累積使用時間Tの値を更新することなく、そのまま保持する(S115)。
 ステップS113において装着フラグHが「Off」の場合、表示制御部1113が、ディスプレイ131への画像表示を停止する、或いは、黒画像を表示する(S116)。
 表示制御部1113が、累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S117)。
 表示制御部1113が、累積使用時間Tが第一所定閾値Th1(再開許可閾値に相当)未満か否かを確認する(S118)。累積使用時間Tが第一所定閾値Th1未満の場合は(S118:Yes)ステップS119へ、累積使用時間Tが第一所定閾値Th1以上の場合は(S118:No)ステップS120へ進む。
 累積使用時間Tが第一所定閾値Th1未満の場合、表示制御部1113が、表示可フラグFを「On」に更新する(S119)。
 基本動作機能部1101は、操作入力装置120がユーザU1からの電源Off操作(電源キーの押下操作等)を受け付けたか否かを確認する(S120)。電源Off操作を受け付けた場合(S120:Yes)、処理を終了する。これにより、情報表示装置100は、通常動作状態からスタンバイ状態へと移行する。基本動作機能部1101が電源Off操作を受け付けていない場合(S120:No)、ステップS103の処理に戻る。
 図4Bは、第一実施形態に係る通常動作状態における動作概念図であり、横軸は計時部1112で計測した経過時間tを示し、縦軸は累積使用時間Tを示す。また、動作概念図中のTh1は第一所定閾値、Th3は第三所定閾値を示す。以下、経過時間tに沿った領域AからFの6つの時間帯に分けて説明する。
 領域A(0.00h~3.00h)
 ユーザU1が情報表示装置100を装着中であり、表示可フラグFが「On」である。そこで、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容する。図4Bでは「表示可」で示す。図4Aのフローチャートでは、ステップS107でNoと判断され、ステップS120を経て再度ステップS105へ進む処理に相当する。
 領域B(3.00h~3.50h)
 ユーザU1の累積使用時間Tが第三所定閾値Th3以上となると、ユーザU1に情報表示装置100の使用を停止させるために、表示可フラグFが「Off」に更新される。ユーザU1が情報表示装置100を装着中であるが、表示可フラグFが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容せず、ディスプレイ131にアウトカメラ133で取得した外界画像を表示する。図4Aのフローチャートでは、ステップS107で「Yes」と判断され、ステップS108で表示可フラグFが「Off」に更新後、ステップS120を経て再度ステップS103で「Off」、ステップS113で「On」と進み、ステップS114で外界画像が表示される処理に相当する。
 領域C(3.50h~6.50h)
 ユーザU1は、領域BでVR画像の表示がされなくなったため、情報表示装置100を外し休憩すると、累積使用時間Tが減少し始める。領域Cでは、ユーザU1が情報表示装置100を未装着であり、表示可フラグFが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容せず、ディスプレイ131の表示処理をオフ、或いは、ディスプレイ131に黒画像を表示する。図4Aのフローチャートでは、ステップS103で「Off」と判断され、ステップS113で「Off」と判断され、ステップS116でディスプレイ131の表示処理をオフまたは黒画像が表示される処理に相当する。
 領域D(6.50h~7.00h)
 更にユーザU1が情報表示装置100を外した状態で休憩し続けた結果、累積使用時間Tが第一所定閾値Th1未満となり、表示可フラグFが「On」に更新される。このとき、ユーザU1が情報表示装置100を未装着であるため、表示制御部1113は、ディスプレイ131の表示処理をオフする、或いは、ディスプレイ131に黒画像を表示する。図4Aのフローチャートでは、ステップS118でYesと判断され、ステップS119で表示可フラグFが「On」に更新された後、ステップS120を経て再度ステップS104で「Off」と判断されてステップS109へ進む処理に相当する。
 領域E(7.00h~8.75h)
 ユーザU1が十分に休憩後、情報表示装置100を再度装着すると、装着フラグHが「On」に更新される。領域Eでは既に表示可フラグFが「On」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容する。図4Aのフローチャートでは、ステップS103で「On」、ステップS104で「On」と判断されてステップS105へ進む処理に相当する。
 領域F(8.75h~)
 ユーザU1の累積使用時間Tが再び第三所定閾値Th3以上となり、表示可フラグFが「Off」に更新される。領域Cと同様、ユーザU1が情報表示装置100を未装着であり、表示可フラグFが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容せず、ディスプレイ131の表示をオフするかまたは黒画像を表示する。図4Aのフローチャートでは、ステップS107で「Yes」と判断され、ステップS108で表示可フラグFが「Off」に更新後、ステップS120を経て再度ステップS103で「Off」、ステップS113で「Off」と進み、ステップS116でディスプレイ表示がオフまたは黒画像が表示される処理に相当する。
 図4C、図4Dは、通常動作状態で表示される画面表示例を示す図である。
 図4Cは、VR画像の画面表示例である。VR画像は、例えばゲームのプレイ画像でもよい。領域A及び領域Eでは、実行中のアプリケーションにより生成されたVR画像を表示するので、ゲームのプレイ中ではディスプレイ131に図4Cの画面が表示される。
 図4Dは、外界画像の画面表示例である。領域Bでは、アウトカメラ133が取得した外界画像として、例えばユーザU1のいる部屋の画像がディスプレイ131に表示されている。
 図4Eは、画面表示オフ時の画面状態を示す図である。領域C、領域D及び領域Fでは、ディスプレイ131への表示処理をオフする、或いは、図4Eに示す黒画像を表示する。
(スタンバイ状態)
 図4Fは、第1実施形態に係るスタンバイ状態の処理の流れを示すフローチャートである。
 基本動作機能部1101は、操作入力装置120がユーザU1からの電源Off操作(電源キーの押下操作等)を受け付けたか否かを確認する(S201)。電源Off操作を受け付けた場合は(S201:Yes)、通常動作状態からスタンバイ状態へ移行し、表示制御部1113が、ディスプレイ131への画像表示を停止する(S202)。電源Off操作を受け付けていない場合は(S201:No)、ステップS201の処理を繰り返し、通常動作状態を継続する。
 表示制御部1113が、ストレージ110の各種データ記憶領域1009から累積使用時間Tと表示可フラグFを読み込む(S203)。
 表示制御部1113が、表示可フラグFを確認する(S204)。表示可フラグFが「On」であれば(S204:On)、表示制御部1113が、累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S205)。
 表示制御部1113が、累積使用時間Tを確認する(S206)。累積使用時間Tが0以下であれば(S206:Yes)、表示制御部1113は、累積使用時間Tの値を0にセットし(S207)、ステップS211の処理に進む。累積使用時間Tが0より大きければ(S206:No)ステップS211の処理に進む。
 一方、表示制御部1113が、表示可フラグFを確認し(S204)、表示可フラグFが「Off」であれば(S204:Off)、表示制御部1113が、累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S208)。
 表示制御部1113が、累積使用時間Tは第一所定閾値Th1未満か否かを確認する(S209)累積使用時間Tが第一所定閾値Th1未満の場合は(S209:Yes)、表示制御部1113が、表示可フラグFをOnに更新し(S210)、ステップS211の処理に進む。
 累積使用時間Tが第一所定閾値Th1以上の場合は(S209:No)、ステップS211の処理に進む。
 基本動作機能部1101は、操作入力装置120がユーザU1からの電源On操作(電源キーの押下操作等)を受け付けたか否かを確認する(S211)。電源On操作を受け付けた場合は(S211:Yes)、処理を終了し、スタンバイ状態から通常動作状態へ移行する。電源On操作を受け付けていない場合は(S211:No)、ステップS204の処理に戻る。
 本実施形態によれば、情報表示装置100の累積使用時間Tが第三所定閾値Th3に達すると外界画像を表示し、ユーザU1を仮想現実から現実空間に引き戻すことができるので、過度な仮想現実への没入を抑止することができる。
 また、情報表示装置100をユーザU1が取り外した後は画面表示をオフにして消費電力の削減を図ることができる。
 更に、使用再開に際しては、累積使用時間Tを減算していき、第三所定閾値Th3よりも小さい値からなる第一所定閾値Th1に達すると使用再開ができるので、ユーザU1に対して第三所定閾値Th3から第一所定閾値Th1に到達するまでの時間、強制的に情報表示装置100の使用を中止させて休憩をとらせることができる。
(変形例)
 図4Aにおいて累積使用時間Tの計測及び保存をはじめとする上記処理は、ユーザを特定するユーザ識別情報(以下「ユーザID」と記載する)毎に行っても良い。例えば、累積使用時間Tや表示可フラグFを、ユーザID毎に管理する。この場合、電源On操作受付(S101)後にユーザログイン処理を行ってユーザIDを識別する。これにより、複数人は一つの情報表示装置100を使う場合、各ユーザの累積使用時間に応じて使用停止の処理が行える。
 また、累積使用時間Tや表示可フラグFの状態は、実行するアプリを異ならせても継続される。
 また累積使用時間Tは疲労度Tiと言い換えても良い。
 また、使用するアプリに応じて、累積使用時間T、又は疲労度Tiの累積度合いを変えても良い。例えば、アプリケーションの実行中に表示される物体の動きが速い、輝度がより明るい、表示文字が細かいアプリの場合は累積度合いを高めに、物体の動きが遅い、輝度が適切、表示文字が大きい(見易い)アプリの場合は累積度合いを緩めるとしてもよい。その際、対戦ゲームのように仮想空間への没入感が高く射幸心を刺激されるアプリと、環境音楽及び映像が流れるアプリとではユーザの仮想空間への没入感や疲労度が異なるので、アプリケーションの内容に応じてステップS106で用いる第1係数αの値の大小を可変して、累積使用時間Tのカウントアップの速度を調整してもよい。また、第2係数βの値の大小を可変して、累積使用時間Tのカウントダウンの速度を調整してもよい。
 更に、第一所定閾値Th1、第二所定閾値Th2(後出、警告開始閾値に相当する)、第三所定閾値Th3、第1係数α、第2係数β、第3係数γ(後出)は、情報表示装置100のユーザが(ユーザID毎に)自ら設定できるものであっても良いし、上位権限を持つユーザが全てのユーザに係る設定を行えるものであっても良い。また、情報表示装置100がデフォルトとして設定し、ユーザによる変更が不可であっても良い。更に、ユーザU1が使用時間の自己申告として第三所定閾値Th3を設定してもよい。
<第二実施形態:通常動作状態2>
 図5Aは、第二実施形態に係る通常動作状態の処理の流れを示すフローチャートである。
 基本動作機能部1101は、操作入力装置120がユーザU1からの電源On操作(電源キーの押下操作等)を受け付けたか否かを確認する(S301)。電源On操作を受け付けた場合は(S301:Yes)、ステップS302の処理に進み、スタンバイ状態から通常動作状態へ移行する。電源On操作を受け付けていない場合は(S301:No)、ステップS301の処理を繰り返し、ユーザU1からの電源On操作の待ち受け状態(スタンバイ状態)を継続する。
 ステップS302では、表示制御部1113が、ストレージ110の各種データ記憶領域1009から累積使用時間Tと表示可フラグFと重畳フラグMを読み込む(S302)。初期状態では、累積使用時間Tは「0」、表示可フラグFは「On」、重畳フラグMは「Off」に設定されている。
 表示制御部1113が、表示可フラグFを確認する(S303)。表示可フラグFが「On」の場合は(S303:Yes)、表示制御部1113が、装着フラグHを確認する(S304)。表示可フラグFが「Off」の場合は(S303:No)、ステップS321の処理に進む。
 装着フラグHが「On」の場合は(S304:Yes)、表示制御部1113が、重畳フラグMを確認する(S305)。装着フラグHが「Off」の場合は(S304:No)、ステップS314の処理に進む。なお、本ステップにおいて、ユーザU1が情報表示装置100を装着していても、所定時間以上眼を閉じている場合は、装着フラグHが「On」であっても「Off」として扱ってもよい。ユーザU1が目を開けているか閉じているかは、インカメラ134が撮像した目画像を画像処理することにより検出してもよい。
 表示制御部1113が、重畳フラグMを確認する(S305)。重畳フラグMは、VR画像と外界画像の重畳処理を行うか否かを定めたフラグである。重畳フラグMが「Off」の場合は(S305:Off)、ディスプレイ131にVR画像を表示する(S306)。
 表示制御部1113は、ディスプレイ131にVR画像を表示後(S306)、累積使用時間Tに、計時部1112で計測した経過時間tに第1係数αを乗じた値を加算して、累積使用時間Tを更新する(S307)。そして表示制御部1113が、累積使用時間Tが第二所定閾値Th2以上か否かを確認する(S308)。累積使用時間Tが第二所定閾値Th2以上の場合、表示制御部1113が、重畳フラグMをOnに更新し(S309)ステップS328の処理へと進む。
 ステップS308において、累積使用時間Tが第二所定閾値Th2未満の場合は(S308:No)、ステップS328の処理へと進む。
 一方、ステップS305において、重畳フラグMが「On」の場合は(S305:On)、表示制御部1113が、ディスプレイ131に、VR画像とアウトカメラ133が取得した外界画像とを重畳した画像を表示する(S310)。表示制御部1113が、累積使用時間Tに、計時部1112で計測した経過時間tに第3係数γを乗じた値を加算して、累積使用時間Tを更新する(S311)。そして表示制御部1113は、累積使用時間Tが第三所定閾値Th3以上か否かを確認する(S312)。累積使用時間Tが第三所定閾値Th3以上であれば(S312:Yes)、表示制御部1113が、表示可フラグFを「Off」に、重畳フラグMを「Off」にそれぞれ更新し(S313)、ステップS328の処理へと進む。
 ステップS312において、累積使用時間Tが第三所定閾値Th3未満の場合は(S312:No)、ステップS328の処理へと進む。
 ステップS304において装着フラグHが「Off」の場合(S304:Off)、表示制御部1113が、ディスプレイ131への画像表示を停止する、或いは、黒画像を表示する(S314)。そして、表示制御部1113が、累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S315)。次いで、表示制御部1113が、重畳フラグMを確認する(S316)。重畳フラグMが「Off」の場合は(S316:Off)、ステップS319の処理に進む。
 重畳フラグMが「On」の場合は(S316:On)、表示制御部1113は、累積使用時間Tが第二所定閾値Th2未満か否かを確認する(S317)。累積使用時間Tが第二所定閾値Th2未満の場合(S317:Yes)、表示制御部1113が、重畳フラグMを「Off」に更新する(S318)。
 重畳フラグMが「Off」の場合(S316:Off)、又は累積使用時間Tが第二所定閾値Th2以上の場合(S317:No)、又はステップS318の後、表示制御部1113が、累積使用時間Tを確認する(S319)。累積使用時間Tが0以下の場合は(S319:Yes)、累積使用時間Tの値を0に設定し(S320)、ステップS328の処理に進む。累積使用時間Tが0より大きい場合は(S319:No)、累積使用時間Tの値を変更することなくステップS328の処理に進む。
 一方、ステップS303において表示可フラグFが「Off」の場合(S303:Off)、表示制御部1113が、装着フラグHを確認する(S321)。装着フラグHがOnの場合は(S321:On)、表示制御部1113が、ディスプレイ131に、アウトカメラ133により取得した外界画像を表示し(S322)、累積使用時間Tの値をそのまま保持して(更新しないで)(S323)、ステップS328の処理に進む。
 装着フラグHが「Off」の場合は(S321:Off)、表示制御部1113が、ディスプレイ131への画像表示を停止する、或いは、黒画像を表示する(S324)。表示制御部1113は、累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S325)。表示制御部1113は、累積使用時間Tが第一所定閾値Th1未満か否かを確認する(S326)。累積使用時間Tが第一所定閾値Th1未満の場合は(S326:Yes)、表示制御部1113が、表示可フラグFを「On」に更新し(S327)、ステップS328の処理に進む。累積使用時間Tが第一所定閾値Th1以上の場合は(S326:No)、ステップS328の処理に進む。
 ステップS328では、基本動作機能部1101は、操作入力装置120がユーザU1からの電源Off操作(電源キーの押下操作等)を受け付けたか否かを確認する。電源Off操作を受け付けた場合は(S328:Yes)、処理を終了して通常動作状態からスタンバイ状態へ移行する。電源Off操作を受け付けていない場合は(S328:No)、ステップS303の処理に戻る。
 上記ステップS310において、重畳画像を表示する際のVR画像とアウトカメラ133が取得した外界画像との重畳度合いは、固定でも良いし、累積使用時間Tに応じて変えても良い。例えば、累積使用時間Tが第二所定閾値Th2以上第三所定閾値Th3未満の間で、累積使用時間Tの大きさに応じて外界画像の比率が高くなるように構成してもよい。
 また、重畳画像の表示中は、間もなくVR画像が表示されなくなる旨の警告メッセージを表示しても良い。
 図5Bは、第二実施形態に係る通常動作時における動作概念図であり、横軸は計時部1112で計測した経過時間tを示し、縦軸は累積使用時間Tを示す。また、動作概念図中のTh1は第一所定閾値、Th2は第二所定閾値、Th3は第三所定閾値を示す。以下、経過時間tに沿った領域Gから領域Oの8つの時間帯に分けて説明する。
 領域G(0.00h~2.50h)
 ユーザU1が情報表示装置100を装着中であり、表示可フラグFが「On」、重畳フラグMが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容する。図5Aのフローチャートでは、ステップS306、S307を経て、S308で「No」と判断され、ステップS328を経て再度ステップS303へ進む処理に相当する。
 領域H(2.50h~3.50h)
 累積使用時間Tが第二所定閾値Th2以上となり、重畳フラグMが「On」に更新する。図5Aのフローチャートでは、ステップS308で「Yes」と判断され、ステップS309へ進む処理に相当する。ユーザU1が情報表示装置100を装着中であり、表示可フラグFが「On」、重畳フラグMが「Off」から「On」に更新されるため、表示制御部1113は、ディスプレイ131に、アウトカメラ133で取得した外界画像とVR画像の重畳画像を表示する。図5Aのフローチャートでは、ステップS305で「On」と判断され、S310、S311へ進む処理に相当する。外界画像とVR画像との重畳比率は、固定でも良いし、累積使用時間Tに応じて変更されても良い。
 なお、表示制御部1113は、第二所定閾値Th2から第三所定閾値Th3までに累積使用時間Tのカウントアップに用いる第3係数γとして、累積使用時間Tのカウントアップの開始から第二所定閾値Th2まで(領域G)に累積使用時間Tのカウントアップに用いる第1係数αよりも小さい値を用いてもよい。これにより、ユーザU1に警告を開始してから外界画像に切り替わるまでの時間に猶予を与え、データのセーブなどの準備動作が行える。第3係数γは第1係数αと同一であってもよい。
 また、表示制御部1113は、累積使用時間Tが第二所定閾値Th2から第三所定閾値Th3までに近づくにつれて、外界画像をディスプレイにより鮮明に重畳させてもよい。すなわち、重畳処理において、警告開始閾値(第二所定閾値Th2)到達までは、仮想現実画像100:外界画像0とし、その後経過時間に応じて仮想現実画像の比率を低め、外界画像の比率を高めていき、累積使用限界閾値(第三所定閾値Th3)に、仮想現実画像0:外界画像100とする。
 領域I(3.50h~4.00h)
 累積使用時間Tが第三所定閾値Th3以上となり、表示可フラグFが「Off」、重畳フラグMが「Off」に更新される。ユーザU1が情報表示装置100を装着中であるが、表示可フラグFが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容せず、ディスプレイ131にアウトカメラ133で取得した外界画像を表示する。図5Aのフローチャートでは、ステップS312で「Yes」、S313、S328を経て、S303で「Off」、S321で「On」、S322へ進む処理に相当する。
 領域J(4.00h~6.00h)
 ユーザU1が情報表示装置100を未装着であり、表示可フラグFが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容せず、ディスプレイ131の表示処理をオフする、或いは、ディスプレイ131に黒画像を表示する。図5Aのフローチャートでは、ステップS303で「Off」、S321で「Off」、S324、S325、S326で「No」へ進む処理に相当する。
 領域K(6.00h~6.50h)
 ユーザU1が情報表示装置100を装着したが、表示可フラグFが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容せず、ディスプレイ131にアウトカメラ133で取得した外界画像を表示する。図5Aのフローチャートでは、ステップS303で「Off」、S321で「On」、S322、S323へ進む処理に相当する。
 領域L(6.50h~7.50h)
 ユーザU1が情報表示装置100を未装着であり、表示可フラグFが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容せず、ディスプレイ131の表示処理をオフする、或いは、ディスプレイ131に黒画像を表示する。図5Aのフローチャートでは、ステップS324、S325を経て、S326で「No」へ進む処理に相当する。
 領域M(7.50h~8.00h)
 累積使用時間Tが第一所定閾値Th1未満となり、表示可フラグFが「On」に更新される。なお、表示可フラグFが「On」であるが、ユーザU1が情報表示装置100を未装着であるため、表示制御部1113は、ディスプレイ131の表示処理をオフする、或いは、ディスプレイ131に黒画像を表示する。図5Aのフローチャートでは、S326で「Yes」、S327、S328を経て、S303で「On」、S304で「Off」、S314へ進む処理に相当する。
 領域N(8.00h~9.25h)
 ユーザU1が情報表示装置100を装着中であり、表示可フラグFが「On」、重畳フラグMが「Off」であるため、表示制御部1113は、ディスプレイ131でのVR画像の表示を許容する。図5Aのフローチャートでは、S304で「On」、S305で「Off」、S306へ進む処理に相当する。
 領域O(9.25h~)
 累積使用時間Tが第二所定閾値Th2以上となり、重畳フラグMが「On」に更新される。ユーザU1が情報表示装置100を装着中であり、表示可フラグFが「On」、重畳フラグMが「On」であるため、表示制御部1113は、ディスプレイ131に、アウトカメラ133で取得した外界画像とVR画像の重畳画像を表示する。図5Aのフローチャートでは、S308で「Yes」、S309、S328を経て、再度S303へ戻り、S305で「On」、S310へ進む処理に相当する。領域Oの処理において、外界画像とVR画像との重畳比率は、固定でも良いし、累積使用時間Tに応じて変更されても良い。
 以下、領域Gから領域Oで表示される画面表示例を説明する。
 領域G及び領域Nでは、実行中のアプリケーションにより生成されたVR画像が表示された図4Cと同様の画面が表示される。
 図5Cは、VR画像と外界画像の重畳表示例である。領域H及び領域Oでは、実行中のアプリケーションにより生成されたVR画像とアウトカメラ133が取得した外界画像を重畳表示された図5Cの画面が表示される。更に累積使用時間Tが増加すると図4Dと同様の外界画像の画面表示例に移行する。
 領域I及び領域Kでは、アウトカメラ133が取得した外界画像を表示した図4Dと同様の画面が表示される。
 領域J、領域L及び領域Mでは、ディスプレイ131への表示処理をオフする、或いは、図4Eに示す画面と同様に黒画像を表示する。
 本実施形態によれば、情報表示装置100の累積使用時間Tが第三所定閾値Th3に達して外界画像が表示される前に、外界画像がVR画像に重畳表示されるので、ユーザU1を徐々に仮想現実から現実空間に引き戻すことができる。よって、ユーザU1は仮想現実から現実空間へ戻るための気持ちの準備が行え、実行中のアプリケーションのデータをセーブするなどの準備動作を行うことができる。
<第三実施形態>
 図6は、第三実施形態に係る情報表示システムのシステム構成図である。
 情報表示システム1は、情報表示装置100と、携帯端末装置200とをネットワーク400を介して通信接続して構成される。情報表示装置100は、例えばHMD(Head Mounted Display)を用いてもよい。ネットワーク400には、サーバ300が接続される。ユーザU1は、情報表示装置100を頭部に装着し、情報表示装置100でVRアプリケーションを実行し、サーバ300から提供されるVR画像を視聴する。
 携帯端末装置200は、例えばスマートフォン、スマートウォッチの他、パーソナルコンピューターでもよい。ユーザP1は、ユーザU1の上位権限者、例えば保護者である。ユーザP1は、携帯端末装置200を所有し、ユーザU1(下位権限者、例えば子)が装着した情報表示装置100の動作を制御する。
 図7は、第二実施形態に係る携帯端末装置200のハードウェア構成図である。携帯端末装置200の構成要素のうち、情報表示装置100と同一名称の構成要素については重複説明を省略する。
 携帯端末装置200は、CPUやMCU等を用いたプロセッサ201(第2プロセッサに相当)、RAM203、ストレージ210、操作入力装置220、画像処理部230、音声処理部240、位置情報取得部250、センサ群260、通信インタフェース(I/F)270(第2通信機に相当)、及び拡張I/F280を備え、これらがバス202により互いに接続される。
 ストレージ210は、使用状況情報DB211を記憶する。使用状況情報DB211は、ユーザU1による情報表示装置100の使用状況に関する情報を記憶するデータベースであり、予めストレージ210に登録しておく。
 操作入力装置220は、ユーザ操作I/Fであり、操作キー221、タッチパネル222を含む。
 タッチパネル222は、ディスプレイ231(第2ディスプレイに相当)に重ねて配置され、例えば、スマートフォン等の操作に使用される。
 音声出力部241は、例えば通話時に使用するモノラルスピーカ、AV再生時に使用するステレオスピーカを含んでもよい。
 マイク243は、通話時に使用するモノラルマイク、ビデオ撮影時に使用するステレオマイクを含んでもよい。
 センサ群260は、ジャイロセンサ、地磁気センサ、加速度センサ、角度センサ、測距センサ、照度センサ等を含んでもよい。
 通信I/F270は、コミュニケーションプロセッサを含んで構成される。通信I/F270は、例えば、LANI/F271、BTI/F272(BT:BlueTooth(登録商標))、電話網I/F273(MobileI/F)を含む。
 図8は、携帯端末装置200の機能ブロック図である。図8に示す携帯端末装置200の各構成要素のうち、情報表示装置100と同一名称の構成要素については重複説明を省略する。
 携帯端末装置200のストレージ210は、基本動作プログラム2001と、アプリケーションプログラム2002と、各種データ記憶領域2009と、使用状況情報DB211とを含む。
 RAM203は、基本動作機能部2101、動作状況確認部2111、計時部2112,動作制御部2113、及び一時記憶領域2199を含む。
 基本動作機能部2101は、携帯端末装置200の基本的な動作を制御する。
 動作状況確認部2111は、LANI/F271を介して情報表示装置100からユーザU1による情報表示装置100の使用状況(使用開始及び使用終了)及び装着状況を取得する。
 計時部2112は、携帯端末装置200に備えられたタイマ機能(図示省略)を参照することにより、プロセッサ201が所定の処理を行った際に経過した時間情報tを出力する。
 動作制御部2113は、使用状況情報DB211に記憶されているユーザU1の情報表示装置100に関する累積使用時間T及び表示可フラグFを情報表示装置100の使用状況や装着状況や時間情報tに基づいて制御する。また、上記に基づいて表示制御情報(VR画像表示命令、外界画像表示命令、画像表示オフ命令)を生成し、LANI/F271を介して情報表示装置100に送信する。更に、ユーザP1の操作指示に応じて、LANI/F271を介して情報表示装置100に、使用停止情報を送信する。
 一時記憶領域2199は、アプリケーションプログラム2002により作成、取得された各種情報の一時的な記憶領域である。
 ストレージ210に記憶されている基本動作プログラム2001及びアプリケーションプログラム2002は、RAM203に展開(ロード)され、プロセッサ201がこれらを実行することにより、本実施形態に係る携帯端末装置200の各機能部、具体的には基本動作機能部2101、動作状況確認部2111、計時部2112、及び動作制御部2113が構成される。
(動作シーケンス:情報表示装置使用中)
 図9Aは、第二実施形態において情報表示装置を使用中の動作シーケンスを示すシーケンス図である。図9Aにおいて、情報表示装置100をHMD、携帯端末装置200をS-Phone(スマートフォン)と図示する。
 情報表示装置100の基本動作機能部1101は、操作入力装置120がユーザU1からの電源On操作(電源キーの押下操作等)を受け付けたか否かを確認する(S401)。電源On操作を受け付けた場合は(S401:Yes)、ステップS402へ進み、スタンバイ状態から通常動作状態へ移行する。電源On操作を受け付けていない場合は(S401:No)、ステップS401の処理を繰り返し、ユーザU1からの電源On操作の待ち受け状態(スタンバイ状態)を継続する。
 通常動作状態に移行すると、情報表示装置100の基本動作機能部1101が、情報表示装置100の使用が開始された旨(使用開始情報)を、通信I/F170を介して、携帯端末装置200に送信し(S402)、携帯端末装置200の動作状況確認部2111は、情報表示装置100の使用が開始された旨(使用開始情報)を、通信I/F270を介して、情報表示装置100から受信する(S403)。使用開始情報は、情報表示装置100の機器IDまたは情報表示装置100使用ユーザのユーザIDを含む。
 携帯端末装置200の動作状況確認部2111が、ステップS403の処理で受信した使用開始情報に含まれる機器ID、又はユーザIDに関連付けられた累積使用時間Tと表示可フラグFを、ストレージ210の使用状況情報DB211から読み込む(S404)。初期状態では、累積使用時間Tは「0」、表示可フラグFは「On」に設定されている。
 情報表示装置100の表示制御部1113が、装着フラグH(装着状況確認部1111が検出したユーザU1の情報表示装置100装着状況)を確認し、装着フラグHを、通信I/F170を介して、携帯端末装置200に送信し(S405)、携帯端末装置200の動作状況確認部2111が、装着フラグHを、通信I/F270を介して、情報表示装置100から受信する(S406)。
 携帯端末装置200の動作状況確認部2111が、累積使用時間Tと表示可フラグFと装着フラグHに基づいて、情報表示装置100の表示制御情報を生成する(S407)。本ステップの詳細は図9Bを参照して後述する。
 携帯端末装置200の動作状況確認部2111が、S407の処理で生成した表示制御情報を、通信I/F270を介して、情報表示装置100に送信し(S408)、情報表示装置100の表示制御部1113が、表示制御情報を、通信I/F170を介して、携帯端末装置200から受信する(S409)。
 情報表示装置100の表示制御部1113が、S409の処理で受信した表示制御情報を確認する(S410)。表示制御情報が「VR画像を表示」の場合は(S410:VR画像)、情報表示装置100の表示制御部1113が、ディスプレイ131にVR画像を表示する(S411)。表示制御情報が「外界画像を表示」の場合は(S410:外界画像)、情報表示装置100の表示制御部1113が、ディスプレイ131に、アウトカメラ133により取得した外界画像を表示する(S412)。また、表示制御情報が「画像表示オフ」の場合は(S410:オフ)、情報表示装置100の表示制御部1113が、ディスプレイ131への画像表示を停止する、或いは、黒画像を表示する(S413)。
 ステップS411、S412、S413の後、情報表示装置100の基本動作機能部1101は、操作入力装置120がユーザU1からの電源Off操作(電源キーの押下操作等)を受け付けたか否かを確認する(S414)。電源Off操作を受け付けた場合は(S414:Yes)、情報表示装置100の基本動作機能部1101が、情報表示装置100の使用終了情報を、通信I/F170を介して、携帯端末装置200に送信し(S415)スタンバイ状態に移行する。使用終了情報は、情報表示装置100の機器IDまたは情報表示装置100使用ユーザのユーザIDを含む。
 携帯端末装置200の動作状況確認部2111は、使用終了情報を、通信I/F270を介して情報表示装置100から受信する(S416)。
 一方、情報表示装置100の基本動作機能部1101が、電源Off操作を受け付けていない場合は(S414:No)、ステップS405の処理に戻る。
 携帯端末装置200は、通常動作状態であってもスタンバイ状態であっても上記処理を行って良い。
 また、ステップS409の処理で、携帯端末装置200から表示制御情報を受信できない場合は、使用開始情報を送信した後の所定時間内のみVR画像を表示しその後は外界画像を表示するようにしても良い。
 また、携帯端末装置200に代替してサーバ300が上記右側の処理を行っても良い。
(表示制御情報生成処理:情報表示装置使用中)
 図9Bは、ステップS407の情報表示装置100の表示制御情報を生成処理の詳細を示すフローチャートである。
 動作状況確認部2111が、表示可フラグFを確認する(S501)。表示可フラグFが「On」(VR画像の表示が許容されている状態)の場合(S501:On)、動作状況確認部2111が、装着フラグH(装着状況確認部1111が検出したユーザU1の情報表示装置100装着状況)を確認する(S502)。表示可フラグFが「Off」(VR画像の表示が許容されていない状態)の場合、ステップS511の処理に進む。
 ステップS502において、装着フラグHが「On」(ユーザU1が情報表示装置100を装着している状態)の場合(S502:On)、動作状況確認部2111が、表示制御情報として「VR画像表示」を設定する(S503)。さらに、動作状況確認部2111が、累積使用時間Tに、計時部2112で計測した経過時間tに第1係数αを乗じた値を加算して、累積使用時間Tを更新する(S504)。
 次いで、動作状況確認部2111が、累積使用時間Tが第三所定閾値Th3以上か否かを確認する(S505)。累積使用時間Tが第三所定閾値Th3以上の場合は(S505:Yes)、動作状況確認部2111が、表示可フラグFをOffに更新する(S506)。その後、処理を終了してメインルーチンに戻る。一方、累積使用時間Tが第三所定閾値Th3未満である場合は(S505:No)、メインルーチンに戻る。
 ステップS502において、装着フラグHが「Off」(ユーザU1が情報表示装置100を装着していない状態)の場合は(S502:Off)、動作状況確認部2111が、表示制御情報として「画像表示オフ」を設定する(S507)。さらに、動作状況確認部2111が累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S508)。
 次いで、動作状況確認部2111が、累積使用時間Tが0以下であるかを確認する(S509)。累積使用時間Tが0以下の場合(S509:Yes)、動作状況確認部2111が、累積使用時間Tの値を0に設定し(S510)、メインルーチンに戻る。一方、累積使用時間Tが0より大きければ(S509:No)、メインルーチンに戻る。
 ステップS501で、表示可フラグFが「Off」の場合(S501:Off)、動作状況確認部2111が、装着フラグH(装着状況確認部1111が検出したユーザU1の情報表示装置100装着状況)を確認する(S511)。装着フラグHが「On」(ユーザU1が情報表示装置100を装着している状態)の場合(S511:On)、動作状況確認部2111が、表示制御情報として「外界画像表示」を設定する(S512)。そして、動作状況確認部2111が、累積使用時間Tの値をそのまま保持して(更新しないで)(S513)、メインルーチンに戻る。
 ステップS511で装着フラグHが「Off」(ユーザU1が情報表示装置100を装着していない状態)の場合(S511:Off)、動作状況確認部2111が、表示制御情報として「画像表示オフ」を設定する(S514)。そして、動作状況確認部2111が、累積使用時間Tに、計時部2112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S515)。
 動作状況確認部2111は、累積使用時間Tが第一所定閾値Th1未満か否かを確認する(S516)。累積使用時間Tが第一所定閾値Th1未満の場合は(S516:Yes)、表示制御部1113が、表示可フラグFを「On」に更新し(S517)、メインルーチンに戻る。一方、累積使用時間Tが第一所定閾値Th1以上の場合は(S516:No)、メインルーチンに戻る。
 表示制御情報生成処理において、第一所定閾値Th1、第三所定閾値Th3、第1係数α、第2係数βは、携帯端末装置200のユーザが設定できるものであっても良い。
(スタンバイ状態)
 図9Cは、第二実施形態に係る、情報表示装置100がスタンバイ状態の際に携帯端末装置200で行われる処理の流れを示すフローチャートである。
 動作状況確認部2111が、情報表示装置100から使用終了情報を受信したか否かを確認する(S601)。使用終了情報を受信した場合は(S601:Yes)、情報表示装置100が使用状態から未使用状態へ移行し、ステップS602の処理へ進む。使用終了情報を受信していない場合は、(S601:No)、ステップS601の処理を繰り返し、情報表示装置100が使用状態を継続する。この場合、携帯端末装置200は、図9A及び図9Bの処理を行う。
 S602では、動作状況確認部2111が、ステップS601の処理で受信した使用終了情報に含まれる機器ID又はユーザIDに関連付けられた累積使用時間Tと表示可フラグFを、ストレージ210の使用状況情報DB211から読み込む(S602)。そして、動作状況確認部2111が、表示可フラグFを確認する(S603)。表示可フラグFが「On」(VR画像の表示が許容されている状態)の場合は(S603:On)、動作状況確認部2111が、累積使用時間Tに、計時部2112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S604)。
 動作状況確認部2111が、累積使用時間Tを確認する(S605)。累積使用時間Tが0以下の場合は(S605:Yes)、動作状況確認部2111が、累積使用時間Tの値を0に設定し(S606)、ステップS610の処理へ進む。累積使用時間Tが0より大きければ(S606:No)、ステップS610の処理に進む。
 ステップS603において表示可フラグFが「Off」(VR画像の表示が許容されていない状態)の場合は(S603:Off)、動作状況確認部2111が、累積使用時間Tに、計時部1112で計測した経過時間tに第2係数βを乗じた値を減算して、累積使用時間Tを更新する(S607)。
 動作状況確認部2111は、累積使用時間Tが第一所定閾値Th1未満か否かを確認する(S608)。累積使用時間Tが第一所定閾値Th1未満の場合は(S608:Yes)、動作状況確認部2111が、表示可フラグFを「On」に更新し(S609)、ステップS610の処理に進む。
 累積使用時間Tが第一所定閾値Th1以上の場合は(S608:No)、ステップS610の処理に進む。
 動作状況確認部2111は、情報表示装置100から使用開始情報を受信したか否かを確認する(S610)。使用開始情報を受信した場合は(S610:Yes)、情報表示装置100が未使用状態から使用状態へ移行する。以後、携帯端末装置200は、図9A及び図9Bの処理を行う。
 使用開始情報を受信していない場合は(S610:No)、ステップS603の処理に戻り、情報表示装置100が未使用状態を継続する。
 携帯端末装置200は、通常動作状態であってもスタンバイ状態であっても上記処理を行う。
(強制使用停止処理)
 図10は、強制使用停止処理に係る動作シーケンス図である。
 情報表示装置100の基本動作機能部1101は、操作入力装置120がユーザU1からの電源On操作(電源キーの押下操作等)を受け付けたか否かを確認する(S701)。電源On操作を受け付けた場合は(S701:Yes)、ステップS702の処理に進み、スタンバイ状態から通常動作状態へ移行する。電源On操作を受け付けていない場合は(S701:No)、ステップS701の処理を繰り返し、ユーザU1からの電源On操作の待ち受け状態(スタンバイ状態)を継続する。
 情報表示装置100の基本動作機能部1101が、情報表示装置100の使用開始情報を、通信I/F170を介して、携帯端末装置200に送信し(S702)、携帯端末装置200の動作状況確認部2111が、使用開始情報を通信I/F270を介して、情報表示装置100から受信する(S703)。使用開始情報は、情報表示装置100の機器IDまたは情報表示装置100使用ユーザのユーザIDを含む。
 そして、携帯端末装置200の動作状況確認部2111が、情報表示装置100の動作を制御する動作制御アプリを起動する(S704)。動作制御アプリは、RAM203に展開された動作制御部2113で構成される。
 情報表示装置100の基本動作機能部1101が、ユーザU1による情報表示装置100使用状況(装着状況やアプリの操作状況等)を確認し、使用状況情報として、通信I/F170を介して、携帯端末装置200に送信し(S705)、携帯端末装置200の動作状況確認部2111が、使用状況情報を、通信I/F270を介して、情報表示装置100から受信する(S706)。
 携帯端末装置200の動作制御部2113が、ディスプレイ231に、S706の処理で受信した使用状況情報を含む動作制御画面を表示する(S707)。本ステップの詳細は、図11A、図11Bを参照して後述する。
 携帯端末装置200の動作制御部2113は、操作入力装置220がユーザP1からの使用停止指示操作を受け付けたか否かを確認する(S708)。使用停止指示操作を受け付けた場合は(S708:あり)、携帯端末装置200の動作制御部2113が、使用停止情報を、通信I/F270を介して、情報表示装置100に送信する(S709)。使用停止指示操作を受け付けていない場合は(S708:なし)、使用停止情報の送信は行わない。
 情報表示装置100の表示制御部1113が、使用停止情報を、通信I/F170を介して、携帯端末装置200から受信したか否かを確認する(S710)。使用停止情報を受信していない場合(S710:No)、情報表示装置100の表示制御部1113が、ディスプレイ131にVR画像を表示する(S711)。一方、使用停止情報を受信した場合は(S710:Yes)、情報表示装置100の表示制御部1113が、ディスプレイ131に、アウトカメラ133により取得した外界画像を表示する(S712)。
 情報表示装置100の基本動作機能部1101は、操作入力装置120がユーザU1からの電源Off操作(電源キーの押下操作等)を受け付けたか否かを確認する(S713)。電源Off操作を受け付けた場合(S713:Yes)、情報表示装置100の基本動作機能部1101が、情報表示装置100の使用終了情報を、通信I/F170を介して、携帯端末装置200に送信する(S714)。使用終了情報は、情報表示装置100の機器IDまたは情報表示装置100使用ユーザのユーザIDを含む。その後、情報表示装置100はスタンバイ状態に移行する。
 携帯端末装置200の動作状況確認部2111が、情報表示装置100の使用終了情報を、通信I/F270を介して、情報表示装置100から受信すると(S715)、動作状況確認部2111が、情報表示装置100の動作を制御する動作制御アプリの動作を終了する(S716)。ステップS716では、RAM203に展開された動作制御部2113(動作制御アプリ)を解放する。
 ステップS713において、電源Off操作を受け付けていない場合は(S713:No)、ステップS705の処理に戻る。
(動作制御画面)
 図11A、図11Bは、動作制御画面例を示す図である。図12A、図12Bは、強制使用停止処理時における画面表示例を示す図である。
 携帯端末装置200は、ディスプレイ231とタッチパネル222を重ねて構成されたタッチスクリーン290を備える。ディスプレイ231には、ユーザU1の情報表示装置100の使用状況を報知するメッセージが表示される。
 メッセージ例として、図11Aでは、ユーザU1による情報表示装置100の連続使用時間が所定値を超えたことにより、警告メッセージ290M1が表示されている。また、図11Bでは、ユーザU1の情報表示装置100の使用状況を報知する報知メッセージ290M2が表示されている。更に、警告メッセージ290M1、及び報知メッセージ290M2に基づく操作をユーザP1に選択させるための操作ガイドメッセージ290M3も表示される。
 図11Aでは、操作ガイドメッセージ290M3と共に、ユーザP1に操作を選択させるための少なくとも一つ以上の選択キーが表示される。具体的には、メッセージ送信キー290K1、外界表示キー290K2、強制終了キー290K3、及びノーアクションキー290K4がタッチスクリーン290に表示される。
 図10のステップS708の処理において、ユーザP1がメッセージ送信キー290K1をタッチ操作すると、ステップS709の処理において、使用停止情報として、所定メッセージおよびメッセージ表示命令が送信される。所定メッセージは、ユーザが入力したものでも良いし、予め用意されたものでも良い。情報表示装置100は、例えば、図12Aに示すように、ディスプレイ131に表示中のVR画面に所定メッセージが重畳表示する。
 また、図10のステップS708の処理において、ユーザP1が外界表示キー290K2をタッチ操作すると、ステップS709の処理において、使用停止情報として、外界画像表示命令が送信される。情報表示装置100では、ディスプレイ131の表示をVR画面からアウトカメラ133により取得した外界画像に切り替える。画面切り替え前に、n秒後に画面切り替えを行う旨のメッセージを表示しても良い。図12Bは、携帯端末装置200から外界画像表示命令を受信した場合に表示される画面であり、VR画像を外界画像に切り替える処理を予告するメッセージが重畳されている。
 また、図10のステップS708の処理において、ユーザP1が強制終了キー290K3をタッチ操作すると、ステップS709の処理において、使用停止情報として、スタンバイ移行命令が送信される。情報表示装置100では、動作状態を通常動作状態からスタンバイ状態に移行させる。スタンバイ状態に移行する前に、n秒後にスタンバイ状態に移行する旨のメッセージを表示しても良い。
 また、図10のステップS708の処理において、ユーザP1がノーアクションキー290K4をタッチ操作すると、ステップS709の処理を行わない。
 本実施形態によれば、情報表示装置100のユーザU1とは異なるユーザP1が、携帯端末装置200から情報表示装置100に対して強制使用停止処理を実行することができる。これにより、例えば保護者が子の情報表示装置100の過度な使用を、自身(ユーザP1)が操作する携帯端末装置200から辞めさせることができる。その際、携帯端末装置200と情報表示装置100とを通信接続して強制使用停止処理を行うことができるので、ユーザU1の動きに干渉しない位置から情報表示装置100に強制使用停止処理を行わせることができる。これにより、ユーザU1とユーザP1との衝突を避けつつ強制使用停止をすることができる。
 本発明は、上記各実施形態に限定されるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
 また、発明の機能等は、それらの一部又は全部を、例えば集積回路や汎用プロセッサ、特定用途プロセッサで設計する等によりハードウェアで実装しても良い。プロセッサは、トランジスタやその他の回路を含み、circuitry又はprocessing circuitryとみなされる。また、マイクロプロセッサユニット、プロセッサ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。
 前記実施の形態は、以下の発明を含む。
 (付記1)
 ユーザの頭部に装着する情報表示装置であって、
 プロセッサと、
 ディスプレイと、
 装着センサと、
 アウトカメラと、
を備え、
 前記プロセッサは、
  前記情報表示装置の電源が投入されており、かつ前記装着センサがユーザに前記情報表示装置が装着されたことを検出すると、前記情報表示装置の累積使用時間をカウントアップし、前記累積使用時間が予め定めた累積使用限界閾値まで増加すると、前記ディスプレイに前記アウトカメラが撮像した現実世界の外界画像を表示し、
  前記装着センサが、前記ユーザから前記情報表示装置が取り外されたことを検出すると、前記ディスプレイの画面表示を停止すると共に前記累積使用時間をカウントダウンし、前記累積使用時間が予め定めた再開許可閾値まで減少すると、前記ディスプレイの画面表示を許容する、
 情報表示装置。
 (付記2)
 情報表示装置と、当該情報表示装置に通信接続された携帯端末装置とを含む情報表示システムであって、
 情報表示装置は、第1プロセッサと、第1ディスプレイと、装着センサと、携帯端末装置と通信するための第1通信機と、を備え、
 携帯端末装置は、第2プロセッサと、前記情報表示装置と通信するための第2通信機と、を備え、
 前記情報表示装置の前記第1プロセッサは、
  前記情報表示装置の使用が開始したことを示す使用開始情報と、前記装着センサが検出した前記情報表示装置の装着状況を示す装着状況情報と、を前記第1通信機から前記携帯端末装置に送信するための制御を実行し、
  前記第1通信機を介して前記携帯端末装置から前記第1ディスプレイの表示制御情報を受信すると、当該表示制御情報に基づいて、前記第1ディスプレイの表示制御を実行し、
 前記携帯端末装置の前記第2プロセッサは、
  前記第2通信機を介して前記使用開始情報及び前記装着状況情報を受信すると、前記使用開始情報及び前記装着状況情報に基づいて、前記情報表示装置の累積使用時間を算出し、前記累積使用時間に応じた前記第1ディスプレイの停止指示を実行させるための前記表示制御情報を生成し、
  前記第2通信機から前記情報表示装置に前記表示制御情報を送信するための制御を実行する、
 情報表示システム。
 (付記3)
 ユーザの頭部に装着する情報表示装置の表示制御方法であって、
 プロセッサが、
  情報表示装置の電源が投入されると、前記情報表示装置の累積使用時間をカウントアップするステップと、
  前記累積使用時間が予め定めた累積使用限界閾値まで増加すると、前記情報表示装置に現実世界の外界画像を表示するステップと、
  前記情報表示装置がユーザから取り外されると、前記情報表示装置の画面表示を停止すると共に前記累積使用時間をカウントダウンするステップと、
  前記累積使用時間が予め定めた再開許可閾値まで減ると、前記情報表示装置の画面表示を許容するステップと、を実行する、
 情報表示装置の表示制御方法。
1:情報表示システム、100:情報表示装置、101:プロセッサ、102:バス、103:RAM、110:ストレージ、112:計時部、120:操作入力装置、121:操作キー、122:タッチセンサ、122L:左タッチセンサ、130:画像処理部、131:ディスプレイ、131L:左ディスプレイ、131R:右ディスプレイ、132:画像信号処理部、133:アウトカメラ、133L:左アウトカメラ、133R:右アウトカメラ、134:インカメラ、140:音声処理部、141:音声出力部、141L:左ステレオスピーカ、142:音声信号処理部、143:マイク、150:位置情報取得部、160:センサ群、161:ジャイロセンサ、162:地磁気センサ、163:加速度センサ、164:装着センサ、165:深度センサ、165L:左深度センサ、165R:右深度センサ、170:通信I/F、171:LANI/F、172:BTI/F、180:拡張I/F、200:携帯端末装置、201:プロセッサ、202:バス、203:RAM、210:ストレージ、211:使用状況情報DB、220:操作入力装置、221:操作キー、222:タッチパネル、230:画像処理部、231:ディスプレイ、240:音声処理部、241:音声出力部、243:マイク、250:位置情報取得部、260:センサ群、270:通信I/F、271:LANI/F、272:BTI/F、273:電話網I/F、280:拡張I/F、290:タッチスクリーン、290K1:メッセージ送信キー、290K2:外界表示キー、290K3:強制終了キー、290K4:ノーアクションキー、290M1:警告メッセージ、290M2:報知メッセージ、290M3:操作ガイドメッセージ、300:サーバ、400:ネットワーク、1001:基本動作プログラム、1002:アプリケーションプログラム、1009:データ記憶領域、1101:基本動作機能部、1111:装着状況確認部、1112:計時部、1113:表示制御部、1199:一時記憶領域、2001:基本動作プログラム、2002:アプリケーションプログラム、2009:データ記憶領域、2101:基本動作機能部、2111:動作状況確認部、2112:計時部、2113:動作制御部、2199:一時記憶領域
 

Claims (15)

  1.  ユーザの頭部に装着する情報表示装置であって、
     プロセッサと、
     ディスプレイと、
     装着センサと、
     アウトカメラと、
    を備え、
     前記プロセッサは、
      前記情報表示装置の電源が投入されており、かつ前記装着センサがユーザに前記情報表示装置が装着されたことを検出すると、前記情報表示装置の累積使用時間をカウントアップし、前記累積使用時間が予め定めた累積使用限界閾値まで増加すると、前記ディスプレイに前記アウトカメラが撮像した現実世界の外界画像を表示し、
      前記装着センサが、前記ユーザから前記情報表示装置が取り外されたことを検出すると、前記ディスプレイの画面表示を停止すると共に前記累積使用時間をカウントダウンし、前記累積使用時間が予め定めた再開許可閾値まで減少すると、前記ディスプレイの画面表示を許容する、
     情報表示装置。
  2.  請求項1に記載の情報表示装置であって、
     前記累積使用時間は、所定期間内において前記情報表示装置が使用された時間の累積値、又は前記情報表示装置が連続使用された時間の累積値である、
     情報表示装置。
  3.  請求項1に記載の情報表示装置であって、
     タイマを更に備え、
     前記プロセッサは、前記累積使用時間のカウントアップをする際に、前記タイマが計測した実測値に所定の第1係数を乗算した値を用いる、
     情報表示装置。
  4.  請求項3に記載の情報表示装置であって、
     前記プロセッサは、前記ディスプレイの表示内容に応じて前記第1係数を決定する、
     情報表示装置。
  5.  請求項1に記載の情報表示装置であって、
     タイマを更に備え、
     前記プロセッサは、前記累積使用時間のカウントダウンをする際に、前記タイマが計測した実測値に所定の第2係数を乗算した値を用いる、
     情報表示装置。
  6.  請求項5に記載の情報表示装置であって、
     前記プロセッサは、前記情報表示装置のユーザが前記情報表示装置を取り外している間の生体情報を外部機器から取得し、当該生体情報に応じて前記第2係数を決定する、
     情報表示装置。
  7.  請求項1に記載の情報表示装置であって、
     前記プロセッサは、
     前記累積使用時間が前記累積使用限界閾値よりも短い時間を示す警告開始閾値まで増加すると、前記ディスプレイに表示中の仮想現実画像に前記外界画像を重畳して表示する、
     情報表示装置。
  8.  請求項7に記載の情報表示装置であって、
     タイマを更に備え、
     前記プロセッサは、前記累積使用時間のカウントアップをする際に、前記タイマが計測した実測値に所定の係数を乗算した値を用い、
     前記累積使用時間の計測を開始してから前記警告開始閾値までに用いる前記係数である第1係数の値は、前記警告開始閾値から前記累積使用限界閾値までに用いる前記係数である第3係数は前記第1係数の値よりも大きい、
     情報表示装置。
  9.  請求項7に記載の情報表示装置であって、
     前記プロセッサは、前記累積使用時間が前記累積使用限界閾値に近づくにつれて、前記外界画像を前記ディスプレイにより鮮明に重畳させる、
     情報表示装置。
  10.  請求項1に記載の情報表示装置であって、
     前記プロセッサは、ユーザ識別情報毎に前記累積使用時間の計測及び保存を行う、
     情報表示装置。
  11.  情報表示装置と、当該情報表示装置に通信接続された携帯端末装置とを含む情報表示システムであって、
     情報表示装置は、第1プロセッサと、第1ディスプレイと、装着センサと、携帯端末装置と通信するための第1通信機と、を備え、
     携帯端末装置は、第2プロセッサと、前記情報表示装置と通信するための第2通信機と、を備え、
     前記情報表示装置の前記第1プロセッサは、
      前記情報表示装置の使用が開始したことを示す使用開始情報と、前記装着センサが検出した前記情報表示装置の装着状況を示す装着状況情報と、を前記第1通信機から前記携帯端末装置に送信するための制御を実行し、
      前記第1通信機を介して前記携帯端末装置から前記第1ディスプレイの表示制御情報を受信すると、当該表示制御情報に基づいて、前記第1ディスプレイの表示制御を実行し、
     前記携帯端末装置の前記第2プロセッサは、
      前記第2通信機を介して前記使用開始情報及び前記装着状況情報を受信すると、前記使用開始情報及び前記装着状況情報に基づいて、前記情報表示装置の累積使用時間を算出し、前記累積使用時間に応じた前記第1ディスプレイの停止指示を実行させるための前記表示制御情報を生成し、
      前記第2通信機から前記情報表示装置に前記表示制御情報を送信するための制御を実行する、
     情報表示システム。
  12.  請求項11の情報表示システムであって、
     前記携帯端末装置は、第2ディスプレイを更に備え、
     前記携帯端末装置の前記第2プロセッサは、
      前記使用開始情報を受信した際に前記情報表示装置がユーザに装着されていることを示す前記装着状況情報を受信すると、前記累積使用時間をカウントアップし、前記累積使用時間が予め定めた累積使用限界閾値まで増加すると、少なくとも一つ以上の前記停止指示を前記第2ディスプレイに表示し、ユーザからいずれか一つの前記停止指示の選択を受け付けると、選択された前記停止指示を実行するための前記表示制御情報を生成する、
     情報表示システム。
  13.  請求項12の情報表示システムであって、
     前記情報表示装置は、アウトカメラを更に備え、
     前記停止指示は、前記第1ディスプレイに前記アウトカメラが撮像した外界画像を表示する指示である、
     情報表示システム。
  14.  請求項12の情報表示システムであって、
     前記停止指示は、前記第1ディスプレイにメッセージを重畳表示する指示、及び前記第1ディスプレイの表示を強制終了させる指示の少なくとも一つを含む、
     情報表示システム。
  15.  ユーザの頭部に装着する情報表示装置の表示制御方法であって、
     プロセッサが、
      情報表示装置の電源が投入されると、前記情報表示装置の累積使用時間をカウントアップするステップと、
      前記累積使用時間が予め定めた累積使用限界閾値まで増加すると、前記情報表示装置に現実世界の外界画像を表示するステップと、
      前記情報表示装置がユーザから取り外されると、前記情報表示装置の画面表示を停止すると共に前記累積使用時間をカウントダウンするステップと、
      前記累積使用時間が予め定めた再開許可閾値まで減ると、前記情報表示装置の画面表示を許容するステップと、を実行する、
     情報表示装置の表示制御方法。
     
PCT/JP2024/007560 2024-02-29 2024-02-29 情報表示装置、情報表示システム、及び情報表示装置の表示制御方法 Pending WO2025182014A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/007560 WO2025182014A1 (ja) 2024-02-29 2024-02-29 情報表示装置、情報表示システム、及び情報表示装置の表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/007560 WO2025182014A1 (ja) 2024-02-29 2024-02-29 情報表示装置、情報表示システム、及び情報表示装置の表示制御方法

Publications (1)

Publication Number Publication Date
WO2025182014A1 true WO2025182014A1 (ja) 2025-09-04

Family

ID=96920206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/007560 Pending WO2025182014A1 (ja) 2024-02-29 2024-02-29 情報表示装置、情報表示システム、及び情報表示装置の表示制御方法

Country Status (1)

Country Link
WO (1) WO2025182014A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108513A (ja) * 2000-07-27 2002-04-12 Olympus Optical Co Ltd 表示システムおよびディスプレイ装置
JP2003076353A (ja) * 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
JP2007105313A (ja) * 2005-10-14 2007-04-26 Snk Playmore Corp ゲーム機およびゲームプログラム
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2021089351A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 頭部装着システム及び情報処理装置
US20220068239A1 (en) * 2020-08-28 2022-03-03 Samsung Display Co., Ltd. Head mounted display device and driving method thereof
US20220217325A1 (en) * 2021-01-05 2022-07-07 Samsung Electronics Co., Ltd. Electronic device for displaying content and method of operation thereof
WO2024024611A1 (ja) * 2022-07-27 2024-02-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲームプレイ制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108513A (ja) * 2000-07-27 2002-04-12 Olympus Optical Co Ltd 表示システムおよびディスプレイ装置
JP2003076353A (ja) * 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
JP2007105313A (ja) * 2005-10-14 2007-04-26 Snk Playmore Corp ゲーム機およびゲームプログラム
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2021089351A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 頭部装着システム及び情報処理装置
US20220068239A1 (en) * 2020-08-28 2022-03-03 Samsung Display Co., Ltd. Head mounted display device and driving method thereof
US20220217325A1 (en) * 2021-01-05 2022-07-07 Samsung Electronics Co., Ltd. Electronic device for displaying content and method of operation thereof
WO2024024611A1 (ja) * 2022-07-27 2024-02-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲームプレイ制御方法

Similar Documents

Publication Publication Date Title
CN115066721B (zh) 头戴式显示器装置
US10359806B2 (en) Pressure sensing to identify fitness and comfort of virtual reality headset
US20180288391A1 (en) Method for capturing virtual space and electronic device using the same
JP6547741B2 (ja) 情報処理システムおよび情報処理方法
JP2015156610A (ja) 電子機器、および電源制御方法
JP7416048B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104618712A (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
EP4131973A1 (en) Method and apparatus for processing live-streaming data
KR102335910B1 (ko) 전원 제어 방법 및 장치
EP4386519A1 (en) Electronic device with centralized user experience manager
CN204442580U (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
WO2017006640A1 (ja) 情報処理装置、表示装置、情報処理方法及びプログラム
CN115086737A (zh) 数据处理方法、装置、电子设备及存储介质
KR20200112837A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20240028114A1 (en) Eye monitoring system and method
WO2019064872A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019133385A (ja) 電子機器、制御方法及びプログラム
JP2019092216A (ja) 情報処理装置、情報処理方法及びプログラム
CN119011801A (zh) 视疲劳缓解方法、装置、计算机设备及存储介质
CN109089098A (zh) 虚拟现实装置及虚拟现实装置的操作方法
CN203720703U (zh) 一种穿戴式电子设备
WO2019082527A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114153361A (zh) 界面显示方法、装置、终端及存储介质
US10288883B2 (en) Head-mounted display
JP7260673B2 (ja) 映像表示装置及び映像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24927294

Country of ref document: EP

Kind code of ref document: A1