WO2017079903A1 - 一种头戴式显示设备及其显示方法 - Google Patents
一种头戴式显示设备及其显示方法 Download PDFInfo
- Publication number
- WO2017079903A1 WO2017079903A1 PCT/CN2015/094215 CN2015094215W WO2017079903A1 WO 2017079903 A1 WO2017079903 A1 WO 2017079903A1 CN 2015094215 W CN2015094215 W CN 2015094215W WO 2017079903 A1 WO2017079903 A1 WO 2017079903A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- processor
- display device
- head
- mounted display
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
Definitions
- the present application relates to the field of head-mounted display devices, and in particular, to a head-mounted display device that can recognize whether a user is in a sleep state and can adjust the brightness of a display screen.
- HMD Head Mount Display
- the user's line of sight is in an enclosed space, which is an immersive experience in an all-black environment.
- the user may go to sleep during use, and the device display is still in bright working condition.
- the user wakes up it is very difficult to adapt to a very bright display when he wakes up, and the damage to the eyes is very large. Therefore, how to adjust the brightness of the display screen when the user enters the sleep state becomes a technical problem that needs to be solved.
- a head mounted display device the head mounted display device includes a headband, a display portion, and two earphone portions; Two earphone portions are connected, and two ends of the display portion are also respectively connected to the two earphone portions; the display portion has a display screen for the user to view, and the earphone portion is provided with a speaker;
- the head mounted display device further includes a pressure sensor, a processor, and a camera, the pressure sensor being disposed at a position where the head mounted display device is placed on the user's head and is in contact with the user's head, the camera setting
- the display screen, the pressure sensor, and the camera are electrically connected to the processor on a side of the display portion where the display screen is disposed; when the head mounted display device is worn on a user's head
- the pressure sensor is subjected to pressure from a user's head to generate a pressure signal, and the processor determines, according to the pressure signal generated by the pressure sensor, that the head mounted display device has been worn to
- the head captures a specific part of the user's head to generate image information; the processor analyzes the image information to determine whether the user enters a sleep state; and when the processor determines that the user enters a sleep state, adjusting the The brightness of the display.
- the present invention further provides another technical solution: a display method of a head mounted display device, the head mounted display device includes a display screen, a processor, a camera, and a setting for viewing by a user
- the head-mounted display device is worn on a user's head and is in a position to be in contact with the user's head.
- the pressure sensor, the camera and the display screen are electrically connected to the processor;
- the method includes the steps of: detecting, by the processor, whether the pressure sensor senses a pressure signal; if the detection result is yes, determining that the head mounted display device has been worn on a user's head, and controlling the The camera captures a specific part of the user's head to generate image information; analyzes the image information by using the processor to determine whether the user enters a sleep state; and when the processor determines that the user enters a sleep state, the adjustment The brightness of the display screen.
- [0007] 1) can identify whether the user wears the HMD
- the brightness of the screen can be controlled by identifying whether the user is in a sleep state.
- FIG. 1 is a schematic structural diagram of a head-mounted display device according to an embodiment of the present invention.
- FIG. 2 is a flowchart of a display method of a head mounted display device according to an embodiment of the present invention.
- FIG. 3 is a flowchart of a display method of a head mounted display device according to another embodiment of the present invention.
- an embodiment of the present invention provides a head mounted display device including a headband 1, two earphone portions 3, and a display portion 2. Both ends of the headband are respectively connected to the two earphone portions 3, and both ends of the display portion 2 are also connected to the two earphone portions 3, respectively. Further, the headband 1 and the support portion 4 are fixed to each other, and the display portion 2 and the support portion 4 are relatively rotatable. Inside the display portion 2, there is a display screen for the user to view, and the earphone portion is provided with a speaker for playing an image corresponding to the image, such as voice, music, etc., on the image on the display screen.
- the head mounted display device further includes a pressure sensor 5, a processor and a camera, and the pressure sensor 5 is disposed at a position where the head mounted display device is placed on the user's head and is in contact with the user's head, for example, pressure
- the sensor may be disposed on the earphone portion that is in contact with the user's ear, or on the display portion that is in contact with the user's face, or on the headband that is in contact with the user's head.
- the camera is disposed on a side of the display portion provided with a display screen, and the display screen, the pressure sensor and the camera are electrically connected to the processor.
- the present invention also provides a head-mounted display device display method corresponding to the above-described head mounted display device.
- 2 and 3 show a flow chart of two embodiments of the display method of the head mounted display device. Embodiments of the above-described display method of the head mounted display device will be described in detail below.
- the pressure sensor when the head mounted display device is worn on the user's head, the pressure sensor is subjected to pressure from a user's face, head or ear to generate a pressure signal, and the processor generates the pressure sensor according to the pressure sensor
- the pressure signal determines that the head mounted display device has been worn on the user's head, thereby starting the HMD and causing the display screen to display at normal brightness, and based on the determination, controlling the camera to capture the user's eye area to generate an image.
- the processor analyzes the image information to determine whether the user enters a sleep state; when the processor determines that the user enters a sleep state, adjusting the brightness of the display screen Degree.
- the portion where the display portion is in contact with the user's face, or the portion of the headband that is in contact with the user's head, or the earphone portion A pressure sensor on a portion of the user's ear that senses pressure from a user's face, or head, or ear, generates a pressure signal, and transmits the pressure signal to the processor, and the processor determines the user based on the pressure signal.
- the head-mounted display device has been worn to activate the HMD and display the display screen at normal brightness, and based on the determination, the camera is controlled to capture the user's eye area, and the image recognition is used to determine whether the user's eyes are open or closed.
- a memory is further integrated on the processor.
- the processor recognizes that the user has worn the head mounted display device, the processor controls the camera to shoot the eye area of the user within a certain period, and then, the camera will capture the image.
- the picture information is transmitted to the processor, and the processor recognizes that the user's eyes are open or closed by comparing the captured picture information with the image data stored in the memory.
- the image data of the eyeball is stored in the memory. Because the colors of the eyeball and the eyelid are different, the processor compares the captured image with the image data inside the memory, if the color of the eye region image is the same as the image inside the memory.
- the picture stored in the memory may also be a picture of the eyelid, and the processor compares the captured picture with the picture data inside the memory. If the color of the picture in the eye area is the same as the picture inside the memory, the user determines the user. Close your eyes, if it is different, judge the user to open your eyes. More specifically, for example, the processor controls the camera to shoot the user within each predetermined shooting period T1, and after the first shooting, the picture is transmitted to the processor, and the processor determines that the picture is the user's eyelid area. After T1, the camera once again photographs the user's eye area, and the picture is transmitted to the processor.
- the processor determines that the picture is the user's eyeball area, the processor determines that the user's eyes are open and determines that the user is awake. If the processor determines that the picture is the user's eyelid area, it is determined that the user's eyes are closed to determine that the user has entered a sleep state. The purpose of the two comparisons is to prevent the user from being caught by the camera during use and to avoid false positives.
- the above-mentioned shooting period T1 is preferably larger than the average interval T of the blink (according to statistics, a normal person usually blinks every 2-6 seconds), and can be selected to be greater than T to 20T, that is, (T, 20 ⁇ ) , ie (2s ' 12 0s); preferably (4T, 10T), ie (8s, 60s).
- the change period is T2, and ⁇ 2 is smaller than ⁇ , preferably ⁇ 2
- T2 can be 0.5 seconds, 1 second, 1.5 seconds, so that the user's eyes are photographed twice as above, and when it is judged that the eyes are not closed, the user is judged not to go to sleep.
- the shooting cycle is changed back to T1; when it is judged that the user's eyes are closed twice, it is determined that the user enters a sleep state. In this way, both the power consumption can be reduced, and the accuracy of determining whether the user enters the sleep state can be improved.
- the processor may also recognize that the user's eyes are open or closed by dynamic capture.
- the processor controls the camera to take a picture of a set of user's eye areas during each shooting cycle T3 and analyzes a set of pictures. Specifically, if the captured image of the eye area is a relatively dynamic picture, that is, the eye area in the set of pictures is substantially different (the person blinks during a certain period of time), the user's eyes are determined to be Identify that the user is awake. If the captured image of the eye area is a relatively static picture, that is, the eye area of the set of pictures is substantially the same, it is determined that the user's eyes have been closed, thereby recognizing that the user has entered a sleep state.
- the processor can also recognize whether the user's eyes are open or closed by optical reflection to determine whether the user has entered a sleep state. Specifically, when the user is using the HMD, the light of the display screen reaches the user's eyeball, and the light is reflected by the camera. The light reflected back by the camera is captured by the camera. Because the reflectance of the eyeball and the eyelid is different, it is reflected back from the user. The light intensity is different. Therefore, when the reflected light is captured by the camera, the processor analyzes the light intensity.
- a memory is integrated in the processor, and the memory stores data related to the reflectance of the eyeball and the eyelid light, so when the light data is transmitted to the processor, the processor calls the data in the memory and compares the transmitted data.
- the camera can capture the reflected light once, for example, within a predetermined capture period T4.
- the camera captures the reflected light in half during the two capture periods T4, and analyzes the reflected light for the eyelid reflection twice, thereby determining that the user's eyes are closed, thereby determining that the sleep state is entered.
- the above-mentioned capture period T4 is preferably greater than the average blink interval T (according to statistics, a normal person usually blinks every 2-6 seconds), and can be selected to be between T and 20T, that is, (T, 20 ⁇ ) , ie (2s ' 12 0s); preferably (4T, 10T), ie (8s, 60s). More preferably, when the result of the two captures and analysis is that the user is in a state of closed eyes, the capture period is T5, and ⁇ 5 is smaller than ⁇ , preferably, ⁇ 2 may be 0.5 seconds, 1 second, 1.5 seconds, Shoot the user's eyes twice in the same way, and judge the eyes to be closed at any time.
- the shooting period is changed back to T4; when it is judged that the user's eyes are closed twice, it is determined that the user enters the sleep state. In this way, both the power consumption can be reduced, and the accuracy of determining whether the user enters the sleep state can be improved.
- the control processor controls the normal brightness of the display screen.
- the display screen automatically darkens and continues to work. Ensure that the user is not irritated by strong light when waking up and blinking, which makes the senses uncomfortable and causes damage to the eyes.
- the processor can detect that the user has woken up by image recognition, dynamic capture or light reflection, etc., thereby controlling the brightness of the display to gradually return to normal.
- the processor controls the HM D to enter a sleep state and the display screen is turned off.
- the processor detects that the user is awake, wakes up the device and continues to restore brightness to the display, but the display brightness is darker than normal, and then the display brightness gradually returns to normal.
- the processor controls the HMD to enter a sleep state, and the display screen is closed, so that the display portion is dark.
- the user wakes up, there is no light source in the display portion, so the camera cannot be recognized by the image.
- User information is obtained by means of dynamic capture or light reflection.
- a high-sensitivity piezoelectric sensor is disposed at a portion where the display portion is in contact with the user's forehead, and the piezoelectric sensor is not activated when the user is awake and normally uses the HMD, and is activated when the processor recognizes that the user is in a sleep state.
- Piezoelectric sensor when the user wakes up and blinks, this way, the eye drives the muscles of the forehead to shake, triggering the piezoelectric sensor, so that the piezoelectric sensor obtains the corresponding signal and transmits it to the processor, and the processor detects the user's eyes. Oh, thus recognizing that the user has woken up.
- the camera in the display portion senses the ambient brightness in the direction of the display portion, thereby immediately returning the brightness of the display screen of the device to normal. This allows the user to continue to view the device display normally while quickly adapting to the brightness of the external environment. Or pass the device to another user, which does not affect the normal viewing experience of other users. If the external environment is still dark, such as when the lights are turned off at night, the display will gradually lighten instead of returning to normal brightness immediately.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种头戴式显示设备，其包括头带(1)、显示部(2)和两个耳机部(3)；所述头带(1)的两端分别与所述两个耳机部(3)连接，所述显示部(2)的两端也分别与所述两个耳机部(3)连接；所述显示部(2)一侧有用于供用户观看的显示屏，所述耳机部（3）中设有扬声器；所述头戴式显示设备还包括压力传感器(5)、处理器和摄像头，所述压力传感器(5)设置在当所述头戴式显示设备被戴到用户头上时能够与用户的头部接触的位置，所述摄像头设置在所述显示部(2)的设有所述显示屏的一侧，所述显示屏、压力传感器(5)及摄像头均与所述处理器电性连接。
Description
说明书 发明名称：一种头戴式显示设备及其显示方法 技术领域
[0001] 本申请涉及头戴式显示设备领域， 具体地， 涉及一种可识别用户是否处于睡眠 状态并可调整显示屏亮度的头戴式显示设备。
背景技术
[0002] 通常， 用户在使用沉浸式头戴式显示设备 （HMD , Head Mount Display) 曰寸， 用户的视线处于一个封闭的空间内， 是一种全黑环境中的沉浸式体验。 有吋候 用户可能在使用过程中进入睡眠状态， 这吋候设备显示屏还是处于明亮的工作 状态。 当用户睡醒吋， 刚醒来吋就适应很亮的显示屏会很难受， 而且对眼睛损 伤非常大。 因此， 如何在用户进入睡眠状态吋对显示屏的亮度进行调整成为一 个亟需解决的技术问题。
技术问题
[0003] 本发明的目的在于提供一种可以检测用户是否进入睡眠状态并根据用户是否进 入睡眠状态控制显示屏亮度的头戴式显示设备。
问题的解决方案
技术解决方案
[0004] 本发明的一种技术方案为： 一种头戴式显示设备， 所述头戴式显示设备包括头 带、 显示部和两个耳机部； 所述头带的两端分别与所述两个耳机部连接， 所述 显示部的两端也分别与所述两个耳机部连接； 所述显示部一侧有用于供用户观 看的显示屏， 所述耳机部中设有扬声器； 所述头戴式显示设备还包括压力传感 器、 处理器和摄像头， 所述压力传感器设置在当所述头戴式显示设备被戴到用 户头上吋能够与用户的头部接触的位置， 所述摄像头设置在所述显示部的设有 所述显示屏的一侧， 所述显示屏、 压力传感器及摄像头均与所述处理器电性连 接； 当所述头戴式显示设备被戴到用户头上吋， 所述压力传感器受到来自用户 头部的压力而产生压力信号， 所述处理器根据所述压力传感器产生的压力信号 判断所述头戴式显示设备已经被戴到用户头上， 并基于该判断而控制所述摄像
头对用户头部的特定部位进行拍摄， 产生图像信息； 所述处理器对所述图像信 息进行分析， 从而判断用户是否进入睡眠状态； 当所述处理器判断用户进入睡 眠状态吋， 调节所述显示屏的亮度。
[0005] 本发明还提供了另一个技术方案： 一种头戴式显示设备的显示方法， 所述头戴 式显示设备包括用于供用户观看的显示屏、 处理器、 摄像头、 以及设置在当所 述头戴式显示设备被戴到用户头上吋能够与用户的头部接触的位置的压力传感 器， 所述压力传感器、 摄像头及显示屏均与所述处理器电性连接； 其特征在于 ， 所述方法包括以下步骤： 使用所述处理器检测所述压力传感器是否感受到压 力信号； 如果上述检测结果为是， 则判断所述头戴式显示设备已经被戴到用户 头上， 并控制所述摄像头对用户头部的特定部位进行拍摄， 产生图像信息； 使 用所述处理器对所述图像信息进行分析， 从而判断用户是否进入睡眠状态； 当 所述处理器判断用户进入睡眠状态吋， 调节所述显示屏的亮度。
发明的有益效果
有益效果
[0006] 本发明的有益效果为：
[0007] 1) 可识别用户是否佩戴 HMD;
[0008] 2) 在用户使用 HMD的过程中， 可识别用户是否进入睡眠状态；
[0009] 3) 在用户使用 HMD的过程中， 可通过识别用户是否处于睡眠状态从而控制屏 幕的亮度。
对附图的简要说明
附图说明
[0010] 图 1为本发明的一个实施例提供的一种头戴式显示设备的结构示意图。
[0011] 图 2为本发明的一个实施例提供的一种头戴式显示设备的显示方法的流程图。
[0012] 图 3为本发明的另一个实施例提供的一种头戴式显示设备的显示方法的流程图
本发明的实施方式
[0013] 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例 ， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用 以解释本发明， 并不用于限定本发明。
[0014] 需要说明的是， 当元件被称为 "固定于"或"设置于"另一个元件， 它可以直接在 另一个元件上或者可能同吋存在居中元件。 当一个元件被称为"连接于 "另一个元 件， 它可以是直接连接到另一个元件或者可能同吋存在居中元件。
[0015] 还需要说明的是， 本实施例中的左、 右、 上、 下等方位用语， 仅是互为相对概 念或是以产品的正常使用状态为参考的， 而不应该认为是具有限制性的。
[0016] 如图 1所示， 本发明的一个实施例提供一种头戴式显示设备， 其包括头带 1、 两 个耳机部 3和显示部 2。 头带的两端分别与两个耳机部 3连接， 所述显示部 2的两 端也分别与所述两个耳机部 3连接。 另外， 头带 1与支撑部 4相互固定， 显示部 2 和支撑部 4可以相对旋转。 所述显示部 2内侧有用于供用户观看的显示屏， 所述 耳机部中设有扬声器， 用于在用户观看显示屏上的图像吋播放与图像对应的音 频信号， 如语音、 音乐等。
[0017] 头戴式显示设备还包括压力传感器 5、 处理器和摄像头， 压力传感器 5设置在当 头戴式显示设备被戴到用户头上吋能够与用户的头部接触的位置， 例如， 压力 传感器可设置在与用户耳朵接触的耳机部上、 或是与用户脸部接触的显示部上 、 或是与用户头部接触的头带上。 摄像头设置在显示部的设有显示屏的一侧， 显示屏、 压力传感器及摄像头均与所述处理器电性连接。
[0018] 本发明还提供了与上述头戴式显示设备对应的头戴式显示设备显示方法。 图 2 及图 3显示了所述头戴式显示设备显示方法的两个实施例的流程图。 以下对所述 头戴式显示设备显示方法的实施例进行详细说明。
[0019] 当所述头戴式显示设备被戴到用户头上吋， 所述压力传感器受到来自用户脸部 、 头部或耳朵的压力而产生压力信号， 所述处理器根据所述压力传感器产生的 压力信号判断所述头戴式显示设备已经被戴到用户头上， 从而启动 HMD并使显 示屏以正常亮度显示， 并基于该判断而控制所述摄像头对用户眼部区域进行拍 摄， 产生图像信息； 所述处理器对所述图像信息进行分析， 从而判断用户是否 进入睡眠状态； 当所述处理器判断用户进入睡眠状态吋， 调节所述显示屏的亮
度。
[0020] 在一个实施例， 当用户戴上头戴式显示设备吋， 设置在显示部与用户脸部接触 的部位、 或是在头带上与用户头部接触的部位、 或是在耳机部上于用户耳朵接 触的部位的压力传感器感测到来自用户脸部、 或头部、 或耳朵处的压力而产生 压力信号， 并将该压力信号传递至处理器， 处理器根据这个压力信号判断用户 已经戴上头戴式显示设备， 从而启动 HMD并使显示屏以正常亮度显示， 并基于 该判断控制摄像头对用户眼部区域进行拍摄， 并通过图像识别判断用户眼睛是 张幵或合闭。 具体地， 在处理器上还集成有存储器， 当处理器识别到用户已经 佩戴上头戴式显示设备吋， 处理器控制摄像头在一定周期内对用户的眼部区域 进行拍摄， 之后， 将拍摄到的图片信息传输至处理器， 处理器通过将拍摄到的 图片信息和储存在存储器内部的图像数据进行比对， 从而识别用户眼睛是张幵 或合闭。 例如， 存储器内部存储有眼球的图片数据， 由于眼球和眼皮的颜色不 同， 因此处理器将拍摄得到的图片与存储器内部的图片数据进行比对， 若是眼 部区域图片的颜色与存储器内部的图片相同， 则判定用户张幵眼睛， 若是不同 ， 则判定用户闭上眼睛。 另外， 存储器内部存储的图片也可为眼皮的图片， 处 理器将拍摄得到的图片与存储器内部的图片数据进行比对， 若是眼部区域图片 的颜色与存储器内部的图片相同， 贝 1」判定用户闭上眼睛， 若是不同， 则判定用 户张幵眼睛。 更具体地， 比如处理器控制摄像头在每个预定的拍摄周期 T1内对 用户进行拍摄， 在第一次拍摄后， 图片被传输至处理器， 此吋处理器判定图片 是用户的眼皮区域。 T1吋间后， 摄像头再一次对用户眼部区域进行拍摄， 图片 被传输至处理器， 若是此吋处理器判定图片为用户眼球区域， 则处理器判定用 户眼睛张幵从而判定用户处于清醒状态， 若此吋处理器判定图片为用户眼皮区 域， 则判定用户眼睛合闭从而判定用户进入睡眠状态。 两次比对的目的是为了 防止用户在使用过程中眨眼吋被摄像头所捕捉， 避免出现误判的情况。
[0021] 为了节省功耗， 上述拍摄周期 T1优选大于眨眼平均间隔 T (据统计， 正常人通 常每 2-6秒眨眼一次） ， 可选择在大于 T至 20T之间， 即 （T， 20Τ) ， 即 (2s ' 12 0s) ； 优选 （4T， 10T) ， 即 （8s， 60s) 。 更优选地， 当两次拍摄并分析的结果 都是用户处于闭眼的状态吋， 更变拍摄周期为 T2， 并且 Τ2小于 Τ， 优选地 Τ2可
在 0秒至 2秒之间， 更优选地， T2可为 0.5秒、 1秒、 1.5秒， 如此再同上拍摄两次 用户眼睛， 当任一次判断眼睛未闭合吋， 判断用户未进入睡眠状态， 拍摄周期 更变回 T1 ; 当两次都判断用户眼睛闭合吋， 才判定用户进入睡眠状态。 如此的 方式， 既能降低功耗， 也能提高判断用户是否进入睡眠状态的准确率。
[0022] 在另一个实施例中， 处理器还可以通过动态捕捉识别用户眼睛张幵或闭上。 处 理器控制摄像头在每个拍摄周期 T3内拍摄一组用户眼睛区域的图片， 并对一组 图片进行分析。 具体地， 如若捕捉到的眼部区域的图片为一组相对动态的图片 ， 即这一组图片中眼部区域基本不同 （人在一定吋间周期会眨眼） ， 则判定用 户眼睛张幵， 从而识别用户处于清醒状态。 如若捕捉到的眼部区域的图片为一 组相对静止的图片， 即这一组图片中眼部区域基本相同， 则判定用户眼睛已经 闭上， 从而识别用户进入睡眠状态。 在其他的实施例中， 处理器还可以通过光 线反射识别用户眼睛是张幵或合闭， 从而判定用户是否进入睡眠状态。 具体地 ， 当用户在使用 HMD吋， 显示屏的光线到达用户眼球吋会进行部分反射， 此吋 反射回去的光线被摄像头所捕捉， 由于眼球与眼皮的反射率不同， 因此从用户 处反射回去的光线强度不同。 因此， 当反射回去的光线被摄像头所捕捉， 处理 器对光线强度进行分析。 在处理器里集成有存储器， 存储器里存储有眼球和眼 皮光线反射率的相关数据， 因此当光线数据传输至处理器后， 处理器调用存储 器内的数据并对传输而来的数据进行比对分析， 从而确定光线是由眼球反射而 来或是由眼皮反射而来。 更具体地， 摄像头可以例如在预定的捕捉周期 T4内捕 捉一次反射光。 而只进行一次比对无法得知用户是否处于睡眠状态， 因为不排 除用户在眨眼吋由眼皮反射回去的光被摄像头所捕捉。 因此， 摄像头在两个捕 捉周期 T4内分半对反射光进行捕捉， 当两次均分析出反射光为眼皮反射而来， 从而判定用户眼睛合闭， 从而判定进入睡眠状态。
[0023] 为了节省功耗， 上述捕捉周期 T4优选大于眨眼平均间隔 T (据统计， 正常人通 常每 2-6秒眨眼一次） ， 可选择在大于 T至 20T之间， 即 （T， 20Τ) ， 即 (2s ' 12 0s) ； 优选 （4T， 10T) ， 即 （8s， 60s) 。 更优选地， 当两次捕捉并分析的结果 都是用户处于闭眼的状态吋， 更变捕捉周期为 T5， 并且 Τ5小于 Τ， 优选地， Τ2可 为 0.5秒、 1秒、 1.5秒， 如此再同上拍摄两次用户眼睛， 当任一次判断眼睛未闭
合吋， 判断用户未进入睡眠状态， 拍摄周期更变回 T4; 当两次都判断用户眼睛 闭合吋， 才判定用户进入睡眠状态。 如此的方式， 既能降低功耗， 也能提高判 断用户是否进入睡眠状态的准确率。
[0024] 如图 2所示， 当处理器识别到用户未进入睡眠状态吋， 控制处理器则控制显示 屏正常亮度播放， 当处理器检测到用户睡着后， 显示屏自动变暗继续工作， 保 证用户在醒来睁幵眼睛的吋候不受强光刺激而使得感官难受和对眼睛造成伤害 。 当用户醒来后， 处理器可以通过图像识别、 动态捕捉或光线反射等检测到用 户已经醒来， 从而控制显示屏亮度逐渐恢复到正常。
[0025] 如图 3所示， 在另一个实施例中， 当处理器检测到用户睡着后， 处理器控制 HM D进入休眠状态并且显示屏关闭。 当处理器检测到用户醒来吋， 唤醒设备并继续 使显示屏恢复亮度， 但此吋显示屏亮度比正常暗， 然后显示屏亮度逐渐恢复到 正常。 具体地， 当处理器检测到用户睡着后， 处理器控制 HMD进入休眠状态， 此吋显示屏关闭， 因而显示部内一片漆黑， 当用户醒来吋， 显示部内没有光源 ， 因此摄像头无法用图像识别、 动态捕捉或是光线反射等方式获得用户信息。 此吋， 通过在显示部与用户额头接触的部位设置一个高灵敏度的压电传感器， 压电传感器在用户清醒并正常使用 HMD吋不处于激活状态， 当处理器识别到用 户处于睡眠状态吋便激活压电传感器， 当用户醒来吋眼睛睁幵， 此吋， 眼睛带 动额头部位的肌肉抖动， 从而触发压电传感器， 使得压电传感器获得相应信号 并传输至处理器， 处理器检测到用户眼睛睁幵， 从而识别用户已经醒来。
[0026] 参见图 2-3， 如若用户在醒来后将 HMD从头上取下来， 显示部内的摄像头感测 显示部方向的环境亮度， 从而将设备的显示屏亮度立即恢复到正常。 这样用户 能在迅速适应外部环境亮度的情况下而继续正常观看设备显示屏。 或是把设备 传给另外一个用户使用吋， 不影响其它用户的正常观看体验。 如果感测外部环 境仍然是暗的， 比如晚上关灯的环境， 那显示屏依旧是逐渐变亮， 而不是立即 恢复到正常亮度。
[0027] 以上仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的精神 和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明的保护范 围之内。
Claims
权利要求书
[权利要求 1] 一种头戴式显示设备， 其特征在于：
所述头戴式显示设备包括头带、 显示部和两个耳机部； 所述头带的两 端分别与所述两个耳机部连接， 所述显示部的两端也分别与所述两个 耳机部连接； 所述显示部一侧有用于供用户观看的显示屏， 所述耳机 部中设有扬声器；
所述头戴式显示设备还包括压力传感器、 处理器和摄像头， 所述压力 传感器设置在当所述头戴式显示设备被戴到用户头上吋能够与用户的 头部接触的位置， 所述摄像头设置在所述显示部的设有所述显示屏的 一侧， 所述显示屏、 压力传感器及摄像头均与所述处理器电性连接； 当所述头戴式显示设备被戴到用户头上吋， 所述压力传感器受到来自 用户头部的压力而产生压力信号， 所述处理器根据所述压力传感器产 生的压力信号判断所述头戴式显示设备已经被戴到用户头上， 并基于 该判断而控制所述摄像头对用户头部的特定部位进行拍摄， 产生图像 信息； 所述处理器对所述图像信息进行分析， 从而判断用户是否进入 睡眠状态； 当所述处理器判断用户进入睡眠状态吋， 调节所述显示屏 的亮度。
[权利要求 2] 如权利要求 1所述的头戴式显示设备， 其特征在于： 当所述处理器根 据所述压力传感器产生的压力信号判断所述头戴式显示设备已经被戴 到用户头上吋， 其基于该判断而控制所述摄像头对用户眼部区域进行 拍摄， 根据从用户眼部区域拍摄到的图像信息判断用户是否进入睡眠 状态。
[权利要求 3] 如权利要求 2所述的头戴式显示设备， 其特征在于： 所述处理器内集 成存储器， 所述存储器内存储有用于比对的图像数据， 所述处理器控 制摄像头对用户眼部区域进行拍摄并将拍摄的图片传输至所述处理器 ， 所述处理器将所拍摄的图片与存储器内部的图像数据进行比对， 从 而判定用户眼睛闭上或张幵， 当连续两次识别到用户眼睛闭上吋， 则 判定用户进入睡眠状态。
如权利要求 2所述的头戴式显示设备， 其特征在于： 所述处理器内集 成存储器， 所述存储器内存储有用于比对的图像数据， 所述处理器控 制摄像头在大于眨眼平均间隔 T的拍摄周期 T1内对用户眼部区域进行 拍摄并将拍摄的图片传输至所述处理器， 所述处理器将所拍摄的图片 与存储器内部的图像数据进行比对， 从而判定用户眼睛闭上或张幵， 当连续两次识别到用户眼睛闭上吋， 更变拍摄周期为小于眨眼平均间 隔 T的 T2， 之后再控制摄像头在拍摄周期 Τ2内对用户眼部区域进行拍 摄并将拍摄的图片传输至所述处理器， 所述处理器将所拍摄的图片与 存储器内部的图像数据进行比对， 从而判定用户眼睛闭上或张幵， 当 连续两次识别到用户眼睛闭上吋， 则判定用户进入睡眠状态。
如权利要求 4所述的头戴式显示设备， 其特征在于： 所述拍摄周期 T1 在 Τ与 20Τ之间。
如权利要求 4所述的头戴式显示设备， 其特征在于： 所述拍摄周期 T1 在 4Τ和 10T之间。
如权利要求 2所述的头戴式显示设备， 其特征在于： 所述处理器控制 摄像头对用户眼部区域在一定吋间内捕捉一系列图片并对这一系列图 片进行分析， 从而判定用户是否进入睡眠状态。
如权利要求 2所述的头戴式显示设备， 其特征在于： 所述处理器内集 成有存储器， 所述存储器存储有用于比对的光线强度数据； 所述处理 器控制摄像头对从用户眼部反射回来的光线进行捕捉， 并将捕捉的光 线强度数据传输至处理器， 处理器将所捕捉的光线强度数据与所述存 储器中的光线强度数据进行比对从而判定用户眼睛闭上或张幵， 当连 续两次识别到用户眼睛闭上吋， 则判定用户进入睡眠状态。
如权利要求 2所述的头戴式显示设备， 其特征在于： 所述处理器内集 成有存储器， 所述存储器存储有用于比对的光线强度数据； 所述处理 器控制摄像头对从用户眼部反射回来的光线进行捕捉， 并将捕捉的光 线强度数据传输至处理器， 处理器将所捕捉的光线强度数据与所述存 储器中的光线强度数据进行比对从而判定用户眼睛闭上或张幵， 当连
续两次识别到用户眼睛闭上吋， 更变捕捉周期为小于眨眼平均间隔 τ 的 T4， 之后再控制摄像头在捕捉周期 Τ4内对用户眼部区域反射回来 的光线进行捕捉， 并将捕捉的光线强度数据传输至所述处理器， 所述 处理器将所捕捉的光线强度数据与存储器内部的光线强度数据进行比 对， 从而判定用户眼睛闭上或张幵， 当连续两次识别到用户眼睛闭上 吋， 则判定用户进入睡眠状态。
如权利要求 9所述的头戴式显示设备， 其特征在于： 所述 T1在 Τ与 20Τ 之间。
如权利要求 9所述的头戴式显示设备， 其特征在于： 所述 T1在 4Τ和 10 Τ之间。
如权利要求 1-11中任意一项所述的头戴式显示设备， 其特征在于： 当 所述处理器判断用户处于清醒状态吋， 所述处理器控制显示屏以正常 亮度显示； 当所述处理器判断用户处于睡眠状态吋， 所述处理器控制 显示屏自动变暗继续工作， 当识别到用户醒来后， 所述处理器控制显 示屏亮度逐渐恢复到正常亮度。
如权利要求 1-11中任意一项所述的头戴式显示设备， 其特征在于： 当 所述处理器判断用户处于清醒状态吋， 所述处理器控制显示屏以正常 亮度显示； 当所述处理器判断用户处于睡眠状态吋， 所述处理器控制 HMD进入休眠状态并且关闭显示屏； 当处理器检测到用户醒来吋， 所述处理器唤醒设备并继续使显示屏恢复以正常亮度低的亮度显示， 之后显示屏亮度逐渐恢复到正常。
如权利要求 1所述的头戴式显示设备， 其特征在于： 所述头戴式显示 设备还包括压电传感器， 所述压电传感器设置于所述显示部上与用户 额头区域接触的位置， 其用于感测用户额头肌肉的抖动， 并将感测信 号传输至处理器， 从而供所述处理器判断用户是否醒来。
如权利要求 1所述的头戴式显示设备， 其特征在于： 所述处理器还通 过所述摄像头感测环境亮度， 所述处理器根据其感测到的环境亮度控 制显示屏逐渐恢复正常亮度或以正常亮度显示。
[权利要求 16] —种头戴式显示设备的显示方法， 所述头戴式显示设备包括用于供用 户观看的显示屏、 处理器、 摄像头、 以及设置在当所述头戴式显示设 备被戴到用户头上吋能够与用户的头部接触的位置的压力传感器， 所 述压力传感器、 摄像头及显示屏均与所述处理器电性连接； 其特征在 于， 所述方法包括以下步骤：
使用所述处理器检测所述压力传感器是否感受到压力信号； 如果上述检测结果为是， 则判断所述头戴式显示设备已经被戴到用户 头上， 并控制所述摄像头对用户头部的特定部位进行拍摄， 产生图像 f π息；
使用所述处理器对所述图像信息进行分析， 从而判断用户是否进入睡 眠状态；
当所述处理器判断用户进入睡眠状态吋， 调节所述显示屏的亮度。
[权利要求 17] 如权利要求 16所述的头戴式显示设备的显示方法， 其特征在于， 还包 括以下步骤： 当所述处理器根据所述压力传感器产生的压力信号判断 所述头戴式显示设备已经被戴到用户头上吋， 其基于该判断而控制所 述摄像头对用户眼部区域进行拍摄， 并根据从用户眼部区域拍摄到的 图像信息判断用户是否进入睡眠状态。
[权利要求 18] 如权利要求 17所述的一种头戴式显示设备的显示方法， 其特征在于， 还包括以下步骤：
在所述处理器内集成存储器， 在所述存储器中存储用于比对的图像数 据；
使用所述处理器控制摄像头对用户眼部区域进行拍摄并将拍摄的图片 传输至所述处理器；
使用所述处理器将所拍摄的图片与存储器内部的图像数据进行比对， 从而判定用户眼睛闭上或张幵， 当连续两次识别到用户眼睛闭上吋， 则判定用户进入睡眠状态。
[权利要求 19] 如权利要求 17所述的头戴式显示设备的显示方法， 其特征在于： 所述 处理器内集成存储器， 所述存储器内存储有用于比对的图像数据， 所
述处理器控制摄像头在大于眨眼平均间隔 T的拍摄周期 T1内对用户眼 部区域进行拍摄并将拍摄的图片传输至所述处理器， 所述处理器将所 拍摄的图片与存储器内部的图像数据进行比对， 从而判定用户眼睛闭 上或张幵， 当连续两次识别到用户眼睛闭上吋， 更变拍摄周期为小于 眨眼平均间隔 T的 T2， 之后再控制摄像头在拍摄周期 Τ2内对用户眼部 区域进行拍摄并将拍摄的图片传输至所述处理器， 所述处理器将所拍 摄的图片与存储器内部的图像数据进行比对， 从而判定用户眼睛闭上 或张幵， 当连续两次识别到用户眼睛闭上吋， 则判定用户进入睡眠状 态。
如权利要求 19所述的头戴式显示设备的显示方法， 其特征在于： 所述 拍摄周期 T1在 Τ与 20Τ之间。
如权利要求 19所述的头戴式显示设备的显示方法， 其特征在于： 所述 拍摄周期 T1在 4Τ和 10T之间。
如权利要求 17所述的头戴式显示设备的显示方法， 其特征在于， 还包 括以下步骤：
使用所述处理器控制摄像头对用户眼部区域在一定吋间内捕捉一系列 图片并对这一系列图片进行分析， 从而判定用户是否进入睡眠状态。 如权利要求 17所述的一种头戴式显示设备的显示方法， 其特征在于： 所述处理器内集成有存储器， 所述存储器存储有用于比对的光线强度 数据； 所述处理器控制摄像头对从用户眼部反射回来的光线进行捕捉 ， 并将捕捉的光线强度数据传输至处理器， 处理器将所捕捉的光线强 度数据与所述存储器中的光线强度数据进行比对从而判定用户眼睛闭 上或张幵， 当连续两次识别到用户眼睛闭上吋， 则判定用户进入睡眠 状态。
如权利要求 17所述的头戴式显示设备的显示方法， 其特征在于： 所述 处理器内集成有存储器， 所述存储器存储有用于比对的光线强度数据 ； 所述处理器控制摄像头对从用户眼部反射回来的光线进行捕捉， 并 将捕捉的光线强度数据传输至处理器， 处理器将所捕捉的光线强度数
据与所述存储器中的光线强度数据进行比对从而判定用户眼睛闭上或 张幵， 当连续两次识别到用户眼睛闭上吋， 更变捕捉周期为小于眨眼 平均间隔 T的 T4， 之后再控制摄像头在捕捉周期 Τ4内对用户眼部区域 反射回来的光线进行捕捉， 并将捕捉的光线强度数据传输至所述处理 器， 所述处理器将所捕捉的光线强度数据与存储器内部的光线强度数 据进行比对， 从而判定用户眼睛闭上或张幵， 当连续两次识别到用户 眼睛闭上吋， 则判定用户进入睡眠状态。
如权利要求 23所述的头戴式显示设备的显示方法， 其特征在于： 所述 T1在 Τ与 20Τ之间。
如权利要求 23所述的头戴式显示设备的显示方法， 其特征在于： 所述 T1在 4Τ和 10T之间。
如权利要求 16-26中任意一项所述的头戴式显示设备的显示方法， 其 特征在于， 还包括以下步骤：
当判断用户处于清醒状态吋， 使用所述处理器控制显示屏以正常亮度 显示； 当判断用户处于睡眠状态吋， 使用所述处理器控制显示屏自动 变暗继续工作， 当识别到用户醒来后， 所述处理器控制显示屏亮度逐 渐恢复到正常亮度。
如权利要求 16-26中任意一项所述的一种头戴式显示设备的显示方法 ， 其特征在于， 还包括以下步骤： 当判断用户处于清醒状态吋， 使用 所述处理器控制显示屏以正常亮度显示； 当判断用户处于睡眠状态吋 ， 使用所述处理器控制 HMD进入休眠状态并且关闭显示屏； 当检测 到用户醒来吋， 使用所述处理器唤醒设备并继续使显示屏恢复以正常 亮度低的亮度显示， 之后显示屏亮度逐渐恢复到正常。
如权利要求 16所述的一种头戴式显示设备的显示方法， 其特征在于， 还包括以下步骤：
在所述显示部上与用户额头区域接触的位置设置所述压电传感器； 使用所述压电传感器感测用户额头肌肉的抖动， 并将感测信号传输至 处理器， 从而供所述处理器判断用户是否醒来。
[权利要求 30] 如权利要求 16所述的一种头戴式显示设备的显示方法， 其特征在于， 还包括以下步骤：
使用所述处理器通过所述摄像头感测环境亮度， 并根据其感测到的环 境亮度控制显示屏逐渐恢复正常亮度或以正常亮度显示。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201580073247.9A CN107209391A (zh) | 2015-11-10 | 2015-11-10 | 一种头戴式显示设备及其显示方法 |
| PCT/CN2015/094215 WO2017079903A1 (zh) | 2015-11-10 | 2015-11-10 | 一种头戴式显示设备及其显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2015/094215 WO2017079903A1 (zh) | 2015-11-10 | 2015-11-10 | 一种头戴式显示设备及其显示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017079903A1 true WO2017079903A1 (zh) | 2017-05-18 |
Family
ID=58695042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2015/094215 WO2017079903A1 (zh) | 2015-11-10 | 2015-11-10 | 一种头戴式显示设备及其显示方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107209391A (zh) |
| WO (1) | WO2017079903A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111208644A (zh) * | 2020-01-09 | 2020-05-29 | Oppo广东移动通信有限公司 | 头戴式显示设备 |
| KR20230007158A (ko) * | 2021-07-05 | 2023-01-12 | 계명대학교 산학협력단 | 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002268815A (ja) * | 2001-03-14 | 2002-09-20 | Sony Corp | ヘッドマウントディスプレー装置 |
| JP2009081529A (ja) * | 2007-09-25 | 2009-04-16 | Nikon Corp | ヘッドマウントディスプレイ装置 |
| CN104019820A (zh) * | 2014-06-16 | 2014-09-03 | 张善珍 | 一种基于摄像的自动导航方法及系统 |
| CN104252042A (zh) * | 2013-06-28 | 2014-12-31 | 精工爱普生株式会社 | 头部佩戴式显示装置以及头部佩戴式显示装置的控制方法 |
| CN204465805U (zh) * | 2015-01-30 | 2015-07-08 | 深圳市亚科德电子有限公司 | 一种瞌睡驾驶提醒的蓝牙装置 |
| CN204666953U (zh) * | 2015-04-01 | 2015-09-23 | 深圳市柔宇科技有限公司 | 一种头戴式显示设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201937702U (zh) * | 2010-12-29 | 2011-08-17 | 上海华勤通讯技术有限公司 | 显示屏亮度自适应的电子设备 |
| CN103533272B (zh) * | 2013-10-28 | 2017-03-29 | 京东方科技集团股份有限公司 | 一种显示装置及其工作方法 |
| EP2921899B1 (en) * | 2014-03-21 | 2018-07-04 | Samsung Electronics Co., Ltd | Head-mounted display and method of operating the same |
-
2015
- 2015-11-10 CN CN201580073247.9A patent/CN107209391A/zh not_active Withdrawn
- 2015-11-10 WO PCT/CN2015/094215 patent/WO2017079903A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002268815A (ja) * | 2001-03-14 | 2002-09-20 | Sony Corp | ヘッドマウントディスプレー装置 |
| JP2009081529A (ja) * | 2007-09-25 | 2009-04-16 | Nikon Corp | ヘッドマウントディスプレイ装置 |
| CN104252042A (zh) * | 2013-06-28 | 2014-12-31 | 精工爱普生株式会社 | 头部佩戴式显示装置以及头部佩戴式显示装置的控制方法 |
| CN104019820A (zh) * | 2014-06-16 | 2014-09-03 | 张善珍 | 一种基于摄像的自动导航方法及系统 |
| CN204465805U (zh) * | 2015-01-30 | 2015-07-08 | 深圳市亚科德电子有限公司 | 一种瞌睡驾驶提醒的蓝牙装置 |
| CN204666953U (zh) * | 2015-04-01 | 2015-09-23 | 深圳市柔宇科技有限公司 | 一种头戴式显示设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111208644A (zh) * | 2020-01-09 | 2020-05-29 | Oppo广东移动通信有限公司 | 头戴式显示设备 |
| KR20230007158A (ko) * | 2021-07-05 | 2023-01-12 | 계명대학교 산학협력단 | 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법 |
| KR102584676B1 (ko) | 2021-07-05 | 2023-10-04 | 계명대학교 산학협력단 | 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107209391A (zh) | 2017-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10055887B1 (en) | Virtual/augmented reality transition system and method | |
| US10962808B2 (en) | Contact lens with image pickup control | |
| US9171198B1 (en) | Image capture technique | |
| JP6743691B2 (ja) | 表示制御装置、表示制御方法およびコンピュータプログラム | |
| JP5109922B2 (ja) | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム | |
| CN107431778B (zh) | 信息处理装置、信息处理方法和程序 | |
| CN101470460B (zh) | 一种应用计算机时对视力进行保护的方法和计算机 | |
| US20080062291A1 (en) | Image pickup apparatus and image pickup method | |
| WO2017161867A1 (zh) | 一种调节屏幕亮度的方法、装置及智能终端 | |
| US10955689B2 (en) | Contact lens and storage medium | |
| JP6470749B2 (ja) | 筆記モード又は読書モードを確定する装置及び方法 | |
| WO2018218723A1 (zh) | 一种电子设备、护眼系统以及护眼方法 | |
| JP2019523514A (ja) | 電子画面を具備する装置での近接作業が引き起こす視力低下を防止するためのシステムおよび方法 | |
| CN109259724A (zh) | 一种用眼监控方法、装置、存储介质及穿戴式设备 | |
| WO2015158087A1 (zh) | 一种检测人眼健康状态的方法、装置及移动终端 | |
| KR20160017854A (ko) | 표시 장치의 블링크 장치 및 블링크 유도 방법 | |
| TW201737237A (zh) | 電子裝置、螢幕調節系統及方法 | |
| US10198068B2 (en) | Blink detection, tracking, and stimulation | |
| TW201730657A (zh) | 自動對焦拍照系統及電子裝置 | |
| WO2017079903A1 (zh) | 一种头戴式显示设备及其显示方法 | |
| WO2022184084A1 (zh) | 一种皮肤检测方法和电子设备 | |
| CN109117819B (zh) | 目标物识别方法、装置、存储介质及穿戴式设备 | |
| US20170054900A1 (en) | Monitoring system and wearable device with same | |
| JP2014143595A (ja) | 画像記録装置 | |
| KR20130119759A (ko) | 3차원 물체 인식 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15908033 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15/10/2018). |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15908033 Country of ref document: EP Kind code of ref document: A1 |