WO2015099216A1 - 헤드 마운트 디스플레이 장치 및 그 동작방법 - Google Patents

헤드 마운트 디스플레이 장치 및 그 동작방법 Download PDF

Info

Publication number
WO2015099216A1
WO2015099216A1 PCT/KR2013/012142 KR2013012142W WO2015099216A1 WO 2015099216 A1 WO2015099216 A1 WO 2015099216A1 KR 2013012142 W KR2013012142 W KR 2013012142W WO 2015099216 A1 WO2015099216 A1 WO 2015099216A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
external environment
mounted display
processor
Prior art date
Application number
PCT/KR2013/012142
Other languages
English (en)
French (fr)
Inventor
김형준
손종현
최은지
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2013/012142 priority Critical patent/WO2015099216A1/ko
Publication of WO2015099216A1 publication Critical patent/WO2015099216A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries

Definitions

  • the present invention relates to a head mounted display device and a method of operating the same, and more particularly, to a head mounted display device and a method of operating the same that can improve user convenience.
  • the head mounted display device is a device that can be worn on the user's head to view an image. Meanwhile, since the head mounted display device is worn on the user's head, there is a high possibility that the head mounted display device may not be able to smoothly recognize an external environment change after wearing.
  • An object of the present invention is to provide a head-mounted display device and its operation method which can improve user convenience.
  • a method of operating a head mounted display device including displaying a predetermined image on a display, and detecting a change in an external environment while a head mounted display device is worn on a user's head. And providing the external environment information to the user when the detected external environment change is greater than or equal to the reference value.
  • the head-mounted display device for achieving the above object, the display for displaying a predetermined image, the lens unit for enlarging the image displayed on the display, the external light is blocked by the opening and closing operation or And a processor configured to detect a change in the external environment when the head mounted display device is worn on the user's head and to transmit external environment information to the user when the detected change in the external environment is greater than or equal to a reference value.
  • the head mounted display device detects a change in the external environment while the head mounted display device is worn on the user's head, and provides external environment information to the user when the detected change in the external environment is greater than or equal to a reference value. to provide. Accordingly, the user can recognize the external environmental situation after wearing the head mounted display device. Accordingly, user convenience may be increased.
  • the user can easily recognize the external situation.
  • the external environment change detection may be performed through the image detection captured by the camera or the external sound detection received through the audio input unit, thereby, it is possible to quickly detect the external environment change.
  • the movement of the head mounted display device may be corrected by detecting the movement of the user and displaying the image by moving the image.
  • FIG. 1 is a front view of a head mounted display device according to an embodiment of the present invention.
  • FIG. 2 is a rear view of the head mounted display of FIG. 1.
  • FIG. 3 is an example of a cross-sectional view of the head mounted display of FIG. 1.
  • FIG. 4 is a simplified internal block diagram of the head mounted display device of FIG. 1.
  • FIG. 5 is a flowchart illustrating a method of operating a head mounted display device according to an embodiment of the present invention.
  • 6 to 10 are views referred to for describing the operating method of FIG. 5.
  • FIG. 11 is another example of a cross-sectional view of the head mounted display of FIG. 1.
  • 12A to 12C are diagrams illustrating an example of the display of FIG. 11.
  • FIG. 13 to FIG. 14 are views referred to for describing a method of operating the head mounted display device of FIG. 11.
  • 15 is a flowchart illustrating a method of operating a head mounted display device according to another embodiment of the present invention.
  • FIG. 16 is a diagram referred to for describing the operating method of FIG. 15.
  • 17 to 20 illustrate various operation methods of the head mounted display of FIG. 1.
  • module and “unit” for components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not impart any particular meaning or role by themselves. Therefore, the “module” and “unit” may be used interchangeably.
  • the head mounted display device described herein is a head mounted display device which can be worn on a user's head and can display a predetermined image.
  • a display for displaying an image and a lens unit for enlarging the displayed image may be provided so that a user may recognize the image displayed on the display as an enlarged image.
  • FIG. 1 is a front view of a head mounted display device according to an embodiment of the present invention
  • FIG. 2 is a rear view of the head mounted display device of FIG. 1
  • FIG. 3 is an example of a cross-sectional view of the head mounted display device of FIG. 1.
  • the user 700 may wear the head mounted display device 100 on the head. As shown in FIG. 1, it is preferable to wear the eye covering and to block external light in order to improve immersion of the display image.
  • the user 700 wearing the head mounted display apparatus 100 can lie down or sit down and watch a reproduced image.
  • the head mounted display apparatus 100 includes lens units 195L and 195R, and provides an image enlarged through the lens units 195L and 195R to a user's eye.
  • FIG. 3 shows an example of an upper sectional view of the head mounted display device 100.
  • the lens units 195L and 195R of the head mounted display apparatus 100 are positioned at a predetermined interval from both eyes 710L and 710R of the user 700, and the images displayed on the displays 300L and 300R are respectively lenses. It is enlarged through the portions 195L and 195R, and is incident on both eyes 710L and 710R of the user. Accordingly, the user 700 may recognize the enlarged images 300L and 300R as shown in the drawing. At this time, the enlarged images 300L and 300R are virtual images.
  • the head mounted display apparatus 100 may include a camera 120 and an audio input unit 110.
  • the camera 120 may capture an image of an external environment.
  • the camera 120 may be attached to the exterior of the head mounted display apparatus 100, and in the drawing, the camera 120 is disposed at the center of the exterior of the head mounted display apparatus 100.
  • the camera may be in the form of a CMOS or CCD sensor, but is not limited thereto.
  • the camera may be a concept including an infrared camera for detecting a distance from the outside.
  • the audio input unit 110 may obtain a sound generated in a surrounding environment. To this end, the audio input unit 110 may include a microphone.
  • two audio input units 110R and 110R are attached to the exterior of the head mounted display apparatus 100 to obtain more accurate ambient sound.
  • one audio input unit may be used, and various examples are possible. .
  • the head mounted display apparatus 100 may further include a shutter unit 160 that blocks light from the outside or transmits light by an opening and closing operation.
  • the left eye shutter unit 160L and the right eye shutter unit 160R are disposed in the head mounted display apparatus 100, respectively.
  • the left eye shutter portion 160L and the right eye shutter portion 160R can be opened or closed by the shutter.
  • the left eye shutter unit 160L and the right eye shutter unit 160R are opened, light from the outside passes through the left eye shutter unit 160L and the right eye shutter unit 160R to both eyes 710L and 710R of the user.
  • the left eye shutter unit 160L and the right eye shutter unit 160R are closed, light from the outside is blocked and is not supplied to the head mounted display apparatus 100.
  • FIG. 4 is a simplified internal block diagram of the head mounted display device of FIG. 1.
  • the head mounted display apparatus 100 includes an audio input unit 110, a camera 120, a sensor unit 130, a communication module 135, a memory 140, an audio output unit 155, and a shutter.
  • the unit 160, the processor 170, the display 180, the power supply unit 190, the driver 193, and the lens unit 195 may be provided.
  • the audio input unit 110 may receive an external sound.
  • the audio input unit 110 may transmit the received external sound to the processor 170.
  • the camera 120 may capture an image of an external environment. For example, after powering on, the camera 120 may capture an image of an external environment. The camera 120 may transmit the captured image to the processor 170.
  • the sensor unit 130 may detect movement information of the head mounted display apparatus 100, in particular, movement information of a user's head, and generate a sensing signal.
  • the sensor unit 130 may include at least one of a motion sensor (not shown), a proximity sensor (not shown), a pressure sensor (not shown), and the like.
  • a motion sensor detects the position or movement of the head mounted display apparatus 100 using an acceleration sensor, a gyro sensor, or the like.
  • the acceleration sensor may include an acceleration sensor in the X-axis, Y-axis, and Z-axis directions.
  • the gyro sensor is a sensor for measuring the angular velocity, it can detect the direction returned to the reference direction.
  • the proximity sensor may detect the presence or absence of an object approaching the head mounted display apparatus 100 or an object present in the vicinity of the head mounted display apparatus 100 without mechanical contact.
  • the pressure sensor may detect whether pressure is applied to the head mounted display apparatus 100, the magnitude of the pressure, and the like. For example, pressure by the user's hand can be detected.
  • the communication module 135 may provide an interface for communicating with an external device.
  • the communication module 135 may include at least one of a mobile communication module (not shown), a wireless Internet module (not shown), a short range communication module (not shown), a GPS module (not shown), and the like.
  • WiFi communication may be performed through a wireless Internet module (not shown)
  • NFC Near Field Communication
  • the communication module 135 may exchange data with a mobile terminal (not shown) or an external server (not shown). In detail, the communication module 135 may receive various data such as video content from the mobile terminal. Meanwhile, status information of the head mounted display apparatus 100 may be transmitted to the mobile terminal.
  • the communication module 135 may receive sight information of the user 700 from a mobile terminal (not shown) or an external server (not shown).
  • the memory 140 may store a program for processing or controlling the processor 170 in the head mounted display apparatus 100, or may perform a function for temporarily storing input or output data.
  • the memory 140 may temporarily store content data received from an external device for a certain period of time.
  • the audio output unit 155 may output an audio signal.
  • an audio signal of content reproduced on the display 180 may be output.
  • the audio output unit 155 may include a speaker, or may include an audio output terminal for audio output to the outside.
  • the shutter unit 160 blocks or transmits external light by an opening and closing operation.
  • the shutter unit 160 may be implemented as a left eye shutter unit 160L and a right eye shutter unit 160R in the head mounted display apparatus 100 in correspondence with both eyes of the user.
  • the left eye shutter portion 160L and the right eye shutter portion 160R can be opened or closed by the shutter.
  • the left eye shutter unit 160L and the right eye shutter unit 160R are opened, light from the outside passes through the left eye shutter unit 160L and the right eye shutter unit 160R to both eyes 710L and 710R of the user.
  • the left eye shutter unit 160L and the right eye shutter unit 160R are closed, light from the outside is blocked and is not supplied to the head mounted display apparatus 100.
  • the processor 170 controls the overall operation of each unit in the head mounted display apparatus 100.
  • the processor 170 reproduces the video content stored in the memory 140 or received through the communication module 1345 based on the user input, and displays the corresponding video signal and the audio signal, respectively, 180. ) And the audio output unit 155.
  • the processor 170 may control to perform a corresponding operation based on motion information of the head mounted display apparatus 100, in particular, motion information of a user's head, which is detected by the sensor unit 130. have.
  • the processor 170 detects a change in the external environment while the head mounted display 180 device is worn on the user's head, and when the detected change in the external environment is greater than or equal to the reference value, the external environment. It can be controlled to provide information to the user.
  • the processor 170 may control to open the shutter unit 160 to provide external environment information to a user when the detected external environment change is greater than or equal to a reference value.
  • external light can be delivered to both eyes of the user, and as a result, the user can recognize the external environment with the naked eye.
  • the processor 170 may control to display an image captured by the camera 120 on the display 180 to provide external environment information to the user.
  • the shutter unit 160 may be in a closed state, whereby external light is not transmitted to both eyes of the user, but the captured image is displayed on the display 180. Be aware of the environment.
  • the processor 170 detects the change in the image of each frame of the captured image from the camera 120 and the sound of the external sound received through the audio input unit 155 as to whether the change in the external environment is greater than or equal to the reference value. At least one of the change detection may be performed.
  • the image change rate of each frame of the captured image from the camera 120 is equal to or greater than the first allowable value, it may be determined that the external environmental change is equal to or greater than the reference value.
  • the sound change rate of each frame of the external sound received through the audio input unit 155 is greater than or equal to the second allowable value, it may be determined that the change of the external environment is greater than or equal to the reference value.
  • the intensity level of the external sound received through the audio input unit 155 is greater than or equal to the third allowable value, it may be determined that the change of the external environment is greater than or equal to the reference value.
  • the processor 170 may determine that the change in the external environment is greater than or equal to the reference value even when the distance between the external object and the head mounted display apparatus 100 is within a predetermined distance or when a predetermined sound received from the outside is repeated. .
  • the processor 170 may detect a distance between the external object and the head mounted display apparatus 100 based on the image photographed from the camera 120, and if the detected distance is within a predetermined distance, the shutter It may be controlled to open the unit 160.
  • the display 180 may display other information in addition to the existing display image, or the display 180 may be turned off.
  • the processor 170 may control to open the shutter unit 160 when a predetermined sound is repeatedly received from the external sound received through the audio input unit 110.
  • the display 180 may display other information in addition to the existing display image, or the display 180 may be turned off.
  • the processor 170 may control the shutter unit 160 to close when the image is displayed on the display 180.
  • the processor 170 may control to open the shutter unit 160 when playback of the displayed image is terminated.
  • the processor 170 may move and display an image displayed on the display 180 in response to the direction of movement of the user sensed by the sensor unit 135, thereby preventing shaking of the image due to the shaking of the user. Can be.
  • the processor 170 may control to display a menu in an area corresponding to the gaze of the user 700.
  • the processor 170 may adjust the focusing of the image to be displayed based on the sight information of the user 700 received through the communication module 135.
  • the processor 170 may vary an operation performed corresponding to the movement of the user 700 according to the type of content of the image displayed on the display 180.
  • the processor 170 may control to vary the distance between the user 700 eyes and the lens unit 195.
  • the display 180 may display text or an image.
  • the display 180 may display a predetermined image.
  • the display 180 may display a menu in an area corresponding to the gaze of the user 700.
  • the power supply unit 190 may supply power required for the operation of each component under the control of the processor 170.
  • the driver 193 may vary the distance between the user 700 's eyes and the lens unit 195 under the control of the processor 170.
  • the driving unit 193 may include a lens unit moving member (not shown), such as a stepping motor. By the operation of the motor, the distance between the user 700 eyes and the lens unit 195 may be varied.
  • FIG. 5 is a flowchart illustrating a method of operating a head mounted display device according to an embodiment of the present invention
  • FIGS. 6 to 10 are views referred to for explaining the method of FIG. 5.
  • the head mounted display apparatus 100 displays a predetermined image on the display 180 (S510).
  • the processor 170 of the head mounted display apparatus 100 may control to reproduce and display the corresponding image on the display 180 according to a user input. Accordingly, the user 700 can watch the virtual image enlarged through the lens unit 195.
  • FIG. 7A illustrates that the user 700 wears the head mounted display apparatus 100 to watch a predetermined image 610.
  • the head mounted display apparatus 100 detects a change in the external environment (520). Next, the head mounted display apparatus 100 may determine whether the detected external environment change is greater than or equal to a reference value (S530), and, if applicable, provide external environment information to the user (S540).
  • the processor 170 detects a change in the external environment while the head mounted display 180 device is worn on the user's head, and when the detected change in the external environment is greater than or equal to the reference value, the external environment. It can be controlled to provide information to the user.
  • the processor 170 determines whether the external environment change is based on at least one of the captured image from the camera 120 and the external sound received through the audio input unit 155 as to whether the external environment change is greater than or equal to the reference value. It can be determined whether or not it is abnormal.
  • the processor 170 may include at least one of the camera 120 or the audio input unit 155 while the user 700 wears the head mounted display apparatus 100 and watches a predetermined image 610. By activating the, it is possible to receive at least one of the captured image from the camera 120, or the external sound received through the audio input unit 155.
  • the processor 170 may compare the received captured image or the external sound in units of frames.
  • the processor 170 may determine that the external environment change is greater than or equal to the reference value when the rate of change of each frame of the captured image from the camera 120 is greater than or equal to the first allowable value.
  • the processor 170 may determine that the external environment change is greater than or equal to the reference value when the rate of change of the sound for each frame of the external sound received through the audio input unit 155 is greater than or equal to the second allowable value.
  • the processor 170 may determine that the external environment change is greater than or equal to the reference value.
  • the processor 170 may include a frame rate of change of the external sound received through the audio input unit 155 having a second frame rate of change of the captured image from the camera 120. If it is more than the allowable value, it can be determined that the change of external environment is more than the reference value.
  • the processor 170 may determine that the change in the external environment is greater than or equal to the reference value even when the distance between the external object and the head mounted display apparatus 100 is within a predetermined distance or when a predetermined sound received from the outside is repeated. .
  • the processor 170 may control to provide the external environment information to the user when the change in the external environment is greater than or equal to the reference value.
  • the processor 170 may control to open the shutter unit 160 to provide external environment information to a user when the detected external environment change is greater than or equal to a reference value.
  • external light can be delivered to both eyes of the user, and as a result, the user can recognize the external environment with the naked eye.
  • the processor 170 may control to display an image captured by the camera 120 on the display 180 to provide external environment information to the user.
  • the shutter unit 160 may be in a closed state, whereby external light is not transmitted to both eyes of the user, but the captured image is displayed on the display 180. Be aware of the environment.
  • the processor 170 in the head mounted display apparatus 100 may activate the audio input unit 110 prior to the camera 120 to sense an external environment and reduce power consumption. That is, the power of the audio input unit 110 may be turned on. The audio input unit 110 may acquire sound from the outside and transmit the obtained sound to the processor 170.
  • the processor 170 in the head mounted display apparatus 100 may determine whether the received sound is at or above a predetermined level.
  • the head mounted display apparatus 100 is configured to supply power to the attached camera. You can also turn it on. Accordingly, the camera 120 can immediately capture an image of the external environment. The captured image may be transmitted to the processor 170.
  • the processor 170 in the head mounted display apparatus 100 may detect a distance to an external object based on the camera photographed image.
  • the distance to the external object may be inferred, for example, through the size of the external object in the captured image.
  • the camera 120 includes a distance sensor of a time of flight (TOF) method
  • TOF time of flight
  • FIG. 7 to 10 are views referred to for describing the operating method of FIG. 5.
  • FIG. 7 illustrates that the shutter unit is opened based on the photographed image of the camera 120.
  • another user 800 may be located in front of the user 700 while the user 700 wears the head mounted display apparatus 100.
  • the distance between the user 700 and the other user 800 is sufficiently separated as Da.
  • the shutter unit 160 is closed and the display 180 continuously displays the reproduced image.
  • the camera 120 may be activated to capture an image including the other user 800 to measure the distance between the head mounted display device 100 and the other user 800.
  • the processor 170 may perform distance detection based on the captured image.
  • the camera 120 captures an image, and the processor 170 based on the captured image 617 may determine a distance. Detection can be performed. In addition, the processor 170 determines whether the detected distance is within a predetermined distance.
  • the processor 170 may determine that the change in the external environment is greater than or equal to the reference value, and determine the opening of the shutter unit 160.
  • the shutter unit 160 is opened.
  • the user may visually check the other user 800 approaching within a close distance through the left eye shutter unit 160L and the right eye shutter unit 160R.
  • FIG. 8 illustrates that the shutter unit is opened based on the sound received by the audio input unit 110.
  • another user 800 positioned in front of the user 700 may output a predetermined sound 807. Can be.
  • the processor 170 may receive a predetermined sound 807 through the audio input unit 110 and turn on the power of the camera 110. Then, based on the captured image, it may be determined whether the detected distance is within a predetermined distance while performing the distance detection.
  • the shutter unit 160 is closed and the display 180 continuously displays the reproduced image.
  • the processor 170 may generate a sound that is repeated through the audio input unit 110. 808 may be received, and based on the repeated sound 808, it may be determined that the change in the external environment is greater than or equal to the reference value, thereby determining the opening of the shutter unit 160.
  • the shutter unit 160 is opened.
  • the user can visually check the other user 800 through the left eye shutter unit 160L and the right eye shutter unit 160R.
  • FIG 9 illustrates that the captured image is displayed on the display based on the captured image of the camera 120.
  • FIG. 9 is similar to FIG. 7, but when the other user 800 approaches the set allowable distance Dth, the difference between displaying the captured image on the display 180 while the shutter unit 160 is closed is different. have.
  • an image 617 captured by the camera 120 and an image 612 viewed by the camera 120 may be displayed together.
  • the user can check the external situation through the captured image 617.
  • FIG. 10 illustrates that the captured image is displayed on the display based on the sound received by the audio input unit 110.
  • FIG. 10 is similar to FIG. 8, but when another user 800 repeatedly outputs the same sound, there is a difference in displaying the captured image on the display 180 while the shutter unit 160 is closed. .
  • the image 617 captured by the camera 120 and the image 612 viewed are displayed together.
  • the user can check the external situation through the captured image 617.
  • FIG. 11 is another example of a cross-sectional view of the head mounted display 180 device of FIG. 1.
  • the head mounted display apparatus 100 is similar to the head mounted display apparatus 100 of FIG. 3, but the shutter unit 160 and the display 180 are arranged in a line. There is a difference in things.
  • the display 180 has a difference in that it is a transparent display.
  • FIG. 11A illustrates that the shutter unit 160 is closed during the first frame period to block external light
  • FIG. 11B illustrates the shutter unit during the second frame period. 160 is opened to illustrate that external light is transmitted.
  • the display 180 may display a predetermined image, and the shutter unit 160 is opened to During the second frame period through which light is transmitted, the display 180 may display information related to an external environment.
  • information related to the external environment may be obtained based on an image photographed through the camera 120 or a sound received by the audio input unit 110 as described above.
  • the display 180 is preferably a transparent display.
  • 12A to 12C are diagrams illustrating an example of the display of FIG. 11.
  • FIG. 12A illustrates a cross-sectional view of a display 180 in accordance with one embodiment of the present invention.
  • the display 180 includes a first electrode 915, a second electrode 925, and a first electrode disposed between the upper glass 910 and the lower glass 920, the upper glass 910, and the lower glass 920.
  • the light emitter 930 may be disposed between the 915 and the second electrode 925.
  • the upper glass 910 and the lower glass 920 may be transparent glass, and the first electrode 915 and the second electrode 925 disposed between the upper glass 910 and the lower glass 920 may include ITO and ITO. It may be the same transparent electrode.
  • the light emitter 930 disposed between the first electrode 915 and the second electrode 925 emits light according to a power applied between the first electrode 915 and the second electrode 925 to output light. can do.
  • an anisotropic body may be disposed between the first electrode 915 and the second electrode 925.
  • the arrangement direction may be changed according to the power applied between the first electrode 915 and the second electrode 925.
  • the light emitter 930 may be a liquid crystal (liquid crystal).
  • a lamp for separately emitting light may be further provided.
  • FIG. 12B is a diagram illustrating an arrangement of the top glass and the first electrode of the shutter unit of FIG. 12A.
  • first electrodes V1, ..., VmN are exemplarily arranged in the vertical direction.
  • the first electrodes V1,... VmN are illustrated as being electrically connected in the drawings, they may be spaced apart from each other.
  • FIG. 12C is a diagram illustrating an arrangement of the top glass and the second electrode of the shutter unit of FIG. 12A.
  • positioned at the lower glass is illustrated to be arrange
  • n second electrodes H1,... HN are exemplarily arranged in a horizontal direction.
  • a predetermined image may be displayed on the transparent display 180 or information related to an external environment may be displayed.
  • the contrast ratio of the predetermined image may be improved as compared with when the shutter unit 160 is opened.
  • the shutter unit 160 disposed behind the transparent display 180 may be opened.
  • FIG. 13 to 14 are views for explaining an operation method of the head mounted display 180 device of FIG.
  • FIG. 13 illustrates that the shutter unit 160 is opened and the external environment information is displayed on the display 180 when another user 800 approaches the set allowable distance Dth.
  • the processor 170 may include a camera. Based on the captured image through 120, it may be determined that the external environment change is greater than or equal to the reference value.
  • the processor 170 may control to open the shutter unit 160 as illustrated in FIG. 13B.
  • the transparent display 180 arranged in a row on the shutter unit 160 may display external environment information, for example, 'in approach' 1015, as shown in FIG. 13C. Accordingly, the user 700 may visually recognize an actual external environment image, that is, another user 800 image 1010 and external environment information 1015 displayed on the transparent display 180 at the same time. Therefore, user convenience can be increased.
  • FIG. 14 illustrates opening the shutter unit 160 and displaying external environment information on the display 180 based on the sound received by the audio input unit 110.
  • the processor 170 Based on the sound received through the audio input unit 110, it may be determined that the change of the external environment is greater than or equal to the reference value.
  • the processor 170 may control to open the shutter unit 160 as illustrated in FIG. 14B.
  • FIG. 15 is a flowchart illustrating a method of operating a head mounted display device according to another embodiment of the present invention
  • FIG. 16 is a view referred to for explaining the method of FIG. 15.
  • the head mounted display apparatus 100 displays a predetermined image on the display 180 (S1310).
  • the head mounted display apparatus 100 detects a user's first direction movement (S1320). In order to prevent the display image from being shaken, the head mounted display apparatus 100 moves and displays the display image in a direction opposite to the first direction (S1330).
  • FIG. 16A illustrates that the sensor unit 130a is attached to the exterior of the head mounted display apparatus 100.
  • the sensor unit 130a detects the movement of the user, particularly, the direction of movement of the user. Accordingly, the sensor unit 130a may output a sensing signal by an acceleration sensor, a gyro sensor, or the like. In addition, the processor 170 may determine a movement direction, a movement distance, and the like of the user in response to the sensing signal from the sensor unit 130a.
  • the processor 170 may perform focusing signal processing by internal signal processing. For example, when the sharpness level in the image is less than or equal to a predetermined level, the signal processing may be performed so that the sharpness level may be increased, thereby performing focusing signal processing. Accordingly, as shown in the drawing, the focused image 1125 may be displayed.
  • FIG. 16C illustrates that the focusing is disturbed while the upper and lower regions of the display image 1130 shake as the user moves up and down.
  • the processor 170 may perform signal processing such as moving an image in the reverse direction based on the detected movement direction and the movement distance. Accordingly, as shown in the figure, the motion-corrected image 1135 may be displayed.
  • the image correction and focusing signal processing according to the user's movement described with reference to FIGS. 15 to 16 may be applicable to the operation method of FIG. 5 and the operation method of FIG. 7 described above.
  • the operation method of FIGS. 15 to 16 may be performed.
  • the head mounted display apparatus 100 is a display apparatus that can be worn on the user's head 705, it is preferable to perform image display according to the user's eyesight.
  • All of these methods are preferably performed based on the user's vision information.
  • an embodiment of the present invention provides a method of receiving a user's vision information from an external device and performing signal processing on an image to be displayed based on the vision information.
  • FIG. 17 illustrates an example of receiving user vision information from an external device 1300 and adjusting focusing of content according to the received vision information.
  • the user 700 may not recognize this well.
  • the head mounted display apparatus 100 may perform a request for transmitting vision information to the external device 1300 to reproduce image content, and transmits the vision information 1305 of the corresponding user from the external device 1300 to a communication module ( 135).
  • the external device 1300 may be a mobile terminal (not shown) or a server (not shown) that stores visual acuity information of the user, for example, diopter information.
  • the processor 170 may perform image signal processing on an image to be reproduced in response to the received vision information 1305.
  • the processor 170 may determine a region to be focused in the image in response to the user's eyesight information, and enhance the sharpness, etc., to emphasize the focusing on the determined focusing region.
  • the processor 170 may calculate a depth in the image and determine the focusing area according to the calculated depth. For example, as the user has poor vision, the distant image may not be seen well, and thus, an image area having a small depth may be selected and focusing may be performed.
  • the processor 170 may control to display a menu in an area corresponding to the gaze of the user 700.
  • a second camera (not shown) is further disposed between the left eye lens unit 195L and the right eye lens unit 195R to photograph the user's eyes. Can be.
  • the processor 170 may receive an image of the user's gaze from the second camera, and grasp the movement of the user's eyes.
  • the processor 170 may determine a menu display area according to the movement of the user's eyes, and may control to display a menu in the corresponding area.
  • FIG. 18A illustrates a menu 1425 in the right area 1420 of the display image 1410 when both the left eye 710L and the pupils 701L and 701R of the right eye 710R move to the right. Illustrates that is displayed. Accordingly, user convenience may be increased.
  • the processor 170 may select a corresponding item based on a user's head movement while the menu is displayed.
  • the processor 170 may determine to select a focused item in the menu when the user 700 nods the head 705 as shown in FIG. 18B.
  • the processor 170 may determine that the focusing in the menu is moved up or down. As a result, the user can easily select a desired item in the menu.
  • the processor 170 may change an operation corresponding to the movement of the user according to the type of content that is reproduced and displayed.
  • FIG. 19A illustrates that the movie content 1510 and the object 1515 indicating the content type are displayed together.
  • FIG. 20A illustrates that the broadcast image 1610 and the object 1615 indicating the type of content are displayed together.
  • the head mounted display device and the method of operating the same according to the embodiment of the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments may be modified in various ways. All or some of these may optionally be combined.
  • the operation method of the head mounted display device of the present invention can be implemented as a processor readable code on a processor readable recording medium provided in the head mounted display device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention is a head mounted display device and a method of operating the same, which can be worn on a user's head to watch an image.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

본 발명은 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다. 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작방법은, 소정 영상을 디스플레이에 표시하는 단계와, 외부 대상물과 헤드 마운트 디스플레이 장치 사이의 거리가 소정거리 이내이거나, 외부로부터 수신되는 소정 사운드가 반복되는 경우, 셔터부를 턴 온하는 단계와, 디스플레이를 오프하는 단계를 포함한다.이에 의해, 사용자 이용 편의성이 향상될 수 있다.

Description

헤드 마운트 디스플레이 장치 및 그 동작방법
본 발명은 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이며, 더욱 상세하게는 사용자 이용 편의성을 향상시킬 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다.
헤드 마운트 디스플레이 장치는 사용자 머리에 착용하여 영상을 볼 수 있는 장치이다. 한편, 헤드 마운트 디스플레이 장치는, 사용자 머리에 착용하므로, 착용 이후에는, 외부 환경 변화에 대한 인식을 원활히 수행하지 못할 가능성이 높게 된다.
본 발명의 목적은, 사용자 이용 편의성이 향상시킬 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작방법은, 소정 영상을 디스플레이에 표시하는 단계와, 헤드 마운트 디스플레이 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하는 단계와, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하는 단계를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 소정 영상을 표시하는 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 개폐 동작에 의해 외부 광을 차단하거나 투과하는 셔터부와, 헤드 마운트 디스플레이 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어하는 프로세서를 포함한다.
본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는, 헤드 마운트 디스플레이 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공한다. 이에 의해, 사용자는 헤드 마운트 디스플레이 장치의 착용 이후, 외부 환경 상황을 인식할 수 있게 된다. 이에 따라, 사용자의 이용 편의성이 증대될 수 있다.
특히, 셔터부가 개방되거나, 카메라를 통해 촬영된 외부 환경에 대한 영상을 표시함으로써, 사용자가 간단하게 외부 상황을 인식할 수 있게 된다.
한편, 외부 환경 변화 감지는, 카메라를 통해 촬영된 영상 감지 또는 오디오 입력부를 통해 수신되는 외부 사운드 감지를 통해 수행될 수 있으며, 이에 따라, 신속하게, 외부 환경 변화를 감지할 수 있게 된다.
한편, 영상 표시시, 사용자의 움직임을 감지하여, 영상을 이동 표시함으로써, 헤드 마운트 디스플레이 장치의 흔들림에 따른, 흔들림 보정을 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이다.
도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이다.
도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도의 일예이다.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.
도 5는 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이다.
도 6 내지 도 10은 도 5의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 11은 도 1의 헤드 마운트 디스플레이 장치의 단면도의 다른 예이다.
도 12a 내지 도 12c는 도 11의 디스플레이의 일예를 설명하는 도면이다.
도 13 내지 도 14는 도 11의 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 15는 본 발명의 또 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이다.
도 16은 도 15의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 17 내지 도 20은 도 1의 헤드 마운트 디스플레이 장치의 다양한 동작 방법을 설명하는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 명세서에서 기술되는 헤드 마운트 디스플레이 장치는, 사용자 머리에 착용가능한 헤드 마운트 디스플레 장치로서, 소정 영상을 표시할 수 있다. 특히, 영상을 표시하는 디스플레이와, 표시되는 영상을 확대하는 렌즈부를 구비하여, 사용자가, 디스플레이에 표시되는 영상을 확대된 영상으로 인식하도록 할 수 있다.
이하에서는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치에 대해 기술한다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이고, 도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이고, 도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도의 일예이다.
도면을 참조하면, 사용자(700)는, 헤드 마운트 디스플레이 장치(100)를 머리에 착용할 수 있다. 도 1과 같이, 눈을 덮는 형태로, 착용 가능하며, 표시 영상의 몰입감 향상을 위해, 외부광 등은 차단되도록 하는 것이 바람직하다.
이러한 헤드 마운트 디스플레이 장치(100)를 착용한 사용자(700)는, 눕거나 앉아서, 재생되는 영상을 시청할 수 있게 된다.
한편, 도 2와 같이, 헤드 마운트 디스플레이 장치(100)는 렌즈부(195L,195R)를 구비하며, 사용자의 눈에, 렌즈부(195L,195R)를 통해 확대되는 영상을 제공한다.
도 3은, 헤드 마운트 디스플레이 장치(100)의 상측 단면도의 일예를 나타낸다. 사용자(700)의 양안(710L,710R)에 일정 간격 이격되어, 헤드 마운트 디스플레이 장치(100)의 렌즈부(195L,195R)가 위치하며, 디스플레이(300L,300R)에서 각각 표시되는 영상은, 렌즈부(195L,195R)를 거쳐 확대되어, 사용자 양안(710L,710R)에 입사된다. 이에 따라, 사용자(700)는, 도면과 같이, 확대된 영상(300L,300R)을 인식할 수 있게 된다. 이때의 확대된 영상(300L,300R)은 허상 영상(virtual image)이다.
한편, 외부 환경 감지를 위해, 본 발명의 실시예에 따른, 헤드 마운트 디스플레이 장치(100)는, 카메라(120)와, 오디오 입력부(110)를 구비할 수 있다.
카메라(120)는, 외부 환경의 영상을 촬영할 수 있다. 이를 위해, 카메라(120)는, 헤드 마운트 디스플레이 장치(100)의 외관에 부착 가능하며, 도면에서는, 헤드 마운트 디스플레이 장치(100)의 외관 중 가운데 부분에 배치되는 것을 예시한다.
한편, 도면에서는 1개의 카메라만을 예시하나, 복수개의 카메라를 사용하는 것도 가능하다. 한편, 카메라는 CMOS, CCD 센서 형태일 수 있으나, 이에 한정되지 않고, 외부와의 거리 검출을 위한 적외선 카메라 등을 포함하는 개념일 수 있다.
오디오 입력부(110)는, 주변 환경에서 발생하는 사운드를 획득할 수 있다. 이를 위해, 오디오 입력부(110)는, 마이크를 구비할 수 있다.
도면에서는, 보다 정확한 주변 사운드 획득을 위해, 2개의 오디오 입력부(110R,110R)가 헤드 마운트 디스플레이 장치(100)의 외관에 부착되는 것을 예시하나, 1개의 오디오 입력부 사용도 가능하며, 다양한 예가 가능하다.
한편, 본 발명의 실시예에 따른, 헤드 마운트 디스플레이 장치(100)는, 개폐동작에 의해, 외부로부터의 광을 차단하거나, 광을 투과하는 셔터부(160)를 더 구비할 수 있다.
도면에서는, 헤드 마운트 디스플레이 장치(100) 내에, 좌안 셔터부(160L), 우안 셔터부(160R)가 각각 배치되는 것을 예시한다.
좌안 셔터부(160L)와, 우안 셔터부(160R)는, 셔터에 의해, 개방되거나 닫힐 수 있다. 좌안 셔터부(160L)와, 우안 셔터부(160R)가 개방되는 경우 외부로부터의 광이, 좌안 셔터부(160L), 우안 셔터부(160R)를 투과하여, 사용자의 양안(710L,710R)으로 전달될 수 있으며, 좌안 셔터부(160L)와, 우안 셔터부(160R)가 닫히는 경우, 외부로부터의 광이, 차단되어, 헤드 마운트 디스플레이 장치(100)로 공급되지 않게 된다.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.
도면을 참조하면, 헤드 마운트 디스플레이 장치(100)는, 오디오 입력부(110), 카메라(120), 센서부(130), 통신 모듈(135), 메모리(140), 오디오 출력부(155), 셔터부(160), 프로세서(170), 디스플레이(180), 전원 공급부(190), 구동부(193) 및 렌즈부(195)를 구비할 수 있다.
오디오 입력부(110)는, 외부 사운드를 수신할 수 있다. 그리고, 오디오 입력부(110)는, 수신되는 외부 사운드를 프로세서(170)로 전송할 수 있다.
카메라(120)는, 외부 환경의 영상을 촬영할 수 있다. 예를 들어, 카메라(120)는, 전원 온 이후, 외부 환경에 대한 영상을 촬영할 수 있다. 그리고, 카메라(120)는, 촬영된 영상을 프로세서(170)로 전송할 수 있다.
센서부(130)는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자 머리의 움직임 정보를 감지하고, 센싱 신호를 발생시킬 수 있다.
예를 들어, 센서부(130)는, 모션 센서(미도시), 근접센서(미도시), 압력센서(미도시) 등 중 적어도 하나를 구비할 수 있다.
모션 센서(미도시)는 가속도 센서, 자이로 센서 등을 이용하여 헤드 마운트 디스플레이 장치(100)의 위치나 움직임 등을 감지한다.
가속도 센서는, X축, Y축, Z축 방향에 대한 가속도 센서를 구비할 수 있다. 한편, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
근접센서(미도시)는 헤드 마운트 디스플레이 장치(100)로 접근하는 물체나, 헤드 마운트 디스플레이 장치(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다.
압력센서(미도시)는 헤드 마운트 디스플레이 장치(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 예를 들어, 사용자 손에 의한 압력을 감지할 수 있다.
통신 모듈(135)은, 외부 장치와의 통신을 위한 인터페이스를 제공할 수 있다. 이를 위해, 통신 모듈(135)은, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선 인터넷 모듈(미도시)을 통해, WiFi 통신을 수행할 수 있으며, 근거리 통신 모듈(미도시)를 통해, NFC(Near Field Communication) 통신을 수행할 수 있다.
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)와, 데이터를 교환할 수 있다. 구체적으로, 통신 모듈(135)은, 이동 단말기로부터, 영상 컨텐츠 등 각종 데이터를 수신할 수 있다. 한편, 이동 단말기로, 헤드 마운트 디스플레이 장치(100)의 상태 정보 등을 전송할 수도 있다.
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)로부터, 사용자(700)의 시력 정보를 수신할 수 있다.
메모리(140)는, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.
한편, 메모리(140)는, 외부 장치에서 수신되는 컨텐츠 데이터를 일시적으로 또는 일정 기간 동안 저장할 수 있다.
오디오 출력부(155)는, 오디오 신호를 출력할 수 있다. 예를 들어, 디스플레이(180)에서 재생되는 컨텐츠의 오디오 신호를 출력할 수 있다. 한편, 오디오 출력부(155)는, 스피커를 구비할 수 있으며, 또는, 외부로 오디오 출력을 위한 오디오 출력 단자를 구비할 수도 있다.
셔터부(160)는, 개폐 동작에 의해 외부 광을 차단하거나 투과한다. 이를 위해, 셔터부(160)는, 사용자의 양안 방향에, 대응하여, 헤드 마운트 디스플레이 장치(100) 내에, 좌안 셔터부(160L), 우안 셔터부(160R)로 구현될 수 있다.
좌안 셔터부(160L)와, 우안 셔터부(160R)는, 셔터에 의해, 개방되거나 닫힐 수 있다. 좌안 셔터부(160L)와, 우안 셔터부(160R)가 개방되는 경우 외부로부터의 광이, 좌안 셔터부(160L), 우안 셔터부(160R)를 투과하여, 사용자의 양안(710L,710R)으로 전달될 수 있으며, 좌안 셔터부(160L)와, 우안 셔터부(160R)가 닫히는 경우, 외부로부터의 광이, 차단되어, 헤드 마운트 디스플레이 장치(100)로 공급되지 않게 된다.
프로세서(170)는, 헤드 마운트 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 프로세서(170)는, 사용자 입력에 기초하여, 메모리(140)에 저장된 또는 통신 모듈(1345)을 통해 수신되는 영상 컨텐츠를 재생하여, 해당 비디오 신호와 오디오 신호를, 각각 디스플레이(180)와 오디오 출력부(155)에 출력할 수 있다.
다른 예로, 프로세서(170)는, 센서부(130)에서 감지되는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보에 기초하여, 대응하는 동작을 수행하도록 제어할 수 있다.
본 발명의 실시예와 관련하여, 프로세서(170)는, 헤드 마운트 디스플레이(180) 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어할 수 있다.
예를 들어, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 셔터부(160)를 개방하도록 제어할 수 있다. 이에 의해, 외부 광이, 사용자 양안으로 전달될 수 있으며, 결국, 사용자는 육안으로 외부 환경을 인식할 수 있게 된다.
다른 예로, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 카메라(120)로부터 촬영된 영상을 디스플레이(180)에 표시하도록 제어할 수 있다. 이때, 셔터부(160)는 닫힌 상태일 수 있으며, 이에 의해, 외부 광이, 사용자 양안으로 전달되지는 않으나, 촬영 영상이 디스플레이(180)에 표시되므로, 결국, 사용자는 촬영 영상을 통해, 외부 환경을 인식할 수 있게 된다.
*한편, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 지에 대해, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화 감지, 및 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화 감지 중 적어도 하나를 수행할 수 있다.
구체적으로, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화율이 제1 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다. 다른 예로, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화율이 제2 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다. 또 다른 예로, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 세기 레벨이 제3 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
한편, 프로세서(170)는, 외부 대상물과 헤드 마운트 디스플레이 장치(100) 사이의 거리가 소정거리 이내이거나, 외부로부터 수신되는 소정 사운드가 반복되는 경우에도, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
한편, 프로세서(170)는, 카메라(120)로부터 촬영된 영상에 기초하여, 외부 대상물과 헤드 마운트 디스플레이 장치(100) 사이의 거리를 검출할 수 있으며, 검출된 거리가 소정 거리 이내인 경우, 셔터부(160)를 개방하도록 제어할 수 있다. 이때, 디스플레이(180)는 기존 표시 영상 외에, 다른 정보를 표시하거나, 아예, 디스플레이(180)가 오프(off)되는 것도 가능하다.
한편, 프로세서(170)는, 오디오 입력부(110)를 통해 수신되는 외부 사운드에서 소정 사운드가 반복하여 수신되는 경우, 셔터부(160)를 개방하도록 제어할 수 있다. 이때, 디스플레이(180)는 기존 표시 영상 외에, 다른 정보를 표시하거나, 아예, 디스플레이(180)가 오프(off)되는 것도 가능하다.
한편, 프로세서(170)는, 디스플레이(180)에 영상 표시시에는, 셔터부(160)가 닫히도록 제어할 수 있다.
한편, 프로세서(170)는, 표시되는 영상의 재생이 종료되는 경우, 셔터부(160)를 개방하도록 제어할 수 있다.
한편, 프로세서(170)는, 센서부(135)를 통해 감지되는 사용자의 움직임 방향에 대응하여, 디스플레이(180)에 표시되는 영상을 이동시켜 표시함으로써, 사용자의 흔들림에 따른 영상의 흔들림을 방지할 수 있다.
한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.
한편, 프로세서(170)는, 통신 모듈(135)을 통해 수신되는 사용자(700)의 시력 정보에 기초하여, 표시할 영상의 포커싱을 조절할 수 있다.
한편, 프로세서(170)는, 디스플레이(180)에 표시되는 영상의 컨텐츠 종류에 따라, 사용자(700)의 움직임에 대응하여 수행되는 동작을 가변할 수 있다.
한편, 프로세서(170)는, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변하도록 제어할 수 있다.
디스플레이(180)는, 텍스트 또는 이미지 등을 표시할 수 있다. 특히, 디스플레이(180)는, 소정 영상을 표시할 수 있다.
한편, 디스플레이(180)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시할 수 있다.
전원 공급부(190)는, 프로세서(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
한편, 구동부(193)는, 프로세서(170)의 제어에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변할 수 있다. 이를 위해, 구동부(193)는, 스텝핑 모터 등과 같은, 렌즈부 이동 부재(미도시)를 구비할 수 있다. 이러한 모터의 동작에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리가 가변될 수 있다.
도 5는 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이고, 도 6 내지 도 10은 도 5의 동작 방법을 설명하기 위해 참조되는 도면이다.
먼저, 헤드 마운트 디스플레이 장치(100)는, 소정 영상을 디스플레이(180)에 표시한다(S510).
헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 사용자 입력에 따라, 해당하는 영상을 재생하여 디스플레이(180)에 표시하도록 제어할 수 있다. 이에 따라, 사용자(700)는, 렌즈부(195)를 통해 확대되는 허상의 영상을 시청할 수 있게 된다.
도 7(a)는, 사용자(700)가 헤드 마운트 디스플레이 장치(100)를 착용하여, 소정의 영상(610)을 시청하는 것을 예시한다.
다음, 헤드 마운트 디스플레이 장치(100)는, 외부 환경 변화를 감지한다(520). 다음, 헤드 마운트 디스플레이 장치(100)는, 감지되는 외부 환경 변화가 기준치 이상인 지 여부를 판단하고(S530), 해당하는 경우, 외부 환경 정보를 사용자에게 제공할 수 있다(S540).
본 발명의 실시예와 관련하여, 프로세서(170)는, 헤드 마운트 디스플레이(180) 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어할 수 있다.
한편, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 지에 대해, 카메라(120)로부터의 촬영 영상, 및 오디오 입력부(155)를 통해 수신되는 외부 사운드 중 적어도 하나에 기초하여, 외부 환경 변화가 기준치 이상인 지 여부를 판단할 수 있다.
예를 들어, 프로세서(170)는, 사용자(700)가 헤드 마운트 디스플레이 장치(100)를 착용하여, 소정의 영상(610)을 시청하는 도중에, 카메라(120) 또는 오디오 입력부(155) 중 적어도 하나를 활성화시켜, 카메라(120)로부터의 촬영 영상, 또는 오디오 입력부(155)를 통해 수신되는 외부 사운드 중 적어도 하나를 수신할 수 있다.
그리고, 프로세서(170)는, 수신되는 촬영 영상 또는 외부 사운드를 프레임 단위로 비교할 수 있다.
예를 들어, 프로세서(170)는, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화율이 제1 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
다른 예로, 프로세서(170)는, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화율이 제2 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
또 다른 예로, 프로세서(170)는, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 세기 레벨이 제3 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
또 다른 예로, 프로세서(170)는, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화율이 제1 허용치 이상이며, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화율이 제2 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
한편, 프로세서(170)는, 외부 대상물과 헤드 마운트 디스플레이 장치(100) 사이의 거리가 소정거리 이내이거나, 외부로부터 수신되는 소정 사운드가 반복되는 경우에도, 외부 환경 변화가 기준치 이상인 것으로 판단할 수도 있다.
한편, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어할 수 있다.
예를 들어, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 셔터부(160)를 개방하도록 제어할 수 있다. 이에 의해, 외부 광이, 사용자 양안으로 전달될 수 있으며, 결국, 사용자는 육안으로 외부 환경을 인식할 수 있게 된다.
다른 예로, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 카메라(120)로부터 촬영된 영상을 디스플레이(180)에 표시하도록 제어할 수 있다. 이때, 셔터부(160)는 닫힌 상태일 수 있으며, 이에 의해, 외부 광이, 사용자 양안으로 전달되지는 않으나, 촬영 영상이 디스플레이(180)에 표시되므로, 결국, 사용자는 촬영 영상을 통해, 외부 환경을 인식할 수 있게 된다.
한편, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)는, 외부 환경 감지, 및 소비전력 저감을 위해, 카메라(120) 보다, 우선적으로, 오디오 입력부(110)를 활성화시킬 수 있다. 즉, 오디오 입력부(110)의 전원을 온 시켜놓을 수 있다. 그리고, 오디오 입력부(110)는, 외부로부터 사운드를 획득하여, 획득된 사운드를 프로세서(170)로 전송할 수 있다.
한편, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)는, 수신되는 사운드가 소정 레벨 이상인 지 여부를 판단할 수 있으며, 소정 레벨 이상인 경우, 헤드 마운트 디스플레이 장치(100)는, 부착되는 카메라의 전원을 온 시킬 수도 있다. 이에 따라, 카메라(120)는, 바로 외부 환경에 대한 영상을 촬영할 수 있다. 그리고, 촬영된 영상을 프로세서(170)로 전송할 수 있다.
한편, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)는, 카메라 촬영 영상에 기초하여, 외부 대상물과의 거리를 검출할 수 있다. 예를 들어, 예를 들어, 촬영된 영상 내의 외부 대상물의 크기를 통해, 외부 대상물과의 거리를 유추할 수 있다. 다른 예로, 카메라(120)가 복수개 구비되는 경우, 각각 촬영된 영상을 비교하여, 양안 시차(disparity)를 산출하고, 양안 시차에 기초하여, 거리를 검출하는 것도 가능하다. 또 다른 예로, 카메라(120)가 TOF(Time of Flight) 방식의 거리 센서를 구비하는 경우, 거리 센서에서 센싱된 신호에 기초하여, 거리를 검출할 수도 있다.
도 7 내지 도 10은 도 5의 동작 방법의 설명에 참조되는 도면이다.
먼저, 도 7은 카메라(120) 촬영 영상에 기초하여, 셔터부가 개방되는 것을 예시한다.
도 7(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 사용자(700) 전면에, 다른 사용자(800)가 위치할 수 있다. 도 7(a)에서는 사용자(700)와 다른 사용자(800) 사이의 거리가, Da로서 충분히 떨어진 것을 예시한다.
이러한 경우, 별도의 주의가 필요없는 상태이므로, 셔터부(160)는 폐쇄되고, 디스플레이(180)는 재생 영상을 계속하여 표시하는 것이 바람직하다.
이때, 카메라(120)는 활성화되어, 헤드 마운트 디스플레이 장치(100)와 다른 사용자(800) 사이의 거리 측정을 위해, 다른 사용자(800)를 포함하는 영상을 촬영할 수 있다. 그리고, 프로세서(170)는 촬영된 영상에 기초하여, 거리 검출을 수행할 수 있다.
도 7(b)와 같이, 다른 사용자(800)가, 사용자(700) 방향으로 다가오는 경우, 카메라(120)는 영상을 촬영하고, 프로세서(170)는 촬영된 영상(617)에 기초하여, 거리 검출을 수행할 수 있다. 그리고, 프로세서(170)는 검출된 거리가 소정 거리 이내인 지 여부를 판단한다.
도면과 같이, 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 것으로 판단하고, 셔터부(160)의 개방을 결정할 수 있다.
이에 따라, 도 7(c)와 같이, 셔터부(160)가 개방되게 된다. 사용자는 개방된 좌안 셔터부(160L), 우안 셔터부(160R)를 통해, 근접 거리 이내로 다가온, 다른 사용자(800)를 육안으로 확인할 수 있게 된다.
다음, 도 8은 오디오 입력부(110)에 수신되는 사운드에 기초하여, 셔터부가 개방되는 것을 예시한다.
도 8(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 사용자(700) 전면에 위치하는, 다른 사용자(800)가 소정 사운드(807)를 출력할 수 있다.
이에 따라, 프로세서(170)는, 오디오 입력부(110)를 통해 소정 사운드(807)를 수신하고, 카메라(110)의 전원을 온시킬 수 있다. 그리고, 촬영된 영상에 기초하여, 거리 검출을 수행하면서, 검출되는 거리가, 설정된 소정 거리 이내인 지 여부를 판단할 수 있다.
한편, 도 8(a)에서는 사용자(700)와 다른 사용자(800) 사이의 거리가, Da로서 충분히 떨어진 것을 예시한다.
이러한 경우, 별도의 주의가 필요없는 상태이므로, 셔터부(160)는 폐쇄되고, 디스플레이(180)는 재생 영상을 계속하여 표시하는 것이 바람직하다.
도 8(b)와 같이, 다른 사용자(800)가 도 8(a)와 같은 위치에서, 동일한 사운드를 반복하여 출력하는 경우, 프로세서(170)는, 오디오 입력부(110)를 통해 반복되는 사운드(808)를 수신하고, 반복되는 사운드(808)에 기초하여, 외부 환경 변화가 기준치 이상인 것으로 판단하여, 셔터부(160)의 개방을 결정할 수 있다.
이에 따라, 도 8(c)와 같이, 셔터부(160)가 개방되게 된다. 사용자는 개방된 좌안 셔터부(160L), 우안 셔터부(160R)를 통해, 다른 사용자(800)를 육안으로 확인할 수 있게 된다.
도 9는 카메라(120) 촬영 영상에 기초하여, 촬영 영상이 디스플레이에 표시되는 것을 예시한다.
도 9는 도 7과 유사하나, 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 셔터부(160)는 폐쇄한 상태에서, 촬영 영상을 디스플레이(180)에 표시하는 것에 그 차이가 있다.
즉, 도 9(c)와 같이, 카메라(120)를 통해 촬영된 영상(617)과 시청하고 있던 영상(612)이 함께 표시될 수 있다. 이에, 사용자는, 촬영된 영상(617)을 통해, 외부 상황을 확인할 수 있게 된다.
다음, 도 10는 오디오 입력부(110)에 수신되는 사운드에 기초하여, 촬영 영상이 디스플레이에 표시되는 것을 예시한다.
도 10은 도 8과 유사하나, 다른 사용자(800)가 동일한 사운드를 반복하여 출력하는 경우, 셔터부(160)는 폐쇄한 상태에서, 촬영 영상을 디스플레이(180)에 표시하는 것에 그 차이가 있다.
즉, 도 10(c)와 같이, 카메라(120)를 통해 촬영된 영상(617)과 시청하고 있던 영상(612)이 함께 표시되게 된다. 이에, 사용자는, 촬영된 영상(617)을 통해, 외부 상황을 확인할 수 있게 된다.
도 11은 도 1의 헤드 마운트 디스플레이(180) 장치의 단면도의 다른 예이다.
도 11(a) 내지 도 11(b)의 헤드마운트 디스플레이 장치(100)는, 도 3의 헤드마운트 디스플레이 장치(100)와 유사하나, 셔터부(160)와 디스플레이(180)가 일렬로 배치되는 것에 그 차이가 있다. 또한, 디스플레이(180)는, 투명 디스플레이인 것에 그 차이가 있다.
도 11(a)는, 제1 프레임 구간 동안, 셔터부(160)가 폐쇄(close)되어, 외부 광이 차단되는 것을 예시하며, 도 11(b)는, 제2 프레임 구간 동안, 셔터부(160)가 개방(open)되어, 외부 광이 투과하는 것을 예시한다.
셔터부(160)가 폐쇄(close)되어, 외부 광이 차단되는 제1 프레임 구간 동안, 디스플레이(180)는, 소정 영상을 표시할 수 있으며, 셔터부(160)가 개방(open)되어, 외부 광이 투과하는 제2 프레임 구간 동안, 디스플레이(180)는, 외부 환경과 관련한 정보를 표시할 수 있다.
이를 위해, 외부 환경과 관련된 정보는, 상술한 바와 같이, 카메라(120)를 통해 촬영된 영상, 또는 오디오 입력부(110)에 수신되는 사운드에 기초하여 획득할 수 있다.
한편, 셔터부(160)가 개방(open)되어, 외부 광이 투과하는 제2 프레임 구간 동안, 외부 환경과 관련한 정보를 표시하기 위해, 디스플레이(180)는, 투명 디스플레이인 것이 바람직하다.
도 12a 내지 도 12c는 도 11의 디스플레이의 일예를 설명하는 도면이다.
먼저, 도 12a는 본 발명의 일실시예에 따른 디스플레이(180)의 단면도를 예시한다. 디스플레이(180)는, 상판 글래스(910)와 하판 글래스(920), 상판 글래스(910)와 하판 글래스(920) 사이에 배치되는 제1 전극(915) 및 제2 전극(925), 제1 전극(915)과 제2 전극(925) 사이에 배치되는 발광체(930)를 포함할 수 있다.
상판 글래스(910)와 하판 글래스(920)는 투명 글래스일 수 있으며, 상판 글래스(910)와 하판 글래스(920) 사이에 배치되는 제1 전극(915) 및 제2 전극(925)은, ITO와 같은 투명 전극일 수 있다.
제1 전극(915)과 제2 전극(925) 사이에 배치되는 발광체(930)는, 제1 전극(915)과 제2 전극(925) 사이에 인가되는 전원에 따라, 발광하여, 광을 출력할 수 있다.
한편, 제1 전극(915)과 제2 전극(925) 사이에 이방체가 배치되는 것도 가능하다. 이러한 경우, 1 전극(915)과 제2 전극(925) 사이에 인가되는 전원에 따라, 배열 방향을 가변할 수 있게 된다. 한편, 발광체(930)는 액정(liquid crystal)일 수 있다. 발광체(930)가 액정인 경우, 별도로 빛을 발광하는 램프가 더 구비될 수 있다.
다음, 도 12b는 도 12a의 셔터부의 상판 글래스와 제1 전극의 배치를 예시하는 도면이다.
도면에서는, 상판 글래스에 배치되는 제1 전극(915)이, 수직 방향으로 배치되는 것을 예시한다. 도면에서는, m개의 제1 전극들(V1, ,...VmN)이 수직 방향으로 배치되는 것을 예시한다. 한편, 도면에서는 제1 전극들(V1, ,...VmN)이 전기적으로 접속되는 것으로 도시하나, 이와 달리, 서로 이격될 수 있다.
다음, 도 12c는 도 12a의 셔터부의 상판 글래스와 제2 전극의 배치를 예시하는 도면이다.
도면에서는, 하판 글래스에 배치되는 제2 전극(925)이, 수평 방향으로 평행하게 배치되는 것을 예시한다. 도면에서는, n개의 제2 전극들(H1, ,...HN)이 수평방향으로 배치되는 것을 예시한다.
한편, 제1 및 제2 전극들에, 소정 전원이 인가되면, 투명 디스플레이(180) 상에, 소정 영상이 표시되거나, 외부 환경과 관련된 정보가 표시될 수 있다.
특히, 소정 영상 표시시, 투명 디스플레이(180) 뒤에 배치되는 셔터부(160)가 닫히므로, 셔터부(160) 개방시에 비해, 소정 영상의 명암비가 향상될 수 있다. 한편, 외부 환경 관련 정보 표시시에는, 투명 디스플레이(180) 뒤에 배치되는 셔터부(160)가 개방될 수 있다.
도 13 내지 도 14는 도 11의 헤드 마운트 디스플레이(180) 장치의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 13은 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 셔터부(160)를 개방하고, 디스플레이(180)에 외부 환경 정보를 표시하는 것을 예시한다.
도 13(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 프로세서(170)는, 카메라(120)를 통한 촬영 영상에 기초하여, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
이에 따라, 프로세서(170)는, 도 13(b)와 같이, 셔터부(160)를 개방하도록 제어할 수 있다.
그리고, 셔터부(160)에 일렬로 배치되는 투명 디스플레이(180)는, 도 13(c)와 같이, 외부 환경 정보, 예를 들어, '접근중'(1015)를 표시할 수 있다. 이에 따라, 사용자(700)는 육안으로, 실제 외부 환경 영상, 즉 다른 사용자(800) 영상(1010)과, 투명 디스플레이(180)에 표시되는 외부 환경 정보(1015)를 동시에 인식할 수 있게 된다. 따라서, 사용자 이용 편의성이 증대될 수 있다.
한편, 도면에서 표시되는 '접근중'(1015)이라는 정보 외에, 통신 모듈(135) 등을 통해 획득한, 다른 사용자(800)에 대한 정보를, 투명 디스플레이(180)에, 표시하는 것도 가능하다.
다음, 도 14는 오디오 입력부(110)에 수신되는 사운드에 기초하여, 셔터부(160)를 개방하고, 디스플레이(180)에 외부 환경 정보를 표시하는 것을 예시한다.
도 14(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 다른 사용자(800)가 동일한 사운드(808)를 반복하여 출력하는 경우, 프로세서(170)는, 오디오 입력부(110)를 통해 수신한 사운드에 기초하여, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
이에 따라, 프로세서(170)는, 도 14(b)와 같이, 셔터부(160)를 개방하도록 제어할 수 있다.
그리고, 셔터부(160)에 일렬로 배치되는 투명 디스플레이(180)는, 도 14(c)와 같이, 외부 환경 정보, 예를 들어, 반복되는 사운드를 나타내는 정보인 '밥먹어'(1025)를 표시할 수 있다. 이에 따라, 사용자(700)는 육안으로, 실제 외부 환경 영상, 즉 다른 사용자(800) 영상(1020)과, 투명 디스플레이(180)에 표시되는 외부 환경 정보(1025)를 동시에 인식할 수 있게 된다. 따라서, 사용자 이용 편의성이 증대될 수 있다.
한편, 도면에서 표시되는 '밥먹어'(1025)이라는 정보 외에, 통신 모듈(135) 등을 통해 획득한, 다른 사용자(800)에 대한 정보를, 투명 디스플레이(180)에, 표시하는 것도 가능하다.
도 15는 본 발명의 또 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이고, 도 16은 도 15의 동작 방법을 설명하기 위해 참조되는 도면이다.
도면을 참조하면, 헤드 마운트 디스플레이 장치(100)는, 소정 영상을 디스플레이(180)에 표시한다(S1310).
다음, 헤드 마운트 디스플레이 장치(100)는, 사용자의 제1 방향 움직임을 감지한다(S1320). 그리고, 헤드 마운트 디스플레이 장치(100)는, 표시 영상의 흔들림 방지를 위해, 제1 방향과 반대 방향으로 표시 영상을 이동시켜 표시한다(S1330).
도 16(a)는, 센서부(130a)가 헤드 마운트 디스플레이 장치(100)의 외관에 부착되는 것을 예시한다.
센서부(130a)는, 사용자의 움직임, 특히, 사용자의 움직임 방향을 감지한다. 이에 따라, 센서부(130a)는, 가속도 센서, 자이로 센서 등에 의한 센싱 신호를 출력할 수 있다. 그리고, 프로세서(170)는, 센서부(130a)로부터의 센싱 신호에 대응하여, 사용자의 움직임 방향, 및 움직임 거리 등을 파악할 수 있게 된다.
한편, 도 16(b)와 같이, 영상 재생 중에, 포커싱이 맞지 않는 영상(1120)이 있는 경우, 프로세서(170)는, 내부 신호 처리에 의해, 포커싱 신호 처리를 수행할 수 있다. 예를 들어, 영상 내의 샤프니스 레벨이 소정 레벨 이하인 경우, 샤프니스 레벨이 높아지도록, 신호 처리를 수행하여, 포커싱 신호 처리를 수행할 수 있다. 이에 따라, 도면과 같이, 포커싱 처리된 영상(1125)을 표시할 수 있다.
도 16(c)는, 사용자의 상,하 움직임에 따라, 표시 영상(1130)의 상부, 하부 영역이 흔들리면서, 포커싱이 흐트러지는 것을 예시한다. 프로세서(170)는, 감지되는 움직임 방향 및 움직임 거리 등에 기초하여, 역방향으로 영상을 이동 시키는 등의 신호 처리를 수행할 수 있다. 이에 따라, 도면과 같이, 움직임 보정된 영상(1135)을 표시할 수 있다.
한편, 도 15 내지 도 16에서 설명한, 사용자 움직임에 따른 영상 보정 및 포커싱 신호 처리는, 앞서 설명한, 도 5의 동작방법, 및 도 7의 동작방법에 대해 모두 적용가능하다.
즉, 제510 단계(S510), 및 제810 단계(S810)에서의 각각 영상 표시시, 사용자 움직임이 발생하거나, 포커싱이 안맞는 경우, 도 15 내지 도 16의 동작방법이 수행될 수 있다.
한편, 헤드 마운트 디스플레이 장치(100)는, 사용자 머리(705)에 착용 가능한 디스플레이 장치이므로, 사용자 시력에 따른, 영상 표시를 수행하는 것이 바람직하다.
사용자 시력에 대응하는 영상 표시의 일 방법으로는, 도 4의 설명에서 언급한 바와 같이, 렌즈부(195)의 위치를 이동시켜, 사용자 눈과, 렌즈부(195)의 위치를 가변하는 방법이 있다.
다른 방법으로는, 렌즈부(195)의 위치 이동 없이, 표시할 영상에 대한 신호 처리를 수행하는 방법이 있다.
이러한 방법들은 모두, 사용자의 시력 정보를 기반으로 수행되는 것이 바람직하다.
이에, 본 발명의 실시예에서는, 사용자의 시력 정보를, 외부 장치로부터 수신하고, 시력 정보에 기초하여, 표시할 영상에 대한 신호 처리를 수행하는 방안을 제시한다.
먼저, 도 17는, 사용자 시력 정보를 외부 장치(1300)로부터 수신하고, 수신되는 시력 정보에 따라, 컨텐츠의 포커싱을 조정하는 것을 예시한다.
도 17(a)과 같이, 표시되는 영상(1310) 중 일부 영역(1315)에 대한 초점이 맞지 않는 경우, 사용자(700)는 이를 잘 인식할 수 없게 된다.
헤드 마운트 디스플레이 장치(100)는, 영상 컨텐츠 재생을 위해, 외부 장치(1300)로 시력 정보 전송 요청을 수행할 수 있으며, 외부 장치(1300)로부터 대응하는 사용자의 시력 정보(1305)를 통신 모듈(135)을 통해 수신할 수 있다.
이때의 외부 장치(1300)는, 사용자의 시력 정보, 예를 들어, 디옵터 정보를 저장하고 있는 이동 단말기(미도시) 또는 서버(미도시) 등일 수 있다.
프로세서(170)는, 수신되는 시력 정보(1305)에 대응하여, 재생할 영상에 대한 영상 신호 처리를 수행할 수 있다.
예를 들어, 프로세서(170)는, 사용자 시력 정보에 대응하여, 영상 내에 포커싱할 영역을 결정하고, 결정된 포커싱 영역에 대한, 샤프니스 등을 강화하여, 포커싱을 강조할 수 있다.
포커싱 영역 결정시, 프로세서(170)는, 영상 내의 깊이를 산출하고, 산출되는 깊이에 따라, 포커싱 영역을 결정할 수 있다. 예를 들어, 사용자가 시력이 안 좋을수록, 먼 영상이 잘 안 보이므로, 깊이가 작은, 영상 영역을 선택하여, 포커싱을 수행할 수 있다.
한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.
도 2의 헤드 마운트 디스플레이 장치(100)의 배면도에서는 도시하지 않았지만, 좌안 렌즈부(195L)와 우안 렌즈부(195R) 사이에, 사용자 시선을 촬영하기 위한 제2 카메라(미도시)가 더 배치될 수 있다.
프로세서(170)는, 제2 카메라로부터 사용자 시선을 촬영을 수신하고, 사용자의 눈동자의 움직임을 파악할 수 있다.
그리고, 프로세서(170)는, 도 18과 같이, 사용자 시선의 움직임에 따라, 메뉴 표시 영역을 결정하고, 해당 영역에 메뉴를 표시하도록 제어할 수 있다.
도 18(a)는, 사용자의 좌안(710L)과 우안(710R)의 각 눈동자(701L,701R)가 모두 우측으로 이동하는 경우, 표시 영상(1410)의 우측 영역(1420)에 메뉴(1425)가 표시되는 것을 예시한다. 이에 따라, 사용자 이용 편의성이 증대될 수 있다.
그리고, 프로세서(170)는, 메뉴가 표시된 상태에서, 사용자의 머리 움직임에 기초하여, 해당 항목을 선택할 수 있다.
프로세서(170)는, 도 18(b)와 같이, 사용자(700)가 머리(705)을 끄덕이면, 메뉴 내의 포커싱된 항목을 선택하는 것으로 판단할 수 있다.
한편, 프로세서(170)는, 도 18(c)와 같이, 사용자(700)가 머리(705)을 상 또는 하로 움직이면, 메뉴 내의 포커싱을 상 또는 하로 이동시키는 것으로 판단할 수 있다. 이에 의해, 사용자가 간편하게, 메뉴 내의 원하는 항목을 선택할 수 있게 된다.
한편, 프로세서(170)는, 재생되어 표시되는 컨텐츠 종류에 따라, 사용자의 움직임에 대응하는 동작을 가변할 수 있다.
도 19(a)는 영화 컨텐츠(1510)와 컨텐츠 종류를 나타내는 오브젝트(1515)가 함꼐 표시되는 것을 예시한다.
이때, 프로세서(170)는, 도 19(b)와 같이, 사용자(700)가 머리(705)을 끄덕이면, 'yes', 도 19(c)와 같이, 사용자(700)가 머리(705)을 가로 저으면, 'no', 도 19(d)와 같이, 좌로 이동하면, '이전 시점으로 이동 재생', 도 19(e)와 같이 우로 이동하면, '이후 시점으로 이동 재생' 등의 동작을 수행하도록 제어할 수 있다.
도 20(a)는 방송 영상(1610)와 컨텐츠 종류를 나타내는 오브젝트(1615)가 함꼐 표시되는 것을 예시한다.
이때, 프로세서(170)는, 도 20(b)와 같이, 사용자(700)가 머리(705)을 하로 이동하면, '볼륨 다운', 도 20(c)와 같이, 사용자(700)가 머리(705)을 상으로 이동하면, '볼륨 업', 도 20(d)와 같이, 좌로 이동하면, '이전 채널 이동', 도 20(e)와 같이 우로 이동하면, '이후 채널 이동' 등의 동작을 수행하도록 제어할 수 있다.
본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 헤드 마운트 디스플레이 장치의 동작방법은 헤드 마운트 디스플레이 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
본 발명은 사용자의 머리에 착용하여 영상을 시청할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법으로서, 더욱 상세하게는 사용자 이용 편의성이 향상시킬 수 있는 헤드 마운트 디스플레이 장치에 적용 가능하다.

Claims (16)

  1. 사용자 머리에 착용 가능한 헤드 마운트 디스플레이 장치의 동작방법에 있어서,
    소정 영상을 디스플레이에 표시하는 단계;
    상기 헤드 마운트 디스플레이 장치가 상기 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하는 단계;
    상기 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 상기 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  2. 제1항에 있어서,
    상기 외부 환경 정보 제공 단계는,
    상기 헤드 마운트 디스플레이 장치의 셔터부를 개방하는 단계를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  3. 제1항에 있어서,
    상기 외부 환경 정보 제공 단계는,
    카메라로부터 촬영된 영상을 상기 디스플레이에 표시하는 단계를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  4. 제1항에 있어서,
    상기 외부 환경 정보 제공 단계는,
    상기 헤드 마운트 디스플레이 장치의 셔터부를 개방하는 단계; 및
    상기 외부 환경 정보를 상기 디스플레이에 표시하는 단계;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  5. 제1항에 있어서,
    상기 외부 환경 변화 감지 단계는,
    카메라로부터 촬영된 영상의, 프레임 별 영상의 변화를 감지하는 단계; 및
    오디오 입력부를 통해 수신되는 외부 사운드의, 프레임 별 사운드의 변화를 감지하는 단계; 중 적어도 하나를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  6. 제1항에 있어서,
    상기 사용자의 움직임 방향을 감지하는 단계; 및
    상기 움직임 방향에 대응하여, 상기 표시되는 영상을 이동시켜 표시하는 단계;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  7. 사용자 머리에 착용 가능한 헤드 마운트 디스플레이 장치에 있어서,
    소정 영상을 표시하는 디스플레이;
    상기 디스플레이에 표시되는 영상을 확대하는 렌즈부;
    개폐 동작에 의해 외부 광을 차단하거나 투과하는 셔터부;
    상기 헤드 마운트 디스플레이 장치가 상기 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 상기 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 상기 사용자에게 제공하도록 제어하는 프로세서;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 외부 환경 정보를 상기 사용자에게 제공하기 위해, 상기 셔터부를 개방하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  9. 제7항에 있어서,
    영상을 촬영하는 카메라;를 더 포함하고,
    상기 프로세서는,
    상기 외부 환경 정보를 상기 사용자에게 제공하기 위해, 상기 카메라로부터 촬영된 영상을 상기 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  10. 제7항에 있어서,
    상기 디스플레이와 상기 셔터부는 일렬로 배치되며,
    상기 프로세서는,
    상기 외부 환경 정보를 상기 사용자에게 제공하기 위해, 상기 셔터부를 개방하도록 제어하며, 상기 외부 환경 정보 상기 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  11. 제10항에 있어서,
    상기 디스플레이는, 투명 디스플레이인 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  12. 제7항에 있어서,
    영상을 촬영하는 카메라; 및
    외부 사운드를 수신하는 오디오 입력부;를 더 포함하고,
    상기 프로세서는,
    상기 카메라로부터의 촬영 영상의, 프레임 별 영상 변화 감지, 및 상기 오디오 입력부를 통해 수신되는 외부 사운드의 프레임별 사운드 변화 감지 중 적어도 하나를 수행하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  13. 제7항에 있어서,
    상기 사용자의 움직임 방향을 감지하는 센서부;를 더 포함하며,
    상기 프로세서는,
    상기 움직임 방향에 대응하여, 상기 디스플레이에 표시되는 영상을 이동시켜 표시하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  14. 제7항에 있어서,
    외부로부터 사용자의 시력 정보를 수신하는 통신 모듈;을 더 포함하고,
    상기 프로세서는,
    상기 수신되는 시력 정보에 기초하여, 표시할 영상의 포커싱을 조절하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  15. 제7항에 있어서,
    상기 프로세서는,
    상기 표시되는 영상의 컨텐츠 종류에 따라, 상기 사용자의 움직임에 대응하여 수행되는 동작을 가변하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  16. 제7항에 있어서,
    상기 사용자의 눈과 상기 렌즈부 사이의 거리를 가변하는 구동부;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
PCT/KR2013/012142 2013-12-24 2013-12-24 헤드 마운트 디스플레이 장치 및 그 동작방법 WO2015099216A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/012142 WO2015099216A1 (ko) 2013-12-24 2013-12-24 헤드 마운트 디스플레이 장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/012142 WO2015099216A1 (ko) 2013-12-24 2013-12-24 헤드 마운트 디스플레이 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
WO2015099216A1 true WO2015099216A1 (ko) 2015-07-02

Family

ID=53479048

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/012142 WO2015099216A1 (ko) 2013-12-24 2013-12-24 헤드 마운트 디스플레이 장치 및 그 동작방법

Country Status (1)

Country Link
WO (1) WO2015099216A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080033681A (ko) * 2006-10-13 2008-04-17 학교법인 영남학원 두부 장착식 디스플레이 장치의 시력 보조 방법 및 그 두부장착식 디스플레이 장치
KR20090066042A (ko) * 2007-12-18 2009-06-23 삼성전자주식회사 광 셔터를 구비한 두부 탑재형 표시 단말기
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110234584A1 (en) * 2010-03-25 2011-09-29 Fujifilm Corporation Head-mounted display device
JP2012212004A (ja) * 2011-03-31 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080033681A (ko) * 2006-10-13 2008-04-17 학교법인 영남학원 두부 장착식 디스플레이 장치의 시력 보조 방법 및 그 두부장착식 디스플레이 장치
KR20090066042A (ko) * 2007-12-18 2009-06-23 삼성전자주식회사 광 셔터를 구비한 두부 탑재형 표시 단말기
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110234584A1 (en) * 2010-03-25 2011-09-29 Fujifilm Corporation Head-mounted display device
JP2012212004A (ja) * 2011-03-31 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US9804394B2 (en) 2015-09-10 2017-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10345588B2 (en) 2015-09-10 2019-07-09 Connectivity Labs Inc. Sedentary virtual reality method and systems
US11125996B2 (en) 2015-09-10 2021-09-21 Connectivity Labs Inc. Sedentary virtual reality method and systems
US11803055B2 (en) 2015-09-10 2023-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems

Similar Documents

Publication Publication Date Title
WO2016190505A1 (ko) 글래스타입 단말기 및 이의 제어방법
WO2016021747A1 (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2017185316A1 (zh) 一种无人机第一视角飞行的控制方法及系统、智能眼镜
WO2018038439A1 (en) Image display apparatus and operating method thereof
WO2015053449A1 (ko) 안경형 영상표시장치 및 그것의 제어방법
WO2016171363A1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2014081076A1 (en) Head mount display and method for controlling the same
WO2015023145A1 (ko) 공간 해상도가 가변되는 거리 정보를 획득할 수 있는 거리검출장치 및 이를 구비한 영상표시장치
WO2014092509A1 (en) Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2015115698A1 (en) Portable device and method of controlling therefor
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
WO2015190668A1 (ko) 이동 단말기
WO2015064935A1 (en) Electronic device and control method thereof
WO2016093633A1 (ko) 컨텐트를 표시하는 방법 및 디바이스
WO2018066962A1 (ko) 스마트 안경
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
WO2016024707A1 (ko) 이동 단말기 및 그 제어 방법
WO2022010192A1 (ko) 웨어러블 디바이스 및 그 동작 방법
WO2016195144A1 (ko) 카메라 모듈 및 이를 구비하는 이동 단말기
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2019054626A1 (ko) 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
WO2015099216A1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13900067

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13900067

Country of ref document: EP

Kind code of ref document: A1