WO2022154176A1 - 안경형 단말기 및 그 안경형 단말기의 가상 영상 제공 방법 - Google Patents

안경형 단말기 및 그 안경형 단말기의 가상 영상 제공 방법 Download PDF

Info

Publication number
WO2022154176A1
WO2022154176A1 PCT/KR2021/004898 KR2021004898W WO2022154176A1 WO 2022154176 A1 WO2022154176 A1 WO 2022154176A1 KR 2021004898 W KR2021004898 W KR 2021004898W WO 2022154176 A1 WO2022154176 A1 WO 2022154176A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
angle
optical element
incident
glasses
Prior art date
Application number
PCT/KR2021/004898
Other languages
English (en)
French (fr)
Inventor
신승용
황창규
양승수
김휘
김상윤
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2022154176A1 publication Critical patent/WO2022154176A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Definitions

  • the present invention relates to a glasses-type terminal, and more particularly, to a glasses-type terminal capable of providing VR (Virtual Reality), AR (Augmented Reality), and MR (Mixed Reality) images.
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Mated Reality
  • HMD head mounted display
  • smart glasses wearable glasses-type terminal
  • the head-mounted display device is mainly made to view the screen in front of the eyes with safety glasses or a helmet-type device, and has been developed to realize a sense of virtual reality.
  • wearable glasses-type terminals have small displays such as liquid crystals installed in positions close to both eyes (both eyes) to project an image.
  • an optical system that uses refraction of light is used for image light generated from a micro display device.
  • a focus can be formed on the glass of the glasses-type terminal so that a virtual screen, ie, a virtual image, can be configured.
  • This glasses-type terminal implements a screen in a see-through form through a virtual image formed on the glass, so that it can display not only virtual reality (VR) but also augmented reality (AR) or mixed reality (MR) images. is formed
  • the display optical system of a conventional glasses-type terminal uses light having an extremely short wavelength, such as a laser, as an image source to implement a virtual image, and displays the laser image using a MEMS (Micro Electro Mechanical System) mirror scanner. It has a configuration that reflects it on the glass of In this case, the diffraction aberration problem due to off-axis does not occur, but since the laser light is reflected by the human eye, there is an eye safety problem that can damage vulnerable human tissues such as the eye. .
  • the MEMS mirror scanner is used, the structure of the optical system is complicated and the size is also increased, so there is a problem in that it is difficult to make the glasses-type terminal compact.
  • the virtual image in order for the user to check the virtual image formed in the glasses-type terminal, the virtual image must be displayed in an area corresponding to the user's eye movement. As such, the virtual image must be formed in an area where the user's eyes can completely view the entire virtual image without loss while the eye is moving, that is, the eye movement box (hereinafter referred to as EMB), so that the user can check the entire virtual image. .
  • EMB eye movement box
  • the inter-pupillary distance (IPD) between the pupil points of each individual or race, and between people by gender or age.
  • IPD inter-pupillary distance
  • the IPD difference makes the incident angle of the light incident on the glass different, so that the position on the glass on which the virtual image is formed is different.
  • the generation position of the virtual image that varies according to the IPD difference may cause a problem that prevents the user from checking a part of the virtual image.
  • a part of the virtual image may be formed outside the EMB.
  • a part of the virtual image formed outside the EMB is difficult for the user to see, and accordingly, a problem may occur that the user cannot check the entire virtual image.
  • An object of the present invention is to solve the above and other problems, and to provide a spectacle-type terminal capable of generating a virtual image without directly reflecting laser light onto the user's eyes, and the spectacle-type terminal.
  • Another object of the present invention is to provide a spectacle-type terminal having a more compact size by generating a virtual image by reflecting an image formed from an image source on glass without a MEMS mirror scanner.
  • the present invention provides a glasses-type terminal capable of solving the problem that the user cannot check some virtual images according to the difference in the IPD by allowing the virtual image to be formed in the EMB regardless of the difference in the IPD that is different for each person. for that purpose
  • the glasses-type terminal includes: a display unit for emitting image light serving as an image source of a virtual image; a diffraction element that reflects and diffracts the image light at a preset angle; and a virtual image provided on at least a part of the glasses of the spectacle-type terminal, offsetting the dispersion of the image light that is reflected and diffracted by the diffraction element, and reflects the dispersion cancelled light to correspond to the image light It characterized in that it comprises a first holographic optical element (Holographic Optical Element, HOE) for displaying.
  • HOE Holographic Optical Element
  • the glasses-type terminal includes a display unit that emits image light that is an image source of a virtual image, and transmits the image light at a preset angle.
  • a diffraction element for reflection and diffraction, and at least a part of the glasses of the spectacle-type terminal, and the image light reflected and diffracted by the diffraction element and dispersed in a positive wavelength is dispersed by negative dispersion.
  • a first holographic optical element (HOE) that cancels, reflects the dispersion-cancelled light to display a virtual image corresponding to the image light.
  • the diffraction element transmits the incident light when the light is incident at an angle within a preset angle of incidence range, and reflects the light when the light is incident on the angle within the range of the preset reflection angle. and a first reflective element disposed such that a reflective surface faces the second holographic optical element at a predetermined angle.
  • the display unit is arranged to direct the second hologram optical element at an angle within the incident angle range, so that the image light incident on the second hologram optical element is formed to pass through the second hologram optical element and the first reflective element is arranged such that the reflective surface directs a second surface different from the first surface of the second hologram optical element on which the image light is incident at an angle within the predetermined reflection angle range, It characterized in that the light transmitted through the second hologram optical element is reflected on the second surface of the second hologram optical element at an angle within the range of the reflection angle.
  • a first path of light passing through the second hologram optical element and traveling to the reflective surface of the first reflective element, and the light reflected from the reflective surface of the first reflective element are the second hologram optical elements
  • the reflective surface of the first reflective element and the second surface of the second hologram optical element are disposed to face each other so that the path of light traveling to the second surface of the element overlaps.
  • the first reflective element is characterized in that it is a full reflection mirror (Full Reflection Mirror) that reflects the incident light of all wavelengths.
  • Full Reflection Mirror Full Reflection Mirror
  • the first reflective element is a half-reflection mirror in which reflection of light is partially limited so that a transmission ratio and a reflection ratio among the incident lights have a predetermined ratio within a predetermined range.
  • the display unit includes an optical module including at least one light source for emitting the image light, and at least one lens for magnifying the light emitted from the at least one light source and converting it into parallel light It is characterized in that it includes a lens unit.
  • the at least one light source is a micro LED (Light Emitting Diode), micro OLED (Organic LED), LCoS (Liquid Crystal on Silicon), or a digital small using an LED or a Super Luminescent Diode (SLD). It is characterized in that it is a self-luminous or illuminated light source including at least one of a mirror device (Digital Micromirror Device (DMD) with LED or SLD).
  • DMD Digital Micromirror Device
  • the first reflective element is a holographic optical element arranged so that the light transmitted through the second holographic optical element is incident at an angle within the predetermined reflection angle range.
  • the reflective surface by rotating the first reflective element by a predetermined angle, is characterized in that it further comprises a tilting (tilting) for changing the angle at which the second hologram optical element is directed.
  • the display position on the glass is in the direction between the user's eyebrows.
  • the first reflective element is moved so that the angle of incidence of the light incident on the second surface of the second holographic optical element is reduced, the display position on the glass is moved in the direction of the user's temple.
  • the tilting unit further includes an actuator that provides a rotational force when the first reflective element is rotated at a predetermined angle, and a sensor unit capable of measuring a distance between the user's pupils; Further comprising a controller for determining a rotation angle of the first reflective element at an angle corresponding to the distance measured by the sensor unit, and controlling the actuator to rotate the first reflective element according to the determined rotation angle do it with
  • the sensor unit is at least one camera provided in a glass frame supporting glasses corresponding to both eyes of the user in the glasses-type terminal, and the control unit includes pupils of both eyes of the user obtained through the camera. It is characterized in that the distance between the pupils of both eyes is calculated based on the position.
  • the sensor unit includes at least one sensor for measuring an angle between a body of the glasses-type terminal provided with the display unit and a glass frame supporting glasses corresponding to both eyes of the user, and the control unit is characterized by estimating the distance between the pupils of both eyes based on the measured angle between the body and the glass frame.
  • the display further comprises a tilting unit for rotating the display unit a predetermined angle so that the angle at which the diffractive element is directed is changed.
  • the display position on the glass is moved in the direction between the user's eyebrows and , when the angle at which the display unit directs the diffractive element is changed so that the incident angle of the light incident on the diffractive element is reduced, the display position on the glass is moved toward the user's temple.
  • At least one light source emitting image light serving as an image source of the virtual image is provided.
  • a first hologram optical element provided on at least a part of the glass of the terminal cancels the dispersion by diffracting the diffused light having a positive dispersion in the diffraction element and performing negative dispersion, and the dispersion is canceled. and displaying a virtual image corresponding to the image light on at least a portion of the glass by reflecting the light.
  • the diffraction element transmits the incident light when the light is incident at an angle within a preset angle of incidence range, and reflects the light when the light is incident on the angle within the range of the preset reflection angle. and a first reflective element disposed such that a reflective surface faces the second holographic optical element at a predetermined angle.
  • the step of reflecting and diffracting the image light by the diffraction element comprises: transmitting, by the second hologram optical element, the parallel light incident within the incident angle range; , reflecting the transmitted light passing through the second hologram optical element to the second hologram optical element at an angle within the reflection angle range so that the light transmitted from the second hologram optical element is reflected; and reflecting the reflected light reflected from the first reflective element to the first hologram optical element, wherein the reflected light is diffracted while being reflected by the second holographic optical element and is dispersed in a constant wavelength do.
  • the step of reflecting and diffracting the image light by the diffractive element further comprises rotating the at least one light source or a direction in which the diffractive element is directed by a predetermined angle, wherein the at least one light source Alternatively, as the direction in which the diffractive element is directed is changed, the position of the virtual image displayed on the glass is changed.
  • the present invention generates a virtual image using a long-wavelength light source that has a wider wavelength than a conventional laser light source, and uses a holographic element to disperse reverse wavelength according to long-wavelength light ( By canceling the negative dispersion phenomenon, it is possible to generate a virtual image on the glass without using short-wavelength laser light. Accordingly, the present invention can solve the eye safety problem caused by the short-wavelength laser light, and also provides a more compact glasses-type terminal by reducing the size of the optical system by not having a MEMS mirror scanner for reflecting the short-wavelength laser light. It has the effect of making it possible.
  • the present invention adjusts the reflection angle of the mirror that reflects the light passing through the holographic element so that the virtual image formed on the glass is always formed in the EMB (Eye Movement Box). By doing so, there is an effect that the user can check the entire virtual image regardless of the difference in IPD between people.
  • EMB Easy Movement Box
  • 1A is a conceptual diagram illustrating an embodiment of an AI device.
  • FIG. 1B is a block diagram illustrating the configuration of a glasses-type terminal according to the present invention.
  • FIG. 2 is a configuration diagram illustrating the internal structure of a glasses-type terminal according to the present invention, a display unit and a diffraction unit provided in a body unit.
  • FIG. 3 is a conceptual diagram illustrating an optical system in which a virtual image is displayed from light from an image source in the glasses-type terminal according to the present invention.
  • FIG. 4 is a flowchart illustrating a process of providing a virtual image in the glasses-type terminal according to the present invention.
  • 5 to 6 are graphs illustrating transmission and reflection characteristics of a holographic optical element used in a glasses-type terminal related to the present invention.
  • 7A and 7B are exemplary views illustrating examples of virtual images formed at different positions according to IPD differences.
  • FIG. 8 is an exemplary view illustrating examples of a reflective element that is formed to be tiltable in the glasses-type terminal related to the present invention.
  • FIGS. 9 and 10 are exemplary views illustrating an example in which a generation position of a virtual image according to an IPD difference is compensated by a tilted reflective element in the glasses-type terminal according to the present invention.
  • FIG. 11 is a conceptual diagram for explaining a concept in which an EMB is expanded by a tilted reflective element in the glasses-type terminal according to the present invention.
  • FIG. 12 is an exemplary view illustrating a body portion housing of a glasses-type terminal according to the present invention including a reflective element formed to be tiltable.
  • FIG. 13 is a flowchart illustrating an operation process of performing tilting for compensating for a virtual image generation position according to an IPD difference in the glasses-type terminal according to the present invention.
  • 14 to 15 are exemplary views for explaining examples in which a virtual image generation position according to an IPD difference is compensated according to tilting of the display unit.
  • 16 is an exemplary diagram illustrating an example in which the diffraction unit of the glasses-type terminal according to the present invention is formed of one diffractive element.
  • FIG. 17 is a conceptual diagram for explaining a spectacle-type terminal according to the present invention that compensates a virtual image generation position according to an IPD difference according to tilting of the display unit when the diffractive unit is formed of one diffractive element.
  • the glasses-type terminal may be configured to work with a terminal in the vicinity.
  • the glasses-type terminal may be configured to display content that the user possesses or received from a peripheral terminal.
  • the glasses-type terminal may be configured to display received content in conjunction with a peripheral device or a server through a cloud network.
  • the glasses-type terminal may be configured to display received content in conjunction with a peripheral device or a server through 5G communication.
  • the three main requirements areas for 5G are (1) Enhanced Mobile Broadband (eMBB) area, (2) Massive Machine Type Communication (mMTC) area and (3) Ultra-reliable and It includes an Ultra-reliable and Low Latency Communications (URLLC) area.
  • eMBB Enhanced Mobile Broadband
  • mMTC Massive Machine Type Communication
  • URLLC Ultra-reliable and Low Latency Communications
  • KPI key performance indicator
  • eMBB goes far beyond basic mobile internet access, covering rich interactive work, media and entertainment applications in the cloud or augmented reality.
  • Data is one of the key drivers of 5G.
  • the main causes for increased traffic volume are an increase in content size and an increase in the number of applications requiring high data rates.
  • Streaming services audio and video
  • interactive video and mobile Internet connections will become more widely used as more devices connect to the Internet.
  • Cloud storage and applications are growing rapidly in mobile communication platforms, which can be applied to both work entertainment.
  • cloud storage is a special use case that drives the growth of uplink data rates.
  • 5G is also used for remote work in the cloud, requiring much lower end-to-end latency to maintain a good user experience when tactile interfaces are used.
  • Entertainment For example, cloud gaming and video streaming are other key factors that increase the demand for mobile broadband capabilities. Entertainment is essential on smartphones and tablets anywhere, including in high-mobility environments such as trains, cars and airplanes.
  • Another use case is augmented reality for entertainment and information retrieval.
  • augmented reality requires very low latency and instantaneous amount of data.
  • URLLC includes new services that will transform the industry through ultra-reliable/available low-latency links such as self-driving vehicles and remote control of critical infrastructure. This level of reliability and latency is essential for smart grid control, industrial automation, robotics, and drone control and coordination.
  • 5G could complement fiber-to-the home (FTTH) and cable-based broadband (or DOCSIS) as a means of delivering streams rated at hundreds of megabits per second to gigabits per second. This high speed is required to deliver TVs in resolutions of 4K and higher (6K, 8K and higher), as well as virtual and augmented reality.
  • Virtual Reality (VR) and Augmented Reality (AR) applications include almost immersive sports events. Certain applications may require special network settings. For VR games, for example, game companies may need to integrate core servers with network operators' edge network servers to minimize latency.
  • Automotive is expected to be an important new driving force for 5G with many use cases for mobile communication to vehicles. For example, entertainment for passengers requires simultaneous high capacity and high mobility mobile broadband. The reason is that future users will continue to expect high-quality connections regardless of their location and speed.
  • Another use case in the automotive sector is augmented reality dashboards. It identifies objects in the dark and superimposes information that tells the driver about the distance and movement of the object on top of what the driver is seeing through the front window.
  • wireless modules will enable communication between vehicles, information exchange between vehicles and supporting infrastructure, and information exchange between automobiles and other connected devices (eg, devices carried by pedestrians).
  • Safety systems can help drivers reduce the risk of accidents by guiding alternative courses of action to help them drive safer.
  • the next step will be remote-controlled or self-driven vehicles. This requires very reliable and very fast communication between different self-driving vehicles and between vehicles and infrastructure. In the future, self-driving vehicles will perform all driving activities, allowing drivers to focus only on traffic anomalies that the vehicle itself cannot discern.
  • the technological requirements of self-driving vehicles demand ultra-low latency and ultra-fast reliability to increase traffic safety to levels that are unattainable by humans.
  • Smart cities and smart homes referred to as smart societies, will be embedded with high-density wireless sensor networks.
  • a distributed network of intelligent sensors will identify conditions for cost and energy-efficient maintenance of a city or house.
  • a similar setup can be performed for each household.
  • Temperature sensors, window and heating controllers, burglar alarms and appliances are all connected wirelessly. Many of these sensors are typically low data rates, low power and low cost. However, for example, real-time HD video may be required in certain types of devices for surveillance.
  • Smart grids use digital information and communication technologies to interconnect these sensors to gather information and act on it. This information can include supplier and consumer behavior, enabling smart grids to improve efficiency, reliability, economics, sustainability of production and distribution of fuels such as electricity in an automated manner.
  • the smart grid can also be viewed as another low-latency sensor network.
  • the health sector has many applications that can benefit from mobile communications.
  • the communication system may support telemedicine providing clinical care from a remote location. This can help reduce barriers to distance and improve access to consistently unavailable health care services in remote rural areas. It is also used to save lives in critical care and emergency situations.
  • a wireless sensor network based on mobile communication may provide remote monitoring and sensors for parameters such as heart rate and blood pressure.
  • Wireless and mobile communications are becoming increasingly important in industrial applications. Wiring is expensive to install and maintain. Thus, the possibility of replacing cables with reconfigurable wireless links is an attractive opportunity for many industries. However, achieving this requires that the wireless connection operate with cable-like latency, reliability and capacity, and that its management be simplified. Low latency and very low error probability are new requirements that need to be connected with 5G.
  • Logistics and freight tracking are important use cases for mobile communications that use location-based information systems to enable tracking of inventory and packages from anywhere.
  • Logistics and freight tracking use cases typically require low data rates but require wide range and reliable location information.
  • the present invention may be implemented by combining or changing each embodiment to satisfy the above-described 5G requirements.
  • 1A is a conceptual diagram illustrating an embodiment of an AI device.
  • the AI system includes at least one of an AI server 16 , a robot 11 , an autonomous vehicle 12 , an XR device 13 , a smart phone 14 , or a home appliance 15 in a cloud network (10) is connected.
  • the robot 11 to which the AI technology is applied, the autonomous driving vehicle 12 , the XR device 13 , the smart phone 14 , or the home appliance 15 may be referred to as AI devices 11 to 15 .
  • the cloud network 10 may constitute a part of the cloud computing infrastructure or may refer to a network existing in the cloud computing infrastructure.
  • the cloud network 10 may be configured using a 3G network, a 4G or Long Term Evolution (LTE) network, or a 5G network.
  • LTE Long Term Evolution
  • each of the devices 11 to 16 constituting the AI system may be connected to each other through the cloud network 10 .
  • the respective devices 11 to 16 may communicate with each other through the base station, but may also directly communicate with each other without passing through the base station.
  • the AI server 16 may include a server performing AI processing and a server performing an operation on big data.
  • the AI server 16 includes at least one of the AI devices constituting the AI system, such as a robot 11, an autonomous vehicle 12, an XR device 13, a smartphone 14, or a home appliance 15, and a cloud network ( It is connected through 10) and may help at least a part of AI processing of the connected AI devices 11 to 15 .
  • the AI devices constituting the AI system, such as a robot 11, an autonomous vehicle 12, an XR device 13, a smartphone 14, or a home appliance 15, and a cloud network ( It is connected through 10) and may help at least a part of AI processing of the connected AI devices 11 to 15 .
  • the AI server 16 may train the artificial neural network according to a machine learning algorithm on behalf of the AI devices 11 to 15 , and directly store the learning model or transmit it to the AI devices 11 to 15 .
  • the AI server 16 receives input data from the AI devices 11 to 15, infers a result value with respect to the input data received using the learning model, and a response or control command based on the inferred result value. can be generated and transmitted to the AI devices 11 to 15 .
  • the AI devices 11 to 15 may infer a result value with respect to input data using a direct learning model, and generate a response or a control command based on the inferred result value.
  • the XR device 13 is an AI technology applied, a head-mount display (HMD), a head-up display (HUD) provided in a vehicle, a television, a mobile phone, a smart phone, a computer, a wearable device, a home appliance, and a digital signage. , a vehicle, a stationary robot, or a mobile robot.
  • HMD head-mount display
  • HUD head-up display
  • the XR device 13 may generate position data and attribute data for 3D points by analyzing 3D point cloud data or image data acquired through various sensors or from an external device.
  • the XR device 13 may obtain information on the surrounding space or a real object, and render and output the XR object to be output.
  • the XR device 13 may output an XR object including additional information on the recognized object to correspond to the recognized object.
  • the XR device 13 may perform the above operations by using a learning model composed of at least one or more artificial neural networks.
  • the XR device 13 may recognize a real object from 3D point cloud data or image data using a learning model, and may provide information corresponding to the recognized real object.
  • the learning model may be directly learned from the XR device 13 or learned from an external device such as the AI server 16 .
  • the XR device 13 may perform an operation by generating a result using the direct learning model, but operates by transmitting sensor information to an external device such as the AI server 16 and receiving the result generated accordingly can also be performed.
  • the robot 11 may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, a drone, etc. to which AI technology and XR technology are applied.
  • the robot 11 to which the XR technology is applied may mean a robot that is a target of control/interaction within an XR image.
  • the robot 11 is distinguished from the XR device 13 and may be interlocked with each other.
  • the robot 11 which is the object of control/interaction within the XR image, acquires sensor information from sensors including a camera, the robot 11 or the XR device 13 generates an XR image based on the sensor information. and the XR device 13 may output the generated XR image.
  • the robot 11 may operate based on a control signal input through the XR device 13 or user interaction.
  • the user can check the XR image corresponding to the viewpoint of the remotely interlocked robot 11 through an external device such as the XR device 13, and adjust the autonomous driving path of the robot 11 through interaction or , control motion or driving, or check information of surrounding objects.
  • an external device such as the XR device 13
  • the autonomous vehicle 12 may be implemented as a mobile robot, a vehicle, an unmanned aerial vehicle, etc. by applying AI technology and XR technology.
  • the autonomous vehicle 12 to which the XR technology is applied may mean an autonomous vehicle equipped with a means for providing an XR image or an autonomous vehicle that is a target of control/interaction within the XR image.
  • the autonomous vehicle 12 which is the target of control/interaction within the XR image, is distinguished from the XR device 13 and may be interlocked with each other.
  • the autonomous vehicle 12 having means for providing an XR image may obtain sensor information from sensors including a camera, and output an XR image generated based on the acquired sensor information.
  • the autonomous vehicle 12 may provide an XR object corresponding to a real object or an object in the screen to the occupant by outputting an XR image with a HUD.
  • the XR object when the XR object is output to the HUD, at least a portion of the XR object may be output to overlap the real object to which the passenger's gaze is directed.
  • the XR object when the XR object is output to the display provided inside the autonomous driving vehicle 12 , at least a portion of the XR object may be output to overlap the object in the screen.
  • the autonomous vehicle 12 may output XR objects corresponding to objects such as a lane, other vehicles, traffic lights, traffic signs, two-wheeled vehicles, pedestrians, and buildings.
  • the autonomous vehicle 12 which is the subject of control/interaction within the XR image, obtains sensor information from sensors including a camera, the autonomous vehicle 12 or the XR device 13 performs An XR image is generated, and the XR device 13 may output the generated XR image.
  • the autonomous vehicle 12 may operate based on a control signal input through an external device such as the XR device 13 or user interaction.
  • Extended Reality is a generic term for Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR).
  • VR technology provides only CG images of objects or backgrounds in the real world
  • AR technology provides virtual CG images on top of images of real objects
  • MR technology is a computer that mixes and combines virtual objects in the real world.
  • MR technology is similar to AR technology in that it shows both real and virtual objects. However, there is a difference in that in AR technology, virtual objects are used in a form that complements real objects, whereas in MR technology, virtual objects and real objects are used with equal characteristics.
  • HMD Head-Mount Display
  • HUD Head-Up Display
  • mobile phone tablet PC, laptop, desktop, TV, digital signage, etc.
  • FIG. 1B is a block diagram showing the configuration of the glasses-type terminal 1 related to the present invention.
  • the glasses-type terminal 1 includes a communication unit 20 , an input unit 30 , a sensor unit 40 , an output unit 50 , an interface unit 60 , a memory 70 , and a control unit 10 . and a power supply unit 80 and the like.
  • the components shown in FIG. 1B are not essential for implementing the glasses-type terminal 1, so the glasses-type terminal 1 described herein may have more or fewer components than those listed above. have.
  • the communication unit 20 performs wireless communication between the glasses-type terminal 1 and the wireless communication system, between the glasses-type terminal 1 and another terminal, or between the glasses-type terminal 1 and an external server. It may include one or more modules that enable it. In addition, the communication unit 20 may include one or more modules for connecting the glasses-type terminal 1 to one or more networks.
  • the communication unit 20 may include at least one of a broadcast reception module, a mobile communication module, a wireless Internet module, a short-range communication module, and a location information module.
  • the input unit 30 includes a camera 31 or an image input unit for inputting an image signal, a microphone 32 or an audio input unit for inputting an audio signal, and a user input unit 33 for receiving information from a user, for example, a touch key, a push key, etc.).
  • the voice data or image data collected by the input unit 30 may be analyzed and processed as a user's control command.
  • the camera 31 may be disposed adjacent to at least one of the left eye and the right eye, and at least one camera may be provided to capture a front image. Since the camera 31 is located adjacent to the eye, a scene viewed by the user may be acquired as an image. In addition, the camera 31 may be formed on a glass frame supporting the glass to acquire an image inside the glass. In this case, the camera 31 may obtain information about the shape of both eyes of the user, that is, the size of both eyes, the position of each pupil, and the like, from the image inside the glass.
  • the sensing unit 40 may include one or more sensors for sensing at least one of information in the glasses-type terminal 1 , surrounding environment information surrounding the glasses-type terminal 1 , and user information.
  • the sensing unit 40 may include a proximity sensor, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor (G-).
  • the glasses-type terminal 1 disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 50 is for generating an output related to visual, auditory, or tactile sense, and may include at least one of a display unit 51 , a sound output unit 53 , and a haptip module 54 . Also, the output unit 50 may further include an optical output unit for outputting an optical signal.
  • the display unit 51 may include a light module 511 including at least one light source emitting light for generating a virtual image as an image source.
  • the optical module 511 may include various light sources.
  • the optical module 511 is a micro LED (Light Emitting Diode), a micro OLED (Organic LED), LCoS (Organic LED), which emits light having a wider emission wavelength than a laser diode, instead of a laser display using a laser diode. Liquid Crystal on Silicon) can be used.
  • a digital micromirror device (DMD) with LED or SLD (Super Luminescent Diode) using an LED or a Super Luminescent Diode (SLD) may be included as an image source.
  • DMD digital micromirror device
  • SLD Super Luminescent Diode
  • SLD Super Luminescent Diode
  • the display unit 51 may include a lens unit 512 including at least one lens for magnifying and converting light emitted from the optical module 511 into parallel light.
  • the lens included in the lens unit 512 may include at least one of a concave lens, a convex lens, and a collimating lens, wherein the concave lens and the convex lens receive light emitted from the optical module 511 .
  • the collimating lens may be used to convert the divergent and magnified light in the concave and convex lenses into parallel light.
  • diffraction forming a light path for propagating the light emitted from the display unit 51 to the EMB formed on the glass of the spectacle-type terminal 1 may further include a part 52 .
  • the output unit 50 is provided in a body portion formed on a leg portion of the glasses-type terminal 1
  • the diffraction portion 52 is configured to project light onto the glass from a portion of the body portion.
  • An optical path can be formed.
  • the diffraction unit 52 may include a diffraction unit 52 including at least one diffractive element.
  • the diffraction unit 52 may include a refractive element that refracts the light emitted from the display unit 51 in a specific direction.
  • the glass may include a reflective element 301 for forming the EMB.
  • the light emitted from the display unit 51 is refracted through the refracting element and projected to the reflective element 301 , and the projected light is reflected by the reflective element 301 , thereby generating a virtual image identifiable by the user. It may be formed on the reflective element 301 .
  • the reflective element 301 formed on the glass may be formed of a holographic optical element (HOE).
  • the holographic optical element 301 may be an element configured to transmit light incident within a preset incidence angle range and reflect light having an incident angle out of the preset incident angle range.
  • a see-through virtual image is displayed on the glass by transmitting light incident in a direction perpendicular to the user's pupil and reflecting the light refracted through the refractive element to form a virtual image. can do.
  • the refractive element may be formed of a single refractive element that refracts light emitted from the display unit 51 or may be formed of a plurality of reflective elements.
  • the plurality of reflective elements may form an optical path through which the light emitted from the display unit 51 , that is, the lens unit 512 proceeds to the hologram optical element 301 .
  • a first reflective element 303 among the plurality of reflective elements is formed to reflect the light emitted from the display unit 51 , and a second reflective element 302 different from the first reflective element 303 . It may be arranged to reflect the light reflected from the first reflective element 303 to the hologram optical element 301 .
  • the holographic optical element has a characteristic of transmitting light incident within a preset incidence angle range and reflecting light having an incident angle outside the preset incidence angle range. Therefore, disposing the second reflective element 302 as a hologram optical element, and disposing the second reflective element (hologram optical element) 302 between the first reflective element 303 and the display unit 51 In this case, the light emitted from the display unit 51 passes through the second reflective element 302 to be incident on the first reflective element 303 by adjusting the light incident angle, and by the first reflective element 303 , The reflected light may be reflected by the second reflective element 302 .
  • first HOE first hologram optical element
  • second HOE second hologram optical element
  • the interface unit 160 serves as a passage with various types of external devices connected to the glasses-type terminal 1 .
  • Such an interface unit 160 a wired / wireless headset port (port), an external charger port (port), a wired / wireless data port (port), a memory card (memory card) port, for connecting a device equipped with an identification module It may include at least one of a port, an audio I/O (Input/Output) port, a video I/O (Input/Output) port, and an earphone port.
  • the glasses-type terminal 1 may perform appropriate control related to the connected external device.
  • the sound output unit 53 may output audio data received from the communication unit 20 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 53 may output a sound signal related to a function performed by the glasses-type terminal 1 .
  • the sound output unit 53 may include a receiver, a speaker, a buzzer, and the like.
  • the sound output unit 53 may be configured to transmit sound in a general sound output method or bone conduction method.
  • the sound output unit 53 is implemented in a bone conduction method, when the user wears the glasses-type terminal 1 , the sound output unit 53 is in close contact with the user's head, and may transmit sound by vibrating the skull.
  • the haptic module 54 may generate various tactile effects that the user can feel.
  • a representative example of the tactile effect generated by the haptic module 54 may be vibration.
  • the intensity and pattern of vibration generated by the haptic module 54 may be controlled by a user's selection or setting of the controller.
  • the haptic module 54 may synthesize and output different vibrations or output them sequentially, and two or more may be provided depending on the configuration of the glasses-type terminal 1 .
  • the interface unit 60 serves as a passage with all external devices connected to the glasses-type terminal 1 .
  • the interface unit 60 receives data from an external device, receives power and transmits it to each component inside the eyeglass-type terminal 1 , or transmits data inside the eyeglass-type terminal 1 to an external device.
  • a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, a port for connecting a device equipped with an identification module (port), an audio I/O (Input/Output) port, a video I/O (Input/Output) port, an earphone port, etc. may be included in the interface unit 60 .
  • the memory 70 may store a program for the operation of the controller 10 , and may temporarily store input/output data (eg, a phone book, a message, a still image, a moving image, etc.).
  • the memory 70 may store data related to vibrations and sounds of various patterns output through the haptic module 54 or the sound output unit 53 .
  • control unit 10 controls the operation related to the application program and the general operation of the typical glasses-type terminal (1).
  • the controller 10 may execute or release a lock state that restricts the input of a user's control command to applications.
  • controller 10 may perform control and processing related to voice calls, data communications, video calls, and the like. Furthermore, the controller 10 may control any one or a plurality of the components described above in order to implement various embodiments described below on the glasses-type terminal 1 according to the present invention.
  • the power supply unit 80 receives external power and internal power under the control of the control unit 10 to supply power required for the operation of each component.
  • the power supply unit 80 includes a battery, and the battery may be a built-in battery configured to be rechargeable, and may be detachably coupled to the terminal body for charging or the like.
  • the battery may be charged with the power of an external charger through the connection port, or the battery may be charged based on an inductive coupling method based on magnetic induction from an external wireless power transmitter or an electromagnetic resonance phenomenon. .
  • FIG. 2 is a configuration diagram illustrating the internal structure of the glasses-type terminal 1 and the display unit 51 and the diffraction unit 52 provided in the body unit 120 related to the present invention.
  • Figure 2 (a) shows the glasses-type terminal 1 according to an embodiment of the present invention.
  • the glasses-type terminal 1 is configured to be worn on the head of the human body, and may include a frame portion (case, housing, etc.) for this purpose.
  • the frame part may be formed of a flexible material for easy wearing.
  • the frame unit may include a first frame unit 110 supporting each glass, and a second frame unit 130 supporting the body of the glasses-type terminal.
  • the second frame unit 130 includes a leg portion (hereinafter referred to as a leg portion) of the eyeglass-type terminal 1, is supported on the head of the human body, and provides a space for the body portion 120 to which various parts are mounted. can be provided And the body part 120 may be mounted in the space provided in the second frame part 130 .
  • the first frame part 110 may include a glass 112 including a lens covering at least one of the left eye and the right eye, and a glass frame 111 formed to support and fix the glass 112 .
  • the glass 112 may be detachably mounted from the glass frame 111 .
  • the body unit 120 includes a control unit 10 and a communication unit 20 connected to the control unit 10, an input unit 30, a sensor unit 40, and a memory 70, as well as the output unit ( 50) may be included.
  • the display unit 51 and the diffraction unit 52 for outputting light for displaying a virtual image on the glass 112 may be provided in the body unit 120 , and through the diffraction unit 52 , A light path through which light is projected from the display unit 51 to the adjacent glass 112 may be formed by the body unit 120 .
  • 2(b) and (c) are exemplary views for explaining the configuration of the display unit 51 and the diffraction unit 52 provided in the body unit 120 .
  • FIGS. 2 (b) and (c) show a light source emitting an image source, that is, a lens unit 512 including an optical module 511 and a plurality of lenses.
  • a display unit 51 having a.
  • the configuration of the diffraction unit 52 including the first reflective element 303 and the second reflective element 302 , and the first hologram optical element 301 is disclosed.
  • the first hologram optical element 301 may be formed in one area of the glass 112 .
  • one area of the glass 112 on which the first hologram optical element 301 is formed is an area in which the light projected through the diffraction unit 52 is reflected to display a virtual image, and the user can see the displayed virtual image with the naked eye.
  • An area that can be viewed as an EMB (Eye Movement Box) can be formed.
  • the lens unit 512 of the display unit 51 and the first hologram element 301 are A first reflective element 303 and a second reflective element 302 may be disposed therebetween.
  • the second reflective element 302 may be a hologram optical element (second hologram optical element) as described above. Accordingly, in the following description, it is assumed that the second reflective element 302 is a second hologram optical element.
  • the first reflective element 303 is a full reflection mirror that reflects light of all wavelengths or a half reflection mirror formed to reflect only light having a preset wavelength by using a filter.
  • the anti-reflective mirror may be configured to be wavelength-selective.
  • the anti-reflection mirror may be a half-transmission mirror that partially limits the reflection of light so that a transmission ratio and a reflection ratio among the incident lights have a predetermined ratio within a predetermined range.
  • the reflective mirror may be configured to partially reflect light within a preset wavelength range.
  • the first reflective element 303 reflects only a predetermined ratio of light of a predetermined wavelength to the second hologram optical element 302 .
  • the first reflective element 303 reflects only a predetermined ratio of light of a predetermined wavelength to the second hologram optical element 302 .
  • light corresponding to noise generated in the process of expanding and converting light performed by the lens unit 512 that is, optical noise may not be reflected by the first reflective element 303 .
  • a virtual image according to the light of the image source from which the optical noise is removed may be displayed through the first hologram optical element 301 .
  • the first reflective element 303 is formed as a reflective mirror, only light having a predetermined wavelength length may be reflected. Therefore, according to an embodiment, when light within a preset wavelength range is reflected, there is an advantage that optical noise can be removed, but there may be a slight optical error between lights having different wavelengths, such as a quantization error. have. Accordingly, the first reflective element 303 can be configured as a transflective mirror having no wavelength selectivity and having a light transmission ratio and a predetermined ratio within a certain range.
  • the first reflective element 303 is formed of a total reflection mirror
  • incident light of all wavelengths is reflected to the second hologram optical element 302 .
  • a virtual image according to the light emitted from the image source may be displayed through the first hologram optical element 301 .
  • the optical error may not occur, but since light of all wavelengths is reflected due to the characteristics of the total reflection mirror, optical noise generated during the optical expansion and conversion process of the lens unit 512 may be included in the virtual image.
  • FIG. 3 is a conceptual diagram illustrating an optical system in which a virtual image is displayed from light from an image source in the glasses-type terminal 1 according to the present invention.
  • the display unit 51 of the glasses-type terminal 1 may include an optical module 511 and a lens unit 512 including a plurality of lenses.
  • the optical module 511 is a light source having a longer wavelength than that of laser light, and may include a self-luminous or illuminated light source such as an LED as an image source.
  • the lens unit 512 may include at least one concave lens 201 , a convex lens 202 , and a collimating lens 203 .
  • the convex lens 202 may be a plano-convex lens having a flat surface.
  • the concave lens 201 , the convex lens 202 , and the collimating lens 203 may be sequentially arranged along the optical axis of the light emitted from the optical module 511 as shown in FIG. 3A . .
  • the first reflective element 303 and the second hologram optical element 302 may be disposed to face each other.
  • the surface of the second hologram optical element 302 in the direction in which the lens unit 512 is disposed is referred to as a first surface
  • the second hologram optical element 302 facing the reflective surface of the first reflective element 303 is referred to as a first surface.
  • the second surface is referred to as the second surface.
  • the light emitted from the optical module 511 may be emitted through the concave lens 201 , and the light emitted through the concave lens 201 may be enlarged by the convex lens 202 .
  • the light enlarged by the convex lens 202 may be converted into parallel light through the collimating lens 203 to be incident on the first surface of the second hologram optical element 302 .
  • the parallel light converted through the collimating lens 203 may be incident on the first surface of the second hologram optical element 302 at an angle within a preset incident angle range. Accordingly, as shown in FIG. 3A , the parallel light may pass through the second hologram optical element 302 , and the transmitted light, that is, transmitted light, may be incident on the first reflective element 303 . have.
  • the first reflective element 303 may reflect the transmitted light along a reflection angle corresponding to the incident angle (incident angle) of the transmitted light.
  • the reflective surface of the first reflective element 303 is disposed to face the second surface of the second hologram optical element 302 . Accordingly, the reflected light reflected from the first reflective element 303 may be incident on the second surface of the second hologram optical element 302 . In this case, since the reflected light is incident at an angle out of a preset incidence angle range, it may be reflected from the second surface of the second hologram optical element 302 without being transmitted.
  • the second holographic optical element 302 may be a holographic optical element that reflects and diffracts a pre-designed incident light at a specific angle. Accordingly, the reflected light reflected by the first reflective element 303 may be diffracted on the second surface of the second hologram optical element 302 , and the light dispersed by the diffraction may be reflected at a preset angle. In this case, the light dispersed by diffraction may be light dispersed in a normal wavelength.
  • "reflecting and diffracting incident light at a specific angle” means reflecting and diffracting incident light at a specific angle. For example, it means that the incident light is reflected to the first plane at a first angle and then the reflected light is diffracted to the second plane at a second angle”.
  • the first hologram optical element 301 may be a holographic optical element that reflects and diffracts at a specific angle by a pre-designed incident light. Therefore, when the reflected light reaching the first hologram optical element 301 is incident at an angle out of the preset incident angle range, that is, the incident angle range through which the light is transmitted, it may be reflected and diffracted by the first hologram optical element 301 .
  • the light diffracted by the second hologram optical element 302 generates positive dispersion. Accordingly, the light reflected by the second hologram optical element 302 may proceed to the first hologram optical element 301 in a state in which the normal wavelength dispersion is generated. Accordingly, the first hologram optical element 301 may be an optical element that negatively disperses incident light in order to cancel the dispersion (positive wavelength dispersion) of the light. That is, the first hologram optical element 301 may be an optical element that reversely disperses incident light through diffraction and reflects the reverse wavelength dispersed light.
  • positive dispersion refers to a phenomenon in which long wavelength light incident on the HOE is less bent and shorter wavelength light is more bent as a display (or light source) having a wide wavelength width.
  • negative dispersion refers to a phenomenon in which long wavelength light incident on the HOE is more bent and short wavelength light is less bent as a display (or light source) having a wide wavelength width. Due to the reverse wavelength dispersion, resolution may be deteriorated.
  • Light diffracted (inverse wavelength dispersion) and reflected through the first holographic optical element 301 may be incident on the user's pupil. Accordingly, a virtual image 370 corresponding to the reflected light that has reached the first hologram optical element 301 is formed in one region EMB 370 on the glass 112 in the form shown in FIG. 3B . can be formed.
  • FIG. 4 is a flowchart illustrating a process of providing a virtual image in the glasses-type terminal 1 related to the present invention.
  • 5 to 6 are graphs showing the transmission and reflection characteristics of the hologram optical element used in the glasses-type terminal 1 related to the present invention.
  • the optical module 511 of the glasses-type terminal 1 may emit light for generating an image of a virtual image.
  • at least one light source provided in the optical module 511 that is, an image source may emit light (S400).
  • the lens unit 512 may diverge and expand the light emitted from the optical module 511 . Then, the enlarged light may be converted into parallel light (S402). The parallel light converted by the lens unit 512 may be incident on the first surface of the second hologram optical element 302 at an angle within a preset light transmission incident angle range, that is, a transmission angle range ( S404 ).
  • the transmission and reflection characteristics of the light according to the light incident angle of the second hologram optical element 302 are as shown in FIGS. 5 and 6 .
  • 5 and 6 are views showing transmittance for each wavelength in the incident angle range of -10 degrees (350 degrees) to 80 degrees.
  • 6 is a diagram showing the transmittance for each wavelength of each light corresponding to each incident angle range as a three-dimensional graph.
  • each graph of FIG. 5 corresponds to different incident angles, the horizontal axis indicates wavelength (nm), and the vertical axis indicates transmittance. Therefore, as described above, in the present invention using a digital small mirror device (DMD) using a micro LED, micro OLED, LCoS, LED or SLD having a wider wavelength than laser light as an image source, the light used as an image source is In the wavelength band, that is, the display wavelength band 600, the holographic optical element has the lowest transmittance for light with an incident angle of -2 degrees (358 degrees), and high transmittance for light with an incident angle between 18 degrees and 32 degrees. It can be seen that the property has
  • the preset light incident angle (transmitted light incident angle) at which light transmission occurs may be 18 degrees to 32 degrees, and the incident angle is outside this range. In this case, it can be seen that the holographic optical elements reflect light.
  • the lens unit 512 has an incident angle range (18 degrees to 32 degrees) at which the light transmission occurs. It may be arranged to face the first surface of the second holographic optical element 302 at an angle within.
  • the parallel light of the lens unit 512 incident on the second hologram optical element 302 may pass through the second hologram optical element 302 .
  • the light transmitted through the second hologram optical element 302, that is, the transmitted light may be incident on the first reflective element 303 disposed to face the second surface of the second hologram optical element 302,
  • the first reflective element 303 may reflect the incident transmitted light to the second surface of the second hologram optical element 302 ( S406 ).
  • a light path (first path) passing through the first surface of the second hologram optical element 302, and a path of light reflected from the first reflective element 303 and incident on the second hologram second surface (second path) may overlap. Accordingly, since the first path and the second path can be compressed into one path, the space required for the diffraction unit 52 for securing the optical path can be saved.
  • the transmittance of the hologram optical elements used in the glasses-type terminal 1 according to the embodiment of the present invention is -2 degrees (358 degrees), that is, the more the light is incident in a direction closer to the horizontal. It can be seen that the reflectance increases accordingly. Accordingly, when the light reflected from the first reflective element 303 is incident at an angle out of the preset incident angle range (18 degrees to 32 degrees), the incident light may be reflected.
  • the first reflective element 303 that is, a mirror, reflects light according to a reflection angle (eg, -2 degrees) within a preset range.
  • the direction in which the reflective surface of the first reflective element 303 is oriented so as to be incident on the second surface of the second hologram optical element 302 is the direction in which the second surface of the second hologram optical element 302 is oriented. It can be arranged to form a -2 degree angle. Accordingly, the light reflected from the first reflective element 303 may be incident on the second surface of the second hologram optical element 302 at an angle corresponding to a preset reflection angle.
  • the light incident on the second surface of the second hologram optical element 302 may be diffracted and dispersed in a normal wavelength.
  • the reflected light dispersed in the normal wavelength may be reflected through the second surface of the second hologram optical element 302 ( S408 ).
  • the normal wavelength dispersed light reflected from the second surface of the second hologram optical element 302 may be incident on the first hologram optical element 301 ( S410 ).
  • the first hologram optical element 301 may be an optical element capable of reverse wavelength dispersion of incident light. Therefore, the light incident on the first hologram optical element 301 may be reverse wavelength-dispersed in the first hologram optical element 301 , and the reverse-wavelength-dispersed light is reflected from the first hologram optical element 301 and the user may be incident on the pupil of (S412). Accordingly, light dispersion generated in the second hologram optical element 302 may be canceled by the first holographic optical element 301 .
  • the glasses-type terminal 1 cancels the dispersion of light generated by the second hologram optical element 302 , the first reflective element 303 , and the second hologram optical element 302 . Since the optical path including the first holographic optical element 301 is formed, there is an advantage that a clear virtual image can be formed on the glass 112 without using light of an extremely short wavelength such as laser light.
  • 7A and 7B are exemplary views illustrating examples of virtual images formed at different positions according to the IPD difference.
  • a virtual image is generated on the glass corresponding to the user's right eye.
  • the present invention is not limited thereto. That is, when a virtual image is generated on the glass corresponding to the user's left eye, the virtual image may be generated on one area of the glass corresponding to the left eye in a similar manner to the following description.
  • the area in which the virtual image 370 is displayed and the EMB 360 formed by the first hologram optical element 301 may be different. That is, while the virtual image 370 is displayed on the right side of the EMB 360 , a part of the virtual image 370 may be displayed outside the EMB 360 . Therefore, as shown in (b) of FIG. 7A , a part of the virtual image 370 is displayed in an area that the user cannot see, so that the user cannot see the part of the virtual image 370 may occur.
  • an area on the glasses 112 corresponding to the user's pupil may be different. have.
  • a virtual image may be formed in an area on the glass 112 corresponding to the left side of the user's pupil.
  • the area in which the virtual image 370 is displayed and the EMB 360 formed by the first hologram optical element 301 may be different. That is, while the virtual image 370 is formed on the left side of the EMB 360 , a part of the virtual image 370 may be displayed outside the EMB 360 . Accordingly, as shown in (b) of FIG. 7B , a problem may occur that the user cannot view a part of the virtual image 370 .
  • the present invention allows the propagation angle of the light incident to the first hologram optical element 301 to be changed.
  • the first reflective element 303 is configured such that the reflection angle of the light incident on the first hologram optical element 301, that is, the light reflected from the second surface of the second hologram optical element 302 is changed.
  • the angle at which the second surface of the second hologram optical element 302 is oriented may be changed.
  • the incident angle of the light incident on the second surface of the second hologram optical element 302 is By changing , the reflection angle of the light reflected from the second surface of the second hologram optical element 302 can be changed.
  • FIG 8 is an exemplary view showing examples of the first reflective element 303 formed to be tiltable in the glasses-type terminal 1 related to the present invention.
  • 9 and 10 are exemplary views illustrating an example in which a generation position of a virtual image according to an IPD difference is compensated for by the tilted first reflective element 303 in the glasses-type terminal 1 related to the present invention.
  • the diffraction unit 52 may further include a tilting unit 800 for tilting the first reflective element 303.
  • the first reflective element 303 may have a vertical axis of rotation 820 that crosses the center of the first reflective element 303 on the rear surface, and the tilting unit 800 is the rotation axis ( 820) may include at least one component for rotating clockwise or counterclockwise.
  • the rotation shaft 820 may include a plurality of sawtooth-shaped protrusions formed at equal intervals along the rotation shaft.
  • the dial gauge 810 may be rotatably formed as shown in FIGS. 8A and 8B . And the rotational motion of the dial gauge 810 is to be transmitted to the rotation shaft 820 of the first reflective element 303 through the gear 830 connected to the dial gauge 810 or integrated with the dial gauge 810. can Accordingly, as the dial gauge 810 is rotated, the first reflective element 303 may be rotated at a predetermined angle, and as the first reflective element 303 is rotated, the front surface of the first reflective element 303 may be rotated. The oriented angle may vary.
  • the incident angle at which the light reflected by the first reflective element 303 is incident on the second surface of the second hologram optical element 302 is changed.
  • the reflection angle of the light reflected from the second surface of the second holographic optical element 302 may also be changed, and accordingly, the position of the incident point of the light incident on the first holographic optical element 301 may be changed.
  • the first reflective element 303 when the first reflective element 303 is rotated in a direction to increase the incident angle of the light incident on the second surface of the second hologram optical element 302, the second The reflection angle of the light reflected from the second surface of the holographic optical element 302 may also be increased.
  • the incident angle at which the light reflected from the second hologram optical element 302 is incident on the first hologram optical element 301 may be increased. Therefore, in the first hologram optical element 301, the position at which the light incident from the second hologram optical element 302 is reflected is shifted to the left, so that the generation position of the virtual image reflected on the user's eyes is on the left, that is, the user's It can be moved in the glabellar direction (outward direction of both eyes).
  • the entire virtual image may be changed to a state displayed in the EMB 360, and accordingly, the user visually sees the entire virtual image.
  • the incident angle at which the light reflected from the second hologram optical element 302 is incident on the first hologram optical element 301 may be reduced. Accordingly, in the first hologram optical element 301 , the position at which the light incident from the second hologram optical element 302 is reflected is shifted to the right, so that the generation position of the virtual image reflected on the user's eye is on the right, that is, the user's It can be moved in the temple direction (ie in the medial direction of both eyes).
  • the entire virtual image may be changed to a state displayed in the EMB 360, and accordingly, the user visually sees the entire virtual image.
  • the position at which the virtual image is generated may be moved to the left or right. Accordingly, the EMB of the present invention can be extended by a distance at which the virtual image generation position can be changed.
  • 11 is a conceptual diagram for explaining the concept of expanding the EMB by the tilted first reflective element 303 in the glasses-type terminal 1 related to the present invention.
  • the glasses-type terminal 1 when a part of the virtual image is out of the EMB according to the difference in IPD, the first reflective element 303 is rotated to form a virtual image. You can change the location.
  • the position of the virtual image is generated by rotating the first reflective element 303. Accordingly, the user can view the entire virtual image.
  • the position of the virtual image is generated through the rotation of the first reflective element 303. Accordingly, the user can view the entire virtual image.
  • the EMB through which a user can identify a virtual image can be extended from the existing EMB area by an area corresponding to a length a (1101) or a length b (1102).
  • the expanded EMB area 1100 may be formed together.
  • FIG. 12 is an exemplary view illustrating an example of a housing 1200 of the glasses-type terminal 1 related to the present invention including a first reflective element formed to be tiltable.
  • FIGS. 12 (a) and (c) show that the housing 1200 is attached to the body part 120 of the glasses-type terminal 1 from different sides, respectively.
  • the second frame unit 130 may provide a space in which the housing 1200 is mounted, and the housing 1200 may be accommodated in the space provided in the second frame unit 130 . ) and the body part 120 may be combined.
  • the housing 1200 may be formed to surround the display unit 51 including the optical module 511 and the lens unit 512 , as shown in FIGS. 12 ( c ) and 12 ( d ). And it may be combined with the second hologram optical element 302 and the first reflective element 303 .
  • the first reflective element 303 may include a rotation shaft 820 including serrated protrusions formed to mesh with at least some of the teeth of the gear 830 .
  • the gear 830 may be formed integrally with the dial gauge 810 to transmit a rotational force according to the rotation of the dial gauge 810 to the rotation shaft 820 .
  • the dial gauge 810 may be formed to be exposed to the outside of the second frame part 130 as shown in FIG. 12C . Accordingly, the user can rotate the dial gauge 810, and according to the rotation of the dial gauge 810, in a direction of increasing or decreasing the incident angle of the light incident on the second surface of the second hologram optical element 302.
  • the first reflective element 303 may be rotated.
  • the first reflective element 303 may be configured to automatically tilt.
  • the first reflective element 303 may be configured to automatically tilt.
  • the tilting unit 800 may further include an actuator that provides a rotational force to the gear 830 instead of a dial gauge.
  • the actuator (not shown) rotates the gear 830 under the control of the controller 10 to rotate the first reflective element 303 with the rotational force transmitted through the gear 830 . can be formed.
  • the angle at which the first reflective element 303 is rotated through the actuator may be determined by the controller 10 according to a result of sensing the user's IPD.
  • the controller 10 may calculate the distance between the pupils of both eyes based on the pupil positions of both eyes of the user obtained through the camera 31 .
  • the angle between the left body part and the left glass supporting the left leg part of the spectacles-type terminal 1 and the angle between the right body part and the right glass supporting the right leg part of the spectacle-type terminal 1 are measured and measured.
  • the size of the user's head may be calculated according to the angle and the IPD corresponding to the calculated head size may be estimated.
  • FIG. 13 is a flowchart illustrating an operation process of performing tilting for compensating for a virtual image generation position based on the IPD estimated according to the angle between the glass part and the body part in the glasses-type terminal 1 related to the present invention.
  • the controller 10 of the spectacles-type terminal 1 first controls the angle between the left body part supporting the glass part of the spectacle-type terminal 1 and the left glass corresponding to the left eye, and Angles between the right body part and the right glass corresponding to the right eye may be measured ( S1300 ).
  • the measured angles may be angles at which the left leg part and the right leg part of the glasses-type terminal 1 are apart.
  • the angles measured in step S1300 will be referred to as gap angles.
  • the controller 10 may determine whether the measured gap angles are included in a preset angle range. In addition, when the measured gap angles are within a preset angle range, it may be determined that there is no need to tilt the first reflective element 303 . In this case, the controller 10 may not rotate the first reflective element 303 .
  • the controller 10 determines the distance between the user's binocular pupils, that is, the IPD based on the measured gap angles. It can be estimated (S1302).
  • the controller 10 may subtract a distance corresponding to a gap angle measured smaller than the standard angle range from a preset standard IPD value, or increase a distance corresponding to a gap angle measured beyond the standard angle range. have.
  • the subtraction or increase of the distance corresponding to the measured gap angle may be made for each gap angle calculated from each body part. That is, the gap angle (first gap angle) measured in the left body part (left leg part) is smaller than the preset angle range, and the gap angle (second gap angle) measured in the right body part (right leg part) is When the measurement is larger than the preset angle range, the controller 10 subtracts the distance corresponding to the first gap angle from the distance corresponding to the standard IPD, and subtracts the first gap angle from the standard IPD subtracted by the distance corresponding to the first gap angle. 2
  • the user's IPD may be estimated by increasing the distance corresponding to the gap angle.
  • the controller 10 may calculate an angle to tilt the first reflective element 303 based on the estimated IPD (S1304). As an example, if the estimated IPD is wider than the standard IPD, the controller 10 may determine the angle at which the first reflective element 303 is tilted in a direction to reduce the incident angle of the light incident on the second hologram optical element 302 . have.
  • the controller 10 may determine the angle at which the first reflective element 303 is tilted in a direction to increase the incident angle of the light incident on the second hologram optical element 302 . . And when the tilting angle is determined, the controller 10 may control the actuator provided in the tilting unit 800 to tilt the first reflective element 303 by the tilting angle determined in step S1304 ( S1306 ).
  • the step S1300 is to measure a gap angle between the glass and the leg corresponding to any one of the glasses on which the virtual image is displayed.
  • the step S1302 may be a step of comparing the measured one gap angle with the lowest angle or the highest angle of the standard angle range, and the step S1304 is the measured one gap angle and the lowest angle of the standard angle range.
  • it may be a step of determining the tilting angle of the first reflective element 303 according to the difference between the highest angles.
  • the control unit 10 is a first reflective element corresponding to the difference between the measured gap angle and the lowest angle of the standard angle range in step S1304 ( 303) can be determined.
  • the first reflective element 303 may be tilted in a direction to decrease the incident angle of the light incident on the second hologram optical element 302 by the determined tilting angle in step S1306 .
  • the control unit 10 is a first reflective element corresponding to the difference between the measured gap angle and the highest angle of the standard angle range in step S1304 ( 303) can be determined.
  • the first reflective element 303 may be tilted in a direction to increase the incident angle of the light incident on the second hologram optical element 302 by the determined tilting angle in step S1306 .
  • the incident angle of the light incident on the second hologram optical element 302 is increased or decreased by tilting the first reflective element 303 .
  • the angle of incidence of the light incident on the second hologram optical element 302 may be increased or decreased by changing the angle of the light itself.
  • the display unit 51 of the glasses-type terminal 1 according to the embodiment of the present invention may be formed to be rotatable by a predetermined angle in a clockwise or counterclockwise direction, and the display unit 51 may be rotated.
  • a dial gauge or actuator may be provided.
  • 14 to 15 are exemplary views for explaining examples in which a virtual image generation position according to an IPD difference is compensated according to tilting of the rotatably formed display unit 51 .
  • the direction in which the display unit 51 faces may be changed according to the rotation. Accordingly, the incident angle at which the parallel light converted by the lens unit 512 is incident on the first surface of the second hologram optical element 302 may be changed, and accordingly, the second hologram optical element 302 passes through the first first surface.
  • the angle of incidence of the light incident to the reflective element 303 may vary.
  • the first reflective element when the display unit 51 is rotated (tilted) in a direction to increase the incident angle of the light incident on the first reflective element 303, the first reflective element The angle at which the reflected light of 303 is incident on the second surface of the second hologram optical element 302 may be increased. Then, the reflection angle of the light reflected from the second surface of the second hologram optical element 302 may also be increased, and accordingly, the position where the reflected light is reflected from the first hologram optical element 301, that is, the position where the virtual image is generated can be moved to the left.
  • the position at which the reflected light of the first hologram optical element 301 is incident on the user's pupil may be shifted to the left. Accordingly, as shown in (a) of FIG. 14 , the generation position of the virtual image reflected on the user's eye may be moved to the left.
  • the virtual image 370 is out of the EMB 360 and the virtual image 370 is In a state in which the right part of ' is cut off, the position at which the virtual image 370 is displayed may be moved to the left. Therefore, as shown in the second drawing (right drawing) of FIG. 14(b) , the entire virtual image may be changed to a state displayed in the EMB 360, and accordingly, the user visually sees the entire virtual image. can be checked with
  • the position at which the reflected light of the first hologram optical element 301 is incident on the user's pupil may be shifted to the right. Accordingly, as shown in (a) of FIG. 15 , the generation position of the virtual image reflected on the user's eye may be shifted to the right.
  • the virtual image 370 leaves the EMB 360 and the virtual image 370 .
  • the position at which the virtual image 370 is displayed may be moved to the right.
  • the entire virtual image may be changed to a state displayed in the EMB 360, and accordingly, the user visually sees the entire virtual image.
  • the light emitted from the display unit 51 reaches the first hologram optical element 301 using one diffractive element that refracts the incident light at a preset angle.
  • 16 is an exemplary view illustrating an example of an optical system that transmits the light emitted from the display unit 51 to the first hologram optical element 301 through one diffraction element.
  • the display unit 51 of the glasses-type terminal 1 displays parallel light converted through the lens unit 512 on the first surface of the preset diffractive element 1600 . can get in Then, the incident parallel light may be redirected at a preset angle through diffraction in the diffraction element 1600 , and the parallel light may be incident on the first hologram optical element 301 through the redirection.
  • the diffraction element 1600 may be a holographic optical element that redirects the incident light to a preset angle and transmits the light when the light is incident at an angle within a predetermined range.
  • the light diffracted by the diffraction element 1600 may be dispersed in a normal wavelength during the diffraction process, and accordingly, the light dispersed in the normal wavelength may be incident to the first hologram optical element 301 .
  • the first hologram optical element 301 may be an optical element that reversely disperses incident light in order to cancel the dispersion (forward wavelength dispersion) of the light. Accordingly, the light diffracted and dispersed by the diffraction element 1600 may be reversely dispersed and reflected by the first hologram optical element 301 to be incident on the user's pupil. Accordingly, a virtual image that does not include optical noise due to dispersion may be formed on one area EMB of the glass 112 .
  • 17 is a diagram illustrating a method for compensating a virtual image generation position according to an IPD difference according to tilting of the display unit 51 when light from an image source is transmitted to the first hologram optical element 301 through one diffraction element. It is a conceptual diagram for explaining the glasses-type terminal 1 related to the present invention.
  • the light emitted from the display unit 51 is incident on the diffraction element 1600 in a direction in which the incident angle increases.
  • the incident angle of the light incident to the first hologram optical element 301 through the diffraction element 1600 may also be increased.
  • the position of the incident point of the light incident on the first hologram optical element 301 may be shifted to the left. Accordingly, the position of the incident point of the reflected light reflected from the first hologram optical element 301 and incident on the user's pupil is moved to the left, so that the generating position of the virtual image reflected on the user's eye may be moved to the left.
  • the position of the virtual image can be moved to the left by tilting the display unit 51 by a predetermined angle. Therefore, by displaying the virtual image in the EMB, even a user with an IPD narrower than a preset level can view the entire virtual image without truncating one side.
  • the light emitted from the display unit 51 is incident on the diffraction element 1600 in a direction in which the incident angle is decreased.
  • the incident angle of the light incident to the first hologram optical element 301 through the diffraction element 1600 may also be reduced.
  • the position of the incident point of the light incident on the first hologram optical element 301 may be moved to the right. Accordingly, the position of the incident point of the reflected light reflected from the first hologram optical element 301 and incident on the user's pupil is shifted to the right, so that the generating position of the virtual image reflected on the user's eye may be shifted to the right.
  • the generation position of the virtual image may be moved to the right by tilting the display unit 51 by a predetermined angle. Therefore, by displaying the virtual image in the EMB, it is possible to view the entire virtual image without cutting off one side even if the IPD is wider than a preset level.
  • the first reflection element 303 is a total reflection mirror or a reflection mirror.
  • the present invention is not limited thereto.
  • a holographic optical device As an example, in the case of a holographic optical device, it has been described that when light is incident at an angle out of a preset incident angle for transmitting light, it has a property of reflecting light. Therefore, it goes without saying that a hologram optical element may be used as the first reflective element 303 when such a reflection characteristic of the holographic optical element is used.
  • the present invention described above can be implemented as computer-readable code on a medium in which a program is recorded.
  • the computer readable medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is also a carrier wave (eg, transmission over the Internet) that is implemented in the form of.
  • the computer may include the control unit 10 of the glasses-type terminal (1).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

본 발명은 안경형 단말기에 대한 것으로, 가상 영상의 영상원이 되는 영상광을 출광하는 디스플레이부와, 상기 영상광을 기 설정된 각도로 반사 회절 시키는 회절 소자 및, 상기 안경형 단말기의 글래스의 적어도 일부에 구비되며, 상기 회절 소자에서 반사 회절되어 분산(dispersion)된 상기 영상광을 반사시켜 상기 영상광에 대응하는 가상 영상을 표시하는 제1 홀로그램 광학 소자(Holographic Optical Element, HOE)를 포함하는 것을 특징으로 한다.

Description

안경형 단말기 및 그 안경형 단말기의 가상 영상 제공 방법
본 발명은 안경형 단말기에 대한 것으로, 보다 자세하게는 VR(Virtual Reality), AR(Augmented Reality) 및 MR(Mixed Reality) 영상을 제공할 수 있는 안경형 단말기에 대한 것이다.
정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 두부 장착형 디스플레이 장치(head mounted display, HMD) 또는 스마트 글래스와 같은 착용 가능한 안경형 단말기가 있다.
두부 장착형 디스플레이 장치는 주로 보안경이나 헬멧형 기기로 눈앞에 있는 스크린을 보도록 이루어지며, 가상 현실감을 실현하기 위해 개발되었다. 그리고 착용 가능한 안경형 단말기는 양안(양쪽 눈)에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식이 일반적으로, 초소형 디스플레이 소자에서 발생하는 영상광을, 빛의 굴절을 이용하는 광학계를 이용하여 안경형 단말기의 글래스(glass)에 가상의 화면, 즉 가상 영상이 구성될 수 있도록 초점을 형성할 수 있다.
이러한 안경형 단말기는 글래스 상에 형성되는 가상 영상을 통해 시-쓰루(See-Through) 형태로 화면을 구현하므로, 가상현실(VR) 뿐만 아니라 증강현실(AR)이나 혼합 현실(MR) 영상을 표시하도록 형성된다.
한편 통상적인 안경형 단말기의 디스플레이 광학계는 가상 영상을 구현하기 위해서 레이저와 같은 극단적으로 짧은 파장을 가지는 광을 영상원으로 사용하고, MEMS(Micro Electro Mechanical System) 미러 스캐너를 이용하여 상기 레이저 영상을 안경형 단말기의 글래스 상에 반사시키는 구성을 가진다. 이 경우 축이탈(Off axis)로 인한 회절 수차 문제가 발생하지는 않으나, 레이저 광이 인체의 눈에 반사되므로, 눈과 같은 취약한 인체 조직이 손상될 수 있다는 눈 안전성 문제(eye safety)가 대두되고 있다. 또한 MEMS 미러 스캐너를 이용함에 따라, 광학계의 구조가 복잡해지고 크기 역시 커지므로, 안경형 단말기의 콤팩트(compact)화가 어렵다는 문제가 있다.
한편 안경형 단말기에서 형성되는 가상 영상을 사용자가 확인하기 위해서는 사용자의 안구 움직임에 대응하는 영역에 상기 가상 영상이 표시되어야 한다. 이처럼, 안구가 움직이는 동안 사용자의 눈이 전체 가상 이미지를 손실없이 완전히 볼 수 있는 영역, 즉 안구 운동 영역(Eye Movement Box, 이하 EMB) 내에 상기 가상 영상이 형성되어야 사용자가 전체 가상 영상을 확인할 수 있다.
그런데 개인 또는 인종별로, 그리고 성별이나 연령별로 사람 간 양쪽 눈동자점 사이의 수평 거리(Inter Pupillary Distance, 이하 IPD)는 큰 차이를 가진다. 일 예로 어린 아이와 성인의 경우, 두상의 크기가 큰 차이를 가지며 이러한 차이는 큰 값의 IPD 차이를 유발한다. 그리고 광학계를 구비하는 바디부가, 글래스에 연결되는 다리부에 형성되는 안경형 단말기의 특성 상, 이러한 IPD 차이는 글래스에 입사되는 광의 입사각을 다르게 하여, 상기 가상 영상이 형성되는 글래스 상의 위치가 달라지도록 할 수 있다. 그리고 IPD 차이에 따라 달라지는 가상 영상의 생성 위치는 사용자가 가상 영상의 일부를 확인하지 못하게 하는 문제를 유발할 수 있다.
일 예로 상기 IPD의 차이로 인해 EMB의 중앙이 아닌 다른 지점에 가상 영상이 형성되는 경우, 가상 영상의 일부가 상기 EMB의 외부에 형성될 수 있다. 이 경우 EMB 외부에 형성되는 가상 영상의 일부는 사용자가 보기 어려우며, 이에 따라 전체의 가상 영상을 사용자가 확인할 수 없다는 문제가 발생할 수 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 레이저 광을 사용자의 눈에 직접 반사시키지 않으면서도 가상 영상이 생성될 수 있는 안경형 단말기 및 그 안경형 단말를 제공하는 것이다.
또한 본 발명은 MEMS 미러 스캐너 없이 영상원에서 형성되는 영상을 글래스에 반사하여 가상 영상을 생성함으로써, 보다 콤팩트한 사이즈를 가지는 안경형 단말기를 제공하는 것을 그 목적으로 한다.
또한 본 발명은 사람별로 서로 다른 IPD의 차이에 상관없이 가상 영상이 EMB 내에 형성되도록 함으로써, 상기 IPD의 차이에 따라 일부의 가상 영상을 사용자가 확인하지 못한다는 문제를 해결할 수 있는 안경형 단말기를 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 안경형 단말기는, 가상 영상의 영상원이 되는 영상광을 출광하는 디스플레이부; 상기 영상광을 기 설정된 각도로 반사 회절 시키는 회절 소자; 및, 상기 안경형 단말기의 글래스의 적어도 일부에 구비되며, 상기 회절 소자에서 반사 회절되어 분산(dispersion)된 상기 영상광의 분산을 상쇄하고, 분산이 상쇄된 광을 반사하여 상기 영상광에 대응하는 가상 영상을 표시하는 제1 홀로그램 광학 소자(Holographic Optical Element, HOE)를 포함하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 안경형 단말기는, 가상 영상의 영상원이 되는 영상광을 출광하는 디스플레이부와, 상기 영상광을 기 설정된 각도로 반사 회절 시키는 회절 소자 및, 상기 안경형 단말기의 글래스의 적어도 일부에 구비되며, 상기 회절 소자에서 반사 회절되어 정파장 분산(Positive dispersion)된 상기 영상광을, 역파장 분산(Negative dispersion)하여 분산을 상쇄하고, 분산이 상쇄된 광을 반사하여 상기 영상광에 대응하는 가상 영상을 표시하는 제1 홀로그램 광학 소자(Holographic Optical Element, HOE)를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 회절 소자는, 기 설정된 입사각 범위 내의 각도로 광이 입사되는 경우 입사된 광을 투과시키고, 기 설정된 반사각 범위 내의 각도로 광이 입사되는 경우 광을 반사시키는 제2 홀로그램 광학 소자 및, 기 설정된 각도로, 반사면이 상기 제2 홀로그램 광학 소자를 지향하도록 배치된 제1 반사 소자를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디스플레이부는, 상기 입사각 범위 내의 각도로 상기 제2 홀로그램 광학 소자를 지향하도록 배치되어, 상기 제2 홀로그램 광학 소자로 입사된 영상광이 상기 제2 홀로그램 광학 소자를 투과하도록 형성되며, 상기 제1 반사 소자는, 상기 영상광이 입사되는 상기 제2 홀로그램 광학 소자의 제1 면과 다른 제2 면을, 상기 반사면이 상기 기 설정된 반사각 범위 내의 각도로 지향하도록 배치되어, 상기 제2 홀로그램 광학 소자를 투과한 광을 상기 반사각 범위 내의 각도로 상기 제2 홀로그램 광학 소자의 제2 면에 반사시키는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제2 홀로그램 광학 소자를 투과하여 상기 제1 반사 소자의 반사면으로 진행하는 광의 제1 경로와, 상기 제1 반사 소자의 반사면에서 반사된 광이 상기 제2 홀로그램 광학 소자의 제2 면으로 진행하는 광의 경로가 중첩되도록, 상기 제1 반사 소자의 반사면과 상기 제2 홀로그램 광학 소자의 제2 면이 마주보도록 배치되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 반사 소자는, 입사된 모든 파장의 광들을 반사시키는 전반사 미러(Full Reflection Mirror)임을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 반사 소자는, 입사된 광들 중 투과 비율 및 반사 비율이 일정 범위 내의 소정 비율을 갖도록 광들의 반사가 일부 제한되는 반반사 미러(Half Reflection Mirror)임을 특징으로 한다.
일 실시 예에 있어서, 상기 디스플레이부는, 상기 영상광을 출광하는 적어도 하나의 광원을 포함하는 광 모듈 및, 상기 적어도 하나의 광원에서 출광된 광을 확대하고 평행광으로 변환하는 적어도 하나의 렌즈를 포함하는 렌즈부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 적어도 하나의 광원은, 마이크로 LED(Light Emitting Diode), 마이크로 OLED(Organic LED), LCoS(Liquid Crystal on Silicon), 또는 LED나 SLD(Super Luminescent Diode)를 사용하는 디지털 소형 거울 장치(Digital Micromirror Device(DMD) with LED or SLD) 중 적어도 하나를 포함하는 자발광 또는 조명광 방식의 광원임을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 반사 소자는, 상기 제2 홀로그램 광학 소자를 투과한 광이, 상기 기 설정된 반사각 범위 내의 각도로 입사되도록 배치된 홀로그램 광학 소자임을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 반사 소자를 소정 각도 회전하여, 상기 반사면이 상기 제2 홀로그램 광학 소자를 지향하는 각도를 변경시키는 틸팅(tilting)부를 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 가상 영상은, 상기 제2 홀로그램 광학 소자의 제2 면에 입사되는 광의 입사각이 증가되도록 상기 제1 반사 소자가 회전되는 경우, 상기 글래스 상의 표시 위치가 사용자의 미간 방향으로 이동되고, 상기 제2 홀로그램 광학 소자의 제2 면에 입사되는 광의 입사각이 감소되도록 상기 제1 반사 소자가 회전되는 경우, 상기 글래스 상의 표시 위치가 사용자의 관자놀이 방향으로 이동되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 틸팅부는, 상기 제1 반사 소자를 소정 각도 회전시는 회전력을 제공하는 액추에이터(Actuatior)를 더 포함하고, 사용자의 양안 눈동자 사이의 거리를 측정할 수 있는 센서부와, 상기 센서부를 통해 측정된 거리에 대응하는 각도로 상기 제1 반사 소자의 회전 각도를 결정하고, 결정된 회전 각도에 따라 상기 제1 반사 소자를 회전시키도록 상기 액추에이터를 제어하는 제어부를 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 센서부는, 상기 안경형 단말기에서, 사용자의 양안에 대응하는 글래스들을 지지하는 글래스 프레임에 구비되는 적어도 하나의 카메라이며, 상기 제어부는, 상기 카메라를 통해 획득되는 사용자 양안의 눈동자 위치에 근거하여 상기 양안의 눈동자 사이의 거리를 산출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 센서부는, 상기 디스플레이부가 구비되는 상기 안경형 단말기의 바디부와, 사용자의 양안에 대응하는 글래스들을 지지하는 글래스 프레임 사이의 각도를 측정하는 센서를 적어도 하나 포함하며, 상기 제어부는, 상기 측정된 바디부와 글래스 프레임 사이의 각도에 근거하여 상기 양안의 눈동자 사이의 거리를 추정하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디스플레이부가 상기 회절 소자를 지향하는 각도가 달라지도록 상기 디스플레이부를 소정 각도 회전시키는 틸팅부를 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 가상 영상은, 상기 회절 소자로 입사되는 광의 입사각이 증가되도록 상기 디스플레이부가 상기 회절 소자를 지향하는 각도가 변경되는 경우, 상기 글래스 상의 표시 위치가 사용자의 미간 방향으로 이동되고, 상기 회절 소자로 입사되는 광의 입사각이 감소되도록 상기 디스플레이부가 상기 회절 소자를 지향하는 각도가 변경되는 경우, 상기 글래스 상의 표시 위치가 사용자의 관자놀이 방향으로 이동되는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 안경형 단말기의 가상 영상 제공 방법은, 상기 가상 영상의 영상원이 되는 영상광을 출광하는 적어도 하나의 광원이 발광하는 단계와, 적어도 하나의 렌즈가, 상기 광원으로부터 출광된 영상광을 확대 및 평행광으로 변환하는 단계와, 회절 소자가, 상기 영상광을 기 설정된 각도로 반사 및 회절시키는 단계 및, 상기 안경형 단말기의 글래스 적어도 일부에 구비되는 제1 홀로그램 광학 소자가, 상기 회절 소자에서 회절되어 정파장 분산(Positive dispersion)된 분산광을, 역파장 분산(Negative dispersion)하여 분산을 상쇄하고, 분산이 상쇄된 광을 반사하여 상기 영상광에 대응하는 가상 영상을 상기 글래스 적어도 일부에 표시하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 회절 소자는, 기 설정된 입사각 범위 내의 각도로 광이 입사되는 경우 입사된 광을 투과시키고, 기 설정된 반사각 범위 내의 각도로 광이 입사되는 경우 광을 반사시키는 제2 홀로그램 광학 소자 및, 기 설정된 각도로, 반사면이 상기 제2 홀로그램 광학 소자를 지향하도록 배치된 제1 반사 소자를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 회절 소자가 상기 영상광을 반사 및 회절 시키는 단계는, 상기 제2 홀로그램 광학 소자가, 상기 입사각 범위 내로 입사된 상기 평행광을 투과시키는 단계와, 상기 제1 반사 소자가, 상기 제2 홀로그램 광학 소자에서 투과된 광이 반사되도록, 상기 반사각 범위 내의 각도로 상기 제2 홀로그램 광학 소자를 투과한 투과광을 상기 제2 홀로그램 광학 소자에 반사시키는 단계와, 상기 제2 홀로그램 광학 소자가, 상기 제1 반사 소자로부터 반사된 반사광을, 상기 제1 홀로그램 광학 소자로 반사시키는 단계를 포함하며, 상기 반사광은, 상기 제2 홀로그램 광학 소자에서 반사되면서 회절되어, 정파장 분산되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 회절 소자가 상기 영상광을 반사 및 회절 시키는 단계는, 상기 적어도 하나의 광원 또는 상기 회절 소자가 지향하는 방향을 소정 각도 회전시키는 단계를 더 포함하며, 상기 적어도 하나의 광원 또는 상기 회절 소자가 지향하는 방향이 변경됨에 따라 상기 글래스 상에서 표시되는 가상 영상의 위치가 변경되는 것을 특징으로 한다.
본 발명에 따른 안경형 단말기 및 그 안경형 단말기의 가상 영상 제공 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 통상적인 레이저 광원보다 파장폭이 넓은 장파장의 광원을 이용하여 가상 영상을 생성하고, 홀로그래픽 소자를 이용하여 장파장의 광에 따른 역파장 분산(Negative Dispersion) 현상을 상쇄함으로써, 단파장의 레이저 광을 사용하지 않고서도 글래스 상에 가상 영상을 생성할 수 있도록 한다. 이에 따라 본 발명은 단파장의 레이저 광에 따른 눈 안전성 문제를 해소할 수 있으며, 또한 단파장의 레이저 광을 반사시키기 위한 MEMS 미러 스캐너를 구비하지 않음에 따라 광학계의 크기를 줄여 보다 컴팩트한 안경형 단말기를 제공할 수 있도록 한다는 효과가 있다.
또한 본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 홀로그래픽 소자를 투과한 광을 반사시키는 미러의 반사각을 조정하여 상기 글래스 상에 형성되는 가상 영상이 항상 EMB(Eye Movement Box) 내에 형성되도록 함으로써, 사람간 IPD의 차이에 상관없이 사용자가 가상 영상 전체를 확인할 수 있도록 한다는 효과가 있다.
도 1a는 AI 장치의 일 실시예를 나타내는 개념도이다.
도 1b는 본 발명과 관련된 안경형 단말기의 구성을 도시한 블록도이다.
도 2는 본 발명과 관련된 안경형 단말기와, 바디부에 구비된 디스플레이부와 회절부의 내부 구조을 도시한 구성도이다.
도 3은 본 발명과 관련된 안경형 단말기에서, 영상원의 광으로부터 가상 영상이 표시되는 광학계를 설명하기 위한 도시한 개념도이다.
도 4는 본 발명과 관련된 안경형 단말기에서 가상 영상이 제공되는 과정을 도시한 흐름도이다.
도 5 내지 도 6은 본 발명과 관련된 안경형 단말기에서 사용되는 홀로그램 광학 소자의 투과 및 반사 특성을 도시한 그래프이다.
도 7a 및 도 7b는 IPD 차이에 따라 서로 다른 위치에 형성되는 가상 영상의 예들을 도시한 예시도들이다.
도 8은 본 발명과 관련된 안경형 단말기에서, 틸트 가능하도록 형성되는 반사 소자의 예들을 도시한 예시도들이다.
도 9 및 도 10은 본 발명과 관련된 안경형 단말기에서, 틸트된 반사 소자에 의해 IPD 차이에 따른 가상 영상의 생성 위치가 보상되는 예를 도시한 예시도들이다.
도 11은 본 발명과 관련된 안경형 단말기에서, 틸트된 반사 소자에 의해 EMB가 확장되는 개념을 설명하기 위한 개념도이다.
도 12는 틸트 가능하도록 형성된 반사 소자를 포함하는 본 발명과 관련된 안경형 단말기의 바디부 하우징을 도시한 예시도이다.
도 13은 본 발명과 관련된 안경형 단말기에서, IPD 차이에 따른 가상 영상 생성 위치를 보상하기 위한 틸팅을 수행하는 동작 과정을 도시한 흐름도이다.
도 14 내지 도 15는 디스플레이부의 틸팅에 따라 IPD 차이에 따른 가상 영상 생성 위치가 보상되는 예들을 설명하기 위한 예시도들이다.
도 16은 본 발명과 관련된 안경형 단말기의 회절부가, 하나의 회절 소자로 형성되는 예를 도시한 예시도이다.
도 17은 회절부가 하나의 회절 소자로 형성되는 경우에, 디스플레이부의 틸팅에 따라 IPD 차이에 따른 가상 영상 생성 위치를 보상하는 본 발명과 관련된 안경형 단말기를 설명하기 위한 개념도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다
본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한 이하에서 설명되는 각각의 실시 예들 뿐만 아니라, 실시 예들의 조합은 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물 내지 대체물로서, 본 발명의 사상 및 기술 범위에 해당될 수 있음은 물론이다.
한편, 본 명세서에 따른 안경형 단말기는 주변에 있는 단말기와 연동하도록 구성될 수 있다. 일 예로, 안경형 단말기는 사용자가 소지하거나 또는 주변 단말기로부터 수신한 컨텐츠를 표시하도록 구성될 수 있다. 다른 예로, 안경형 단말기는 클라우드 네트워크를 통해 주변 장치 또는 서버와 연동하여 수신한 컨텐츠를 표시하도록 구성될 수 있다. 이와 관련하여, 안경형 단말기는 5G 통신을 통해 주변 장치 또는 서버와 연동하여 수신한 컨텐츠를 표시하도록 구성될 수도 있다.
[5G 시나리오]
5G의 세 가지 주요 요구 사항 영역은 (1) 개선된 모바일 광대역 (Enhanced Mobile Broadband, eMBB) 영역, (2) 대용량의 머신 타입 통신 (massive Machine Type Communication, mMTC) 영역 및 (3) 초-신뢰 및 저 지연 통신(Ultra-reliable and Low Latency Communications, URLLC) 영역을 포함한다.
일부 사용 예(Use Case)는 최적화를 위해 다수의 영역들이 요구될 수 있고, 다른 사용 예는 단지 하나의 핵심 성능 지표 (Key Performance Indicator, KPI)에만 포커싱될 수 있다. 5G는 이러한 다양한 사용 예들을 유연하고 신뢰할 수 있는 방법으로 지원하는 것이다.
eMBB는 기본적인 모바일 인터넷 액세스를 훨씬 능가하게 하며, 풍부한 양방향 작업, 클라우드 또는 증강현실에서 미디어 및 엔터테인먼트 애플리케이션을 커버한다. 데이터는 5G의 핵심 동력 중 하나이다. 증가된 트래픽 양(volume)을 위한 주요 원인들은 콘텐츠 크기의 증가 및 높은 데이터 전송률을 요구하는 애플리케이션 수의 증가이다. 스트리밍 서비스 (오디오 및 비디오), 대화형 비디오 및 모바일 인터넷 연결은 더 많은 장치가 인터넷에 연결될수록 더 널리 사용될 것이다.
이러한 많은 응용 프로그램들은 사용자에게 실시간 정보 및 알림을 푸쉬하기 위해 항상 켜져 있는 연결성이 필요하다. 클라우드 스토리지 및 애플리케이션은 모바일 통신 플랫폼에서 급속히 증가하고 있으며, 이것은 업무 엔터테인먼트 모두에 적용될 수 있다. 그리고, 클라우드 스토리지는 상향링크 데이터 전송률의 성장을 견인하는 특별한 사용 예이다. 5G는 또한 클라우드의 원격 업무에도 사용되며, 촉각 인터페이스가 사용될 때 우수한 사용자 경험을 유지하도록 훨씬 더 낮은 단-대-단(end-to-end) 지연을 요구한다. 엔터테인먼트 예를 들어, 클라우드 게임 및 비디오 스트리밍은 모바일 광대역 능력에 대한 요구를 증가시키는 또 다른 핵심 요소이다. 엔터테인먼트는 기차, 차 및 비행기와 같은 높은 이동성 환경을 포함하는 어떤 곳에서든지 스마트폰 및 태블릿에서 필수적이다. 또 다른 사용 예는 엔터테인먼트를 위한 증강현실 및 정보 검색이다. 여기서, 증강현실은 매우 낮은 지연과 순간적인 데이터 양을 필요로 한다.
또한, 가장 많이 예상되는 5G 사용 예 중 하나는 모든 분야에서 임베디드 센서를 원활하게 연결할 수 있는 기능 즉, mMTC에 관한 것이다. 2020년까지 잠재적인 IoT 장치들은 204 억 개에 이를 것으로 예측된다. 산업 IoT는 5G가 스마트 도시, 자산 추적(asset tracking), 스마트 유틸리티, 농업 및 보안 인프라를 가능하게 하는 주요 역할을 수행하는 영역 중 하나이다.
URLLC는 주요 인프라의 원격 제어 및 자체-구동 차량(self-driving vehicle)과 같은 초 신뢰/이용 가능한 지연이 적은 링크를 통해 산업을 변화시킬 새로운 서비스를 포함한다. 신뢰성과 지연의 수준은 스마트 그리드 제어, 산업 자동화, 로봇 공학, 드론 제어 및 조정에 필수적이다.
다음으로, 다수의 사용 예들에 대해 보다 구체적으로 살펴본다.
5G는 초당 수백 메가 비트에서 초당 기가 비트로 평가되는 스트림을 제공하는 수단으로 FTTH (fiber-to-the home) 및 케이블 기반 광대역 (또는 DOCSIS)을 보완할 수 있다. 이러한 빠른 속도는 가상현실과 증강현실뿐 아니라 4K 이상(6K, 8K 및 그 이상)의 해상도로 TV를 전달하는데 요구된다. VR(Virtual Reality) 및 AR(Augmented Reality) 애플리케이션들은 거의 몰입형(immersive) 스포츠 경기를 포함한다. 특정 응용 프로그램은 특별한 네트워크 설정이 요구될 수 있다. 예를 들어, VR 게임의 경우, 게임 회사들이 지연을 최소화하기 위해 코어 서버를 네트워크 오퍼레이터의 에지 네트워크 서버와 통합해야 할 수 있다.
자동차(Automotive)는 차량에 대한 이동 통신을 위한 많은 사용 예들과 함께 5G에 있어 중요한 새로운 동력이 될 것으로 예상된다. 예를 들어, 승객을 위한 엔터테인먼트는 동시의 높은 용량과 높은 이동성 모바일 광대역을 요구한다. 그 이유는 미래의 사용자는 그들의 위치 및 속도와 관계없이 고품질의 연결을 계속해서 기대하기 때문이다. 자동차 분야의 다른 활용 예는 증강현실 대시보드이다. 이는 운전자가 앞면 창을 통해 보고 있는 것 위에 어둠 속에서 물체를 식별하고, 물체의 거리와 움직임에 대해 운전자에게 말해주는 정보를 겹쳐서 디스플레이한다. 미래에, 무선 모듈은 차량들 간의 통신, 차량과 지원하는 인프라구조 사이에서 정보 교환 및 자동차와 다른 연결된 디바이스들(예를 들어, 보행자에 의해 수반되는 디바이스들) 사이에서 정보 교환을 가능하게 한다.
안전 시스템은 운전자가 보다 안전한 운전을 할 수 있도록 행동의 대체 코스들을 안내하여 사고의 위험을 낮출 수 있게 한다. 다음 단계는 원격 조종되거나 자체 운전 차량(self-driven vehicle)이 될 것이다. 이는 서로 다른 자체 운전 차량들 사이 및 자동차와 인프라 사이에서 매우 신뢰성이 있고, 매우 빠른 통신을 요구한다. 미래에, 자체 운전 차량이 모든 운전 활동을 수행하고, 운전자는 차량 자체가 식별할 수 없는 교통 이상에만 집중하도록 할 것이다. 자체 운전 차량의 기술적 요구 사항은 트래픽 안전을 사람이 달성할 수 없을 정도의 수준까지 증가하도록 초 저 지연과 초고속 신뢰성을 요구한다.
스마트 사회(smart society)로서 언급되는 스마트 도시와 스마트 홈은 고밀도 무선 센서 네트워크로 임베디드될 것이다. 지능형 센서의 분산 네트워크는 도시 또는 집의 비용 및 에너지-효율적인 유지에 대한 조건을 식별할 것이다. 유사한 설정이 각 가정을 위해 수행될 수 있다. 온도 센서, 창 및 난방 컨트롤러, 도난 경보기 및 가전 제품들은 모두 무선으로 연결된다. 이러한 센서들 중 많은 것들이 전형적으로 낮은 데이터 전송 속도, 저전력 및 저비용이다. 하지만, 예를 들어, 실시간 HD 비디오는 감시를 위해 특정 타입의 장치에서 요구될 수 있다.
열 또는 가스를 포함한 에너지의 소비 및 분배는 고도로 분산화되고 있어, 분산 센서 네트워크의 자동화된 제어가 요구된다. 스마트 그리드는 정보를 수집하고 이에 따라 행동하도록 디지털 정보 및 통신 기술을 사용하여 이런 센서들을 상호 연결한다. 이 정보는 공급 업체와 소비자의 행동을 포함할 수 있으므로, 스마트 그리드가 효율성, 신뢰성, 경제성, 생산의 지속 가능성 및 자동화된 방식으로 전기와 같은 연료들의 분배를 개선하도록 할 수 있다. 스마트 그리드는 지연이 적은 다른 센서 네트워크로 볼 수도 있다.
건강 부문은 이동 통신의 혜택을 누릴 수 있는 많은 응용 프로그램을 보유하고 있다. 통신 시스템은 멀리 떨어진 곳에서 임상 진료를 제공하는 원격 진료를 지원할 수 있다. 이는 거리에 대한 장벽을 줄이는데 도움을 주고, 거리가 먼 농촌에서 지속적으로 이용하지 못하는 의료 서비스들로의 접근을 개선시킬 수 있다. 이는 또한 중요한 진료 및 응급 상황에서 생명을 구하기 위해 사용된다. 이동 통신 기반의 무선 센서 네트워크는 심박수 및 혈압과 같은 파라미터들에 대한 원격 모니터링 및 센서들을 제공할 수 있다.
무선 및 모바일 통신은 산업 응용 분야에서 점차 중요해지고 있다. 배선은 설치 및 유지 비용이 높다. 따라서, 케이블을 재구성할 수 있는 무선 링크들로의 교체 가능성은 많은 산업 분야에서 매력적인 기회이다. 그러나, 이를 달성하는 것은 무선 연결이 케이블과 비슷한 지연, 신뢰성 및 용량으로 동작하는 것과, 그 관리가 단순화될 것이 요구된다. 낮은 지연과 매우 낮은 오류 확률은 5G로 연결될 필요가 있는 새로운 요구 사항이다.
물류(logistics) 및 화물 추적(freight tracking)은 위치 기반 정보 시스템을 사용하여 어디에서든지 인벤토리(inventory) 및 패키지의 추적을 가능하게 하는 이동 통신에 대한 중요한 사용 예이다. 물류 및 화물 추적의 사용 예는 전형적으로 낮은 데이터 속도를 요구하지만 넓은 범위와 신뢰성 있는 위치 정보가 필요하다.
본 명세서에서 후술할 본 발명은 전술한 5G의 요구 사항을 만족하도록 각 실시예를 조합하거나 변경하여 구현될 수 있다.
도 1a는 AI 장치의 일 실시예를 나타내는 개념도이다.
도 1a를 참조하면, AI 시스템은 AI 서버(16), 로봇(11), 자율주행 차량(12), XR 장치(13), 스마트폰(14) 또는 가전(15) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(11), 자율주행 차량(12), XR 장치(13), 스마트폰(14) 또는 가전(15) 등을 AI 장치(11 내지 15)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템을 구성하는 각 장치들(11 내지 16)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(11 내지 16)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(16)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(16)는 AI 시스템을 구성하는 AI 장치들인 로봇(11), 자율주행 차량(12), XR 장치(13), 스마트폰(14) 또는 가전(15) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(11 내지 15)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이 때, AI 서버(16)는 AI 장치(11 내지 15)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(11 내지 15)에 전송할 수 있다.
이 때, AI 서버(16)는 AI 장치(11 내지 15)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(11 내지 15)로 전송할 수 있다.
또는, AI 장치(11 내지 15)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
<AI+XR>
XR 장치(13)는 AI 기술이 적용되어, HMD(Head-Mount Display), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 휴대폰, 스마트 폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지, 차량, 고정형 로봇이나 이동형 로봇 등으로 구현될 수 있다.
XR 장치(13)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성할 수 있다. XR 장치(13)는 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 출력할 XR 객체를 렌더링하여 출력할 수 있다. 예컨대, XR 장치(13)는 인식된 물체에 대한 추가 정보를 포함하는 XR 객체를 해당 인식된 물체에 대응시켜 출력할 수 있다.
XR 장치(13)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, XR 장치(13)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 객체를 인식할 수 있고, 인식한 현실 객체에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 XR 장치(13)에서 직접 학습되거나, AI 서버(16) 등의 외부 장치에서 학습된 것일 수 있다.
이 때, XR 장치(13)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(16) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
<AI+로봇+XR>
로봇(11)은 AI 기술 및 XR 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇, 드론 등으로 구현될 수 있다.
XR 기술이 적용된 로봇(11)은 XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇을 의미할 수 있다. 이 경우, 로봇(11)은 XR 장치(13)와 구분되며 서로 연동될 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇(11)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 로봇(11) 또는 XR 장치(13)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(13)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 로봇(11)은 XR 장치(13)를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
예컨대, 사용자는 XR 장치(13) 등의 외부 장치를 통해 원격으로 연동된 로봇(11)의 시점에 상응하는 XR 영상을 확인할 수 있고, 상호작용을 통하여 로봇(11)의 자율주행 경로를 조정하거나, 동작 또는 주행을 제어하거나, 주변 객체의 정보를 확인할 수 있다.
<AI+자율주행+XR>
자율주행 차량(12)은 AI 기술 및 XR 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
XR 기술이 적용된 자율주행 차량(12)은 XR 영상을 제공하는 수단을 구비한 자율주행 차량이나, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율주행 차량 등을 의미할 수 있다. 특히, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율주행 차량(12)은 XR 장치(13)와 구분되며 서로 연동될 수 있다.
XR 영상을 제공하는 수단을 구비한 자율주행 차량(12)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하고, 획득한 센서 정보에 기초하여 생성된 XR 영상을 출력할 수 있다. 예컨대, 자율주행 차량(12)은 HUD를 구비하여 XR 영상을 출력함으로써, 탑승자에게 현실 객체 또는 화면 속의 객체에 대응되는 XR 객체를 제공할 수 있다.
이 때, XR 객체가 HUD에 출력되는 경우에는 XR 객체의 적어도 일부가 탑승자의 시선이 향하는 실제 객체에 오버랩되도록 출력될 수 있다. 반면, XR 객체가 자율주행 차량(12)의 내부에 구비되는 디스플레이에 출력되는 경우에는 XR 객체의 적어도 일부가 화면 속의 객체에 오버랩되도록 출력될 수 있다. 예컨대, 자율주행 차량(12)은 차로, 타 차량, 신호등, 교통 표지판, 이륜차, 보행자, 건물 등과 같은 객체와 대응되는 XR 객체들을 출력할 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 자율주행 차량(12)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 자율주행 차량(12) 또는 XR 장치(13)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(13)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 자율주행 차량(12)은 XR 장치(13) 등의 외부 장치를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
[확장현실 기술]
확장현실(XR: eXtended Reality)은 가상현실(VR: Virtual Reality), 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
도 1b는 본 발명과 관련된 안경형 단말기(1)의 구성을 도시한 블록도이다.
본 발명의 실시 예에 따른 안경형 단말기(1)는 통신부(20), 입력부(30), 센서부(40), 출력부(50), 인터페이스부(60), 메모리(70), 제어부(10) 및 전원 공급부(80) 등을 포함할 수 있다. 도 1b에 도시된 구성요소들은 안경형 단말기(1)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 안경형 단말기(1)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 통신부(20)는, 안경형 단말기(1)와 무선 통신 시스템 사이, 안경형 단말기(1)와 다른 단말기 사이, 또는 안경형 단말기(1)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 통신부(20)는, 안경형 단말기(1)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다. 이러한 통신부(20)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
입력부(30)는, 영상 신호 입력을 위한 카메라(31) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 32) 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(33, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 상기 입력부(30)에서 수집된 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
상기 카메라(31)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 적어도 하나 구비될 수 있다. 카메라(31)가 눈에 인접하여 위치하므로, 사용자가 바라보는 장면을 영상으로 획득할 수 있다. 또한 상기 카메라(31)는 글래스를 지지하는 글래스 프레임에 형성되어 글래스 내측의 영상을 획득할 수도 있다. 이 경우 상기 카메라(31)는 글래스 내측의 영상으로부터 사용자의 양안 형상, 즉 양안의 크기나 각 눈동자의 위치 등에 대한 정보를 획득할 수도 있다.
센싱부(40)는 안경형 단말기(1) 내 정보, 안경형 단말기(1)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(40)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(31 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 안경형 단말기(1)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(50)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(51), 음향 출력부(53), 햅팁 모듈(54) 중 적어도 하나를 포함할 수 있다. 또한 출력부(50)는 광 신호를 출력하기 위한 광 출력부등을 더 포함할 수 있다.
여기서 디스플레이부(51)는 가상 영상을 생성하기 위한 광을 출광하는 적어도 하나의 광원을 영상원으로 포함하는 광 모듈(511)을 포함할 수 있다. 상기 광 모듈(511)은 다양한 광원을 포함할 수 있다. 일 예로 광 모듈(511)은 레이저(Laser) 다이오드를 사용하는 레이저 디스플레이 대신에, 레이저 다이오드보다 발광 파장폭이 넓은 광을 출광하는 마이크로 LED(Light Emitting Diode), 마이크로 OLED(Organic LED), LCoS(Liquid Crystal on Silicon)를 사용할 수 있다. 또는 LED나 SLD(Super Luminescent Diode)를 사용하는 디지털 소형 거울 장치(Digital Micromirror Device(DMD) with LED or SLD(Super Luminescent Diode))를 영상원으로 포함할 수 있다.
그리고 상기 디스플레이부(51)는 광 모듈(511)에서 출광되는 광을 확대 및 평행광으로 변환하기 위한 적어도 하나의 렌즈를 포함하는 렌즈부(512)를 포함할 수 있다. 상기 렌즈부(512)에 포함되는 렌즈는 오목 렌즈와 볼록 렌즈 및, 콜리메이팅(collimating) 렌즈 중 적어도 하나를 포함할 수 있으며, 상기 오목 렌즈와 볼록 렌즈는 광 모듈(511)에서 출광되는 광을 발산 및 확대하고, 상기 콜리메이팅 렌즈는 상기 오목 렌즈와 볼록 렌즈에서 발산 및 확대된 광을 평행광으로 변환하기 위해 사용될 수 있다.
한편 본 발명의 실시 예에 따른 안경형 단말기(1)는 상기 디스플레이부(51)에서 출광되는 광을, 안경형 단말기(1)의 글래스(glass) 상에 형성되는 EMB로 진행시키는 광 경로를 형성하는 회절부(52)를 더 포함할 수 있다. 일 예로 상기 출력부(50)가 상기 안경형 단말기(1)의 다리 부분에 형성되는 바디(body)부에 구비되는 경우, 회절부(52)는 상기 바디부의 일부분으로부터 상기 글래스에 광이 투사되도록 하는 광 경로를 형성할 수 있다.
상기 회절부(52)는 적어도 하나의 회절 소자를 포함하는 회절부(52)를 포함할 수 있다. 상기 회절부(52)는 상기 디스플레이부(51)에서 출광되는 광을 특정 방향으로 굴절시키는 굴절 소자를 포함할 수 있다.
그리고 상기 글래스는 적어도 일부에 상기 EMB를 형성하기 위한 반사 소자(301)를 포함할 수 있다. 이 경우 상기 디스플레이부(51)에서 출광된 광은 굴절 소자를 통해 굴절되어 상기 반사 소자(301)로 투사되고, 투사된 광이 상기 반사 소자(301)에서 반사됨으로써 사용자가 식별 가능한 가상 영상이 상기 반사 소자(301) 상에서 형성될 수 있다.
여기서 상기 글래스 상에 형성되는 반사 소자(301)는 홀로그램 광학 소자(Holographic Optical Element, HOE)로 형성될 수 있다. 이 경우 상기 홀로그램 광학 소자(301)는 기 설정된 입사각 범위 내로 입사되는 광은 투과시키고, 상기 기 설정된 입사각 범위를 벗어난 입사각을 가지는 광은 반사시키도록 형성된 소자일 수 있다. 이 경우 사용자의 눈동자에 수직한 방향으로 입사되는 광은 투과시키고, 상기 굴절 소자를 통해 굴절된 광은 반사하여 가상 영상을 형성함으로써 시-쓰루(See-Through) 형태의 가상 영상을 글래스 상에 표시할 수 있다.
한편 상기 굴절 소자는 디스플레이부(51)에서 출광되는 광을 굴절시키는 하나의 굴절 소자로 형성되거나, 복수의 반사 소자로 이루어질 수 있다. 이 경우 상기 복수의 반사 소자는 상기 디스플레이부(51), 즉 렌즈부(512)에서 출광되는 광이 상기 홀로그램 광학 소자(301)로 진행되도록 하는 광 경로를 형성할 수 있다. 이를 위해 상기 복수의 반사 소자 중 제1 반사 소자(303)는 상기 디스플레이부(51)에서 출광되는 광을 반사시키도록 형성되며, 상기 제1 반사 소자(303)와 다른 제2 반사 소자(302)가, 상기 제1 반사 소자(303)에서 반사된 광을 상기 홀로그램 광학 소자(301)로 반사하도록 배치될 수 있다.
한편 상술한 바와 같이, 홀로그램 광학 소자는 기 설정된 입사각 범위 내로 입사되는 광은 투과시키고, 상기 기 설정된 입사각 범위를 벗어난 입사각을 가지는 광은 반사시키는 특성을 가진다. 따라서 상기 제2 반사 소자(302)를 홀로그램 광학 소자로 배치하고, 상기 제1 반사 소자(303)와 상기 디스플레이부(51) 사이에 상기 제2 반사 소자(홀로그램 광학 소자)(302)를 배치하는 경우, 광 입사각 조절을 통해, 디스플레이부(51)에서 출광된 광이 제2 반사 소자(302)를 투과하여 제1 반사 소자(303)에 입사되도록 하고, 상기 제1 반사 소자(303)에 의해 반사된 광을 상기 제2 반사 소자(302)가 반사되도록 할 수 있다.
이에 따라 디스플레이부(51)에서 제1 반사 소자(303)로 광이 입사되는 제1 경로와, 제1 반사 소자(303)를 통해 반사된 광이 상기 제2 반사 소자(302)로 입사되는 제2 경로가 중첩되도록 함으로써, 광 경로 중첩을 통해 요구되는 회절부(52)의 사이즈를 보다 줄일 수 있다.
이하의 설명에서는, 상기 글래스 상에 구비되는 홀로그램 광학 소자(301)와 상기 제2 반사 소자(302)로 사용되는 홀로그램 광학 소자를 구분하기 위하여, 전자, 즉 글래스 상에 구비되는 홀로그램 광학 소자(301)를 제1 홀로그램 광학 소자(제1 HOE)(301)라고 하기로 하고, 후자, 즉 제2 반사 소자(302)로 사용되는 홀로그램 광학 소자를 제2 홀로그램 광학 소자(제2 HOE)(302)라고 하기로 한다.
한편 인터페이스부(160)는 안경형 단말기(1)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 안경형 단말기(1)에서는, 상기 인터페이스부(60)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
한편 음향 출력부(53)는 호 신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송 수신 모드 등에서 통신부(20)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(53)는 안경형 단말기(1)에서 수행되는 기능과 관련된 음향 신호를 출력할 수 있다. 이러한 음향 출력부(53)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
상기 음향 출력부(53)는 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다. 음향 출력부(53)가 골전도 방식으로 구현되는 경우, 사용자가 안경형 단말기(1)를 착용시, 음향 출력부(53)는 사용자의 두부에 밀착되며, 두개골을 진동시켜 음향을 전달할 수 있다.
그리고 햅틱 모듈(haptic module)(54)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈(54)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(54)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 또한 상기 햅틱 모듈(54)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있으며, 안경형 단말기(1)의 구성 태양에 따라 2개 이상 구비될 수 있다.
인터페이스부(60)는 안경형 단말기(1)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(60)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 안경형 단말기(1) 내부의 각 구성요소에 전달하거나, 안경형 단말기(1) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(60)에 포함될 수 있다.
메모리(70)는 제어부(10)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(70)는 햅틱 모듈(54) 또는 음향 출력부(53)를 통해 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
한편 제어부(10)는 응용 프로그램과 관련된 동작과, 통상적인 안경형 단말기(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(10)는 상기 안경형 단말기(1)의 상태가 기 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
또한, 제어부(10)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행할 수 있다. 나아가 제어부(10)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 안경형 단말기(1) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
전원 공급부(80)는 제어부(10)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원 공급부(80)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다. 또한 연결 포트를 통해 외부 충전기의 전원으로 상기 배터리를 충전하거나 또는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초하여 상기 배터리를 충전할 수 있다.
도 2는 본 발명과 관련된 안경형 단말기(1)와, 바디부(120)에 구비된 디스플레이부(51)와 회절부(52)의 내부 구조를 도시한 구성도이다.
먼저 도 2의 (a)는 본 발명의 실시 예에 따른 안경형 단말기(1)를 도시한 것이다.
상기 안경형 단말기(1)는 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)를 구비할 수 있다. 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 상기 프레임부는 각 글래스를 지지하는 제1 프레임부(110)와, 안경형 단말기의 본체를 지지하는 제2 프레임부(130)를 포함할 수 있다.
먼저 제2 프레임부(130)는, 안경형 단말기(1)의 다리 부분(이하 다리부)을 포함하며, 인체의 두부에 지지되며, 각종 부품들이 장착되는 바디부(120)를 구비하기 위한 공간을 마련할 수 있다. 그리고 상기 제2 프레임부(130)에 마련된 공간에 바디부(120)가 장착될 수 있다.
한편 상기 제1 프레임부(110)에는 좌안 및 우안 중 적어도 하나를 덮는 렌즈를 포함하는 글래스(112) 및 상기 글래스(112)를 지지 및 고정하도록 형성되는 글래스 프레임(111)을 포함할 수 있다. 상기 글래스(112)는 상기 글래스 프레임(111)으로부터 착탈 가능하게 장착될 수 있다.
한편 상기 바디부(120)에 구비되는 각종 전자 부품은, 상기 도 1에 도시된 각 구성 요소에 대응하는 전자 부품들일 수 있다. 따라서 상기 바디부(120)는 제어부(10) 및 상기 제어부(10)와 연결된 통신부(20)와 입력부(30), 센서부(40) 및 메모리(70)를 포함할 뿐만 아니라, 상기 출력부(50)를 포함할 수 있다. 이 경우 상기 글래스(112)에 가상 영상을 표시하기 위한 광을 출력하는 디스플레이부(51)와 회절부(52)가 상기 바디부(120)에 구비될 수 있으며, 상기 회절부(52)를 통해 상기 디스플레이부(51)에서 인접한 글래스(112)로 광이 투사되는 광 경로가 상기 바디부(120)에 의해 형성될 수 있다.
도 2의 (b) 및 (c)는 상기 바디부(120)에 구비되는 디스플레이부(51)와 회절부(52)의 구성을 설명하기 위한 예시도이다.
도 2의 (b) 및 (c)를 참조하여 살펴보면, 도 2의 (b) 및 (c)는 영상원을 출광하는 광원, 즉 광 모듈(511)과 복수의 렌즈를 포함하는 렌즈부(512)를 구비하는 디스플레이부(51)를 개시하고 있다. 그리고 제1 반사 소자(303) 및 제2 반사 소자(302), 그리고 제1 홀로그램 광학 소자(301)로 이루어지는 회절부(52)의 구성을 개시하고 있다.
이를 살펴보면, 본 발명의 실시 예에 따른 안경형 단말기(1)는, 제1 홀로그램 광학 소자(301)가 글래스(112)의 일 영역에 형성될 수 있다. 이 경우 상기 제1 홀로그램 광학 소자(301)가 형성된 글래스(112)의 일 영역은 회절부(52)를 통해 투사되는 광이 반사되어 가상 영상을 표시하는 영역으로, 사용자가 표시되는 가상 영상을 육안으로 볼 수 있는 영역, 즉 EMB(Eye Movement Box)를 형성할 수 있다.
한편 본 발명의 실시 예에 따른 안경형 단말기(1)는 도 2의 (b) 및 (c)에서 보이고 있는 바와 같이, 디스플레이부(51)의 렌즈부(512)와 상기 제1 홀로그램 소자(301) 사이에 제1 반사 소자(303)와 제2 반사 소자(302)가 배치될 수 있다.
여기서 상기 제2 반사 소자(302)는 상술한 바와 같이 홀로그램 광학 소자(제2 홀로그램 광학 소자)일 수 있다. 이에 이하의 설명에서는, 상기 제2 반사 소자(302)가 제2 홀로그램 광학 소자임을 가정하여 설명하기로 한다.
한편 상기 제1 반사 소자(303)는 모든 파장의 광을 반사시키는 전반사 거울(Full reflection mirror) 또는 필터를 이용하여 기 설정된 파장을 가지는 광만을 광을 반사시키도록 형성되는 반반사 미러(Half reflection mirror)일 수 있다. 이와 관련하여, 반반사 미러는 파장 선택성이 없도록 구성될 수 있다. 반반사 미러는 입사된 광들 중 투과 비율 및 반사 비율이 일정 범위 내의 소정 비율을 갖도록 광들의 반사를 일부 제한하는 반투과 미러(Half transmission mirror)일 수 있다. 다른 예시에 따르면, 반반사 미러는 기 설정된 파장 범위 내의 광을 일부 반사시키도록 구성될 수도 있다.
만약 상기 제1 반사 소자(303)가 반반사 미러로 형성되는 경우라면, 상기 제1 반사 소자(303)는 미리 지정된 파장의 광들만 소정 비율의 광을 제2 홀로그램 광학 소자(302)로 반사할 수 있다. 이에 따라 실시 예에 따라, 렌즈부(512)에서 이루어지는 광의 확대 및 변환 과정에서 발생하는 노이즈(noise)에 해당하는 광, 즉 광 노이즈는 상기 제1 반사 소자(303)에서 반사되지 않을 수 있다. 따라서 광 노이즈가 제거된 영상원의 광에 따른 가상 영상이 제1 홀로그램 광학 소자(301)를 통해 표시될 수 있다.
그런데, 이처럼 제1 반사 소자(303)가 반반사 미러로 형성되는 경우라면 미리 지정된 파장 길이를 가지는 광들만 광이 반사될 수 있다. 따라서 실시 예에 따라, 기 설정된 파장 범위 내의 광을 반사시키는 경우 광 노이즈가 제거될 수 있다는 이점이 있으나, 양자화 에러(Quantization Error)와 같이, 파장이 서로 다른 각 광들 사이에 미세한 광 오차가 있을 수 있다. 따라서, 파장 선택성은 없고 광의 투과 비율 및 반사 비율이 일정 범위 내의 소정 비율을 갖는 반투과 미러로 제1 반사 소자(303)가 구성될 수 있다.
반면 상기 제1 반사 소자(303)가 전반사 거울로 형성되는 경우라면 모든 파장의 입사광을 제2 홀로그램 광학 소자(302)로 반사하게 된다. 따라서 영상원으로부터 출광된 광 그대로에 따른 가상 영상이 제1 홀로그램 광학 소자(301)를 통해 표시될 수 있다. 이에 따라 상기 광 오차는 발생하지 않을 수 있으나, 전반사 거울의 특성상 모든 파장의 광이 다 반사되므로, 상기 렌즈부(512)의 광 확대 및 변환 과정에서 발생하는 광 노이즈가 가상 영상에 포함될 수 있다.
한편 도 3은 본 발명과 관련된 안경형 단말기(1)에서, 영상원의 광으로부터 가상 영상이 표시되는 광학계를 도시한 개념도이다.
도 3의 (a)를 참조하여 살펴보면, 본 발명의 실시 예에 따른 안경형 단말기(1)의 디스플레이부(51)는 광 모듈(511)과 복수의 렌즈를 구비하는 렌즈부(512)를 포함할 수 있다. 여기서 상기 광 모듈(511)은 레이저 광의 파장보다 긴 파장을 가지는 광원으로, LED와 같이 자발광 또는 조명광 방식의 광원을 영상원으로 포함할 수 있다.
그리고 렌즈부(512)는 적어도 하나의 오목 렌즈(201)와 볼록 렌즈(202), 그리고 콜리메이팅 렌즈(203)를 포함하여 구성될 수 있다. 여기서 상기 볼록 렌즈(202)는 일면이 평평한 형태인 평볼록 렌즈일 수 있다. 상기 오목 렌즈(201)와 볼록 렌즈(202), 그리고 콜리메이팅 렌즈(203)는 도 3의 (a)에서 보이고 있는 바와 같이 광 모듈(511)에서 발광되는 광의 광축을 따라 순서대로 배치될 수 있다.
또한 도 3의 (a)에서 보이고 있는 바와 같이, 상기 제1 반사 소자(303)와 제2 홀로그램 광학 소자(302)는 서로 마주보는 형태로 배치될 수 있다. 이 경우 렌즈부(512)가 배치되는 방향의 제2 홀로그램 광학 소자(302)의 면을 제1 면이라고 하고, 제1 반사 소자(303)의 반사면과 마주하는 상기 제2 홀로그램 광학 소자(302)의 면을 제2 면이라고 하기로 한다.
한편 광 모듈(511)에서 출광된 광은 오목 렌즈(201)를 통해 발산되고, 상기 오목 렌즈(201)를 통해 발산된 광은 볼록 렌즈(202)에서 확대될 수 있다. 그리고 상기 볼록 렌즈(202)에서 확대된 광은 콜리메이팅 렌즈(203)를 통해 평행광으로 변환되어, 제2 홀로그램 광학 소자(302)의 제1 면으로 입사될 수 있다.
여기서 상기 콜리메이팅 렌즈(203)를 통해 변환된 평행광은, 상기 제2 홀로그램 광학 소자(302)의 제1 면에 기 설정된 입사각 범위 내의 각도로 입사될 수 있다. 따라서 도 3의 (a)에서 보이고 있는 바와 같이, 상기 평행광은 상기 제2 홀로그램 광학 소자(302)를 투과할 수 있으며, 투과된 광, 즉 투과광은 제1 반사 소자(303)에 입사될 수 있다.
한편 제1 반사 소자(303)는, 상기 투과광을 상기 투과광이 입사된 각도(입사각)에 대응하는 반사각을 따라 반사시킬 수 있다. 이 경우 도 3의 (a)에서 보이고 있는 바와 같이, 제1 반사 소자(303)의 반사면은 제2 홀로그램 광학 소자(302)의 제2 면을 마주하도록 배치된다. 따라서 상기 제1 반사 소자(303)에서 반사된 반사광은 상기 제2 홀로그램 광학 소자(302)의 제2 면에 입사될 수 있다. 이 경우 상기 반사광은 기 설정된 입사각 범위를 벗어나는 각도로 입사되므로, 투과되지 않고 상기 제2 홀로그램 광학 소자(302)의 제2 면에서 반사될 수 있다.
한편 상기 제2 홀로그램 광학 소자(302)는 미리 설계된 입사광을 특정 각도로 반사 회절하는 홀로그램 광학 소자일 수 있다. 따라서 상기 제1 반사 소자(303)에서 반사된 반사광은 상기 제2 홀로그램 광학 소자(302)의 제2 면에서 회절될 수 있으며, 회절에 의해 분산된 광을 기 설정된 각도로 반사시킬 수 있다. 이 경우, 회절에 의해 분산된 광은 정파장 분산된 광일 수 있다. 여기서, "입사광을 특정 각도로 반사 회절"하는 의미는 입사광을 특정 각도로 반사 및 회절 시키는 의미이다. 일 예로, 입사광을 제1 평면에 제1 각도로 반사시킨 이후 반사된 광이 제2 평면에 제2 각도로 회절"되도록 구성되는 것을 의미한다.
한편 상기 제2 홀로그램 광학 소자(302)의 제2 면에서 회절 및 반사된 광은 제1 홀로그램 광학 소자(301)로 진행할 수 있다. 여기서 상기 제1 홀로그램 광학 소자(301)는, 상기 제2 홀로그램 광학 소자(302)와 마찬가지로, 미리 설계된 입사광에 의해 특정 각도로 반사 회절하는 홀로그램 광학 소자일 수 있다. 따라서 제1 홀로그램 광학 소자(301)에 도달한 반사광이 기 설정된 입사각 범위, 즉 광이 투과되는 입사각 범위를 벗어나는 각도로 입사되면 제1 홀로그램 광학 소자(301)에서 반사 및 회절될 수 있다.
한편 상기 제2 홀로그램 광학 소자(302)에 의해 회절된 광은 정파장 분산(positive dispersion)을 발생시킨다. 따라서 상기 제2 홀로그램 광학 소자(302)에 의해 반사된 광은 상기 정파장 분산이 발생된 상태로 제1 홀로그램 광학 소자(301)로 진행될 수 있다. 따라서 상기 제1 홀로그램 광학 소자(301)는 상기 광의 분산(정파장 분산)을 상쇄하기 위해 입사된 광을 역파장 분산(negative dispersion)시키는 광학 소자일 수 있다. 즉, 제1 홀로그램 광학 소자(301)는 입사된 광을 회절을 통해 역파장 분산시키고, 역파장 분산된 광을 반사시키는 광학 소자일 수 있다.
"정파장 분산(positive dispersion)"의 의미는 파장폭이 넓은 디스플레이 (혹은, 광원)로 HOE에 입사된 장파장의 빛은 더 적게 꺽이고, 단파장의 빛은 더 많이 꺽이는 현상을 의미한다. 반면에, "역파장 분산(negative dispersion)"의 의미는 파장폭이 넓은 디스플레이 (혹은, 광원)로 HOE에 입사된 장파장의 빛은 더 많이 꺽이고, 단파장의 빛은 적게 꺽이는 현상을 의미한다. 이러한 역파장 분산으로 인해 해상력 저하가 발생할 수 있다.
상기 제1 홀로그램 광학 소자(301)를 통해 회절(역파장 분산) 및 반사된 광은, 사용자의 동공에 입사될 수 있다. 따라서 제1 홀로그램 광학 소자(301)에 도달한 반사광에 대응하는 가상 영상(370)이, 도 3의 (b)에서 보이고 있는 바와 같은 형태로 상기 글래스(112) 상의 일 영역(EMB, 370)에서 형성될 수 있다.
도 4는 이러한 본 발명과 관련된 안경형 단말기(1)에서 가상 영상이 제공되는 과정을 도시한 흐름도이다. 그리고 도 5 내지 도 6은 본 발명과 관련된 안경형 단말기(1)에서 사용되는 홀로그램 광학 소자의 투과 및 반사 특성을 도시한 그래프이다.
먼저 도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 안경형 단말기(1)의 광 모듈(511)은 가상 영상의 영상을 생성하기 위한 광을 출광할 수 있다. 이를 위해 상기 광 모듈(511)에 구비된 적어도 하나의 광원, 즉 영상원이 발광할 수 있다(S400).
한편 렌즈부(512)는 상기 광 모듈(511)에서 출광된 광을 발산 및 확대할 수 있다. 그리고 확대된 광을 평행광으로 변환할 수 있다(S402). 그리고 렌즈부(512)에서 변환된 평행광은, 기 설정된 광 투과 입사각 범위, 즉 투과각 범위 내의 각도로 상기 제2 홀로그램 광학 소자(302)의 제1 면에 입사될 수 있다(S404).
일 예로 상기 제2 홀로그램 광학 소자(302)의 광 입사각에 따른 광의 투과 반사 특성은 도 5 및 도 6에서 보이고 있는 바와 같다. 도 5 및 도 6은 입사각 범위 -10도(350도) ~ 80도에 대한 파장별 투과도를 도시한 도면으로서, 도 5는 각 입사각에 대응하는 파장별 투과도를 2차원 그래프로 나타낸 도면이며, 도 6은 각 입사각 범위에 대응하는 각 광의 파장별 투과도를 3차원 그래프로 도시한 도면이다.
도 5를 참조하여 살펴보면, 도 5의 각 그래프는 서로 다른 입사각에 대응하며, 가로축은 파장(nm)을, 세로축은 투과율을 나타낸다. 따라서 상술한 바와 같이, 레이저 광보다 파장이 넓은 마이크로 LED, 마이크로 OLED, LCoS, LED 또는 SLD를 사용하는 디지털 소형 거울 장치(DMD)를 영상원으로 사용하는 본 발명의 경우, 영상원으로 사용되는 광의 파장 대역, 즉 디스플레이 파장 대역(600)에서는, 홀로그램 광학 소자가, 입사각이 -2도(358도)인 광에 대해 가장 낮은 투과율을 가지고, 입사각이 18도 ~ 32도 사이인 광에 대해 높은 투과율을 가지는 특성을 가지는 것을 알 수 있다
따라서 본 발명의 실시 예에 따른 안경형 단말기(1)에서 사용되는 홀로그램 광학 소자들에서, 광 투과가 발생하는 기 설정된 광 입사각(투과광 입사각)은 18도 ~ 32도일 수 있으며, 입사각이 이 범위를 벗어나는 경우, 상기 홀로그램 광학 소자들은 광을 반사시킴을 알 수 있다.
그러므로 상기 제2 홀로그램 광학 소자(302)를 투과하여 제1 반사 소자(303)로 빛이 진행되도록 하기 위해, 상기 렌즈부(512)는 상기 광 투과가 발생하는 입사각 범위(18도 ~32도) 내의 각도로 상기 제2 홀로그램 광학 소자(302)의 제1 면을 지향하도록 배치될 수 있다.
이에 따라 상기 제2 홀로그램 광학 소자(302)로 입사된 렌즈부(512)의 평행광은 상기 제2 홀로그램 광학 소자(302)를 투과할 수 있다. 그리고 상기 제2 홀로그램 광학 소자(302)를 투과한 광, 즉 투과광은 상기 제2 홀로그램 광학 소자(302)의 제2 면에 마주보도록 배치된 제1 반사 소자(303)에 입사될 수 있으며, 상기 제1 반사 소자(303)는 입사된 투과광을 상기 제2 홀로그램 광학 소자(302)의 제2 면으로 반사시킬 수 있다(S406).
이 경우 상기 제2 홀로그램 광학 소자(302)의 제1 면을 투과하는 광 경로(제1 경로)와, 상기 제1 반사 소자(303)에서 반사되어 상기 제2 홀로그램 제2 면으로 입사되는 광의 경로(제2 경로)가 중첩될 수 있다. 따라서 제1 경로 및 제2 경로가 하나의 경로로 압축될 수 있으므로, 광 경로 확보를 위한 회절부(52)의 요구 공간이 절약될 수 있다.
한편 상기 도 5에서 보이고 있는 바와 같이, 본 발명의 실시 예에 따른 안경형 단말기(1)에서 사용되는 홀로그램 광학 소자들은, -2도(358도), 즉 수평에 가까운 방향으로 광이 입사될수록 투과율이 낮아지며, 이에 따라 반사율이 높아지는 것을 알 수 있다. 따라서 상기 제1 반사 소자(303)로부터 반사된 광이 상기 기 설정된 입사각 범위(18도 ~32도)를 벗어난 각도로 입사되는 경우 입사된 광을 반사시킬 수 있다.
이 경우 상기 제2 홀로그램 광학 소자(302)의 반사율을 보다 높이기 위해, 상기 제1 반사 소자(303), 즉 미러(mirror)는 기 설정된 범위 내의 반사각(예 : -2도)에 따라 반사광이 상기 제2 홀로그램 광학 소자(302)의 제2 면에 입사되도록, 상기 제1 반사 소자(303)의 반사면이 지향하는 방향이 상기 제2 홀로그램 광학 소자(302)의 제2 면이 지향하는 방향과 -2도 각도를 형성하도록 배치될 수 있다. 따라서 제1 반사 소자(303)에서 반사된 광은, 상기 제2 홀로그램 광학 소자(302)의 제2 면에 기 설정된 반사각에 대응하는 각도로 입사될 수 있다.
한편 상기 제2 홀로그램 광학 소자(302)의 제2 면에 입사된 광은 회절되며 정파장 분산될 수 있다. 그리고 정파장 분산된 반사광이 상기 제2 홀로그램 광학 소자(302)의 제2 면을 통해 반사될 수 있다(S408).
따라서 상기 제2 홀로그램 광학 소자(302)의 제2 면에서 반사된 정파장 분산된 광이 상기 제1 홀로그램 광학 소자(301)에 입사될 수 있다(S410). 여기서 상기 제1 홀로그램 광학 소자(301)는 입사된 광을 역파장 분산할 수 있는 광학 소자일 수 있다. 그러므로 제1 홀로그램 광학 소자(301)에 입사된 광은 상기 제1 홀로그램 광학 소자(301)에서 역파장 분산될 수 있으며, 역파장 분산된 광이 상기 제1 홀로그램 광학 소자(301)에서 반사되어 사용자의 동공에 입사될 수 있다(S412). 이에 따라 상기 제2 홀로그램 광학 소자(302)에서 발생된 광 분산이 상기 제1 홀로그램 광학 소자(301)에서 상쇄될 수 있다.
이와 같이 본 발명의 실시 예에 따른 안경형 단말기(1)는 제2 홀로그램 광학 소자(302)와 제1 반사 소자(303), 그리고 상기 제2 홀로그램 광학 소자(302)에서 발생된 광의 분산을 상쇄시키는 제1 홀로그램 광학 소자(301)를 포함하는 광 경로를 형성하므로, 레이저 광과 같은 극단적으로 짧은 파장의 광을 사용하지 않고서도 명확한 가상 영상을 글래스(112) 상에 형성할 수 있다는 이점이 있다.
한편 상술한 설명에 따르면, 개인 또는 인종별로, 그리고 성별이나 연령별로 사람 간 양쪽 눈동자점 사이의 수평 거리(IPD)는 큰 차이를 가지고 있음을 언급한 바 있다.
도 7a 및 도 7b는 이처럼 IPD 차이에 따라 서로 다른 위치에 형성되는 가상 영상의 예들을 도시한 예시도들이다.
한편 이하의 설명에서는 사용자의 우안에 대응하는 글래스에 가상 영상이 생성되는 경우를 가정하여 설명하기로 한다. 그러나 본 발명이 이에 한정되는 것이 아님은 물론이다. 즉, 사용자의 좌안에 대응하는 글래스에 가상 영상이 생성되는 경우 역시, 이하의 설명과 유사한 방식으로 가상 영상이 좌안에 대응하는 글래스의 일 영역에 생성될 수 있다.
먼저 도 7a를 참조하여 살펴보면, 사용자의 두상 크기 또는 신체적 특징에 의해 사용자의 IPD가 기 설정된 범위를 벗어나는 경우, 즉 기 설정된 IPD 범위의 최저값 보다 좁은 경우, 사용자의 눈동자에 대응하는 글래스(112) 상의 일 영역이 달라질 수 있다. 이 경우 도 7a의 (a)에서 보이고 있는 바와 같이, 사용자의 동공 우측에 대응하는 글래스(112) 상의 일 영역에 가상 영상이 형성될 수 있다.
그리고 이처럼 사용자의 동공 우측에 대응하는 글래스(112) 상의 일 영역에 가상 영상이 형성되는 경우, 도 7a의 (b)에서 보이고 있는 바와 같이 가상 영상이 EMB(370)의 중앙으로부터 우측으로 치우친 위치에 표시될 수 있다.
이러한 경우 가상 영상(370)이 표시되는 영역과 제1 홀로그램 광학 소자(301)에 의해 형성되는 EMB(360)가 달라질 수 있다. 즉, 가상 영상(370)이 EMB(360)의 우측에 표시되면서, 가상 영상(370)의 일부가 EMB(360)를 벗어난 상태로 표시될 수 있다. 따라서 도 7a의 (b)에서 보이고 있는 바와 같이, 가상 영상(370)의 일부가, 사용자가 보지 못하는 영역에 표시되어 사용자가 가상 영상(370)의 일부를 볼 수 없다는 문제가 발생할 수 있다.
반대로 사용자의 두상 크기 또는 신체적 특징에 의해 사용자의 IPD가 기 설정된 범위를 벗어나는 경우, 즉 기 설정된 IPD 범위의 최대값 보다 넓은 경우 역시, 사용자의 눈동자에 대응하는 글래스(112) 상의 일 영역이 달라질 수 있다. 이 경우 도 7b의 (a)에서 보이고 있는 바와 같이, 사용자의 동공 좌측에 대응하는 글래스(112) 상의 일 영역에 가상 영상이 형성될 수 있다.
그리고 이처럼 사용자의 동공 좌측에 대응하는 글래스(112) 상의 일 영역에 가상 영상이 형성되는 경우, 도 7b의 (b)에서 보이고 있는 바와 같이 가상 영상이 EMB(370)의 중앙으로부터 좌측으로 치우친 위치에 표시될 수 있다.
이러한 경우 가상 영상(370)이 표시되는 영역과 제1 홀로그램 광학 소자(301)에 의해 형성되는 EMB(360)가 달라질 수 있다. 즉, 가상 영상(370)이 EMB(360)의 좌측에 형성되면서, 가상 영상(370)의 일부가 EMB(360)를 벗어난 상태로 표시될 수 있다. 따라서 도 7b의 (b)에서 보이고 있는 바와 같이, 사용자가 가상 영상(370)의 일부를 볼 수 없다는 문제가 발생할 수 있다.
이러한 문제를 해결하기 위해 본 발명은 제1 홀로그램 광학 소자(301)로 입사되는 광의 진행 각도가 변경될 수 있도록 한다. 이를 위해 본 발명은, 제1 홀로그램 광학 소자(301)로 입사되는 광, 즉 제2 홀로그램 광학 소자(302)의 제2 면에서 반사되는 광의 반사각이 변경되도록, 상기 제1 반사 소자(303)가 상기 제2 홀로그램 광학 소자(302)의 제2 면을 지향하는 각도를 변경시킬 수 있다. 즉, 본 발명은 제1 반사 소자(303)가 소정 각도 회전되도록 상기 제1 반사 소자(303)를 틸팅(tilting)함으로써, 상기 제2 홀로그램 광학 소자(302)의 제2 면에 입사되는 광의 입사각을 변경하여, 상기 제2 홀로그램 광학 소자(302)의 제2 면에서 반사되는 광의 반사각이 변경될 수 있도록 한다.
도 8은 이러한 본 발명과 관련된 안경형 단말기(1)에서, 틸트 가능하도록 형성되는 제1 반사 소자(303)의 예들을 도시한 예시도들이다. 그리고 도 9 및 도 10은 본 발명과 관련된 안경형 단말기(1)에서, 틸트된 제1 반사 소자(303)에 의해 IPD 차이에 따른 가상 영상의 생성 위치가 보상되는 예를 도시한 예시도들이다.
먼저 도 8의 (a) 및 (b)를 참조하여 살펴보면, 본 발명의 실시 예에 따른 회절부(52)는 제1 반사 소자(303)를 틸팅시키기 위한 틸팅부(800)를 더 포함할 수 있다. 이를 위해 상기 제1 반사 소자(303)는 후면에, 상기 제1 반사 소자(303)의 중심을 가로지르는 수직 방향의 회전축(820)을 구비할 수 있으며, 상기 틸팅부(800)는 상기 회전축(820)을 시계 방향 또는 시계 반대 방향으로 회전시키기 위한 적어도 하나의 구성 요소를 포함할 수 있다.
일 예로 상기 회전축(820)은, 상기 회전축을 따라 같은 간격으로 형성되는 톱니 모양의 복수의 돌기를 포함할 수 있다. 그리고 상기 틸팅부(800)는, 상기 회전축(820)에 형성된 복수의 돌기에 맞물리도록 형성되는 톱니 방향의 돌기들을 포함하는 기어(gear)(830) 및, 상기 기어(830)를 포함하거나 또는 상기 기어(830)에 연결되는 다이얼 게이지(dial gage)(810)를 포함할 수 있다.
한편 상기 다이얼 게이지(810)는 도 8의 (a) 및 (b)에서 보이고 있는 바와 같이 회전 가능하도록 형성될 수 있다. 그리고 다이얼 게이지(810)의 회전 운동은 상기 다이얼 게이지(810)와 연결되거나 상기 다이얼 게이지(810)와 일체화된 기어(830)를 통해 상기 제1 반사 소자(303)의 회전축(820)에 전달될 수 있다. 따라서 상기 다이얼 게이지(810)가 회전됨에 따라 상기 제1 반사 소자(303)가 소정 각도로 회전될 수 있으며, 상기 제1 반사 소자(303)가 회전됨에 따라 상기 제1 반사 소자(303)의 전면이 지향하는 각도가 달라질 수 있다.
이 경우 제1 반사 소자(303)의 전면이 지향하는 각도가 변경되면, 제1 반사 소자(303)에 의해 반사되는 광이 제2 홀로그램 광학 소자(302)의 제2 면에 입사되는 입사각이 변경될 수 있다. 그러면 제2 홀로그램 광학 소자(302)의 제2 면에서 반사되는 광의 반사각 역시 변경될 수 있으며, 이에 따라 제1 홀로그램 광학 소자(301)로 입사되는 광의 입사점 위치가 달라질 수 있다.
일 예로 도 9의 (a)에서 보이고 있는 바와 같이, 제1 반사 소자(303)가 제2 홀로그램 광학 소자(302)의 제2 면에 입사되는 광의 입사각을 증가시키는 방향으로 회전되는 경우, 제2 홀로그램 광학 소자(302)의 제2 면에서 반사되는 광의 반사각 역시 증가될 수 있다.
따라서 도 9의 (a)에서 보이고 있는 바와 같이, 제2 홀로그램 광학 소자(302)에서 반사되는 광이 제1 홀로그램 광학 소자(301)로 입사되는 입사각이 증가될 수 있다. 따라서 제1 홀로그램 광학 소자(301)에서, 상기 제2 홀로그램 광학 소자(302)로부터 입사된 광이 반사되는 위치가 좌측으로 이동되므로, 사용자의 눈에 비치는 가상 영상의 생성 위치가 좌측, 즉 사용자의 미간 방향 (양안의 외측 방향)으로 이동될 수 있다.
그러므로 사용자의 IPD가 기 설정된 수준 이상 좁음에 따라, 도 9의 (b) 첫 번째 도면(좌측 도면)에서 보이고 있는 바와 같이, 가상 영상(370)이 표시되는 영역이 EMB(360)를 벗어나서, 상기 가상 영상(370)의 우측 일부가 잘려져 보이는 것처럼 표시되는 상태에서, 상기 가상 영상(370)이 형성되는 위치가 좌측으로 이동될 수 있다. 따라서 도 9의 (b) 두 번째 도면(우측 도면)에서 보이고 있는 바와 같이, 전체의 가상 영상이 EMB(360) 내에서 표시되는 상태로 변경될 수 있으며, 이에 따라 사용자가 전체의 가상 영상을 육안으로 볼 수 있다.
반면 도 10의 (a)에서 보이고 있는 바와 같이, 제1 반사 소자(303)가 제2 홀로그램 광학 소자(302)의 제2 면에 입사되는 광의 입사각을 감소시키는 방향으로 회전되는 경우, 제2 홀로그램 광학 소자(302)의 제2 면에서 반사되는 광의 반사각 역시 감소될 수 있다.
따라서 도 10의 (a)에서 보이고 있는 바와 같이, 제2 홀로그램 광학 소자(302)에서 반사되는 광이 제1 홀로그램 광학 소자(301)로 입사되는 입사각이 감소될 수 있다. 따라서 제1 홀로그램 광학 소자(301)에서, 상기 제2 홀로그램 광학 소자(302)로부터 입사된 광이 반사되는 위치가 우측으로 이동되므로, 사용자의 눈에 비치는 가상 영상의 생성 위치가 우측, 즉 사용자의 관자놀이 방향 (즉, 양안의 내측 방향)으로 이동될 수 있다.
그러므로 사용자의 IPD가 기 설정된 수준 이상 넓음에 따라, 도 10의 (b) 첫 번째 도면(좌측 도면)에서 보이고 있는 바와 같이, 가상 영상(370)이 표시되는 영역이 EMB(360)를 벗어나서, 상기 가상 영상(370)의 좌측 일부가 잘려져 보이는 것처럼 표시되는 상태에서, 상기 가상 영상(370)이 형성되는 위치가 우측으로 이동될 수 있다. 따라서 도 10의 (b) 두 번째 도면(우측 도면)에서 보이고 있는 바와 같이, 전체의 가상 영상이 EMB(360) 내에서 표시되는 상태로 변경될 수 있으며, 이에 따라 사용자가 전체의 가상 영상을 육안으로 볼 수 있다.
한편 이와 같이 본 발명은 제1 반사 소자(303)를 틸트시킴에 따라 가상 영상이 생성되는 위치를 좌측 또는 우측으로 이동시킬 수 있다. 따라서 가상 영상의 생성 위치가 변경될 수 있는 거리만큼 본 발명의 EMB가 확장될 수 있다. 도 11은 이러한 본 발명과 관련된 안경형 단말기(1)에서, 틸트된 제1 반사 소자(303)에 의해 EMB가 확장되는 개념을 설명하기 위한 개념도이다.
상술한 바와 같이, 본 발명의 실시 예에 따른 안경형 단말기(1)는 IPD의 차이에 따라 가상 영상의 일부가 EMB를 벗어나는 경우에, 상기 제1 반사 소자(303)가 회전하여 가상 영상이 형성되는 위치를 변경할 수 있다.
따라서 사용자의 IPD 차이에 따라 a(1101)에 해당되는 길이 만큼 가상 영상의 우측 일부가 잘려져 보이는 경우라고 할지라도, 상기 제1 반사 소자(303)의 회전을 통해 가상 영상의 생성 위치를 이동시킴에 따라 사용자가 전체의 가상 영상을 볼 수 있다. 또한 사용자의 IPD 차이에 따라 b(1102)에 해당되는 길이 만큼 가상 영상의 좌측 일부가 잘려져 보이는 경우라고 할지라도, 상기 제1 반사 소자(303)의 회전을 통해 가상 영상의 생성 위치를 이동시킴에 따라 사용자가 전체의 가상 영상을 볼 수 있다.
따라서 본 발명은, 기존의 EMB 영역으로부터 길이 a(1101) 또는 길이 b(1102)에 해당하는 영역만큼 사용자가 가상 영상을 식별할 수 있는 EMB가 확장될 수 있으며, 이에 따라 도 11에서 보이고 있는 바와 같이 확장된 EMB 영역(1100)을 형성할 수 있다.
한편 도 12는 틸트 가능하도록 형성된 제1 반사 소자를 포함하는 본 발명과 관련된 안경형 단말기(1)의 하우징(housing)(1200)의 예를 도시한 예시도이다.
먼저 도 12의 (a) 및 (c)를 참조하여 살펴보면, 도 12의 (a)와 (c)는 각각 서로 다른 측면에서 상기 하우징(1200)이 안경형 단말기(1)의 바디부(120)에 결합된 예를 보이고 있다. 먼저 제2 프레임부(130)는 상기 하우징(1200)이 장착될 공간을 마련할 수 있으며, 상기 제2 프레임부(130)에 마련된 공간에 상기 하우징(1200)이 수납되는 형태로 상기 하우징(1200)과 바디부(120)가 결합될 수 있다.
상기 하우징(1200)은, 도 12의 (c) 및 (d)에서 보이고 있는 바와 같이, 광 모듈(511)과 렌즈부(512)를 포함하는 디스플레이부(51)를 감싸도록 형성될 수 있다. 그리고 제2 홀로그램 광학 소자(302) 및 제1 반사 소자(303)와 결합될 수 있다. 여기서 상기 제1 반사 소자(303)는 기어(830)의 톱니 중 적어도 일부와 맞물리도록 형성된 톱니 모양의 돌기들을 포함하는 회전축(820)을 포함할 수 있다. 그리고 상기 기어(830)는 다이얼 게이지(810)와 일체형으로 형성되어 상기 다이얼 게이지(810)의 회전에 따른 회전력을 상기 회전축(820)에 전달할 수 있도록 형성될 수 있다.
한편 상기 다이얼 게이지(810)는, 도 12의 (c)에서 보이는 바와 같이 제2 프레임부(130)의 외부로 노출되도록 형성될 수 있다. 따라서 사용자는 상기 다이얼 게이지(810)를 회전시킬 수 있으며, 상기 다이얼 게이지(810)의 회전에 따라, 제2 홀로그램 광학 소자(302)의 제2 면에 입사되는 광의 입사각을 증가 또는 감소시키는 방향으로 상기 제1 반사 소자(303)를 회전시킬 수 있다.
한편 상술한 설명에서는 상기 다이얼 게이지(810)의 회전에 따라 제1 반사 소자(303)가 틸트되는 구성을 개시하였으나, 이와는 달리 상기 제1 반사 소자(303)가 자동으로 틸트되도록 구성될 수도 있음은 물론이다.
일 예로, 상기 틸팅부(800)는 다이얼 게이지 대신에 상기 기어(830)에 회전력을 제공하는 액추에이터를 더 포함할 수 있다. 이 경우 상기 액추에이터(도시되지 않음)는 제어부(10)의 제어에 따라 상기 기어(830)를 회전시킴으로써, 상기 기어(830)를 통해 전달되는 회전력으로 상기 제1 반사 소자(303)를 회전시키도록 형성될 수 있다.
한편 상기 액추에이터를 통해 상기 제1 반사 소자(303)가 회전되는 각도는, 사용자의 IPD를 센싱한 결과에 따라 제어부(10)에 의해 결정될 수 있다. 예를 들어 제어부(10)는 카메라(31)를 통해 획득되는 사용자 양안의 동공 위치에 근거하여 상기 양안의 동공 사이 거리를 산출할 수 있다.
또는 안경형 단말기(1)의 좌측 다리 부분을 지지하는 좌측 바디부와 좌측 글래스 사이의 각도 및, 안경형 단말기(1)의 우측 다리 부분을 지지하는 우측 바디부와 우측 글래스 사이의 각도를 측정하고 측정된 각도에 따라 사용자의 두상 크기를 산출 및 산출된 두상 크기에 대응하는 IPD를 추정할 수도 있다.
도 13은 이처럼 본 발명과 관련된 안경형 단말기(1)에서, 글래스부와 바디부 사이의 각도에 따라 추정되는 IPD에 근거하여 가상 영상 생성 위치를 보상하기 위한 틸팅을 수행하는 동작 과정을 도시한 흐름도이다.
도 13을 참조하여 살펴보면, 본 발명의 실시 예에 따른 안경형 단말기(1)의 제어부(10)는 먼저 안경형 단말기(1)의 글래스부를 지지하는 좌측 바디부와 좌안에 대응하는 좌측 글래스 사이의 각도 및 우측 바디부와 우안에 대응하는 우측 글래스 사이의 각도들을 측정할 수 있다(S1300). 일 예로 상기 측정된 각도들은 상기 안경형 단말기(1)의 좌측 다리부와 우측 다리부가 벌려진 각도일 수 있다. 이하 상기 S1300 단계에서 측정되는 각도들을 갭(gap) 각도라고 하기로 한다.
한편 상기 S1300 단계에서 갭 각도들이 측정되는 경우, 제어부(10)는 측정된 갭 각도들이 기 설정된 각도 범위 내에 포함되는지 여부를 판단할 수 있다. 그리고 상기 측정된 갭 각도들이 기 설정된 각도 범위 내의 각도인 경우, 제1 반사 소자(303)의 틸트가 필요 없다고 판단할 수 있다. 이 경우 제어부(10)는 제1 반사 소자(303)를 회전시키지 않을 수 있다.
반면 상기 측정된 갭 각도들 중 적어도 하나가 기 설정된 각도 범위(표준 각도 범위) 보다 작거나 큰 경우, 제어부(10)는 측정된 갭 각도들에 근거하여 사용자의 양안 눈동자 사이의 거리, 즉 IPD를 추정할 수 있다(S1302).
일 예로 제어부(10)는 기 설정된 표준 IPD 값으로부터 상기 표준 각도 범위 보다 작게 측정된 갭 각도에 대응하는 거리를 차감하거나, 상기 표준 각도 범위를 초과하여 측정된 갭 각도에 대응하는 거리를 증가시킬 수 있다.
여기서 측정된 갭 각도에 대응하는 거리의 차감 또는 증가는 각 바디부에서 산출된 갭 각도별로 이루어질 수 있다. 즉 좌측 바디부(좌측 다리부)에서 측정된 갭 각도(제1 갭 각도)는 기 설정된 각도 범위보다 작게 측정되고, 우측 바디부(우측 다리부)에서 측정된 갭 각도(제2 갭 각도)는 기 설정된 각도 범위보다 크게 측정되는 경우, 제어부(10)는 상기 표준 IPD에 대응하는 거리로부터 제1 갭 각도에 대응하는 거리를 차감하고, 제1 갭 각도에 대응하는 거리만큼 차감된 표준 IPD로부터 제2 갭 각도에 대응하는 거리를 증가하여 사용자의 IPD를 추정할 수 있다.
한편 상기 S1302 단계에서 사용자의 IPD가 추정되면, 제어부(10)는 추정된 IPD에 근거하여 제1 반사 소자(303)를 틸팅할 각도를 산출할 수 있다(S1304). 일 예로 추정된 IPD가 표준 IPD보다 넓은 경우라면 제어부(10)는 제2 홀로그램 광학 소자(302)에 입사되는 광의 입사각을 감소시키는 방향으로 상기 제1 반사 소자(303)가 틸팅될 각도를 결정할 수 있다.
반면 추정된 IPD가 표준 IPD보다 좁은 경우라면 제어부(10)는 제2 홀로그램 광학 소자(302)에 입사되는 광의 입사각을 증가시키는 방향으로 상기 제1 반사 소자(303)가 틸팅될 각도를 결정할 수 있다. 그리고 틸팅 각도가 결정되면 제어부(10)는 틸팅부(800)에 구비된 액추에이터를 제어하여 상기 S1304 단계에서 결정된 틸팅 각도 만큼 제1 반사 소자(303)를 틸팅 시킬 수 있다(S1306).
한편 만약 가상 영상이 좌안 글래스 또는 우안 글래스 중 어느 하나의 글래스 상에만 표시되는 경우라면, 상기 S1300 단계는 상기 가상 영상이 표시되는 어느 하나의 글래스에 대응하는 다리부와 글래스 사이의 갭 각도를 측정하는 단계일 수 있다. 그리고 상기 S1302 단계는 상기 측정된 하나의 갭 각도와 상기 표준 각도 범위의 최저각 또는 최고각을 비교하는 단계일 수 있으며, 상기 S1304 단계는 상기 측정된 하나의 갭 각도와 상기 표준 각도 범위의 최저각 또는 최고각의 차이에 따라 제1 반사 소자(303)의 틸팅 각도를 결정하는 단계일 수 있다.
그리고 측정된 갭 각도가 상기 표준 각도 범위의 최저각 보다 작은 경우, 제어부(10)는 상기 S1304 단계에서 상기 측정된 갭 각도와 상기 표준 각도 범위의 최저각 사이의 차이에 대응하는 제1 반사 소자(303)의 틸팅 각도를 결정할 수 있다. 그리고 S1306 단계에서 상기 결정된 틸팅 각도 만큼 제2 홀로그램 광학 소자(302)에 입사되는 광의 입사각을 감소시키는 방향으로 상기 제1 반사 소자(303)를 틸팅시킬 수 있다.
반면 측정된 갭 각도가 상기 표준 각도 범위의 최고각 보다 큰 경우, 제어부(10)는 상기 S1304 단계에서 상기 측정된 갭 각도와 상기 표준 각도 범위의 최고각 사이의 차이에 대응하는 제1 반사 소자(303)의 틸팅 각도를 결정할 수 있다. 그리고 S1306 단계에서 상기 결정된 틸팅 각도 만큼 제2 홀로그램 광학 소자(302)에 입사되는 광의 입사각을 증가시키는 방향으로 상기 제1 반사 소자(303)를 틸팅시킬 수 있다.
한편 상술한 설명에서는 제1 반사 소자(303)를 틸팅하여 제2 홀로그램 광학 소자(302)에 입사되는 광의 입사각을 증가 또는 감소시키는 것을 설명하였으나, 이와는 달리 상기 제1 반사 소자(303)에 입사되는 광의 각도 자체를 변경하여, 상기 제2 홀로그램 광학 소자(302)에 입사되는 광의 입사각을 증가 또는 감소시킬 수도 있음은 물론이다. 이 경우 본 발명의 실시 예에 따른 안경형 단말기(1)의 디스플레이부(51)는 시계 방향 또는 시계 반대 방향으로 소정 각도만큼 회전 가능하도록 형성될 수 있으며, 상기 디스플레이부(51)를 회전시킬 수 있는 다이얼 게이지 또는 액추에이터를 구비할 수 있다.
도 14 내지 도 15는 이처럼 회전 가능하도록 형성되는 디스플레이부(51)의 틸팅에 따라 IPD 차이에 따른 가상 영상 생성 위치가 보상되는 예들을 설명하기 위한 예시도들이다.
상술한 바와 같이 디스플레이부(51)가 소정 각도 회전 가능하도록 형성된 경우, 회전에 따라 디스플레이부(51)가 지향하는 방향이 변경될 수 있다. 따라서 렌즈부(512)에서 변환된 평행광이 제2 홀로그램 광학 소자(302)의 제1 면에 입사되는 입사각이 변경될 수 있으며, 이에 따라 상기 제2 홀로그램 광학 소자(302)를 투과하여 제1 반사 소자(303)로 입사되는 광의 입사각이 달라질 수 있다.
이 경우 도 14의 (a)에서 보이고 있는 바와 같이, 상기 디스플레이부(51)가 상기 제1 반사 소자(303)로 입사되는 광의 입사각을 증가시키는 방향으로 회전(틸트)되는 경우, 제1 반사 소자(303)의 반사광이 제2 홀로그램 광학 소자(302)의 제2 면에 입사되는 각도가 증가될 수 있다. 그러면 제2 홀로그램 광학 소자(302)의 제2 면에서 반사되는 광의 반사각 역시 증가될 수 있으며, 이에 따라 제1 홀로그램 광학 소자(301)에서 상기 반사광이 반사되는 위치, 즉 가상 영상이 생성되는 위치가 좌측으로 이동될 수 있다.
이처럼 제1 홀로그램 광학 소자(301)로 입사되는 광의 입사각이 증가되는 경우, 상기 제1 홀로그램 광학 소자(301)의 반사광이 사용자의 동공에 입사되는 위치가 좌측으로 이동될 수 있다. 따라서 도 14의 (a)에서 보이고 있는 바와 같이, 사용자의 눈에 비치는 가상 영상의 생성 위치가 좌측으로 이동될 수 있다.
그러므로 사용자의 IPD가 기 설정된 수준 이상 좁음에 따라, 도 14의 (b) 첫 번째 도면(좌측 도면)에서 보이고 있는 바와 같이, 가상 영상(370)이 EMB(360)를 벗어나서 상기 가상 영상(370)의 우측 일부가 잘려져 보이는 상태에서, 상기 가상 영상(370)이 표시되는 위치가 좌측으로 이동될 수 있다. 따라서 도 14의 (b) 두 번째 도면(우측 도면)에서 보이고 있는 바와 같이, 전체의 가상 영상이 EMB(360) 내에서 표시되는 상태로 변경될 수 있으며, 이에 따라 사용자가 전체의 가상 영상을 육안으로 확인할 수 있다.
반면 도 15의 (a)에서 보이고 있는 바와 같이, 상기 디스플레이부(51)가 상기 제1 반사 소자(303)로 입사되는 광의 입사각을 감소시키는 방향으로 회전(틸트)되는 경우, 제1 반사 소자(303)의 반사광에 의해 제2 홀로그램 광학 소자(302)의 제2 면에 입사되는 광의 입사각이 감소될 수 있다. 그러면 제2 홀로그램 광학 소자(302)의 제2 면에서 반사되는 광의 반사각 역시 감소될 수 있으며, 이에 따라 제1 홀로그램 광학 소자(301)에서 상기 반사광이 반사되는 위치, 즉 가상 영상이 생성되는 위치가 우측으로 이동될 수 있다.
이처럼 제1 홀로그램 광학 소자(301)로 입사되는 광의 입사각이 감소되는 경우, 상기 제1 홀로그램 광학 소자(301)의 반사광이 사용자의 동공에 입사되는 위치가 우측으로 이동될 수 있다. 따라서 도 15의 (a)에서 보이고 있는 바와 같이, 사용자의 눈에 비치는 가상 영상의 생성 위치가 우측으로 이동될 수 있다.
따라서 사용자의 IPD가 기 설정된 수준 이상 넓음에 따라, 도 15의 (b) 첫 번째 도면(좌측 도면)에서 보이고 있는 바와 같이, 가상 영상(370)이 EMB(360)를 벗어나서 상기 가상 영상(370)의 좌측 일부가 잘려져 보이는 상태에서, 상기 가상 영상(370)이 표시되는 위치가 우측으로 이동될 수 있다. 따라서 도 15의 (b) 두 번째 도면(우측 도면)에서 보이고 있는 바와 같이, 전체의 가상 영상이 EMB(360) 내에서 표시되는 상태로 변경될 수 있으며, 이에 따라 사용자가 전체의 가상 영상을 육안으로 확인할 수 있다.
한편 상술한 설명에서는 제2 홀로그램 광학 소자(302)와 제1 반사 소자(303)를 통해 디스플레이부(51)에서 출광된 광이, EMB를 형성하는 제1 홀로그램 광학 소자(301)에 도달하는 광 경로가 형성되는 예를 설명하였으나, 입사된 광을 기 설정된 각도로 굴절시키는 하나의 회절 소자를 이용하여 상기 디스플레이부(51)에서 출광된 광이 상기 제1 홀로그램 광학 소자(301)에 도달하는 광 경로를 형성할 수도 있음은 물론이다.
도 16은 이처럼 하나의 회절 소자를 통해 디스플레이부(51)에서 출광된 광을 제1 홀로그램 광학 소자(301)로 전달시키는 광학계의 예를 도시한 예시도이다.
도 16을 참조하여 살펴보면, 본 발명의 실시 예에 따른 안경형 단말기(1)의 디스플레이부(51)는 기 설정된 회절 소자(1600)의 제1 면에 렌즈부(512)를 통해 변환된 평행광을 입사할 수 있다. 그러면 입사된 평행광은 상기 회절 소자(1600)에서 회절을 통해 기 설정된 각도로 리디렉션(redirection)될 수 있으며, 상기 리디렉션을 통해 상기 평행광이 제1 홀로그램 광학 소자(301)로 입사될 수 있다.
여기서 상기 회절 소자(1600)는 일정 범위 내의 각도로 광이 입사되는 경우, 입사된 광을 기 설정된 각도로 리디렉션하여 투과하는 홀로그램 광학 소자일 수 있다. 이 경우 상기 회절 소자(1600)에서 회절된 광은 회절 과정에서 정파장 분산될 수 있으며, 이에 따라 정파장 분산된 광이 상기 제1 홀로그램 광학 소자(301)로 입사될 수 있다.
한편 상기 제1 홀로그램 광학 소자(301)는 상기 광의 분산(정파장 분산)을 상쇄하기 위해, 입사된 광을 역파장 분산시키는 광학 소자일 수 있다. 이에 따라 상기 회절 소자(1600)에서 회절 및 분산된 광이, 제1 홀로그램 광학 소자(301)에서 역파장 분산 및 반사되어 사용자의 동공으로 입사될 수 있다. 따라서 분산에 따른 광 노이즈가 포함되지 않은 가상 영상이, 상기 글래스(112) 상의 일 영역(EMB) 상에 형성될 수 있다.
도 17은 이처럼 하나의 회절 소자를 통해 영상원의 광이 제1 홀로그램 광학 소자(301)로 전달되는 경우에, 디스플레이부(51)의 틸팅에 따라 IPD 차이에 따른 가상 영상 생성 위치를 보상하는 본 발명과 관련된 안경형 단말기(1)를 설명하기 위한 개념도이다.
먼저 도 17의 (a)를 참조하여 살펴보면, 도 17의 (a)에서 보이고 있는 바와 같이, 디스플레이부(51)에서 출광된 광이 회절 소자(1600)에 입사되는 입사각이 증가되는 방향으로 상기 디스플레이부(51)가 회전되는 경우, 상기 회절 소자(1600)를 통해 제1 홀로그램 광학 소자(301)로 입사되는 광의 입사각 역시 증가될 수 있다.
따라서 제1 홀로그램 광학 소자(301)로 입사되는 광의 입사점 위치가 보다 좌측으로 이동될 수 있다. 이에 따라 제1 홀로그램 광학 소자(301)에서 반사되어 사용자의 동공에 입사되는 반사광의 입사점 위치가 좌측으로 이동되므로, 사용자의 눈에 비치는 가상 영상의 생성 위치가 좌측으로 이동될 수 있다.
그러므로 사용자의 IPD가 기 설정된 수준 이상 좁음에 따라 가상 영상의 우측 일부가 보이지 않는 경우, 상기 디스플레이부(51)를 소정 각도 틸팅함으로써 상기 가상 영상의 생성 위치를 좌측으로 이동시킬 수 있다. 따라서 EMB 내에서 가상 영상이 표시되도록 함으로써, IPD가 기 설정된 수준 이상 좁은 사용자인 경우라도 일측의 잘림이 없는 전체 가상 영상을 보는 것이 가능하다.
반면 도 17의 (b)를 참조하여 살펴보면, 도 17의 (b)에서 보이고 있는 바와 같이, 디스플레이부(51)에서 출광된 광이 회절 소자(1600)에 입사되는 입사각이 감소되는 방향으로 상기 디스플레이부(51)가 회전되는 경우, 상기 회절 소자(1600)를 통해 제1 홀로그램 광학 소자(301)로 입사되는 광의 입사각 역시 감소될 수 있다.
따라서 제1 홀로그램 광학 소자(301)로 입사되는 광의 입사점 위치가 보다 우측으로 이동될 수 있다. 이에 따라 제1 홀로그램 광학 소자(301)에서 반사되어 사용자의 동공에 입사되는 반사광의 입사점 위치가 우측으로 이동되므로, 사용자의 눈에 비치는 가상 영상의 생성 위치가 우측으로 이동될 수 있다.
그러므로 사용자의 IPD가 기 설정된 수준 이상 넓음에 따라 가상 영상의 좌측 일부가 보이지 않는 경우, 상기 디스플레이부(51)를 소정 각도 틸팅함으로써 상기 가상 영상의 생성 위치를 우측으로 이동시킬 수 있다. 따라서 EMB 내에서 가상 영상이 표시되도록 함으로써, IPD가 기 설정된 수준 이상 넓은 사용자인 경우라도 일측의 잘림이 없는 전체 가상 영상을 보는 것이 가능하다.
한편 상기 상술한 설명에 따르면 제1 반사 소자(303)는 전반사 거울 또는 반반사 미러 임을 언급한 바 있다. 그러나 본 발명이 이에 한정되는 것이 아님은 물론이다.
일 예로 홀로그램 광학 소자의 경우, 광을 투과시키는 기 설정된 입사각을 벗어나는 각도로 광이 입사되는 경우, 광을 반사시키는 특성을 가짐을 설명한 바 있다. 따라서 홀로그램 광학 소자의 이러한 반사 특성을 이용하는 경우 상기 제1 반사 소자(303)로서 홀로그램 광학 소자가 사용될 수도 있음은 물론이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 안경형 단말기(1)의 제어부(10)를 포함할 수도 있다.
따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 안경형 단말기에 있어서,
    가상 영상의 영상원이 되는 영상광을 출광하는 디스플레이부;
    상기 영상광을 기 설정된 각도로 반사 회절 시키는 회절 소자; 및,
    상기 안경형 단말기의 글래스의 적어도 일부에 구비되며, 상기 회절 소자에서 반사 회절되어 분산(dispersion)된 상기 영상광의 분산을 상쇄하고, 분산이 상쇄된 광을 반사하여 상기 영상광에 대응하는 가상 영상을 표시하는 제1 홀로그램 광학 소자(Holographic Optical Element, HOE)를 포함하는 것을 특징으로 하는 안경형 단말기.
  2. 제1항에 있어서, 상기 회절 소자는,
    기 설정된 입사각 범위 내의 각도로 광이 입사되는 경우 입사된 광을 투과시키고, 기 설정된 반사각 범위 내의 각도로 광이 입사되는 경우 광을 반사시키는 제2 홀로그램 광학 소자; 및,
    기 설정된 각도로, 반사면이 상기 제2 홀로그램 광학 소자를 지향하도록 배치된 제1 반사 소자를 포함하는 것을 특징으로 하는 안경형 단말기.
  3. 제2항에 있어서,
    상기 디스플레이부는,
    상기 입사각 범위 내의 각도로 상기 제2 홀로그램 광학 소자를 지향하도록 배치되어, 상기 제2 홀로그램 광학 소자로 입사된 영상광이 상기 제2 홀로그램 광학 소자를 투과하도록 형성되며,
    상기 제1 반사 소자는,
    상기 영상광이 입사되는 상기 제2 홀로그램 광학 소자의 제1 면과 다른 제2 면이, 상기 반사면이 상기 기 설정된 반사각 범위 내의 각도로 지향하도록 배치되어, 상기 제2 홀로그램 광학 소자를 투과한 광을 상기 반사각 범위 내의 각도로 상기 제2 홀로그램 광학 소자의 제2 면에 반사시키는 것을 특징으로 하는 안경형 단말기.
  4. 제3항에 있어서,
    상기 제2 홀로그램 광학 소자를 투과하여 상기 제1 반사 소자의 반사면으로 진행하는 광의 제1 경로와, 상기 제1 반사 소자의 반사면에서 반사된 광이 상기 제2 홀로그램 광학 소자의 제2 면으로 진행하는 광의 경로가 중첩되도록, 상기 제1 반사 소자의 반사면과 상기 제2 홀로그램 광학 소자의 제2 면이 마주보도록 배치되는 것을 특징으로 하는 안경형 단말기.
  5. 제3항에 있어서, 상기 제1 반사 소자는,
    입사된 모든 파장의 광들을 반사시키는 전반사 미러(Full Reflection Mirror)임을 특징으로 하는 안경형 단말기.
  6. 제3항에 있어서, 상기 제1 반사 소자는,
    입사된 광들 중, 지정되지 않은 파장을 가지는 입사된 광들 중 투과 비율 및 반사 비율이 일정 범위 내의 소정 비율을 갖도록 광들의 반사가 일부 제한되는 반반사 미러(Half Reflection Mirror)임을 특징으로 하는 안경형 단말기.
  7. 제1항에 있어서, 상기 디스플레이부는,
    상기 영상광을 출광하는 적어도 하나의 광원을 포함하는 광 모듈; 및,
    상기 적어도 하나의 광원에서 출광된 광을 확대하고 평행광으로 변환하는 적어도 하나의 렌즈를 포함하는 렌즈부를 포함하는 것을 특징으로 하는 안경형 단말기.
  8. 제7항에 있어서, 상기 적어도 하나의 광원은,
    마이크로 LED(Light Emitting Diode), 마이크로 OLED(Organic LED), LCoS(Liquid Crystal on Silicon), 또는 LED나 SLD(Super Luminescent Diode)를 사용하는 디지털 소형 거울 장치(Digital Micromirror Device(DMD) with LED or SLD) 중 적어도 하나를 포함하는 자발광 또는 조명광 방식의 광원임을 특징으로 하는 안경형 단말기.
  9. 제2항에 있어서, 상기 제1 반사 소자는,
    상기 제2 홀로그램 광학 소자를 투과한 광이, 상기 기 설정된 반사각 범위 내의 각도로 입사되도록 배치된 홀로그램 광학 소자임을 특징으로 하는 안경형 단말기.
  10. 제3항에 있어서,
    상기 제1 반사 소자를 소정 각도 회전하여, 상기 반사면이 상기 제2 홀로그램 광학 소자를 지향하는 각도를 변경시키는 틸팅(tilting)부를 더 포함하는 것을 특징으로 하는 안경형 단말기.
  11. 제10항에 있어서, 상기 가상 영상은,
    상기 제2 홀로그램 광학 소자의 제2 면에 입사되는 광의 입사각이 증가되도록 상기 제1 반사 소자가 회전되는 경우, 상기 글래스 상의 표시 위치가 사용자의 미간 방향으로 이동되고,
    상기 제2 홀로그램 광학 소자의 제2 면에 입사되는 광의 입사각이 감소되도록 상기 제1 반사 소자가 회전되는 경우, 상기 글래스 상의 표시 위치가 사용자의 관자놀이 방향으로 이동되는 것을 특징으로 하는 안경형 단말기.
  12. 제10항에 있어서,
    상기 틸팅부는,
    상기 제1 반사 소자를 소정 각도 회전시는 회전력을 제공하는 액추에이터(actuator)를 더 포함하고,
    사용자의 양안 눈동자 사이의 거리를 측정할 수 있는 센서부;
    상기 센서부를 통해 측정된 거리에 대응하는 각도로 상기 제1 반사 소자의 회전 각도를 결정하고, 결정된 회전 각도에 따라 상기 제1 반사 소자를 회전시키도록 상기 액추에이터를 제어하는 제어부를 더 포함하는 것을 특징으로 하는 안경형 단말기.
  13. 제12항에 있어서,
    상기 센서부는,
    상기 안경형 단말기에서, 사용자의 양안에 대응하는 글래스들을 지지하는 글래스 프레임에 구비되는 적어도 하나의 카메라이며,
    상기 제어부는,
    상기 카메라를 통해 획득되는 사용자 양안의 눈동자 위치에 근거하여 상기 양안의 눈동자 사이의 거리를 산출하는 것을 특징으로 하는 안경형 단말기.
  14. 제12항에 있어서,
    상기 센서부는,
    상기 디스플레이부가 구비되는 상기 안경형 단말기의 바디부와, 사용자의 양안에 대응하는 글래스들을 지지하는 글래스 프레임 사이의 각도를 측정하는 센서를 적어도 하나 포함하며,
    상기 제어부는,
    상기 측정된 바디부와 글래스 프레임 사이의 각도에 근거하여 상기 양안의 눈동자 사이의 거리를 추정하는 것을 특징으로 하는 안경형 단말기.
  15. 제1항에 있어서,
    상기 디스플레이부가 상기 회절 소자를 지향하는 각도가 달라지도록 상기 디스플레이부를 소정 각도 회전시키는 틸팅부를 더 포함하는 것을 특징으로 하는 안경형 단말기.
  16. 제15항에 있어서, 상기 가상 영상은,
    상기 회절 소자로 입사되는 광의 입사각이 증가되도록 상기 디스플레이부가 상기 회절 소자를 지향하는 각도가 변경되는 경우, 상기 글래스 상의 표시 위치가 사용자의 미간 방향으로 이동되고,
    상기 회절 소자로 입사되는 광의 입사각이 감소되도록 상기 디스플레이부가 상기 회절 소자를 지향하는 각도가 변경되는 경우, 상기 글래스 상의 표시 위치가 사용자의 관자놀이 방향으로 이동되는 것을 특징으로 하는 안경형 단말기.
  17. 안경형 단말기에서 가상 영상을 제공하는 방법에 있어서,
    상기 가상 영상의 영상원이 되는 영상광을 출광하는 적어도 하나의 광원이 발광하는 단계;
    적어도 하나의 렌즈가, 상기 광원으로부터 출광된 영상광을 확대 및 평행광으로 변환하는 단계;
    회절 소자가, 상기 영상광을 기 설정된 각도로 반사 및 회절시키는 단계; 및,
    상기 안경형 단말기의 글래스 적어도 일부에 구비되는 제1 홀로그램 광학 소자가, 상기 회절 소자에서 회절되어 정파장 분산(Positive dispersion)된 분산광을, 역파장 분산(Negative dispersion)하여 분산을 상쇄하고, 분산이 상쇄된 광을 반사하여 상기 영상광에 대응하는 가상 영상을 상기 글래스 적어도 일부에 표시하는 단계를 포함하는 것을 특징으로 하는 안경형 단말기의 가상 영상 제공 방법.
  18. 제17항에 있어서,
    상기 회절 소자는,
    기 설정된 입사각 범위 내의 각도로 광이 입사되는 경우 입사된 광을 투과시키고, 기 설정된 반사각 범위 내의 각도로 광이 입사되는 경우 광을 반사시키는 제2 홀로그램 광학 소자; 및,
    기 설정된 각도로, 반사면이 상기 제2 홀로그램 광학 소자를 지향하도록 배치된 제1 반사 소자를 포함하는 것을 특징으로 하는 안경형 단말기의 가상 영상 제공 방법.
  19. 제18항에 있어서,
    상기 회절 소자가 상기 영상광을 반사 및 회절 시키는 단계는,
    상기 제2 홀로그램 광학 소자가, 상기 입사각 범위 내로 입사된 상기 평행광을 투과시키는 단계;
    상기 제1 반사 소자가, 상기 제2 홀로그램 광학 소자에서 투과된 광이 반사되도록, 상기 반사각 범위 내의 각도로 상기 제2 홀로그램 광학 소자를 투과한 투과광을 상기 제2 홀로그램 광학 소자에 반사시키는 단계;
    상기 제2 홀로그램 광학 소자가, 상기 제1 반사 소자로부터 반사된 반사광을, 상기 제1 홀로그램 광학 소자로 반사시키는 단계를 포함하며,
    상기 반사광은,
    상기 제2 홀로그램 광학 소자에서 반사되면서 회절되어, 정파장 분산되는 것을 특징으로 하는 안경형 단말기의 가상 영상 제공 방법.
  20. 제18항에 있어서,
    상기 회절 소자가 상기 영상광을 반사 및 회절 시키는 단계는,
    상기 적어도 하나의 광원 또는 상기 회절 소자가 지향하는 방향을 소정 각도 회전시키는 단계를 더 포함하며,
    상기 적어도 하나의 광원 또는 상기 회절 소자가 지향하는 방향이 변경됨에 따라 상기 글래스 상에서 표시되는 가상 영상의 위치가 변경되는 것을 특징으로 하는 안경형 단말기의 가상 영상 제공 방법.
PCT/KR2021/004898 2021-01-14 2021-04-19 안경형 단말기 및 그 안경형 단말기의 가상 영상 제공 방법 WO2022154176A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0005319 2021-01-14
KR20210005319 2021-01-14

Publications (1)

Publication Number Publication Date
WO2022154176A1 true WO2022154176A1 (ko) 2022-07-21

Family

ID=82323429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004898 WO2022154176A1 (ko) 2021-01-14 2021-04-19 안경형 단말기 및 그 안경형 단말기의 가상 영상 제공 방법

Country Status (2)

Country Link
US (1) US11442279B2 (ko)
WO (1) WO2022154176A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268421A1 (en) * 2005-05-30 2006-11-30 Konic Minolta Holdings, Inc. Image display apparatus and head mount display
KR20170139511A (ko) * 2015-02-17 2017-12-19 탈믹 랩스 인크 웨어러블 헤드-업 디스플레이 내의 아이박스 확장을 위한 시스템, 장치, 및 방법
KR20190016869A (ko) * 2017-08-09 2019-02-19 삼성전자주식회사 광학 윈도우 시스템 및 이를 포함하는 투시형 디스플레이 장치
JP2019056795A (ja) * 2017-09-21 2019-04-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ及び画像表示装置
KR20200063645A (ko) * 2018-11-28 2020-06-05 인하대학교 산학협력단 영상 심도 및 눈의 위치 조절 가능한 홀로그래픽 헤드 마운티드 디스플레이 장치 및 이를 이용한 디스플레이 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002277816A (ja) * 2001-03-21 2002-09-25 Minolta Co Ltd 映像表示装置
US9335604B2 (en) * 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
JP6201836B2 (ja) * 2014-03-14 2017-09-27 ソニー株式会社 光学装置及びその組立方法、ホログラム回折格子、表示装置並びにアライメント装置
JP6402991B2 (ja) * 2014-10-02 2018-10-10 セイコーエプソン株式会社 画像表示装置
KR102509086B1 (ko) * 2017-07-05 2023-03-10 삼성디스플레이 주식회사 홀로그래픽 헤드 업 표시 장치
US10816809B2 (en) * 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
US11662582B2 (en) * 2019-12-19 2023-05-30 Meta Platforms Technologies, Llc Display with holographic relay and holographic image combiner

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268421A1 (en) * 2005-05-30 2006-11-30 Konic Minolta Holdings, Inc. Image display apparatus and head mount display
KR20170139511A (ko) * 2015-02-17 2017-12-19 탈믹 랩스 인크 웨어러블 헤드-업 디스플레이 내의 아이박스 확장을 위한 시스템, 장치, 및 방법
KR20190016869A (ko) * 2017-08-09 2019-02-19 삼성전자주식회사 광학 윈도우 시스템 및 이를 포함하는 투시형 디스플레이 장치
JP2019056795A (ja) * 2017-09-21 2019-04-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ及び画像表示装置
KR20200063645A (ko) * 2018-11-28 2020-06-05 인하대학교 산학협력단 영상 심도 및 눈의 위치 조절 가능한 홀로그래픽 헤드 마운티드 디스플레이 장치 및 이를 이용한 디스플레이 방법

Also Published As

Publication number Publication date
US20220221720A1 (en) 2022-07-14
US11442279B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
WO2020226235A1 (ko) 전자 디바이스
WO2021040106A1 (ko) Ar 장치 및 그 제어 방법
WO2021040076A1 (ko) 전자 디바이스
WO2020189866A1 (ko) 머리에 착용할 수 있는 전자 디바이스
WO2021040119A1 (ko) 전자 디바이스
WO2020138640A1 (ko) 전자 디바이스
WO2021040083A1 (ko) 머리에 착용할 수 있는 전자 디바이스
WO2021040117A1 (en) Electronic device
WO2021040107A1 (ko) Ar 장치 및 그 제어 방법
WO2021040116A1 (en) Electronic device
WO2021256651A1 (ko) 증강 현실 글라스 및 그 동작 방법
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2018066962A1 (ko) 스마트 안경
WO2020138636A1 (ko) 전자 기기
WO2021049693A1 (ko) 전자 디바이스
WO2021049694A1 (ko) 전자 디바이스
KR20190106947A (ko) 전자 디바이스
WO2021040084A1 (ko) 머리에 착용할 수 있는 전자 디바이스
KR20190106900A (ko) 전자 디바이스
WO2021040081A1 (ko) 전자 디바이스
WO2021040097A1 (ko) 머리에 착용할 수 있는 전자 디바이스
WO2022154176A1 (ko) 안경형 단말기 및 그 안경형 단말기의 가상 영상 제공 방법
WO2021040082A1 (ko) 전자 디바이스
WO2021033784A1 (ko) 표시 모듈을 포함하는 전자 디바이스
WO2021040067A1 (ko) 근거리에 영상을 출력시킬 수 있는 광학 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919803

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919803

Country of ref document: EP

Kind code of ref document: A1