KR20230024658A - Method for controlling near eye display optical system - Google Patents

Method for controlling near eye display optical system Download PDF

Info

Publication number
KR20230024658A
KR20230024658A KR1020210106682A KR20210106682A KR20230024658A KR 20230024658 A KR20230024658 A KR 20230024658A KR 1020210106682 A KR1020210106682 A KR 1020210106682A KR 20210106682 A KR20210106682 A KR 20210106682A KR 20230024658 A KR20230024658 A KR 20230024658A
Authority
KR
South Korea
Prior art keywords
optical signal
lens
unit
image
display unit
Prior art date
Application number
KR1020210106682A
Other languages
Korean (ko)
Inventor
천승문
고현철
Original Assignee
(주)인시그널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인시그널 filed Critical (주)인시그널
Priority to KR1020210106682A priority Critical patent/KR20230024658A/en
Publication of KR20230024658A publication Critical patent/KR20230024658A/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • G02B3/04Simple or compound lenses with non-spherical faces with continuous faces that are rotationally symmetrical but deviate from a true sphere, e.g. so called "aspheric" lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements

Abstract

Disclosed is a method of controlling an optical system for a near-eye display for transmissive smart glasses having a glasses frame and a pair of lenses coupled to the glasses frame. The optical system to which the control method is applied includes an optical signal emitting unit, a video display unit and a filter unit. The optical signal emitting unit is coupled to the leg of the glasses frame and emits an optical signal for displaying a two-dimensional image toward the inner surface of a lens. The image display unit is coupled to each of the lenses, and includes an optical signal processing unit which selectively reflects only predefined wavelengths in the direction of the eyes of a wearer of the smart glasses with respect to the optical signal emitted from the optical signal emitting unit and processes the optical signal transmitted to the image display unit. The optical signal processing unit processes the optical signal based on the inner shape of the lens. The filter unit is installed integrally with the lens to which the image display unit is coupled, and blocks light passing through the lens. In the optical system control method, the filter unit is turned on/off to control light passing through the lens to pass through or to be blocked. According to the present invention, the wearer can watch the only two-dimensional image displayed on the image display unit with immersion.

Description

디스플레이용 광학 시스템의 제어방법{Method for controlling near eye display optical system}Control method of optical system for display {Method for controlling near eye display optical system}

본 발명은 웨어러블 디스플레이 장치(wearable display device)에 관한 것으로, 보다 구체적으로 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 또는 스마트 글라스 등과 같은 근안 디스플레이(Near Eye Display, NED)용 광학 시스템의 제어방법에 관한 것이다.The present invention relates to a wearable display device, and more particularly, to a control method for an optical system for a near eye display (NED) such as a head mounted display (HMD) or smart glasses will be.

최근 메타버스(metaverse) 관련 기술이 널리 주목을 받고 있다. 메타버스는 ‘가상’, ‘초월’을 뜻하는 영어 단어 메타(meta)와 우주를 뜻하는 유니버스(universe)의 합성어로, 현실세계와 같은 사회, 경제, 문화 활동이 이루어지는 가상세계를 가리킨다. 메타버스는 가상현실(Virtual Reality, VR)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는데 그치지 않고 실제 현실과 같은 사회, 문화적 활동을 할 수 있다는 특징이 있다. 5G 통신 기술의 상용화와 함께 VR, 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR)을 구현할 수 있는 기술의 발전으로, 메타버스는 현실에서 적용 범위가 점점 확대되고 있다.Recently, metaverse-related technologies have been receiving widespread attention. Metaverse is a compound word of the English word meta, which means 'virtual' and 'transcendence', and universe, which means universe. Metaverse is a concept that has evolved one step further than Virtual Reality (VR), and is characterized by using avatars to not only enjoy games or virtual reality, but also to engage in social and cultural activities like real life. With the commercialization of 5G communication technology and the development of technologies that can implement VR, Augmented Reality (AR), and Mixed Reality (MR), the scope of application of the metaverse is gradually expanding in reality.

메타버스를 구현하는 하나의 방안으로 NED용 광학시스템을 활용하는 것이 있다. NED용 광학시스템은, 눈과 매우 근접한 위치에서 발생하는 영상광을 정밀한 광학 장치를 이용하여 먼 거리에 가상의 대형화면이 구성될 수 있도록 초점을 형성함으로써 사용자로 하여금 확대된 허상을 볼 수 있도록 하는 영상표시장치이다. NED용 광학시스템, 예컨대 HMD용 광학 시스템은 원래 군사용으로 사용되었으나, 컴퓨터 시스템의 고성능화 및 소형화가 비약적으로 진행되고 디스플레이 소자의 비약적인 발전으로 인해 몸에 착용하는 컴퓨터(wearable compter) 개념이 제시되었고, 그에 따른 몸에 착용하는 장치(wearable device)로써 HMD 장치 또는 안경형 모니터(Glass Type Monitor, GTM) 장치에 적용될 수 있는 광학시스템의 필요성과 가능성이 연구되었다.One way to implement the metaverse is to use an optical system for NED. The optical system for NED focuses image light generated at a location very close to the eye using a precise optical device to form a large virtual screen at a distance so that the user can see an enlarged virtual image. It is a video display device. Optical systems for NEDs, such as optical systems for HMDs, were originally used for military purposes. The necessity and possibility of an optical system that can be applied to an HMD device or a Glass Type Monitor (GTM) device as a wearable device according to the present study were studied.

이러한 NED용 광학 시스템은 두 개의 디스플레이 소자에서 양안에 각각의 독립적인 광경로를 형성하는 양판 양안식, 하나의 디스플레이 소자를 사용하여 양안에 각각 대칭의 광경로를 형성하는 단판 양안식, 및 하나의 디스플레이 소자로부터 양안 중 한쪽 눈에만 빛 경로를 제공하는 단판 단안식 등으로 나뉜다.These optical systems for NED include a double-plate binocular type that forms independent light paths for both eyes in two display elements, a single-plate binocular type that forms symmetrical light paths for both eyes using one display element, and one It is divided into a single plate monocular that provides a light path only for one eye among both eyes from the display device.

NED용 광학 시스템을 포함하는 NED 장치는, 안경형 모니터를 포함하는 스마트 글라스 장치(smart glass device), 헤드 마운티드 디스플레이(HMD) 장치 등의 형태로 제작되며, 정보 통신 기술과 영상 처리 기술을 활용하여, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR) 등의 스마트 환경을 제공하는 가상 체험 기기, 영상 게임기, 가상 훈련 시스템 등으로 그 적용 분야를 넓혀 가고 있다. A NED device including an optical system for NED is manufactured in the form of a smart glass device including a glasses-type monitor, a head-mounted display (HMD) device, etc., and utilizes information communication technology and image processing technology, Its applications are expanding to virtual experience devices, video game machines, and virtual training systems that provide smart environments such as virtual reality (VR), augmented reality (AR), and mixed reality (MR).

이러한 NED 장치는 차단형(see-closed type)과 투과형(see-through type)으로 구분할 수 있다. 차단형 NED 장치는 눈동자로부터 25㎜전후에서 착용자의 시각이 차단되어 암막 상태에서 영상을 보게 되므로, 장시간 착용시 눈의 피로도가 급증하는 등 인체에 다양한 부작용을 초래하는 문제점이 있을 뿐만 아니라 혼합 현실(MR)을 활용하는 어플리케이션에는 적용이 불가능하다. 반면, 투과형 NED 장치의 경우에 착용자는 디스플레이되는 영상만이 아니라 실제 외부의 영상도 함께 보는 것이 가능하다.These NED devices can be divided into a see-closed type and a see-through type. Since the blocking type NED device blocks the wearer's vision at around 25 mm from the pupil and sees the image in a darkened state, there are problems that cause various side effects to the human body, such as increased eye fatigue when worn for a long time, as well as mixed reality ( It is not applicable to applications that utilize MR). On the other hand, in the case of a transmissive NED device, the wearer can view not only the displayed image but also the actual external image.

NED 장치에 적용되는 광학 시스템으로 다양한 구조가 제안되어 있다. 예컨대, 한국공개특허 제2018-0039576호, “적층식 광 가이드들을 갖는 눈-근접 디스플레이”(특허문헌 1), 한국공개특허 제2020-0007965호, “광 가이드를 포함하는 디스플레이 장치”(특허문헌 2), 미국공개특허, US 2020/0301149 A1 “Virtual and augmented reality systems and methods having improved diffractive grating structures”(특허문헌 3)에는 각각 NED 장치를 위한 광학 시스템이 개시되어 있다. Various structures have been proposed as optical systems applied to NED devices. For example, Korean Patent Publication No. 2018-0039576, “Eye-proximity display with stacked light guides” (Patent Document 1), Korean Patent Publication No. 2020-0007965, “Display device including a light guide” (Patent Document 1) 2), US 2020/0301149 A1 “Virtual and augmented reality systems and methods having improved diffractive grating structures” (Patent Document 3) each discloses an optical system for a NED device.

그런데, 특허문헌 1 내지 특허문헌 3에 개시된 광학 시스템은 모두 정해진 두께와 입체 구조를 가지는 프리즘 형태로 제작된 광 도파관(light waveguide)을 사용하여 영상 신호를 전달한다. 그 결과, 광학 시스템의 부피가 크고 구조가 복잡하다. 그리고 광 도파관을 설치할 구조물이 필수적으로 요구되기 때문에, 스마크 글라스와 같은 컴팩트한 구조의 안경형 디스플레이 장치에는 적용하기 어려운 단점이 있다. However, the optical systems disclosed in Patent Literature 1 to Patent Literature 3 transmit image signals using light waveguides manufactured in the form of prisms having a predetermined thickness and three-dimensional structure. As a result, the optical system is bulky and has a complicated structure. In addition, since a structure in which an optical waveguide is to be installed is required, it is difficult to apply to a glasses-type display device having a compact structure such as a smart glass.

한국공개특허 제2020-0002616호, “홀로그램 광학 소자를 이용한 웨어러블 스마트 광학시스템”(특허문헌 4)에는, 이러한 종래의 광학 시스템의 단점을 해결하기 위한 하나의 방안이 제시되어 있다. 보다 구체적으로, 특허문헌 4에 개시된 광학 시스템은, 투과형 NED 장치를 위한 것으로서, 홀로그램 광학 소자(Hologram Optical Element, HOE)에 미리 정의된 파장만을 눈의 중심에 맞추는 비대칭 반사를 하도록 기록하여 필름형태로 제작한 파장 선택적 투명 반사체로 구성된 HOE 영상 표시부가, 눈과 평행하게 배치된 상태에서 입사 광신호가 나타내는 영상을 정해진 반사각 만큼의 크기로 확대하여 눈으로 시청할 수 있도록 수렴한 영상으로 표시한다. 도 1에는 특허문헌 4에 개시되어 있는 웨어러블 스마트 광학시스템의 일례가 도시되어 있다.Korean Patent Publication No. 2020-0002616, "Wearable smart optical system using a holographic optical element" (Patent Document 4) proposes one method for solving the disadvantages of such a conventional optical system. More specifically, the optical system disclosed in Patent Document 4 is for a transmissive NED device, and is recorded in a hologram optical element (HOE) to have an asymmetrical reflection that aligns only predefined wavelengths to the center of the eye in the form of a film. The HOE image display unit composed of the fabricated wavelength-selective transparent reflector expands the image represented by the incident light signal to a size as much as the predetermined reflection angle in a state arranged parallel to the eye, and displays it as a converged image so that the eye can see it. 1 shows an example of a wearable smart optical system disclosed in Patent Document 4.

이러한 특허문헌 4에 개시된 광학 시스템에 의하면, 광신호 방출부로부터 방출되는 광신호는 HOE 영상표시부로 입사되며, HOE 영상표시부는 입사되는 광신호 중에서 미리 선택된 파장의 광신호만을 눈쪽으로 반사한다. 이러한 HOE 영상표시부는 HOE에 미리 정의된 파장만을 눈의 중심에 맞추는 비대칭 반사를 하도록 기록하여 필름 형태로 제작하여 비구면 렌즈 위에 적층하거나 접착하는 필름 형태로 제작될 수 있다. According to the optical system disclosed in Patent Document 4, the optical signal emitted from the optical signal emitter is incident on the HOE image display unit, and the HOE image display unit reflects only the optical signal of a previously selected wavelength among the incident optical signals toward the eyes. Such an HOE image display unit may be manufactured in the form of a film that is laminated or adhered on an aspheric lens by recording only predefined wavelengths in the HOE to perform asymmetric reflection aligned with the center of the eye, and manufacturing the HOE image display unit in the form of a film.

그런데, 특허문헌 4에 개시된 광학 시스템이 안경형 장치로 구현될 경우에, HOE 영상표시부는 비구면 곡면 형상의 안경 렌즈의 전부 또는 일부에 구현되거나 그 표면에 접합된다. 또한, 광신호 방출부는 안경의 프레임, 특히 안경의 다리 또는 안경 렌즈의 연결 부위에 구현되기가 쉬운데, 이 경우에 광신호 방출부는 HOE 영상표시부(즉, 렌즈)의 중앙 부분이 아닌 일 측면에 배치될 수 밖에 없다. However, when the optical system disclosed in Patent Document 4 is implemented as a spectacle-type device, the HOE image display unit is implemented on all or part of the aspheric curved spectacle lens or bonded to the surface thereof. In addition, it is easy to implement the optical signal emitting unit in the frame of glasses, especially in the bridge of glasses or the connection part of the lens of glasses. can only be

그 결과, 광신호 방출부와 HOE 영상표시부 사이의 거리는 HOE 영상표시부에서의 영역에 따라서 차이가 나므로, 광신호 방출부로부터 방출되어 HOE 영상표시부에서 반사되어 눈으로 향하는 광신호, 즉 HOE 영상표시부에 디스플레이되는 2D 영상 광신호는, 그 모양(예컨대, 직사각형 형상의 영상)이 찌그러지는 현상이 발생할 수 있다. As a result, since the distance between the optical signal emitting unit and the HOE image display unit varies depending on the area in the HOE image display unit, the light signal emitted from the optical signal emitting unit and reflected from the HOE image display unit toward the eye, that is, the HOE video display unit The displayed 2D image optical signal may have a phenomenon in which its shape (eg, a rectangular image) is distorted.

다만, 전술한 종래의 광학 시스템은 모두 투과형 NED 장치로서, 착용자는 디스플레이되는 영상만이 아니라 실제 외부의 영상도 함께 보는 것이 가능하지만, 언제나 외부 영상을 함께 보기 때문에, 디스플레이되는 영상을 높은 몰입도로 시청하기가 어려운 단점이 있다.However, the conventional optical systems described above are all transmissive NED devices, and the wearer can view not only the displayed image but also the actual external image. There are downsides to making it difficult.

한국공개특허 제2018-0039576호Korean Patent Publication No. 2018-0039576 한국공개특허 제2020-0007965호Korean Patent Publication No. 2020-0007965 미국공개특허 US 2020/0301149 A1US Patent Publication US 2020/0301149 A1 한국공개특허 제2020-0002616호Korean Patent Publication No. 2020-0002616

본 발명이 해결하고자 하는 하나의 과제는, 광신호 방출부로부터 방출되는 광신호가 HOE 영상표시부로 입사되고, HOE 영상표시부는 입사되는 광신호 중에서 미리 선택된 파장의 광신호만을 눈쪽으로 반사하는 광학 시스템에 있어서, 스마트 글라스의 착용자가 HOE 영상표시부에 영상이 표시되는 동안에 외부 영상이 눈으로 들어오는 것은 차단할 수 있을 뿐만 아니라, 비구면 곡면 형상의 HOE 영상표시부에는 2D 영상 광신호가 찌그러져서 표시되지 않도록 할 수 있는 디스플레이용 광학 시스템의 제어 방법을 제공하는 것이다.One problem to be solved by the present invention is an optical system in which an optical signal emitted from an optical signal emitter is incident on an HOE image display unit, and the HOE image display unit reflects only an optical signal of a previously selected wavelength among the incident optical signals toward the eyes. A display capable of preventing external images from entering the eyes while the image is displayed on the HOE image display unit of the wearer of the smart glasses and preventing the 2D image optical signal from being distorted and displayed on the HOE image display unit having an aspherical curved shape It is to provide a control method of an optical system for use.

상기한 과제를 해결하기 위한 본 발명의 일 실시예는 안경 프레임과 상기 안경 프레임에 결합되는 한 쌍의 렌즈를 갖는 투과형 스마트 글라스를 위한 근안 디스플레이용 광학 시스템의 제어 방법으로서, 상기 광학 시스템은, 광신호 방출부, 영상 표시부 및 필터부를 포함하되, 상기 광신호 방출부는 상기 안경 프레임의 다리에 결합되어 있고, 2차원 영상을 표시하기 위한 광신호를 상기 렌즈의 내면 방향으로 방출하고, 상기 영상 표시부는 상기 렌즈 각각에 결합되어 있으며, 상기 광신호 방출부로부터 방출되는 광신호에 대해서, 상기 스마트 글라스의 착용자의 눈 방향으로 미리 정의된 파장만을 선택적으로 반사하고 또한 상기 영상 표시부로 입사되는 상기 광신호를 처리하는 것으로, 상기 렌즈의 내면 형상에 기초하여, 상기 광신호를 처리하는 광신호 처리부를 포함하며, 상기 필터부는 상기 영상 표시부가 결합되어 있는 렌즈에 일체로 설치되어, 상기 렌즈를 통과하는 광을 차단하는 것으로, 상기 필터부를 온/오프하여 상기 렌즈를 통과하는 광이 그대로 통과 또는 차단되도록 제어한다.An embodiment of the present invention for solving the above problems is a method for controlling an optical system for a near-eye display for transmissive smart glasses having a spectacle frame and a pair of lenses coupled to the spectacle frame, the optical system comprising: It includes a signal emitting unit, an image display unit and a filter unit, wherein the optical signal emitting unit is coupled to the leg of the eyeglass frame and emits an optical signal for displaying a two-dimensional image toward the inner surface of the lens, and the image display unit It is coupled to each of the lenses, and selectively reflects only a predefined wavelength in the direction of the eyes of the wearer of the smart glasses with respect to the optical signal emitted from the optical signal emitter and transmits the optical signal incident to the image display unit. and an optical signal processing unit for processing the optical signal based on the shape of the inner surface of the lens, wherein the filter unit is integrally installed in the lens to which the image display unit is coupled, and controls light passing through the lens. By blocking, the light passing through the lens is controlled to pass or be blocked by turning on/off the filter unit.

상기 실시예의 일 측면에 의하면, 상기 스마트 글라스를 착용하는 착용자가 상기 필터부의 온/오프를 제어할 수 있다. 이 경우에, 상기 광신호 처리부는, 상기 광신호 방출부로부터 방출되는 광신호에 의하여 표시되는 2차원 영상이 상기 렌즈의 내면 형상에 대응하도록, 상기 광신호를 처리하고, 상기 렌즈는 비구면 곡면 형상을 가지며, 상기 영상 표시부는 상기 미리 정의된 파장만을 반사하도록 기록되어 있는 필름 형태의 홀로그램 광학 소자(Hologram Optical Element, HOE)로서, 상기 렌즈의 내면 상에 결합되어 있을 수 있다. 그리고 상기 광신호 처리부는, 상기 홀로그램 광학 소자가 결합되는 부분의 상기 렌즈의 내면 형상에 대응하도록, 상기 광신호를 처리할 수 있다.According to one aspect of the embodiment, a wearer wearing the smart glasses can control on/off of the filter unit. In this case, the optical signal processing unit processes the optical signal so that a two-dimensional image displayed by the optical signal emitted from the optical signal emitting unit corresponds to the inner surface shape of the lens, and the lens has an aspheric curved surface shape. The image display unit is a film-type hologram optical element (HOE) recorded to reflect only the predefined wavelength, and may be coupled to an inner surface of the lens. The optical signal processing unit may process the optical signal to correspond to the shape of the inner surface of the lens at the portion to which the hologram optical element is coupled.

전술한 본 발명의 실시예에 의하면, 스마트 글라스와 같은 안경형 근안 디스플레이 시스템을 위한 광학 시스템에서 있어서, 비록 영상 표시부가 결합되는 스마트 글라스의 렌즈가 비구면 곡면 형상을 가지는 경우라도, 영상 표시부에 표시되는 2차원 영상의 화질이 저하되는 것을 방지할 수 있는 것은 물론, 필요한 경우에는 렌즈를 통과하여 들어오는 외부광을 차단함으로써, 착용자는 영상 표시부에 표시되는 2차원 영상만을 몰입도가 있게 시청하는 것이 가능하다. According to the above-described embodiment of the present invention, in the optical system for a spectacle-type near-eye display system such as smart glasses, even if the lens of the smart glasses to which the image display unit is coupled has an aspheric curved surface shape, the two displayed on the image display unit It is possible to prevent deterioration of the image quality of the dimensional image and, if necessary, to block external light passing through the lens, so that the wearer can watch only the 2D image displayed on the image display unit with an immersive degree of immersion.

도 1은 종래 기술에 따른 웨어러블 스마트 광학시스템의 일례를 도식적으로 보여 주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 근안 디스플레이용 광학 시스템을 구비한 투과형 스마트 글라스의 모식적인 구성을 보여 주는 사시도이다.
도 3은 도 2의 투과형 스마트 글라스에 대한 평면도이다.
도 4는 광신호 처리부에 의한 광신호 처리 방법을 모식적으로 보여 주는 도면이다.
1 is a diagram schematically showing an example of a wearable smart optical system according to the prior art.
2 is a perspective view showing a schematic configuration of a transmissive smart glass having an optical system for a near-eye display according to an embodiment of the present invention.
FIG. 3 is a plan view of the transmissive smart glasses of FIG. 2 .
4 is a diagram schematically showing an optical signal processing method by an optical signal processing unit.

이하, 도면을 참조하여 본 발명의 바람직한 실시형태 및 실시예를 설명한다. 다만, 이하의 실시형태 및 실시예는 본 발명의 바람직한 구성을 예시적으로 나타내는 것일 뿐이며, 본 발명의 범위는 이들 구성에 한정되지 않는다. 그리고 이하의 설명에 있어서, 장치의 하드웨어 구성 및 소프트웨어 구성, 처리 흐름, 제조조건, 크기, 재질, 형상 등은, 특히 특정적인 기재가 없는 한, 본 발명의 범위를 이것으로 한정하려는 취지인 것은 아니다.Hereinafter, preferred embodiments and examples of the present invention will be described with reference to the drawings. However, the following embodiments and examples are merely illustrative of preferred configurations of the present invention, and the scope of the present invention is not limited to these configurations. And in the following description, the hardware configuration and software configuration of the device, processing flow, manufacturing conditions, size, material, shape, etc. are not intended to limit the scope of the present invention to these unless specifically described. .

본 발명에 따른 제어 방법의 대상이 되는 근안 디스플레이용 광학 시스템은, 안경 프레임과 이 안경 프레임에 결합되는 한 쌍의 렌즈를 갖는 투과형 스마트 글라스를 위한 것이다. 이러한 근안 디스플레이용 광학 시스템은 광신호 방출부, 영상 표시부 및 필터부를 포함하여 구성되는데, 광신호 방출부는 영상 표시부로 입사되는 광신호를 처리하기 위한 광신호 처리부를 포함한다. 본 발명에 의하면, 광신호 처리부는 스마트 글라스의 렌즈의 내면 형상에 기초하여, 광신호를 처리하며, 또한 필터부에 의하여 외부로부터의 광이 렌즈를 통과하는 것이 제어될 수 있다. An optical system for a near-eye display, which is a subject of the control method according to the present invention, is for transmissive smart glasses having a spectacle frame and a pair of lenses coupled to the spectacle frame. An optical system for a near eye display includes an optical signal emitter, an image display unit, and a filter unit. The optical signal emitter includes an optical signal processor for processing an optical signal incident to the image display unit. According to the present invention, the optical signal processing unit processes the optical signal based on the shape of the inner surface of the lens of the smart glasses, and the filter unit controls the passage of light from the outside through the lens.

이러한 근안 디스플레이용 광학 시스템은 외부 시야를 확보하면서도 영상을 획득할 수 있는 투과형의 디스플레이 장치에 적용된다. 그리고 광학 시스템은 광신호 방출부와 영상 데이터를 주고받을 수 있는 소정의 전자기기, 예컨대 사용자 단말기로서 모바일 컴퓨터, 미니 컴퓨터, 휴대용 컴퓨터, 테블릿 피씨, 스마트 폰 등으로부터 영상 신호를 수신하여, 광신호 방출부를 통해 광신호로 방출하되, 렌즈의 내면 파일에 대응하도록 영상을 처리하여 방출함으로써, 선명한 화질의 영상을 영상 표시부에 표시할 수 있다. Such an optical system for a near eye display is applied to a transmissive display device capable of acquiring an image while securing an external field of view. In addition, the optical system receives an image signal from a predetermined electronic device capable of exchanging image data with the optical signal emitter, for example, a mobile computer, a mini computer, a portable computer, a tablet PC, a smart phone, etc. as a user terminal, It is emitted as an optical signal through the emitter, but by processing and emitting an image to correspond to the inner surface of the lens, an image of clear quality can be displayed on the image display unit.

도 2는 본 발명의 일 실시예에 따른 근안 디스플레이용 광학 시스템을 구비한 스마트 글라스의 모식적인 구성을 보여 주는 사시도이다. 그리고 도 3은 도 2의 스마트 글라스에 대한 평면도이다. 도 2 및 도 3에서는 좌안 렌즈(24b)에만 필터부(230)가 활성화되어 외부로부터의 광이 통과하는 것을 차단하는 것으로 도시되어 있는데, 이것은 단지 설명의 편의를 위한 것이다. 즉, 도면에 도시되어 있지 않지만, 우안 렌즈(24a)에도 필터부(230)가 구비되어 있으며, 활성화되지 않은 상태이어서 투명하게 보일 뿐이다.2 is a perspective view showing a schematic configuration of smart glasses having an optical system for a near-eye display according to an embodiment of the present invention. And FIG. 3 is a plan view of the smart glasses of FIG. 2 . In FIGS. 2 and 3 , it is shown that the filter unit 230 is activated only in the left eye lens 24b to block the passage of light from the outside, but this is merely for convenience of description. That is, although not shown in the figure, the filter unit 230 is also provided in the right eye lens 24a and is not activated, so it only looks transparent.

도 2 및 도 3을 참조하면, 스마트 글라스(20)는 안경 프레임(22)과 이 안경 프레임(22)에 결합되는 한 쌍의 렌즈(24a, 24b)를 갖는다. 안경 프레임(22)은 통상의 안경과 같은 형태를 가지며, 다리(22a)와 함께 렌즈(24a, 24b)가 끼워질 수 있는 프레임 본체(22b)를 갖는다. 그리고 도면에 도시되어 있지 않지면, 안경 프레임(22)에는 스마트 글라스(20)의 종류에 따라 여러 가지 종류의 전자 기기 모듈/광학 기기 모듈 등(예컨대, 유/무선 통신 모듈, 카메라 모듈, 음향 송수신 모듈 등)이 설치되어 있을 수 있다. Referring to FIGS. 2 and 3 , the smart glasses 20 have an eyeglass frame 22 and a pair of lenses 24a and 24b coupled to the eyeglass frame 22 . The spectacle frame 22 has the same shape as ordinary spectacles, and has a frame body 22b into which lenses 24a and 24b can be fitted together with legs 22a. In addition, if not shown in the drawings, the glasses frame 22 includes various types of electronic device modules/optical device modules (eg, wired/wireless communication modules, camera modules, sound transmission/reception) according to the type of smart glasses 20 modules, etc.) may be installed.

이러한 스마트 글라스(20)를 위한, 본 발명의 일 실시예에 따른 근안 디스플레이용 광학 시스템은 광신호 방출부(210), 영상 표시부(220) 및 필터부(230)를 포함하여 구성된다. An optical system for a near eye display according to an embodiment of the present invention for such smart glasses 20 includes an optical signal emitter 210, an image display unit 220, and a filter unit 230.

광신호 방출부(210)는 안경 프레임(22)의 다리(22a)에 결합되어 있고, 영상 표시부(220)에 2차원 영상을 표시하기 위한 광신호를 렌즈(24a, 24b)의 내면 방향으로 방출한다. 광신호 방출부(210)는 렌즈(24a, 24b)의 내면, 즉 착용자의 눈(E)이 위치한 방향의 렌즈(24a, 24b)의 면으로 광신호를 방출한다. 광신호 방출부(210)는 렌즈(24a, 24b)의 전면에 광신호를 방출하여도 되고, 또는 영상 표시부(220)가 결합되어 있는 렌즈(24a, 24b)의 영역에만 광신호를 방출하여도 된다. The optical signal emitter 210 is coupled to the leg 22a of the spectacle frame 22, and emits an optical signal for displaying a two-dimensional image on the image display unit 220 toward the inner surfaces of the lenses 24a and 24b. do. The optical signal emitter 210 emits an optical signal to the inner surfaces of the lenses 24a and 24b, that is, to the surfaces of the lenses 24a and 24b in the direction where the wearer's eye E is located. The optical signal emitter 210 may emit an optical signal to the front of the lenses 24a and 24b, or may emit an optical signal only to the area of the lenses 24a and 24b to which the image display unit 220 is coupled. do.

본 발명의 일 실시예에 의하면, 광신호 방출부(210)는 점영상 방출부(212), 점영상 스캔부(214) 및 광신호 처리부(216)를 포함한다. According to an embodiment of the present invention, the optical signal emitter 210 includes a dot image emitter 212 , a dot image scan unit 214 and an optical signal processor 216 .

점영상 방출부(212)는, 영상 표시부(220)에 영상을 표시하기 위하여 점영상 신호가 레이저 광원으로 인가됨에 따라서, 레이저 광원으로부터 방출되는 적색(R), 녹색(G), 청색(B) 각각의 점영상 색조 광신호를 혼합기로 혼합하여 만든 점영상 색조혼합 광신호를 방출한다. In order to display an image on the image display unit 220, the dot image emitter 212 emits red (R), green (G), and blue (B) signals emitted from the laser light source as the dot image signal is applied to the laser light source. Each dot image color tone optical signal is mixed by a mixer to emit a point image color mixing optical signal.

점영상 스캔부(214)는 중심부에 스캔 거울이 위치하는 2차원 멤스(MEMS) 스캐너이며, 점영상 방출부(212)에서 방출되는 점영상 색조 혼합 광신호를 점영상 신호와 동기하는 수평 동기 신호 혹은 수직 동기 신호에 의하여 시간에 따라 스캔 거울로 단속하여, 영상 표시부(220) 방향으로 방출함으로써 영상 표시부(220)에 점영상 색조 혼합 광신호를 스캔하여 형성한 2차원 영상이 표시되게 한다. The dot image scanning unit 214 is a two-dimensional MEMS scanner in which a scan mirror is located in the center, and a horizontal synchronization signal that synchronizes the dot image color mixing optical signal emitted from the dot image emitter 212 with the dot image signal Alternatively, the vertical synchronization signal is intermittent with the scan mirror according to time and emitted in the direction of the image display unit 220, so that the image display unit 220 displays a two-dimensional image formed by scanning the dot image color mixing optical signal.

본 발명의 일 변형예에 의하면, 광신호 방출부(200)는, 점영상 방출부(212)와 점영상 스캔부(214) 대신에, 유기발광소자(OLED)를 이용하는 광신호 방출 장치를 포함하여 구성되어도 된다. 이 경우에 OLED를 이용하는 광신호 방출 장치는, 영상 신호가 인가되면 스스로 발광하여 2차원 영상 신호를 방출한다. According to a modified example of the present invention, the optical signal emitting unit 200 includes an optical signal emitting device using an organic light emitting diode (OLED) instead of the dot image emitting unit 212 and the dot image scanning unit 214. may be configured. In this case, the light signal emitting device using OLED emits light itself when an image signal is applied to emit a two-dimensional image signal.

또는, 광신호 방출부(210)는, 점영상 방출부(212)와 점영상 스캔부(214) 대신에, 색광신호 방출부와 편광 빔 스플리터 및 반사형 실리콘 액정 표시 장치로 구성되어도 된다. 이 경우에, 상기 색광신호 방출부는 영상표시부(220)에 영상을 표시하기 위하여 순차색채신호가 LED RGB광원으로 인가됨에 따라, 순차적으로 발광하는 적색(R), 녹색(G), 청색(B)의 색광신호를 광파이프를 통해 방출하고, 편광 빔 스플리터는 색광신호를 구성하는 수평편파신호와 수직편파신호 중 어느 하나의 편파만을 반사시켜서 반사형 실리콘액정표시장치로 전달하며, 반사형 실리콘액정표시장치는 편광 빔 스플리터를 경유하여 입사한 색광신호의 수평편파신호를 90도 편광하여 편광 빔 스플리터를 투과하는 수직색광신호로 만들어 반사하거나 또는 편광 빔 스플리터를 경유하여 입사한 색광신호의 수직편파신호를 90도 편광하여 편광 빔 스플리터를 투과하는 수평색광신호로 만들어 반사함으로써 영상표시부(220)에 2차원 영상이 표시되게 한다.Alternatively, the optical signal emitter 210 may be composed of a color light signal emitter, a polarization beam splitter, and a reflective silicon liquid crystal display instead of the dot image emitter 212 and the dot image scan section 214 . In this case, the color light signal emitter emits red (R), green (G), and blue (B) lights sequentially as sequential color signals are applied to the LED RGB light source to display an image on the image display unit 220. The color light signal is emitted through the light pipe, and the polarization beam splitter reflects only one polarized wave of the horizontal polarization signal and the vertical polarization signal constituting the color light signal, and transmits it to the reflective silicon liquid crystal display device. The device polarizes the horizontally polarized signal of the color light signal incident through the polarization beam splitter by 90 degrees and converts it into a vertical color light signal that passes through the polarization beam splitter and reflects it, or converts the vertically polarized signal of the color light signal incident through the polarization beam splitter. The polarized light is polarized at 90 degrees to form a horizontal color light signal that passes through the polarization beam splitter and is reflected so that a two-dimensional image is displayed on the image display unit 220.

계속해서 도 2 및 도 3을 참조하면, 광신호 처리부(216)는 점영상 스캔부(214)로부터 방출되어 영상 표시부(220)로 입사되는 광신호를 처리하기 위한 것으로서, 렌즈(24a, 24b)의 내면 형상에 기초하여 광신호를 처리한다. 보다 구체적으로, 광신호 처리부(216)는, 광신호 방출부(210)로부터 방출되어서 영상 표시부(220)에 표시되는 2차원 영상이, 렌즈(24a, 24b)의 내면 형상에 대응하도록, 점영상 스캔부(214)로부터 방출되는 광신호를 처리한다. 2 and 3, the optical signal processing unit 216 is for processing the optical signal emitted from the point image scanning unit 214 and incident on the image display unit 220, and the lenses 24a and 24b The optical signal is processed based on the shape of the inner surface of More specifically, the optical signal processing unit 216 is a dot image so that the two-dimensional image emitted from the optical signal emitting unit 210 and displayed on the image display unit 220 corresponds to the shape of the inner surface of the lenses 24a and 24b. An optical signal emitted from the scan unit 214 is processed.

통상적으로 점영상 방출부(212) 및 점영상 스캔부(214)에 의하여 방출되는 광신호에 의하여 표시되는 2차원 영상의 광신호는, 평평한 디스플레이면에 직사각형 형상의 이미지가 표시되도록 하는 특징을 갖도록 구성된다. 이에 의하면, 광신호에 의하여 표시되는 이미지의 단위 픽셀의 크기는 위치에 상관 없이 동일하다.In general, the optical signal of the two-dimensional image displayed by the optical signals emitted by the dot image emitter 212 and the dot image scan unit 214 has a characteristic of displaying a rectangular image on a flat display surface. It consists of According to this, the size of a unit pixel of an image displayed by an optical signal is the same regardless of position.

그런데, 투시형 스마트 글라스(20)의 렌즈(24a, 24b)는, 일반적인 시력 교정용 안경과 마찬가지로, 전체적으로 평평하지 않고, 스마트 글라스(20)의 바깥쪽(착용자의 눈(E)쪽의 반대쪽 방향)에서 보았을 때, 가운데 및/또는 내측 부분이 볼록하게 튀어나와 있는 비구면 곡면 형상을 갖는다. 그리고 본 발명의 실시예에 따른 광학 시스템은, 후술하는 바와 같이, 영상 표시부(220)가 이러한 렌즈(24)에 결합되어 있다. 그 결과, 점영상 방출부(212) 및 점영상 스캔부(214)에 의하여 방출되는 광신호(즉, 평평한 디스플레이면에 대응하는 2차원 영상의 광신호)가 그대로 영상 표시부(220)(즉, 렌즈(24a, 24b)의 내면과 같은 비구면 곡면)에 입사될 경우에, 영상 표시부(220)에 표시되는 2차원 영상의 화질이 저하될 수 밖에 없다. 예컨대, 영상 표시부(220) 중에서 렌즈(24a, 24b)의 가장자리 부분(비교적 평평한 영역)에 대응하는 부분은 단위 픽셀의 크기가 일정하여 화질에 큰 차이가 없지만, 렌즈(24a, 24b)의 중심 부분(곡면 영역)에 대응하는 부분은 단위 픽셀의 크기가 증가하여 화질을 떨어뜨린다.However, the lenses 24a and 24b of the see-through type smart glasses 20 are not flat as a whole, like general glasses for correcting vision, and the outer side of the smart glasses 20 (in the direction opposite to the wearer's eye E) ), it has an aspheric curved surface shape in which the central and/or inner portion protrudes convexly. In the optical system according to an embodiment of the present invention, as will be described later, the image display unit 220 is coupled to the lens 24 . As a result, the optical signals emitted by the dot image emission unit 212 and the dot image scanning unit 214 (that is, the optical signal of the two-dimensional image corresponding to the flat display surface) are transmitted directly to the image display unit 220 (ie, When the light is incident on an aspheric curved surface such as the inner surface of the lenses 24a and 24b, the quality of the 2D image displayed on the image display unit 220 is inevitably deteriorated. For example, in the image display unit 220, the portion corresponding to the edge portion (relatively flat area) of the lens 24a or 24b has a constant unit pixel size, so there is no significant difference in image quality, but the central portion of the lens 24a or 24b The portion corresponding to the (curved surface area) increases in unit pixel size, degrading image quality.

하지만, 본 발명에 의하면, 점영상 방출부(212) 및 점영상 스캔부(214)에 의하여 방출되는 광신호에 대하여, 광신호 처리부(216)는 렌즈(24a, 24b)에 내면 형상, 보다 정확하게는 영상 표시부(220)가 결합되는 부분의 렌즈의 형상에 대응하도록 소정의 처리를 수행함으로써, 비구면 곡면 형상의 영상 표시부(220)에도 선명한 영상이 표시되도록 한다. 예를 들어, 광신호 처리부(216)는 점영상 스캔부(214)에 의하여 방출되는 광신호에 대하여, 가장자리 부분의 단위 픽셀의 크기는 그대로 두고, 중심 부분의 단위 픽셀의 크기를 감소시키는 방법으로 처리를 함으로써, 영상 표시부(220)에 표시되는 영상은 중심부나 가장자리든 그 위치에 상관없이 단위 픽셀의 크기가 동일하게 되도록 할 수 있다.However, according to the present invention, with respect to the optical signals emitted by the dot image emission unit 212 and the dot image scanning unit 214, the optical signal processing unit 216 provides the lenses 24a and 24b with the inner shape, more accurately By performing a predetermined process to correspond to the shape of the lens of the portion to which the image display unit 220 is coupled, a clear image is displayed on the aspherical curved image display unit 220. For example, the optical signal processing unit 216 maintains the unit pixel size of the edge portion of the optical signal emitted by the point image scanning unit 214 and reduces the unit pixel size of the central portion. By processing, the image displayed on the image display unit 220 can be made to have the same size of a unit pixel regardless of its location, whether at the center or at the edge.

도 4는 광신호 처리부(216)에 의한 광신호 처리 방법을 모식적으로 보여 주는 도면으로서, 도 4의 (a)는 광신호 처리부(216)에 의하여 처리되기 전에 광신호에 의하여 영상 표시부(220)에 표시되는 2차원 영상의 픽셀들을 보여주며, 도 4의 (b)는 광신호 처리부(216)에 의하여 처리된 후에 영상 표시부(220)에 표시되는 2차원 영상의 픽셀들을 보여 준다. FIG. 4 is a diagram schematically showing an optical signal processing method by the optical signal processing unit 216, and FIG. 4(a) shows the image display unit 220 ), and FIG. 4(b) shows pixels of the 2D image displayed on the image display unit 220 after being processed by the optical signal processing unit 216.

도 4를 참조하면, 광신호 처리부(216)에 의하여 처리된 2차원 영상의 픽셀의 크기는, 가장자리 부분은 변화가 없지만(w1 = w1’), 중심 부분은 렌즈의 곡면 형상을 반영하여 더 작아지도록 된다(w1=w2 < w2’). 다만, 도 4에는 광신호 처리부(216)에 의하여 처리된 광신호에 의한 2차원 영상은, 중앙 부분에서 픽셀 크기가 가로 방향으로만 작아지도록 변형되는 것으로 표시되어 있으나, 세로 방향으로도 작아지도록 변형되어도 된다. 즉, 픽셀의 크기 변화는 가로 방향이나 세로 방향 중에서 어느 한쪽 방향에서만 있어도 되고, 또는 양쪽 방향 모두에서 픽셀의 크기 변화가 있어도 된다.Referring to FIG. 4, the pixel size of the 2D image processed by the optical signal processing unit 216 does not change at the edge (w1 = w1'), but the center portion is smaller by reflecting the curved shape of the lens. (w1=w2 < w2'). However, FIG. 4 shows that the 2D image by the optical signal processed by the optical signal processing unit 216 is deformed so that the pixel size becomes smaller only in the horizontal direction at the center, but is deformed so that it is reduced in the vertical direction as well. It can be. That is, the pixel size change may occur only in either one of the horizontal direction and the vertical direction, or the pixel size may change in both directions.

본 실시예에 의하면, 광신호 처리부(216)가 2차원 영상의 픽셀의 크기를 변화시키는 구체적인 방법에는 특별한 제한이 없다. 예를 들어, 광신호 처리부(216)는 광학적인 방법(각종 렌즈 및/또는 거울이나 이것들의 조합을 이용하는 방법)으로 광신호를 처리할 수 있다. 하지만, 본 실시예가 이에 한정되는 것은 아니며, 디지털 신호 처리 등과 같은 이미지 처리 기술을 활용하여 광신호에 의하여 표시되는 영상에 대한 처리를 해도 된다.According to this embodiment, there is no particular limitation on a specific method for the optical signal processing unit 216 to change the size of a pixel of a 2D image. For example, the optical signal processing unit 216 may process the optical signal by an optical method (a method using various lenses and/or mirrors or a combination thereof). However, the present embodiment is not limited thereto, and an image displayed by an optical signal may be processed using an image processing technology such as digital signal processing.

전술한 본 발명의 실시예의 일 측면에 의하면, 광신호 방출부(210)는 필요한 경우 확대 렌즈부(도시하지 않음)를 더 포함하여 구성되어도 된다. 확대 렌즈부는 광신호 처리부(216)에서 방출되는 2차원 영상이 영상 표시부(220)에 표시될 때 스페클을 제거하고 점영상 색조 혼합 광신호가 영상 표시부(220)에 입사되는 각도를 조절하기 위하여 적어도 1장 혹은 복수의 렌즈로 구성되는 것이 바람직하다.According to one aspect of the above-described embodiment of the present invention, the optical signal emitter 210 may further include a magnifying lens unit (not shown) if necessary. The magnifying lens unit removes speckle when the two-dimensional image emitted from the optical signal processing unit 216 is displayed on the image display unit 220 and adjusts the incident angle of the point image color mixing optical signal to the image display unit 220. It is preferable to be comprised of one sheet or a plurality of lenses.

영상 표시부(220)는 렌즈(24a, 24b)에 결합되어 있으며, 광신호 방출부(210)로부터 방출되는 광신호에 대해서, 스마트 글라스(20)의 착용자의 눈(E) 방향으로 미리 정의된 파장만을 선택적으로 반사한다. The image display unit 220 is coupled to the lenses 24a and 24b, and the optical signal emitted from the optical signal emitter 210 has a predefined wavelength in the direction of the wearer's eyes E of the smart glasses 20. selectively reflect only

이러한 영상 표시부(220)는 홀로그램 광학 소자(HOE)에 미리 정의된 파장만을 눈의 중심에 맞추는 비대칭 반사를 하도록 기록하여, 비구면 렌즈(24a, 24b)의 내면 상에 적층하거나 접착하는 필름형태로 제작한 파장 선택적 투명 반사체이며, 눈과 평행하게 배치된 상태에서 입사 광신호가 나타내는 영상을 정해진 반사각 만큼의 크기로 확대하여 눈(E)으로 시청할 수 있도록 수렴한 영상으로 표시한다. 이를 위하여, 영상 표시부(220)는 포토폴리머 재질의 얇은 필름 형태로 제작되며, 풀 칼라 영상을 표시할 수 있는 것이 바람직하다.This image display unit 220 is produced in the form of a film that is laminated or adhered on the inner surfaces of the aspheric lenses 24a and 24b by recording only the predefined wavelengths on the hologram optical element HOE to perform asymmetric reflection matching the center of the eye. It is a wavelength-selective transparent reflector, and in a state arranged parallel to the eye, the image represented by the incident light signal is enlarged to a size as much as the predetermined reflection angle and displayed as a converged image so that the eye (E) can view it. To this end, the image display unit 220 is preferably made in the form of a thin film made of a photopolymer material and capable of displaying a full color image.

필터부(230)는 렌즈(24a, 24b)에 일체로 설치되어 있다. 보다 정확하게는 필터부(230)는 영상 표시부(220)의 외측(즉, 외부 광이 입사되는 방향)에 해당하는 렌즈(24a, 24b)의 부분에 설치되어 있다. 이에 의하면, 필터부(230)가 온이 되더라도 영상 표시부(220)에 표시되는 영상이 착용자의 눈으로 향하는 것이 차단되지 않는다. The filter unit 230 is integrally installed on the lenses 24a and 24b. More precisely, the filter unit 230 is installed on portions of the lenses 24a and 24b corresponding to the outside of the image display unit 220 (ie, the direction in which external light is incident). According to this, even if the filter unit 230 is turned on, the image displayed on the image display unit 220 is not blocked from going to the wearer's eyes.

이러한 필터부(230)는 오프 상태에서는 투명하여 외부로부터의 광이 렌즈(24a, 24b)를 통과하는 것을 차단하지 않는다. 반면, 필터부(230)는 온 상태가 되면 외부로부터의 광이 렌즈(24a, 24b)를 통과하는 것을 차단한다. 필터부(230)는 외부 광을 100% 차단하거나 또는 일부만 차단해도 된다. 본 실시예에 의하면, 필터부(230)를 구현하는 구체적인 방법에는 특별한 제한이 없는데, 예컨대 소정의 전류를 인가하거나 또는 전위차를 인가하여, 투명한 상태에서 광의 통과를 차단하는 상태로 변하는 물질의 특성을 이용할 수 있다. 예컨대, 필터부(230)는 소정의 전기 신호가 가해지면 그 세기에 따라서 광 투과율이 조절되는 필름 형상으로서, 렌즈(24a, 24b)에 결합 또는 부착되어 있을 수 있다.The filter unit 230 is transparent in an off state and does not block external light from passing through the lenses 24a and 24b. On the other hand, when the filter unit 230 is turned on, light from the outside is blocked from passing through the lenses 24a and 24b. The filter unit 230 may block external light 100% or only partially. According to this embodiment, there is no particular limitation on the specific method of implementing the filter unit 230. For example, by applying a predetermined current or a potential difference, the characteristics of a material that changes from a transparent state to a state that blocks the passage of light can be changed. available. For example, the filter unit 230 has a film shape in which light transmittance is adjusted according to the intensity of a predetermined electric signal, and may be coupled or attached to the lenses 24a and 24b.

이러한 필터부(230)의 온/오프 제어는 미리 설정된 절차에 따라 자동적으로 이루어지거나 또는 인공지능 기술 등을 활용하여 주변 환경이나 영상 표시부(220)에 디스플레이되는 영상의 종류에 따라 능동적으로 제어가 이루어질 수도 있다. 또는, 실시 형태에 따라서는 착용자에 의하여 임의로 제어될 수도 있는데, 이 경우에는 필터부(230)의 온/오프 제어를 위하여 스마트 글래스(20)의 특정 부분, 예컨대 안경 프레임(22)의 다리(22a) 또는 프레임 본체(22b)에 필터 조작 스위치(232)가 구비되어 있을 수 있다.The on/off control of the filter unit 230 is automatically performed according to a preset procedure or actively controlled according to the surrounding environment or the type of image displayed on the image display unit 220 using artificial intelligence technology. may be Alternatively, depending on the embodiment, it may be arbitrarily controlled by the wearer. In this case, in order to control on/off of the filter unit 230, a specific part of the smart glasses 20, for example, the leg 22a of the glasses frame 22 ) or the filter operation switch 232 may be provided in the frame body 22b.

이러한 본 발명의 실시예에 따른 근안 디스플레이용 광학시스템은 다음과 같이 작동한다.The optical system for a near eye display according to an embodiment of the present invention operates as follows.

도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 근안디스플레이용 광학시스템은, 사용자가 눈(E)의 망막을 통해 외부 시야를 확보하면서도 영상을 획득할 수 있는 투과형이다. 영상표시부(220)에 영상을 표시하기 위하여, 광신호 방출부(210)와 전기적으로 연결된 단말기(예컨대, 모바일 컴퓨터, 스마트 폰, 테블릿 컴퓨터, 개인용 컴퓨터 등)로부터 점영상 신호가, 점영상 방출부(212)의 레이저 광원으로 인가되면, 점영상 방출부(223)는 레이저광원으로부터 방출되는 적색(R), 녹색(G), 청색(B) 각각의 점영상 색조 광신호를 혼합기로 혼합하여 만든 점영상 색조혼합 광신호를 방출한다. 이 경우에, 점영상 색조혼합 광신호는 지름 0.7mm 정도의 하나의 점 형태로 만들어져 방출된다.As shown in FIG. 3 , the optical system for a near-eye display according to an embodiment of the present invention is a transmissive type in which a user can acquire an image while securing an external view through the retina of the eye E. In order to display an image on the image display unit 220, a dot image signal is emitted from a terminal electrically connected to the optical signal emitter 210 (eg, mobile computer, smart phone, tablet computer, personal computer, etc.) When applied to the laser light source of the unit 212, the dot image emission unit 223 mixes each of the red (R), green (G), and blue (B) dot image color light signals emitted from the laser light source with a mixer. The created dot image color mixing light signal is emitted. In this case, the dot image color mixing optical signal is emitted in the form of a single dot having a diameter of about 0.7 mm.

계속해서, 점영상 색조혼합 광신호가 점영상 스캔부(214)의 2차원 멤스 스캐너 중심부에 위치하는 스캔 거울로 투사되면, 점영상 스캔부(214)는 점영상 색조혼합 광신호를 점영상 신호와 동기하는 수평동기신호 혹은 수직동기신호에 의하여 시간에 따라 스캔 거울로 단속하여 영상 표시부(220)로 방출되는 2차원 영상을 생성한다. 이 때, 2차원 스캐너의 중심부 스캔 거울은 지름 0.7mm 정도의 하나의 점으로 만들어져 방출되는 점영상 색조혼합 광신호를 스캔하기에 적합하도록 가로 0.7mm, 세로 1mm의 타원형인 것이 바람직하다. 또한, 점영상 스캔부(214)는 스캔 거울을 이용하여 수평방향으로는 공진에 의한 작동 방법에 따라 정해진 주파수, 예컨대 풀 에이치디급의 영상 표시를 위한 25kHz 이상의 주파수로 점영상 색조혼합신호를 스캔하고, 수직방향으로는 톱니파 또는 펄스폭 변조방식의 진폭변화를 주어 점영상 색조혼합신호를 스캔하는 것이 바람직하며, 이와 같은 방식으로 한 장의 영상에 대한 스캔을 1초에 30회 이상 반복하게 되면 일반적으로 텔레비전에서 시청하는 풀 에이치디급의 영상을 생성할 수 있다.Subsequently, when the dot image color mixing optical signal is projected to the scan mirror located at the center of the 2D MEMS scanner of the dot image scanning unit 214, the dot image scanning unit 214 converts the dot image color mixing optical signal into the dot image signal. A two-dimensional image emitted to the image display unit 220 is generated by intermittently using a scanning mirror according to time according to a horizontal synchronizing signal or a vertical synchronizing signal to be synchronized. At this time, the central scanning mirror of the 2D scanner is preferably made of a single dot with a diameter of about 0.7 mm and has an elliptical shape with a width of 0.7 mm and a length of 1 mm to be suitable for scanning the emitted point image tone-mixing optical signal. In addition, the dot image scanning unit 214 uses a scan mirror to scan the dot image color mixing signal in the horizontal direction at a frequency determined according to the resonance operation method, for example, at a frequency of 25 kHz or higher for displaying a full HD level image, , in the vertical direction, it is preferable to scan the dot image color mixing signal by giving the amplitude change of the sawtooth wave or pulse width modulation method. It is possible to create a full HD level video viewed on a TV.

그리고 광신호 처리부(216)는, 영상 표시부(220)가 결합되어 있는 렌즈(24a, 24b)의 내면 형상에 기초하여, 점영상 스캔부(214)에 의하여 생성되는 2차원 영상(광신호)에 대하여 소정의 처리를 수행한다. 예컨대, 영상 표시부(220)가 렌즈(24a, 24b)의 비구면 영역에 결합되어 있는 경우에, 광신호 처리부(216)는 2차원 영상의 픽셀 크기를 조정하는 처리를 수행함으로써, 곡면 형상을 갖는 영상 표시부(220)에 표시되는 영상의 화질이 저하되는 것을 방지할 수 있다. 또한, 점영상 스캔부(214)의 2차원 멤스 스캐너에 의해 스캔된 다음 광신호 처리부(216)에 의하여 처리되어 영상표시부(220)로 방출된 점영상 색조혼합 광신호는, 스캔 거울이 움직이는 각도에 따라 반사되어 정해진 각도를 유지하게 된다.Further, the optical signal processing unit 216 converts the two-dimensional image (optical signal) generated by the dot image scanning unit 214 based on the inner surface shapes of the lenses 24a and 24b to which the image display unit 220 is coupled. perform certain processing on it. For example, when the image display unit 220 is coupled to the aspherical areas of the lenses 24a and 24b, the optical signal processing unit 216 performs a process of adjusting the pixel size of the 2D image, so that the image having a curved shape is imaged. Deterioration of the image quality of the image displayed on the display unit 220 can be prevented. In addition, the dot image color mixing optical signal scanned by the 2D MEMS scanner of the dot image scanning unit 214 and then processed by the optical signal processing unit 216 and emitted to the image display unit 220 is based on the angle at which the scanning mirror moves. is reflected and maintains a fixed angle.

이와 같이, 정해진 각도를 유지하는 점영상 색조혼합 광신호가 영상 표시부(220)로 입사되면, 영상 표시부(220)에서는 입사 광신호가 나타내는 영상을 정해진 반사각 만큼의 크기로 확대하여 눈으로 시청할 수 있도록 수렴한 영상으로 표시한다. 영상 표시부(220)에 투사되는 점영상 색조혼합 광신호에 의해 표시되는 2차원 영상은 미리 정의된 파장만을 눈의 중심에 맞추는 비대칭 반사를 하여 형성하고 정해진 반사각 만큼의 크기로 확대하여 눈으로 시청할 수 있도록 수렴한 영상이다.In this way, when a dot image color mixing optical signal maintaining a predetermined angle is incident on the image display unit 220, the image display unit 220 enlarges the image represented by the incident optical signal to a size as much as the predetermined reflection angle and converges so that it can be viewed with the eyes. display in video The two-dimensional image displayed by the dot image color mixing optical signal projected on the image display unit 220 is formed by asymmetric reflection that matches only the predefined wavelength to the center of the eye, and can be viewed with the eyes by enlarging the size by the predetermined reflection angle. It is a converged video.

영상 표시부(220)에 소정의 영상이 표시되는 경우에, 필터부(230)는 오프 상태이거나 또는 온 상태일 수 있다. 전술한 바와 같이, 필터부(230)의 상태는 자동적으로 제어되거나 또는 착용자의 조작에 의하여 수동적으로 이루어질 수 있다. 만일, 필터부(230)가 오프 상태이면, 착용자는 영상 표시부(220)에 표시되는 영상은 물론 주변 환경 등을 동시에 눈으로 볼 수가 있다. 반면, 필터부(230)가 온 상태이면, 외부로부터의 광은 전부 또는 일부가 차단되며, 착용자는 영상 표시부(220)에 표시되는 영상에 초점을 맞추어서 집중적으로 눈으로 볼 수가 있다.When a predetermined image is displayed on the image display unit 220, the filter unit 230 may be in an off state or an on state. As described above, the state of the filter unit 230 may be controlled automatically or manually by a wearer's manipulation. If the filter unit 230 is in an off state, the wearer can see the image displayed on the image display unit 220 as well as the surrounding environment at the same time. On the other hand, when the filter unit 230 is in an on state, all or part of light from the outside is blocked, and the wearer can focus on the image displayed on the image display unit 220 and focus on it.

전술한 바와 같이, 이상의 설명은 실시예에 불과할 뿐이며 이에 의하여 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 후술하는 특허청구범위에 기재된 발명에 의해서만 특정되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. 따라서 전술한 실시예가 다양한 형태로 변형되어 구현될 수 있다는 것은 통상의 기술자에게 자명하다.As described above, the above description is only an example and should not be construed as being limited thereto. The technical idea of the present invention should be specified only by the invention described in the claims below, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present invention. Therefore, it is obvious to those skilled in the art that the above-described embodiment can be implemented in various forms.

Claims (4)

안경 프레임과 상기 안경 프레임에 결합되는 한 쌍의 렌즈를 갖는 투과형 스마트 글라스를 위한 근안 디스플레이용 광학 시스템의 제어 방법에 있어서,
상기 광학 시스템은, 광신호 방출부, 영상 표시부 및 필터부를 포함하되, 상기 광신호 방출부는 상기 안경 프레임의 다리에 결합되어 있고, 2차원 영상을 표시하기 위한 광신호를 상기 렌즈의 내면 방향으로 방출하고, 상기 영상 표시부는 상기 렌즈 각각에 결합되어 있으며, 상기 광신호 방출부로부터 방출되는 광신호에 대해서, 상기 스마트 글라스의 착용자의 눈 방향으로 미리 정의된 파장만을 선택적으로 반사하고 또한 상기 영상 표시부로 입사되는 상기 광신호를 처리하는 것으로, 상기 렌즈의 내면 형상에 기초하여, 상기 광신호를 처리하는 광신호 처리부를 포함하며, 상기 필터부는 상기 영상 표시부가 결합되어 있는 렌즈에 일체로 설치되어, 상기 렌즈를 통과하는 광을 차단하는 것으로,
상기 필터부를 온/오프하여 상기 렌즈를 통과하는 광이 그대로 통과 또는 차단되도록 제어하는 것을 특징으로 하는 제어 방법.
A method for controlling an optical system for a near-eye display for transmissive smart glasses having a spectacle frame and a pair of lenses coupled to the spectacle frame,
The optical system includes an optical signal emitting unit, an image display unit, and a filter unit, wherein the optical signal emitting unit is coupled to the leg of the spectacle frame and emits an optical signal for displaying a 2D image toward the inner surface of the lens. and the image display unit is coupled to each of the lenses, and selectively reflects only predefined wavelengths toward the eyes of the wearer of the smart glasses with respect to the optical signal emitted from the optical signal emitter, and to the image display unit. An optical signal processing unit for processing the incident optical signal based on an inner surface shape of the lens, wherein the filter unit is integrally installed in the lens to which the image display unit is coupled, By blocking the light passing through the lens,
The control method characterized in that for controlling to pass or block the light passing through the lens as it is by turning on/off the filter unit.
제1항에 있어서,
상기 스마트 글라스를 착용하는 착용자가 상기 필터부의 온/오프를 제어할 수 있는 것을 특징으로 하는 제어 방법.
According to claim 1,
A control method characterized in that a wearer wearing the smart glasses can control on/off of the filter unit.
제2항에 있어서,
상기 광신호 처리부는, 상기 광신호 방출부로부터 방출되는 광신호에 의하여 표시되는 2차원 영상이 상기 렌즈의 내면 형상에 대응하도록, 상기 광신호를 처리하고,
상기 렌즈는 비구면 곡면 형상을 가지며,
상기 영상 표시부는 상기 미리 정의된 파장만을 반사하도록 기록되어 있는 필름 형태의 홀로그램 광학 소자(Hologram Optical Element, HOE)로서, 상기 렌즈의 내면 상에 결합되어 있는 것을 특징으로 하는 제어 방법.
According to claim 2,
The optical signal processing unit processes the optical signal such that a two-dimensional image displayed by the optical signal emitted from the optical signal emitting unit corresponds to the shape of the inner surface of the lens;
The lens has an aspherical curved shape,
The image display unit is a film-type hologram optical element (HOE) recorded to reflect only the predefined wavelength, and is coupled to the inner surface of the lens.
제3항에 있어서,
상기 광신호 처리부는, 상기 홀로그램 광학 소자가 결합되는 부분의 상기 렌즈의 내면 형상에 대응하도록, 상기 광신호를 처리하는 것을 특징으로 하는 제어 방법.
According to claim 3,
The control method according to claim 1 , wherein the optical signal processing unit processes the optical signal to correspond to an inner surface shape of the lens at a portion to which the hologram optical element is coupled.
KR1020210106682A 2021-08-12 2021-08-12 Method for controlling near eye display optical system KR20230024658A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210106682A KR20230024658A (en) 2021-08-12 2021-08-12 Method for controlling near eye display optical system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210106682A KR20230024658A (en) 2021-08-12 2021-08-12 Method for controlling near eye display optical system

Publications (1)

Publication Number Publication Date
KR20230024658A true KR20230024658A (en) 2023-02-21

Family

ID=85328383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210106682A KR20230024658A (en) 2021-08-12 2021-08-12 Method for controlling near eye display optical system

Country Status (1)

Country Link
KR (1) KR20230024658A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039576A (en) 2015-08-12 2018-04-18 구글 엘엘씨 Eye-proximity display with stacked light guides
KR20200002616A (en) 2018-06-29 2020-01-08 주식회사 페네시아 Wearable smart optical system using hologram optical element
KR20200007965A (en) 2017-05-19 2020-01-22 시리얼 테크놀로지즈 에스.에이. Display device including light guide
US20200301149A1 (en) 2015-01-26 2020-09-24 Magic Leap, Inc. Virtual and augmented reality systems and methods having improved diffractive grating structures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200301149A1 (en) 2015-01-26 2020-09-24 Magic Leap, Inc. Virtual and augmented reality systems and methods having improved diffractive grating structures
KR20180039576A (en) 2015-08-12 2018-04-18 구글 엘엘씨 Eye-proximity display with stacked light guides
KR20200007965A (en) 2017-05-19 2020-01-22 시리얼 테크놀로지즈 에스.에이. Display device including light guide
KR20200002616A (en) 2018-06-29 2020-01-08 주식회사 페네시아 Wearable smart optical system using hologram optical element

Similar Documents

Publication Publication Date Title
JP7329310B2 (en) System, apparatus, and method for eyebox extension in wearable head-up display
CN105492957B (en) Using the image display of pairs of glasses form
CN107438796B (en) Head-mounted display device, near-to-eye display device and method
US8398242B2 (en) Display apparatus
JP2018520380A (en) Apparatus and method for near eye display
US20180284441A1 (en) Wide field head mounted display
CN115516366A (en) Image display system and method for expanding visual space
WO2016142707A1 (en) Holographically-projected virtual retinal display
US20210382307A1 (en) Light-field mixed reality system with correct monocular depth cues to a viewer
JP2006209144A (en) Image display device
US11287663B2 (en) Optical transmitting module and head mounted display device
Rolland et al. The past, present, and future of head-mounted display designs
US10539798B2 (en) Optics of wearable display devices
US20210263321A1 (en) Wearable smart optical system using hologram optical element
WO2018100242A1 (en) Display apparatus and method of displaying using optical combiners and context and focus image renderers
CN114365027A (en) System and method for displaying object with depth of field
US9519092B1 (en) Display method
WO2019235059A1 (en) Video projection system, video projection device, optical element for diffracting video display light, tool, and method for projecting video
CN209842242U (en) Near-to-eye imaging device
KR20230024658A (en) Method for controlling near eye display optical system
KR20230024643A (en) Optical system for near eye display
KR20220119580A (en) Optical system for near eye display
KR20220057100A (en) Display optical system for smart glasses
KR20210042746A (en) See-through type display device and glasses type augmented reality apparatus including the same
US20180017800A1 (en) Virtual image display apparatus