KR102055901B1 - Focus variable integral imaging augmented reality display and control method thereof - Google Patents
Focus variable integral imaging augmented reality display and control method thereof Download PDFInfo
- Publication number
- KR102055901B1 KR102055901B1 KR1020190032879A KR20190032879A KR102055901B1 KR 102055901 B1 KR102055901 B1 KR 102055901B1 KR 1020190032879 A KR1020190032879 A KR 1020190032879A KR 20190032879 A KR20190032879 A KR 20190032879A KR 102055901 B1 KR102055901 B1 KR 102055901B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- image
- pupil
- tracking
- information
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 title 1
- 210000001747 pupil Anatomy 0.000 claims abstract description 88
- 239000007788 liquid Substances 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 6
- 239000000758 substrate Substances 0.000 claims description 24
- 230000002209 hydrophobic effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000006089 photosensitive glass Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
- G02B26/005—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G02B27/225—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
Abstract
초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법이 개시된다.
이 디스플레이의 전기습윤 렌즈 어레이는 극성 및 무극성 액체의 표면장력 조절을 통해, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대한 화소별 초점 조절이 가능하다. 동공 추적부는 상기 전기습윤 렌즈 어레이를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되도록 하는 광 도파로; 상기 사용자의 동공의 위치를 추적하여 상기 사용자가 바라보고 있는 방향을 추정한다. 제어부는 상기 동공 추적부에 의해 추정된 방향 정보와 상기 디스플레이 패널로부터 제공되는 영상 정보를 통해 상기 사용자가 바라보고 있는 영상 내 물체의 깊이 정보를 추정하고, 추정된 깊이 정보에 따라 상기 전기습윤 렌즈 어레이의 화소별 초점 조절을 수행한다.Disclosed are a focusing integrated image augmented reality display and a control method thereof.
The display's electrowetting lens array allows for pixel-by-pixel focusing of an image output from a display panel configured to display an integrated image composed of a matrix of small images, by adjusting the surface tension of polar and nonpolar liquids. The pupil tracking unit includes an optical waveguide for transmitting the image passing through the electrowetting lens array to the user's eyes so that the image is disposed in the space; The direction of the user's eye is estimated by tracking the position of the user's pupil. The controller estimates depth information of an object in the image that the user is looking at based on the direction information estimated by the pupil tracking unit and the image information provided from the display panel, and the electrowetting lens array according to the estimated depth information. Perform pixel-by-pixel focusing.
Description
본 발명은 초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법에 관한 것이다.The present invention relates to a focus control integrated image augmented reality display and its control method.
집적영상 디스플레이는 렌즈 어레이를 이용하여 3차원 영상을 표현하는 방식으로 여러 방향의 연속적인 시차를 제공하고 수렴-조절 불일치가 발생하지 않는 자연스러운 이미지를 제공한다는 장점이 있다. 그러나, 이러한 집적영상 디스플레이는 형성되는 영상의 깊이감이 제한되고 해상도가 낮아지는 단점을 가지고 있다. Integrated image display has the advantage of providing a natural image that provides a continuous parallax in multiple directions and a convergence-adjustment mismatch does not occur by representing a three-dimensional image using a lens array. However, the integrated image display has a disadvantage in that the depth of the formed image is limited and the resolution is lowered.
한편, 집적영상 증강 현실 디스플레이는 이러한 집적영상 기술을 증강현실 장치에 접목한 것으로 각 눈에 렌즈 어레이를 통과한 집적영상 이미지를 제공하여 기존 증강현실 기기가 가지는 수렴-조절 불일치로 인한 어지러움을 해결하고 보다 자연스러운 입체 영상의 제공을 가능하게 한다. 그런데, 고정 광학계를 이용한 집적영상 증강현실 디스플레이는 기존 집적영상이 갖는 단점인 깊이 표현 범위 제한을 가지기 때문에 특정 깊이 범위의 물체만 뚜렷하게 식별 가능하다는 문제를 지닌다. On the other hand, the integrated image augmented reality display is a combination of the integrated image technology to the augmented reality device to provide an integrated image image passing through the lens array to each eye to solve the dizziness caused by the convergence-adjustment mismatch of the existing augmented reality device It is possible to provide a more natural three-dimensional image. However, an integrated image augmented reality display using a fixed optical system has a problem in that only an object having a specific depth range can be clearly identified because it has a limited range of depth expression, which is a disadvantage of existing integrated images.
따라서, 깊이 표현 범위에 제한이 없는 새로운 형태의 집적영상 증강현실 디스플레이 기술이 요구되고 있다.Therefore, there is a need for a new type of integrated image augmented reality display technology that does not limit the depth representation range.
본 발명이 이루고자 하는 기술적 과제는 깊이 표현 범위의 한계를 극복하고 보다 넓은 범위에 자연스러운 증강현실 영상을 제공할 수 있는 초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법을 제공한다.The present invention provides a focus control integrated image augmented reality display and its control method capable of overcoming the limitation of the depth representation range and providing a natural augmented reality image in a wider range.
본 발명의 하나의 특징에 따른 초점조절 집적영상 증강현실 디스플레이는,Focused integrated image augmented reality display according to one feature of the present invention,
극성 및 무극성 액체의 표면장력 조절을 통해, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대한 화소별 초점 조절이 가능한 전기습윤 렌즈 어레이; 상기 전기습윤 렌즈 어레이를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되도록 하는 광 도파로;An electrowetting lens array capable of adjusting pixel-by-pixel focus on an image output from a display panel configured to display an integrated image composed of a matrix of small images by adjusting surface tensions of polar and nonpolar liquids; An optical waveguide for transmitting the image passing through the electrowetting lens array to an eye of a user so that the image is disposed in a space;
상기 사용자의 동공의 위치를 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 동공 추적부; 및 상기 동공 추적부에 의해 추정된 방향 정보와 상기 디스플레이 패널로부터 제공되는 영상 정보를 통해 상기 사용자가 바라보고 있는 영상 내 물체의 깊이 정보를 추정하고, 추정된 깊이 정보에 따라 상기 전기습윤 렌즈 어레이의 화소별 초점 조절을 수행하는 제어부를 포함한다.A pupil tracking unit for tracking a position of the pupil of the user and estimating a direction that the user is looking at; And estimating depth information of an object in an image viewed by the user through direction information estimated by the pupil tracking unit and image information provided from the display panel, and estimates depth information of the electrowetting lens array according to the estimated depth information. And a controller that performs focus adjustment for each pixel.
여기서, 상기 영상 정보는 화소별 좌표 정보 및 깊이 정보를 포함하고, 상기 제어부는, 상기 방향 정보와 상기 영상 정보를 사용하여 상기 사용자가 바라보고 있는 영상 내 물체의 좌표를 추정하는 좌표 추정부; 상기 영상 정보를 사용하여 상기 좌표 추정부에 의해 추정된 좌표에 대응하는 깊이 정보를 획득하는 깊이 정보 획득부; 상기 깊이 정보 획득부에 의해 획득되는 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 초점 거리 계산부; 및 상기 초점 거리 계산부에 의해 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 초점 조절부를 포함한다.The image information may include coordinate information and depth information for each pixel, and the controller may include: a coordinate estimator configured to estimate coordinates of an object in an image viewed by the user using the direction information and the image information; A depth information obtaining unit obtaining depth information corresponding to the coordinates estimated by the coordinate estimating unit using the image information; A focal length calculator for calculating a focal length for locating a focal plane at a depth corresponding to depth information obtained by the depth information acquirer; And a focus controller configured to perform pixel-by-pixel focus control on the electrowetting lens array according to the focal length calculated by the focal length calculator.
또한, 상기 동공 추적부는, 두 개의 동공 추적 장치를 사용하여 상기 사용자의 양안의 동공을 각각 추적하고, 추적 결과로서 상기 두 개의 동공 추적 장치에서 출력되는 결과 값을 사용하여 상기 사용자가 바라보는 방향에 해당되는 수렴점의 위치를 상기 방향 정보로서 상기 제어부로 제공하거나, 또는 한 개의 동공 추적 장치를 사용하여 상기 사용자의 양안 중 하나의 동공을 추적하고, 추적 결과로서 상기 한 개의 동공 추적 장치에서 출력되는 결과 값을 상기 방향 정보로서 상기 제어부로 제공한다.The pupil tracking unit tracks pupils of both eyes of the user by using two pupil tracking devices, and uses the result values output from the two pupil tracking devices as a tracking result in a direction that the user views. The position of a corresponding convergence point is provided to the controller as the direction information, or a pupil of both eyes of the user is tracked using one pupil tracking device, and output from the pupil tracking apparatus as a tracking result. The resultant value is provided to the controller as the direction information.
또한, 상기 광 도파로는 상기 전기습윤 렌즈 어레이를 통과한 빛을 상기 사용자에게 반사시키고, 상기 사용자 전방의 빛은 투과시켜서 상기 사용자에게 향하도록 하는 빔 스플리터 방식으로 구현된다.In addition, the optical waveguide is implemented in a beam splitter method that reflects the light passing through the electrowetting lens array to the user, and the light in front of the user is transmitted to direct to the user.
또한, 상기 전기습윤 렌즈 어레이는 전기적으로 초점 조절이 가능한 복수의 전기습윤 렌즈가 2차원 형태로 배열되어 구성되고, 상기 전기습윤 렌즈 어레이는 규칙적으로 배열된 원형 홀을 갖는 챔버 기판; 상기 챔버 기판 내의 홀의 측벽에 배치된 제1 전극; 상기 챔버 기판 상부와 하부에 공간을 형성하도록 하는 수직 격벽; 상기 수직 격벽의 상부 및 하부를 덮도록 구성된 상부 투명 기판 및 하부 투명 기판; 및 상기 상부 투명 기판에 배치된 제2 전극을 포함하며, 상기 챔버 기판의 하부와 상기 원형 홀 내부의 하부에 무극성 액체가 배치되고, 상기 챔버 기판의 상부와 상기 원영 홀 내부의 상부에 극성 액체가 배치된다.The electrowetting lens array may include a plurality of electrowetting lenses that are electrically focusable, arranged in a two-dimensional form, and the electrowetting lens array may include a chamber substrate having regularly arranged circular holes; A first electrode disposed on a side wall of the hole in the chamber substrate; Vertical barrier ribs forming a space in an upper portion and a lower portion of the chamber substrate; An upper transparent substrate and a lower transparent substrate configured to cover upper and lower portions of the vertical partition wall; And a second electrode disposed on the upper transparent substrate, wherein a nonpolar liquid is disposed under the chamber substrate and under the circular hole, and a polar liquid is disposed on the upper portion of the chamber substrate and the upper portion of the circumferential hole. Is placed.
또한, 상기 전기습윤 렌즈 어레이는, 상기 제1 전극을 덮도록 형성된 절연층; 및 상기 절연층의 표면을 덮는 소수성 막을 더 포함한다.The electrowetting lens array may further include an insulating layer formed to cover the first electrode; And a hydrophobic film covering the surface of the insulating layer.
또한, 상기 절연층은 서로 다른 물질들로 구성된 다층 구조를 갖는다.In addition, the insulating layer has a multilayer structure composed of different materials.
또한, 상기 무극성 액체와 상기 극성 액체의 경계면은 상기 챔버 기판의 원형 홀 내부에 형성된다.In addition, an interface between the nonpolar liquid and the polar liquid is formed in a circular hole of the chamber substrate.
본 발명의 다른 특징에 따른 디스플레이 제어 방법은,Display control method according to another aspect of the present invention,
초점조절 집적영상 증강현실 디스플레이가 집적영상 증강현실 영상을 사용자에게 제공하기 위해 제어 방법으로서, 상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계; 상기 사용자가 바라보고 있는 방향이 변경된 경우, 변경된 방향의 영상 내 좌표를 추정하는 단계; 추정된 좌표의 깊이 정보를 획득하는 단계; 획득되는 깊이 정보에 따라, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대해 전기습윤 렌즈 어레이를 사용하여 화소별 초점 조절을 수행하는 단계를 포함한다.A control method for providing an integrated augmented reality image display to a user by a focus control integrated image augmented reality display, comprising: estimating a direction that the user is looking by tracking a pupil of the user; Estimating coordinates in the image of the changed direction when the direction that the user is looking at is changed; Obtaining depth information of the estimated coordinates; And performing pixel-by-pixel focus adjustment on the image output from the display panel configured to display the integrated image composed of the matrix of small images according to the obtained depth information.
여기서, 상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는, 상기 사용자의 양안의 동공을 각각 추적하고, 상기 양안의 동공의 추적 결과를 출력하는 단계; 및 상기 양안의 동공의 추적 결과를 사용하여 상기 양안이 바라보는 방향에 해당되는 수렴점의 위치를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계를 포함한다.Here, the tracking of the pupil of the user and estimating the direction that the user is looking may include: tracking each pupil of the user and outputting a tracking result of the pupil of both eyes; And estimating the location of the convergence point corresponding to the direction of the both eyes using the tracking result of the pupils of both eyes in the direction of the user's viewing.
또한, 상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는, 상기 사용자의 양안 중 하나의 동공을 추적하고, 상기 하나의 동공의 추적 결과를 출력하는 단계; 및 상기 하나의 동공의 추적 결과를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계를 포함한다.The tracking of the pupil of the user and estimating the direction that the user is looking may include: tracking one pupil of both eyes of the user and outputting a tracking result of the pupil; And estimating a tracking result of the one pupil in a direction in which the user is looking.
또한, 상기 화소별 초점 조절을 수행하는 단계는, 상기 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 단계; 및 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 단계를 포함한다.The performing of the focus adjustment for each pixel may include calculating a focal length for positioning a focal plane at a depth corresponding to the depth information; And performing a pixel-by-pixel focus adjustment on the electrowetting lens array according to the calculated focal length.
본 발명에 따르면, 집적영상 디스플레이가 갖는 수렴 조절 불일치 해결을 통한 자연스러운 입체시 제공 기능에 초점조절 기능을 접목하여 깊이 표현 범위의 한계를 극복하고 보다 넓은 범위에 자연스러운 증강현실 영상을 제공할 수 있다.According to the present invention, by combining the focus control function with the natural stereoscopic vision providing function through the convergence control mismatch resolution of the integrated image display, it is possible to overcome the limitation of the depth expression range and to provide a natural augmented reality image in a wider range.
도 1은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이의 개략적인 구성도이다.
도 2는 도 1에 도시된 동공 추적부가 양안의 동공을 추적하는 방식의 개략도이다.
도 3은 도 1에 도시된 동공 추적부가 단안의 동공을 추적하는 방식의 개략도이다.
도 4는 도 1에 도시된 전기습윤 렌즈 어레이(120)의 모식도이다.
도 5는 도 4에 도시된 전기습윤 렌즈 어레이의 초점 변화에 따라 통과하는 상의 변화를 도시한 도면으로, (a)는 초점 거리가 긴 경우이고, (b)는 초점 거리가 짧은 경우를 나타낸다.
도 6은 도 4에 도시된 전기습윤 렌즈 어레이(120)의 C-C' 방향 단면도이다.
도 7은 도 1에 도시된 제어부(150)의 구체적인 구성 블록도이다.
도 8은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이 제어 방법의 개략적인 흐름도이다.
도 9는 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이가 사용자가 바라보는 방향의 물체의 깊이에 따라 초점 조절을 수행한 영상을 표시하는 개념을 도시한 도면이다.1 is a schematic configuration diagram of a focus control integrated image augmented reality display according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of a manner in which the pupil tracking unit shown in FIG. 1 tracks pupils of both eyes.
3 is a schematic diagram of a manner in which the pupil tracking unit shown in FIG. 1 tracks a pupil of a monocular.
FIG. 4 is a schematic diagram of the
FIG. 5 is a diagram illustrating a change in a passing image according to a change in focus of the electrowetting lens array shown in FIG. 4, where (a) shows a long focal length and (b) shows a short focal length.
FIG. 6 is a cross-sectional view taken along the CC ′ direction of the
FIG. 7 is a detailed block diagram of the
8 is a schematic flowchart of a focus control integrated image augmented reality display control method according to an embodiment of the present invention.
FIG. 9 is a diagram illustrating a concept of displaying, by a focus control integrated image augmented reality display according to an embodiment of the present invention, an image in which focus is adjusted according to a depth of an object viewed by a user.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise. In addition, the terms “… unit”, “… unit”, “module”, etc. described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.
이하, 도면을 참조하여 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이에 대해 설명한다.Hereinafter, a focus control integrated image augmented reality display according to an exemplary embodiment of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이의 개략적인 구성도이다.1 is a schematic configuration diagram of a focus control integrated image augmented reality display according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이(100)는 디스플레이 패널(110), 전기습윤 렌즈 어레이(120), 광 도파로(130), 동공 추적부(140) 및 제어부(150)를 포함한다.As shown in FIG. 1, the focus control integrated image augmented reality display 100 according to an exemplary embodiment of the present invention includes a
디스플레이 패널(110)은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이(100)의 영상을 표시하기 위한 광을 전기습윤 렌즈 어레이(120)로 출력한다. 즉, 디스플레이 패널(110)은 작은 이미지의 행렬로 구성된 집적영상을 디스플레이하도록 구성된다. 이러한 디스플레이 패널(100)로는 LCD(Liquid Crystal Display), LED(light emitting diode) 디스플레이, OLED(Organic Light Emitting Diodes) 디스플레이 등일 수 있으나, 이것으로만 한정되는 것은 아니다.The
또한, 디스플레이 패널(110)은 전기습윤 렌즈 어레이(120)로 출력하는 영상과 관련된 정보를 제어부(150)로 전달한다. 예를 들어, 영상과 관련된 정보에는 영상을 구성하는 화소의 좌표 정보, 또는 화소의 좌표 정보 및 깊이 정보가 포함될 수 있다.In addition, the
전기습윤 렌즈 어레이(120)는 극성 및 무극성 액체의 표면장력 조절을 통해 전기적으로 초점거리 조절이 가능한 다수의 전기습윤 렌즈가 2차원 형태로 배열되어 있는 렌즈 어레이이다.The
전기습윤 렌즈 어레이(120)는 제어부(150)의 제어에 따라 디스플레이 패널(110)로부터 출력되어 전기습윤 렌즈 어레이(120)를 통과하는 영상의 초점 거리를 조절할 수 있다. 구체적으로, 전기습윤 렌즈 어레이(120)는 전기습윤 렌즈 어레이(120)를 통과하는 영상을 구성하는 화소별로 초점 거리를 조절할 수 있다. 이를 위해, 전기습윤 렌즈 어레이(120)를 구성하는 각 전기습윤 렌즈는 영상의 화소별로 대응되도록 배치될 수 있다. 전기습윤 렌즈 어레이(120)에 대해서는 추후 구체적으로 설명한다.The
광 도파로(130)는 디스플레이 패널(110) 및 전기습윤 렌즈 어레이(120)를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되어 있도록 한다. 이러한 광 도파로(130)는 다양한 방식으로 구현될 수 있으며, 본 실시예에서는 입사되는 빛의 일부는 반사하고 다른 부분은 투과하는 빔 스플리터(beam splitter)를 사용하여 구현되는 것으로 설명된다. 즉, 빔 스플리터 방식으로 구현된 광 도파로(130)는 디스플레이 패널(110)로부터 전기습윤 렌즈 어레이(120)를 통과하여 입사되는 빛은 사용자, 구체적으로는 사용자의 동공으로 반사시키고, 사용자 전방의 빛 역시 사용자의 동공으로 투과시킴으로써 사용자의 전방 공간 상에 디스플레이 패널(110)로부터 출력되는 영상이 배치될 수 있도록 한다.The
동공 추적부(140)는 영상을 시청하는 사용자의 동공의 위치를 추적하여 현재 사용자의 눈이 바라보고 있는 방향을 특정한 후, 특정된 방향 정보를 제어부(150)로 전달한다. 여기서, 방향 정보는 사용자의 좌안과 우안 양쪽의 동공을 추적하는 경우에는 양안의 시선 방향이지만, 사용자의 한 쪽 동공만을 추적하는 경우에는 추적하는 동공만의 시선 방향이다.The
이하, 동공 추적부(140)가 사용자의 동공의 위치를 추적하는 방식에 대해 구체적으로 설명한다.Hereinafter, the method of tracking the location of the pupil of the
먼저, 도 2를 참조하여, 두 개의 동공 추적 장치(141, 142)를 사용하여 사용자의 좌안(11)과 우안(12) 양쪽의 동공을 추적하는 경우에 대해 설명한다.First, a case in which the pupils of both the
동공 추적 장치(141)는 사용자의 좌안(11)의 동공의 위치를 추적하도록 위치되고, 동공 추적 장치(142)는 사용자의 우안(12)의 동공의 위치를 추적하도록 위치된다.The
사용자의 양안(11, 12)의 동공의 위치를 추적하는 동공 추적 장치(141, 142)에 의해 추적된 결과 값은 제어부(150)로 전달된다.The result values tracked by the
도 2를 참조하면, 사용자가 어느 한 방향의 물체, 즉 "A"를 바라보는 경우, 동공 추적 장치(141, 142)는 사용자의 양안(11, 12)이 "A"를 바라보는 방향을 나타내는 결과 값을 획득하여 제어부(150)로 전달할 수 있다. 따라서, 제어부(150)는 동공 추적 장치(141, 142)로부터 전달되는 결과 값을 사용하여 사용자가 바라보는 방향에 해당되는 수렴점의 위치(I1)를 계산하여 대응되는 깊이 정보를 추정할 수 있다.Referring to FIG. 2, when the user looks at an object in one direction, that is, “A”, the
선택적으로, 제어부(150)는 동공 추적 장치(141, 142)로부터 전달되는 각 값들을 사용하여 수렴점의 위치(I1)에 해당되는 영상의 좌표를 확인하여 이에 대응되는 깊이 정보를 확인할 수 있다.Optionally, the
다음, 도 3을 참조하여, 한 개의 동공 추적 장치(143)를 사용하여 사용자의 한 쪽 눈, 예를 들어, 좌안(11)의 동공을 추적하는 경우에 대해 설명한다.Next, a case in which the pupil of one user's eye, for example, the pupil of the
하나의 동공 추적 장치(143)는 사용자의 좌안(11)의 동공의 위치를 추적하도록 위치된다.One
사용자의 좌안(11)의 동공의 위치를 추적하는 동공 추적 장치(143)에 의해 추적된 결과 값은 제어부(150)로 전달된다.The result value tracked by the
도 3을 참조하면, 사용자가 영상 내의 한 물체, 즉 "A"를 바라보는 경우, 동공 추적 장치(143)는 사용자의 좌안(11)이 "A"를 바라보는 방향을 나타내는 결과 값을 획득하여 제어부(150)로 전달할 수 있다. 따라서, 제어부(150)는 동공 추적 장치(143)로부터 전달되는 결과 값과 디스플레이 패널(110)로부터 전달되는 영상과 관련된 정보 중 영상을 구성하는 화소의 좌표 정보 및 깊이 정보를 사용하여 사용자가 바라보는 방향에 해당되는 물체의 깊이 정보를 확인할 수 있다.Referring to FIG. 3, when the user looks at an object in the image, that is, "A", the
즉, 제어부(150)는 디스플레이 패널(110)로부터 전달되는 영상과 관련된 정보와 동공 추적부(140)로부터 전달되는 방향 정보를 사용하여 영상 내에서 사용자가 바라보고 있는 물체, 구체적으로는 좌표의 깊이 정보를 추정하고, 추정된 깊이 정보에 따라 전기습윤 렌즈 어레이(120)의 초점 거리를 조절한다. 여기서, 제어부(150)가 화소별 깊이 정보별로 전기습윤 렌즈 어레이(120)의 각 화소별 초점 거리를 조절하기 위한 제어 정보는 미리 설정되어 있으며, 이것은 전기습윤 렌즈 어레이(120)의 특성에 따라 적합하게 변경될 수 있다.That is, the
다음, 전기습윤 렌즈 어레이(120)에 대해 구체적으로 설명한다.Next, the
도 4는 도 1에 도시된 전기습윤 렌즈 어레이(120)의 모식도이다.FIG. 4 is a schematic diagram of the
도 4를 참조하면, 전기습윤 렌즈 어레이(120)는 2차원으로 정렬된 복수의 렌즈(121)를 포함하며, 여기서 정렬 형태는 임의적일 수 있다.Referring to FIG. 4, the
전기습윤 기술을 통해 전기습윤 렌즈 어레이(120)에 인가된 전압에 따라 초점 거리가 변화하며 이에 따라 렌즈를 통과한 상의 크기가 변화하게 된다. 예를 들어, 도 5를 참조하면, 도 5(a)의 경우 렌즈(121)를 통과하는 상의 크기가 작으므로 초점 거리가 긴 경우, 즉 배율이 낮은 경우이고, 도 5(b)의 경우에는 렌즈(121)를 통과하는 상의 크기가 상대적으로 크므로 초점 거리가 짧은 경우, 즉 배율이 높은 경우임을 알 수 있다.The focal length changes according to the voltage applied to the
즉, 제어부(150)에 의해 사용자가 바라보는 방향에 위치한 물체, 즉 좌표에 해당하는 깊이 정보에 따라 전기습윤 렌즈 어레이(120)의 초점이 조절되어 디스플레이 패널(110)로부터 출력되어 전기습윤 렌즈 어레이(120)를 통과한 후 광 도파로(130)를 통해 사용자에게 표시되는 영상이 사용자가 바라보는 방향의 깊이에 해당하도록 배치될 수 있다.That is, the focus of the
도 6은 도 4에 도시된 전기습윤 렌즈 어레이(120)의 C-C' 방향 단면도이다.6 is a cross-sectional view taken along the line C-C 'of the
도 6을 참조하면, 렌즈 홀이 포함된 챔버 기판(601)은 감광성 유리 또는 실리콘 재질이며, 에칭 기법을 통해 주기적인 렌즈 홀이 형성된다.Referring to FIG. 6, the
챔버 기판(601)의 상하로는 유체가 담길 공간을 형성하기 위해 개스킷(602)이 부착되며, 그 하부는 일반 유리(603)를 통해, 그리고 상부는 전극이 증착된 유리(604)를 통해 밀봉된다.
챔버 기판(601)의 표면에는 전극(605)이 증착되며, 이는 전도성이 있는 어떤 종류의 물질도 사용이 가능하다.An
챔버 기판의 전극(605)과 상부의 전극 증착 유리(604)가 각각 제1, 제2 전극 역할을 하게 되며, 렌즈(121)의 초점 거리 조절을 위한 구동 시 전압이 인가된다.The
챔버 기판의 전극(605) 표면에는 절연층 및 소수성 막(608)이 증착되고, 챔버 내부에는 분극성 액체(606)와 무극성 액체(607)가 주입되며, 챔버를 기준으로 분극성 액체(606)는 상부의 절반에 위치하고, 무극성 액체(607)는 하부의 절반에 위치한다. 여기서, 소수성 막(608)은 분극성 액체(606)와 무극성 액체(607) 사이의 표면 장력을 조절하여 접촉각 제어를 용이하게 한다. 또한, 절연층은 서로 다른 물질들로 구성된 다층 구조를 갖는다.An insulating layer and a hydrophobic film 608 are deposited on the surface of the
한편, 제1, 제2 전극(605, 604)에 적절한 전압을 인가함으로써 표면 장력이 변화하고 렌즈 초점 거리가 변화한다.On the other hand, by applying an appropriate voltage to the first and
상기한 바와 같은 전기습윤 렌즈 어레이(120)의 구성과 기능에 대해서는 이미 잘 알려져 있으므로 구체적인 설명은 생략한다.Since the configuration and function of the
도 7은 도 1에 도시된 제어부(150)의 구체적인 구성 블록도이다.FIG. 7 is a detailed block diagram of the
도 7에 도시된 바와 같이, 제어부(150)는 영상 정보 획득부(151), 방향 정보 획득부(152), 좌표 추정부(153), 깊이 정보 획득부(154), 초점 거리 계산부(155) 및 초점 조절부(156)를 포함한다.As illustrated in FIG. 7, the
영상 정보 획득부(151)는 디스플레이 패널(110)로부터 전달되는 영상 정보, 즉 화소의 좌표 정보 및 깊이 정보를 획득한다.The image
방향 정보 획득부(152)는 동공 추적부(140)에 의한 동공 추적 결과인 방향 정보를 동공 추적부(140)로부터 획득한다.The direction
좌표 추정부(153)는 방향 정보 획득부(152)에 의해 획득되는 방향 정보와 영상 정보 획득부(151)에 의해 획득된 영상 정보를 사용하여 사용자가 바라보는 방향에 위치하는 영상 내 물체의 좌표 정보를 추정한다. 이 때, 방향 정보 획득부(152)에 의해 획득되는 방향 정보는 사용자의 양안 또는 단안의 동공 추적에 의해 획득된 정보이며, 동공 추적 방법에 대응하여 물체의 좌표 정보를 추정할 수 있다.The coordinate
깊이 정보 획득부(154)는 영상 정보 획득부(151)에 의해 획득되는 영상 정보 중에서 좌표 추정부(153)에 의해 획득된 좌표 정보에 대응하는 깊이 정보를 획득한다.The depth
초점 거리 계산부(155)는 깊이 정보 획득부(154)에 의해 획득되는 깊이 정보에 영상을 표시하기 위한 초점 거리로 계산한다. 이러한 초점 거리는 전기습윤 렌즈 어레이(120)의 특성에 따라 달라질 수 있으며, 이러한 특성에 따라 깊이 정보 별 초점 거리를 미리 설정되어 있을 수 있다.The
초점 조절부(156)는 초점 거리 계산부(155)에 의해 계산된 초점 거리에 따라 전기습윤 렌즈 어레이(120)의 각 렌즈(120)별 초점을 조절한다. 구체적으로, 초점 조절부(156)는 전기습윤 렌즈 어레이(120)의 각 렌즈(120)별 초점을 조절하기 위해 렌즈(120)의 각 전극, 즉 제1 및 제2 전극에 해당되는 전압을 인가한다.The
이하, 도면을 참조하여 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이 제어 방법에 대해 설명한다.Hereinafter, a focus control integrated image augmented reality display control method according to an embodiment of the present invention will be described with reference to the accompanying drawings.
도 8은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이 제어 방법의 개략적인 흐름도이다. 도 8에 도시된 방법은 도 1 내지 도 7을 참조하여 설명한 초점조절 집적영상 증강현실 디스플레이(100)에 의해 수행될 수 있다.8 is a schematic flowchart of a focus control integrated image augmented reality display control method according to an embodiment of the present invention. The method illustrated in FIG. 8 may be performed by the focus control integrated image augmented reality display 100 described with reference to FIGS. 1 to 7.
도 8을 참조하면, 동공 추적부(140)가 양안 추적 방식 또는 단안 추적 방식을 통해서 사용자의 동공을 추적하고(S110), 동공 추적 결과 사용자의 시선의 방향 정보와 디스플레이 패널(110)에서의 영상 정보, 즉 영상 내 좌표 정보를 사용하여 사용자가 바라보는 영상 내 좌표를 획득한다(S120).Referring to FIG. 8, the
그 후, 이전의 사용자가 바라보는 영상 내 좌표와 상기 단계(S120)에서 획득된 좌표가 달라서 사용자가 바라보는 방향이 변경되었는지를 판단한다(S130).Thereafter, it is determined whether the direction of the user is changed because the coordinates in the image viewed by the user and the coordinates acquired in the step S120 are different (S130).
사용자가 바라보는 방향이 변경되지 않았으면 상기 단계(S110, S120)를 계속 반복 수행하지만, 만약 사용자가 바라보는 방향이 변경되었으면, 상기 단계(S120)에서 획득된 좌표에 대응된 깊이 정보를 획득한다(S140). 여기서, 깊이 정보는 디스플레이 패널(110)에서 제공되는 영상 정보 내에 미리 포함되어 있다.If the user's viewing direction has not been changed, steps S110 and S120 are repeatedly performed, but if the user's viewing direction is changed, depth information corresponding to the coordinates obtained at step S120 is obtained. (S140). Here, the depth information is previously included in the image information provided by the
그 후, 획득되는 깊이 정보에 따른 위치에 영상을 표시하기 위한 초점 거리를 계산하고(S150), 계산된 초점 거리에 따라 전기습윤 렌즈 어레이(120)의 각 렌즈(120)별 초점을 조절한다(S160). Thereafter, a focal length for displaying an image at a position according to the acquired depth information is calculated (S150), and the focal point of each
이와 같이, 본 발명의 실시예에 따르면, 집적영상 디스플레이가 갖는 수렴 조절 불일치 해결을 통한 자연스러운 입체시 제공 기능에 초점조절 기능을 접목하여 깊이 표현 범위의 한계를 극복하고 보다 넓은 범위에 자연스러운 증강현실 영상을 제공할 수 있다.As described above, according to an exemplary embodiment of the present invention, the focus control function is combined with the natural stereoscopic vision providing function by solving the convergence control mismatch of the integrated image display to overcome the limitation of the depth expression range and to enhance the natural augmented reality image in a wider range. Can be provided.
도 9에 도시된 예를 참조하면, 도 9의 (a)에서와 같이 사용자(사용자의 동공(143))가 A의 물체가 위치하는 방향을 바라보고 있는 경우, 제어부(150)가 동공 추적부(140)의 동공 추적 결과와 디스플레이 패널(110)의 영상 정보를 사용하여 전기습윤 렌즈 어레이(120)에 대한 초점 조절을 수행함으로써 사용자가 바라보는 물체, 즉 A의 위치에 집적 영상의 초점 평면(P1)이 위치하게 되어 뚜렷한 영상을 사용자에게 제공할 수 있다.Referring to the example illustrated in FIG. 9, when the user (the user's pupil 143) is looking in the direction in which the object of A is located, as shown in FIG. 9A, the
마찬가지로, 도 9의 (b)에서는 도 9의 (a)에서의 A 물체의 위치보다 사용자에게 가까이 있는 B 물체를 사용자(사용자의 동공(143))가 바라보고 있는 경우에는 B의 위치에 집적 영상의 초점 평면(P2)이 위치하도록 제어부(150)에 의해 제어되어, 결과적으로 영상 내 물체의 깊이 정보가 변경되더라도 그에 따른 초점 평면(P2)을 사용자가 바라보는 물체의 위치에 위치시킴으로써 사용자에게 뚜렷한 영상을 제공할 수 있다.Similarly, in FIG. 9B, when the user (the user's pupil 143) is looking at the B object closer to the user than the position of the A object in FIG. 9A, the integrated image is positioned at the B position. The focal plane P2 is controlled by the
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
Claims (12)
상기 전기습윤 렌즈 어레이를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되도록 하는 광 도파로;
상기 사용자의 동공의 위치를 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 동공 추적부; 및
상기 동공 추적부에 의해 추정된 방향 정보와 상기 디스플레이 패널로부터 제공되는 영상 정보를 통해 상기 사용자가 바라보고 있는 영상 내 물체의 좌표를 추정하고, 상기 영상 정보를 사용하여, 추정된 좌표에 대응하는 깊이 정보를 획득하며, 획득되는 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하고, 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이의 화소별 초점 조절을 수행하는 제어부
를 포함하는 초점조절 집적영상 증강현실 디스플레이.An electrowetting lens array capable of adjusting pixel-by-pixel focus on an image output from a display panel configured to display an integrated image composed of a matrix of small images by adjusting surface tensions of polar and nonpolar liquids;
An optical waveguide which transmits the image passing through the electrowetting lens array to the user's eyes so that the image is disposed in the space;
A pupil tracking unit for tracking a position of the pupil of the user and estimating a direction that the user is looking at; And
Estimating the coordinates of an object in the image that the user is looking at by using the direction information estimated by the pupil tracking unit and the image information provided from the display panel, and using the image information, a depth corresponding to the estimated coordinates A controller for acquiring information, calculating a focal length for locating a focal plane at a depth corresponding to the acquired depth information, and performing focus adjustment for each pixel of the electrowetting lens array according to the calculated focal length
Focused integrated image augmented reality display comprising a.
상기 영상 정보는 화소별 좌표 정보 및 깊이 정보를 포함하고,
상기 제어부는,
상기 방향 정보와 상기 영상 정보를 사용하여 상기 사용자가 바라보고 있는 영상 내 물체의 좌표를 추정하는 좌표 추정부;
상기 영상 정보를 사용하여 상기 좌표 추정부에 의해 추정된 좌표에 대응하는 깊이 정보를 획득하는 깊이 정보 획득부;
상기 깊이 정보 획득부에 의해 획득되는 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 초점 거리 계산부; 및
상기 초점 거리 계산부에 의해 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 초점 조절부
를 포함하는, 초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The image information includes coordinate information and depth information for each pixel.
The control unit,
A coordinate estimator for estimating coordinates of an object in an image viewed by the user using the direction information and the image information;
A depth information obtaining unit obtaining depth information corresponding to the coordinates estimated by the coordinate estimating unit using the image information;
A focal length calculator configured to calculate a focal length for locating a focal plane at a depth corresponding to the depth information obtained by the depth information acquirer; And
A focus adjusting unit for performing pixel-by-pixel focusing on the electrowetting lens array according to the focal length calculated by the focal length calculating unit
Including, focusing integrated image augmented reality display.
상기 동공 추적부는,
두 개의 동공 추적 장치를 사용하여 상기 사용자의 양안의 동공을 각각 추적하고, 추적 결과로서 상기 두 개의 동공 추적 장치에서 출력되는 결과 값을 사용하여 상기 사용자가 바라보는 방향에 해당되는 수렴점의 위치를 상기 방향 정보로서 상기 제어부로 제공하거나, 또는
한 개의 동공 추적 장치를 사용하여 상기 사용자의 양안 중 하나의 동공을 추적하고, 추적 결과로서 상기 한 개의 동공 추적 장치에서 출력되는 결과 값을 상기 방향 정보로서 상기 제어부로 제공하는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The pupil tracking unit,
Two pupil tracking devices are used to track the pupils of both eyes of the user, and the resultant values output from the two pupil tracking devices are used as tracking results to determine the position of the convergence point corresponding to the direction the user views. Provided to the controller as the direction information, or
Using one pupil tracking device to track one pupil of both eyes of the user, and provide the result value output from the one pupil tracking device as the direction information to the controller as a tracking result;
Focused integrated image augmented reality display.
상기 광 도파로는 상기 전기습윤 렌즈 어레이를 통과한 빛을 상기 사용자에게 반사시키고, 상기 사용자 전방의 빛은 투과시켜서 상기 사용자에게 향하도록 하는 빔 스플리터 방식으로 구현되는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The optical waveguide is implemented in a beam splitter method for reflecting light passing through the electrowetting lens array to the user and transmitting the light in front of the user to the user.
Focused integrated image augmented reality display.
상기 전기습윤 렌즈 어레이는 전기적으로 초점 조절이 가능한 복수의 전기습윤 렌즈가 2차원 형태로 배열되어 구성되고,
상기 전기습윤 렌즈 어레이는 규칙적으로 배열된 원형 홀을 갖는 챔버 기판;
상기 챔버 기판 내의 홀의 측벽에 배치된 제1 전극;
상기 챔버 기판 상부와 하부에 공간을 형성하도록 하는 수직 격벽;
상기 수직 격벽의 상부 및 하부를 덮도록 구성된 상부 투명 기판 및 하부 투명 기판; 및
상기 상부 투명 기판에 배치된 제2 전극
을 포함하며,
상기 챔버 기판의 하부와 상기 원형 홀 내부의 하부에 무극성 액체가 배치되고, 상기 챔버 기판의 상부와 상기 원영 홀 내부의 상부에 극성 액체가 배치되는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The electrowetting lens array is composed of a plurality of electrowetting lenses that can be electrically focused arranged in a two-dimensional form,
The electrowetting lens array comprises a chamber substrate having regularly arranged circular holes;
A first electrode disposed on a side wall of the hole in the chamber substrate;
Vertical barrier ribs forming a space in an upper portion and a lower portion of the chamber substrate;
An upper transparent substrate and a lower transparent substrate configured to cover upper and lower portions of the vertical partition wall; And
A second electrode disposed on the upper transparent substrate
Including;
Non-polar liquid is disposed in the lower portion of the chamber substrate and the lower portion of the inside of the circular hole, the polar liquid is disposed on the upper portion of the chamber substrate and the upper portion of the inner hole,
Focused integrated image augmented reality display.
상기 전기습윤 렌즈 어레이는,
상기 제1 전극을 덮도록 형성된 절연층; 및
상기 절연층의 표면을 덮는 소수성 막
을 더 포함하는, 초점조절 집적영상 증강현실 디스플레이.The method of claim 5,
The electrowetting lens array,
An insulating layer formed to cover the first electrode; And
Hydrophobic film covering the surface of the insulating layer
Further comprising, focusing integrated image augmented reality display.
상기 절연층은 서로 다른 물질들로 구성된 다층 구조를 갖는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 6,
The insulating layer has a multilayer structure composed of different materials,
Focused integrated image augmented reality display.
상기 무극성 액체와 상기 극성 액체의 경계면은 상기 챔버 기판의 원형 홀 내부에 형성되는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 5,
The interface between the nonpolar liquid and the polar liquid is formed inside the circular hole of the chamber substrate,
Focused integrated image augmented reality display.
상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계;
상기 사용자가 바라보고 있는 방향이 변경된 경우, 변경된 방향의 영상 내 좌표를 추정하는 단계;
추정된 좌표의 깊이 정보를 획득하는 단계;
획득되는 깊이 정보에 따라, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대해 전기습윤 렌즈 어레이를 사용하여 화소별 초점 조절을 수행하는 단계
를 포함하며,
상기 화소별 초점 조절을 수행하는 단계는,
상기 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 단계; 및
계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 단계
를 포함하는 디스플레이 제어 방법.Focus control integrated image augmented reality display as a control method to provide an integrated image augmented reality image to the user,
Estimating the direction the user is looking by tracking the pupil of the user;
Estimating coordinates in the image of the changed direction when the direction that the user is looking at is changed;
Obtaining depth information of the estimated coordinates;
Performing pixel-by-pixel focus adjustment using an electrowetting lens array on an image output from a display panel configured to display an integrated image composed of a matrix of small images according to the obtained depth information.
Including;
Performing the focus adjustment for each pixel,
Calculating a focal length for locating a focal plane at a depth corresponding to the depth information; And
Performing pixel-by-pixel focusing on the electrowetting lens array according to the calculated focal length
Display control method comprising a.
상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는,
상기 사용자의 양안의 동공을 각각 추적하고, 상기 양안의 동공의 추적 결과를 출력하는 단계; 및
상기 양안의 동공의 추적 결과를 사용하여 상기 양안이 바라보는 방향에 해당되는 수렴점의 위치를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계
를 포함하는, 디스플레이 제어 방법.The method of claim 9,
The step of tracking the pupil of the user to estimate the direction the user is looking,
Tracking the pupils of both eyes of the user, and outputting a tracking result of the pupils of both eyes; And
Estimating the location of the convergence point corresponding to the direction of the both eyes using the tracking result of the pupils of both eyes in the direction of the user's viewing.
Comprising a display control method.
상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는,
상기 사용자의 양안 중 하나의 동공을 추적하고, 상기 하나의 동공의 추적 결과를 출력하는 단계; 및
상기 하나의 동공의 추적 결과를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계
를 포함하는, 디스플레이 제어 방법.The method of claim 9,
The step of tracking the pupil of the user to estimate the direction the user is looking,
Tracking one pupil of both eyes of the user and outputting a tracking result of the one pupil; And
Estimating the tracking result of the one pupil in a direction in which the user is looking
Comprising a display control method.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180035266 | 2018-03-27 | ||
KR20180035266 | 2018-03-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190113603A KR20190113603A (en) | 2019-10-08 |
KR102055901B1 true KR102055901B1 (en) | 2019-12-13 |
Family
ID=68208548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190032879A KR102055901B1 (en) | 2018-03-27 | 2019-03-22 | Focus variable integral imaging augmented reality display and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102055901B1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008509438A (en) * | 2004-08-06 | 2008-03-27 | ユニヴァーシティ オブ ワシントン | Optical display device scanned with variable fixed viewing distance |
KR101984701B1 (en) * | 2012-11-13 | 2019-05-31 | 삼성전자주식회사 | 3D image dispaly apparatus including electrowetting lens array and 3D image pickup apparatus including electrowetting lens array |
EP3114526B1 (en) * | 2014-03-05 | 2021-10-20 | Arizona Board of Regents on Behalf of the University of Arizona | Wearable 3d augmented reality display |
-
2019
- 2019-03-22 KR KR1020190032879A patent/KR102055901B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20190113603A (en) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11112606B2 (en) | Multiple layer projector for a head-mounted display | |
US10382699B2 (en) | Imaging system and method of producing images for display apparatus | |
KR100440956B1 (en) | 2D/3D Convertible Display | |
US11064187B2 (en) | Display module, head mounted display, and image stereoscopic display method and apparatus | |
US9013564B2 (en) | Controllable lenticular lenslets | |
US10902769B2 (en) | Multi-layer fabrication for pixels with calibration compensation | |
US10598941B1 (en) | Dynamic control of optical axis location in head-mounted displays | |
CN107076984A (en) | Virtual image maker | |
US9905143B1 (en) | Display apparatus and method of displaying using image renderers and optical combiners | |
US20170048515A1 (en) | Liquid crystal lenticular lens element, driving method therefor, stereoscopic display device, and terminal device | |
US10775617B2 (en) | Eye tracked lens for increased screen resolution | |
EP3460785A1 (en) | Multiple layer projector for a head-mounted display | |
JP2023517828A (en) | High resolution LCD display | |
KR20150043653A (en) | 3D interaction apparatus, display device including the same, and method of driving the same | |
US10698218B1 (en) | Display system with oscillating element | |
CN106501936A (en) | Method and apparatus for adjusting the viewing area of visual field display device | |
KR102055901B1 (en) | Focus variable integral imaging augmented reality display and control method thereof | |
KR20210091580A (en) | Device and method for 3-dimensional image display | |
KR20120096795A (en) | Integral imaging type stereoscopic display device and method for displaying image | |
US11624967B1 (en) | Hybrid adaptive lenses for head-mounted displays | |
US20170371170A1 (en) | Display Device and Assembly Method Thereof | |
KR101762391B1 (en) | Volumetric three dimensional display apparatus using electrowetting liquid lens array | |
KR20170011048A (en) | Transparent display apparatus and method thereof | |
KR102026361B1 (en) | Display device | |
TWI794948B (en) | Light field near-eye display device and method of light field near-eye display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |