WO2020111389A1 - 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법 - Google Patents

사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법 Download PDF

Info

Publication number
WO2020111389A1
WO2020111389A1 PCT/KR2019/001908 KR2019001908W WO2020111389A1 WO 2020111389 A1 WO2020111389 A1 WO 2020111389A1 KR 2019001908 W KR2019001908 W KR 2019001908W WO 2020111389 A1 WO2020111389 A1 WO 2020111389A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gap
lens
mla
user
Prior art date
Application number
PCT/KR2019/001908
Other languages
English (en)
French (fr)
Inventor
이종우
김희동
윤재원
강석명
Original Assignee
주식회사 픽셀로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽셀로 filed Critical 주식회사 픽셀로
Priority to US17/297,177 priority Critical patent/US20220005158A1/en
Publication of WO2020111389A1 publication Critical patent/WO2020111389A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0062—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Definitions

  • the present invention relates to a multi-layer MLA structure, a display panel and an image processing method for correcting an abnormality in refractive power of a user, and more specifically, a screen of a display device for a user having an eye refractive power problem such as presbyopia, myopia, hyperopia, etc.
  • a method of correcting for an abnormality of refractive power a multilayer structure of MLA is used to correct the display screen to the refractive power of the eye at a distance of 20 cm or more, and the image of the image is processed in accordance with the optical effects arising from this structure. It relates to an image processing method that uses the image processing generated through the MLA, generates an image prime corrected for the user's refractive power abnormality by processing the entire image of the underlying app, and displays it on the front app.
  • Korean Patent Publication No. 10-0297691 (invention name: display system equipped with a presbyopia correction mechanism, registration date: 2001.05.24) can be cited as a conventional patent document.
  • a display for forming an image a camera that captures the lens of a viewer viewing the image and outputs the captured information; the yellow coloration degree of the lens is calculated by receiving the imaged information from the camera, and
  • a display system comprising; a controller that controls to increase the amount of blue light emitted from the display according to a correction value.
  • the present invention was created to solve the above-mentioned problems.
  • the conventional display screen correction generation technology using MLA corrects a screen for a user at a short distance within a few centimeters. If there is a limitation in the arrangement of the distance between the points, and if the display and the MLA are placed very close to satisfy the effect of the correction, the display screen becomes very large if the effect is to move to a distance where the effect of the correction can occur. The area that can be seen at a glance is made very narrow, and the practicality decreases. In order to make the screen size to an appropriate level, the distance between the display and the MLA must be kept large, which also decreases practicality. It is an object of the present invention to provide a multilayer MLA structure, a display panel, and an image processing method for correcting an abnormality in refractive power of a user.
  • a multilayer MLA structure for correcting a user's refractive power abnormality is a screen of a display panel for a user having a refractive power problem of the eye, including presbyopia, myopia, and hyperopia.
  • a multi-layer MLA structure that compensates for a user's refractive power abnormality, has a lower thickness of the first gap (gap_1) of the display panel, is spaced apart by the display panel and the first gap (gap_1), and the height of the first lens ( a first MLA lens with lens_sag_height_1); A first gap layer on the first MLA lens having a first thickness (gap_thinckness_1); A second MLA lens having a lower thickness of the second gap (gap_2), spaced apart by the first gap layer and the second gap (gap_2), and having a second lens height (lens_sag_height_2); An nth gap layer on the nth MLA lens having an nth thickness (gap_thinckness_n) (n is a natural number of 2 or more); And an nth MLA lens having a lower thickness of the nth gap (gap_n) and spaced apart by the n
  • the display panel includes a display panel; A first MLA lens having a lower thickness of the first gap (gap_1) of the display panel and spaced apart by the first gap (gap_1) from the display panel and having a height (lens_sag_height_1) of the first lens; A first gap layer on the first MLA lens having a first thickness (gap_thinckness_1); A second MLA lens having a lower thickness of the second gap (gap_2), spaced apart by the first gap layer and the second gap (gap_2), and having a second lens height (lens_sag_height_2); An nth gap layer on the nth MLA lens having an nth thickness (gap_thinckness
  • the user's eye position and distance detection unit that detects the position and distance of the user's eye, based on the result values of the eye position and distance detection unit, to control the overlap of the image by the multi-layer MLA structure.
  • an image processing method for correcting a user's refractive power anomaly in a display panel includes: capturing an entire image of an underlying app; Processing the entire image of the underlaying app to generate an image prime corrected for the user's refractive power abnormality; And displaying the image prime as an entire image of the front app.
  • the step of detecting whether there is a change in the underlining app is performed by transparently processing a set of pixels at a specific position among the entire images of the front app, and in the set of pixels at the specific position, the pixel value of the corresponding image of the underlining app is determined. Having; And comparing a set of pixels at the transparent position between the previous image of the front app and the current image of the front app, to detect a change in the underwriting app.
  • the step of injecting a unique magic code (magic code) over time may further include.
  • comparing the set of pixels at the transparent position, and detecting a change in the underlying app check the magic code of the pixel at the transparent position By confirming the drop image; may include.
  • the step of generating an image prime corrected to the degree of refractive power abnormality of the user by processing the entire image of the underlaying app includes the angle of incidence of the image image entering the eye through the multi-layer MLA structure unit lens. Detecting as an angle of an eye of the user, based on a distance between the user's eye and the display panel, and a direction between the unit lens and the user; Finding the center position of the image moved by the unit lens of the multilayer MLA structure, based on the center of the lens in a state parallel to the user's eye and the angle of the eye looking at the shifted image, the movement Finding a center position of the image; And extracting the image according to the size of the enlarged ratio based on the center position of the moved image.
  • the conventional single layer type lens array array is arranged in multiple layers with different lens characteristics to increase the distance between the display and the MLA. It is possible to make it possible to feel the effect of screen recognition and correction at a normal use distance without significantly maintaining it.
  • the image of the moved lens does not become larger than the screen source size of the display, thereby widening the area visible to the user through the MLA and moving the image. Through this, the screen correction effect should be generated.
  • the generation of a moving distance effect through a small magnification increases the resolution of the moved image, thereby making it possible to create an effect that clearly shows the image even at a long distance.
  • 1 is a view for explaining the analysis when two lenses are arranged.
  • Figure 2 is a retinal image (retinal image) formed on the retina is a combination of image 1 and image 2 formed in the individual lens array, in this case by placing the same image in the overlapping area of image 1 and image 2 to be recognized as a single image It is a diagram showing that it can be processed.
  • Figure 3 shows an example of a cross-sectional side view of the MLA multi-layer structure according to the present invention.
  • FIG. 4 illustrates an image processing method for an image formed through a multi-layered MLA unit (a in FIG. 4) formed in the same structure as in FIG. 3.
  • FIG. 5 shows a basic image processing flowchart.
  • FIG. 6 illustrates a set of transparent pixels of the front app UI, and is a view for explaining change of an under app UI change through this.
  • FIG. 7 is a view for explaining a method of acquiring an under app UI image, that is, by capturing an under app UI by transparently processing an entire area of the front app UI.
  • FIG. 8 is a block diagram showing a detailed configuration diagram of the entire logic for processing the captured image.
  • a conventional single layer type lens array array is arranged in multiple layers with different lens characteristics, so that a screen recognition and correction effect can be felt at a normal use distance without significantly maintaining a distance between the display and the MLA. I want to make it.
  • the multi-layer MLA structure according to the present invention is a multi-layer MLA structure that corrects a screen of a display panel according to a user's refractive power abnormality or higher for a user having an eye refractive problem, including presbyopia, myopia, and hyperopia.
  • such a multilayer MLA structure may be made separately from the display panel and attached to the display panel, or it may be formed integrally with the display panel structure on the upper layer of the display panel.
  • FIG. 1 is a view for explaining the interpretation when two lenses are arranged
  • FIG. 2 is a combination of images 1 and 2 formed in individual lens arrays in a retinal image formed on the retina. It is a diagram showing that it can be processed to be recognized as a single image by arranging the same image in the overlapping regions of 1 and 2
  • FIG. 3 is a diagram showing an example of a cross-sectional side view of an MLA multilayer structure according to the present invention. 4 shows an image processing method for an image formed through a multi-layered MLA unit (a in FIG. 4) formed in a structure as shown in FIG.
  • the image S1' produced by the first black lens lens1 and the magnification M1 of the image are calculated as shown in Equation 1 for the object S1.
  • S1' becomes the object (S2) of the second green lens (lens2), and the image (S2') and magnification M2 made from this object are calculated as in Equation 2 below.
  • the magnification of the final image is generated as the product of M1 and M2.
  • the magnification for the position S1 of the object and the position S2' of the image are compared, the magnification of the image generated by the two lenses is equal to Equation 3, and the object S1 is moved by the same dmove by a single lens (lens3). It becomes smaller than S2'/S1 which is the magnification at the time of joining.
  • the present invention is made of the principle described through FIG. 1, and the images generated by the individual lenses in the multi-layer MLA are enlarged than the display, so that they overlap each other at a position where the images are formed.
  • the images generated by the individual lenses in the multi-layer MLA are enlarged than the display, so that they overlap each other at a position where the images are formed.
  • the retinal image formed on the retina is a combination of image 1 and image 2 formed in an individual lens array. At this time, it is possible to process the image to be recognized as one image by arranging the same image in the overlapping regions of the images 1 and 2.
  • FIG. 3 shows an example of a cross-sectional side view of the MLA multi-layer structure according to the present invention.
  • a multi-layer MLA (Multi-Layered MLA) is constructed by disposing a MLA layer layer having a constant gap on a display and additionally placing a MLA layer layer having a constant gap on the MLA layer. do.
  • Lens characteristics of the gap and individual MLA are calculated by adjusting to the distance of movement of the image.
  • FIG. 4 illustrates an image processing method for an image formed through a multi-layered MLA unit (a in FIG. 4) formed in the same structure as in FIG. 3. According to the characteristics of the multi-layered MLA unit as shown in FIG. 4C, a portion of the display unit (b in FIG. 4B) is moved to a specific distance for each unit lens area, resulting in an image. (C in FIG. 4)
  • the image of the shifted image plane passes through the lens and is compounded into one combined image on the retina.
  • the degree of overlap of images depends on the position and direction of the user's eyes. After calculating this according to the distance value of the MLA part of the lens and the multilayer structure, after finding the size and image values of the overlapping parts of the image (c-1 in FIG. 4, c-2)
  • the image values obtained by processing the overlapped areas are extracted and the image values of the display unit of FIG. 4B are extracted. (B-1 in FIG. 4)
  • the image of the display unit is generated by repeatedly performing this process for individual lens areas of the entire MLA, the image may be finally moved to a certain distance to form a processed image.
  • the center position of the moved image is found and the image is extracted according to the magnification of the magnification of the image based on the center position.
  • it can be calculated according to the angle of the eye looking at the moved image as shown in FIG. 9.
  • the angle of the eye is the angle of incidence of the image image that enters the eye through the individual lens, and is derived according to the distance between the eye and the display and the direction between the lens and the user.
  • a center position in which the center of the lens is moved in a state parallel to the eye is calculated, and an image image area incident to the eye is extracted based on the shifted center position.
  • the extracted area is adjusted to fit the size of the display area according to the magnification of the shifted image, and converted into a display image value.
  • the display image values of the images moving at a certain distance are obtained.
  • the angle of the image region viewed from the eye through the MLA, the virtual image region coordinate viewed from the eye through the MLA, Coordinates of the display area mapped to the virtual image may be obtained as illustrated in FIG. 9.
  • FIG. 5 shows a basic image processing flow chart
  • FIG. 6 shows a set of transparent pixels of the front app UI
  • FIG. 7 shows the entire area of the front app UI. It is a diagram for explaining a method of obtaining an image of an underlining app UI, which can be captured by processing transparently, that is, an underlining app UI
  • FIG. 8 is a block diagram showing a detailed configuration diagram of the entire logic for processing the captured image It is.
  • the underlying app UI is a source image
  • the front app UI outputs an image prime obtained through image processing from the underlying app image.
  • the problem is that there is only one channel for capturing the image currently displayed on the screen, and the source image and the image prime are two independent images coexisting in the channel.
  • the system android framework, iOS framework, etc.
  • an algorithm for acquiring the corresponding source image is required.
  • a method of obtaining the source image is as follows.
  • the Underlying App UI is an App UI that operates under the Front App UI, and is the source image of the image prime output from the Front App UI.
  • the Front App UI is an App UI that outputs the image prime processed from the source image.
  • the previous image of the front app (Previous Image of Front App UI) is the captured n-1th, Front App UI image.
  • the current image of the front app (Current Image of Front App UI) is the captured nth, Front App UI image.
  • Logic for detecting changed source image is logic for detecting a change in a source image.
  • FIG. 5 shows a basic processing flow chart. As illustrated in FIG. 5, a full screen image (source image) of the underlying app UI is captured, and an image (image prime) of the image processing result is output to the screen.
  • source image source image
  • image prime image of the image processing result
  • the front app UI (Front App UI) is output in an overlay (Overlay) method, the user interaction (screen touch) event is delivered to the underlying app (underlying App). That is, the user touches the front app UI, but a user interaction event is transmitted to the underlying app, and the corresponding app is processed by the underlying app. (Overlay of front app UI applied)
  • the pixel set at a specific location of the front App UI is processed transparently.
  • This pixel set has the image pixel value of the underlying app UI, not the image pixel value of the front app UI. Therefore, if you compare the pixel set between the captured front app UI's previous image and the front app UI's current image, you can see that the underlying app UI image has changed.
  • 6 shows a set of transparent pixels of the front app UI (underlining app UI change detection).
  • FIG. 8 is a block diagram showing a detailed configuration diagram of the entire logic for processing the captured image.
  • the image prime for output may be dropped due to synchronization of the fence signal. This causes an error in the logic for detecting changed source image (underlying app UI), so the pixel value at a specific position in the image prime output to detect the drop image prime over time A unique Magic Code is injected, and the pixel value is checked from the captured image to check whether it is dropped. (Magic code applied)

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

본 발명은 사용자의 굴절력 이상 보정을 위한 다층 MLA 구조에 관한 것으로서, 노안, 근시, 원시를 포함하여 눈의 굴절력 문제를 가진 사용자를 위해 디스플레이 패널의 화면을 상기 사용자의 굴절력 이상 정도에 맞추어 보정해주는 다층 MLA 구조로서, 상기 디스플레이 패널의 제 1 갭(gap_1)의 하부 두께를 가져서 상기 디스플레이 패널과 상기 제 1 갭(gap_1)만큼 이격되며, 제 1 렌즈의 높이(lens_sag_height_1)를 갖는 제 1 MLA 렌즈; 제 1 두께(gap_thinckness_1)를 가지는 상기 제 1 MLA 렌즈 상의 제 1 갭층; 상기 제 2 갭(gap_2)의 하부 두께를 가져서 상기 제 1 갭층과 상기 제 2 갭(gap_2)만큼 이격되며, 제 2 렌즈의 높이(lens_sag_height_2)를 갖는 제 2 MLA 렌즈; 제 n 두께(gap_thinckness_n)를 가지는 상기 제 n MLA 렌즈 상의 제 n 갭층(n은 2이상의 자연수); 및 상기 제 n 갭(gap_n)의 하부 두께를 가져서 상기 제 n 갭층과 상기 제 n 갭(gap_n)만큼 이격되며, 제 n 렌즈의 높이(lens_sag_height_n)를 갖는 제 n MLA 렌즈;를 포함한다.

Description

사용자의 굴절력 이상 보정을 위한 다층 MLA 구조, 디스플레이 패널 및 이미지 처리 방법
본 발명은 사용자의 굴절력 이상 보정을 위한 다층 MLA 구조, 디스플레이 패널 및 이미지 처리 방법에 관한 것으로, 보다 상세하게는, 노안, 근시, 원시 등의 눈의 굴절력 문제를 가진 사용자를 위해 디스플레이 장치의 화면을 굴절력 이상 정도에 맞추어 보정해주는 방법으로서, 20cm 이상의 거리에서 디스플레이 화면을 눈의 굴절력에 맞게 보정하기 위해 다층 구조의 MLA를 사용하고 이 구조로부터 발생하는 광학적 효과에 맞추어 상의 이미지를 처리하는, 다층 구조의 MLA를 통한 발생하는 상의 처리를 이용하는 한편, 언더라잉 앱의 전체 이미지를 처리하여 사용자의 굴절력 이상 정도에 맞추어 보정한 이미지 프라임을 생성하여 프런트 앱에 디스플레이해 주는 이미지 처리 방법에 관한 것이다.
노안 보정을 위한 디스플레이로서, 종래 특허문헌으로서, 대한민국 등록특허공보 제10-0297691호(발명의 명칭 : 노안 보정 기구를 구비한 디스플레이 시스템, 등록일 : 2001.05.24)를 들 수 있다. 해당 특허문헌에서는 "화상을 형성하는 디스플레이와; 상기 화상을 시청하는 시청자의 수정체를 촬상하여 그 촬상정보를 출력하는 카메라와; 상기 카메라로부터 촬상정보를 입력받아 수정체의 노란색 착색 정도를 계산하고, 그 보정치에 따라 상기 디스플레이의 청색 발광량을 증가시키도록 제어하는 콘트롤러;를 포함하는 디스플레이 시스템"이 개시되어 있다.
하지만, 종래 특허문헌에서는, 20cm 이상의 거리에서 디스플레이 화면을 눈의 굴절력에 맞게 보정하기 위한 구성이 개시되어 있지 않아서, 실생활에서 노안을 가지고 있는 사용자에게 해상도 높고 편리한 시스템을 제공하지 못하는 문제점을 가지고 있었다.
[선행기술문헌]
[특허문헌]
대한민국 등록특허공보 제10-0297691호(발명의 명칭 : 노안 보정 기구를 구비한 디스플레이 시스템, 등록일 : 2001.05.24)
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명은 종래의 MLA를 이용한 디스플레이 화면 보정 생성 기술은 수cm 이내의 근거리에서 사용자에 맞게 화면을 보정하는데 MLA의 배치 위치, 즉 MLA와 디스플레이 간 거리의 배치에 제한을 가지게 되는 점과, 디스플레이와 MLA를 매우 가깝게 배치하여 보정의 효과를 만족시키고자 할 경우 보정의 효과를 발생할 수 있는 거리로 이동하도록 효과를 내고자 하면 디스플레이 화면이 매우 커져 사용자가 한 눈에 볼 수 있는 영역이 매우 협소하게 만들어져 실용성이 떨어지게 되는 점과, 화면의 크기를 적정한 수준으로 만들고자 할 경우에는 디스플레이와 MLA의 간격을 크게 유지하여야 해서, 이 또한 실용성을 떨어지게 만드는 점 등을 해결하는 것이 가능한, 사용자의 굴절력 이상 보정을 위한 다층 MLA 구조, 디스플레이 패널 및 이미지 처리 방법을 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자의 굴절력 이상 보정을 위한 다층 MLA 구조는, 노안, 근시, 원시를 포함하여 눈의 굴절력 문제를 가진 사용자를 위해 디스플레이 패널의 화면을 상기 사용자의 굴절력 이상 정도에 맞추어 보정해주는 다층 MLA 구조로서, 상기 디스플레이 패널의 제 1 갭(gap_1)의 하부 두께를 가져서 상기 디스플레이 패널과 상기 제 1 갭(gap_1)만큼 이격되며, 제 1 렌즈의 높이(lens_sag_height_1)를 갖는 제 1 MLA 렌즈; 제 1 두께(gap_thinckness_1)를 가지는 상기 제 1 MLA 렌즈 상의 제 1 갭층; 상기 제 2 갭(gap_2)의 하부 두께를 가져서 상기 제 1 갭층과 상기 제 2 갭(gap_2)만큼 이격되며, 제 2 렌즈의 높이(lens_sag_height_2)를 갖는 제 2 MLA 렌즈; 제 n 두께(gap_thinckness_n)를 가지는 상기 제 n MLA 렌즈 상의 제 n 갭층(n은 2이상의 자연수); 및 상기 제 n 갭(gap_n)의 하부 두께를 가져서 상기 제 n 갭층과 상기 제 n 갭(gap_n)만큼 이격되며, 제 n 렌즈의 높이(lens_sag_height_n)를 갖는 제 n MLA 렌즈;를 포함한다.
또한, 본 발명의 또 다른 실시예에 따른, 노안, 근시, 원시를 포함하여 눈의 굴절력 문제를 가진 사용자를 위해 디스플레이 패널의 화면을 상기 사용자의 굴절력 이상 정도에 맞추어 보정해주는 다층 MLA 구조를 포함하는 디스플레이 패널은, 디스플레이 패널; 상기 디스플레이 패널의 제 1 갭(gap_1)의 하부 두께를 가져서 상기 디스플레이 패널과 상기 제 1 갭(gap_1)만큼 이격되며, 제 1 렌즈의 높이(lens_sag_height_1)를 갖는 제 1 MLA 렌즈; 제 1 두께(gap_thinckness_1)를 가지는 상기 제 1 MLA 렌즈 상의 제 1 갭층; 상기 제 2 갭(gap_2)의 하부 두께를 가져서 상기 제 1 갭층과 상기 제 2 갭(gap_2)만큼 이격되며, 제 2 렌즈의 높이(lens_sag_height_2)를 갖는 제 2 MLA 렌즈; 제 n 두께(gap_thinckness_n)를 가지는 상기 제 n MLA 렌즈 상의 제 n 갭층(n은 2이상의 자연수); 및 상기 제 n 갭(gap_n)의 하부 두께를 가져서 상기 제 n 갭층과 상기 제 n 갭(gap_n)만큼 이격되며, 제 n 렌즈의 높이(lens_sag_height_n)를 갖는 제 n MLA 렌즈;를 포함하는, 사용자의 굴절력 이상 보정을 위한 다층 MLA 구조를 포함한다.
여기서, 상기 사용자의 눈의 위치와 거리를 검출하는 사용자 눈 위치 및 거리 검출부를 포함하여, 상기 눈 위치 및 거리 검출부의 결과값에 기초하여, 상기 다층 MLA 구조에 의한 이미지의 중첩을 제어한다.
또한, 상기 디스플레이 패널에서 표시하고자 하는 제 1 이미지(image_1)가 있을 경우, 상기 제 1 이미지(image_1)에 대한 상기 제 1 MLA 렌즈에 의한 제 2 이미지(image_2), 상기 제 2 이미지(image_2)에 대한 상기 제 2 MLA 렌즈에 의한 제 3 이미지(image_3), 제 n 이미지(image_n)에 대한 상기 n MLA 렌즈에 의한 제 n+1 이미지(image_n+1)가 생성되며, 상기 제 1 이미지(image_1) 및 상기 제 1 MLA 렌즈간의 거리를 S1로, 상기 제 2 이미지(image_2) 및 상기 제 1 MLA 렌즈간의 거리를 S1'로, 상기 초점거리를 f1으로, 제 1 이미지에 대한 제 2 이미지의 배율을 M1으로 표시할 경우,
Figure PCTKR2019001908-appb-I000001
,
Figure PCTKR2019001908-appb-I000002
이며, 상기 제 n 이미지(image_n) 및 상기 제 n MLA 렌즈간의 거리를 Sn로, 상기 제 n+1 이미지(image_n+1) 및 상기 제 n MLA 렌즈간의 거리를 Sn'로, 상기 초점거리를 fn으로, 제 n 이미지에 대한 제 n+1 이미지의 배율을 Mn으로 표시할 경우,
Figure PCTKR2019001908-appb-I000003
,
Figure PCTKR2019001908-appb-I000004
이다.
한편, 본 발명의 또 다른 실시예에 따른 디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법은, 언더라잉 앱의 전체 이미지를 캡처하는 단계; 상기 언더라잉 앱의 전체 이미지를 처리하여, 상기 사용자의 굴절력 이상 정도에 맞추어 보정한 이미지 프라임을 생성하는 단계; 및 상기 이미지 프라임을 프런트 앱의 전체 이미지로 디스플레이하는 단계;를 포함한다.
또한, 상기 언더라잉 앱의 변경이 있는지를 검출하는 단계; 및 상기 언더라잉 앱의 변경이 있는 경우에는, 상기 프런트 앱의 전체 이미지를 투명하게 처리하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 언더라잉 앱의 변경이 있는지를 검출하는 단계는, 상기 프런트 앱 전체 이미지 가운데 특정 위치의 픽셀 집합을 투명하게 처리하여, 해당 특정 위치의 픽셀 집합에서는 상기 언더라잉 앱의 해당 이미지 픽셀값을 갖는 단계; 및 상기 프런트 앱의 이전 이미지와 상기 프런트 앱의 현재 이미지 사이에서, 상기 투명 위치의 픽셀 집합을 비교하여, 상기 언더라잉 앱의 변경을 검출하는 단계;를 포함할 수 있다.
또한, 상기 이미지 프라임이 펜스 신호(fense signal) 동기화로 인해 이미지가 누락되는 드롭 이미지(dropped image)가 발생하여, 상기 언더라잉 앱의 변경을 검출하지 못하게 되는 것을 막기 위하여, 적어도 상기 이미지 프라임에서 상기 투명 위치의 픽셀에 대해서는, 시간에 따른 고유한 매직 코드(magic code)를 주입하는 단계;를 더 포함할 수 있다.
또한, 상기 프런트 앱의 이전 이미지와 상기 프런트 앱의 현재 이미지 사이에서, 상기 투명 위치의 픽셀 집합을 비교하여, 상기 언더라잉 앱의 변경을 검출하는 단계에서, 상기 투명 위치의 픽셀의 매직 코드를 확인하여 상기 드롭 이미지를 확인하는 단계;를 포함할 수 있다.
여기서, 상기 언더라잉 앱의 전체 이미지를 처리하여, 상기 사용자의 굴절력 이상 정도에 맞추어 보정한 이미지 프라임을 생성하는 단계는, 상기 다층 MLA 구조의 단위 렌즈를 통해 눈으로 들어오는 상 이미지의 입사각을 상기 사용자의 눈의 각도로서 검출하는 단계로서, 상기 사용자의 눈과 상기 디스플레이 패널 간의 거리와, 상기 단위 렌즈와 상기 사용자 간의 방향에 기초하여, 상기 사용자의 눈의 각도을 검출하는 단계; 상기 다층 MLA 구조의 단위 렌즈에 의해 이동된 상의 중심 위치를 찾아내는 단계로서, 상기 사용자의 눈과 평행한 상태에서의 렌즈의 중심 및 상기 이동된 상을 바라보는 눈의 각도를 기초로 하여, 상기 이동된 상의 중심 위치를 찾아내는 단계; 및 상기 이동된 상의 중심 위치를 기준으로 상이 확대된 비율의 크기에 맞게 상을 추출하는 단계;를 포함한다.
본 발명에 따른 다층 구조의 ＭＬＡ를 통해 발생하는 상의 처리를 이용한 비전 정정 방법은, 종래의 단층 방식 렌즈 어레이 배열을 각기 다른 렌즈 특성을 가진 어레이를 여러 개의 층으로 배치하여 디스플레이와 MLA 사이의 거리를 크게 유지 않지 않고도 통상적인 사용 거리에서 화면 인지 및 보정 효과를 느낄 수 있도록 만들어 주는 것이 가능하다.
즉, 다층으로 배열된 렌즈는 단층으로 배열된 렌즈와 동일한 수준으로 이동하더라도 이동된 렌즈의 상의 크기가 디스플레이의 화면 소스 크기보다 많이 커지지 않도록 함으로써 사용자가 MLA를 통해 볼 수 있는 영역을 넓혀 주면서 상 이동을 통한 화면 보정 효과를 발생하도록 한다.
나아가, 작은 배율을 통한 이동 거리 효과 발생은 이동된 상의 해상도를 증가시켜 먼 거리에서도 상을 명확하게 보여주는 효과를 만들어 낼 수 있게 된다.
도 1은 2개의 렌즈를 배열할 경우의 해석을 설명하기 위한 도면이다.
도 2는 망막에 맺히는 망막 이미지(retinal image)는 개별 렌즈 어레이에서 맺히는 상1과 상2의 조합이 되는데, 이 경우 상1과 상2의 중첩영역에 동일한 이미지를 배치함으로써 하나의 상으로 인식되게 처리할 수 있다는 것을 도시한 도면이다.
도 3은 본 발명에 따른 MLA 다층 구조의 측단면도의 예시를 도시한 것이다.
도 4는 도 3과 같은 구조로 형성된 다층 구조의 MLA부(도 4의 a)를 통해 형성되는 상에 대한 이미지 처리 방법을 도시한 것이다.
도 5는 기본적인 이미지 처리 흐름도를 나타낸 것이다.
도 6은 프런트 앱 UI의 투명 픽셀 세트를 나타낸 것으로, 이를 통해서 언더라잉 앱 UI 변경 감지를 설명하기 위한 도면이다.
도 7은 프런트 앱 UI 전체를 영역을 투명하게 처리하여 언더라잉 앱 UI를 캡쳐할 수 있게 되는, 즉 언더라잉 앱 UI 이미지 획득 방법을 설명하기 위한 도면이다.
도 8은 캡쳐된 이미지 처리를 위한 전체 로직에 대한 세부적인 구성도를 나타낸 블록도이다.
도 9는 MLA가 안구 영역 안에 있는 경우와 MLA가 안구 영역 밖에 있는 경우로 구분하여, 안구에서 MLA를 통해 바라보는 이미지 영역 각도와, 안구에서 MLA를 통해 바라보는 허상 이미지 영역 좌표와, 허상 이미지에 매핑되는 디스플레이 영역 좌표를 구하는 것을 도시한 것이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에서는 종래의 단층 방식 렌즈 어레이 배열을 각기 다른 렌즈 특성을 가진 어레이를 여러 개의 층으로 배치하여 디스플레이와 MLA 사이의 거리를 크게 유지 않지 않고도 통상적인 사용 거리에서 화면 인지 및 보정 효과를 느낄 수 있도록 만들어 주고자 한다.
본 발명에 따른 다층 MLA 구조는 노안, 근시, 원시를 포함하여 눈의 굴절력 문제를 가진 사용자를 위해 디스플레이 패널의 화면을 상기 사용자의 굴절력 이상 정도에 맞추어 보정해주는 다층 MLA 구조로서, 상기 디스플레이 패널의 제 1 갭(gap_1)의 하부 두께를 가져서 상기 디스플레이 패널과 상기 제 1 갭(gap_1)만큼 이격되며, 제 1 렌즈의 높이(lens_sag_height_1)를 갖는 제 1 MLA 렌즈; 제 1 두께(gap_thinckness_1)를 가지는 상기 제 1 MLA 렌즈 상의 제 1 갭층; 상기 제 2 갭(gap_2)의 하부 두께를 가져서 상기 제 1 갭층과 상기 제 2 갭(gap_2)만큼 이격되며, 제 2 렌즈의 높이(lens_sag_height_2)를 갖는 제 2 MLA 렌즈; 제 n 두께(gap_thinckness_n)를 가지는 상기 제 n MLA 렌즈 상의 제 n 갭층(n은 2이상의 자연수); 및 상기 제 n 갭(gap_n)의 하부 두께를 가져서 상기 제 n 갭층과 상기 제 n 갭(gap_n)만큼 이격되며, 제 n 렌즈의 높이(lens_sag_height_n)를 갖는 제 n MLA 렌즈;를 포함한다.
또한, 이와 같은 다층 MLA 구조는 디스플레이 패널와 별도로 만들어져 디스플레이 패널 상에 부착되거나, 또는 디스플레이 패널 상층에 디스플레이 패널 구조와 일체로 형성되는 것도 가능하다.
도 1은 2개의 렌즈를 배열할 경우의 해석을 설명하기 위한 도면이고, 도 2는 망막에 맺히는 망막 이미지(retinal image)는 개별 렌즈 어레이에서 맺히는 상1과 상2의 조합이 되는데, 이 경우 상1과 상2의 중첩영역에 동일한 이미지를 배치함으로써 하나의 상으로 인식되게 처리할 수 있다는 것을 도시한 도면이고, 도 3은 본 발명에 따른 MLA 다층 구조의 측단면도의 예시를 도시한 것이고, 도 4는 도 3과 같은 구조로 형성된 다층 구조의 MLA부(도 4의 a)를 통해 형성되는 상에 대한 이미지 처리 방법을 도시한 것이다.
도 1을 이용하여, 2개의 렌즈를 배열할 경우의 해석을 설명한다. 여러 개의 Lens를 배치할 경우 상의 위치와 배율은 렌즈 공식을 통해 산출할 수 있는데 도 1과 같은 2개의 렌즈를 배열할 경우의 해석은 다음과 같다.
도 1에 도시된 바와 같이, S1이라는 물체에 대해 첫 번째 검은색 렌즈(lens1)에 의해 만들어지는 상(S1')과 이 상의 배율 M1은 수식1과 같이 계산된다.
수식 1
Figure PCTKR2019001908-appb-I000005
Figure PCTKR2019001908-appb-I000006
S1'는 두 번째 초록색 렌즈(lens2)의 물체(S2)가 되고 이 물체로 만들어지는 상(S2')과 배율 M2는 아래 수식2와 같이 계산된다.
수식 2
Figure PCTKR2019001908-appb-I000007
Figure PCTKR2019001908-appb-I000008
Figure PCTKR2019001908-appb-I000009
최종적인 상의 배율은 M1과 M2의 곱으로 생성된다. 여기서 물체의 위치 S1과 상의 위치 S2'에 대한 배율을 비교하면 실제 두 개의 렌즈로 인해 생기는 상의 배율은 수식3과 같이 단일 렌즈(lens3)로 물체 S1을 동일하게 dmove만큼 이동시켜 S2'로 상을 맺을 때의 배율인 S2'/S1보다 작게 된다.
수식 3
Figure PCTKR2019001908-appb-I000010
이런 원리를 이용하여 보정의 효과를 내는 상 거리로의 이동을 작은 배율로도 발생시킬 수 있게 된다. 작은 배율을 통한 이동 거리 효과 발생은 이동된 상의 해상도를 증가시켜 상을 먼 거리로 이동하더라도 상을 명확하게 보여주고 상이 보이는 영역을 넓혀주는 효과를 만들어 낼 수 있게 된다.
앞에서 설명한 내용을 확장하면, 디스플레이 패널에서 표시하고자 하는 제 1 이미지(image_1)가 있을 경우, 상기 제 1 이미지(image_1)에 대한 상기 제 1 MLA 렌즈에 의한 제 2 이미지(image_2), 상기 제 2 이미지(image_2)에 대한 상기 제 2 MLA 렌즈에 의한 제 3 이미지(image_3), 제 n 이미지(image_n)에 대한 상기 n MLA 렌즈에 의한 제 n+1 이미지(image_n+1)가 생성되며, 상기 제 1 이미지(image_1) 및 상기 제 1 MLA 렌즈간의 거리를 S1로, 상기 제 2 이미지(image_2) 및 상기 제 1 MLA 렌즈간의 거리를 S1'로, 상기 제 1 MLA 렌즈의 초점거리를 f1으로, 제 1 이미지에 대한 제 2 이미지의 배율을 M1으로 표시할 경우,
Figure PCTKR2019001908-appb-I000011
,
Figure PCTKR2019001908-appb-I000012
이며, 상기 제 n 이미지(image_n) 및 상기 제 n MLA 렌즈간의 거리를 Sn로, 상기 제 n+1 이미지(image_n+1) 및 상기 제 n MLA 렌즈간의 거리를 Sn'로, 상기 제 n MLA 렌즈의 초점거리를 fn으로, 제 n 이미지에 대한 제 n+1 이미지의 배율을 Mn으로 표시할 경우,
Figure PCTKR2019001908-appb-I000013
,
Figure PCTKR2019001908-appb-I000014
이고,배율이 M1M2..Mn인 단일 렌즈보다 해상도를 향상시킨다.
본 발명은 도 1을 통해서 설명한 원리로 이루어진 것으로, 다층 MLA에서 개별 렌즈에 의해 발생하는 상은 디스플레이 보다 확대가 되어 상이 맺히는 위치에서 서로 겹치게 된다. 개별 렌즈에 의해서 발생하는 각각의 상에서 겹치는 부분을 계산하고 동일한 디스플레이 이미지를 배치함으로써 원하는 전체 상의 이미지를 만들어 낼 수 있게 된다.
도 2에 도시된 바와 같이, 망막에 맺히는 망막 이미지(retinal image)는 개별 렌즈 어레이에서 맺히는 상1과 상2의 조합이 된다. 이때, 상1과 상2의 중첩영역에 동일한 이미지를 배치함으로써 하나의 상으로 인식되게 처리할 수 있다.
도 3은 본 발명에 따른 MLA 다층 구조의 측단면도의 예시를 도시한 것이다. 도 3에 도시된 바와 같이, 디스플레이 위에 일정한 갭을 가지는 MLA Layer 층을 배치하고 MLA층 위에 일정한 갭을 가지는 MLA Layer 층을 추가로 배치하는 방식으로 다층 구조의 MLA(Multi-Layered MLA)를 구성하게 된다. 갭과 개별 MLA의 렌즈 특성은 상의 이동거리에 맞도록 조정하여 산출한다. 여기서, 렌즈와 디스플레이 간의 갭(gap), 렌즈 레이어1의 높이, 렌즈1 및 렌즈2 간의 갭(그 갭의 물질 등의 물성), 렌즈 레이어2의 높이 등을 필요에 따라 설정하는 것이 가능하다.
도 4는 도 3과 같은 구조로 형성된 다층 구조의 MLA부(도 4의 a)를 통해 형성되는 상에 대한 이미지 처리 방법을 도시한 것이다. 도 4의 c와 같이 다층구조의 MLA부의 특성에 따라 단위 렌즈 영역별로 디스플레이부(도 4의 b)의 일부 영역이 특정 거리로 이동하여 상이 맺히게 된다. (도 4의 c)
이동된 상 평면의 이미지는 수정체를 지나 망막의 상에 하나의 결합된 상으로 복합되어 맺히게 된다. 상의 중첩 되는 정도는 사용자의 눈의 위치와 방향에 따라 달라지게 되는데 이를 수정체와 다층구조의 MLA부의 거리 값에 따라 계산하여 상의 겹치는 부분의 크기와 이미지 값들을 찾아낸 후(도 4의 c-1, c-2) 겹치는 영역을 처리한 이미지 값들을 추출하여 도 4의 b의 디스플레이부의 이미지 값으로 추출해 낸다. (도 4의 b-1) 이러한 과정을 전체 MLA의 개별 Lens영역에 대해 반복적으로 수행하여 디스플레이부의 이미지를 생성하게 되면 최종적으로 사용자의 눈에 일정 거리로 이동되어 처리된 상을 맺히게 할 수 있다.
여기서, 개별 Lens에 의해 이동된 상의 영역을 처리하기 위해서는 이동된 상의 중심위치를 찾아내고 이 중심위치를 기준으로 상이 확대된 배율의 크기에 맞게 상을 추출하게 된다. 개별 Lens에 의해 이동된 상의 중심 위치를 찾아내기 위해서는 도 9와 같이 이동된 상을 바라보는 눈의 각도에 맞추어 계산할 수 있게 된다. 눈의 각도는 개별 Lens를 통해 눈으로 들어오는 상 이미지의 입사각이며, 이 눈과 디스플레이간의 거리와 렌즈와 사용자 간의 방향에 맞추어 도출한다.
도출된 눈의 각도에 맞추어 눈과 평행한 상태에서의 렌즈의 중심이 이동되는 중심 위치를 산출하여 이동된 중심 위치를 기준으로 눈으로 입사되는 상 이미지 영역을 추출하게 된다.
이렇게 추출된 영역을 이동된 상의 배율에 맞추어 디스플레이 영역 크기에 맞도록 조정하여 디스플레이 이미지 값으로 변환한다. 전체 Lens에 대해 이미지 값을 추출해 내면 일정한 거리로 이동되는 상의 디스플레이 이미지 값을 획득하게 된다.
좀 더 구체적으로는, MLA가 안구 영역 안에 있는 경우와 MLA가 안구 영역 밖에 있는 경우로 구분하여, 안구에서 MLA를 통해 바라보는 이미지 영역 각도와, 안구에서 MLA를 통해 바라보는 허상 이미지 영역 좌표와, 허상 이미지에 매핑되는 디스플레이 영역 좌표는 도 9에 도시된 바와 같이 구할 수 있다.
도 5는 기본적인 이미지 처리 흐름도를 나타낸 것이고, 도 6은 프런트 앱 UI의 투명 픽셀 세트를 나타낸 것으로, 이를 통해서 언더라잉 앱 UI 변경 감지를 설명하기 위한 도면이고, 도 7은 프런트 앱 UI 전체를 영역을 투명하게 처리하여 언더라잉 앱 UI를 캡쳐할 수 있게 되는, 즉 언더라잉 앱 UI 이미지 획득 방법을 설명하기 위한 도면이고, 도 8은 캡쳐된 이미지 처리를 위한 전체 로직에 대한 세부적인 구성도를 나타낸 블록도이다.
이하에서는 도 5 내지 도 8을 이용하여, 디스플레이를 갖는 디바이스에서 현재 출력되는 스크린의 이미지를 이용하여 특정 이미지를 처리한 후, 해당 이미지를 출력하는 서비스를 갖는 애플리케이션에 적용 가능한 기술에 대해서 설명한다.
예를 들면, 노안 질환을 갖는 사용자들에게 스마트폰에서 스크린에 현재 출력되는 이미지를 보다 잘 보이게 할 수 있도록 하기 위해서, 이미지 처리를 한 후, 해당 이미지를 스크린에 출력하는 서비스 기능을 갖는 애플리케이션에 적용할 수 있다.
현재 스크린에 출력되는 이미지를 이용하여, 그 이미지로부터 특정 영상처리를 통해 생성된 이미지 프라임을 스크린에 출력하는 기능을 갖는 서비스 애플리케이션에 적용할 경우에, 소스 이미지를 독립된 채널로 획득할 수 없는 구조적인 시스템에서 소스 이미지를 추출하는 방법을 제시한다.
언더라잉 앱(underlying app UI)가 소스 이미지이고, 프런트 앱 UI(front app UI)는 언더라잉 앱 이미지로부터 영상처리를 통해서 얻어진 이미지 프라임을 출력한다.
그런데, 문제는 현재 스크린에 출력되는 이미지를 캡쳐하는 채널은 하나이고, 그 채널에는 소스 이미지와 이미지 프라임이 시간 독립적으로 두 이미지가 공존하게 된다. 여기서 시간 독립적으로 공존하고 있는 두 이미지에서 소스 이미지만을 획득하는 방법을 시스템(android framework, iOS framework, 등)상에서 제공하고 있지 않기 때문에, 해당 소스 이미지를 획득하는 알고리즘이 필요하다.
소스 이미지(Underlying App UI)를 독립적인 채널로부터 해당 이미지를 캡쳐를 위한 기능을 제공하지 않는 시스템에서, 소스 이미지를 획득하는 방법은 다음과 같다.
언더라잉 앱(Underlying App UI)는 Front App UI 아래에서 동작하는 App UI이며, 프런트 앱(Front App UI)에서 출력되는 이미지 프라임의 소스 이미지이다. Front App UI는 소스 이미지로부터 영상 처리된 이미지 프라임이 출력되는 App UI이다. 프런트 앱의 이전 이미지(Previous Image of Front App UI)는 캡쳐된 n-1 번째, Front App UI 이미지이다. 프런트 앱의 현재 이미지(Current Image of Front App UI)는 캡쳐된 n 번째, Front App UI 이미지이다. 소스 이미지 변경 감지 로직(Logic for detecting changed source image)는 소스 이미지의 변경을 감지하는 로직이다. Magic code for detecting dropped image prime은, 이미지 프라임을 스크린에 출력 시, fense signal 동기화로 인해 이미지 프라임이 드롭(dropped 이미지 프라임)되 스크린에 출력되지 않는 현상이 발생함. 따라서 이미지 프라임에 magic code를 주입하여, 스크린 이미지 캡쳐하여 해당 magic code를 이용하여 드롭 여부를 확인한다.
도 5는 기본적인 처리 흐름도를 나타낸 것이다. 도 5에 도시된 바와 같이, 언더라잉 앱 UI의 full screen image(소스 이미지)를 캡쳐하고, 켭쳐된 이미지를 영상처리 결과의 이미지(이미지 프라임)를 스크린에 출력한다.
다음으로, 프런트 앱 유아이(Front App UI)는 오버레이(Overlay) 방식으로 출력하게 되어, 사용자 인터랙션(스크린 touch)에 대한 이벤트는 언더라잉 앱(underlying App)으로 전달된다. 즉, 사용자는 프런트 앱 유아이(Front App UI)를 터치하지만 언더라잉 앱(Underlying App)으로 사용자 인터랙션 이벤트가 전달되어, 언더라잉 앱(Underlying App)에서 해당 이벤트들을 처리한다. (프런트 앱 UI의 오버레이 적용)
다음으로, 언더라잉 앱 UI(Underlying App UI)의 변경을 알기 위해서는, 프런트 앱 UI(front App UI)의 특정 위치의 픽셀 세트(pixels set)는 투명하게 처리한다. 해당 픽셀 세트는 프런트 앱 UI의 이미지 픽셀 값이 아닌 언더라잉 앱 UI의 이미지 픽셀 값을 갖는다. 따라서 캡쳐된 프런트 앱 UI의 이전 이미지와 프런트 앱 UI의 현재 이미지 간 픽셀 세트를 비교하면 언더라잉 앱 UI 이미지가 변경된 것을 알 수 있다. 도 6은 프런트 앱 UI의 투명 픽셀 세트를 나타낸다.(언더라잉 앱 UI 변경 감지)
다음으로, 언더라잉 앱 UI의 이미지 변경을 알게 되면, 도 7에 도시된 바와 같이 프런트 앱 UI 전체를 영역을 투명하게 처리하면 언더라잉 앱 UI를 캡쳐할 수 있게 된다. (언더라잉 앱 UI 이미지 획득 방법)
도 8은 캡쳐된 이미지 처리를 위한 전체 로직에 대한 세부적인 구성도를 나타낸 블록도이다.
소스 이미지로부터 영상 처리한 후, 출력하기 위한 이미지 프라임은 펜스 신호(fense signal) 동기화로 인해 드롭(dropped image)될 수 있다. 이로 인해 언더라잉 앱(underlying App UI) 변경을 감지하는 로직(Logic for detecting changed source image) 에 오류가 발생하므로, 드롭 이미지 프라임을 감지하기 위해서 출력되는 이미지 프라임에 특정 위치의 픽셀 값에 시간에 따른 Unique한 Magic Code를 주입하고, 캡쳐된 이미지로부터 해당 픽셀 값을 검사하여 드롭 여부를 확인한다. (Magic code 적용)
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (10)

  1. 노안, 근시, 원시를 포함하여 눈의 굴절력 문제를 가진 사용자를 위해 디스플레이 패널의 화면을 상기 사용자의 굴절력 이상 정도에 맞추어 보정해주는 다층 MLA 구조로서,
    상기 디스플레이 패널의 제 1 갭(gap_1)의 하부 두께를 가져서 상기 디스플레이 패널과 상기 제 1 갭(gap_1)만큼 이격되며, 제 1 렌즈의 높이(lens_sag_height_1)를 갖는 제 1 MLA 렌즈;
    제 1 두께(gap_thinckness_1)를 가지는 상기 제 1 MLA 렌즈 상의 제 1 갭층;
    상기 제 2 갭(gap_2)의 하부 두께를 가져서 상기 제 1 갭층과 상기 제 2 갭(gap_2)만큼 이격되며, 제 2 렌즈의 높이(lens_sag_height_2)를 갖는 제 2 MLA 렌즈;
    제 n 두께(gap_thinckness_n)를 가지는 상기 제 n MLA 렌즈 상의 제 n 갭층(n은 2이상의 자연수); 및
    상기 제 n 갭(gap_n)의 하부 두께를 가져서 상기 제 n 갭층과 상기 제 n 갭(gap_n)만큼 이격되며, 제 n 렌즈의 높이(lens_sag_height_n)를 갖는 제 n MLA 렌즈;를 포함하는,
    사용자의 굴절력 이상 보정을 위한 다층 MLA 구조.
  2. 노안, 근시, 원시를 포함하여 눈의 굴절력 문제를 가진 사용자를 위해 디스플레이 패널의 화면을 상기 사용자의 굴절력 이상 정도에 맞추어 보정해주는 다층 MLA 구조를 포함하는 디스플레이 패널로서,
    디스플레이 패널;
    상기 디스플레이 패널의 제 1 갭(gap_1)의 하부 두께를 가져서 상기 디스플레이 패널과 상기 제 1 갭(gap_1)만큼 이격되며, 제 1 렌즈의 높이(lens_sag_height_1)를 갖는 제 1 MLA 렌즈;
    제 1 두께(gap_thinckness_1)를 가지는 상기 제 1 MLA 렌즈 상의 제 1 갭층;
    상기 제 2 갭(gap_2)의 하부 두께를 가져서 상기 제 1 갭층과 상기 제 2 갭(gap_2)만큼 이격되며, 제 2 렌즈의 높이(lens_sag_height_2)를 갖는 제 2 MLA 렌즈;
    제 n 두께(gap_thinckness_n)를 가지는 상기 제 n MLA 렌즈 상의 제 n 갭층(n은 2이상의 자연수); 및
    상기 제 n 갭(gap_n)의 하부 두께를 가져서 상기 제 n 갭층과 상기 제 n 갭(gap_n)만큼 이격되며, 제 n 렌즈의 높이(lens_sag_height_n)를 갖는 제 n MLA 렌즈;를 포함하는,
    사용자의 굴절력 이상 보정을 위한 디스플레이 패널.
  3. 제 2 항에 있어서,
    상기 사용자의 눈의 위치와 거리를 검출하는 사용자 눈 위치 및 거리 검출부를 포함하여, 상기 눈 위치 및 거리 검출부의 결과값에 기초하여, 상기 다층 MLA 구조에 의한 이미지의 중첩을 제어하는,
    사용자의 굴절력 이상 보정을 위한 디스플레이 패널.
  4. 제 3 항에 있어서,
    상기 디스플레이 패널에서 표시하고자 하는 제 1 이미지(image_1)가 있을 경우,
    상기 제 1 이미지(image_1)에 대한 상기 제 1 MLA 렌즈에 의한 제 2 이미지(image_2), 상기 제 2 이미지(image_2)에 대한 상기 제 2 MLA 렌즈에 의한 제 3 이미지(image_3), 제 n 이미지(image_n)에 대한 상기 n MLA 렌즈에 의한 제 n+1 이미지(image_n+1)가 생성되며,
    상기 제 1 이미지(image_1) 및 상기 제 1 MLA 렌즈간의 거리를 S1로,
    상기 제 2 이미지(image_2) 및 상기 제 1 MLA 렌즈간의 거리를 S1'로,
    상기 제 1 MLA 렌즈의 초점거리를 f1으로,
    제 1 이미지에 대한 제 2 이미지의 배율을 M1으로 표시할 경우,
    Figure PCTKR2019001908-appb-I000015
    ,
    Figure PCTKR2019001908-appb-I000016
    이며,
    상기 제 n 이미지(image_n) 및 상기 제 n MLA 렌즈간의 거리를 Sn로,
    상기 제 n+1 이미지(image_n+1) 및 상기 제 n MLA 렌즈간의 거리를 Sn'로,
    상기 제 n MLA 렌즈의 초점거리를 fn으로,
    제 n 이미지에 대한 제 n+1 이미지의 배율을 Mn으로 표시할 경우,
    Figure PCTKR2019001908-appb-I000017
    ,
    Figure PCTKR2019001908-appb-I000018
    이고,
    배율이 M1M2..Mn인 단일 렌즈보다 해상도를 향상시킨 것을 특징으로 하는,
    사용자의 굴절력 이상 보정을 위한 디스플레이 패널.
  5. 제 2 항 내지 제 4 항 중 어느 한 항에 기재된 디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법으로서,
    언더라잉 앱의 전체 이미지를 캡처하는 단계;
    상기 언더라잉 앱의 전체 이미지를 처리하여, 상기 사용자의 굴절력 이상 정도에 맞추어 보정한 이미지 프라임을 생성하는 단계; 및
    상기 이미지 프라임을 프런트 앱의 전체 이미지로 디스플레이하는 단계;를 포함하는,
    디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법.
  6. 제 5 항에 있어서,
    상기 언더라잉 앱의 변경이 있는지를 검출하는 단계; 및
    상기 언더라잉 앱의 변경이 있는 경우에는, 상기 프런트 앱의 전체 이미지를 투명하게 처리하는 단계;를 포함하는,
    디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법.
  7. 제 6 항에 있어서,
    상기 언더라잉 앱의 변경이 있는지를 검출하는 단계는,
    상기 프런트 앱 전체 이미지 가운데 특정 위치의 픽셀 집합을 투명하게 처리하여, 해당 특정 위치의 픽셀 집합에서는 상기 언더라잉 앱의 해당 이미지 픽셀값을 갖는 단계; 및
    상기 프런트 앱의 이전 이미지와 상기 프런트 앱의 현재 이미지 사이에서, 상기 투명 위치의 픽셀 집합을 비교하여, 상기 언더라잉 앱의 변경을 검출하는 단계;를 포함하는,
    디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법.
  8. 제 7 항에 있어서,
    상기 이미지 프라임이 펜스 신호(fense signal) 동기화로 인해 이미지가 누락되는 드롭 이미지(dropped image)가 발생하여, 상기 언더라잉 앱의 변경을 검출하지 못하게 되는 것을 막기 위하여, 적어도 상기 이미지 프라임에서 상기 투명 위치의 픽셀에 대해서는, 시간에 따른 고유한 매직 코드(magic code)를 주입하는 단계;를 더 포함하는,
    디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법.
  9. 제 8 항에 있어서,
    상기 프런트 앱의 이전 이미지와 상기 프런트 앱의 현재 이미지 사이에서, 상기 투명 위치의 픽셀 집합을 비교하여, 상기 언더라잉 앱의 변경을 검출하는 단계에서, 상기 투명 위치의 픽셀의 매직 코드를 확인하여 상기 드롭 이미지를 확인하는 단계;를 포함하는,
    디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법.
  10. 제 5 항에 있어서,
    상기 언더라잉 앱의 전체 이미지를 처리하여, 상기 사용자의 굴절력 이상 정도에 맞추어 보정한 이미지 프라임을 생성하는 단계는,
    상기 다층 MLA 구조의 단위 렌즈를 통해 눈으로 들어오는 상 이미지의 입사각을 상기 사용자의 눈의 각도로서 검출하는 단계로서, 상기 사용자의 눈과 상기 디스플레이 패널 간의 거리와, 상기 단위 렌즈와 상기 사용자 간의 방향에 기초하여, 상기 사용자의 눈의 각도을 검출하는 단계;
    상기 다층 MLA 구조의 단위 렌즈에 의해 이동된 상의 중심 위치를 찾아내는 단계로서, 상기 사용자의 눈과 평행한 상태에서의 렌즈의 중심 및 상기 이동된 상을 바라보는 눈의 각도를 기초로 하여, 상기 이동된 상의 중심 위치를 찾아내는 단계; 및
    상기 이동된 상의 중심 위치를 기준으로 상이 확대된 비율의 크기에 맞게 상을 추출하는 단계;를 포함하는,
    디스플레이 패널에서의 사용자의 굴절력 이상 보정을 위한 이미지 처리 방법.
PCT/KR2019/001908 2018-11-29 2019-02-18 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법 WO2020111389A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/297,177 US20220005158A1 (en) 2018-11-29 2019-02-18 Multi-layered mla structure for correcting refractive index abnormality of user, display panel, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180151089A KR101976759B1 (ko) 2018-11-29 2018-11-29 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법
KR10-2018-0151089 2018-11-29

Publications (1)

Publication Number Publication Date
WO2020111389A1 true WO2020111389A1 (ko) 2020-06-04

Family

ID=67774974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001908 WO2020111389A1 (ko) 2018-11-29 2019-02-18 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법

Country Status (3)

Country Link
US (1) US20220005158A1 (ko)
KR (1) KR101976759B1 (ko)
WO (1) WO2020111389A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485162B1 (ko) * 2020-09-08 2023-01-06 (주)세경하이테크 Pc층에 마이크로 렌즈 어레이가 직접 적용되는 휴대폰 데코레이션 필름 제조방법
KR102521202B1 (ko) * 2020-09-08 2023-04-25 (주)세경하이테크 Pc층에 마이크로 렌즈 어레이가 적용된 휴대폰 백커버 필름구조

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070216712A1 (en) * 2006-03-20 2007-09-20 John Louch Image transformation based on underlying data
KR101263669B1 (ko) * 2011-02-16 2013-05-22 에스케이플래닛 주식회사 화면 변화 적응형 영상처리 시스템
KR20130089632A (ko) * 2010-06-11 2013-08-12 백 인 포커스 사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법
WO2016072518A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 表示装置及び表示制御方法
KR20170074769A (ko) * 2015-12-22 2017-06-30 아이엠이씨 브이제트더블유 시력 교정 디스플레이

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100297691B1 (ko) 1998-12-11 2001-08-07 김순택 노안 보정 기구를 구비한 디스플레이 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070216712A1 (en) * 2006-03-20 2007-09-20 John Louch Image transformation based on underlying data
KR20130089632A (ko) * 2010-06-11 2013-08-12 백 인 포커스 사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법
KR101263669B1 (ko) * 2011-02-16 2013-05-22 에스케이플래닛 주식회사 화면 변화 적응형 영상처리 시스템
WO2016072518A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 表示装置及び表示制御方法
KR20170074769A (ko) * 2015-12-22 2017-06-30 아이엠이씨 브이제트더블유 시력 교정 디스플레이

Also Published As

Publication number Publication date
US20220005158A1 (en) 2022-01-06
KR101976759B1 (ko) 2019-08-28

Similar Documents

Publication Publication Date Title
WO2015129966A1 (en) Head mounted display providing closed-view and method of controlling therefor
WO2016068560A1 (ko) 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법
US9135504B2 (en) Method and system using two parallel optical character recognition processes
WO2013133664A1 (ko) 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
CN101295355B (zh) 面部图像获取装置
EP4148722A1 (en) Combining video-based and optic-based augmented reality in a near eye display
JP7480882B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
EP1909255A1 (en) Image display device
JP6736920B2 (ja) 診断支援装置及び診断支援方法
WO2020111389A1 (ko) 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법
EP2772724B1 (en) Device, method, and program for measuring diameter of cylindrical object
EP3574364A1 (en) Head-mounted display apparatus, and method thereof for generating 3d image information
CN102713967A (zh) 伪指确定装置及伪指确定方法
WO2012046964A2 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
WO2014065544A1 (ko) 차분 카메라를 이용한 영상처리 장치
WO2010095770A1 (ko) 입체영상 가시화를 위한 자동 피사계심도 조절 방법
WO2012165718A1 (ko) 아이 트래킹을 이용한 컨버전스 자동 조절 장치 및 그 방법
JP6726889B2 (ja) 映像表示システム
JP6436606B1 (ja) 医療映像システム
WO2022250238A1 (ko) 컴퓨터에의 정보 입력 시스템 및 이 정보 입력 시스템을 이용한 입력 정보의 좌표 산출 방법
WO2015111944A1 (ko) 복안형 표시장치
TR201606363A2 (tr) Çok işlevli bir algılama sistemi.
WO2018124799A1 (en) Imaging system
WO2022097999A1 (ko) 변형거울 없는 인공지능 적응광학 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891022

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19891022

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30/09/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19891022

Country of ref document: EP

Kind code of ref document: A1