KR101848526B1 - 사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법 - Google Patents

사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법 Download PDF

Info

Publication number
KR101848526B1
KR101848526B1 KR1020137000399A KR20137000399A KR101848526B1 KR 101848526 B1 KR101848526 B1 KR 101848526B1 KR 1020137000399 A KR1020137000399 A KR 1020137000399A KR 20137000399 A KR20137000399 A KR 20137000399A KR 101848526 B1 KR101848526 B1 KR 101848526B1
Authority
KR
South Korea
Prior art keywords
user
display
image
rendering
visual impairment
Prior art date
Application number
KR1020137000399A
Other languages
English (en)
Other versions
KR20130089632A (ko
Inventor
피에르 마르샹
에릭 피트
에르베 기르메
로익 트로크메
Original Assignee
백 인 포커스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 백 인 포커스 filed Critical 백 인 포커스
Publication of KR20130089632A publication Critical patent/KR20130089632A/ko
Application granted granted Critical
Publication of KR101848526B1 publication Critical patent/KR101848526B1/ko

Links

Images

Classifications

    • G06T5/80—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Abstract

디스플레이 상에 디스플레이될 때의, 사전 교정된 이미지가, 사용자가 오리지널 이미지의 디스플레이를 인식하기보다, 더 양호한 광학적인 포커스에 있는 것으로 사용자에 의해 인식되도록, 장치의 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 사전 교정된 이미지를 전자 장치의 디스플레이 상에서 렌더링하기 위한 시스템 및 방법이 제공된다. 본 방법의 단계는, 상기 디스플레이의 하드웨어 특징을 수신하는 단계와, 사용자의 시각적인 장애를 묘사하는 적어도 하나의 파라미터를 수신하는 단계와, 디스플레이가 사용자에 의해 보이는 상태를 묘사하는 적어도 하나의 파라미터를 수신하는 단계와, 동공 함수(pupil function)를 계산하는 단계와, 포인트 스프레드 함수(PSF:Point Spread Function)를 계산하는 단계와, 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 적어도 하나의 부분에 대응하는 사전 교정된 이미지를 계산하는 단계와, 상기 사전 교정된 이미지를 디스플레이 상에 렌더링하는 단계를 포함하여 구성된다.

Description

사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법{SYSTEMS AND METHODS FOR RENDERING A DISPLAY TO COMPENSATE FOR A VIEWER'S VISUAL IMPAIRMENT}
본 출원은, "디지털 이미지의 적응(Adaptation of Digital Images)"으로 명명되어, 2010년 6월 11일자로 출원되고, 본 명세서에 통합된 U.S. 예비 출원 번호 제61/397,537호의 이득을 우선권으로 청구한다.
일반적으로, 본 발명은, 시각적으로 장애가 있는 사람에 대한 사용자 인터페이스 분야, 특히 검안(optometry) 및 디지털 이미지 처리 분야에 관한 것이다.
소정의 눈의 장애를 교정하기 위해서, 수억 명의 사람들이 안경을 쓰고 있다. 특히, 노안(presbyopia: 또한 원시로도 불림)은 전세계의 12억 명 이상이 발생하고 있다. 정상적으로, 노안은 나이를 먹음에 따라 발현되며, 원근 조절(accommodation)의 자연 진행적인 상실과 연관된다. 흔히, 노안의 눈은, 변하는 거리에서 대상(object)에 대한 신속하고 용이한 리포커스(refocus)에 대한 능력을 상실한다. 또한, 근거리의 대상에 대한 포커스 능력의 상실일 수도 있다. 개인의 인생에 걸쳐서 그 상태는 진행하고, 노안의 영향은 통상 45세 이후에 현저해진다. 65세의 연령에서, 수정체 렌즈는 흔히 거의 모든 탄성을 상실하고, 형상 변경에 대한 제한된 능력만을 갖게 된다. 이 시각적인 장애는, 모바일 폰, 태블릿 컴퓨터, 카 내비게이션 시스템(GPS) 및 많은 그 밖의 장치에서의 개인용 디지털 디스플레이 장치의 사용에 있어서의 빠른 증가에 따라, 좌절하게 하는 영구적인 원인이 된다. 노안으로 고통받는 모바일 폰 사용자가 호출을 수신하지만, 호출자를 식별하기 위해서 디스플레이를 판독(읽기)하기 위해서, 또는 자동차 운전 중 GPS를 판독하기 위해서 자신의 안경을 찾는 시간을 갖지 못할 때, 불편하게 된다.
노안을 치료하기 위한 공지된 방법 및 장치는, 정시안적인 눈(emmetropic eye)의 시력에 접근하는 시력을 제공하기 위해서 탐색한다. 정시안적인 눈에 있어서, 원거리 대상과 근거리 대상 양쪽은, 눈의 원근 조절 성질에 기인해서, 명확히 보일 수 있다. 노안과 연관된 시력 문제를 해결하기 위해서, 전통적으로, 돋보기(reaing glasses)가 개별적으로 사용되어, 플러스 파워 디옵터를 눈에 부가하므로, 눈이 근거리 대상에 포커스되어 선명한 이미지를 유지하도록 하고 있다. 이 접근은, 원시(hyperopia 또는 farsightedness)의 접근과 유사하다. 또한, 노안은 2초점-안경(bi-focal eyeglasses)으로 치료되는데, 여기서 안경의 렌즈의 한 부분은 원거리 시력에 대해서 교정되고, 렌즈의 다른 부분은 근거리 시력에 대해서 교정된다. 이 원리의 더 발전된 실행은, 진보된 안경의 개념을 이끌어 낸다. 또한, 콘택트 렌즈 및 안구내 렌즈(IOL:intra-ocular lense)가 노안을 치료하는데 사용된다. 다른 접근은 2초점 또는 다중 초점 렌즈를 갖는 2측면 교정을 포함한다. 2초점 렌즈의 경우, 렌즈는 원거리 포인트(또는 원점) 및 근거리 포인트(또는 근점) 모두가 포커스되도록 만들어진다. 다중 초점의 경우, 근거리 타깃과 원거리 타깃 간의 다수의 초점이 존재한다.
선택적으로, 노안은, 시각적인 이미지(시각 상: visual image)가 망막에 직접 포커싱되기 보다는 망막의 배후에 포커싱되는 결과로서, 이미지가 흐릿해진다(blurred). 안경 또는 콘택트 렌즈의 사용은, 광선의 방향을 변경해서 시각적인 이미지가 망막의 배후보다 망막 상에 포커싱되게 하여, 선명한 이미지(또는 상)를 발생시킨다. 도 1은 불충분한 굴절력(refractive power)을 갖는 눈을 개략적으로 나타낸다. 이는, 노안의 사람이 근접한 대상을 보는 전형적인 경우이다. 포인트 소스에 의해 방출된 광은, 망막에 포커싱되는 대신, 망막의 배후에 포커싱된다. 이는, 사람이 포인트 대신 스팟(spot: 반점)을 보게 한다. 1차 근사에 대해서, 이 스팟은 디스크이다. 그런데, 회절, 난시와 같은 단색수차(monochromatic aberration) 및, 색수차와 같은 영향이 이 스폿이 보다 복잡한 형상을 갖게 할 수 있다. 이 스폿은, 전역적 광학 시스템의 포인트 스프레드 함수(PSF:Point Spread Function)로 불린다. 눈으로부터 동일 거리에 위치된 다중 포인트 소스로 구성되는 완전한 이미지를 볼 때, 각각의 포인트는 망막 상의 다른 위치에서 유사한 스폿을 생성한다. 이들 스폿은, 도 2에 나타낸 바와 같이 겹쳐지므로, 흐릿한 인상을 발생시킨다. 노안 또는 원시 이외의 시각적인 장애가 동일한 원리로 묘사될 수 있다.
겹치는 스폿에 의해 이미지 내에 모든 포인트를 재위치시키는 것에 대응하는 수학적인 연산은, 콘볼루션(convolution)으로 불린다. 돋보기와 같은 교정 렌즈는 손실된 굴력력을 눈에 부가하므로, 각 포인트의 이미지가 망막 또는 그 근방에 포커싱되게 하여, 작은 범위의 PSF를 생성하게 한다. 전자 장치의 스크린을 보는 시각적으로 장애가 있는 사람에 대해서는, 광학적인 교정 이외의 이 문제에 대해서 교정하기 위한 효과적인 방법은 없다. 눈 수준(예를 들어, 안경)보다 소스에서 직접적으로 시력을 교정하는 효과적인 해결책은 없다.
본 발명의 몇몇 실시형태의 목적은, 노안을 보상하기 위해서 디지털 이미지 처리를 사용하는 것이다.
일실시형태에 있어서는, 디스플레이 상에 디스플레이될 때의, 사전 교정된 이미지가, 사용자가 오리지널 이미지의 디스플레이를 인식하기보다, 더 양호한 광학적인 포커스에 있는 것으로 사용자에 의해 인식되도록, 장치의 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 사전 교정된 이미지를 전자 장치의 디스플레이 상에서 렌더링하기 위한 방법이 제공된다. 이 방법의 단계는, 상기 디스플레이의 하드웨어 특징을 수신하는 단계와, 사용자의 시각적인 장애를 묘사하는 적어도 하나의 파라미터를 수신하는 단계와, 디스플레이가 사용자에 의해 보이는 상태를 묘사하는 적어도 하나의 파라미터를 수신하는 단계와, 동공 함수(pupil function)를 계산하는 단계와, 포인트 스프레드 함수(PSF:Point Spread Function) 또는 광학적 전달 함수(OTF: optical trasnfer funtion)와 같은 눈의 광학 시스템(또는 눈의 광학계)의 이미징 능력을 표현하는 소정의 그 밖의 수학적으로 등가인 표현을 계산하는 단계와, 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 적어도 하나의 부분에 대응하는 사전 교정된 이미지를 계산하는 단계와, 상기 사전 교정된 이미지를 디스플레이 상에 렌더링하는 단계를 포함한다.
또 다른 실시형태에 있어서, 상기 디스플레이의 하드웨어 특징을 수신하는 단계는, 로컬 데이터베이스로부터 하드웨어 특징을 수신하는 단계를 포함한다.
또 다른 실시형태에 있어서, 사용자의 시각적인 장애를 묘사하는 파라미터를 수신하는 단계는, 원격 데이터베이스, 로컬 데이터베이스, 실시간 입력 또는 실시간 평가로부터 시각적인 장애 파라미터를 수신하는 단계 중 적어도 하나를 포함한다.
또 다른 실시형태에 있어서, 디스플레이가 사용자에 의해 보이는 상태를 묘사하는 파라미터를 수신하는 단계는, 실시간 평가, 실시간 입력 또는 로컬 데이터베이스로부터 디스플레이 상태 파라미터를 수신하는 단계 중 적어도 하나를 포함한다.
또 다른 실시형태에 있어서, 상기 전자 장치는, 모바일 텔레폰, 랩탑 컴퓨터, 데스크탑 컴퓨터, 태블릿 컴퓨터, 텔레비전, 내비게이션 시스템, 카 전자 대쉬보드(car electronic dashboard), 시계, 카메라, 전자 북, 미디어 플레이어, 비디오 게임 콘솔, 벤딩 머신, 헤드업 디스플레이로 이루어지는 그룹으로부터의 적어도 하나이다.
또 다른 실시형태에 있어서, 상기 시각적인 장애는, 근시(myopia), 난시(astigmatism), 노안(presbyopia) 및 원시(hyperopia)로 이루어진 그룹으로부터의 적어도 하나이다.
또 다른 실시형태에 있어서, 디스플레이의 하드웨어 특징을 수신하는 단계는, 화소 디멘전 및 간격, 디스플레이 폭 및 높이, 디스플레이 반사율, 방사 스펙트럼 및, 화소 값과 휘도 간의 관계로 이루어진 그룹으로부터 적어도 하나를 수신하는 단계를 포함한다.
또 다른 실시형태에 있어서, 시각적인 장애를 묘사하는 파라미터를 수신하는 단계는, 안경 프리스크립션(eyeglass prescription: 또는 돗수)의 시피어(Sphere) 파라미터, 안경 프리스크립션의 실린더 및 축 파라미터 및, 원근 조절(accommodation)의 측정으로 이루어진 그룹으로부터 적어도 하나의 파라미터를 수신하는 단계를 포함한다.
또 다른 실시형태에 있어서, 시각적인 장애를 묘사하는 파라미터를 수신하는 단계는, 눈의 파면 수차 맵(wave front aberration map)을 측정하는 단계 또는 눈의 원근 조절을 측정하는 단계를 포함한다.
또 다른 실시형태에 있어서, 디스플레이가 보이는 상태를 묘사하는 파라미터를 수신하는 단계는, 사용자의 눈과 스크린 간의 거리의 측정, 주변 광도 및, 사용자의 동공 사이즈의 측정 중 하나 이상을 수신하는 단계를 포함한다.
또 다른 실시형태에 있어서, 렌더링하는 단계는, 폰트 글리프(font glyph)를 렌더링하는 단계를 포함한다.
또 다른 실시형태에 있어서, 시각적인 장애를 묘사하는 파라미터를 수신하는 단계는, 구성 스테이지 동안 사용자로부터의 입력을 수신하거나, 다른 장치로부터의 입력을 수신하거나 또는 장치를 사용함으로써 시각적인 장애 파라미터를 측정하는 하나 이상의 단계를 포함한다.
또 다른 실시형태에 있어서, 사용자의 눈과 스크린 간의 거리를 사용자 입력함으로써 수신하는 단계 또는, 장치에 내장된 스피커 및 마이크로폰, 장치에 내장된 카메라, 적외선 전송기/수신기 또는 무선 빔 전송기/수신기 중 적어도 하나로부터의 측정을 수신함으로써 수행되는 상기 거리를 실시간으로 평가하는 단계를 더 포함한다.
또 다른 실시형태에 있어서, 내장된 주변 광 센서 또는 내장된 카메라로부터 측정을 수신함으로써, 동공 사이즈를 실시간으로 평가하는 단계가 수행된다.
또 다른 실시형태에 있어서, PSF를 계산하는 단계는, 디스플레이의 서브 화소 클래스 당 PSF를 계산하는 단계를 포함하여 구성되고, 디스플레이 상에 사전 교정된 이미지를 렌더링하는 단계는, 각각의 서브 화소에 대해서 사전 교정된 이미지를 렌더링하는 단계를 포함한다.
또 다른 실시형태에 있어서, 사전 교정된 이미지를 계산하는 단계는, 기울기 하강(gradient descent)을 채용하는 콘스트레인드 최적화 문제(constrained optimization problem) 또는 판 시터(van cittert) 알고리즘을 사용해서 수행된다.
또 다른 실시형태에 있어서, 상기 콘스트레인드 최적화 문제는, 휘도에 기인하는 눈 수용체(eye receptor)의 민감성의 변화를 설명하는 메트릭(metric)에 기반해서 수식화된다.
또 다른 실시형태에 있어서, 상기 콘스트레인드 최적화 문제는, 사용자에 의해 인식됨에 따라 전체 이미지 품질을 나타내는 목적 함수에 기반해서 수식화된다.
또 다른 실시형태에 있어서, 상기 메트릭은, 망막 이미지와 휘도 또는 화소 값 중 하나의 증가하는 함수를 사용함으로써 감쇄되는 콘트라스트를 갖는 기준의 그래픽적인 대상의 이미지 간의 불일치의 측정을 포함하여 구성된다.
또 다른 실시형태에 있어서, 상기 목적 함수는, 망막 이미지와 휘도 또는 화소 값의 증가하는 함수를 사용함으로써 감쇄되는 콘트라스트를 갖는 기준의 그래픽적인 대상의 이미지 간의 불일치의 측정 및 콘트라스트 감쇄의 크기에 기반한다.
또 다른 실시형태에 있어서, 사전 교정된 이미지는 비너 디콘볼루션(Wiener deconvolution)을 사용해서 계산된다.
또 다른 실시형태에 있어서, 계산된 사전 교정된 이미지는, 휘도 값 또는 화소 값 중 하나의 증가하는 함수를 사용해서 스케일된 화소 값을 포함한다.
또 다른 실시형태에 있어서, 사용자의 시각적인 장애를 묘사하는 파라미터와, 디스플레이가 보이는 상태를 묘사하는 파라미터는, 사용자에 의해 최상으로 보이는 이미지의 사용자 지정에 대한 그 밖의 추정을 사용해서 사전 교정된 이미지를 사용자에게 제시하는 단계를 포함하는 디코토미 테스트(dichotomy test: 또는 이분법 테스트)를 수행하는 단계에 의해 결정된다.
또 다른 실시형태에 있어서, 렌더링 단계는, 렌더링되는 이미지 부분의 선호도를 지정하는 단계를 더 포함한다.
또 다른 실시형태에 있어서는, 선호도를 지정하는 단계는, 디스플레이 상의 텍스트의 렌더링, 디스플레이의 특정 부분의 렌더링, 디스플레이 상의 이미지의 렌더링 및 렌더링 금지를 지정한다.
또 다른 실시형태에 있어서는, 사용자가 쓴 안경을 검출하기 위해서, 하드 키를 치거나, 옵션을 변화시키거나, 장치를 흔들거나 또는 내장된 카메라를 사용함으로써 렌더링을 가능 또는 불가능하게 한다.
또 다른 실시형태에 있어서는, 디스플레이 상에 디스플레이될 때의, 사전 교정된 이미지가, 사용자가 오리지널 이미지의 디스플레이를 인식하기보다, 더 양호한 광학적인 포커스에 있는 것으로 사용자에 의해 인식되도록, 장치의 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 사전 교정된 이미지를 전자 장치의 디스플레이 상에서 렌더링하기 위한 시스템이 제공된다. 이 시스템은, 컴퓨터 프로세서와; 상기 컴퓨터 프로세서에 접속된 메모리로서, 프로세서가, (1) 로컬 데이터로부터 디스플레이 스크린의 하드웨어 특징을 수신하고, (2) 원격 데이터베이스, 로컬 데이터베이스, 실시간 입력 또는 실시간 평가 중 적어도 하나로부터 사용자의 시각적인 장애를 묘사하는 파라미터를 수신하며, (3) 실시간 평가, 실시간 입력 또는 로컬 데이터베이스 중 적어도 하나로부터 디스플레이가 사용자에 의해 보이는 상태를 묘사하는 파라미터를 수신하고, (4) 동공 함수(pupil function)를 계산하며, (5) 포인트 스프레드 함수(PSF:Point Spread Function) 또는 광학적 전달 함수(OTF: optical trasnfer funtion)를 계산하고, (6) 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 적어도 하나의 부분에 대응하는 사전 교정된 이미지를 계산하며, (7) 상기 사전 교정된 이미지를 디스플레이 상에 렌더링하도록 하는, 메모리;를 포함한다.
또 다른 실시형태에 있어서, 프로세서에 의해 실행하기 위해 구성된 프로그램을 기억하기 위한 논트랜지토리(non-transitory) 컴퓨터 판독 가능한 기억 매체로서, 상기 프로그램은, 프로세서가, 데이터베이스로부터 디스플레이의 하드웨어 특징을 수신하고, 원격 데이터베이스, 로컬 데이터베이스, 실시간 입력 또는 실시간 평가로부터 사용자의 시각적인 장애를 묘사하는 파라미터를 수신하며, 실시간 평가, 실시간 입력 또는 로컬 데이터베이스 중 적어도 하나로부터 디스플레이가 사용자에 의해 보이는 상태를 묘사하는 파라미터를 수신하고, 동공 함수(pupil function)를 계산하며, 포인트 스프레드 함수(PSF:Point Spread Function) 또는 광학적 전달 함수(OTF: optical trasnfer funtion)를 계산하고, 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 적어도 하나의 부분에 대응하는 사전 교정된 이미지를 계산하며, 상기 사전 교정된 이미지를 전자 장치의 디스플레이 상에 렌더링하여, 사전 교정된 이미지의 디스플레이가 사용자가 오리지널 이미지의 디스플레이를 인식하기보다, 더 양호한 광학적인 포커스에 있는 것으로 사용자에 의해 인식되도록 적용된다.
상기와 같은 구성에 의하면, 노안을 보상하기 위한 디지털 이미지 처리를 제공하게 된다.
수반되는 도면은, 본 발명에 대한 추가적인 이해를 제공하며, 본 명세서에 통합되어 명세서의 일부를 구성하며, 본 발명의 원리를 설명하기 위해 사용되는 상세한 설명과 함께 본 발명의 실시형태를 설명한다. 도면에서,
도 1은 한 포인트 소스를 보는 노안의 눈의 망막 상의 스폿의 포메이션을 나타낸 도면,
도 2는 그 또는 그녀가 2 포인트 소스를 볼 때, 노안인 사람의 망막 상의 2개의 겹치는 스폿의 포메이션을 나타낸 도면,
도 3(a) 및 (b)는 시각적으로 장애가 없는 눈과 노안인 사람에 의해서 바라본 스마트폰의 디스플레이를 각각 개략적으로 나타낸 도면,
도 4(a) 및 (b)는 시각적으로 장애가 없는 사람과 노안인 사람에 의해서 각각 바라본 본 발명에 따른 스마트폰의 교정된 디스플레이를 각각 개략적으로 나타낸 도면,
도 5는 본 발명의 일례의 시스템 아키텍처를 나타낸 블록도,
도 6은 본 발명의 시력 보상 방법에 포함된 연속적인 단계들을 나타내는 흐름도,
도 7은 단색수차 PSF의 계산에 포함된 연속적인 단계들을 나타내는 흐름도,
도 8은 PSF의 계산의 기하학적 배경을 개략적으로 나타낸 도면,
도 9는 다색의(polychromatic) PSF의 계산을 나타낸 흐름도,
도 10은 기준 이미지가 어떻게 수신되는 지를 상세하게 나타낸 흐름도,
도 11은 윈도우 매니저 수준에서 사전 교정의 통합을 나타낸 흐름도,
도 12는 폰트 렌더링 라이브러리(library) 수준에서 사전 교정의 통합을 나타낸 흐름도이다.
이하, 수반되는 도면에 도시된 예를 참조로, 본 발명의 실시형태가 상세히 설명된다. 이하의 상세한 설명에 있어서는, 다수의 비제한적인 특정 설명이 본 명세서에 개시된 주제를 이해하는데 도움을 주도록 설명된다. 그런데, 본 기술 분야의 당업자에게 있어서는, 다양한 대안이, 본 발명의 범위를 벗어남이 없이 사용될 수 있고, 이들 특정한 상세한 설명 없이 실시될 수 있는 것이 명백하다. 예를 들어, 본 명세서에 개시된 주제는 디지털 플레이어를 포함하여 구성되는 다양한 개인용 전자 장치에서 실행될 수 있는 것은 본 기술 분야의 당업자에게 명백하다.
본 발명에 따른 해결책은 소프트웨어 기반이다. 눈에 의해 도입된 변형(예를 들어, 시력 장애 상태)이 알려진다면, 이 소프트웨어는, 조직화된 블러(blur)를 도입함으로써 사용자의 특정 시력 장애와 연관된 방법으로 이미지를 사전에 교정하여, 이 장애를 보상하고, 사용자가 더 깨끗한 이미지를 인식하게 한다.
이미지 복구로 불리는 디지털 이미지 처리의 분야에서는, 디포커스(defocuse) 또는 그 밖의 광학적인 섭동을 교정하고, 흐릿한 이미지로부터 오리지널 대상을 평가할 수 있게 하게 위해서, 흔히 (디콘볼루션으로 불리는) 기술이 사용된다. 본 발명의 디지털 이미지 처리의 사용은, 이미지 복구 기술로부터 도출되지만, 일반적으로 동작 순서의 역으로 도출된다: 디콘볼루션은 이미지가 눈에 의해 흐릿하게 되기 전에 적용된다. 본 발명의 목적을 위해서, 이러한 처리는 "사전-교정"으로 언급된다. 사전 교정된 이미지를 보는 디포커스된 눈은, 사전 교정의 효과를 소거시키고, 선명한 이미지를 보게 한다. 실제로, 사전 교정은 사용자에 디스플레이된 이미지를 수정하므로, 개별적인 화소에 의해 생성된 겹치는 스폿이 부분적으로 서로 무효화되고, 선명한 망막의 이미지를 생성한다. 도 3(a)는 오리지널 또는 기준 이미지의 예이다. 도 3(b)는 노안인 사람이 무엇을 보는지의 대응하는 시뮬레이션이다. 도 4(a)는 시뮬레이션 된 사전 교정된 이미지이다. 도 4(b)는 도 4(a)에서 볼 때, 동일 사람이 보는 것을 시뮬레이션한 도면이다. 콘트라스트가 감소될 수 있음에도, 디스플레이의 전반적인 가독성은, 도 4(b)에 나타낸 바와 같이, 도 3(b)와 비교해서 상당히 개선된다.
도 5는 본 발명에 따른 일례의 시스템(100)을 나타낸 블록도이다. 일례의 시스템(100)은, 사전 교정 모듈(117)에 의해 처리된 후 콘텐츠(예를 들어, 텍스트 및/또는 이미지)를 모니터(111) 상에 디스플레이하는 전자 장치(110)를 포함하여 구성되므로, 사용자가 시각적으로 장애가 있더라도(예를 들어, 노안(presbyopic) 또는 원시의 사용자), 사용자의 눈(101)이 콘텐츠를 선명하게 볼 수 있게 한다. 이미지는 교정되지 않은 눈(101)에 대한 망막(102) 상에 포커스되지 않지만, 여전히 선명한 이미지로서 인식된다.
도 6은 비제한적인 실시형태에 따른 처리 방법의 단계를 나타낸 흐름도이다. 단계 201a는 콘텍스트-의존 데이터를 수집한다. 콘텍스트-의존 데이터는, 장치가 사용자에 의해 보이는 상태를 나타낸다. 콘텍스트-의존 데이터는, 메모리(118) 내에 기억된다. 전형적으로, 콘텍스트-의존 데이터는, 동공 사이즈, 장치(110)와 눈(101) 간의 시거리(viewing distance) 및, 주변 광의 수준을 포함한다. 파라미터의 정확한 리스트는, 단계 202 동안, PSF 계산을 위해 사용된 모델에 의존한다. 몇몇 예에 있어서, 하나 이상의 이들 파라미터는 일정한 것으로 고려되며, 갱신될 필요가 없다. 예를 들어, 사용자의 정상 사용 상태 하에서, 자동차의 대시보드 내에 포함된 스크린과 운전자의 눈 간의 거리는 비교적 일정한 것으로 고려될 수 있다. 그 밖의 파라미터는, 장치가 사용된 상태가 변경될 때, 모듈(212)에 의해 갱신될 수 있다. 본 발명의 실시형태에 따르면, 모듈(212)은 내장된 센서(113)로부터 획득된 데이터를 사용해서 변경을 검출하고, 파라미터의 새로운 값을 평가한다.
일례로서, 이미지는 내장된 프론트 카메라로부터 수신될 수 있고, 사용자의 머리는, 사용자의 눈과 디스플레이 스크린 간의 거리를 평가하기 위해서, 통상적인 기술을 사용해서, 인식되고 측정될 수 있다. 또한, 통상적인 기술을 사용해서 사용자의 동공의 사이즈를 인식 및 측정하기 위해서, 이미지가 내장된 프론트 카메라로부터 수신될 수 있다. 또한, 주변 광 측정값이 내장된 광 센서로부터 수신될 수 있다.
통상적으로, 이러한 센서는, 스크린 백라이트의 명도(brightness)를 측정하기 위해서, 모바일 장치에 의해 사용된다. 동공 사이즈의 직접 측정이 장치에 의해 수행될 수 없으면, 동공 사이즈가 눈이 수신한 광의 세기에 의존하는 것을 고려해서, 동공 사이즈는, 주변 광과 장치 스크린에 의해 방사된 광의 세기 수준의 측정에 기반하는 모델을 사용해서 평가될 수 있다. 무선 빔(적외선, WiFi, 3GPP 등)이 사용자와 디스플레이 스크린 간의 거리를 평가하는데 사용될 수 있다. "헤드 트래킹 시스템(head tracking system)"으로 불리는 이 기술은, 게임 콘솔과 같은 장치에서 사용되고 있다. 무선 빔과 유사한 음향 신호가 장치 내의 스피커로부터 방사될 수 있고, 그 에코는 사용자와 디스플레이 스크린 간의 거리를 평가하기 위해서, 마이크로폰에 의해 검출된다. 주변 대상에 대한 거리를 평가하기 위해서 내장된 스피커와 마이크로폰을 사용하는, 스마트폰에 대한 애플리케이션이 공지되어 있다. 또한, 모션 검출(motion detection)은, 위치 변화를 검출하고 장치에 대한 사용자의 새로운 위치를 평가하기 위해서, 모션 센서(예를 들어, 가속도계, 자이로스코프 등)로부터 수신될 수 있다.
스텝 201b는 사용자-의존 데이터를 수집한다. 사용자-의존 데이터는, 사용자의 시각적인 장애를 특징짓는다. 콘텍스트-의존 데이터의 경우에 있어서와 같이, 사용자-의존 데이터는 메모리(120) 내에 기억될 수 있다. 사용자-의존 데이터는, 주어진 시거리 및 주어진 파장에 대한 사용자의 각각의 눈의 파면 수차 함수의 이산 평가로서 표현될 수 있다. 또한, 사용자-의존 데이터는, 예를 들어 원근 조절의 근거리 포인트(또는 근점)로서 표현된 사용자 원근 조절을 포함할 수 있다. 파라미터의 정확한 타입 및 본질은, 단계 202 동안 PSF 계산에 대해 사용된 모델에 의존한다. 모듈(122)은 다른 가능한 입력으로부터 사용자-의존 데이터를 계산 또는 획득한다. 예를 들어, 사용자는, 각각의 눈에 대한 스피어(S: Sphere), 실린더(C:Cylinder), 축(A: Axis) 파라미터인 안경 프리스크립션(eyeglass prescription: 또는 돗수)를 입력할 수 있다. 또한, 사용자는 추가적인 굴절력(ADD 또는 NV) 또는 원근 조절의 그 또는 그녀의 근거리 포인트의 자기 평가를 입력할 수 있다. 사용자가 새로운 파라미터를 입력할 때, 모듈(122)은 사용자-의존 데이터를 결정하고, 메모리(120)를 갱신한다. 이러한 파라미터로부터 파면 수차 함수의 계산을 위한 수학적인 모델은, 시력 검사의 당업자에게 널리 공지되어 있고, 제르니케 다항식(zernike polynomial)에 걸친 분해를 포함할 수 있다.
한편, 자가진단 프로그램이 구동될 수 있다. 이러한 프로그램은, 디스플레이, 예를 들어 휴대용 디스플레이 상에 사용자의 다른 패턴을 나타내고, 사용자가 그 또는 그녀가 패턴의 세부 사항을 보는지 또는 다른 디스플레이에 대해서와 비교해서 보이는지를 완벽한 용어로 입력하도록 요구한다. 선택적으로, 프로그램은, 공지된 역 새크-하트만(inverse Shack hartmann) 기술을 사용해서 더 정확하게 굴절 에러를 측정하기 위해서, 광학적인 요소와 연관될 수 있다. 한편, 자가진단 프로그램은, 다양한 전형적인 PSF를 상정하는 사용자 사전 교정된 차트 이미지를 나타내며, 그 파라미터는 사용자가 더 이상 장애를 보지 않을 때까지 디코토미(dichotomy)로 차례로 갱신될 수 있다. 모듈(122)은 사용자 의존 데이터의 평가를 도출하고, 자가진단 프로그램이 구동될 때마다 메모리(120)를 갱신한다.
다른 대안으로서, 사용자의 장치가 인터넷에 연결될 수 있으면, 사용자 의존 데이터가 인터넷을 통해 원격 데이터베이스로부터 검색될 수 있다. 이 데이터는, 상기된 대안 중 하나에 의해 수집된 후, 원격 데이터베이스 내에 사전에 기억될 수 있다. 또한, 데이터는, 예를 들어 새크-하트만 파면 센서를 사용해서 시력 측정 검사 후, 원격 데이터베이스 내에 기억될 수 있다.
다른 대안에 있어서, 하나의 개인용 장치(예를 들어, 스마트 폰, 태블릿 컴퓨터, 스마트 카드 등) 내에 기억된 사용자-의존 데이터는, 단거리 전송 수단(예를 들어, NFC, 블루투스 등)을 사용해서 또는 스마트 카드 접촉을 통해 다른 개인용 장치로 전달될 수 있다. 이들 언급된 대안 중 하나에 의해 수집된 후, 그 데이터는 개인용 장치 내에 미리 기억될 수 있다. 또한, 데이터는 상기된, 예를 들어 새크-하트만 파면 센서를 사용해서, 시력 측정 검사 후에 개인용 장치 내에 기억될 수도 있다.
단계 201c는 장치-의존 데이터를 수집한다. 장치-의존 데이터는, 단계 202 동안 PSF의 계산에 영향을 미치는 디스플레이 스크린의 특징(또는 특성)이다. 파라미터의 정확한 리스트 및 본질은, PSF 연산에 대해서 사용된 모델에 의존한다. 전형적으로, 이들은 화소(서브-화소) 사이즈, 각각의 화소 또는 서브-화소 클래스(예를 들어, 적색 서브-화소, 녹색 서브-화소 및 청색 서브-화소)의 방사 스펙트럼, 화소 값의 함수로서의(때때로, 감마 함수로 불림)의 화소 또는 서브-화소의 광도 및, 스크린 반사율(reflectivity)을 포함하여 구성된다. 이들 파라미터는 메모리(119) 내에 기억되고, 몇몇 경우 일정한 것으로 고려될 수 있다. 그런데, 메모리(119)는 스크린 광도 또는 그 밖의 캘리브레이션 값이 변경될 때 갱신될 수 있다.
단계 202는, 단계 201a, 201b, 201c 동안 수신된 데이터로부터 PSF를 계산한다(또는 광학적 전달 함수(OTF: optical transfer funtion)와 같은 눈의 광학 시스템의 이미징 능력의 소정의 그 밖의 등가 표현). 본 발명의 바람직한 실시형태에 의해서, 주어진 거리에서 사용자가 바라봄에 따라, PSF는 화소의 망막 컬러 이미지로서 정의되는데, 화소는 다수의 서브-화소를 포함하여 구성되고, 이들 각각은 도미넌트 컬러(dominant color)를 방사하지만 순수하게 단색적(monochromatic)일 필요는 없다. 본 명세서에서 설명되는 바와 같이, 다양한 방법이 단계 202 동안 사용될 수 있다.
도 7은, 화소가 단일 주파수의 광을 방출하는 것으로 가정될 때, 일례의 실시형태에 대한 단계 202의 서브 스텝 301-305를 나타낸다. 단계 301에서, 일반화된 망막 함수가 계산되고, 광파가 동공 내의 다른 위치에 대해서 눈의 광학 시스템에 의해 변경되는 지가 묘사된다. 동공 함수는 식 (1)에 따라 표현될 수 있다:
Figure 112013001476286-pct00001
여기서, α는 동공의 진폭 투과율(amplitude transmittance)이고, W는 파면 수차 함수, i=
Figure 112013001476286-pct00002
, k=2π/λ, λ는 파장이며, ρ 및θ는 동공의 극좌표이다.
W는 사용자-의존 데이터(예를 들어, 시각적인 장애 및 원근 조절), 콘텍스트-의존 데이터(예를 들어, 시거리) 및/또는 장치-의존 데이터(예를 들어, 파장 λ)의 함수이다.
이하 표현된 모델에 있어서, α는 동공의 원형 개구 내측에서 1의 값을 갖고, 외측에서 0의 값을 갖는다. 이 모델은 식 (2)에 따라 표현될 수 있다:
Figure 112013001476286-pct00003
여기서, D는 콘텍스트-의존 데이터로부터의 동공 사이즈이다.
몇몇 실시형태에 있어서, 광 방향에 의존하는 콘(cone)의 다양한 민감성이 있는 스타일-크로포드 효과(Stiles-Crawford effect)가 눈의 참 PSF에 대한 양호한 접근을 위해서 고려될 수 있다. 이러한 환경에서, 개구 내측에서 1의 상수 값을 갖는 α 대신, 다음 식 (3)이 사용될 수 있다:
Figure 112013001476286-pct00004
여기서, β는, 인구의 스타일-크로포드 효과의 평균 진폭을 나타내는 상수이고, 0.116mm-2를 취할 수 있다.
단계 302에서, 동공에 들어가는 광학 필드가 계산된다. 화소가 거리 z0에 위치된 디멘전 없는 포인트 소스인 가정을 사용하면, 동공으로 들어가는 이 필드는 식 (4)로 표현될 수 있다:
Figure 112013001476286-pct00005
여기서, A0는 포인트 소스의 진폭이다. 단계 303에서, 동공에서 나오는 필드는 식 (5)를 사용해서 계산된다:
Figure 112013001476286-pct00006
단계 304에서, 망막 평면 I 상의 필드가 계산된다. 몇몇 실시형태에 있어서, 제1종류의 레일리-좀머필드(Rayleigh-Sommerfeld) 회절 식이 사용될 수 있고, 식 (6)으로 표현된다:
Figure 112013001476286-pct00007
여기서, R은 망막의 포인트, Q는 동공의 포인트, dS는 동공 평면에 대한 정상적인 값 Q와
Figure 112017081086623-pct00008
을 포함하는 작은 표면 요소이다.
프로운호퍼(Fraunhofer) 근사로서 공지된 몇몇 가정 하에서, 회절 식, I(R)은 U(Q)의 역 푸리에 변환이 된다. 몇몇 실시형태는, 레일리-좀머필드(Rayleigh-Sommerfeld) 회절 식의 직접 계산 대신 역 고속 푸리에 변환(FFT: Fast Fourier Transform)을 사용할 수 있다.
단계 305에서, PSF는 자승 모듈로스로서 I(R)로부터 계산되며, 다음 식 (7)로 표현된다:
Figure 112013001476286-pct00009
결과적인 PSF는, 화소가 단일 파장 λ에서 광을 방출한다는 가정 하에서 계산됨에 따라, 단색의 PSF로 불릴 수 있다.
도 9는 주어진 서브 화소 클래스에 대한 다색의 PSF를 계산하는 일례의 실시형태에 대한 단계 202의 서브 단계를 나타낸다. 하나의 다색의 PSF는 서브 화소 클래스 마다 계산될 수 있다(예를 들어, 하나의 다색의 PSF가 적색 서버 화소 클래스, 녹색 서브 화소 클래스 및 청색 서브 화소 클래스의 각각에 대해 계산될 수 있다). 각각의 서브 화소 클래스는 장치 의존 데이터의 부분으로서 메모리(119) 내에 사전 기억될 수 있는 방사 스펙트럼으로 특징지어질 수 있다. 기억된 방사 스펙트럼은, 서브 화소 클래스의 컬러를 특징짓는 정상 주파수 주변의 다수의 주파수 스패닝(spanning: 간격)에서 서브 화소 클래스의 방사력을 나타내는 세트의 값으로 구성될 수 있다. 각각의 서브 화소 클래스에 대해서, 다색의 PSF는, 방사 스펙트럼의 부분인 각각의 주파수 λi에 대해서 계산된 후, 방사 스펙트럼으로부터의 전력 Wi가 곱해진 단색의 PSF의 가중된 평균을 계산함으로써 계산될 수 있다.
몇몇 실시형태에 있어서, 가중된 평균 이상의 항은, 명소 스펙트럼 민감성(photopic sepectral sensivity)으로 더 가중된다. 인간 망막의 평균 명소 스펙트럼 민감성 함수는 학술 문헌에서 발견할 수 있다.
눈과 같은 광학 시스템의 굴절력은 파장에 의존한다. 동일 포인트에서, 눈은 바람직하게는 단일 파장에 대해서만 포커스될 수 있다. 이 현상은, 소위 색수차로 귀결된다. 몇몇 실시형태에 있어서는, 단계 301에서 디포커스 서브 단계일 수 있는데, 파면 수차 함수는 파장에 의존하며, 이러한 색수차에 대해서 설명한다. 수행되는 디포커싱의 양은 학술 문헌으로부터 발견할 수 있다.
단계 203에서, 사전 교정 알고리즘에 의해 처리되는 이미지가 수신된다. 이 이미지는 기준 이미지로 불린다. 기준 이미지가 어떻게 수신되는 지는, 애플리케이션들이 구동하는 것을 막는 사용자 선호도 또는 표준에 기반할 수 있다. 도 10은 단계 203에서 수신된 이미지의 일례의 실시형태를 나타낸다. 단계 601에서, 사용자 선호도를 포함하는 메모리가 판독된다. 사용자는, 예를 들어 "텍스트 렌더링", "모두 렌더링", "애플리케이션 기반" 렌더링 또는 "아무것도 렌더링하지 않음"에 대한 그의 선호도를 설정할 수 있다. 단계 602는 선호도가 "텍스트 렌더링"으로 설정되면 수행되고, 단계 603은 선호도가 "모두 렌더링"으로 설정되면 수행되며, 단계 604는 선호도가 "애플리케이션 기반" 렌더링으로 설정되면 수행되고, 단계 204 및 205는 선호도가 "아무것도 렌더링하지 않음"으로 설정되면 수행되지 않을 수 있다.
몇몇 실시형태에 있어서는, 사용자가 장치 상의 전용의 하드 키를 치거나, 내장된 가속도계가 사전 교정 온/오프를 트리거하거나, 특정 방법으로 사용자가 장치를 흔들 때를 검출하면 또는, 사용자가 쓴(또는 안 쓴) 그의 안경을 검출하고 명령을, 예를 들어 소정의 단계 601-604를 실행하는 모듈로 전송하는 카메라에 의해, "아무것도 렌더링하지 않음"과 사전에 메모리에 기억된 선호도 간의 토글링이 수행될 수 있다. 이 명령은 사전 교정 프로세스를 온/오프 스위칭할 수 있다. 상기 기술은, 그가 사전에 교정/콘택트 렌즈를 쓰지 않는 것으로 사용자가 특정되면, 수행될 수 있다.
몇몇 실시형태에 있어서, 사용자에 디스플레이된 모든 텍스트는, 예를 들어 그가 선호도 메뉴 내의 옵션을 설정할 때, 사전 교정 프로세스가 턴온될 때까지, 큰 사이즈의 폰트를 사용해서 보일 수 있다.
단계 602에서는, 애플리케이션이 텍스트를 포함할 때, 텍스트는, (예를 들어, 오퍼레이팅 시스템(OS)의 또는 OS 상에서 실행되는 소프트웨어의) 폰트-렌더링 라이브러리를 사용해서, 하나 이상의 애플리케이션으로부터의 하나 이상의 모듈에 의해 수신될 수 있다. 폰트-렌더링 라이브러리는, 단계 204의 기준 이미지가 될 수 있는 작은, 오프-스크린 이미지 상의 적합한 텍스트를 출력 및/또는 렌더링하기 위해 사용될 수 있다.
단계 603에서, 오퍼레이팅 시스템 디스플레이 모듈(예를 들어, 합성의 윈도우 매니저)은, 자체 디스플레이의 몇몇 부분을 그리기 위해 애플리케이션을 요청하거나(예를 들어, 방법 또는 기능 호출에 의해), 자체 디스플레이의 몇몇 부분에 대한 애플리케이션으로부터 갱신을 수신할 수 있다. 몇몇 실시형태에 있어서, 갱신된/변경된 부분을 포함하는 애플리케이션 스크린 버퍼의 직사각형 또는 다른 부분은, 단계 204의 기준 이미지가 될 수 있다.
단계 604에서, 기준 이미지는 폰트 렌더링 라이브러리로부터 또는 오퍼레이팅 시스템 디스플레이 모듈로부터 수신될 수 있다. 텍스트는, 자체 서비스를 호출하는 애플리케이션이 텍스트 기반 애플리케이션이면 폰트 렌더링 라이브러리로부터 수신될 수 있는데, 텍스트 기반 애플리케이션은 이러한 애플리케이션의 사전 기억된 리스트 내에 포함될 수 있다(예를 들어, SMS, 이메일, 접촉 리스트, 호출자 ID). 몇몇 실시형태에 있어서, 애플리케이션 디스플레이의 갱신 부분을 포함하는 이미지는, 애플리케이션이 이미지 기반 애플리케이션이면, 오퍼레이팅 시스템 디스플레이 모듈로부터 수신될 수 있는데, 이 이미지 기반 애플리케이션은 사전-기억된 리스트 내에 포함될 수 있다(예를 들어, 포토 매니저, 내비게이션 애플리케이션).
단계 204에서, 단계 203에서 수신된 기준 이미지는 사전 교정된다. 기준 이미지는, 각각의 서브 화소 클래스에 대응하는 제한된 수의 1 성분 이미지로 구성될 수 있다. 몇몇 실시형태에 있어서, 예를 들어, xref가 이러한 이미지이고, 휘도 값을 사용해서 표현되며, himp는 시각적으로 장애가 있는 사용자의 눈의 PSF의 대응하는 성분인 것으로 상정할 수 있다. 적합한 좌표계 및 샘플링 거리가 사용되는 것으로 상정하면, 눈의 망막 상에 형성된 이미지의 이산 평가 fref는, 이미지가 디스플레이될 때, 식 (8)로 표현될 수 있다;
Figure 112013001476286-pct00010
여기서, *는 이산 콘볼루션 오퍼레이터이다. 몇몇 실시형태에 있어서, 사전 교정은 이미지 xcor의 계산으로 이루어지므로, 이러한 이미지가 xref 대신 디스플레이 될 때, 이미지 fcor를 망막 상에 생성하도록 하는데, 이 이미지는 식 (9)로 표현될 수 있다:
Figure 112013001476286-pct00011
이미지 fcor는 fref 보다 "양호한 품질"일 수 있다. "양호한 품질"은, 본 명세서에서, 사용자가 양호한 성능으로 장치의 그의 사용에 대한 정확한 임무(예를 들어, 작은 에러를 갖고 디스플레이되는 텍스트를 읽는 것과 같은)를 수행할 수 있는 것을 의미한다.
xcor는 식 (10)으로 표현될 수 있다:
Figure 112013001476286-pct00012
여기서, fobj는 이상적인 망막 이미지이고, d는 fcor와 fobj 간의 인식된 차이를 정량화한 메트릭이다. 최소화는, 장치에 의해 정확하게 디스플레이될 수 있는 이미지 x를 포함하는 영역 D 상에서 수행될 수 있다. D는, 블랙의 휘도보다 낮지 않고, 최대 휘도보다 높지 않은 화소 값을 갖는 이미지의 세트이다.
fobj의 값, d 및 식 (10)을 풀기 위해 사용된 수치 계산법에 대한 선택이, 다양한 실시형태를 이끌어 낼 수 있다.
몇몇 실시형태에 있어서, xatt는 xref의 콘트라스트 감쇄 버전일 수 있다. 각각의 휘도 값 xref(i)는, 증가 함수 R을 사용해서 xatt(i)=R(xref(i))로 다시 스케일될 수 있다. 스크린의 최소 및 최대 휘도 값 vmin 및 vmax은, vo=R(vmin) 및 v1=R(vmax)으로 각각 맵(map)되는데, 여기서, vo 및 v1는 식(11)로 표현된 부등식을 만족시킨다:
Figure 112013001476286-pct00013
R은 식 (12)로 표현된 휘도의 선형 함수일 수 있다:
Figure 112013001476286-pct00014
대안적으로, R은 식 (13)으로 표현된 화소 값의 선형 함수일 수 있다:
Figure 112013001476286-pct00015
여기서, L은 화소 값을 휘도 값으로 변환하는 디스플레이 함수이고
Figure 112013001476286-pct00016
=L-1(v0) 및
Figure 112013001476286-pct00017
=L-1(v1)은 콘트라스트 감쇄된 이미지의 최소 및 최대 화소 값이며,
Figure 112013001476286-pct00018
=L-1(v0) 및
Figure 112013001476286-pct00019
=L-1(v0)은 스크린의 최소 및 최대 화소 값이다.
fobj는 xatt로 설정될 수 있고, 망막 이미지는 xatt가 디스플레이될 때, 단일 포인트에 대해 제한된 PSF를 갖는 완전히 포커스된 눈에 의해 생성된다.
한편, fobj는 fobj=xatt*href로 설정될 수 있는데, 여기서 href는 상기된 방법으로 평가된 장애가 없는 눈의 현실적인 PSF이다. href는, 사용자의 동공과 동일한 사이즈의 동공을 갖는, 스크린 상에 포커스된 회절 제한된 눈의 PSF일 수 있다. 몇몇 실시형태에 있어서, href는 정상적인 색수차를 설명하기 위한 다색 PSF일 수도 있다.
메트릭 d는, 몇몇이 공지된 다양한 메트릭으로부터 선택될 수 있다. 특정 메트릭의 선택은 본 발명의 정신 및 범위를 변경할 수 없다.
몇몇 실시형태에 있어서, d는 유클리드의 메트릭일 수 있다.
한편, d는 휘도에 기인해서 눈의 수용체의 변화하는 민감성에 대해서 설명하는 메트릭일 수 있는데, 식 (14)로 표현될 수 있다:
Figure 112013001476286-pct00020
여기서, p는 휘도 값에 대한 밝기 값(subjective brightness value)과 연관된 비선형 함수이다. 몇몇 실시형태에 있어서, p는, 예를 들어 화소 값을 휘도 값으로 변환하는 디스플레이 함수의 역 L-1일 수 있다. 몇몇 실시형태에 있어서, x(i) 및 y(i)는 이미지 x 및 y 각각의 화소 i의 휘도 값일 수 있다.
식 (10)은 다양한 공지된 기술을 사용해서 풀 수 있다. 특정 기술의 선택은 본 발명의 정신 또는 범위를 변경하지 않는다.
d가 유클리드의 메트릭일 때, 식 (10)에 대한 해는, 위너 디콘볼루션(Wiener deconvolution)을 사용해서 평가될 수 있는데, 식 (15)로 표현될 수 있다:
Figure 112013001476286-pct00021
여기서, Xcor, Himp 및 Fobj는 xcor, himp 및 fobj 각각의 이산 푸리에 변환(discrete Fourier transform)이며, H* imp는 Himp의 복소 공액이다. 이미지 내에서, 복구 문제가 노이즈의 전력 스펙트럼 밀도에 연결되어 있는 K는, 본 명세서에서, 고주파를 Xcor로 제한하는 정규화 파라미터로서 작용할 수 있고, 따라서 홀수는 vmin 보다 작은 값을 나타내거나 vmax 보다 큰 값을 나타낼 수 있다. 이러한 값이 xcor 내에 여전히 존재하면, 이 값은 이미지 xcor을 달성하기 위해서 클램프되는데, 이 이미지는 스크린에 의해 디스플레이될 수 있고, 식 (16)으로 표현될 수 있는 이미지를 포함하는 영역 D에 속한다:
Figure 112013001476286-pct00022
몇몇 실시형태에 있어서, 식 (10)은 콘스트레인드 최적화 알고리즘을 사용해서 풀 수 있다. d가 유클리드의 메트릭이면, 이차함수 문제를 풀기 위한 공지된 알고리즘이 사용될 수 있다. d가 식 (14)에 의해 정의되면, 여기서 p는 분석적인 차동 함수이며, 최적화는 기울기 하강(gradient descent) 방법을 사용해서 수행될 수 있다.
몇몇 실시형태에 있어서는, 기울기 하강 방법에 대한 대안으로서, 최적화는 잰손(Jaanson) 기술을 사용해서 적용된 제약을 갖는 판 시터(van cittert) 알고리즘을 사용해서 수행될 수 있다.
몇몇 실시형태에 있어서는, 기울기 하강 기술 또는 반 시터 알고리즘과 같은 비너 디콘볼루션(wiener deconvolution) 및 반복 알고리즘에 대한 대안으로서, 기울기 하강 기술 또는 반 시터 알고리즘이, 비너 디콘볼루션의 결과로 그들의 값을 최소화한 후, 사용될 수 있다.
몇몇 실시형태에 있어서, 사전 교정된 이미지는 각각의 컬러 성분에 대해서 식 (10)을 풀지 않고 결정될 수 있다. 한편, 각각의 서브 화소 클래스 xcor1, xcor2 등에 대한 사전 교정된 이미지는, "양호한 품질"로 보이는 이미지를 만들기 위한 콘트라스트 감쇄를 사용하기 위해서, 동시에 그리고 함수 R과 함께 결정될 수 있다. 식 (12) 또는 (13)에 따라, 함수 R이 파라미터 vo 및 v1에 의해 특징지어지면, 교정된 이미지는 식 (17)로 표현될 수 있다.
Figure 112013001476286-pct00023
여기서, J는 서브 화소 클래스의 수, Vopt0과 vopt1은 최상의 함수 R을 특징짓는 파라미터이고, Q는 d(xcorj, fobjj)에 의존하고, 큰트라스트 감쇄의 크기에 의존하는 함수이다. 함수 Q에 대한 선택은 본 발명의 정신 또는 범위를 변경하지 않는다.
몇몇 실시형태에 있어서, 눈의 비선형 휘도 민감성, Q를 설명하는 메트릭 d는, 식 (18)로 표현될 수 있다.
Figure 112013001476286-pct00024
여기서, n은 서브 화소의 수이고, μ는 인식된 화상 품질에서 콘트라스트 감쇄의 상대적인 분포를 정량화하는 상수 파라미터이다.
몇몇 실시형태에 있어서, PSF는 물리적인 양의 근사일 뿐인 데이터로부터 계산될 수 있다. 예를 들어, 사용자의 동공 사이즈는 중요한 신뢰 구간을 갖고 측정되거나 평가될 수 있으며, 사용자의 시각적인 장애를 묘사하는 파라미터는 눈의 광학 시스템의 행동을 완전하게 특징짓지 못한다. 몇몇 실시형태에 있어서, PSF 상의 결론적인 불확실성에 대한 설명을 위해서, 단일 PSF로부터 계산된 fobj와 fcor 간의 인식된 차이를 최소화하는 대신, fobj와 복수의 PSF로부터 계산된 한 세트의 fcor 간의 차이를 최소화할 수 있다. 다른 실시형태는, 불확정의 파라미터의 확률 분포에 의존해서 메트릭 d 또는 함수 Q 대신 확률 함수를 정의하고, 기대치와 같은 확률 함수로부터 계산된 인덱스를 최소화할 수 있다.
몇몇 사용자에 대해서, 각각의 눈은 상당히 다른 장애로 영향받을 수 있으므로, 다른 PSF를 생성하고, 결과적으로 다른 사전 교정을 생성한다. 몇몇 실시형태에 있어서, 이러한 시나리오를 적절하게 해결하기 위해서, 단일 PSF는 양쪽 눈의 PSF를 조합하거나 또는 양쪽 눈의 조합된 사용자 의존 데이터로부터의 단일 PSF를 계산함으로써 계산될 수 있다. 이 조합은, 예를 들어 PSF 샘플의 산술 평균 또는 S.C.A. 시력 파라미터와 같은 사용자 의존 데이터일 수 있다. 한편, 다른 수학적인 조합이 사용될 수 있다.
사용자의 각각의 눈이 다른 장애로 영향받을 수 있는 경우를 더 잘 해결하기 위해서, 몇몇 실시형태에 있어서는, 각각의 눈에 대해서 다른 이미지를 보일 수 있는 내장된 오토스테레오스코픽(autostereoscopic) 모니터가 있을 수 있다. 이러한 시나리오에 있어서, 각각의 눈의 PSF는 기억될 수 있고, 2개의 대응하는 사전 교정이 각각의 그래픽적인/이미지 요소에 대해서 계산될 수 있다.
사용자의 각각의 눈이 다른 장애로 영향받을 수 있는 경우를 더 잘 해결하기 위해서, 몇몇 실시형태에 있어서는, 복수의 옵션이 선호도로서 사용자에게 제시될 수 있다. 이 옵션은, 오토스테레오스코픽 모니터의 2개의 요소에 적용됨에 따라, 예를 들면 오른쪽 눈 만의 PSF를 사용하는 사전 교정, 왼쪽 눈 만의 PSF를 사용하는 사전 교정, 왼쪽 오른쪽 눈의 양쪽 PSF의 조합으로부터 귀결되는 PSF를 사용하는 사전 교정 또는, 왼쪽 오른쪽 눈의 양쪽 PSF를 사용해서 수행되는 사전 교정을 포함할 수 있다.
몇몇 실시형태에 있어서, 각 시간마다 수행되는 처리 량을 제한하기 위해서, 새로운 내용이 사용자에 대해 디스플레이하기 위해서 이용될 수 있거나 또는, 현재 디스플레이된 내용의 일부를 갱신/변경해야 하는 각각의 시간에, 단계 204가 2개의 서브 단계로 분리될 수 있다. 우선, 사전 교정된 이미지는, 모든 화소 값이 0으로 설정될 수 있고, 하나의 중심 화소의 값이 각각의 서브 화소 클래스에 대해서 자체의 최대 휘도로 설정될 수 있는 특정 이미지에 대해서 계산될 수 있다. 결과적인 사전 교정된 이미지는 "역 PSF"로 불리며, 메모리 내에 기억될 수 있다. 실제 이미지의 사전 교정은, 역 PSF와 기준 이미지를 콘볼빙함으로써 수행될 수 있다. 몇몇 실시형태에 있어서, 콘볼루션은, (a) 메모리 내에 기억될 수 있는 역 PSF의 푸리에 변환 및 고속 푸리에 변환(FFT)을 기준 이미지에 적용함으로써, (b) 역 PSF의 푸리에 변환으로 포인트 마다의 곱을 수행함으로써, 그리고 (c) 역 FFT를 곱의 결과에 적용함으로써, 주파수 영역 내에서 수행될 수 있다.
도 6은 기준 이미지를 사전 교정하기 위한 일례의 단계 201-205를 나타낸다. 단계 201-205는 각각의 새로운 기준 이미지에 대해서 반복될 필요는 없다. 몇몇 실시형태에 있어서, 캐싱(caching) 기술이 처리 량을 제한하기 위해서 사용될 수 있다. 캐싱 기술은, 예를 들어, (a) PSF가 메모리(114) 내에 기억되고, 단계 202 동안 자체 계산이, 수신된 데이터 변경이 있을 때 수행될 수 있고, (b) 단계 204로부터의 결과적인 사전 교정된 이미지가, 동일 기준 이미지가, 예를 들어 단계 203 동안 다시 수신되는 것으로 결정되면, 메모리(114) 내에 기억될 수 있는 것을 포함한다. 몇몇 실시형태에 있어서, 텍스트를 사전 교정할 때, 사전 교정은 각각의 문자에 대해서 분리되어 수행될 수 있고, 사전 교정된 문자들이 기억될 수 있다. 사전 교정된 문자가 기억될 때, 그 다음 시간 텍스트는 동일한 문자를 동일 사이즈로 포함하고, 문자에 대한 단계 204의 실행은 메모리(114)로부터 기억된 문자를 검색하기 위해서 제한될 수 있다. 몇몇 실시형태에 있어서, 단계 204가 상기된 바와 같이 역 PSF를 사용하면, 역 PSF는 PSF와 함께 메모리(114)에 기억될 수 있으므로, 단계 204는, 미래에, 역 PSF를 검색하고 콘볼루션을 수행하는 것이 제한된다.
몇몇 실시형태에 있어서, 단계 205는 사전 교정된 이미지를 출력/디스플레이한다.
도 11은 사전 교정 프로세스의 일례의 실시형태를 나타낸다. 도 11에 나타낸 바와 같이, 사전 교정 모듈은 합성의 윈도우 매니저(702)로 불리며, 그 다음 스크린 버퍼(704)를 수정함으로써 사전 교정된 이미지를 디스플레이한다. 합성의 윈도우 매니저는 오퍼레이팅 시스템의 고전적인 컴포넌트인데, 스크린 버퍼(704)에 전체 그래픽 인터페이스를 그리기 전에, 각각의 애플리케이션의 오프 스크린 버퍼(703)를 종합한다. 이 실시형태에 있어서, 사전 교정은 애플리케이션의 디스플레이를 스크린 버퍼 내에 합성하는 동안 실행될 수 있고, 단계 203에서 수신된 기준 이미지를 포함하는 스크린 버퍼 또는 스크린 버퍼의 부분에 적용할 수 있다.
이 실행은, 사용자의 선호도가 "모두 렌더링"으로 설정될 때 적합할 수 있다(상기된 바와 같이).
도 12는 사전 교정 프로세스의 일례의 실시형태를 나타낸다. 도 12에 나타낸 바와 같이, 사전 교정 모듈은 오퍼레이팅 시스템의 폰트 렌더링 모듈(802)로 불리는데, 이는 그 다음 결론적인 사전 교정된 텍스트를 그린다. 이 실시형태는, 사용자 선호도가 "텍스트 렌더링"으로 설정될 때 사용될 수 있다. 애플리케이션(801)이 텍스트를 디스플레이할 필요가 있을 때, 사전 교정은 폰트 렌더링 모듈(802)에 의해 수행될 수 있는데, 이 폰트 렌더링 모듈(802)은, 예를 들어 에일리어싱 제거(anti aliasing)와 같은 렌더링 효과를 실행함에 따라 사전 교정을 실행할 수 있다.
100 - 시스템, 120 - 메모리,
115 PSF 갱신 모듈, 122 - 모듈(122).

Claims (29)

  1. 디스플레이 상에 디스플레이될 때의, 사전 교정된 이미지가, 사용자가 오리지널 이미지의 디스플레이를 인식하기보다, 더 양호한 광학적인 포커스에 있는 것으로 사용자에 의해 인식되도록, 장치의 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 사전 교정된 이미지를 전자 장치의 디스플레이 상에서 렌더링하기 위한 컴퓨터 실행 방법으로서,
    상기 디스플레이의 하드웨어 특징을 수신하는 단계;
    사용자의 시각적인 장애를 묘사하는 적어도 하나의 파라미터를 수신하는 단계로서, 상기 파라미터가 시피어(Sphere) 파라미터, 실린더 및 축 파라미터, 원근 조절(accommodation)의 근거리 포인트, 또는 사용자의 시각적인 장애를 묘사하는 다른 수학적으로 등가인 파라미터 세트로 이루어진 그룹으로부터의 적어도 하나인 단계;
    디스플레이가 사용자에 의해 보이는 상태를 묘사하는 적어도 하나의 파라미터를 수신하는 단계;
    사용자의 시각적인 장애를 묘사하는 적어도 하나의 파라미터를 사용해서, 포인트 스프레드 함수(PSF:Point Spread Function), 또는 광학적 전달 함수(OTF: optical transfer funtion)를 포함하는 눈의 광학 시스템의 이미징 능력의 다른 수학적으로 등가의 표현을 직접 계산하는 단계;
    하드웨어 특징에 따라 디스플레이될 수 있는 이미지 세트에 의해 결정된 제약에 따라 사전 교정된 이미지의 인식된 품질을 최대화하는 기울기 하강(gradient descending) 기술 또는 잰손(Jaanson) 기술과 같은 최적화 기술을 사용해서, 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 적어도 하나의 부분에 대응하는 사전 교정된 이미지를 계산하는 단계; 및
    상기 사전 교정된 이미지를 디스플레이 상에 렌더링하는 단계를 포함하며,
    상기 렌더링하는 단계는, 상기 오리지널 이미지의 텍스트가 아닌 요소에 대한 교정과 분리하여, 오퍼레이팅 시스템의 폰트 렌더링 모듈에 의해 렌더링 효과가 수행됨에 따라 실행된 오리지널 이미지의 텍스트 요소의 분리된 사전 교정을 포함하여 구성되는 것을 특징으로 하는 컴퓨터 실행 방법.
  2. 청구항 1에 있어서,
    사용자의 시각적인 장애를 묘사하는 적어도 하나의 파라미터를 수신하는 단계는, 원격 데이터베이스, 로컬 데이터베이스, 실시간 입력 또는 실시간 평가로부터 시각적인 장애 파라미터를 수신하는 단계 중 적어도 하나를 포함하여 구성되는 것을 특징으로 하는 컴퓨터 실행 방법.
  3. 청구항 1에 있어서,
    디스플레이가 사용자에 의해 보이는 상태를 묘사하는 적어도 하나의 파라미터를 수신하는 단계는, 렌더링 동안 실시간 평가, 실시간 입력 또는 로컬 데이터베이스로부터 디스플레이 상태 파라미터를 수신하는 단계 중 적어도 하나를 포함하여 구성되는 것을 특징으로 하는 컴퓨터 실행 방법.
  4. 청구항 1에 있어서,
    디스플레이의 하드웨어 특징을 수신하는 단계는, 화소 디멘전 및 간격, 디스플레이 폭 및 높이, 디스플레이 반사율, 각각의 서브 화소 클래스의 방사 스펙트럼 및, 화소 값과 휘도 간의 관계로 이루어진 그룹으로부터 적어도 하나를 수신하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 실행 방법.
  5. 청구항 1에 있어서,
    디스플레이가 보이는 상태를 묘사하는 파라미터를 수신하는 단계는, 사용자의 눈과 스크린 간의 거리의 측정, 주변 광도 및, 사용자의 동공 사이즈의 측정 중 하나 이상을 수신하는 단계를 포함하여 구성되는 것을 특징으로 하는 컴퓨터 실행 방법.
  6. 삭제
  7. 청구항 1에 있어서,
    PSF를 계산하는 단계는, 서브 화소 클래스의 방사 스펙트럼과 사용자의 망막의 평균 명소 스펙트럼 민감성(photopic sepectral sensivity) 함수를 사용해서, 디스플레이의 서브 화소 클래스 당 다색의 PSF를 계산하는 단계를 포함하여 구성되고,
    디스플레이 상에 사전 교정된 이미지를 렌더링하는 단계는, 각각의 서브 화소 클래스에 대해서 사전 교정된 이미지를 렌더링하는 단계를 포함하여 구성되는 것을 특징으로 하는 컴퓨터 실행 방법.
  8. 청구항 1에 있어서,
    사전 교정된 이미지를 계산하는 단계는, 상기 기울기 하강(gradient descent) 기술을 채용하는 최적화 기술 또는 판 시터(van cittert) 알고리즘을 사용해서 수행되는 것을 특징으로 하는 컴퓨터 실행 방법.
  9. 청구항 1에 있어서,
    상기 최적화 기술은, 휘도에 기인하는 눈 수용체(eye receptor)의 민감성의 변화를 포함하여 구성되는 메트릭(metric)에 기반해서 수식화되는 것을 특징으로 하는 컴퓨터 실행 방법.
  10. 청구항 1에 있어서,
    상기 최적화 기술은, 사용자에 의해 인식됨에 따라 전체 이미지 품질을 나타내는 목적 함수에 기반해서 수식화되는 것을 특징으로 하는 컴퓨터 실행 방법.
  11. 청구항 1에 있어서,
    사용자의 시각적인 장애를 묘사하는 파라미터와, 디스플레이가 보이는 상태를 묘사하는 파라미터로부터의 적어도 하나는, 그 밖의 추정을 사용해서 사전 교정된 이미지를 사용자에게 제시하는 단계를 포함하여 구성되는 디코토미 테스트(dichotomy test)를 수행함으로써 결정되는 것을 특징으로 하는 컴퓨터 실행 방법.
  12. 청구항 1에 있어서,
    사용자가 쓴 안경을 검출하기 위해서, 옵션을 변화시키거나, 장치를 흔들거나 또는 내장된 카메라를 사용함으로써 렌더링을 가능 또는 불가능하게 하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 컴퓨터 실행 방법.
  13. 청구항 1에 있어서,
    사전 교정은, 오른쪽 눈만의 PSF, 왼쪽 눈만의 PSF 또는, 왼쪽 오른쪽 눈의 양쪽 PSF의 조합으로부터 귀결되는 PSF 또는, 왼쪽 오른쪽 눈의 양쪽 PSF를 사용해서 수행되고, 2개의 사전 교정 결과를 오토스테레오스코픽(autostereoscopic) 모니터의 2개의 요소에 적용함으로써, 수행되는 것을 특징으로 하는 컴퓨터 실행 방법.
  14. 디스플레이 상에 디스플레이될 때의, 사전 교정된 이미지가, 사용자가 오리지널 이미지의 디스플레이를 인식하기보다, 더 양호한 광학적인 포커스에 있는 것으로 사용자에 의해 인식되도록, 장치의 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 사전 교정된 이미지를 전자 장치의 디스플레이 상에서 렌더링하기 위한 시스템으로서,
    컴퓨터 프로세서와;
    상기 컴퓨터 프로세서에 접속된 메모리로서, 프로세서가,
    (1) 로컬 데이터베이스로부터 디스플레이 스크린의 하드웨어 특징을 수신하고,
    (2) 원격 데이터베이스, 로컬 데이터베이스, 실시간 입력 또는 실시간 평가 중 적어도 하나로부터 사용자의 시각적인 장애를 묘사하는 파라미터를 수신하며, 상기 파라미터가 시피어(Sphere) 파라미터, 실린더 및 축 파라미터와, 원근 조절(accommodation)의 근거리 포인트로 이루어진 그룹으로부터의 적어도 하나이며,
    (3) 실시간 평가, 실시간 입력 또는 로컬 데이터베이스 중 적어도 하나로부터 디스플레이가 사용자에 의해 보이는 상태를 묘사하는 파라미터를 수신하고,
    (4) 사용자의 시각적인 장애를 묘사하는 파라미터를 사용해서, 포인트 스프레드 함수(PSF:Point Spread Function) 또는, 광학적 전달 함수(OTF: optical transfer funtion)를 포함하는 눈의 광학 시스템의 이미징 능력의 다른 수학적으로 등가의 표현을, 계산하며,
    (5) 하드웨어 특징에 따라 디스플레이될 수 있는 이미지 세트에 의해 결정된 제약에 따라 사전 교정된 이미지의 인식된 품질을 최대화하는 기울기 하강(gradient descending) 기술 또는 잰손(Jaanson) 기술과 같은 최적화 기술을 사용해서, 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 적어도 하나의 부분에 대응하는 사전 교정된 이미지를 계산하고,
    (6) 상기 사전 교정된 이미지를 디스플레이 상에 렌더링하도록 하는, 명령을 포함하는 메모리;를 포함하며,
    상기 사전 교정된 이미지를 디스플레이 상에 렌더링하는 것은 상기 오리지널 이미지의 텍스트가 아닌 요소에 대한 교정과 분리하여, 오퍼레이팅 시스템의 폰트 렌더링 모듈에 의해 렌더링 효과가 수행됨에 따라 실행된 오리지널 이미지의 텍스트 요소의 분리된 사전 교정을 포함하여 구성되는 것을 특징으로 하는 시스템.
  15. 프로세서에 의해 실행하기 위해 구성된 프로그램을 기억하기 위한 논트랜지토리(non-transitory) 컴퓨터 판독 가능한 기억 매체로서,
    상기 프로그램은, 실행될 때, 프로세서가,
    데이터베이스로부터 디스플레이의 하드웨어 특징을 수신하고,
    원격 데이터베이스, 로컬 데이터베이스, 실시간 입력 또는 실시간 평가로부터 사용자의 시각적인 장애를 묘사하는 파라미터를 수신하며, 상기 파라미터가 시피어(Sphere) 파라미터, 실린더 및 축 파라미터와, 원근 조절(accommodation)의 근거리 포인트로 이루어진 그룹으로부터의 적어도 하나이며,
    실시간 평가, 실시간 입력 또는 로컬 데이터베이스 중 적어도 하나로부터 디스플레이가 사용자에 의해 보이는 상태를 묘사하는 파라미터를 수신하고,
    사용자의 시각적인 장애를 묘사하는 파라미터를 사용해서, 포인트 스프레드 함수(PSF:Point Spread Function) 또는, 광학적 전달 함수(OTF: optical transfer funtion)를 포함하는 눈의 광학 시스템의 이미징 능력의 다른 수학적으로 등가의 표현을, 계산하며,
    하드웨어 특징에 따라 디스플레이될 수 있는 이미지 세트에 의해 결정된 제약에 따라 사전 교정된 이미지의 인식된 품질을 최대화하는 기울기 하강(gradient descending) 기술 또는 잰손(Jaanson) 기술과 같은 최적화 기술을 사용해서, 사용자의 시각적인 장애를 보상하기 위해서, 오리지널 이미지의 적어도 하나의 부분에 대응하는 사전 교정된 이미지를 계산하고,
    상기 사전 교정된 이미지를 전자 장치의 디스플레이 상에 렌더링하여, 사전 교정된 이미지의 디스플레이가 사용자가 오리지널 이미지의 디스플레이를 인식하기보다, 더 양호한 광학적인 포커스에 있는 것으로 사용자에 의해 인식되도록, 적용되며,
    상기 사전 교정된 이미지를 디스플레이 상에 렌더링하는 것은 상기 오리지널 이미지의 텍스트가 아닌 요소에 대한 교정과 분리하여, 오퍼레이팅 시스템의 폰트 렌더링 모듈에 의해 렌더링 효과가 수행됨에 따라 실행된 오리지널 이미지의 텍스트 요소의 분리된 사전 교정을 포함하여 구성되는 것을 특징으로 하는 논트랜지토리 컴퓨터 판독 가능한 기억 매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
KR1020137000399A 2010-06-11 2011-06-10 사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법 KR101848526B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39753710P 2010-06-11 2010-06-11
US61/397,537 2010-06-11
PCT/US2011/039993 WO2011156721A1 (en) 2010-06-11 2011-06-10 Systems and methods for rendering a display to compensate for a viewer's visual impairment

Publications (2)

Publication Number Publication Date
KR20130089632A KR20130089632A (ko) 2013-08-12
KR101848526B1 true KR101848526B1 (ko) 2018-04-12

Family

ID=45098428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137000399A KR101848526B1 (ko) 2010-06-11 2011-06-10 사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법

Country Status (6)

Country Link
US (1) US9852496B2 (ko)
EP (1) EP2580709A4 (ko)
JP (1) JP5921533B2 (ko)
KR (1) KR101848526B1 (ko)
CN (1) CN103026367B (ko)
WO (1) WO2011156721A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8421851B2 (en) 2010-01-04 2013-04-16 Sony Corporation Vision correction for high frame rate TVs with shutter glasses
US20120092514A1 (en) * 2010-10-19 2012-04-19 Canon Kabushiki Kaisha Image-capture device, a method of correcting images, and a non-transitory computer-readable storage medium
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
USRE47984E1 (en) 2012-07-02 2020-05-12 Nvidia Corporation Near-eye optical deconvolution displays
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
FR3005194B1 (fr) * 2013-04-25 2016-09-23 Essilor Int Procede de personnalisation d'un dispositif electronique afficheur d'image
CN104216151B (zh) 2013-05-31 2017-11-14 国际商业机器公司 液晶显示器的自动调焦装置和方法
DE102013106420A1 (de) * 2013-06-19 2014-12-24 Heidelberg Engineering Gmbh Verfahren zum Ausrichten eines Systems und System zum Erfassen von Positionsdaten wenigstens eines Elementes im vorderen Bereich eines Auges
US9582075B2 (en) 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
JP6307805B2 (ja) 2013-07-24 2018-04-11 富士通株式会社 画像処理装置、電子機器、眼鏡特性判定方法および眼鏡特性判定プログラム
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
CN103531094A (zh) * 2013-09-22 2014-01-22 明基材料有限公司 自动调整影像焦距的显示系统及方法
JP2015094788A (ja) * 2013-11-08 2015-05-18 富士通株式会社 表示装置および表示制御プログラム
TWI516804B (zh) * 2014-01-02 2016-01-11 廣達電腦股份有限公司 頭戴式顯示裝置及其背光調整方法
JP2015206816A (ja) * 2014-04-17 2015-11-19 富士通株式会社 表示プログラム、表示装置及び表示方法
US20150356714A1 (en) * 2014-06-08 2015-12-10 Mehran Moalem System and method for using digital displays without optical correction devices
JP6617705B2 (ja) * 2014-07-30 2019-12-11 株式会社ソシオネクスト 画像補正装置及び映像コンテンツ再生装置
CN104483754A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
WO2016093071A1 (ja) * 2014-12-10 2016-06-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2016094928A1 (en) * 2014-12-18 2016-06-23 Halgo Pty Limited Replicating effects of optical lenses
CN104618710B (zh) * 2015-01-08 2017-01-18 左旺孟 基于增强光场显示的视觉缺陷校正系统
CN107850777B (zh) * 2015-04-22 2021-10-22 易赛特股份有限公司 光学像差校正的方法和装置
CN104905761B (zh) * 2015-06-02 2018-09-07 杭州镜之镜科技有限公司 个人用眼监控系统
NL2015183B1 (en) * 2015-07-16 2017-02-02 Rabbit-Eyes B V Display device and text display method that make use of a font defining variable ray direction dependent distributions.
WO2017026942A1 (en) * 2015-08-11 2017-02-16 Chai Wei Kuo Andrew Apparatus for display adjustment and method thereof
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
CN105208366A (zh) * 2015-09-16 2015-12-30 云南师范大学 一种用于近视患者立体视觉增强的方法
US20170205977A1 (en) * 2016-01-18 2017-07-20 Michael Benjamin Selkowe Fertik Methods for displaying an e-book using a combination of colors for text and background that have a reduced myopiagenic effect
KR101803407B1 (ko) * 2016-10-19 2017-11-30 주식회사 픽셀 디스플레이 디스플레이를 제어하기 위한 사용자 장치 및 컴퓨터 판독 가능 저장 매체에 저장된 프로그램
KR20180048125A (ko) 2016-11-02 2018-05-10 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
CN106775303B (zh) * 2016-11-29 2020-05-05 珠海格力电器股份有限公司 一种终端显示内容的调节方法和系统
CN106791792B (zh) * 2016-12-16 2019-05-14 宇龙计算机通信科技(深圳)有限公司 调节vr设备显示影像的方法及系统
CN110381811A (zh) * 2017-03-04 2019-10-25 迪内希·维斯瓦·古纳塞克朗 视觉表现评估
EP3454317A1 (en) 2017-09-08 2019-03-13 Visibil GmbH Electronic glasses and method operating them
CN107800868A (zh) * 2017-09-21 2018-03-13 维沃移动通信有限公司 一种图像显示方法及移动终端
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
CN108665469B (zh) * 2017-11-09 2021-08-17 胡秀川 一种视力损伤监控报警方法
CN108074246B (zh) * 2017-11-09 2021-08-06 深圳市明瞳视光科技有限公司 视力损伤监控系统
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
CN108537113B (zh) * 2018-03-02 2019-01-04 黄润梓 眼睛伤害度评估方法
US11353699B2 (en) 2018-03-09 2022-06-07 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
US11693239B2 (en) 2018-03-09 2023-07-04 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
CA3021636A1 (en) 2018-10-22 2020-04-22 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
WO2019190174A1 (en) * 2018-03-26 2019-10-03 Samsung Electronics Co., Ltd. Electronic device for monitoring health of eyes of user and method for operating the same
CN108733335B (zh) * 2018-03-30 2021-11-09 斑马网络技术有限公司 车载显示屏的显示界面适配系统及其应用
US10860099B2 (en) 2018-10-22 2020-12-08 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US11287883B2 (en) 2018-10-22 2022-03-29 Evolution Optiks Limited Light field device, pixel rendering method therefor, and adjusted vision perception system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US10936064B2 (en) 2018-10-22 2021-03-02 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US10761604B2 (en) 2018-10-22 2020-09-01 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US10636116B1 (en) 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
KR101976759B1 (ko) * 2018-11-29 2019-08-28 주식회사 픽셀로 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US10967736B2 (en) * 2019-01-21 2021-04-06 International Business Machines Corporation Vehicle dashboard
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11410078B2 (en) * 2019-03-11 2022-08-09 Nxp B.V. Method and data processing system for making machine learning model more resistent to adversarial examples
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
WO2020219446A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
US20220240772A1 (en) * 2019-05-09 2022-08-04 Evolution Optiks Limited Corrective light field display profile management, communication and integration system and method
US11650421B1 (en) * 2019-05-23 2023-05-16 Meta Platforms Technologies, Llc Wearable display solutions for presbyopic ametropia
WO2021038422A2 (en) 2019-08-26 2021-03-04 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US20220058999A1 (en) 2020-08-18 2022-02-24 Roka Labs, Inc. Automated vision care diagnostics and digitally compensated smart eyewear

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010924A (ja) * 2005-06-29 2007-01-18 Pro Saido Kk 画面表示装置
US20070216712A1 (en) * 2006-03-20 2007-09-20 John Louch Image transformation based on underlying data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347507B2 (ja) * 1995-02-15 2002-11-20 ホーヤ株式会社 眼光学系のシミュレーション装置
JP3552413B2 (ja) * 1995-07-25 2004-08-11 株式会社豊田中央研究所 画像処理装置
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6648473B2 (en) 2001-11-13 2003-11-18 Philadelphia Retina Endowment Fund High-resolution retina imaging and eye aberration diagnostics using stochastic parallel perturbation gradient descent optimization adaptive optics
EP1570374A4 (en) * 2002-10-16 2010-06-02 Korea Electronics Telecomm METHOD AND SYSTEM FOR THE ADAPTIVE TRANSFORMATION OF VISUAL CONTENT ACCORDING TO THE USER SYMPTOMS OF LOW-VISION IMPAIRMENT AND THE USER PRESENTATION PREFERENCES
JP4082591B2 (ja) * 2003-05-20 2008-04-30 インターナショナル・ビジネス・マシーンズ・コーポレーション データ編集装置及びプログラム
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
EP1536399A1 (en) * 2003-11-26 2005-06-01 Barco N.V. Method and device for visual masking of defects in matrix displays by using characteristics of the human vision system
JP4897497B2 (ja) * 2004-02-20 2012-03-14 ヴィズイクス・インコーポレーテッド 目の診断および治療のための容積点広がり関数
JP4464726B2 (ja) * 2004-03-30 2010-05-19 株式会社トプコン 眼科装置
JP4846985B2 (ja) * 2004-04-20 2011-12-28 セイコーオプティカルプロダクツ株式会社 光学特性補間方法、眼鏡装用シミュレーション画像処理方法、眼鏡装用シミュレーション画像処理装置、眼鏡レンズの評価方法、眼鏡レンズの評価装置
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
JP4677647B2 (ja) * 2005-11-04 2011-04-27 末雄 杉本 画像処理装置、コンピュータ、及び画像形成装置
KR100801086B1 (ko) * 2006-05-22 2008-02-11 삼성전자주식회사 영상 기기의 화질 보정을 위한 장치, 및 방법
US20070286514A1 (en) 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
US8213734B2 (en) 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010924A (ja) * 2005-06-29 2007-01-18 Pro Saido Kk 画面表示装置
US20070216712A1 (en) * 2006-03-20 2007-09-20 John Louch Image transformation based on underlying data

Also Published As

Publication number Publication date
CN103026367B (zh) 2017-07-04
EP2580709A1 (en) 2013-04-17
US20130120390A1 (en) 2013-05-16
KR20130089632A (ko) 2013-08-12
JP2013528115A (ja) 2013-07-08
US9852496B2 (en) 2017-12-26
CN103026367A (zh) 2013-04-03
JP5921533B2 (ja) 2016-05-24
WO2011156721A1 (en) 2011-12-15
EP2580709A4 (en) 2016-05-25

Similar Documents

Publication Publication Date Title
KR101848526B1 (ko) 사용자의 시각적인 장애를 보상하기 위해 디스플레이를 렌더링하는 시스템 및 방법
US9986906B2 (en) Wavefront generation for ophthalmic applications
CA2682624C (en) An apparatus and method for augmenting sight
US20180218642A1 (en) Altered Vision Via Streamed Optical Remapping
US11178389B2 (en) Self-calibrating display device
US10706281B2 (en) Controlling focal parameters of a head mounted display based on estimated user age
WO2018101015A1 (ja) 眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズ発注装置、眼鏡レンズ受注装置、眼鏡レンズ受発注システム、累進屈折力レンズ、単焦点レンズ
US10921586B2 (en) Image processing method and apparatus in virtual reality device
US20190295507A1 (en) Adaptive Rendering of Virtual and Augmented Displays to Improve Display Quality for Users Having Different Visual Abilities
US20220151488A1 (en) Computer-implemented method and system for interactively measuring ocular refractive errors, addition and power of reading glasses
CN111588345A (zh) 眼部疾病检测方法、ar眼镜及可读存储介质
CN115607101A (zh) 视力检测装置、方法以及系统及非暂态电脑可读取纪录媒体
JP3347514B2 (ja) 眼光学系のシミュレーション装置
WO2017026942A1 (en) Apparatus for display adjustment and method thereof
WO2019206905A9 (en) Method for determining to which extent a lens design is adapted to a user
CN113960800B (zh) 增强现实设备及其屈光度调节方法、存储介质
CN111163680A (zh) 用于适配个人的视觉和/或视觉运动行为的方法和系统
US20220058999A1 (en) Automated vision care diagnostics and digitally compensated smart eyewear
WO2023148372A1 (en) A computer-implemented systems and methods for interactively measuring either or both sides of the interval of clear vision of the eye
CN111784608A (zh) 显示数据处理方法、装置、显示设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant