KR102162339B1 - 전자 디스플레이들의 근시유발적 효과를 감소시키기 위한 방법 및 장치 - Google Patents

전자 디스플레이들의 근시유발적 효과를 감소시키기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102162339B1
KR102162339B1 KR1020187023751A KR20187023751A KR102162339B1 KR 102162339 B1 KR102162339 B1 KR 102162339B1 KR 1020187023751 A KR1020187023751 A KR 1020187023751A KR 20187023751 A KR20187023751 A KR 20187023751A KR 102162339 B1 KR102162339 B1 KR 102162339B1
Authority
KR
South Korea
Prior art keywords
color
frame
pixels
pixel
cones
Prior art date
Application number
KR1020187023751A
Other languages
English (en)
Other versions
KR20180123477A (ko
Inventor
마이클 벤자민 셀코프 페르티크
토마스 더블유. 주니어 샬버그
데이빗 윌리엄 올슨
Original Assignee
웨이브시프트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이브시프트 엘엘씨 filed Critical 웨이브시프트 엘엘씨
Publication of KR20180123477A publication Critical patent/KR20180123477A/ko
Application granted granted Critical
Publication of KR102162339B1 publication Critical patent/KR102162339B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B5/00—ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B25/00—ICT specially adapted for hybridisation; ICT specially adapted for gene or protein expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

시청자 눈의 원추 자극의 상대적인 레벨에 기초하여 프레임에 대한 초기 이미지 데이터를 수정하는 방법 및 장치가 개시되며, 상기 수정된 이미지 데이터는 시청자의 눈에서 인접한 원추들 간의 대비를 감소시킨다.

Description

전자 디스플레이들의 근시유발적 효과를 감소시키기 위한 방법 및 장치
관련 출원간 상호 참조
본 출원은 2016년 1월 18일자로 출원된 "전자 디스플레이들의 근시유발적 효과들의 평가 및 감소"라는 제목의 가출원 제 62/279,954호의 이익을 향유한다. 이 우선권 출원의 전체 내용은 본 명세서에 참조로써 포함된다.
전자 디스플레이들은 오늘날의 세계에서 보편적이다. 예를 들어, 스마트폰들 및 태블릿 컴퓨터들과 같은 모바일 디바이스들은 일반적으로 액정 디스플레이(LCD) 또는 유기 발광 다이오드(OLED) 디스플레이를 사용한다. LCD들 및 OLED 디스플레이들 둘 모두는 평면 패널 디스플레이들의 예시들이며 데스크톱 모니터들, TV들 및 자동차 및 항공기 디스플레이들에도 사용된다.
많은 LCD 및 OLED 디스플레이들을 비롯한 많은 색 디스플레이들은 공간적으로 색을 합성한다. 다른 말로 하면, 각 픽셀은 상이한 색을 제공하는 세 개의 서브-픽셀들로 구성된다. 예를 들어, 각 픽셀은 적색, 녹색 또는 청색 서브-픽셀, 또는 청록색, 자홍색 또는 노란색 서브-픽셀을 가질 수 있다. 시청자에 의해 감지(perceive)되는 픽셀의 색은 세 개의 서브-픽셀들 각각으로부터의 빛의 상대적 비율에 따른다.
디스플레이에 대한 색 정보는 일반적으로 RGB 신호로 인코딩되므로 신호는 각 프레임에서 각 신호에 대한 픽셀 색의 적색, 녹색 및 청색 컴포넌트들 각각에 대한 값으로 구성된다. 의도된 색이 디스플레이에 의해 재생산되도록 디스플레이에서 고유의 비선형성을 보정하기 위해 신호를 강도 또는 전압으로 변환하기 위한 소위 감마 보정이 사용된다.
색 과학 분야에서 정보 디스플레이에 적용할 때, 색들은 종종 휘도(luminance)에 관계없이 색의 객관적 사양인 색도(chromaticity)로 특정된다. 색도는 종종 색조(h)와 포화(s)로 특정되는 두 개의 독립 파라미터들로 구성된다. 색 공간들 (예를 들어, 1931 CIE XYZ 색 공간 또는 CIELUV 색 공간)은 일반적으로 색도를 정량화하는데 사용된다. 예를 들어, 색 공간에서 좌표로 표현될 때, 픽셀의 색조는 디스플레이의 흰색 점을 기준으로 한 좌표의 각(angle) 컴포넌트이며 포화는 방사형 컴포넌트이다. 한 색 공간에서 색 좌표들이 특정되면 다른 색 공간들로 변환하는 것이 가능하다.
인간은 원추 세포들 또는 단순히 원추들이라고 불리는 광수용체 세포들의 신호들에 반응하여 색을 감지한다. 원추들은 중추 및 말초 망막 전체에 걸쳐 존재하며, 중심 황반에서 0.3mm 직경의 로드(rod)가 없는 영역인 중심와(fovea centralis)에 가장 밀집되어 있다. 중심와에서 멀리 떨어지면서, 망막의 주변부로 갈수록 원추들의 숫자는 줄어든다. 인간의 눈에는 약 6백만~7백만 개의 원추들이 있다.
인간은 일반적으로 반응 곡선이 가시 광선 스펙트럼의 상이한 파장에서 피킹(peaking)하는 세 가지 유형의 원추들을 가지고 있다. 도 1a는 각 원추 유형에 대한 반응 곡선들을 도시한다. 여기서 가로축은 빛의 파장(nm 단위)를 도시하고, 수직적 축은 반응도를 도시한다. 이 도면에서, 곡선들은 각 원추 아래의 영역이 같고 선형 눈금에서 10까지 가산되도록 스케일이 조정되었었다. 제1 유형의 원추는 긴 파장의 빛에 가장 많이 반응하고 약 560nm에서 피킹하며 L로 오랫동안 지정된다. L 원추들에 대한 스펙트럼 반응 곡선은 곡선 A로 도시된다. 제2 유형은 중간 파장의 빛에 가장 많이 반응하고 530nm에서 피킹하며 중간 파장을 위한 M으로 축약된다. 이 반응 곡선은 도 1a의 곡선 B이다. 제3 번째 유형은 단파장 빛에 가장 많이 반응하고 420nm에서 피킹하며 곡선 C로 도시된 것처럼 단파장을 위한 S로 지정된다. 세 가지 유형들은 각각 564-580nm, 534-545nm 및 420-440nm 부근에서 전형적인 피크 파장들을 가지며 피크 및 흡수 스펙트럼은 개인들마다 다르다. 세 개의 원추형들로부터 수신된 신호들의 차이는 상대방의 색각(color vision) 대립 프로세스를 통해 두뇌가 지속적인 색들의 범위를 감지하도록 한다.
일반적으로 각 원추형의 상대적 수는 다를 수 있다. S-원추들은 대개 전체 원추들의 5-7%를 차지하지만 L과 M 원추들의 비율은 5% L/95% M에서 95% L/5% M까지 개인들마다 크게 다를 수 있다. L과 M 원추들의 비율은 상이한 종족들의 구성원들 사이에도 또한 다를 수 있으며, 백인들은 평균 50/50 L:M 아시아인들은 평균 63% L 원뿔들에 가까운 것으로 여겨진다 (예를 들어, US 8,951,729 참조). 색각은 L과 M 원추들의 비율에 영향을 미친다. 양성자들은 0% L 원추들을 가지며 중수소들은 0% M 원추들을 가진다. 도 1b를 참조하면, 원추들은 일반적으로 망막 상에 모자이크로 배열된다. 이 예시에서 L 및 M 원추들은 대략적으로 동일한 수로 분포되어 있으며 S 원추들은 적게 분포되어 있다. 따라서, 전자 디스플레이 상에서 이미지를 시청할 때, 특정한 픽셀에 대한 인간의 눈의 반응은 그 픽셀과 망막 상에 픽셀이 이미지화되는 곳의 색에 따를 것이다.
야외 햇빛에 대한 노출은 근시의 위험 인자가 아니라는 것이 그 기술분야에는 공지되어있다 (예를 들어, Jones, L.A. 등 Invest.Ophthalmol.Vis.Sci.48, 3524-3532 (2007) 참조). 햇빛은 대립 색각 시스템을 유발하지 않기 때문에 (즉, 햇빛은 적색이나 녹색이 아니며 청색이나 노란색이 아님) 등가 에너지(EE) 광원으로 고려된다. EE 광원은 CIE 1931 색 공간 다이어그램에서 '흰색 점'을 표현하며, 이는 도 1c에 도시된다. 햇빛과 같은 EE 광원에 대한 시각적 노출과는 반대로, M 원추들에 비해 L 원추들의 과도한 자극은 발달중인 인간의 눈에서 비대칭적 성장을 유도하여 근시로 이어진다고 최근에 기술되었었다 (예를 들어, 특허 출원 WO 2012/145672 A1 참조). 이것은 적색 및 고 대비(contrast)를 포함하여, 통상적으로 포화가 높은 이미지들을 디스플레이하도록 최적화된 전자 디스플레이들에게 중요한 영향을 미친다. 이미지에서 적색-색조 픽셀들의 포화를 감소 시키거나, 특히 적색이 녹색의 양을 초과하는 픽셀들에서, 픽셀의 색에서 적색의 상대적 양을 녹색까지 감소시킴으로써 디스플레이들의 근시유발적 효과가 감소될 수 있다고 여겨진다.
보다 최근의 발견은 이웃한 원추들 사이의 전반적인 대비가 근시로 이끄는 눈의 비대칭 성장을 자극한다고 규정한다. 이것은 예를 들어, M 원추들에 비해 L 원추들의 과도한 자극일 수 있지만, 그러한 종류의 대비에만 국한되지는 않는다. 이 발견은 망막 전체에 걸친 L 대 M의 전반적인 비율과는 대조적으로, 이웃한 원추들에서의 자극의 차이가 중요함을 규정한다.
본 발명은 통상의 기술자에게 익숙한 현재의 방법들에 비하여, 근시유발성의 레벨을 결정하고 그것을 감소시킬 수 있는 새로운 방식들, 알고리즘들 및 디바이스들을 설명하기 위한 최근의 생물학적 발견들 모두를 기초로 한다. 따라서, 다른 양태들 중에서, 본 개시는 시청자의 이미지에 대한 보정의 인식을 최소화하면서 디스플레이들의 근시유발적 효과를 특징으로 하고 및/또는 이를 감소시키는 방법들을 구성들로 하며, 망막 내의 이웃하는 원추들 간의 대비를 특징으로 하고 및/또는 대비를 감소시킨다.
일반적으로, 기술된 근시유발 감소 기법들은 다양한 방식들로 구현될 수 있다. 예를 들어, 이 기법들은 독립형 셋톱 박스를 통한 TV 세트들 또는 하드웨어 (예를 들어, 이미지 프로세싱 칩) 및/또는 TV 세트 자체를 가진 소프트웨어 통합, 케이블 박스 또는 TV 세트에 접속하는 다른 제품을 통해 구현될 수 있다. TV 세트들 이외에, 이 기법들은 컴퓨터 모니터들, 모바일 디바이스들, 자동차 디스플레이, 항공 디스플레이들, 웨어러블 디스플레이들 및 색 디스플레이들을 사용하는 다른 애플리케이션들에서 구현될 수 있다.
일부 실시예들에서, 콘텐츠의 색 구성표는 최종 사용자에게 전달되기 전에 수정되어 최종 사용자는 임의의 추가 하드웨어 또는 소프트웨어를 사용하지 않고도 근시유발 감소의 이점을 얻을 수 있다. 예를 들어, 근시유발 감소 콘텐츠는 인터넷을 통해 또는 케이블 제공자로부터 최종 사용자에게 전달될 수 있다.
자극의 근시유발적 효과를 정량화하기 위한 기법들 또한 개시된다. 그런 기법들은 자극에 대한 상이한 근시유발 감소 알고리즘들의 비교를 허용한다. 구현예들은 근시유발에 대한 자극의 색도 기여도 (예를 들어, 이미지에 얼마나 많은 적색이 존재 하는가) 및 공간 기여도 (예를 들어, 이미지에 고-대비 고 공간 주파수 콘텐츠가 얼마나 많이 존재 하는가) 둘 모두를 또한 설명한다.
본 발명의 다양한 양태들이 아래에 요약된다.
일반적으로, 제1 양태에서, 발명은 방법으로서 프로세싱 디바이스에 의해, 복수의 픽셀들을 포함하는 프레임 fi에 대한 초기 이미지 데이터를 수신하는 단계, 상기 프레임 fi 내의 각 픽셀에 대한 데이터는 상기 프로세싱 디바이스의 각각의 클록 사이클 동안 시퀀스적으로 수신되고, 제1 색에 대한 값 ri, 제2 색에 대한 값 gi, 제3 색에 대한 값 bi를 포함하며; 상기 프로세싱 디바이스에 의해, 상기 픽셀들의 서브세트에 대한 데이터 상의 동작들 중 시퀀스의 동작들을 동시에 수행함으로서, 상기 프레임 fi에 대응하는 프레임 fm에 대한 수정된 이미지 데이터를 생산하는 단계, 상기 시퀀스의 상이한 동작은 상기 서브세트의 상이한 픽셀에 대한 데이터 상에서 클록 사이클마다 수행되고, 상기 시퀀스의 상기 동작들은 대응하는 시퀀스적 클록 사이클들 동안 각 픽셀에 대한 데이터 상에서 시퀀스적으로 수행되며, 상기 시퀀스의 상기 동작들은 (i) 상기 서브세트 내의 각 픽셀에 대해, 상기 제1 색에 대한 값 ri 및 상기 제2 색에 대한 값 gi에 적어도 기초하여 시청자 눈 내의 원추들 자극의 상대적 레벨을 결정하는 동작; 및 (ii) 상기 픽셀에 의해 결정된 시청자의 눈 내의 원추들 자극의 상대적 레벨에 적어도 기초하여, 상기 프레임 fi에 대한 상기 초기 이미지 데이터를 수정하는 동작을 포함하고, 상기 프레임 fm에 대한 상기 수정된 이미지 데이터는 상기 픽셀에 대한 상기 제1 색에 대한 값 rm, 상기 제2 색에 대한 값 gm을 포함하며; 및 상기 프로세싱 디바이스에 의해, 상기 프레임 fm에 대한 상기 수정된 이미지 데이터를 전자 디스플레이에 전송하는 단계를 포함하며, 상기 프레임 fm내의 각 픽셀에 대한 데이터는 각각의 클록 사이클 동안 시퀀스적으로 전송되는 것을 특징으로 하는 방법을 구성들로 한다.
상기 방법의 구현예들은 다음의 구성들 및/또는 다른 양태들의 구성들 중 하나 이상을 포함할 수 있다. 일부 구현예들에서, 상기 프레임 fi에 대한 상기 값들 ri, gi 및 bi는 십진수 형태로 수신될 수 있다. 그런 경우들에서, 상기 방법은 상기 시퀀스의 상기 연산들을 수행하기 전에 상기 수신된 값들 ri, gi 및 bi을 정수 형태로 변환하는 단계를 더 포함한다.
일부 구현예들에서, 상기 시퀀스 내에 상기 서브세트 내의 픽셀들 만큼 많은 연산들이 있다. 일부 구현예들에서, 상기 프레임 fi보다 상기 서브세트 내의 픽셀들이 더 적을 수 있다.
일부 구현예들에서, 상기 프레임 fi 내의 상기 픽셀들 중에서 나중의 이미지 데이터를 수신하고 그리고 상기 프레임 fm 내의 상기 픽셀들 중에서 앞선 수정된 이미지 데이터를 전송하는 동안, 상기 시퀀스의 상기 연산들이 프레임 fi 내의 상기 픽셀들의 상기 서브세트의 데이터 상에서 수행될 수 있다.
일부 구현예들에서, 원추들 자극의 상대적 레벨을 결정하는 단계는 상기 시청자의 눈 내의 이웃하는 원추들 자극의 상대적 레벨을 결정하는 단계를 포함할 수 있다. 일부 구현예들에서, 상기 전자 디스플레이 상에서 시청시,　프레임 fm은 fi와 비교하여 시청자의 눈 내의 이웃한 원추들 사이의 감소된 대비를 결과로 할 수 있다.
일부 구현예들에서, 상기 자극의 상대적 레벨을 결정하는 단계는 상기 제1 색에 대한 값 ri을 상기 제2 색에 대한 값 gi와 비교하는 단계를 포함할 수 있다. 예를 들어, 상기 복수의 픽셀들 중 적어도 일부에 대해, gi≤ri인 경우 rm/gm<ri/gi이다. 일부 경우들에서, gi>ri인 경우 rm/gm=ri/gi이다. 일부 경우들에서, gi≤ri인 경우 rm/gm=a·ri/gi 이며, 0<a<1 밑 상기 a 값은 fi에 선행하는 프레임들 시퀀스의 프레임들 수에 따른다. 여기서 a는 fi에 선행하는 프레임들의 상기 시퀀스 내의 프레임들의 상기 수가 증가함에 따라 증가할 수 있다.
일부 구현예들에서, fm은 rm=ri 및 gm=gi인 적어도 하나의 픽셀을 포함한다. 예를 들어, rm=ri이고 gm=gi인 fm 내의 상기 픽셀에 대해, gi>ri이다. 일부 구현예들에서, fm 내의 적어도 하나의 픽셀에 대해 bm≠bi이다.
일부 구현예들에서, 상기 자극의 상대적 레벨을 결정하는 단계는 상기 제1 픽셀의 상기 색을 표현하는 범용 색도(chromaticity) 공간에서 좌표들을 결정하는 단계를 포함할 수 있다. 예를 들어, 상기 색도 공간은 상기 1931 x, y CIE 색도 공간 또는 상기 CIE XYZ 색도 공간 또는 상기 1964 또는 1976 CIE 색도 공간일 수 있다.
일부 구현예들에서, 상기 자극의 상대적 레벨은 상기 시청자의 눈 내의 L-원추들 및 M-원추들의 상대적인 스펙트럼 감도에 기초할 수 있다. 예를 들어, 상기 자극의 상대적 레벨은 상기 시청자의 눈 내의 S-원추들의 상대적인 스펙트럼 감도에 더 기초할 수 있다. 다른 예시로써, 상기 자극의 상대적 레벨은 상기 시청자의 눈 내의 M-원추들에 대한 L-원추들의 상대적인 비율에 더 기초할 수 있다. 또 다른 예시로써, 상기 자극의 상대적 레벨은 시청시, 상기 프레임의 픽셀/원추 비율에 더 기초할 수 있다.
일부 구현예들에서, 상기 제1, 제2 및 제3 색들은 각각 적색, 녹색 및 청색일 수 있다. 일부 구현예들에서, 상기 제1, 제2 및 제3 색들은 각각 청록색, 자홍색 및 노란색일 수 있다.
일부 구현예들에서, 상기 자극의 상대적 레벨은 fi 내의 상기 픽셀의 적어도 일부에 기초하여 결정된 L, M 및 S 값들에 기초하여 결정될 수 있다.
일반적으로, 다른 양태에서, 발명은 장치로서: 전자 프로세싱 모듈을 포함하며, 상기 전자 프로세싱 모듈은 수신기 디바이스, 전송기 디바이스 및 상기 수신기 디바이스와 상기 전송기 디바이스 사이에 결합된 프로세싱 디바이스를 포함한다. 여기서, 상기 수신기 디바이스는 (i) 복수의 픽셀들을 포함하는 프레임 fi에 대한 초기 이미지 데이터를 수신하고,　상기 프레임 fi 내의 각 픽셀에 대한 데이터는 제1 색에 대한 값 ri, 제2 색에 대한 값 gi, 제3 색에 대한 값 bi를 포함하며, 및 (ii) 상기 프레임 fi 내의 각 픽셀에 대한 데이터를 상기 프로세싱 디바이스에 상기 프로세싱 디바이스의 각각의 클록 사이클 동안 시퀀스적으로 전송하도록 구성된다. 또한 상기 프로세싱 디바이스는 상기 픽셀들의 서브세트에 대한 데이터 상의 연산들 중 시퀀스의 연산들을 동시에 수행함으로서, 상기 프레임 fi에 대응하는 프레임 fm에 대한 수정된 이미지 데이터를 생산하도록 구성되고, 상기 시퀀스의 상이한 연산은 상기 서브세트의 상이한 픽셀에 대한 데이터 상에서 클록 사이클마다 수행되고, 상기 시퀀스의 상기 연산들은 대응하는 시퀀스적 클록 사이클들 동안 각 픽셀에 대한 데이터 상에서 시퀀스적으로 수행된다. 상기 시퀀스의 상기 연산들은 (i) 상기 서브세트 내의 각 픽셀에 대해, 상기 제1 색에 대한 값 ri 및 상기 제2 색에 대한 값 gi에 적어도 기초하여 시청자 눈 내의 원추들 자극의 상대적 레벨을 결정하는 연산; 및 (ii) 상기 픽셀에 의해 결정된 시청자의 눈 내의 원추들 자극의 상대적 레벨에 적어도 기초하여, 상기 프레임 fi에 대한 상기 초기 이미지 데이터를 수정하는 연산을 포함하고, 상기 프레임 fm에 대한 상기 수정된 이미지 데이터는 상기 픽셀에 대한 상기 제1 색에 대한 값 rm, 상기 제2 색에 대한 값 gm을 포함한다. 추가적으로, 상기 전송기 디바이스는 (i) 상기 프레임 fm에 대한 상기 수정된 이미지 데이터를 상기 프로세싱 디바이스로부터 수신하고, 상기 프레임 fm내의 각 픽셀에 대한 데이터는 각각의 클록 사이클 동안 시퀀스적으로 수신되며, 및 (ii) 상기 프레임 fm에 대한 상기 수정된 이미지 데이터를 전자 디스플레이에 전송하도록 구성된 것을 특징으로 하는 장치를 구성들로 한다.
상기 방법의 구현예들은 다음의 구성들 및/또는 다른 양태들의 구성들 중 하나 이상을 포함할 수 있다. 일부 구현예들에서, 상기 프레임 fi에 포함된 상기 값들 ri, gi 및 bi는 상기 수신기 디바이스에 의해 십진수 형태로 수신될 수 있다. 여기서, 상기 수신기 디바이스는 상기 프로세싱 디바이스로 전송하기 전에 상기 값들 ri, gi 및 bi를 정수 형태로 변환하도록 구성되거나, 또는 상기 프로세싱 디바이스는 상기 시퀀스의 상기 연산들을 수행하기 전에 상기 값들 ri, gi 및 bi를 정수 형태로 변환하도록 구성된다.
일부 구현예들에서, 상기 프로세싱 디바이스는 FPGA 디바이스일 수 있다. 여기서, 상기 FPGA 디바이스는 상기 서브세트 내의 픽셀들만큼 많은 연산들을 갖는 연산들의 상기 시퀀스를 수행하도록 구성될 수 있다. 일부 경우들에서, 상기 프레임 fi보다 상기 서브세트 내의 픽셀들이 더 적다.
상기 프레임 fi 내의 상기 픽셀들 중에서 나중의 이미지 데이터를 상기 수신기 디바이스로부터 수신하고 그리고 상기 프레임 fm 내의 상기 픽셀들 중에서 앞선 수정된 이미지 데이터를 상기 전송기 디바이스로 전송하는 동안, 상기 프로세싱 디바이스는 상기 시퀀스의 상기 연산들이 프레임 fi 내의 상기 픽셀들의 상기 서브세트의 데이터 상에서 수행되도록 구성될 수 있다.
일부 경우들에서, 상기 프로세싱 디바이스는 상기 시청자의 눈 내의 이웃하는 원추들 자극의 상대적인 레벨에 기초하여 상기 수신된 이미지 데이터를 수정하도록 구성될 수 있다. 일부 경우들에서, 상기 프로세싱 디바이스는 fi 내의 상기 복수의 픽셀들 중 적어도 일부에 대한 ri 및 gi 및 bi의 대응하는 값들에 적어도 기초하여 상기 자극의 상대적 레벨을 결정하도록 구성될 수 있다.
일부 경우들에서, 상기 장치는 상기 출력으로부터 상기 수정된 이미지 데이터를 수신하고 상기 수정된 이미지 데이터에 기초하여 프레임들의 상기 시퀀스를 디스플레이하도록 구성된 전자 디스플레이를 포함할 수 있다.
일부 구현예들에서, 상기 전자 디스플레이는 액정 디스플레이(LCD), 디지털 마이크로미러 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 프로젝션 디스플레이, 양자점 디스플레이 및 음극선 관 디스플레이를 포함하는 상기 그룹으로부터 선택된 디스플레이일 수 있다.
일부 구현예들에서, 상기 프로세싱 디바이스는 ASIC 디바이스일 수 있다. 일부 구현예들에서, 상기 수신기 디바이스, 상기 프로세싱 디바이스 및 상기 전송기 디바이스는 ASIC 디바이스로 통합될 수 있다. 일부 구현예들에서, 상기 장치는 반도체 칩 또는 반도체 칩을 포함하는 회로 기판일 수 있다.
일부 구현예들에서, 셋톱 박스는 상기 개시된 장치를 포함할 수 있다. 여기서 상기 셋톱 박스는 다른 셋톱 박스, DVD 플레이어, 비디오 게임 콘솔 또는 인터넷 연결로부터 상기 입력을 수신하도록 구성될 수 있다.
일부 구현예들에서, 평면판 디스플레이(FPD)는 상기 개시된 장치를 포함할 수 있다. 일부 구현예들에서, 텔레비전은 상기 개시된 장치를 포함할 수 있다. 일부 구현예들에서, 모바일 디바이스는 상기 개시된 장치를 포함할 수 있다. 일부 구현예들에서, 웨어러블 컴퓨터는 상기 개시된 장치를 포함할 수 있다. 일부 구현예들에서, 프로젝션 디스플레이는 상기 개시된 장치를 포함할 수 있다. 일부 구현예들에서, 비디오 게임 콘솔은 상기 개시된 장치를 포함할 수 있다. 일부 구현예들에서, 동글(dongle)은 상기 개시된 장치를 포함할 수 있다.
도 1a는 인간 원추 세포들, S, M 및 L 유형들의 정규화된 반응도 스펙트럼을 도시한 도면이다.
도 1b는 망막 상의 원추 모자이크의 예시를 도시한다.
도 1c는 동일한 에너지 광원 점들 CIE-E, CIE-D65 및 CIE-C를 도시한 CIE 1931 색도도이다.
도 2a는 TV 세트의 근시유발적 효과를 감소시키기 위한 셋톱 박스를 포함하는 시스템의 실시예를 도시한다.
도 2b는 TV 세트의 근시유발적 효과를 감소시키기 위한 동글을 포함하는 시스템의 실시예를 도시한다.
도 2C-2D는 도 2b의 동글의 실시예 양태들을 도시한다.
도 3은 TV 세트의 근시유발적 효과를 감소시키기 위한 셋톱 박스를 포함하는 시스템의 다른 실시예를 도시한다.
도 4는 근시유발적 효과가 감소되었던 콘텐츠를 전달하기 위한 서버를 포함하는 근거리 통신망의 실시예를 도시한다.
도 4b-4c는 각각 근시 및 정상 눈의 측 단면들을 도시한다.
도 5a는 흑색 및 흰색 바둑판 배열로 구성된 자극을 도시한다.
도 5b는 시뮬레이팅된 망막에서의 L, M 및 S 원추들의 분포를 도시한다.
도 5c는 도 5a에 도시된 자극에 의한 도 5b에 도시된 시뮬레이팅된 망막 내의 원추들의 자극 레벨을 도시한다.
도 6a는 적색 픽셀들의 배열로 구성된 자극을 도시한다.
도 6B는 시뮬레이팅된 망막 내의 L, M 및 S 원추들의 분포를 도시한다.
도 6c는 도 6a에 도시된 자극에 의한 도 6b에 도시된 시뮬레이팅된 망막 내의 원추들의 자극 레벨을 도시한다.
도 7a는 디스플레이의 근시유발적 효과를 감소시키기 위해 수정된 비디오 신호를 생산하기 위한 알고리즘의 흐름도를 도시한다.
도 7b-7c는 도 7a의 알고리즘을 수행하도록 구성된 이미지 렌더링 시스템의 양태들을 도시한다.
도 8a는 이미지의 근시유발적 효과를 감소시키기 위해 수채화 효과(watercolor effect)가 사용되었던 자극을 도시한다.
도 8b는 이미지의 근시유발적 효과를 감소시키기 위해 콘스위트 효과(Cornsweet effect)가 사용되었던 자극을 도시한다.
도 9는 시뮬레이팅된 망막 내의 원추 자극 레벨을 결정하기 위한 알고리즘을 도시한 흐름도이다.
도 10은 자극의 근시유발적 효과를 정량화하기 위한 알고리즘을 도시한 흐름도이다.
도 11a 및 도 11b는 시뮬레이팅된 망막에서 원추들의 가능한 배열들을 도시한다.
도 12a는 최대 망막 해상도에서 시청 거리와 원추 분리 사이의 관계를 도시한 개략도이다.
도 12b는 1080p 60" 디스플레이에 대한 원추-픽셀 매핑을 도시한 개략도이다.
도 13은 상이한 텍스트 및 배경 색들의 함수로 계산된 근시유발적 스케일 값들의 3차원 도면이다.
도 14a는 상이한 텍스트 및 배경 색 조합의 계산된 근시유발적 스케일 값들 및 가독성 값들을 열거한 표이다.
도 14b는 상이한 텍스트 및 배경 색 조합의 계산된 근시유발적 스케일 값들 및 가독성 값들을 열거한 다른 표이다.
도 15a는 두 개의 텍스트 및 배경 색 조합의 계산된 근시유발적 스케일 값들 및 가독성 값들을 열거한 표이다.
도 15b는 도 15a 표의 제1 열에 특정된 색 조합 배경의 두 개의 스트립들 사이의 텍스트 스트립으로부터 계산된 원추 자극을 도시한 도면이다.
도 15c는 도 15a 표의 제2 열에 특정된 색 조합 배경의 두 개의 스트립들 사이의 텍스트 스트립으로부터 계산된 원추 자극을 도시한 도면이다.
도 16a는 두 개의 추가적 텍스트 및 배경 색 조합의 계산된 근시유발적 스케일 값들 및 가독성 값들을 열거한 다른 표이다.
도 16b는 도 16a 표의 제1 열에 특정된 색 조합 배경의 두 개의 스트립들 사이의 텍스트 스트립으로부터 계산된 원추 자극을 도시한 도면이다.
도 16c는 도 16a 표의 제2 열에 특정된 색 조합 배경의 두 개의 스트립들 사이의 텍스트 스트립으로부터 계산된 원추 자극을 도시한 도면이다.
도 2a를 참조하면, 케이블 박스(120)와 TV 세트(130) 사이에는 텔레비전(TV) 세트(130)의 근시유발적 효과를 감소시키기 위한 셋톱 박스(100)가 연결된다. 케이블(125)은 케이블 박스(120)의 출력 포트를 셋톱 박스(100)의 입력 포트에 연결하고, 다른 케이블(135)은 셋톱 박스(100)의 출력 포트를 TV 세트(130)의 입력 포트에 연결한다. 케이블들(125 및 135)은 아날로그 비디오 케이블들　 (예를 들어, 복합 비디오 케이블들, S-비디오 케이블들, 컴포넌트 비디오 케이블들, SCART 케이블들, VGA 케이블들) 및 디지털 비디오 케이블들 (예를 들어, 직렬 디지털 인터페이스(SDI) 케이블들, 디지털 가상 인터페이스(DVI) 케이블들, 고화질 멀티미디어 인터페이스(HDMI®케이블들, 디스플레이포트 케이블들)을 포함하여, 비디오 신호를 전달할 수 있는 케이블들이다.
셋톱 박스(100)는 전자 프로세싱 모듈(110) 및 내부 전원 공급기(140)를 포함한다. 전자 프로세싱 모듈(110)은 셋톱 박스(100)의 입력 포트로부터 입력 비디오 신호를 수신하고 수정된 비디오 신호를 출력 포트에 출력하도록 프로그래밍된 하나 이상의 전자 프로세서들을 포함한다. 일반적으로, 주문형 집적 회로(ASIC) 또는 적절하게 프로그래밍된 범용 집적 회로 (예를 들어, 필드 프로그래밍 가능한 게이트 어레이 또는 FPGA)와 같은, 다양한 전자 프로세서들이 사용될 수 있다. 전자 프로세싱 모듈(110)은 다른 집적 회로 컴포넌트들 (예를 들어, 하나 이상의 메모리 블록들) 및/또는 전자 컴포넌트들을 포함할 수 있다.
내부 전원 공급기(140)은 전원 케이블(105)이 연결되는 전원 포트에 연결된다. 전원 공급 케이블(105)은 셋톱 박스(100)를 표준 플러그 소켓과 같은 외부 전원에 연결한다. 전원 공급기(140)는 외부 전원 소스로부터 전력을 수신하고 그 전력을 전자 프로세싱 모듈(110)에 전력을 공급하기에 적합한 전력 (예를 들어, 적절한 전류 및 전압 레벨에서의 AC-DC 변환)으로 변환하도록 구성된다. 내부 배선은 전원 공급기(140)를 전자 프로세싱 모듈(110)에 연결한다.
TV 세트(130)는 예를 들어, 발광 다이오드 디스플레이(LED), 액정 디스플레이(LCD), LED 백라이트 LCD, 유기 발광 다이오드(OLED) 디스플레이, 색 프로젝터 디스플레이, 양자 도트 디스플레이, 음극선 관(CRT) 또는 디지털 마이크로-미러 디바이스(DMD)와 같은 MEMS 기반 디스플레이일 수 있다. TV 세트(130)는 직시 형(direct view) 디스플레이 또는 프로젝션 디스플레이 (예를 들어, 전방 또는 후방 프로젝션 디스플레이)일 수 있다.
동작 중에, 케이블 박스(120)는 케이블(122)을 통해 소스로부터 비디오 신호를 포함하여 입력 신호를 수신한다. 일반적으로, 케이블(122)은 비디오 신호를 전달할 수 있는 이더넷 케이블, 동축 케이블, DSL 라인과 같은 임의의 다양한 케이블들일 수 있다. 입력 신호 소스는 위성 안테나, 케이블 TV 및/또는 광대역 인터넷 제공자 또는 VHF 또는 UHF 안테나일 수 있다. 또한, 입력 신호는 오디오 신호들, 인터넷 웹 페이지들, 인터랙티브 비디오 게임 등과 같은 비디오 신호들 이외의 콘텐츠를 포함할 수 있다.
케이블 박스(120)는 입력 RGB 비디오 신호를 케이블(125)을 통해 셋톱 박스(100)로 유도한다. 입력 비디오 신호는 이미지 프레임들의 시퀀스를 포함한다. 각 프레임은 일련의 픽셀들의 행들과 열들로 구성되고 픽셀 배열로 배열될 수 있으며 입력 비디오 신호는 각 프레임의 각 픽셀의 색에 대한 정보를 포함한다. 일반적으로, 입력 RGB 비디오 신호는 각 프레임의 각 픽셀에 대해 적색에 대한 값 ri, 녹색에 대한 값 gi 및 청색에 대한 값 bi를 포함한다. 전형적으로 각 색의 값이 높을수록 픽셀 색에 기여하는 주된 색의 강도가 높아진다. 각 색 값들의 범위는 신호의 비트 수 또는 색 심도에 따라 달라진다. 예를 들어, 24 비트 색의 경우 각 컴포넌트 색은 0에서 255 사이의 값을 가지므로 2563 가지 색 조합들이 가능하다. 다른 색 심도들은 8 비트 색, 12 비트 색, 30 비트 색, 36 비트 색 및 48 비트 색이다.
보다 일반적으로, 비디오 신호들에서 RGB 로의 색 코딩을 위한 대안적인 형태들 (예를 들어, Y'CbCr, Y'UV)가 사용될 수 있고, RGB 신호들을 다른 색 신호 형태들로 변환하고 역으로 하는 알고리즘들이 알려져있다.
전자 프로세싱 모듈(110)은 입력 비디오 신호에 기초한 출력 RGB 비디오 신호를 생성하여, TV(130)를 사용하여 디스플레이된 대응 이미지는 입력 비디오 신호를 사용하여 생산된 이미지를 시청하는 것과 비교하여 (i) 시청자의 눈 내의 L 원추들과 M 원추들 사이의 차동(differnetial) 자극의 감소된 레벨 및/또는 (ii) 이웃하는 원추들 사이의 차동 자극의 감소된 레벨 중 하나를 생산한다. 전자 프로세싱 모듈들은 적어도 입력 비디오 신호 내의 대응 프레임의 대응 픽셀에 대한 각각의 값들 ri, gi 및 bi에 기초하여, 각 프레임의 각 픽셀에 대한, 적색에 대한 값 rm, 녹색에 대한 값 gm 및 청색에 대한 값 bm을 갖는 비디오 신호를 출력함으로써 이를 달성한다. 디스플레이된 이미지 내의 감소된 근시유발을 제공하기 위해 일정 픽셀들에 대해서 fm≠ri, gm≠gi 및/또는 bm≠bi 중 하나이다. 일반적으로, 비디오 신호 수정은 예를 들어 TV(130) 상의 설정들, 시청중인 콘텐츠, 시청 시간, 시청자의 망막 구성, 시청자의 나이, 시청자의 인종 또는 민족, 시청자의 색시 상태 등을 포함하는 인자들에 따라 다를 수 있다. 비디오 신호 수정을 위한 예시적인 알고리즘들이 아래에 기술된다.
셋톱 박스(100)는 내부 전원 공급기(140)를 포함하지만, 다른 구성들도 또한 가능하다. 예를 들어, 일부 실시예들에서 외부 전원 공급기가 사용된다. 대안적으로, 또는 추가적으로, 셋톱 박스(100)는 케이블(125) 또는 두 컴포넌트들을 연결하는 별도의 케이블을 통해 배터리 또는 케이블 박스(120)로부터 전력을 끌어올 수 있다. 셋톱 박스(100)는 입력 신호들을 프로세싱 하기 전에 입력 신호를 버퍼링하기 위한 메모리 버퍼 또는 TV 세트(130)에 신호들을 송신하기 전 이들을 프로세싱 한 이후의 변경된 신호들과 같은 추가적인 컴포넌트들을 포함할 수 있다. 메모리 버퍼들은 동작 중 대기 시간을 줄일 수 있다.
또한, 도 2a에 도시된 컴포넌트들이 서로 물리적인 케이블들을 통해 연결된 반면에, 일부 구현예들에서, 하나 이상의 연결들은 무선 연결들 (예를 들어, Wi-Fi 연결 또는 Bluetooth)일 수 있다. 일부 구현예들에서, 하나 이상의 연결들은 직접, 즉 플러그-인, 연결들일 수 있다. 이러한 예시들이 도 2b-2d에 도시되어있다.
도 2b를 참조하면, 근시유발적 효과를 감소시키기 위한 전자 프로세싱 모듈의 실시예(110B)는 입력 포트(102I) 및 출력 포트(102O)를 갖는 동글(100B) (스틱이라고 또한 지칭됨)에 하우징(house)될 수 있다. 입력 포트(102I) 및 출력 포트(102O) 중 하나 또는 모두는 HDMI 커넥터들로 구현될 수 있다. 이 예시에서, 동글(100B)은 영상 음성 수신기(AVR)(120B) (예를 들어, Denon™멀티-채널 홈 씨어터 수신기 또는 다른 제조자의 유사한 디바이스), TV 세트(130B) 및 N≥2 미디어 소스, 예를 들어 위성/케이블 박스, 미디어 플레이어 (예를 들어, 애플 TV, 아마존 스틱 등), 블루레이 플레이어, 비디오 게임 콘솔, 블루투스 디바이스 (예를 들어, 에어 플레이 연결 태블릿) 등을 포함하는 오락 시스템에서 근시유발적 효과를 감소 시키는데 사용된다. 미디어 소스들은 AVR(120B)의 각각의 입력들에 연결된다.　AVR(120B)이 HDMI 출력으로부터 TV 세트(130)의 HDMI 입력에 (RGB 데이터, ri, gi, bi를 포함할 수 있는) 고선명 멀티미디어 신호를 전송하도록 구성되어, TV 세트 상에 제시될 미디어 콘텐츠의 소스가 사용자 입력에 기초하여 AVR의 사용자 인터페이스로부터 선택될 수 있다. 도 2b에 도시된 예시에서, 동글(100B)의 HDMI 입력(102I)은 HDMI 케이블(125B)을 통해 AVR(120)의 HDMI 출력에 연결되고, 동글(100B)의 HDMI 출력(102O)은 TV 세트(130B)의 HDMI 입력에 연결된다. 이 방식으로, 동글(100B)은 HDMI 케이블(125B)을 통해 AVR(120B)의 HDMI 출력으로부터 RGB 데이터 ri, gi, bi를 수신하고 알고리즘(400)에 기초하여 그것을 변환하여 변환된 RGB 데이터 rm, gm, bm을 TV 세트(130B)의 HDMI 입력에 직접 출력한다.
도 2c-2d는 도 2b에 개략적으로 도시된 동글의 실시예(100B*)의 양태들을 도시한다. 동글(100B*)은 근시유발적 효과를 감소시키기 위한 전자 프로세싱 모듈(110B) 및 다른 전자 컴포넌트들을 둘러싸도록 하우징(104)을 사용한다. 하우징(104)은 길이 L에 걸쳐 (예를 들어, z 축을 따라) 입력단 벽(106I)에서부터 출력단 벽(106O)까지에 달한다. 길이 L은 1", 2", 3" 또는 4"일 수 있다. 하우징(104)은 폭(W)만큼 서로 분리된 제1 측벽(108A) 및 제2 측벽(108B)을 갖는다. 폭(W)은 예를 들어 0.2", 0.5", 1", 1.2" 또는 1.5"일 수 있다. 또한, 하우징(104)은 그 사이의 벽들을 지지하고 두께(T)만큼 분리된 한 쌍의 베이스들을 갖는다. 두께(T)는 예를 들어 0.05", 0.1", 1", 0.2" 또는 0.5"일 수 있다.
도 2c-2d에 도시된 예시들에서, 동글(100B*)은 입력단 벽(106I) 상에 배치된 입력 HDMI 커넥터(102I*) (예를 들어, 암(female)) 및 출력단 벽(106O) 상에 배치된 출력 HDMI 커넥터(102O) (예를 들어, 수)를 포함한다. 또한, 이 예시들에서, 동글(100B)은 측 벽면들 중 하나, 예를 들어 제2 측벽(108B) 상에 배치된 입력 전원 커넥터(104)를 포함한다. 일부 구현예들에서, 입력 전원 커넥터(104)는 USB 커넥터일 수 있다.
다시 도 2b를 참조하면, 일부 실시예들에서, 근시유발적 효과를 감소시키기 위한 동글은 전술한 바와 같이 TV 세트(130B) 보다는 AVR(120B)에 직접 플러그될 수 있다. 예를 들어, 동글의 HDMI 입력은 AVR(120B)의 HDMI 출력에 플러그될 수 있고, 동글의 HDMI 출력은 HDMI 케이블(예를 들어, 135)을 통해 TV 세트(130B)의 HDMI 입력에 연결될 수 있다. 이러한 방식으로, 동글(100B)은 AVR(120B)의 HDMI 출력으로부터 RGB 데이터 ri, gi, bi를 직접 수신하고, 알고리즘(400)에 기초하여 그것을 변환하며 변환된 RGB 데이터 rm, gm, bm을 HDMI 케이블을 통해 TV 세트(130B)의 HDMI 입력에 출력한다.
또 다른 실시예들에서, 근시유발적 효과를 감소시키기 위한 전자 프로세싱 모듈(110B)은 상술한 바와 같이 별도의 동글이 아닌 AVR(120B) 자체에 하우징될 수 있다. 이러한 방식으로, 전자 프로세싱 모듈(110B)은 AVR(120B)의 HDMI 출력에 도달하기 전에 RGB 데이터 ri, gi, bi를 가로채고 알고리즘(400)에 기초하여 가로채진 데이터를 변환하며 변환된 RGB 데이터 rm, gm, bm을 AVR의 HDMI 입력으로 출력한다. 이와 같이, HDMI 케이블 (예를 들어, 135)는 AVR(120B)의 변환된 RGB 데이터 rm, gm, bm을 HDMI 출력으로부터 TV 세트(130B)의 HDMI 입력으로 전송할 수 있다.
도 3을 참조하면, 일부 실시예들에서, 근시유발적 효과를 감소시키기 위한 전자 프로세싱 모듈은 전술한 바와 같이 별개의 셋톱 박스가 아닌 TV 세트 자체에 하우징된다. 여기서, TV 세트(200)는 디스플레이 패널(230) 및 디스플레이 드라이버(220) 이외에 전자 프로세싱 모듈(210)을 포함한다. 케이블(205)은 케이블 박스(120)를 TV 세트(200)에 연결한다.
전자 프로세싱 모듈(210)은 케이블 박스(120)로부터 입력 비디오 신호를 수신하고 감소된 근시유발을 위한 수정된 비디오 신호를 출력한다는 점에서 상술한 전자 프로세싱 모듈(110)과 유사한 방식으로 동작한다. 전자 프로세싱 모듈(210)은 수정된 비디오 신호를 디스플레이 드라이버(220)에 유도하고 디스플레이 드라이버(220)는 수정된 이미지를 디스플레이하기 위해 디스플레이 패널(230)에 구동 신호들을 차례로 유도한다.
또한, 도 2 및 도 3에 도시된 상기 예시들은, 케이블 박스로부터 디지털 비디오 신호들을 수신하는 반면에, 비디오 신호들은 다른 소스들로부터 수신될 수 있다. 예를 들어, 비디오 신호들은 케이블 박스 대신 (또는 케이블 박스에 추가로) 비디오 게임 콘솔 또는 텔레비전 셋톱 박스에서 공급될 수 있다. 예를 들어, (Roku, 애플 TV, 아마존 파이어 등과 같은) 상업적으로 사용 가능한 셋톱 박스 또는 TiVo 또는 그와 유사한 것과 같은 디지털 비디오 레코딩(DVR) 디바이스, (레드몬드 WA, 마이크로소프트 코퍼레이션의) X 박스 콘솔들, (소니 코퍼레이션, 뉴욕, NY의) 플레이스테이션 콘솔들 또는 (닌텐도, 레드몬드, WA의) Wii 콘솔들과 같은 비디오 게임 콘솔들의 비디오 신호들은 수정될 수 있다.
다른 구현예들 또한 가능하다. 예를 들어, 도 4를 참조하면, 일부 실시예들에서, 수정된 비디오 신호는 WAN(310) (예를 들어, 인터넷)을 통해 네트워킹된 서버(320)에 의해 하나 이상의 최종 사용자들(340-344)에게 제공되고 최종 사용자에 의해 추가 하드웨어는 요청되지 않는다. (수정되지 않은) 원래의 비디오 신호는 네트워킹된 제공자(330)로부터 또는 브로드캐스터(350)로부터의 브로드캐스트 신호 (예를 들어, VHF, UHF 또는 위성 신호)를 통해 네트워킹된 서버(320)에 의해 수신될 수 있다.
전술한 예시들은 TV 세트에서 색을 수정하는 것에 관한 것이지만, 본 명세서에 개시된 개념들은 색 디스플레이를 포함하는 다른 디바이스들에 일반적으로 적용될 수 있다. 예를 들어, 개념들은 컴퓨터 모니터들, 디지털 사이니지(signage) 디스플레이들, 모바일 디바이스들 (예를 들어, 스마트폰들, 태블릿 컴퓨터들, 전자 판독기들(e-reader)) 및/또는 웨어러블 디스플레이들 (예를 들어, 가상 현실 및 증강 현실 헤드셋과 같은 헤드 장착 디스플레이, Google 유리 및 스마트 시계들)에 구현될 수 있다.
또한, 전술한 예시들은 디스플레이 신호들을 수정하기 위한 전용 전자 프로세싱 모듈을 활용하지만, 다른 구현예들 또한 가능하다. 예를 들어, 일부 실시예들에서, 비디오 신호 수정은 소프트웨어 솔루션들을 통해서만 적용될 수 있다. 즉, 비디오 신호들은 (예를 들어, 디스플레이의 비디오 카드 또는 컴퓨터의 또는 모바일 디바이스의 프로세서를 사용하는) 기존 하드웨어에 설치된 소프트웨어 솔루션들을 사용하여 수정될 수 있다.
일부 실시예들에서, 비디오 신호들은 예를 들어, 인터넷으로부터 다운로드된 애플케이션을 사용하여 수정된다. 예를 들어, 모바일 디바이스(예를 들어, Google의 안드로이드 운영체제 또는 애플의 iOS 운영체제) 상에서 다운로드된 앱을 사용하여 신호 수정이 구현될 수 있다.
보다 일반적으로, 근시유발적 효과를 감소시키기 위한 시스템의 버전들은 소프트웨어, 미들웨어, 펌웨어, 디지털 전자 회로 또는 컴퓨터 하드웨어 또는 이들의 조합으로 구현될 수 있다. 시스템은 프로그래밍 가능한 프로세서에 의한 실행을 위해 기계 판독가능 저장 디바이스에 유형적으로 구현된 컴퓨터 프로그램 물을 포함할 수 있고, 방법 단계들은 입력 데이터를 조작하고 출력을 생성함으로써 기능들을 수행하기 위해 명령어 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 시스템은 데이터 저장 시스템으로부터 데이터 및 명령어들을 수신하고 데이터 저장 시스템에 데이터 및 명령어들을 전송하도록 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현될 수 있다. 각 컴퓨터 프로그램은 고-레벨 절차적 또는 객체 지향적 프로그래밍 언어 또는 필요한 경우 어셈블리 또는 기계 언어로 구현될 수 있으며; 어떤 경우든 언어는 컴파일된 언어 또는 해석된 언어일 수 있다. 적절한 프로세서들이 예를 들어, 범용 및 전용 마이크로프로세서들 모두를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령어들 및 데이터를 수신할 것이다. 일반적으로 컴퓨터는 데이터 파일을 저장하기 위한 하나 이상의 대용량 저장 디바이스들을 포함할 것이며; 이러한 디바이스들은 내부 하드 디스크들 및 분리성 디스크와 같은 자기 디스크들; 광 자기 디스크들; 및 광학 디스크들을 포함한다. 컴퓨터 프로그램 명령어들 및 데이터를 유형적으로 구현하기에 적절한 저장 디바이스들은 예를 들어 EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 내부 하드 디스크들 및 분리성 디스크들과 같은 자기 디스크들; 광 자기 디스크들; 및 CD-ROM 디스크들을 포함하는 모든 형태의 비 휘발성 메모리를 포함한다.　상술한 것들은 모두 ASIC들(주문형 집적 회로들)에 의해 보완되거나 ASIC에 통합될 수 있다.
근시유발적 효과
비디오 신호들을 수정하기 위한 알고리즘들을 논의하기 전에 전자 디스플레이들의 근시유발적 효과의 원인을 고려하는 것이 좋다. 근시-또는 근시원은 눈의 굴절 효과이며, 눈으로 들어가는 빛은 정상적인 눈을 도시한 도 4c처럼 망막 자체가 아닌, 근시 눈을 도시한 도 4b처럼 망막 앞에서 망막 앞에서 이미지 초점을 생산한다. 이론에 구애됨이 없이, 텔레비전, 독서, 실내 조명, 비디오 게임 및 컴퓨터 모니터는 모두, 특히 유년기에, 근시의 진행을 유발하며, 이는 이러한 디스플레이들이 L 및 M 원추들의 불균일한 흥분(excitation) (예를 들어, M 원추보다 L 원추들을 더 자극) 및/또는 망막의 이웃하는 원추들의 불균일한 흥분을 유발하는 자극들을 생산하기 때문이다. 유년기 (약 8세), 청소년기 (18세 이전) 및 청년기 (25세 또는 30세까지) 동안, 이런 차동 자극의 인자들은 눈의 비정상적인 신장(elongation)을 결과로 하며, 이것은 망막 상에 이미지들의 초점이 맞춰지는 것을 방해한다.
이미지에는 높은 정도의 망막 원추 대비를 결과로 할 수 있는 두 가지 인자들이 있다: 하나는 공간 이고 하나는 색채이다. 공간 인자는 이미지가 고 공간 주파수, 고 대비 피처(feature)들을 포함하는 정도를 지칭한다.　흰색 페이지의 검은색 텍스트와 같은 세부적인 대비 또는 디테일은 망막 원추 모자이크 상에 고 대비 자극 패턴을 형성한다. 색채 인자는 어떻게 매우 포화된 색들의 균일한 블록들이 원추 유형들을 비대칭적으로 자극하여 망막에서 고 대비 패턴을 형성하는지를 지칭한다. 예를 들어, 적색은 M 보다 L 원추들을 자극하는 반면 녹색 빛은 L 보다 M 원추들을 더 자극한다. 청색과 같은 더 짧은 파장의 빛은 L 또는 M 원추들보다 S 원추들을 자극한다. 색의 정도는 해당 색상의 픽셀들의 수와 포화 레벨들 중 하나 또는 둘 모두를 지칭할 수 있다. 여기서, 예를 들어, 적색 픽셀들은 r이 g 및/또는 b보다 임계량 또는 백분율만큼 큰 픽셀들로 식별될 수 있다. 대안적으로 또는 추가적으로, 적색 픽셀들은 1931 또는 1976 CIE 색 공간에서 적색 색조를 갖는 픽셀들로 식별될 수 있다. 유사하게, 녹색 픽셀들은 g가 r 및/또는 b보다 임계량 또는 백분율만큼 큰 픽셀들로 식별될 수 있거나 또는 녹색 픽셀들은 1931 또는 1976 CIE 색 공간에서 녹색 색조를 갖는 픽셀들로 식별될 수 있다. 유사하게, 청색 픽셀들은 b가 r 또는 g보다 임계량 또는 백분율만큼 큰 픽셀로 식별될 수 있거나 또는 청색 픽셀들은 1931 및 1976 CIE 색 공간에서 청색 색조를 갖는 픽셀들로 식별될 수 있다.
도 5a-5c 및 도 6a-6c를 참조하면, 공간 및 색채 효과는 다음과 같이 설명될 수 있다. 각 도면은 육각형 모자이크를 도시하며 망막 상의 원추들의 공간 모자이크에 대응한다. 원추들의 배열이 도 5b 및 도 6b에 도시되어있으며, L 원추들은 적색으로 착색되고, M 원추들은 녹색으로 착색되며, S 원추들은 청색으로 착색된다. 도 5a 및 도 6a는 망막에서 두 가지 상이한 유형의 자극들을 도시하고, 도 5c 및 도 6c는 각각의 자극으로 인한 원추 반응들을 도시한다.
도 5a는 망막을 가로지르는 흰색 및 검은색의 고 대비 바둑판 패턴인 고 주파수에 대응한다. 공간 주파수는 여기서 원추들 공간 주파수의 절반이므로, 열 상에서 열 단위로 모든 대체 원추가 (흰색 빛 의한 자극으로 인하여) 높은 반응을 보이며 인접한 원추들은 (전혀 입사 빛이 없기 때문에) 아무런 반응을 보이지 않는다. 이 반응은 도 5c에 도시되며 결과는, L원추들의 일부 및 M 원추들의 일부 사이를 포함하여 원추 모자이크 내의 차동 자극의 높은 정도이다. 반응은 0에서 1 사이의 스케일로 도시된다. 0은 자극이 없고 1은 최대 자극이다. 이 스케일의 그레이스케일(grayscale) 범위를 나타내는 범례(legend)가 제공된다.
도 6a의 자극들은 망막을 가로지르는 균일한 강도의 균질의(homogeneous) 적색 빛에 대응한다. 도 6c에 도시된 바와 같이, (모자이크의 검은 사각형으로 도시된) M 및 S 원추들 및 (회색 사각형으로 도시된) L 원추들에 의한 약간의 반응이 있다. 따라서, 적색 자극은 망막 내의 원추들, 특히 M 원추들에 비교하여 L 원추들의 차동 자극을 결과로 한다.
디스플레이들의 근시유발적 효과를 해결하기 위한 종래의 접근법들은 M 원추들에 비한 L 원추들의 과도한 자극에 초점을 두었었다 (예를 들어, WO 2012/145672 A1 참조).　즉, 이전의 접근법은 이미지의 적색 픽셀들의 포화를 감소시키는데 초점을 두었다. L 및 M 원추들에 대한 초점도 또한 이해할 수 있으며, 이는 그들이 인간의 눈 내의 원추들 중 95 %를 함께 구성하기 때문이다. 특히 적색 파장들에 대한 초점은 두 가지 이유로 이해할 수 있다: (1) 적색 파장들은 녹색 빛(-1:1:5) 또는 청색 빛(-1:1)과 비교하여 높은 차동(~4.5:1)에서 L 및 M 원추들을 자극하며; 그리고 (2) 스크린들의 인공 빛 예를 들어, 비디오 게임들 및 애니메이션, 은 야외의 적색 소스들과 비교하여 풍부한 적색 빛을 포함하고 있으며, 이는 드물게 발견된다. 그러나 본 발명은 고 공간 주파수, 고 대비 이미지들이 유사한 근시유발적 반응을 결과로 할 수 있으며 보다 포괄적인 해결책이 그러한 이미지들의 효과를 설명해야 함을 인지(recognize)한다. 예를 들어, 보정을 적용할 때 이미지의 적색 양만을 고려하는 경우, 예를 들어 적색 레벨을 감소시키고 및/또는 녹색을 증가시킴으로써 적색 이미지의 포화를 감소시키고 및/또는 이미지 주위에 녹색 링을 도입함으로써 (예를 들어, L>M인) 적색 이미지의 근시유발적 효과가 감소된다. 그러나, 이러한 접근법은 이웃하는 원추 대비에 기초하여 이미지에 어떠한 개선도 적용하지 않을 것이다. 유사하게, 검은색 및 흰색 바둑판은 이전의 접근법에서는 개선될 수 없으며, 이는 각각의 검은색 및 흰색 픽셀은 동일한 에너지 광원에 가깝고 따라서 개선된 L/M 비율 대상이 아닐 것이기 때문이다. 그러나, 이러한 검은색/흰색 바둑판은 고 이웃하는 원추 대비를 제작하기 때문에, 본 개시에서 개선의 대상이 될 것이다; 그러한 이미지들을 개선하는 방법들이 본 명세서에 개시되고 기술된다. 따라서, 단독으로 또는 적색 포화를 감소시키는 알고리즘들과 함께 사용될 수 있는 고 공간 주파수 효과들을 설명하는 알고리즘들이 개시된다.
근시 감소를 위한 알고리즘들
디스플레이된 이미지들의 근시유발적 효과를 감소시키기 위한 알고리즘들로 전환하면, 일반적으로 각 프레임의 각 픽셀의 색은 다음 파라미터들 중 하나 이상에 기초하여 수정될 수 있다: (i) 프레임 자체 내의 픽셀의 색; (ii) 프레임의 가장자리까지의 픽셀의 근접성과 같은, 프레임 내의 픽셀의 위치; (iii) 이웃하는 픽셀과 같은, 프레임 내의 다른 픽셀의 색; (iv) 선행하는 프레임과 같은 다른 프레임 내의 동일 픽셀의 색; 및/또는 (v) 상이한 프레임 내의 상이한 픽셀의 색.
구현예들은 이미지에서 적색 픽셀들의 포화를 감소 시키거나, 인접한 픽셀들 사이의 대비를 감소 시키거나, 둘 모두를 감소시킬 수 있다. 도 7a는 디스플레이된 이미지들의 근시유발적 효과를 감소시키기 위한 알고리즘(400)의 예시에 대한 흐름도이다. 일부 구현예들에서, 알고리즘(400)은 상술한 TV 세트(200)의 전자 프로세싱 모듈(210), 셋톱 박스(100)의 전자 프로세싱 모듈(110) 또는 동글(100B)의 전자 프로세싱 모듈(110B)에 의해 수행될 수 있다. 일부 구현예들에서, 알고리즘(400)은 컴퓨팅 시스템의 둘 이상의 컴퓨팅 리소스들에 걸쳐 분산된 전자 프로세싱 모듈에 의해 수행될 수 있다.
도 7a를 참조하면, 단계(410)에서, 초기 비디오 신호는 전자 프로세싱 모듈에 의해 수신된다. 수신된 비디오 신호는 일련의 n 개의 초기 프레임들, f1 i, f2 i, …, fn i에 대한 이미지 정보를 포함한다. 각 프레임은 k 개의 픽셀들, p1, p2, …, pk로 구성된다. 각 픽셀은 적색, 녹색 및 청색에 대한 값들에 각각 대응하는 세 개의 색 성분 값들, ri, gi 및 bi로 구성된다.
단계(420)에서, L 원추들, M 원추들 및/또는 S 원추들 자극의 상대적 레벨은 값들 ri, gi 및 bi에 기초하여 각 프레임의 각 픽셀에 대해 전자 프로세싱 모듈에 의해 결정된다. 예를 들어, 이 단계는 픽셀에 대한 ri값을 gi 및/또는 bi값과 비교함을 포함할 수 있다. 대안적으로, 또는 추가적으로, XYZ 3자극 값들, LMS 값들 또는 원추 자극을 측정하기 위한 다른 방식들은 전자 프로세싱 모듈에 의해 RGB 값들로부터 계산될 수 있다.
다음으로, 단계(430)에서, 각 픽셀에 의한L, M, 및/또는 S 원추 자극의 상대적 레벨에 기초하여 색 수정을 위해, 전자 프로세싱 모듈에 의해 하나 이상의 픽셀들이 식별된다. 예를 들어, 일부 실시예들에서, 적색 픽셀들은 RGB 값들을 비교함으로써 또는 각 픽셀의 색조에 기초하여 식별된다. 다른 실시예들에서, 다른 인접 픽셀들과의 고 레벨의 색 대비 때문에 픽셀들이 선택된다. 또 다른 실시예들에서, 이웃하는 원추들 중에서 원추 자극 레벨들의 큰 차이들로 인해 픽셀들이 선택된다.
일부 실시예들에서, 픽셀들은 프레임 내의 다른 픽셀들의 색에 기초하여 식별된다. 예를 들어, (예를 들어, 이미지의 적색 객체들에 대응하는) 인접한 적색 픽셀들의 그룹들은 수정을 위해 식별되지만, 단독의 적색 픽셀들은 수정되지 않은 채로 남는다. 대안적으로, 또는 추가적으로, 다른 프레임들 내의 동일한 픽셀의 색에 기초하여 색 수정을 위해 픽셀들이 식별될 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 프레임 (예를 들어, 1 초 또는 몇 초 또는 그 이상) 동안 지속되는 적색 픽셀들은 색 수정을 위해 식별될 수 있지만, 하나의 프레임만 또는 단 몇 프레임들 (예를 들어, <1초, <0.1초 또는 <0.01초)는 수정되지 않은 채로 남겨질 수 있다.
단계(440)에서, 수정된 이미지 데이터는 M 원추들에 대한 L 원추들 자극의 상대적 레벨, 또는 인접 원추 대비의 레벨 및 경우에 따라 다른 인자들 (예를 들어, 사용자 선호도 및/또는 미적 인자들)에 기초하여 전자 프로세싱 모듈에 의해 생성된다. 다양한 수정 기능들이 사용될 수 있다. 일반적으로, 수정은 픽셀의 색에서 적색 포화를 감소시킬 것이고 인접한 픽셀들 또는 인접한 픽셀들의 그룹들 사이의 대비를 감소시킬 것이다.
일부 실시예들에서, 색 수정을 위해 식별된 픽셀들에 대해, 수정된 이미지 데이터는 예를 들어 등식 (1)에서 아래에 정의된 대응 스케일 인자 α, β, γ에 의해 ri, gi 및/또는 bi를 스케일링함으로써 생성된다.
[38] 즉:
Figure 112018081411637-pct00001
일반적으로, 각 픽셀에 대한 스케일 인자들 a, β및/또는 γ는 예를 들어 그 픽셀에 대한 ri, gi 및/또는 bi, 동일 프레임 내의 다른 픽셀의 ri, gi 및/또는 b, 상이한 프레임 내의 동일 픽셀의 ri, gi 및/또는 bi, 상이한 프레임 내의 상이한 픽셀의 ri, gi 및/또는 bi 및/또는 다른 인자들과 같은 다양한 인자들에 따라 다를 수 있다.
예를 들어, 일부 실시예들에서, 픽셀에서 ri>gi 및 ri>bi인 경우, ri 는 그 픽셀에 대해 약간의 양 (즉, 0<α<1)만큼 감소될 수 있고 및/또는 gi가 그 픽셀에 대해 약간의 양 (즉, 1<β)만큼 증가될 수 있다. bi는 변하지 않을 수 있고 (즉, γ=1) 증가되거나 감소될 수 있다. 일정 구현예들에서, α 및/또는 β는 ri 및 gi 차이의 함수들이다. 예를 들어, 스케일 인자들이 확립되어서, ri 및 gi 차이가 클수록 수정된 신호 내의 더 많은 적색 값이 초기 신호에 비해 상대적으로 감소하고 및/또는 수정된 신호 내의 더 많은 녹색 값이 증가한다. 예를 들어, 이러한 유형의 스케일에 대한 간단한 수학 공식은 다음과 같다:
Figure 112018081411637-pct00002
등식 (2)에서, kα 및 kβ는 비례 상수들이고 cα 및 cβ는 상수 오프셋들이다. kα는 음수이므로 ri와 gi의 차이가 클수록 α 값은 더 작아진다. 반대로,kβ는 양수이므로 ri와 gi의 차이에 비례하여 β값은 더 커진다. 비례 상수들 및 상수 오프셋들은 경험적으로 결정될 수 있다.
일반적으로, 0<α<1 및 β=γ=1인 구현예들에서, 수정된 이미지의 적색 픽셀들은 초기 이미지보다 어두워 보일 것이다. a=γ=1 및 1<β인 구현예들에서는 수정된 이미지의 적색 픽셀이 초기 이미지보다 밝아 보일 것이다. 두 경우 모두 적색 픽셀들의 적색 포화의 정도는 녹색에 비해 적색 양이 적을수록 줄어 감소된다.
또 다른 실시예에서, 예를 들어 등식 (3)에서와 같이 선형 변환을 제작하는 행렬 곱셈기들이 사용될 수 있다.
Figure 112018081411637-pct00003
일부 실시예들에서, 값들 rm, gm 및 bm은 그들의 대응 초기 값들과 r과 g의 차이의 선형 조합들로부터 도출된다. 예를 들어, 본 발명에 한정되는 것을 의미하지 않는 예를 설명하기 위해 등식 (4)는:
Figure 112018081411637-pct00004
등식 (4)의 일 실시예에서, -1<α<0 이고 β 및 γ는 0과 1 사이의 값들이다. 보다 구체적으로, β=γ=-α/2일 때, 등식 (4)와 관련하여 제시된 변환은 초기 픽셀과 등가인 최종 픽셀을 결과로 한다. 등가의 조건은 (rm+gm+bm)=(ri+gi+bi)일 때 만족된다.
상술된 각 컴포넌트 색의 수정은 입력 컴포넌트 색 값에 비례하지만 (예를 들어, 입력 컴포넌트 색 값에서 하나 이상의 스케일 인자 및 하나 이상의 추가적인 고차 항들을 포함하는) 비선형 스케일링 또한 가능하다.
마지막으로, 단계(450)에서, 각각이 초기 프레임들과 동일한 수의 픽셀들 k를 포함하는 일련의 n개의 수정된 프레임을 f1 m, f2 m, …, fn m에 대한 이미지 정보를 포함하는 수정된 비디오 신호가 전자 프로세싱 모듈에 의해 출력된다.　적어도 픽셀들의 서브세트의 경우, RGB 값들이 입력 신호로부터 수정된다. 다른 픽셀들은 입력 신호로부터 변경되지 않을 수 있다.　예를 들어, 적색이 아닌 픽셀들의 색은 변경되지 않은 채 모든 적색 픽셀들의 색이 수정될 수 있다.
상술한 바와 같이, 일부 실시예들에서,　픽셀의 색은 동일한 프레임 내의 상이한 픽셀의 색에 기초하여 수정된다. 예를 들어, 알고리즘(400)은 고립된 적색 픽셀들을 변경하지 않고 남겨두거나 또는 ri-gi를 다른 (예를 들어, 더 적은)양만큼 감소시키면서 인접한 적색 픽셀들 (예를 들어, 이미지 내의 대응하는 적색 객체들)을 포함할 수 있고, 일정 양만큼 그 픽셀들에 대한 ri-gi를 감소시킬 수 있다.
동일한 프레임 내의 상이한 픽셀의 색 상에 픽셀의 색 수정을 바이어스함으로써, 시청자의 시각 프로세싱에 의해 감지되는 색 수정의 효과는, 예를 들어, 소위 수채화 효과 또는 소위 콘스위트 효과와 같은 지각 착시들(perceptual illusion)을 사용하여 감소될 수 있다. 수채화 효과에서 적색 객체는 물체의 가장자리가 내부보다 더 포화된 경우에 실제보다 더 포화 상태로 보일 수 있다. 수채화 효과는 프레임에서 객체들의 색을 수정할 때, 특히 색 공간에서 반대 방향으로 색도들이 있는 픽셀들 또는 훨씬 어두운 픽셀들에 의해 경계에 있는 경우에 사용될 수 있다. 예를 들어, http://www.scholarpedia.org/article/Watercolor_illusion 참조.
도 8a를 참조하면, 검은색 배경에 적색 원으로 수채화 효과가 도시되어있다. 초기 이미지에는 매우 포화된 균일한 적색 원이 있다. 도시된 바와 같이, 수정된 이미지는 원의 경계에서 매우 포화된 적색 픽셀들(R=255, G=0, B=0)을 유지하지만 원의 내부를 향한 적색 포화를 감소시킨다(R=177, G=57, B=55).　중심을 향한 방사형 그라디언트(gradient)가 있으며, 그라디언트는 원형 색의 환상 불연속성(annular discontinuity)의 모습을 피하며 원의 외부 1/2 내지 1/3에서 발생한다.
콘스위트 효과는 중심선이나 섹션 내의 그라디언트가 이미지의 한 면이 실제보다 어둡게 보인다고 하는 인상을 주는 착시 현상이다. 이 효과는 다른 적색 객체들과 경계를 이루는 적색 객체들의 밝기를 감소시키기 위해, 예를 들어 이미지가 매우 포화되었다는 인상을 시청자에게 유지하면서 근시유발적 대비를 감소시키기 위해 활용될 수 있다.
도 8b는 콘스위트 효과의 예시를 도시한다. 여기에서 도면의 가장 왼쪽이 오른쪽보다 밝은 적색으로 보인다. 실제로 양쪽은 동일한 밝기이다. 이 착시는 왼쪽에서 오른쪽으로 시청할 때 두 면들 사이의 어두운 곳에서 밝은 곳으로의 그라디언트에 의해 만들어진다. 콘스위트 효과를 사용하면 두 객체간에 어두운 곳에 밝은 그라데이션을 도입함으로써 시청자에 의해 감지되는 최소한의 변경과 함께 덜 포화된 적색 객체들과 인접한 일정한 적색 객체들의 포화를 감소시킬 수 있다.
수채화 효과 및 콘스위트 효과와 같은 착시들을 사용하는 구현예들은 효과의 후보들일 수 있는 이미지에서 적색 객체들을 식별함과 같은 추가 이미지 프로세싱 단계를 포함할 수 있다. 이러한 효과들에 대한 객체들의 후보를 확립하는 것은 적색 객체의 크기 및 모양, 객체의 적색 색의 균일성 및/또는 경계 색의 성질과 같은 인자들에 기초하여 행해질 수 있다.
일부 실시예들에서, 적색 픽셀의 색에 대한 수정은 프레임 내의 픽셀의 위치에 기초하여 수정될 수 있다. 예를 들어, 프레임의 가장자리에 더 가깝게 위치된 픽셀이 수정될 수 있는 반면, 프레임의 중앙에 더 가깝게 위치된 동일한 색의 픽셀은 변경되지 않거나 더 작은 정도로 수정된다.
다른 실시예들에서, 적색 픽셀의 색에 대한 수정은 픽셀들이 표현하는 객체의 유형에 기초하여 수정될 수 있다. 일정한 객체들은 원래의 색들로 보존하는 것이 중요하다고 간주될 수 있다. 색들을 잘 인식할 수 있는 회사 로고나 상표가 붙은 제품이 하나의 예시가 된다. 이미지 분석을 사용하면, 이 객체들은 이미지 데이터베이스와의 비교에 의해 인지될 수 있고, 알고리즘(400)에서 차등 처리를 위해 플래그(flag)될 수 있다.
대안적으로, 또는 추가적으로, 하나의 프레임 내의 픽셀의 색은 다른 프레임 내의 픽셀의 색에 기초하여 수정될 수 있다. 예를 들어, 일련의 프레임들에 걸쳐 지속되는 채색된 객체들의 색은 시간이 지남에 따라 객체의 적색 포화의 정도가 감소하도록 수정될 수 있다. 색 변경의 시간과 및 비율은 충분하여 그 효과가 시청자에게 쉽게 인식될 순 없지만, 효과적으로 색 포화 또는 전반적인 망막 대비를 감소시킨다.
다른 예시에서, 적색 픽셀들이 수정되는 정도는 시간이 지남에 따라 증가할 수 있다. 따라서, 특정한 시청 세션 동안 시청자가 디스플레이를 시청하는 시간이 길수록, 적색 픽셀들의 수정 정도가 커진다.
알고리즘(400)을 수행하도록 구성된 전자 프로세싱 모듈들의 예시적인 구현예들이 도 7b-7c와 관련하여 이후에 기술된다. 도 7b를 참조하면, 프로세싱 모듈(710)은 입력 포트(702A) 및 출력 포트(702B)를 갖는다. 이 예시에서, 프로세싱 모듈(710)은 프로세싱 디바이스(720), 프로세싱 디바이스 및 입력 포트(702A)와 연결된 수신기 디바이스(RX)(730) 및 프로세싱 디바이스 및 출력 포트(702B)와 결합된 전송기 디바이스(TX)(740)를 포함한다.
동작시, 프로세싱 모듈(710)은 알고리즘(400)의 단계(410)에 따라 입력 포트(702A)에서, 직렬화된 입력 RGB 데이터(701)을 수신하며, 초기 (수정되지 않은) 값들 ri, gi 및 bi가 비디오 소스로부터 직렬 방식으로 제공된다. RX(730)는 입력 포트(702A)로부터 직렬화된 입력 RGB 데이터(701)를 수신하고, 그것을 역 직렬화하며, 병렬화된 입력 RGB 데이터(703)를 프로세싱 디바이스(720)에 전송한다. 프로세싱 디바이스(720)는 병렬화된 입력 RGB 데이터 RX(730)를 수신하고 알고리즘(400)의 단계들(420, 430 및 440)에 따라 그것을 수정하며, 초기 값들 ri, gi 및 bi는 RX(703)으로부터 제공된다. 프로세싱 모듈(710)은 병렬화된 출력 RGB 데이터(707)을 생산하며, 수정된 값들 rm, gm 및 bm이 TX(740)에 병렬 방식으로 전송된다. TX(740)는 병렬화된 출력 RGB 데이터(707)를 직렬화하고 직렬화된 출력 RGB 데이터(709)를 출력 포트(702B)로 전송한다. 프로세싱 모듈(710)은 알고리즘(400)의 단계(450)에 따라 출력 포트(702B)에서 직렬화된 출력 RGB 데이터(709)를 출력하고, 수정된 값들 rm, gm 및 bm이 직렬 방식으로 디스플레이 디바이스에 제공된다.
일부 구현예들에서, RX(730)는 HDMI 수신기로 구성된 집적 회로, 예를 들어, Analog DevicesTM에 의해 제조된 저전력 165MHz HDMI 수신기 ADV7611을 포함할 수 있다. 일부 구현예들에서, TX(740)는 HDMI 전송기로 구성된 집적 회로, 예를 들어, Analog DevicesTM에 의해 제조된 225MHz HDMI 전송기 ADV7511을 포함할 수 있다.
일부 구현예들에서, 프로세싱 모듈(710)의 입력 포트(702A)는 비디오 소스의 HDMI 출력과 결합되는 동글(100B/100B*)의 HDMI 입력(1021/1021*)과 결합될 수 있다. 예를 들어, 비디오 소스는 도 2a-2b, 3 및 4와 관련하여 상술한 컴퓨터, 비디오 카메라 또는 임의의 다른 비디오 소스들일 수 있다.　비디오 소스들의 예시들 중 임의의 하나는 프로세싱 모듈(710)에 의해 프로세싱될 비디오 데이터 (예를 들어, RGB, YUV 또는 비디오 데이터의 다른 종래의 표현들)을 제어 가능하게 생성할 수 있다. 일부 구현예들에서, 프로세싱 모듈(710)의 출력 포트(702B)는 디스플레이 디바이스의 HDMI 입력과 차례로 결합되는 동글(100B/100B*)의 HDMI 출력(1020/1020*)과 결합될 수 있다. 예를 들어, 디스플레이 디바이스는 도 2a-2b, 3 및 4와 관련하여 상술한 컴퓨터 모니터, TV 세트, 또는 임의의 다른 디스플레이 디바이스일 수 있다. 몇몇 경우들에서, 비디오 소스들의 전술한 예들 중 적어도 일부는 직렬화된 암호화된 입력 RGB 데이터(701)인 고화질 콘텐츠 보호(HDCP) 데이터를 제공할 수 있다. 이러한 경우들에서, RX(730)는 HDPC 데이터를 해독하도록 구성되어, 알고리즘(400)에 따라 프로세싱 디바이스(720)에 의해 프로세싱될 병렬화된 입력 RGB 데이터(703)가 해독된다. 이러한 경우들에도, TX(740)는 알고리즘(400)에 따라 프로세싱 디바이스(720)에 의해 프로세싱된 데이터를 재 암호화하고 직렬화된 출력 RGB 데이터(709)를 암호화된 데이터로써 출력하도록 구성된다.
일부 구현예들에서, 프로세싱 디바이스(720)는 FPGA 디바이스로 구성된 집적 회로를 포함할 수 있으며, 이 경우 전자 프로세싱 모듈(710)은 FPGA 디바이스를 지원하는 FPGA 보드로써 구현된다. RX(730) 및 TX(740)은 각각 FPGA 보드에 연결된 각각의 도터 카드(daughter card) 또는 FPGA 보드 상에 직접 배치될 수 있다. 또한 이 경우, FPGA 보드(710)의 고속 병렬 데이터 버스는 병렬화된 입력 RGB 데이터(703)를 수신하고 병렬화된 출력 RGB 데이터(707)를 전송하기 위해 FPGA 디바이스(720)에 의해 사용될 수 있다. 또한, FPGA 보드(710) (도 7b에 굵은 실선으로 표현됨)의 고속 직렬 데이터 버스가 직렬화된 입력 RGB 데이터(701)를 수신하기 위해 RX(730)에 의해 및 직렬화된 출력 RGB 데이터(709)를 전송하기 위해 TX(740)에 의해 사용될 수 있다.
또한, 각각의 RX 디바이스(730) 및 TX(740)와 명령어들 및/또는 명령들을 교환하기 위해, FPGA 디바이스(720)에 의해 상호 집적 회로(I2C) 통신 버스(도 7에 얇은 실선으로 표현됨)가 사용될 수 있다. 대안적으로, 그러한 명령어들/명령들의 적어도 일부가 FPGA 보드(710) 상에 배치된 플래시 메모리(760)에 저장될 수 있고, 따라서 FPGA 디바이스(720), RX(730) 및 TX(740)는 그것을 부트-업시 자신들을 구성하기 위해 사용할 수 있다.
도 7b에 도시된 예시에서, FPGA 디바이스(720)는 데이터 경로 블록(722) 및 프로세서 서브시스템(724) (제어 평면으로 또한 지칭됨)을 포함한다. 프로세서 서브 시스템(724)은 마스터-슬레이브 인터페이스를 사용하여 포트(726)를 통해 데이터 경로 블록(722)과 통신할 수 있다.
데이터 경로 블록(722)은 알고리즘(400)에 따라 병렬화된 입력 RGB 데이터(703)를 프로세싱하도록 구성될 수 있다. 프로세서 서브시스템(724)은 마이크로-제어기 및 프로세싱 파라미터들을 저장하기 위한 2 이상의 레지스터들을 포함한다. 프로세서 서브시스템(724)은 병렬화된 입력 RGB 데이터(703)의 프로세싱을 트리거 및/또는 제어하는 비트들 및/또는 레지스터들을 설정하는데 사용된다. 도 7b에 도시된 예시에서, 프로세서 서브시스템(724)의 제1 레지스터는 병렬화된 입력 RGB 데이터(703)의 변환이 데이터 경로 블록(722)에 의해 수행될지 여부를 결정하는 제1 프로세싱 파라미터 t의 값을 저장한다. 일부 경우들에서, 임계 파라미터로 또한 지칭되는 제1 프로세싱 파라미터 t는 0으로 설정될 수 있다. 이 예시에서, 제2 레지스터는 예를 들어, 등식 (2)에 따라, 병렬화된 입력 RGB 데이터의 초기 값들 gi 및 bi의 증가나 초기 값 ri의 전력 감소를 결정하는 스케일을 계산하기 위해 데이터 경로 블록(722)에 의해 사용되는, 스케일 파라미터로 또한 지칭되는, 제2 프로세싱 파라미터 p의 값을 저장한다. 감독 에이전트 (예를 들어, 사용자, 감독 디바이스 또는 감독 프로세스)는 제1 및 제2 레지스터에 저장된 파라미터 값들의 세트{t, p}(725)에 액세스하여 이를 수정할 수 있다.
일부 구현예들에서, 프로세서 서브시스템(724)은 FPGA 디바이스(720)에 국부적일 필요는 없으며, 대신에 프로세서 서브시스템은 파라미터 값들의 세트{t, p}(725)를 무선 방식 예를 들어, WiFi 칩(750)으로 데이터 경로 블록(722)에 제공하는 원격 디바이스의 일부로써 구현될 수 있다. WiFi 칩(750)은 FPGA 보드(710) 상에 또는 FPGA 보드와 결합된 도터 카드 상에 직접 배치될 수 있음을 주목한다. 이러한 구현예들에서, FPGA 보드(710)의 부트-업시 데이터 경로 블록(722)의 포트(726)에 로딩될 파라미터 값들의 세트{t, p}(725)의 초기 인스턴스는 FPGA 보드(710) 상에 배치된 플래시 메모리에 저장될 수 있다. 파라미터 값들의 세트{t, p}(725)의 후속 변경들은 WiFi 칩(750)을 통해 무선으로 수신될 수 있다.
도 7b에 도시된 예시에서, FPGA 디바이스(720)의 데이터 경로 블록(722)은 (i) 알고리즘(400)의 단계(420)에 따라, 예를 들어, 초기 값들 ri 및 gi의 차이에 기초하여 병렬화된 입력 RGB 데이터(703) 초기 값들 ri, gi 및 bi에 기초한 상이한 원추들 자극의 상대적 레벨을 결정하고 (ii) 알고리즘(400)의 단계(430)에 따라, 각 픽셀들과 연관된 병렬화된 입력 RGB 데이터(703)가 수정될지 여부를 식별하며 (iii) 알고리즘(400)의 단계(440)에 따라, 등식 (2) 및 등식 (4)에 기초하여 그리고 단계(420)에서 결정된 초기 값들 ri 및 gi사이의 차이를 사용하여, 식별된 픽셀들과 연관된 병렬화된 입력 RGB 데이터(703)를 변환하도록 구성되었으며 수정된 병렬화된 출력 RGB 데이터(707)의 값들 rm, gm 및 bm를 생산한다. FPGA 디바이스(720)의 데이터 경로 블록(722)에 의해 수행되는 동작들은 이하에 기술된다.
알고리즘(400)의 단계(420)에 대응하는 제1 동작(Op1)이 초기 값들 ri 및 gi의 차이를, 등식 2에 기초하여, 계산하기 위해 데이터 경로 블록(722)에 의해 수행된다.
Figure 112018081411637-pct00005
계산된 차이를 임계 파라미터 t와 비교하기 위해 알고리즘(400)의 단계(430)에 대응하는 제2 동작(Op2)이 데이터 경로 블록(722)에 의해 수행된다:
Figure 112018081411637-pct00006
계산된 차이가 임계 파라미터 t를 초과하면, 알고리즘(400)의 단계(440)에 대응하는 수정 시퀀스가 다음에 수행된다. 수정 시퀀스의 제1 동작 (및 제3 전체 동작(Op3))으로써, 계산된 차이는 스케일 파라미터 p에 의해 스케일링된다:
Figure 112018081411637-pct00007
수정 시퀀스의 제2 동작 (및 제4 전체 동작(Op4))으로써, 초기 값 ri를 수정하기 위해 등식 (4)에 기초하여 제1 수정 항이 사용되도록 결정된다:
Figure 112018081411637-pct00008
수정 시퀀스의 제3 동작 (및 제5 전체 동작(Op5))으로써, 초기 값들 gi 및 bi 모두를 수정하기 위해, 등식 (4)에 기초하여 제2 수정 항이 사용되도록 결정된다:
Figure 112018081411637-pct00009
수정 시퀀스의 제4 동작 (및 제6 전체 동작(Op6))으로써, 수정된 값들 rm, gm 및 bm은 등식 (4)에 따라 다음의 방식으로 생산된다:
Figure 112018081411637-pct00010
이 예시에서, 초기 값 ri로부터 감산된 전력의 양이 초기 값들 gi 및 bi에 가산되기 때문에 동작들 (1) 내지 (6)에 기초하여 수행된 수정은 등가이다. 예를 들어,
Figure 112018081411637-pct00011
이기 때문에, 초기 값 ri로부터 감산된 전력의 양의 절반이 초기 값 gi에 가산되고 나머지 절반이 초기 값 bi에 가산된다. Op6과 등식 (4)를 비교함으로써, 계산된 수정 항들과 관련하여 다음과 같은 등식들이 유효하다:
Figure 112018081411637-pct00012
및
Figure 112018081411637-pct00013
Figure 112018081411637-pct00014
. 등식인 변환에 필요한 만큼,
Figure 112018081411637-pct00015
및
Figure 112018081411637-pct00016
와 같다.
예를 들어, 프로세싱 파라미터들 집합이 {t=0, p=0.8}(725)인 제1 인스턴스와 관련하여, 병렬화된 입력 RGB 데이터(703)의 초기 값들 [255, 0, 0]을 수정하기 위해 사용된 동작들 (1) 내지 (6)은 병렬화된 출력 RGB 데이터(707)의 최종 값들 [153, 51, 51]을 결론으로 한다. 다른 예시로써, 프로세싱 파라미터들 집합이 {t=0, p=0.4}(725)인 제2 인스턴스와 관련하여, 병렬화된 입력 RGB 데이터(703)의 초기 값들 [240, 121, 44]을 수정하기 위해 사용된 동작들 (1) 내지 (6)은 병렬화된 출력 RGB 데이터(707)의 최종 값들 [216, 133, 56]을 결론으로 한다.
도 7c는 FPGA 디바이스(720)의 데이터 경로 블록(722)이 알고리즘(400)의 특정한 부분을 수행하는 데 필요한 N개의 동작들을 한 번에 하나의 픽셀 단위로 수행하기 위해 데이터 파이프라인(780)의 N≥2 개의 병렬 인스턴스들을 사용함을 도시한다. 데이터 파이프라인(780)은 N개의 동작들을 포함하며, N=2, 3, 4, 5, 6, 7, 8, 9, 10, 12, 15, 20, 50, 100 또는 그 이상의 동작들은 알고리즘(400)의 특정한 부분들의 복잡도에 따른다.
소정의 클록 사이클 동안, 수정되지 않은 비디오 프레임 fi의 픽셀 pj에 대응하는 입력 RGB 데이터(703)(pj; 0)의 초기 값들 ri, gi 및 bi는 입력 스위치(728A)를 통해 데이터 파이프라인(780)으로 입력된다. 입력 RGB 데이터(703)(pj; 0)에 대해 여기서 사용된 인덱스 0은 파이프라인 프로세싱 전 이 데이터에 대해 동작이 수행되었던 적이 없음을 의미(denote)한다. 다음 N 클록 사이클들 동안, 픽셀 pj에 대응하는 RGB 데이터(705)(pj; k)는 클록 사이클당 1 동작 단위로 프로세싱되고, k는 동작 인덱스이며, k=1 ... N이다. 도 7c에서, 이미 수행되었던 데이터 파이프라인(780)의 동작들은 심볼 "x"를 사용하여 표현되고, 수행될 나머지 데이터 파이프라인의 동작들은 심볼 "o"를 사용하여 표현된다. (Ν+1)th 클록 사이클 동안, 픽셀 pj에 대응하는 출력 RGB 데이터(707)(pj;N)의 수정된 값들 rm, gm 및 bm은 출력 스위치(728B)를 통해 데이터 파이프라인(780)으로부터 출력된다. 출력 RGB 데이터(707)(pj;N)에 대해 여기서 사용된 인덱스 N은 데이터 파이프라인(780)을 통한 프로세싱의 일부로써 이 데이터에 대해 N 개의 동작들이 수행되었었음을 의미한다.
도 7c에 도시된 예시에서, 상술한 바와 같이 알고리즘(400)의 단계들(420, 430 및 440)을 수행하는데 사용된 동작들 (1) 내지 (6)에 대응하는 N=6이다. 또한, 도 7c는 현재 클록 사이클 동안 데이터 경로 블록(722)을 통해 RGB 데이터의 스냅샷을 도시한다. 여기서, 픽셀 pj에 대응하는 RGB 데이터(705)(pj;6)는 6 클록 사이클 전에 파이프라인(780)[1]의 제1 인스턴스로 론칭되었었고; 동작들 (1) 내지 (5)를 통해 1 클록 사이클 마다 한 번에 프로세싱 되었었으며; 현재는 동작 6에서 프로세싱되고 있다. 다음 픽셀 pj +1에 대응하는 RGB 데이터(705)(pj + 1;5)는 5 클록 사이클 전에 파이프라인(780)[2]의 제2 인스턴스로 론칭되었었고; 동작들 (1) 내지 (4)를 통해 1 클록 사이클 마다 한 번에 프로세싱 되었었으며; 현재는 동작 5에서 프로세싱되고 있다. 제2 다음 픽셀 pj +2에 대응하는 RGB 데이터(705)(pj +2;4)는 4 클록 사이클 전에 파이프라인(780)[3]의 제3 인스턴스로 론칭되었었고; 동작들 (1) 내지 (3)을 통해 1 클록 사이클 마다 한 번에 프로세싱 되었었으며; 현재는 동작 4에서 프로세싱되고 있다. 이후, 현재 클록 사이클 동안 파이프라인(780)[6]의 제6 인스턴스로 론칭되었던 제5 다음 픽셀 pj +5에 대응하는 RGB 데이터(705)(pj +5;1)는 동작 1에서 프로세싱되고 있다. 또한, 현재 클록 사이클 동안, 픽셀 pj +6에 대응하는 입력 RGB 데이터(703)(pj + 6;0)는 다음 클록 사이클 동안 파이프라인(780)[1]의 제1 인스턴스로 론칭될 데이터 경로 블록(722)의 입력 스위치(728A)와 관련하여 업스트림으로 큐잉되었었다. 현재의 클록 사이클까지 입력 RGB 데이터(703)(pj +6;0)) 및 나중의 입력 RGB 데이터, 예를 들어, 입력 RGB 데이터(703)(pj+7;0) 등에 대해 0개의 동작들이 수행되었었다. 또한, 현재 클록 사이클 동안에, 이전 픽셀 pj -1에 대응하는 출력 RGB 데이터(707)(pj -1;6)는 그곳으로부터 멀리 전송되도록 데이터 경로 블록(722)의 출력 스위치(728B)와 관련하여 다운스트림에 큐잉되었었다. 현재의 클록 사이클까지 출력 RGB 데이터(707) (pj -1;6) 및 이전 출력 RGB 데이터, 예를 들어, 출력 RGB 데이터(707)(pj -2;6) 등에 대해 6개의 동작들이 수행되었었다.
일반적으로, 도 7c는 데이터 경로 블록(722)의 메인 데이터 파이프라인 상에 수정되지 않은 비디오 프레임 fi의 N 개의 픽셀들의 시퀀스에 대응하는 RGB 데이터 항목들이 직렬 방식으로 수신됨을 도시하고; RGB 데이터 항목들이 서로에 대해 엇갈리기 때문에 그 후, 이들은 주 데이터 파이프라인 일부의 N개의 병렬 인스턴스들에서 프로세싱되며, 상기 일부는 각 RGB 데이터 항목들이 클록 사이클 당 하나의 동작만큼 진행하는 N개의 동작들을 포함하고; 최종적으로, 프로세싱된 RGB 데이터 항목들은 주 데이터 파이프라인으로 직렬 방식으로 수렴한다. 데이터 경로 블록(722)이 RGB 데이터를 프로세싱하는 데이터 프로세싱 속도는 클록 사이클의 값에 의해 결정된다. 즉, 짧은 클록 사이클은 큰 데이터 프로세싱 속도에 대응한다. 일부 구현예들에서, 클록 사이클은 FPGA 보드(710) 상에 배치된 발진기를 사용하여 설정된다. 예를 들어, 온보드 발진기는 데이터 경로 블록(722)의 입력 스위치(728A) 및 출력 스위치(728B)를 제어하여 RGB 데이터 항목들이 데이터 파이프라인의 각각의 인스턴스에서 론칭되고 N 사이클들 이후에 추출되는 속도를 결정할 수 있다. 버퍼링 없이 입력 RGB 데이터(703)를 실시간으로 수정하기 위해서는 데이터 경로 블록(722)의 프로세싱 속도가 입력 RGB 데이터의 데이터 속도와 동일해야 한다.
예를 들어, 초당 60 프레임(FPS)의 재생 속도와 1920x1080 픽셀의 해상도를 갖는 비디오 데이터의 경우 데이터 속도는 약 148.5MHz이다. 이 경우, 148.5MHz 발진기와 연관된 클록 사이클을 갖는 데이터 경로 블록(722)은 입력 RGB 데이터(703)를 버퍼링 없이 실시간으로 수정할 수 있다. 다른 예시로써, 120FPS 재생 속도와 1920x1080 픽셀의 해상도를 갖는 비디오 데이터의 경우 데이터 속도는 약 297MHz이다. 이 경우에, 297MHz 발진기와 연관된 클록 사이클을 갖는 데이터 경로 블록(722)은 버퍼링 없이 실시간으로 입력 RGB 데이터(703)를 수정할 수 있다. 상기 예시들 중 어느 것도 입력 RGB 데이터(701/703)의 캐싱(caching)을 요청하지 않으므로, 프로세싱 디바이스(720)는 영화를 먼저 로컬하게 캐싱하지 않고서 유리하게 수정할 수 있다. 이러한 캐싱은 하룻밤 사이에 이루어지기 때문에 시청자의 경험을 망칠 수 있다.
전술한 클록 사이클 값을 사용하고 입력 RGB 데이터(703)의 버퍼링 없이 데이터 경로 블록(722)을 작동시키기 위해, 동작들 (1) 내지 (N) 각각은 단일 클록 사이클 내에서 수행될 수 있다고 가정되었었다. 동작들 (1) 내지 (N) 중 임의의 동작을 수행하기 위해 더 긴 클록 사이클이 필요한 경우, 데이터 프로세싱 속도가 적절하게 감소되어야 한다. 이와 같이, 데이터 프로세싱 속도가 비디오 데이터 속도 이하로 감소되면, 일부 적절한 비디오 데이터 버퍼링이 데이터 경로 블록(722)보다 먼저 수행될 것이다.
일부 구현예들에서, 동작들 (1) 내지 (N) 각각의 실행을 가속화하기 위해, 동작들 (1) 내지 (N)은 십진 동작들과는 반대의 정수 동작들로 구현된다. 정수 값들에 대해 수행된 동작들이 십진 값들에 대해 수행된 동작들보다 빠르게 수행되므로, 입력 RGB 데이터(703)의 초기 값들 ri, gi 및 bi 및 프로세싱 파라미터들의 세트{t, p}(725)의 값들은 예를 들어, 데이터 경로 블록(722)에 삽입되기 전에 십진수 형태에서 정수 (즉, 고정된 점) 형태로 변환된다. 또한, 출력 RGB 데이터(707)의 수정된 값들 rm, gm 및 bm은, 데이터 경로 블록(722)으로부터 출력되면, 정수 형태에서 십진수 형태로 변환된다. 도 7c에 도시된 예시에서, FPGA 디바이스(720)의 십진수-정수 변환기(792)는 데이터 경로 블록(722)의 업스트림에 배치되고, 정수-십진수 변환기(794)는 데이터 경로 블록의 다운스트림에 배치된다. 예를 들어, 십진수-정수 변환기(792)는 초기 값들 ri, gi 및 bi 와 십진수 형태로 수신된 {t, p}의 값들에 216을 곱하는 논리로써 구현될 수 있고, 정수-십진수 변환기(794)는 정수 형태 출력의 수정된 값들 rm, gm 및 bm을 216으로 나누는 논리로써 구현될 수 있다. 도 7c에 도시된 예시에서, 십진수 동작들로 구현된 동작들 (1) 내지 (N)에 반대되는 정수 동작들로 구현된 동작들 (1) 내지 (N)에 따라 입력 RGB 데이터의 수정을 수행하는 경우, 프로세싱 속도의 이득이 정밀도의 잠재적 손실보다 훨씬 크다.
일부 다른 구현예들에서, 알고리즘(400)과 연관된 동작들 (1) 내지 (N)은 데이터 경로 블록(780)의 데이터 파이프라인 상에서 직렬 방식으로 수신된, 수정되지 않은 비디오 프레임 fi의 N 개의 픽셀들의 K개 시퀀스들에 대응하는 K×N RGB 데이터 항목들에 병렬로 수행될 수 있다. RGB 데이터 항목들은 하나의 동작으로 서로 엇갈리게 배치되기 때문에, 수신된 K×N RGB 데이터 항목들은 클럭 사이클 당 하나의 동작에 의해 데이터 파이프라인(780) 일부의 K×N 병렬 인스턴스들 상에서 프로세싱될 수 있고, 상기 일부는 각 RGB 데이터 항목이 진행하는 N 개의 동작들을 포함한다. 이러한 방식으로, 알고리즘(400)의 적어도 일부분은 데이터 파이프라인(780)의 K×N 개의 인스턴스들로 구성된 데이터 경로 블록에 의해, 파이프라인(780)의 N개 인스턴스들로 구성된 데이터 경로 블록(722)과 비교하여 K배 (K=2, 5, 10, 12, 15, 20 또는 다른 승수) 빨리, 프로세싱될 것이다.
도 7c와 관련하여 상기 기술된 기술들은 입력 RGB 데이터(703)의 버퍼링을 요청하지 않기 때문에, 수정되지 않은 비디오 프레임 fi의 상이한 영역들로부터 픽셀들의 초기 값들 ri, gi 및 bi를 상이하게 수정하기 위해 다음의 기법들이 사용될 수 있다. 일부 구현예들에서, 프로세싱 파라미터들 세트{t1, p1}(725)의 제1 인스턴스를 사용하여 비디오 프레임 fi의 (예를 들어, GUI에 제시된 제1 윈도우 내의) 인접 픽셀들의 제1 세트 및 프로세싱 파라미터들 세트{t2, p2}(725)의 제2 인스턴스를 사용하여 비디오 프레임 fi의 (예를 들어, GUI에 제시된 제2 윈도우 내의) 인접한 픽셀들의 제2 세트의 초기 값들 ri, gi 및 bi를 수정하기 위해 하나 이상의 카운터들이 FPGA 디바이스(720)의 일부로써 구성될 수 있다. 이러한 카운터(들)은 데이터 파이프라인(780)의 N개의 인스턴스들을 통해 병렬로 프로세싱될 다음 N개의 픽셀들이 현재 프로세싱되고 있는 N개의 픽셀들과 동일한 비디오 프레임 영역에 속하는지 여부를 추적하는 데 사용될 수 있으며, 그렇지 않은 경우, 현재 사용중인 프로세싱 파라미터들의 세트를 다음 N 픽셀들을 처리할 때 사용될 다른 프로세싱 파라미터들의 세트로 업데이트한다.
도 7b도 돌아가 참조하면, 프로세싱 모듈(710)이 동글(100B/100B*)에 포함되는 일부 구현예들에서, 프로세싱 모듈은 미리 결정된 M 개의 설정들에 기초하여 동작하고, 미리 결정된 설정들 각각은 파라미터 세트{tj, pj}(725), j=1 ... M, 의 각각의 인스턴스와 관련되고 예를 들어, ri의 초기 값의 5%, 10%, 15%, ... , Mth% 감소인 미리 결정된 수정 레벨에 대응한다. 일부 구현예들에서, 미리 결정된 설정들은 예를 들어, 사용자 입력을 통해 동글(100B/100B*)의 사용자에 의해 설정 및/또는 선택될 수 있다. 다른 구현예들에서, 미리 결정된 설정들 중 적합한 하나가 예를 들어 영화의 현재 이미지 프레임의 특성들에 기초하여 자동적으로 선택될 수 있다. 특성들은 대비, 색 포화 등일 수 있다. 도 7b에 도시된 예시에서, 프로세싱 모듈(710)은 제1 프로세싱 파라미터 p (예를 들어, plo, phi 등 K 설정들까지), t (예를 들어, tlo, thi 등 K 설정들까지) 등의 각각의 값들 사이를 토글(toggle)하는 데 사용되는 K≥2 버튼들(770)을 포함한다. 동글(100B/100B*)로 하여금 입력 RGB 데이터(703)의 초기 값들 ri, gi 및 bi의 커스텀 수정을 수행하게 하기 위해 사용자에 의해 버튼들(770)이 프로세싱 파라미터 세트{t, p}(725)에 대해 원하는 값들의 조합을 설정하는데 사용될 수 있다.
프로세싱 모듈(710)이 동글(100B/100B*)에 포함되는 일부 구현예들에서, 프로세싱 모듈(710)은 예를 들어, 프로세싱 디바이스(720), RX(730), TX(740), WiFi칩(750), 플래시 메모리(760) 및 버튼들(770)인 프로세싱 모듈의 다양한 컴포넌트들 및 동글의 외부에 있는 전원에 의해 제공되는 전력을 관리하기 위한 전력 관리 모듈을 포함할 수 있다. HDMI 연결(102I*/102O*)을 통해 제공되는 전력이 충분하지 않을 수 있기 때문에 도 7c과 관련하여 기술된 기술들을 수행하기 위한 전력은 USB 연결(104)을 통해 동글(100B/100B*)에 제공될 수 있다.
다른 구현예들에서, 프로세싱 디바이스(720)는 RX(730), TX(740), WiFi 칩(750), 플래시 메모리(760) 및 버튼들(770)과 함께 프로세싱 모듈(710)의 일부인 ASIC으로 대체될 수 있다. 일부 다른 구현예들에서, 프로세싱 디바이스(720) 및 RX(730) 및/또는 TX(740)는 나머지 컴포넌트들과 함께 프로세싱 모듈(710)의 일부인 ASIC에 통합될 수 있다. 개시된 기술들의 이 또는 다른 ASIC 구현예들 중 어느 하나는 파이프라인 스테이지들의 수를 감소시키고 프로세싱 속도를 증가시킬 수 있다. 이러한 ASIC을 제조하는 Fab 기술들은 값싼 기술일 수 있다.
일반적으로, 알고리즘(400)은 계산 효율을 개선하고, 예를 들어 이미지를 디스플레이에 전달할 때 대기 시간 문제를 피하기 위한 하나 이상의 기법들을 구현할 수 있다. 예를 들어, 일부 실시예들에서, 픽셀들 및/또는 프레임들의 서브세트 만이 수정을 위해 평가된다.　예를 들어, 계산 효율성을 위해, 모든 프레임이 평가되는 것은 아니다 (예를 들어, 두 프레임마다 또는 그 이하가 평가된다). 이러한 샘플링은 실시간으로 실행될 때 알고리즘(400)의 대기 시간을 개선할 수 있다.
일부 실시예들에서, 모든 픽셀이 매 프레임마다 평가되는 것은 아니다. 예를 들어, (예를 들어, 시청자가 집중할 가능성이 더 있는) 프레임의 중심에 가까운 픽셀들만 평가된다. 대안적으로, 시청자가 변경들을 통지할 가능성이 적은 프레임의 중심으로부터 떨어진 픽셀들만 평가된다. 대안적으로, 또는 추가적으로, 이미지 분석 기법들은 프레임의 어느 부분이 초점에 있는지 (따라서 시청자에 의해 집중될 가능성이 있는지)를 식별하고 초점이 맞춰진 부분들의 픽셀들에만 색 수정을 적용하도록 적용될 수 있다.
일부 구현예들에서, 알고리즘(400)은 다른 픽셀들을 평가할지 여부를 결정하기 위해 각 프레임 내의 픽셀들을 주기적으로 샘플링한다. 예를 들어, 알고리즘(400)은 매 두 번째 또는 그 이하의 픽셀들 (예를 들어, 매 세 번째 픽셀 또는 이하, 매 다섯 번째 픽셀, 매 열 번째 픽셀 또는 이하, 매 스무 번째 픽셀)의 색을 검사할 수 있다. 이 초기 샘플링이 수정 후보인 픽셀을 검출하는 경우, 알고리즘(400)은 식별된 픽셀에 색 수정을 적용할 수 있다. 샘플링 된 영역들 사이의 픽셀들은 수정되지 않은 채로 남겨지거나 수정을 위한 후보가 될지를 결정하기 위해 더 샘플링될 수 있다. 대안적으로, 이들이 초기에 샘플링된 픽셀과 동일한 선형 변환에 의해 수정될 수 있거나, 샘플링된 픽셀들 사이의 보간(interpolate)된 값들이 최종 픽셀 값들을 결정하는데 사용될 수 있다. 이러한 샘플링 기법들은 알고리즘(400)의 속도를 개선하는데 유용할 수 있으므로 모든 프레임의 모든 픽셀을 평가할 필요는 없다.
이미지들을 인코딩하기 위해 사용되는 압축 기법들이 효율성을 개선하기 위해 또한 사용될 수 있다. 예를 들어, 일부 실시예들에서, 채도(chroma) 서브샘플링이 사용될 수 있다. 채도 서브샘플링의 예시들로는 4:2:2, 4:2:1, 4:1:1 및 4:2:0 서브 샘플링이 있다.　이 서브 샘플링은 또한 알고리즘(400)의 속도를 개선하는데 유용할 수 있으므로 모든 프레임의 모든 픽셀을 평가할 필요가 없다. 이러한 기법들을 사용하여, 색 픽셀들의 해상도가 일반적으로 감소되어, 색의 픽셀 렌더링이 시청자들 눈에 쉽게 띄지 않고서 보다 쉽게 된다.　대안적으로, 해상도는 초기 이미지에서와 동일하게 유지될 수 있고, 중간 픽셀들은 보간값들 또는 샘플링된 픽셀들에 기초한 선형 변환으로부터 도출될 것이다. 알고리즘(400)을 시작하기 전에, 또는 완료한 후에, 비디오의 전체 프레임에 대해 중간 프로세스들 중 적어도 일부가 수행되어야 한다면, 버퍼링이 구현될 수 있음을 주목해야 한다. 예를 들어, YUV 4:2:2에서 YUV 4:4:4 (즉, 압축 또는 "서브 샘플링"에서 압축되지 않은 YUV 데이터로) 이동하는 것은 보간을 위한 실시간 버퍼링을 요청한다. 마찬가지로, 데시메이션(decimation)을 위해 YUV 4:4:4에서 YUV 4:2:2로 이동하는 것은 버퍼링을 요청한다. 전술한 중간 프로세싱 버퍼링의 예시들은, 예를 들어 RX(730) 및/또는 TX(740)에 의해 처리(handle)될 수 있다.
추가 하드웨어 컴포넌트들로부터의 입력은 상술한 색 수정 알고리즘을 수정하는데 또한 사용될 수 있다. 일부 실시예들에서, 시스템은 사용자가 시청하고 있는 디스플레이 상의 위치를 따르기 위해 눈-추적 모듈을 포함할 수 있다. 후속적으로, 색 수정은 시청중인 디스플레이의 위치에만 적용된다. 대안적으로 색 수정은 디스플레이 상의 시청되지 않는 위치들만에 적용된다. 상업적으로 사용 가능한 눈 추적 솔루션들이 이러한 목적으로 사용될 수 있다. 상업적으로 사용 가능한 솔루션의 예시로 Tobii AB (Danderyd, Sweden)에서 구할 수 있는 Tobii EyeX 컨트롤러가 있다.
일부 실시예들에서, 알고리즘(400)은 시청자의 초점이 아닌 이미지의 부분들을 수정하고, 초점이 맞춰진 이미지 부분은 변경되지 않은 채로 남겨둔다. 이러한 방식으로, 수정된 픽셀들이 시청자의 주변에 있기 때문에 시청 경험에 대한 수정의 영향이 감소된다.
이러한 접근법은 전자 판독기(e-reader) 및 워드 프로세싱 소프트웨어와 같이 텍스트를 렌더링하는 애플리케이션에서 특히 유용할 수 있다. 텍스트는 종종 고 대비 흑백으로 디스플레이되며 이전에 논의된 이유들로, 이러한 이미지들은 전형적으로 적색 픽셀들을 포함하지 않음에도 불구하고 특히 급성인 근시유발적 반응을 이끌어낼 수 있다.　일부 실시예들에서, 텍스트는 이미지의 일부분 (예를 들어, 뷰잉 버블(viewing bubble)) 내에서만 고 대비로 렌더링될 수 있고, 이 영역 외부의 텍스트는 감소된 대비 및/또는 흐린 효과로 디스플레이될 수 있다. 일부 실시예들에서, 이미지의 초점이 흐려진/저 대비 부분과 뷰잉 버블 사이에 그라디언트가 있을 수 있다. 독서를 용이하게 하기 위해 버블이 텍스트 위로 이동되거나 텍스트가 고정 버블을 통해 이동될 수 있다. 상대 이동 속도는 사용자의 선호하는 읽기 속도에 따라 선택될 수 있다 (예를 들어, 분당 20 단어 이상, 분당 50 단어 이상, 분당 80 단어 이상, 분당 100 단어 이상, 분당 150 단어 이상, 분당 200 단어 이상, 분당 250 단어 또는 분당 300 단어 이상, 분당 350 단어 이상, 분당 400 단어 이상, 분당 450 단어 이상, 분당 500 단어 이상, 분당 최대 약 800 단어).
뷰잉 버블의 크기 및 모양이 또한 원하는 만큼 다양할 수 있다. 뷰잉 버블은 수평적 및/또는 수직적 보는 방향들 내의 사용자의 시야에서 약 20° 또는 그 이하의 각도 (예를 들어, 15°이하, 10°이하, 5°이하)에 대응할 수 있다. 뷰잉 버블은 타원형, 원형 또는 다른 모양일 수 있다. 일부 실시예들에서, 사용자는 뷰잉 버블의 크기 및/또는 모양을 설정할 수 있다.
일부 실시예들에서, 뷰잉 버블은 사용자의 손가락이 텍스트의 라인들을 가로지를 때 사용자의 손가락을 추적할 수 있다. 디바이스들은 손가락 추적을 위해 터치 스크린을 활용할 수 있다. 대안적으로 버블은 스타일러스, 마우스 또는 다른 주의 표시기를 추적함으로써 이동될 수 있다.
구현예에 따라 시청자의 초점을 확립하기 위한 다양한 기법들이 사용될 수 있다. 예를 들어, 눈 추적 기술은 사용자가 시청하고 있는 디스플레이 상의 위치를 따라가기 위해 사용될 수 있다.　알고리즘(400)은 수정을 위한 픽셀들을 실시간으로 식별하기 위해 눈 추적 카메라로부터의 정보를 사용할 수 있다. 초점 영역이 수정되지 않는 (또는 더 작은 범위로 수정되는) 동안 시청되는 위치에서 떨어진 픽셀들이 수정된다. 눈 추적은 모바일 디바이스 (예를 들어, 전향 카메라를 사용), 컴퓨터 모니터 (예를 들어, 화상 회의 카메라 사용) 및/또는 비디오 게임 콘솔들에서 특히 유용할 수 있다.
대안적인 원추 자극 측정들 및 근시 스케일들
픽셀이 망막내의 L 및 M 원추들을 포함하여 원추들을 차동적으로 자극하는지 여부를 평가하기 위해 ri, gi 및/또는 bi 값들을 단순히 비교하기 보다는, 일부 실시예들에서, 알고리즘(400)은 이미지에 의한 원추 자극의 다른 정량화 가능한 측정치들을 계산한다. 일부 실시예들에서, 이 측정치들은 L 원추들과 M 원추들만을 포함한다. 다른 실시예들에서, S 원추들의 기여들도 또한 포함된다. 일부 실시예들에서, 원추 자극을 계산하는 것은 먼저 각 픽셀에 대한 RGB 값들을 색 공간으로 변환하는 것을 포함하며, 상기 색 공간은 픽셀의 공간 콘텐츠를 인간 시각에서 생리학적으로 감지된 색과 정량적으로 링크시킨다. 이러한 색 공간의 한 예시가 이전에 논의된 CIE 1931 XYZ 색 공간이다. 이 색 공간은 XYZ 3자극 값들을 인간 눈의 LMS 원추 반응들과 유사하게 정의한다. 따라서 ri와 gi를 비교하여 어떤 픽셀들이 색 수정을 요청하는지 평가하기 보다는 알고리즘들이 X와 Y (또는 원한다면 X, Y 및 Z)를 비교할 수 있다. 예를 들어, 경우에 따라 X>Y 및 Z인 픽셀들에는 색 수정이 적용되지만 X≤Y 및/또는 Z인 픽셀들에는 적용되지 않는다.
대안적으로, 또는 추가적으로, LMS 색 공간 내의 원추 자극 값들은 XYZ 3자극 값들로부터 계산될 수 있다 (예를 들어, https://en.wikipedia.org/wiki/LMS_color_space 참조). 이러한 계산들을 수행하기 위한 알고리즘들은 알려져 있다 (예를 들어, www.imageval.com/ISET-Manual-201506/iset/color/transforms/xyz2lms.html에서 이용 가능한 xyz2lms 프로그램 참조). LMS 값들을 사용하여, 예를 들어, L 값들이 일정 임계치 이상인 및/또는 L>M (예를 들어, L>M 및 S)인 후보 픽셀들에 색 수정이 적용될 수 있다.
대안적으로, 원추 자극은 빛의 물리적 특성들을 사용하여 직접 계산될 수 있다. R, G 및 B 각각으로부터의 빛 강도와 및 파장은 텔레비전, 컴퓨터 또는 태블릿과 같은 디바이스로부터 측정될 수 있다. 눈을 통과하여 망막에 도달하는 각 파장의 강도를 계산할 수 있다. 이 값들은 예를 들어, 스미스-포 코니 원추 기초들(1992)이나 스토크맨 및 샤프에 의해 수정된 원추 기초들(2000)을 사용함으로써 그 후 L, M 및 S 원추들의 자극으로 변환될 수 있다.
전술한 기법들은 근시유발적 효과들을 감소시키기 위해 디스플레이된 이미지들을 수정하는데 유용할 수 있지만, 이 기법들은 이미지 정보에만 기초하고, 사람들의 망막 또는 이미지들이 시청되는 조건들 사이의 다양성들을 설명하지는 않는다.
시청자 눈의 상이한 원추들의 비율과 및/또는 원추들의 공간 분포가 다양함을 설명하는 것 또한 가능하다. 이것은 개인마다 L 원추들에서 M 원추들까지의 비율이 다른 것으로 알려져 있기 때문에 중요하다. 추가로 평균적으로, 상이한 인구 집단들은 L 원추들과 M 원추들의 비율이 다르다. 예를 들어, 백인은 평균적으로 약 63 % L 원추들을 가지고, 아시아인은 평균적으로 L과 M 원추들의 수가 동일하다. 따라서, 특정 자극의 근시유발적 효과는 상이한 집단들에 따라 상이할 수 있다.
상이한 망막에 대한 자극의 효과들은 예를 들어, 망막 모델 (또는 '시뮬레이팅된 망막')에 기초하여 계산될 수 있다. 도 9를 참조하면, 시뮬레이팅된 망막에서 RGB 형태 자극에 의해 원추 자극 레벨을 결정하기 위한 예시적 알고리즘(900)은 다음과 같다. 알고리즘(900)은 시뮬레이팅된 망막(920)을 확립함으로써 시작한다(901). 일반적으로 이것은 L, M 및 S 원추들의 상대적 수를 확립하고 그 배열 패턴을 확립하는 것을 포함한다. 도 6b는 시뮬레이팅된 망막의 예시를 도시한다. 여기서, 상이한 수의 L, M 및 S 원추들이 육각형 패킹으로 (즉, 벽돌 패턴 격자 상에) 무작위로 배열된다.
알고리즘(900)은 RGB 형태로 자극 패턴을 수신한다(910). RGB 자극 패턴은 전술한 바와 같이 픽셀 어레이의 색들에 대응한다. 일반적으로, 픽셀 어레이는 예를 들어, 단일 이미지 프레임 또는 이미지 프레임의 일부에 대응할 수 있다. 일반적으로, 입력 비디오 파일이 분석될 때, 각 프레임은 별도의 RGB 자극 패턴에 대응할 것이다. 도 6a는 자극 패턴의 예시를 도시한다.
단계(930)에서, 자극 패턴의 각 요소에 대한 RGB 값들은 대응하는 XYZ 3자극 값들의 세트로 변환된다. 이러한 변환은 잘 알려져 있다. 아드리안 포드(ajoec1@wmin.ac.uk <defunct>)와 알랜 로버트(Alan.Roberts@rd.bbc.co.uk)의 "Color Space Conversions" (1998년 8월 11일, http://www.poynton.com/PDFs/coloureq.pdf 에서 사용 가능)을 참조. 다음으로, 단계(940)에서, XYZ 3자극 값들 각각으로부터 LMS 값들이 예를 들어 xyz2lms를 사용하여 계산된다.
단계(950)에서, 자극 패턴은 그 후 시뮬레이팅된 망막에 매핑된다. 이 예시에서, 자극 패턴의 요소들은 시뮬레이팅된 망막의 원추들과 1:1 대응되어 있으며, 상기 매핑은 대응하는 망막 위치에서의 원추가 각각 L 원추, M 원추 또는 S 원추인지 여부에 따라 자극 패턴의 각 요소에서의 L, M 또는 S 값의 선택을 결과로 한다.
각 원추에서의 자극 레벨이 매핑으로부터 결정된다(단계(960)). 일부 구현예들에서, 이 결정은 단순히 매핑에 기초하여 각 원추에 L, M 또는 S 값을 할당하는 것을 포함한다. 경우에 따라, LMS 값은 특정한 범위 내에 속하도록 스케일링되거나 스펙트럼의 일정 부분들 또는 다른 인자들로 인해 기여도가 증가 또는 감소하도록 LMS 값이 가중된다.
알고리즘은 원추 자극 레벨들을 출력(970)한 후에 종료된다(999).
구현예들은 알고리즘(900)의 변형들을 포함할 수 있다. 예를 들어, 알고리즘(900)이 원추에 대해 1:1 픽셀 매핑을 포함하지만, 더 높은 또는 더 낮은 매핑 비율들이 사용될 수 있다. 예를 들어, 일부 경우들에서는 하나 이상의 픽셀들이 단일 원추로 이미지화되는 자극들에 대한 원추 자극이 계산될 수 있다. 이것은 예를 들어, 고 해상도 디스플레이들에서 또는 디스플레이가 상대적으로 멀리 떨어져서 시청될 때 발생할 수 있다. 이런 상황들에서, 알고리즘은 시뮬레이팅된 망막과 동일한 해상도 및 격자 모양을 갖는 자극 패턴을 제공하기 위해 픽셀 그룹들의 색을 평균화하는 추가 단계를 포함할 수 있다. 원추 당 픽셀들 수는 다를 수 있다. 원추 당 2개 이상의 픽셀들이 사용될 수 있다 (예를 들어, 원추 당 3개 이상의 픽셀들, 4개 이상의 픽셀들, 5개 이상의 픽셀들, 6개 이상의 픽셀들, 7개 이상의 픽셀들, 8개 이상의 픽셀들, 9개 이상의 픽셀들 또는 10개의 픽셀).
일부 경우들에서, 알고리즘은 각 원추에 이미지화되고 있는 픽셀이 1개 미만인 것을 설명할 수 있다 (예를 들어, 픽셀 당 2개 이상의 원추들, 3개 이상의 원추들, 4개 이상의 원추들, 5개 이상의 원추들, 6개 이상의 원추들, 7개 이상의 원추들, 8개 이상의 원추들, 9개 이상의 원추들, 최대 10개의 원추들). 이 경우들은 저 해상도 디스플레이들을 시청할 때 또는 가까운 거리에서 디스플레이를 시청할 때이다. 이 경우들에서, 시뮬레이팅된 망막과 동일한 해상도 및 격자 모양을 갖는 자극 패턴 내의 하나 이상의 격자 지점에 픽셀이 할당될 수 있다.
일부 구현예들은 특정 디스플레이 및/또는 사용자에 대한 원추 당 픽셀들의 수를 계산(calculating) (즉, 계산(accounting for))하는 것을 포함할 수 있다. 예를 들어, 도 12a 및 도 12b를 참조하면, 원추 당 픽셀들의 수는 다음과 같이 디스플레이를 위한 픽셀 밀도로부터 계산될 수 있다. 먼저, 1분각 의 전형적인 최대 망막 해상도뿐만 아니라 시청 거리 d가 디스플레이의 대각선 치수의 약 2.5배로 가정된다 (즉, 60" TV는 12.5'에서 시청되고, 5.5" iPhone 6은 한 발짝 떨어져 시청된다). 계산은 다른 시청 거리들에 대해 원하는 만큼 조정될 수 있다. 따라서 화면의 크기와 해상도 (예를 들어, 1080p 60" TV의 경우 1,920x1,080, 5.5" 애플의 iPhone 6의 경우 1,334x750)를 알고 있으면 화면의 정사각형 영역 당 픽셀들의 수와 화면의 정사각형 영역 당 원추들의 수를 비교할 수 있다. 이 수들의 비율은 원추 당 픽셀들의 수 (또는 역수)를 제시한다. 도 12b에 도시된 60" 1080P TV에 대해 원추 당 화면 영역은 0.24 mm2이다.
이 계산을 60" 1080P TV 및 iPhone 6에 적용하면 원추 당 픽셀들의 수는 각각 0.49 및 0.24이다.
일부 실시예들에서, 빛의 점 분산 기능은 픽셀들로부터 오는 빛을 망막의 원추들로 매핑하는데 사용될 수 있다. 통상의 기술자들에 의해 이해되는 바와 같이, 빛의 점 분산 기능은 인간 눈의 불완전한 광학들에 기인하고, 입사광이 망막의 원추 모자이크를 어떻게 타격하는지에 영향을 미친다.
일부 실시예들에서, 도 1b의 동일 영역 원추 기초들은 L, M 및 S 원추들의 상대적 흥분을를 계산하는데 사용된다. 원추 기초들의 다른 표현들을 사용하는 다른 구현예들도 가능하다. 이들은 퀀텀 기반의 원추 기초들, 에너지 용어들로 보정된 것들 및 피크 값들로 표준화되었던 것들을 포함한다. 2도 또는 10도 관측자에 대한 원추 기초들이 사용될 수 있고 원추 기초 데이터가 사용될 수 있는 임의의 다른 관측자가 사용될 수 있다. 추가로, 이러한 계산들은 사람의 나이, 황반 색소 침착, 원추 모자이크 조성 및/또는 다른 인자들 따라 조정 및 구체화될 수 있다.
일부 실시예들에서, 등가 에너지 광원 D65는 RGB, XYZ 및 LMS 간의 변환들을 위해 사용된다. 다른 실시예들에서, CIE-A (백열 램프들), CIE-C 또는 CIE-E와 같은 다른 광원들이 사용될 수 있다.
일부 실시예들에서, CIECAM02 행렬은 XYZ 값들과 LMS 값들 사이의 변환을 위해 사용된다. 다른 실시예들에서, 선형 변환들을 수행하기 위해 다른 행렬들이 사용된다. 임의의 허용되는 변환 행렬이 (또는 XYZ 값들이 직접 사용되는 경우, 전혀 없음) 이 점에서 있어서 사용될 수 있다.
자극 패턴에 의한 LMS 원추 자극에 대한 정량화 가능한 값을 계산함으로써, 제시된 자극이 L 원추들 및 M 원추들을 포함하여 원추들을 차동적으로 자극하는 정도를 정량화할 수 있다. 이러한 정량화는 자극 (예를 들어, 특정한 이미지, 비디오 파일)의 스코어링을 허용하며, 이는 결국 - 스코어들을 비교함으로써 - 상이한 매체의 근시유발적 효과의 객관적인 비교를 허용한다.
도 10을 참조하면, 디지털 비디오 파일을 스코어링하기 위한 알고리즘(1000)은 다음과 같다. 이 알고리즘 또는 유사한 알고리즘들은 이미지 파일들과 같은 다른 매체에도 적용될 수 있다. 알고리즘은 디지털 비디오 파일의 프레임에 의해 자극 받은 시뮬레이팅된 망막에 대해 원추 자극 값들을 수신 (또는 생성)함으로써 시작(1001)한다(단계(1010)). 예를 들어, 원추 자극 값들은 도 9에 도시된 알고리즘(900)을 사용하여 결정될 수 있다.
각 원추에 대해, 알고리즘은 원추(c) 및 각 이웃들(ni)에 대한 LMS 자극 값들의 평균
Figure 112018081411637-pct00017
를 계산한다(1020). m-가장 가까운 이웃들에 대해,
Figure 112018081411637-pct00018
는 등식 (5)로 계산된다.
Figure 112018081411637-pct00019
일반적으로,　이웃들의 수는 자극 받은 망막의 원추 패턴과 각 원추에 얼마나 많은 이웃들이 포함되는지에 따른다. 일 실시예에서, 가장 가까운 이웃들만이 고려된다. 예를 들어, 격자 패턴에서 원추는 8개의 가장 가까운 이웃들을 가진다. 이러한 패턴이 도 11a에 도시되어있다. 육각형 패킹의 경우, 각 원추는 도 11b에 도시된 바와 같이 6개의 가장 가까운 이웃들을 갖는다.
단계들(1030 및 1040)에서, 이웃 자극 값 ni들과 평균
Figure 112018081411637-pct00020
의 차이를 계산하여 제곱하고 평균
Figure 112018081411637-pct00021
로 나눈다:
Figure 112018081411637-pct00022
. 이것은 원추 c 및 가장 가까운 이웃들 사이의 자극의 상대적인 차이를 측정한다. (1050)에서, 이 값들은 등식 (6)에 따라 합산되어, 원추 c에 대한 Neighbor Sum of Squares (NSS) 값을 제공한다:
Figure 112018081411637-pct00023
이 값은 가장 가까운 이웃들에 대해 상대적인 원추 c의 자극 레벨을 정량적으로 측정한 값을 제공한다. 상대적으로 높은 NSS 값은 NSS 값이 낮을 때보다 큰 차동 반응을 표현하고, 원추로부터의 큰 근시유발적 반응에 대응한다고 여겨진다.
이 경우에는 각각의 원추 자극을 계산하기 위해 제곱들의 합계가 사용되지만 다른 접근법들도 가능하다. 예를 들어, ni 와
Figure 112018081411637-pct00024
의 차이의 절대값들의 합이 대신 사용될 수 있다. 대안적으로, 상대적인 절대값
Figure 112018081411637-pct00025
또는 전체 범위
Figure 112018081411637-pct00026
가 사용될 수 있다. 다른 대안들은 값들의 분산 또는 표준 편차를 계산하는 것을 포함한다.
NSS 값들은 자극 받은 망막(1060)의 각 원추에 대해 계산되고 그 후 NSS 값들은 전체 프레임에 대해 평균될 수 있다)1070). 이 프로세스는 각 프레임(1080)에 반복되고 그 후 NSS 값들은 모든 프레임들(1090)에 대해 평균된다.
마지막으로, 프레임-평균된 NSS 값은 원하는 범위 (예를 들어, 백분율)로 스케일링되고(1095) 및/또는 매체 파일은 프레임-평균된 NSS 값에 기초하여 스코어링된다.
표 1은 다양한 자극들에 대한 계산의 예시적인 결과를 제공한다. 첫 번째 열인 '프레임'은 각 실험의 자극을 나열한다. 100x100 픽셀 배열이 사용되었으며("픽셀 수"), 1:1 원추-픽셀 매핑이 가정된다. L 대 M 대 S 원추들의 비율은 2 내지 4 열들에 표시된 대로 다양하다. 각 계산들의 결과들은 6열("로우(raw) 스케일")에 제공된다. 스코어는 임의의 특정한 값에 대해 정규화되지 않은 로우한 값으로 제시된다.
Figure 112018081411637-pct00027
표 1: 예시적 근시유발적 스케일 스코어들
일반적으로, 근시유발적 값은 스케일로 정규화되거나 콘텐츠 근시유발적 효과를 표시하는 일부 다른 식별자를 할당할 수 있다. 예를 들어, 값은 범위의 값 (예를 들어, 1 내지 10), 백분율 또는 다른 영숫자 식별자 (예를 들어, 문자 등급), 색 스케일 또는 설명에 의해 제시될 수 있다.
상술한 스케일과 같은 콘텐츠에 대한 근시유발적 스케일들은 여러 면에서 유용할 수 있다. 예를 들어, 스케일은 시청자에 대한 근시유발적 효과에 관해 콘텐츠 (예를 들어, 영화들 또는 다른 비디오 파일들)을 평가할 수 있게 한다.
스케일은 또한 이미지들의 색들 변경을 포함하여 이미지들을 수정하는 알고리즘들을 측정하기 위한 객관적 방식을 제공한다. 그들은 인접한 원추 대비를 증가 또는 감소시키기 위해 설계된 알고리즘들의 효율성을 평가하는데 사용될 수 있다. 그들은 근시유발성을 증가 또는 감소시키기 위해 설계된 알고리즘들의 효율성을 평가하는데 사용될 수 있다. 예를 들어, 공통 비디오 파일이 각각의 알고리즘을 사용하여 수정된 이후 스코어를 비교하여 알고리즘들을 비교할 수 있다. 일부 실시예들에서, 스케일을 사용하여 상이한 계산 효율성들을 갖는 알고리즘들의 근시유발적 감소에 대한 효과를 비교할 수 있다. 예를 들어, 비디오 파일의 모든 프레임을 수정하는 알고리즘과 적은 수의 프레임들 (예를 들어, 다른 모든 프레임, 모든 제3 프레임 등)을 수정하는 알고리즘 간의 절충점을 평가할 수 있다. 유사하게, 모든 픽셀을 평가하는 알고리즘들과 프레임들 내의 픽셀들을 샘플링하는 알고리즘들 간의 절충점을 평가할 수 있다.
본 명세서의 예시들이 전자 이미지들 및 비디오들을 기술하지만, 통상의 기술자는 예를 들어 책, 신문, 보드 게임 등을 포함하여 인쇄된 매체의 근시유발성 또는 이웃하는 원추 대비를 평가하기 위해 그러한 스케일이 비 디지털 세계에서 유용할 수 있음을 이해할 것이다. 이러한 물리적 매체에서 반사된 빛은 측정될 수 있으며 망막 자극이 상술한 방법으로 계산될 수 있다.
근시유발적 스케일을 사용하여 설계된 전자 판독기 및 워드 프로세서
정량적 근시유발적 스케일들은 매체 평가 이외에 제품들의 설계에 유용할 수 있다. 예를 들어, 근시유발적 스케일들이 일정 유형의 디스플레이 내의 색 조합들을 평가하고 근시유발적 스케일에 대해 호의적으로 평가하는 색 조합들을 식별하기 위해 사용될 수 있다.
이러한 색 조합들은 특히 텍스트를 디스플레이할 때 유용하며, 텍스트는 디스플레이에서 허용되는 최대 대비로 흰색 배경에 검은색 텍스트를 사용하여 일반적으로 디스플레이된다. 그러나, 텍스트와 배경 사이의 고 레벨의 대비는 시청자의 망막에 고 대비를 만들어 내고, 결국 근시를 일으키는 것으로 여겨진다. 따라서, 상대적으로 저 원추 대비를 제공하는 색 조합을 선택함으로써 판독의 근시유발적 효과들이 감소될 수 있다고 여겨진다. 이것은 전자 서적 하드웨어, 전자 서적 소프트웨어, 워드 프로세싱 소프트웨어 등을 포함하지만 이에 한정되지 않는 다양한 설정들로 텍스트를 디스플레이하는데 유용할 수 있다.
따라서, 전술한 바와 같은 근시유발적 스케일은 텍스트를 디스플레이하기 위한 색 조합들을 선택하는데 유용할 수 있다.　이것은 스케일을 사용하여 텍스트와 배경에 대한 상이한 색들의 조합들을 평가함으로써 성취될 수 있다.
예시로써, 다양한 대비 가장자리들을 가진 후보 텍스트 및 배경 색들의 100x100 바둑판을 사용하여 모델링된 일련의 색 조합들에 대해 예시적 평가가 수행되었었다. 이 패턴은 50% 텍스트 색과 50% 배경 색의 자극을 제공한다. 텍스트와 배경 색들 사이에 상이한 비율들을 제공하는 다른 패턴들이 사용될 수 있으며, 다른 패턴들은 일정 글꼴들, 간격 및 여백들을 더 표현할 수 있다 (예를 들어, 약 5% 텍스트 색, 약 10% 텍스트 색, 약 15% 텍스트 색, 약 20% 텍스트 색, 약 25% 텍스트 색, 약 30% 텍스트 색, 약 35% 텍스트 색, 약40 % 텍스트 색 또는 약 45% 텍스트 색).
선형 행 및 열 격자 내에 100x100 원추 패턴을 갖는 시뮬레이팅된 망막이 사용되었었고, 1:1의 원추들 대 픽셀들의 비율이 사용되었었다.
예시의 목적으로, 8 비트 색이 가정되었었다. 따라서 각 색은 각 RGB에 대해 0-255 사이의 값들로부터 선택되었었다. 사용 가능한 색 공간은 50 단계들 (텍스트 및 배경 각각에 대한 63개의 값들)내의 모든 색을 사용하여 샘플링되었었고 총 66 또는 46,656개의 조합들을 결과로 한다.
도 13을 참조하면, 3 차원 도면은 실험 결과들을 도시한다. 수직적 스케일은 스케일링되지 않은 근시유발적 스코어를 제공한다. 수평적 축들은 각각의 텍스트 색과 배경 색을 제시한다. 수평적 스케일들 상의 값들은 16진수로 표시되며 0-255 RGB 값들은 16진수로 변환되고 색들은 RRGGBB로 기록된다.
근시유발적 스코어들의 결과들은 0(흰색 배경에 흰색 텍스트 및 검은색 배경에 검은색 텍스트)에서 419.34 (흰색 배경에 검은색 텍스트)까지 다양하다. 따라서, 감소된 근시유발적 스코어 (예를 들어, 155 스코어인 청록색에 밝은 녹색)을 제공하는 색상 조합들이 텍스트를 디스플레이할 때 사용되도록 선택될 수 있다.
명백히, 가장 낮은 스코어들(흰색에 흰색, 검은색에 검은색)은 텍스트와 배경간에 대비가 없으므로 판독이 불가능하다. 그러나 일반적으로 점수는 낮지 만 0이 아닌 색 조합들이 선택될 수 있다. 일부 경우들에서, 텍스트와 배경 사이의 낮은 색 대비 때문에 텍스트의 판독성이 절충된다.　따라서 전자 판독기 색 조합들을 선택시 추가 기준이 고려될 수 있다. 예를 들어, 판독성을 위한 객관적인 지표가 고려될 수 있다. 색 시스템이 텍스트와 배경 색들을 가장 잘 구분할 수 있을 때 (예를 들어, L 및 M 값들이 텍스트와 배경간에 가장 상이한 경우에) 가장 높은 판독성이 기대된다. 이것은 인접 원추들이 가장 높은 차동 자극을 가질 경우 가장 높은 근시유발적 효과가 발생한다고 가정하는 근시유발적 스케일과는 상이하다. 즉, 근시유발적 효과는 텍스트와 배경 (판독성을 개선하지 않지만 근시를 증사시킨다) 내로부터 뿐만 아니라 텍스트와 배경 간의 차이들 (판독성을 개선하지만 근시를 증가시킨다) 모두에서 비롯된다.
예시로써, 반응자를 조사함으로써 판독성(R)이 스코어링될 수 있다. 대안적으로, LMS 시스템 또는 다른 색 시스템을 사용하여 텍스트와 배경 간의 색 대비에 기초하여 스코어링 될 수 있다. 이러한 차이들은 다음과 같은 공식을 사용하여 정량화될 수 있다:
Figure 112018081411637-pct00028
등식 (7)에서 L, M 및 S는 상술된 값들이며 아래 첨자 1은 텍스트 색을 2는 배경 색을 지칭한다.αR, βR 및 γR은 원추 시스템들의 상대 기여도들을 측량하기 위한 가중 인자들이다. 이러한 인자들은 경험적으로 결정될 수 있다. 이 예시에서는 L, M 및 S에 대해 동일 영역 함수가 사용되었었으며, 예시를 사용하기 위해 4명의 시청자 집단 (삼원색의 3명의 여성들과 1명의 남성)에 대해 αR=0.17, βR=0.84, γR=0.01의 값들이 결정되었었다.
판독성은 다른 방식들 예를 들어, CIELAB 공간
Figure 112018081411637-pct00029
의 두 색들 간의 거리로 스코어링될 수 있다. 이 색 차이의 측정은 브레이나드 및 스토크맨에 의해 기술되었었으며 (Vision and Vision Optics, 2009, "Chapter 10:Colorimetry") 등식 (8)에 제시된다:
Figure 112018081411637-pct00030
도 14a 및 도 14b를 참조하면, 실험에서 여러 색 조합들의 결과들이 표로 작성된다. 각 표에서, 1, 2 및 3 열들은 배경 색 (각각 0-255)의 RGB 값들이고 4-6 열들은 대응하는 X, Y, Z 3자극 값들이며 7-9 열들은 대응하는 LMS 값들이다. 10, 11 및 12 열들은 텍스트 색 (각각 0-255)의 RGB 값들이고 13-15 열들은 대응하는 X, Y, Z 3자극 값들이며 16-18 열들은 대응하는 LMS 값들이다. 50% 텍스트 / 50% 배경을 갖는 100x100 바둑판 격자에 기초하여 계산된 근시유발적 스케일 스코어는 19열에 제시되며 흰색 배경(1행)의 검정 텍스트에 대한 스코어의 %감소는 20열에 제시된다. 색 구성표의 예시는 21열에 도시된다. 다음 4개의 22-25열들은 판독성 스코어와 관련된 값들을 제공한다. 특히, 22열은
Figure 112018081411637-pct00031
,
Figure 112018081411637-pct00032
및
Figure 112018081411637-pct00033
에 대한 값들을 각각 제시한다. 25열은 판독성 스코어 R을 제공하며, αR=0.17, βR=0.84, γR=0.01이 사용된다. 26열은 판독성/근시 스코어의 비율로 구성된 종합 스코어를 제공한다.
텍스트 렌더링을 위해 텍스트/배경 색 조합들을 식별할 때 판독성을 고려해야 하는 중요성을 설명하기 위해 일정 예시들이 고려함이 바람직하다. 예를 들어, 배경 RGB 값들이 (200, 150, 150)이고 텍스트 RGB 값들이 (100, 150, 200)인 제1 색 조합과 배경 RGB 값들이 (250, 150, 100)이고 텍스트 RGB 값들이 (250, 150, 150)인 제2 색 조합을 고려해보라. 도 15a는 표를 도시하며, 상기 표에서 1,2 및 3열들이 배경 색에 대한 RGB 값들이고, 4-6열들은 대응하는 X, Y, Z 3자극 값들이며, 7-9 열들은 대응하는 LMS 값들이다. 10, 11 및 12 열들은 텍스트 색의 RGB 값들이고, 13-15열들은 대응하는 X, Y, Z 3자극 값들이며 16-18열들은 대응하는 LMS 값들이다. 19열은 근시유발적 스케일 스코어를 도시하고 20열은 흰색 배경의 검은색 텍스트에서 (십진수로) 백분율 감소를 도시하며; 21열은 색 조합을 사용하여 렌더링된 텍스트의 예시를 도시한다. 22-24열들은 도 14의 22-24열들과 동일한 파라미터들을 제시한다. 14 및 25열들은 판독성 점수를 제시한다. 따라서 상술한 스케일을 사용하면, 제1 조합과 제2 조합의 근시 스코어들은 비슷하다(둘 모두 ~ 18). 21열에 있는 예시 텍스트에서 분명히 알 수 있듯이(적어도 일화로) 제1 색 조합은 제2 색 조합보다 판독이 쉽다. 이것은 각각의 상대적인 판독성 스코어들, 약 2.0 및 0.1에 의해 증명된다.
이것은 각각 도 15b 및 15c에 도시된 도면들에 추가로 도시되어 있으며, 각각 33개의 원추들을 갖는 3개의 행들에 걸친 2개의 스트라이프 배경 사이 텍스트의 스트라이프에 대한 원추 자극을 시뮬레이팅한다. 도 15b는 제1 색 조합에 대한 시뮬레이팅된 원추 자극을 도시한다. 일반적으로, 텍스트 및 원추들은 대략 32 내지 40 범위 내에서 변화하는 텍스트 자극 레벨들을 갖는 상이한 레벨의 자극을 갖는다. 고 자극의 (이 예시에서, 시뮬레이팅된 S 원추들로부터 기인한) 몇몇 피크들을 제외하고, 배경 자극 레벨들은 약 22-30 정도의 거의 중첩되지 않는 낮은 범위 내에서 다양하다.
도 15c는 제2 색 조합에 대한 원추 자극 레벨을 도시한다. 여기서 텍스트와 배경 내의 분산(variance)은 텍스트와 배경 간의 분산과 유사하다. 텍스트와 배경 모두 제1 색 조합에 비해 (약 35에서 55까지의 범위인, 배경으로 인해 자극 값들이 낮은 몇몇 원추들을 제외하고, 이 예시에서 시뮬레이션팅된 S 원추들에 비해) 큰 분산을 갖는다. 텍스트의 원추 자극은 배경의 원추 자극과 중첩된다.
도 16a-16c는 2개의 다른 색 조합 예시들에 대한 동일한 원리를 도시한다. 도 16a에서, 제1 색 조합은 배경에 대한 RGB 값들 (150, 150, 150) 및 텍스트에 대한 RGB 값들 (150, 50, 50)을 갖는다. 제2 색 조합에는 배경에 대한 RGB 값들 (250, 100, 250) 및 텍스트에 대한 RGB 값들 (150, 150, 200)을 갖는다. 다시, 일화적으로, 제1 색 조합은 제2 색 조합보다 훨씬 판독이 쉽다. 1-26열들은 도 15a의 1-26열들과 동일한 파라미터들을 제시한다.
도 16b는 제1 색 조합에 대한 배경의 2개의 스트라이프 사이의 텍스트 스트라이프에 대한 원추 자극의 도면을 도시한다. 텍스트와 배경은 매우 상이한 레벨의 자극을 가지며 텍스트 및 배경 레벨들 간의 차이에 비해 텍스트 내 및 배경 내에서의 분산이 낮다.
도 16c는 제2 색 조합에 대한 배경의 2개의 스트라이프 사이의 텍스트 스트라이프에 대한 원추 자극의 도면을 도시한다. 텍스트와 배경 내의 분산은 텍스트와 배경 간의 분산과 유사하다. 텍스트와 배경 모두 제1 색 조합에 비해 분산이 크고 텍스트의 원추 자극과 배경의 원추 자극이 중첩된다.
상업적으로 사용 가능한 전자 판독기들이 흑백 이외의 흰색 배경에 검은 텍스트에 비해 감소된 근시유발적 효과를 가질 수 있는 색 조합들로 텍스트를 디스플레이하는 동작 모드들을 포함하지만, 개시된 구현예들은 실질적으로 더 큰 감소들을 제공하는 색 조합들을 제공한다고 여겨진다. 예를 들어, 눅색(NookColor)는 "Day"(흰색 배경에 기본 검은 텍스트) 외에도 "Night", "Gray", "Butter", "Mocha" 및 "Sepia"와 같은 "색 텍스트 모드들"을 제안(offer)한다(예를 들어, http://www.dummies.com/how-to/content/nook-tablet-text-and-brightness-tools.html 참조). 그러나, 그러한 모드들은 약 (흰색 (255, 255, 255) 배경에 흑색 (0, 0, 0) 텍스트에 대해 약 438의 스코어가 산출되는 상기 기술된 스케일을 사용하여 계산된) 133의 최저 근시 스코어 및 약 0.48에서 0.60 범위인 판독성/근시 스코어 비율을 제안하는 것으로 여겨진다. 그러나, 도 14a 및 도 14b에 도시된 표들로부터 명백한 바와 같이, 약 130 미만의 근시 스코어를 갖는 색 조합들이 가능하다 (예를 들어, 약 120 이하, 약 110 이하, 약 100 이하, 약 90 이하, 약 80 이하, 약 70 이하, 약 60 이하, 약 50 이하, 약 40 이하, 약 30 또는 약 20 내지 약 30과 같은 그 이하). 흑백 텍스트에 비해 이러한 색들은 근시 감소를 약 65% 이상 개선할 수 있다 (예를 들어, 약 70% 이상, 약 75% 이상, 약 80% 이상, 약 85% 이상, 약 90% 이상, 약 95% 이상). 0.80 이상의 종합 판독성/근시 스코어를 갖는 색 조합들이 가능하다 (예를 들면, 0.85 이상, 0.90 이상, 0.95 이상, 1.00 이상, 1.05 이상, 1.10 이상, 1.15 이상, 1.20 이상, 1.25 이상, 1.30 이상, 1.35 이상, 또는 1.45와 같은 1.40 이상).
일반적으로, 상기에 기초한 전자 판독기 또는 워드 프로세싱 솔루션들은 다양한 방식들로 구현될 수 있다. 예를 들어, 색 디스플레이를 갖는 전자 판독기 또는 모바일 디바이스 상의 전자 판독기 애플리케이션에서, 호의적인 근시유발적 스코어들 및 판독성 스코어들을 갖는 색 조합들이 사용자에 의해 옵션으로 선택될 수 있다. 예를 들어, 설정하는 동안, 전자 판독기는 다양한 색 조합 옵션을 사용자에게 제시할 수 있으며, 그로부터 사용자는 바람직한 선택사항(choice)을 선택할 수 있다. 이는 선호되는 색 조합들이 사용자마다 다를 것으로 예상되고 선택사항들을 제공함은 각 사용자가 자신에게 가장 바람직한 색 조합을 사용하도록 하기 때문에 이점이 있다. 유추하여, 워드 프로세싱 솔루션들이 유사한 방식으로 결정될 수 있다.
반면에, 상술한 바와 같은 스케일들에 기초하여 감소된 근시유발적 스코어들 및 상대적으로 좋은 판독성을 갖는 색 조합들을 갖는, 전기 영동 디스플레이들을 사용하는 것과 같은, 모노크롬 전자 판독기들이 사용될 수 있다.
다른 실시예들은 다음의 청구 범위에 있다.

Claims (46)

  1. 방법으로서:
    프로세싱 디바이스에 의해, 복수의 픽셀들을 포함하는 프레임 fi에 대한 초기 이미지 데이터를 수신하는 단계, 상기 프레임 fi 내의 각 픽셀에 대한 데이터는 상기 프로세싱 디바이스의 각각의 클록 사이클 동안 시퀀스적으로 수신되고, 제1 색에 대한 값 ri, 제2 색에 대한 값 gi, 제3 색에 대한 값 bi를 포함하며;
    상기 프로세싱 디바이스에 의해, 상기 픽셀들의 서브세트에 대한 데이터 상의 동작들 중 시퀀스의 동작들을 동시에 수행함으로서, 상기 프레임 fi에 대응하는 프레임 fm에 대한 수정된 이미지 데이터를 생산하는 단계, 상기 시퀀스의 상이한 동작은 상기 서브세트의 상이한 픽셀에 대한 데이터 상에서 클록 사이클마다 수행되고, 상기 시퀀스의 상기 동작들은 대응하는 시퀀스적 클록 사이클들 동안 각 픽셀에 대한 데이터 상에서 시퀀스적으로 수행되며, 상기 시퀀스의 상기 동작들은
    상기 서브세트 내의 각 픽셀에 대해, 상기 제1 색에 대한 값 ri 및 상기 제2 색에 대한 값 gi에 적어도 기초하여 시청자 눈 내의 원추들 자극의 상대적 레벨을 결정하는 동작; 및
    상기 픽셀에 의해 결정된 시청자의 눈 내의 원추들 자극의 상대적 레벨에 적어도 기초하여, 상기 프레임 fi에 대한 상기 초기 이미지 데이터를 수정하는 동작을 포함하고, 상기 프레임 fm에 대한 상기 수정된 이미지 데이터는 상기 픽셀에 대한 상기 제1 색에 대한 값 rm, 상기 제2 색에 대한 값 gm을 포함하며; 및
    상기 프로세싱 디바이스에 의해, 상기 프레임 fm에 대한 상기 수정된 이미지 데이터를 전자 디스플레이에 전송하는 단계를 포함하며, 상기 프레임 fm내의 각 픽셀에 대한 데이터는 각각의 클록 사이클 동안 시퀀스적으로 전송되며,
    상기 원추들 자극의 상대적 레벨을 결정하는 동작은 상기 시청자의 눈 내의 이웃하는 원추들 자극의 상대적 레벨을 결정하는 동작을 포함하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  2. 청구항 1에 있어서,
    상기 프레임 fi에 대한 상기 값들 ri, gi 및 bi는 십진수 형태로 수신되고; 및
    상기 방법은 상기 시퀀스의 상기 동작들을 수행하기 전에 상기 수신된 값들 ri, gi 및 bi을 정수 형태로 변환하는 단계를 더 포함하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  3. 청구항 1에 있어서, 상기 시퀀스 내에 상기 서브세트 내의 픽셀들 만큼 많은 동작들이 있음을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  4. 청구항 3에 있어서, 상기 프레임 fi보다 상기 서브세트 내의 픽셀들이 더 적음을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  5. 청구항 1에 있어서, 상기 프레임 fi 내의 상기 픽셀들 중에서 나중의 이미지 데이터를 수신하고 그리고 상기 프레임 fm 내의 상기 픽셀들 중에서 앞선 수정된 이미지 데이터를 전송하는 동안, 상기 시퀀스의 상기 동작들이 프레임 fi 내의 상기 픽셀들의 상기 서브세트의 데이터 상에서 수행되는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  6. 삭제
  7. 청구항 1에 있어서, 상기 전자 디스플레이 상에서 시청시,　프레임 fm은 fi와 비교하여 시청자의 눈 내의 이웃한 원추들 사이의 감소된 대비를 결과로 하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  8. 청구항 1에 있어서, 상기 자극의 상대적 레벨을 결정하는 동작은 상기 제1 색에 대한 값 ri을 상기 제2 색에 대한 값 gi와 비교하는 동작을 포함하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  9. 청구항 8에 있어서, 상기 복수의 픽셀들 중 적어도 일부에 대해, gi≤ri인 경우 rm/gm<ri/gi인 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  10. 청구항 9에 있어서, gi>ri인 경우 rm/gm=ri/gi인 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  11. 청구항 9에 있어서, gi≤ri인 경우 rm/gm=a·ri/gi 이며, 0<a<1 밑 상기 a 값은 fi에 선행하는 프레임들의 시퀀스의 프레임들 수에 따르는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  12. 청구항 11에 있어서, a는 fi에 선행하는 프레임들의 상기 시퀀스 내의 프레임들의 상기 수가 증가함에 따라 증가하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  13. 청구항 1에 있어서, fm은 rm=ri 및 gm=gi인 적어도 하나의 픽셀을 포함하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  14. 청구항 13에 있어서, rm=ri이고 gm=gi인 fm 내의 상기 픽셀에 대해, gi>ri인 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  15. 청구항 1에 있어서, fm 내의 적어도 하나의 픽셀에 대해 bm ≠ bi인 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  16. 청구항 1에 있어서, 상기 자극의 상대적 레벨을 결정하는 동작은 각 픽셀의 색을 표현하는 범용 색도(chromaticity) 공간에서 좌표들을 결정하는 동작을 포함하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  17. 청구항 16에 있어서, 상기 색도 공간은 1931 x, y CIE 색도 공간 또는 CIE XYZ 색도 공간 또는 1964 또는 1976 CIE 색도 공간인 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  18. 청구항 1에 있어서, 상기 자극의 상대적 레벨은 상기 시청자의 눈 내의 L-원추들 및 M-원추들의 상대적인 스펙트럼 감도에 기초하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  19. 청구항 18에 있어서, 상기 자극의 상대적 레벨은 상기 시청자의 눈 내의 S-원추들의 상대적인 스펙트럼 감도에 더 기초하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  20. 청구항 18에 있어서, 상기 자극의 상대적 레벨은 상기 시청자의 눈 내의 M-원추들에 대한 L-원추들의 상대적인 비율에 더 기초하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  21. 청구항 18에 있어서, 상기 자극의 상대적 레벨은 시청시, 상기 프레임의 픽셀/원추 비율에 더 기초하는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  22. 청구항 1에 있어서, 상기 제1, 제2 및 제3 색들은 각각 적색, 녹색 및 청색인 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  23. 청구항 1에 있어서, 상기 제1, 제2 및 제3 색들은 각각 청록색, 자홍색 및 노란색인 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  24. 청구항 1에 있어서, 상기 자극의 상대적 레벨은 fi 내의 상기 픽셀의 적어도 일부에 기초하여 결정된 L, M 및 S 값들에 기초하여 결정되는 것을 특징으로 하는 근시유발적 효과를 감소시키기 위한 방법.
  25. 장치로서:
    전자 프로세싱 모듈을 포함하며, 상기 전자 프로세싱 모듈은 수신기 디바이스, 전송기 디바이스 및 상기 수신기 디바이스와 상기 전송기 디바이스 사이에 결합된 프로세싱 디바이스를 포함하고,
    상기 수신기 디바이스는,
    복수의 픽셀들을 포함하는 프레임 fi에 대한 초기 이미지 데이터를 수신하고,　상기 프레임 fi 내의 각 픽셀에 대한 데이터는 제1 색에 대한 값 ri, 제2 색에 대한 값 gi, 제3 색에 대한 값 bi를 포함하며, 및
    상기 프레임 fi 내의 각 픽셀에 대한 데이터를 상기 프로세싱 디바이스에 상기 프로세싱 디바이스의 각각의 클록 사이클 동안 시퀀스적으로 전송하도록 구성되고;
    상기 프로세싱 디바이스는 상기 픽셀들의 서브세트에 대한 데이터 상의 동작들 중 시퀀스의 동작들을 동시에 수행함으로서, 상기 프레임 fi에 대응하는 프레임 fm에 대한 수정된 이미지 데이터를 생산하도록 구성되고, 상기 시퀀스의 상이한 동작은 상기 서브세트의 상이한 픽셀에 대한 데이터 상에서 클록 사이클마다 수행되고, 상기 시퀀스의 상기 동작들은 대응하는 시퀀스적 클록 사이클들 동안 각 픽셀에 대한 데이터 상에서 시퀀스적으로 수행되며, 상기 시퀀스의 상기 동작들은,
    상기 서브세트 내의 각 픽셀에 대해, 상기 제1 색에 대한 값 ri 및 상기 제2 색에 대한 값 gi에 적어도 기초하여 시청자 눈 내의 원추들 자극의 상대적 레벨을 결정하는 동작; 및
    상기 픽셀에 의해 결정된 시청자의 눈 내의 원추들 자극의 상대적 레벨에 적어도 기초하여, 상기 프레임 fi에 대한 상기 초기 이미지 데이터를 수정하는 동작을 포함하고, 상기 프레임 fm에 대한 상기 수정된 이미지 데이터는 상기 픽셀에 대한 상기 제1 색에 대한 값 rm, 상기 제2 색에 대한 값 gm을 포함하며; 및
    상기 전송기 디바이스는
    상기 프레임 fm에 대한 상기 수정된 이미지 데이터를 상기 프로세싱 디바이스로부터 수신하고, 상기 프레임 fm내의 각 픽셀에 대한 데이터는 각각의 클록 사이클 동안 시퀀스적으로 수신되며, 및
    상기 프레임 fm에 대한 상기 수정된 이미지 데이터를 전자 디스플레이에 전송하도록 구성되고,
    상기 프로세싱 디바이스는 상기 시청자의 눈 내의 이웃하는 원추들 자극의 상대적인 레벨에 기초하여 상기 수신된 이미지 데이터를 수정하도록 구성되는 것을 특징으로 하는 장치.
  26. 청구항 25에 있어서,
    상기 프레임 fi에 포함된 상기 값들 ri, gi 및 bi는 상기 수신기 디바이스에 의해 십진수 형태로 수신되고,
    상기 수신기 디바이스는 상기 프로세싱 디바이스로 전송하기 전에 상기 값들 ri, gi 및 bi를 정수 형태로 변환하도록 구성되거나, 또는
    상기 프로세싱 디바이스는 상기 시퀀스의 상기 동작들을 수행하기 전에 상기 값들 ri, gi 및 bi를 정수 형태로 변환하도록 구성되는 것을 특징으로 하는 장치.
  27. 청구항 25에 있어서, 상기 프로세싱 디바이스는 FPGA 디바이스인 것을 특징으로 하는 장치.
  28. 청구항 27에 있어서, 상기 FPGA 디바이스는 상기 서브세트 내의 픽셀들만큼 많은 동작들을 갖는 동작들의 상기 시퀀스를 수행하도록 구성되는 것을 특징으로 하는 장치.
  29. 청구항 28에 있어서, 상기 프레임 fi보다 상기 서브세트 내의 픽셀들이 더 적음을 특징으로 하는 장치.
  30. 청구항 25에 있어서, 상기 프레임 fi 내의 상기 픽셀들 중에서 나중의 이미지 데이터를 상기 수신기 디바이스로부터 수신하고 그리고 상기 프레임 fm 내의 상기 픽셀들 중에서 앞선 수정된 이미지 데이터를 상기 전송기 디바이스로 전송하는 동안, 상기 프로세싱 디바이스는 상기 시퀀스의 상기 동작들이 프레임 fi 내의 상기 픽셀들의 상기 서브세트의 데이터 상에서 수행되도록 구성되는 것을 특징으로 하는 장치.
  31. 삭제
  32. 청구항 25에 있어서, 상기 프로세싱 디바이스는 fi 내의 상기 복수의 픽셀들 중 적어도 일부에 대한 ri 및 gi 및 bi의 대응하는 값들에 적어도 기초하여 상기 자극의 상대적 레벨을 결정하도록 구성되는 것을 특징으로 하는 장치.
  33. 청구항 25에 있어서, 상기 전송기 디바이스의 출력으로부터 상기 수정된 이미지 데이터를 수신하고 상기 수정된 이미지 데이터에 기초하여 프레임들의 상기 시퀀스를 디스플레이하도록 구성된 전자 디스플레이를 더 포함하는 것을 특징으로 장치.
  34. 청구항 25에 있어서, 상기 전자 디스플레이는 액정 디스플레이(LCD), 디지털 마이크로미러 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 프로젝션 디스플레이, 양자점 디스플레이 및 음극선 관 디스플레이를 포함하는 그룹으로부터 선택된 디스플레이임을 특징으로 하는 장치.
  35. 청구항 25에 있어서, 상기 프로세싱 디바이스는 ASIC 디바이스인 것을 특징으로 하는 장치.
  36. 청구항 25에 있어서, 상기 수신기 디바이스, 상기 프로세싱 디바이스 및 상기 전송기 디바이스는 ASIC 디바이스로 통합되는 것을 특징으로 하는 장치.
  37. 청구항 25에 있어서, 상기 장치는 반도체 칩 또는 반도체 칩을 포함하는 회로 기판인 것을 특징으로 하는 장치.
  38. 청구항 25의 상기 장치를 포함하는 셋톱 박스.
  39. 청구항 38의 상기 셋톱 박스는 다른 셋톱 박스, DVD 플레이어, 비디오 게임 콘솔 또는 인터넷 연결로부터 입력을 수신하도록 구성된 것을 특징으로 하는 셋톱 박스.
  40. 청구항 25의 상기 장치를 포함하는 평면판 디스플레이(FPD).
  41. 청구항 25의 상기 장치를 포함하는 텔레비전.
  42. 청구항 25의 상기 장치를 포함하는 모바일 디바이스.
  43. 청구항 25의 상기 장치를 포함하는 웨어러블 컴퓨터.
  44. 청구항 25의 상기 장치를 포함하는 프로젝션 디스플레이.
  45. 청구항 25의 상기 장치를 포함하는 비디오 게임 콘솔.
  46. 청구항 25의 상기 장치를 포함하는 동글(dongle).
KR1020187023751A 2016-01-18 2017-01-18 전자 디스플레이들의 근시유발적 효과를 감소시키기 위한 방법 및 장치 KR102162339B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662279954P 2016-01-18 2016-01-18
US62/279,954 2016-01-18
PCT/US2017/013969 WO2017127444A1 (en) 2016-01-18 2017-01-18 Method and apparatus for reducing myopiagenic effect of electronic displays

Publications (2)

Publication Number Publication Date
KR20180123477A KR20180123477A (ko) 2018-11-16
KR102162339B1 true KR102162339B1 (ko) 2020-10-06

Family

ID=59314567

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187023817A KR20180122609A (ko) 2016-01-18 2017-01-18 전자 디스플레이의 근시 발생 효과 평가 및 감소
KR1020187023751A KR102162339B1 (ko) 2016-01-18 2017-01-18 전자 디스플레이들의 근시유발적 효과를 감소시키기 위한 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187023817A KR20180122609A (ko) 2016-01-18 2017-01-18 전자 디스플레이의 근시 발생 효과 평가 및 감소

Country Status (9)

Country Link
US (4) US20170205977A1 (ko)
EP (2) EP3405925A4 (ko)
JP (2) JP2019503517A (ko)
KR (2) KR20180122609A (ko)
CN (2) CN109196574A (ko)
AU (2) AU2017209051A1 (ko)
CA (2) CA3011808A1 (ko)
TW (2) TW201737238A (ko)
WO (2) WO2017127457A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201737238A (zh) 2016-01-18 2017-10-16 偉視有限公司 用於減少電子顯示之近視基因效應之方法及裝置
US10116878B2 (en) * 2016-12-21 2018-10-30 Samsung Electronics Co., Ltd. Method for producing media file and electronic device thereof
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US11463667B2 (en) * 2017-06-12 2022-10-04 Hewlett-Packard Development Company, L.P. Image projection
US10769817B2 (en) * 2017-08-07 2020-09-08 Samsung Display Co., Ltd. Measures for image testing
US10789735B2 (en) * 2017-09-12 2020-09-29 Jamison HILL Intelligent systems and methods for producing a dynamic color combination for a design output
US10872582B2 (en) 2018-02-27 2020-12-22 Vid Scale, Inc. Method and apparatus for increased color accuracy of display by compensating for observer's color vision properties
EP3542857A1 (en) * 2018-03-19 2019-09-25 Rucker, Frances Joan Balanced cone excitation for controlling refractive error and ocular growth to inhibit development of myopia
US10958987B1 (en) * 2018-05-01 2021-03-23 Amazon Technologies, Inc. Matching based on video data
US10630990B1 (en) 2018-05-01 2020-04-21 Amazon Technologies, Inc. Encoder output responsive to quality metric information
EP3896422A4 (en) * 2019-01-18 2022-09-14 Opple Lighting Co., Ltd. LIGHT SOURCE PARAMETER MEASUREMENT METHOD AND INSTALLATION, LIGHTING SYSTEM AND TERMINAL DEVICE
CN109814977B (zh) * 2019-02-02 2022-10-14 珠海金山数字网络科技有限公司 一种文字显示方法、装置、计算设备及存储介质
CN109886210B (zh) * 2019-02-25 2022-07-19 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN112148241B (zh) * 2019-06-28 2023-09-01 百度在线网络技术（北京）有限公司 灯光处理方法、装置、计算设备和存储介质
US11048532B1 (en) * 2019-11-27 2021-06-29 Amazon Technologies, Inc. Device agnostic user interface generation based on device input type
WO2021122902A1 (en) 2019-12-17 2021-06-24 Tobii Ab Method and system for applying adapted colour rendering on a display
WO2021212072A1 (en) * 2020-04-17 2021-10-21 Dolby Laboratories Licensing Corporation Chromatic ambient light correction
US11813021B2 (en) * 2020-06-16 2023-11-14 Natific Ag Color vision variability test system
IT202100001022A1 (it) * 2021-01-21 2022-07-21 Univ Degli Studi Padova Dispositivo atto ad essere connesso tra un computer ed uno schermo per modifica in tempo reale di un segnale video digitale in uscita da detto computer verso detto schermo
CN115134573A (zh) * 2021-03-25 2022-09-30 京东方科技集团股份有限公司 一种色彩设置方法、显示装置、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227809A1 (en) 2005-03-23 2006-10-12 Miller Rodney D System and method for base band-directional communication protocol for time-division multiplexing graphic data applications
JP2014515838A (ja) * 2011-04-21 2014-07-03 ザ ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャライゼーション 近視を抑制するビデオディスプレイ

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3524976A (en) 1965-04-21 1970-08-18 Rca Corp Binary coded decimal to binary conversion
CA1089981A (en) 1977-06-29 1980-11-18 Takao Tsuchiya Clamping circuit for color television signals
JPS5558688A (en) 1978-10-24 1980-05-01 Tokyo Hoso:Kk Color correcting circuit
US4887150A (en) 1987-03-16 1989-12-12 Mitsubishi Denki Kabushiki Kaisha Device for converting video image signals to printing data signals
JP3626514B2 (ja) 1994-01-21 2005-03-09 株式会社ルネサステクノロジ 画像処理回路
US6278434B1 (en) 1998-10-07 2001-08-21 Microsoft Corporation Non-square scaling of image data to be mapped to pixel sub-components
KR100614326B1 (ko) 2000-01-24 2006-08-18 엘지전자 주식회사 디지털 티브이의 영상 제어 장치
CN1165183C (zh) 2000-05-15 2004-09-01 北京北达华彩科技有限公司 自适应色度补偿法及其补偿装置
GB0102154D0 (en) 2001-01-27 2001-03-14 Ibm Decimal to binary coder/decoder
KR100911815B1 (ko) 2001-04-11 2009-08-12 엔엑스피 비 브이 콘트라스트 제어 방법, 신호 프로세싱 디바이스, 디스플레이 장치 및 컴퓨터 판독가능 매체
US7956823B2 (en) 2001-05-30 2011-06-07 Sharp Kabushiki Kaisha Color display device, color compensation method, color compensation program, and storage medium readable by computer
US6724435B2 (en) * 2001-08-06 2004-04-20 Oplus Technologies Ltd. Method for independently controlling hue or saturation of individual colors in a real time digital video image
US7205973B2 (en) * 2003-02-12 2007-04-17 Nvidia Corporation Gradual dimming of backlit displays
SG153630A1 (en) 2003-04-18 2009-07-29 Sharp Kk Color display device, color compensation method, color compensation program, and storage medium readable by computer
JP2005134866A (ja) 2003-04-18 2005-05-26 Sharp Corp カラー表示装置、色補正方法および色補正プログラム
US20050132087A1 (en) 2003-12-12 2005-06-16 Lech Glinski Method and apparatus for video signal skew compensation
US7471843B2 (en) 2004-02-04 2008-12-30 Sharp Laboratories Of America, Inc. System for improving an image displayed on a display
JP2006295595A (ja) 2005-04-12 2006-10-26 Sharp Corp 画像表示装置及び画像処理方法
US8054314B2 (en) 2005-05-27 2011-11-08 Ati Technologies, Inc. Applying non-homogeneous properties to multiple video processing units (VPUs)
KR20080025593A (ko) * 2006-09-18 2008-03-21 삼성전기주식회사 디스플레이 영상의 색 보정을 위한 장치 및 방법
US20080204471A1 (en) 2006-10-27 2008-08-28 Jaeger Brian J Systems and methods for improving image clarity and image content comprehension
US7477778B2 (en) 2006-12-26 2009-01-13 Texas Instruments Incorporated Sequential color reproduction method
KR20080064568A (ko) 2007-01-05 2008-07-09 삼성전자주식회사 다양한 커넥터를 통해 입력되는 영상을 디스플레이하는디스플레이 장치
JP4139433B1 (ja) 2007-05-15 2008-08-27 スクルド・エンタープライズ有限会社 画像信号補正方法
US8111935B2 (en) 2007-10-03 2012-02-07 Himax Technologies Limited Image processing methods and image processing apparatus utilizing the same
US8094933B2 (en) 2007-12-13 2012-01-10 Global Oled Technology Llc Method for converting an input color signal
JP4560741B2 (ja) 2007-12-13 2010-10-13 ソニー株式会社 情報処理装置および方法、プログラム、並びに情報処理システム
CN101971617B (zh) 2007-12-20 2015-12-02 Ati技术无限责任公司 具有视频来源装置与视频接收装置的系统中的调整视频处理
US8078658B2 (en) 2008-02-01 2011-12-13 International Business Machines Corporation ASCII to binary decimal integer conversion in a vector processor
US20110205259A1 (en) 2008-10-28 2011-08-25 Pixtronix, Inc. System and method for selecting display modes
WO2010075319A2 (en) 2008-12-22 2010-07-01 The Medical College Of Wisconsin, Inc. Method and apparatus for limiting growth of eye length
JP4528861B2 (ja) 2009-01-19 2010-08-25 シャープ株式会社 画像表示装置及び画像表示方法
CN101533635A (zh) 2009-04-09 2009-09-16 南京Lg新港显示有限公司 一种显示器图像处理方法
TWI424425B (zh) 2009-07-22 2014-01-21 Chunghwa Picture Tubes Ltd 三色色彩灰階值轉換四色色彩灰階值的裝置及其方法、液晶顯示器及其驅動方法
US8847972B2 (en) 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
JP5335706B2 (ja) 2010-01-21 2013-11-06 シャープ株式会社 画像表示装置
US20110279472A1 (en) * 2010-05-14 2011-11-17 Sony Ericsson Mobile Communications Ab Display arrangement and method of displaying information
JP2011248060A (ja) 2010-05-26 2011-12-08 Fujitsu Ten Ltd 表示装置、及び、表示方法
CN103026367B (zh) * 2010-06-11 2017-07-04 焦点再现 用于渲染显示以补偿观看者的视力损伤的系统和方法
US9437160B2 (en) * 2010-07-15 2016-09-06 Mersive Technologies, Inc. System and method for automatic color matching in a multi display system using sensor feedback control
CN101908330B (zh) * 2010-07-26 2012-05-02 武汉大学 一种低动态范围显示设备再现高动态范围图像的方法
ES2676393T3 (es) 2011-01-14 2018-07-19 University Of Washington Through Its Center For Commercialization Métodos para diagnosticar y prescribir un protocolo de tratamiento para trastornos relacionados con la longitud ocular
GB2495317A (en) * 2011-10-06 2013-04-10 Sharp Kk Image processing method for reduced colour shift in multi-primary LCDs
JP2013104912A (ja) * 2011-11-10 2013-05-30 Sony Corp 表示装置および表示方法
JP5825681B2 (ja) 2012-05-31 2015-12-02 国立大学法人 鹿児島大学 画像処理装置、画像処理方法及びプログラム
CN103631548B (zh) 2012-08-22 2019-01-08 慧荣科技股份有限公司 影像外接装置及处理影像外接装置的方法
JP5814966B2 (ja) * 2013-03-19 2015-11-17 キヤノン株式会社 画像表示装置及びその制御方法
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US8929679B1 (en) 2013-06-12 2015-01-06 Google Inc. Systems and methods for changing contrast based on brightness of an output for presentation on a display
JP5811228B2 (ja) 2013-06-24 2015-11-11 大日本印刷株式会社 画像処理装置、表示装置並びに画像処理方法及び画像処理用プログラム
WO2015044830A1 (en) * 2013-09-27 2015-04-02 Visuality Imaging Ltd Methods and system for improving the readability of text displayed on an electronic device screen
US10134342B2 (en) * 2013-11-18 2018-11-20 Elwha Llc Systems and methods for producing narrowband images
US10372788B2 (en) * 2014-01-31 2019-08-06 Rakuten Kobo Inc. E-reader to help users with dyslexia by providing enhancement features including moving sentences within a paragraph away from an edge of a page
US9773473B2 (en) 2014-06-03 2017-09-26 Nvidia Corporation Physiologically based adaptive image generation
TWI602111B (zh) * 2014-06-10 2017-10-11 和碩聯合科技股份有限公司 電子裝置及使用者介面的色彩設定方法
GB201410635D0 (en) 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
JP6887953B2 (ja) 2015-03-16 2021-06-16 マジック リープ，インコーポレイティド 健康を損う疾病を診断して治療する方法及びシステム
EP3742324A1 (en) 2015-09-15 2020-11-25 Gatekeeper Ltd. System and method for securely connecting to a peripheral device
US9490880B1 (en) 2016-01-07 2016-11-08 Freecsale Semiconductor, Inc. Hardware-based time alignment of wireless links
CA3193007A1 (en) * 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices
TW201737238A (zh) 2016-01-18 2017-10-16 偉視有限公司 用於減少電子顯示之近視基因效應之方法及裝置
EP3652700A4 (en) 2017-07-14 2021-03-10 University of Washington METHODS AND SYSTEMS FOR ASSESSING AND REDUCING THE MYOPIC POTENTIAL OF DISPLAYED COLOR IMAGES

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227809A1 (en) 2005-03-23 2006-10-12 Miller Rodney D System and method for base band-directional communication protocol for time-division multiplexing graphic data applications
JP2014515838A (ja) * 2011-04-21 2014-07-03 ザ ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャライゼーション 近視を抑制するビデオディスプレイ

Also Published As

Publication number Publication date
EP3405925A2 (en) 2018-11-28
CN109196574A (zh) 2019-01-11
KR20180123477A (ko) 2018-11-16
JP2019505019A (ja) 2019-02-21
US20190035358A1 (en) 2019-01-31
US11205398B2 (en) 2021-12-21
EP3405943A4 (en) 2019-01-02
CN109313793A (zh) 2019-02-05
AU2017210160A1 (en) 2018-08-02
US20200265796A1 (en) 2020-08-20
TWI736574B (zh) 2021-08-21
WO2017127457A2 (en) 2017-07-27
US20170205977A1 (en) 2017-07-20
JP6801003B2 (ja) 2020-12-16
EP3405925A4 (en) 2018-11-28
TW201737238A (zh) 2017-10-16
AU2017209051A1 (en) 2018-08-02
CA3011794A1 (en) 2017-07-27
JP2019503517A (ja) 2019-02-07
EP3405943A1 (en) 2018-11-28
TW201738877A (zh) 2017-11-01
WO2017127457A3 (en) 2017-09-14
KR20180122609A (ko) 2018-11-13
US20190057673A1 (en) 2019-02-21
US10621948B2 (en) 2020-04-14
WO2017127444A1 (en) 2017-07-27
CA3011808A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
KR102162339B1 (ko) 전자 디스플레이들의 근시유발적 효과를 감소시키기 위한 방법 및 장치
CN114063302B (zh) 光学像差校正的方法和装置
US8085217B2 (en) System, method, and computer program product for compensating for crosstalk during the display of stereo content
Machado et al. Real‐time temporal‐coherent color contrast enhancement for dichromats
CN106998454B (zh) 有源视频投影屏幕
Myers Display interfaces: fundamentals and standards
Kwon et al. Wide color gamut and high dynamic range displays using RGBW LCDs
CN103295558B (zh) 显示方法及显示设备
Gong et al. Impacts of appearance parameters on perceived image quality for mobile-phone displays
EP2592621A1 (en) Display apparatus and control method thereof
CN108376535B (zh) 背光驱动方法、虚拟现实眼镜、驱动方法及虚拟现实系统
US20130021324A1 (en) Method for improving three-dimensional display quality
CN102883169B (zh) 被动式立体影像系统及其影像处理方法
Dolph Perception and Mitigation of Artifacts in a Flat Panel Tiled Display System
US20130243305A1 (en) Image processing method for stereoscopic images
Kim et al. Image quality evaluation of LCDs based on novel RGBW sub-pixel structure
Si et al. Design of Android-Based YUV Video Player

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant