KR102473840B1 - 디스플레이 드라이버 및 모바일 전자 기기 - Google Patents

디스플레이 드라이버 및 모바일 전자 기기 Download PDF

Info

Publication number
KR102473840B1
KR102473840B1 KR1020170155545A KR20170155545A KR102473840B1 KR 102473840 B1 KR102473840 B1 KR 102473840B1 KR 1020170155545 A KR1020170155545 A KR 1020170155545A KR 20170155545 A KR20170155545 A KR 20170155545A KR 102473840 B1 KR102473840 B1 KR 102473840B1
Authority
KR
South Korea
Prior art keywords
image
coordinates
input image
display driver
virtual reality
Prior art date
Application number
KR1020170155545A
Other languages
English (en)
Other versions
KR20190057991A (ko
Inventor
조화현
고윤호
유태곤
이재열
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170155545A priority Critical patent/KR102473840B1/ko
Priority to US15/968,963 priority patent/US10580118B2/en
Priority to CN201811323661.2A priority patent/CN109817139B/zh
Publication of KR20190057991A publication Critical patent/KR20190057991A/ko
Application granted granted Critical
Publication of KR102473840B1 publication Critical patent/KR102473840B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0421—Structural details of the set of electrodes
    • G09G2300/043—Compensation electrodes or other additional electrodes in matrix displays related to distortions or compensation signals, e.g. for modifying TFT threshold voltage in column driver
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0828—Several active elements per pixel in active matrix panels forming a digital to analog [D/A] conversion circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/0286—Details of a shift registers arranged for use in a driving circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Abstract

본 발명의 실시예에 따른 디스플레이 드라이버는, 애플리케이션 프로세서 및 그래픽 처리 유닛 중 적어도 하나로부터, 사용자에게 가상 현실(Virtual Reality, VR) 서비스를 제공하기 위한 입력 이미지를 수신하는 인터페이스부, 상기 입력 이미지에 포함되는 픽셀들의 입력 좌표를 조절하여 수정 좌표를 생성하는 좌표 수정부, 및 상기 수정 좌표를 이용하여 상기 입력 이미지를 왜곡시켜 출력 이미지를 생성하는 이미지 생성부를 포함한다.

Description

디스플레이 드라이버 및 모바일 전자 기기{DISPLAY DRIVER, MOBILE ELECTRONIC DEVICE}
본 발명은 디스플레이 드라이버 및 모바일 전자 기기에 관한 것이다.
가상 현실 장치가 널리 보급되면서 사용자에게 좀 더 현실적이고 생동감있는 가상 현실을 제공하기 위한 기술이 연구되는 추세이다. 가상 현실 장치는 사용자의 머리에 장착되는 헤드 마운트 디스플레이(Head Mount Display) 장치 등을 포함할 수 있다. 가상 현실 장치는 화면을 출력하는 디스플레이 장치로서의 기능을 기본적으로 포함하는데, 기존의 디스플레이 장치와 달리 사용자의 눈과 매우 가까운 거리에서 렌즈를 통해 이미지를 표시한다. 따라서 렌즈에 의해 발생하는 이미지의 왜곡을 방지할 수 있는 방법이 필요하다.
본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 렌즈에 의해 발생하는 왜곡을 최소화하는 동시에, 소모 전력과 생산 단가를 낮출 수 있는 디스플레이 드라이버 및 모바일 전자 기기를 제공하고자 하는 데에 있다.
본 발명의 일 실시 형태에 따른 디스플레이 드라이버는, 애플리케이션 프로세서 및 그래픽 처리 유닛 중 적어도 하나로부터, 사용자에게 가상 현실(Virtual Reality, VR) 서비스를 제공하기 위한 입력 이미지를 수신하는 인터페이스부, 상기 입력 이미지에 포함되는 픽셀들의 입력 좌표를 조절하여 수정 좌표를 생성하는 좌표 수정부, 및 상기 수정 좌표를 이용하여 상기 입력 이미지를 왜곡시켜 출력 이미지를 생성하는 이미지 생성부를 포함한다.
본 발명의 일 실시 형태에 따른 디스플레이 드라이버는, 제1 동기 신호에 응답하여, 사용자에게 가상 현실 서비스를 제공하기 위한 입력 이미지를 수신하는 인터페이스부, 상기 제1 동기 신호와 같은 주기를 가지며, 상기 제1 동기 신호보다 소정의 지연 시간만큼 지연되는 제2 동기 신호에 응답하여, 상기 입력 이미지로부터 생성된 출력 이미지를 디스플레이 패널에 입력하는 소스 드라이버, 및 상기 지연 시간 동안 상기 입력 이미지를 왜곡시켜 상기 출력 이미지를 생성하며, 상기 출력 이미지는 상기 입력 이미지가 왜곡되어 표시되는 제1 영역 및 상기 제1 영역을 둘러싸는 제2 영역을 포함하고, 상기 제2 영역은 검은색으로 표시되는 이미지 생성부를 포함한다.
본 발명의 일 실시 형태에 따른 모바일 전자 기기는, 가상 현실 서비스를 제공하기 위한 입력 이미지를 생성하는 애플리케이션 프로세서, 상기 가상 현실 서비스를 이용하는 사용자의 눈에 인접하여 배치되는 렌즈, 상기 렌즈에서 발생하는 색수차 및 핀쿠션(pincushion) 왜곡을 보정하기 위해 상기 입력 이미지를 방사 왜곡(radial distortion)시켜 출력 이미지를 생성하는 디스플레이 드라이버, 및 상기 디스플레이 드라이버로부터 상기 출력 이미지를 입력받아 출력하는 디스플레이 패널을 갖는 디스플레이 장치를 포함한다.
본 발명의 실시예에 따른 디스플레이 드라이버는, 입력 이미지를 의도적으로 왜곡시켜 가상 현실 장치의 렌즈에서 발생하는 왜곡을 최소화할 수 있다. 또한 애플리케이션 프로세서 또는 그래픽 처리 유닛이 아닌, 디스플레이 드라이버에서 입력 이미지를 의도적으로 왜곡시키는 상기 프로세스를 진행함으로써, 상대적으로 저가의 애플리케이션 프로세서와 그래픽 처리 유닛으로도 가상 현실 장치를 구현할 수 있으며, 소모 전력을 줄일 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 가상 현실 장치를 나타낸 도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 가상 현실 장치의 렌즈에서 발생하는 왜곡을 최소화할 수 있는 방법을 설명하기 위한 도면들이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 모바일 전자 기기의 동작을 설명하기 위해 제공되는 도면들이다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 드라이버를 포함하는 디스플레이 장치를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 드라이버를 간단하게 나타낸 블록도이다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 드라이버가 이미지에 포함되는 픽셀들의 좌표를 조절하는 방법을 설명하기 위해 제공되는 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 디스플레이 드라이버의 동작을 설명하기 위해 제공되는 도면들이다.
도 12는 본 발명의 일 실시예에 따른 디스플레이 드라이버에 포함되는 소스 드라이버를 간단하게 나타낸 도면이다.
도 13 및 도 14는 본 발명의 일 실시예에 따른 디스플레이 드라이버의 동작을 설명하기 위해 제공되는 도면들이다.
도 15 및 도 16은 본 발명의 일 실시예에 따른 디스플레이 드라이버의 동작을 설명하기 위해 제공되는 도면들이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
도 1 및 도 2는 본 발명의 실시예에 따른 가상 현실 장치를 나타낸 도이다.
우선 도 1을 참조하면, 본 발명의 실시예에 따른 가상 현실 장치(10)는 사용자가 머리에 장착하고 이용하는 헤드 마운트 디스플레이(Head Mount Display, HMD) 장치일 수 있다. 도 1에 도시한 일 실시예에 따른 가상 현실 장치(10)에는 사용자에게 영상을 출력하기 위한 전자 기기(18)가 장착될 수 있다. 전자 기기(18)는 가상 현실 장치(10)에 마련된 수납 공간 내에 장착될 수 있다. 전자 기기(18)가 가상 현실 장치(10)에 착탈 가능한 장치인 경우, 스마트 폰 등과 같은 스마트 기기가 전자 기기(18)로 채용될 수 있다.
가상 현실 장치(10)는, 고정부(11), 프레임(12), 조작부(13, 14), 커넥터(15), 커버(16), 및 광학부(17) 등을 포함할 수 있다. 고정부(11)는 가상 현실 장치(10)를 사용자의 머리에 장착하기 위해 제공되며, 스트랩과 같이 탄성 소재로 제작된 밴드, 안경 다리 또는 헬멧 등과 같은 고정 부재를 포함할 수 있다. 사용자는 고정부(11)에 머리를 끼움으로써 가상 현실 장치(10)를 고정시킬 수 있으며, 프레임(12)의 일부 영역이 사용자의 눈 주변 영역과 밀착될 수 있다. 사용자의 피로도를 줄이기 위해, 프레임(12)은 사용자의 눈 주변 영역과 밀착되는 영역에서 탄성 소재를 포함할 수 있다.
프레임(12)은 전자 기기(18)를 수납하기 위한 공간을 포함할 수 있다. 전자 기기(18)는 앞서 설명한 바와 같이 프레임(12)으로부터 분리될 수 있는 별도의 장치일 수 있다. 프레임(12)은 전자 기기(18)와 사용자의 눈 사이에 배치되는 광학부(17)를 포함할 수 있으며, 광학부(17)는 렌즈를 포함할 수 있다. 전자 기기(18)는 광학부(17)의 전면에 마련되며, 전자 기기(18)의 후면에는 커버(16)가 배치될 수 있다.
커넥터(15)는 전자 기기(18)와 전기적으로 연결되어 제어 신호를 송수신할 수 있다. 특히, 전자 기기(18)가 프레임(12)으로부터 탈착 가능한 별도의 장치인 경우, 커넥터(15)는 전자 기기(18)에 마련된 커넥터와 연결될 수 있다. 일 실시예로, 전자 기기(18)가 스마트 기기인 경우, 커넥터(15)는 스마트 기기에 포함된 USB, micro-USB, Lighting 단자 등의 다양한 규격에 따른 커넥터(15)와 연결될 수 있다.
조작부(13, 14)는 터치 패널 또는 기계식 휠 등을 포함할 수 있다. 사용자는 조작부(13, 14)를 통해 전자 기기(18)의 영상 재생, 일시정지, 영상 시점 이동, 볼륨 조절 등의 조작을 실행할 수 있다. 휠(14)은 터치 패널(13)과 다른 기능을 입력하기 위해 구비될 수 있으며, 예를 들어 광학부(17)의 초점을 조절하기 위한 목적으로 구비될 수 있다. 가상 현실 장치(10)는 터치 패널(13)과 휠(14) 외에 다른 다양한 조작 장치를 더 포함할 수도 있다.
한편, 도 2를 참조하면, 본 발명의 실시예에 따른 가상 현실 장치(20)는 별도의 전자 기기(18)와 결합할 필요 없이 가상 현실 서비스를 사용자에게 제공할 수 있는 단독형(stand-alone) 장치일 수 있다. 도 2에 도시한 실시예에 따른 가상 현실 장치(20)는, 도 1에 도시한 실시예와 유사하게 고정부(21), 프레임(22), 조작부(23, 24) 등을 포함할 수 있다. 다만, 가상 현실 장치(20)의 내부에 별도의 전자 기기가 수납되지 않으므로, 커넥터(25), 커버(26) 등의 구성은 생략될 수 있다. 사용자의 시선이 닿는 프레임(22) 내부의 공간에 영상을 출력하는 디스플레이 장치와, 렌즈를 포함하는 광학부가 마련될 수 있다.
가상 현실 장치(10, 20)를 통해 사용자가 보는 화면은 정지 영상 또는 동영상일 수 있다. 가상 현실 서비스가 제공되는 동안, 가상 현실 장치(10, 20)를 장착한 사용자의 움직임에 따라 사용자가 보는 화면이 바뀔 수도 있다. 가상 현실 서비스가 제공되는 동안 사용자는 렌즈를 통해 화면을 보게 되므로, 렌즈에서 발생하는 왜곡을 최소화해야만 사용자에게 자연스러운 화면을 제공할 수 있다.
빛은 렌즈를 통과할 때 렌즈의 곡률, 초점 거리 등에 따라 굴절되며, 이때 파장 대역에 따라 굴절되는 정도가 달라지는 색수차 현상이 발생할 수 있다. 예를 들어, 파장 대역이 긴 빛의 초점은, 파장 대역이 짧은 빛의 초점보다 렌즈에서 먼 쪽에 맺힐 수 있다. 따라서, 화면이 렌즈를 통과하여 사용자의 눈에 보여질 때, 적색/녹색/청색 채널들 각각에 포함되는 이미지 데이터의 색수차로 인해 화면의 품질이 저하될 수 있다.
또한 렌즈에서는 방사 왜곡(radial distortion) 현상이 발생할 수 있다. 렌즈에서 발생하는 방사 왜곡으로는 핀쿠션(pincushion) 왜곡과 배럴(barrel) 왜곡이 있으며, 방사 왜곡이 발생할 경우 화면의 품질이 저하되고 사용자가 쉽게 어지럼증을 느끼는 등의 문제가 발생할 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 가상 현실 장치의 렌즈에서 발생하는 왜곡을 최소화할 수 있는 방법을 설명하기 위한 도면들이다.
도 3은 가상 현실 장치의 렌즈에서 발생할 수 있는 방사 왜곡을 설명하기 위해 제공되는 도면이다. 도 3을 참조하면, 원본 이미지(31)를 이용하여 사용자의 왼쪽 눈과 오른쪽 눈에 각각 출력되는 가상 현실(VR) 이미지(32)를 생성할 수 있다. VR 이미지(32)는 좌안 이미지(32L)와 우안 이미지(32R)를 포함하며, 좌안 이미지(32L)와 우안 이미지(32R)는 서로 같을 수 있다.
VR 이미지(32)가 가상 현실 장치(30)의 렌즈를 통과하면, 도 3에 도시한 바와 같이 방사 왜곡이 발생할 수 있다. 도 3에 도시한 일 실시예에서는, VR 이미지(32)에서 핀쿠션 왜곡이 발생하여 사용자의 눈에 보여지는 것으로 도시하였으나, 다른 일 실시예에서는 배럴 왜곡이 발생할 수도 있다. 즉, 렌즈를 통과하여 사용자의 눈에 보여지는 VR 화면(33)에서는, 도 3에 도시한 바와 같이 원본 이미지(31)가 왜곡되어 나타날 수 있다. 핀쿠션 왜곡은, 좌측 VR 화면(33L)과 우측 VR 화면(33R) 각각에서 나타날 수 있다.
도 4는 가상 현실 장치의 렌즈에서 발생할 수 있는 방사 왜곡을 최소화하는 방법을 설명하기 위해 제공되는 도면이다. 도 4를 참조하면, 원본 이미지(41)를 이용하여 사용자의 왼쪽 눈과 오른쪽 눈 각각에 출력되는 좌안 이미지(42L)와 우안 이미지(42R)를 갖는 VR 이미지(42)를 생성할 수 있다. 도 4에 도시한 일 실시예에서는, 렌즈의 특성에 따라 가상 현실 장치(40)에서 발생할 수 있는 방사 왜곡을 고려하여, VR 이미지(42)를 의도적으로 왜곡시켜 출력 이미지(43)를 생성할 수 있다.
일례로, 도 4에 도시한 일 실시예에서는 가상 현실 장치(40)의 렌즈를 통과할 때, 화면에 핀쿠션 왜곡이 발생할 수 있다. 이 경우, 핀쿠션 왜곡을 상쇄할 수 있도록, VR 이미지(42)를 의도적으로 배럴 왜곡시켜 출력 이미지(43)를 생성할 수 있다. 출력 이미지(43)가 가상 현실 장치(40)의 렌즈를 통과할 때 핀쿠션 왜곡이 발생하므로, 사용자의 눈에 보여지는 VR 화면(44)에서는 방사 왜곡이 나타나지 않을 수 있다.
상기와 같이, VR 이미지(42)에 나타날 수 있는 방사 왜곡을 보정하기 위한 이미지 처리 프로세스는 애플리케이션 프로세서(AP) 또는 그래픽 처리 유닛(GPU)에서 실행될 수 있다. 즉, 디스플레이 장치는 애플리케이션 프로세서 또는 그래픽 처리 유닛에서 생성한 출력 이미지(43)를 그대로 받아서 출력하는 기능만을 수행할 수 있다. 그러나 이 경우, 고성능의 애플리케이션 프로세서 또는 그래픽 처리 유닛이 필요하며, 이는 제조 단가 상승의 원인이 될 수 있다. 또한, 가상 현실 장치(40)의 소모 전력이 증가하여 가상 현실 장치(10, 20)의 배터리 이용 시간이 짧아지거나, 애플리케이션 프로세서 또는 그래픽 처리 유닛의 연산량이 증가하여 발열 문제가 발생하는 원인이 될 수도 있다.
본 발명의 일 실시예에서는, 가상 현실 장치(40)의 렌즈에서 발생할 수 있는 방사 왜곡 및/또는 색수차를 보정하기 위한 이미지 처리 프로세스를, 디스플레이 드라이버에서 진행할 수 있다. 또한, 상기 이미지 처리 프로세스의 연산량을 줄이기 위해 픽셀의 좌표를 극좌표 변환하여 연산함으로써, 디스플레이 드라이버의 연산량 부담을 줄이고, 상기 이미지 처리 프로세스를 온-더-플라이(on-the-fly) 방식으로 처리함으로써 필요한 메모리의 용량을 최소화할 수 있다. 따라서 제조 단가 상승과 소모 전력 증가, 및 발열 문제 없이 가상 현실 장치(40)의 렌즈에서 발생하는 화면 왜곡 문제를 해결할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 모바일 전자 기기의 동작을 설명하기 위해 제공되는 도면들이다.
도 5에 도시한 일 실시예에 따른 가상 현실 장치(50)의 경우, 애플리케이션 프로세서(52) 및/또는 그래픽 처리 유닛(53)이 원본 이미지(51)를 이용하여 출력 이미지(54)를 생성할 수 있다. 출력 이미지(54)는, 사용자의 왼쪽 눈 및 오른쪽 눈 각각에 보여지는 좌안 이미지 및 우안 이미지를 포함할 수 있다. 출력 이미지(54)는 그래픽 전송을 위한 인터페이스 등을 통해 디스플레이 장치(55)로 전송될 수 있다.
디스플레이 드라이버(56)는 전송받은 출력 이미지(54)를 디스플레이 패널(57)에 표시할 수 있다. 디스플레이 패널(57)에 표시된 출력 이미지(54)는, 렌즈(58)를 통해 사용자의 왼쪽 눈 및 오른쪽 눈 각각에 보여지는 좌안 이미지 및 우안 이미지를 포함할 수 있다. 이때, 렌즈(58)의 곡률과 초점 거리 등에 따라 사용자에게 보여지는 VR 화면에서는 방사 왜곡, 색수차 등의 문제가 나타날 수 있다.
도 5에 도시한 일 실시예에서는, VR 화면에서 나타나는 방사 왜곡이나 색수차 등의 문제 해결을 위한 이미지 처리 프로세스가 애플리케이션 프로세서(52) 및/또는 그래픽 처리 유닛(53)에서 실행될 수 있다. 따라서, 가상 현실 장치(50)의 제조 단가가 상승하거나 소모 전력이 증가하는 등의 문제가 발생할 수 있다.
다음으로 도 6에 도시한 일 실시예에 따른 가상 현실 장치(60)의 경우, 애플리케이션 프로세서(62) 및/또는 그래픽 처리 유닛(63)은 원본 이미지(61)를 디스플레이 장치(65)에 입력 이미지로서 전송할 수 있다. 일 실시예에서, 애플리케이션 프로세서(62) 및/또는 그래픽 처리 유닛(63)은 원본 이미지(61)를 그대로 디스플레이 장치(65)에 입력 이미지로서 전송하거나, 또는 원본 이미지(61)의 해상도를 낮춰서 디스플레이 장치(65)에 입력 이미지로서 전송할 수 있다. 다른 일 실시예에서, 애플리케이션 프로세서(62) 및/또는 그래픽 처리 유닛(63)은 원본 이미지(61)를 이용하여 사용자의 왼쪽 눈과 오른쪽 눈 각각에 출력되는 좌안 이미지와 우안 이미지를 갖는 VR 이미지를 생성하고, 상기 VR 이미지를 입력 이미지로서 디스플레이 장치(65)에 전송할 수 있다.
디스플레이 드라이버(66)는 상기 입력 이미지에 적어도 하나 이상의 이미지 프로세스를 적용하여 출력 이미지(64)를 생성할 수 있다. 일 실시예에서, 상기 이미지 프로세스에 의해, 가상 현실 장치(60)의 렌즈에서 발생할 것으로 예상되는 방사 왜곡 및 색수차가 미리 보상될 수 있다. 또한 일 실시예에서, 상기 이미지 프로세스에 의해 입력 이미지의 해상도가 조절될 수도 있다. 이 경우, 출력 이미지(64)의 해상도는 입력 이미지의 해상도보다 높을 수 있다.
일 실시예에서, 디스플레이 드라이버(66)는 입력 이미지에 포함되는 픽셀들 각각의 좌표를 조절하여 입력 이미지에 의도적으로 왜곡을 일으킬 수 있다. 앞서 설명한 바와 같이, 가상 현실 장치(60)의 렌즈(68)에서는 방사 왜곡이 발생할 수 있으며, 일 실시예로 배럴 왜곡 또는 핀쿠션 왜곡이 발생할 수 있다. 렌즈(68)에서 배럴 왜곡이 발생하는 경우, 디스플레이 드라이버(66)는 입력 이미지에 의도적으로 핀쿠션 왜곡을 발생시켜서 출력 이미지(64)를 생성함으로써 렌즈(68)에서 발생하는 배럴 왜곡을 상쇄할 수 있다. 한편 렌즈(68)에서 핀쿠션 왜곡이 발생하는 경우, 디스플레이 드라이버(66)는 입력 이미지에 의도적으로 배럴 왜곡을 발생시켜 출력 이미지(64)를 생성함으로써 렌즈(68)에서 발생하는 핀쿠션 왜곡을 상쇄할 수 있다.
렌즈(68)에서 발생하는 색수차는 각 픽셀에 대응하는 이미지 데이터를 적색/녹색/청색 채널로 구분할 때, 적색 채널의 데이터가 청색 채널의 데이터보다 화면의 중심에 가까이 표시되는 형태로 발생할 수 있다. 따라서, 디스플레이 드라이버(66)는, 화면의 중심을 기준으로 입력 이미지의 적색 채널의 데이터에 소정의 오프셋을 더하고, 화면의 중심을 기준으로 입력 이미지의 청색 채널의 데이터에서 소정의 오프셋을 빼는 방식으로 렌즈(68)에서 발생하는 색수차를 미리 보정할 수 있다. 이때, 상기 화면의 중심은, 입력 이미지의 중앙으로 정의될 수 있다.
렌즈(68)에서 발생하는 방사 왜곡과, 렌즈(68)에서 발생하는 색수차는 모두 사용자의 눈에 보여지는 화면의 중심을 기준으로 하여 보정할 수 있다. 따라서, 본 발명의 일 실시예에서는, 입력 이미지에 포함되는 픽셀들 각각의 좌표를, 입력 이미지의 중심을 기준으로 조절함으로써 렌즈(68)에서 발생하는 방사 왜곡과 색수차를 함께 보정할 수 있다. 따라서, 디스플레이 드라이버(66)의 연산량을 줄여 소모 전력과 발열 문제를 해결함과 동시에, 디스플레이 드라이버(66)에 포함된 버퍼를 그대로 이용할 수 있어 생산 단가 상승을 최소화할 수 있다.
본 발명의 일 실시예에서, 디스플레이 드라이버(66)는 애플리케이션 프로세서(62) 및/또는 그래픽 처리 유닛(63)으로부터 수신한 입력 이미지에 포함되는 픽셀들 중 일부에 대해서만 상기 이미지 프로세스를 적용할 수 있다. 일례로, 가상 현실 장치(60)의 렌즈에서 발생하는 방사 왜곡은, 입력 이미지의 중심에 가까운 픽셀들에서는 나타나지 않을 수 있으며, 입력 이미지의 중심으로부터 멀리 떨어진 픽셀들에서는 방사 왜곡의 정도가 심해질 수 있다. 디스플레이 드라이버(66)는, 입력 이미지의 중심으로부터 멀리 떨어진 일부의 픽셀들에 대해서만 방사 왜곡 및 색수차를 보정하기 위한 이미지 프로세스를 적용함으로써, 연산량을 줄일 수 있다.
가상 현실 서비스를 제공하기 위한 입력 이미지는 프레임 단위로 구분될 수 있다. 디스플레이 드라이버(66)는 입력 이미지의 한 프레임에 포함되는 모든 픽셀들에 대해 좌표를 조절하여 방사 왜곡 및 색수차를 보정하기 위한 이미지 프로세스를 적용할 수 있다. 이미지 프로세스가 완료되면, 디스플레이 드라이버(66)는 입력 이미지와 출력 이미지(64)를 비교하여 이미지 프로세스에도 불구하고 좌표가 변경되지 않은 픽셀들을 찾고, 해당 픽셀들을 중첩(overlap) 영역으로 정의할 수 있다. 디스플레이 드라이버(66)는 입력 이미지의 이후 프레임들에 대해서는, 중첩 영역에 포함되지 않는 픽셀들에 대해서만 방사 왜곡 및 색수차를 보정하기 위한 이미지 프로세스를 적용할 수 있다. 따라서, 디스플레이 드라이버(66)의 연산량을 줄이고 소모 전력 역시 절감할 수 있다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 드라이버를 포함하는 디스플레이 장치를 나타낸 도면이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(70)는 디스플레이 드라이버(80)와 디스플레이 패널(90)을 포함할 수 있다. 디스플레이 패널(90)은 복수의 행(row)과 열(column)을 따라 배치되는 복수의 픽셀들(PX)을 포함할 수 있다.
디스플레이 드라이버(80)는 복수의 게이트 라인들(GL1-GLm)과 복수의 소스 라인들(SL1-SLn)을 통해 복수의 픽셀들(PX) 각각에 이미지 데이터를 입력할 수 있다. 일례로, 디스플레이 드라이버(80)의 게이트 드라이버(85)가 복수의 게이트 라인들(GL1-GLm)을 순차적으로 스캔할 수 있으며, 소스 드라이버(86)는 게이트 드라이버(85)가 스캔한 게이트 라인에 포함된 픽셀들(PX)에 이미지 데이터를 입력할 수 있다. 일 실시예에서, 소스 드라이버(86)가 픽셀들에 입력하는 이미지 데이터는, 소스 전압일 수 있다. 게이트 드라이버(85)와 소스 드라이버(86)의 동작은 타이밍 컨트롤러(84)에 의해 제어될 수 있다.
본 발명의 일 실시예에 따른 디스플레이 드라이버(80)는 인터페이스부(81), 좌표 수정부(82) 및 이미지 생성부(83)를 포함할 수 있다. 인터페이스부(81)는 외부의 그래픽 처리 유닛, 애플리케이션 프로세서, 또는 저장 장치 등과 연결되어 입력 이미지를 수신할 수 있다. 일 실시예에서, 인터페이스부(81)는 MIPI(Mobile Industry Processor Interface) 등의 직렬 통신 프로토콜을 통해 입력 이미지를 수신할 수 있다. 입력 이미지는, 가상 현실 서비스를 제공하기 위한 원본 이미지 그 자체이거나, 또는 원본 이미지를 수정하여 생성한 이미지일 수 있다.
좌표 수정부(82)와 이미지 생성부(83)는 인터페이스부(81)가 수신한 입력 이미지를 이용하여 출력 이미지를 생성할 수 있다. 일 실시예에서, 좌표 수정부(82)는 입력 이미지에 포함되는 픽셀들 각각의 원본 좌표를 조절하여 수정 좌표를 생성할 수 있다. 이미지 생성부(83)는 인터페이스부(81)가 수신한 입력 이미지 중 적어도 일부를 저장할 수 있으며, 좌표 수정부(82)가 생성한 수정 좌표를 이용하여 입력 이미지를 의도적으로 왜곡시킬 수 있다.
디스플레이 장치(70)가 가상 현실 장치에 적용되는 경우, 디스플레이 장치(70)가 출력하는 화면은 가상 현실 장치의 렌즈를 통해 사용자에게 보여질 수 있다. 화면이 렌즈를 통과하는 과정에서 색수차 및/또는 방사 왜곡이 발생할 수 있다. 본 발명의 일 실시예에서는, 좌표 수정부(82)와 이미지 생성부(83)가 입력 이미지를 의도적으로 왜곡하여 타이밍 컨트롤러(84)에 출력 이미지를 전송함으로써, 렌즈에서 발생할 수 있는 색수차 및/또는 방사 왜곡을 상쇄할 수 있다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 드라이버를 간단하게 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 드라이버(100)는 입력 이미지를 수신하는 인터페이스부(110), 입력 이미지에 포함된 픽셀들의 좌표를 조절하는 좌표 수정부(120) 및 출력 이미지를 생성하는 이미지 생성부(130) 등을 포함할 수 있다. 인터페이스부(110)는 MIPI 등의 인터페이스를 통해 애플리케이션 프로세서, 그래픽 처리 유닛, 또는 메모리 등으로부터 입력 이미지를 수신할 수 있다. 입력 이미지는 가상 현실 장치에서 사용자의 왼쪽 눈과 오른쪽 눈에 각각 보여지는 좌안 이미지와 우안 이미지를 포함하는 VR 이미지이거나, 또는 원본 이미지와 같은 단안 이미지일 수 있다. 일 실시예에서, 입력 이미지는 원본 이미지의 해상도를 낮춰서 생성한 이미지일 수 있다. 또한 입력 이미지는, 실제로 이미지가 표시되는 제1 영역과, 제1 영역을 둘러싸며 검은색으로 표시되는 제2 영역을 포함할 수 있다.
좌표 수정부(120)는 입력 이미지를 의도적으로 왜곡시켜 출력 이미지를 생성할 수 있도록, 입력 이미지에 포함되는 픽셀들의 좌표를 조절할 수 있다. 이하, 도 9를 함께 참조하여 좌표 수정부(120)의 동작을 설명하기로 한다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 드라이버가, 이미지에 포함된 픽셀들의 좌표를 조절하는 방법을 설명하기 위해 제공되는 도면일 수 있다. 도 9에 도시한 일 실시예에서 좌측의 이미지는 좌표 수정부(120)가 픽셀들의 좌표를 조절하기 이전의 이미지를 나타낸 것일 수 있고, 우측의 이미지는 픽셀들의 좌표가 조절된 이후의 이미지를 나타낸 것일 수 있다.
인터페이스부(110)가 수신한 입력 이미지에 포함되는 픽셀들의 좌표는, 입력 이미지의 중심 (Ox, Oy)을 기준으로 하는 제1 직교 좌표 (x, y)로 추출될 수 있다. 일 실시예에서, 극좌표 변환부(121)는 입력 이미지의 중심 (Ox, Oy)을 기준으로 이용하여 제1 직교 좌표 (x, y)를 제1 극좌표 (r, θ)로 변환할 수 있다. 제1 극좌표 (r, θ)와 제1 직교 좌표 (x, y)의 관계는 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112017115856503-pat00001
Figure 112017115856503-pat00002
극좌표 보정부(122)는 제1 극좌표 (r, θ)를 조절하여 제2 극좌표 (r`, θ`)를 생성할 수 있다. 일 실시예에서, 극좌표 보정부는 제1 극좌표 (r, θ)의 반경(radius) 값 r만을 조절하여 제2 극좌표 (r`, θ`)를 생성할 수 있다. 즉, 제1 극좌표 (r, θ)의 각도 θ와 제2 극좌표 (r`, θ`)의 각도 θ`는 서로 같을 수 있다.
좌표 수정부(120)와 이미지 생성부(130)는, 가상 현실 장치의 렌즈에서 발생하는 방사 왜곡과 색수차 등을 최소화하기 위해 입력 이미지를 의도적으로 왜곡시켜 출력 이미지를 생성할 수 있다. 방사 왜곡과 색수차는, 이미지의 중심으로부터 각 픽셀들 사이의 거리가 변하면서 발생할 수 있다. 따라서, 입력 이미지에 포함된 픽셀들의 좌표에 대응하는 제1 극좌표 (r, θ)의 반경 값 r만을 조절하여 제2 극좌표 (r`, θ`)를 생성함으로써, 렌즈에서 발생하는 방사 왜곡과 색수차를 최소화할 수 있다. 일 실시예에서, 제2 극좌표 (r`, θ`)의 반경 값은 r`은 다음의 수학식 2에 의해 결정될 수 있다. 하기의 수학식 2에서, k1과 k2 각각은 가상 현실 장치에 포함되는 렌즈의 특성, 예를 들어 렌즈의 곡률, 반경, 초점 거리 등에 의해 결정되는 값일 수 있다.
Figure 112017115856503-pat00003
직교 좌표 변환부(123)는 제2 극좌표 (r`, θ`)를 제2 직교 좌표 (x`, y`)로 변환할 수 있다. 제2 직교 좌표 (x`, y`)와 제2 극좌표 (r`, θ`)의 관계는 아래의 수학식 3과 같이 표현될 수 있다. 또한, 제1 직교 좌표 (x, y)와 제2 직교 좌표 (x`, y`)의 관계는 수학식 4와 같이 표현될 수 있다. (Ox`, Oy`)는 좌표 수정부(120)에서 좌표를 조절한 이후 이미지의 중심에 대응하는 좌표로서, (Ox, Oy)와 같을 수 있다.
Figure 112017115856503-pat00004
Figure 112017115856503-pat00005
Figure 112017115856503-pat00006
Figure 112017115856503-pat00007
정수 값을 갖는 제1 직교 좌표 (x, y)와 달리, 제2 직교 좌표 (x`, y`)는 정수가 아닌 값을 가질 수도 있다. 따라서, 제2 직교 좌표 (x`, y`)를 이용하여 입력 이미지를 왜곡시킬 경우, 출력 이미지를 생성하는 과정에서 오류가 발생할 수 있다. 본 발명의 일 실시예에서는 이러한 문제를 해결하기 위해 수정 좌표 연산부(124)가 마련될 수 있다. 수정 좌표 연산부(124)는 제2 직교 좌표 (x`, y`)를 보간(interpolation)하여 수정 좌표 (x``, y``)를 생성할 수 있다. 수정 좌표 (x``, y``)는 정수 값을 가질 수 있다.
이미지 생성부(130)는 좌표 수정부(120)가 출력하는 수정 좌표 (x``, y``)를 이용하여 출력 이미지를 생성할 수 있다. 이미지 생성부(130)는 버퍼(131)와 이미지 생성부(132)를 포함할 수 있으며, 버퍼(131)는 입력 이미지의 일부를 저장할 수 있다. 일 실시예에서 버퍼(131)는 입력 이미지를 라인 단위로 저장하는 라인 메모리를 복수 개 포함할 수 있다. 라인 메모리에는 입력 이미지가 복수의 행 또는 열 단위로 저장될 수 있다. 버퍼(131)에서 실제로 이용하는 라인 메모리의 개수는, 좌표 수정부(120)에 의해 좌표가 조절되는 정도에 의해 결정될 수 있다. 일 실시예에서, 제1 극좌표 (r, θ)의 반경 값과 제2 극좌표 (r`, θ`)의 반경 값의 차이에 따라서 실제로 이용되는 라인 메모리의 개수가 달라질 수 있다.
이미지 보정부(132)는 버퍼(131)에 임시로 저장된 입력 이미지의 데이터를 수정 좌표 (x``, y``)와 조합하여 출력 이미지를 생성할 수 있다. 일 실시예에서 이미지 보정부(130)는 픽셀 단위로 입력 이미지의 데이터를 수정 좌표 (x``, y``)와 조합하여 출력 이미지를 생성할 수 있다. 따라서, 이미지 보정부(132)는 입력 이미지를 온-더-플라이(on-the-fly) 방식으로 처리할 수 있다. 이미지 보정부(132)가 생성하는 출력 이미지의 데이터는 픽셀 단위로 출력되어 소스 드라이버에 포함되는 래치 등에 저장될 수 있다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 디스플레이 드라이버의 동작을 설명하기 위해 제공되는 도면들이다. 도 10 및 도 11에 도시한 실시예들에서 디스플레이 드라이버가 수신한 입력 이미지는, 가상 현실 서비스를 위한 좌안 이미지와 우안 이미지를 포함하지 않는, 단안 이미지일 수 있다.
우선 도 10을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 드라이버는 입력 이미지(201)를 의도적으로 왜곡시켜 출력 이미지(202)를 생성할 수 있다. 출력 이미지(202)는 가상 현실 장치를 이용하는 사용자의 왼쪽 눈과 오른쪽 눈에 각각 보여지는 좌안 이미지(202L)와 우안 이미지(202R)를 포함할 수 있다. 도 10에 도시한 일 실시예에서는, 가상 현실 장치에 포함되는 렌즈(200)에서 핀쿠션 왜곡이 발생하는 것을 가정하였으며, 디스플레이 드라이버는 상기 핀쿠션 왜곡을 미리 보상하기 위해 입력 이미지(201)를 배럴 왜곡시켜 출력 이미지(202)를 생성할 수 있다.
디스플레이 드라이버가 입력 이미지(201)를 미리 배럴 왜곡시켜 출력 이미지(202)를 생성함으로써, 도 10에 도시한 바와 같이 사용자의 눈에 보여지는 VR 화면(203)에서는 방사 왜곡이 발생하지 않을 수 있다. 다만, 렌즈(200)에서 발생하는 색수차로 인해, VR 화면(203)의 확대 영역(203A)에 도시한 바와 같이 픽셀들 각각에서 적색 채널의 데이터와 녹색 채널의 데이터, 및 청색 채널의 데이터가 서로 분리되어 나타날 수 있다.
일 실시예에서, 좌안 VR 화면(203L)을 참조하면, 상대적으로 긴 파장 대역에 포함되는 적색 채널의 데이터가 녹색 채널의 데이터보다 좌안 VR 화면(203L)의 중심에 가깝게 표시되고, 상대적으로 짧은 파장 대역에 포함되는 청색 채널의 데이터는 녹색 채널의 데이터보다 좌안 VR 화면(203L)의 중심으로부터 멀리 표시될 수 있다. 즉, 렌즈(200)의 색수차로 인해 각 색상 채널들의 데이터가 하나의 픽셀에서 분리 표시되는 현상은, 좌안 VR 화면(203L)과 우안 VR 화면(203R) 각각의 중심을 기준으로 정의되는 극좌표의 반경(radius) 값의 변화로 표시될 수 있다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 드라이버는, 렌즈(300)에서 발생할 것으로 예상되는 방사 왜곡과 색수차를 함께 고려하여 입력 이미지(301)를 왜곡시킴으로써 출력 이미지(302)를 생성할 수 있다. 디스플레이 드라이버는 입력 이미지(301)를 배럴 왜곡시켜 렌즈(300)에서 발생할 것으로 예상되는 핀쿠션 왜곡을 미리 상쇄시킬 수 있다. 또한, 디스플레이 드라이버는 입력 이미지(301)의 각 색상 채널들의 데이터가 픽셀들 각각에서 분리되어 표시되도록 입력 이미지(301)를 왜곡시킬 수 있다. 따라서 사용자는 VR 화면(303)에서 왜곡이 최소화된 이미지를 볼 수 있다.
도 11에서 출력 이미지(302)에서 좌안 이미지(302L)의 일부를 도시한 확대 영역(302A)을 참조하면, 출력 이미지(302)의 픽셀들 중 적어도 일부에서 색상 채널들 각각의 데이터가 분리 표시될 수 있다. 이때, 상대적으로 짧은 파장을 갖는 색상 채널의 데이터가 중심으로부터 더 멀리 표시되는 렌즈(300)의 색수차를 고려하여, 디스플레이 드라이버는 상대적으로 긴 파장을 갖는 색상 채널의 데이터가 픽셀들 각각에서 출력 이미지(302)의 중심으로부터 더 멀리 표시되도록 출력 이미지(302)를 생성할 수 있다.
앞서 설명한 바와 같이, 렌즈(300)에서 발생하는 방사 왜곡과 색수차는 모두 렌즈(300)에 입사되는 좌안 이미지(302L)와 우안 이미지(302R) 각각의 중심과 각 픽셀들 사이의 거리 변화로 나타날 수 있다. 따라서, 디스플레이 드라이버는 입력 이미지(301)에 포함되는 픽셀들 각각의 좌표를 극좌표로 변환하고, 극좌표의 반경 값을 조절함으로써 렌즈(300)에서 발생하는 방사 왜곡과 색수차를 동시에 보상할 수 있다. 이때, 색수차 보상을 위해서는 입력 이미지(301)에 포함되는 데이터를 적색/녹색/청색 채널들 각각에서 분리하는 프로세스가 더 필요할 수도 있다.
도 12는 본 발명의 일 실시예에 따른 디스플레이 드라이버에 포함되는 소스 드라이버를 간단하게 나타낸 도면이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 소스 드라이버(400)는, 시프트 레지스터(410), 래치 회로(420), 디지털-아날로그 컨버터(430), 및 버퍼 회로(440) 등을 포함할 수 있다. 일 실시예에서, 래치 회로(420)는 데이터를 샘플링하는 샘플링 회로 및 샘플링 회로가 샘플링한 데이터를 저장하는 홀딩 래치를 포함할 수 있다. 소스 드라이버(400)에 포함되는 각 구성 요소(410-440)는 도 12에 도시한 일 실시예로 한정되지 않으며, 다른 형태로 다양하게 변형될 수 있다.
시프트 레지스터(410)는 수평 동기 신호(Hysnc)에 응답하여 래치 회로(420)에 포함되는 복수의 샘플링 회로들 각각의 동작 타이밍을 제어할 수 있다. 수평 동기 신호(Hsync)는 소정의 주기를 갖는 신호일 수 있다. 래치 회로(420)는 시프트 레지스터(410)의 시프트 순서에 따라 출력 데이터를 샘플링하고 저장할 수 있다. 출력 데이터는 디스플레이 패널에 표시하고자 하는 출력 이미지의 하나의 행 또는 열에 대응하는 데이터일 수 있다. 래치 회로(420)는 출력 데이터를 디지털-아날로그 컨버터(430)로 출력할 수 있다.
디지털-아날로그 컨버터(430)는 디지털 영상 데이터를 소스 전압으로 변환할 수 있다. 일 실시예에서, 디지털-아날로그 컨버터(430)가 생성하는 소스 전압은, 버퍼 회로(440)를 거쳐 복수의 소스 라인들(SL)로 출력될 수 있다. 복수의 소스 라인들(SL)로 출력된 소스 전압은, 게이트 드라이버가 스캔한 게이트 라인에 연결된 픽셀에 입력될 수 있다.
본 발명의 일 실시예에 따른 디스플레이 드라이버는, 디스플레이 패널에 표시하고자 하는 화면에 대응하는 원본 이미지를 그대로 받아서 표시하는 것이 아니라, 원본 이미지를 왜곡시켜 출력 이미지를 생성한 후, 이를 디스플레이 패널에 표시할 수 있다. 일 실시예에서, 본 발명의 일 실시예에 따른 디스플레이 드라이버는, 원본 이미지를 프레임 단위로 저장하는 프레임 메모리 없이, 온-더-플라이 방식으로 원본 이미지로부터 출력 이미지를 생성하여 소스 드라이버(400)에 전달할 수 있다. 따라서, 원본 이미지를 왜곡시켜 출력 이미지를 생성하기 위한 연산 시간을 확보하기 위한 방법이 필요할 수 있다. 이하, 도 13 및 도 14를 참조하여 설명하기로 한다.
도 13 및 도 14는 본 발명의 일 실시예에 따른 디스플레이 드라이버의 동작을 설명하기 위해 제공되는 도면들이다.
우선 도 13은 본 발명의 일 실시예에 따른 디스플레이 드라이버의 동작을 설명하기 위해 제공되는 타이밍 다이어그램일 수 있다. 도 13을 참조하면, 수직 동기 신호(Vsync)의 한 주기 동안 디스플레이 패널에 포함되는 복수의 게이트 라인들이 순차적으로 스캔될 수 있다. 복수의 게이트 라인들 각각이 스캔되는 시간은 수평 동기 신호(Hsync)로 정의될 수 있다.
도 13에 도시한 일 실시예에서 수평 동기 신호(Hsync)의 한 주기 내에서 입력 인에이블 신호(IE)가 활성화되는 동안, 디스플레이 드라이버는 인터페이스부를 통해 입력 이미지의 적어도 일부에 대응하는 입력 데이터를 수신할 수 있다. 일 실시예에서, 수평 동기 신호(Hsync)의 한 주기 내에서 입력 인에이블 신호(IE)가 활성화되는 동안, 디스플레이 드라이버는 입력 이미지의 하나의 라인에 대응하는 이미지 데이터를 수신할 수 있다. 디스플레이 드라이버가 수신하는 입력 이미지는 이미지 데이터(Image Data)만을 포함할 수 있다.
한편, 디스플레이 드라이버는 출력 인에이블 신호(OE)가 활성화되는 동안 디스플레이 패널로 데이터를 출력할 수 있다. 도 13을 참조하면, 출력 인에이블 신호(OE)의 상승 엣지(rising edge)와 입력 인에이블 신호(IE)의 상승 엣지는 소정의 지연 시간(TD)만큼 차이가 날 수 있다. 지연 시간(TD)은 디스플레이 드라이버가 온-더-플라이 방식으로 입력 데이터에 포함된 픽셀들의 원본 좌표를 이용하여 수정 좌표를 생성하는 데에 필요한 시간일 수 있다.
디스플레이 드라이버에 포함되는 좌표 수정부는, 지연 시간(TD) 동안 입력 데이터에 포함된 픽셀들 중 적어도 일부의 원본 좌표를 수정 좌표로 변환할 수 있다. 디스플레이 드라이버에 포함되는 이미지 생성부는, 좌표 수정부가 생성한 수정 좌표를 이용하여 입력 데이터를 왜곡시킴으로써 출력 데이터를 생성할 수 있다. 일 실시예에서, 입력 데이터가 왜곡되어 생성된 출력 데이터는, 순차적으로 출력되는 제1 내지 제3 출력 데이터들을 포함할 수 있다.
일례로, 제1 및 제3 출력 데이터는 블랙 데이터(Black Data)일 수 있으며, 제2 출력 데이터는 이미지 데이터(Image Data)일 수 있다. 이미지 데이터(Image Data)의 전후에 출력되는 블랙 데이터(Black Data)에 의해, 수직 동기 신호(Vsync)의 한 주기 동안 출력되는 한 프레임의 화면은, 입력 이미지에 포함된 실제 이미지 데이터(Image Data)가 왜곡되어 표시되는 제1 영역과, 제1 영역을 둘러싸며 검은색으로 표시되는 제2 영역을 포함할 수 있다. 이때, 블랙 데이터(Black Data)의 크기에 따라서 디스플레이 드라이버의 버퍼에서 실제로 사용되는 라인 메모리들의 개수가 결정될 수 있다.
도 14를 참조하면, 입력 이미지(500)를 왜곡시키는 정도에 따라 출력 이미지들(510, 520)에서 나타나는 제1 영역과 제2 영역의 크기가 달라질 수 있다. 제1 출력 이미지(510)는 제2 출력 이미지(520)보다 더 작은 크기의 제2 영역을 가질 수 있다. 본 발명의 일 실시예에 따른 디스플레이 드라이버는, 가상 현실 장치에 마련된 렌즈의 특성을 고려하여, 입력 이미지(500)를 왜곡시키는 정도를 다르게 함으로써 제1 출력 이미지(510) 또는 제2 출력 이미지(520)를 생성할 수 있다.
도 14를 참조하면, 제2 출력 이미지(520)는 제1 출력 이미지(510)보다 더 큰 제2 영역을 포함할 수 있다. 따라서, 제2 출력 이미지(520)를 이용하여 가상 현실 서비스를 제공하는 가상 현실 장치의 렌즈에서, 더 큰 방사 왜곡 및/또는 색수차가 발생하는 것으로 이해될 수 있다.
입력 이미지(500)를 왜곡시켜 제2 출력 이미지(520)를 생성하는 디스플레이 드라이버는, 제1 출력 이미지(510)를 생성할 때 보다 더 많은 개수의 라인 메모리에 입력 이미지(500)를 저장할 수 있다. 일례로, 디스플레이 드라이버는 제1 출력 이미지(510)를 생성할 때 n1 개의 라인 메모리를 이용하여 입력 이미지(500)의 일부를 저장하는 반면, 제2 출력 이미지(520)를 생성할 때에는 n1 개보다 많은 n2 개의 라인 메모리를 이용하여 입력 이미지(500)의 일부를 저장할 수 있다.
도 15 및 도 16은 본 발명의 일 실시예에 따른 디스플레이 드라이버의 동작을 설명하기 위해 제공되는 도면들이다.
먼저 도 15를 참조하면, 본 발명의 일 실시예에서 애플리케이션 프로세서(610)는, 원본 이미지(600)를 편집하여 수정 이미지(620)를 생성할 수 있다. 수정 이미지(620)는 원본 이미지(600)가 실제로 표시되는 활성 영역(621) 및 검은색으로 표시되는 비활성 영역(622)을 포함할 수 있다. 일 실시예에서, 애플리케이션 프로세서는 원본 이미지(600)의 해상도 및 크기를 낮춰서 활성 영역(621)을 만들고, 활성 영역(621) 주변에 비활성 영역을 형성함으로써 수정 이미지(620)를 생성할 수 있다. 일례로, 수정 이미지(620)의 크기는, 가상 현실 장치의 렌즈를 통해 최종적으로 출력되는 VR 화면의 좌측 또는 우측 화면과 같은 크기를 가질 수 있다.
일 실시예에서, 애플리케이션 프로세서(610)는 수정 이미지(620)를 생성한 후, 활성 영역(621)만을 입력 이미지(630)로서 디스플레이 드라이버(640)에 전송할 수 있다. 따라서, 원본 이미지(600)를 그대로 디스플레이 드라이버(640)에 전송하거나, 원본 이미지(600)의 해상도와 크기만을 낮추고 수정 이미지(620)를 생성하는 과정 없이 디스플레이 드라이버(640)에 전송하는 경우에 비해, 애플리케이션 프로세서(610)와 디스플레이 드라이버(640) 사이의 전송 속도를 높이고, 소모 전력을 낮출 수 있다.
디스플레이 드라이버(640)는 입력 이미지(630)를 이용하여 가상 현실 서비스를 제공하기 위한 출력 이미지(650)를 생성할 수 있다. 출력 이미지(650)는 가상 현실 장치를 착용한 사용자의 왼쪽 눈에 보여지는 좌안 출력 이미지(650L)와, 사용자의 오른쪽 눈에 보여지는 우안 출력 이미지(650R)를 포함할 수 있다. 좌안 출력 이미지(650L)와 우안 출력 이미지(650R) 각각은 실제로 이미지가 표시되는 제1 영역(651L, 651R)과, 제1 영역(651L, 651R)을 둘러싸며 검은색으로 표시되는 제2 영역(652L, 652R)을 포함할 수 있다.
앞서 설명한 바와 같이, 디스플레이 드라이버(640)는 입력 이미지(630)를 의도적으로 왜곡시켜서 출력 이미지(650)를 생성할 수 있다. 디스플레이 드라이버(640)는 입력 이미지(630)에 포함된 픽셀들의 좌표를 극좌표로 변환하고, 극좌표의 반경(radius) 값을 변경할 수 있다. 상기와 같은 픽셀의 좌표 조절 과정을 통해, 출력 이미지(650)가 통과하는 렌즈에 의해 발생하는 방사 왜곡과 색수차가 보상될 수 있다.
본 발명의 일 실시예에서, 디스플레이 드라이버(640)는 입력 이미지(630)의 이전 프레임에 대한 이미지 프로세스 결과를 참조하여 현재 프레임에 대한 이미지 프로세스를 조정할 수 있다. 일례로, 디스플레이 드라이버(640)는 입력 이미지(630)를 의도적으로 왜곡시키는 이미지 프로세스의 연산량을 줄이고 소모 전력을 낮추기 위해, 이전 프레임에 대한 이미지 프로세스 결과를 참조하여 좌표 조절이 필요없는 픽셀들을 찾을 수 있다. 이하, 도 16을 참조하여 설명하기로 한다.
도 16을 참조하면, 제1 좌표들(710)은 디스플레이 드라이버(640)가 수신하는 입력 이미지(630)에 포함되는 픽셀들의 좌표일 수 있으며, 제2 좌표들(720)은 디스플레이 드라이버(640)가 출력하는 출력 이미지(650)에 포함되는 픽셀들의 좌표일 수 있다. 도 16에 도시한 일 실시예에서는, 가상 현실 장치의 렌즈에서 핀쿠션 왜곡이 발생할 것을 예측하여, 디스플레이 드라이버(640)가 입력 이미지(630)의 제1 좌표들(710)을 배럴 왜곡시켜 제2 좌표들(720)을 생성하고, 제2 좌표들(720)에 기초하여 출력 이미지(650)가 생성될 수 있다. 디스플레이 드라이버(640)는 입력 이미지(630)의 중심(C)을 기준으로 제1 좌표들(710)을 극좌표로 표현한 후, 제1 좌표들(710) 각각의 반경 값을 조절하여 제2 좌표들(720)을 생성할 수 있다.
도 16을 참조하면, 입력 이미지(630)의 중심(C)에 가까운 일부 픽셀들의 경우, 제1 좌표들(710)과 제2 좌표들(720)이 같은 값을 가질 수도 있다. 디스플레이 드라이버(640)가 입력 이미지(630)를 배럴 왜곡시킨 후, 출력 이미지(650)와 입력 이미지(630)의 좌표를 비교함으로써, 제1 좌표들(710)과 제2 좌표들(720)이 같은 값을 갖는 픽셀들을 판별할 수 있다. 일 실시예에서, 디스플레이 드라이버(640)는 제1 좌표들(710)과 제2 좌표들(720)이 같은 값을 갖는 픽셀들이 포함되는 영역을 중첩(overlap) 영역으로 정의할 수 있다.
입력 이미지(630)의 특정 프레임에서 중첩 영역이 정의되면, 디스플레이 드라이버(640)는 이후 프레임들에 대해서는 중첩 영역을 제외한 나머지 영역에 포함되는 픽셀들에 대해서만 이미지 프로세스를 진행할 수 있다. 일 실시예에서, 디스플레이 드라이버(640)는 상기 나머지 영역에 포함되는 픽셀들에 대해서만 극좌표의 반경 값을 조절하고, 극좌표를 다시 직교 좌표로 변환한 후 소수점을 없애기 위한 보간(interpolation) 절차를 진행할 수 있다. 따라서, 디스플레이 드라이버(640)가 이미지 프로세스를 진행할 때 처리해야 하는 연산량을 줄일 수 있으며, 결과적으로 디스플레이 드라이버(640)의 소모 전력 증가를 최소화할 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 본 발명의 기본적인 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
10. 20, 30, 40, 50, 60: 가상 현실 장치
70: 디스플레이 장치
80, 100: 디스플레이 드라이버
81, 110: 인터페이스부
82, 120: 좌표 수정부
83, 130: 이미지 생성부
201, 301: 입력 이미지
202, 302: 출력 이미지
203, 303: VR 화면

Claims (10)

  1. 애플리케이션 프로세서 및 그래픽 처리 유닛 중 적어도 하나로부터, 사용자에게 가상 현실(Virtual Reality, VR) 서비스를 제공하기 위한 입력 이미지를 수신하는 인터페이스부;
    상기 입력 이미지에 포함되는 픽셀들의 입력 좌표를 조절하여 수정 좌표를 생성하는 좌표 수정부; 및
    상기 수정 좌표를 이용하여 상기 입력 이미지를 왜곡시켜 출력 이미지를 생성하는 이미지 생성부; 를 포함하며
    상기 좌표 수정부는,
    상기 입력 좌표에 대응하는 제1 직교 좌표를, 상기 입력 이미지의 중심을 원점으로 극좌표 변환하여 제1 극좌표를 생성하고,
    상기 제1 극좌표를 조절하여 제2 극좌표를 생성하며,
    상기 제2 극좌표를 직교 좌표 변환하여 제2 직교 좌표를 생성하고,
    상기 제2 직교 좌표를 이용하여 상기 수정 좌표를 생성하는 디스플레이 드라이버.
  2. 제1항에 있어서,
    상기 이미지 생성부는, 상기 입력 이미지의 적어도 일부를 저장하는 버퍼를 포함하며,
    상기 수정 좌표를 이용하여 상기 버퍼에 저장된 상기 입력 이미지의 적어도 일부를 왜곡시키는 디스플레이 드라이버.
  3. 제1항에 있어서,
    상기 입력 이미지의 각 색상의 채널들의 데이터가 픽셀들 각각에서 분리되어 표시되도록 상기 입력 이미지를 왜곡하는 디스플레이 드라이버.
  4. 제1항에 있어서,
    상기 좌표 수정부는, 상기 제1 극좌표의 반경(radius) 값만을 조절하여 상기 제2 극좌표를 생성하는 디스플레이 드라이버.
  5. 제1항에 있어서,
    상기 좌표 수정부는, 상기 입력 이미지의 적색 채널에 대응하는 상기 제1 극좌표의 반경 값을 감소시키고, 상기 입력 이미지의 청색 채널에 대응하는 상기 제1 극좌표의 반경 값을 증가시키는 디스플레이 드라이버.
  6. 제1항에 있어서,
    상기 좌표 수정부는, 상기 입력 이미지가 배럴 왜곡(barrel distortion)되도록 상기 제1 극좌표를 조절하여 상기 제2 극좌표를 생성하는 디스플레이 드라이버.
  7. 제1항에 있어서,
    상기 좌표 수정부는, 상기 제2 직교 좌표를 보간하여 정수로만 이루어진 상기 수정 좌표를 생성하는 디스플레이 드라이버.
  8. 제1항에 있어서,
    상기 좌표 수정부는, 상기 출력 이미지가 통과하는 렌즈의 곡률, 및 상기 렌즈의 초점 거리 중 적어도 하나에 기초하여 상기 수정 좌표를 생성하는 디스플레이 드라이버.
  9. 제1 동기 신호에 응답하여, 사용자에게 가상 현실 서비스를 제공하기 위한 입력 이미지를 수신하는 인터페이스부;
    상기 제1 동기 신호와 같은 주기를 가지며, 상기 제1 동기 신호보다 소정의 지연 시간만큼 지연되는 제2 동기 신호에 응답하여, 상기 입력 이미지로부터 생성된 출력 이미지를 디스플레이 패널에 입력하는 소스 드라이버; 및
    상기 지연 시간 동안 상기 입력 이미지를 왜곡시켜 상기 출력 이미지를 생성하며, 상기 출력 이미지는 상기 입력 이미지가 왜곡되어 표시되는 제1 영역 및 상기 제1 영역을 둘러싸는 제2 영역을 포함하고, 상기 제2 영역은 검은색으로 표시되는 이미지 생성부; 를 포함하는 디스플레이 드라이버.
  10. 가상 현실 서비스를 제공하기 위한 입력 이미지를 생성하는 애플리케이션 프로세서;
    상기 가상 현실 서비스를 이용하는 사용자의 눈에 인접하여 배치되는 렌즈;
    상기 입력 이미지에 포함되는 픽셀들의 입력 좌표에 대응하는 제1 직교 좌표를 극좌표로 변환하고, 상기 극좌표를 제2 직교 좌표로 변환하여 수정 좌표를 생성하며, 상기 수정 좌표를 이용하여 출력 이미지를 생성하는 디스플레이 드라이버; 및
    상기 디스플레이 드라이버로부터 상기 출력 이미지를 입력받아 출력하는 디스플레이 패널을 갖는 디스플레이 장치; 를 포함하는 모바일 전자 기기.
KR1020170155545A 2017-11-21 2017-11-21 디스플레이 드라이버 및 모바일 전자 기기 KR102473840B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170155545A KR102473840B1 (ko) 2017-11-21 2017-11-21 디스플레이 드라이버 및 모바일 전자 기기
US15/968,963 US10580118B2 (en) 2017-11-21 2018-05-02 Display driver and mobile electronic device
CN201811323661.2A CN109817139B (zh) 2017-11-21 2018-11-08 显示驱动器和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155545A KR102473840B1 (ko) 2017-11-21 2017-11-21 디스플레이 드라이버 및 모바일 전자 기기

Publications (2)

Publication Number Publication Date
KR20190057991A KR20190057991A (ko) 2019-05-29
KR102473840B1 true KR102473840B1 (ko) 2022-12-05

Family

ID=66533134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155545A KR102473840B1 (ko) 2017-11-21 2017-11-21 디스플레이 드라이버 및 모바일 전자 기기

Country Status (3)

Country Link
US (1) US10580118B2 (ko)
KR (1) KR102473840B1 (ko)
CN (1) CN109817139B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535319B2 (en) * 2018-02-23 2020-01-14 Facebook Technologies, Llc Apparatus, systems, and methods for displaying images in rotated display regions of display screens
KR102558106B1 (ko) * 2018-05-30 2023-07-21 엘지디스플레이 주식회사 디스플레이 패널, 디스플레이 장치 및 가상 현실/증강 현실 장치
CN111199518B (zh) * 2018-11-16 2024-03-26 深圳市中兴微电子技术有限公司 Vr设备的图像呈现方法、装置、设备和计算机存储介质
JP7377014B2 (ja) * 2019-07-10 2023-11-09 株式会社ソニー・インタラクティブエンタテインメント 画像表示装置、画像表示システムおよび画像表示方法
CN111314687B (zh) * 2019-11-28 2021-06-25 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
KR20220105207A (ko) * 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 구동 방법
WO2022163213A1 (ja) * 2021-02-01 2022-08-04 株式会社ジャパンディスプレイ 表示システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051734A (en) * 1990-01-11 1991-09-24 The Grass Valley Group, Inc. Special effects using polar image coordinates
US5369450A (en) * 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
JP4274383B2 (ja) * 2002-09-12 2009-06-03 パナソニック株式会社 画像処理装置
KR100571219B1 (ko) * 2003-01-08 2006-04-13 엘지전자 주식회사 3차원 가상 스크린 기반 영상왜곡 보정장치
GB0315116D0 (en) * 2003-06-27 2003-07-30 Seos Ltd Image display apparatus for displaying composite images
JP4772281B2 (ja) * 2003-07-28 2011-09-14 オリンパス株式会社 画像処理装置及び画像処理方法
JP4334932B2 (ja) * 2003-07-28 2009-09-30 オリンパス株式会社 画像処理装置及び画像処理方法
US7813585B2 (en) * 2003-07-28 2010-10-12 Olympus Corporation Image processing apparatus, image processing method, and distortion correcting method
KR100744937B1 (ko) 2006-06-29 2007-08-01 삼성전기주식회사 렌즈 왜곡 보정 방법
KR101078928B1 (ko) 2008-04-02 2011-11-01 에스케이플래닛 주식회사 광학 수차 보정이 가능한 입체 영상 디스플레이 장치 및 그장치에서의 영상 신호 디스플레이 방법
KR20100001608A (ko) 2008-06-27 2010-01-06 엘지전자 주식회사 렌즈 왜곡 보정 장치 및 방법
KR101635101B1 (ko) 2009-11-19 2016-06-30 삼성전자주식회사 렌즈 왜곡과 색수차를 보정하는 장치 및 방법
KR101626447B1 (ko) 2009-12-29 2016-06-01 삼성전자주식회사 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체
KR101090097B1 (ko) 2010-04-08 2011-12-07 한국과학기술원 렌즈 식별번호를 이용한 렌즈 왜곡 보정 장치, 이를 포함하는 카메라 및 렌즈 왜곡 보정 방법
US8322863B1 (en) * 2010-06-18 2012-12-04 Samuel Seungmin Cho Apparatus and method for automated visual distortion adjustments for a portable projection device
US10438331B2 (en) 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
EP3292542A1 (en) 2015-05-04 2018-03-14 Google LLC Pass-through display of captured imagery
KR20170033462A (ko) * 2015-09-16 2017-03-27 삼성디스플레이 주식회사 전자 기기 및 헤드 마운트 디스플레이 장치의 영상 표시 방법
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
US9965899B2 (en) * 2016-04-28 2018-05-08 Verizon Patent And Licensing Inc. Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration
JP6644641B2 (ja) * 2016-05-31 2020-02-12 オリンパス株式会社 撮像装置、制御方法、及びプログラム
US10095461B2 (en) * 2016-09-23 2018-10-09 Intel IP Corporation Outside-facing display for head-mounted displays
US10043318B2 (en) * 2016-12-09 2018-08-07 Qualcomm Incorporated Display synchronized image warping

Also Published As

Publication number Publication date
CN109817139B (zh) 2023-07-18
KR20190057991A (ko) 2019-05-29
CN109817139A (zh) 2019-05-28
US10580118B2 (en) 2020-03-03
US20190156466A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
KR102473840B1 (ko) 디스플레이 드라이버 및 모바일 전자 기기
US10356375B2 (en) Display device, image processing device and image processing method, and computer program
JP7415931B2 (ja) 画像周辺領域内のリアルタイム圧縮による画像表示制御
US11823360B2 (en) Virtual, augmented, and mixed reality systems and methods
CN109074234B (zh) 混合显示器全局命令接口、对应方法、装置和头戴显示系统
US20200014904A1 (en) Display processing circuitry
JP5907250B2 (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JPH10327373A (ja) 接眼映像表示装置
JP2013192193A (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP2008544306A (ja) ホログラムを合成するための信号処理システム
JP2022543729A (ja) フォービエイテッドレンダリングのためのシステムおよび方法
US11126001B2 (en) Image generating apparatus, head-mounted display, content processing system and image displaying method
JP2008258802A (ja) 画像表示システム
US20160255325A1 (en) Display processing system, display processing method, and electronic device
US10395349B1 (en) Display system with tunable lens distortion compensation
US11106042B2 (en) Image processing apparatus, head-mounted display, and image displaying method
JP7365184B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
WO2022054118A1 (ja) 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法
JPH09102968A (ja) 立体画像表示装置
JP2020167657A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP2020167660A (ja) 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
JP2016009978A (ja) 表示装置
Eo et al. P‐192L: Late‐News Poster: A Novel Architecture and Algorithm for Real‐time Correction of Pincushion Distortion in Microdisplay Systems
CN102883169B (zh) 被动式立体影像系统及其影像处理方法
US20220157272A1 (en) Virtual Reality Display Device, Host Device, System and Data Processing Method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant