KR20240045897A - 이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템 - Google Patents
이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템 Download PDFInfo
- Publication number
- KR20240045897A KR20240045897A KR1020220125815A KR20220125815A KR20240045897A KR 20240045897 A KR20240045897 A KR 20240045897A KR 1020220125815 A KR1020220125815 A KR 1020220125815A KR 20220125815 A KR20220125815 A KR 20220125815A KR 20240045897 A KR20240045897 A KR 20240045897A
- Authority
- KR
- South Korea
- Prior art keywords
- rcd
- map
- image data
- area
- pixel
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000006872 improvement Effects 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000002156 mixing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 5
- 239000003623 enhancer Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000006992 Color Vision Defects Diseases 0.000 description 1
- 101100226347 Escherichia phage lambda exo gene Proteins 0.000 description 1
- 201000005569 Gout Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- OFHCOWSQAMBJIW-AVJTYSNKSA-N alfacalcidol Chemical compound C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C\C=C1\C[C@@H](O)C[C@H](O)C1=C OFHCOWSQAMBJIW-AVJTYSNKSA-N 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0232—Special driving of display border areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0233—Improving the luminance or brightness uniformity across the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0242—Compensation of deficiencies in the appearance of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Abstract
이미지 처리 장치, 이미지 처리 장치의 동작 방법 및 이미지 처리 장치를 포함하는 디스플레이 시스템이 개시된다. 본 개시의 실시 예에 따른 디스플레이 구동 집적 회로에 이미지 데이터를 제공하는 이미지 처리 장치는, 수신되는 제1 이미지 데이터에 대하여 화질 개선 처리를 수행하여 디스플레이 패널의 한 프레임에 대응하는 복수의 픽셀 값들을 포함하는 사각형 형태의 제2 이미지 데이터를 생성하는 화질 개선부; 메모리로부터, 상기 디스플레이 패널의 둥근 모서리 영역에 대응하는 상기 제2 이미지 데이터의 제1 영역에 대한 밝기를 조정하기 위한 복수의 픽셀 조정 값들을 포함하는 RCD (Round Corner Display) 맵을 독출하고, 상기 RCD 맵을 출력하는 RCD 맵 디코더; 상기 제2 이미지 데이터에 상기 RCD 맵을 적용하여 상기 제1 영역의 밝기가 조정된 제3 이미지 데이터를 생성하는 RCD 처리 회로; 및 상기 제3 이미지 데이터를 상기 디스플레이 패널 구동 집적 회로로 출력하는 송신 회로를 포함할 수 있다.
Description
본 개시의 기술적 사상은 반도체 장치에 관한 것으로서, 특히 디스플레이 패널을 구동하는 디스플레이 구동 집적 회로에 이미지 데이터를 제공하는 이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템에 관한 것이다.
컴퓨터, 태블릿 PC, 스마트폰 및 웨어러블 전자 장치 등 이미지 표시 기능을 갖는 전자 장치는 디스플레이 시스템을 포함한다. 디스플레이 시스템은 디스플레이 패널, 디스플레이 구동 집적 회로(또는 디스플레이 드라이버, DDI) 및 애플리케이션 프로세서와 같은 이미지 처리 장치를 포함한다. 디스플레이 패널은 복수의 픽셀들을 포함하며, 액정 디스플레이 (Liquid Crystal Display, LCD), OLED(Organic Light Emitting Diode) 등의 평판 디스플레이 또는 플렉서블 디스플레이로 구현될 수 있다. 디스플레이 시스템이 적용되는 전자 장치가 다양화 됨에 따라, 디스플레이 패널의 형상이 다양화되고 있으며, 둥근 모서리를 갖거나 또는 전면 카메라를 위한 핀 홀 영역을 포함하는 디스플레이 패널이 이용되고 있다. 디스플레이 패널에 표시될 이미지 데이터에 대하여 둥근 모서리나 핀 홀 영역 또는 핀 홀 주변 영역의 곡선의 자연스러운 표현을 위한 RCD (round corner display) 처리가 수행될 수 있다.
본 개시의 기술적 사상이 이루고자 하는 기술적 과제는, 디스플레이 패널의 곡선 영역을 자연스럽 표현할 수 있는 이미지 데이터를 생성하는 이미지 처리장치, 이미지 처리 장치의 동작 방법 및 이미지 처리 장치를 포함하는 디스플레이 시스템을 제공하는 데 있다.
상기 기술적 과제를 달성하기 위한 본 개시의 실시 예에 따른 디스플레이 구동 집적 회로에 이미지 데이터를 제공하는 이미지 처리 장치는, 수신되는 제1 이미지 데이터에 대하여 화질 개선 처리를 수행하여 디스플레이 패널의 한 프레임에 대응하는 복수의 픽셀 값들을 포함하는 사각형 형태의 제2 이미지 데이터를 생성하는 화질 개선부; 메모리로부터, 상기 디스플레이 패널의 둥근 모서리 영역에 대응하는 상기 제2 이미지 데이터의 제1 영역에 대한 밝기를 조정하기 위한 복수의 픽셀 조정 값들을 포함하는 RCD (Round Corner Display) 맵을 독출하고, 상기 RCD 맵을 출력하는 RCD 맵 디코더; 상기 제2 이미지 데이터에 상기 RCD 맵을 적용하여 상기 제1 영역의 밝기가 조정된 제3 이미지 데이터를 생성하는 RCD 처리 회로; 및 상기 제3 이미지 데이터를 상기 디스플레이 패널 구동 집적 회로로 출력하는 송신 회로를 포함할 수 있다.
본 개시의 실시 예에 따른 이미지 처리 장치의 동작 방법은, 수신되는 제1 이미지 데이터에 대하여 화질 개선 처리를 수행하여 디스플레이 패널의 한 프레임에 대응하는 복수의 픽셀 값들을 포함하는 제2 이미지 데이터를 생성하는 단계; RCD 맵 디코더가 외부 메모리로부터 상기 디스플레이 패널의 둥근 모서리에 대응하는 상기 제2 이미지 데이터의 제1 영역에 대한 밝기를 조정하기 위한 복수의 픽셀 조정 값들을 포함하는 RCD (Round Corner Display) 맵을 독출하는 단계; RCD 처리 회로가 상기 제2 이미지 데이터의 상기 제1 영역의 밝기가 조정된 제3 이미지 데이터를 생성하도록 상기 RCD 맵을 기초로 상기 제2 이미지 데이터에 RCD 처리를 수행하는 단계; 및 상기 제3 이미지 데이터를 상기 디스플레이 패널 구동 집적 회로로 전송하는 단계를 포함할 수 있다.
본 개시의 실시 예에 따른 디스플레이 시스템은, 적어도 하나의 둥근 모서리를 갖는 디스플레이 패널, 상기 디스플레이 패널을 구동하는 디스플레이 구동 집적 회로; 및 상기 디스플레이 패널에 표시될 제1 이미지 데이터에 대하여 복수의 픽셀 각각에 대응하는 픽셀 조정 값들을 포함하는 RCD 맵을 기초로 RCD 처리를 수행하여 상기 제1 이미지 데이터의 상기 디스플레이 패널의 둥근 모서리에 대응하는 제1 영역에 대한 밝기가 조정된 제2 이미지 데이터를 생성하고, 상기 제2 이미지 데이터를 상기 디스플레이 구동 집적 회로에 제공하는 애플리케이션 프로세서를 포함할 수 있다.
본 개시의 기술적 사상에 따른 이미지 처리 장치, 이미지 처리 장치의 동작 방법 및 이미지 처리 장치를 포함하는 디스플레이 시스템에 따르면, 이미지 처리 장치가 이미지 데이터에 대하여 RCD 처리를 수행함으로써, 디스플레이 시스템의 소비 전력 및 회로 면적을 줄일 수 있다. 또한, RCD 처리에 이용되는 RCD 맵을 압축하여, 메모리에 저장하고, RCD 맵을 압축 해제하여 이용함으로써, 메모리에서 RCD 맵을 저장하기 위해 필요한 저장 영역의 사이즈가 감소될 수 있다. 또한, RCD 맵에 대한 다양한 처리가 가능하여 RCD 처리의 성능이 향상될 수 있다.
본 개시의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 일 실시예에 따른 디스플레이 시스템을 나타내는 블록도이다.
도 2는 둥근 모서리를 갖는 디스플레이 패널을 나타낸다.
도 3a, 도 3b, 도3 c 및 도 3d는 본 개시의 예시적 실시 예에 따른 RCD 맵을 나타낸다.
도 4는 본 개시의 예시적 실시예에 따른 RCD 맵의 각 영역에 대한 알파 값들을 나타내는 테이블이다.
도 5a 및 도 5b는 본 개시의 예시적 실시 예들에 따른 이미지 처리 장치의 구현 예들을 나타낸다.
도 6은 본 개시의 예시적 실시 예에 따른 디스플레이 구동 집적 회로를 나타내는 블록도이다.
도 7은 본 개시의 예시적 실시 예에 따른 RCD 맵의 압축 모드를 나타내는 테이블이다.
도 8은 본 개시의 예시적 실시예에 따른 RCD 맵의 각 영역에 대한 알파 값들을 예시적으로 나타낸다.
도 9는 본 개시의 예시적 실시예에 따른 RCD 맵의 압축 스트림을 예시적으로 나타낸다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 처리 장치에서 RCD 프로세서에 수신되는 이미지 데이터의 복수의 픽셀 값들 및 RCD 맵의 복수의 알파 값들을 나타낸다.
도 11은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서(AP)를 개략적으로 나타내는 블록도이다.
도 12a 및 도 12b는 도11의 메모리 컨트롤러의 구현 예들을 나타내는 블록도이다.
도 13은 디스플레이 패널의 관심 영역을 나타낸다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 15는 본 개시의 예시적 실시예에 따른 이미지 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 16은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서를 나타내는 블록도이다.
도 1은 본 개시의 일 실시예에 따른 디스플레이 시스템을 나타내는 블록도이다.
도 2는 둥근 모서리를 갖는 디스플레이 패널을 나타낸다.
도 3a, 도 3b, 도3 c 및 도 3d는 본 개시의 예시적 실시 예에 따른 RCD 맵을 나타낸다.
도 4는 본 개시의 예시적 실시예에 따른 RCD 맵의 각 영역에 대한 알파 값들을 나타내는 테이블이다.
도 5a 및 도 5b는 본 개시의 예시적 실시 예들에 따른 이미지 처리 장치의 구현 예들을 나타낸다.
도 6은 본 개시의 예시적 실시 예에 따른 디스플레이 구동 집적 회로를 나타내는 블록도이다.
도 7은 본 개시의 예시적 실시 예에 따른 RCD 맵의 압축 모드를 나타내는 테이블이다.
도 8은 본 개시의 예시적 실시예에 따른 RCD 맵의 각 영역에 대한 알파 값들을 예시적으로 나타낸다.
도 9는 본 개시의 예시적 실시예에 따른 RCD 맵의 압축 스트림을 예시적으로 나타낸다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 처리 장치에서 RCD 프로세서에 수신되는 이미지 데이터의 복수의 픽셀 값들 및 RCD 맵의 복수의 알파 값들을 나타낸다.
도 11은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서(AP)를 개략적으로 나타내는 블록도이다.
도 12a 및 도 12b는 도11의 메모리 컨트롤러의 구현 예들을 나타내는 블록도이다.
도 13은 디스플레이 패널의 관심 영역을 나타낸다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 15는 본 개시의 예시적 실시예에 따른 이미지 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 16은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서를 나타내는 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다.
도 1은 본 개시의 일 실시예에 따른 디스플레이 시스템을 나타내는 블록도이다.
본 개시의 다양한 실시예에 따른 디스플레이 시스템(1000)은, 이미지 표시 기능이 포함된 전자 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 디스플레이 시스템(1000)은 이미지 표시 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 디스플레이 시스템(1000)은 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 디스플레이 시스템(1000)은 이미지 표시기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 개시의 다양한 실시예에 따른 디스플레이 시스템(1000)을 포함하는 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 디스플레이 시스템(1000)은 플렉서블 장치일 수 있다. 본 개시의 다양한 실시예에 따른 디스플레이 시스템(1000)이 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1을 참조하면, 디스플레이 시스템(1000)은 이미지 처리 장치(100), 메모리(200) 및 디스플레이 장치(300)를 포함하고, 디스플레이 장치(300)은 디스플레이 구동 집적 회로(310)(이하 DDI로 표시함), 및 디스플레이 패널(320)을 포함할 수 있다. 디스플레이 시스템(1000)은 다른 구성 요소(예컨대, 카메라 인터페이스, 외부 메모리 등)를 더 포함할 수 있다. 실시예에 따라, 디스플레이 시스템(1000)은 하나의 모듈(module), 하나의 시스템 온 칩(system on chip), 또는 하나의 패키지, 예컨대 멀티-칩 패키지(패키지(multi-chip package)로 구현될 수 있다.
이미지 처리 장치(100)는 디스플레이 시스템(1000)의 동작을 전반적으로 제어할 수 있으며, 구체적으로 디스플레이 장치(300)를 제어할 수 있다. 이미지 처리 장치(100)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(integrated circuit(IC)), 또는 SoC(system on chip) 등으로 구현될 수 있다. 이미지 처리 장치(100)는 애플리케이션 프로세서(application processor), 멀티 미디어 프로세서 (multimedia processor), 또는 집적된 멀티 미디어 프로세서(integrated multimedia processor) 등으로 호칭될 수 있다.
이미지 처리 장치(100)는 디스플레이 패널(320)에 표시될 이미지 처리된 이미지 데이터를 디스플레이 장치(300)에 제공할 수 있다. 디스플레이 패널(320)은 둥근 모서리를 갖거나, 또는 전면 카메라를 위한 핀 홀 영역을 포함할 수 있다. 이미지 처리 장치(100)는 디스플레이 패널(320)에 표시될 이미지 데이터에 대하여 둥근 모서리, 핀 홀 영역 또는 핀 홀의 주변의 곡선 영역의 자연스러운 표현을 위하여 RCD 맵을 기초로 RCD (round corner display) 처리를 수행할 수 있다. RCD 맵은 이미지 데이터의 복수의 픽셀 값들에 대응하는 복수의 픽셀 조정값들을 포함할 수 있다. RCD 처리된 이미지 데이터는 디스플레이 패널(320)의 둥근 모서리, 핀 홀 영역 또는 핀 홀의 주변의 곡선 영역의 밝기가 조정될 수 있다. RCD 처리된 이미지가 디스플레이 패널(320)에 표시되면 둥근 모서리나 핀 홀 영역 또는 핀 홀의 주변의 곡선 영역이 사용자에게 자연스럽게 보일 수있다.
이미지 처리 장치(100)는 RCD 맵 디코더(110), RCD 프로세서(120)(또는 RCD 프로세싱 회로라고 함) 및 적어도 하나의 이미지 처리 IP(Intellecture Property)(130)를 포함할 수 있다.
적어도 하나의 이미지 처리 IP(Intellecture Property)(130)는 복수의 레이어 데이터들을 블랜딩하여 한 프레임의 이미지 데이터를 생성하거나, 이미지 데이터에 대하여 화질 개선 알고리즘에 따른 이미지 처리를 수행할 수 있다.
RCD 맵 디코더(110)는 메모리(200), 예컨대 시스템 메모리로부터 RCD 맵을 독출하고, 독출된 RCD 맵을 RCD 프로세서(120)에 제공할 수있다. RCD 맵은 이미지 데이터의 복수의 픽셀에 대응하는 복수의 픽셀 조정 값을 포함할 수 있다. 예컨대 RCD 맵은 알파 맵으로 구현될 수있으며, 복수의 픽셀 조정 값은 복수의 픽셀 값들 각각에 대응하는 복수의 알파 값들일 수 있다. 이하, 픽셀 조정 값은 알파 값으로 지칭하기로 한다.
실시예에 있어서, RCD 맵은 픽셀 값 중 레드 서브 픽셀 값, 그린 서브 픽셀 값, 및 블루 서브 픽셀 값 각각에 대응하는 제1 알파 값, 제2 알파 값 및 제3 알파 값을 포함할 수 있다. 다시말해서, RCD 맵은 레드 채널, 블루 채널 및 그린 채널 각각에 대한 RCD 서브 맵을 포함할 수 있다.
실시예에 있어서, RCD 맵 디코더(110)는 RCD 맵에 대하여 플립(flip), 회전(rotation) 등의 변형 처리를 수행 할 수 있다. RCD 맵 디코더(110)는 RCD 맵 중 디스플레이 패널(320)의 적어도 하나의 관심 영역(ROI 영역)에 대응하는 영역의 알파 값들을 RCD 프로세서(120)에 제공할 수 있다.
실시예에 있어서, RCD 맵은 압축되어 메모리(200)에 저장되고, RCD 맵 디코더(110)는 압축된 RCD 맵의 압축 스트림을 독출하고, 압축 스트림을 압축 해제할 수 있다. RCD 디코더(110)는 압축 스트림을 디코딩하여 RCD 맵을 재구성하고, 재구성된 RCD 맵을 RCD 프로세서(120)에 제공할 수있다. RCD 맵이 압축되어 메모리(200)에 저장되므로, RCD 맵을 저장하기위한 메모리(200)의 저장 영역의 사이즈가 감소될수 있다.
실시예에 있어서, RCD 맵 디코더(110)는 내부 메모리를 포함할 수 있으며, 메모리(200)로부터 독출한 RCD 맵을 저장하고, 내부 메모리에 저장된 RCD 맵을 이용할 수있다. RCD 맵의 업데이트가 필요하지 않는 경우, 메모리(200)에서 RCD 맵의 독출이 최초의 한 번만 수행되므로, 메모리(200) 엑세스를 위한 메모리 대역폭(bandwidth)이 감소될 수 있다.
실시예에 있어서, RCD 맵 디코더(110)는 적어도 하나의 이미지 처리 IP(130)으로부터 이미지 데이터의 복수의 픽셀 값이 순차적으로 RCD 프로세서(120)로 출력되는 순서에 동기하여 대응하는 알파 값들을 순차적으로 RCD 프로세서(120)로 전송할 수 있다. 예컨대 이미지 데이터는 n행 및 m열로 배열된 복수의 픽셀 값들을 포함할 수 있으며, RCD 맵 또한 n행 및 m열로 배열되는 복수의 알파 값들을 포함할 수 있다. 적어도 하나의 이미지 처리 IP(130)으로부터 이미지 데이터의 복수의 픽셀 값이 행 단위로 순차적으로 RCD 맵 디코더(110)로 출력될 수 있으며, RCD 맵 디코더(110)는 적어도 하나의 이미지 처리 IP(130)로부터 제공되는 픽셀 동기화 신호를 기초로 복수의 픽셀 값들 각각에 대응하는 복수의 알파 값들을 행 단위로 순차적으로 RCD 맵 디코더(110)로 출력할 수 있다.
RCD 프로세서(120)는 적어도 하나의 이미지 처리 IP(130)로부터 이미지 데이터(예컨대 화질 향상 처리된 이미지 데이터)를 수신하고, RCD 맵 디코더(110)로부터 RCD 맵을 수신하고, 이미지 데이터에 RCD 맵을 적용하여, RCD 이미지 데이터를 생성할 수 있다. RCD 프로세서(120)는 이미지 데이터의 복수의 픽셀 값 각각에 RCD 맵의 복수의 알파 값들 중 대응하는 알파 값을 적용할 수 있다. RCD 이미지 데이터는 DDI(310)으로 전송될 수 있다.
실시예에 있어서, 적어도 하나의 이미지 처리 IP(130)로부터 이미지 데이터의 복수의 픽셀 값이 순차적으로 수신되고, RCD 맵 디코더(110)로부터 복수의 알파 값이 순차적으로 수신될 수 있다. RCD 프로세서(120)는 실시간으로 수신되는 픽셀 값에 알파 값을 적용할 수 있다. 다시 말해서 RCD 프로세서(120)는 실시간으로 이미지 데이터에 대하여 RCD 처리를 수행할 수 있다. 예컨대, RCD 프로세서(120)는 수신되는 한 행의 픽셀 값들 단위로 실시간으로 RCD 처리를 수행하고, RCD 이미지 데이터, 예컨대 RCD 처리된 한 행의 픽셀 값들을 DDI(310)로 전송할 수 있다.
실시예에 있어서, 이미지 처리 장치(100)는 압축기를 더 포함할 수 있으며, RCD 이미지 데이터를 압축하고, 압축된 RCD 이미지 데이터를 DDI(310)으로 출력할 수 있다.
메모리(200)는 디스플레이 시스템(1000)의 시스템 메모리일 수 있으며, DRAM, SRAM 등과 같은 휘발성 메모리, 또는 NAND 플래시, PRAM, FeRAM, RRMA, MRAM 과 같은 비휘발성 메모리를 포함할 수 있다. 메모리(200)는 RCD 맵을 저장할 수 있다. 메모리(200)는 압축된 RCD 맵을 저장할 수 있다. 메모리(200)는 또한 이미지 데이터 또는 이미지 데이터를 구성하는 복수의 레이어 데이터를 저장할 수 있다.
DDI(310)는 하나 또는 복수의 반도체 칩으로 구현될 수 있다. 실시예에 있어서, DDI(310) 및 디스플레이 패널(320)은 하나의 모듈로 구현될 수 있다. DDI(310)는 디스플레이 패널(320) 상에 탑재될 수 있다. 다른 실시예에 있어서, DDI(310)는 이미지 처리 장치(100)와 동일한 반도체 칩에 집적될 수 있다.
DDI(310)는 이미지 처리 장치(100)로부터 RCD 이미지 데이터를 수신하고, RCD 이미지 데이터에 대응하는 이미지를 디스플레이 패널(320)에 표시할수 있다. 실시예에 있어서, DDI(310)는 압축된 RCD 이미지 데이터를 수신할 수 있으며, 압축된 RCD 이미지 데이터를 압축해제 할 수 있다. 실시예에 있어서, DDI(310)는 이미지 처리 회로를 포함할 수 있으며, RCD 이미지 데이터에 대하여 이미지 처리를 수행하고, 이미지 처리된 RCD 이미지 데이터에 대응하는 이미지를 디스플레이 패널(320)에 표시할 수 있다. 예를들어, DDI(310)는 RCD 이미지 데이터에 대하여 디스플레이 패널(320)의 특성(예컨대 감마 특성, 휘조 특성)을 반영하는 이미지 처리를 수행할 수 있다.
디스플레이 패널(320)은 행 및 열로 배열되는 복수의 픽셀들을 포함하며, 프레임 단위로 이미지를 표시할 수 있다. 디스플레이 패널(320)은 DDI(310)로부터 RCD 이미지 데이터에 기초하여 생성되는 구동 신호들을 수신하고 구동 신호들에 기초하여 RCD 이미지 데이터에 대응하는 이미지를 표시할 수 있다. 디스플레이 패널(320)은 LCD(liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, ECD(Electrochromic Display), DMD(Digital Mirror Device), AMD(Actuated Mirror Device), GLV(Grating Light Value), PDP(Plasma Display Panel), ELD(Electro Luminescent Display), VFD(Vacuum Fluorescent Display) 중 하나로 구현될 수 있고, 그 밖에 다른 종류의 평판 디스플레이 또는 플렉서블 디스플레이로 구현될 수 있다.
전술한 바와 같이, 디스플레이 패널(320)은 둥근 모서리를 갖거나, 또는 전면 카메라를 위한 핀 홀 영역을 포함할 수 있다.
본 개시의 실시예에 따른 디스플레이 시스템(1000)은 이미지 처리 장치(100)가 이미지 데이터에 대하여 RCD 처리를 수행할 수 있다. 이미지 처리 장치(100)의 제조 공정은 DDI(310)의 제조 공정보다 세밀할 수 있다. DDI(310)가 RCD 처리를 수행하는 경우보다 본 개시의 실시예에 따른 디스플레이 시스템(1000)과 같이, 이미지 처리 장치(100)가 RCD 처리를 수행함에 따라, 디스플레이 시스템(1000)의 소비 전력 및 회로 면적이 감소될 수 있다. 또한, RCD 처리에 이용되는 RCD 맵이 압축되어 메모리에 저장되고, 이미지 처리 장치(100)가 RCD 맵을 압축 해제하여 RCD 처리에 이용함으로써, 메모리에서 RCD 맵을 저장하기 위해 필요한 저장 영역의 사이즈가 감소될 수 있다. 또한, 이미지 처리 장치(100)는 RCD 맵에 대한 다양한 처리가 가능하여 RCD 처리의 성능이 향상될 수 있다.
도 2는 둥근 모서리를 갖는 디스플레이 패널을 나타낸다.
도 2를 참조하면, 디스플레이 패널(320)은 둥근 모서리 영역(RC) 및/또는 핀 홀 영역(PH)을 포함할 수 있다.
둥근 모서리 영역(RC)은 픽셀 값에 따른 이미지 신호가 표시되는 노멀 표시 영역(DAR), 조정된 픽셀 값에 따른 이미지 신호가 표시되는 곡선 영역(CAR) 및 이미지 신호가 표시되지 않는 비표시 영역(NDAR)으로 구분될 수 있다. 비표시 영역(NDAR)은 예컨대 픽셀(PX)이 배치되지 않는 패널 컷팅 영역일 수 있다. 핀 홀 영역(PH) 또한, 비표시 영역(NDAR) 및 정상 표시 영역(DAR)으로 구분 되고, 비표시 영역(NDAR)과 정상 표시 영역(DAR) 사이에 곡선 영역(CAR)을 포함할 수 있다. 예컨대 비표시영역(NDAR), 다시 말해서 핀-홀에는 카메라(예컨대 전면 카메라)가 배치될 수있다. 실시예에 있어서, 디스플레이 패널(320)의 핀 홀 영역(PH) 아래에 카메라(예컨대 언더 디스플레이 카메라)가 위치할 수 있으며, 핀 홀 영역(PH)은 정상 표시 영역(DAR) 및 홀 안쪽의 곡선 영역(CAR)으로 구분될수 있다. 곡선 영역(CAR) 아래에 카메라가 배치되는데, 카메라가 인식되지 않도록 , 다시 말해서 카메라에 따라 곡선 영역(CAR)의 휘도가 정상 표시 영역(DAR)과 달라지지 않도록 곡선 영역(CAR)의 픽셀 값들이 조정될 수 있다.
도 3a, 도 3b, 도3 c 및 도 3d는 본 개시의 예시적 실시 예에 따른 RCD 맵을 나타내고, 도 4는 본 개시의 예시적 실시예에 따른 RCD 맵의 각 영역에 대한 알파 값들을 나타내는 테이블이다.
도 3a는 전체 RCD 맵을 나타내고, 도 3a 내지 도 3d는 도 3a의 전체 RCD 맵의 부분 영역들을 나타낸다.
도 3a를 참조하면, RCD 맵(RCDM)은 이미지 데이터에 대응하는 사각 형태일 수 있으며, 복수의 알파 값들은 행열로 배치되어 이미지 데이터의 복수의 픽셀 값들에 대응할 수 있다. RCD 맵(RCDM)은 둥근 모서리 영역(RCa) 및 핀 홀 영역(PHa)을 포함할 수 있으며, 둥근 모서리 영역(RCa) 및 핀 홀 영역(PHa)은 디스플레이 패널(도 2의 320)의 둥근 모서리 영역(RC) 및 핀 홀 영역(PH)에 대응한다.
RCD 맵(RCDM)에서 하얗게 표시된 영역은 컨텐츠 영역(CNTS)으로서, 디스플레이 패널(도 2의 320)의 정상 표시 영역(DAR)에 대응하고, 검게 표시된 영역은 백그라운드 영역(BG)으로서, 디스플레이 패널(320)의 비표시 영역(NDAR)에 대응할 수 있다.
도 3b는 도3a의 RCD 맵(RCDM)에서 네 개의 둥근 모서리 영역(RCa) 중 하나를 보다 상세하게 나타낸다.
도 3b를 참조하면, RCD 맵(RCDM)의 둥근 모서리 영역(RCa)은 백그라운드 영역(BG), 에일리어싱 영역(AL), 및 컨텐츠 영역(CNTS)을 포함한다. 백그라운드 영역(BG), 에일리어싱 영역(AL), 및 컨텐츠 영역(CNTS)은 각각 디스플레이 패널(320)의 비표시 영역(NDAR), 곡선 영역(CAR) 및 표시 영역(DAR)에 대응할 수 있다.
도 4를 참조하여 백그라운드 영역(GB), 에일리어싱 영역(AL) 및 컨텐츠 영역(CONT)의 알파 값 설정에 대하여 설명하기로 한다. 여기서 알파 값은 8-비트의 데이터로 표시되는 것을 가정하기로 한다.
도 4를 참조하면, 백그라운드 영역(BG)의 알파 값은 '0'일 수 있다. 다시 말해서 알파 값은 최소 값으로 설정될 수 있다. 이때, 혼합 값, 예컨대 R, G, B 각 채널에 대한 알파 값은 사용자가 설정할 수 있으며, 예컨대 디폴트 값은 R, G, B 각 채널에 대하여 각각 '0'으로 설정될 수 있다. 픽셀 값에 최소 알파 값이 적용 되면, 픽셀 값이 '0'으로 조정된다. 다시 말해서 픽셀 값은 최소 계조를 나타낸다.
컨텐츠 영역(CONT)의 알파 값은 '255'일 수 있다. 다시 말해서 알파 값은 8-비트 데이터로 표시될 수 있는 값 중 최대 값으로 설정될 수 있다. 픽셀 값에 최대 알파 값이 적용되면, 픽셀 값은 조정되지 않는다. 다시 말해서 픽셀에서 출력되는 신호의 밝기가 감소하지 않는다. 혼합 값, 예컨대 R, G, B 각 채널에 대한 알파 값은 사용자에 의하여 설정될 수 없으며, R, G, B 각 채널에 대한 알파 값은 '255'로 설정될 수 있다.
에일리어싱 영역(AL)의 알파 값은 가변적일 수 있다. 에일리어싱 영역(AL)의 알파 값은 '0', '255'및 '0'에서 '255'사이의 값을 가질 수 있다. 예를 들어, 도 3b에 도시되는 바와 같이, 에일리어싱 영역(AL)에서 컨텐츠 영역(CNTS)에 가까운 픽셀 값에 적용되는 알파 값은 최대 알파 값, 또는 최대 알파 값에 가까운 값으로 설정되고, 백그라운드 영역(BG)에 가까운 픽셀 값에 적용 되는 알파 값은 최소 알파 값, 또는 최소 알파 값에 가까운 값으로 설정될 수있다. 이에 따라, 디스플레이 패널(320)의 곡선 영역(CAR)의 밝기는 표시 영역(DAR)으로부터 서서히 감소될 수 있다. 그러나, 이는 일 예일 뿐이며, 에일리어싱 영역(AL)의 알파 값은 다양하게 설정될 수 있다. 혼합 값, 예컨대 R, G, B 각 채널에 대한 알파 값은 사용자가 설정할 수 있으며, 예컨대 디폴트 값은 R, G, B 각 채널에 대하여 각각 '0'으로 설정될 수 있다.
도 3c는 도3a의 RCD 맵(RCDM)에서 핀 홀 영역(PHa)을 보다 상세하게 나타낸다.
도 3c를 참조하면, 핀 홀 영역(PHa)은 백그라운드 영역(BG), 에일리어싱 영역(AL), 및 컨텐츠 영역(CNTS)을 포함한다. 핀 홀 영역(PHa)의 가운데 동그란 영역이 백그라운드 영역(BG) 이며 디스플레이 패널(320)의 핀-홀 영역(PH)의 가운데에 형성된 물리적인 핀-홀 영역, 다시 말해서 비표시 영역(NDAR)에 대응한다. 핀 홀을 통해 카메라가 노출될 수 있다.
도 3d를 참조하면, 핀 홀 영역(PHb)은 에일리어싱 영역(AL), 및 컨텐츠 영역(CNTS)을 포함한다. 디스플레이 패널(320)의 핀-홀 영역(PHb) 아래에 배치되는 카메라가 언더 디스플레이 카메라로 구현될 경우, 핀-홀 영역(PH)의 가운데에 물리적인 핀-홀이 형성되지 않는다. 따라서, 백그라운드 영역(BG)이 형성되지 않으며, 에일리어싱 영역(AL)이 넓게 형성될 수 있다. 디스플레이 패널(320)의 핀-홀 영역(PH)의 아래에 언더 디스플레이 카메라가 배치됨에 따라, 핀-홀 영역(PH)의 밝기 특성이 주변 영역, 다시 말해서 표시 영역(DAR)과 상이할 수 있다. 따라서, 밝기의 균일성을 위하여 RCD 맵(RCDM)의 핀-홀 영역(PHa)에서 에일리어싱 영역(AL)의 알파 값이 픽셀 값들에 적용되어 디스플레이 패널(320)의 핀-홀 영역(PH)의 픽셀 값들이 조정될 수 있다.
도 5a 및 도 5b는 본 개시의 예시적 실시 예들에 따른 이미지 처리 장치의 구현 예들을 나타낸다. 설명의 편의를 위하여 메모리(200)를 함께 도시한다.
도 5a를 참조하면, 이미지 처리 장치(130a)는 블렌더(131), 화질 개선부(image quality enhancer), RCD 맵 디코더(110), RCD 프로세서(120), 압축기(COMP)(140), 송신 회로(TX)(150)을 포함할 수 있다. 이미지 처리 장치(130a)는 이미지 처리를 수행하는 다른 이미지 처리 IP를 더 포함할 수 있다.
블렌더(131)는 메모리(200)(또는 이미지 생성기)로부터 이미지 데이터를 수신할 수 있다. 이미지 데이터는 디스플레이 패널(도 1의 320)의 한 프레임(한 화면)에 표시하고자 하는 복수의 이미지들을 나타내는 복수의 레이어 데이터들을 포함할 수 있다. 블렌더(131)는 복수의 레이어 데이터들을 블렌딩(blending)하여 하나의 화면에 대응하는 복수의 픽셀 값을 포함하는 제1 이미지 데이터를 생성할 수 있다.
화질 개선부(132)는 수신되는 이미지 데이터, 예컨대 블렌더(131)로부터 수신되는 제1 이미지 데이터에 적어도 하나의 화질 개선 알고리즘을 기초로 화질 개선을 위한 이미지 처리를 수행할 수 있다.
예를 들어, 화질 개선 알고리즘 DE(Detail Enhancement), 스케일링(scaling 또는 scaler), ATC(Adaptive Tone map Control), HSC(Hue Saturation Control), 감마(gamma 및 de-gamma), AOSP(Android Open Source Project), CGC(Color Gamut Control), 디더링(dithering 또는 dither)을 포함할 수 있다. DE는 이미지의 외곽선을 뚜렷하게 하기 위한 알고리즘이고, 스케일링은 이미지의 크기를 변경하는 알고리즘이고, ATC는 야외 시인성 개선을 위한 알고리즘이고, HSC는 색감을 위해 색상 및 채도를 개선하는 알고리즘이고, 감마는 감마 보정을 위한 알고리즘이고, AOSP는 안드로이드 OS에서 정의하는 이미지 변환 매트릭스(예를 들어, 색약자를 위한 모드나 야간 모드(night mode) 등)를 처리하기 위한 알고리즘이고, CGC는 디스플레이 패널의 색좌표를 맞추기 위한 알고리즘이고, 디더링은 제한된 컬러를 사용하여 높은 비트의 컬러의 효과를 나타내기 위한 알고리즘일 수 있다. 그러나, 이에 제한되는 것은 아니며, 이 밖에 다양한 화질 개선 알고리즘을 더 포함할 수 있다.
RCD 맵 디코더(110)는 메모리(200)로부터 RCD 맵을 독출(또는 로딩)하고, RCD 맵을 RCD 프로세서(120)에 전송할 수 있다. RCD 프로세서(120)는 수신되는 이미지 데이터, 예컨대, 화질 개선부(132)로부터 수신되는 제2 이미지 데이터에 대하여 RCD 맵을 적용하여 RCD 이미지 데이터, 예컨대 제3 이미지 데이터를 생성할 수 있다. RCD 맵 디코더(110) 및 RCD 프로세서(120)는 도 1을 참조하여 설명한 바 중복되는 설명은 생략하기로 한다.
압축기(140)는 RCD 프로세서(120)로부터 수신되는 RCD 이미지 데이터, 예컨대 제3 이미지 데이터를 압축하여 압축된 RCD 이미지 데이터를 생성할 수 있다. 예컨대, 압축기(140)는 DSC(Display Stream Compression) 표준 또는 VDC-M(VESA Display Codec for Mobile) 표준을 기초로 RCD 이미지 데이터를 압축할 수 있다.
송신 회로(150)는 압축된 RCD 이미지 데이터를 DDI(도1의 310)으로 전송할 수 있다. 송신 회로(TX)는 DDI(310)와의 통신을 위하여 설정된 인터페이스, 예컨대, MIPI(mobile industry processor interface)의 DSI(display serial interface)를 기초로 압축된 RCD 이미지 데이터를 DDI(310)으로 전송할 수 있다.
도 5b를 참조하면, 이미지 처리 장치(130b)는 블렌더(131), 화질 개선부(image quality enhancer), SPR(sub-pixel rendering) 회로(133), RCD 맵 디코더(110), RCD 프로세서(120), 압축기(COMP)(140), 및 송신 회로(TX)(150)을 포함할 수 있다.
도 5b의 이미지 처리 장치(130b)는 SPR 회로(133)를 포함할 수 있다. SPR 회로(133)는 SPR 알고리즘을 기초로 수신되는 이미지 데이터, 예컨대 화질 개선부(image quality enhancer)로부터 제공되는 제2 이미지 데이터에 해상도를 높일 수 있다.
RCD 프로세서(120)는 SPR 회로(133)의 뒤에 배치될 수 있으며 SPR 회로(133)로부터 수신되는 이미지 데이터에 대하여 RCD 맵 디코더(110)로부터 수신되는 RCD 맵을 적용하여 RCD 이미지 데이터를 생성 할 수 있다.
블렌더(131), 화질 개선부(image quality enhancer), RCD 맵 디코더(110), RCD 프로세서(120), 압축기(140), 및 송신 회로(150)의 동작은 도 3a의 블렌더(131), 화질 개선부(image quality enhancer), RCD 맵 디코더(110), RCD 프로세서(120), 압축기(140), 및 송신 회로(150)의 동작과 유사한 바 중복되는 설명은 생략하기로 한다.
도 5a 및 도 5b를 참조하여 설명한 바와 같이, RCD 프로세서(120)는 이미지 처리 플로우의 후단에 배치될 수 있으며, 앞서, 블렌더(131), 화질 개선부(132) 및 SPR(133)에 의하여 이미지 처리되어 생성된 이미지 데이터에 대하여 RCD 처리를 수행할 수 있다. RCD 프로세서(120)에서 생성되는 RCD 이미지 데이터는 압축되어 DDI(310)로 제공될 수 있다.
도 6은 본 개시의 예시적 실시 예에 따른 디스플레이 구동 집적 회로를 나타내는 블록도이다.
도 6을 참조하면 DDI(320)는 수신 회로(321), 압축 해제 회로(De-COMP)(322), 이미지 처리 회로(323), 소스 드라이버(324)를 포함할 수 있으며, 이미지 처리 회로(323)은 화질 개선부(32), SPR 회로(32), 패널 보상부(Panel CPSC)(33)를 포함할 수 있다. 도시되지 않았으나, DDI(320)는 프레임 메모리, 게이트 드라이버, 전압 생성기 등을 더 포함할 수 있다.
수신 회로(321)는 이미지 처리 장치(도1의 110)으로부터 이미지 데이터(IDT)를 수신할 수 있다. 이미지 데이터(IDT)는 RCD 처리 및 압축이 수행된 압축된 RCD 이미지 데이터일 수 있다. 수신 회로(321)는 이미지 처리 장치(110)과의 통신을 위하여 설정된 인터페이스, 예컨대, MIPI(mobile industry processor interface)의 DSI(display serial interface)를 기초로 압축된 RCD 이미지 데이터를 수신할 수 있다.
압축 해제 회로(322)는 압축된 RCD 이미지 데이터를 압축 해제할 수 있다. 압축 해제 회로(322)는 이미지 처리 장치(110)에 구비되는 압축기(140)에서의 압축 방식에 대응하는 압축 해제 방식으로 압축된 RCD 이미지 데이터를 압축 해제할 수 있다. 예를 들어, 압축 해제 회로(322)는 DSC 표준 또는 VDC-M(VESA Display Codec for Mobile) 표준을 기초로 압축된 RCD 이미지 데이터를 압축 해제할 수 있다.
이미지 처리 회로(323)는 압축 해제된 RCD 이미지 데이터에 대하여 이미지 처리를 수행할 수 있다. 예를 들어, 화질 개선부(31)가 화질 개선 알고리즘을 기초로 이미지 처리를 수행할 수 있으며, SPR 회로(32)가 RCD 이미지 데이터의 해상도를 높일 수 있다. 실시예에 있어서, 도 4b에 도시된 바와 같이 이미지 처리 장치(130b)가 SPR 회로(133)을 포함할 경우, 이미지 처리 회로(323)는 SPR 회로(32)를 포함하지 않을 수 있다. 패널 보상부(33)는 디스플레이 패널(320)의 패널 특성을 반영하여 RCD 이미지 데이터에 대한 화질 보상을 수행할 수 있다.
이미지 처리된 RCD 이미지 데이터는 소스 드라이버(324)로 제공될 수 있다. 소스 드라이버(324)는 수신된 이미지 데이터의 픽셀 값들에 기초하여 픽셀 신호들, 예컨대 계조 전압들을 생성하고 계조 전압들을 디스플레이 패널(320)로 제공할 수 있다.
도 7은 본 개시의 예시적 실시 예에 따른 RCD 맵의 압축 모드를 나타내는 테이블이다. 도 7의 압축 모드에 따라 RCD 맵이 압축되어 압축 스트림으로서 메모리(도1의 200)에 저장될 수 있으며, RCD 맵 디코더(도 1의 110)는 RCD 맵의 압축 스트림을 디코딩하여 RCD 맵을 재구성할 수 있다.
도 7을 참조하면, 압축 스트림은 프리픽스(prefix) 및 서픽스(suffix)를 포함하며, 프리픽스는 1 바이트(8-비트 데이터) 또는 2 바이트의 데이터를 포함할 수 있다. 서픽스는 알파 값들을 포함할 수 있으며, 프리픽스의 상위 3-비트의 데이터가 나타내는 단위 속성에 따라 데이터량, 다시 말해서 알파 값들의 개수가 결정될 수 있다. 프리픽스의 나머지 비트들은 서픽스에 포함되는 픽셀들의 개수, 다시 말해서 알파 값들의 개수를 나타낼 수 있다. 알파 값은 1 바이트, 다시 말해서 8-비트 데이터로 나타낼 수 있다.
인덱스는 프리픽스의 상위 3-비트 데이터가 나타내는 값을 의미한다. 인덱스가 '0', '1'일 때, 프리픽스는 1 바이트, 다시 말해서 8-비트 데이터를 포함할 수 있으며, 상위 3-비트 데이터를 제외한, 5-비트의 데이터가 서픽스에 포함되는 알파 값들의 개수를 나타내고, 인덱스가 '1', '2', '3', '4', '5', 및 '6'일 때, 프리픽스는 2 바이트, 다시 말해서 16-비트 데이터를 포함할 수 있으며, 상위 3-비트 데이터를 제외한, 13-비트의 데이터가 서픽스에 포함되는 알파 값들의 개수를 나타낸다.
인덱스가 '0'및 '1'일 때, 다시 말해서 프리픽스의 상위 3-비트 데이터가 '000', '001'일 때, 서픽스에 포함되는 알파 값들은 에일리어싱 영역에 대응하며, 서픽스에는 32개 미만의 알파 값들이 포함될 수 있다. 인덱스가 '0'일 때, R,G, B 채널의 알파 값들이 동일하다, 따라서, 하나의 픽셀에 대응하는 알파 값은 1 바이트 데이터로 나타낼 수 있다. 인덱스가 '1'일 때, R,G, B 채널의 알파 값들이 상이하다, 따라서, 하나의 픽셀을 R 서브 픽셀, G 서브 픽셀 및 B 서브 픽셀을 포함하므로, 하나의 픽셀에 대응하는 알파 값은 R 채널에 대한 알파 값, B 채널에 대한 알파 값, 및 G채널에 대한 알파 값을 포함하므로, 3 바이트 데이터로 나타낼 수 있다.
인덱스가 '2'및 '3'일 때, 다시 말해서 프리픽스의 상위 3-비트 데이터가 '010', '011'일 때, 서픽스에 포함되는 알파 값들은 에일리어싱 영역에 대응하며, 서픽스에는 32개 이상의 알파 값들이 포함될 수 있다. 인덱스가 '2'일 때, R,G, B 채널의 알파 값들이 동일하고, 인덱스가 '3'일 때, R,G, B 채널의 알파 값들이 상이하게 설정될 수 있다.
인덱스가 '4'일 때, 다시 말해서 프리픽스의 상위 3-비트 데이터가 '100' 일 때, 알파 값들은 백그라운드 영역에 대응한다. 프리픽스의 하위 13-비트 데이터는 백그라운드 영역의 몇 개의 픽셀에 대응하는 알파 값들을 가지는지 나타낼 수 있다. 다만, 백그라운드 영역은 알파 값들이 고정된 값을 가지므로, 서픽스가 알파 값들을 포함하지 않는다.
인덱스가 '5'일 때, 다시 말해서 프리픽스의 상위 3-비트 데이터가'101'일 때, 서픽스에 포함되는 알파 값들은 컨텐츠 영역에 대응한다. 컨텐츠 영역의 알파 값들 또한 고정된 값을 가지므로, 서픽스가 알파 값들을 포함하지 않는다.
인덱스가 '6'일 때, 다시 말해서 프리픽스의 상위 3-비트 데이터가 '110'일 때는 비압축 모드일 수 있다. 서픽스는 프리픽스의 하위 13-비트 데이터가 나타내는 개수의 픽셀에 해당하는 알파 값들을 포함할 수 있으며, 알파 값들은 R 채널, G 채널 및 B 채널에 대하여 각각 알파 값들이 설정될 수 있다. 따라서, 하나의 픽셀에 대응하는 알파 값은 R 채널에 대한 알파 값, B 채널에 대한 알파 값, 및 G채널에 대한 알파 값을 포함하므로, 3 바이트 데이터로 나타낼 수 있다.
인덱스가 '7'일 때, 다시 말해서 프리픽스의 상위 3-비트 데이터가 '111'일 때는 리저브드(reserved) 모드로 지정될 수 있다.
도 8은 본 개시의 예시적 실시예에 따른 RCD 맵의 각 영역에 대한 알파 값들을 예시적으로 나타낸다. 알파 값들은 8-비트 데이터, 다시 말해서 1 바이트 데이터로 나타내는 것을 가정하기로 한다.
도 8을 참조하면, RCD 맵은 백그라운드 영역, 에일리어싱 영역 및 컨텐츠 영역을 포함할 수 있다. 백그라운드 영역의 알파 값들은 '0'이고, 컨텐츠 영역의 알파값들은 8-비트 데이터로 나타낼 수 있는 최고 값인 '255'일 수 있다. 에일리어싱 영역은 알파 값들의 최소 값인 '0', 최고 값인'255', 및 최소 값과 최고 값 사이의 값, 예컨대 '180', '63'을 가질 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 RCD 맵의 압축 스트림을 예시적으로 나타낸다.
도 9를 참조하면, 케이스 a에서, 프리픽스의 상위 3-비트 데이터가 '100'이고, 하위 13비트가 '00000_00000011'이면 인덱스가 '4'이고, 대응하는 픽셀의 개수는 3개이다, 백그라운드 영역의 4개에 해당하는 픽셀 값에 알파 값의 최저 값, 예컨대 '0'이 적용될 수 있다. 백그라운드 영역은 고정된 알파 값을 가지므로 서픽스는 알파 값을 포함하지 않는다.
케이스 b에서 프리픽스의 상위 3-비트 데이터가 '000'이고, 하위 5 비트가 '00010'이면 인덱스가 '0'이고, 대응하는 픽셀의 개수는 2개이다. 서픽스에는 에일리어싱 영역의 두 개의 픽셀에 대응하는 알파 값이 포함될 수 있다. 제1 알파 값(A1)은 이진 데이터 '10110100'으로, '128'이며, 제2 알파 값(A2)는 이진 데이터 '00111111'로, '63'일 수 있다.
케이스 c에서, 프리픽스의 상위 3-비트 데이터가 '101'이고, 하위 13-비트 데이터가 '00000_00000101'이면, 인덱스가 '5'이고, 대응하는 픽셀의 개수는 5개이다, 전술한 바와 같이, 백그라운드 영역은 고정된 알파 값을 가지므로 서픽스는 알파 값을 포함하지 않는다. 컨텐츠 영역의 5 개에 해당하는 픽셀 값에 알파 값의 최고 값, 예컨대 '255'가 적용될 수 있다. 컨텐츠 영역은 고정된 알파 값을 가지므로 서픽스는 알파 값을 포함하지 않는다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 처리 장치에서 RCD 프로세서에 수신되는 이미지 데이터의 복수의 픽셀 값들 및 RCD 맵의 복수의 알파 값들을 나타낸다.
도 10을 참조하면, 이미지 데이터(IDT)는 n열 및 m행 (n 및 m은 2이상의 양의 정수)에 대응하는 n열 및 m열의 픽셀 값들을 포함할 수 있다. RCD 맵 또한 n열 및 m열의 알파 값들을 포함할 수 있다. 실시예에 있어서, 픽셀 값들 각각은 R, G, B 서브 픽셀에대한 R,G, B 픽셀 값들을 포함하고, 알파 값들 또한 R, G, B 알파 값들을 포함할 수 있다.
이미지 데이터의 복수의 픽셀 값이 RCD 프로세서(120)에 제공될 수 있으며, RCD 맵의 복수의 알파 값들이 복수의 픽셀 값들이 전송되는 순서에 동기되어 RCD 프로세서(120)에 제공될 수 있다. 예를 들어, 이미지 데이터(IDT)의 상위 행부터 하위 행까지 행 단위로 차례로 픽셀 값들 P11, P12, P13, ??, P1m, P21, P22, ??, Pnm이 RCD 프로세서(120)에 전송되고, 픽셀 값들의 전송 순서에 동기되어 RCD 맵의 상위 행부터 하위 행까지 행 단위로 차례로 알파 값들 A11, A12, A13, ??, A1m, A21, A22, ??, Anm이 RCD 프로세서(120)에 전송될 수 있다.
RCD 프로세서(120)는 실시간으로 수신되는 픽셀 값에 알파 값을 적용하여 RCD 처리를 수행할 수 있다. RCD 프로세서(120)는 하기 수학식 1에 따라 조정된 픽셀 값을 출력할 수 있다.
여기서 P_Rin은 수신된 픽셀 값 중 레드 서브 픽셀 값이고, A_R은 레드 알파 값을 0에서 1 사이로 정규화(normalization) 한 값이며, P_Rout은 조정된 레드 서브 픽셀 값이다. P_BG는 백그라운드 영역의 픽셀 값이며 미리 설정될 수 있다. P_Gin은 수신된 픽셀 값 중 그린 서브 픽셀 값이고, A_G는 그린 알파 값을 정규화한 값이며, P_Gout은 조정된 그린 서브 픽셀 값이다. P_Bin은 수신된 픽셀 값 중 블루 서브 픽셀 값이고, A_B는 블루 알파 값을 정규화한 값이다. P_Bout은 조정된 블루 서브 픽셀 값이다. 이와 같이, R, G, B 각각의 서브 픽셀 값에 R, G, B 각각의 알파 값들이 적용될 수 있다.
도 11은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서(AP)를 개략적으로 나타내는 블록도이다.
도 11을 참조하면, AP(1100)는 이미지 처리 모듈(1100), 메모리 컨트롤러(1120)를 포함할 수 있다. 이미지 처리 모듈(1100)은 RCD 프로세서(120)를 포함할 수 있으며, 적어도 하나의 이미지 처리 IP, 예컨대 블렌더(130) 및 화질 개선부(140)를 포함할 수 있다.
메모리 컨트롤러(1120)는 RCD 맵 디코더(110)를 포함할 수 있다. RCD 맵 디코더(110)는 시스템 메모리(1200)에 저장된 RCD 맵을 독출할 수 있다.
도 12a 및 도 12b는 도11의 메모리 컨트롤러의 구현 예들을 나타내는 블록도이다.
도 12a를 참조하면, 메모리 컨트롤러(1200a)는 RCD 디코더(110) 및 DMA(Direct Memory Access) 컨트롤러(DMAC)(210)를 포함할 수 있다. RCD 디코더(110)는 DMA 컨트롤러(210)의 지원하에 RCD 맵에 대하여 플립(flip), 로테이션(Rotation)을 수행하여, 변형된 RCD 맵을 생성할 수 있다. 또한, RCD 디코더(110)는 시스템 메모리(1200)에 저장된 RCD 맵 중 디스플레이 패널(도 1의 320)의 관심 영역(ROI)에 대응하는 알파 값들을 독출하고, 이를 RCD 맵으로서 RCD 프로세서(도 11의 120)에 제공할 수 있다. RCD 프로세서(120)는 관심 영역에 대응하는 픽셀 값들에 대하여 RCD 처리를 수행함으로써, RCD 이미지 데이터를 생성할 수 있다.
도 13은 디스플레이 패널의 관심 영역을 나타낸다.
도 13을 참조하면 디스플레이 패널(320)은 적어도 하나의 관심 영역, 예컨대 제1 내지 제5 관심 영역(ROI1~ROI5)을 포함할 수 있다. 관심 영역은 디스플레이 패널(320)의 둥근 모서리 영역 또는 핀 홀 영역을 포함할 수 있다.
계속하여 도 12b를 참조하면, 메모리 컨트롤러(1200b)는 RCD 디코더(110) 및 DMA 컨트롤러(210) 및 내부 메모리(220)을 포함할 수 있다. 내부 메모리(220)는 예컨대 SRAM(Static Random Access Memory)을 포함할 수 있다.
RCD 디코더(110)는 시스템 메모리(도 11의 1200)로부터 독출된 RCD 맵을 내부 메모리(220)에 저장하고 계속하여, 예컨대 RCD 맵이 업데이트 되기 전까지 이용할 수 있다. 실시예에 있어서, RCD 디코더(110)는 시스템 메모리(1200)에 저장된 압축된 RCD 맵을 독출하고, 압축된 RCD 맵의 압축 스트림을 디코딩하여 RCD 맵을 재구성 할 수 있다. RCD 맵은 재구성된 RCDS 맵을 내부 메모리(220)에 저장하고, 이용할 수 있다. 또는 RCD 디코더(110)는 압축된 RCD 맵을 내부 메모리(220)에 저장하고, RCD 처리가 필요한 경우, 내부 메모리(220)에서 압축된 RCD 맵을 디코딩, 즉 압축 해제하여 RCD 맵을 재구성할 수 있다.
RCD 맵의 업데이트가 필요하지 않는 경우, 시스템 메모리(1200)에서 RCD 맵의 독출이 최초의 한 번만 수행되므로, 시스템 메모리(1200) 엑세스를 위한 메모리 대역폭(bandwidth)이 감소될 수 있다.
도 14는 본 개시의 예시적 실시예에 따른 이미지 처리 장치의 동작 방법을 나타내는 흐름도이다. 도 14의 동작 방법은 도 1의 이미지 처리 장치(100) 또는 도 11의 AP(1100)에서 수행될 수 있다. 도 1 내지 도 13을 참조하여 설명한 이미지 처리 장치(100) 및 AP(1100), 또한 이들의 동작에 대한 설명은 본 실시예에 적용될 수 있다. 단계 S110 내지 S160은 이미지 처리 장치(100)에 구비되는 RCD 맵 디코더(110)에서 수행되고 단계 S170은 RCD 프로세서 (120)에서 수행될 수 있다.
도 14를 참조하면, RCD 맵 디코더(110)는 메모리(예컨대 도 1의 200 또는 도 11의 1200)에 새로운 RCD 맵이 저장되었는지 확인할 수 있다(S110). 다시 말해서 RCD 맵 디코더(110)는 업데이트된 RCD 맵이 있는지 판단할 수 있다.
RCD 맵 디코더(110)는 새로운 RCD 맵이 있다면 메모리로부터 새로운 RCD 맵을 로딩(loading)(또는 독출)할 수 있다(S120). 새로운 RCD 맵이 없다면, RCD 맵 디코더(110)는 내부 메모리(도 12b의 220)로부터 RCD 맵을 읽어올 수 있다.
실시예에 있어서 내부 메모리 또는 외부 메모리로부터독출된 RCD 맵이 압축되었다면, RCD 맵 디코더(110)는 압축된 RCD 맵을 디코딩할 수 있다(S140).
RCD 맵 디코더(110)는 DMA 동작을 수행할 수 있다(S150). 다시 말해서 RCD 맵 디코더(110)는 RCD 맵에 대하여, 로테이션, 플립 등의 처리를 수행할 수 있다. 또한 이미지 처리 장치(100)는 RCD 맵 중 디스플레이 패널의 관심 영역(ROI 영역)에 해당하는 영역의 알파 값들을 선별하여 RCD 맵으로서 재구성할 수 있다.
RCD 맵 디코더(110)는 RCD 맵을 RCD 프로세서(도 1의 120)로 전송할 수 있다(S160). 도 10을 참조하여 설명한 바와 같이, RCD 맵 디코더(110)는 이미지 데이터의 픽셀 값이 출력되는 순서에 동기하여 RCD 맵의 알파 값들을 RCD 프로세서(120)으로 전달할 수 있다.
RCD 프로세서(120)는 RCD 알파 블렌딩을 수행할 수 있다(S170). RCD 프로세서(120)는 픽셀 값에 대응하는 알파 값들을 적용함으로써 이미지 데이터에 대하여 RCD 처리를 수행할 수 있다. 이에 따라 RCD 이미지 데이터가 생성될 수 있다.
도 15는 본 개시의 예시적 실시예에 따른 이미지 처리 장치의 동작 방법을 나타내는 흐름도이다. 도 14의 동작 방법은 도 1의 이미지 처리 장치(100) 또는 도 11의 AP(1100)에서 수행될 수 있다. 도 1 내지 도 14를 참조하여 설명한 이미지 처리 장치(100) 및 AP(1100), 또한 이들의 동작에 대한 설명은 본 실시예에 적용될 수 있다.
도 15를 참조하면, 이미지 처리 장치(100)는 메모리(예컨대 도 1의 200 또는 도 11의 1200)에 RCD 맵을 저장할 수 있다(S210).
이미지 처리 장치(100)는 디스플레이 장치(도 1의 300)에 제공될 이미지 데이터 생성 시에, 메모리로부터 RCD 맵을 로딩할 수 있다(S220).
이미지 처리 장치(100)는 또한 이미지 데이터에 대하여 이미지 처리를 수행할 수 있다(S230). 이미지 처리 장치(100)는 적어도 하나의 이미지 처리 알고리즘을 기초로 이미지 데이터에 대하여 이미지 처리를 수행할 수 있다.
이미지 처리 장치(100)는 RCD 맵을 기초로 이미지 데이터에 대하여 RCD 처리를 수행할 수 있다(S240). 이미지 데이터의 복수의 픽셀 값들 각각에 RCD 맵의 복수의 알파 값들 중 대응하는 알파 값이 적용될수 있다. 복수의 픽셀 값들은 R, G, B 서브 픽셀 값들을 포함하며, 복수의 알파 값들 각각은 R, G, B 알파값들을 포함할 수 있다. R, G, B 서브 픽셀 값들 각각에 , G, B 알파 값들 각각이 적용될 수 있다.
이미지 처리 장치(100)는 RCD 처리된 이미지 데이터, 다시 말해서 RCD 이미지 데이터를 DDI(도 1의 310)으로 출력할 수 있다(S250). 실시예에 잇어서, 이미지 처리 장치(100)는 RCD 이미지 데이터를 압축하고, 압축된 RCD 이미지 데이터를 DDI(310)에 전송할수 있다.
본 개시에서, 이미지 처리 장치(도 1의 100), AP(도 11의 1100) 및 DDI(도 1의 310)의 구성들, 예컨대 RCD 맵 디코더(110), RCD 프로세서(120), 블렌더(140), 화질 개성부(140), 압축기(140), 송신 회로(150), SPR 회로(133), 수신 회로(321), 압축 해제기(322) 등은 하드웨어, 소프트웨어 또는 하드웨어와 소프트 웨어의 조합으로 구현될 수 있다. 또한 상기 구성들은 메모리에 저장된 하나 이상의 인스트럭션들을 적어도 하나의 프로세서 (예컨대 CPU, GPU,마이크로 프로세서 등)가 실행함으로써 구현될 수 있다. 적어도 하나의 프로세서는 상기 구성들에 대하여 전술한 바와 같은 동작들을 수행할 수 있다.
도 16은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서를 나타내는 블록도이다.
도 16을 참조하면, 애플리케이션 프로세서(2000)는 CPU(central processing unit; 2100), 이미지 생성기(2200), 디스플레이 컨트롤러(2300), DRAM 컨트롤러(2400), 전송부(TX interface)(2500) 및 시스템 버스(2600)를 포함할 수 있다. 이 외에도 애플리케이션 프로세서(200)는 범용적인 구성 요소들을 더 포함할 수 있다. 애플리케이션 프로세서(2000)의 각 구성들(2100, 2200, 2300, 2400 및 2500)은 시스템 버스(2600)를 통해 서로 통신할 수 있다.
CPU(2100)는 애플리케이션 프로세서(2000)의 동작을 전반적으로 제어할 수 있다. CPU(2100)는 각 구성 요소(2200, 2300, 2400, 2500, 2600)의 동작을 제어할 수 있다.
실시예에 있어서, CPU(2100)는 멀티-코어(multi-core)로 구현될 수 있다. 상기 멀티-코어는 두 개 또는 그 이상의 독립적인 코어들(cores)을 갖는 하나의 컴퓨팅 컴포넌트(computing component)이다.
이미지 생성기(2200)는 그래픽 처리와 관련된 동작들을 수행할 수 있다. 일 실시예에 있어서 이미지 생성기(2200)는 디스플레이 장치(2350)에 표시될 이미지에 대응하는 이미지 데이터를 생성할 수 있다. 이미지 생성기(2200)는 직사각형의 이미지 데이터를 생성할 수 있다.
실시예에 따라, 이미지 생성기(2200)는 GPU(Graphic Processing Unit), 그래픽 액셀레이터(Accelerator), 디스플레이 프로세서(DSP) 등을 포함할 수 있다. 이미지 생성기(2200)는 소프트웨어 또는 하드웨어적으로 구현될 수 있다.
디스플레이 컨트롤러(2300)는 이미지 데이터 또는 업데이트되는 이미지 데이터를 디스플레이 구동 회로(2350)로 출력할 수 있다. 디스플레이 컨트롤러(2300)는 RCD 프로세서(120)를 포함할 수 있으며, RCD 프로세서(120)는 전술한 바와 같이, 이미지 데이터에 대하여 RCD 맵을 기초로 RCD 처리를 수행할 수 있다. 디스플레이 컨트롤러(2300)는 RCD 처리된 이미지 데이터, 다시 말해서 RCD 알파 블랜딩된 이미지 데이터를 디스플레이 장치(2350)로 제공할 수 있다. 디스플레이 장치(2350)는 둥근 모서리 및/또는 핀 홀 영역을 포함하는 디스플레이 패널(도 1의 320)을 포함할 수 있으며, RCD 처리된 이미지 데이터를 기초로 디스플레이 패널(320)에 이미지가 표시될 수 있다.
DRAM 컨트롤러(2400)는 애플리케이션 프로세서(200)와 DRAM(2450) 간의 인터페이스를 제공할 수 있다. DRAM(2450)은 애플리세이션 프로세서(2000)에서 사용되거나 생성되는 다양한 데이터를 저장할 수 있다. 예컨대 DRAM(2450)은 이미지 데이터 및 RCD 맵을 저장하고, 이를 디스플레이 컨트롤러(2300)에 제공할 수 있다. 한편, DRAM은 SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)과 같은 휘발성 메모리, 또는 EEPROM(Electrically Erasable rogrammable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), PRAM(Phase change RAM), ReRAM(Resistive RAM)등과 같은 비휘발성 메모리로 대체될 수 있다.
DMA 컨트롤러(2400)는 RCD 맵 디코더(110)를 포함할 수 있다. 전술한 바와 같이 RCD 맵 디코더(110)는 DRAM(2450)으로부터 RCD 맵을 독출하고, RCD 맵을 RCD 프로세서(120)에 제공할 수 있다. 전술한 바와 같이, RCD 맵 디코더(110)는 RCD 프로세서(120)에 제공되는 이미지 데이터에 동기하여 RCD 맵을 픽셀 단위로 RCD 프로세서(120)에 제공할 수 있다. 실시예에 있어서, RCD 맵은 압축되어 DRAM(2450)에 저장될수 있으며, 디코더(110)는 DRAM(2450)으로부터 독출된 압축된 RCD 맵을 압축 해제하고, 압축 해제된 RCD 맵을 RCD 프로세서(120)에 제공할 수 있다.
전송부(2500)는 다양한 인터페이스의 프로토콜에 따라 외부 장치와 통신할 수 있으며, 외부 장치로부터 데이터를 수신하거나 또는 외부 장치로 명령 신호 및 데이터를 전송할 수 있다. 예컨대 전송부(160)에 적용되는 인터페이스는 RGB 인터페이스, CPU 인터페이스, 시리얼 인터페이스(serial interface), MDDI(Mobile display digital interface), I2C(inter integrated circuit) 인터페이스, SPI(serial pheripheral interface), MCU(micro controller unit) 인터페이스, MIPI(Mobile industry processor interface), DP(displayport) 인터페이스, eDP(embedded displayport) 인터페이스, USB(Universal serial bus) 또는 HDMI(highdefinition multimedia interface) 중 하나일 수 있다. 이외에도 다양한 인터페이스 방식이 전송부(2500)의 인터페이스 방식으로서 적용될 수 있다.
이상, 도면들을 참조하여, 본 개시의 다양한 실시예를 설명하였다. 한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지로 변형할 수 있다. 그러므로 본 개시의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구범위뿐만 아니라 이 개시의 특허청구범위와 균등한 것들에 의해 정해질 수 있다.
1000: 디스플레이 시스템
100:이미지 처리 장치 200: 메모리
300: 디스플레이 장치 310: 디스플레이 구동 집적 회로
320: 디스플레이 패널 110: RCD 맵 디코더
120: RCD 프로세서
100:이미지 처리 장치 200: 메모리
300: 디스플레이 장치 310: 디스플레이 구동 집적 회로
320: 디스플레이 패널 110: RCD 맵 디코더
120: RCD 프로세서
Claims (20)
- 디스플레이 구동 집적 회로에 이미지 데이터를 제공하는 이미지 처리 장치에 있어서,
수신되는 제1 이미지 데이터에 대하여 화질 개선 처리를 수행하여 디스플레이 패널의 한 프레임에 대응하는 복수의 픽셀 값들을 포함하는 사각형 형태의 제2 이미지 데이터를 생성하는 화질 개선부;
메모리로부터, 상기 디스플레이 패널의 둥근 모서리의 곡선 영역에 대응하는 상기 제2 이미지 데이터의 제1 영역에 대한 밝기를 조정하기 위한 복수의 픽셀 조정 값들을 포함하는 RCD (Round Corner Display) 맵을 독출하고, 상기 RCD 맵을 출력하는 RCD 맵 디코더;
상기 제2 이미지 데이터에 상기 RCD 맵을 적용하여 상기 제1 영역의 밝기가 조정된 제3 이미지 데이터를 생성하는 RCD 처리 회로; 및
상기 제3 이미지 데이터를 상기 디스플레이 패널 구동 집적 회로로 출력하는 송신 회로를 포함하는, 이미지 처리 장치. - 제1 항에 있어서, 상기 RCD 맵 디코더는,
상기 메모리에 저장된 상기 RCD 맵의 압축 스트림을 독출하고, 상기 압축 스트림을 압축 해제하여 상기 RCD 맵을 재구성하고, 재구성된 상기 RCD 맵을 상기 RCD 처리 회로에 전송하는 것을 특징으로 하는, 이미지 처리 장치. - 제2 항에 있어서,
상기 RCD 맵의 상기 압축 스트림은, 픽셀 조정 값들에 대한 정보를 포함하는 프리픽스(prefix), 및 상기 픽셀 조정 값들을 포함하는 서픽스(suffix)를 포함하고, 상기 프리픽스는 상기 픽셀 조정 값들의 속성을 나타내는 N 비트 및 상기 픽셀 조정 값들의 개수를 나타내는 M 비트 데이터를 포함하는 것을 특징으로 하는, 이미지 처리 장치. - 제2 항에 있어서, 상기 RCD 맵 디코더는,
재구성된 상기 RCD 맵을 저장하는 내부 메모리를 포함하는 것을 특징으로 하는, 이미지 처리 장치. - 제1 항에 있어서, 상기 RCD 맵 디코더는,
상기 제2 이미지 데이터의 상기 복수의 픽셀 값들이 상기 RCD 처리 회로에 전송되는 순서에 동기하여, 상기 복수의 픽셀 값들 각각에 대응하는 상기 복수의 픽셀 조정 값들을 상기 RCD 처리 회로로 전송하는 것을 특징으로 하는, 이미지 처리 장치. - 제1 항에 있어서, 상기 픽셀 조정 값들은,
상기 픽셀 값들 중 레드 서브 픽셀 값, 그린 서브 픽셀 값 및 블루 서브 픽셀 값들 각각에 대응하는 제1 픽셀 조정 값, 제2 픽셀 조정 값 및 제3 픽셀 조정 값을 포함하는 것을 특징으로 하는, 이미지 처리 장치. - 제1 항에 있어서, 상기 RCD 디코더는,
상기 RCD 맵에 대하여, 회전, 좌우 미러링 중 적어도 하나의 처리를 수행하여 변형하고, 변형된 RCD 맵을 상기 RCD 처리 회로에 전송하는 것을 특징으로 하는, 이미지 처리 장치. - 제1 항에 있어서, 상기 RCD 디코더는 상기 RCD 맵 중 상기 디스플레이 패널의 관심 영역에 대응하는 픽셀 조정 값들을 상기 RCD 처리 회로에 전송하며, 상기 관심 영역은 상기 디스플레이 패널의 둥근 모서리 영역을 포함하는 것을 특징으로 하는, 이미지 처리 장치.
- 제1 항에 있어서,
상기 제2 이미지 데이터는 상기 디스플레이 패널의 상기 둥근 모서리 안쪽의 노멀 표시 영역에 대응하는 제2 영역 및 상기 둥근 모서리 바깥쪽의 비표시 영역에 대응하는 제3 영역, 그리고, 상기 제2 영역과 상기 제3 영역의 경계에 위치하는 상기 제1 영역을 포함하고,
상기 RCD 맵은 상기 제1 영역의 픽셀 값들에 대응하는 제1 조정 값, 상기 제2 영역의 픽셀 값들에 대응하는 제2 조정 값, 및 상기3 영역의 픽셀 값들에 대응하는 제3 조정 값을 가지며, 상기 제1 조정 값은 가변적이고, 상기 제2 조정 값 및 상기 제3 조정 값은 고정 값인 것을 특징으로 하는, 이미지 처리 장치. - 제1 항에 있어서,
상기 제3 이미지 데이터를 압축하고 압축된 제3 이미지 데이터를 상기 송신 회로에 제공하는 압축기를 더 포함하는, 이미지 처리 장치. - 이미지 처리 장치의 동작 방법에 있어서,
수신되는 제1 이미지 데이터에 대하여 화질 개선 처리를 수행하여 디스플레이 패널의 한 프레임에 대응하는 복수의 픽셀 값들을 포함하는 제2 이미지 데이터를 생성하는 단계;
RCD 맵 디코더가 외부 메모리로부터 상기 디스플레이 패널의 둥근 모서리에 대응하는 상기 제2 이미지 데이터의 제1 영역에 대한 밝기를 조정하기 위한 복수의 픽셀 조정 값들을 포함하는 RCD (Round Corner Display) 맵을 독출하는 단계;
RCD 처리 회로가 상기 제2 이미지 데이터의 상기 제1 영역의 밝기가 조정된 제3 이미지 데이터를 생성하도록 상기 RCD 맵을 기초로 상기 제2 이미지 데이터에 RCD 처리를 수행하는 단계; 및
상기 제3 이미지 데이터를 상기 디스플레이 패널 구동 집적 회로로 전송하는 단계를 포함하는, 이미지 처리 장치의 동작 방법. - 제11 항에 있어서, 상기 RCD 맵을 독출하는 단계는,
상기 외부 메모리에 저장된 상기 RCD 맵의 압축 스트림을 독출하는 단계; 및
상기 압축 스트림을 압축 해제하여 상기 RCD 맵을 재구성하는 단계; 및
상기 재구성된 상기 RCD 맵을 상기 RCD 처리 회로에 전송하는 단계를 포함하는 것을 특징으로 하는, 이미지 처리 장치의 동작 방법. - 제11 항에 있어서, 상기 RCD 맵을 독출하는 단계는,
상기 외부 메모리에 저장된 상기 RCD 맵 중 상기 제2 이미지 데이터의 적어도 하나의 관심 영역(ROI)에 해당하는 적어도 하나의 영역에 대응하는 ROI 픽셀 조정 값들을 독출하는 단계; 및
상기 ROI 픽셀 조정 값들을 상기 RCD 처리 회로로 전송하는 단계를 포함하는, 이미지 처리 장치의 동작 방법. - 제11 항에 있어서, RCD 처리를 수행하는 단계는,
상기 제2 이미지 데이터의 상기 복수의 픽셀 값들을 순차적으로 신하는 단계;
상기 복수의 픽셀 값들이 상기 RCD 처리 회로에 전송되는 순서에 동기하여, 상기 RCD 맵의 상기 픽셀 조정 값들을 순차적으로 수신하는 단계;
상기 복수의 픽셀 값들 중 수신된 픽셀 값에 상기 복수의 픽셀 조정 값들 중 대응하는 픽셀 조정 값을 실시간으로 적용하는 단계를 포함하는 것을 특징으로 하는, 이미지 처리장치의 동작 방법. - 제11 항에 있어서,
복수의 이미지들을 나타내는 복수의 레이어 데이터들을 수신하는 단계;
상기 복수의 레이어 데이터들을 블렌딩(blending)하여 상기 제1 이미지 데이터를 생성하는 단계; 및
상기 제3 이미지를 압축하는 단계를 더 포함하는, 이미지 처리 장치의 동작 방법. - 적어도 하나의 둥근 모서리를 갖는 디스플레이 패널;
상기 디스플레이 패널을 구동하는 디스플레이 구동 집적 회로; 및
상기 디스플레이 패널에 표시될 제1 이미지 데이터에 대하여 복수의 픽셀 각각에 대응하는 픽셀 조정 값들을 포함하는 RCD 맵을 기초로 RCD 처리를 수행하여 상기 제1 이미지 데이터의 상기 디스플레이 패널의 둥근 모서리에 대응하는 제1 영역에 대한 밝기가 조정된 제2 이미지 데이터를 생성하고, 상기 제2 이미지 데이터를 상기 디스플레이 구동 집적 회로에 제공하는 애플리케이션 프로세서를 포함하는, 디스플레이 시스템. - 제16 항에 있어서, 상기 애플리케이션 프로세서는,
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
제1 이미지 데이터를 생성하고,
상기 제1 이미지 데이터에 대하여 화질 개선 처리를 수행하고,
외부 메모리로부터 RCD 맵을 독출하고,
화질 개선 처리가 수행된 상기 제1 이미지 데이터의 복수의 픽셀 값들에 대하여 상기 RCD 맵의 복수의 픽셀 조정 값을 적용하여 상기 제1 영역의 밝기가 조정된 상기 제2 이미지 데이터를 생성하는 것을 특징으로 하는, 디스플레이 시스템. - 제17 항에 있어서, 상기 적어도 하나의 프로세서는,
상기 외부 메모리에 저장된 상기 RCD 맵의 압축 스트림을 독출하고,
상기 압축 스트림을 압축 해제하여 상기 RCD 맵을 재구성하고,
상기 재구성된 RCD 맵을 기초로 상기 RCD 처리를 수행하는 것을 특징으로 하는, 디스플레이 시스템. - 제17 항에 있어서, 상기 적어도 하나의 프로세서는,
상기 외부 메모리에 저장된 상기 RCD 맵 중 상기 제1 영역을 포함하는 적어도 하나의 관심 영역에 대응하는 적어도 하나의 영역에 대응하는 픽셀 조정 값들을 독출하는 것을 특징으로 하는, 디스플레이 시스템. - 제16 항에 있어서, 상기 RCD 맵은,
상기 제1 영역의 픽셀 값들에 각각 대응하는 제1 픽셀 조정 값들,
상기 디스플레이 패널의 둥근 모서리 안쪽의 표시 영영에 대응하는 제2 픽셀 조정 값들, 및 상기 디스플레이 패널의 둥근 모서리 바깥쪽의 비표시 영역에 대응하는 제3 픽셀 조정 값들을 포함하고, 상기 제1 픽셀 조정 값들은 가변되고, 상기 제2 픽셀 조정 값들 및 상기 제3 픽셀 조정 값들은 고정된 값인 것을 특징으로 하는, 디스플레이 시스템.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125815A KR20240045897A (ko) | 2022-09-30 | 2022-09-30 | 이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템 |
| CN202311227009.1A CN117812198A (zh) | 2022-09-30 | 2023-09-21 | 图像处理设备、其操作方法和包括图像处理设备的显示系统 |
| US18/372,350 US20240112606A1 (en) | 2022-09-30 | 2023-09-25 | Image processing device, operating method thereof, and display system including image processing device |
| EP23199659.6A EP4345804A1 (en) | 2022-09-30 | 2023-09-26 | Image processing device, operating method thereof, and display system including image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125815A KR20240045897A (ko) | 2022-09-30 | 2022-09-30 | 이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240045897A true KR20240045897A (ko) | 2024-04-08 |
Family
ID=88197313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220125815A KR20240045897A (ko) | 2022-09-30 | 2022-09-30 | 이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240112606A1 (ko) |
| EP (1) | EP4345804A1 (ko) |
| KR (1) | KR20240045897A (ko) |
| CN (1) | CN117812198A (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102523988B1 (ko) * | 2016-08-29 | 2023-04-20 | 삼성전자주식회사 | 곡선 표시 영역을 포함하는 디스플레이의 구동 방법과 이를 지원하는 디스플레이 구동 회로 및 이를 포함하는 전자 장치 |
| US10706779B2 (en) * | 2017-02-23 | 2020-07-07 | Synaptics Incorporated | Device and method for image data processing |
| EP3893234A1 (en) * | 2017-09-11 | 2021-10-13 | Apple Inc. | Electronic display border gain systems and methods |
-
2022
- 2022-09-30 KR KR1020220125815A patent/KR20240045897A/ko unknown
-
2023
- 2023-09-21 CN CN202311227009.1A patent/CN117812198A/zh active Pending
- 2023-09-25 US US18/372,350 patent/US20240112606A1/en active Pending
- 2023-09-26 EP EP23199659.6A patent/EP4345804A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240112606A1 (en) | 2024-04-04 |
| EP4345804A1 (en) | 2024-04-03 |
| CN117812198A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106128357B (zh) | 显示驱动器和驱动显示面板的方法 | |
| US10438526B2 (en) | Display driver, and display device and system including the same | |
| US11151928B2 (en) | Flexible display device, and method of operating a flexible display device | |
| CN107315275B (zh) | 显示方法、装置和计算机设备 | |
| US11037271B2 (en) | Dynamic rendering for foveated rendering | |
| US10565689B1 (en) | Dynamic rendering for foveated rendering | |
| US7050065B1 (en) | Minimalist color space converters for optimizing image processing operations | |
| CN112334970A (zh) | 基于显示器的原生色域和亮度的源侧色调映射 | |
| US11200636B2 (en) | Method and apparatus for generating a series of frames with aid of synthesizer to offload graphics processing unit rendering in electronic device | |
| TW202132969A (zh) | 利用顯示校正因數的方法及裝置 | |
| US20160307540A1 (en) | Linear scaling in a display pipeline | |
| KR20150140514A (ko) | 투명 디스플레이 장치의 색 보상 방법 | |
| KR102437567B1 (ko) | 애플리케이션 프로세서의 동작 방법 및 디스플레이 시스템 | |
| US20230388522A1 (en) | Display driving circuit and operating method for performing encoding and decoding | |
| US11410283B2 (en) | Electronic device and control method thereof | |
| US10504278B1 (en) | Blending neighboring bins | |
| KR20240045897A (ko) | 이미지 처리 장치, 이미지 처리 장치의 동작 방법, 및 이미지 처리 장치를 포함하는 디스플레이 시스템 | |
| CN114765018A (zh) | 透明显示装置及其驱动方法 | |
| US11336905B2 (en) | Storing index information for pixel combinations with similarity to a pixel to replace the pixel information | |
| US9953591B1 (en) | Managing two dimensional structured noise when driving a display with multiple display pipes | |
| CN116391199A (zh) | 通过使层属性优先化来处理图像数据 | |
| US11651716B2 (en) | Display device and driving method thereof | |
| US20230107140A1 (en) | Sink device, source device, and control methods for same | |
| US20230290314A1 (en) | Display device and method of operating the same | |
| US20230237947A1 (en) | Display device and method of driving the same |