KR20220149124A - 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템 - Google Patents

이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템 Download PDF

Info

Publication number
KR20220149124A
KR20220149124A KR1020210056354A KR20210056354A KR20220149124A KR 20220149124 A KR20220149124 A KR 20220149124A KR 1020210056354 A KR1020210056354 A KR 1020210056354A KR 20210056354 A KR20210056354 A KR 20210056354A KR 20220149124 A KR20220149124 A KR 20220149124A
Authority
KR
South Korea
Prior art keywords
data
image data
image
graphic
compressed
Prior art date
Application number
KR1020210056354A
Other languages
English (en)
Inventor
변정문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210056354A priority Critical patent/KR20220149124A/ko
Priority to US17/521,275 priority patent/US11962951B2/en
Publication of KR20220149124A publication Critical patent/KR20220149124A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

이미지 신호 프로세서가 제공된다. 상기 이미지 신호 프로세서는 그래픽 이미지 내 픽셀 데이터에 대한 제1 이미지 데이터를 수신하고, 제1 이미지 데이터에 대해 압축을 수행하여 제1 압축 데이터를 생성하는 제1 인코더, 제1 이미지 데이터로부터 그래픽 이미지의 알파(alpha) 값(α)을 추출하고, 알파 값(α)에 대한 알파 맵을 생성하는 알파 맵 스케일러, 알파 맵과 비디오 이미지 내 픽셀 데이터에 대한 제2 이미지 데이터를 수신하고, 제2 이미지 데이터를 알파 맵에 연산 처리하여 곱(multiply) 데이터를 생성하고, 곱 데이터를 기초로 제2 이미지 데이터에 대한 압축을 수행하여 제2 압축 데이터를 생성하는 제2 인코더를 포함한다.

Description

이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템{A IMAGE SIGNAL PROCESSOR, A METHOD OF OPERATING A IMAGE SIGNAL PROCESSOR AND A IMAGE PROCESSING SYSTEM INCLUDING THE IMAGE PROCESSING DEVICE}
본 발명은 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템에 관한 것이다.
비디오 고해상도 영상 및 고프레임율(high-frame rate) 영상의 필요성이 대두되면서 이미지 처리 장치의 여러 멀티미디어 IP(Intellectual Property)가 메모리에 액세스(access)되는 양 즉, 밴드위스(bandwidth)가 크게 증가하게 되었다.
밴드위스가 증가하게 되면 이미지 처리 장치의 처리 능력이 한계에 도달하여 비디오 영상의 녹화 및 재생 동작시에 속도가 저하되는 문제가 발생할 수 있다.
이에 따라서, 이미지 처리 장치를 포함하는 멀티미디어 IP가 메모리에 액세스할 때, 데이터의 크기를 압축하는 방식이 고려되고 있다. 예를 들어, 메모리에 데이터를 라이트(write)하기 전에 데이터를 압축(compress)하고, 메모리에서 데이터를 리드(read)하기 전에는 압축된 데이터를 압축 해제(decompress)할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는 최적화된 이미지 데이터 압축을 수행하는 이미지 신호 프로세서를 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는 최적화된 이미지 데이터 압축을 수행하는 이미지 신호 프로세서 동작 방법를 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 최적화된 이미지 데이터 압축을 수행하는 디스플레이 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는 전력 효율이 향상된 이미지 신호 프로세서를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 몇몇 실시 예에 따른 이미지 신호 프로세서는 그래픽 이미지 내 픽셀 데이터에 대한 제1 이미지 데이터를 수신하고, 제1 이미지 데이터에 대해 압축을 수행하여 제1 압축 데이터를 생성하는 제1 인코더, 제1 이미지 데이터로부터 그래픽 이미지의 알파(alpha) 값을 추출하고, 알파 값(α)에 대한 알파 맵을 생성하는 알파 맵 스케일러, 알파 맵과 비디오 이미지 내 픽셀 데이터에 대한 제2 이미지 데이터를 수신하고, 제2 이미지 데이터를 알파 맵에 연산 처리하여 곱(multiply) 데이터를 생성하고, 곱 데이터를 기초로 제2 이미지 데이터에 대한 압축을 수행하여 제2 압축 데이터를 생성하는 제2 인코더를 포함한다.
상기 기술적 과제를 달성하기 위한 몇몇 실시 예에 따른 이미지 신호 프로세서는 그래픽 이미지 내 픽셀 데이터에 대한 제1 이미지 데이터와 비디오 이미지 내 픽셀 데이터에 대한 제2 이미지 데이터를 처리하여 출력 이미지를 생성하는 이미지 신호 프로세서, 제1 이미지 데이터에 대한 제1 압축 데이터, 제2 이미지 데이터에 대한 제2 압축 데이터 및 출력 이미지를 수신하는 메모리 및 출력 이미지를 디스플레이하는 디스플레이를 포함하되, 이미지 신호 프로세서는, 제1 이미지 데이터 내 제1 이미지 데이터를 수신하고, 제1 이미지 데이터에 대해 압축을 수행하여 제1 압축 데이터를 생성하는 제1 인코더와 제1 이미지 데이터로부터 그래픽 이미지의 알파(alpha) 값을 추출하고, 알파 값(α)에 대한 알파 맵을 생성하는 알파 맵 스케일러와 알파 맵과 제2 이미지 데이터 내 제2 이미지 데이터를 수신하고, 제2 이미지 데이터를 알파 맵에 연산 처리하여 곱(multiply) 데이터를 생성하고, 곱 데이터를 기초로 제2 이미지 데이터에 대한 압축을 수행하여 제2 압축 데이터를 생성하는 제2 인코더를 포함한다.
상기 기술적 과제를 달성하기 위한 몇몇 실시 예에 따른 이미지 신호 프로세서 동작 방법은 그래픽 이미지 내 픽셀 데이터에 대한 제1 이미지 데이터를 수신하고, 제1 이미지 데이터로부터 그래픽 이미지의 알파(alpha) 값을 추출하고, 알파 값(α)에 대한 알파 맵을 생성하고, 알파 맵과 비디오 이미지 내 픽셀 데이터에 대한 제2 이미지 데이터를 수신하고, 제2 이미지 데이터를 알파 맵에 연산 처리하여 곱(multiply) 데이터를 생성하고, 곱 데이터를 기초로 제2 이미지 데이터에 대한 압축을 수행하여 제2 압축 데이터를 생성하고, 제1 이미지 데이터에 대해 압축을 수행하여 제1 압축 데이터를 생성하고, 제1 압축 데이터 및 제2 압축 데이터를 기초로 믹싱을 수행하여 알파 블랜딩을 수행하는 것을 포함한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템을 설명하기 위한 도면들이다.
도 2 내지 도 7은 본 발명의 몇몇 실시예들에 따른 이미지 신호 프로세서를 설명하기 위한 도면들이다.
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 동작을 설명하기 위한 순서도이다.
도 10 내지 도 13은 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 동작을 설명하기 위한 도면들이다.
도 14 및 도 15는 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 효과를 설명하기 위한 도면들이다.
도 16은 본 발명의 또 다른 몇몇 실시예들에 따른 이미지 처리 시스템의 동작을 설명하기 위한 도면이다.
도 17 및 도 18은 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 효과를 설명하기 위한 도면들이다.
이하, 첨부된 도면을 참조하여 본 발명의 기술적 사상에 따른 실시예들에 대해 설명한다. 도 1 내지 도 18의 설명에서 실질적으로 동일한 구성 요소에 대해서는 동일한 도면 부호 사용하며, 해당 구성요소에 대한 중복된 설명은 생략하기로 한다. 또한 본 발명의 여러 도면에 걸쳐서, 유사한 구성요소에 대해서는 유사한 도면 부호가 사용된다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템을 설명하기 위한 도면들이다.
도 1을 참조하면, 이미지 처리 시스템(1)은 이미지 신호 프로세서(100), 디스플레이(200), 메모리(300) 및 시스템 버스(400)을 포함한다.
이미지 처리 시스템(1)은 이미지 처리 장치로, 전자 장치(100)는 영상 데이터를 디스플레이할 수 있는 PC(Personal Computer), 휴대용 컴퓨터(portable computer), 디지털 카메라(digital camera), PDA(personal digital assistance), 휴대 전화기(cellular telephone), MP3 플레이어, PMP(portable multimedia player), 차량자동항법장치(automotive navigation system) 등을 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 신호 프로세서(100)는 비디오(VIDEO) 이미지 데이터와 그래픽 (GRAPHIC) 이미지 데이터에 대해 알파-블랜딩(Alpha-blending)을 수행하여 합성 이미지 데이터를 생성하고 출력한다.
이미지 신호 프로세서(100)는 복수의 그래픽 이미지 중 적어도 하나에 대응되는 알파 값(α)에 기초하여 비디오 이미지 및 복수의 그래픽 이미지를 알파 블렌딩(alpha blending)하여 출력 이미지를 획득할 수 있다. 여기서, 알파 블렌딩이란 이미지 위에 또 다른 이미지를 오버랩할 때 마치 투명하게 비치는 효과를 내기 위해 색상 값 RGB에 알파 값(α)라는 새로운 값을 할당하여 백그라운드 RGB 값과 그 위의 RGB 값을 혼합하여 표시하는 방법을 의미한다. 예를 들어, 알파(Alpha) 값(α)은 0~255 값 또는 0.0~1.0 값으로 구분되며, 0은 완전 투명(completely transparent), 그 반대인 255(또는 1.0 등 제일 높은 값)은 완전 불투명(fully opaque)한 것을 의미할 수 있다. 또는 0은 완전 불투명, 그 반대인 255(또는 1.0 등 제일 높은 값)은 완전 투명한 것을 의미할 수 있다. 예를 들어, Alpha 값에 8bit가 할당되어 0~255까지 값을 표현할 수 있다고 할 때 해당 값이 클수록 해당 픽셀의 비율이 높아지고 낮을수록 비율이 낮아질 수 있다. 일 예에 따라 비디오에 대한 이미지 데이터(V) 및 그래픽에 대한 이미지 데이터(G)를 믹싱하는 경우, 믹싱 동작은 V*알파 값(α) + G*(1-알파 값(α)) 로 표현될 수 있다.
상기 출력 과정에서, 이미지 신호 프로세서(100)는 입력되는 비디오 이미지 데이터와 그래픽 이미지 데이터에 대해 전처리하여 변환하고, 상기 전처리된 이미지 데이터에 대해 압축 동작을 수행하고, 이후 압축된 데이터를 수신하여 압축해제(decompress)를 수행한다.
도면상에서 도시되지 않았지만, 이미지 신호 프로세서(100)는 비디오 이미지 데이터와 그래픽 이미지 데이터의 포맷을 동일하게 하기 위해 변환을 수행한다. 예시적으로, YUV 방식 데이터를 RGB 방식의 데이터로 변환할 수 있다.
YUV 방식은 밝기 즉, 휘도 (Luminance) 신호와 색차(Chrominance) 신호를 분리해서 표현하는 데이터 포맷을 의미한다. 즉, Y는 휘도 신호를 의미하고, U(Cb)와 V(Cr)는 각각 색차 신호를 의미한다. U는 휘도 신호와 청색 신호 성분의 차를 의미하고, V는 휘도 신호와 적색 신호 성분의 차를 의미한다.
RGB 방식의 데이터란, 빛의 3원색을 기반으로 색을 표현한 데이터 포맷을 의미한다. 즉, 빨강(RED), 초록(GREEN), 파랑(BLUE) 세 종류의 색을 이용하여 이미지를 표현하는 방식이다. 이러한 RGB 방식의 데이터는 예를 들어, R=1.164(Y-16)+1.596(V-128), G=1.164(Y-16)-0.813(V-128)-0.391(U-128), B=1.164(Y-16)+2.018(U-128)과 같은 변환식을 이용하여 YUV 방식의 데이터로부터 변환되어 획득될 수 있다.
이미지 신호 프로세서(100)는 메모리(300)에 개별적으로 액세스하기 전에 상기 전처리된 이미지 데이터를 압축을 수행하고, 이후 메모리(300)에서 액세스된 후 이미지 신호 프로세서(100)는 상기 압축 데이터에 대해 압축해제(decompress)를 수행한다. 이미지 신호 프로세서(100)는 상기 압축 데이터를 메모리(300)에 저장하여 디스플레이(200)를 포함한 멀티미디어 IP로 다시 전송하고, 디스플레이(200)를 포함한 멀티미디어 IP는 개별적으로 압축해제 수행할 수 있다.
상기 멀티미디어 IP는 디스플레이(200) 외에 흔들림 보정 모듈, 멀티 포맷 코덱, GPU 등이 포함될 수 있으나, 본원 발명 즉, 상기 멀티미디어 IP는 비디오, 그래픽 등 이미지를 처리하기 위해서 메모리(300)에 액세스해야 하는 처리 모듈로 각각 메모리(300)에 개별적으로 액세스하여 데이터를 라이트 또는 리드할 수 있다.
따라서, 디스플레이(200)는 개별적으로 메모리(300)에 액세스하여 저장된 데이터를 화면에 표시할 수 있다. 디스플레이(200)는, 이미지 신호 프로세서(110)가 처리한 이미지 데이터를 화면에 표시할 수 있다. 즉, 디스플레이(200)는 이미지 신호 프로세서(100)에서 출력된 출력 이미지에 대한 데이터를 디스플레이할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
메모리(300)는 상기 압축 데이터를 저장할 수 있다. 반대로, 메모리(300)에 저장된 상기 압축 데이터는 상기 멀티미디어 IP에 의해서 로드되고, 로드된 데이터는 이미지 신호 프로세서(100) 또는 상기 멀티미디어 IP로 전송될 수 있다.
시스템 버스(400)는 이미지 신호 프로세서(100), 디스플레이(200) 및 메모리(300)가 각각 연결될 수 있다. 구체적으로, 이미지 신호 프로세서(100), 디스플레이(200)는 개별적으로 시스템 버스(400)에 연결될 수 있다. 도시되지 않았지만 상기 멀티미디어 IP 또한 개별적으로 시스템 버스(400)에 연결될 수 있다. 시스템 버스(400)는 이미지 신호 프로세서(100), 디스플레이(200)와 메모리(300)가 서로 데이터를 전송하는 경로가 될 수 있다.
도 2 내지 도 7은 본 발명의 몇몇 실시예들에 따른 이미지 신호 프로세서를 설명하기 위한 도면들이다.
도 2 내지 도 7을 참조하면, 이미지 신호 프로세서(100)는 압축 데이터(Comp_D)를 출력하여 도 1의 메모리(300)로 제공한다. 이미지 신호 프로세서(100)는 그래픽 IP(110), 비디오 IP(120), 알파 맵 스케일러(130) 및 믹서(140)을 포함할 수 있다.
그래픽 IP(110)는 이차원 혹은 3차원 그래픽의 연산 및 생성을 할 수 있고, 그래픽 이미지 내 각각의 픽셀에 대한 정보를 포함하는 이미지 데이터에 대해 압축 또는 압축해제 동작을 수행한다.
그래픽 IP(110)는 그래픽 인코더(111), 그래픽 디코더(112), 그래픽 스케일러(113)를 포함한다.
그래픽 인코더(111)는 알파(alpha) 값(α)에 대해 연산 처리된 그래픽 이미지 데이터(11)를 압축 동작을 수행하여 그래픽 압축 데이터(12)를 생성하여 시스템 버스(400)를 통해서 메모리(300)로 전송할 수 있다. 실시예에 따라 이미지 데이터(11)는 인코더(111)에 그래픽 이미지를 구성하는 픽셀 단위 또는 블록 단위로 제공될 수 있다.
반대로, 그래픽 디코더(112)는 메모리(300)에서 시스템 버스(400)를 통해 입력된 그래픽 압축 데이터(12)에 대해 압축해제 동작을 수행하여 그래픽 이미지 데이터(11)를 생성할 수 있다.
그래픽 인코더(111)는 그래픽 예측 모듈(111_1), 그래픽 엔트로피 인코딩 모듈(111_2) 및 그래픽 패킹 모듈(111_3)을 포함할 수 있다.
그래픽 예측 모듈(111_1)은 그래픽 이미지 데이터(11)를 잔차 데이터로 변환할 수 있다. 잔차 데이터는 기준 픽셀의 데이터와 기준 픽셀에 인접한 픽셀에 대한 잔차로 나누어 표현될 수 있다. 예를 들어, 하나의 픽셀이 0~255의 값을 가지고 있는 경우에는 이를 표현하기 위해서 픽셀당 8bit의 데이터가 필요할 수 있다. 이에 대해서, 인접한 픽셀이 유사한 값을 가지는 경우에는 인접한 픽셀과의 차이 즉, 잔차만을 표현하여도 데이터의 손실은 없고, 표현하기 위한 데이터 bit의 수는 대폭 감소할 수 있다. 예를 들어, 기준 픽셀과 인접 픽셀(P1, P2)이 (96, 97, 98)의 값을 가지는 픽셀이 연속한 경우에는 기준 픽셀의 데이터를 96으로 한다면, (96(기준), 1(잔차), 1(잔차))의 잔차 데이터 표현으로 충분하고, 이러한 잔차 데이터 표현을 위한 픽셀당 bit수는 2bit로 매우 작아질 수 있다.
따라서, 그래픽 예측 모듈(111_1)은 잔차 데이터를 기준 픽셀의 데이터와 인접 픽셀에 대한 잔차로 나누어 표현하여 전체적인 그래픽 이미지 데이터(11)의 크기를 압축할 수 있다. 또한 그래픽 예측 모듈(111_1)로 입력되는 그래픽 이미지 데이터(11)와 그래픽 예측 모듈(111_1)에서 생성하는 예측 데이터를 기준으로 잔차 데이터를 생성할 수 있으나, 예측 데이터를 생성하는 방법은 실시예에 따라 여러가지 방법이 가능할 수 있다.
그래픽 예측 모듈(111_1)은 픽셀 단위로 예측을 수행하거나, 블록 단위로 예측을 수행할 수 있다. 이 때, 블록이란 복수의 인접한 픽셀이 이루는 영역을 의미할 수 있다.
그래픽 엔트로피 인코딩 모듈(111_2)은 그래픽 예측 모듈(111_1)에 의해서 생성된 잔차 데이터를 엔트로피 코딩을 통해서 압축할 수 있다. 그래픽 엔트로피 인코딩 모듈(111_2)은 하나의 픽셀에 대한 이미지 데이터(10)의 일부 또는 전부에 대해 가변 비트율(variable bit rate(VBR))또는 고정 비트율(constant bit rate(CBR))로 인코딩 수행하여 압축할 수 있다. 가변 비트율 방식으로 인코딩 수행될 경우 그래픽 엔트로피 인코딩 모듈(111_2)은 픽셀마다 가변하는 비트들의 개수를 출력한다. 그래픽 엔트로피 인코딩 모듈(111_2)은 골룸 라이스 코딩(Golomb Rice coding), 익스포넨셜 골룸 코딩(exponential golomb coding) 또는 허프만 코딩(Huffman coding) 방식으로 인코딩을 수행할 수 있다. 특히, 그래픽 이미지 데이터(11)는 골룸 라이스 코딩(Golomb Rice coding) 방식으로 압축될 수 있다. 이 때, 그래픽 엔트로피 인코딩 모듈(111_2)은 K값을 통해서 엔트로피 테이블을 생성할 수 있어 간단하게 그래픽 이미지 데이터(11)를 압축할 수 있다.
엔트로피 테이블은 엔트로피 코딩 알고리즘을 수행하기 위해 K값을 통해 식별되는 복수의 코드 테이블을 의미하며, 본 발명의 몇몇의 실시예에서 사용될 수 있는 엔트로피 테이블은 골롬-라이스 코드(golomb rice code) 및 지수 골롬 코드(exponential golomb code) 중 적어도 하나를 포함할 수 있다. 엔트로피 코딩, 골롬-라이스 코딩, 지수 골롬 코딩 알고리즘 등에 관한 개념은 데이터 압축 기술로서 이미 공지된 내용에 해당하므로 본 명세서에서는 그 구체적인 설명을 생략하도록 한다.
도시되지 않았지만, 실시예에 따라 그래픽 인코더(111)가 손실(lossy) 모드로 동작하는 경우 그래픽 엔트로피 인코딩 모듈(111_2)에 앞서 양자화 모듈이 동작할 수 있다. 손실 모드는 양자화 모듈이 동작하지 않는 무손실 모드에 비해서 압축률이 상대적으로 높을 수 있고, 미리 설정된 고정 압축률을 가질 수 있어 추후에 압축률에 대한 정보다 별도로 필요하지 않을 수 있다. 다만 양자화 모듈에서 그래픽 이미지 데이터(11)의 일부 비트에 대해 제거 동작이 수행될 수 있어 추후에 복원되지 않아 손실될 수 있다.
패킹 모듈(111_3)은 그래픽 엔트로피 인코딩 모듈(111_2)에 의해서 압축된 그래픽 이미지 데이터(11)에 패딩(padding)을 수행하고, 인코더(111)에서 출력되는 데이터를 패킹하여 데이터 스트림 형태의 그래픽 압축 데이터(12)로 출력할 수 있다. 여기서, 패딩이란 특정한 크기에 맞추기 위해서 무의미한 데이터를 추가하는 것을 의미할 수 있다.
이후, 이미지 신호 프로세서(100)는 생성한 그래픽 압축 데이터(12)를 메모리(300)에 라이트(write)할 수 있다.
그래픽 디코더(112)는 그래픽 예측 보상 모듈(112_1), 그래픽 엔트로피 디코딩 모듈(112_2) 및 그래픽 언패킹 모듈(112_3)을 포함할 수 있다.
그래픽 언패킹 모듈(112_3)은 그래픽 인코더(111)의 패킹 모듈(111_3)에 의해서 패딩된 데이터의 패딩된 부분을 제거할 수 있다.
그래픽 엔트로피 디코딩 모듈(112_2)은, 그래픽 엔트로피 인코딩 모듈(111_2)에서 수행된 인코 방식에 따라 패딩된 부분이 제거된 그래픽 압축 데이터(12)에 대한 압축해제 동작을 수행할 수 있다.
예시적으로 그래픽 엔트로피 디코딩 모듈(112_2)이 가변 비트율(variable bit rate(VBR))로 인코딩 수행한 경우, 그래픽 엔트로피 디코딩 모듈(112_2)은 그래픽 압축 데이터(12)에 대하여 골룸 라이스 코딩, 익스포넨셜 골룸 코딩 또는 허프만 코딩 방식을 통해서 압축 해제를 수행할 수 있다. 예를 들어, 그래픽 엔트로피 인코딩 모듈(111_2)에서 골룸 라이스 코딩 방식으로 인코딩 된 경우 그래픽 엔트로피 디코딩 모듈(112_2)은 압축 데이터(12)를 골룸 라이스 코딩 방식으로 압축해제하는 것을 전제할 수 있다. 압축 데이터(12)는 K값을 포함하고 있으므로, 엔트로피 디코딩 모듈(112_2)은 상기 K값을 이용하여 디코딩을 수행할 수 있다.
그래픽 예측 보상 모듈(112_1)은 그래픽 예측 모듈(112_1)에 의해서 잔차 데이터로 표현된 데이터를 복원할 수 있다. 그래픽 예측 보상 모듈(112_1)은 예를 들어, (96(Base), 1(잔차), 1(잔차))의 잔차 데이터 표현을 (96, 97, 98)으로 변환시킬 수 있다.
그래픽 예측 보상 모듈(112_1)은 그래픽 예측 모듈(112_1)에 따라 픽셀 단위 또는 블록 단위로 수행된 예측을 복원할 수 있다. 이에 따라서, 그래픽 압축 데이터(12)가 복원 혹은 압축 해제되어 그래픽 이미지 데이터(11)가 생성될 수 있다.
그래픽 스케일러(113)는 압축 해제된 그래픽 이미지 데이터를 수신하여 그래픽 이미지를 비디오 이미지의 해상도에 대응하도록 스케일링을 수행하여 출력 그래픽 데이터를 생성할 수 있다. 예를 들어, 믹서(140)에서 믹싱될 비디오 이미지의 해상도가 8K이고, 수신된 그래픽 이미지의 해상도가 2K 또는 4K 해상도인 경우 그래픽 이미지 데이터를 8K 사이즈로 업스케일링할 수 있다.
비디오 IP(110)는 비디오에 대한 연산 및 비디오 이미지 데이터 생성을 할 수 있고, 비디오 이미지 내 각각의 픽셀에 대한 정보를 포함하는 이미지 데이터에 대해 압축 또는 압축해제 동작을 수행한다.
비디오 IP(120)는 비디오 인코더(121), 비디오 디코더(122), FRC(Frame Rate Conversion, 123)를 포함한다.
비디오 인코더(121)는 후술할 알파 맵 스케일러(130)로부터 알파 값(α)에 대한 알파 맵(M)을 수신하고, 비디오 이미지 데이터(21)를 수신하고, 상기 알파 맵(M)과 비디오 이미지 데이터(21)를 기초로 압축 동작을 수행하여 1-알파 값(α)으로 연산 처리된 비디오 압축 데이터(22)를 생성하여 시스템 버스(400)를 통해서 메모리(300)로 전송할 수 있다. 실시예에 따라 이미지 데이터(21)는 비디오 인코더(121)에 비디오 이미지를 구성하는 픽셀 단위 또는 블록 단위로 제공될 수 있다.
반대로, 비디오 디코더(122)는 메모리(300)에서 시스템 버스(400)를 통해 입력된 비디오 압축 데이터(22)에 대해 압축해제 동작을 수행하여 비디오 이미지 데이터(21')를 생성할 수 있다.
각각의 비디오 인코더(121)와 비디오 디코더(122)는 그래픽 인코더(111)와 그래픽 디코더(112)와 대응될 수 있고, 각각의 구성들의 차이점을 중심으로 비디오 인코더(121)와 비디오 디코더(122)를 설명하고, 대응되는 구성의 설명은 그래픽 인코더(111)와 그래픽 디코더(112)의 설명으로 대체될 수 있는 것은 자명하다.
비디오 인코더(121)는 비디오 예측 모듈(121_1), 비디오 엔트로피 인코딩 모듈(121_2), 비디오 패킹 모듈(121_3) 및 곱 연산 모듈(121_4)을 포함할 수 있다.
각각의 비디오 예측 모듈(121_1), 비디오 엔트로피 인코딩 모듈(121_2), 비디오 패킹 모듈(121_3)은 각각의 그래픽 예측 모듈(111_1), 그래픽 엔트로피 인코딩 모듈(111_2), 그래픽 패킹 모듈(111_3)에 대응된다.
곱 연산 모듈(121_4)은 알파 맵(M)와 비디오 이미지 데이터(21)를 수신하고, 이를 기초로 곱(multiply) 연산 처리를 수행하여 곱 데이터(MID)를 생성한다.
알파 맵(M)은 비디오 이미지 데이터(21)의 해상도에 대응되도록 스케일링되고, 1-알파 값(α), 1을 포함할 수 있다.
비디오 예측 모듈(121_1), 비디오 엔트로피 인코딩 모듈(121_2), 비디오 패킹 모듈(121_3)은 곱 데이터(MID)를 기초로, 비디오 이미지 데이터(21)에 대한 압축을 수행하여 비디오 압축 데이터(22)를 생성한다.
비디오 디코더(122)는 비디오 예측 보상 모듈(122_1), 비디오 엔트로피 디코딩 모듈(122_2) 및 비디오 언패킹 모듈(122_3)을 포함할 수 있다.
각각의 비디오 예측 보상 모듈(122_1), 비디오 엔트로피 디코딩 모듈(122_2) 및 비디오 언패킹 모듈(122_3)은 각각의 비디오 예측 모듈(112_1), 비디오 엔트로피 인코딩 모듈(112_2), 비디오 패킹 모듈(112_3)에 대응된다.
FRC(123)는 압축 해제된 복수의 비디오 이미지 데이터를 수신하고 상기 복수의 비디오 이미지 데이터 사이에 보간된 비디오 이미지 데이터들을 획득하여 프레임 레이트를 변경하는 비디어 작업 처리를 수행하여 비디오 출력 데이터인 출력 비디오 영상을 획득할 수 있다.
알파 맵 스케일러(130)는 그래픽 인코더(112)로부터 그래픽 이미지 데이터(11)을 수신하거나, 메모리(300)로부터 그래픽 압축 데이터(12)를 수신하여 그래픽 이미지의 알파(alpha) 값(α)을 추출하고, 비디오 이미지 데이터(21)의 해상도를 기초로 스케일링을 수행하여 1-알파 값(α)과 1값을 갖는 알파 맵(M)을 생성하고, 상기 알파 맵(M)을 비디오 인코더(121)에 제공한다.
믹서(140)는 FRC(123)에서 출력될 출력 비디오 데이터와 그래픽 스케일러(113)에서 스케일링된 출력 그래픽 데이터에 대해 믹싱을 수행하여 출력 이미지를 생성하여 알파 블랜딩(alpha-blending)을 수행하여 출력 동영상을 출력한다.
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 동작을 설명하기 위한 순서도이다. 도 10 내지 도 13은 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 동작을 설명하기 위한 도면들이다.
도 9 및 도 10 내지 도 11을 함께 참조하면, 알파 맵 스케일러(130)은 메모리(300)로부터 그래픽 압축 데이터(12)를 수신하고, 그래픽 압축 데이터(12)에서 그래픽 수평 구간(A)과 그래픽 수직 구간(B) 중 불투명 영역(AB1)에 대응하는 이미지 데이터로부터 알파 값(α)을 추출한다(S110).
그래픽 압축 데이터(12)에 대응하는 그래픽 이미지 데이터(12)는 그래픽 수직 구간(B)에서 각각의 수평 라인에 대응하는 제1 내지 제n 그래픽 이미지 데이터(L1-Ln)을 포함하고, 이 중 불투명 영역(AB1)과 중첩하는 제2 내지 제n-1 그래픽 이미지 데이터(L1-Ln)는 알파 값(α)에 의해 연산되고, 이 중 불투명 영역(AB1)과 비중첩하는 제1 그래픽 이미지 데이터(L1)과 제n 그래픽 이미지 데이터(Ln)는 0에 의해 연산된다.
알파 맵 스케일러(130)은 제2 내지 제n-1 그래픽 이미지 데이터(L2-Ln-1)에 대응하는 그래픽 압축 데이터(12)를 기초로 알파 값(α)을 추출한다.
알파 맵 스케일러(130)은, 비디오 수평 구간(X), 비디오 수직 구간(Y)과 중첩 영역(XY1)을 고려하여 스케일링을 수행하여 알파 맵(M)을 생성한다(S120).
알파 맵(M)은 제1 영역(M1)과 제2 영역(M2)을 포함하고, 비디오 이미지 데이터(21)의 중첩 영역(XY1)에 대응하는 제1 영역(M1)은 1-알파 값(α)을 갖고, 중첩 영역(XY1) 외에 나머지 영역에 대응하는 제2 영역(M2)은 1값을 갖는다. 상기 중첩 영역(XY1)은 그래픽 이미지 데이터(11)의 불투명 영역(AB1)과 대응한다.
곱 연산 모듈(121_4)은 알파 맵(M)과 비디오 이미지 데이터(21)를 수신하고, 이를 기초로 곱(multiply) 연산 처리를 수행하여 곱 데이터(MID)를 생성한다(S130).
비디오 이미지 데이터(21)은 비디오 수직 구간(Y)에서 각각의 수평 라인에 대응하는 제1 내지 제n 비디오 이미지 데이터(L1'-Ln')을 포함하고 각각의 제1 내지 제n 비디오 이미지 데이터(L1'-Ln')는 제1 내지 제n 그래픽 이미지 데이터(L1-Ln) 각각에 대응한다.
이 중 중첩 영역(XY1)과 중첩되는 제2 내지 제n-1 비디오 이미지 데이터(L2'-Ln-1')는 알파 맵(M)의 제1 영역(M1)에 의해 1-알파 값(α)으로 곱 연산되고, 제1 및 제n 비디오 이미지 데이터(L1', Ln')는 알파 맵(M)의 제1 영역(M1)에 의해 1값에 의해 곱 연산된다.
도 12를 함께 참조하면, 제2 내지 제n-1 비디오 이미지 데이터(L2'-Ln-1')에 포함되는 블록(BLK)은 제1 내지 제4 픽셀(P1-P4)을 포함한다. 제1 내지 제4 픽셀(P1-P4)은 각각 8bit에 할당하는 이미지 데이터를 포함하고, 각각은 128, 158, 128, 158을 갖는다. 제1 픽셀(P1)은 압축 및 압축해제 동작시 기준 픽셀로 수행되고, 픽셀 간 이미지 데이터 차이의 최대값은 30이다.
곱 연산 모듈(121_4)은, 블록(BLK)을 1-알파 값(α)인 0.5에 연산 처리를 수행하고, 곱 데이터(MID)에서 제1 내지 제4 픽셀(P1-P4)은 64, 79, 64, 79를 갖고 픽셀 간 곱 데이터 차이의 최대값은 15이다.
그래픽 인코더(111)는 그래픽 이미지 데이터(11)를 압축하여 그래픽 압축 데이터(12)를 생성하고, 비디오 인코더(121)는 곱 데이터(MID)를 기초로, 비디오 이미지 데이터(21)을 압축을 수행하여 비디오 압축 데이터(22)를 생성한다(S140).
비디오 예측 모듈(121_1), 비디오 엔트로피 인코딩 모듈(121_2), 비디오 패킹 모듈(121_3)은 곱 데이터(MID)를 기초로 압축을 수행하고, 제1 픽셀(P1)을 기초로 제1 내지 제4 픽셀(P1-P4)의 잔차 데이터는 64, 15, 0, 15를 갖는다.
픽셀 간 데이터 차이의 최대값은 15이므로 기 제2 내지 제4 픽셀(P2-P4)의 압축 데이터에는 4bit가 할당된다. 설명의 편의를 위해 고정 비트율 방식으로 압축된 것으로 기술됐으나, 본원의 기술적 사상은 이에 제한되지 않는다.
메모리(140)에 그래픽 압축 데이터(12)와 비디오 압축 데이터(22)를 제공하여, 그래픽 압축 데이터(12)와 비디오 압축 데이터(22)를 액세스한다(S150).
액세스 동작 이후, 각각의 그래픽 압축 데이터(12)와 비디오 압축 데이터(22)는 각각의 그래픽 인코더(111)와 비디오 인코더(121)에 제공되어 압축해제된다.
각각의 압축해제된 그래픽 이미지 데이터(11)와 비디오 이미지 데이터(21')는 그래픽 스케일러(113)과 FRC(123)에 제공되어, 출력 그래픽 데이터(Graphic Data)와 출력 비디오 데이터(Graphic Data)로 변환된다.
믹서(140)는 출력 그래픽 데이터(Graphic Data)와 출력 비디오 데이터(Graphic Data)를 믹싱하여 출력 이미지인 출력 데이터(OD)를 생성한다(S160).
도 13을 함께 참조하면, 출력 데이터(OD)의 중첩 영역(XY1)에 도 11의 그래픽 이미지 데이터(11) 내 불투명 영역(AB1)에 대응하는 그래픽 이미지가 배치된다.
도 14 및 도 15는 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 효과를 설명하기 위한 도면들이다.
도 14 및 도 15를 참조하면, 그래픽 이미지 데이터(11)는 제1 내지 제n 그래픽 이미지 데이터(L1-Ln)을 포함하고, 제1 내지 제n 그래픽 이미지 데이터(L1-Ln)의 데이터 총 크기는 DS_G이다. 비디오 이미지 데이터(21)는 제1 내지 제n 비디오 이미지 데이터(L1'-Ln')을 포함하고, 제1 내지 제n 비디오 이미지 데이터(L1-Ln)의 데이터 총 크기는 DS_V이다.
제1 내지 제n 그래픽 이미지 데이터(L1-Ln)는 그래픽 인코더(111)에 의해 압축되어 제1 내지 제n 그래픽 압축 데이터(L1c-Lnc)로 압축되고, 제1 내지 제n 비디오 이미지 데이터(L1'-Ln')는 비디오 인코더(121)에 의해 압축되어 제1 내지 제n 그래픽 압축 데이터(L1'c-Ln'c)로 압축된다.
그래픽 인코더(111), 비디오 인코더(121) 및 알파 맵 스케일러(130)의 동작에 의해, 제1 내지 제n 그래픽 압축 데이터(L1c-Lnc)와 제1 내지 제n 그래픽 압축 데이터(L1'c-Ln'c)의 데이터 총 크기는 DS_G 또는 DS_V보다 작을 수 있다.
그래픽 인코더(111), 비디오 인코더(121) 및 알파 맵 스케일러(130)의 동작을 통해, 메모리(300)에 입력되는 그래픽 이미지 데이터와 비디오 이미지 데이터의 액세스(access)되는 양을 줄일 수 있다.
도 16은 본 발명의 또 다른 몇몇 실시예들에 따른 이미지 처리 시스템의 동작을 설명하기 위한 도면이다. 이하에서, 도 16을 참조하여 본 발명의 또 다른 몇몇 실시예에 따른 이미지 처리 시스템의 동작을 설명한다. 도 10에 도시된 이미지 처리 시스템의 동작과의 차이점을 중심으로 설명한다.
알파 맵 스케일러(130)은 그래픽 인코더(111)로부터 그래픽 이미지 데이터(12)를 수신하고, 그래픽 이미지 데이터(11)로부터 알파 값(α)을 추출한다(S110).
알파 맵 스케일러(130)은 도 11의 제2 내지 제n-1 그래픽 이미지 데이터(L2-Ln-1)에 대응하는 그래픽 이미지 데이터(11)를 기초로 알파 값(α)을 추출한다.
추출된 알파 값(α)을 기초로 도 11의 비디오 이미지 데이터(21)의 중첩 영역(XY1)에 대응하는 알파 맵(M)을 생성한다.
도 17 및 도 18은 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 효과를 설명하기 위한 도면들이다.
도 17 및 도 18을 참조하면, 그래픽 이미지 데이터(11)는 제1 내지 제n 그래픽 이미지 데이터(L1-Ln)을 포함하고, 각각의 제1 내지 제n 그래픽 이미지 데이터(L1-Ln)의 데이터 크기는 BW_G이다. 비디오 이미지 데이터(21)는 제1 내지 제n 비디오 이미지 데이터(L1'-Ln')을 포함하고, 각각의 제1 내지 제n 비디오 이미지 데이터(L1-Ln)의 데이터 크기는 BW_V이다.
제1 내지 제n 그래픽 이미지 데이터(L1-Ln)는 그래픽 인코더(111)에 의해 압축되어 제1 내지 제n 그래픽 압축 데이터(L1c-Lnc)로 압축되고, 제1 내지 제n 비디오 이미지 데이터(L1'-Ln')는 비디오 인코더(121)에 의해 압축되어 제1 내지 제n 그래픽 압축 데이터(L1'c-Ln'c)로 압축된다.
그래픽 인코더(111), 비디오 인코더(121) 및 알파 맵 스케일러(130)의 동작에 의해, 몇몇 실시예에 따른 각각의 제1 내지 제n 그래픽 압축 데이터(L1c-Lnc)와 각각의 제1 내지 제n 비디오 이미지 데이터(L1'-Ln')는 메모리(300)에 동일한 시간에 입력될 수 있다.
따라서, 동일 시간에 메모리(300)로 입력되는 제k 그래픽 압축 데이터(Lkc)와 제k 내지 제k 그래픽 압축 데이터(Lk'c)의 데이터 크기의 합은 BW_G 또는 BW_V보다 작을 수 있고, 상기 k는 1 이상 n 이하 범위 내에 있다.
그래픽 인코더(111), 비디오 인코더(121) 및 알파 맵 스케일러(130)의 동작을 통해, 메모리(300)에 입력되는 그래픽 이미지 데이터와 비디오 이미지 데이터의 시간당 액세스(access)되는 양, 즉 밴드위스를 줄일 수 있다.
본원 발명의 이미지 처리 시스템은, 알파 맵(M)을 통해 연산 처리한 후 압축을 수행하여 픽셀 간 이미지 데이터 크기 차이의 최대값을 줄여 각각의 픽셀의 압축 데이터에 할당되는 비트 수를 줄여 압축률이 높아져, 메모리(300)에 입력되는 그래픽 이미지 데이터와 비디오 이미지 데이터의 액세스(access)되는 양을 줄일 수 있다.
본원 발명의 이미지 처리 시스템은, 알파 맵(M)을 통해 연산 처리한 후 압축을 수행하여 인접 픽셀 간 이미지 데이터 크기 차이를 줄여 압축 동작에 이용되는 전력 효율을 개선시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
111: 그래픽 인코더 112: 그래픽 디코더
113: 그래픽 스케일러 121: 비디오 인코더
122: 비디오 디코더 123: FRC
130: 알파 맵 스케일러 140: 믹서
300: 메모리 11: 그래픽 이미지 데이터
12: 그래픽 압축 데이터 21: 비디오 이미지 데이터
22: 비디오 압축 데이터

Claims (10)

  1. 그래픽 이미지 내 픽셀 데이터에 대한 제1 이미지 데이터를 수신하고, 상기 제1 이미지 데이터에 대해 압축을 수행하여 제1 압축 데이터를 생성하는 제1 인코더;
    상기 제1 이미지 데이터로부터 상기 그래픽 이미지의 알파(alpha) 값(α)을 추출하고, 상기 알파 값(α)에 대한 알파 맵을 생성하는 알파 맵 스케일러;
    상기 알파 맵과 비디오 이미지 내 픽셀 데이터에 대한 제2 이미지 데이터를 수신하고, 상기 제2 이미지 데이터를 상기 알파 맵에 연산 처리하여 곱(multiply) 데이터를 생성하고, 상기 곱 데이터를 기초로 상기 제2 이미지 데이터에 대한 압축을 수행하여 제2 압축 데이터를 생성하는 제2 인코더를 포함하는 이미지 신호 프로세서.
  2. 제1항에 있어서,
    상기 제1 압축 데이터 및 상기 제2 압축 데이터를 기초로 믹싱을 수행하여 알파 블랜딩(alpha-blending)을 수행하는 믹서를 더 포함하는 이미지 신호 프로세서.
  3. 제1항에 있어서,
    상기 알파 맵은 1-상기 알파 값(α) 및 1을 포함하는 이미지 신호 프로세서.
  4. 제1항에 있어서,
    상기 알파 맵 스케일러는 상기 제1 인코더로부터 상기 제1 이미지 데이터를 입력받고, 상기 알파 값(α)을 추출하는 이미지 신호 프로세서.
  5. 제1항에 있어서,
    상기 제1 이미지 데이터는 서로 상이한 제1_1 이미지 데이터와 제1_2 이미지 데이터를 포함하고,
    상기 제2 이미지 데이터는 상기 제1_1 이미지 데이터에 대응하는 제2_1 이미지 데이터와 상기 제1_2 이미지 데이터에 대응하는 제2_2 이미지 데이터를 포함하되,
    상기 제1_1 이미지 데이터는 상기 알파 값(α)에 의해서 연산되고, 상기 제1_1 이미지 데이터는 0으로 연산되고,
    상기 제2_1 이미지 데이터는 1- 상기 알파 값(α)에 의해서 연산되고, 상기 제2_2 이미지 데이터는 1과 연산되는 이미지 신호 프로세서.
  6. 제5항에 있어서,
    상기 알파 맵 스케일러는,
    상기 제2_1 이미지 데이터에 대응하여 1-상기 알파 값(α)을 갖고, 상기 제2_2 이미지 데이터에 대응하여 1을 포함하는 상기 알파 맵을 생성하는 이미지 신호 프로세서.
  7. 그래픽 이미지 내 픽셀 데이터에 대한 제1 이미지 데이터와 비디오 이미지 내 픽셀 데이터에 대한 제2 이미지 데이터를 처리하여 출력 이미지를 생성하는 이미지 신호 프로세서;
    상기 제1 이미지 데이터에 대한 제1 압축 데이터, 상기 제2 이미지 데이터에 대한 제2 압축 데이터 및 출력 이미지를 수신하는 메모리; 및
    상기 출력 이미지를 디스플레이하는 디스플레이를 포함하되,
    상기 이미지 신호 프로세서는,
    상기 제1 이미지 데이터를 수신하고, 상기 제1 이미지 데이터에 대해 압축을 수행하여 상기 제1 압축 데이터를 생성하는 제1 인코더와
    상기 제1 이미지 데이터로부터 상기 그래픽 이미지의 알파(alpha) 값(α)을 추출하고, 상기 알파 값(α)에 대한 알파 맵을 생성하는 알파 맵 스케일러와
    상기 알파 맵과 상기 제2 이미지 데이터를 수신하고, 상기 제2 이미지 데이터를 상기 알파 맵에 연산 처리하여 곱(multiply) 데이터를 생성하고, 상기 곱 데이터를 기초로 상기 제2 이미지 데이터에 대한 압축을 수행하여 제2 압축 데이터를 생성하는 제2 인코더를 포함하는 이미지 처리 시스템.
  8. 제7항에 있어서,
    상기 알파 맵 스케일러는 상기 제1 인코더로부터 상기 제1 이미지 데이터를 입력받고, 상기 알파 값(α)을 추출하는 이미지 처리 시스템.
  9. 제8항에 있어서,
    상기 제1 이미지 데이터는 서로 상이한 제1_1 이미지 데이터와 제1_2 이미지 데이터를 포함하고,
    상기 제2 이미지 데이터는 상기 제1_1 이미지 데이터에 대응하는 제2_1 이미지 데이터와 상기 제1_2 이미지 데이터에 대응하는 제2_2 이미지 데이터를 포함하되,
    상기 제1_1 이미지 데이터는 상기 알파 값(α)에 의해서 연산되어 상기 제1 압축 데이터 내 제1_1 압축 데이터로 압축되고, 상기 제1_1 이미지 데이터는 0으로 연산되어 상기 제1 압축 데이터 내 제1_2 압축 데이터로 압축되고,
    상기 제2_1 이미지 데이터는 1- 상기 알파 값(α)에 의해서 연산되어 상기 제2 압축 데이터 내 제2_1 압축 데이터로 압축되고, 상기 제2_2 이미지 데이터는 1과 연산되어 상기 제2 압축 데이터 내 제2_2 압축 데이터로 압축되고,
    상기 제1_1 압축 데이터와 상기 제2_1 압축 데이터는 상기 메모리에 함께 제공되는 이미지 처리 시스템.
  10. 그래픽 이미지 내 픽셀 데이터에 대한 제1 이미지 데이터를 수신하고,
    상기 제1 이미지 데이터로부터 상기 그래픽 이미지의 알파(alpha) 값(α)을 추출하고, 상기 알파 값(α)에 대한 알파 맵을 생성하고,
    상기 알파 맵과 비디오 이미지 내 픽셀 데이터에 대한 제2 이미지 데이터를 수신하고, 상기 제2 이미지 데이터를 상기 알파 맵에 연산 처리하여 곱(multiply) 데이터를 생성하고,
    상기 곱 데이터를 기초로 상기 제2 이미지 데이터에 대한 압축을 수행하여 제2 압축 데이터를 생성하고, 상기 제1 이미지 데이터에 대해 압축을 수행하여 제1 압축 데이터를 생성하고,
    상기 제1 압축 데이터 및 상기 제2 압축 데이터를 기초로 믹싱을 수행하여 알파 블랜딩을 수행하는 것을 포함하는 이미지 신호 프로세서 동작 방법.
KR1020210056354A 2021-04-30 2021-04-30 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템 KR20220149124A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210056354A KR20220149124A (ko) 2021-04-30 2021-04-30 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템
US17/521,275 US11962951B2 (en) 2021-04-30 2021-11-08 Image signal processor, method of operating the image signal processor and image processing system including the image signal processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210056354A KR20220149124A (ko) 2021-04-30 2021-04-30 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템

Publications (1)

Publication Number Publication Date
KR20220149124A true KR20220149124A (ko) 2022-11-08

Family

ID=83808792

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210056354A KR20220149124A (ko) 2021-04-30 2021-04-30 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템

Country Status (2)

Country Link
US (1) US11962951B2 (ko)
KR (1) KR20220149124A (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208354B1 (en) 1998-11-03 2001-03-27 Ati International Srl Method and apparatus for displaying multiple graphics images in a mixed video graphics display
US6646686B1 (en) 2000-09-21 2003-11-11 Intel Corporation Managing alpha values for video mixing operations
KR100657276B1 (ko) * 2004-08-30 2006-12-14 삼성전자주식회사 영상 출력 제어 장치 및 영상 출력 제어 방법
US8698838B1 (en) 2007-09-07 2014-04-15 Zenverge, Inc. Architecture for multiple graphics planes
US9355493B2 (en) 2007-12-31 2016-05-31 Advanced Micro Devices, Inc. Device and method for compositing video planes
KR101556159B1 (ko) 2009-03-02 2015-10-13 삼성전자주식회사 이미지 프로세서, 이를 포함하는 전자 장치, 및 이미지 처리 방법
US8655086B1 (en) 2011-11-01 2014-02-18 Zynga, Inc. Image compression with alpha channel data
KR20160026005A (ko) 2014-08-29 2016-03-09 (주) 디아이지 커뮤니케이션 알파 채널을 포함하는 증강 현실 동영상의 압축 장치 및 방법
KR101551915B1 (ko) 2015-03-16 2015-09-08 스타십벤딩머신 주식회사 영상압축방법 및 영상압축장치
US9640149B2 (en) * 2015-07-21 2017-05-02 Think Silicon Sa Methods for fixed rate block based compression of image data

Also Published As

Publication number Publication date
US11962951B2 (en) 2024-04-16
US20220353482A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US6285796B1 (en) Pseudo-fixed length image compression scheme
CN106254877B (zh) 视频处理系统、处理视频数据帧的方法、装置与存储介质
WO2009053780A2 (en) Frame buffer compression for video processing devices
US11445160B2 (en) Image processing device and method for operating image processing device
US11677932B2 (en) Image processing device
US11991347B2 (en) Image processing device
JP3462867B2 (ja) 画像圧縮方法および装置、画像圧縮プログラムならびに画像処理装置
US8600181B2 (en) Method for compressing images and a format for compressed images
KR20200065367A (ko) 이미지 처리 장치 및 프레임 버퍼 컴프레서
KR20220149124A (ko) 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템
KR100798386B1 (ko) 영상 압축방법과 신장방법 및 그 장치
KR20190091179A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR102465206B1 (ko) 이미지 처리 장치
US20220201340A1 (en) Image processing device and method for operating image processing device
KR20190091178A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
US20220201060A1 (en) Image processing device and method for operating image processing device
TWI795480B (zh) 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置
KR100656637B1 (ko) 정수 ­정수 컬러 변환 방법을 이용한 휴대폰용 정지 영상압축 방법
JP4364729B2 (ja) 画像データ圧縮／伸張方法および画像処理装置
CN115174929A (zh) 串矢量与像素值共用一个缓冲区的串预测解码方法及装置
JPH08204925A (ja) 自然画像と描画の保存装置
KR20110119144A (ko) 증강 현실 구현을 위한 영상 처리 장치 및 방법
JP2004364114A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination