KR20160011359A - 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법 - Google Patents

렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법 Download PDF

Info

Publication number
KR20160011359A
KR20160011359A KR1020140092303A KR20140092303A KR20160011359A KR 20160011359 A KR20160011359 A KR 20160011359A KR 1020140092303 A KR1020140092303 A KR 1020140092303A KR 20140092303 A KR20140092303 A KR 20140092303A KR 20160011359 A KR20160011359 A KR 20160011359A
Authority
KR
South Korea
Prior art keywords
lens shading
shading compensation
compensation coefficient
predicting
color
Prior art date
Application number
KR1020140092303A
Other languages
English (en)
Inventor
이경호
유상동
이종석
김정현
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020140092303A priority Critical patent/KR20160011359A/ko
Priority to US14/560,858 priority patent/US9571848B2/en
Priority to CN201410830781.7A priority patent/CN105323424B/zh
Publication of KR20160011359A publication Critical patent/KR20160011359A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 기술은 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법에 관한 것으로, 컬러 채널 간 및 컬러 채널 내 렌즈 쉐이딩 보상 계수의 중복성을 제거하고 데이터량을 감소시키는 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하고 그 역으로 압축을 해제하기 위한, 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법을 제공한다. 이러한 렌즈 쉐이딩 보상 계수 압축 장치는, 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 간의 중복성을 제거하기 위한 제 1 예측부; 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 내 중복성을 제거하기 위한 제 2 예측부; 및 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하기 위한 엔트로피 코딩부를 포함할 수 있다.

Description

렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법{Method and apparatus of lens shading compensation coefficient compression and decompression}
본 발명의 몇몇 실시예들은 씨모스 이미지 센서(CIS : CMOS(Complementary Metal Oxide Semiconductor) Image Sensor)의 렌즈 쉐이딩 보상 계수를 압축하고 그 압축을 해제하기 위한, 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 컬러 채널 간 및 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측 방식 및 엔트로피 코딩을 이용하여 렌즈 쉐이딩 보상 계수를 압축하고 그 역으로 압축을 해제하기 위한, 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법에 관한 것이다.
일반적으로 저화소 씨모스 이미지 센서(CIS)의 렌즈 쉐이딩 보상(LSC : Lens Shading Compensation)에서는 주로 1차원(1D) 형태의 렌즈 쉐이딩 보상 계수(LSCC : Lens Shading Compensation Coefficient)가 사용되었기 때문에 렌즈 쉐이딩 보상 계수의 데이터량이 적어 데이터 압축이 필요 없었다.
그런데, 씨모스 이미지 센서의 해상도가 저화소에서 고화소로 향상됨에 따라 더 세밀하고 정확한 렌즈 쉐이딩 보상이 필수적으로 필요하나, 종래의 렌즈 쉐이딩 보상 방법은 렌즈 쉐이딩 보상 계수를 2차원(2D) 형태로 단순히 증가시켜 저장하여 사용하는 방식을 사용하고 있다.
하지만, 이러한 종래의 렌즈 쉐이딩 보상 방법은 렌즈 쉐이딩 보상 계수의 데이터량이 증가하고, 그에 따라 렌즈 쉐이딩 보상 계수를 저장하기 위한 비휘발성 메모리의 용량이 증가할 뿐만 아니라 씨모스 이미지 센서(CIS)의 면적 또한 증가하게 되어 씨모스 이미지 센서(CIS)를 저면적으로 구현할 수 없게 되는 문제점이 있다.
본 발명의 실시예는 컬러 채널 간 및 컬러 채널 내 렌즈 쉐이딩 보상 계수의 중복성을 제거하고 데이터량을 감소시키는 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하고 그 역으로 압축을 해제하기 위한, 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 장치는, 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 간의 중복성을 제거하기 위한 제 1 예측부; 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 내 중복성을 제거하기 위한 제 2 예측부; 및 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하기 위한 엔트로피 코딩부를 포함할 수 있다.
상기 렌즈 쉐이딩 보상 계수 압축 장치는, 잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거하기 위한 제 3 예측부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 방법은, 렌즈 쉐이딩 보상 계수 압축 장치에서의 렌즈 쉐이딩 보상 계수 압축 방법에 있어서, (a) 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 간의 중복성을 제거하는 단계; (b) 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 내 중복성을 제거하는 단계; 및 (c) 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하는 단계를 포함할 수 있다.
상기 렌즈 쉐이딩 보상 계수 압축 방법은, (d) 상기 (b) 단계 수행 후, 잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 장치는, 비트스트림을 파싱(Parsing)하여 각 예측에 필요한 정보를 추출하기 위한 신택스 디코딩부; 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 2 보상부; 및 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 3 보상부를 포함할 수 있다.
상기 렌즈 쉐이딩 보상 계수 압축 해제 장치는, 잔류 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 1 보상부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 방법은, 렌즈 쉐이딩 보상 계수 압축 해제 장치에서의 렌즈 쉐이딩 보상 계수 압축 해제 방법에 있어서, (a) 비트스트림을 파싱하여 각 예측에 필요한 정보를 추출하는 단계; (b) 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 보상하는 단계; 및 (c) 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 보상하는 단계를 포함할 수 있다.
상기 렌즈 쉐이딩 보상 계수 압축 해제 방법은, (d) 상기 (a) 단계 수행 후, 잔류 렌즈 쉐이딩 보상 계수를 예측하여 보상하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 컬러 채널 간 렌즈 쉐이딩 보상 계수 예측 방식과 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측 방식을 이용하여 렌즈 쉐이딩 보상 계수의 데이터 레인지를 감소시킨 후 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축함으로써, 씨모스 이미지 센서의 화소수가 증가될수록 더 많이 요구되는 렌즈 쉐이딩 보상 계수의 데이터량을 감소시키고, 씨모스 이미지 센서 내 비휘발성 메모리의 저장 공간을 압축전 렌즈 쉐이딩 보상 계수에 필요한 저장 공간보다 20~33%정도 감소시킬 수 있을 뿐만 아니라 씨모스 이미지 센서(CIS)의 면적을 줄여 전체적인 설계 비용을 줄일 수 있는 효과가 있다.
도 1a 및 도 1b는 렌즈 쉐이딩 보상 계수의 3축 맵핑을 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 장치의 구성도,
도 3은 4개의 컬러 채널에 대한 렌즈 쉐이딩 보상 계수의 분포를 나타내는 도면,
도 4는 G-B 채널과 3개의 컬러 채널 간의 1:1 차분 연산을 설명하기 위한 도면,
도 5는 렌즈 쉐이딩 보상 계수의 가우시안(Gaussian) 분포와 중앙점을 기준으로 하여 연속된 렌즈 쉐이딩 보상 계수 간의 차이를 설명하기 위한 도면,
도 6a 및 도 6b는 중앙점을 기준으로 하여 직사각형(Rectangle) 또는 원형(Circular)의 스파이럴 스캐닝 형태를 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 방법에 대한 흐름도,
도 8은 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 장치의 구성도,
도 9는 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 방법에 대한 흐름도이다.
본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다.
그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때 이는 "직접적으로 연결"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한, 명세서 전체의 기재에 있어서 일부 구성요소들을 단수형으로 기재하였다고 해서, 본 발명이 그에 국한되는 것은 아니며, 해당 구성요소가 복수 개로 이루어질 수 있음을 알 것이다.
도 1a 및 도 1b는 렌즈 쉐이딩 보상 계수의 3축 맵핑을 나타내는 도면이다.
일반적으로 렌즈 쉐이딩 보상 계수의 3축 맵핑은 도 1a에 도시된 바와 같이 3차원 바(Bar) 그래프 형태로 나타낼 수 있고, 이러한 3차원의 렌즈 쉐이딩 보상 계수를 2차원 형태로 변환하면 렌즈 쉐이딩 보상 계수의 3축 맵핑을 도 1b에 도시된 바와 같이 2차원 메쉬(Mesh) 그래프 형태로 나타낼 수 있다.
최근에 씨모스 이미지 센서의 해상도가 저화소에서 고화소로 향상됨에 따라 렌즈 쉐이딩 보상도 단순하게 1차원적인 선형 보상이 아닌 좀 더 렌즈의 특성을 고려하여 렌즈 쉐이딩 보상 계수를 2차원 형태로 증가(확장)시킨 렌즈 쉐이딩 보상 방법을 사용할 필요성이 있다.
그러나 고화소 씨모스 이미지 센서(CIS)의 렌즈 쉐이딩 보상에서는 도 1b에 도시된 바와 같은 2차원 형태의 렌즈 쉐이딩 보상 계수를 사용하기 때문에 렌즈 쉐이딩 보상 계수의 데이터량이 많아지고, 그에 따라 렌즈 쉐이딩 보상 계수를 저장해야 하는 비휘발성 메모리(예 : SRAM)의 저장 공간뿐만 아니라 씨모스 이미지 센서의 면적도 크게 증가하게 된다.
그런데, 현재 렌즈 쉐이딩 보상 계수를 압축하기 위한 압축 방법이 존재하지 않는다. 따라서 본 발명에 따른 일 실시예에서는 증가된 렌즈 쉐이딩 보상 계수의 데이터량을 감소시킬 수 있는 무손실 렌즈 쉐이딩 보상 계수 압축 기술 및 그 역의 압축 해제 기술을 제안하고자 한다.
즉, 본 발명에 따른 일 실시예에서는 컬러 채널 간 렌즈 쉐이딩 보상 계수 예측 방식과 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측 방식을 이용하여 렌즈 쉐이딩 보상 계수의 데이터 레인지를 감소시킨 후 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축함으로써, 렌즈 쉐이딩 보상 계수의 데이터량을 감소시키고, 씨모스 이미지 센서(CIS) 내 비휘발성 메모리의 저장 공간 및 면적을 감소시킬 수 있다. 그리고 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 기술은 렌즈 쉐이딩 보상 계수 압축 과정의 역으로 이루어진다.
도 2는 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 장치의 구성도이다.
본 발명에 따른 일 실시예는 크게 2가지 렌즈 쉐이딩 보상 계수 예측 방식(컬러 채널 간 렌즈 쉐이딩 보상 계수 예측 방식, 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측 방식)과 잔여 렌즈 쉐이딩 보상 계수를 부호화하기 위한 엔트로피 코딩 방식을 포함하여 이루어진다. 또한, 본 발명에 따른 일 실시예는 가중치 기반의 잔류 렌즈 쉐이딩 보상 계수 예측 방식을 더 포함할 수도 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 장치(20)는, 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측(Prediction)하여 컬러 채널 간의 중복성을 제거하기 위한 제 1 예측부(21), 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 내 중복성을 제거하기 위한 제 2 예측부(22), 잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거하기 위한 제 3 예측부(23), 및 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하기 위한 엔트로피 코딩부(24)를 포함한다. 여기서, 상기 제 3 예측부(23)는 부가 구성요소이다.
다음으로, 상기 각 구성요소에 대하여 도 3 내지 도 6b를 참조하여 좀 더 구체적으로 살펴보면, 다음과 같다.
먼저, 제 1 예측부(21)는 입력되는 렌즈 쉐이딩 보상 데이터(렌즈 쉐이딩 보상 계수 어레이) 중 1개 컬러 채널을 기준 채널로 선정하고 그 외의 각 컬러 채널과의 차분 연산을 통해 컬러 채널 간의 렌즈 쉐이딩 보상 계수 예측을 수행하여 컬러 채널 간의 중복성을 제거한다.
예를 들어, 제 1 예측부(21)는 씨모스 이미지 센서(CIS)의 4개의 컬러 채널 간의 중복성을 제거하여 데이터량을 줄이도록 GB 채널을 기준(Reference) 채널로 정하고, 기준 채널과 그 외의 3개의 컬러 채널(GR 채널, Red 채널, Blue 채널) 간의 1:1 차분 연산을 수행하여 예측 채널(Predicted Channel)을 구한다.
이를 좀 더 상세히 살펴보면, 도 3에 도시된 바와 같이, 씨모스 이미지 센서는 동일한 빛을 컬러 필터 어레이(Color Filter Array)를 통해 나누어 입력받기 때문에 4개의 컬러 채널(GB 채널, GR 채널, Red 채널, Blue 채널)에 대한 렌즈 쉐이딩 보상 계수가 유사한 분포를 가지게 된다. 이러한 렌즈 쉐이딩 보상 계수를 도 4에 도시된 바와 같이 2D 메쉬 형태로 살펴보면 연속된 비디오 영상과 유사하여, 가장 중요한 그린(Green) 정보를 가지는 GB 채널을 기준 프레임(Reference Frame)으로 사용하여 하기의 [수학식 1]과 같이 그 외의 3개의 컬러 채널과의 1:1 차분 연산을 수행하여 예측 채널(Predicted Channel)을 구한다.
Figure pat00001
이처럼, 본 발명의 일 실시예에서는 G-B 채널을 기준 채널로 설정한 후에 기준 채널과 그 외의 3개의 컬러 채널 간의 1:1 차분 연산을 수행함으로써, 컬러 채널 간 중복성을 제거할 수 있다.
그리고 제 2 예측부(22)는 컬러 채널 내에서 렌즈 쉐이딩 보상 계수 간의 차분 연산으로 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측을 수행한다.
예를 들어, 제 2 예측부(22)는 컬러 채널 내의 중복성을 제거하여 데이터량을 줄이도록 4개의 컬러 채널(GB 채널과 3개의 예측 채널)의 각 중앙점(Center Point)을 기준으로 하여 스파이럴 스캐닝(Spiral Scanning)을 따르는 DPCM(Differential Pulse Code Modulation)을 수행한다. 다시 말하면, 도 5에 도시된 바와 같이 렌즈 쉐이딩 보상 계수는 가우시안(Gaussian) 분포와 유사한 형태를 따르고 중앙점을 기준으로 하여 연속된 렌즈 쉐이딩 보상 계수 간의 차이가 매우 적기 때문에 이를 스파이럴 스캐닝 순서에 따라 DPCM을 수행하면 컬러 채널 내의 중복성이 제거되어 데이터량이 감소된다.
여기서, 렌즈 쉐이딩 보상 계수를 위한 2D 스캐닝에 대하여 좀 더 상세히 살펴보면, 렌즈의 특성상 가운데를 기준으로 하여 인접한 렌즈 쉐이딩 보상 계수들의 상관성이 매우 유사하므로, 도 6a 및 도 6b에 도시된 바와 같이 4개의 컬러 채널(GB 채널과 3개의 예측 채널)의 각 중앙점을 기준으로 하여 직사각형(Rectangle) 또는 원형(Circular)의 스파이럴 스캐닝(Spiral Scanning)을 따르는 DPCM을 수행한다.
그리고 제 3 예측부(23)는 가중치를 기반으로 잔류 렌즈 쉐이딩 보상 계수 예측을 수행한다.
예를 들어, 제 3 예측부(23)는 상기 DPCM 과정을 통하여 제거되지 않은 중복성을 제거하여 4개의 컬러 채널(GB 채널과 3개의 예측 채널)의 데이터량을 더 줄이기 위하여 하기의 [수학식 2]와 같이 거리(Distance) 기반의 가중치를 구하여 4개의 컬러 채널과의 1:1 차분 연산을 수행한다.
Figure pat00002
여기서, x,y는 가중치 연산을 위한 데이터 어드레싱 좌표를 나타내고, Slope(x,y)는 중앙점을 기준으로 하여 x,y 좌표의 기울기를 나타내며, Average_one_channel_slope(x,y)는 1개의 채널에 대해 각 좌표별 중앙점에 대한 기울기의 평균을 나타내고, Weight_value는 모든 채널에 대한 중앙점에 대한 기울기의 평균을 나타낸다.
상기와 같이 컬러 채널 간 및 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측 연산과 부가적인 잔류 렌즈 쉐이딩 보상 계수 예측 연산으로 데이터 레인지를 감소시킨 후에, 엔트로피 코딩부(24)는 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 한번 더 압축하여 렌즈 쉐이딩 보상 계수를 최소화한다.
예를 들어, 엔트로피 코딩부(24)는 4개의 컬러 채널(GB 채널과 3개의 예측 채널)의 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 압축된 코드워드(Codeword)를 구하여 데이터량을 감소시키고, 또한, 렌즈 쉐이딩 보상 계수에 대한 신택스(Syntax) 정보와 코드워드(Codeword)를 1개의 비트스트림으로 결합하여 데이터를 압축한다.
도 7은 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 방법에 대한 흐름도로서, 그 구체적인 실시 예는 도 2의 렌즈 쉐이딩 보상 계수 압축 장치에 대한 설명에서 상세히 전술한 바 있으므로, 여기서는 그 동작 과정에 대하여 간략하게 설명하기로 한다.
먼저, 제 1 예측부(21)가 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측(Prediction)하여 컬러 채널 간의 중복성을 제거한다(71). 즉, 제 1 예측부(21)가 렌즈 쉐이딩 보상 데이터(렌즈 쉐이딩 보상 계수 어레이) 중 1개 컬러 채널을 기준 채널로 선정하고 그 외의 각 컬러 채널과의 차분 연산을 통해 컬러 채널 간의 렌즈 쉐이딩 보상 계수 예측을 수행하여 컬러 채널 간의 중복성을 제거한다.
이후, 제 2 예측부(22)가 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 내 중복성을 제거한다(72). 즉, 제 2 예측부(22)가 컬러 채널 내에서 렌즈 쉐이딩 보상 계수 간의 차분 연산으로 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측을 수행한다.
이후, 제 3 예측부(23)가 잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거한다(73). 즉, 제 3 예측부(23)가 거리(Distance) 기반의 가중치를 구하여 잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거한다. 여기서, 상기 잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거하는 과정(73)은 부가 구성요소이다.
이후, 엔트로피 코딩부(24)가 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축한다(74). 즉, 엔트로피 코딩부(24)가 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 압축된 코드워드(Codeword)를 구하고, 렌즈 쉐이딩 보상 계수에 대한 신택스(Syntax) 정보와 코드워드를 1개의 비트스트림으로 결합한다.
도 8은 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 장치의 구성도로서, 전술한 렌즈 쉐이딩 보상 계수 압축 기술의 역으로 압축을 해제하므로, 여기서는 그 기술 요지에 대하여 간략하게 설명하기로 한다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 장치(80)는, 비트스트림(BS)을 파싱(Parsing)하여 각 예측에 필요한 정보를 추출하기 위한 신택스 디코딩부(81), 잔류 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 1 보상부(82), 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 2 보상부(83), 및 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 3 보상부(84)를 포함한다. 여기서, 상기 제 1 보상부(82)는 부가 구성요소이다.
다음으로, 상기 각 구성요소에 대하여 좀 더 구체적으로 살펴보면, 다음과 같다.
먼저, 전술한 코딩 과정에서 압축된 비트스트림(BS)은 신택스 시퀀스(Syntax Sequence)에 따라서 인코딩되어 있다. 그리고 비트스트림은 크게 헤더(Header)와 데이터로 나뉘며, 헤더에는 영상의 압축을 위한 코딩 툴의 설정 및 압축율과 관련된 변수를 설정하여 복호화 시 사용되도록 한다. 즉, 헤더(Header)는 압축 성능을 결정하는 엔트로피 코딩 툴(Entropy Coding Tool)이 설정되고, 각 컬러 채널별 데이터 길이가 설정되며, 예측 연산 후 거리에 대한 보정을 위한 가중치 기반의 잔류 렌즈 쉐이딩 보상 계수 예측이 설정되는 부분으로 구분되어 있다.
따라서 신택스 디코딩부(81)는 현재 복호화할 비트스트림을 파싱(Parsing)하여 각 예측에 필요한 정보를 구분하여 추출하여 각 예측 모듈에 전달하고, 복호화에 사용할 디코딩 툴(전술한 코딩 툴에 상응하는 디코딩 툴임)을 초기화한다.
그리고 디코딩 모듈 중 제 1 보상부(82)는 거리에 대하여 압축 과정과 동일한 가중치를 구하여 복호화 예측에 사용한다. 이때, 제 1 보상부(82)는 하기의 [수학식 3]과 같이 중앙점(P)을 기준으로 하여 원점으로부터 거리에 따른 가중치를 곱하여 현재 좌표에 대한 weighted value(P')를 구하여 렌즈 쉐이딩 보상 계수(LSCC)에 대한 복호화에 사용한다.
Figure pat00003
그리고 디코딩 모듈 중 제 2 보상부(83)는 제 1 보상부(82)에서 복원된 데이터에 대하여 각 채널의 중앙값을 기준으로 하여 스파이럴 스캐닝을 수행하여 인접한 데이터 값들을 복원한다.
그리고 디코딩 모듈 중 제 3 보상부(84)는 코딩 과정에서 각 컬러 채널 간 중복성을 제거한 것과 반대로 더하여 모든 컬러 채널들을 복원하여 렌즈 쉐이딩 보상 연산을 위한 보상 계수를 복원하게 된다. 즉, 제 3 보상부(84)는 하기의 [수학식 4]과 같이 리디드(Redid) G-B 채널을 기준 채널로 하여 복호화된 예측 채널을 더하여 3개의 컬러 채널을 구한다.
Figure pat00004
도 9는 본 발명의 일 실시예에 따른 렌즈 쉐이딩 보상 계수 압축 해제 방법에 대한 흐름도로서, 그 구체적인 실시 예는 도 8의 렌즈 쉐이딩 보상 계수 압축 해제 장치에 대한 설명에서 상세히 전술한 바 있으므로, 여기서는 그 동작 과정에 대하여 간략하게 설명하기로 한다.
먼저, 신택스 디코딩부(81)가 비트스트림을 파싱하여 각 예측에 필요한 정보를 추출한다(91).
이후, 제 1 보상부(82)가 잔류 렌즈 쉐이딩 보상 계수를 예측하여 보상한다(92). 여기서, 상기 잔류 렌즈 쉐이딩 보상 계수를 예측하여 보상하는 과정(92)은 부가 구성요소이다.
이후, 제 2 보상부(83)가 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 보상한다(93).
이후, 제 3 보상부(84)가 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 보상한다(94).
한편, 전술한 바와 같은 본 발명에 따른 렌즈 쉐이딩 보상 계수 압축 및 압축 해제 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 치환, 변형 및 변경이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
21 : 제 1 예측부 22 : 제 2 예측부
23 : 제 3 예측부 24 : 엔트로피 코딩부
81 : 신택스 디코딩부 82 : 제 1 보상부
83 : 제 2 보상부 84 : 제 3 보상부

Claims (14)

  1. 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 간의 중복성을 제거하기 위한 제 1 예측부;
    컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 내 중복성을 제거하기 위한 제 2 예측부; 및
    잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하기 위한 엔트로피 코딩부
    를 포함하는 렌즈 쉐이딩 보상 계수 압축 장치.
  2. 제 1항에 있어서,
    잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거하기 위한 제 3 예측부
    를 더 포함하는 렌즈 쉐이딩 보상 계수 압축 장치.
  3. 제 2항에 있어서,
    상기 제 3 예측부는,
    거리(Distance) 기반의 가중치를 구하여 각 컬러 채널과의 차분 연산을 수행하여 잔류 렌즈 쉐이딩 보상 계수를 예측하는, 렌즈 쉐이딩 보상 계수 압축 장치.
  4. 제 1항에 있어서,
    상기 제 1 예측부는,
    1개의 컬러 채널을 기준 채널로 설정하고 상기 설정된 기준 채널과 나머지 각 컬러 채널과의 차분 연산을 통해 컬러 채널 간의 렌즈 쉐이딩 보상 계수 예측을 수행하여 컬러 채널 간의 중복성을 제거하는, 렌즈 쉐이딩 보상 계수 압축 장치.
  5. 제 1항에 있어서,
    상기 제 2 예측부는,
    컬러 채널 내에서 렌즈 쉐이딩 보상 계수 간의 차분 연산으로 컬러 채널 내 렌즈 쉐이딩 보상 계수 예측을 수행하는, 렌즈 쉐이딩 보상 계수 압축 장치.
  6. 제 5항에 있어서,
    상기 제 2 예측부는,
    컬러 채널의 중앙점을 기준으로 하여 스파이럴 스캐닝을 따르는 DPCM(Differential Pulse Code Modulation)을 수행하는, 렌즈 쉐이딩 보상 계수 압축 장치.
  7. 제 1항에 있어서,
    상기 엔트로피 코딩부는,
    잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 압축된 코드워드(Codeword)를 구하고, 렌즈 쉐이딩 보상 계수에 대한 신택스 정보와 상기 구한 코드워드를 1개의 비트스트림으로 결합하는, 렌즈 쉐이딩 보상 계수 압축 장치.
  8. 렌즈 쉐이딩 보상 계수 압축 장치에서의 렌즈 쉐이딩 보상 계수 압축 방법에 있어서,
    (a) 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 간의 중복성을 제거하는 단계;
    (b) 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 컬러 채널 내 중복성을 제거하는 단계; 및
    (c) 잔여 렌즈 쉐이딩 보상 계수에 대하여 엔트로피 코딩을 수행하여 렌즈 쉐이딩 보상 계수를 압축하는 단계
    를 포함하는 렌즈 쉐이딩 보상 계수 압축 방법.
  9. 제 8항에 있어서,
    (d) 상기 (b) 단계 수행 후, 잔류 렌즈 쉐이딩 보상 계수를 예측하여 제거하는 단계
    를 더 포함하는 렌즈 쉐이딩 보상 계수 압축 방법.
  10. 제 8항에 있어서,
    상기 (b) 단계는,
    컬러 채널의 중앙점을 기준으로 하여 스파이럴 스캐닝을 따르는 DPCM(Differential Pulse Code Modulation)을 수행하는, 렌즈 쉐이딩 보상 계수 압축 방법.
  11. 비트스트림을 파싱(Parsing)하여 각 예측에 필요한 정보를 추출하기 위한 신택스 디코딩부;
    컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 2 보상부; 및
    컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 3 보상부
    를 포함하는 렌즈 쉐이딩 보상 계수 압축 해제 장치.
  12. 제 11항에 있어서,
    잔류 렌즈 쉐이딩 보상 계수를 예측하여 보상하기 위한 제 1 보상부
    를 더 포함하는 렌즈 쉐이딩 보상 계수 압축 해제 장치.
  13. 렌즈 쉐이딩 보상 계수 압축 해제 장치에서의 렌즈 쉐이딩 보상 계수 압축 해제 방법에 있어서,
    (a) 비트스트림을 파싱하여 각 예측에 필요한 정보를 추출하는 단계;
    (b) 컬러 채널 내 렌즈 쉐이딩 보상 계수를 예측하여 보상하는 단계; 및
    (c) 컬러 채널 간의 렌즈 쉐이딩 보상 계수를 예측하여 보상하는 단계
    를 포함하는 렌즈 쉐이딩 보상 계수 압축 해제 방법.
  14. 제 13항에 있어서,
    (d) 상기 (a) 단계 수행 후, 잔류 렌즈 쉐이딩 보상 계수를 예측하여 보상하는 단계
    를 더 포함하는 렌즈 쉐이딩 보상 계수 압축 해제 방법.
KR1020140092303A 2014-07-22 2014-07-22 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법 KR20160011359A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140092303A KR20160011359A (ko) 2014-07-22 2014-07-22 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법
US14/560,858 US9571848B2 (en) 2014-07-22 2014-12-04 Device and method for compressing/decompressing lens shading compensation coefficient
CN201410830781.7A CN105323424B (zh) 2014-07-22 2014-12-26 用于压缩/解压缩镜头阴影补偿系数的器件和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140092303A KR20160011359A (ko) 2014-07-22 2014-07-22 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20160011359A true KR20160011359A (ko) 2016-02-01

Family

ID=55167720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140092303A KR20160011359A (ko) 2014-07-22 2014-07-22 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법

Country Status (3)

Country Link
US (1) US9571848B2 (ko)
KR (1) KR20160011359A (ko)
CN (1) CN105323424B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4254035A3 (en) * 2016-10-12 2023-12-06 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
KR101953310B1 (ko) * 2016-10-12 2019-02-28 삼성전자주식회사 영상을 처리하는 방법, 장치 및 기록매체
US11138800B1 (en) * 2018-10-31 2021-10-05 Facebook Technologies, Llc Optimizations to reduce multi-channel ray casting for color sampling

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808493B1 (ko) * 2005-12-28 2008-03-03 엠텍비젼 주식회사 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
WO2007075066A1 (en) * 2005-12-29 2007-07-05 Mtekvision Co., Ltd. Image processor, apparatus and method for lens shading compensation
KR20110135720A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 촬영 환경에 따른 렌즈 쉐이딩 보상 테이블을 생성하기 위한 장치 및 방법
KR101826721B1 (ko) * 2011-06-29 2018-03-22 엘지이노텍 주식회사 렌즈 쉐이딩 보정 팩터 산출 방법 및 그것을 이용한 렌즈 쉐이딩 보정 방법 및 렌즈 쉐이딩 보정 장치
TWI510100B (zh) * 2012-03-29 2015-11-21 Novatek Microelectronics Corp 局部鏡頭陰影補償方法
US9256959B1 (en) * 2013-08-29 2016-02-09 Marvell International Ltd. Systems and methods for color lens shading correction

Also Published As

Publication number Publication date
US9571848B2 (en) 2017-02-14
US20160028975A1 (en) 2016-01-28
CN105323424A (zh) 2016-02-10
CN105323424B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
US11350127B2 (en) Apparatus and method for image processing
KR102419112B1 (ko) 변환 도메인에서 잔차 부호 예측 방법 및 장치
US11368720B2 (en) Image processing apparatus and method
KR20220020266A (ko) 비디오 코딩에서 저주파수 분리불가능한 변환을 위한 변환 및 마지막 유의 계수 위치 시그널링
TW202101989A (zh) 用於視訊寫碼之參考圖像重採樣及框間寫碼工具
US11070812B2 (en) Coefficient domain block differential pulse-code modulation in video coding
US11632563B2 (en) Motion vector derivation in video coding
US20170142444A1 (en) Method of encoding a digital image, decoding method, devices, and associated computer programs
KR20110025888A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로
KR20110135787A (ko) 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2008062687A1 (en) Coding and decoding device, coding and decoding method and program
US11350106B2 (en) Method for encoding and decoding images, device for encoding and decoding images and corresponding computer programs
US10200699B2 (en) Apparatus and method for encoding moving picture by transforming prediction error signal in selected color space, and non-transitory computer-readable storage medium storing program that when executed performs method
JP2012238927A (ja) 画像処理装置及び画像処理方法
US20210092434A1 (en) Adaptive motion vector resolution for affine motion model in video coding
US10911784B2 (en) Method of coding and decoding images, device for coding and decoding images and computer programmes corresponding thereto
KR20120123326A (ko) 화상 처리 장치 및 방법
EP2768227A1 (en) autogressive pixel prediction in the neighbourhood of image borders
JP6502739B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法
JP2017192078A (ja) 画像符号化装置及びその制御方法
KR20160011359A (ko) 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법
US10469872B2 (en) Video encoding and decoding device and method including a texture block prediction with a group of pixel blocks each representing a predetermined texture
WO2014050150A1 (en) Signaling decoder picture buffer information
JP6946671B2 (ja) 画像処理装置及び画像処理方法
JP6512927B2 (ja) 画像符号化装置及びその制御方法

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination