KR20170036378A

KR20170036378A - 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들

Info

Publication number: KR20170036378A
Application number: KR1020150135466A
Authority: KR
Inventors: 김세윤; 이용구; 김태현; 이웅희
Original assignee: 삼성전자주식회사
Priority date: 2015-09-24
Filing date: 2015-09-24
Publication date: 2017-04-03
Also published as: US20190297284A1; CN106559606A; TW201713111A; TWI750135B; US10645317B2; CN106559606B; DE102016117265A1; US10362247B2; KR102401582B1; US20190230300A9; US20180084208A1

Abstract

비네팅 정정을 수행할 수 있는 렌즈 쉐이딩 정정 회로가 제공된다. 상기 렌즈 쉐이딩 정정 회로는 이득 생성 파라미터에 응답하여 픽셀 단위로 제1이득 값을 생성하는 이득 생성기와, 제1YUV 데이터를 수신하고, 상기 제1YUV 데이터의 Y 값과 상기 제1이득 값 중에서 적어도 하나를 이용하여, 상기 제1YUV 데이터의 U 값과 V 값 중에서 적어도 하나를 조절하는 조절 회로를 포함한다. 상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시킨다.

Description

렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들{LENS SHADING CORRECTION CIRCUIT AND APPARATUS HAVING THE SAME}

본 발명의 개념에 따른 실시 예는 렌즈 쉐이딩 정정 회로에 관한 것으로, 특히 처리될 이미지에 적용될 렌즈 쉐이딩 정정을 보상하는 방법 및/또는 상기 이미지에 포함된 픽셀들 각각의 밝기를 고려하여 상기 픽셀들 각각의 색상을 조절하는 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들에 관한 것이다.

렌즈 쉐이딩(lens shading) 또는 비네팅(vignetting)은 이미징 시스템에서 발생하는 광학적 현상이다. 상기 이미징 시스템에서, 센서 또는 필름의 중앙을 벗어난 위치들(off-center positions)에 도달하는 빛의 양은 상기 중앙에 도달하는 빛의 양보다 적다. 렌즈 쉐이딩 또는 비네팅 때문에, 이미지 강도(image intensity)는 이미지의 가장자리로 갈수록 감소한다. 비네팅의 양은 렌즈의 기하학적 구조(geometry)에 종속적이고, 상기 비네팅의 양은 촛점 길이(focal length)와 f-스톱에 따라 가변한다.

비네팅 정정 알고리즘은 이미지에 대한 비네팅의 위치적으로 불균일한 강도 영향(positional unequal intensity effect)을 보상하기 위해 디지털 이미지(또는 디지털 이미지 데이터)에 적용될 수 있다. 상기 비네팅은 더 낮은 f-스톱(lower f-stop) 또는 더 큰 카메라 조리개(larger aperture)의 렌즈에서 더 분명하다.

저조도 상황에서는 빛에 의해 생성된 신호에 비해 노이즈(noise)의 크기가 상대적으로 커지게 된다. 일반적인 이미지 신호 프로세서가 상기 노이즈에 대해 렌즈 쉐이딩 정정을 수행하면, 가장자리에서 상기 노이즈의 파워(power)가 증가한다. 이때, 상기 이미지 신호 프로세서에 포함된 연산 회로들에 의해 수행되는 컬러 보정 연산들에 의해 컬러별로 다른 이득이 적용되어 상기 컬러별로 노이즈의 파워가 달라질 수 있다.

또한, 상기 노이즈에 대해 디노이징(denoising)과 같은 저역 통과 필터링 (low pass filter) 특성을 갖는 이미지 신호 처리가 수행되면, 이미지의 가장자리 부근에서 특성 컬러, 예컨대, 붉은색, 파란색, 및/또는 보라색이 도드라지는 현상이 발생한다.

본 발명이 이루고자 하는 기술적인 과제는 이미지에 대한 렌즈 쉐이딩 정정이 수행되는 도중에 상기 이미지의 가장자리 부근에서 특성 컬러(예컨대, 붉은색, 파란색, 및/또는 보라색)가 도드라지는 현상을 방지하기 위해, 상기 이미지에 적용될 렌즈 쉐이딩 정정을 보정 또는 보상(compensation)하는 방법 및/또는 상기 이미지에 포함된 픽셀들 각각의 밝기를 고려하여 상기 픽셀들 각각의 색상을 조절하는 방법을 수행할 수 렌즈 쉐이딩 정정 회로와 이를 포함하는 장치들을 제공하는 것이다.

본 발명의 실시 예에 따른 렌즈 쉐이딩 정정 회로는 이득 생성 파라미터에 응답하여 픽셀 단위로 제1이득 값을 생성하는 이득 생성기와, 제1YUV 데이터를 수신하고, 상기 제1YUV 데이터의 Y 값과 상기 제1이득 값 중에서 적어도 하나를 이용하여, 상기 제1YUV 데이터의 U 값과 V 값 중에서 적어도 하나를 조절하는 조절 회로를 포함한다. 상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시킨다.

실시 예들에 따라, 상기 렌즈 쉐이딩 정정 회로는 이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로와, 상기 제2이득 값을 제2YUV 데이터로 변환하는 변환기와, 입력 YUV 데이터로부터 상기 제2YUV 데이터를 빼서 상기 제1YUV 데이터를 생성하는 감산기를 더 포함한다.

상기 이득 조절 회로는 상기 이득 조절 파라미터와 상기 제1이득 값을 곱하여 상기 제2이득 값을 생성한다. 상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시킨다.

실시 예들에 따라, 상기 렌즈 쉐이딩 정정 회로는 이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절의 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로와, 입력 RGB 데이터로부터 상기 제2이득 값을 빼서 제1RGB 데이터를 생성하는 감산기와, 상기 제1RGB 데이터를 상기 제1YUV 데이터로 변환하는 제1변환기와, 상기 조절 회로로부터 출력된 제2YUV 데이터를 제2RGB 데이터로 변환하는 제2변환기를 더 포함한다.

본 발명의 실시 예에 따른 시스템 온 칩은 렌즈 쉐이딩 정정 회로와, 상기 렌즈 쉐이딩 정정 회로를 제어하는 CPU를 포함하고, 상기 렌즈 쉐이딩 정정 회로는 이득 생성 파라미터에 응답하여 픽셀 단위로 제1이득 값을 생성하는 이득 생성기와, 제1YUV 데이터를 수신하고, 상기 제1YUV 데이터의 Y 값과 상기 제1이득 값 중에서 적어도 하나를 이용하여, 상기 제1YUV 데이터의 U 값과 V 값 중에서 적어도 하나를 조절하는 조절 회로를 포함한다.

실시 예들에 따라, 상기 렌즈 쉐이딩 정정 회로는 이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로와, 상기 제2이득 값을 제2YUV 데이터로 변환하는 변환기와, 입력 YUV 데이터로부터 상기 제2YUV 데이터를 빼서 상기 제1YUV 데이터를 생성하는 감산기를 더 포함한다. 상기 CPU는 프레임 단위로 결정되는 밝기 정보를 이용하여 상기 이득 조절 파라미터를 조절한다.

실시 예들에 따라, 상기 렌즈 쉐이딩 정정 회로는 이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절의 결과에 따라 제1RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로와, 입력 RGB 데이터로부터 상기 제2이득 값을 빼서 제1RGB 데이터를 생성하는 감산기와, 상기 제1RGB 데이터를 상기 제1YUV 데이터로 변환하는 제1변환기와, 상기 조절 회로로부터 출력된 제2YUV 데이터를 제2RGB 데이터로 변환하는 제2변환기를 더 포함한다. 상기 CPU는 프레임 단위로 결정되는 밝기 정보를 이용하여 상기 이득 조절 파라미터를 조절한다.

본 발명의 실시 예에 따른 데이터 처리 시스템은 로우(raw) 이미지 데이터를 생성하는 카메라 모듈과, 상기 카메라 모듈을 제어하는 시스템 온 칩을 포함한다. 상기 시스템 온 칩은 상기 로우 이미지 데이터에 대한 비네팅 보정(vignetting correction)을 수행하는 렌즈 쉐이딩 정정 회로와, 상기 렌즈 쉐이딩 정정 회로를 제어하는 CPU를 포함한다. 상기 렌즈 쉐이딩 정정 회로는 이득 생성 파라미터에 응답하여 픽셀 단위로 제1이득 값을 생성하는 이득 생성기와, 제1YUV 데이터를 수신하고, 상기 제1YUV 데이터의 Y 값과 상기 제1이득 값 중에서 적어도 하나를 이용하여, 상기 제1YUV 데이터의 U 값과 V 값 중에서 적어도 하나를 조절하는 조절 회로를 포함한다.

상기 렌즈 쉐이딩 정정 회로는 이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로와, 상기 제2이득 값을 제2YUV 데이터로 변환하는 변환기와, 입력 YUV 데이터로부터 상기 제2YUV 데이터를 빼서 상기 제1YUV 데이터를 생성하는 감산기를 더 포함한다.

상기 데이터 처리 시스템은 복수의 이득 조절 파라미터들을 저장하는 테이블을 포함하는 메모리 장치를 더 포함하고, 상기 CPU는, 밝기 정보를 이용하여, 상기 테이블에 저장된 상기 복수의 이득 조절 파라미터들 중에서 어느 하나를 상기 이득 조절 파라미터로서 결정한다. 상기 이득 조절 회로는 상기 이득 조절 파라미터와 상기 제1이득 값을 곱하여 상기 제2이득 값을 생성한다. 상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시킨다.

본 발명의 실시 예에 따른 렌즈 쉐이딩 정정 회로는 처리될 이미지에 적용될 렌즈 쉐이딩 정정을 보정 또는 보상(compensation)하는 방법 및/또는 상기 이미지에 포함된 픽셀들 각각의 밝기를 고려하여 상기 픽셀들 각각의 색상을 조절할 수 있는 효과가 있다.

따라서, 렌즈 쉐이딩 정정 회로는 상기 이미지에 대한 렌즈 쉐이딩 정정이 수행되는 도중에(또는 수행된 후에) 상기 이미지의 가장자리에서 특성 컬러(예컨대, 붉은색, 파란색, 및/또는 보라색)가 도드라지는 현상을 방지할 수 있는 효과가 있다.

이미지의 가장자리에서 특정 컬러가 도드라지는 현상이 제거 또는 감소하므로, 상기 렌즈 쉐이딩 정정 회로를 포함하는 데이터 처리 장치는 양질의 이미지를 사용자에게 제공할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예들에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 이미지 신호 프로세서의 블록도이다.
도 3은 도 2에 도시된 본 발명의 실시 예들에 따른 렌즈 쉐이딩 정정 회로의 블록도를 나타낸다.
도 4는 밝기 값에 따른 이득 조절 파라미터들을 나타내는 테이블이다.
도 5는 도 2에 도시된 렌즈 쉐이딩 정정 회로의 입력 신호들과 출력 신호들을 나타낸다.
도 6은 도 2에 도시된 본 발명의 실시 예들에 따른 렌즈 쉐이딩 정정 회로의 블록도를 나타낸다..
도 7은 도 2에 도시된 본 발명의 실시 예들에 따른 렌즈 쉐이딩 정정 회로의 블록도를 나타낸다.
도 8은 본 발명의 실시 예들에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 9는 본 발명의 실시 예들에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 10은 본 발명의 실시 예들에 따른 데이터 처리 시스템의 작동을 나타내는 플로우 차트이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시 예들에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 1을 참조하면, 데이터 처리 시스템(100A)은 카메라 모듈(110), 제어 회로 (200A), 복수의 메모리들(400과 401), 및 디스플레이(410)를 포함할 수 있다.

데이터 처리 시스템(100A)은 PC(personal computer) 또는 모바일 장치로 구현될 수 있다. 상기 모바일 장치는 랩탑 컴퓨터, 이동 전화기, 스마트 폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라 (digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치, 또는 드론(drone)으로 구현될 수 있으나 이에 한정되는 것은 아니다.

카메라 모듈(110)은 로우(raw) 이미지 데이터(IMI)를 생성할 수 있다. 카메라 모듈(110)은 렌즈와 적어도 하나의 이미지 센서를 포함할 수 있다. 로우 이미지 데이터(IMI)는 베이어(Bayer) 패턴으로 표현될 수 있다. 로우 이미지 데이터(IMI)는 2차원 이미지 데이터 또는 3차원 이미지 데이터(또는 스테레오스코픽 (stereoscopic) 이미지 데이터)를 의미할 수 있다. 실시 예에 따라, 카메라 모듈 (110)과 제어 회로(200A) 사이에는 MIPI 카메라 시리얼 인터페이스(camera serial interface(CSI))가 구현될 수 있다.

제어 회로(200A)는 카메라 모듈(110), 복수의 메모리들(400과 401), 및 디스플레이(410)를 제어할 수 있다. 제어 회로(200A)는 집적 회로(IC), 시스템 온 칩 (system on chip(SoC)), 프로세서, 애플리케이션 프로세서(application processor(AP)), 모바일 AP, 칩셋(chip set), 칩들을 포함하는 모듈, 또는 반도체 칩 패키지로 구현될 수 있다.

제어 회로(200A)는 버스(201), 이미지 신호 프로세서(image signal processor(ISP); 210A), CPU(220), 복수의 메모리 컨트롤러들(230과 231), 및 디스플레이 컨트롤러(240)를 포함할 수 있다.

ISP(210A)는 카메라 모듈(110)로부터 출력된 로우 이미지 데이터(IMI)에 대한 비네팅 정정(vignetting correction) 또는 렌즈 쉐이딩 정정(lens shading correction)을 수행할 수 있다. 특히, ISP(210A)는 저조도 환경에서 촬영된 로우 이미지 데이터(IMI)의 아티팩스들(artifacts)을 제거할 수 있다. ISP(210A)는 카메라 모듈(110)의 이미지 센서와 신호들을 주고받을 수 있는 센서 인터페이스를 포함할 수 있다.

본 발명의 개념에 따른 실시 예인 ISP(210A)는, 렌즈 쉐이딩 효과 때문에 이미지의 가장자리에서 특성 컬러(예컨대, 붉은색, 파란색, 및/또는 보라색)가 도드라지는 현상을 방지하기 위해, 처리될 이미지에 적용될 렌즈 쉐이딩 정정을 보정(또는 보상)하는 방법 및/또는 상기 처리될 이미지에 포함된 픽셀들 각각의 밝기를 고려하여 상기 픽셀들 각각의 컬러(들)을 조절하는 방법을 수행할 수 있다.

CPU(220)는 ISP(210A), 복수의 메모리 컨트롤러들(230과 231), 및 디스플레이 컨트롤러(240)를 제어할 수 있다. 실시 예에 따라, CPU(220)는 밝기 값에 따라 ISP(210A)로 제공될 이득 조절 파라미터를 결정할 수 있다. 예컨대, 상기 밝기 값은 프레임 단위로 자동으로 또는 사용자가 설정할 수 있다.

실시 예들에 따라, CPU(220)는 적어도 하나의 이전 프레임의 밝기 값을 이용하여 현재 프레임의 밝기 값을 계산하거나 판단할 수 있다. 실시 예들에 따라, CPU (220)는 제어 회로(200A)의 내부 또는 외부에 배치된 조도 센서로부터 출력된 밝기 신호에 따라 현재 프레임의 밝기 값을 계산하거나 판단할 수 있다.

복수의 메모리 컨트롤러들(230과 231)은 제1메모리(400)를 제어할 수 있는 제1메모리 컨트롤러(230)와, 제2메모리(401)를 제어할 수 있는 제2메모리 컨트롤러 (231)를 포함할 수 있다.

제1메모리(400)는 휘발성 메모리일 수 있고, 제2메모리(401)는 불휘발성 메모리일 수 있다. 예컨대, 제1메모리(400)는 RAM(random access memory), DRAM (dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다. 제2메모리(401)는 스토리지(storage) 메모리로 사용될 수 있는 EEPROM(electrically erasable programmable read-only memory), 플래시(flash) 메모리, MRAM(magnetic RAM), 스핀-전달토크 MRAM(spin-transfer torque MRAM), FeRAM(ferroelectric RAM), PRAM (phase change RAM), 또는 RRAM(resistive RAM)으로 구현될 수 있다. 제2메모리 (401)는 eMMC(embedded multimedia card) 또는 UFS(universal flash storage)로 구현될 수 있다.

디스플레이 컨트롤러(240)는, CPU(220)의 제어에 따라, 디스플레이(410)를 제어할 수 있다. 예컨대, ISP(210A)에 의해 처리된 이미지 데이터는 디스플레이 컨트롤러(240)의 제어에 따라 디스플레이(410)에서 디스플레이될 수 있다. 예컨대, 디스플레이 컨트롤러(240)와 디스플레이(410) 사이에는 MIPI 디스플레이 시리얼 인터페이스(display serial interface(DSI)) 또는 eDP(Embedded DisplayPort)를 지원하는 인터페이스가 구현될 수 있다.

도 2는 도 1에 도시된 이미지 신호 프로세서의 블록도이다. 도 1과 도 2를 참조하면, ISP(210A)는 포맷 변환기(211)와 렌즈 쉐이딩 정정 회로(213)를 포함할 수 있다. 렌즈 쉐이딩 정정 회로(213)는 렌즈 쉐이딩 보상 회로로도 불릴 수도 있다.

포맷 변환기(211)는 제1포맷을 갖는 로우 이미지 데이터(IMI)를 제2포맷을 갖는 입력 이미지 데이터(INPUT)로 변환할 수 있다. 예컨대, 상기 제1포맷은 베이어(Bayer) 패턴일 수 있으나 이에 한정되는 것은 아니고, 제2포맷은 YUV, Y'UV, YCbCr, YPbPr, 또는 RGB일 수 있으나 이에 한정되는 것은 아니다.

여기서, Y는 루마 성분(luma component) 또는 밝기(brightness)를 나타내고, UV는 색차 성분들(chrominance components) 또는 컬러 정보를 나타낸다. 밝기 (luminance)는 Y 또는 Y'로 나타낼 수 있고, 프라임 심벌(')은 감마 압축(gamma compression)을 나타낼 수 있다. 밝기(luminance)는 지각적인 밝기(perceptual (color science) brightness)를 나타내고, 루마는 전기적(예컨대, 디스플레이의 전압) 밝기(electronic (voltage of display) brightness)를 나타낸다.

렌즈 쉐이딩 정정 회로(213)는 처리될 입력 이미지(또는 입력 이미지 데이터 (INPUT))에 적용될 렌즈 쉐이딩 정정(lens shading correction)을 보정 (또는 보상)하는 방법 및/또는 처리될 입력 이미지(INPUT)에 포함된 픽셀들 각각의 밝기를 고려하여 상기 픽셀들 각각의 색상 또는 색차 성분들 중에서 적어도 하나를 조절(예컨대, 유지 또는 감소)하는 방법을 수행할 수 있다.

도 3은 도 2에 도시된 본 발명의 실시 예들에 따른 렌즈 쉐이딩 정정 회로의 블록도를 나타내고, 도 4는 밝기 값에 따른 이득 조절 파라미터들을 나타내는 테이블이고, 도 5는 도 2에 도시된 렌즈 쉐이딩 정정 회로의 입력 신호들과 출력 신호들을 나타낸다.

도 3을 참조하면, 렌즈 쉐이딩 정정 회로(213A)는 이득 생성기(310), 이득 조절 회로(315), 변환기(320), 감산기(325), 및 조절 회로(330)를 포함할 수 있다.

이득 생성기(310)는 이득 생성 파라미터(RG)에 응답하여 픽셀 단위로 제1이득 값(RG1)을 생성할 수 있고, 제1이득 값(RG1)을 이득 조절 회로(315)와 조절 회로(330)로 출력할 수 있다. 예컨대, 이득 생성기(310)는 이득 생성 파라미터(RG)에 응답하여 렌즈 쉐이딩 정정을 위한 제1이득값을 픽셀 단위로 생성할 수 있다. 예컨대, 이득 생성기(310)는, 이득 생성 파라미터(RG)에 응답하여, 도 5의 (c)에 도시된 바와 같이 방사상의 이득 곡선(radial gain curve)을 생성할 수 있다.

비록 도 5의 (c)에서는 렌즈의 중앙에 위치하는 중앙의 픽셀(Central Pixel)로부터의 거리에 따른 각 이득 곡선(CV2-1, CV2-2, 및 CV2-3)이 2차원적으로 도시되어 있으나 각 이득 곡선(CV2-1, CV2-2, 및 CV2-3)은 3차원적으로 표현될 수 있다.

예컨대, 이득 생성 파라미터(RG)가 제1값을 가질 때, 이득 생성기(310)는 상기 제1값을 갖는 이득 생성 파라미터(RG)를 이용하여 제1이득 곡선(CV2-1)을 생성할 수 있고, 이득 생성 파라미터(RG)가 제2값을 가질 때, 이득 생성기(310)는 상기 제2값을 갖는 이득 생성 파라미터(RG)를 이용하여 제2이득 곡선(CV2-2)을 생성할 수 있고, 이득 생성 파라미터(RG)가 제3값을 가질 때, 이득 생성기(310)는 상기 제3값을 갖는 이득 생성 파라미터(RG)를 이용하여 제3이득 곡선(CV2-3)을 생성할 수 있다. 이득 생성 파라미터(RG)의 값(들)은 CPU(220)에 의해 결정될 수 있다.

예컨대, 제1이득값은 레드(red) 컬러 정정의 위한 레드 이득값, 그린(green) 컬러 정정의 위한 그린 이득값, 및 블루(blue) 컬러 정정의 위한 블루 이득값을 포함할 수 있다. 예컨대, 제1이득값은 시안(cyan) 컬러 정정의 위한 시안 이득값, 옐로우(yellow) 컬러 정정의 위한 옐로우 이득값, 및 마젠타(magenta) 컬러 정정의 위한 마젠타 이득값을 포함할 수 있으나 이에 한정되는 것은 아니다.

컬러별로 다른 이득값을 계산하기 위해 이득 생성 파라미터(RG)는 상기 컬러별 파라미터를 포함할 수 있다. 또한, 이득 곡선의 기하학적 형태는 파라메트릭 (parametric) 방법, 넌-파라메트릭(non-parametric) 방법, 또는 이들을 혼합한 방법에 의해 결정될 수 있다. 상기 넌-파라메트릭 방법은 곡선의 형태를 정의하기 위해 상기 곡선의 정의역(domain (of definition))이나 그 일부에 대한 함수값을 이용하여 상기 곡선을 표현하는 방법이다. 상기 곡선의 값이 정의역의 일부만을 표현할 경우, 나머지 곡선의 값은 주변에 정의된 값(들)을 여러 가지 방법으로 보간 (interpolate)하여 계산될 수 있다.

제2이득값(RG2) 또는 제2YUV 데이터(CIM)는 픽셀의 위치에 따라 느리게 변하는 값(또는 신호)일 수 있다. 입력 YUV 데이터(INPUT)로부터 제2YUV 데이터(CIM)를 빼면, 단차 (또는 높낮이 차)가 발생할 수 있다. 슈도 컨투어(pseudo contour)로 불리는 상기 단차를 제어하기 위해 입력 YUV 데이터(INPUT)에 랜덤 노이즈가 더해질 수 있다. 이득 생성기(310)는 제1이득값(RG1)에 노이즈를 더하는 연산을 수행할 수 있다. 실시 예에 따라 이득 생성기(310)는 상기 노이즈를 생성하는 랜덤 노이즈 생성기(random noise generator(RNG); 310-1)를 더 포함할 수 있다. 상기 노이즈의 평균은 "0"이고, 상기 노이즈는 양의 값 또는 음의 값을 가질 수 있고, 상기 양의 값 또는 상기 음의 값은 조절될 수 있다.

실시 예들에 따라 제1이득값(RG1)은 랜덤 노이즈 생성기(310-1)에 의해 생성된 노이즈를 포함할 수도 있고 포함하지 않을 수도 있다. 실시예들에 따라 이득 조절 회로(315)로 전송되는 제1이득값(RG1)과 조절 회로(330)로 전송되는 제1이득값 (RG1)은 서로 동일할 수도 있고 서로 다를 수도 있다.

이득 조절 회로(315)는, 이득 조절 파라미터(RP, GP, 및 BP)를 이용하여, 제1이득 값(RG1)을 조절하고, 조절 결과에 따라 RGB 도메인(domain)으로 표현되는 제2이득 값(RG2)을 변환기(320)로 출력할 수 있다. 이득 조절 회로(315)는 이득 생성기(310)에 의해 생성된 방사상의 이득 곡선의 전부 또는 일부를 조절 또는 변경할 수 있다.

제1이득값(RG1)이 레드 이득값, 그린 이득값, 및 블루 이득값을 포함할 때, 이득 조절 파라미터(RP, GP, 및 BP)는 상기 레드 이득값을 조절할 수 있는 레드 파라미터(RP), 상기 그린 이득값을 조절할 수 있는 그린 파라미터(GP), 및 상기 블루 이득값을 조절할 수 있는 블루 파라미터(BP)를 포함할 수 있다.

제1이득값(RG1)이 시안 이득값, 옐로우 이득값, 및 마젠타 이득값을 포함할 때, 이득 조절 파라미터(RP, GP, 및 BP)는 상기 시안 이득값을 조절할 수 있는 시안 파라미터(RP), 상기 옐로우 이득값을 조절할 수 있는 옐로우 파라미터(GP), 및 상기 마젠타 이득값을 조절할 수 있는 마젠타 파라미터(BP)를 포함할 수 있다.

CPU(220)는, 밝기 값에 따라, 메모리(400 또는 401)에 저장된 테이블(TABLE)로부터 상기 밝기 값에 해당하는 이득 조절 파라미터(RP, GP, 및 BP)를 리드(또는 페치(fetch))하고, 리드된 이득 조절 파라미터(RP, GP, 및 BP)를 이득 조절 회로 (315)로 전송할 수 있다.

밝기 값이 제1값(BR1)일 때, CPU(220)는 제1값(BR1)에 해당하는 이득 조절 파라미터(RP=RP_11, GP=GP_11, 및 BP=BP_11)를 이득 조절 회로(315)로 전송할 수 있다.

예컨대, 제1이득 곡선(CV2-1)이 이득 생성기(310)에 의해 생성되고, 제1값 (BR1)에 해당하는 이득 조절 파라미터(RP=RP_11, GP=GP_11, 및 BP=BP_11)가 이득 조절 회로(315)로 전송되면, 이득 조절 회로(315)는 제1이득 곡선(CV2-1)의 제1이득값(RG1)과 이득 조절 파라미터(RP=RP_11, GP=GP_11, 및 BP=BP_11)를 이용하여 픽셀 단위로 제1이득값(RG1)을 조절하고, 조절의 결과에 따라 제2이득 값(RG2)을 출력할 수 있다. 예컨대, 제4이득 곡선(CV1-1)은 제1이득 곡선(CV2-1)과 이득 조절 파라미터(RP=RP_11, GP=GP_11, 및 BP=BP_11)에 의해 조절된 제2이득 값(RG2)의 이득 곡선이라고 가정한다.

밝기 값이 제2값(BR2)일 때, CPU(220)는 제2값(BR2)에 해당하는 이득 조절 파라미터(RP=RP_21, GP=GP_21, 및 BP=BP_21)를 이득 조절 회로(315)로 전송할 수 있다.

예컨대, 제1이득 곡선(CV2-1)이 이득 생성기(310)에 의해 생성되고, 제2값 (BR2)에 해당하는 이득 조절 파라미터(RP=RP_21, GP=GP_21, 및 BP=BP_21)가 이득 조절 회로(315)로 전송되면, 이득 조절 회로(315)는 제1이득 곡선(CV2-1)의 제1이득값(RG1)과 이득 조절 파라미터(RP=RP_21, GP=GP_21, 및 BP=BP_21)를 이용하여 픽셀 단위로 제1이득값(RG1)을 조절하고, 조절의 결과에 따라 제2이득 값(RG2)을 출력할 수 있다. 예컨대, 제5이득 곡선(CV1-2)은 제1이득 곡선(CV2-1)과 이득 조절 파라미터(RP=RP_21, GP=GP_21, 및 BP=BP_21)에 의해 조절된 제2이득 값(RG2)의 이득 곡선이라고 가정한다.

밝기 값이 제3값(BR3)일 때, CPU(220)는 제3값(BR3)에 해당하는 이득 조절 파라미터(RP=RP_31, GP=GP_31, 및 BP=BP_31)를 이득 조절 회로(315)로 전송할 수 있다.

예컨대, 제1이득 곡선(CV2-1)이 이득 생성기(310)에 의해 생성되고, 제3값 (BR3)에 해당하는 이득 조절 파라미터(RP=RP_31, GP=GP_31, 및 BP=BP_31)가 이득 조절 회로(315)로 전송되면, 이득 조절 회로(315)는 제1이득 곡선(CV2-1)의 제1이득값(RG1)과 이득 조절 파라미터(RP=RP_31, GP=GP_31, 및 BP=BP_31)를 이용하여 픽셀 단위로 제1이득값(RG1)을 조절하고, 조절의 결과에 따라 제2이득 값(RG2)을 출력할 수 있다. 예컨대, 제6이득 곡선(CV1-3)은 제1이득 곡선(CV2-1)과 이득 조절 파라미터(RP=RP_31, GP=GP_31, 및 BP=BP_1)에 의해 조절된 제2이득 값(RG2)의 이득 곡선이라고 가정한다.

상술한 바와 같이, 이득 조절 파라미터(RP, GP, 및 BP)는 각 이득 곡선(CV2-1, CV2-2, 및 CV2-3)의 곡률(curvature)을 조절할 수 있다. 이득 조절 파라미터 (RP, GP, 및 BP)는 프레임(frame) 단위로, 복수의 픽셀들을 포함하는 윈도우 (window) 단위로, 또는 픽셀 단위로 설정될 수 있다.

이득 조절 회로(315)는 이득 조절 파라미터(RP, GP, 및 BP)와 제1이득 값 (RG1)을 곱하여 제2이득 값(RG2)을 생성할 수 있다. 이득 조절 회로(315)는 계산량을 줄이기 위해 렌즈 쉐이딩 정정에 필요한 제2이득 값(RG2)을 생성할 수 있다.

변환기(320)는 제2이득 값(RG2)을 제2YUV 데이터(CIM)로 변환할 수 있다. 제2이득 값(RG2)은 RGB 도메인(domain)으로 표현되고, RGB 포맷을 갖는 데이터일 수 있다. 즉, 이득 조절 회로(315)에 의한 이득값에 대한 정정 또는 보상은 RGB 도메인서 수행되므로 입력 데이터(INPUT)와 출력 데이터(OUTPUT) 각각이 YUV 데이터일 때, 변환기(320)는 RGB 포맷을 갖는 데이터(RG2)를 제2YUV 데이터(CIM)로 변환할 수 있다.

감산기(325)는 입력 YUV 데이터(INPUT)로부터 제2YUV 데이터(CIM)를 빼서 제1YUV 데이터(CINPUT1)를 생성할 수 있다. 렌즈 쉐이딩에 따른 입력 YUV 데이터 (INPUT)의 밝기(또는 밝기 값)는 도 5의 (a)에 예시적으로 도시되어 있다.

본 발명의 실시 예들에 따른 렌즈 쉐이딩 정정에서, 그린 컬러에 대한 밝기는 도 5의 (d)의 I와 같이 정정될 수 있고, 레드 컬러와 블루 컬러에 대한 밝기는 도 5의 (d)의 Ⅱ와 같이 정정될 수 있다. 따라서, 그린 컬러의 밝기, 레드 컬러의 밝기, 및 블루 컬러 모두의 밝기는 도 5의 (d)의 Ⅲ와 같이 정정될 수 있다. 즉, 종래의 렌즈 쉐이딩 정정에서 도 5의 (d)의 Ⅱ와 같이 정정은 수행되지 않았다.

비록, 도 5의 (a)에서는 렌즈의 중앙에 위치하는 중앙의 픽셀(Central Pixel)로부터의 거리에 따른 밝기가 2차원적으로 도시되어 있으나 상기 밝기는 3차원적으로 표현될 수 있다.

조절 회로(330)는 제1YUV 데이터(CINPUT1)를 수신하고, 제1YUV 데이터 (CINPUT1)의 Y 값과 제1이득 값(RG1) 중에서 적어도 하나를 이용하여, 제1YUV 데이터(CINPUT1)의 U 값과 V 값 중에서 적어도 하나를 조절하고, 조절 결과에 따라 제3YUV 데이터(OUTPUT)를 생성하고 출력할 수 있다.

U 값 또는 V 값이 과도하게 감소하면, 그린 컬러가 부각되는 현상이 발생할 수 있으므로, 감산기(325)로부터 출력된 제1YUV 데이터(CINPUT1)의 U 값 또는 V 값이 음수일 때, 조절 회로(330)는 상기 U 값 또는 상기 V 값을 조절하지 않고 그대로 출력할 수 있다. 그러나 감산기(325)로부터 출력된 제1YUV 데이터(CINPUT1)의 U 값 또는 V 값이 양수일 때, 조절 회로(315)는 상기 U 값 또는 상기 V 값을 감소시킬 수 있다.

여기서, U 값과 V 값 각각은 부호를 갖는 표현(signed expression or signed magnitude)으로 표현되고, U 값과 V 값 각각이 0일 때, 상기 U 값과 V 값 각각은 무채색(achromatic color)을 의미할 수 있다. U 값과 V 값 각각이 부호를 갖지 않는 표현(unsigned expression)으로 표현될 때, 무채색을 의미하는 그레이 포인트 (gray point)를 기준으로, U 값 및/또는 V 값이 클 때 조절 회로(330)는 U 값 및/또는 V 값을 정정(예컨대, 감소)하고, 상기 U 값 및/또는 상기 V 값이 작을 때 조절 회로(330)는 그린 컬러가 부각되는 것을 방지하기 위해 상기 U 값 및/또는 상기 V 값을 정정하지 않을 수 있다.

부호를 갖지 않는 표현(unsigned expression)으로 표현된 값은 부호를 갖는 표현(signed expression)으로 표현된 값에 상수 값을 더한 값에 해당하므로, 본 명세서에서 표현된 U 값 및/또는 V 값을 부호를 고려하여 감소시키는 것은 부호를 갖지 않는 표현에 대해서는 그레이 포인트를 기준으로 처리하는 것과 동일 또는 유사한 의미를 갖는다.

예컨대, U 값 또는 V 값이 n-비트로 표현될 때, 상기 U 값 또는 상기 V 값은 -2^(n-2)부터 2^(n-2)-1로 표현될 수도 있고, 0부터 2^(n-1)-1로 표현될 수도 있다. -2^(n-2)부터 2^(n-2)-1은 부호를 갖는 표현으로 표현된 값들의 범위를 나타내고, 0부터 2^(n-1)-1는 부호를 갖지 않는 표현으로 표현된 값들의 범위를 나타낸다. 예컨대, -2^(n-2)부터 2^(n-2)-1으로 표현된 값들 각각에 2^(n-2)를 더하면, 0부터 2^(n-1)-1로 표현된 값들 각각이 될 수 있다. 이때, 2^(n-2)은 상수 값이 될 수 있다. 예컨대, n이 3일 때, -2^(n-2)부터 2^(n-2)-1은 -2, -1, 0, 및 1로 표현되고, 상수 값이 2이면, 0부터 2^(n-1)-1은 0, 1, 2, 및 3으로 표현될 수 있다.

조절 회로(330)에 의해 생성된 제3YUV 데이터(OUTPUT)는, CPU(220)의 제어에 따라, 메모리 컨트롤러(230 또는 231) 또는 디스플레이 컨트롤러(240)로 전송될 수 있다. 이때, 제3YUV 데이터(OUTPUT)의 밝기(또는 밝기 값)는 도 5의 (d)의 Ⅲ에 예시적으로 도시되어 있다. 비록 도 5의 (d)에서는 렌즈의 중앙에 위치하는 중앙의 픽셀(Central Pixel)로부터의 거리에 따른 밝기가 2차원적으로 도시되어 있으나 상기 밝기는 3차원적으로 표현될 수 있다.

조절 회로(330)는 선택적으로 제1YUV 데이터(CINPUT1)의 U 값과 V 값 중에서 적어도 하나에 대해 포화도 저하 작동(desaturation operation)을 수행할 수 있다. 따라서, 조절 회로(330)는 선택적 포화도 저하 회로라고 불릴 수 있다. 조절 회로 (330)는 제1YUV 데이터(CINPUT1)에 포함된 불그스럼한(reddish) 컬러 데이터, 푸루스름한(bluish) 컬러 데이터, 및/또는 자주 빛을 띤(purplish) 컬러 데이터를 감소시킬 수 있다(도 5의 (d)의 Ⅱ). 따라서, 도 5의 (d)의 Ⅱ에 도시된 바와 같이, 조절 회로(330)는 제1YUV 데이터 (CINPUT1)에 상응하는 이미지로부터 불그스럼한 컬러, 푸루스름한 컬러, 및/또는 자주 빛을 띤 컬러를 제거할 수 있는 효과가 있다.

도 6은 도 2에 도시된 본 발명의 실시 예들에 따른 렌즈 쉐이딩 정정 회로의 블록도를 나타낸다. 도 1, 도 2, 및 도 6을 참조하면, 렌즈 쉐이딩 정정 회로 (213B)는 이득 생성기(310), 이득 조절 회로(315), 감산기(326), 제1변환기(327), 조절 회로(331), 및 제2변환기(333)를 포함할 수 있다.

도 3에서는 입력 데이터(INPUT)와 출력 데이터(OUTPUT) 각각이 YUV 포맷을 갖는 데이터였으나, 도 6에서는 입력 데이터(INPUT)와 출력 데이터(OUTPUT) 각각은 RGB 포맷을 갖는 데이터이다.

이득 생성기(310)는 이득 생성 파라미터(RG)에 응답하여 픽셀 단위로 제1이득 값(RG1)을 생성하고, 제1이득 값(RG1)을 이득 조절 회로(315)와 조절 회로(331)로 출력할 수 있다. 실시 예에 따라, 이득 생성기(310)는 랜덤 노이즈를 생성하는 랜덤 노이즈 생성기(310-1)를 더 포함할 수 있다.

이득 조절 회로(315)는 이득 조절 파라미터(RP, GP, 및 BP)를 이용하여 제1이득 값(RG1)을 조절하고, 조절의 결과에 따라 RGB 도메인으로 표현되는 제2이득 값(RG2)을 출력할 수 있다.

감산기(326)는 입력 RGB 데이터(INPUT)로부터 제2이득 값(RG2)을 빼서 제1RGB 데이터(CINPUT2)를 생성할 수 있다.

제1변환기(327)는 제1RGB 데이터(CINPUT1)를 제1YUV 데이터(YUVI)로 변환할 수 있다.

조절 회로(331)는 제1YUV 데이터(YUVI)를 수신하고, 제1YUV 데이터(YUVI)의 Y 값과 제1이득 값(RG1) 중에서 적어도 하나를 이용하여, 제1YUV 데이터(YUVI)의 U 값과 V 값 중에서 적어도 하나를 조절하고, 조절 결과에 따라 제2YUV 데이터 (CIMA)를 생성하고 출력할 수 있다.

제1변환기(327)로부터 출력된 제1YUV 데이터(YUVI)의 U 값 또는 V 값이 음수일 때, 조절 회로(330)는 상기 U 값 또는 상기 V 값을 조절하지 않고 그대로 출력할 수 있다. 그러나 제1변환기(327)로부터 출력된 제1YUV 데이터(YUVI)의 U 값 또는 V 값이 양수일 때, 조절 회로(315)는 상기 U 값 또는 상기 V 값을 감소시킬 수 있다.

조절 회로(331)는 선택적으로 제1YUV 데이터(YUVI)의 U 값과 V 값 중에서 적어도 하나에 대해 포화도 저하 작동을 수행할 수 있다. 따라서, 조절 회로(331)는 선택적 포화도 저하 회로라고 불릴 수 있다. 도 5의 (d)의 Ⅱ에 도시된 바와 같이, 조절 회로(331)는 제1YUV 데이터(YUVI)에 상응하는 이미지로부터 불그스럼한 컬러, 푸루스름한 컬러, 및/또는 자주 빛을 띤 컬러를 제거할 수 있는 효과가 있다.

제2변환기(333)는 조절 회로(331)로부터 출력된 제2YUV 데이터(CIMA)를 제2RGB 데이터(OUTPUT)로 변환하고, 제2RGB 데이터(OUTPUT)를 메모리 컨트롤러(230 또는 231) 또는 디스플레이 컨트롤러(240)로 전송될 수 있다.

도 7은 도 2에 도시된 본 발명의 실시 예들에 따른 렌즈 쉐이딩 정정 회로의 블록도를 나타낸다. 도 1, 도 2, 및 도 7을 참조하면, 렌즈 쉐이딩 정정 회로 (213C)는 이득 생성기(310)와 조절 회로(332)를 포함할 수 있다.

도 7에서, 입력 데이터(INPUT)와 출력 데이터(OUTPUT) 각각은 YUV 포맷을 갖는 데이터라고 가정한다.

이득 생성기(310)는 이득 생성 파라미터(RG)에 응답하여 픽셀 단위로 제1이득 값(RG1)을 생성하고, 제1이득 값(RG1)을 조절 회로(332)로 출력할 수 있다. 실시 예에 따라, 이득 생성기(310)는 랜덤 노이즈를 생성하는 랜덤 노이즈 생성기 (310-1)를 더 포함할 수 있다.

조절 회로(332)는, 입력 YUV 데이터(INPUT)를 수신하고, 입력 YUV 데이터 (INPUT)의 Y 값과 제1이득 값(RG1) 중에서 적어도 하나를 이용하여, 입력 YUV 데이터(INPUT)의 U 값과 V 값 중에서 적어도 하나를 조절하고, 조절 결과에 해당하는 출력 데이터(OUTPUT)를 출력할 수 있다. 출력 데이터(OUTPUT)는 메모리 컨트롤러 (230 또는 231) 또는 디스플레이 컨트롤러(240)로 전송될 수 있다.

도 8은 본 발명의 실시 예들에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 2와 도 8을 참조하면, 도 2에서 렌즈 쉐이딩 정정 회로(213)는 ISP(210A) 내부에 구현되었으나, 도 8에서 렌즈 쉐이딩 정정 회로(213)는 ISP(210B)의 외부에 구현될 수 있다. 즉, 렌즈 쉐이딩 정정 회로(213)는 독립적인 IP(intellectual property) 또는 반도체 칩으로 구현될 수 있다.

ISP(210B)는 제1포맷을 갖는 로우 이미지 데이터(IMI)를 제2포맷을 갖는 입력 이미지 데이터(INPUT)로 변환할 수 있다. 상술한 바와 같이, 상기 제1포맷은 베이어(Bayer) 패턴일 수 있으나 이에 한정되는 것은 아니다. 제2포맷은 YUV, Y'UV, YCbCr, YPbPr, 또는 RGB일 수 있으나 이에 한정되는 것은 아니다.

도 8에 도시된 렌즈 쉐이딩 정정 회로(213)는 도 3에 도시된 렌즈 쉐이딩 정정 회로(213A), 도 6에 도시된 렌즈 쉐이딩 정정 회로(213B), 또는 도 7에 도시된 렌즈 쉐이딩 정정 회로(21C)로 구현될 수 있다.

도 9는 본 발명의 실시 예들에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 2와 도 8에서 도시된 렌즈 쉐이딩 정정 회로(213)는 하드웨어로 구현될 수 있으나, 도 9에 도시된 렌즈 쉐이딩 정정기(213-1)는 CPU(220)에서 실행될 수 있는 소프트웨어 또는 컴퓨터로 읽을 수 있는 프로그램일 수 있다.

렌즈 쉐이딩 정정기(213-1)는 메모리(401)에 저장되고, 데이터 처리 시스템 (100C)이 부팅될 때, 렌즈 쉐이딩 정정기(213-1)는 메모리(401)로부터 메모리(400)로 로드되고, 메모리(400)로 로드된 렌즈 쉐이딩 정정(213-1)는 CPU(220)에서 실행될 수 있다.

실시 예들에 따라, 렌즈 쉐이딩 정정기(213-1)는 도 3을 참조하여 설명된 각 구성 요소(310, 315, 320, 325, 및 330)의 기능과 동일 또는 유사한 기능을 수행할 수 있는 각 기능 블록을 포함할 수 있다. 상기 각 기능 블록은 컴퓨터로 읽을 수 있는 소프트웨어 또는 프로그램 코드로 작성될 수 있다.

실시 예들에 따라, 렌즈 쉐이딩 정정기(213-1)는 도 6을 참조하여 설명된 각 구성 요소(310, 315, 326, 327, 331, 및 333)의 기능과 동일 또는 유사한 기능을 수행할 수 있는 각 기능 블록을 포함할 수 있다. 상기 각 기능 블록은 소프트웨어 또는 컴퓨터로 읽을 수 있는 프로그램 코드로 작성될 수 있다.

실시 예들에 따라, 렌즈 쉐이딩 정정기(213-1)는 도 7을 참조하여 설명된 각 구성 요소(310과 332)의 기능과 동일 또는 유사한 기능을 수행할 수 있는 각 기능 블록을 포함할 수 있다. 상기 각 기능 블록은 소프트웨어 또는 컴퓨터로 읽을 수 있는 프로그램 코드로 작성될 수 있다.

도 10은 본 발명의 실시 예들에 따른 데이터 처리 시스템의 작동을 나타내는 플로우 차트이다. 도 1부터 도 6, 및 도 10을 참조하면, 렌즈 쉐이딩 정정 회로 (213, 213A, 또는 213B, 집합적으로 213)는 이득 생성 파라미터(RG)에 응답하여 렌즈 쉐이딩 정정(또는 보상)을 위한 이득 값들(RG1)을 생성할 수 있다(S110). 예컨대, 렌즈 쉐이딩 정정 회로(213)는 픽셀 단위로 이득 값들(RG1)을 생성할 수 있다 (S110).

렌즈 쉐이딩 정정 회로(213)는 이득 조절 파라미터(RP, GP, 및 BP)를 이용하여 이득 값들(RG1)을 보정하고, 보정된 이득 값들(RG2)을 생성할 수 있다(S120).

렌즈 쉐이딩 정정 회로(213)는 입력 데이터(INPUT)와 보정된 이득 값들(RG2)을 이용하여 입력 데이터(INPUT)를 처리할 수 있다(S130).

렌즈 쉐이딩 정정 회로(213)는 이득 값(RG1) 및/또는 처리된 데이터의 Y 값을 이용하여 상기 처리된 데이터의 U 값과 V 값 중에서 적어도 하나를 감소시킬 수 있다(S140).

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100A, 100B 또는 100C: 데이터 처리 시스템
200: 제어 회로
210A: 이미지 처리 프로세서
211: 포맷 변환기
213: 렌즈 쉐이딩 정정 회로
310: 이득 생성기
315: 이득 조절 회로
320, 327: RGB-to-YUV 변환기
325, 326: 감산기
330, 331, 332: 조절 회로
333: YUV-to-RGB 변환기

Claims

이득 생성 파라미터에 응답하여 픽셀 단위로 제1이득 값을 생성하는 이득 생성기; 및
제1YUV 데이터를 수신하고, 상기 제1YUV 데이터의 Y 값과 상기 제1이득 값 중에서 적어도 하나를 이용하여, 상기 제1YUV 데이터의 U 값과 V 값 중에서 적어도 하나를 조절하는 조절 회로를 포함하는 렌즈 쉐이딩 정정 회로.
제1항에 있어서,
상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시키는 렌즈 쉐이딩 정정 회로.
제1항에 있어서,
이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로;
상기 제2이득 값을 제2YUV 데이터로 변환하는 변환기; 및
입력 YUV 데이터로부터 상기 제2YUV 데이터를 빼서 상기 제1YUV 데이터를 생성하는 감산기를 더 포함하는 렌즈 쉐이딩 정정 회로.
제3항에 있어서,
상기 이득 조절 회로는 상기 이득 조절 파라미터와 상기 제1이득 값을 곱하여 상기 제2이득 값을 생성하는 렌즈 쉐이딩 정정 회로.
제4항에 있어서,
상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시키는 렌즈 쉐이딩 정정 회로.
제1항에 있어서,
이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절의 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로;
입력 RGB 데이터로부터 상기 제2이득 값을 빼서 제1RGB 데이터를 생성하는 감산기;
상기 제1RGB 데이터를 상기 제1YUV 데이터로 변환하는 제1변환기; 및
상기 조절 회로로부터 출력된 제2YUV 데이터를 제2RGB 데이터로 변환하는 제2변환기를 더 포함하는 렌즈 쉐이딩 정정 회로.
제6항에 있어서,
상기 이득 조절 회로는 상기 이득 조절 파라미터와 상기 제1이득 값을 곱하여 상기 제2이득 값을 생성하는 렌즈 쉐이딩 정정 회로.
제7항에 있어서,
상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시키는 렌즈 쉐이딩 정정 회로.
렌즈 쉐이딩 정정 회로; 및
상기 렌즈 쉐이딩 정정 회로를 제어하는 CPU를 포함하고,
상기 렌즈 쉐이딩 정정 회로는,
이득 생성 파라미터에 응답하여 픽셀 단위로 제1이득 값을 생성하는 이득 생성기; 및
제1YUV 데이터를 수신하고, 상기 제1YUV 데이터의 Y 값과 상기 제1이득 값 중에서 적어도 하나를 이용하여, 상기 제1YUV 데이터의 U 값과 V 값 중에서 적어도 하나를 조절하는 조절 회로를 포함하는 시스템 온 칩.
제9항에 있어서, 상기 렌즈 쉐이딩 정정 회로는,
이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로;
상기 제2이득 값을 제2YUV 데이터로 변환하는 변환기; 및
입력 YUV 데이터로부터 상기 제2YUV 데이터를 빼서 상기 제1YUV 데이터를 생성하는 감산기를 더 포함하는 시스템 온 칩.
제10항에 있어서,
상기 CPU는 프레임 단위로 결정되는 밝기 정보를 이용하여 상기 이득 조절 파라미터를 조절하는 시스템 온 칩.
제10항에 있어서,
상기 이득 조절 회로는 상기 이득 조절 파라미터와 상기 제1이득 값을 곱하여 상기 제2이득 값을 생성하고,
상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시키는 시스템 온 칩.
제9항에 있어서, 상기 렌즈 쉐이딩 정정 회로는,
이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절의 결과에 따라 제1RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로;
입력 RGB 데이터로부터 상기 제2이득 값을 빼서 제1RGB 데이터를 생성하는 감산기;
상기 제1RGB 데이터를 상기 제1YUV 데이터로 변환하는 제1변환기; 및
상기 조절 회로로부터 출력된 제2YUV 데이터를 제2RGB 데이터로 변환하는 제2변환기를 더 포함하는 시스템 온 칩.
제13항에 있어서,
상기 CPU는 프레임 단위로 결정되는 밝기 정보를 이용하여 상기 이득 조절 파라미터)를 조절하는 시스템 온 칩.
제13항에 있어서,
상기 이득 조절 회로는 상기 이득 조절 파라미터와 상기 제1이득 값을 곱하여 상기 제2이득 값을 생성하고,
상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시키는 시스템 온 칩.
로우 이미지 데이터를 생성하는 카메라 모듈; 및
상기 카메라 모듈을 제어하는 시스템 온 칩을 포함하고,
상기 시스템 온 칩은 상기 로우 이미지 데이터에 대한 비네팅 보정 (vignetting correction)을 수행하는 렌즈 쉐이딩 정정 회로; 및
상기 렌즈 쉐이딩 정정 회로를 제어하는 CPU를 포함하고,
상기 렌즈 쉐이딩 정정 회로는,
이득 생성 파라미터에 응답하여 픽셀 단위로 제1이득 값을 생성하는 이득 생성기; 및
제1YUV 데이터를 수신하고, 상기 제1YUV 데이터의 Y 값과 상기 제1이득 값 중에서 적어도 하나를 이용하여, 상기 제1YUV 데이터의 U 값과 V 값 중에서 적어도 하나를 조절하는 조절 회로를 포함하는 데이터 처리 시스템.
제16항에 있어서, 상기 렌즈 쉐이딩 정정 회로는,
이득 조절 파라미터를 이용하여 상기 제1이득 값을 조절하고, 조절 결과에 따라 RGB 도메인으로 표현되는 제2이득 값을 출력하는 이득 조절 회로;
상기 제2이득 값을 제2YUV 데이터로 변환하는 변환기; 및
입력 YUV 데이터로부터 상기 제2YUV 데이터를 빼서 상기 제1YUV 데이터를 생성하는 감산기를 더 포함하는 데이터 처리 시스템.
제17항에 있어서,
상기 데이터 처리 시스템은 복수의 이득 조절 파라미터들을 저장하는 테이블을 포함하는 메모리 장치를 더 포함하고,
상기 CPU(220)는, 밝기 정보를 이용하여, 상기 테이블에 저장된 상기 복수의 이득 조절 파라미터들 중에서 어느 하나를 상기 이득 조절 파라미터로서 결정하는 데이터 처리 시스템.
제17항에 있어서,
상기 이득 조절 회로는 상기 이득 조절 파라미터와 상기 제1이득 값을 곱하여 상기 제2이득 값을 생성하는 데이터 처리 시스템.
제19항에 있어서,
상기 U 값 또는 상기 V 값이 양수일 때, 상기 조절 회로는 상기 U 값 또는 상기 V 값을 감소시키는 데이터 처리 시스템.