KR20090101675A - 이미지 처리 장치 및 방법 - Google Patents

Abstract

이미지 처리 장치 및 방법을 개시한다. 이미지 처리 장치는 외부 영상에 대응하는 원시 데이터를 출력하는 이미지 센서와, 상기 원시 데이터를 저장하는 원시 데이터 저장부와, 상기 원시 데이터의 이미지 처리 결과에 따라서 상기 원시데이터 저장부에 저장된 원시데이터를 리드(read)하여 다시 이미지 처리를 수행하는 이미지 시그널 처리부를 포함한다.

Description

이미지 처리 장치 및 방법{Apparatus and Method for Image processing}

본 발명은 이미지 처리 장치 및 방법에 관한 것으로서, 보다 상세하게는 이미지 평가 결과에 기초하여 사용자에게 고품질의 이미지 데이터를 제공할 수 있는 이미지 처리 장치 및 방법에 관한 것이다.

일반적으로, 이미지 처리 장치는 이미지 센서(Image sensor) 및 상기 이미지 센서로부터 외부 영상에 대응하는 전기 신호(raw data)를 입력 받아 상기 전기 신호에 대응하는 YUV 데이터 또는 인코딩된 이미지 데이터를 생성하여 출력하는 이미지 시그널 프로세서(ISP: Image Signal Processor)를 포함하여 이루어진다.

이미지 처리 장치는 휴대용 단말기에 장착됨으로써, 휴대용 단말기가 촬상 장치로서 기능할 수 있도록 한다. 즉, 이미지 처리 장치는 휴대 전화기, PDA, MP3 플레이어 등의 휴대용 단말기에 구비되어 다양한 장치에서 외부 영상을 전자적인 데이터로 변환하여 저장할 수 있도록 구현된다.

이미지 센서는 일반적으로, CCD(Charge Coupled Device)형 이미지 센서 또는 시모스(CMOS) 제조 기술로 생산되는 시모스(CMOS) 이미지 센서 등이 사용된다.

도 1은 이미지 처리 장치를 구비하는 휴대용 단말기의 개략적인 구조를 나타낸다.

도 1을 참조하면, 이미지 처리 장치를 구비하는 휴대용 단말기는 이미지 센서(101), ISP(103), 백엔드 칩(Back-end chip)(105) 및 디스플레이부를 포함하여 이루어진다. 또한, 휴대용 단말기는 휴대용 단말기 본래의 동작을 제어하기 위한 메인 칩을 더 포함하여 구성될 수 있으나, 본 발명과 관련 없는 구성의 설명은 생략하기로 한다.

이미지 센서(101)는 광학 정보를 전기 신호로 변화하는 장치로서, 베이어 패턴(Bayer Pattern)을 가지는 센서일 수 있으며, 렌즈를 통하여 입력된 빛에 양에 대응하는 전기 신호(raw data)를 출력한다.

ISP(103)는 이미지 센서(101)로부터 입력된 전기신호를 YUV 값으로 변환하여 백엔드 칩(105)으로 제공한다. 또한, ISP(103)는 YUV 값으로 변환된 데이터를 인코딩하여 벡엔드 칩(105)으로 제공 할 수 있다.

백엔드 칩(105)은 ISP(103)로 제어 신호 등을 전송하고, ISP(103)로부터 입력되는 이미지 데이터를 메모리에 저장하거나 이를 디코딩하여 디스플레이부(107)에 디스플레이하는 기능을 수행한다.

상기한 바와 같이, 종래의 이미지 처리 장치는 이미지 센서(101)에 의하여 촬상된 영상 신호를 실시간으로 처리하여 백엔드 칩(105)으로 출력한다.

상기 이미지 센서(101) 및 ISP(103)는 데이터 처리 속도가 약 96MHz~186MHz 로, 고속의 데이터 전송이 이루어진다. 그러나, 백엔드 칩(105)은 이미지 센서(101) 또는 ISP(103) 보다 데이터 처리 속도가 상당히 느리기 때문에 이러한 데이터 처리 속도의 차이로 인한 문제가 발생할 수 있다.

백엔드 칩(105)은 ISP(103)로부터 입력되는 이미지 데이터에 대한 평가 또는 이미지 처리에 대한 오류 체크를 수행하여야만 한다. 또한, 백엔드 칩(105)은 화질 판단을 위한 부가 정보(노이즈 정도, 포커싱 정도, 밝기, 색 표현 정보)를 생성하여야 하기 때문에, 상당한 부하가 발생하게 된다.

또한, 종래의 ISP(103)는 백엔드 칩(105)으로부터 캡쳐 명령을 수신하면, 3 내지 4 장의 프레임을 백엔드 칩(105)으로 제공하고, 이 중 타이밍 적으로 안정된 프레임을 선택하여 저장하도록 한다.

그러나, 이러한 방법은 가장 좋은 화질의 이미지 데이터가 저장되는 것이 아니라, 가장 안정적인 타이밍에 획득된 이미지 데이터가 저장되는 것이다.

여기서, 가장 안정적인 타이밍이란, 예를 들어, ISP(103)가 캡쳐 명령을 수신한 후, 임의의 시간 경과 후에 촬상된 이미지 데이터를 안정적인 타이밍에 촬상된 것으로 결정하는 것일 수 있다.

결국, 종래의 이미지 처리 장치는 가장 안정적인 타이밍에 획득되었으나, 해당 타이밍에 화상이 흔들리거나 촬상 대상이 움직인 경우에도 이때의 이미지 데이터를 저장하게 되는 문제가 있다.

따라서, 본 발명은 백엔드 칩에 과중한 부하 발생을 일으키지 않으면서도 사용자가 보다 고 품질의 이미지를 선택하여 저장할 수 있도록 하기 위한 이미지 평가 결과를 제공하는 이미지 처리 장치 및 방법을 제공하고자 한다.

또한, 본 발명은 이미지 센서로부터 입력되는 원시데이터를 저장하고, 저장된 원시 데이터를 이용하여 이미지 평가 정보를 백엔드 칩으로 제공할 수 있는 이미지 처리 장치 및 방법을 제공하고자 한다.

본 발명의 해결 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 이미지 처리 장치는 외부 영상에 대응하는 원시 데이터를 출력하는 이미지 센서와, 상기 원시 데이터를 저장하는 원시 데이터 저장부와, 상기 원시 데이터의 이미지 처리 결과에 따라서 상기 원시데이터 저장부에 저장된 원시데이터를 리드(read)하여 다시 이미지 처리를 수행하는 이미지 시그널 처리부를 포함한다.

또한, 본 발명의 실시예에 따른 이미지 처리 방법은 외부 영상에 대응하는 원시 데이터를 저장하는 단계와, 상기 저장된 원시데이터에 대한 이미지 처리 수행 결과에 따라서 다시 이미지처리를 수행하여 이미지 데이터를 생성하는 단계 및 상기 이미지 데이터를 백엔드 칩으로 제공하는 단계를 포함한다.

본 발명에 따르면, 종래 이미지 처리 장치의 구조적인 제한을 극복하고, 보다 정확하고 고 품질의 이미지를 사용자가 캡쳐하여 저장할 수 있다.

또한, 본 발명의 실시예에 따르면, 이미지 센서로부터 입력되는 원시데이터를 저장하고, 저장된 원시 데이터를 이용하여 이미지 처리를 수행함으로써, 이미지의 캡쳐(capture) 성공률을 높이고 보다 우수한 품질의 이미지를 제공할 수 있다.

또한, 본 발명의 실시예에 따르면, 이미지 센서로부터 입력되는 원시데이터를 저장하고, 저장된 원시 데이터를 이용하여 이미지 평가 정보를 백엔드 칩으로 제공할 수 있다.

도 1은 이미지 처리 장치를 구비하는 휴대용 단말기의 개략적인 구조를 나타낸다.

도 2는 본 발명의 제1 실시예에 따른 이미지 평가 결과를 제공하는 이미지 처리 장치의 구성을 나타낸다.

도 3은 본 발명의 제1 실시예에 따른 이미지 처리 장치 및 백엔드 칩에서의 이미지 처리 방법을 나타낸다.

도 4는 본 발명의 제2 실시예에 따른 이미지 평가 결과를 제공하는 이미지 처리 장치의 구성을 나타낸다.

도 5는 본 발명의 제2 실시예에 따른 이미지 처리 장치 및 백엔드 칩에서의 이미지 처리 방법을 나타낸다.

도 6은 본 발명의 제3 실시예에 따른 이미지 처리 장치의 구성을 나타낸다.

도 7은 본 발명의 제4 실시예에 따른 이미지 처리 장치의 구성을 나타낸다.

도 8은 본 발명의 제5 실시예에 따른 ISP의 구성을 나타낸다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 2는 본 발명의 제1 실시예에 따른 이미지 평가 결과를 제공하는 이미지 처리 장치의 구성을 나타낸다.

도 2에 도시된 바와 같이, 제1 실시예에 따른 이미지 처리 장치는 이미지 센서(201) 및 ISP(203)을 포함한다. 상기 이미지 처리 장치는 휴대용 단말기에 구비되는 백엔드 칩(215)과 연결되며, 백엔드 칩(215) 또는 휴대용 단말기의 메인 칩(미 도시 함)은 디스플레이부(217)를 통하여 이미지 처리 장치에서 제공되는 이미지를 디스플레이 할 수 있다.

이미지 센서(201)는 전하 결합 소자(CCD: Charge Coupled Device)와 시모스(CMOS: Complementary Metal-Oxide Semiconductor)를 포함한다.

도 2를 참조하면, ISP(203)는 이미지 시그널 처리부(205), 이미지 데이터 저장부(207), 분석 및 평가부(211), 제어부(209) 및 인터페이스부(213)를 포함하여 이루어진다.

이미지 시그널 처리부(205)는 이미지 센서로부터 전기 신호 형태의 원시 데이터(raw data)를 각 라인별로 입력 받아 전처리 과정을 수행하는 전처리 수단 및 전처리 된 데이터를 인코딩 하기 위한 인코딩 수단을 포함하여 구성될 수 있다.

이때, 전처리란 컬러 모델 변환(Color Space transform), 필터링, 다운 샘플링(Color SubSampling) 등을 포함할 수 있다.

전처리 과정을 거친 이미지 데이터는 프리뷰 모드(사용자에 의하여 촬영 명령이 입력되기 이전의 상태)에서 디스플레이부(217)를 통해 디스플레이 된다.

이때, 인코딩은 일반적으로, 사용자에 의하여 캡쳐 명령이 입력된 이후에 수행되며 JPEG 포맷으로의 인코딩을 의미하지만, 이에 제한되지 않는다.

이미지 시그널 처리부(205)를 통하여 인코딩 되는 이미지 데이터는 이미지 데이터 저장부(207)에 저장된다. 이미지 데이터 저장부(207)에 저장되는 이미지 데이터는 압축된 형태로 저장되기 때문에, 메모리 사용 효율을 극대화 할 수 있다.

이미지 시그널 처리부(205)는 상기한 전처리 과정 및 인코딩 과정에 의하여 이미지 데이터에 대한 히스토그램(histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등의 이미지 분석 정보를 추출할 수 있다.

상기 분석 정보는 이미지 시그널 처리부(205)의 전처리 과정에서 획득 되는 것으로서, 상기한 히스토그램, 선명도, 노이즈, 노출, 밝기, 색균형 등에 제한되지 않으며, 이미지 데이터 평가에 활용될 수 있는 정보는 모두 분석 정보에 해당 될 수 있다.

분석 및 평가부(211)는 전처리 과정을 거친 이미지 데이터에 대한 이미지 분석 정보를 평가 요소로 하여 이미지 데이터의 평가를 수행한다.

이때, 상기 분석 및 평가부(211)는 미리 설정된 가중치를 상기 분석 정보에 부여하여 이미지 데이터를 평가할 수 있다.

여기서, 각 항목에 부여되는 가중치 값은 전체 합이 1이 되도록 설정될 수 있으며, 사용자의 선택 또는 설정 모드에 따라서 다양하게 결정될 수 있다.

예를 들어, 노출 및 색 균형이 강조되도록 설정된 모드인 경우에는 노출 및 색 균형 항목에 큰 값의 가중치 값이 부여되고, 다른 항목에는 상대적으로 작은 값의 가중치가 부여될 수 있다.

또한, 사용자의 선택 또는 설정 모드는 2 개 이상의 기준이 설정된 경우일 수 있다. 이 경우, 2개 이상의 기준에 따라서 2개 이상의 이미지 데이터가 평가 결과가 높은 데이터로 선택될 수 있다.

일 실시예에서, 분석 및 평가부(211)는 이미지 데이터의 히스토그램 분포를 추출하고, 추출된 히스토그램 분포를 미리 설정된 조건과 비교하여 이미지 데이터를 평가할 수 있다. 추출된 히스토그램 분포는 밝기값의 구간별 분포를 표현한 것이다.

이때, 미리 설정된 조건에 해당하는 히스토그램 분포 샘플은 복수일 수 있으며, 평가의 조건에 따라서 어느 하나의 히스토그램 분포 샘플이 결정될 수 있다. 이때, 히스토그램 샘플의 결정은 촬상 환경 또는 평가 조건에 따라서 결정될 수 있다. 히스토그램 분포는 각 구간의 크기를 균등하게 하거나, 부분적인 축소/확장이 가능하고, 이에 따라 히스토그램 중의 일부만을 선택하여 미리 설정된 조건과 비교할 수 있다. 이때, 히스토그램 분포의 일부만을 선택하거나 부분적인 축소/확장은 촬상 환경 또는 평가 조건에 따라서 조정될 수 있다.

일 실시예에서 분석 및 평가부(211)는 히스토그램 분포를 근거로 이미지의 밝기에 대한 평활화 등을 수행할 수 있으며, 평가 결과에 따라서 평활화 방식을 다양하게 적용할 수 있다.

일 실시예에서, 분석 및 평가부(211)는 이미지 데이터에 대한 에지 추출에 의하여 선명도를 결정할 수 있다. 이미지 데이터에 대한 에지 추출은 소벨 필터, 라플라시안 필터, 또는 기타 필터를 이용하거나 또는 이들 필터를 조합하여 수행 될 수 있다. 이때, 선명도는 전체 이미지 데이터에 대하여 측정할 수 있으며, 분석 및 평가부(211)는 미리 설정된 기준치와 비교하여 이미지 데이터에 대한 선명도를 평가할 수 있다.

일 실시예에서, 분석 및 평가부(211)는 노이즈 인식 알고리즘에 의하여 노이즈 정도를 추출하고, 신호대잡음비(SNR)를 미리 설정된 기준치와 비교하여 이미지 데이터에 대한 노이즈를 평가할 수 있다.

일 실시예에서, 분석 및 평가부(211)는 노출의 적정정도에 대하여 휘도값을 미리 설정된 기준치와 비교하여 판단할 수 있다. 이때, 노출은 센서의 픽셀 노출시간등의 제어에 따라서 달라질 수 있으며, 이미지 데이터에 대한 이득(gain)을 조절함으로써 노출의 조정이 가능하다. 휘도값은 RGB데이터를 YUV 등의 Y 성분을 표시하는 색공간으로 변환함으로써 얻을 수 있다. 이때, 휘도값에 대한 미리 설정된 기준치는 촬상환경 또는 평가 조건에 따라서 설정될 수 있다.

일 실시예에서 분석 및 평가부(211)는 RGB 데이터 또는 색 공간 상의 Cb, Cr 등의 색상을 나타내는 값의 분포를 이용하여 색균형 정도를 판단할 수 있다. 색균형은 조명환경 등을 고려하여 색상의 관점에서 데이터를 보상하는 것이다. 조명환경은 사용자에 의하여 설정될 수 있고, 평균 밝기, 편차, 색 불균형 등을 고려하여 이미지 데이터를 처리하는 다른 과정으로부터 판단될 수 있다. 이때, 분석 및 평가부(211)는 Cb, Cr 등의 색상을 나타내는 값의 분포를 미리 저장된 기준값과 비교하여 이미지 데이터에 대한 평가를 수행할 수 있다. 또한 분석 및 평가부(211)는 색공간 상에서의 패턴 형태(위치 또는 분포 모양) 등을 이용하여 색균형 정도를 평가할 수 있다.

제어부(209)는 ISP(203) 및 이미지 센서(201)의 전반적인 동작을 제어하고, 백엔드 칩으로부터 프리뷰 명령, 캡쳐 명령 등을 수신하여 ISP(203)가 해당 동작을 수행하도록 제어한다.

제어부(209)는 ISP(203)를 구성하는 각 구성요소의 동작 시간을 제어하기 위한 소정 클럭을 발생할 수 있다.

인터페이스부(213)는 본 발명의 실시예에 따른 이미지 처리 장치의 내부 또는 외부 장치와 통신하기 위한 구성요소이다.

인터페이스(160)는 주변 장치용 직렬 인터페이스(Serial Peripheral Interface, 이하 SPI) 또는 I2C(Inter-IC), 또는 SPI와 I2C 양자 모두를 포함할 수 있다.

참고적으로, SPI는 두 개의 주변장치간에 직렬 통신으로 데이터를 교환할 수 있게 해주는 인터페이스로서, 그 중 하나가 주(master)가 되고 다른 하나가 종(slave)이 되어 동작한다. SPI는 전이중 방식으로 동작하는데, 이는 데이터가 양방향으로 동시에 전달될 수 있음을 의미한다. SPI는 대부분 CPU와 주변장치들간에 통신을 하는 시스템에 주로 채용되지만, 두 개의 마이크로프로세서들 사이를 SPI의 형태로 연결하는 것도 가능하다.

Inter-IC라고도 불리는 I2C는 집적회로들 간의 통신 링크를 제공하는 두 가닥 선의 양방향 직렬 버스이다. I2C 버스에는 표준, 고속 및 초고속 등 속도에 따라 세 가지 데이터 전송 모드가 있는데, 표준 모드는 100 Kbps, 고속은 400 Kbps, 그리고 초고속 모드에서는 최고 3.4 Mbps의 속도를 지원한다. 이 세 가지 모두 하위 호환성을 갖는다. I2C 버스는 7 비트와 10 비트 주소 공간을 갖는 장비들과, 서로 다른 전압에서 동작하는 장비들을 지원한다.

하기의 설명에 있어서, 상기 제1 실시예에서 설명된 구성요소와 동일한 명칭의 구성요소에 대하여 특별한 설명이 없는 경우에는 상기 제1 실시예에서 설명된 구성요소와 동일한 기능을 수행하는 것으로 이해되어야 하고, 상기 제1 실시예와 관련하여 설명된 데이터, 변형예 및 일 실시예들 역시 마찬가지이다.

도 3은 본 발명의 제1 실시예에 따른 이미지 처리 장치 및 백엔드 칩에서의 이미지 처리 방법을 나타낸다.

본 발명의 일 실시예에 따른 이미지 처리 장치 및 백엔드 칩에서의 이미지 처리 방법은, 이미지 시그널 프로세서로 캡쳐 명령을 전송하고, 이미지 시그널 프로세서로부터 복수의 이미지 데이터 각각에 대한 평가 정보를 수신하고, 상기 수신된 평가 정보에 기초하여 어느 하나의 이미지 데이터를 저장하는 과정을 포함한다.

도 3을 참조하면, 백엔드 칩은 이미지 시그널 프로세서로 캡쳐 명령을 전송한 이후에, 이미지 시그널 프로세서로부터 복수의 이미지 데이터 각각에 대한 평가 정보를 수신한다(S301).

백엔드 칩은 이미지 시그널 프로세서로부터 수신된 평가 정보를 디스플레이 하여 사용자의 선택을 돕도록 한다(S303). 여기서, 평가 정보의 디스플레이 방법은 다양한 형태로 수행될 수 있다. 예를 들어, 이미지와 함께 평가 정보를 제공하거나 평가 정보만을 높은 값으로부터 낮은 값 순으로 디스플레이 할 수 있다.

또한, 평가 정보와 함께 디스플레이 되는 이미지는 사용자 스스로 확인 또는 선택이 가능하도록 여러 개의 이미지를 동시에 디스플레이 할 수 있다. 이때, 이미지는 프리뷰 모드에서 제공되는 이미지 또는 섬네일 이미지가 제공될 수 있다.

백엔드 칩은 사용자가 평가 정보에 대응하는 이미지를 선택하면 이미지 시그널 프로세서로 선택된 이미지의 전송을 요청한다(S305, S307).

일 실시예에서, 백엔드 칩은 이미지 데이터에 대한 평가 정보와 인코딩된 이미지 데이터를 이미지 시그널 프로세서로부터 수신하여 저장하고 있을 수 있으며, 이 경우에는 사용자가 선택한 이미지 데이터를 바로 저장할 수 있다.

한편, 이미지 시그널 프로세서가 인코딩된 이미지 데이터를 가지고 있는 경우에는 상기 전송 요청에 대응하여 선택된 이미지 데이터(인코딩된 이미지 데이터)를 백엔드 칩으로 전송한다(S309).

도 4는 본 발명의 제2 실시예에 따른 이미지 평가 결과를 제공하는 이미지 처리 장치의 구성을 나타낸다.

도 4에 도시된 바와 같이, 이미지 처리 장치는 이미지 센서(401) 및 ISP(403)을 포함한다. 상기 이미지 처리 장치는 휴대용 단말기에 구비되는 백엔드 칩(415)과 연결되며, 백엔드 칩(415) 또는 휴대용 단말기의 메인 칩(미 도시 함)은 디스플레이부(417)를 통하여 이미지 처리 장치에서 제공되는 이미지를 디스플레이 할 수 있다.

이미지 센서(401)는 전하 결합 소자(CCD: Charge Coupled Device)와 시모스(CMOS: Complementary Metal-Oxide Semiconductor)를 포함한다.

도 4를 참조하면, 본 발명의 실시예에 따른 ISP(403)는 이미지 시그널 처리부(405), 이미지 데이터 저장부(407), 평가 요소 수집부(411), 제어부(409) 및 인터페이스부(413)를 포함하여 이루어진다.

이미지 시그널 처리부(405)는 이미지 센서로부터 전기 신호 형태의 원시 데이터(raw data)를 각 라인별로 입력 받아 전처리 과정을 수행하는 전처리 수단 및 전처리 된 데이터를 인코딩 하기 위한 인코딩 수단을 포함하여 구성될 수 있다.

이미지 시그널 처리부(405)는 상기한 전처리 과정 및 인코딩 과정에 의하여 이미지 데이터에 대한 히스토그램(histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등의 이미지 평가 요소 정보(분석 정보)를 추출할 수 있다.

평가 요소 수집부(411)는 전처리 과정을 거친 이미지 데이터에 대한 이미지 평가 요소 정보를 수집한다.

제어부(409)는 ISP(403) 및 이미지 센서(401)의 전반적인 동작을 제어하고, 백엔드 칩으로부터 프리뷰 명령, 캡쳐 명령 등을 수신하여 ISP(403)가 해당 동작을 수행하도록 제어한다.

제어부(409)는 ISP(403)를 구성하는 각 구성요소의 동작 시간을 제어하기 위한 소정 클럭을 발생할 수 있다.

인터페이스부(413)는 본 발명의 실시예에 따른 이미지 처리 장치의 내부 또는 외부 장치와 통신하기 위한 구성요소이다.

도 5는 본 발명의 제2 실시예에 따른 이미지 처리 장치 및 백엔드 칩에서의 이미지 처리 방법을 나타낸다.

본 발명의 실시예에 따른 이미지 처리 장치 및 백엔드 칩에서의 이미지 처리 방법은, 이미지 시그널 프로세서로 캡쳐 명령을 전송하고, 이미지 시그널 프로세서로부터 복수의 이미지 데이터 각각에 대한 평가 요소 정보를 수신하고, 상기 수신된 평가 요소 정보에 기초하여 복수의 이미지 데이터 각각에 대한 평가를 수행하고, 상기 평가 결과에 기초하여 어느 하나의 이미지 데이터를 저장하는 과정을 포함한다.

도 5를 참조하면, 백엔드 칩은 이미지 시그널 프로세서로 캡쳐 명령을 전송한 이후에, 이미지 시그널 프로세서로부터 복수의 이미지 데이터 각각에 대한 평가 요소 정보를 수신한다(S501).

백엔드 칩은 이미지 시그널 프로세서로부터 수신된 평가 요소 정보를 기초로 하여 각 이미지 데이터에 대한 평가를 수행한다(S503).

일 실시예에서, 백엔드 칩은 이미지 데이터의 히스토그램 분포를 추출하고, 추출된 히스토그램 분포를 미리 설정된 조건과 비교하여 이미지 데이터를 평가할 수 있다. 추출된 히스토그램 분포는 밝기값의 구간별 분포를 표현한 것이다.

이때, 미리 설정된 조건에 해당하는 히스토그램 분포 샘플은 복수일 수 있으며, 평가의 조건에 따라서 어느 하나의 히스토그램 분포 샘플이 결정될 수 있다. 이때, 히스토그램 샘플의 결정은 촬상 환경 또는 평가 조건에 따라서 결정될 수 있다. 히스토그램 분포는 각 구간의 크기를 균등하게 하거나, 부분적인 축소/확장이 가능하고, 이에 따라 히스토그램 중의 일부만을 선택하여 미리 설정된 조건과 비교할 수 있다. 이때, 히스토그램 분포의 일부만을 선택하거나 부분적인 축소/확장은 촬상 환경 또는 평가 조건에 따라서 조정될 수 있다.

일 실시예에서 백엔드 칩은 히스토그램 분포를 근거로 이미지의 밝기에 대한 평활화 등을 수행할 수 있으며, 평가 결과에 따라서 평활화 방식을 다양하게 적용할 수 있다.

일 실시예에서, 백엔드 칩은 이미지 데이터에 대한 에지 추출에 의하여 선명도를 결정할 수 있다. 이미지 데이터에 대한 에지 추출은 소벨 필터, 라플라시안 필터, 또는 기타 필터를 이용하거나 또는 이들 필터를 조합하여 수행 될 수 있다. 이때, 선명도는 전체 이미지 데이터에 대하여 측정할 수 있으며, 백엔드 칩은 미리 설정된 기준치와 비교하여 이미지 데이터에 대한 선명도를 평가할 수 있다.

일 실시예에서, 백엔드 칩은 노이즈 인식 알고리즘에 의하여 노이즈 정도를 추출하고, 신호대잡음비(SNR)를 미리 설정된 기준치와 비교하여 이미지 데이터에 대한 노이즈를 평가할 수 있다.

일 실시예에서, 백엔드 칩은 노출의 적정정도에 대하여 휘도값을 미리 설정된 기준치와 비교하여 판단할 수 있다. 이때, 노출은 센서의 픽셀 노출시간등의 제어에 따라서 달라질 수 있으며, 이미지 데이터에 대한 이득(gain)을 조절함으로써 노출의 조정이 가능하다. 휘도값은 RGB데이터를 YUV 등의 Y 성분을 표시하는 색공간으로 변환함으로써 얻을 수 있다. 이때, 휘도값에 대한 미리 설정된 기준치는 촬상환경 또는 평가 조건에 따라서 설정될 수 있다.

일 실시예에서 백엔드 칩은 RGB 데이터 또는 색 공간 상의 Cb, Cr 등의 색상을 나타내는 값의 분포를 이용하여 색균형 정도를 판단할 수 있다. 색균형은 조명환경 등을 고려하여 색상의 관점에서 데이터를 보상하는 것이다. 조명환경은 사용자에 의하여 설정될 수 있고, 평균 밝기, 편차, 색 불균형 등을 고려하여 이미지 데이터를 처리하는 다른 과정으로부터 판단될 수 있다. 이때, 백엔드 칩은 Cb, Cr 등의 색상을 나타내는 값의 분포를 미리 저장된 기준값과 비교하여 이미지 데이터에 대한 평가를 수행할 수 있다. 또한 백엔드 칩은 색공간 상에서의 패턴 형태(위치 또는 분포 모양) 등을 이용하여 색균형 정도를 평가할 수 있다.

백엔드 칩은 각 이미지 데이터에 대한 평가 결과를 디스플레이 하여 사용자의 선택을 돕도록 한다(S505). 여기서, 평가 결과의 디스플레이 방법은 다양한 형태로 수행될 수 있다. 예를 들어, 이미지와 함께 평가 결과를 제공하거나 평가 결과 정보만을 높은 값으로부터 낮은 값 순으로 디스플레이 할 수 있다.

백엔드 칩은 사용자가 평가 결과 정보에 대응하는 이미지를 선택하면 이미지 시그널 프로세서로 선택된 이미지의 전송을 요청한다(S507).

일 실시예에서, 백엔드 칩은 이미지 데이터에 대한 평가 결과 정보와 인코딩된 이미지 데이터를 이미지 시그널 프로세서로부터 수신하여 저장하고 있을 수 있으며, 이 경우에는 사용자가 선택한 이미지 데이터를 바로 저장할 수 있다.

한편, 이미지 시그널 프로세서가 인코딩된 이미지 데이터를 가지고 있는 경우에는 상기 전송 요청에 대응하여 선택된 이미지 데이터(인코딩된 이미지 데이터)를 백엔드 칩으로 전송한다(S509).

도 6은 본 발명의 제3 실시예에 따른 이미지 처리 장치의 구성을 나타낸다.

도 6을 참조하면, 이미지 처리 장치는 이미지 센서(601) 및 ISP(603)을 포함한다. 상기 이미지 처리 장치는 휴대용 단말기에 구비되는 백엔드 칩과 연결되며, 백엔드 칩 또는 휴대용 단말기의 메인 칩(미 도시 함)은 디스플레이를 통하여 이미지 처리 장치에서 제공되는 이미지를 디스플레이 할 수 있다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 ISP(603)는 멀티플렉서(605), 이미지 시그널 처리부(607), 프레임 메모리(609), 클럭 제어부(611) 및 인터페이스부(613)를 포함하여 이루어진다.

멀티플렉서(605)는 이미지 센서(601)로부터 입력되는 원시 데이터를 이미지 시그널 처리부(607) 또는 프레임 메모리(609)로 출력한다.

여기서, 이미지 시그널 처리부(607)로 출력되는 원시데이터(1)는 캡쳐 명령이 수신되기 이전에 프리뷰 모드를 제공하기 위하여 이미지 시그널 처리부(607)로 직접 출력된다.

그리고, 상기 멀티플렉서(605)는 백엔드 칩으로부터 캡쳐 명령이 수신되면 원시데이터(2)를 프레임 메모리(609)로 출력한다.

이미지 시그널 처리부(607)는 원시 데이터(raw data)를 각 라인별로 입력 받아 전처리 과정을 수행하는 전처리 수단 및 전처리 된 데이터를 인코딩 하기 위한 인코딩 수단을 포함하여 구성될 수 있다.

이때, 전처리란 컬러 모델 변환(Color Space transform), 필터링, 다운 샘플링(Color SubSampling) 등을 포함할 수 있다.

프레임 메모리(609)는 멀티플렉서(605)로부터 출력되는 원시 데이터(2)를 저장한다. 이때, 원시 데이터는 데이터의 전체 량이 매우 크기 때문에, 프레임 메모리(609)는 DPCM(Differential Pulse Coded Modulation) 등의 데이터 압축 기법을 적용하여 원시데이터를 저장할 수 있다. 이때, 프레임 메모리(609)는 이미지 센서(601)로부터 96MHz의 속도로 입력되는 원시데이터를 동일한 속도로 저장할 수 있다.

클럭 제어부(611)는 프레임 메모리(609)로부터 이미지 시그널 처리부(605)로 제공되는 데이터의 출력 속도를 조절하기 위한 클럭을 제어한다.

또한, 클럭 제어부(611)는 이미지 시그널 처리부(607)의 데이터 출력 속도를 조절하기 위한 클럭을 제공할 수 있으며, 이미지 시그널 처리부(607)가 백 엔드 칩의 처리 속도에 대응하여 이미지 데이터를 출력 할 수 있도록 한다.

일 실시예에서, 이미지 시그널 처리부(607)의 데이터 출력 속도를 조절하기 위한 클럭은 이미지 시그널 처리부(607)의 내부 클럭 또는 ISP(603)의 외부에서 제공 될 수 있다.

한편, 이미지 시그널 처리부(605)는 캡쳐 명령이 수신된 이후에, 프레임 메모리(609)에 저장된 원시데이터를 이용하여 반복적으로 이미지 처리를 수행함으로써, 히스토그램(histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등의 분석 정보를 계속적으로 보정 시킬 수 있다.

이미지 시그널 처리부(607)는 프레임 메모리(609)에 저장된 원시데이터를 입력 받아 필터링, 색 보정, 색 균형 조정 등의 이미지 처리를 수행할 수 있다. 이때, 이미지 시그널 처리부(607)는 이미지 처리가 수행된 결과 값이 미리 설정된 타겟 값을 만족하는지를 비교한다.

일 실시예에서, 이미지 시그널 처리부(605)는 원시 데이터의 히스토그램 분포를 추출하고, 추출된 히스토그램 분포에 기초하여 이미지 데이터의 밝기에 대한 평활화를 수행할 수 있다. 이때, 이미지 데이터의 밝기에 대한 평활화는 평활화 목적 또는 결과값에 따라서 다양한 평활화 방식이 적용될 수 있다.

일 실시예에서, 이미지 시그널 처리부(605)는 원시 데이터에 대한 에지 추출에 의하여 선명도를 결정하고, 결정된 선명도에 기초하여 추출된 에지의 유효성을 판단할 수 있다. 이미지 시그널 처리부(605)는 추출된 에지의 유효성 판단에 근거하여 선명도 결정 과정의 계속 또는 종료를 결정할 수 있다.

일 실시예에서, 이미지 시그널 처리부(605)는 노이즈 인식 알고리즘에 의하여 원시 데이터에 대한 노이즈 정도를 추출하고, 신호대잡음비(SNR)를 미리 설정된 기준치와 비교하여 이미지에 대한 노이즈를 평가할 수 있다.

일 실시예에서, 이미지 시그널 처리부(605)는 노출의 적정정도에 대하여 휘도값을 미리 설정된 기준치와 비교하여 판단할 수 있다.

일 실시예에서, 이미지 시그널 처리부(605)는 RGB 데이터 또는 색 공간 상의 Cb, Cr 등의 색상을 나타내는 값의 분포를 이용하여 색균형 정도를 판단할 수 있다.

이미지 시그널 처리부(607)는 이미지 처리가 수행된 결과 값이 타겟 값을 만족하지 않는 경우에는 이미지 처리를 위한 ISP 설정 값을 변경하고 프레임 메모리(609)에 저장된 원시데이터를 다시 리드(Read)하여 변경된 ISP 설정 값에 따라서 이미지 처리를 수행하게 된다. 상기 타겟 값은 벡엔드 프로세서로부터 제공되는 값 또는 이미지 시그널 처리부(605)에 미리 저장된 값일 수 있다. 이때, ISP 설정 값은 이미지 처리에 필요한 이미지 처리 설정 값을 의미하는 것으로서, 예를 들어 필터링 계수, 밸런스 강도, 픽셀 정보에 대한 각종 보상 값일 수 있다.

일 실시예에서, ISP 설정 값의 변경은 ISP(603) 또는 벡엔드 프로세서로부터의 명령에 의하여 변경될 수 있다. 마찬가지로, ISP(603) 또는 벡엔드 프로세서로부터 재차 이미지 처리를 수행하도록 명령할 수 있다. 이미지 시그널 처리부(607)는 이에 따라 프레임 메모리(609)에 저장된 원시데이터를 다시 리드(Read)하여 재차 이미지 처리를 수행한다.

이와 같이, 본 발명의 일 실시예에 따른 이미지 시그널 처리부는 저장된 원시 데이터를 이용하여 반복적으로 이미지 처리를 수행함으로써, 타겟 값을 만족하는 이미지 데이터를 얻을 수 있다.

따라서, 본 발명의 실시예에 따른 이미지 처리 장치는 보다 우수한 품질의 이미지를 백 엔드 칩으로 제공할 수 있다.

또한, 상기한 설명에서는 멀티플렉서(605)에 의하여 원시 데이터가 이미지 시그널 처리부(605) 또는 프레임 메모리(609)로 출력되는 것으로 설명되었으나, 구현 예에 따라서는 이미지 센서(601)로부터 입력되는 원시데이터가 모두 프레임 메모리(609)에 저장된 후 이미지 시그널 처리부(605)로 제공될 수 있다.

인터페이스부(613)는 본 발명의 실시예에 따른 이미지 처리 장치의 내부 또는 외부 장치와 통신하기 위한 구성요소이다.

상기한 구성에 따르면, 이미지 처리 장치는 인코딩된 이미지 데이터를 백엔드 칩으로 제공할 수 있기 때문에, 백엔드 칩은 별도의 이미지 처리를 위한 구성 및 섬네일(Thumbnail), 부가 정보 등에 대한 저장 공간도 필요 없게 된다.

상기한 설명에 따르면, 제1 실시예 및 제2 실시예는 시간 축 상의 일련의 이미지들 중 가장 적절한 선택을 하기 위한 것이다. 다만, 제1 실시예 및 제2 실시예는 분석 정보에 기초하여 ISP 자체적으로 평가를 수행하는지, 또는 벡엔드 칩으로 분석 정보를 전달하고 벡엔드 칩이 평가를 수행하는지에 차이가 있음을 알 수 있다. 제3 실시예는 동일 소스(source)에 대한 반복 처리를 통하여 가장 적절한 이미지를 선택하기 위한 것임을 알 수 있다. 제3 실시예에서 이미지 데이터에 대한 평가는 ISP 자체에서 평가가 이루어 질 수 있으며, 또한 벡엔드 칩으로 분석 정보를 전달할 수 있다. 이하, 제3 실시에에서 이미지 데이터에 대한 평가를 수행하기 위한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.

도 7은 본 발명의 제4 실시예에 따른 이미지 처리 장치의 구성을 나타낸다.

도 7을 참조하면, 이미지 처리 장치는 이미지 센서(701) 및 ISP(703)을 포함한다.

도 7을 참조하면, ISP(703)은 프레임 메모리(705), 이미지 시그널 처리부(707), 클럭 제어부(709), 분석 및 평가부(711), 이미지 데이터 저장부(713) 및 인터페이스부(715)를 포함하여 이루어진다.

여기서, 상기 도 6에 도시된 구성과의 차이점은 이미지에 대한 분석 및 평가를 수행하는 분석 및 평가부(711) 및 이미지 데이터 저장부(713)의 유무이다.

도 7을 참조하면, 이미지 시그널 처리부(707)를 통하여 인코딩 되는 이미지 데이터는 이미지 데이터 저장부(713)에 저장된다. 이미지 데이터 저장부(713)에 저장되는 이미지 데이터는 압축된 형태로 저장되기 때문에, 메모리 사용 효율을 극대화 할 수 있다.

이미지 시그널 처리부(707)는 전처리 과정 및 인코딩 과정에 의하여 이미지 데이터에 대한 히스토그램(histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등의 이미지 분석 정보를 추출할 수 있다.

또한, 이미지 시그널 처리부(707)는 캡쳐 명령이 수신된 이후에, 프레임 메모리(705)에 저장된 원시데이터를 이용하여 반복적으로 이미지 처리를 수행함으로써, 히스토그램(histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등의 분석 정보를 계속적으로 보정 시킬 수 있다.

일 실시예에서, 이미지 시그널 처리부(707)는 원시 데이터의 히스토그램 분포를 추출하고, 추출된 히스토그램 분포에 기초하여 이미지 데이터의 밝기에 대한 평활화를 수행할 수 있다. 이때, 이미지 데이터의 밝기에 대한 평활화는 평활화 목적 또는 결과값에 따라서 다양한 평활화 방식이 적용될 수 있다.

일 실시예에서, 이미지 시그널 처리부(707)는 원시 데이터에 대한 에지 추출에 의하여 선명도를 결정하고, 결정된 선명도에 기초하여 추출된 에지의 유효성을 판단할 수 있다. 이미지 시그널 처리부(707)는 추출된 에지의 유효성 판단에 근거하여 선명도 결정 과정의 계속 또는 종료를 결정할 수 있다.

일 실시예에서, 이미지 시그널 처리부(707)는 노이즈 인식 알고리즘에 의하여 원시 데이터에 대한 노이즈 정도를 추출하고, 신호대잡음비(SNR)를 미리 설정된 기준치와 비교하여 이미지에 대한 노이즈를 평가할 수 있다.

일 실시예에서, 이미지 시그널 처리부(707)는 노출의 적정정도에 대하여 휘도값을 미리 설정된 기준치와 비교하여 판단할 수 있다.

일 실시예에서, 이미지 시그널 처리부(707)는 RGB 데이터 또는 색 공간 상의 Cb, Cr 등의 색상을 나타내는 값의 분포를 이용하여 색균형 정도를 판단할 수 있다.

상기 분석 정보는 이미지 시그널 처리부(707)의 전처리 과정에서 획득 되는 것으로서, 상기한 히스토그램, 선명도, 노이즈, 노출, 밝기, 색균형 등에 제한되지 않으며, 이미지 데이터 평가에 활용될 수 있는 정보는 모두 분석 정보에 해당 될 수 있다.

분석 및 평가부(711)는 이미지 처리 과정을 거친 이미지 데이터에 대한 이미지 분석 정보를 평가 요소로 하여 이미지 데이터의 평가를 수행한다.

일 실시예에서, 상기 평가 결과에 따라서 상기 이미지 시그널 처리부(707)는 이미지 처리 설정 값을 변경하고 변경된 이미지 처리 설정값에 의하여 이미지 처리를 다시 수행할 수 있다.

이때, 상기 분석 및 평가부(711)는 미리 설정된 가중치를 상기 분석 정보에 부여하여 이미지 데이터를 평가할 수 있다.

만일, 복수의 프레임에 대하여 평가가 수행된 경우에는, 분석 및 평가부(711)는 각 프레임의 평가 정보에 대한 등급 또는 평가 값이 높은 순서로 우선순위 정보를 생성할 수 있다.

일 실시예에서, 분석 및 평가부(711)는 이미지 데이터의 히스토그램 분포를 추출하고, 추출된 히스토그램 분포를 미리 설정된 조건과 비교하여 이미지 데이터를 평가할 수 있다. 추출된 히스토그램 분포는 밝기값의 구간별 분포를 표현한 것이다.

이때, 미리 설정된 조건에 해당하는 히스토그램 분포 샘플은 복수일 수 있으며, 평가의 조건에 따라서 어느 하나의 히스토그램 분포 샘플이 결정될 수 있다. 이때, 히스토그램 샘플의 결정은 촬상 환경 또는 평가 조건에 따라서 결정될 수 있다. 히스토그램 분포는 각 구간의 크기를 균등하게 하거나, 부분적인 축소/확장이 가능하고, 이에 따라 히스토그램 중의 일부만을 선택하여 미리 설정된 조건과 비교할 수 있다. 이때, 히스토그램 분포의 일부만을 선택하거나 부분적인 축소/확장은 촬상 환경 또는 평가 조건에 따라서 조정될 수 있다.

일 실시예에서 분석 및 평가부(711)는 히스토그램 분포를 근거로 이미지의 밝기에 대한 평활화 등을 수행할 수 있으며, 평가 결과에 따라서 평활화 방식을 다양하게 적용할 수 있다.

일 실시예에서, 분석 및 평가부(711)는 이미지 데이터에 대한 에지 추출에 의하여 선명도를 결정할 수 있다. 이미지 데이터에 대한 에지 추출은 소벨 필터, 라플라시안 필터, 또는 기타 필터를 이용하거나 또는 이들 필터를 조합하여 수행 될 수 있다. 이때, 선명도는 전체 이미지 데이터에 대하여 측정할 수 있으며, 분석 및 평가부(711)는 미리 설정된 기준치와 비교하여 이미지 데이터에 대한 선명도를 평가할 수 있다.

일 실시예에서, 분석 및 평가부(711)는 노이즈 인식 알고리즘에 의하여 노이즈 정도를 추출하고, 신호대잡음비(SNR)를 미리 설정된 기준치와 비교하여 이미지 데이터에 대한 노이즈를 평가할 수 있다.

일 실시예에서, 분석 및 평가부(711)는 노출의 적정정도에 대하여 휘도값을 미리 설정된 기준치와 비교하여 판단할 수 있다. 이때, 노출은 센서의 픽셀 노출시간등의 제어에 따라서 달라질 수 있으며, 이미지 데이터에 대한 이득(gain)을 조절함으로써 노출의 조정이 가능하다. 휘도값은 RGB데이터를 YUV 등의 Y 성분을 표시하는 색공간으로 변환함으로써 얻을 수 있다. 이때, 휘도값에 대한 미리 설정된 기준치는 촬상환경 또는 평가 조건에 따라서 설정될 수 있다.

일 실시예에서 분석 및 평가부(711)는 RGB 데이터 또는 색 공간 상의 Cb, Cr 등의 색상을 나타내는 값의 분포를 이용하여 색균형 정도를 판단할 수 있다. 색균형은 조명환경 등을 고려하여 색상의 관점에서 데이터를 보상하는 것이다. 조명환경은 사용자에 의하여 설정될 수 있고, 평균 밝기, 편차, 색 불균형 등을 고려하여 이미지 데이터를 처리하는 다른 과정으로부터 판단될 수 있다. 이때, 분석 및 평가부(711)는 Cb, Cr 등의 색상을 나타내는 값의 분포를 미리 저장된 기준값과 비교하여 이미지 데이터에 대한 평가를 수행할 수 있다. 또한 분석 및 평가부(711)는 색공간 상에서의 패턴 형태(위치 또는 분포 모양) 등을 이용하여 색균형 정도를 평가할 수 있다.

인터페이스부(715)는 상기 평가 정보를 백엔드 칩으로 전송한다.

도 8은 본 발명의 제5 실시예에 따른 ISP의 구성을 나타낸다.

도 8을 참조하면, ISP는 프레임 메모리(801), 이미지 시그널 처리부(803), 클럭 제어부(805), 평가 요소 정보 수집부(807), 이미지 데이터 저장부(809) 및 인터페이스부(815)를 포함하여 이루어진다.

여기서, 상기 도 7에 도시된 구성과의 차이점은 평가 요소 정보 수집부(807)로서, 도 8에 도시된 실시예는 평가 요소 정보(분석 정보)를 백엔드 칩으로 제공하여 백 엔드 칩에서 상기한 이미지 평가가 수행되도록 한다.

도 8을 참조하면, 이미지 시그널 처리부(803)를 통하여 인코딩 되는 이미지 데이터는 이미지 데이터 저장부(809)에 저장된다.

이미지 시그널 처리부(803)는 전처리 과정 및 인코딩 과정에 의하여 이미지 데이터에 대한 히스토그램(histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등의 이미지 평가 요소 정보(분석 정보)를 추출할 수 있다.

또한, 이미지 시그널 처리부(803)는 캡쳐 명령이 수신된 이후에, 프레임 메모리(801)에 저장된 원시데이터를 이용하여 반복적으로 이미지 처리를 수행함으로써, 히스토그램(histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등의 분석 정보를 계속적으로 보정 시킬 수 있다.

일 실시예에서, 이미지 시그널 처리부(803)는 원시 데이터의 히스토그램 분포를 추출하고, 추출된 히스토그램 분포에 기초하여 이미지 데이터의 밝기에 대한 평활화를 수행할 수 있다. 이때, 이미지 데이터의 밝기에 대한 평활화는 평활화 목적 또는 결과값에 따라서 다양한 평활화 방식이 적용될 수 있다.

일 실시예에서, 이미지 시그널 처리부(803)는 원시 데이터에 대한 에지 추출에 의하여 선명도를 결정하고, 결정된 선명도에 기초하여 추출된 에지의 유효성을 판단할 수 있다. 이미지 시그널 처리부(803)는 추출된 에지의 유효성 판단에 근거하여 선명도 결정 과정의 계속 또는 종료를 결정할 수 있다.

일 실시예에서, 이미지 시그널 처리부(803)는 노이즈 인식 알고리즘에 의하여 원시 데이터에 대한 노이즈 정도를 추출하고, 신호대잡음비(SNR)를 미리 설정된 기준치와 비교하여 이미지에 대한 노이즈를 평가할 수 있다.

일 실시예에서, 이미지 시그널 처리부(803)는 노출의 적정정도에 대하여 휘도값을 미리 설정된 기준치와 비교하여 판단할 수 있다.

일 실시예에서, 이미지 시그널 처리부(803)는 RGB 데이터 또는 색 공간 상의 Cb, Cr 등의 색상을 나타내는 값의 분포를 이용하여 색균형 정도를 판단할 수 있다.

평가 요소 수집부(807)는 전처리 과정을 거친 이미지 데이터에 대한 이미지 평가 요소 정보를 수집한다.

이때, 이미지 데이터의 평가 요소 정보는 하나의 프레임에 대한 인코딩이 완료된 후에 수집되어 저장될 수 있다.

평가 요소 수집부(807)는 수집된 평가 요소 정보를 인터페이스부(811)를 통하여 백엔드 칩으로 전송한다.

만일, 복수의 프레임에 대하여 평가가 수행된 경우에는, 평가 요소 수집부(807)는 각 프레임에 대한 평가 요소 정보가 구분 될 수 있도록 식별자를 부여할 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

1. 외부 영상에 대응하는 원시 데이터를 출력하는 이미지 센서;

   상기 원시 데이터를 저장하는 원시 데이터 저장부; 및

   상기 원시 데이터의 이미지 처리 결과에 따라서 상기 원시데이터 저장부에 저장된 원시데이터를 리드(read)하여 다시 이미지 처리를 수행하는 이미지 시그널 처리부를 포함하는 이미지 처리 장치.
2. 제1항에 있어서,

   상기 원시 데이터 저장부의 데이터 출력 속도 또는 이미지 시그널 처리부의 데이터 출력 속도를 결정하기 위한 클럭을 제공하는 클럭 제어부를 더 포함하는 이미지 처리 장치.
3. 제 1 항에 있어서, 상기 원시 데이터 저장부는,

   상기 이미지 센서로부터 입력되는 원시데이터를 압축하여 저장하는 것을 특징으로 하는 이미지 처리 장치.
4. 제 1 항에 있어서, 상기 다시 수행되는 이미지 처리는,

   미리 설정된 타켓 값에 대응하여 상기 이미지 시그널 처리부의 이미지 처리 설정 값을 변경하고, 상기 변경된 이미지 처리 설정 값에 따라서 수행되는 것을 특징으로 하는 이미지 처리 장치.
5. 제 1 항에 있어서,

   상기 원시 데이터 저장부에 저장된 원시데이터에 대한 평가를 수행하여 평가 정보를 생성하는 분석 및 평가부를 더 포함하는 이미지 처리 장치.
6. 제 5 항에 있어서,

   상기 평가 정보에 따라서 상기 이미지 시그널 처리부의 이미지 처리 설정 값을 변경하고 변경된 이미지 처리 설정값에 의하여 이미지 처리를 다시 수행하는 것을 특징으로 하는 이미지 처리 장치.
7. 제 1 항에 있어서,

   상기 원시 데이터 저장부에 저장된 원시데이터의 평가를 위한 평가 요소 정보를 수집하는 평가 요소 수집부를 더 포함하는 이미지 처리 장치.
8. 외부 영상에 대응하는 원시 데이터를 저장하는 단계;

   상기 저장된 원시데이터에 대한 이미지 처리 수행 결과에 따라서 다시 이미지처리를 수행하여 이미지 데이터를 생성하는 단계; 및

   상기 이미지 데이터를 백엔드 칩으로 제공하는 단계를 포함하는 이미지 처리 방법.
9. 제 8 항에 있어서,

   상기 이미지 데이터를 생성하는 단계는,

   상기 저장된 원시 데이터에 대한 제1 이미지 처리를 수행하고,

   상기 이미지 처리가 수행된 결과 값을 소정 타겟 값에 비교하고,

   상기 비교 결과에 따라 이미지 처리를 위한 설정 값을 변경하고,

   상기 변경된 설정 값에 따라서 상기 저장된 원시 데이터에 대한 제2 이미지 처리를 수행하는 것을 포함하는 이미지 처리 방법.
10. 제 8 항에 있어서,

    상기 이미지 데이터에 대한 평가를 수행하여 평가 정보를 생성하는 단계를 더 포함하는 이미지 처리 방법.
11. 제 8 항에 있어서,

    상기 이미지 데이터의 평가를 위한 평가 요소 정보를 수집하여 백엔드 칩으로 제공하는 단계를 더 포함하는 이미지 처리 방법.