KR102224851B1

KR102224851B1 - 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템

Info

Publication number: KR102224851B1
Application number: KR1020140178715A
Authority: KR
Inventors: 이지홍; 권녕규
Original assignee: 삼성전자주식회사
Priority date: 2014-12-11
Filing date: 2014-12-11
Publication date: 2021-03-08
Also published as: KR20160071233A; US20160171651A1; US9710885B2

Abstract

서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템이 개시된다. 본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지 데이터를 수신하고, 상기 이미지 데이터에 포함된 서브 픽셀이 인-포커싱(In-focusing) 영역에 속하는지 또는 아웃-포커싱(Out-focusing) 영역에 속하는지를 판별하는 영역 판별부 및 상기 판별 결과에 따라, 상기 인-포커싱 영역에 포함된 서브 픽셀에 대해 제1 알고리즘을 이용한 디모자이싱을 수행하고, 상기 아웃-포커싱 영역에 포함된 서브 픽셀에 대해 제2 알고리즘을 이용한 디모자이싱을 수행하는 보간부를 구비하고, 상기 인-포커싱 영역에 포함된 서브 픽셀에 대한 디모자이싱을 수행할 때, 상기 디모자이싱이 수행되는 서브 픽셀과 서로 다른 위상을 갖는 하나 이상의 주변 서브 픽셀이 이용되는 것을 특징으로 한다.

Description

서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템{Image Processing Device and Image Processing System performing sub-pixel interpolation}

본 발명은 이미지 처리 장치에 관한 것으로서, 자세하게는 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템에 관한 것이다.

일반적으로, 고체 촬상 장치로서 이용되는 시모스 이미지 센서(CMOS Image Sensor, CIS)는 외부의 광학 영상신호를 전기 영상신호로 변환하는 장치로서, CCD(Charge-Coupled Device) 형에 비해 저전압 동작이 가능하고 소비전력이 작으며, 집적화에 유리한 장점으로 인해 현재 많은 분야에서 사용되고 있다. 시모스 이미지 센서는 다수의 픽셀들을 포함하는 픽셀 어레이를 구비할 수 있으며, 상기 픽셀 어레이는 다수의 서브 픽셀 그룹들을 포함할 수 있다. 하나의 서브 픽셀 그룹에 포함되는 다수의 서브 픽셀들은 서로 다른 위상을 가질 수 있으며, 이에 따라 픽셀 어레이는 위상차 픽셀들을 포함하는 것으로 지칭될 수 있다.

서브 픽셀들이 적용된 이미지 센서는 위상차를 갖는 서브 픽셀 그룹을 이용하여 빠른 오토 포커스(Auto focus)를 수행할 수 있으나, 각각의 서브 픽셀에 대한 보간 처리를 하기 위한 디모자이싱 과정에서 해상도가 저하될 수 있는 문제가 있다.

본 발명의 기술적 사상은, 서브 픽셀이 적용된 이미지 센서로부터의 이미지 데이터에 대해, 해상도의 손실을 감소함과 함께 화질 특성을 개선할 수 있는 이미지 처리 장치 및 이미지 처리 시스템을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지 데이터를 수신하고, 상기 이미지 데이터에 포함된 서브 픽셀이 인-포커싱(In-focusing) 영역에 속하는지 또는 아웃-포커싱(Out-focusing) 영역에 속하는지를 판별하는 영역 판별부 및 상기 판별 결과에 따라, 상기 인-포커싱 영역에 포함된 서브 픽셀에 대해 제1 알고리즘을 이용한 디모자이싱을 수행하고, 상기 아웃-포커싱 영역에 포함된 서브 픽셀에 대해 제2 알고리즘을 이용한 디모자이싱을 수행하는 보간부를 구비하고, 상기 인-포커싱 영역에 포함된 서브 픽셀에 대한 디모자이싱을 수행할 때, 상기 디모자이싱이 수행되는 서브 픽셀과 서로 다른 위상을 갖는 하나 이상의 주변 서브 픽셀이 이용되는 것을 특징으로 한다.

바람직하게는, 상기 영역 판별부는, 상기 이미지 데이터에 대한 뎁스 맵 추출 동작, 크로스 상관 산출 동작 및 블러 측정 동작 중 적어도 하나에 기반하여 상기 영역 판별 동작을 수행하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영역 판별부는, 상기 판별 결과에 기반하여, 상기 서브 픽셀이 속하는 영역에 따라 서로 다른 상태를 갖는 플래그를 출력하는 것을 특징으로 한다.

또한 바람직하게는, 상기 보간부는, 상기 서브 픽셀에 대응하는 플래그가 제1 상태를 가질 때 상기 서브 픽셀에 대해 상기 제1 알고리즘을 이용한 디모자이싱을 수행하고, 상기 서브 픽셀에 대응하는 플래그가 제2 상태를 가질 때 상기 서브 픽셀에 대해 상기 제2 알고리즘을 이용한 디모자이싱을 수행하는 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 데이터는 다수의 픽셀들을 포함하고, 각각의 픽셀은 서로 다른 위상을 갖는 n 개의 서브 픽셀들을 포함하는 것을 특징으로 한다(단, n은 2이상의 정수).

또한 바람직하게는, 상기 보간부는, 상기 인-포커싱 영역에 포함된 제1 서브 픽셀에 대한 디모자이싱을 수행할 때, 상기 제1 서브 픽셀과 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀 및 상기 제1 서브 픽셀과 서로 다른 위상을 갖는 하나 이상의 주변 서브 픽셀을 이용하는 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 데이터는 다수의 픽셀들을 포함하고, 각각의 픽셀은 서로 다른 위상을 갖는 n 개의 서브 픽셀들을 포함하며(단, n은 2이상의 정수), 상기 아웃-포커싱 영역에 포함된 제1 서브 픽셀에 대한 디모자이싱을 수행할 때, 어느 하나의 위상을 갖는 하나 이상의 주변 서브 픽셀을 선별적으로 이용하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영역 판별부는, 상기 이미지 데이터에 포함된 서브 픽셀들의 위상에 따라 상기 이미지 데이터를 다수 개의 위상 그룹 이미지들로 분리하고, 상기 다수 개의 위상 그룹 이미지들 중 기준 위상 그룹 이미지와 다른 위상 그룹 이미지의 유사도를 분석하여 영역 판별 동작을 수행하는 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 데이터는 다수의 픽셀들을 포함하고, 각각의 픽셀은 서로 다른 위상을 갖는 n 개의 서브 픽셀들을 포함하며(단, n은 2이상의 정수), 상기 영역 판별은 상기 픽셀 단위로 수행되는 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 데이터는 다수의 픽셀 그룹들을 포함하고, 각각의 픽셀 그룹은 다수 개의 픽셀들을 포함하며, 상기 영역 판별은 상기 픽셀 그룹 단위로 수행되는 것을 특징으로 한다.

또한 바람직하게는, 상기 보간부는, 상기 제1 알고리즘에 따라 디모자이싱을 수행하는 제1 보간부 및 상기 제2 알고리즘에 따라 디모자이싱을 수행하는 제2 보간부를 포함하고, 상기 판별 결과에 따라, 상기 서브 픽셀의 데이터가 상기 제1 보간부 또는 상기 제2 보간부로 선택적으로 제공되는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 이미지 처리 시스템은, 픽셀 어레이를 포함하고, 상기 픽셀 어레이는 다수의 픽셀들을 포함하며, 각각의 픽셀은 서로 다른 위상을 갖는 n 개의 서브 픽셀들을 포함하는 이미지 센서(단, n은 2이상의 정수)와, 상기 이미지 센서로부터 이미지 데이터를 수신하고, 제1 서브 픽셀이 인-포커싱(In-focusing) 영역에 속할 때 적어도 두 개의 서로 다른 위상을 갖는 주변 서브 픽셀들을 이용하여 상기 제1 서브 픽셀에 대해 제1 디모자이싱을 수행하고, 상기 제1 서브 픽셀이 아웃-포커싱(Out-focusing) 영역에 속할 때 어느 하나의 위상을 갖는 하나 이상의 주변 서브 픽셀을 이용하여 상기 제1 서브 픽셀에 대해 제2 디모자이싱을 수행하는 이미지 처리 장치를 구비하는 것을 특징으로 한다.

본 발명의 실시예에 따른 이미지 처리 장치 및 이미지 처리 시스템은, 인-포커싱 영역에 속하는 서브 픽셀과 아웃-포커싱 영역에 속하는 서브 픽셀에 대해 서로 다른 디모자이싱 알고리즘을 수행함으로써, 해상도 감소를 방지함과 함께 화질 열화를 방지할 수 있는 효과가 있다.

도 1은 본 발명의 이미지 처리 시스템에 적용되는 픽셀 어레이 구조의 일 예를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치 및 이미지 처리 시스템의 구현 예를 나타내는 블록도이다.
도 3은 도 2의 이미지 처리 장치의 일 동작 예를 나타내는 블록도이다.
도 4는 도 2의 영역 판별부의 일 구현 예를 나타내는 블록도이다.
도 5는 도 2의 보간부의 일 구현 예를 나타내는 블록도이다.
도 6은 다수의 서브 픽셀들을 포함하는 픽셀 어레이에서 어느 하나의 서브 픽셀에 대해 보간 처리를 수행하는 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 방법을 나타내는 플로우차트이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 구현 예를 나타내는 블록도이다.
도 9는 본 발명의 실시예에 따라 영역을 분리하는 다양한 예를 나타내는 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구현 예를 나타내는 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 이미지 처리 방법을 나타내는 플로우차트이다.
도 12는 본 발명의 실시예에 따른 이미지 처리 장치를 포함하는 시스템을 나타내는 블록도이다.
도 13은 본 발명의 실시예에 따른 이미지 처리 시스템을 포함하는 전자 시스템을 나타내는 블록도이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다. 본 발명의 실시 예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 이미지 처리 시스템에 적용되는 픽셀 어레이 구조의 일 예를 나타내는 도면이다.

본 발명의 이미지 처리 시스템은 픽셀 어레이를 포함하는 이미지 센서(예컨대, CMOS 이미지 센서)를 구비할 수 있으며, 픽셀 어레이는 다양한 패턴으로 배열되는 다수의 픽셀들을 포함할 수 있다. 예컨대, 픽셀 어레이는 다수의 로우 및 칼럼들이 교차하는 영역에 배치되는 픽셀들을 포함할 수 있으며, 상기 픽셀들은 베이어 패턴(Bayer pattern)으로 배열될 수 있다. 도 1에 도시된 바와 같이, 상기 픽셀들은 레드 칼라를 센싱하는 레드 픽셀(R), 그린 칼라를 센싱하는 그린 픽셀(G) 및 블루 칼라를 센싱하는 블루 픽셀(B)을 포함할 수 있다. 이외에도, 다양한 패턴이 픽셀 어레이에 적용될 수 있으며, 예컨대 CMY(Cyan, Magenta, Yellow) 픽셀 포맷 등 다양한 포맷이 상기 픽셀 어레이에 적용되어도 무방하다.

한편, 본 발명의 이미지 처리 시스템에 적용되는 픽셀 어레이는 위상차를 가지는 픽셀들을 포함할 수 있다. 일 예로서, 하나의 칼라를 센싱하기 위한 픽셀이 두 개 이상의 서브 픽셀들을 포함할 수 있으며, 하나의 픽셀에 속하는 서브 픽셀들은 서로 다른 위상을 가질 수 있다. 도 1을 참조하면, 하나의 픽셀은 서로 다른 위상을 갖는 두 개의 서브 픽셀들을 포함할 수 있으며, 각각의 서브 픽셀에 대응하여 별도의 포토 다이오드(미도시)가 배치될 수 있다. 도 1에서는 하나의 픽셀이 두 개의 서브 픽셀들을 포함하는 예가 도시되었으나, 하나의 픽셀은 더 많은 개수의 서브 픽셀들을 포함하여도 무방하다.

도 1에 도시된 픽셀 어레이 구조에 따라, 어느 하나의 로우(예컨대, 제1 로우, Row 1)에는 블루 칼라를 센싱하는 블루 서브 픽셀들(B1, B2)과 그린 칼라를 센싱하는 그린 서브 픽셀들(G1, G2)이 교대로 배치될 수 있다. 또한, 다른 하나의 로우(예컨대, 제2 로우, Row 2)에는 그린 칼라를 센싱하는 그린 서브 픽셀들(G3, G4)과 레드 칼라를 센싱하는 레드 서브 픽셀들(R1, R2)이 교대로 배치될 수 있다. 칼럼을 기준으로 할 때도 이와 유사하게 서로 다른 칼라를 센싱하는 픽셀들이 교대로 배치될 수 있으며, 어느 하나의 칼럼(예컨대, 제1 칼럼, Col 1)에는 블루 칼라를 센싱하는 블루 서브 픽셀(B1)과 그린 칼라를 센싱하는 그린 서브 픽셀(G3)이 교대로 배치될 수 있다. 또한, 다른 하나의 칼럼(예컨대, 제3 칼럼, Col 3)에는 그린 칼라를 센싱하는 그린 서브 픽셀(G1)과 레드 칼라를 센싱하는 레드 서브 픽셀(R1)이 교대로 배치될 수 있다.

또한 픽셀 어레이 구조에서 하나의 픽셀 그룹이 정의될 수 있으며, 예컨대 하나의 픽셀 그룹은 하나의 블루 픽셀(B), 하나의 레드 픽셀(R) 및 두 개의 그린 픽셀들(G)을 포함할 수 있다. 도 1의 예에서는, 하나의 픽셀이 두 개의 서브 픽셀들을 포함함에 따라, 하나의 픽셀 그룹은 두 개의 블루 서브 픽셀들(B1, B2), 두 개의 레드 서브 픽셀들(R1, R2) 및 네 개의 그린 서브 픽셀들(G1 ~ G4)을 포함할 수 있다.

하나의 픽셀 그룹에서, 위상에 따라 서브 픽셀들이 분류될 수 있다. 또한, 하나의 픽셀 그룹에서, 서로 동일한 위상을 갖는 서브 픽셀들은 하나의 서브 픽셀 그룹으로 정의될 수 있다. 이에 따라, 하나의 픽셀 그룹은 서로 다른 위상을 갖는 두 개 이상의 서브 픽셀 그룹들을 포함할 수 있으며, 도 1의 예에서는 서브 픽셀들(B1, G1, G3, R1)을 포함하는 제1 서브 픽셀 그룹과, 서브 픽셀들(B2, G2, G4, R2)을 포함하는 제2 서브 픽셀 그룹을 포함할 수 있다.

이미지 센서로부터 하나의 프레임에 대응하는 이미지 데이터가 제공될 수 있으며, 상기 이미지 데이터는 도 1에 도시된 픽셀 어레이 구조에 따른 데이터 값을 가질 수 있다. 이 때, 상기 이미지 데이터는 각각의 서브 픽셀의 위상에 따라 두 개의 위상 그룹 이미지로 분리될 수 있다. 예컨대, 제1 위상 그룹 이미지는 상기 제1 서브 픽셀 그룹(B1, G1, G3, R1)의 픽셀 데이터로 구현되는 이미지이고, 제2 위상 그룹 이미지는 상기 제2 서브 픽셀 그룹(B2, G2, G4, R2)의 픽셀 데이터로 구현되는 이미지일 수 있다. 즉, 하나의 위상 그룹 이미지에 포함되는 서브 픽셀들은 모두 동일한 위상을 가질 수 있다.

한편, 이미지 센서로부터의 이미지 데이터는 이미지 처리 장치에 의해 각종처리 동작이 수행될 수 있으며, 이미지 센서로부터의 이미지 데이터(예컨대, 로(Raw) 데이터)에 대해 각 픽셀이 모든 칼라 성분의 데이터를 가진 RGB 이미지 데이터로 변환하기 위한 보간 처리가 수행될 수 있다. 보간 처리 전, 각각의 서브 픽셀은 해당 칼라 필터에 따른 칼라 정보만을 가지나, 보간 처리 후에는 각각의 서브 픽셀이 다른 칼라 성분에 대한 정보를 가질 수 있다. 일 예로서, 제1 그린 서브 픽셀(G1) 위치에서 블루 칼라 값을 보간하는 경우, 상기 제1 그린 서브 픽셀(G1)의 수평 및/또는 수직으로 인접한 다른 주변 픽셀들(또는 주변 서브 픽셀들)의 값을 이용하여 상기 제1 그린 서브 픽셀(G1) 위치에서의 블루 칼라 값이 생성될 수 있다.

본 발명의 실시예에 따르면, 서브 픽셀들을 포함하는 픽셀 어레이 구조에서 해상도 손실을 감소함과 함께 화질 왜곡을 감소할 수 있는 보간 처리가 수행된다. 일 예로서, 이미지 데이터는 다수 개의 픽셀 데이터들을 포함하고, 상기 다수 개의 픽셀들이 적어도 두 개의 영역으로 분리되며, 각각의 영역에 대해 서로 다른 방식의 디모자이싱을 통해 보간 동작이 수행될 수 있다. 이미지 데이터의 픽셀들을 두 개의 영역으로 분리함에 있어서, 서브 픽셀 단위로 영역 분리 동작이 수행될 수 있다. 이에 따라, 어느 하나의 서브 픽셀은 다수 개의 영역들 중 어느 하나에 속할 수 있다. 이하, 본 발명의 실시예에 따라 영역을 분리하는 동작은 서브 픽셀 단위로 수행되는 것으로 가정한다.

또한, 이미지 데이터에 포함되는 다수의 서브 픽셀들을 적어도 두 개의 영역으로 분리함에 있어서, 다수의 서브 픽셀들을 인-포커싱(In-focusing) 영역 및 아웃-포커싱(Out-focusing)으로 분리할 수 있다. 이에 따라, 서브 픽셀이 인-포커싱(In-focusing) 영역에 속하는 지 또는 아웃-포커싱(Out-focusing)에 속하는지가 판별되고, 상기 판별 결과에 따라 서브 픽셀에 대해 서로 다른 방식의 디모자이싱이 수행될 수 있다.

한편, 서로 다른 방식의 디모자이싱을 적용함에 있어서, 다수 개의 서로 다른 디모자이싱 알고리즘들이 이미지 처리 시스템 내에 설정되고, 상기 판별 결과에 따라 어느 하나의 서브 픽셀에 서로 다른 디모자이싱 알고리즘이 적용될 수 있다. 일 예로서, 제1 서브 픽셀에 대해 보간 처리를 수행함에 있어서, 상기 제1 서브 픽셀이 인-포커싱(In-focusing) 영역에 속하는 경우, 상기 제1 서브 픽셀에 인접하는 다수 개의 주변 서브 픽셀들 중 상기 제1 서브 픽셀과 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀과 서로 다른 위상을 갖는 하나 이상의 주변 서브 픽셀을 모두 이용한 디모자이싱 알고리즘이 수행될 수 있다.

반면에, 상기 제1 서브 픽셀이 아웃-포커싱(Out-focusing) 영역에 속하는 경우, 상기 제1 서브 픽셀에 인접하는 다수 개의 주변 서브 픽셀들 중 서로 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀만을 이용하여 디모자이싱 알고리즘이 수행될 수 있다. 예컨대, 상기 제1 서브 픽셀과 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀들이 이용될 수 있다. 또는, 상기 제1 서브 픽셀과 위상이 다른 다수의 서브 픽셀들 중에서 서로 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀들이 이용될 수 있다.

또한 일 실시예로서, 다수 개의 위상들을 갖는 다수 개의 서브 픽셀들은, 제1 위상(기준 위상)을 갖는 기준 위상 서브 픽셀들과, 이와 다른 위상을 갖는 나머지 서브 픽셀들로 분류될 수 있다. 상기 제1 서브 픽셀이 인-포커싱(In-focusing) 영역에 속하는 경우, 상기 제1 서브 픽셀에 대해 기준 위상 서브 픽셀들 뿐 아니라 이와 다른 위상의 서브 픽셀들을 이용한 디모자이싱 알고리즘이 수행될 수 있다.

반면에, 상기 제1 서브 픽셀이 아웃-포커싱(Out-focusing) 영역에 속하는 경우, 상기 제1 서브 픽셀에 대해 기준 위상 서브 픽셀들만을 선별적으로 이용하여 디모자이싱 알고리즘이 수행될 수 있다.

상기와 같은 본 발명의 실시예에 따르면, 촬상된 이미지에서 포커싱이 맞는 부분(인-포커싱 영역)에 대해서는 이미지 센서가 가지는 해상력에 근사한 해상도에 따라 이미지를 복원할 수 있으므로 해상도가 향상될 수 있다. 또한, 포커싱이 맞지 않는 부분(아웃-포커싱 영역)에 대해서는, 동일한 위상(또는, 기준 위상)을 갖는 서브 픽셀들만을 이용하여 보간이 수행되므로 이미지의 왜곡 또는 노이즈가 감소될 수 있다.

도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치 및 이미지 처리 시스템의 구현 예를 나타내는 블록도이다.

도 2에 도시된 바와 같이, 이미지 처리 시스템(10)은 이미지 센서(100) 및 이미지 처리 장치(200)를 포함할 수 있다. 이미지 처리 장치(200)는 이미지 신호 프로세서(Image Signal Processor, ISP)로 지칭될 수도 있다. 이미지 처리 장치(200)는 이미지 센서(100)의 촬상 동작을 제어할 수 있으며, 또한 이미지 센서(100)의 센싱 동작을 통해 얻어진 센서 출력(예컨대, 이미지 데이터)를 수신할 수 있다. 이미지 처리 장치(200)는 이미지 데이터를 수신하고 이에 대한 각종 처리 동작을 수행하여 이미지 신호를 생성할 수 있으며, 예컨대 이미지 처리 장치(200)는 본 발명의 실시예에 따라 각각의 픽셀(또는, 서브 픽셀)이 속하는 영역을 판별하고, 판별 결과에 기반하는 보간 처리를 수행할 수 있다. 도 2에서는 이미지 처리 장치(200)가 이미지 센서(100)의 외부에 배치되는 것으로 도시되었으나, 본 발명의 실시예는 이에 국한될 필요가 없으며, 예컨대 이미지 처리 장치(200)는 이미지 센서(100)의 내부에 구비되는 것으로 설명되어도 무방하다.

이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 아날로그-디지털 컨버터(130), 제어 로직(140) 및 디지털 로직(150)을 포함할 수 있다. 제어 로직(140)은 로우 드라이버(120) 및 아날로그-디지털 컨버터(130)의 동작을 제어할 수 있다. 픽셀 어레이(110)로부터 생성된 전기적 픽셀 신호는 아날로그-디지털 컨버터(130) 및 디지털 로직(150)을 통해 이미지 데이터로서 이미지 처리 장치(200)로 제공될 수 있다. 전술한 바와 같이 픽셀 어레이(110)는 다수 개의 픽셀들을 포함하고, 각각의 픽셀은 다수 개의 서브 픽셀들을 포함할 수 있다. 또한, 서브 픽셀들 사이의 위상차에 따라, 이미지 처리 장치(200)로 제공되는 이미지 데이터는 다수 개의 위상 그룹 이미지들을 포함할 수 있다.

로우 드라이버(120)는 픽셀 어레이(110)를 행(row) 단위로 구동할 수 있으며, 픽셀 어레이(110)에서 선택된 행으로부터 픽셀 신호가 아날로그-디지털 컨버터(130)로 제공된다. 아날로그-디지털 컨버터(130)로부터 디지털 변환된 신호(ADC_Output)가 디지털 로직(150)으로 제공되고, 이미지 처리 장치(200)는 디지털 로직(150)으로부터 이미지 데이터를 수신할 수 있다.

본 발명의 실시예에 따라, 이미지 처리 장치(200)는 이미지 센서(100)로부터의 이미지 데이터를 수신하고, 상기 이미지 데이터를 분석함에 의해 상기 이미지 데이터에 포함된 서브 픽셀들을 적어도 두 개의 영역(예컨대, 인-포커싱 영역 및 아웃-포커싱 영역)으로 분리하고, 각각의 영역의 서브 픽셀에 대해 서로 다른 디모자이싱 알고리즘을 적용하여 보간 처리를 수행할 수 있다. 이를 위하여, 이미지 처리 장치(200)는 영역 판별부(210)와 보간부(220)를 포함할 수 있다. 영역 판별부(210)는 상기 이미지 데이터를 분석하여, 상기 이미지 데이터를 구성하는 다수의 서브 픽셀들을 인-포커싱 영역 및 아웃-포커싱 영역으로 분리하고, 그 분리 결과에 따른 정보(예컨대, 인디케이터 또는 플래그 등)를 생성하여 출력할 수 있다. 또한, 보간부(220)는 이미지 데이터를 구성하는 다수 개의 서브 픽셀들 각각에 대해 칼라 성분을 보간할 수 있으며, 예컨대 각각의 서브 픽셀에 대응하는 인디케이터 또는 플래그 등의 정보를 참조하여 해당 서브 픽셀에 서로 다른 디모자이싱 알고리즘을 적용하여 보간 처리를 수행할 수 있다.

도 3은 도 2의 이미지 처리 장치(200)의 일 동작 예를 나타내는 블록도이다.

도 3에 도시된 바와 같이, 이미지 센서(100)로부터의 이미지 데이터(Data_image)는 영역 판별부(210)와 보간부(220)로 함께 제공될 수 있다. 영역 판별부(210)는 이미지 데이터(Data_image)를 구성하는 다수의 서브 픽셀들을 인-포커싱 영역 및 아웃-포커싱 영역으로 분리하고, 각각의 서브 픽셀이 속하는 영역을 나타내는 판별 결과를 인디케이터(Indicator) 또는 플래그(Flag)로서 생성하여 보간부(220)로 제공할 수 있다.

보간부(220)는 다수 개의 디모자이싱 알고리즘을 수행하도록 설정될 수 있다. 보간부(220)는 이미지 데이터(Data_image)를 구성하는 서브 픽셀들 각각에 대해 보간 처리를 수행하며, 각각의 서브 픽셀에 대한 보간 처리를 수행함에 있어서 주변 서브 픽셀들의 데이터를 이용하여 디모자이싱 알고리즘을 수행할 수 있다.

보간부(220)는 영역 판별부(210)로부터의 판별 결과에 따라 각각의 서브 픽셀에 적용될 디모자이싱 알고리즘을 선택할 수 있다. 예컨대, 어느 하나의 서브 픽셀(제1 서브 픽셀)에 대한 보간 처리를 수행하는 경우, 상기 제1 서브 픽셀에 대응하는 인디케이터(Indicator) 또는 플래그(Flag)가 제1 상태의 값을 가짐에 따라 제1 서브 픽셀이 인-포커싱 영역에 속함을 나타내는 경우, 상기 제1 서브 픽셀에는 제1 방식의 디모자이싱 알고리즘이 적용되어 보간 처리가 수행될 수 있다. 일 실시예로서, 상기 제1 방식의 디모자이싱 알고리즘에서, 제1 서브 픽셀에 대해서는 이와 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀의 데이터와 서로 다른 위상을 갖는 하나 이상의 주변 서브 픽셀의 데이터를 이용한 보간 처리가 수행될 수 있다. 다시 말하면, 제1 서브 픽셀이 다수의 위상 그룹 이미지들 중 제1 위상 그룹 이미지에 속할 때, 인-포커싱 영역에 속하는 제1 서브 픽셀에 대해서는 상기 제1 위상 그룹 이미지에 포함된 주변 서브 픽셀과 다른 위상 그룹 이미지에 포함된 주변 서브 픽셀을 모두 이용한 디모자이싱 알고리즘이 수행될 수 있다.

반면에, 상기 제1 서브 픽셀에 대응하는 인디케이터(Indicator) 또는 플래그(Flag)가 제2 상태의 값을 가짐에 따라 제1 서브 픽셀이 아웃-포커싱 영역에 속함을 나타내는 경우, 상기 제1 서브 픽셀에는 제2 방식의 디모자이싱 알고리즘이 적용되어 보간 처리가 수행될 수 있다. 일 실시예로서, 상기 제2 방식의 디모자이싱 알고리즘에서, 제1 서브 픽셀에 대해서는 서로 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀의 데이터만을 이용한 보간 처리가 수행될 수 있다. 디모자이싱에 이용되는 주변 서브 픽셀의 위상은 서로 동일하며, 상기 주변 서브 픽셀의 위상은 상기 제1 서브 픽셀의 위상과 동일하여도 무방하며 상이하여도 무방하다. 다시 말하면, 아웃-포커싱 영역에 속하는 제1 서브 픽셀에 대해서는 상기 하나의 위상 그룹 이미지(예컨대, 기준 위상 서브 픽셀들을 포함하는 기준 위상 그룹 이미지)에 포함된 주변 서브 픽셀만을 이용한 디모자이싱 알고리즘이 수행될 수 있다.

도 4는 도 2의 영역 판별부의 일 구현 예를 나타내는 블록도이다. 도 4에 도시된 바와 같이, 영역 판별부(210)는 이미지 데이터에 대한 각종 분석 동작을 수행하는 다양한 기능 블록들을 포함할 수 있으며, 예컨대 영역 판별부(210)는 뎁스 맵 추출부(211), 크로스 상관 산출부(212) 및 블러(Blur) 측정부(213)를 포함할 수 있다. 도 4에 도시된 영역 판별부(210)의 구현 예는 하나의 실시예에 불과한 것으로서, 영역 판별부(210)는 도 4에 도시된 다수 개의 기능 블록들 중 어느 하나 또는 그 이상을 구비하여도 무방하며, 또는 영역 판별부(210)는 본 발명의 실시예에 따라 서브 픽셀들을 인-포커싱 영역과 아웃-포커싱 영역으로 분리하기 위한 기능을 수행하는 다른 기능 블록을 구비하여도 무방하다.

서브 픽셀이 적용된 이미지 센서로부터 이미지 데이터가 수신됨에 따라, 상기 이미지 데이터에는 다수 개의 서브 픽셀 그룹들의 데이터들이 포함되고, 서브 픽셀 그룹들(또는, 위상 그룹 이미지들) 사이의 유사도를 분석함에 의해 상기 이미지 데이터(Data_image)의 서브 픽셀들을 인-포커싱 영역과 아웃-포커싱 영역으로 분리할 수 있다. 상기 유사도 분석은 다양하게 수행될 수 있으며, 예컨대 스테레오(stereo) 영상 등에서 분석되는 뎁스 맵 추출 방법, 위상차 픽셀들 사이의 크로스 상관 산출 방법 및 이미지의 블러(Blur)를 측정하는 방법 등에 의해 수행될 수 있다.

뎁스 맵 추출부(211), 크로스 상관 산출부(212) 및 블러(Blur) 측정부(213) 중 적어도 하나의 분석 결과에 따라 각각의 서브 픽셀에 대한 인디케이터(Indicator) 또는 플래그(Flag)가 생성될 수 있다. 예컨대, 서브 픽셀 그룹들(또는, 위상 그룹 이미지들) 사이의 유사도를 분석한 결과에 따라, 서로 위상차를 갖는 서브 픽셀 그룹들 사이에서 서로 유사한 이미지를 갖는 영역과 유사하지 않은 이미지를 갖는 영역이 판별될 수 있다. 상기 유사한 이미지를 갖는 영역에 속하는 서브 픽셀들은 인-포커싱 영역에 포함되는 서브 픽셀로 판별될 수 있으며, 유사하지 않은 이미지를 갖는 영역에 속하는 서브 픽셀들은 아웃-포커싱 영역에 포함되는 서브 픽셀로 판별될 수 있다.

도 5는 도 2의 보간부(220)의 일 구현 예를 나타내는 블록도이다. 도 5에 도시된 바와 같이, 보간부(220)는 서로 다른 알고리즘에 따라 디모자이싱을 수행하는 다수 개의 기능 블록들을 포함할 수 있으며, 예컨대 보간부(220)는 제1 알고리즘에 따라 디모자이싱을 수행하는 제1 디모자이싱부(221) 및 제2 알고리즘에 따라 디모자이싱을 수행하는 제2 디모자이싱부(222)를 포함할 수 있다.

보간부(220)는 이미지 데이터(Data_image)를 수신하고 이에 포함된 서브 픽셀들에 대한 보간 처리를 수행할 수 있다. 또한, 보간부(220)는 각각의 서브 픽셀에 대응하는 인디케이터(Indicator) 또는 플래그(Flag)를 수신하고, 상기 인디케이터(Indicator) 또는 플래그(Flag)의 상태에 따라 어느 하나의 서브 픽셀을 제1 알고리즘 또는 제2 알고리즘에 의해 디모자이싱할 수 있다. 보간부(220)는 보간 처리 결과에 따라 보간된 이미지 데이터(Data_int)를 생성하여 출력할 수 있다.

도 5에 도시된 보간부(220)의 구체적인 동작을 도 6을 참조하여 설명하면 다음과 같다. 도 6은 다수의 서브 픽셀들을 포함하는 픽셀 어레이에서 어느 하나의 서브 픽셀에 대해 보간 처리를 수행하는 예를 나타내는 도면이다. 또한, 도 6에서는 하나의 픽셀이 서로 다른 위상을 갖는 4 개의 서브 픽셀들(Top-left, Top-right, Bottom-left, Bottom-right)을 포함하는 예가 도시된다. 이에 따라, 각각의 픽셀에서 동일한 위치에 위치하는 서브 픽셀들은 서로 동일한 위상을 가지며, 예컨대 다수의 픽셀들 각각의 Top-left에 위치하는 서브 픽셀들(도 6에 표시된 픽셀 그룹에서, G0,0(m-1,n), R2,0(m,n), B0,2(m-1,n+1), G2,2(m,n+1))은 서로 동일한 위상을 가질 수 있다. 또한, 상기 4 개의 서브 픽셀들(Top-left, Top-right, Bottom-left, Bottom-right) 중 어느 하나가 기준 위상 서브 픽셀로 정의될 수 있으며, 예컨대 Top-left 위치의 서브 픽셀이 기준 위상 서브 픽셀인 것으로 가정한다.

도 6에서 어느 하나의 로우에 배치되는 서브 픽셀들은 인-포커싱 영역으로 판별되고, 다른 하나의 로우에 배치되는 서브 픽셀들은 아웃-포커싱 영역으로 판별된 것으로 가정된다. 또한, 어느 하나의 서브 픽셀에 표시되는 인덱스 값은, 하나의 픽셀 그룹(예컨대, 2*2 픽셀들을 포함하는 그룹) 내에서의 서브 픽셀의 위치를 나타내는 인덱스 값과, 픽셀 어레이 내에서의 픽셀의 위치를 나타내는 인덱스 값을 포함할 수 있다. 예컨대, Gp,q(m,n)에서 p,q의 값은 2*2 픽셀들을 포함하는 픽셀 그룹 내에서 서브 픽셀들의 인덱스 값을 나타낼 수 있으며, 각각의 픽셀이 2*2 서브 픽셀들을 포함함에 따라, 상기 p,q의 값은 4*4를 나타내는 정보((0,0) 내지 (3,3))를 가질 수 있다. 또한, (m,n)은 픽셀 어레이에서 픽셀의 인덱스 값을 나타낼 수 있으며, 이에 따라 어느 하나의 픽셀에 포함되는 다수의 서브 픽셀들은 동일한 (m,n) 값을 가질 수 있다.

한편, 도 6에 도시된 픽셀 어레이 구조에 따라, 이미지 데이터는 4 개의 위상 그룹 이미지들(제1 내지 제4 위상 그룹 이미지들)로 분리될 수 있다. 도 6에 표시된 픽셀 그룹을 참조하면, p,q의 값이 (0,0), (2,0), (0,2), (2,2)를 갖는 서브 픽셀들이 동일한 위상 그룹 이미지(예컨대, 제1 위상 그룹 이미지)에 포함될 수 있다. 또한, p,q의 값이 (1,0), (3,0), (1,2), (3,2)를 갖는 서브 픽셀들이 제2 위상 그룹 이미지에 포함될 수 있으며, 또한, p,q의 값이 (0,1), (2,1), (0,3), (2,3)를 갖는 서브 픽셀들이 제3 위상 그룹 이미지에 포함될 수 있으며, 또한, p,q의 값이 (1,1), (3,1), (1,3), (3,3)를 갖는 서브 픽셀들이 제4 위상 그룹 이미지에 포함될 수 있다.

상기 제1 내지 제4 위상 그룹 이미지들 중 어느 하나의 위상 그룹 이미지(예컨대, 제1 위상 그룹 이미지)가 기준 위상 그룹 이미지로 정의될 수 있으며, 나머지 제2 내지 제4 위상 그룹 이미지들과 상기 기준 위상 그룹 이미지의 유사도 분석 결과에 따라 인-포커싱 영역과 아웃-포커싱 영역이 분리될 수 있다.

도 6에서 R2,0(m,n) 서브 픽셀의 위치에서 그린 칼라 값을 수평 방향으로 보간하는 예와, R2,1(m,n) 서브 픽셀의 위치에서 그린 칼라 값을 수평 방향으로 보간하는 예를 설명하면 다음과 같다. 도 6에서는 수평 방향의 보간 동작이 도시되나, 본 발명의 실시예는 이외에도 수직 방향 및/또는 대각 방향의 보간 동작이 더 수행될 수도 있으며, 다른 방향의 보간 동작에서도 하기 설명될 실시예가 동일 또는 유사하게 적용될 수 있다.

서브 픽셀 R2,0(m,n)는 인-포커싱 영역에 속하며, 본 발명의 일 실시예에 따라 상기 서브 픽셀 R2,0(m,n)에 대해서는 아래의 수학식 1에서와 같은 디모자이싱 알고리즘이 수행될 수 있다.

반면에, 서브 픽셀 R2,1(m,n)은 아웃-포커싱 영역에 속하며, 본 발명의 일 실시예에 따라 상기 서브 픽셀 R2,1(m,n)에 대해서는 아래의 수학식 2에서와 같은 디모자이싱 알고리즘이 수행될 수 있다.

상기 수학식 1 및 수학식 2에 도시된 각종 계수들(Kinf(i), Koutf(j))은 적용되는 알고리즘에 따라 서브 픽셀들(예컨대, 주변 서브 픽셀들)에 곱해지는 보간 필터의 계수 값을 나타낸다.

상기 수학식 1에 기재된 바와 같이, 인-포커스 영역에 속하는 서브 픽셀(예컨대, R2,0(m,n))에 대해 보간 처리를 수행함에 있어서, 상기 서브 픽셀(R2,0(m,n))과 동일한 위상의 주변 서브 픽셀들 및 서로 다른 위상의 주변 서브 픽셀들의 데이터가 함께 이용될 수 있다. 예컨대, 서브 픽셀(R2,0(m,n))의 위치에서 그린 칼라 성분(G2,0(m,n))을 보간하기 위해, 상기 서브 픽셀(R2,0(m,n))과 동일한 위상을 갖는 그린 서브 픽셀(G0,0(m-1,n), G0,0(m+1,n))과 서로 다른 위상을 갖는 그린 서브 픽셀(G1,0(m-1,n), G1,0(m+1,n))의 데이터를 이용한 알고리즘이 수행될 수 있다. 즉, 인-포커스 영역에 속하는 서브 픽셀에 대한 보간 처리에서는, 서로 다른 위상을 갖는 주변 서브 픽셀들의 데이터가 함께 이용되어 보간 처리가 수행될 수 있다.

반면에, 상기 수학식 2에 기재된 바와 같이, 아웃-포커스 영역에 속하는 서브 픽셀(예컨대, R2,1(m,n))의 위치에서 그린 칼라 성분(G2,1(m,n))을 보간함에 있어서, 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀들(G0,1(m-1,n), G0,1(m+1,n))의 데이터만이 선택적으로 이용될 수 있다. 즉, 아웃-포커스 영역에 속하는 서브 픽셀에 대한 보간 처리에서는, 4 개의 서로 다른 위상을 갖는 서브 픽셀 그룹들 중에서 어느 하나의 서브 픽셀 그룹에 포함된 주변 서브 픽셀들의 데이터를 선별적으로 이용한 보간 처리가 수행될 수 있다.

전술한 내용에 따라, 아웃-포커싱 영역의 서브 픽셀에 대한 보간 처리와 관련하여 다음과 같은 수식에 따른 알고리즘이 수행될 수도 있다.

수학식 3에 따르면, 아웃-포커싱 영역에 속하는 서브 픽셀 R2,1(m,n)의 위치에서 그린 값을 보간함에 있어서, 상기 서브 픽셀 R2,1(m,n)의 위상과 서로 다른 위상을 갖는 기준 위상 서브 픽셀들(G0,0(m-1,n), G0,0(m+1,n))을 선별적으로 이용하여 디모자이싱이 수행될 수 있다. 한편, 수학식 4에 따르면, 아웃-포커싱 영역에 속하는 서브 픽셀 R2,1(m,n)의 위치에서 그린 값을 보간함에 있어서 기준 위상을 갖는 서브 픽셀들이 이용될 수 있으며, 예컨대 서브 픽셀 G2,0(m,n)은 보간 처리에 의해 생성된 서브 픽셀 데이터로서, 보간된 서브 픽셀 데이터를 이용하여 디모자이싱 알고리즘이 수행될 수 있다.

상기와 같이 수행될 수 있는 영역별 디모자이싱 알고리즘을 이용한 보간 처리는 다음과 같이 설명될 수 있다. 도 6에 도시된 픽셀 어레이 구조에서, 하나의 프레임에 대응하는 이미지 데이터는 4 개의 위상 그룹 이미지들로 분리될 수 있으며, 어느 하나의 위상 그룹 이미지의 서브 픽셀이 인-포커스 영역에 속할 때, 상기 서브 픽셀에 대해 다른 위상 그룹 이미지에 포함된 주변 서브 픽셀의 데이터를 이용한 디모자이싱 알고리즘이 수행될 수 있다. 반면에, 어느 하나의 위상 그룹 이미지의 서브 픽셀이 아웃-포커스 영역에 속할 때, 상기 서브 픽셀에 대해서는 어느 하나의 위상 그룹 이미지(예컨대, 기준 위상 그룹 이미지)에 포함된 주변 서브 픽셀의 데이터를 선별적으로 이용한 디모자이싱 알고리즘이 수행될 수 있다.

상기 수학식 1 내지 수학식 4에서는 보간 처리를 위한 디모자이싱 알고리즘으로서 선형적 보간 방법이 예시되어 있으나, 본 발명의 실시예는 이에 국한될 필요는 없다. 예컨대, 상기 수학식 1 내지 수학식 4 이외에도 다양한 알고리즘에 따라 디모자이싱이 수행될 수 있으며, 예컨대 비선형적 보간, 서로 다른 보간 방법들 사이의 혼합 알고리즘이 적용되어도 무방하다. 상기와 같은 영역별 서로 다른 디모자이싱 알고리즘을 통해, 이미지의 인-포커싱 영역에서의 해상도 손실을 감소함과 함께, 이미지의 아웃-포커싱 영역에서의 위상 차에 따른 노이즈 또는 왜곡 현상을 감소할 수 있다.

또한, 일 실시예로서, 디모자이싱 알고리즘에 이용되는 주변 서브 픽셀들의 선택은 다양하게 설정이 가능하다. 일 예로서, 인-포커싱 영역에 포함되는 서브 픽셀에 대한 보간 처리에서, 인-포커싱 영역에 포함되는 주변 서브 픽셀들이 선별적으로 이용되거나, 인-포커싱 영역 및 아웃-포커싱 영역에 포함되는 주변 서브 픽셀들이 함께 이용될 수도 있다. 아웃-포커싱 영역에 포함되는 서브 픽셀에 대한 보간 처리에서도 이와 유사하게 동작할 수 있다.

도 7은 본 발명의 일 실시예에 따른 이미지 처리 방법을 나타내는 플로우차트이다.

도 7에 도시된 바와 같이, 본 발명의 실시예에 따라 구현된 이미지 처리 장치는 이미지 센서로부터 이미지 데이터를 수신한다(S11). 이미지 데이터는 다수의 픽셀들의 픽셀 데이터를 포함할 수 있다. 또한, 하나의 픽셀이 다수 개의 서브 픽셀들을 포함함에 따라, 상기 픽셀 데이터는 다수 개의 서브 픽셀 데이터들을 포함할 수 있다.

수신된 이미지 데이터를 분석함에 의해 상기 이미지 데이터에 포함된 다수의 서브 픽셀들은 인-포커싱 영역과 아웃-포커싱 영역으로 분리될 수 있으며, 또한 각각의 서브 픽셀이 인-포커싱 영역에 속하는 지 또는 아웃-포커싱 영역에 속하는 지가 판별될 수 있다(S12). 상기 판별 결과에 따라, 각각의 서브 픽셀에 대응하는 플래그(또는 인디케이터)가 생성될 수 있으며(S13), 예컨대 서브 픽셀이 인-포커싱 영역에 속하는 경우 제1 상태를 갖는 플래그가 생성되고, 서브 픽셀이 아웃-포커싱 영역에 속하는 경우 제2 상태를 갖는 플래그가 생성될 수 있다.

서브 픽셀 단위로 보간 처리가 수행될 수 있으며, 보간 처리될 서브 픽셀에 대응하는 플래그를 검출함에 의해 해당 서브 픽셀이 인-포커싱 영역에 속하는 지가 판별될 수 있다(S14). 서브 픽셀이 인-포커싱 영역에 속하는 경우, 상기 서브 픽셀에 대해서는 제1 알고리즘에 따른 디모자이싱이 수행되며(S15), 반면에 서브 픽셀이 아웃-포커싱 영역에 속하는 경우, 상기 서브 픽셀에 대해서는 제2 알고리즘에 따른 디모자이싱이 수행된다(S16). 상기 동작에 따라, 하나의 이미지 데이터에 대해 다수 개의 디모자이싱 알고리즘들이 적용되어 보간 처리가 수행되고, 보간 처리 결과에 따른 보간된 이미지 데이터가 생성되어 출력된다(S17).

상기 디모자이싱을 위한 제1 알고리즘 및 제2 알고리즘은 전술한 실시예에 따라 다양하게 설정이 가능하다. 일 실시예로서, 인-포커싱 영역에 속하는 서브 픽셀에 대한 제1 알고리즘의 경우, 해당 서브 픽셀과 동일한 위상의 주변 서브 픽셀들 및 서로 다른 위상의 주변 서브 픽셀들의 데이터를 이용한 디모자이싱이 수행될 수 있다. 반면에, 아웃-포커싱 영역에 속하는 서브 픽셀에 대한 제2 알고리즘의 경우, 어느 하나의 위상을 갖는 주변 서브 픽셀들의 데이터만을 선별적으로 이용한 디모자이싱이 수행될 수 있다.

도 8은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 구현 예를 나타내는 블록도이다. 도 8에 도시된 바와 같이, 이미지 처리 장치(300)는 이미지 분리부(310), 유사도 분석부(320) 및 보간부(330)를 포함할 수 있다.

이미지 센서로부터의 이미지 데이터(Data_image)는 이미지 분리부(310)로 제공될 수 있으며, 이미지 분리부(310)는 이미지 데이터(Data_image)로부터 다수 개의 위상 그룹 이미지들을 추출할 수 있다. 만약, 하나의 픽셀이 서로 다른 위상을 갖는 n 개의 서브 픽셀들을 포함하는 경우, 이미지 데이터(Data_image)로부터 서로 다른 위상을 갖는 n 개의 위상 그룹 이미지들을 추출할 수 있다. 이 때, 어느 하나의 위상 이미지에 포함된 서브 픽셀들은 서로 동일한 위상을 갖는 것으로 설명될 수 있다.

유사도 분석부(320)는 n 개의 위상 그룹 이미지들을 수신하고 이에 대한 유사도 분석 동작을 수행할 수 있다. 예컨대, 상기 n 개의 위상 그룹 이미지들 중 어느 하나가 기준 위상 그룹 이미지로 설정될 수 있으며, 나머지 위상 그룹 이미지들과 상기 기준 위상 그룹 이미지의 유사도 정도를 분석함으로써 분석 결과를 발생할 수 있다. 상기 유사도를 분석하는 동작은, 전술한 실시예에 따라 뎁스 맵 추출, 크로스-상관 산출, 블러(Blur) 측정 동작들 중 적어도 하나를 포함할 수 있다.

또한, 유사도 분석부(320)는 분석 결과에 따라 다수의 플래그 정보들(Flag)을 생성할 수 있으며, 예컨대 이미지 데이터에 포함되는 다수의 서브 픽셀들 각각에 대응하는 플래그 정보(Flag)를 생성할 수 있다. 보간부(330)는 이미지 데이터(Data_image)를 수신하고, 이에 대한 보간 처리를 수행함에 있어서 상기 플래그 정보(Flag)를 참조하여 서로 다른 디모자이싱 알고리즘이 수행되도록 제어할 수 있다. 전술한 디모자이싱 알고리즘이 도 8의 보간부(330)에 적용될 수 있다.

도 9는 본 발명의 실시예에 따라 영역을 분리하는 다양한 예를 나타내는 도면이다. 도 9에서는 전술한 도 6의 실시예에서와 같이, 하나의 픽셀이 서로 다른 위상을 갖는 4 개의 서브 픽셀들(Top-left, Top-right, Bottom-left, Bottom- right)을 포함하는 예가 도시된다.

이미지 데이터에 포함되는 픽셀들(또는 서브 픽셀들)을 인-포커스 영역과 아웃-포커스 영역으로 분리함에 있어서, 각각의 영역을 구성하는 단위(Unit)은 다양하게 설정될 수 있다. 예컨대, 도 9에서 단위 A는 4 개의 서브 픽셀들을 포함하는 하나의 픽셀일 수 있으며, 하나의 영역을 구성하는 단위는 픽셀 단위(A)로 설정될 수 있다. 이에 따라, 하나의 픽셀 단위(A)에 포함되는 4 개의 서브 픽셀들은 동일한 영역에 속할 수 있다.

또는, 단위 B는 2*2 픽셀들을 포함하는 픽셀 그룹을 나타내며, 하나의 영역을 구성하는 단위는 픽셀 그룹 단위(B)로 설정될 수 있다. 이에 따라, 하나의 픽셀 그룹 단위(B)에 포함되는 16 개의 서브 픽셀들은 동일한 영역에 속할 수 있다.

상기와 같은 실시예에 따르면, 각각의 단위(A 또는 B)에 속하는 서브 픽셀들 주 일부의 서브 픽셀의 데이터만을 분석하여 영역 분리 동작이 수행될 수 있다. 예컨대, 픽셀 단위(A)로 영역이 판별되는 경우, 상기 픽셀 단위(A)에 포함된 하나의 서브 픽셀(예컨대, Top-left에 위치하는 기준 서브 픽셀)의 데이터만을 분석하여 상기 픽셀 단위(A)가 속하는 영역이 판별될 수 있다. 또한, 픽셀 그룹 단위(B)로 영역이 판별되는 경우, 상기 픽셀 그룹 단위(B)에 포함된 일부의 서브 픽셀들의 데이터만을 분석하여 상기 픽셀 그룹 단위(B)가 속하는 영역이 판별될 수 있다. 예컨대, 픽셀 그룹 단위(B)에 포함된 4 개의 픽셀들 각각의 Top-left에 위치하는 기준 서브 픽셀들(G0,0(m-1,n), R2,0(m,n), B0,2(m-1,n+1), G2,2(m+1,n+1))의 데이터만을 분석하여 상기 픽셀 그룹 단위(B)가 속하는 영역이 판별될 수 있다.

도 10은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구현 예를 나타내는 블록도이다. 도 10에 도시된 바와 같이, 이미지 처리 시스템(400)은, 이미지 센서(410), 영역 판별부(420), 경로 선택부(430), 제1 보간부(440), 제2 보간부(450) 및 데이터 결합부(460)를 포함할 수 있다.

도 10의 실시예에 따르면, 서로 다른 디모자이싱 알고리즘을 수행하기 위한 기능 블록들(예컨대, 제1 보간부(440), 제2 보간부(450))이 별도로 구비되고, 각각의 서브 픽셀(또는 픽셀)이 속하는 영역을 판별한 결과에 따라, 상기 서브 픽셀(또는 픽셀)이 전달되는 경로를 변경함에 의해 보간 처리가 수행될 수 있다.

이미지 센서(410)로부터의 이미지 데이터(Data_image)는 영역 판별부(420)와 경로 선택부(430)로 함께 제공될 수 있다. 영역 판별부(420)는 전술한 실시예에 따라 이미지 데이터(Data_image)에 대한 분석 동작을 수행하고, 분석 결과에 따라 각각의 서브 픽셀에 대응하는 플래그 정보(Flag)를 생성하여 이를 경로 선택부(430)로 제공할 수 있다.

경로 선택부(430)는 다수의 서브 픽셀 데이터들을 포함하는 이미지 데이터(Data_image)를 수신하고, 서브 픽셀 단위로 데이터의 전송 경로를 선택할 수 있다. 예컨대, 경로 선택부(430)는 제1 서브 픽셀 데이터를 수신하고, 또한 상기 제1 서브 픽셀 데이터에 대응하는 제1 플래그 정보(Flag)를 수신할 수 있다. 상기 제1 플래그 정보(Flag)가 제1 상태를 가질 때, 경로 선택부(430)는 인-포커싱 영역에 속하는 제1 서브 픽셀 데이터를 제1 보간부(440)로 제공할 수 있다. 또한, 경로 선택부(430)는 제2 서브 픽셀 데이터 및 이에 대응하는 제2 플래그 정보(Flag)를 수신하고, 상기 제2 플래그 정보(Flag)가 제2 상태를 가질 때, 경로 선택부(430)는 아웃-포커싱 영역에 속하는 제2 서브 픽셀 데이터를 제2 보간부(450)로 제공할 수 있다.

상기 제1 보간부(440) 및 제2 보간부(450)는 전술한 실시예에 따라 서로 다른 디모자이싱 알고리즘을 수행할 수 있다. 예컨대, 제1 보간부(440)는 인-포커싱 영역에 속하는 서브 픽셀들에 대해 보간 처리를 수행할 수 있다. 반면에, 제2 보간부(450)는 아웃-포커싱 영역에 속하는 서브 픽셀들에 대해 보간 처리를 수행할 수 있다.

도 11은 본 발명의 다른 실시예에 따른 이미지 처리 방법을 나타내는 플로우차트이다.

도 11에 도시된 바와 같이, 본 발명의 실시예에 따라 구현된 이미지 처리 장치는 이미지 센서로부터 이미지 데이터를 수신하고 이를 분석한다(S21). 이미지 데이터는 프레임 데이터에 해당함에 따라 다수의 서브 픽셀들의 데이터를 포함할 수 있으며, 상기 분석 결과에 따라 상기 다수의 서브 픽셀들을 인-포커싱 영역과 아웃-포커싱 영역으로 분리할 수 있다(S22).

상기 인-포커싱 영역 또는 아웃-포커싱 영역을 구성하는 단위는 다양하게 설정될 수 있으며, 이에 따라 서브 픽셀, 픽셀 또는 픽셀 그룹 단위로 영역 판별 동작이 수행될 수 있다(S23). 예컨대 각각의 서브 픽셀이 상기 영역들을 구성하는 단위로 설정됨에 따라, 각각의 서브 픽셀이 속하는 영역이 판별될 수 있다. 또는, m 개의 서브 픽셀들을 포함하는 하나의 픽셀이 상기 영역들을 구성하는 단위로 설정됨에 따라, 하나의 픽셀에 포함된 m 개의 서브 픽셀들이 속하는 영역이 판별될 수 있다. 또는, n 개의 픽셀들을 포함하는 하나의 픽셀 그룹이 상기 영역들을 구성하는 단위로 설정됨에 따라, 하나의 픽셀 그룹에 포함된 n 개의 픽셀들(또는, m*n 개의 서브 픽셀들)이 속하는 영역이 판별될 수 있다.

영역에 대한 판별 결과에 따라 전술한 실시예에 따른 다양한 디모자이싱 알고리즘이 수행될 수 있으며(S24), 영역들을 구성하는 단위에 포함된 서브 픽셀들에 대해서는 동일한 방식의 디모자이싱 알고리즘이 수행될 수 있다.

도 12는 본 발명의 실시예에 따른 이미지 처리 장치를 포함하는 시스템을 나타내는 블록도이다.

도 12를 참조하면, 시스템(500)은 디지털 카메라, 디지털 카메라가 내장된 이동 전화기, 또는 디지털 카메라를 포함하는 모든 전자 장치를 포함할 수 있다.

시스템(500)은 2차원 이미지 정보 또는 3차원 이미지 정보를 처리할 수 있으며, 시스템(500)은 본 발명의 실시예에 따른 이미지 처리 장치를 이미지 신호 프로세서(ISP, 520)로서 포함할 수 있다.

시스템(500)은 이미지 센서(510), 이미지 신호 프로세서(ISP, 520), 인터페이스(I/F, 530) 및 메모리(540)를 포함할 수 있다. 인터페이스(I/F, 530)는 사용자에 대한 인터페이스를 제공하는 장치로서, 이미지 표시 장치이거나 입출력 장치일 수 있다. 메모리(540)는 이미지 신호 프로세서(ISP, 520)의 제어 하에서 이미지 센서(510)로부터 캡쳐된 정지 영상 또는 동영상을 저장할 수 있다. 메모리(540)는 비휘발성 메모리 장치로 구현될 수 있다.

본 발명의 실시예에 따라, 이미지 신호 프로세서(ISP, 520)는 이미지 센서(510)로부터 제공되는 이미지 데이터를 구성하는 서브 픽셀들을 다수의 영역들로 분리하고, 각 서브 픽셀이 속하는 영역에 따라 서로 다른 디모자이싱 알고리즘을 수행하여 보간 처리를 수행할 수 있다. 도 12에는 도시되지 않았으나, 시스템(500)은 디지털 신호 프로세서(Digital Signal Processor, DSP)를 더 포함하고, 상기 이미지 신호 프로세서(ISP, 520)는 디지털 신호 프로세서(DSP) 내에 구비될 수도 있다.

도 13은 본 발명의 실시예에 따른 이미지 처리 시스템을 포함하는 전자 시스템을 나타내는 블록도이다. 도 13을 참조하면, 상기 전자 시스템(600)은 mipi 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP 또는 스마트 폰으로 구현될 수 있다. 상기 전자 시스템(600)은 어플리케이션 프로세서(610), 시모스 이미지 센서(640) 및 디스플레이(650)를 포함할 수 있다. 또한, 시모스 이미지 센서(640)는 본 발명의 실시예에 따른 이미지 처리 장치(미도시)를 포함할 수 있다. 전술한 실시예에 따라, 이미지 처리 장치는 이미지 센서로부터 제공되는 이미지 데이터를 구성하는 서브 픽셀들을 다수의 영역들로 분리하고, 각 서브 픽셀이 속하는 영역에 따라 서로 다른 디모자이싱 알고리즘을 수행하여 보간 처리를 수행할 수 있다. 한편, 본 발명의 실시예에 따른 이미지 처리 장치는 어플리케이션 프로세서(610) 내에 구현되어도 무방하다.

어플리케이션 프로세서(610)에 구현된 CSI 호스트(612)는 카메라 시리얼 인터페이스(camera serial interface; CSI)를 통하여 시모스 이미지 센서(640)의 CSI 장치(641)와 시리얼 통신할 수 있다. 이때, 예컨대, 상기 CSI 호스트(612)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(641)에는 광 시리얼라이저가 구현될 수 있다.

어플리케이션 프로세서(610)에 구현된 DSI 호스트(611)는 디스플레이 시리얼 인터페이스(display serial interface; DSI)를 통하여 디스플레이(650)의 DSI 장치(651)와 시리얼 통신할 수 있다. 예컨대, DSI 호스트(611)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(651)에는 광 디시리얼라이저가 구현될 수 있다.

전자 시스템(600)은 어플리케이션 프로세서(610)와 통신할 수 있는 RF 칩(660)을 더 포함할 수 있다. 전자 시스템(600)의 PHY(613)와 RF 칩(660)의 PHY(661)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

전자 시스템(600)은 GPS(620), 스토리지(671), 마이크(681), DRAM(672) 및 스피커(682)를 더 포함할 수 있으며, 상기 전자 시스템(600)은 Wimax(631), WLAN(632) 및 UWB(633) 등을 이용하여 통신할 수 있다.

또한 본 발명의 실시예들에 따른 이미지 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능 매체에 기록될 수 있다. 상기 컴퓨터 판독가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기한 실시예의 설명은 본 발명의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것에 불과하므로, 본 발명을 한정하는 의미로 해석되어서는 안될 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.

Claims

이미지 데이터를 수신하고, 상기 이미지 데이터에 포함된 서브 픽셀이 인-포커싱(In-focusing) 영역에 속하는지 또는 아웃-포커싱(Out-focusing) 영역에 속하는지를 판별하는 영역 판별부; 및
상기 판별 결과에 따라, 상기 인-포커싱 영역에 포함된 서브 픽셀에 대해 제1 알고리즘을 이용한 디모자이싱을 수행하고, 상기 아웃-포커싱 영역에 포함된 서브 픽셀에 대해 제2 알고리즘을 이용한 디모자이싱을 수행하는 보간부를 구비하며,
상기 이미지 데이터는 다수의 픽셀들을 포함하고, 각각의 픽셀은 서로 다른 위상을 갖는 n 개의 서브 픽셀들을 포함하며(단, n은 2이상의 정수),
상기 인-포커싱 영역에 포함된 제1 서브 픽셀에 대한 디모자이싱이 수행될 때, 상기 제1 서브 픽셀과 위상이 동일한 하나 이상의 주변 서브 픽셀과 함께, 상기 제1 서브 픽셀과 위상이 상이한 다른 하나 이상의 주변 서브 픽셀이 이용되고,
상기 아웃-포커싱 영역에 포함된 제2 서브 픽셀에 대한 디모자이싱이 수행될 때, 어느 하나의 위상을 갖는 하나 이상의 주변 서브 픽셀이 선택적으로 이용되는 것을 특징으로 하는 이미지 처리 장치.
제1항에 있어서, 상기 영역 판별부는,
상기 이미지 데이터에 대한 뎁스 맵 추출 동작, 크로스 상관 산출 동작 및 블러 측정 동작 중 적어도 하나에 기반하여 상기 영역 판별 동작을 수행하는 것을 특징으로 하는 이미지 처리 장치.
제1항에 있어서, 상기 영역 판별부는,
상기 판별 결과에 기반하여, 상기 서브 픽셀이 속하는 영역에 따라 서로 다른 상태를 갖는 플래그를 출력하는 것을 특징으로 하는 이미지 처리 장치.
제3항에 있어서, 상기 보간부는,
상기 서브 픽셀에 대응하는 플래그가 제1 상태를 가질 때 상기 서브 픽셀에 대해 상기 제1 알고리즘을 이용한 디모자이싱을 수행하고,
상기 서브 픽셀에 대응하는 플래그가 제2 상태를 가질 때 상기 서브 픽셀에 대해 상기 제2 알고리즘을 이용한 디모자이싱을 수행하는 것을 특징으로 하는 이미지 처리 장치.
삭제
삭제
삭제
제1항에 있어서,
상기 보간부는, 상기 제1 알고리즘에 따라 디모자이싱을 수행하는 제1 보간부 및 상기 제2 알고리즘에 따라 디모자이싱을 수행하는 제2 보간부를 포함하고,
상기 판별 결과에 따라, 상기 서브 픽셀의 데이터가 상기 제1 보간부 또는 상기 제2 보간부로 선택적으로 제공되는 것을 특징으로 하는 이미지 처리 장치.
픽셀 어레이를 포함하고, 상기 픽셀 어레이는 다수의 픽셀들을 포함하며, 각각의 픽셀은 서로 다른 위상을 갖는 n 개의 서브 픽셀들을 포함하는 이미지 센서(단, n은 2이상의 정수); 및
상기 이미지 센서로부터 이미지 데이터를 수신하고, 제1 서브 픽셀이 인-포커싱(In-focusing) 영역에 속할 때 적어도 두 개의 서로 다른 위상을 갖는 주변 서브 픽셀들을 이용하여 상기 제1 서브 픽셀에 대해 제1 디모자이싱을 수행하고, 상기 제1 서브 픽셀이 아웃-포커싱(Out-focusing) 영역에 속할 때 상기 제1 서브 픽셀과 동일한 위상을 갖는 하나 이상의 주변 서브 픽셀을 이용하여 상기 제1 서브 픽셀에 대해 제2 디모자이싱을 수행하는 이미지 처리 장치를 구비하는 것을 특징으로 하는 이미지 처리 시스템.
제9항에 있어서, 상기 이미지 처리 장치는,
상기 이미지 데이터에 대한 뎁스 맵 추출 동작, 크로스 상관 산출 동작 및 블러 측정 동작 중 적어도 하나에 기반하여, 상기 제1 서브 픽셀이 속하는 영역을 판별하는 영역 판별부; 및
상기 영역 판별 결과에 따라, 상기 제1 서브 픽셀에 대해 상기 제1 디모자이싱 또는 상기 제2 디모자이싱을 선택적으로 적용하여 보간 처리를 수행하는 보간부를 포함하는 것을 특징으로 하는 이미지 처리 시스템.