KR20200043778A

KR20200043778A - 영상 처리 장치 및 방법

Info

Publication number: KR20200043778A
Application number: KR1020180124592A
Authority: KR
Inventors: 강덕영; 조양호; 남동경; 윤대건; 최규환
Original assignee: 삼성전자주식회사
Priority date: 2018-10-18
Filing date: 2018-10-18
Publication date: 2020-04-28
Also published as: US20200128176A1; KR102653106B1; US10868957B2

Abstract

영상 처리 장치 및 방법이 제공된다. 영상 처리 장치는 재배열된 변환 행렬에 따른 재배열된 제1 영상을 컬러 보간하여 생성된 제2 영상을 이용하여 원본 영상에 대응하는 고해상도 영상을 출력할 수 있다. 이때, 재배열된 제1 영상은 컬러 균일도가 향상되어 보간 성능이 향상될 수 있다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}

아래 실시예들은 영상을 처리하는 기술에 관한 것이다.

광학 기술 및 영상 처리 기술의 발달로 인해, 멀티미디어 컨텐츠, 보안 및 인식 등 광범위한 분야에 촬영 장치가 활용되고 있다. 예를 들어, 촬영 장치는 모바일 기기, 카메라, 차량 및 컴퓨터 등에 탑재되어, 영상을 촬영하거나, 객체를 인식하거나, 기기를 제어하기 위한 데이터를 획득할 수 있다. 촬영 장치의 부피는 렌즈의 사이즈, 렌즈의 초점 거리(focal length) 및 센서의 사이즈 등에 의해 결정될 수 있다. 예를 들어, 렌즈의 사이즈와 센서의 사이즈에 기반하여 촬영 장치의 부피가 조절될 수 있다. 센서의 사이즈가 감소함에 따라, 센서에 입사되는 광량이 감소할 수 있다. 이에 따라, 영상의 해상도가 낮아지거나, 저조도 환경에서의 촬영이 어려울 수 있다. 촬영 장치의 부피를 감소시키기 위해, 소형 렌즈들로 구성된 멀티 렌즈가 이용될 수 있다. 렌즈의 사이즈가 감소할 경우, 렌즈의 초점 거리가 줄어들 수 있다. 따라서, 멀티 렌즈를 통해 촬영 장치의 부피가 감소할 수 있다.

일 실시예에 따른, 영상 처리 방법은, 센서와 렌즈 어레이를 이용하여 획득한 제1 영상을 식별하는 단계; 상기 센서와 렌즈 어레이에 기초한 변환 행렬을 재배열함에 따라, 상기 제1 영상을 재배열(Rearrange)하는 단계; 및 상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성하는 단계를 포함할 수 있다.

상기 센서는 복수의 센싱 엘리먼트(sensing element)를 포함하고, 상기 렌즈 어레이는 복수의 렌즈를 포함하며, 상기 복수의 센싱 엘리먼트의 수와 상기 복수의 렌즈의 수는 서로 소(relatively prime)인 관계일 수 있다.

상기 복수의 센싱 엘리먼트의 수는, 상기 복수의 렌즈의 수의 임의의 자연수배+1 인 관계일 수 있다.

상기 변환 행렬은, 상기 복수의 센싱 엘리먼트의 수와 상기 복수의 렌즈의 수에 따라 결정될 수 있다.

상기 변환 행렬은, 무한 거리를 기준으로 재배열된 변환 행렬을 참조하여 재배열될 수 있다.

상기 제1 영상을 재배열(Rearrange)하는 단계는, 상기 제1 영상에서 동일 위치의 구성요소를 수집하는 단계; 상기 수집한 동일 위치의 구성요소를 위상 반전하여 매핑하는 단계를 포함할 수 있다.

상기 재배열된 제1 영상은, 일정한 단위로 불연속 구간이 존재하고, 상기 불연속 구간에 의해 둘러싸인 각각의 영역은 RGB가 균일하게 배치될 수 있다.

상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성하는 단계는, 상기 불연속 구간에 의해 둘러싸인 각각의 영역에 대해 컬러 보간을 수행하여 제2 영상을 생성할 수 있다.

영상 처리 방법은 상기 컬러 보간된 제2 영상을 복원하여, 원본 영상에 대응하는 고해상도 영상을 출력하는 단계를 더 포함할 수 있다.

상기 제1 영상은, 상기 렌즈 어레이에 컬러 필터가 적용될 경우, ⅰ) 상기 복수의 렌즈의 수가 짝수이고 상기 복수의 센싱 엘리먼트의 수가 홀수이거나, 또는 ⅱ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 짝수이거나, 또는 ⅲ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 홀수인 경우 획득될 수 있다.

상기 제1 영상은, 상기 센서에 컬러 필터가 적용될 경우, ⅰ) 상기 복수의 렌즈의 수가 짝수이고 상기 복수의 센싱 엘리먼트의 수가 홀수이거나, 또는 ⅱ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 짝수인 경우 획득될 수 있다.

일 실시예에 따르면, 영상 처리 장치는, 프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 센서와 렌즈 어레이를 이용하여 획득한 제1 영상을 식별하고, 상기 센서와 렌즈 어레이에 기초한 변환 행렬을 재배열함에 따라, 상기 제1 영상을 재배열(Rearrange)하고, 상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성할 수 있다.

상기 센서는 복수의 센싱 엘리먼트(sensing element)를 포함하고, 상기 렌즈 어레이는 복수의 렌즈를 포함하며, 상기 복수의 센싱 엘리먼트의 수와 상기 복수의 렌즈의 수는 서로 소(relatively prime)이고, 상기 복수의 센싱 엘리먼트의 수는, 상기 복수의 렌즈의 수의 임의의 자연수배+1 인 관계일 수 있다.

상기 프로세서는, 상기 제1 영상을 재배열(Rearrange)할 때, 상기 제1 영상에서 동일 위치의 구성요소를 수집하고, 상기 수집한 동일 위치의 구성요소를 위상 반전하여 매핑할 수 있다.

상기 프로세서는, 상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성할 때, 상기 불연속 구간에 의해 둘러싸인 각각의 영역에 대해 컬러 보간을 수행하여 제2 영상을 생성할 수 있다.

도 1은 일 실시예에 따른, 영상 처리 과정을 나타낸 도면이다.
도 2는 일 실시예에 따른, 센서와 렌즈 어레이에 따른 컬러 균일도를 나타낸 도면이다.
도 3은 일 실시예에 따른, 센싱 엘리먼트의 수와 렌즈의 수 간의 구체적인 관계를 나타낸 도면이다.
도 4는 도 3과 다른 일 실시예에 따른, 센싱 엘리먼트의 수와 렌즈의 수 간의 구체적인 관계를 나타낸 도면이다.
도 5는 일 실시예에 따른, 무한 거리에 위치한 장면(scene)에 대응하는 광선들을 센서가 수신하는 것을 나타낸다.
도 6은 일 실시예에 따른, 도 5의 렌즈 어레이 및 센서에 의해 획득된 제1 영상 및 재배열된 제1 영상을 나타낸 도면이다.
도 7은 일 실시예에 따른, 유한 거리 D1에 위치한 장면(scene)에 대응하는 광선들을 센서가 수신하는 것을 나타낸다.
도 8은 일 실시예에 따른, 도 7의 렌즈 어레이 및 센서에 의해 획득된 제1 영상 및 재배열된 제1 영상을 나타낸 도면이다.
도 9는 일 실시예에 따른, 제1 영상을 재배열하는 구체적인 과정을 나타낸 도면이다.
도 10은 일 실시예에 따른, 영상 처리 장치를 나타낸 도면이다.
도 11은 일 실시예에 따른, 영상 처리 장치가 수행하는 영상 처리 방법을 나타낸 도면이다.
도 12 및 도 13은 일 실시예에 따른, 영상 처리 장치가 구현될 수 있는 기기를 나타낸 도면이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 일 실시예에 따른, 영상 처리 과정을 나타낸 도면이다.

일 실시예에 따른 영상 처리 장치(100)에 의하여 촬영 및 처리되는 영상의 품질은 센서(120)에 포함된 센싱 엘리먼트들의 수, 및 센싱 엘리먼트에 입사되는 광량에 의하여 결정될 수 있다. 예를 들어, 영상의 해상도는 센서(120)에 포함된 센싱 엘리먼트들의 수에 의하여 결정되고, 영상의 감도는 센싱 엘리먼트에 입사되는 광량에 의하여 결정될 수 있다. 센싱 엘리먼트에 입사되는 광량은 센싱 엘리먼트의 사이즈에 기초하여 결정될 수 있다. 센싱 엘리먼트의 사이즈가 클수록 센싱 엘리먼트에 입사되는 광량은 증가할 수 있고, 센서(120)의 동적 범위(dynamic range)가 증가할 수 있다. 따라서, 센서(120)에 포함된 센싱 엘리먼트들의 수가 증가함에 따라 센서(120)는 고해상도 영상을 촬영할 수 있고, 센싱 엘리먼트의 사이즈가 증가함에 따라 센서(120)는 저조도에서 고감도 영상 촬영에 유리하게 작동할 수 있다.

영상 처리 장치(100)의 부피는 렌즈(111)의 초점 거리(focal length)(f)에 의하여 결정될 수 있다. 보다 구체적으로, 영상 처리 장치(100)의 부피는 렌즈(111)와 센서(120) 사이의 간격에 의하여 결정되는데, 렌즈(111)에 의하여 굴절된 빛을 수집하기 위하여 센서(120)는 렌즈(111)의 초점 거리(f)에 위치해야 하므로 영상 처리 장치(100)에 포함된 렌즈(111)와 센서(120)는 렌즈(111)의 초점 거리(f)만큼 이격되어 배치되어야 하기 때문이다. 렌즈(111)의 초점 거리(f)는 영상 처리 장치(100)의 시야각과 렌즈(111)의 사이즈(예를 들어, 렌즈(111)의 구경의 반지름)에 의하여 결정된다. 예를 들어, 시야각이 고정될 경우 렌즈(111)의 사이즈에 비례하여 초점 거리(f)가 길어진다. 또한, 렌즈(111)의 사이즈는 센서(120)의 사이즈에 기초하여 결정될 수 있다. 예를 들어, 일정한 시야각 범위의 영상을 촬영하기 위해서는, 센서(120)의 사이즈가 증가함에 따라 렌즈(111)의 사이즈가 증가되어야 한다.

전술한 바에 의하면, 시야각 및 영상의 해상도를 유지하면서 영상의 감도를 증가시키려면, 영상 처리 장치(100)의 부피가 증가된다. 예를 들어, 영상의 해상도를 유지하면서 영상의 감도를 증가시키려면, 센서(120)에 포함된 센싱 엘리먼트들의 수를 유지하면서 각 센싱 엘리먼트의 사이즈를 증가시켜야 하므로 센서(120)의 사이즈가 증가된다. 이 때, 시야각을 유지하려면, 센서(120)의 사이즈가 증가함에 따라 렌즈(111)의 사이즈가 증가하며 렌즈(111)의 초점 거리(f)가 길어지므로, 영상 처리 장치(100)의 부피가 증가된다.

영상 처리 장치(100)의 부피를 감소시키기 위해, 센서(120)의 해상도를 유지하면서 센싱 엘리먼트의 사이즈를 감소시키거나, 센싱 엘리먼트의 사이즈를 유지하면서 센서(120)의 해상도를 감소시키는 설계 방법들이 고려될 수 있다. 다만, 센서(120)의 해상도를 유지하면서 센싱 엘리먼트의 사이즈를 감소시키는 경우, 센서(120)의 사이즈가 감소하고 렌즈(111)의 초점 거리(f)가 짧아져 영상 처리 장치(100)의 부피를 감소시킬 수 있으나, 영상의 감도가 저하된다. 이 경우, 저조도 화질이 감소될 수 있다. 또한, 센싱 엘리먼트의 사이즈를 유지하면서 센서(120)의 해상도를 감소시키는 경우, 센서(120)의 사이즈가 감소하고 렌즈(111)의 초점 거리(f)가 짧아져 영상 처리 장치(100)의 부피를 감소시킬 수 있으나, 영상의 해상도가 저하된다.

아래에서 설명하는 실시예들은 원하는 시야각, 해상도, 감도, 및 영상 처리 장치(100)의 부피를 만족시키면서, 컬러 영상을 정확하게 처리하는 기술을 제공한다. 예를 들어, 센서(120)의 사이즈를 유지하면서, 렌즈(111)의 크기를 작게 설계함으로써, 렌즈(111)의 초점 거리 f가 감소될 수 있고, 더 나아가 영상 처리 장치(100)의 두께도 감소될 수 있다. 도 1을 참조하면, 영상 처리 장치(100)는 렌즈 어레이(110) 및 센서(120)를 포함한다. 렌즈 어레이(110)는 복수의 렌즈들을 포함하고, 센서(120)는 복수의 센싱 엘리먼트들을 포함한다. 도 1의 영상 처리 장치(100)에 포함된 렌즈 어레이(110) 및 센서(120)에 대한 자세한 설명은 도 2를 참고한다.

일 실시예에 따르면, 렌즈 어레이(110)에 포함된 렌즈들 각각의 사이즈를 감소시킬수록, 다시 말해 동일한 넓이에 포함되는 렌즈들의 수를 증가시킬수록 렌즈(111)의 초점 거리(f)는 작아질 수 있고, 영상 처리 장치(100)의 두께는 감소할 수 있다. 이 경우, 영상 처리 장치(100)는 렌즈 어레이(110)에서 촬영된 저해상도 영상들을 조합하여 원본 영상에 대응하는 고해상도 영상을 복원할 수 있다. 따라서, 렌즈 어레이(110)에 포함된 렌즈들을 분할함으로써, 박형 카메라(thin camera)가 구현될 수 있다.

렌즈 어레이(110)의 개별 렌즈(111)는 자신의 사이즈에 대응하는 센서(120)의 일정 영역을 커버할 수 있다. 다시 말해, 해당 영역에 포함된 센서(120)의 센싱 엘리먼트들에는 해당 개별 렌즈(111)를 통과한 빛이 입사될 수 있다. 빛은 복수의 광선들을 포함할 수 있다. 센서(120)의 센싱 엘리먼트들 각각은 렌즈 어레이(110)의 렌즈들을 통과한 광선에 기초하여 센싱 정보를 생성할 수 있다. 예를 들어, 센싱 엘리먼트(121)는 렌즈(111)를 통해 입사되는 광선에 기초하여 센싱 정보를 생성할 수 있다. 영상 처리 장치(100)는 센서(120)에 의해 출력된 센싱 정보에 기초하여, 영상 처리 장치(100)의 시야에 포함된 시점들에 대응하는 색상 정보를 결정하고, 결정된 색상 정보에 기초하여 제1 영상을 생성할 수 있다. 여기서, 제1 영상(130)은 렌즈 어레이(110) 및 센서(120)에 의해 촬영된 영상을 나타내고, 색상 정보는 센싱 정보에 포함될 수 있다.

또한, 센싱 엘리먼트(121)는 임의의 색상을 센싱 하기 위한 색상 필터를 포함할 수 있다. 센싱 엘리먼트(121)는 특정 색상에 대응하는 센싱 정보를 생성할 수 있다. 센서(120)를 구성하는 복수의 센싱 엘리먼트들의 각각은 공간적으로 인접한 인접 센싱 엘리먼트와 다른 색상을 센싱하도록 배치될 수 있다. 센싱 엘리먼트는 일례로서, 픽셀을 포함할 수 있다.

센싱 정보의 다양성이 충분히 확보되어, 영상 처리 장치(100)의 시야에 포함된 시점들에 대응하는 원본 신호 정보와 센싱 정보 사이에 완전 랭크(full rank) 관계가 형성될 때, 센서(120)의 최대 해상도에 대응하는 제1 영상이 도출될 수 있다. 센싱 정보의 다양성은 렌즈 어레이(110)에 포함된 렌즈들의 수 및 센서(120)에 포함된 센싱 엘리먼트들의 수와 같은 영상 처리 장치(100)의 파라미터들에 기초하여 확보될 수 있다.

영상 처리 장치(100)는 재배열에 따라 재배열된 제1 영상(140)을 생성할 수 있고, 재배열된 제1 영상(140)에 컬러보간을 수행하여 제2 영상(150)을 생성할 수 있다. 따라서, 영상 처리 장치(100)은 제2 영상(150)을 복원하여 원본 영상에 대응하는 고해상도 영상을 출력할 수 있다.

도 2는 일 실시예에 따른, 센서와 렌즈 어레이에 따른 컬러 균일도를 나타낸 도면이다.

일 실시예에 따른, 영상 처리 장치(210)는 센서(212)와 색상 필터가 적용된 렌즈 어레이(211)를 포함할 수 있다. 이때, 렌즈의 수(230)와 센싱 엘리먼트의 수(240)가 홀수 또는 짝수인지 여부에 따라 재배열된 제1 영상의 컬러 균일도가 상이할 수 있다. 렌즈의 수(230)와 센싱 엘리먼트의 수(240)는 서로 소(relatively prime) 관계일 수 있으며, 이에 대한 구체적인 설명은 도 3을 참고한다.

여기서, 컬러 균일도는 색상 좌표계(color coordinate system)의 일례인 RGB(Red-Green-Blue)가 균일하게 배치된 것으로서, 색상 좌표계는 RGB에 한정되지 않는다. 일 실시예에 따르면, 컬러 균일도가 높을수록, 영상 처리 장치가 수행하는 컬러 보간의 성능이 향상될 수 있어, 고해상도 영상을 복원할 수 있다. 여기서, RGB가 균일하게 배치되는 것의 일례로서, Bayer 패턴을 포함할 수 있다.

예를 들면, 렌즈의 수(230)는 홀수이고 센싱 엘리먼트(240)의 수도 홀수인 경우, 영상 처리 장치(210)는 렌즈 어레이(211)와 센서(212)에 의해 획득된 제1 영상(251)을 재배열할 수 있다. 재배열된 제1 영상(261)은 일정한 단위로 RGB가 균일하게 배치될 수 있다. 다만, 렌즈의 수(230)과 센싱 엘리먼트(240)의 수가 모두 홀수이지만, 서로 소 관계가 아닌 경우는 제외될 수 있다.

다른 예를 들면, 렌즈의 수(230)는 홀수이고 센싱 엘리먼트(240)의 수는 짝수인 경우 또는 렌즈의 수(230)는 짝수이고 센싱 엘리먼트(240)의 수는 홀수인 경우, 영상 처리 장치(210)는 렌즈 어레이(211)과 센서(212)에 의해 획득된 제1 영상(252, 253)을 재배열할 수 있다. 재배열된 제1 영상(262, 263)은 일정한 단위로 RGB가 균일하게 배치될 수 있다.

다만, 렌즈의 수(230)와 센싱 엘리먼트(240)의 수가 모두 짝수인 경우, 전술한 서로 소 관계를 만족하지 못하므로, 제1 영상(254)을 재배열하여도 RGB가 균일하게 배치된 재배열된 제1 영상(264)를 획득할 수 없다.

일 실시예에 따른, 영상 처리 장치(220)는 렌즈 어레이(221)와 색상 필터가 적용된 센서(222)를 포함할 수 있다. 이때, 렌즈의 수(230)와 센싱 엘리먼트의 수(240)가 홀수 또는 짝수인지 여부에 따라 재배열된 제1 영상의 컬러 균일도가 상이할 수 있다. 렌즈의 수(230)와 센싱 엘리먼트의 수(240)는 서로 소(relatively prime) 관계일 수 있으며, 이에 대한 구체적인 설명은 도 3을 참고한다.

예를 들면, 렌즈의 수(230)는 홀수이고 센싱 엘리먼트(240)의 수는 짝수인 경우 또는 렌즈의 수(230)는 짝수이고 센싱 엘리먼트(240)의 수는 홀수인 경우, 영상 처리 장치(210)는 렌즈 어레이(221)과 센서(222)에 의해 획득된 제1 영상(256, 257)을 재배열할 수 있다. 재배열된 제1 영상(266, 267)은 일정한 단위로 RGB가 균일하게 배치될 수 있다.

다만, 렌즈의 수(230)와 센싱 엘리먼트(240)의 수가 모두 짝수인 경우, 전술한 서로 소 관계를 만족하지 못하므로, 제1 영상(254)을 재배열하여도 RGB가 균일하게 배치된 재배열된 제1 영상(264)를 획득할 수 없다. 또한, 렌즈의 수(230)와 센싱 엘리먼트(240)의 수가 모두 홀수인 경우, 영상 처리 장치(220)는 컬러 보간을 수행할 수 없다.

일 실시예에 따르면, 영상 처리 장치(210) 및 영상 처리 장치(220)을 비교할 때, 색상 필터가 적용된 렌즈 어레이(211)는 색수차를 제거할 수 있으므로, 렌즈 어레이(221)와 비교하여 렌즈 어레이(211)에 사용되는 렌즈 두께는 감소될 수 있다.

도 3은 일 실시예에 따른, 센싱 엘리먼트의 수와 렌즈의 수 간의 구체적인 관계를 나타낸 도면이다.

센서는 개별 시점들(340)에 대응하는 광선들(X1 내지 X7)을 수신할 수 있다. 광선들(X1 내지 X7)은 렌즈(310, 320)를 통해 센서에 의해 검출될 수 있다. 센서(330)는 복수의 행 중에서 1번째 행에 대응하는 센싱 엘리먼트들(S1 내지 S7)로서, 이를 기준으로 이하 설명한다.

센싱 엘리먼트들(S1 내지 S7)은 복수의 렌즈들을 통과한 광선들(X1 내지 X7)을 중첩하여 센싱할 수 있다. 예를 들어, 도 3에 도시된 렌즈 어레이에서, 렌즈(310, 320)로부터 센서까지의 초점 거리가 감소될 수 있다. 따라서, 센싱 엘리먼트(S1)는 광선들(X1 및 X2)이 중첩된 센싱 정보를 생성할 수 있다. 영상 처리 장치는, 중첩된 센싱 정보를 이용하여 원본 영상에 대응하는 고해상도 영상을 복원할 수 있다.

도 3에 도시된 센싱 엘리먼트들(S1 내지 S7)에 의해 생성되는 센싱 정보는, 시점들(340)의 각각으로부터 입사되는 광선에 대응하는 원본 신호 정보를 이용하여 아래의 수학식 1과 같이 모델링될 수 있다.

[수학식 1]

수학식 1에서, S는 개별 센싱 엘리먼트에 의해 센싱되는 센싱 정보를 지시하는 행렬을 나타낼 수 있다. X는 개별 시점으로부터 센싱 엘리먼트들(S1 내지 S7)로 입사되는 광선에 대응하는 원본 신호 정보를 지시하는 행렬을 나타낼 수 있다. T는 변환 행렬로서 센싱 엘리먼트들(S1 내지 S7)에 의해 검출된 센싱 정보 및 입사되는 빛에 대응하는 원본 신호 정보 간의 관계를 나타낼 수 있다. 도 3에 도시된 구조의 광선들(X1 내지 X7), 렌즈들 및 센싱 엘리먼트들(S1 내지 S7)은 하기 수학식 2와 같이 모델링될 수 있다.

[수학식 2]

일 실시예에 따르면, 센서를 구성하는 센싱 엘리먼트들(S1 내지 S7)에 대응하는 센싱 정보와 개별 시점으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 원본 신호 정보간의 관계(예를 들어, 변환 행렬)는 전술한 렌즈(310, 320)와 센서 간의 배치, 렌즈 어레이를 구성하는 렌즈들의 개수, 센서를 구성하는 센싱 엘리먼트들(S1 내지 S7)의 개수에 기초하여 결정될 수 있다.

변환 행렬 T의 역 행렬이 존재하기 위해, 변환 행렬 T가 완전 랭크(full-rank) 조건을 만족할 수 있다. 일 실시예에 따른 변환 행렬 T는 역행렬이 존재하므로, 원본 신호 정보를 지시하는 행렬 X는 변환 행렬 T의 역행렬 및 센싱 엘리먼트에 의해 검출된 센싱 정보를 지시하는 행렬 S의 곱으로부터 하기 수학식 3과 같이 계산될 수 있다.

[수학식 3]

변환 행렬 T가 완전 랭크 조건을 만족하기 위해서, 렌즈 어레이에 포함된 렌즈의 수와 센서에 포함된 센싱 엘리먼트의 수는 서로 소(relatively prime) 관계일 수 있다. 따라서, 서로 소 관계일 경우, 센서의 적어도 일부의 센싱 엘리먼트는 서로 다른 렌즈를 통해 입사되는 빛에 기초하여 센싱 정보를 생성할 수 있고, 이때, 변환 행렬 T는 완전 랭크 조건을 만족할 수 있다.

예를 들면, 렌즈의 수 2개와 센싱 엘리먼트의 수 7개는 서로 소 관계로서, 센싱 엘리먼트(S4)는 렌즈(310)을 통해 입사되는 빛과 렌즈(320)을 통해 입사되는 빛에 기초하여 센싱 정보를 생성할 수 있어, 도 3에 대응하는 변환 행렬 T는 완전 랭크 조건을 만족할 수 있다.

광선들(X1 내지 X7) 및 센싱 엘리먼트들(S1 내지 S7) 간의 관계는 아래의 수학식 4와 같이 모델링될 수 있다.

[수학식 4]

수학식 4에서, RX는 시점들(340)의 각각으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 적색의 색상 값을 지시하는 색상 신호 행렬(color signal matrix)을 나타낼 수 있다. GX는 시점들(340)의 각각으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 녹색의 색상 값을 지시하는 색상 신호 행렬을 나타낼 수 있다. BX는 시점들(340)의 각각으로부터 입사되는 광선들(X1 내지 X7)에 대응하는 청색의 색상 값을 지시하는 색상 신호 행렬을 나타낼 수 있다. RS, GS, 및 BS는 각각 센서에 배치된 센싱 엘리먼트들(S1 내지 S7)의 위치에 대응하는 적색, 녹색, 및 청색을 지시하는 센싱 정보 행렬(sensing information matrix)을 나타낼 수 있다. TR, TG, 및 TB는 각각 적색, 녹색, 및 청색에 대응하는 색상 신호 행렬을 센싱 정보 행렬로 변환하는 변환 행렬을 나타낼 수 있다.

각각의 센싱 엘리먼트들(S1 내지 S7) 각각은 하나의 색상만 검출하므로, 아래의 수학식 5와 같이 모델링 될 수 있다. 예를 들면, 센싱 엘리먼트 S1, S3, S5, S7은 광선들로부터 적색을 검출할 수 있고, 센싱 엘리먼트 S2, S4, S6는 광선들로부터 녹색을 검출할 수 있다. 따라서, 센싱 엘리먼트 S1, S3, S5, S7에 대응하는 녹색 및/또는 청색은 다른 센싱 엘리먼트를 이용하여 추정될 수 있고, 센싱 엘리먼트 S2, S4, S6에 대응하는 적색 및/또는 청색은 다른 센싱 엘리먼트를 이용하여 추정될 수 있다.

[수학식 5]

수학식 5에서, RS1, RS3, RS5, 및 RS7은 적색을 검출하는 센싱 엘리먼트(S1, S3, S5, S7)에 의해 검출된 색상 정보을 나타낼 수 있다. GS2, GS4, 및 GS6는 녹색을 검출하는 센싱 엘리먼트(S2, S4, S6)에 의해 검출된 색상 정보를 나타낼 수 있다. 다만, 수학식 5에서, 적색에 대한 광선들(X1 내지 X7) 및 센싱 엘리먼트들(S1 내지 S7) 간의 관계를 모델링하면, 아래의 수학식 6과 같이 나타낼 수 있다.

여기서, RX1은 광선 X1에 포함된 적색 신호에 대응하며, RX2는 광선 X2에 포함된 적색 신호에 대응할 수 있다. 또한, RS5은 광선들(RX2 및 RX3)이 혼합된 색상 정보를 나타낼 수 있고, RS3는 광선들(RX5 및 RX6)이 혼합된 색상 정보를 나타낼 수 있다.

[수학식 6]

일 실시예에 따르면, GS2, GS4 및 GS 6에 대응하는 위치의 적색을 추정하기 위해, 다른 센싱 엘리먼트에 의해 검출된 색상 정보를 이용하 수 있다. 예를 들면, 센싱 엘리먼트 S2는 녹색을 검출하므로, S2에 대응하는 위치의 적색을 추정하기 위해 다른 센싱 엘리먼트에 의해 검출된 색상 정보를 이용할 수 있다. 이하, S2에 대응하는 위치의 적색을 추정하는 과정을 설명한다.

S2에 대응하는 위치의 적색을 추정하기 위해, 공간적으로 인접한 위치에 있는 센싱 엘리먼트에 의해 생성된 센싱 정보를 이용하는 것보다 연관성 있는 정보를 포함하는 다른 센싱 엘리먼트에 의해 생성된 센싱 정보를 이용하는 것이 적절할 수 있다.

여기서, 센싱 엘리먼트 S2에 대응하는 원본 적색 신호는 RX3+RX4이다. RX3는 광선 X3에 포함된 적색 신호에 대응하며, RX4는 광선 X4에 포함된 적색 신호에 대응된다. 광선 X3는 센싱 엘리먼트 S2 뿐만 아니라 적색을 검출할 수 있는 센싱 엘리먼트 S5에 입사될 수 있다. 광선 X4는 녹색을 검출할 수 있는 센싱 엘리먼트 S2 뿐만 아니라 녹색을 검출할 수 있는 센싱 엘리먼트 S6에 입사될 수 있다.

예를 들면, 센싱 엘리먼트 S2와 공간적으로 인접한 위치에 있는 센싱 엘리먼트 S1, S3로부터 검출된 RS1, RS3를 이용할 경우, RS2는 (RS1+RS3)/2와 같이 산술적으로 추정될 수 있다. 따라서, 공간적으로 인접한 위치에 있는 센싱 엘리먼트를 이용할 경우, 많은 오차로 인해 컬러 보간에 용이하지 않을 수 있다.

그러므로, 영상 처리 장치는 센싱 엘리먼트 S2와 공간적으로 인접한 센싱 엘리먼트 S3에 의해 검출된 색상 정보 및 연관성 있는 정보를 포함하고 있는 센싱 엘리먼트 S5에 의해 검출된 색상 정보에 기초하여, RS2를 추정할 수 있다. 이때, 영상 처리 장치는 검출된 색상 정보에 가중치

를 부여할 수 있어, 아래의 수학식 7과 같이 RS2를 추정할 수 있다.

[수학식 7]

일 실시예에 따르면, 영상 처리 장치는 변환 행렬 T를 재배열함에 따라 위와 같은 연관성 있는 정보가 도 8에 나타난 각각의 영역에 포함되도록 하여, 보간 성능을 향상시킬 수 있다. 따라서, 이하 재배열에 필요한 조건 및 재배열 과정을 구체적으로 설명한다.

도 4는 도 3과 다른 일 실시예에 따른, 센싱 엘리먼트의 수와 렌즈의 수 간의 구체적인 관계를 나타낸 도면이다.

서로 소(relatively prime) 관계인 렌즈 어레이에 포함된 렌즈의 수와 센서에 포함된 센싱 엘리먼트의 수는 아래의 수학식 8을 만족할 수 있다.

[수학식 8]

P(센싱 엘리먼트의 수)=L(렌즈의 수)*N(임의의 자연수)+1

구체적으로, 도 4에 표시된 렌즈의 수 L은 6개이고, 센싱 엘리먼트의 수 P=37개로서, 서로 소 관계를 만족한다. 이때, 렌즈당 37/6개의 센싱 엘리먼트를 커버할 수 있다.

보다 구체적으로, 첫 번째 렌즈는 0 내지 6+1/6 센싱 엘리먼트를 커버할 수 있다. 두 번째 렌즈는 6+1/6 내지 12+2/6 센싱 엘리먼트를 커버할 수 있다. 마찬가지로, 마지막 렌즈는 30+5/6 내지 37 센싱 엘리먼트를 커버할 수 있다. 즉, 각각의 렌즈는 1/L(렌즈의 수)만큼 불균형(disparity)에 대응하는 센싱 엘리먼트를 더 커버할 수 있다.

일 실시예에 따르면, 영상 처리 장치는 서로 소와 수학식 8을 만족하는 렌즈 어레이와 센서에 의해 촬영된 제1 영상에 이하 설명되는 재배열과 컬러 보간을 적용하여, 원본 영상에 보다 근접한 색상을 가진 고해상도 영상을 복원할 수 있다.

도 5는 일 실시예에 따른, 무한 거리에 위치한 장면(scene)에 대응하는 광선들을 센서가 수신하는 것을 나타낸다. 도 6은 일 실시예에 따른, 도 5의 렌즈 어레이 및 센서에 의해 획득된 제1 영상 및 재배열된 제1 영상을 나타낸 도면이다. 여기서, 원본 영상은 무한 거리에 위치한 장면(scene)을 나타내며, 제1 영상은 렌즈 어레이 및 센서에 의해 촬영된 영상을 나타낼 수 있다.

센서(540)는 무한 거리에 위치한 장면에 대응하는 광선들(X1 내지 X10)을 수신할 수 있다. 광선들(X1 내지 X10)은 렌즈(510 ~ 530)를 통해 센서에 의해 검출될 수 있다. 여기서, 렌즈의 수는 3개이고 센서(540)에 포함된 센싱 엘리먼트의 수는 10개로서, 서로 소 관계를 만족하며, 전술한 수학식 8의 관계를 만족한다. 따라서, 각각의 렌즈는 1/3만큼 불균형(disparity)에 대응하는 센싱 엘리먼트를 더 커버할 수 있고, 변환 행렬 T는 완전 랭크 조건을 만족할 수 있다.

일 실시예에 따르면, 렌즈의 수와 센서 간의 간의 거리는 렌즈의 수에 반비례할 수 있다. 예를 들면, 도 5와 같이 3개의 렌즈를 이용하는 경우, 렌즈와 센서 간의 거리는 f/3일 수 있다. 또는, 도 5와 달리 5개의 렌즈를 이용하는 경우, 렌즈와 센서 간의 거리는 f/5일 수 있다.

도 5에 도시된 센싱 엘리먼트들(S1 내지 S10)에 의해 생성되는 센싱 정보는, 시점들(550)의 각각으로부터 입사되는 광선에 대응하는 원본 신호 정보를 이용하여 전술한 수학식 1과 마찬가지로 아래의 수학식 9와 같이 모델링될 수 있다.

[수학식 9]

수학식 9에 나타난 변환 행렬 T를 재배열할 경우, 아래의 수학식 10과 같을 수 있다. 즉, 수학식 9를 재배열한 수학식 10은 변환 행렬 T의 요소들이 일정한 순서 및 간격을 갖는 것을 확인할 수 있다. 변환 행렬 T의 재배열에 따라, 도 6에 나타난 바와 같이 제1 영상(610)이 제1 영상(620)으로 재배열될 수 있다.

여기서, 순서는 각각의 센싱 엘리먼트 S4, S1, S8, S5, S2, S9, S6, S3, S10, S7의 배열 순서를 나타낸다. 수학식 10에 나타난 바와 같이, 변환 행렬은 화살표 방향으로 행렬 구성요소인 1이 배열된 것을 확인할 수 있다. 이때, 화살표 방향으로 1이 배열된 간격은 일정할 수 있다.

[수학식 10]

일 실시예에 따르면, 변환 행렬의 재배열은 센싱 엘리먼트가 수신하거나 검출하는 정보의 손실 및 정보의 변환이 발생하지 않으면서 배열 순서만 변경하는 것을 나타낸다.

도 7은 일 실시예에 따른, 유한 거리 D1에 위치한 장면(scene)에 대응하는 광선들을 센서가 수신하는 것을 나타낸다. 여기서, 원본 영상은 유한 거리 D1에 위치한 장면(scene)을 나타내며, 제1 영상은 렌즈 어레이 및 센서에 의해 촬영된 영상을 나타낼 수 있다.

센서(740)는 도 5와 달리, 유한 거리 D1에 위치한 장면에 대응하는 광선들(X0 내지 X11)을 수신할 수 있다. 광선들(X0 내지 X11)은 렌즈(710 ~ 730)를 통해 센서(740)에 의해 검출될 수 있다. 도 5와 마찬가지로, 도 7의 경우에도 렌즈의 수는 3개이고 센서(740)에 포함된 센싱 엘리먼트의 수는 10개로서, 서로 소 관계를 만족하며, 전술한 수학식 8의 관계를 만족한다. 따라서, 각각의 렌즈는 1/3만큼 불균형(disparity)에 대응하는 센싱 엘리먼트를 더 커버할 수 있고, 변환 행렬 T는 완전 랭크 조건을 만족할 수 있다.

도 7에 나타난 렌즈의 시야각(field of view)이 도 5에 나타난 렌즈보다 시야각이 넓다. 구체적으로, 렌즈(510~530)을 통해 무한 거리에 위치한 장면에 대응하는 광선들(X1 내지 X10)을 수신한 센서(540)와 달리, 센서(740)는 유한 거리 D1에 위치한 장면에 대응하는 광선들(X0 내지 X11)을 수신할 수 있다. 예를 들면, 렌즈(730)는 광선들(X1 내지 X11)을 수신할 수 있는바, 렌즈(530) 보다 광선 X11을 더 수신할 수 있다. 따라서, 센서(740)는 센서(540)보다 1.1배 더 많은 원본 신호 정보를 수신할 수 있다.

도 7에 도시된 센싱 엘리먼트들(S1 내지 S10)에 의해 생성되는 센싱 정보는, 시점들(750)의 각각으로부터 입사되는 광선에 대응하는 원본 신호 정보를 이용하여 전술한 수학식 1과 마찬가지로 아래의 수학식 11과 같이 모델링될 수 있다.

[수학식 11]

수학식 11에 나타난 변환 행렬 T를 무한 거리를 기준으로 재배열할 경우, 아래의 수학식 12와 같을 수 있다. 즉, 무한 거리를 기준으로 재배열한 수학식 12의 경우, 수학식 10과 마찬가지로 센싱 엘리먼트의 순서가 동일하다.

수학식 11를 재배열한 수학식 12은 수학식 10과 마찬가지로 변환 행렬 T의 요소들의 순서가 유지되고 간격이 거의 일정한 것을 확인할 수 있다. 구체적으로, 수학식 10과 마찬가지로, 수학식 12에 포함된 각각의 센싱 엘리먼트의 배열 순서는 S4, S1, S8, S5, S2, S9, S6, S3, S10, S7이다. 수학식 10에 나타난 바와 같이, 변환 행렬은 화살표 방향으로 행렬 구성 요소가 배열된 것을 확인할 수 있다. 이때, 수학식 10과 비슷하게, 화살표 방향으로 행렬 구성 요소가 배열된 간격은 거의 일정하다.

[수학식 12]

따라서 재배열을 하더라도, 센싱 엘리먼트 S9가 유한 거리 D1에 위치한 장면에 대응하는 일부 광선들(X4 ~ X7)로부터 센싱 정보를 검출하고, 또한 센싱 엘리먼트 S6도 마찬가지로 유한 거리 D1에 위치한 장면에 대응하는 일부 광선들(X6 ~ X9)로부터 센싱 정보를 검출할 수 있다.

수학식 10과 수학식 12과 같이, 재배열 이후에도 변환 행렬 T 내부 성분들의 순서가 유지되고 간격이 거의 일정하게 유지되는 것은, 전술한 바와 같이 센싱 엘리먼트의 수와 렌즈의 수가 서로 소 조건을 만족하면서 수학식 8를 만족하기 때문이다.

만약, 센싱 엘리먼트의 수와 렌즈의 수가 서로 소 조건을 만족하면서 수학식 8를 만족하지 않는 경우, 장면(scene)를 촬영하는 유한 거리에 따라 간격이 일정하게 유지되지 않을 뿐만 아니라 내부 성분들의 순서가 바뀔수도 있다. 따라서, 재배열된 제1 영상은 색상 좌표계의 일례인 RGB가 균일 배치되는지 여부를 나타내는 컬러 균일도가 낮을 수 있다.

도 8은 일 실시예에 따른, 도 7의 렌즈 어레이 및 센서에 의해 획득된 제1 영상 및 재배열된 제1 영상을 나타낸 도면이다.

변환 행렬 T의 재배열에 따라, 도 8에 나타난 바와 같이 제1 영상(810)이 제1 영상(820)으로 재배열될 수 있다. 재배열된 제1 영상(820)은 일정한 단위로 불연속 구간이 존재할 수 있다. 예를 들면, 영역 1(821)과 영역 2(822) 사이에 불연속 구간이 존재할 수 있고, 불연속 구간은 다른 영역 간의 사이에도 존재할 수 있다. 구체적으로, 재배열된 제1 영상(820)은 일정한 단위의 일례로서, L*L(L: 렌즈의 수) 단위마다 불연속 구간이 존재할 수 있다.

영역 1(821)은 4개의 불연속 구간에 둘러싸인 영역을 나타낼 수 있으며, 영역 2(822)도 4개의 불연속 구간에 둘러싸인 영역을 나타낼 수 있다. 이때, 각각의 영역은 재배열에 의해 컬러 보간에 필요한 연관성 있는 정보를 포함할 수 있다. 연관성 있는 정보에 대해서는 도 3을 참조한다.

각각의 영역(821, 822)는 색상 좌표계의 일례인 RGB가 균일하게 배치되어, 영상 처리 장치는 각각의 영역(821, 822)에 대해 내부적으로 컬러 보간을 수행하여 제2 영상을 생성할 수 있다. 영상 처리 장치는 컬러 보간된 제2 영상을 복원하여, 원본에 근접한 고해상도 영상을 출력할 수 있다.

만약, 각각의 영역(821, 822)에 대해 내부적으로 컬러 보간을 수행하지 않고 영역 외부에 대해 컬러 보간을 수행할 경우, 연관성 있는 정보를 이용하여 컬러 보간하지 않을 수 있다. 따라서, 제2 영상을 복원하여도 고해상도 영상을 출력할 수 없다.

도 9는 일 실시예에 따른, 제1 영상을 재배열하는 구체적인 과정을 나타낸 도면이다.

전술한 바와 같이, 센서와 렌즈 어레이에 기초하여 결정된 변환 행렬을 재배열하는 것은, 용이한 컬러 보간을 위해 아래와 같이 제1 영상을 재배열하는 과정을 수행할 수 있다.

일 실시예에 따른, 제1 영상(910)은 각각의 렌즈에 색상 필터의 일례로서 Bayer filter가 적용된 경우로서, 복수의 영상들(911, 912, 913, 914 ~)의 집합일 수 있다. 이때, 복수의 영상들(911, 912, 913, 914~)은 각각의 렌즈와 센서에 의해 촬영된 장면을 나타낼 수 있다. 예를 들면, 복수의 영상들(911, 912, 913, 914~)은 16개의 렌즈와 17개의 센싱 엘리먼트를 포함하는 센서에 의해 촬영된 장면을 나타낼 수 있다. 즉, 영상(911)은 첫 번째 렌즈와 센서에 의해 촬영된 장면이고, 마찬가지로 영상(912)는 두 번째 렌즈와 센서에 의해 촬영된 장면이며, 또한, 영상(913)은 세 번째 렌즈와 센서에 의해 촬영된 장면일 수 있다.

각각의 영상들(911, 912, 913, 914~)은 복수의 구성요소들의 세트일 수 있다. 여기서, 복수의 구성요소들은 각각의 렌즈에 대응하는 센싱 엘리먼트에 의해 생성될 수 있다. 예를 들면, 구성요소(911-a)는 첫 번째 렌즈에 대응하는 마지막 센싱 엘리먼트에 의해 생성된 것을 나타내며, 구성요소(913-a)는 세 번째 렌즈에 대응하는 마지막 센싱 엘리먼트에 의해 생성된 것을 나타낼 수 있다.

영상 처리 장치는 각각의 복수의 영상들(911, 912, 913, 914~)에서, 동일 위치의 구성요소(911-a, 912-a, 913-a, 914-a~)를 수집(920)할 수 있다. 여기서, 동일 위치의 구성요소(911-a, 912-a, 913-a, 914-a~)는 일례로서, 각각의 렌즈에 대응하는 마지막 센싱 엘리먼트에 의해 생성된 것을 나타낼 수 있다.

영상 처리 장치는 수집한 동일 위치의 구성요소를 180도 회전하는 위상 반전(930)할 수 있고, 위상 반전된 동일 위치의 구성요소를 매핑(941)할 수 있다. 영상 처리 장치는 마지막 센싱 엘리먼트 뿐만 아니라, 각각의 렌즈에 대응하는 모든 센싱 엘리먼트에 동일한 과정을 적용함으로써 제1 영상을 재배열(940)할 수 있다.

재배열된 제1 영상은 일정한 단위로 불연속 구간이 존재하며 불연속 구간에 의해 둘러싸인 영역은 RGB가 균일하게 배치된 것이다. 따라서, 영상 처리 장치는 불연속 구간에 의해 둘러싸인 영역 내부에 대해 각각 컬러 보간을 수행함으로써 제2 영상을 생성할 수 있고, 제2 영상을 복원하여 고해상도 영상을 출력할 수 있다.

도 10은 일 실시예에 따른, 영상 처리 장치를 나타낸 도면이다.

영상 처리 장치(1000)는 렌즈(1010), 센서(1020), 및 프로세서(1030)를 포함한다.

렌즈 어레이는 복수의 렌즈를 포함할 수 있고, 렌즈(1010)는 광선을 굴절시켜 통과시킬 수 있다. 복수의 렌즈들의 수와 센서(1020)에 포함된 복수의 센싱 엘리먼트들의 수는 서로 소이면서, 1/L(L은 렌즈 개수)만큼의 disparity를 가지도록 배치될 수 있다. 따라서, 렌즈와 센서에 의해 촬영된 제1 영상이 재배열된 경우, 재배열된 제1 영상은 컬러 균일도가 높으므로, 컬러 보간을 수행할 때 보간 성능이 향상될 수 있다.

센서(1020)는 복수의 센싱 엘리먼트들로 구성될 수 있고, 복수의 센싱 엘리먼트들 각각은 렌즈를 통해 수신한 광선에 대응하는 센싱 정보를 생성할 수 있다. 따라서, 영상 처리 장치(1000)는 렌즈(1010)와 센서(1020)에 의해 장면을 촬영한 제1 영상을 생성할 수 있다.

각각의 센싱 엘리먼트는 광선으로부터 하나의 색상에 대응하는 색상 정보를 검출할 수 있다. 예를 들어, 센싱 엘리먼트 1은 도달한 광선으로부터 제1 색상(예를 들어, 적색)에 대응하는 색상 정보를 검출할 수 있다. 또한, 센싱 엘리먼트 2는 도달한 광선으로부터 제2 색상(예를 들어, 녹색 또는 청색)에 대응하는 색상 정보를 검출할 수 있다. 여기서, 제1 색상 및 제2 색상은 서로 상이할 수 있다. 센싱 엘리먼트들 각각이 적색, 청색, 녹색 중 하나에 대응하는 색상 정보만 검출하는 것은 아니며, 다른 색상 좌표계에 따른 색상들 중 하나에 대응하는 색상 정보를 검출할 수도 있다.

프로세서(1030)는 센싱 엘리머트의 수와 렌즈의 수에 기초하는 변환 행렬을 재배열함에 따라, 제1 영상을 재배열할 수 있다. 또한, 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성할 수 있다. 프로세서(1030)가 제2 영상을 복원할 경우, 원본 영상인 장면에 대응하는 고해상도 영상을 출력할 수 있다.

도 11은 일 실시예에 따른, 영상 처리 장치가 수행하는 영상 처리 방법을 나타낸 도면이다.

단계(1110)에서, 영상 처리 장치는 센서와 렌즈 어레이를 이용하여 획득한 제1 영상을 식별할 수 있다. 여기서, 제1 영상은 센서와 렌즈 어레이에 의해 촬영된 영상일 수 있다. 센서와 렌즈 어레이는 영상 처리 장치 내부에 위치하여, 프로세서는 촬영된 제1 영상을 식별할 수 있다. 또는, 센서와 렌즈 어레이는 영상 처리 장치 외부에 위치하여, 프로세서는 촬영된 제1 영상을 수신하여 식별할 수 있다.

이때, 센싱 엘리먼트의 수와 렌즈의 수는 서로 소 관계이면서, 구체적으로 센싱 엘리먼트의 수는 렌즈의 수의 임의의 자연수배 + 1의 관계를 만족할 수 있다. 이때, 각각의 렌즈는 1/L만큼의 센싱 엘리먼트를 더 커버할 수 있다. 따라서, 영상 처리 장치는 변환 행렬의 재배열에 따라 제1 영상의 재배열을 통해 컬러 보간에 용이한 연관성 있는 정보를 각각의 영역에 포함시킬 수 있다.

단계(1120)에서, 영상 처리 장치는 센서와 렌즈 어레이에 기초한 변환 행렬을 재배열함에 따라, 제1 영상을 재배열할 수 있다. 여기서, 변환 행렬은 복수의 센싱 엘리먼트의 수와 복수의 렌즈의 수에 기초하여 결정되고, 원본 신호 정보와 센싱 정보 간의 관계를 나타낼 수 있다.

무한 거리에 위치한 장면을 촬영한 제1 영상을 재배치하는 기준은, 유한 거리에 위치한 장면을 촬영한 제1 영상을 재배치할 때 적용될 수 있다. 구체적으로, 영상 처리 장치는 각각의 제1 영상들에서 동일 위치의 구성요소를 수집하고, 동일 위치의 구성요소를 위상 반전하여 매핑함으로써 재배열된 제1 영상을 생성할 수 있다.

단계(1130)에서, 영상 처리 장치는 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성할 수 있다. 재배열된 제1 영상은 일정한 단위로 불연속 구간이 존재하며, 불연속 구간에 의해 둘러싸인 영역은 RGB가 균일하게 배치된 상태일 수 있다.

영상 처리 장치는 불연속 구간에 의해 둘러싸인 각각의 영역에 대해 컬러 보간을 수행할 경우, 보간 성능이 향상된 제2 영상을 생성할 수 있다. 따라서, 영상 처리 장치는 컬러 보간된 제2 영상을 복원하여 고해상도인 원본 영상에 근접한 고해상도 영상을 출력할 수 있다.

도 12 및 도 13은 일 실시예에 따른, 영상 처리 장치가 구현될 수 있는 기기를 나타낸 도면이다.

일 실시예에 따른 영상 처리 장치는 렌즈와 센서에 의해 촬영된 영상을 고해상도 영상으로 출력하는 여러 분야에 적용될 수 있다. 영상 처리 장치는, 복수의 렌즈를 포함하는 렌즈 어레이를 통해 비교적 짧은 초점 거리가 이격된 복수의 센싱 엘리먼트들을 포함하는 센서를 포함할 수 있다.

일 실시예에 따르면, 복수의 렌즈의 사용으로 인하여, 영상 처리 장치의 부피는 감소될 수 있다. 따라서, 영상 처리 장치는 사용자 단말뿐만 아니라 스마트 워치, 스마트 밴드 및 스마트 안경 등의 부피가 중요한 웨어러블 디바이스에 적용될 수 있다.

예를 들어, 도 12에 도시된 바와 같이, 사용자 단말(1200)에 전면 카메라로서, 영상 처리 장치(1210)가 구현될 수 있다. 영상 처리 장치(1210)의 센서는 풀 프레임(full frame)으로 구현될 수 있고, 렌즈 어레이는 마이크로 렌즈(micro lens)로 구현될 수 있다.

도 13와 같이, 차량(1300)은 지점들(일례로서, 1320 내지 1330)에 영상 처리 장치를 포함할 수 있다. 영상 처리 장치의 부피는 조절 가능하여, 디자인적 측면이나 안전성 측면을 저해하지 않고 차량(1300)에 설치될 수 있다.

예를 들면, 차량(1300)의 전면 카메라 또는 후면 카메라로서 영상 처리 장치가 구현될 수 있다. 이때, 영상 처리 장치는 휘어진 렌즈 어레이(1310)를 이용할 수 있다. 즉, 렌즈들 사이의 체결 부위가 휘어지도록 설계된 휘어진 렌즈 어레이(curved lens array)가 영상 처리 장치에 이용될 수 있다.

다만, 이로 한정하는 것은 아니고, 영상 처리 장치는 DSLR 카메라, 드론(Drone), CCTV, 웹캠(Webcam)용 카메라, 360도 촬영 카메라, 영화 및 방송을 위한 카메라, 및 VR/AR 카메라 등에 사용될 수 있다. 더 나아가, 영상 처리 장치는 유연하거나 연장될 수 있는 카메라(Flexible/Stretchable Camera), 곤충 눈 카메라, 컨택트 렌즈 타입(Contact lens type) 카메라 등과 같은 다양한 분야에도 적용될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

센서와 렌즈 어레이를 이용하여 획득한 제1 영상을 식별하는 단계;
상기 센서와 렌즈 어레이에 기초한 변환 행렬을 재배열함에 따라, 상기 제1 영상을 재배열(Rearrange)하는 단계; 및
상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 센서는 복수의 센싱 엘리먼트(sensing element)를 포함하고,
상기 렌즈 어레이는 복수의 렌즈를 포함하며,
상기 복수의 센싱 엘리먼트의 수와 상기 복수의 렌즈의 수는 서로 소(relatively prime)인, 영상 처리 방법.
제2항에 있어서,
상기 복수의 센싱 엘리먼트의 수는,
상기 복수의 렌즈의 수의 임의의 자연수배+1 인, 영상 처리 방법.
제2항에 있어서,
상기 변환 행렬은,
상기 복수의 센싱 엘리먼트의 수와 상기 복수의 렌즈의 수에 따라 결정되는, 영상 처리 방법.
제4항에 있어서,
상기 변환 행렬은,
무한 거리를 기준으로 재배열된 변환 행렬을 참조하여 재배열되는, 영상 처리 방법.
제1항에 있어서,
상기 제1 영상을 재배열(Rearrange)하는 단계는,
상기 제1 영상에서 동일 위치의 구성요소를 수집하는 단계;
상기 수집한 동일 위치의 구성요소를 위상 반전하여 매핑하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 재배열된 제1 영상은,
일정한 단위로 불연속 구간이 존재하고, 상기 불연속 구간에 의해 둘러싸인 각각의 영역은 RGB가 균일하게 배치된, 영상 처리 방법.
제7항에 있어서,
상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성하는 단계는,
상기 불연속 구간에 의해 둘러싸인 각각의 영역에 대해 컬러 보간을 수행하여 제2 영상을 생성하는, 영상 처리 방법.
제1항에 있어서,
상기 컬러 보간된 제2 영상을 복원하여, 원본 영상에 대응하는 고해상도 영상을 출력하는 단계
를 더 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 제1 영상은,
상기 렌즈 어레이에 컬러 필터가 적용될 경우, ⅰ) 상기 복수의 렌즈의 수가 짝수이고 상기 복수의 센싱 엘리먼트의 수가 홀수이거나, 또는 ⅱ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 짝수이거나, 또는 ⅲ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 홀수인 경우 획득되는, 영상 처리 방법.
제1항에 있어서,
상기 제1 영상은,
상기 센서에 컬러 필터가 적용될 경우, ⅰ) 상기 복수의 렌즈의 수가 짝수이고 상기 복수의 센싱 엘리먼트의 수가 홀수이거나, 또는 ⅱ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 짝수인 경우 획득되는, 영상 처리 방법.
하드웨어와 결합되어 제1항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리
를 포함하고,
상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 센서와 렌즈 어레이를 이용하여 획득한 제1 영상을 식별하고,
상기 센서와 렌즈 어레이에 기초한 변환 행렬을 재배열함에 따라, 상기 제1 영상을 재배열(Rearrange)하고,
상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성하는, 영상 처리 장치.
제13항에 있어서,
상기 센서는 복수의 센싱 엘리먼트(sensing element)를 포함하고,
상기 렌즈 어레이는 복수의 렌즈를 포함하며,
상기 복수의 센싱 엘리먼트의 수와 상기 복수의 렌즈의 수는 서로 소(relatively prime)이고,
상기 복수의 센싱 엘리먼트의 수는, 상기 복수의 렌즈의 수의 임의의 자연수배+1 인, 영상 처리 장치.
제13항에 있어서,
상기 변환 행렬은,
무한 거리를 기준으로 재배열된 변환 행렬을 참조하여 재배열되는, 영상 처리 장치.
제13항에 있어서,
상기 프로세서는,
상기 제1 영상을 재배열(Rearrange)할 때, 상기 제1 영상에서 동일 위치의 구성요소를 수집하고, 상기 수집한 동일 위치의 구성요소를 위상 반전하여 매핑하는, 영상 처리 장치.
제13항에 있어서,
상기 재배열된 제1 영상은,
일정한 단위로 불연속 구간이 존재하고, 상기 불연속 구간에 의해 둘러싸인 각각의 영역은 RGB가 균일하게 배치된, 영상 처리 장치.
제17항에 있어서,
상기 프로세서는,
상기 재배열된 제1 영상에 대해 컬러 보간을 수행하여 제2 영상을 생성할 때, 상기 불연속 구간에 의해 둘러싸인 각각의 영역에 대해 컬러 보간을 수행하여 제2 영상을 생성하는, 영상 처리 장치.
제13항에 있어서,
상기 제1 영상은,
상기 렌즈 어레이에 컬러 필터가 적용될 경우, ⅰ) 상기 복수의 렌즈의 수가 짝수이고 상기 복수의 센싱 엘리먼트의 수가 홀수이거나, 또는 ⅱ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 짝수이거나, 또는 ⅲ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 홀수인 경우 획득되는, 영상 처리 장치.
제13항에 있어서,
상기 제1 영상은,
상기 센서에 컬러 필터가 적용될 경우, ⅰ) 상기 복수의 렌즈의 수가 짝수이고 상기 복수의 센싱 엘리먼트의 수가 홀수이거나, 또는 ⅱ) 상기 복수의 렌즈의 수가 홀수이고 상기 복수의 센싱 엘리먼트의 수가 짝수인 경우 획득되는, 영상 처리 장치.