KR102336449B1

KR102336449B1 - 촬영 장치 및 촬영 장치의 동작방법

Info

Publication number: KR102336449B1
Application number: KR1020150098414A
Authority: KR
Inventors: 이태희; 정종삼
Original assignee: 삼성전자주식회사
Priority date: 2015-05-22
Filing date: 2015-07-10
Publication date: 2021-12-07
Also published as: KR20160137289A

Abstract

일 실시예에 따른 촬영 장치는, 동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈, 상기 제1 카메라 모듈로부터 획득한 제1 영상에 상기 제2 카메라 모듈로부터 획득한 제2 영상을 매핑하고, 상제 제1 영상과 상기 매핑된 제2 영상을 이용하여 상기 피사체의 제3 영상을 합성하는 제어부를 포함하고, 상기 제1 카메라 모듈에 포함되는 이미지 센서는 픽셀 형태가 사각형으로 구성된 제1 픽셀 구조를 가지고, 상기 제2 카메라 모듈에 포함되는 이미지 센서는 상기 제1 픽셀 구조와 다른 제2 픽셀 구조를 가질 수 있다.

Description

촬영 장치 및 촬영 장치의 동작방법{PHOTOGRAPHING APPARATUS AND METHOD FOR CONTROLLING THE SAME}

다양한 실시예들은 촬영 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 복수의 모듈들로부터 획득한 영상들을 이용한 영상 해상도를 향상시키는 촬영 장치 및 그 동작방법에 관한 것이다.

다중 카메라 시스템은 두 개 이상의 카메라 모듈들을 포함하고, 카메라 모듈들 각각에 입력되는 영상들을 이용하여, 특정 객체에 대한 초점을 검출하거나 입체 영상을 생성할 수 있다. 또한 최근에 다중 카메라 시스템은 영상의 해상도를 향상시키기 위해 복수의 영상 정보를 얻는데 이용되고 있다.

다양한 실시예들은, 이미지 센서의 픽셀 형태가 상이한 제1 카메라 모듈 및 제2 카메라 모듈로부터 획득한 각각의 영상을 이용하여, 영상 해상도를 향상시키는 촬영 장치 및 그 동작방법을 제공하고자 하는 것이다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈; 상기 제1 카메라 모듈로부터 획득한 제1 영상에 상기 제2 카메라 모듈로부터 획득한 제2 영상을 매핑하고, 상제 제1 영상과 상기 매핑된 제2 영상을 이용하여 상기 피사체의 제3 영상을 합성하는 제어부를 포함하고, 상기 제1 카메라 모듈에 포함되는 이미지 센서는 픽셀 형태가 사각형으로 구성된 제1 픽셀 구조를 가지고, 상기 제2 카메라 모듈에 포함되는 이미지 센서는 상기 제1 픽셀 구조와 다른 제2 픽셀 구조를 가지는, 촬영 장치를 제공할 수 있다.

일 실시예에 따른 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 중 하나는 칼라 카메라 모듈이고, 다른 하나는 모노 카메라 모듈인, 촬영 장치를 제공할 수 있다.

일 실시예에 따른 상기 제2 픽셀 구조에 포함되는 복수의 픽셀 구조 중 제1 영역 및 제2 영역은 크기 및 모양 중 적어도 하나가 다른, 촬영 장치를 제공할 수 있다.

일 실시예에 따른 상기 제어부는, 상기 제1 영상과 상기 매핑된 제2 영상의 시차 정보를 기초로, 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 할지 상기 모노 카메라 모듈로부터 획득한 영상으로 할 지 결정하는, 촬영 장치를 제공할 수 있다.

일 실시예에 따른 상기 제어부는, 상기 시차 정보가 임계값보다 큰 지를 판단하고, 상기 시차 정보가 상기 임계값보다 크면 상기 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 결정하고, 상기 시차 정보가 상기 임계값보다 크지 않으면, 상기 영상 합성시 기준이 되는 영상을 상기 모노 카메라 모듈로부터 획득한 영상으로 결정하는, 촬영 장치를 제공할 수 있다.

일 실시예에 따른 상기 시차 정보는 상기 제1 영상과 상기 매핑된 제2 영상의 디스패리티 내지 오클루젼 정보 중 적어도 하나를 포함하는, 촬영 장치를 제공할 수 있다.

또한, 본 개시의 제 2 측면은, 제1 카메라 모듈로부터 피사체를 촬영한 제1 영상 및 제2 카메라 모듈로부터 상기 피사체를 촬영한 제2 영상을 획득하는 단계; 상기 획득된 제1 영상에 상기 획득된 제2 영상을 매핑하는 단계; 및 상기 제1 영상과 상기 매핑된 제2 영상을 이용하여 상기 피사체의 제3 영상을 합성하는 단계;를 포함하고, 상기 제1 카메라 모듈에 포함되는 이미지 센서는 픽셀 형태가 사각형으로 구성된 제1 픽셀 구조를 가지고, 상기 제2 카메라 모듈에 포함되는 이미지 센서는 상기 제1 픽셀 구조와 다른 제2 픽셀 구조를 가지는, 촬영 장치의 동작방법을 제공할 수 있다.

일 실시예에 따른 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 중 하나는 칼라 카메라 모듈이고, 다른 하나는 모노 카메라 모듈일 수 있다.

일 실시예에 따른 상기 제2 픽셀 구조에 포함되는 복수의 픽셀 구조 중 제1 영역 및 제2 영역은 크기 및 모양 중 적어도 하나가 다를 수 있다.

일 실시예에 따른 상기 피사체의 제3 영상을 합성하는 단계는, 상기 제1 영상과 상기 매핑된 제2 영상의 시차 정보를 기초로, 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 할지 상기 모노 카메라 모듈로부터 획득한 영상으로 할 지 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 피사체의 제3 영상을 합성하는 단계는, 상기 시차 정보가 임계값보다 큰 지를 판단하고, 상기 시차 정보가 상기 임계값보다 크면 상기 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 결정하고, 상기 시차 정보가 상기 임계값보다 크지 않으면, 상기 영상 합성시 기준이 되는 영상을 상기 모노 카메라 모듈로부터 획득한 영상으로 결정하는 단계를 더 포함할 수 있다.

일 실시예에 따른 상기 시차 정보는 상기 제1 영상과 상기 매핑된 제2 영상의 디스패리티 내지 오클루젼 정보 중 적어도 하나를 포함할 수 있다.

또한, 본 개시의 제 3 측면은, 제 2 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

도 1은 복수 개의 카메라 모듈을 포함하는 다중 카메라 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.
도 3은 도 2의 제1 카메라 모듈의 구성을 나타내는 블록도이다.
도 4는 다른 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.
도 5는 일 실시예에 따른 제1 픽셀 구조를 설명하기 위해 참조되는 도면이다.
도 6은 일 실시예에 따른 제2 픽셀 구조를 설명하기 위해 참조되는 도면이고, 도 7은 다른 실시예에 따른 제2 픽셀 구조를 설명하기 위해 참조되는 도면이다.
도 8은 일 실시예에 따른 영상 매핑부에서 매핑된 제2 영상을 얻는 방법을 설명하기 위해 참조되는 도면이다.
도 9는 일 실시예에 따른 제3 영상을 합성하는 방법을 설명하기 위해 참조되는 도면이다.
도 10은 및 도 11은 일 실시예에 따른 영상 합성부의 동작방법을 나타내는 흐름도이다.
도 12는 일 실시예에 따른 영상 합성부에서 시차 정보를 얻기 위해 디스패리티(disparity)를 이용하는 방법을 설명하기 위해 참조되는 도면이고, 도 13은 다른 실시예에 따른 영상 합성부에서 시차 정보를 얻기 위해 오클루젼(occlusion)을 이용하는 방법을 설명하기 위해 참조되는 도면이다.
도 14는 일 실시예에 따른 모노 영상을 기준으로 제3 영상을 합성하는 방법을 설명하기 위해 참조되는 도면이고, 도 15는 다른 실시예에 따른 칼라 영상을 기준으로 제3 영상을 합성하는 방법을 설명하기 위해 참조되는 도면이다.
도 16은 일 실시예에 따른 촬영 장치의 동작방법을 나타내는 흐름도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

<도 1>

도 1은 복수 개의 카메라 모듈을 포함하는 다중 카메라 시스템을 나타내는 도면이다.

다중 카메라 시스템은 입체 영상을 생성하는 스테레오 카메라(stereoscopic camera)일 수 있다. 다중 카메라 시스템은 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)을 포함할 수 있다. 이때, 제1 카메라 모듈(21)과 제2 카메라 모듈(22)은 소정 거리만큼 이격되어 배치될 수 있다. 다중 카메라 시스템은 제1 카메라 모듈(21)로부터 획득한 제1 영상과 제2 카메라 모듈(22)로부터 획득한 제2 영상을 이용하여 제3 영상을 획득할 수 있다.

<도 2, 도 3>

도 2는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.

도 2를 참조하면, 촬영 장치(100)는 제1 카메라 모듈(110), 제2 카메라 모듈(120) 및 제어부(130)를 포함할 수 있다. 일 실시예에 따르는 촬영 장치(100)는 도 1에서 설명한 바와 같이, 복수의 카메라 모듈을 포함하는 다중 카메라 시스템으로 구현될 수 있다. 또한, 촬영 장치(100)는 정지 영상을 촬영하는 디지털 스틸 카메라나 동영상을 촬영하는 디지털 비디오 카메라 등의 다양한 형태로 구현될 수 있다. 또한, 촬영 장치(100)는 디지털 일안 리플렉스 카메라(DSLR), 미러리스 카메라 또는 스마트 폰이 포함될 수 있다. 다만, 이에 한정되는 것은 아니며 일 실시예에 따른 촬영 장치(100)는 렌즈 및 촬상소자를 포함하여 피사체를 촬영하고 이미지를 생성할 수 있는 복수의 카메라 모듈을 탑재한, 장치를 포함할 수 있다. 그리고, 일 실시예에 따르는 제어부(130)는 영상 매핑부(140) 및 영상 합성부(150)를 포함할 수 있다.

일 실시예에 따른 제1 카메라 모듈(110)에 포함되는 이미지 센서 및 제2 카메라 모듈(120)에 포함되는 이미지 센서는 서로 다른 픽셀 구조를 가질 수 있다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 이미지 센서는 픽셀 형태가 사각형으로 구성된 제1 픽셀 구조를 가지고, 제2 카메라 모듈(120)에 포함되는 이미지 센서는 제1 픽셀 구조와 다른 제2 픽셀 구조를 가질 수 있다. 픽셀 구조란 카메라 모듈의 이미지 센서를 구성하는 픽셀들의 형태를 의미하며, 그 형태가 상이한 픽셀들은 촬영 시 받아들이는 광량 등의 차이를 보일 수 있다. 예를 들어, 픽셀 크기가 큰 픽셀은 같은 조건에서 픽셀 크기가 작은 픽셀과 비교하여 고감도 내지 밝은 영상을 얻을 수 있고, 픽셀 크기가 작은 픽셀은 같은 조건에서 픽셀 크기가 큰 픽셀과 비교하여 저감도 내지 어두운 영상을 얻을 수 있다. 따라서, 픽셀 크기가 다른 픽셀 구조를 이용하여 HDR(High Dynamic Range) 영상을 획득하는데 이용할 수 있다. 또한, 칼라 카메라 모듈의 경우 픽셀 형태의 차이에 따라 색재현 정도가 달라질 수 있다.

일 실시예에 따른 제1 픽셀 구조는 직사각형 내지 정사각형의 픽셀 구조를 가지는 일반적인 픽셀 구조를 가지고, 제2 픽셀 구조는 제1 픽셀 구조와 다른 형태를 가지는 다각형 구조를 가지는 픽셀 구조를 가질 수 있다.

또한, 일 실시예에 따른 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 서로 다를 수 있다. 이미지 센서의 해상도는 이미지 센서에 포함되는 픽셀들의 개수에 의해 결정되며, 이미지 센서에 포함되는 픽셀들의 개수가 많을수록 이미지 센서의 해상도는 높아진다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도는 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도보다 저해상도 일 수 있으며, 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도보다 고해상도 일 수 있다.

일 실시예에 따른 제1 카메라 모듈은 칼라 카메라 모듈이고, 제2 카메라 모듈은 모노 카메라 모듈일 수 있다. 다른 실시예에 따른 제1 카메라 모듈은 모노 카메라 모듈이고, 제2 카메라 모듈은 칼라 카메라 모듈일 수 있다. 동일한 이미지 센서에 대해서, 칼라 영상은 모노 영상과 비교하여 칼라 정보를 얻을 수 있는 효과가 있으며, 모노 영상은 칼라 영상과 비교하여 더 많은 광량을 흡수하므로 보다 향상된 디테일 정보를 얻을 수 있는 효과가 있다. 따라서, 칼라 카메라 모듈 및 모노 카메라 모듈을 동시에 이용할 경우, 칼라 영상 및 모노 영상에서의 효과를 동시에 얻을 수 있다.

제어부(130)는 촬영 장치(100)의 전체 동작을 제어할 수 있다. 제어부(130)는 촬영 장치(100)에 포함되는 각 구성 요소들에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.

제어부(130)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(130)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

제어부(130)는 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 각각 포함되는 조리개 구동부, 렌즈 구동부, 및 이미지 센서 제어부에 제공하고, 셔터, 스트로보 등 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.

또한 제어부(130)는 외부 모니터와 연결되어, 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)에 포함되는 이미지 신호 처리부로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.

한편, 일 실시예에 따른 영상 매핑부(140)는 제1 카메라 모듈(110)로부터 획득한 제1 영상에 제2 카메라 모듈(120)로부터 획득한 제2 영상을 매핑할 수 있다. 예를 들어, 영상 매핑부(140)는 제1 영상의 각 픽셀에 대해서 제2 영상의 이에 대응되는 픽셀 위치에 인접한 픽셀들을 이용하여 매핑할 수 있다.

한편, 일 실시예에 따른 영상 합성부(150)는 제1 영상과 매핑된 제2 영상간의 시차 정보를 이용하여 피사체의 제3 영상을 합성할 수 있다. 일 실시예에 따른 영상 합성부(150)는 제1 영상과 매핑된 제2 영상의 시차 정보를 기초로, 영상 합성시 기준이 되는 영상을 칼라 카메라 모듈로부터 획득한 영상으로 할지 모노 카메라 모듈로부터 획득한 영상으로 할 지 결정할 수 있다.

또한, 일 실시예에 따른 영상 합성부(150)는 시차 정보가 임계값보다 큰 지를 판단하고, 시차 정보가 임계값보다 크면 영상 합성시 기준이 되는 영상을 칼라 카메라 모듈로부터 획득한 영상으로 결정하고, 시차 정보가 임계값보다 크지 않으면, 영상 합성시 기준이 되는 영상을 모노 카메라 모듈로부터 획득한 영상으로 결정할 수 있다.

또한, 영상 합성부(150)는 제1 영상과 매핑된 제2 영상의 디스패리티 내지 오클루젼 정보 중 적어도 하나를 이용하여 피사체의 제3 영상을 합성할 수 있다.

일 실시예에 따를 때, 칼라 영상 내지 모노 영상 기준으로 제3 영상을 합성할 수 있으며, 칼라 영상 기준으로 제3 영상을 합성하는 경우, 칼라 정보를 그대로 유지할 수 있기 때문에 칼라 영상에서의 색재현성이 보장되며 이와 함께 모노 영상의 향상된 디테일 정보를 얻을 수 있다. 한편, 모노 영상 기준으로 제3 영상을 합성하는 경우, 모노 영상의 디테일 정보를 그대로 유지할 수 있기 때문에 모노 영상에서의 해상도 및 SNR(Signal to Noise Ratio)이 보장되며 이와 함께 칼라 영상의 색상 정보를 이용할 수 있는 효과가 있다.

도 3은 도 2의 제1 카메라 모듈의 구성을 나타내는 블록도이다.

도 3을 참조하면, 제1 카메라 모듈(110)은 렌즈(111), 렌즈 구동부(112), 조리개(113), 조리개 구동부(115), 이미지 센서(116), 이미지 센서 제어부(117), 아날로그 신호 처리부(118), 이미지 신호 처리부(119)를 포함할 수 있다.

렌즈(111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(111)는 렌즈 구동부(112)에 의해 그 위치가 조절될 수 있다. 렌즈 구동부(112)는 제어부(130)에서 제공된 제어 신호에 따라 렌즈(111)의 위치를 조절한다. 렌즈 구동부(112)는 렌즈(111)의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다.

조리개(113)는 조리개 구동부(115)에 의해 그 개폐 정도가 조절되며, 이미지 센서(116)로 입사되는 광량을 조절한다.

렌즈(111) 및 조리개(113)를 투과한 광학 신호는 이미지 센서(116)의 수광면에 이르러 피사체의 상을 결상한다. 이미지 센서(116)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 이미지 센서(116)는 이미지 센서 제어부(117)에 의해 감도 등이 조절될 수 있다. 이미지 센서 제어부(117)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 이미지 센서(116)를 제어할 수 있다.

아날로그 신호 처리부(118)는 이미지 센서(116)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.

이미지 신호 처리부(119)는 아날로그 신호 처리부(118)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(119)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.

이미지 신호 처리부(119)는 이미지 센서(116)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 상기 촬상 신호는 이미지 센서(116)에서 생성되고, 아날로그 신호 처리부(118)에 의해 처리된 신호일 수 있다. 이미지 신호 처리부(119)는 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩되어, 동영상 압축된 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다. 이미지 신호 처리부(119)는 생성된 제1 영상을 제어부(130)로 출력할 수 있다.

또한, 이미지 신호 처리부(119)는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 수행할 수 있다. 이미지 신호 처리부(119)는 디스플레이부에 영상 데이터를 디스플레이하기 위한 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 생성 및 영상의 합성 처리 등을 수행할 수 있다.

한편, 제2 카메라 모듈(120)도 제1 카메라 모듈(110)과 동일하게 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 이미지 센서, 이미지 센서 제어부, 아날로그 신호 처리부, 이미지 신호 처리부를 포함할 수 있다. 상기 구성요소들에 대해서는 제1 카메라 모듈(110)에서 이미 설명하였으므로 중복하여 설명하지 않기로 한다.

<도 4>

도 4는 다른 실시예에 따른 촬영 장치(200)의 구성을 나타내는 블록도이다.

도 4를 참조하면, 촬영 장치(200)는 제1 카메라 모듈(210), 제2 카메라 모듈(220), 제어부(230), 메모리(240), 저장/판독 제어부(250), 메모리 카드(242), 프로그램 저장부(260), 디스플레이부(270), 디스플레이 구동부(272), 조작부(280) 및 통신부(290)를 포함할 수 있다.

도 4의 제1 카메라 모듈(210), 제2 카메라 모듈(220) 및 제어부(230) 각각은 도 2의 제1 카메라 모듈(110), 제2 카메라 모듈(120) 및 제어부(130) 각각에 대응되므로, 동일한 설명은 생략하고, 나머지 구성요소에 대해서 설명하기로 한다.

도 4를 참조하면, 저장/판독 제어부(250)는 제1 카메라 모듈(210) 또는 제2 카메라 모듈(220)로부터 출력된 영상 데이터를 메모리 카드(242)에 저장할 수 있다. 이때, 저장/판독 제어부(250)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 저장할 수 있다. 또한 저장/판독 제어부(250)는 메모리 카드(242)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(240)를 통해 또는 다른 경로를 통해 디스플레이 구동부(272)에 입력하여 디스플레이부(270)에 이미지가 표시되도록 할 수도 있다.

메모리 카드(242)는 탈착 가능한 것일 수도 있고 촬영 장치(200)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(242)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.

한편, 제1 카메라 모듈(210) 또는 제2 카메라 모듈(220)에서 처리된 이미지 신호는 메모리(240)를 거쳐 제어부(230)에 입력될 수도 있고, 메모리(240)를 거치지 않고 제어부(230)에 입력될 수도 있다. 메모리(240)는 촬영 장치(200)의 메인 메모리로서 동작하고, 촬영 장치(200)의 동작에 필요한 정보를 임시로 저장할 수 있다. 프로그램 저장부(260)는 촬영 장치(200)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.

촬영 장치(200)는 촬영 장치(200)의 동작 상태 또는 촬영 장치(200)에서 촬영한 영상 정보를 표시하도록 디스플레이부(270)를 포함할 수 있다. 제1 카메라 모듈(210) 및 제2 카메라 모듈(220)은 촬영한 영상 정보를 디스플레이부(270)에 디스플레이하기 위해 디스플레이 영상 신호 처리를 수행할 수 있다. 예를 들어, 제1 카메라 모듈(210) 및 제2 카메라 모듈(220)은 촬영한 영상 정보에 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다.

디스플레이부(270)는 시각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(270)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(270)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.

디스플레이 구동부(272)는 디스플레이부(270)에 구동 신호를 제공한다.

조작부(280)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(280)는 정해진 시간 동안 이미지 센서를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정 값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(280)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

통신부(290)는 네트워크 인터페이스 카드(NIC: Network Interface Card)나 모뎀 등을 포함하여 이루어질 수 있으며, 촬영 장치(200)가 외부 디바이스와 네트워크를 통해 유무선 방식으로 통신할 수 있도록 하는 역할을 수행할 수 있다.

한편, 도 2, 3 및 4에 도시된 촬영장치(100, 200)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 촬영장치(100, 200)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

<도 5, 도6, 도7>

도 5는 일 실시예에 따른 제1 픽셀 구조를 설명하기 위해 참조되는 도면이고, 도 6은 일 실시예에 따른 제2 픽셀 구조를 설명하기 위해 참조되는 도면이고, 도 7은 다른 실시예에 따른 제2 픽셀 구조를 설명하기 위해 참조되는 도면이다.

일 실시예에 따른 제1 픽셀 구조는 일반적인 카메라 모듈의 이미지 센서가 가지는 직사각형 내지 정사각형의 픽셀 구조를 나타내고, 제2 픽셀 구조는 제1 픽셀 구조와 다른 형태의 다각형 구조를 가지는 픽셀 구조를 나타낼 수 있다.

도 5는 일 실시예에 따른 제1 픽셀 구조를 설명하기 위해 참조되는 도면이다. 도 5를 참조하면, 도 5에 도시된 제1 픽셀 구조를 구성하는 임의의 픽셀(81, 82)은 모두 직사각형 형태이며 그 크기가 동일하다.

도 6은 일 실시예에 따른 제2 픽셀 구조를 설명하기 위해 참조되는 도면이다. 도 6(a)은 도 5의 일반적인 카메라 모듈의 이미지 센서를 45도 회전시켜서 얻은 이미지 센서의 제2 픽셀 구조를 도시한 도면이고, 도 6(b)는 허니콤(HoneyComb) 형태인 이미지 센서의 제2 픽셀 구조를 도시한 도면이다. 도 6(a) 및 6(b)를 참조하면, 각각 일반적인 카메라 모듈의 이미지 센서의 일 실시예인 도 5의 제1 픽셀 구조와 형태가 상이하다. 그러나 도 6(a)의 적어도 2개의 임의의 픽셀(31, 32) 및 도 6(b)의 적어도 2개의 임의의 픽셀(36, 37) 각각은 서로 그 크기와 모양이 동일하다.

도 7은 다른 실시예에 따른 제2 픽셀 구조를 설명하기 위해 참조되는 도면이다. 도 7을 참조하면, 카메라 모듈의 이미지 센서는 적어도 2개의 임의의 픽셀의 크기 및 모양이 각각 다른 제2 픽셀 구조를 가질 수 있다. 예를 들어, 도 7(a)의 제2 픽셀 구조는 육각형 형태의 픽셀(41) 및 삼각형 형태의 픽셀(42)을 가지고, 도 7(b)의 제2 픽셀 구조는 팔각형 형태의 픽셀(46) 및 사각형 형태의 픽셀(47)을 가지고, 도 7(c)의 제2 픽셀 구조는 팔각형 형태의 픽셀(51) 및 사각형 형태이나 45도 회전시킨 픽셀(52)을 가지고, 도 7(d)의 제2 픽셀 구조는 십이각형 형태의 픽셀(56) 및 삼각형 형태의 픽셀(57)을 가진다.

<도 8>

도 8은 일 실시예에 따른 영상 매핑부(140)에서 매핑된 제2 영상을 얻는 방법을 설명하기 위해 참조되는 도면이다.

영상 매핑부(140)는 예를 들어 제1 픽셀 구조를 갖는 제1 카메라 모듈(110)로부터 획득된 영상 및 제2 픽셀 구조를 갖는 제2 카메라 모듈(120)로부터 획득된 영상을 수신한다. 영상 매핑부(140)는 제1 픽셀 구조에서 얻은 제1 영상 및 제2 픽셀 구조에서 얻은 제2 영상을 이용하여 화질이 향상된 제3 영상을 얻기 위해서는, 우선 픽셀 구조가 상이한 제1 영상 및 제2 영상간에, 픽셀 크기 및 모양, 해상도 등을 매핑 시켜야 할 필요가 있다. 구체적으로 영상 매핑부(140)는 제1 픽셀 구조에서 얻은 제1 영상의 각각의 픽셀에 대해서 이에 대응되는 위치에서 제2 영상의 픽셀값을 구해야 한다.

도 8(a)는 제1 픽셀 구조를 설명하기 위해 참조되는 도면이고, 도 8(b)는 제2 픽셀 구조로부터 매핑된 제2 영상을 얻는 방법을 설명하기 위해 참조되는 도면이다. 도 8(a)를 참조하면, 도 8(a)에 도시된 제1 픽셀 구조를 구성하는 임의의 픽셀은 모두 직사각형 형태이며 그 크기가 동일하다. 일 실시예에 따를 때, 매핑된 제2 영상의 각 픽셀값은 제1 픽셀 구조의 각 픽셀의 중심에 대응되는 위치에 인접한 픽셀들을 이용하여 얻을 수 있다.

예를 들어, 도 8(b)를 참조하면, 제1 픽셀 구조의 (2,2)상의 픽셀 중심(61)에 대해서 이에 대응되는 제2 픽셀 구조에서의 위치를 알 수 있다. 일 실시예에 따를 때, 픽셀 중심(61)이 위치한 제2 픽셀 구조에서의 픽셀 및 그 인접픽셀들(72 내지 78)을 선형결합 하여 얻은 값을 제1 픽셀 구조의 (2,2)상의 픽셀값에 대응하는 제2 픽셀 구조의 (2,2)상의 픽셀값으로 할 수 있다.

일 실시예에 따를 때, 픽셀 중심이 위치한 제2 픽셀 구조에서의 픽셀 및 중심픽셀과 인접픽셀들을 선형결합 할 때, 각 픽셀의 중심 간의 거리 및 각도, 픽셀 중심이 위치한 제2 픽셀 구조에서의 픽셀 및 인접픽셀의 크기 내지 모양의 동일 여부 등을 고려하여 가중치를 달리 할 수 있다. 다른 실시예에 따를 때, 픽셀 중심이 위치한 제2 픽셀 구조에서의 픽셀 및 인접픽셀들을 비선형결합 하여 얻은 값을 제1 픽셀 구조의 (2,2)상의 픽셀값에 대응하는 제2 픽셀 구조의 (2,2)상의 픽셀값으로 할 수 있다.

<도 9>

도 9는 일 실시예에 따른 영상 합성부(150)에서 제3 영상을 합성하는 방법을 설명하기 위해 참조되는 도면이다.

도 9를 참조하면, 영상 합성부(150)는 제1 영상(310)으로부터의 정보인 Y1Cb1Cr1 및 매핑된 제2 영상(320)으로부터의 정보인 Y2Cb2Cr2 정보를 영상 매핑부(140)로부터 수신한다. 제1 영상(310)은 제1 카메라 모듈로부터 획득한 영상이고, 매핑된 제2 영상(320)은 제1 영상(310)에 제2 카메라 모듈로부터 획득한 제2 영상을 매핑한 영상이다. 일 실시예에 따를 때 Y, Cb, Cr 정보 대신 R, G, B의 정보로 영상 합성부(150)에 전달될 수 있으며, 이에 한정되지 않는다.

일 실시예에 따를 때, 제1 카메라 모듈은 칼라 카메라 모듈이고, 제2 카메라 모듈은 모노 카메라 모듈일 수 있다. 이 경우 칼라 카메라 모듈로부터 획득한 제1 영상(310)은 칼라 영상이고, 모노 카메라 모듈로부터 획득한 매핑된 제2 영상(320)은 모노 영상이며, 매핑된 제2 영상(320)의 Cb, Cr 정보는 무시할 수 있다. 다른 실시예에 따를 때, 제1 카메라 모듈은 모노 카메라 모듈이고, 제2 카메라 모듈은 칼라 카메라 모듈일 수 있다. 이 경우 모노 카메라 모듈로부터 획득한 제1 영상(310)은 모노 영상이고, 칼라 카메라 모듈로부터 획득한 매핑된 제2 영상(320)은 모노 영상이며, 제1 영상(310)의 Cb, Cr 정보는 무시할 수 있다.

영상 합성부(150)는 제1 영상(310) 및 매핑된 제2 영상(320)을 이용하여 제3 영상(330)의 Y3Cb3Cr3 정보를 획득한다. 일 실시예에 따를 때, 영상 합성부(150)는 제1 영상(310) 및 매핑된 제2 영상(320) 간의 동일한 피사체에 대한 시차 정보를 이용하여 제3 영상(330)의 Y3Cb3Cr3 정보를 획득할 수 있다. 시차 정보란 동일한 피사체에 대한 좌시점 영상 및 우시점 영상 간의 시점 차이를 의미한다. 일 실시예에 따른 제1 영상(310) 및 매핑된 제2 영상(320)간의 동일한 피사체에 대한 시차 정보는 디스패리티(disparity), 오클루젼(occlusion) 내지 단안단서(monocular cues) 정보 중 적어도 하나일 수 있다.

일 실시예에 따라 영상 합성부(150)는 칼라 영상인 제1 영상과 모노 영상인 제2 영상을 합성하여 제3 영상을 합성할 때, 시차 정보를 이용하여 기준이 되는 영상을 칼라 영상으로 할지, 모노 영상으로 할지 결정할 수 있다.

기준이 되는 영상을 칼라 영상으로 하는 경우에는 칼라 정보를 유지하기 때문에 영상의 색재현성은 보장되지만 모노 영상의 디테일 정보가 영역 별로 손실될 염려가 있다. 기준이 되는 영상을 모노 영상으로 하는 경우에는 모노 수준의 SNR 향상은 보장되지만 모노 시점의 색상 정보를 새로 생성해야 하므로 오클루전 영역의 색상 재현이 어렵다는 단점이 있다. 이와 같이 칼라 영상을 기준으로 하는 것이나 모노 영상을 기준으로 하는 것이나 모두 장단점이 있다.

따라서 일 실시예에 따른 영상 합성부(150)는 칼라 영상을 기준으로 한 영상 합성의 장점과 모노 영상을 기준으로 한 영상 합성의 장점을 모두 얻을 수 있도록 투 트랙 (two track)합성 기법을 이용할 수 있다. 즉, 영상 합성부(150)는 칼라 영상으로 기준으로 할지 모노 영상을 기준으로 할지 미리 결정해 놓지 않고, 두 가지 방식 중 어느 방식으로 할지를 시차 정보를 이용하여 결정할 수 있다. 도 10 및 도 11을 참조하여 영상 합성부(150)가, 컬러 영상과 모노 영상 합성시 기준이 되는 영상을 결정하는 동작을 설명하기로 한다.

<도 10, 도11>

도 10은 및 도 11은 일 실시예에 따른 영상 합성부의 동작방법을 나타내는 흐름도이다.

도 10을 참조하면, 단계 S410에서 제1 영상 및 매핑된 제2 영상의 시차 정보를 획득한다. 시차 정보는 디스패리티(disparity), 오클루젼(occlusion) 내지 단안단서(monocular cues) 정보 중 적어도 하나일 수 있다.

일 실시예에 따를 때 제1 카메라 모듈은 칼라 카메라 모듈이고, 제2 카메라 모듈은 모노 카메라 모듈일 수 있다.

단계 S420에서 시차 정보를 이용하여 칼라 영상 기준 내지 모노 영상 기준의 합성 여부를 결정한다. 동일한 이미지 센서에 대해서, 칼라 영상은 모노 영상과 비교하여 칼라 정보를 얻을 수 있는 효과가 있으며, 모노 영상은 칼라 영상과 비교하여 더 많은 광량을 흡수하므로 보다 향상된 디테일 정보를 얻을 수 있는 효과가 있다.

칼라 영상 기준으로 제3 영상을 합성하는 경우, 칼라 정보를 그대로 유지할 수 있기 때문에 칼라 영상에서의 색재현성이 보장되며 이와 함께 모노 영상의 향상된 디테일 정보를 얻을 수 있다. 한편, 모노 영상 기준으로 제3 영상을 합성하는 경우, 모노 영상의 디테일 정보를 그대로 유지할 수 있기 때문에 모노 영상에서의 해상도 및 SNR(Signal to Noise Ratio)이 보장되며 이와 함께 칼라 영상의 색상 정보를 이용할 수 있는 효과가 있다.

단계 S430에서 단계 S420에서 결정된 영상을 기준으로 하여 제3 영상을 획득한다.

도 11은 일 실시예에 따른 시차 정보 값의 크기에 따른 영상 합성부의 구체적인 동작방법을 나타내는 흐름도이다.

단계 S510에서 제1 영상 및 매핑된 제2 영상의 시차 정보를 획득한다.

일 실시예에 따를 때, 단계 S520에서 시차 정보를 소정의 임계값과 비교하여, 시차 정보가 소정의 임계값보다 큰 경우 단계 S530에서 칼라 영상 기준으로 제3 영상을 합성하고, 시차 정보가 소정의 임계값보다 작은 경우 단계 S540에서 모노 영상 기준으로 제3 영상을 합성한다. 색상 정보는 칼라 영상에서만 획득될 수 있고, 디테일 정보는 칼라 및 모노 영상 모두에서 획득될 수 있기 때문에, 시차 정보가 소정의 임계값보다 큰 경우에는 보다 안정적인 색재현성을 위해 칼라 영상 기준으로 제3 영상을 합성할 수 있다.

단계 S550에서 단계 S530 및 S540에서 결정된 영상을 기준으로 하여 제3 영상을 획득한다.

<도 12, 도 13>

도 12는 일 실시예에 따른 영상 합성부에서 시차 정보를 얻기 위해 디스패리티(disparity)를 이용하는 방법을 설명하기 위해 참조되는 도면이고, 도 13은 다른 실시예에 따른 영상 합성부에서 시차 정보를 얻기 위해 오클루젼(occlusion)을 이용하는 방법을 설명하기 위해 참조되는 도면이다.

도 12를 참조하면, 제1 영상(610)은 제1 카메라 모듈로부터 획득한 영상이고 매핑된 제2 영상(620)은 제1 영상에 제2 카메라 모듈로부터 획득한 제2 영상을 매핑한 영상이다. 제1 카메라 모듈 및 제2 카메라 모듈이 동일한 광학적 특성을 가지더라도, 제1 카메라 모듈 및 제2 카메라 모듈의 위치 차이로 인해 제1 영상(610) 및 매핑된 제2 영상(620) 내에서의 피사체의 위치는 달라지게 된다. 일 실시예에 따를 때, xl을 좌시점 영상에서의 피사체(630)의 위치, xr을 우시점 영상에서의 동일한 피사체(630)의 위치라고 할 경우, 시차 정보는 이 두 값들의 차이를 구하고 가중치를 부가하여 얻을 수 있다.

도 13을 참조하면, 제1 영상(710)은 제1 카메라 모듈로부터 획득한 영상이고 매핑된 제2 영상(720)은 제1 영상에 제2 카메라 모듈로부터 획득한 제2 영상을 매핑한 영상이다. 다중 카메라 시스템은 제1 카메라 모듈 및 제2 카메라 모듈을 포함할 수 있으며, 이 경우 제1 카메라 모듈 및 제2 카메라 모듈은 소정 거리만큼 이격되어 배치될 수 있다. 제1 카메라 모듈 및 제2 카메라 모듈이 동일한 피사체 A, B를 촬영할 경우, 제1 영상(710)에는 제2 카메라 모듈에서 획득한 제2 영상(720)과 달리 피사체 B에서 일부 포함되지 않은 오클루젼 영역이 발생할 수 있다. 일 실시예에 따를 때, aL을 좌시점 영상에서의 피사체 A의 위치, aR을 우시점 영상에서의 동일한 피사체 A의 위치, bL을 좌시점 영상에서의 피사체 B의 위치, bR을 우시점 영상에서의 동일한 피사체 B의 위치라고 할 경우, 시차 정보는 각각 aL와 aR, bL과 bR의 차이를 구하여 가중치를 부가하여 얻을 수 있다.

<도 14, 도 15>

도 14는 일 실시예에 따른 모노 영상을 기준으로 제3 영상을 합성하는 방법을 설명하기 위해 참조되는 도면이고, 도 15는 다른 실시예에 따른 칼라 영상을 기준으로 제3 영상을 합성하는 방법을 설명하기 위해 참조되는 도면이다.

도 14를 참조하면, 일 실시예에 따를 때, 제1 영상 및 매핑된 제2 영상 간의 시점 차이가 소정의 임계값 이하일 경우 모노 카메라 모듈에서 얻은 영상을 기준으로 제3 영상을 합성할 수 있다. 이 경우 제3 영상의 Y값은 모노 카메라 모듈에서 얻은 Y값을 이용하고, Cb, Cr값은 각각 칼라 카메라 모듈에서 얻은 Cb, Cr값에 모노 카메라 모듈 및 칼라 카메라 모듈 간 시점 차이에 대해 보상한 값을 이용할 수 있다.

도 15를 참조하면, 다른 실시예에 따를 때, 제1 영상 및 매핑된 제2 영상 간의 시점 차이가 소정의 임계값 이상일 경우 칼라 카메라 모듈에서 얻은 영상을 기준으로 제3 영상을 합성할 수 있다. 이 경우 제3 영상의 Y값은 모노 카메라 모듈에서 얻은 Y값에 모노 카메라 모듈 및 칼라 카메라 모듈 간 시점 차이에 대해 보상한 값을 이용하고, Cr, Cr값은 칼라 카메라 모듈에서 얻은 Cb, Cr값을 이용할 수 있다.

<도 16>

도 16은 일 실시예에 따른 촬영 장치의 동작방법을 나타내는 흐름도이다.

단계 S610에서 제1 카메라 모듈로부터 피사체를 촬영한 제1 영상을 획득한다.

단계 S620에서 제2 카메라 모듈로부터 동일한 피사체를 촬영한 제2 영상을 획득한다.

제1 카메라 모듈에 포함되는 이미지 센서는 픽셀 형태가 사각형으로만 구성된 제1 픽셀 구조를 가지고, 상기 제2 카메라 모듈에 포함되는 이미지 센서는 상기 제1 픽셀 구조와 다른 제2 픽셀 구조를 가질 수 있다.

단계 S630에서 제1 카메라 모듈로부터 획득한 제1 영상에 제2 카메라 모듈로부터 획득한 제2 영상을 매핑할 수 있다. 매핑하는 과정에 대해서는 도 5에서 이미 설명하였으므로 중복하여 설명하지 않기로 한다.

단계 S640에서 제1 영상과 매핑된 제2 영상을 이용하여 제3 영상을 합성할 수 있다. 합성하는 과정에 대해서는 도 6에서 이미 설명하였으므로 중복하여 설명하지 않기로 한다.

일 실시예에 따른 영상 표시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

110 : 제1 카메라 모듈
120 : 제2 카메라 모듈
130 : 제어부
140 : 영상 매핑부
150 : 영상 합성부

Claims

동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈;
상기 제1 카메라 모듈로부터 획득한 상기 피사체에 대한 제1 영상에 상기 제2 카메라 모듈로부터 획득한 상기 피사체에 대한 제2 영상을 매핑하고, 상제 제1 영상과 상기 매핑된 제2 영상을 이용하여 상기 피사체에 대한 제3 영상을 합성하는 제어부를 포함하고,
상기 제1 카메라 모듈에 포함되는 이미지 센서는 픽셀 형태가 사각형으로 구성된 제1 픽셀 구조를 가지고, 상기 제2 카메라 모듈에 포함되는 이미지 센서는 상기 제1 픽셀 구조와 다른 제2 픽셀 구조를 가지는, 촬영 장치.
제1항에 있어서,
상기 제1 카메라 모듈과 상기 제2 카메라 모듈 중 하나는 칼라 카메라 모듈이고, 다른 하나는 모노 카메라 모듈인, 촬영 장치.
제1항에 있어서,
상기 제2 픽셀 구조에 포함되는 복수의 픽셀 구조 중 제1 영역 및 제2 영역은 크기 및 모양 중 적어도 하나가 다른, 촬영 장치.
제2항에 있어서,
상기 제어부는,
상기 제1 영상과 상기 매핑된 제2 영상의 시차 정보를 기초로, 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 할지 상기 모노 카메라 모듈로부터 획득한 영상으로 할 지 결정하는, 촬영 장치.
제4항에 있어서,
상기 제어부는,
상기 시차 정보가 임계값보다 큰 지를 판단하고,
상기 시차 정보가 상기 임계값보다 크면 상기 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 결정하고,
상기 시차 정보가 상기 임계값보다 크지 않으면, 상기 영상 합성시 기준이 되는 영상을 상기 모노 카메라 모듈로부터 획득한 영상으로 결정하는, 촬영 장치.
제4항에 있어서,
상기 시차 정보는 상기 제1 영상과 상기 매핑된 제2 영상의 디스패리티 내지 오클루젼 정보 중 적어도 하나를 포함하는, 촬영 장치.
제1 카메라 모듈로부터 피사체를 촬영한 제1 영상 및 제2 카메라 모듈로부터 상기 피사체를 촬영한 제2 영상을 획득하는 단계;
상기 피사체에 대한 상기 제1 영상에 상기 피사체에 대한 상기 제2 영상을 매핑하는 단계; 및
상기 제1 영상과 상기 매핑된 제2 영상을 이용하여 상기 피사체에 대한 제3 영상을 합성하는 단계;를 포함하고,
상기 제1 카메라 모듈에 포함되는 이미지 센서는 픽셀 형태가 사각형으로 구성된 제1 픽셀 구조를 가지고, 상기 제2 카메라 모듈에 포함되는 이미지 센서는 상기 제1 픽셀 구조와 다른 제2 픽셀 구조를 가지는, 촬영 장치의 동작방법.
제7항에 있어서,
상기 제1 카메라 모듈과 상기 제2 카메라 모듈 중 하나는 칼라 카메라 모듈이고, 다른 하나는 모노 카메라 모듈인, 촬영 장치의 동작방법.
제7항에 있어서,
상기 제2 픽셀 구조에 포함되는 복수의 픽셀 구조 중 제1 영역 및 제2 영역은 크기 및 모양 중 적어도 하나가 다른, 촬영 장치의 동작방법.
제8항에 있어서,
상기 피사체에 대한 제3 영상을 합성하는 단계는,
상기 제1 영상과 상기 매핑된 제2 영상의 시차 정보를 기초로, 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 할지 상기 모노 카메라 모듈로부터 획득한 영상으로 할지 결정하는 단계를 포함하는, 촬영 장치의 동작방법.
제10항에 있어서,
상기 피사체에 대한 제3 영상을 합성하는 단계는,
상기 시차 정보가 임계값보다 큰 지를 판단하고,
상기 시차 정보가 상기 임계값보다 크면 상기 영상 합성시 기준이 되는 영상을 상기 칼라 카메라 모듈로부터 획득한 영상으로 결정하고,
상기 시차 정보가 상기 임계값보다 크지 않으면, 상기 영상 합성시 기준이 되는 영상을 상기 모노 카메라 모듈로부터 획득한 영상으로 결정하는 단계를 더 포함하는, 촬영 장치의 동작방법.
제10항에 있어서,
상기 시차 정보는 상기 제1 영상과 상기 매핑된 제2 영상의 디스패리티 내지 오클루젼 정보 중 적어도 하나를 포함하는, 촬영 장치의 동작방법.
제7항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.