KR20160123757A

KR20160123757A - 이미지 촬영 장치 및 이미지 촬영 방법

Info

Publication number: KR20160123757A
Application number: KR1020150054325A
Authority: KR
Inventors: 김재곤
Original assignee: 삼성전자주식회사
Priority date: 2015-04-17
Filing date: 2015-04-17
Publication date: 2016-10-26
Also published as: WO2016167436A1; US20180249073A1

Abstract

이미지 촬영 방법이 개시된다. 본 이미지 촬영 장치 방법은 위상차 이미지 센서를 이용하여 제 1 시점(view point)에서 피사체에 대한 복수의 제 1 뷰 프레임을 획득하는 단계, 위상차 이미지 센서를 이용하여 제 1 시점과 다른 제 2 시점에서 피사체에 대한 복수의 제 2 뷰 프레임을 획득하는 단계, 복수의 제 1 뷰 프레임 각각과 복수의 제 2 뷰 프레임 각각을 비교하여 제 2 시점의 이동 정보를 산출하는 단계 및 산출된 이동 정보를 이용하여 라이트 필드(Light Field) 영상을 생성하는 단계를 포함한다.

Description

이미지 촬영 장치 및 이미지 촬영 방법{IMAGE PHOTOGRAPHIG APPARATUS AND IMAGE PHOTOGRAPHING METHEOD}

본 발명은 이미지 촬영 장치 및 이미지 촬영 장치의 이미지 촬영 방법에 관한 것으로, 보다 상세하게는, 라이트 필드(Light Field) 영상을 생성할 수 있는 이미지 촬영 장치 및 이미지 촬영 장치의 이미지 촬영 방법에 관한 것이다.

싱글 카메라를 기반으로 2 차원 영상을 통해 3 차원 영상을 생성하는 기술 중에 SfM(Structure-from Motion)이라는 기술이 있다. SfM 기술은 모션을 포함하고 있는 여러 장의 2차원 영상을 기반으로 3 차원 영상을 추정하는 기술이다. 이 기술은 영상 내 일부 특징점을 기준으로 각 영상 간의 특징점 매칭을 통해 3 차원 영상을 생성한다.

그러나, SfM 기술을 통해 정교한 3 차원 영상을 만들기 위해서는 수많은 입력과 반복 연산이 필요하다. 이로 인해 실시간으로 3 차원 영상을 생성하기에는 매우 무리가 있으며, 특히, 특징점 기반으로 3 차원을 추정하기 때문에 특징점이 잘 안 나타나는 영상에서는 3 차원 영상을 생성하기 어렵다.

한편, 최근에는 3 차원 디스플레이 기술 중에 라이트 필드(Light Field) 디스플레이가 주목받고 있다. 라이트 필드는 3 차원 공간상의 모든 점에서 모든 방향으로 빛이 얼마만큼의 세기를 가지는 지를 표현하는 일종의 장(Field)을 말하는데, 라이트 필드 3 차원 영상을 생성하기 위해서는 피사체에 대한 컬러를 포함하는 다시점 2 차원 영상, 각 시점의 3 차원 공간상에서의 위치, 관측 시간 등의 라이트 필드 정보가 필요하다.

일반적인 2 차원 카메라는 물체의 한 점으로부터 나오는 빛들이 렌즈를 통과 후 이미지 센서의 한 점에 모여서 적분되는 방식으로 물체를 촬영하므로, 개별적인 빛들의 세기 및 방향에 대한 정보를 잃게 되어 라이트 필드 정보를 획득하는데 어려움이 있다.

이에 따라, 다수의 카메라를 시야각이 겹치도록 배열하여 고해상도의 라이트 필드 정보를 획득하거나 마이크로 렌즈 어레이를 이미지 센서 앞에 위치시켜 방향별로 분리된 빛에 관한 정보를 획득하는 방식이 개발되고 있다.

그러나, 카메라 배열 방식의 경우 비싼 시스템 구축 비용과 카메라 자체 부피로 인해 그 응용에 한계가 있으며, 마이크로 렌즈 어레이를 이용하는 방식 역시 빛이 분산되어 영상의 해상도가 낮아지고, 카메라 조리개 폭에 따라 획득 가능한 라이트 필드 정보가 제약되는 단점이 있다.

이에 따라, 특징점 획득이 어려운 경우에도 2 차원 영상을 기반으로 고해상도의 라이트 필드 영상을 생성할 수 있는 기술에 대한 필요성이 대두 된다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 위상차 이미지 센서를 이용하여 라이트 필드 영상을 생성하는 이미지 촬영 장치 및 이미지 촬영 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 촬영 방법은 위상차 이미지 센서를 이용하여 제 1 시점(view point)에서 피사체에 대한 복수의 제 1 뷰 프레임을 획득하는 단계, 상기 위상차 이미지 센서를 이용하여 상기 제 1 시점과 다른 제 2 시점에서 상기 피사체에 대한 복수의 제 2 뷰 프레임을 획득하는 단계, 상기 복수의 제 1 뷰 프레임 각각과 상기 복수의 제 2 뷰 프레임 각각을 비교하여 상기 제 2 시점의 이동 정보를 산출하는 단계 및 상기 산출된 이동 정보를 이용하여 라이트 필드(Light Field) 영상을 생성하는 단계를 포함한다.

또한, 상기 위상차 이미지 센서는, 전화소 위상차 이미지 센서이며, 상기 이동 정보를 산출하는 단계는, 상기 복수의 제 1 및 제 2 뷰 프레임 각각을 차영상 연산하여 상기 이동 정보를 산출할 수 있다.

또한, 상기 제 1 시점 및 상기 제 2 시점은, OIS(Optical Image Stabilizer), 사용자의 손떨림 및 사용자의 조작 중 적어도 하나에 의해 상이해질 수 있다.

또한, 상기 위상차 이미지 센서는, 기설정된 간격의 시차를 갖는 좌우 방향으로 배열된 위상차 픽셀을 포함하며, 상기 복수의 제 1 뷰 프레임은, 상기 제 1 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 좌측 및 우측 뷰 프레임이고, 상기 복수의 제 2 뷰 프레임은, 상기 제 1 시점으로부터 좌우 방향으로 상기 기설정된 간격만큼 이동된 상기 제 2 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 좌측 및 우측 뷰 프레임일 수 있다.

상기 라이트 필드 영상을 생성하는 단계는, 상기 제 2 시점이 상기 제 1 시점에서 우측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 우측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고, 상기 제 2 시점이 상기 제 1 시점에서 좌측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 좌측 뷰 프레임을 포함할 수 있다.

또한, 상기 위상차 이미지 센서는, 기설정된 간격의 시차를 갖는 상하 방향으로 배열된 위상차 픽셀을 포함하며, 상기 복수의 제 1 뷰 프레임은, 상기 제 1 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 상측 및 하측 뷰 프레임이고, 상기 복수의 제 2 뷰 프레임은, 상기 제 1 시점으로부터 상하 방향으로 상기 기설정된 간격만큼 이동된 상기 제 2 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 상측 및 하측 뷰 프레임일 수 있다.

또한, 상기 라이트 필드 영상을 생성하는 단계는, 상기 제 2 시점이 상기 제 1 시점에서 상측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 상측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고, 상기 제 2 시점이 상기 제 1 시점에서 하측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 하측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성할 수 있다.

또한, 상기 이동 정보를 산출하는 단계는, 상기 복수의 제 1 및 제 2 뷰 프레임의 위치를 정합시키는 단계 및 상기 정합된 위치의 상기 복수의 제 1 및 제 2 뷰 프레임 각각을 비교하여 상기 이동 정보를 산출하는 단계를 포함할 수 있다.

또한, 상기 이동 정보를 산출하는 단계는, 상기 복수의 제 1 뷰 프레임과 상기 복수의 제 2 뷰 프레임의 유사도를 판단하는 단계를 포함하고, 상기 라이트 필드 영상을 생성하는 단계는, 상기 판단된 유사도가 기설정된 값 미만이면, 상기 복수의 제 1 및 제 2 뷰 프레임을 상기 라이트 필드 영상에서 제외할 수 있다.

또한, 상기 이동 정보는, 상기 제 1 시점에 대한 상기 제 2 시점의 이동 방향 정보, 시점 이동 거리 정보 및 시점 이동 속도 정보 중 적어도 하나를 포함할 수 있다.

한편, 본 발명의 다른 실시 예에 따른 이미지 촬영 장치는 위상차 이미지 센서를 이용하여 피사체에 대한 복수의 뷰 프레임을 획득하는 촬영부, 상기 촬영부를 통해 촬영된 상기 복수의 뷰 프레임을 이용하여 라이트 필드(Light Field) 영상을 생성하는 이미지 처리부 및 상기 촬영부를 통해 제 1 시점(view point)에서의 상기 피사체에 대한 복수의 제 1 뷰 프레임 및 상기 제 1 시점과 다른 제 2 시점에서의 상기 피사체에 대한 복수의 제 2 뷰 프레임이 획득되면, 상기 복수의 제 1 뷰 프레임 각각과 상기 복수의 제 2 뷰 프레임 각각을 비교하여 상기 제 2 시점의 이동 정보를 산출하고, 상기 산출된 이동 정보를 이용하여 라이트 필드(Light Field) 영상을 생성하도록 상기 이미지 처리부를 제어하는 제어부를 포함한다.

또한, 상기 위상차 이미지 센서는, 전화소 위상차 이미지 센서이며, 상기 제어부는, 상기 복수의 제 1 및 제 2 뷰 프레임 각각을 차영상 연산하여 상기 이동 정보를 산출할 수 있다.

또한, 상기 제어부는, 상기 제 2 시점이 상기 제 1 시점에서 우측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 우측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고, 상기 제 2 시점이 상기 제 1 시점에서 좌측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 좌측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하도록 상기 이미지 처리부를 제어할 수 있다.

또한, 상기 제어부는, 상기 제 2 시점이 상기 제 1 시점에서 상측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 상측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고, 상기 제 2 시점이 상기 제 1 시점에서 하측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 하측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하도록 상기 이미지 처리부를 제어할 수 있다.

또한, 상기 제어부는, 상기 복수의 제 1 및 제 2 뷰 프레임의 위치를 정합시켜 상기 정합된 위치의 상기 복수의 제 1 및 제 2 뷰 프레임 각각을 비교하여 상기 이동 정보를 산출할 수 있다.

또한, 상기 제어부는, 상기 복수의 제 1 뷰 프레임과 상기 복수의 제 2 뷰 프레임의 유사도를 판단하고, 상기 판단된 유사도가 기설정된 값 미만이면, 상기 복수의 제 1 및 제 2 뷰 프레임을 제외하고 상기 라이트 필드 영상을 생성하도록 상기 이미지 처리부를 제어할 수 있다.

또한, 상기 이동 정보는, 또한, 상기 이동 정보는, 상기 제 1 시점에 대한 상기 제 2 시점의 이동 방향 정보, 시점 이동 거리 정보 및 시점 이동 속도 정보 중 적어도 하나를 포함할 수 있다.

이상과 같은 본 발명의 다양한 실시 예들에 따르면, 특징점 획득이 어려운 경우에도 2 차원 영상을 기반으로 고해상도의 라이트 필드 영상을 생성할 수 있다. 또한, 위상차 이미지 센서가 갖는 고유 시차(intrinsic baseline)의 확장이 가능하여 장거리 뎁스 맵의 획득이 가능해진다.

도 1은 본 발명의 일 실시 예에 따른 이미지 촬영 장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 다양한 실시 예에 따른 위상차 이미지 센서의 구성을 나타내는 모식도이다.
도 3은 본 발명의 위상차 이미지 센서를 이용하여 획득된 피사체에 대한 복수의 뷰 프레임을 나타내는 예시도이다.
도 4는 복수의 제 1 및 제 2 뷰 프레임을 비교하여 이동 정보를 산출하는 과정을 나타내는 예시도이다.
도 5는 본 발명의 다른 일 실시 예에 따른 이미치 촬영 장치의 구성을 나타내는 블럭도이다.
도 6은 본 발명의 다양한 실시 예에 따른 위상차 이미지 센서의 구성 및 이를 이용하여 획득되는 피사체에 대한 복수의 뷰 프레임을 나타내는 예시도이다.
도 7은 본 발명의 다양한 실시 예에 따라 획득되는 라이트 필드 영상을 나타내는 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 이미지 촬영 방법을 나타내는 흐름도이다.

이하에서 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

도 1은 본 발명의 일 실시 예에 따른 이미지 촬영 장치의 구성을 나타내는 블럭도이다. 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치(100)는 다양한 전자 장치로 구현될 수 있다. 예를 들어, 디지털 카메라, MP3 플레이어, PMP, 스마트폰, 셀룰러폰, 스마트 안경, 태블릿 PC, 스마트 워치 중 어느 하나로 구현 가능하다.

도 1에 따르면, 이미지 촬영 장치(100)는 촬영부(110), 제어부(120) 및 이미지 처리부(130)를 포함한다.

촬영부(110)는 피사체를 촬영하는 구성이다. 촬영부(110)는 렌즈, 셔터, 조리개, 이미지 센서, AFE(Analog Front End), TG(Timing Generator)를 포함할 수 있다.

렌즈(미도시)는, 피사체에 반사된 광이 입사하는 구성으로, 줌 렌즈 및 포커스 렌즈 중 적어도 하나의 렌즈를 포함할 수 있다.

셔터(미도시)는 빛이 이미지 촬영 장치(100)로 들어오는 시간을 조절한다. 셔터 스피드에 따라 이미지 센서의 노광된 픽셀에 축적되는 광량이 결정된다.

조리개(미도시)는 렌즈를 통과하여 이미지 촬영 장치(100) 내부로 입사되는 광의 양을 조절하는 구성이다. 조리개는 입사되는 광량을 조정할 수 있도록 개구부의 크기를 점진적으로 증가 또는 감소시킬 수 있는 기계적인 구조를 갖는다. 조리개는 F 수치로 불리는 조리개 수치로 개방 정도를 표시하며, 조리개 값이작을수록 개방 크기가 넓어지므로, 입사광의 양이 많아져 밝은 이미지를 생성할 수 있다.

이미지 센서(미도시)는 렌즈를 통과한 피사체의 상이 결상되는 구성이다. 이미지 센서는 매트릭스 형태로 배치된 복수의 픽셀을 포함한다. 복수의 픽셀 각각은 입사광에 따른 광전하를 축적하고, 광전하에 의한 상을 전기 신호로 출력한다. 이미지 센서는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS) 또는 전하결합소자(Charge Coupled Device: CCD)로 구성될 수 있다.

이미지 센서는 포토 다이오드(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 플로우팅 확산 노드(FD)를 포함할 수 있다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성하여 축적한다. 전송 트랜지스터(TX)는 전송신호에 응답하여 포토 다이오드(PD)에 생성된 광전화를 플로우팅 확산 노드(FD)로전송한다. 리셋 트랜지스터는 리셋 신호에 응답하여 플로우팅 확산 노드(FD)에 저장된 전하를 배출한다. 리셋 신호가 인가되기 전에 플로우팅 확산 노드(FD)에 저장된 전하가 출력되는데, CDS 이미지 센서의 경우 CDS(Correlated Double Sampling)처리를 수행한다. 그리고, ADC가 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환한다.

특히, 촬영부(110)의 이미지 센서는 위상차 이미지 픽셀을 포함할 수 있다. 도 2는 본 발명의 다양한 실시 예에 따른 위상차 이미지 센서를 구성하는 위상차 이미지 픽셀(111, 112)의 구성을 나타내는 모식도이다. 구체적으로, 도 2의 (a)는 R, G, G, B 각 서브 픽셀이 좌우 방향으로 배열된 위상차 이미지 픽셀(111)인 경우의 실시 예를 나타내고, 도 2의 (b)는 R, G, G, B 각 서브 픽셀이 상하 방향으로 배열된 위상차 이미지 픽셀(112)인 경우의 실시 예를 나타낸다.

도 2의 (a)와 같이 좌우 방향으로 위상차 이미지 픽셀이 배열된 경우에는 입사된 빛이 좌우 방향으로 서로 다른 위상을 갖는 두 신호로 획득되며, 도 2의 (b)와 같이 상하 방향으로 위상차 이미지 픽셀이 배열된 경우에는 입사된 빛이 상하 방향으로 서로 다른 위상을 갖는 두 신호로 획득될 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 촬영부(110)의 이미지 센서는 전화소가 위상차 이미지 픽셀로 구성된 위상차 이미지 센서일 수 있다. 이 경우, 특정 순간에 특정 시점에서 피사체를 촬영하더라도 서로 다른 시점을 갖는 두 개의 장면이 획득될 수 있다. 즉, 특정 순간에, 일반 이미지 센서를 이용하여 피사체를 촬영하는 경우에는 하나의 시점을 갖는 하나의 뷰 프레임이 획득되지만, 위상차 이미지 센서(111, 112)를 이용하여 피사체를 촬영하는 경우에는 서로 다른 시점을 갖는 복수 개의 뷰 프레임이 획득될 수 있다. 이때, 획득되는 복수의 뷰 프레임 간의 시점 차이는 위상차 이미지 센서가 가지는 고유의 시차(intrinsic baseline)를 의미한다.

전화소 위상차 이미지 센서를 이용하여 획득된 뷰 프레임의 예가 도 3에 도시되어 있다. 도 3의 (a)의 예를 보면, 위상차 이미지 센서를 구성하는 전화소가 좌우 방향으로 배열된 위상차 이미지 픽셀(111)을 포함하므로, 이미지 촬영 장치(300-1)를 이용하여 특정 시점(또는 특정 위치)에서 피사체를 촬영하는 경우, 좌우 방향으로 서로 다른 시점 즉, 고유의 시차(intrinsic baseline)를 갖는 좌측 뷰 프레임(310-1) 및 우측 뷰 프레임(310-2)이 획득된다. 이와 마찬가지로, 도 3의 (b)의 경우, 위상차 이미지 센서를 구성하는 전화소가 상하 방향으로 배열된 위상차 이미지 픽셀(112)을 포함하므로, 이미지 촬영 장치(300-2)을 이용하여 특정 시점(또는 특정 위치)에서 피사체를 촬영하는 경우, 상하 방향으로 서로 다른 시점 즉, 고유의 시차(intrinsic baseline)를 갖는 상측 뷰 프레임(320-1) 및 하측 뷰 프레임(320-2)이 획득될 수 있다. 이와 같이, 전화소 위상차 이미지 센서를 이용하는 경우, 동시에 2개의 시점을 갖는 뷰 프레임을 획득할 수 있다.

한편, 본 발명의 다양한 실시 예들에 따르면, 후술할 바와 같이, 획득된 뷰 프레임들의 위치 정보를 산출하기 위해, 특정 시점에서의 복수의 뷰 프레임과 상기 특정 시점에서 위치가 이동된 다른 시점에서의 복수의 뷰 프레임이 필요한데, 이때, 한 시점에서 다른 시점으로의 이동은 사용자의 손떨림과 같은 미세한 동작이 이용될 수 있으므로, 이미지 센서는 초당 획득할 수 있는 프레임 수를 의미하는 FPS(Frame Per Second)값이 큰 이미지 센서가 이용될 수 있다. 예를 들어, 이미지 센서는 FPS가 240 이상일 수 있으나, 이에 한정되는 것은 아니다.

TG(Timing Generator)는, 이미지 센서의 픽셀 데이터를 리드아웃(readout)하기 위한 타이밍 신호를 출력한다. TG는 제어부(120)에 의해 제어된다.

AFE(Analog Front End)는, 이미지 센서로부터 출력된 피사체 상의 전기 신호를 샘플링하여 디지털화한다. AFE(Analog Front End)는, 제어부(120)에 의해 제어된다. 다만, 상기 AFE와 TG는 대체될 수 있는 다른 구성으로 설계될 수도 있다. 특히, 이미지 센서가 CMOS 형으로 구현되는 경우, 이러한 구성이 불필요할 수 있다.

제어부(120)는 이미지 촬영 장치(100)의 동작 전반을 제어한다. 특히, 제어부(120)는 피사체에 대한 복수의 뷰 프레임을 획득하고, 획득된 복수의 뷰 프레임을 바탕으로 라이트 필드 영상을 생성하도록 이미지 처리부(130)를 제어할 수 있다.

구체적으로, 제어부(120)는 촬영부(110)를 제어하여 제 1 시점(view point)에서 피사체를 촬영한 복수의 제 1 뷰 프레임 및 제 1 시점과 다른 제 2 시점에서 동일 피사체를 촬영한 복수의 제 2 뷰 프레임을 획득할 수 있다.

예를 들어, 사용자가 셔터를 눌러 피사체를 촬영하는 동안에도, 사용자의 손떨림 등으로 이미지 촬영 장치(100)의 움직임이 있을 수 있다. 이와 같은 이미지 촬영 장치(100)의 움직임은 피사체에 대한 시점(view point)의 변화를 의미한다. 이때, 전술한 바와 같이, 촬영부(100)에 포함된 이미지 센서는 고속으로 프레임 획득이 가능하므로, 제어부(120)는 사용자의 손떨림에 의해 이미지 촬영 장치(100)가 이동되는 동안에도 피사체에 대한 다수의 뷰 프레임을 획득할 수 있다.

따라서, 제어부(120)는 제 1 시점에서 촬영된 피사체의 뷰 프레임 및 제 1 시점과 다른 제 2 시점에서 촬영된 피사체의 뷰 프레임를 획득할 수 있다. 이때, 전술한 바와 같이 촬영부(110)에 포함된 이미지 센서는 전화소 위상차 이미지 센서이므로, 각 시점에서의 획득되는 뷰 프레임은 고유의 시차(intrinsic baseline)를 갖는 복수의 뷰 프레임이 된다.

한편, 제어부(120)는 획득된 복수의 제 1 뷰 프레임과 복수의 제 2 뷰 프레임을 각각 비교하여 제 1 시점으로부터 제 2 시점이 이동된 이동 정보를 산출할 수 있다. 이때, 산출되는 이동 정보는 제 1 시점에 대한 상기 제 2 시점의 이동 방향 정보, 시점 이동 거리 정보 및 시점 이동 속도 정보 중 적어도 하나를 포함할 수 있다.

이하에서는 도 4를 참조하여 제어부(120)가 획득된 뷰 프레임을 이용하여 이동 정보를 산출하는 과정을 자세히 설명하기로 한다. 도 4에서는 촬영부(110)에 포함된 전화소 위상차 이미지 센서를 구성하는 각 위상차 이미지 픽셀이 좌우 방향으로 배열된 경우를 예로 들어 설명한다.

사용자가 피사체를 촬영할 때 전술한 바와 같이 손떨림이 있을 수도 있고 손떨림이 없을 수도 있다. 따라서, 촬영부(110)를 통해 피사체에 대한 뷰 프레임이 획득되는 동안 시점의 변화가 발생할 수도 있고 발생하지 않을 수도 있다. 도 4a는 획득된 뷰 프레임 간에 시점의 변화가 없는 경우를 나타내고, 도 4b는 우측 방향으로 시점 변화가 발생된 경우를 나타낸다.

예를 들어, 사용자가 셔터를 누르는 등으로 피사체 촬영을 위한 사용자 조작 명령이 입력되면, 제어부(120)는 촬영부(110)에 포함된 위상차 이미지 센서가 갖는 FPS의 속도로 피사체에 대한 뷰 프레임을 연속적으로 획득할 수 있다. 이때, 각 시간에 획득되는 뷰 프레임은 서로 다른 시점(view point)을 갖는 복수의 뷰 프레임이며, 이에 관하여는 전술한 바와 같다.

도 4a에 도시된 바와 같이, 제 1 시간에 Frame #1, 즉, 고유의 시차를 갖는 좌측 뷰 프레임(410-1) 및 우측 뷰 프레임(410-2)이 획득되고, 제 2 시간에 Frame #2, 즉, 고유의 시차를 갖는 좌측 뷰 프레임(420-1) 및 우측 뷰 프레임(420-2)이 획득되면, 제어부(120)는 획득된 복수의 제 1 뷰 프레임(410-1) 각각과 복수의 제 2 뷰 프레임(420-1, 420-2) 각각을 비교할 수 있다.

구체적으로, 제어부(120)는 제 1 시간에 획득된 좌측 뷰 프레임(410-1)과 제 2 시간에 획득된 좌, 우측 뷰 프레임(420-1, 420-2)을 각각 차영상 연산하고, 제 1 시간에 획득된 우측 뷰 프레임(410-2)와 제 2 시간에 획득된 좌, 우측 뷰 프레임(420-1, 420-2)를 각각 차영상 연산할 수 있다. 이때, 이용되는 차영상 연산 기법의 종류에 제한은 없다.

도 4a는 시점 변화가 없는 경우이므로, 제 1 시간에 획득된 좌측 뷰 프레임(410-1)과 제 2 시간에 획득된 좌측 뷰 프레임(420-1)이 동일하고, 제 1 시간에 획득된 우측 뷰 프레임(410-2)과 제 2 시간에 획득된 우측 뷰 프레임(420-2)이 동일하다. 따라서, 차영상 연산 결과, 비교 #1(415-1) 및 비교 #4(415-4)와 같은 결과가 도출된다. 한편, 동일한 시간에 획득된 두 뷰 프레임(410-1과 410-2, 420-1과 420-2) 간에는 고유의 시차가 존재하므로, 비교 #2(415-2) 및 비교 #3(415-3)과 같은 결과가 도출되게 된다.

즉, 촬영부(110)를 통해 획득된 이전 뷰 프레임(Frame #1)과 현재 뷰 프레임 (Frmae #2)간에 시점의 변화가 없는 경우(예를 들어, 이미지 촬영 장치(100)의 이동이 없는 경우)에는 항상 도 4a의 차영상 결과(415-1 내지 415-4)와 같은 결과가 도출되게 된다.

따라서, 제어부(120)는 복수의 이전 뷰 프레임(410-1, 410-2)과 복수의 현재 뷰 프레임(420-1, 420-2)을 각각을 비교한 결과 도 4a의 차영상 결과(415-1 내지 415-4)와 같은 결과가 도출되는 경우, 획득된 이전 뷰 프레임(Frame #1)과 현재 뷰 프레임(Frame #2) 간에는 시점의 변화가 없는 것으로 판단할 수 있다.

한편, 제 2 시간에 Frame #2가 획득되고 나서 다음 뷰 프레임으로, 도 4b의 예에 도시된 바와 같이 제 3 시간에 Frame #3, 즉, 고유의 시차를 갖는 좌측 뷰 프레임(430-1) 및 우측 뷰 프레임(430-2)이 획득될 수 있다. 이에 따라, 제어부(120)는 제 2 시간에 획득된 좌측 뷰 프레임(420-1)과 제 3 시간에 획득된 좌, 우측 뷰 프레임(430-1, 430-2)을 각각 차영상 연산하고, 제 2 시간에 획득된 우측 뷰 프레임(420-2)와 제 2 시간에 획득된 좌, 우측 뷰 프레임(430-1, 430-2)를 각각 차영상 연산할 수 있다.

이 경우, 차영상 연산 결과는 비교 #1(425-1) 내지 비교 #4(425-4)에 도시된 바와 같이 도출될 것임을 예상할 수 있다. 특히, Frame #3은 Frame #2를 기준으로 위상차 이미지 센서가 갖는 고유의 시차만큼 우측으로 이동하였으므로, Frame #2의 우측 뷰 프레임(420-2)과 Frame #3의 좌측 뷰 프레임(430-1)이 동일한 시점의 뷰 프레임이 된다. 따라서, 차영상 연산 결과, 비교 #3(425-3)에 도시된 바와 같이, Frame #2의 우측 뷰 프레임(420-2)과 Frame #3의 좌측 뷰 프레임(430-1)이 가장 변화가 없는 것으로 나타나게 된다.

그러므로, 제어부(120)는 도 4b의 차영상 결과(425-1 내지 425-4)와 같은 결과가 도출되는 경우, 현재 뷰 프레임(Frame #3)이 이전 뷰 프레임(Frame #2)으로부터 우측 방향으로 고유의 시차만큼 이동되어 시점이 변화된 것으로 판단할 수 있다.

만일, 차영상 연산 결과가 비교 #2(425-2)에서 가장 변화가 없는 것으로 나타났다면, 현재 뷰 프레임이 이전 뷰 프레임으로부터 좌측 방향으로 고유의 시차만큼 이동되어 시점이 변화된 것으로 판단할 수 있을 것이다.

위의 과정을 보면, 피사체 촬영 동안 획득된 피사체에 대한 뷰 프레임들을 이용하여 시점의 이동 여부, 이동 방향, 이동 거리 및 이동 속도에 관한 정보를 산출할 수 있음을 알 수 있다. 구체적으로, 도 4a와 같은 경우, 제어부(120)는 시점이 없다고 판단할 수 있고, 도 4b와 같은 경우, 우측 방향으로 시점이 이동했다고 판단할 수 있다.

또한, 촬영부(110)를 통해 획득되는 뷰 프레임은 고유의 시차를 갖는 2개의 뷰 프레임이므로, 제어부(120)는 도 4b와 같은 경우, 고유의 시차와 같은 거리만큼 시점이 이동한 것으로 판단할 수 있다. 또한, 위상차 이미지 센서는 특정 FPS를 가지므로, 제어부(120)는 시점이 이동한 거리를 뷰 프레임이 획득된 시간 간격으로 나누어 이동 속도에 관한 정보를 산출할 수 있다. 제어부(120)는 위와 같은 방식으로 위상차 이미지 센서의 FPS에 따라 촬영부(110)를 통해 연속적으로 획득되는 뷰 프레임을 비교하여 시점의 이동 정보를 산출할 수 있다.

한편, 사용자가 이미지 촬영 장치(100)를 이용하여 피사체를 촬영할 때, 사용자의 손떨림이 반드시 좌우 방향으로 평행하게 발생하지 않을 수 있다. 즉, 도 4b와 같이 이상적으로 시점이 이동하여 뷰 프레임이 획득되는 것이 아니라, 예를 들어, Frame #2와 Frame #3이 일부만 걸치던가 상하 움직임 및 로테이션 등이 발생하여 변화될 수도 있다. 따라서, 제어부(120)는 이와 같은 시점 이동의 오차를 제거하기 위해 촬영부(110)를 통해 획득되는 뷰 프레임의 위치를 정합시키고, 정합된 위치의 뷰 프레임 상호 간을 비교하여 상기 이동 정보를 획득할 수 있다.이를 위해, 제어부(120)는 DIS(Digital Image Stabilizer) 알고리즘을 이용하여 획득되는 뷰 프레임의 위치를 정합시킬 수 있으나, 이에 한정되는 것은 아니다.

또한, 높은 FPS의 위상차 이미지 센서를 사용함으로써, 이전 뷰 프레임과 현재 뷰 프레임 간의 시점 이동의 오차를 최소화할 수 있다. 따라서, 위상차 이미지 센서의 FPS가 높을수록 DIS를 활용할 필요가 적어지고, 뷰 프레임을 정합시키기 위한 시간이 단축되어 짧은 시간에 라이트 필드 영상을 생성할 수 있게 될 것이다.

한편, 이상에서 촬영부(110)를 통해 획득되는 연속적인 뷰 프레임 각각은 위상차 이미지 센서를 이용하여 획득되므로, 고유의 시차를 갖는 복수의 뷰 프레임이 되는 것은 자명하다.

한편, 제어부(120)는 산출된 이동 정보를 이용하여 라이트 필드 영상을 생성하도록 이미지 처리부(130)를 제어할 수 있다. 구체적으로, 제어부(120)는 산출된 이동 정보를 이용하여 라이트 필드 영상을 생성하는데 이용될 뷰 프레임을 선택하고, 선택된 뷰 프레임을 이용하여 라이트 필드 영상을 생성하도록 이미지 처리부(130)를 제어할 수 있다.

제어부(120)는 상기 산출된 이동 정보를 이용하여 촬영부(110)를 통해 연속적으로 획득되는 뷰 프레임 각각의 시점이 그 이전 뷰 프레임의 시점으로부터 어느 방향으로 얼마만큼 이동했는지를 판단할 수 있다. 따라서, 제어부(120)는 촬영부(110)를 통해 연속적으로 획득되는 뷰 프레임들 중에 기준 뷰 프레임을 선택하고, 선택된 기준 뷰 프레임으로부터 위상차 이미지 센서가 갖는 고유의 시차 간격만큼씩 시점이 이동된 뷰 프레임들을 선택할 수 있다. 이때, 기준 뷰 프레임은 라이트 필드 영상을 구성하는 기준 시점에서의 뷰 프레임으로, 사용자의 촬영 명령에 따라 촬영부(110)를 통해 최초로 획득되는 뷰 프레임일 수 있으나, 이에 한정되는 것은 아니다.

이에 따라, 제어부(120)는 상기 선택된 뷰 프레임들 중에서 중복되는 뷰 프레임(동일한 시점의 뷰 프레임) 중 하나를 제외하고 나머지 뷰 프레임들을 라이트 필드 영상을 생성하는데 이용될 뷰 프레임들로 선택할 수 있다.

예를 들어, 도 4의 예에서 Frame #1, #2, #3이 연속적으로 획득되고, Frame #1이 기준 프레임인 경우, Frame #2는 Frame #1의 시점으로부터 고유의 시차만큼 시점이 이동된 뷰 프레임이 아니므로 제외되고, Frame #3은 Frame #1과 동일한 Frame #2로부터 고유의 시차만큼 우측 방향으로 시점이 이동된 뷰 프레임이므로, 선택된다. 이후, 제어부(120)는 선택된 Frame #1 및 Frame #3을 구성하는 뷰 프레임 중에 중복되는 뷰 프레임인 Frame #3의 좌측 뷰 프레임(430-1)을 제외한 나머지 뷰 프레임들(410-1, 410-2, 430-2)을 라이트 필드 영상을 생성하는데 이용될 뷰 프레임들로 선택할 수 있다.

만일, Frame #3이 Frame #2로부터 좌측으로 고유의 시차만큼 시점이 이동된 경우라면, 기준 뷰 프레임(410-1, 410-2) 중 좌측 뷰 프레임(410-1)과 Frame #3의 우측 뷰 프레임(430-2)가 중복될 것이므로, 제어부(120)는 중복되는 뷰 프레임(430-2)를 제외하고, 나머지 뷰 프레임들(410-1, 420-1, 430-1)을 라이트 필드 영상을 생성하는 데 이용될 뷰 프레임들로 선택할 수 있을 것이다.

이에 따라, 제어부(120)는 선택된 라이트 필드 영상을 생성하는 데 이용될 뷰 프레임들을 이용하여 라이트 필드 영상을 생성하도록 이미지 처리부(130)를 제어할 수 있다.

한편, 제어부(120)는 상기 라이트 필드 영상을 생성하는데 이용될 뷰 프레임들과 각 뷰 프레임의 이동 정보를 이용하여 라이트 필드 영상에 대한 뎁스맵을 생성할 수 있다.

뎁스(depth)란 3차원 영상의 뎁스를 나타내는 정보로, 3차원 영상 프레임의 좌측 뷰 프레임과 우측 뷰 프레임 사이의 시차 정도에 대응되는 정보이다. 뎁스에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다.

뎁스맵은 3차원 영상의 각 영역별 뎁스 정보를 포함하고 있는 테이블이다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 이때 뎁스는, 3차원 영상 프레임의 각 영역 또는 픽셀(pixel)에 대한 뎁스일 수 있다. 일 실시 예에서 뎁스맵은 영상 프레임의 각 픽셀에 대한 뎁스를 나타내는 그레이 스케일(grayscale)의 2차원 이미지에 대응될 수 있다.

본 발명에서 이용되는 위상차 이미지 센서가 갖는 고유의 시차(intrinsic baseline)는 매우 짧은 거리이므로 피사체에 대한 정확한 픽셀 정보를 갖는다. 시차가 매우 작은 경우, 획득되는 로우 이미지 데이터는 2차원 이미지 데이터에 가까우므로 피사체에 대한 이미지 데이터의 손실이 거의 없기 때문이다.

특히, 로우 이미지 데이터를 통해 얻어지는 뎁스맵에서 피사체의 경계 영역의 데이터 손실이 적어 뚜렷한 실루엣을 갖는 뎁스 맵 정보를 얻을 수 있다. 또한, 위상차 이미지 센서가 갖는 고유의 시차(intrinsic baseline) 간격으로 시점이 이동된 뷰 프레임들이 획득되므로, 시차(baseline)가 고유의 시차 단위로 확장되어 거리 예측이 용이하며, 전화소에 위상차 이미지 센서가 이용되므로, 뷰 프레임의 모든 픽셀에 대해 3차원 정보를 획득할 수 있어 적은 수의 뷰 프레임으로 고정밀의 뎁스맵을 생성할 수 있다.

한편, 본 발명의 일 실시 예에 따르면 제어부(120)는 촬영부(110)를 통해 연속적으로 획득되는 뷰 프레임 간의 유사도를 판단하고, 이전 뷰 프레임과 현재 뷰 프레임의 유사도가 기설정된 값 미만인 경우, 유사도를 판단한 두 뷰 프레임들을 제외하고 라이트 필드 영상을 생성하도록 이미지 처리부를 제어할 수도 있다. 즉, 비교되는 뷰 프레임 간의 차이가 너무 커서 유사성이 없다고 판단되는 경우, 제어부(120)는 그러한 뷰 프레임들은 제외하고 라이트 필드 영상을 생성하는데 이용되는 뷰 프레임들을 선택할 수 있다. 이 경우, 제어부(120)는 기준 뷰 프레임을 다시 선택할 수 있다.

한편, 제어부(120)는 CPU, 캐쉬 메모리 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함할 수 있다. 시스템 클럭에 따라 이미지 촬영 장치(100)의 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킬 수 있다.

이미지 처리부(130)는 촬영부(110)에 의해 촬영된 로우 이미지 데이터를 처리하여 YCbCr 데이터로 만들 수 있다. 또한, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정할 수 있다. 그 외에도 이미지 처리부(130)는 화이트 밸런스를 조정하고, 감마보정, 색보간, 색보정, 해상도 변환을 수행할 수 있다.

특히, 이미지 처리부(130)는 제어부(120)의 제어를 받아 촬영부(110)를 통해 획득된 뷰 프레임들을 이용하여 라이트 필드 영상을 생성할 수 있다. 구체적으로, 이미지 처리부(130)는 제어부(120)가 선택한 라이트 필드 영상을 생성하는데 이용되는 뷰 프레임들 및 해당 뷰 프레임들의 이동 정보 및 제어부(120)가 산출한 뎁스맵을 이용하여 라이트 필드(Light Field) 영상을 생성할 수 있다. 이때, 라이트 필드 영상의 생성에는 시간적으로 연속 획득되는 뷰 프레임들이 이용되므로, 종래의 마이크로 렌즈 어레이를 이용한 방식과 달리 해상도 저하가 없다.

한편, 도면에는 도시하지 않았지만, 이미지 촬영 장치(100)는 상술한 모든 뷰 프레임의 데이터, 각 뷰 프레임의 시점 이동 정보, 차영상 연산 결과, 뎁스맵 정보 등과 같은 데이터를 저장부(미도시)에 저장하고 필요에 따라 저장부로부터 읽어서 상술한 동작을 수행할 수 있음은 물론이다.

이상에서는 촬영부(110)에 포함된 전화소 위상차 이미지 센서를 구성하는 각 위상차 이미지 픽셀이 좌우 방향으로 배열된 경우를 예로 들어 설명하였으나, 각 위상차 이미지 픽셀이 상하 방향으로 배열된 경우에도 시점의 이동이 좌우 방향이냐 상하 방향이냐가 다를 뿐, 동일한 방식으로 동작할 수 있음은 물론이다.

예를 들어, 위상차 이미지 센서가 고유의 시차를 갖는 상하 방향으로 배열된 위상차 픽셀을 포함하여 구성된 경우, 도 3의 (b)와 같이 상하 방향으로 고유의 시차를 갖는 피사체에 대한 뷰 프레임이 연속적으로 획득되면, 제어부(120)는 획득된 뷰 프레임들 각각을 차영상 연산하여 시점의 이동 정보를 산출하고, 산출된 상기 이동 정보를 이용하여 라이트 필드 영상을 생성하는데 이용되는 뷰 프레임들을 선택하고, 선택된 뷰 프레임들에 대한 뎁스맵을 생성한 후 라이트 필드 영상을 생성하도록 이미지 처리부(130)를 제어할 수 있다.

도 5는 본 발명의 다른 일 실시 예에 따른 이미치 촬영 장치의 구성을 나타내는 블럭도이다. 도 5를 설명함에 있어서, 도 1 내지 4를 통해 설명한 것과 동일한 구성의 중복되는 동작에 관해서는 설명을 생략한다. 특히, 촬영부(510), 제어부(520), 이미지 처리부(530)는 도 1을 통해 설명한 촬영부(110), 제어부(120) 및 이미지 처리부(130)와 대동소이하므로, 이에 관해 중복되는 설명은 생략한다.

도 5에 따르면, 이미지 촬영 장치(500)는 촬영부(510), 제어부(520), 이미지 처리부(530), OIS(Optical Image Stablizer)부(540) 및 디스플레이부(550)를 포함할 수 있다.

OIS는 이미지 촬영 장치의 불안정한 고정이나 파지에 기인한 움직임으로 인한 영상의 흔들림을 보정하는 기술을 의미하는데, OIS부(540)는 이미지 촬영 장치(500)의 흔들림으로 인한 영상의 흔들림을 보정할 수 있다. 이를 위해, OIS부(540)는 흔들림 감지부(미도시) 및 흔들림 보정부(미도시)를 포함할 수 있다.

흔들림 감지부는 이미지 촬영 장치(500)를 이용하여 피사체를 촬영하는 동안 사용자의 손떨림등으로 인한 이미지 촬영 장치(500)의 흔들림을 감지하는 구성이다. 흔들림 감지부는 이미지 촬영 장치(500)의 흔들림이 있으면, 이를 감지하여 흔들림 방향, 거리, 속도 등과 같은 정보를 생성하여 흔들림 보정부로 제공할 수 있다. 흔들림 보정부는 흔들림 감지부에서 제공된 정보를 이용하여 이미지 촬영 장치의 흔들림 방향과 반대되는 방향으로 촬영부(510)에 포함된 이미지 센서를 이동시켜 이미지 촬영 장치(500)의 흔들림을 보정할 수 있다.

특히, 라이트 필드 영상 생성을 위한 촬영 모드에서 사용자의 촬영 조작 명령이 입력되면, OIS부(540)는 제어부(520)의 제어를 받아 촬영부(510)에 포함된 위상차 이미지 센서를 이동시켜 피사체에 대해 연속적으로 획득되는 뷰 프레임의 시점을 이동시킬 수 있다. 즉, 도 1 내지 4에서 전술한 바와 같은 사용자의 손떨림으로 인한 이미지 촬영 장치(500)의 위치 이동이 없더라도, 제어부(520)는 OIS부(540)에 포함된 흔들림 보정부를 제어하여 피사체를 촬영하는 시점을 이동시킬 수 있다.

디스플레이부(550)는 각종 영상 및 GUI(Graphic User Interface)를 디스플레이할 수 있다. 특히, 디스플레이부(550)는 이미지 처리부(530)에서 제공되는 라이트 필드 영상을 디스플레이할 수 있다.

또한, 디스플레이부(550)는 이미지 촬영 장치(500)의 특정 방향 이동 조작을 가이드하는 안내 GUI를 디스플레이할 수 있다. 따라서, 손떨림이나 OIS부(510)를 통한 시점의 이동이 없더라도, 사용자가 피사체를 촬영할 때 상기 안내 GUI에 따라 이미지 촬영 장치(500)의 위치를 이동시키는 조작을 수행함으로써 피사체에 대해 연속적으로 획득되는 뷰 프레임의 시점을 이동시킬 수 있다. 예를 들어, 안내 GUI는 위상차 이미지 센서를 구성하는 위상차 이미지 픽셀의 배열 방향에 따라 "수평 방향으로 카메라를 천천히 이동시키세요" 또는 "수직 방향으로 카메라를 이동시키세요" 등의 텍스트 형식일 수 있으나, 이에 한정되지는 않는다. 가령, 상기 텍스트가 음성으로 출력되는 형태일 수도 있을 것이다.

본 발명의 다양한 실시 예들을 통해 라이트 필드 영상을 생성하기 위해서는 위상차 이미지 센서의 FPS에 따라 연속으로 획득되는 피사체에 대한 뷰 프레임의 시점 이동이 필수적이다. 이와 같은 시점의 이동은 사용자의 손떨림으로 인한 이미지 촬영 장치(100)의 이동을 이용할 수 있고, OIS부(510)를 이용할 수도 있으며, 안내 UI에 따른 사용자의 조작을 이용할 수도 있음을 알 수 있다. 그러나, 이에 한정되지는 않으며, 피사체에 대한 연속적인 뷰 프레임 획득 동안 시점을 변화시킬 수 있는 방법이면 무엇이든 이용될 수 있다.

한편, 상술한 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치(100, 500)는 전술한 구성 외에 통상적인 영상 촬영 및 처리를 위한 전자 장치의 구성을 더 포함할 수 있다. 즉, 포커싱 렌즈를 구동하여 포커스를 맞추기 위한 모터 드라이버, 로우 이미지 데이터. 중간 이미지 데이터, 최종 이미지 데이터를 저장하기 위한 SDRAM, 펌웨어 프로그램, 이미지 촬영 장치(100, 500)의 스펙에 맞는 다양한 조정 정보, 사용자 입력에 의한 이미지 촬영 장치(100, 500)의 설정 정보 등을 저장하기 위한 플래시 메모리, YCbCr 데이터를 압축하기 위한 JPEG 코덱, 이미지 데이터를 송수신하기 위한 통신부, 외부 장치와 유선으로 데이터를 송수신할 수 있는 USB 모듈, HDMI 모듈, MHL 모듈, 기기에 착탈이 가능한 메모리 카드, 문자, 아이콘 등으로 구성된 사용자 인터페이스, 피사체, 이미지 촬영 장치 정보, 라이브 뷰나 촬영 이미지를 디스플레이하는 디스플레이부, 전자 뷰 파인더, 사용자 입력을 수신하기 위한 적어도 하나의 버튼, 터치 스크린, 근접 센서 등을 포함하는 입력부, 전원을 공급하는 전원부, 상기 구성요소들을 수용하는 하우징 등을 포함할 수 있다. 또한, 상기 저장부는, 상술한 동작을 수행하기 위한 운영체제, 어플리케이션, 펌웨어 등을 저장할 수 있다.

이상에서는 촬영부(110, 510)에 포함된 위상차 이미지 센서가 좌우 방향 또는 상하 방향으로 배열된 위상차 이미지 픽셀로 이루어진 경우를 예로 들었다. 그러나, 촬영부(110, 510)에 포함된 위상차 이미지 센서가 이에 한정되는 것은 아니다. 도 6에는 본 발명의 다양한 실시 예에 따른 위상차 이미지 센서의 구성 및 이를 이용하여 획득되는 고유 시차를 갖는 뷰 프레임이 도시되어 있다.

도 6의 (a)는 좌우 방향으로 배열된 위상차 이미지 픽셀(111)로 구성된 위상차 이미지 센서를 포함하는 촬영부와 상하 방향으로 배열된 위상차 이미지 픽셀(112)로 구성된 위상차 이미지 센서를 포함하는 촬영부를 각각 포함하는 이미지촬영 장치(300-3)의 예를 나타낸다. 이 경우, 위상차 이미지 픽셀(111)을 포함하는 촬영부를 통해서는 참조 부호 111-1과 같이 좌우 방향으로 고유의 시차를 갖는 뷰 프레임이 획득되고, 위상차 이미지 픽셀(112)를 포함하는 촬영부를 통해서는 참조 부호 111-2와 같이 상하 방향으로 고유의 시차를 갖는 뷰 프레임이 각각 획득될 수 있다.

도 6의 (b)는 위상차 이미지 픽셀을 구성하는 R, G, G, B 각 서브 픽셀이 4개의 위상차를 갖도록 상하좌우로 배열된 경우를 나타낸다. 이미지 촬영 장치(300-4)의 촬영부에 포함된 위상차 이미지 센서가 참조부호 113과 같은 형태의 위상차 이미지 픽셀(113)들로 구성된 경우, 상하 좌우로 서로 다른 고유의 시차를 갖는 뷰 프레임이 획득되는 것을 볼 수 있다.

도 7은 전술한 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치(100, 500)을 통해 생성되는 라이트 필드 영상을 나타내는 예시도이다. 도 7의 (a)는 피사체에 대한 뷰 프레임 획득시 좌우 방향으로 배열된 위상차 이미지 픽셀(111)로 구성된 위상차 이미지 센서가 이용된 경우, 제어부(120, 520)에 의해 선택된 라이트 필드 영상을 생성하는데 이용되는 뷰 프레임들의 예를 나타낸다. 도시된 바와 같이, 5개의 뷰 프레임이 선택된 경우, 위상차 이미지 센서의 고유 시차(intrinsic baseline)에 비해 시차(baseline)가 5배 확장된 것을 볼 수 있다.

도 7의 (b)는 도 6의 예에 따른 위상차 이미지 센서를 이용하여 획득된 라이트 필드 영상을 생성하는데 이용되는 뷰 프레임들의 예를 나타낸다. 도 6의 예에 따른 위상차 이미지 센서는 좌우 방향뿐만 아니라 상하 방향으로도 고유의 시차를 갖는 뷰 프레임이 획득되므로, 도시된 바와 같이 25개의 뷰 프레임이 선택될 수 있음을 알 수 있다. 이때, 고유의 시차(intrinsic baseline)보다 시차(baseline)가 상하 방향 및 좌우 방향으로 5배 확장된 것을 확인할 수 있다.

제어부(120, 520)는 위와 같이 선택된 뷰 프레임들을 이용하여 3차원 라이트 필드 영상을 생성하도록 이미지 처리부(130)를 제어하고, 생성된 3차원 라이트 필드 영상은 디스플레이부(550)에서 디스플레이될 수 있다.

한편, 이상에서는 제어부(120, 520)가 라이트 필드 영상을 생성하는데 이용되는 뷰 프레임을 선택되고, 그에 따라 이미지 처리부(130)가 선택된 뷰 프레임들을 이용해 3차원 이미지(라이트 필드 영상)를 생성하는 것으로 설명하였으나, 도 7에 도시된 각 뷰 프레임들이 라이트 필드 영상이라 지칭할 수도 있다.

도 8은 본 발명의 일 실시 예에 따른 이미지 촬영 방법을 나타내는 흐름도이다. 도 8을 통해 이미지 촬영 방법을 설명함에 있어서 도 1 내지 7을 통해 설명한 것과 불필요하게 중복되는 내용은 설명을 생략한다.

도 8에 따르면, 이미지 촬영 장치(100, 500)는 위상차 이미지 센서를 이용하여 제 1 시점(view point)에서 피사체에 대한 복수의 제 1 뷰 프레임을 획득하고(S810), 상기 제 1 시점과 다른 제 2 시점에서 상기 피사체에 대한 복수의 제 2 뷰 프레임을 획득할 수 있다(S820).

여기서, 위상차 이미지 센서는 전화소가 위상차 이미지 픽셀로 구성된 전화소 위상차 이미지 센서일 수 있다. 한편, 상기 제 1 및 제 2 뷰 프레임이 복수인 것은 위상차 이미지 센서를 이용하여 피사체를 촬영하는 경우 위상차 이미지 센서가 갖는 고유의 시차로 인해 서로 다른 시점을 갖는 복수 개의 뷰 프레임이 상기 제 1 시점 및 상기 제 2 시점에서 각각 획득될 수 있음을 의미한다. 즉, 위상차 이미지 센서를 이용하여 피사체를 촬영할 때, 이미지 촬영 장치(100) 또는 이미지 센서의 이동(즉, 시점의 이동)이 있는 경우, 위상차 이미지 센서의 FPS(Frame Per Second)에 따라 연속적으로 획득되는 뷰 프레임마다 고유의 위상차를 갖는 복수의 뷰 프레임이 획득됨을 의미한다. 이때, 상기 제 1 시점에서 제 2 시점으로의 이동은 OIS(Optical Image Stabilizer), 사용자의 손떨림 및 사용자의 조작 중 적어도 하나에 의해 이루어질 수 있으나, 이에 한정되지는 않는다.

이에 따라, 이미지 촬영 장치(100, 500)는 획득된 복수의 제 1 뷰 프레임 각각과 복수의 제 2 뷰 프레임 각각을 비교하여 제 1 시점에 대한 제 2 시점의 이동 정보를 산출할 수 있다(S830). 구체적으로, 이미지 촬영 장치(100, 500)는 획득된 이전 뷰 프레임과 현재 뷰 프레임을 구성하는 각각의 뷰 프레임들을 차영상 연산하여 상기 이동 정보를 산출할 수 있다. 이때, 이용될 수 있는 차영상 기법에 제한은 없으며, 이동된 뷰 프레임의 시점이 이전 뷰 프레임의 시점에 비해 어느 방향으로 얼마만큼의 거리를 이동했는지를 알 수 있는 알고리즘이면 어떤 것이든 적용 가능하다. 이때, 산출되는 이동 정보는 상기 복수의 제 1 뷰 프레임에 대한 상기 복수의 제 2 뷰 프레임의 시점 이동 방향 정보, 시점 이동 거리 정보 및 시점 이동 속도 정보 중 적어도 하나를 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 이미지 촬영 장치(100, 500)은 상기 이동 정보를 산출할 때, DIS(Digital Iamge Stabilizer) 알고리즘 등을 이용하여 획득된 복수의 제 1 및 제 2 뷰 프레임의 위치를 정합시키고, 정합된 위치의 상기 복수의 제 1 및 제 2 뷰 프레임 각각을 비교하여 상기 이동 정보를 산출할 수 있다.

이에 따라, 이미지 촬영 장치(100,500)는 산출된 이동 정보를 이용하여 라이트 필드 영상을 생성한다(S840). 구체적으로, 이미지 촬영 장치(100,500)는 산출된 이동 정보를 이용하여, 라이트 필드 영상을 생성하는데 이용되는 뷰 프레임들을 선택하고, 선택된 뷰 프레임 각각에 대한 뎁스맵을 생성하여, 최종적인 3차원 라이트 필드 영상을 생성할 수 있다.

이때, 이미지 촬영 장치(100,500)는 연속적으로 획득되는 뷰 프레임들 간에 유사도를 판단하고, 판단된 유사도가 기설정된 값 미만이면, 기설정된 값 미만의 유사도를 갖는 두 뷰 프레임들을 제외하고 라이트 필드 영상을 생성할 수도 있다.

예를 들어, 사용자가 좌우 방향으로 배열된 고유의 시차를 갖는 위상차 픽셀로 이루어진 위상차 이미지 센서를 이용하여 피사체에 대한 라이트 필드 영상을 생성하고자 하는 경우, 사용자의 촬영 명령이 이미지 촬영 장치(100, 500)에 입력되면, 피사체에 대한 고유의 시차를 갖는 좌측 및 우측 뷰 프레임이 제 1 시점에서 획득될 수 있다(S810).

이후, 사용자의 손떨림이나, 사용자 조작 또는 OIS를 통해 제 1 시점으로부터 위상차 이미지 센서의 고유의 시차 간격만큼 우측 방향으로 이동된 제 2 시점에서 뷰 프레임이 획득되면(S820), 이미지 촬영 장치(100, 500)는 제 2 시점의 이동 정보를 산출하여, 제 2 시점이 제 1 시점에서 우측 방향으로 고유의 시각만큼 이동한 것을 알 수 있다(S830). 이에 따라, 이미지 촬영 장치(100, 500)는 제 1 시점에서 획득된 좌측 및 우측 뷰 프레임과 제 2 시점에서 획득된 좌측 프레임을 포함하는 라이트 필드 영상을 생성할 수 있다(S840).

만일, 제 1 시점으로부터 좌측으로 고유의 시차만큼 이동된 제 2 시점에서 뷰 프레임이 획득되면(S820), 이미지 촬영 장치(100, 500)는 제 2 시점의 이동 정보를 산출하여, 제 2 시점이 제 1 시점에서 좌측 방향으로 고유의 시각만큼 이동한 것을 알 수 있다(S830). 이에 따라, 이미지 촬영 장치(100, 500)는 제 1 시점에서 획득된 좌측 및 우측 뷰 프레임과 제 2 시점에서 획득된 우측 프레임을 포함하는 라이트 필드 영상을 생성할 수 있다(S840).

사용자가 상하 방향으로 배열된 고유의 시차를 갖는 위상차 픽셀로 이루어진 위상차 이미지 센서를 이용하여 피사체에 대한 라이트 필드 영상을 생성하고자 하는 경우에도 이미지 촬영 장치(100, 500)는 위와 유사한 방법으로 라이트 필드 영상을 생성할 수 있음은 자명하다.

한편, 위와 같이 본 발명의 다양한 실시 예들에 따라 생성된 라이트 필드 영상을 이용하여 다양한 응용이 가능함은 물론이다. 예를 들어, 자연스러운 리포커스(Refocus) 기능이 수행될 수 있으며, 플랜옵틱(Plenoptic) 2.0 알고리즘을 통한 해상도 향상이 가능하다.

한편, 상술한 다양한 실시 예들에 따른 이미지 촬영 장치의 제어부(120)의 동작이나 이미지 촬영 방법들은 소프트웨어로 생성되어 이미지 촬영 장치에 탑재될 수 있다.

예를 들어, 위상차 이미지 센서를 이용하여 제 1 시점(view point)에서 피사체에 대한 복수의 제 1 뷰 프레임을 획득하는 단계, 상기 위상차 이미지 센서를 이용하여 상기 제 1 시점과 다른 제 2 시점에서 상기 피사체에 대한 복수의 제 2 뷰 프레임을 획득하는 단계, 상기 복수의 제 1 뷰 프레임 각각과 상기 복수의 제 2 뷰 프레임 각각을 비교하여 상기 제 2 시점의 이동 정보를 산출하는 단계 및 상기 산출된 이동 정보를 이용하여 라이트 필드(Light Field) 영상을 생성하는 단계를 포함하는 이미지 촬영 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 미들웨어 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110 :　촬영부 　　　　　　　　　　　　　　　　 120 : 제어부
130 :　이미지 처리부　　　　　　　　　　　　　　　

Claims

이미지 촬영 방법에 있어서,
위상차 이미지 센서를 이용하여 제 1 시점(view point)에서 피사체에 대한 복수의 제 1 뷰 프레임을 획득하는 단계;
상기 위상차 이미지 센서를 이용하여 상기 제 1 시점과 다른 제 2 시점에서 상기 피사체에 대한 복수의 제 2 뷰 프레임을 획득하는 단계;
상기 복수의 제 1 뷰 프레임 각각과 상기 복수의 제 2 뷰 프레임 각각을 비교하여 상기 제 2 시점의 이동 정보를 산출하는 단계; 및
상기 산출된 이동 정보를 이용하여 라이트 필드(Light Field) 영상을 생성하는 단계;를 포함하는 이미지 촬영 방법.
제 1 항에 있어서,
상기 위상차 이미지 센서는,
전화소 위상차 이미지 센서이며,
상기 이동 정보를 산출하는 단계는,
상기 복수의 제 1 및 제 2 뷰 프레임 각각을 차영상 연산하여 상기 이동 정보를 산출하는 것을 특징으로 하는 이미지 촬영 방법.
제 1 항에 있어서,
상기 제 1 시점 및 상기 제 2 시점은,
OIS(Optical Image Stabilizer), 사용자의 손떨림 및 사용자의 조작 중 적어도 하나에 의해 상이해지는 것을 특징으로 하는 것을 특징으로 하는 이미지 촬영 방법.
제 1 항에 있어서,
상기 위상차 이미지 센서는,
기설정된 간격의 시차를 갖는 좌우 방향으로 배열된 위상차 픽셀을 포함하며,
상기 복수의 제 1 뷰 프레임은,
상기 제 1 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 좌측 및 우측 뷰 프레임이고,
상기 복수의 제 2 뷰 프레임은,
상기 제 1 시점으로부터 좌우 방향으로 상기 기설정된 간격만큼 이동된 상기 제 2 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 좌측 및 우측 뷰 프레임인 것을 특징으로 하는 이미지 촬영 방법.
제 4 항에 있어서,
상기 라이트 필드 영상을 생성하는 단계는,
상기 제 2 시점이 상기 제 1 시점에서 우측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 우측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고,
상기 제 2 시점이 상기 제 1 시점에서 좌측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 좌측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하는 것을 특징으로 하는 이미지 촬영 방법.
제 1 항에 있어서,
상기 위상차 이미지 센서는,
기설정된 간격의 시차를 갖는 상하 방향으로 배열된 위상차 픽셀을 포함하며,
상기 복수의 제 1 뷰 프레임은,
상기 제 1 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 상측 및 하측 뷰 프레임이고,
상기 복수의 제 2 뷰 프레임은,
상기 제 1 시점으로부터 상하 방향으로 상기 기설정된 간격만큼 이동된 상기 제 2 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 상측 및 하측 뷰 프레임인 것을 특징으로 하는 이미지 촬영 방법.
제 6 항에 있어서,
상기 라이트 필드 영상을 생성하는 단계는,
상기 제 2 시점이 상기 제 1 시점에서 상측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 상측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고,
상기 제 2 시점이 상기 제 1 시점에서 하측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 하측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하는 것을 특징으로 하는 이미지 촬영 방법.
제 1 항에 있어서,
상기 이동 정보를 산출하는 단계는,
상기 복수의 제 1 및 제 2 뷰 프레임의 위치를 정합시키는 단계; 및
상기 정합된 위치의 상기 복수의 제 1 및 제 2 뷰 프레임 각각을 비교하여 상기 이동 정보를 산출하는 단계;를 포함하는 것을 특징으로 하는 이미지 촬영 방법.
제 1 항에 있어서,
상기 이동 정보를 산출하는 단계는,
상기 복수의 제 1 뷰 프레임과 상기 복수의 제 2 뷰 프레임의 유사도를 판단하는 단계;를 포함하고,
상기 라이트 필드 영상을 생성하는 단계는,
상기 판단된 유사도가 기설정된 값 미만이면, 상기 복수의 제 1 및 제 2 뷰 프레임을 상기 라이트 필드 영상에서 제외하는 것을 특징으로 하는 이미지 촬영 방법.
제 1 항에 있어서,
상기 이동 정보는,
상기 제 1 시점에 대한 상기 제 2 시점의 이동 방향 정보, 시점 이동 거리 정보 및 시점 이동 속도 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 촬영 방법.
이미지 촬영 장치에 있어서,
위상차 이미지 센서를 이용하여 피사체에 대한 복수의 뷰 프레임을 획득하는 촬영부;
상기 촬영부를 통해 촬영된 상기 복수의 뷰 프레임을 이용하여 라이트 필드(Light Field) 영상을 생성하는 이미지 처리부; 및
상기 촬영부를 통해 제 1 시점(view point)에서의 상기 피사체에 대한 복수의 제 1 뷰 프레임 및 상기 제 1 시점과 다른 제 2 시점에서의 상기 피사체에 대한 복수의 제 2 뷰 프레임이 획득되면, 상기 복수의 제 1 뷰 프레임 각각과 상기 복수의 제 2 뷰 프레임 각각을 비교하여 상기 제 2 시점의 이동 정보를 산출하고, 상기 산출된 이동 정보를 이용하여 라이트 필드(Light Field) 영상을 생성하도록 상기 이미지 처리부를 제어하는 제어부;를 포함하는 이미지 촬영 장치.
제 11 항에 있어서,
상기 위상차 이미지 센서는,
전화소 위상차 이미지 센서이며,
상기 제어부는,
상기 복수의 제 1 및 제 2 뷰 프레임 각각을 차영상 연산하여 상기 이동 정보를 산출하는 것을 특징으로 하는 이미지 촬영 장치.
제 11 항에 있어서,
상기 제 1 시점 및 상기 제 2 시점은,
OIS(Optical Image Stabilizer), 사용자의 손떨림 및 사용자의 조작 중 적어도 하나에 의해 상이해지는 것을 특징으로 하는 것을 특징으로 하는 이미지 촬영 장치.
제 11 항에 있어서,
상기 위상차 이미지 센서는,
기설정된 간격의 시차를 갖는 좌우 방향으로 배열된 위상차 픽셀을 포함하며,
상기 복수의 제 1 뷰 프레임은,
상기 제 1 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 좌측 및 우측 뷰 프레임이고,
상기 복수의 제 2 뷰 프레임은,
상기 제 1 시점으로부터 좌우 방향으로 상기 기설정된 간격만큼 이동된 상기 제 2 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 좌측 및 우측 뷰 프레임인 것을 특징으로 하는 이미지 촬영 장치.
제 14 항에 있어서,
상기 제어부는,
상기 제 2 시점이 상기 제 1 시점에서 우측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 우측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고, 상기 제 2 시점이 상기 제 1 시점에서 좌측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 좌측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 이미지 촬영 장치.
제 11 항에 있어서,
상기 위상차 이미지 센서는,
기설정된 간격의 시차를 갖는 상하 방향으로 배열된 위상차 픽셀을 포함하며,
상기 복수의 제 1 뷰 프레임은,
상기 제 1 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 상측 및 하측 뷰 프레임이고,
상기 복수의 제 2 뷰 프레임은,
상기 제 1 시점으로부터 상하 방향으로 상기 기설정된 간격만큼 이동된 상기 제 2 시점에서 획득되어 상기 피사체에 대해 상기 기설정된 간격의 시차를 갖는 상측 및 하측 뷰 프레임인 것을 특징으로 하는 이미지 촬영 장치.
제 16 항에 있어서,
상기 제어부는,
상기 제 2 시점이 상기 제 1 시점에서 상측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 상측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하고, 상기 제 2 시점이 상기 제 1 시점에서 하측 방향으로 이동된 경우, 상기 복수의 제 1 뷰 프레임 및 상기 복수의 제 2 뷰 프레임 중 상기 하측 뷰 프레임을 포함하는 상기 라이트 필드 영상을 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 이미지 촬영 장치.
제 11 항에 있어서,
상기 제어부는,
상기 복수의 제 1 및 제 2 뷰 프레임의 위치를 정합시켜 상기 정합된 위치의 상기 복수의 제 1 및 제 2 뷰 프레임 각각을 비교하여 상기 이동 정보를 산출하는 것을 특징으로 하는 이미지 촬영 장치.
제 11 항에 있어서,
상기 제어부는,
상기 복수의 제 1 뷰 프레임과 상기 복수의 제 2 뷰 프레임의 유사도를 판단하고, 상기 판단된 유사도가 기설정된 값 미만이면, 상기 복수의 제 1 및 제 2 뷰 프레임을 제외하고 상기 라이트 필드 영상을 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 이미지 촬영 장치.
제 11 항에 있어서,
상기 이동 정보는,
상기 제 1 시점에 대한 상기 제 2 시점의 이동 방향 정보, 시점 이동 거리 정보 및 시점 이동 속도 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 촬영 장치.