KR101590871B1

KR101590871B1 - 촬상 장치 및 촬상 방법

Info

Publication number: KR101590871B1
Application number: KR1020090087634A
Authority: KR
Inventors: 야수오 다카네
Original assignee: 삼성전자주식회사
Priority date: 2008-11-28
Filing date: 2009-09-16
Publication date: 2016-02-02
Also published as: US20140036040A1; JP2010130435A; KR20100061318A; US8947557B2; JP5230376B2; US8587691B2; US20100134652A1

Abstract

본 발명은, 제1 광학계를 통해 받은 피사체로부터의 광을 전기 신호로 변환하는 제1 촬상 소자와, 제2 광학계를 통해 받은 상기 피사체로부터의 광을 전기 신호로 변환하는 제2 촬상 소자와, 정지화상의 본 촬영 전에 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 동화상용 화상 신호를 생성하는 제1 화상 신호 처리부와, 상기 정지화상의 본 촬영 전에 상기 제2 촬상 소자에서 단계 노출이 되도록 노출을 제어하는 노출 제어부와, 상기 단계 노출에 의해 얻어지는 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 정지화상의 본 촬영시 노출량을 산출하는 노출량 산출부를 포함하는 촬상 장치 및 촬상 방법을 제공한다.

촬상 장치, 촬상 방법

Description

촬상 장치 및 촬상 방법{Photographing apparatus and photographing method}

본 발명은 촬상 장치 및 촬상 방법에 관한 것이다.

디지털 스틸 카메라나 비디오 카메라 등의 촬상 장치가 촬영하는 촬영 씬(scene)에는, 광이 닿는 방법에 따라, 피사체의 가장 밝은 부분과 가장 어두운 부분의 비율로 표현되는 다이나믹 레인지(dynamic range)가 넓은 경우가 있다.

이 때 허용할 수 있는 다이나믹 레인지가 좁은 촬상 소자를 사용하여 촬영을 한 경우, 피사체를 촬영 씬대로 촬영할 수 없다. 이 때 촬상 장치는 적정한 노출 상태가 아니기 때문에, 촬영된 결과 얻어지는 화상은 암부(暗部)가 검게 뭉개지거나 명부(明部)가 희게 날려 표시된다.

그런데 촬상 장치 중에는 여러 개의 촬상 소자가 마련되고, 각각의 촬상 소자에 대응하여 여러 개의 촬상계를 갖는 것이 있다. 예를 들면, 일본특허공개공보 제2007-288245호에 개시된 촬상 장치는 라이브뷰 표시용 촬상계와 기록용 촬상계를 따로따로 가지고, 라이브뷰 표시용 촬상계에서 얻어진 화상으로 라이브뷰 표시용 촬영 씬을 판별하고 기록용 촬상계에서 얻어진 화상으로 기록용 촬영 씬을 판별한 다.

한편, 다이나믹 레인지가 좁은 촬상 장치를 사용하여 피사체를 촬영하는 경우에 다이나믹 레인지를 확대하는 방법으로서 이하의 것이 알려져 있다. 예를 들면 (1)감마, 니(knee) 등의 비선형 처리, (2)비선형의 촬상장치, (3)특성이 다른 촬상 소자로부터의 화상 합성, (4)1개의 촬상 소자로부터 얻어진 화상에 대한 화상 신호 처리, 합성 처리 등이 있다.

그러나 촬상 장치로부터의 원래 화상 입력 데이터의 다이나믹 레인지가 좁기 때문에, 상기 (1) 또는 (4)의 방법으로 처리하기에는 한계가 있다는 문제가 있었다.

또한, 노출이 다른 여러 장의 화상을 합성하는 합성 처리에서 다이나믹 레인지를 확대하는 종래의 방법은, 각각 촬상한 시간이 다른 화상을 합성하였다. 그렇기 때문에 움직이는 물체를 피사체로 한 촬영이나 손떨림 등의 영향을 받은 촬영의 경우에는 고화질로 합성하기 힘들었다. 또한, 그 경우 여러 개의 화상 각각에서 노출을 변경하여 촬영하게 되므로, 라이브뷰 표시에서의 EVF(Electronic View Finder)나 LCD(Liquid crystal display)의 밝기가 명암을 반복하는 문제가 있거나 피사체상의 표시에서 연속성을 유지할 수 없는 문제가 있었다.

본 발명은, 정지화상의 본 촬영 전에 동화상을 안정적으로 표시시키면서 정지화상의 본 촬영에 필요한 노출량을 확실히 취득할 수 있는 촬상 장치 및 촬상 방법을 제공하는 것을 주된 과제로 한다.

본 발명은, 제1 광학계를 통해 받은 피사체로부터의 광을 전기 신호로 변환하는 제1 촬상 소자;와, 상기 제1 광학계와 다른 제2 광학계를 통해 받은 상기 피사체로부터의 광을 전기 신호로 변환하는 제2 촬상 소자;와, 정지화상의 본 촬영 전에 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 동화상용 화상 신호를 생성하는 제1 화상 신호 처리부;와, 상기 정지화상의 본 촬영 전에 상기 제2 촬상 소자에서 단계 노출이 되도록 노출을 제어하는 노출 제어부;와, 상기 단계 노출에 의해 얻어지는 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 정지화상의 본 촬영시 노출량을 산출하는 노출량 산출부;를 포함하는 촬상 장치를 제공한다.

여기서, 상기 촬상 장치는, 상기 산출된 노출량에 기초하여 동일 타이밍으로 상기 제1 촬상 소자 및 상기 제2 촬상 소자 중 어느 한쪽을 하이라이트 기준의 노출량으로 설정하고, 다른 쪽을 다크 기준의 노출량으로 설정하는 노출량 설정부;와, 상기 설정된 노출량에 기초하여 상기 정지화상의 본 촬영이 이루어졌을 때 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 정지화상용 제1 화상 신 호와, 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 제1 화상 신호와 동일 타이밍의 정지화상용 제2 화상 신호를 생성하는 제2 화상 신호 처리부;를 더 포함할 수 있다.

여기서, 상기 촬상 장치는, 상기 산출된 노출량에 기초하여 동일 타이밍으로 상기 제1 촬상 소자 및 상기 제2 촬상 소자 두 개를 동일 노출량으로 설정하는 노출량 설정부;와, 상기 설정된 노출량에 기초하여 상기 정지화상의 본 촬영이 이루어졌을 때 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 정지화상용 제1 화상 신호와, 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 제1 화상 신호와 동일 타이밍의 정지화상용 제2 화상 신호를 생성하는 제2 화상 신호 처리부;를 더 포함할 수 있다.

여기서, 상기 촬상 장치는, 상기 제1 화상 신호와 상기 제2 화상 신호간의 위치 엇갈림을 검출하는 위치 엇갈림 검출부;와, 상기 검출된 위치 엇갈림을 사용하여 상기 제1 화상 신호와 상기 제2 화상 신호를 합성하는 합성부;를 더 포함할 수 있다.

또한, 본 발명은, 제1 촬상 소자가 제1 광학계를 통해 받은 피사체로부터의 광을 전기 신호로 변환하는 단계;와, 상기 제1 촬상 소자와 다른 제2 촬상 소자가 상기 제1 광학계와 다른 제2 광학계를 통해 받은 상기 피사체로부터의 광을 전기 신호로 변환하는 단계;와, 정지화상의 본 촬영 전에 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 동화상용 화상 신호를 생성하는 단계;와, 상기 정지화상의 본 촬영 전에 상기 제2 촬상 소자에서 단계 노출이 되도록 노출을 제어하는 단계;와, 상기 단계 노출에 의해 얻어지는 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 정지화상의 본 촬영시 노출량을 산출하는 단계;를 포함하는 촬상 방법을 제공한다.

본 발명에 따르면, 정지화상의 본 촬영 전에 동화상을 안정적으로 표시시키고, 정지화상의 본 촬영에 필요한 노출량을 확실히 취득할 수 있는 효과가 있다.

이하, 첨부 도면을 참조하면서, 본 발명의 바람직한 실시예에 대해 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.

(본 발명의 일 실시예의 구성)

우선, 본 발명의 일 실시예에 관한 촬상 장치(100)에 대해서 설명하기로 한다.

도 1은, 본 발명의 일 실시예에 관한 촬상 장치(100)를 도시한 블럭도이다.

촬상 장치(100)는, 2개의 광학계 및 촬상계를 구비하고 있고, 각각의 계통에서 피사체를 촬영하여 화상을 각각 취득할 수 있다. 예를 들면, 라이브뷰 표시를 할 때에는 하나의 계통에서 라이브뷰 용 화상을 취득하고, 다른 계통에서 측광을 한다. 또 광학계가 좌우로 배치되어 촬영을 하고 동일 타이밍으로 화상을 취득함으로써 스테레오 화상(입체적으로 피사체를 볼 수 있는 평면 화상)을 생성할 수 있다.

촬상 장치(100)는, 결상 광학계(101)(102)와, 이미지 센서(103)(104)와, SDRAM(105)과, 메모리 카드(107)와, ROM(109)과, 릴리즈 버튼(115)과, 타이밍 제너레이터(117)와, DSP(121)(122)와, 플래시 컨트롤러(131)와, 플래시(133)와, LCD 컨트롤러(135)와, LCD(137) 등으로 이루어진다.

결상 광학계(101)(102)는 제1 광학계, 제2 광학계의 일례로서, 외부의 광정보를 이미지 센서(103)(104)에 결상시키는 광학계 시스템이며, 피사체로부터의 광을 이미지 센서(103)(104)까지 투과시킨다. 결상 광학계(101)로부터의 광은 이미지 센서(103)에 도달하고, 결상 광학계(102)로부터의 광은 이미지 센서(104)에 도달한다.

결상 광학계(101)(102)는, 예를 들면 줌 렌즈, 조리개, 포커스 렌즈 등으로 이루어진다. 줌 렌즈는 초점 거리를 변화시켜 화각을 바꾸는 렌즈이고, 조리개는 투과하는 광량을 조절하는 기구이다. 포커스 렌즈는, 한쪽에서 다른쪽으로 또는 다른쪽에서 한쪽으로 이동함으로써, 이미지 센서(103)(104)의 촬상면에 피사체상을 합초시킨다.

이미지 센서(103)(104)는 제1 촬상 소자, 제2 촬상 소자(광전 변환 소자)의 일례로서, 결상 광학계(101)(102)를 투과하여 입사된 광정보를 전기 신호로 변환하는 광전 변환이 가능한 소자로 구성된다. 각 소자는 수광한 광에 따른 전기 신호를 생성한다.

이미지 센서(103)(104)로는 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서 등을 적용할 수 있다.

아울러 이미지 센서(103)(104)의 노광 시간을 제어하기 위해 비촬영시에 광을 차단하고 촬영시에만 광이 닿도록 메카니컬 셔터(미도시)를 적용할 수 있다. 그러나, 이에 한정되지 않으며 전자 셔터(미도시)를 적용해도 좋다. 아울러 메카니컬 셔터 또는 전자 셔터의 동작은 DSP(121)(122)에 접속된 릴리즈 버튼(115)(조작 부재)의 스위치에 의해 이루어진다.

이미지 센서(103)(104)는 CDS/AMP부, A/D 변환부를 더 가진다.

CDS/AMP부(상관 이중 샘플링 회로(correlated double sampling)/증폭기(amplifier))는 이미지 센서(103)(104)에서 출력된 전기 신호에 포함되는 저주파 노이즈를 제거함과 동시에 전기 신호를 임의의 레벨까지 증폭한다.

A/D 변환부는 CDS/AMP부에서 출력된 전기 신호를 디지털 변환하여 디지털 신호를 생성한다. A/D 변환부는 생성한 디지털 신호를 화상 신호 처리부(141)로 출력한다.

SDRAM(synchronous DRAM)(105)(106)은 촬영한 화상의 화상 데이터를 일시적으로 저장한다. SDRAM(105)(106)은 여러 개 화상의 화상 데이터를 기억할 수 있는 기억용량을 가지고 있다. 또 SDRAM(105)(106)은 각각 DSP(121)(122)에 접속된다. SDRAM(105)(106)으로 화상을 읽고 쓰는 것은 메모리 컨트롤러(151)에 의해 제어된다.

아울러 SDRAM(105)에는 VRAM으로서의 영역이 확보된다. VRAM은 화상 표시용 메모리로서, 여러 개의 채널을 가진다. VRAM은 화상 표시용 화상 데이터의 입력과, LCD 컨트롤러(135)로의 화상 데이터의 출력을 동시에 실행할 수 있다. LCD(137)의 해상도나 최대 발색수는 VRAM의 용량에 의존한다.

메모리 카드(107)는, 예를 들면 플래시 메모리 등의 반도체 기억 매체이다. 촬영에 의해 생성된 화상 데이터가 메모리 카드(107)에 기록되거나 메모리 카드(107)로부터 독출된다. 아울러 기억 매체는 플래시 메모리 등의 메모리 카드(107)에 한정되지 않으며, 예를 들면 광디스크(CD, DVD, 블루레이 디스크 등), 광자기 디스크, 자기 디스크 등이어도 좋다. 메모리 카드(107)는 촬상 장치(100)에서 착탈 가능하게 구성되어도 좋다.

ROM(109)은 DSP(121)(122)의 동작 프로그램을 저장한다.

릴리즈 버튼(115)은 사용자에 의한 반누름, 완전누름, 해제가 가능하다. 릴리즈 버튼(115)은 반누름(S1조작)되었을 때 포커스 제어 개시의 조작 신호를 출력하고, 반누름 해제인 경우 포커스 제어가 종료된다. 또한, 릴리즈 버튼(115)은 완전누름(S2조작)되었을 때 촬영 개시 조작 신호를 출력한다.

아울러 촬상 장치(100)에는 릴리즈 버튼(115) 이외의 조작 부재(미도시)가 마련된다. 조작 부재는, 예를 들면 촬상 장치(100)에 마련된 상하좌우 키, 전원 스위치, 모드 다이얼 등이다. 조작 부재는 사용자에 의한 조작에 기초하여 조작 신호를 DSP(121)(122) 등에 보낸다.

타이밍 제너레이터(117)는, 이미지 센서(103)(104)나 CDS/AMP부에 타이밍 신호를 출력하고 이미지 센서(103)(104)를 구성하고 있는 각 화소의 노광 기간이나 전하의 독출을 제어한다.

DSP(121)(122)는, 제1 화상 신호 처리부, 제2 화상 신호 처리부의 일례로서, 프로그램에 의해 연산 처리 장치 및 제어 장치로서 기능하고, 촬상 장치(100) 안에 설치된 각 구성 요소의 처리를 제어한다.

DSP(121)(122)는, 예를 들면 포커스 제어나 노출 제어에 기초하여 드라이버(미도시)에 신호를 출력하여 결상 광학계(101)(102)를 구동시킨다. 또 DSP(121)(122)는 조작 부재(미도시)로부터의 신호에 기초하여 촬상 장치(100)의 각 구성 요소를 제어한다. 아울러 본 실시예에서는 DSP(121)(122)는, 도 1에 도시한 바와 같이, 촬상계마다 마련된다. DSP(121)(122)는 신호계의 명령과 조작계의 명령을 따로따로 수행하도록 개별적으로 구성되어 있다.

본 실시예의 촬상 장치(100)는 2개의 DSP(121)(122)를 구비하나, 본 발명은 이에 한정하지 않는다. 예를 들어, 본 발명에 따른 촬상 장치는 도 5에 도시된 바와 같이 하나의 DSP(221)를 구비할 수도 있다. 도 5는, 본 실시예의 촬상 장치(100)의 변형예인 촬상 장치(200)를 도시한 블록도이다. 즉, 도 5에 도시한 바와 같이 촬상 장치(200)는 신호계의 명령과 조작계의 명령을 하나의 DSP(221)에서 수행하고 있다. DSP(221)를 제외한 촬상 장치(200)의 나머지 상세 부분은, 도 1에 도시한 촬상 장치(100)와 동일하므로 자세한 설명은 생략한다.

플래시 컨트롤러(131)는 DSP(121)에서 받은 신호에 기초하여 제어 신호를 생성하고, 생성한 제어 신호를 플래시(133)로 보낸다. 플래시(133)는 본 촬영시나 본 촬영 전의 포커스 제어시에 피사체에 대해 광을 조사한다.

LCD 컨트롤러(135)는, 예를 들면 인코더 LCD 제어부(163)에서 화상 데이터를 받아 LCD(liquid crystal display: 액정 화면)(137)에 화상을 표시한다. LCD(137) 는 촬상 장치(100) 본체에 마련된다.

LCD(137)가 표시하는 화상은, 예를 들면 SDRAM(105)에서 독출된 촬영 전의 화상(라이브뷰 표시), 촬상 장치(100)의 각종 설정 화면이나 촬상하여 기록된 화상 등이다. 본 실시예에서는 표시부로서 LCD(137), 표시 구동부로서 LCD 컨트롤러(135)로 구성되어 있으나, 본 발명은 상기 예로 한정되지 않으며, 예를 들면, 표시부로서 유기EL 디스플레이, 표시 구동부로서 유기 EL 디스플레이 제어부 등으로 구성되어도 좋다.

다음으로 본 실시예에 관한 촬상 장치(100)의 DSP(121)(122)에 대해서 설명하기로 한다. 도 2는, 본 실시예에 관한 촬상 장치(100)의 DSP(121)(122)를 도시한 블럭도이다.

DSP(121)(122)는, 화상 신호 처리부(141)와, AE/AF/AWB 산출부(142)와, 노광 제어ㆍAF 동작 제어부(143)와, 메모리 컨트롤러(151)와, 화상 합성 처리부(152)와, 대응점ㆍ특징점 검출부(153)와, 화상 상관 검출부(154)와, 씬 판별부(155)와, 움직임 벡터 검출부(156)와, 기억 매체 제어부(161)와, 외부 통신 제어부(162)와, 인코더 LCD 제어부(163)와, 화상 압축 신장 처리부(164)와, CPU(171)와, SIO(172)와, I/O 포트(173) 등으로 이루어진다.

화상 신호 처리부(141)는, 이미지 센서(103)(104)로부터 화상 신호를 받아 이미지 센서(103)(104)의 A/D 변환부에서 출력된 디지털 신호에 대해 처리를 하여 화상 처리가 가능해진 화상 신호를 생성한다. 화상 신호 처리부(141)는 WB 제어값, γ값, 윤곽 강조 제어값 등에 기초하여 화상 처리된 화상 신호를 생성한다. 또한, 화상 신호 처리부(141)는 화상 신호에 기초하여 AE 평가값, AWB 평가값 및 AF 평가값을 산출한다.

AE/AF/AWB 산출부(142)는 화상 신호 처리부(141)에서 산출된 AE(auto exposure: 자동 노광)평가값에 기초하여 조리개의 조리개량이나 셔터 속도를 산출한다. AE/AF/AWB 산출부(142)는 화상 신호 처리부(141)에서 산출된 AWB(auto white balance: 자동 화이트 밸런스)평가값에 기초하여, 예를 들면 3원색의 색신호 게인을 산출한다. 아울러 AE 평가값, AWB 평가값은 화상 신호의 휘도값에 기초하여 화상 신호 처리부(141)에서 산출된 것이다. 화상 신호 처리부(141) 또는 AE/AF/AWB 산출부(142)는 노출량 산출부의 일례이다.

노광 제어ㆍAF 동작 제어부(143)는 AE/AF/AWB 산출부(142)에서 산출된 조리개량을 제어 신호로서 결상 광학계(101)의 드라이버(미도시)에 출력한다. 드라이버는 노광 제어ㆍAF 동작 제어부(143)에서 받은 제어 신호에 기초하여 구동 신호를 생성한다. 노광 제어ㆍAF 동작 제어부(143)는 그 밖에 노광 시간, 게인, 이미지 센서(103)(104)의 독출 모드에 의해 노광을 제어한다. 게인은 콘트라스트값의 산출에 사용된다. 여기서, 이미지 센서(103)(104)의 독출 모드란, 예를 들면 이미지 센서(103)(104)에서 화상 데이터를 독출할 때의 신호 처리 모드로서, 피사체상이 어두울 때는 화소 가산을 하고, 또는 피사체상이 밝을 때는 화소 전부를 그대로 독출하는 처리이다. 노광 제어ㆍAF 동작 제어부(143)는 노출 제어부 및 노출량 설정부의 일례이다.

또한, 노광 제어ㆍAF 동작 제어부(143)는 포커스 제어 개시의 조작 신호를 받으면, 포커스 렌즈를 한 방향으로 이동시키는 제어 신호를 생성하고 생성한 제어 신호를 드라이버(143)에 출력한다. 노광 제어ㆍAF 동작 제어부(143)는 화상 신호 처리부(141)에서 산출된 AF(auto focus:자동 초점) 평가값에 기초하여 포커스 렌즈의 합초 위치를 산출한다. 아울러 AF 평가값은 화상 신호의 휘도값에 기초하여 화상 신호 처리부(141)에서 산출된 것이다. AF 평가값은, 예를 들면 화상의 콘트라스트값으로서, 콘트라스트값이 피크가 되었을 때 피사체상이 이미지 센서(103)(104)의 촬상면에서 합초되어 있다고 판단한다(콘트라스트 검출 방식).

메모리 컨트롤러(151)는 SDRAM(105)(106)으로 화상 데이터를 읽고 쓰는 것을 제어한다. 여기서, SDRAM(105)(106)은 DRAM이어도 좋다.

화상 합성 처리부(152)는 위치 엇갈림 검출부 및 합성부의 일례로서, 이미지 센서(103)(104)에서 동일 또는 다른 타이밍으로 촬영한 2장의 화상을 합성한다. 이 때, 화상간의 위치 엇갈림량을 검출하고 그 위치 엇갈림량에 기초하여 화상을 합성 처리한다.

대응점ㆍ특징점 검출부(153)는 프레임 화상에서 특징점을 추출하고, 프레임 화상간에 대응점을 발견하여 화상간에 대응시키거나 대응점을 추적한다.

화상 상관 검출부(154)는 프레임 화상간의 상관을 산출한다. 화상 상관 검출부(154)는 대응점ㆍ특징점 검출부(153)에서 검출된 특징점이 적을 때나 대응점을 취할 수 없을 때 화상간에 대응시킬 수 있다.

씬 판별부(155)는, 대응점ㆍ특징점 검출부(153)나 화상 상관 검출부(154)의 검출 결과로부터 촬영 씬이 예를 들면 풍경, 인물, 스포츠 등 중에 어떠한 씬인지 를 판별한다.

기억 매체 제어부(161)는 메모리 카드(107)로의 화상 데이터 기입, 또는 메모리 카드(107)에 기록된 화상 데이터나 설정 정보 등의 독출을 제어한다.

외부 통신 제어부(162)는 PC, 프린터 등 외부 기기와 신호를 송수신한다.

인코더 LCD 제어부(163)는 화상 표시용 화상 데이터를 인코더 처리하여 LCD(137)에 표시 가능한 데이터를 생성한다.

화상 압축 신장 처리부(164)는 압축 처리 전의 화상 신호를 받아 예를 들면 JPEG 압축 형식 또는 MPEG 압축 형식 등의 압축 형식으로 화상 신호를 압축 처리한다. 화상 압축 신장 처리부(164)는 압축 처리로 생성한 화상 데이터를 예를 들면 기억 매체 제어부(161)에 보낸다.

CPU(171)는 DSP(121)(122)의 연산 처리부 및 제어부이다. SIO(172) 또는 I/O 포트(173)를 통해 외부와 신호를 송수신한다.

아울러 촬상 장치(100)에서의 일련의 처리는 하드웨어에서 처리해도 되고 컴퓨터상의 프로그램에 의한 소프트웨어 처리로 실현해도 된다.

상기와 같이 본 실시예는 2개의 광학계ㆍ촬상계를 구비한 경우에 대해서 설명하였으나, 본 발명은 이에 한정하지 않는다. 예를 들면, 본 발명은, 3개 이상의 광학계ㆍ촬상계를 구비해도 좋다. 그리고 본 실시형태의 촬상 장치(100)는 여러 개의 촬상계를 사용하여 동일 또는 다른 타이밍으로 화상을 취득할 수 있다.

또한, 본 실시예의 촬상 장치(100)는 취득한 화상간의 상관 정도를 산출하는 기능을 가진 기능 블럭과, 특정 형상을 포함한 화상을 추출하여 물체 인식(패턴 매 칭)을 하는 기능 블럭과, 인식 결과로부터 촬영 씬을 판별하는 알고리즘을 가진 기능 블럭을 구비한다. 또한, 본 실시예의 촬상 장치(100)는 통상 화상(스테레오 화상이 아닌 평면 화상) 촬영 시퀀스와 스테레오 화상 촬영 시퀀스 둘 다 가능하다.

(본 발명의 일 실시예의 동작)

다음으로 본 실시예에 관한 촬상 장치(100)의 동작에 대해서 설명하기로 한다.

본 실시예의 촬상 장치(100)는 2개의 광학계ㆍ촬상계를 사용하여, 본 촬영에서 각각 노출 파라미터는 다르지만 동일 타이밍으로 촬영한 2장의 화상을 합성한다. 그리고 2차원 화상을 출력하는 모드에서는, 하나의 광학계ㆍ촬상계로 촬영하는 경우에 비해 합성을 통해 화상의 다이나믹 레인지를 확대할 수 있다.

나아가 스테레오(3차원) 화상을 출력하는 모드에서는 측광시의 표준값을 노출 파라미터로 하여 각각에 동일한 값을 사용하여 본 촬영을 한다. 스테레오 화상 촬영 모드에서는 스테레오 화상 포맷(예를 들면 표준 규격)으로 기록 매체에 화상 데이터를 기록한다.

또한, 본 촬영의 사전 라이브뷰 표시에서 2개의 광학계ㆍ촬상계 중 한 쪽의 광학계ㆍ촬상계는 LCD(137)에 화상을 출력하는 것을 주기능으로 하여 작용하고, 다른 쪽 광학계ㆍ촬상계는 본 촬영을 위한 측광을 하는 것을 주기능으로 하여 작용한다.

[다이나믹 레인지 확대 모드]

다음으로, 본 실시형태에 관한 촬상 장치(100)를 다이나믹 레인지 확대 모드 에서 사용하는 경우에 대해 설명하기로 한다. 도 3a 및 도 3b는, 본 실시예에 관한 촬상 장치(100)의 다이나믹 레인지 확대 모드에서의 동작을 도시한 흐름도이다.

여기에서는 촬상 장치(100)가 우선 LCD(137)에 피사체를 라이브뷰 표시한 후 릴리즈 버튼(115)이 완전누름되었을 때 본 촬영이 이루어진다는 흐름으로 설명하기로 한다. 또한, 도 3a 및 도 3b 중의 L은 촬상 장치(100)의 왼쪽 광학계ㆍ촬상계(이하, L계라고 한다.)를 나타내고, R은 촬상 장치(100)의 오른쪽 광학계ㆍ촬상계(이하, R계라고 한다.)를 나타낸다. 본 실시예의 광학계ㆍ촬상계는 좌우 모두 동일한 성능(해상도 등)을 갖는다.

우선 L계는 EVF(전자 뷰파인더) 화상 출력 모드를 구동하고 LCD(137)에서 라이브뷰 표시를 개시한다(단계 S101). R계는 측광 모드를 구동하고 R계의 이미지 센서를 사용하여 측광을 개시한다(단계 S101). 이 때 R계의 프레임 레이트(frame rate)를 L계의 프레임 레이트 이상으로 높게 설정해 놓는다. 이로써 EVF의 노출 조정은 R계에서 측정된 기준 측광값으로 설정할 수 있다.

다음으로 L계는, 예를 들면 제n번째 프레임(제n프레임)에서 취득한 화상에서 특징점을 추출한다(단계 S102). 한편 R계는, 예를 들면 제n프레임에서 취득한 화상에서 표준 측광한 결과로부터 히스토그램을 산출한다(단계 S102).

또 L계는, 예를 들면 제n+1프레임에서 취득한 화상에서 특징점을 추출하고, 단계 S102에서 추출한 특징점과 대응시켜 특징점을 추적한다(단계 S103). 한편 R계는, 예를 들면 제n+1프레임에서 취득한 화상에서 하이라이트(highlight) 기준 측광한 결과로부터 히스토그램을 산출한다(단계 S103).

다음으로 L계는, 추출한 특징점이나 특징점의 추적 결과로부터 촬영 씬을 판별한다(단계 S104). 예를 들면 풍경, 인물, 스포츠 등 사전에 기억된 촬영 씬의 기준 패턴과 일치하는지 여부를 판별하여 해당하는 촬영 씬이 있을 때 촬영 씬의 종류를 출력한다. 이로써 본 촬영시에 설정하는 촬영 씬에 대응한 촬영 모드를 결정할 수 있고, 촬영 씬에 적합한 촬영을 용이하게 할 수 있다. L계는 추출한 특징점이나 특징점의 추적 결과로부터, 예를 들면 제n+2프레임에서 취득한 화상을 사용하여 얼굴 인식 처리를 해도 좋다.

반면 R계는, 예를 들면 제n+2프레임에서 취득한 화상에서 다크(dark) 기준 측광(섀도우(shadow) 기준 측광)한 결과로부터 히스토그램을 산출한다(단계 S104).

다음으로, R계에서 산출된 표준 측광, 하이라이트 기준 측광, 다크 기준 측광에 의한 히스토그램에 기초하여 본 촬영시의 다이나믹 레인지를 산출하고, 본 촬영시에 설정하는 L계와 R계의 노출 파라미터를 산출한다. 또 촬영 씬에 대응한 본 촬영시에 설정하는 촬영 모드를 결정한다(단계 S105).

그리고 L계는 하이라이트 기준의 노출 파라미터를 설정하고, R계는 다크 기준의 노출 파라미터를 설정한다(단계 S106). 이로써 1개의 촬상 소자에서 촬영할 수 있는 다이나믹 레인지보다도 넓은 다이나믹 레인지로 본 촬영을 수행할 수 있게 된다.

그리고, 노출 파라미터가 설정된 상태에서 릴리즈 버튼(115)을 누르는 것이 검지되었는지 여부를 판단한다(단계 S107). 누르는 것이 검지되었을 때에는 단계 S108로 진행한다. 한편, 누름이 검지될 때까지의 동안에는 단계 S102∼ 단계 S106 을 반복하여 측광이나 노출 파라미터의 재설정을 실시한다.

누름이 검지되었을 때에는 L계와 R계의 2계통은 동일 타이밍으로 화상 데이터를 출력하여 화상 신호 처리부(141)에 L계에서 하이라이트 기준으로 촬영된 화상 데이터와, R계에서 다크 기준으로 촬영된 화상 데이터가 입력된다(단계 S108).

다음으로, 화상 상관 검출부(154)가 하이라이트 기준으로 촬영된 화상 데이터와 다크 기준으로 촬영된 화상 데이터에 대해서 패턴 매칭을 한다(단계 S109). 구체적으로는 2개의 화상의 상관을 산출하여 위치 엇갈림을 검출한다.

그리고 L계에서 하이라이트 기준으로 촬영된 화상과, R계에서 다크 기준으로 촬영된 화상 2개의 화상을 합성한다(단계 S110). 이 때 위치 엇갈림이 해소되도록 2개의 화상을 합성함으로써 엇갈림이 없는 선명한 평면 화상을 취득할 수 있다. 또 필요하다면 합성한 화상의 불필요한 부분을 잘라낸다(단계 S111).

좌우의 광학계는 각각 동일한 피사체에 대한 각도가 다르기 때문에 서로 근접한 위치라도 좌우의 광학계ㆍ촬상계에서 얻어지는 화상은 약간 다르다. 따라서 상관 계산으로부터 위치 엇갈림을 검출하여 위치 엇갈림을 해소하도록 합성하면, 가령 약간 다른 화상이 얻어졌다 해도 통상의 평면 화상을 얻을 수 있다. 또한, 본 실시예에서는 노출 파라미터가 다른 화상을 동시에 취득하기 때문에, 합성에 의해 다이나믹 레인지가 넓은 화상을 얻을 수 있다.

또한, 본 촬영의 사전 라이브뷰 표시에서 2개의 광학계ㆍ촬상계 중 한쪽 광학계ㆍ촬상계는 LCD(137)로 화상을 출력하는 것을 주기능으로 하여 작용하고, 다른 쪽 광학계ㆍ촬상계는 본 촬영을 위한 측광을 한다. 따라서 1개의 광학계ㆍ촬상계로 측광하면서 라이브뷰 표시용 화상을 취득하는 경우와는 달리 라이브뷰 표시 전용 화상을 측광의 계통과는 별도로 취득할 수 있다. 이로써 측광의 영향에 의한 화상의 명암 반복이나 피사체상 표시에서의 불연속성을 방지할 수 있다.

아울러 상기 설명에서는 본 실시형태의 광학계ㆍ촬상계는 좌우 모두 동일한 성능을 갖는다고 하였으나, 화상 처리에 의해 좌우 화상의 화질을 동일하게 할 수 있다면 서로 해상도 등이 다른 광학계ㆍ촬상계여도 좋다. 또 상기 설명에서는 R계는 표준 측광→하이라이트 기준 측광→다크 기준 측광의 순서대로 측광을 한다고 하였으나, 본 발명은 이 순서에 한정되지 않으며 다른 순서대로 측광을 해도 좋다.

[스테레오 화상 촬상 모드]

다음으로, 본 실시예에 관한 촬상 장치(100)를 다이나믹 레인지 확대 모드가 아닌 스테레오 화상 촬상 모드에서 사용하는 경우에 대해서 설명하기로 한다.

도 4a 및 도 4b는, 본 실시예에 관한 촬상 장치(100)의 스테레오 화상 촬상 모드에서의 동작을 도시한 흐름도이다.

여기에서는 촬상 장치(100)가 우선 LCD(137)에 피사체를 라이브뷰 표시한 후 릴리즈 버튼(115)이 완전누름되었을 때 본 촬영이 수행되는 흐름으로 설명하기로 한다.

또한, 도 3a 및 도 3b와 같이, 도 4a 및 도 4b 중의 L은 촬상 장치(100)의 왼쪽 광학계ㆍ촬상계(이하, L계라고 한다.)를 나타내고, R은 촬상 장치(100)의 오른쪽 광학계ㆍ촬상계(이하, R계라고 한다.)를 나타낸다. 본 실시예의 광학계ㆍ촬상계는 좌우 모두 동일한 성능(해상도 등)을 가진다.

우선 L계는 EVF(전자 뷰파인더) 화상 출력 모드를 구동하고, LCD(137)에서 라이브뷰 표시를 개시한다(단계 S201).

R계는 측광 모드를 구동하고 R계의 이미지 센서를 사용하여 측광을 개시한다(단계 S201). 이 때 R계의 프레임 레이트를 L계의 프레임 레이트 이상으로 높게 설정해 놓는다. 이로써 EVF의 노출 조정은 R계에서 측정된 기준 측광값으로 설정할 수 있다.

다음으로 L계는, 예를 들면 제n번째 프레임(제n프레임)의 화상을 취득하고, LCD(137)에 피사체를 라이브뷰 표시시킨다(단계 S202). 한편 R계는, 예를 들면 제n프레임에서 취득한 화상에서 표준 측광한 결과로부터 히스토그램을 산출한다(단계 S202).

또 L계는, 예를 들면 제n+1프레임의 화상을 취득하고 LCD(137)에 피사체를 라이브뷰 표시시킨다(단계 S203). 한편 R계는, 예를 들면 제n+1프레임에서 취득한 화상에서 하이라이트 기준 측광한 결과로부터 히스토그램을 산출한다(단계 S203).

다음으로 L계는, 예를 들면 제n+2프레임의 화상을 취득하고, LCD(137)에 피사체를 라이브뷰 표시시킨다(단계 S204). 한편 R계는, 예를 들면 제n+2프레임에서 취득한 화상에서 다크(섀도우) 기준 측광한 결과로부터 히스토그램을 산출한다(단계 S204).

다음으로 R계에서 산출된 표준 측광, 하이라이트 기준 측광, 다크 기준 측광에 의한 히스토그램에 기초하여 본 촬영시의 다이나믹 레인지를 산출하고, 본 촬영시에 설정하는 L계와 R계의 노출 파라미터를 산출한다(단계 S205).

그리고 L계, R계 모두 예를 들면 표준 측광값으로 노출 파라미터를 설정한다(단계 S206). 여기서 설정하는 파라미터는 L계, R계가 동일하고 양쪽에 적합한 값이라면, 촬영 환경에 따라 표준 측광값 이외의 값이어도 좋다. 이로써 R계에서 측정된 측광에 의해 본 촬영을 위한 노출 파라미터를 설정할 수 있다. 아울러 단계 S202∼단계 S206은 생략하고, 표준 측광값만으로 노출 파라미터를 설정해도 좋다.

다음으로 노출 파라미터가 설정된 상태에서 릴리즈 버튼(115)의 누름이 검지되었는지 여부를 판단한다(단계 S207). 누름이 검지되었을 때에는 단계 S208로 진행한다. 한편 누름이 검지될 때까지의 동안에는 단계 S202∼단계 S206을 반복하여 측광이나 노출 파라미터의 재설정 등을 실시한다.

누름이 검지되었을 때에는 L계와 R계의 2계통은 동일 타이밍으로 화상 데이터를 출력하여 화상 신호 처리부(141)에 L계에서 촬영된 화상 데이터와 R계에서 촬영된 화상 데이터가 입력된다(단계 S208).

다음으로 화상 상관 검출부(154)가 L계에서 촬영된 화상 데이터와 R계에서 촬영된 화상 데이터에 대해서 패턴 매칭을 한다(단계 S209). 구체적으로는 2개의 화상의 상관을 산출하고 위치 엇갈림을 검출한다. 그리고 R계에서 촬영된 화상과 L계에서 촬영된 화상의 2개의 화상이나 위치 엇갈림량, 촬상 장치가 가진 특성 등에 기초하여 스테레오 화상을 생성하기 위한 파라미터를 산출한다(단계 S210).

다음으로 스테레오 화상 포맷으로 화상 데이터 및 파라미터를 메모리 카드(107) 등의 기록 매체에 기록한다(단계 S211).

좌우의 광학계는 각각 동일한 피사체에 대한 각도가 다르기 때문에 좌우의 광학계ㆍ촬상계에서 얻어지는 화상은 약간 다르다. 따라서, 상관 계산에서 위치 엇갈림을 검출하여 스테레오 화상 생성을 위한 파라미터를 산출함으로써, 스테레오 화상을 재생할 수 있는 스테레오 화상 포맷으로 기록 매체에 화상 데이터를 기록할 수 있다.

또 본 촬영의 사전 라이브뷰 표시에서 2개의 광학계ㆍ촬상계 중 한쪽의 광학계ㆍ촬상계는 LCD(137)에 화상을 출력하는 것을 주기능으로 하여 작용하고, 다른 쪽 광학계ㆍ촬상계는 본 촬영을 위한 측광을 한다. 따라서 1개의 광학계ㆍ촬상계로 측광을 하면서 라이브뷰 표시용 화상을 취득하는 경우와는 달리 라이브뷰 표시 전용 화상을 측광의 계통과는 별도로 취득할 수 있다. 이로써 측광의 영향에 의한 화상의 명암 반복이나 피사체상 표시에서의 불연속성을 방지할 수 있다.

아울러 스테레오 화상 촬상 모드에서는 표준 측광값만으로 본 촬영을 한다고 하였으나, 예를 들면 본 촬영을 개시하여 임의의 프레임에서 L계와 R계 동시에 하이라이트 기준의 화상 데이터를 취득하고, 다음 프레임에서 L계와 R계 동시에 다크 기준의 화상 데이터를 취득해도 된다. 그리고 약간의 시간차가 생기지만 L계, R계 각각에서 하이라이트 기준의 화상 데이터와 다크 기준의 화상 데이터를 합성하여 다이나믹 레인지가 넓은 합성 화상을 생성할 수도 있다.

이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대해서 상세히 설명하였으나 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하고, 이들에 대해서도 당연 히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

도 1은 본 발명의 일 실시예에 관한 촬상 장치를 나타내는 블록도이다.

도 2는 본 발명의 일 실시예에 관한 촬상 장치의 DSP를 도시한 블럭도이다.

도 3a 및 도 3b는 본 발명의 일 실시예에 관한 촬상 장치의 다이나믹 레인지 확대 모드에서의 동작을 도시한 흐름도이다.

도 4a 및 도 4b는 본 발명의 일 실시예에 관한 촬상 장치의 스테레오 화상 촬상 모드에서의 동작을 도시한 흐름도이다.

도 5는 본 발명의 일 실시예에 관한 촬상장치의 변형예를 도시한 블럭도이다.

<도면의 주요 부분에 대한 부호의 설명>

100, 200: 촬상 장치 101, 102: 결상 광학계

103, 104: 이미지 센서 105, 106: SDRAM

107: 메모리 카드 109: ROM

115: 릴리즈 버튼 117: 타이밍 제너레이터

121, 122, 221: DSP 131: 플래시 컨트롤러

133: 플래시 135: LCD 컨트롤러

137: LCD 141: 화상 신호 처리부

142: AE/AF/AWB 산출부 151: 메모리 컨트롤러

152: 화상 합성 처리부 153: 대응점ㆍ특징점 검출부

154: 화상 상관 검출부 155: 씬 판별부

161: 기억 매체 제어부 162: 외부 통신 제어부

163: 인코더 LCD 제어부 164: 화상 압축 신장 처리부

171: CPU 172: SIO

173: I/O 포트

Claims

제1 광학계를 통해 받은 피사체로부터의 광을 전기 신호로 변환하는 제1 촬상 소자;

상기 제1 광학계와 다른 제2 광학계를 통해 받은 상기 피사체로부터의 광을 전기 신호로 변환하는 제2 촬상 소자;

정지화상의 본 촬영 전에 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 동화상용 화상 신호를 생성하는 제1 화상 신호 처리부;

상기 정지화상의 본 촬영 전에 상기 생성된 동화상용 화상 신호에 기초하여 동화상을 표시하는 표시부;

상기 동화상을 표시하는 동안, 상기 정지화상의 본 촬영 전에 상기 제2 촬상 소자에서 단계 노출이 되도록 노출을 제어하는 노출 제어부; 및

상기 단계 노출에 의해 얻어지는 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 정지화상의 본 촬영시 노출량을 산출하는 노출량 산출부;를 포함하는 촬상 장치.
제1항에 있어서,

상기 산출된 노출량에 기초하여 동일 타이밍으로 상기 제1 촬상 소자 및 상기 제2 촬상 소자 중 어느 한쪽을 하이라이트 기준의 노출량으로 설정하고, 다른 쪽을 다크 기준의 노출량으로 설정하는 노출량 설정부; 및

상기 설정된 노출량에 기초하여 상기 정지화상의 본 촬영이 이루어졌을 때 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 정지화상용 제1 화상 신호와, 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 제1 화상 신호와 동일 타이밍의 정지화상용 제2 화상 신호를 생성하는 제2 화상 신호 처리부;를 더 포함하는 촬상 장치.
제1항에 있어서,

상기 산출된 노출량에 기초하여 동일 타이밍으로 상기 제1 촬상 소자 및 상기 제2 촬상 소자 두 개를 동일 노출량으로 설정하는 노출량 설정부; 및

상기 설정된 노출량에 기초하여 상기 정지화상의 본 촬영이 이루어졌을 때 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 정지화상용 제1 화상 신호와, 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 제1 화상 신호와 동일 타이밍의 정지화상용 제2 화상 신호를 생성하는 제2 화상 신호 처리부;를 더 포함하는 촬상 장치.
제2항 또는 제3항에 있어서,

상기 제1 화상 신호와 상기 제2 화상 신호간의 위치 엇갈림을 검출하는 위치 엇갈림 검출부; 및

상기 검출된 위치 엇갈림을 사용하여 상기 제1 화상 신호와 상기 제2 화상 신호를 합성하는 합성부;를 더 포함하는 촬상 장치.
제1 촬상 소자가 제1 광학계를 통해 받은 피사체로부터의 광을 전기 신호로 변환하는 단계;

상기 제1 촬상 소자와 다른 제2 촬상 소자가 상기 제1 광학계와 다른 제2 광학계를 통해 받은 상기 피사체로부터의 광을 전기 신호로 변환하는 단계;

정지화상의 본 촬영 전에 상기 제1 촬상 소자에서 변환된 상기 전기 신호에 기초하여 동화상용 화상 신호를 생성하는 단계;

상기 정지화상의 본 촬영 전에, 상기 생성된 동화상용 화상 신호에 기초하여 동화상을 표시부에 표시하는 단계;

상기 동화상을 표시하는 동안, 상기 정지화상의 본 촬영 전에 상기 제2 촬상 소자에서 단계 노출이 되도록 노출을 제어하는 단계; 및

상기 단계 노출에 의해 얻어지는 상기 제2 촬상 소자에서 변환된 상기 전기 신호에 기초하여 상기 정지화상의 본 촬영시 노출량을 산출하는 단계;를 포함하는 촬상 방법.