KR20120114177A

KR20120114177A - 광각 화상을 생성 가능한 화상 처리 장치

Info

Publication number: KR20120114177A
Application number: KR1020120035625A
Authority: KR
Inventors: 고스케 마츠모토; 나오토모 미야모토; 마사루 오노자와
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2011-04-06
Filing date: 2012-04-05
Publication date: 2012-10-16
Also published as: CN102739962B; US9007429B2; KR101391042B1; TWI514847B; CN102739962A; TW201301866A; US20120257006A1

Abstract

본 발명에 관한 디지털 카메라의 CPU는 복수의 파노라마 화상을 취득하고, 해당 취득된 복수의 파노라마 화상끼리를 합성하여 1개의 광각 화상을 생성한다.

Description

광각 화상을 생성 가능한 화상 처리 장치{IMAGE PROCESSING DEVICE CAPABLE OF GENERATING WIDE-RANGE IMAGE}

본 발명은 디지털 카메라나 촬상 기능을 갖는 휴대 전화 등의 화상 처리 장치, 화상 처리 방법, 및 기록 매체에 관한 것이다.

디지털 카메라나, 촬상 기능을 갖는 휴대 전화 등에 있어서, 촬상 화각의 한계는 렌즈의 초점거리, 촬상 소자의 사이즈 등, 장치 본체가 구비하는 하드 스펙에 의존하고 있다. 그리고, 이러한 촬상 화각의 한계의 문제에 대해서는 촬상 장치 중에는 광각 촬상용의 컨버젼 렌즈 등을, 기존의 렌즈 앞에 장착하거나(예를 들면, 일본국 특허공개공보 제2004-191897호, 일본국 특허공개공보 제2005-027142호, 일본국 특허공개공보 제2005-057548호 참조), 복수의 렌즈를 미리 구비하고, 촬상 목적에 따라 렌즈를 전환함으로써 대처하고 있었다(예를 들면, 일본국 특허공개공보 제 2007-081473호 참조).

그러나, 상기 종래 기술에서는 광각 촬상을 실행하기 위해, 일일이 광각 촬상용의 컨버젼 렌즈를 장착하거나, 촬상 목적에 따라 렌즈를 전환하지 않으면 안 되어, 조작성이나, 비용의 면에서 문제가 있었다. 또, 이들 광각 촬상용의 컨버젼 렌즈나, 전환 가능한 렌즈를 이용했다고 해도, 촬영자가 희망하는 광각 화상을 얻는 것은 곤란할 우려가 있다.

그래서 본 발명은 렌즈 교환을 실행하지 않고, 용이하고 또한 효율적으로 광각 화상의 생성에 필요한 화상을 얻을 수 있는 화상 처리 장치, 화상 처리 방법, 및 기록 매체를 제공하는 것을 목적으로 한다.

본 발명은 1방향으로 긴 복수의 파노라마 화상을 취득하는 취득 수단과, 상기 취득 수단에 의해 취득한 상기 복수의 파노라마 화상끼리를 상기 1방향에 대해 직교 방향으로 합성해서 1개의 광각 화상을 생성하는 광각 화상 생성 수단을 구비하는 것을 특징으로 하는 화상 처리 장치이다.

본 발명에 따르면, 렌즈 교환을 실행하지 않고, 용이하고 또한 효율적으로 광각 화상의 생성에 필요한 화상을 얻을 수 있다,

도 1은 본 발명의 제 1 실시형태에 의한 디지털 카메라의 구성을 나타내는 블럭도,
도 2는 통상의 촬상 모드를 설명하기 위한 개념도,
도 3은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 파노라마 촬상 모드를 설명하기 위한 개념도,
도 4는 본 제 1 실시형태에 의한 디지털 카메라(1)의 파노라마 촬상 모드에서의 디지털 카메라(1)의 움직임(유저에 의한 움직임 방법)을 나타내는 개념도,
도 5는 본 제 1 실시형태에 의한 디지털 카메라(1)의 동작을 설명하기 위한 흐름도,
도 6은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 흐름도,
도 7은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 합성 처리의 동작을 설명하기 위한 흐름도,
도 8은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 합성 처리의 동작을 설명하기 위한 개념도,
도 9는 본 제 2 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 흐름도,
도 10은 본 제 2 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 개념도,
도 11은 본 제 3 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 흐름도,
도 12는 본 제 3 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 개념도,
도 13은 파노라마 촬영시의 디지털 카메라(1)의 움직임 방법의 다른 예를 나타내는 개념도,
도 14는 촬영 범위를 나타내는 촬영 프레임이나, 이동 방향의 다른 표시예를 나타내는 개념도.

이하, 본 발명의 실시형태를, 도면을 참조하여 설명한다.

A. 제 1 실시형태

A-1. 제 1 실시형태의 구성

도 1은 본 발명의 제 1 실시형태에 의한 디지털 카메라의 구성을 나타내는 블록도이다. 도면에 있어서, 디지털 카메라(1)는 촬상 렌즈(2), 렌즈 구동부(3), 조리개 겸용 셔터(4), CCD(5)(촬상 수단), TG(Timing Generator)(6), 유닛 회로(7), 화상 처리부(8)(광각 화상 생성 수단, 파노라마 화상 생성 수단), CPU(11)(취득 수단, 검출 수단, 기억 제어 수단, 비교 수단), DRAM(12)(기억 수단), 메모리(13), 플래시 메모리(14), 화상 표시부(15), 키 입력부(16)(지정 수단), 카드 I/F(17), 및 메모리 카드(18)를 구비하고 있다.

촬상 렌즈(2)는 포커스 렌즈, 줌 렌즈 등을 포함하며, 렌즈 구동부(3)가 접속되어 있다. 렌즈 구동부(3)는 촬상 렌즈(2)를 구성하는 포커스 렌즈, 줌 렌즈를 각각 광축 방향으로 구동시키는 모터와, CPU(11)로부터의 제어 신호에 따라 포커스 모터, 줌 모터를 구동시키는 포커스 모터 드라이버, 줌 모터 드라이버로 구성되어 있다.

조리개(4)는 도시하지 않은 구동 회로를 포함하고, 구동 회로는 CPU(11)로부터 보내져 오는 제어 신호에 따라 조리개(4)를 동작시킨다. 해당 조리개(4)는 촬상 렌즈(2)로부터 들어오는 광의 양을 제어한다. CCD(촬상 소자)(5)는 촬상 렌즈(2), 조리개(4)를 통해 투영된 피사체의 광을 전기 신호로 변환하고, 촬상 신호로서 유닛 회로(7)로 출력한다. 또, CCD(5)는 TG(6)에 의해서 생성된 소정 주파수의 타이밍 신호에 따라 구동된다.

유닛 회로(7)는 CCD(5)로부터 출력되는 촬상 신호를 상관 이중 샘플링하여 유지하는 CDS(Correlated Double Sampling) 회로, 그 샘플링 후의 촬상 신호의 자동 이득 조정을 실행하는 AGC(Automatic Gain Control) 회로, 그 자동 이득 조정 후의 아날로그의 촬상 신호를 디지털 신호로 변환하는 A/D 변환기로 구성되어 있다. CCD(5)의 촬상 신호는 유닛 회로(7)를 경유하여 디지털 신호로서 화상 처리부(8)로 보내진다. 또한, 유닛 회로(7)는 TG(6)에 의해서 생성된 소정 주파수의 타이밍 신호에 따라 구동된다.

화상 처리부(8)는 유닛 회로(7)로부터 보내져 온 화상 데이터의 화상 처리(화소 보간 처리, γ보정, 휘도 색차 신호의 생성, 화이트 밸런스 처리, 노출 보정 처리 등), 화상 데이터의 압축/신장(예를 들면, JPEG 형식이나 M-JPEG 형식 또는 MPEG 형식의 압축/신장)의 처리, 복수의 촬상 화상을 합성하는 처리 등을 실행한다. 또한, 화상 처리부(8)는 TG(6)에 의해서 생성된 소정 주파수의 타이밍 신호에 따라 구동된다.

CPU(11)는 디지털 카메라(1)의 각 부를 제어하는 원칩 마이크로 컴퓨터이다. 특히, 본 제 1 실시형태에서는 유저가 디지털 카메라(1)를 움직이고 있는 동안에, CPU(11)는 소정의 주기(시간 간격)로 복수개의 화상을 연사하고, 촬상한 복수의 화상을, 일부가 중복하도록(예를 들면, α블렌딩을 이용하여) 합성해 가고, 광각으로 촬상한 바와 같은 1개의 합성 화상을 생성하도록 각 부를 제어한다. 또한, 화상 합성의 상세에 대해서는 후술한다.

DRAM(12)은 CCD(5)에 의해서 촬상된 후, CPU(11)에 보내져 온 화상 데이터를 일시 기억하는 버퍼 메모리로서 사용되는 동시에, CPU(11)의 워킹 메모리로서 사용된다. 메모리(13)는 CPU(11)에 의한 디지털 카메라(1)의 각 부의 제어에 필요한 프로그램, 및 각 부의 제어에 필요한 데이터가 기록되어 있고, CPU(11)는 이 프로그램에 따라 처리를 실행한다. 플래시 메모리(14)나 메모리 카드(18)는 CCD(5)에 의해서 촬상된 화상 데이터 등을 보존해 두는 기록 매체이다.

화상 표시부(15)는 컬러 LCD와 그 구동 회로를 포함하고, 촬상 대기 상태에 있을 때에는 CCD(5)에 의해서 촬상된 피사체를 스루 화상으로서 표시하고, 기록화상의 재생시에는 플래시 메모리(14)나 메모리 카드(23)로부터 읽어 내어지고, 신장된 기록화상을 표시시킨다. 키 입력부(16)는 셔터 SW, 줌 SW, 모드키, SET키, 십자키 등의 복수의 조작 키를 포함하고, 유저의 키 조작에 따른 조작 신호를 CPU(11)로 출력한다. 카드 I/F(17)에는 디지털 카메라(1) 본체의 도시하지 않은 카드 슬롯을 통해 메모리 카드(18)가 착탈 자유롭게 장착되어 있다.

도 2는 통상의 촬상 모드를 설명하기 위한 개념도이다. 디지털 카메라(1)로 통상의 촬상 모드에서 촬영하는 경우에는 도 2에 나타내는 바와 같이, 해당 디지털 카메라(1)의 촬상계의 화각 S로 밖에 촬영할 수 없다.

도 3은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 파노라마 촬상 모드를 설명하기 위한 개념도이다. 또, 도 4는 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 파노라마 촬상 모드에서의 디지털 카메라(1)의 움직임(유저에 의한 움직임 방법)을 나타내는 개념도이다.

이 모드에 있어서, 유저는 원하는 경치에 대해, 화각의 긴쪽 방향이 세로방향이 되도록 디지털 카메라(1)를 세로방향으로 하고, 좌측 상단에서 셔터 SW를 누르고(반 누름→완전 누름), 도 3에 나타내는 화살표와 같이, 우선, 셔터 SW를 눌러 제 1 방향(수평 방향)으로 움직이고(상태 ＃1：도 4 참조), 소정의 위치에서 제 1 방향과는 직교하는 제 2 방향(수직 방향)으로 움직이고(상태 ＃2：도 4 참조), 또한 별도의 소정의 위치에서 제 3 방향(수평 방향)으로 움직인다(상태 ＃3：도 4 참조). 유저가 이 움직임을 실행하고 있는 동안, 디지털 카메라(1)는 소정의 타이밍에서 화상을 순차 촬상해 간다.

디지털 카메라(1)에서는 수평 방향으로 움직이고 있는 상태 ＃1에서 촬상한 복수의 화상으로부터 제 1 파노라마 화상을 합성하고, 마찬가지로 수평 방향으로 움직이고 있는 상태 ＃3에서 촬영한 복수의 화상으로부터 제 2 파노라마 화상을 합성하고, 제 1 파노라마 화상과 제 2 파노라마 화상을 합성하여, 최종적으로 원하는 광각 화상(도 3의 하측)을 생성한다. 또한, 수직 방향으로 움직이고 있는 상태 ＃2에서 촬상한 화상은 파노라마 화상의 생성에 필요로 하지 않으므로, 보존되는 일은 없다.

A-2. 제 1 실시형태의 동작

다음에, 상술한 제 1 실시형태의 동작에 대해 설명한다.

도 5는 본 제 1 실시형태에 의한 디지털 카메라(1)의 동작을 설명하기 위한 흐름도이다. 우선, CPU(11)는 셔터 SW가 반 눌러지면(스텝 S10), AF(오토 포커스) 처리를 실행하고(스텝 S12), 셔터 SW가 완전히 눌러지면(스텝 S14), 소정의 주기(시간 간격)로 복수개의 화상을 연사한다(스텝 S16). 또한, 연사 처리의 상세에 대해서는 후술한다.

이 때, 유저는 도 3에 나타내는 바와 같이, 원하는 경치에 대해, 화각의 긴쪽 방향이 세로방향이 되도록 디지털 카메라(1)를 세로방향으로 하고, 좌측 상부에서 셔터 SW를 누르고(반 누름→완전 누름), 도 3에 나타내는 화살표와 같이, 디지털 카메라(1)를, 우선, 수평 방향(좌단에서 우측 방향)으로 움직이고(상태 ＃1：도 4 참조), 소정의 위치에서 수직 방향(아래 방향)으로 움직이고(상태 ＃2：도 4 참조), 또한 수평 방향(좌측 방향)으로 움직인다(상태 ＃3：도 4 참조). 그리고, 연사가 종료했는지의 여부, 즉 파노라마 촬영이 종료했는지의 여부를 판단하고(스텝 S18), 연사가 종료해 있지 않으면, 스텝 S16으로 되돌리고, 연사 처리를 계속한다.

한편, 연사가 종료한 경우, 즉 파노라마 촬영이 종료한 경우에는(스텝 S18의 YES), 좌단으로부터 우측 방향으로 움직이고 있는 상태 ＃1에서 촬상한 복수의 화상으로부터 제 1 파노라마 화상을 합성하고, 우단으로부터 좌측 방향으로 움직이고 있는 상태 ＃3에서 촬영한 복수의 화상으로부터 제 2 파노라마 화상을 합성하고, 제 1 파노라마 화상과 제 2 파노라마 화상을 합성하여, 최종적으로 원하는 광각 화상을 생성한다(스텝 S20). 또한, 합성 처리의 상세에 대해서는 후술한다.

도 6은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 흐름도이다. 우선, CPU(11)는 1개 전의 촬상 화상과 현재의 촬영 화상의 위치 맞춤을 실행하고(스텝 S30), 현재의 상태가 상태 ＃1,＃2,＃3의 어느 것인지를 판단한다(스텝 S32).

그리고, 유저가, 디지털 카메라(1)를, 수평 방향(좌단으로부터 우측 방향)으로 이동시키고 있는 상태 ＃1인 경우에는(스텝 S32의 상태 ＃1), 이 현재의 촬상 화상을 파노라마 화상 작성용의 화상으로서 보존한다(스텝 S34). 다음에, 디지털 카메라(1)가 소정의 위치(이 경우, 상태 ＃1에서의 종위치인 우단)에 도달했는지의 여부를 판단한다(스텝 S36). 그리고, 소정의 위치에 도달해 있지 않은 경우에는(스텝 S36의 NO), 현재의 상태 ＃1을 변경하는 일 없이, 해당 처리를 종료하고, 도 5에 나타내는 메인 루틴으로 되돌린다.

이하, 디지털 카메라(1)가 소정의 위치(이 경우, 상태 ＃1에서의 끝 위치인 우단)에 도달할 때까지, 스텝 S34를 반복하고, 촬상한 화상을 파노라마 화상 작성용의 화상으로서 보존해 간다. 그리고, 디지털 카메라(1)가 소정의 위치에 도달하면(스텝 S36의 YES), 상태 ＃1에서 상태 ＃2로 이행하므로, 현재의 상태를 상태 ＃2로 변경한다(스텝 S38).

다음에, 유저가, 디지털 카메라(1)를, 수직 방향(아래 방향)으로 움직이고 있는 상태 ＃2로 이행하면(스텝 S32의 상태 ＃2), 촬상 화상을 파노라마 화상 작성용의 화상으로서 보존하지 않고 스텝 S42로 진행하고(스텝 S40), 디지털 카메라(1)가 소정의 위치(이 경우, 상태 ＃2에서의 끝 위치인 하부 우단)에 도달했는지의 여부를 판단한다(스텝 S42). 그리고, 소정의 위치에 도달해 있지 않은 경우에는(스텝 S42의 NO), 현재의 상태 ＃2를 변경하는 일 없이, 해당 처리를 종료하고, 도 5에 나타내는 메인 루틴으로 되돌린다.

이하, 디지털 카메라(1)가 소정의 위치(이 경우, 상태 ＃2에서의 끝 위치인 하부 우단)에 도달할 때까지, 촬상 화상을 보존하지 않고 그대로 촬상을 계속하며, 디지털 카메라(1)가 소정의 위치에 도달하면(스텝 S42의 YES), 상태 ＃2에서 상태 ＃3으로 이행하므로, 현재의 상태를 상태 ＃3으로 변경한다(스텝 S44).

다음에, 유저가, 디지털 카메라(1)를, 수평 방향(우측에서 좌측 방향)으로 움직이고 있는 상태 ＃3으로 이행하면(스텝 S32의 상태 ＃3), 촬상한 화상을 파노라마 화상 작성용의 화상으로서 보존한다(스텝 S46). 그리고, 디지털 카메라(1)가 소정의 위치(이 경우, 상태 ＃3에서의 끝 위치인 좌단)에 도달했는지의 여부를 판단한다(스텝 S48). 그리고, 소정의 위치에 도달해 있지 않은 경우에는(스텝 S48의 NO), 현재의 상태 ＃3을 변경하는 일 없이, 해당 처리를 종료하고, 도 5에 나타내는 메인 루틴으로 되돌린다.

이하, 디지털 카메라(1)가 소정의 위치(이 경우, 상태 ＃3에서의 끝 위치인 좌단)에 도달할 때까지, 스텝 S46을 반복하고, 촬상한 화상을 파노라마 화상 작성용의 화상으로서 보존해 간다. 그리고, 디지털 카메라(1)가 소정의 위치에 도달하면(스텝 S48의 YES), 연사 종료로 한다(스텝 S50).

상술한 동작의 결과, 유저가, 디지털 카메라(1)를, 좌단으로부터 우측 방향으로 움직이고 있는 상태 ＃1에서 촬상된 복수의 화상과, 디지털 카메라(1)를, 우측에서 좌측 방향으로 움직이고 있는 상태 ＃3에서 촬상된 복수의 화상이 얻어진다. 다음에, 이들 촬상된 복수의 화상을 이용하여 최종적인 광각 화상을 얻는 방법에 대해 설명한다.

도 7은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 합성 처리의 동작을 설명하기 위한 흐름도이다. 또, 도 8은 본 제 1 실시형태에 의한 디지털 카메라(1)에서의 합성 처리의 동작을 설명하기 위한 개념도이다. 우선, CPU(11)는 파노라마 화상 작성용의 화상을 취득하고(스텝 S60), 그 화상의 촬영시의 상태를 판별한다(스텝 S62). 그 화상의 촬영시의 상태가 상태 ＃1인 경우에는 파노라마 화상 ＃1을 작성하기 위한 합성 처리를 해당 화상에 실행한다(스텝 S64).

그 후, 파노라마 합성이 종료했는지의 여부를 판단하고(스텝 S68), 종료하고 있지 않으면, 스텝 S60으로 되돌린다. 이하, 도 8의 (a)에 나타내는 바와 같이, 상태 ＃1에서 촬영된 복수의 화상 FR1∼FR6을 일부가 중복하도록(예를 들면, α블렌딩을 이용하여) 합성하고, 파노라마 화상 ＃1을 작성한다.

한편, 취득한 파노라마 작성용의 화상이 상태 ＃3에서 촬상된 화상인 경우에는 파노라마 화상 ＃2를 작성하기 위한 합성 처리를 해당 화상에 실행한다(스텝 S66). 그 후, 파노라마 합성이 종료했는지의 여부를 판단하고(스텝 S68), 종료하고 있지 않으면, 스텝 S60으로 되돌린다. 이하, 도 8의 (b)에 나타내는 바와 같이, 상태 ＃3에서 촬영된 복수의 화상 FL1∼FL6을 일부가 중복하도록(예를 들면, α블렌딩을 이용하여) 합성하고, 파노라마 화상 ＃2를 작성한다.

다음에, 파노라마 합성이 종료한 경우에는(스텝 S68의 YES), 도 8의 (c)에 나타내는 바와 같이, 상기 파노라마 화상 ＃1의 하측의 소정 영역과 파노라마 화상 ＃2의 상측의 소정 영역을, 일부가 중복하도록(예를 들면, α블렌딩을 이용하여) 합성하고, 1개의 광각 화상을 작성한다(스텝 S70).

또한, 상술한 제 1 실시형태에 있어서는 키 입력부(16)로부터 미리 광각 화상의 촬상 범위를 지정해 두면, 지정된 촬상 범위에 의거하는 사이즈의 파노라마 화상을 생성하도록 해도 좋다. 또, 화상 처리부(8)에 있어서, 합성할 파노라마 화상끼리의 촬상 범위를 비교하고, 촬상 범위가 작은 쪽의 파노라마 화상에 다른 파노라마 화상의 촬상 범위를 맞추어 합성함으로써, 최종적인 광각 화상을 생성하도록 해도 좋다.

상술한 제 1 실시형태에 의하면, 렌즈 교환을 실행하는 일 없이, 용이하고 또한 효율적으로 광각 화상의 생성에 필요한 화상을 얻을 수 있다.

B. 제 2 실시형태

다음에, 본 발명의 제 2 실시형태에 대해 설명한다.

본 제 2 실시형태에서는 파노라마 촬영시에 유저가 디지털 카메라(1)를 움직일 때의, 상태 ＃1에서 상태 ＃2, 상태 ＃2에서 상태 ＃3으로 이동 방향의 변화를, 카메라 요인으로서 이동량, 방위 센서나 가속도 센서 등의 정보, 유저 요인으로서 이동 방향 지시 조작, 셔터 키 등의 키 조작, 유저의 제스처, 음성 등을 트리거로서 이용하여 검출하는 것을 특징으로 하고 있다.

또한, 본 제 2 실시형태에 의한 디지털 카메라(1)의 구성은 도 1과 마찬가지이므로 설명을 생략한다. 또, 파노라마 촬영 모드의 메인 루틴은 도 5와 마찬가지이고, 합성 처리는 도 7과 마찬가지이므로 설명을 생략한다.

도 9는 본 제 2 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 흐름도이다. 또, 도 10은 본 제 2 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 개념도이다.

본 제 2 실시형태에서는 트리거 검출에 수반하여, 현재, 디지털 카메라(1)가 상태 ＃1,＃2,＃3의 어느 상태에 있는지를 판별하기 위해, 트리거가 검출될 때마다 반전되는 플래그와, 트리거가 검출될 때마다 1씩 인크리먼트되는 상태 ＃N(계수)을 준비하고 있다. 플래그는 초기값을 「0」으로 하고, 트리거가 검출될 때마다 반전되도록 되어 있다. 또, 상태 ＃N은 초기값을 「1」로 하고, 현재의 디지털 카메라(1)가 상태 ＃1,＃2,＃3의 어느 상태에 있는지를 나타내는 계수이다. 상태 ＃N은 1회째의 트리거가 검출될 때까지는 「1」로 되어 상태 ＃1을 나타내고, 그것이 검출되면, 「2」로 되어 상태 ＃2를 나타낸다. 그리고, 다음의 트리거가 검출되면, 「3」으로 되어 상태 ＃3을 나타내도록 되어 있다.

우선, CPU(11)는 1개 전의 촬상 화상과 현재의 촬영 화상의 위치 맞춤을 실행하고(스텝 S80), 트리거가 검출되었는지의 여부를 판단한다(스텝 S82). 트리거가 검출되지 않는 경우에는 도 10에 나타내는 바와 같이, 상태 ＃1에서 상태 ＃2로 이행하고 있지 않은 즉, 수평 방향(좌단으로부터 우측 방향)으로 움직이고 있는 상태 ＃1에 있다고 판단하고, 플래그가 「1」인지의 여부를 판단한다(스텝 S88). 이 경우, 트리거가 아직 검출되고 있지 않기 때문에, 플래그는 「0」이며, 상태 ＃N은 「1」이다.

그리고, 플래그가 「0」이므로(스텝 S88의 NO), 촬상한 화상을, 상태 ＃N(=1)의 파노라마 화상 작성용의 화상으로서 보존한다(스텝 S90). 그 후, 해당 처리를 종료하고, 도 5에 나타내는 메인 루틴으로 되돌린다. 이하, 트리거가 검출될 때까지, 스텝 S90을 반복하고, 촬상한 화상을, 상태 ＃N(=1)의 파노라마 화상 작성용의 화상으로서 보존해 간다.

다음에, 도 10에 나타내는 바와 같이, 상태 ＃1에서 상태 ＃2로 이행할 때, 예를 들면, 카메라 요인으로서 이동량이나, 방위 센서의 정보나, 유저 요인으로서 이동 방향, 셔터 키 등의 키 조작, 유저의 제스처, 음성 등에 의해, 디지털 카메라(1)가 상태 ＃1의 종단에 도달한 것이 검출된 경우, 이들이 트리거로서 검출된다(스텝 S82의 YES). 트리거가 검출되면, 플래그를 반전하고(스텝 S84), 상태 ＃N을 N＋1로 한다(스텝 S86). 이 경우, 플래그는 「1」로 되고, 상태 ＃N은 「2」로 된다.

다음에, 플래그가 「1」인지의 여부를 판단한다(스텝 S86). 이 경우, 플래그가 「1」이므로, 촬상 화상을 파노라마 화상 작성용의 화상으로서 보존하지 않고 해당 처리를 종료하며(스텝 S92), 도 5에 나타내는 메인 루틴으로 되돌린다. 이하, 다음의 트리거가 검출될 때까지(디지털 카메라(1)의 이동 방향이 상태 ＃3이 될 때까지), 촬상 화상을 보존하지 않고, 해당 처리를 종료하며, 도 5에 나타내는 메인 루틴으로 되돌리는 동작을 반복한다. 따라서, 상태 ＃2에서 촬상된 화상은 보존되는 일은 없다.

다음에, 도 10에 나타내는 바와 같이, 상태 ＃2에서 상태 ＃3으로 이행할 때, 예를 들면, 카메라 요인으로서 이동량이나, 방위 센서의 정보나, 유저 요인으로서 이동 방향, 셔터 키 등의 키 조작, 유저의 제스처, 음성 등에 의해, 디지털 카메라(1)가 상태 ＃2의 종단에 도달한 것이 검출된 경우(소정 방향으로의 연속된 촬상의 종료가 검출된 경우), 이들이 트리거로서 검출된다(스텝 S82의 YES). 트리거가 검출되면, 플래그를 반전하고(스텝 S84), 상태 ＃N을 N＋1로 한다(스텝 S86). 이 경우, 플래그는 「0」으로 되고, 상태 ＃N은 「3」으로 된다.

다음에, 플래그가 「1」인지 아닌지를 판단한다(스텝 S86). 이 경우, 플래그가 「0」이므로, 촬상한 화상을, 상태 ＃N(=3)의 파노라마 화상 작성용의 화상으로서 보존한다(스텝 S90). 그 후, 해당 처리를 종료하고, 도 5에 나타내는 메인 루틴으로 되돌린다. 이하, 다음의 트리거가 검출될 때까지, 스텝 S90을 반복하고, 촬상한 화상을, 상태 ＃N(=3)의 파노라마 화상 작성용의 화상으로서 보존해 간다.

상술한 동작의 결과, 유저가, 디지털 카메라(1)를, 좌단으로부터 우측 방향으로 움직이고 있는 상태 ＃1에서 촬상된 복수의 화상과, 디지털 카메라(1)를, 우측 하부로부터 좌측 방향으로 움직이고 있는 상태 ＃3에서 촬상된 복수의 화상이 얻어진다.

다음에, 상술한 제 1 실시형태와 마찬가지의 방법(도 7 참조)으로, 상태 ＃1에서 촬상된 복수의 화상을 합성하여 파노라마 화상 ＃1, 상태 ＃3에서 촬상된 복수의 화상을 합성하여 파노라마 화상 ＃2를 작성하고, 또한 파노라마 화상 ＃1의 하측의 소정 영역과 파노라마 화상 ＃2의 상측의 소정 영역을 일부가 중복하도록(예를 들면, α블렌딩을 이용하여) 합성하고, 1개의 광각 화상을 작성한다.

상술한 제 2 실시형태에 의하면, 렌즈 교환을 실행하지 않고, 용이하고 또한 효율적으로 광각 화상의 생성에 필요한 화상을 얻을 수 있다.

C. 제 3 실시형태

다음에, 본 발명의 제 3 실시형태에 대해 설명한다.

상술한 제 1, 제 2 실시형태에서는 유저는 광화각의 합성 화상을 얻기 위해 필요로 되는 모든 화상을 촬상하기 위해, 도 3의 화살표로 나타내는 바와 같이, 원하는 경치에 대해, 화각의 긴쪽 방향이 세로방향이 되도록 디지털 카메라(1)를 세로방향으로 하고, 좌측 상부에서 셔터 SW를 누르고(반 누름→완전 누름), 우선, 수평 방향(좌단으로부터 우측 방향)으로 움직이고(상태 ＃1), 소정의 위치에서 수직 방향(아래 방향)으로 움직이고(상태 ＃2), 또한 별도의 소정의 위치에서 수평 방향(좌측 방향)으로 움직이게(상태 ＃3) 된다. 그러나, 유저에게 있어서는 어떻게 디지털 카메라(1)를 움직이면 좋은지, 혹은 필요하게 되는 화상이 확실하게 얻어지고 있는지를 알기 어렵다.

그래서, 본 제 3 실시형태에서는 파노라마 촬상 모드에 있어서, 유저에 의해 셔터 SW가 눌러지면, 디지털 카메라(1)로 촬상할 영역을 나타내는 촬영 프레임이나, 어느 쪽의 방향으로 이동시키면 좋은지를 나타내는 이동 방향을 화상 표시부(15)에 표시함으로써, 유저를 유도하도록 되어 있다. 또, 파노라마 촬상 모드 중에는 현재, 디지털 카메라(1)의 CCD(5)에 결상한 화상을, 프리뷰 화상(저해상도)으로서 화상 표시부(15)에 스루 표시하는 동시에, 프리뷰 화상을 이용하여 합성한 합성 화상을 화상 표시부(15)에 반투명(투과율 50%)으로 표시하도록 되어 있다.

이와 같이, 파노라마 촬상 모드 중, 다음에 촬상할 촬상 영역을 나타내는 촬영틀이나, 어느 쪽의 방향으로 이동시키면 좋은지를 나타내는 이동 방향, 더 나아가서는 촬영 종료의 화상을 합성한 축소 화상을 화상 표시부(15)에 표시하도록 했으므로, 유저는 어느 방향으로 디지털 카메라(1)를 이동시키면 좋은지를 용이하게 인식할 수 있다.

또한, 본 제 3 실시형태에 의한 디지털 카메라(1)의 구성은 도 1과 마찬가지이므로 설명을 생략한다. 또, 파노라마 촬영 모드의 메인 루틴은 도 5와 마찬가지이고, 합성 처리는 도 7과 마찬가지이므로 설명을 생략한다.

도 11은 본 제 3 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 흐름도이다. 또, 도 12는 본 제 3 실시형태에 의한 디지털 카메라(1)에서의 연사 처리의 동작을 설명하기 위한 개념도이다.

우선, CPU(11)는 1개전의 촬상 화상과 현재의 촬영 화상의 위치 맞춤을 실행하고(스텝 S100), 현재의 상태가 상태 ＃1,＃2,＃3의 어느 것인지를 판단한다(스텝 S102). 그리고, 유저가, 디지털 카메라(1)를, 좌단으로부터 우측 방향으로 움직이고 있는 상태 ＃1인 경우에는(스텝 S102의 상태 ＃1), 도 12에 나타내는 바와 같이, 촬영 프레임 FR1, 이동 방향 M1을 표시한다(스텝 S104). 그리고, 이 현재의 촬상 화상을 상태 ＃1에서의 파노라마 화상 작성용의 화상으로서 보존하고(스텝 S106), 그 시점까지 보존한 촬상 화상의 축소 화상으로부터 간이 합성 화상 IMG를 작성하여 반투명(투과율 50%)으로 표시한다(스텝 S108).

다음에, 디지털 카메라(1)가 소정의 위치 P1(이 경우, 상태 ＃1에서의 끝 위치: 도 12 참조)에 도달했는지의 여부를 판단한다(스텝 S110). 그리고, 소정의 위치 P1에 도달해 있지 않은 경우에는(스텝 S110의 NO), 현재의 상태 ＃1을 변경하지 않고, 해당 처리를 종료하며, 메인 루틴으로 되돌린다.

이하, 디지털 카메라(1)가 소정의 위치 P1에 도달할 때까지, 스텝 S106 및 스텝 S108을 반복하고, 촬상한 화상을 상태 ＃1에서의 파노라마 화상 작성용의 화상으로서 보존할 때마다, 그 시점의 합성 화상을 반투명(투과율 50%)으로 표시해 간다. 그리고, 디지털 카메라(1)가 소정의 위치 P1에 도달하면(스텝 S110의 YES), 상태 ＃1에서 상태 ＃2로 이행하므로, 현재의 상태를 상태 ＃2로 변경한다(스텝 S112).

다음에, 현재의 상태가, 디지털 카메라(1)를, 상태 ＃1의 종단 위치로부터 아래 방향으로 움직이는 상태 ＃2로 이행하면(스텝 S102의 상태 ＃2), 도 12에 나타내는 바와 같이, 촬영 프레임 FR2, 이동 방향 M2를 표시한다(스텝 S114). 그리고, 촬상 화상을 파노라마 화상 작성용의 화상으로서 보존하지 않고 스텝 S118로 진행하고(스텝 S116), 디지털 카메라(1)가 소정의 위치 P2(이 경우, 상태 ＃2에서의 끝 위치: 도 12 참조)에 도달했는지의 여부를 판단한다(스텝 S118). 그리고, 소정의 위치 P2에 도달해 있지 않은 경우에는(스텝 S118의 NO), 현재의 상태 ＃2를 변경하지 않고, 해당 처리를 종료하며, 도 5에 나타내는 메인 루틴으로 되돌린다.

이하, 디지털 카메라(1)가 소정의 위치 P2에 도달할 때까지, 촬상 화상을 보존하지 않고 그대로 촬상을 계속하고, 디지털 카메라(1)가 소정의 위치 P2에 도달하면(스텝 S118의 YES), 상태 ＃2에서 상태 ＃3으로 이행하므로, 현재의 상태를 상태 ＃3으로 변경한다(스텝 S120).

다음에, 현재의 상태가, 디지털 카메라(1)를, 상태 ＃2로부터 좌측 방향으로 움직이는 상태 ＃3으로 이행하면(스텝 S102의 상태 ＃3), 도 12에 나타내는 바와 같이, 촬영 프레임 FR3, 이동 방향 M3을 표시한다(스텝 S122). 그리고, 촬상한 화상을 상태 ＃3에서의 파노라마 화상 작성용의 화상으로서 보존하고(스텝 S124), 그 시점까지 보존한 촬상 화상의 축소 화상으로부터 간이 합성 화상을 작성하여 반투명(투과율 50%)으로 표시한다(스텝 S126).

이하, 디지털 카메라(1)가 소정의 위치 P3(종점)에 도달할 때까지, 스텝 S124 및 스텝 S126을 반복하고, 촬상한 화상을 상태 ＃3에서의 파노라마 화상 작성용의 화상으로서 보존할 때마다, 그 시점의 합성 화상을 반투명(투과율 50%)으로 표시해 간다. 그리고, 디지털 카메라(1)가 소정의 위치 P3에 도달하면(스텝 S128의 YES), 연사 종료로 한다(스텝 S130).

다음에, 상술한 제 1, 제 2 실시형태와 마찬가지의 방법(도 7 참조)으로, 상태 ＃1에서 촬상된 복수의 화상을 합성하여 파노라마 화상 ＃1, 상태 ＃3에서 촬상된 복수의 화상을 합성하여 파노라마 화상 ＃2를 작성하고, 또한 파노라마 화상 ＃1의 하측의 소정 영역과 파노라마 화상 ＃2의 상측의 소정 영역을 일부가 중복하도록(예를 들면, α블렌딩을 이용하여) 합성하고, 1개의 광각 화상을 작성한다.

또한, 상술한 제 3 실시형태에 있어서, 화상 표시부(15)에 표시되는 촬영 프레임 FR1∼FR3에는 도 12에 나타내는 바와 같이, 마진(여유) MG를 마련하는 것, 즉 실제로 촬상되는 화상 범위보다 다소 큰 촬영 프레임으로 하는 것이 바람직하다. 마진 MG를 마련함으로써, 디지털 카메라(1)를 움직이는 범위에 여유가 생기고, 디지털 카메라(1)를 움직이는 유저의 스트레스를 경감할 수 있다.

또, 상술한 제 3 실시형태에 있어서는 상태 ＃1에서 상태 ＃2, 상태 ＃2에서 상태 ＃3으로의 이동 방향의 변화를, 소정의 위치에 도달했는지의 여부로 판단하도록 했지만, 이것에 한정되지 않고, 상술한 제 2 실시형태와 마찬가지로, 카메라 요인으로서 이동량, 방위 센서나 가속도 센서 등의 정보, 유저 요인으로서 이동 방향 지시 조작, 셔터키 등의 키 조작, 유저의 제스추어, 음성 등을 트리거로서 이용하고 판단하도록 해도 좋다.

상술한 제 3 실시형태에 의하면, 리얼 타임으로, 합성 화상을 화상 표시부(15)에 표시하는 동시에, 디지털 카메라(1)를 이동시키도록, 촬영 프레임이나 이동 방향을 표시하도록 했으므로, 유저는 촬영 프레임이나 이동 방향을 보면서 디지털 카메라(1)를 움직이면 좋으므로, 한 번의 촬상으로는 얻어지지 않는 광화각의 화상을 생성하기 위해 필요하게 되는 복수의 화상을 용이하고 또한 효율적으로 촬상할 수 있으며, 광화각의 화상을 용이하게 생성할 수 있다.

또한, 상술한 제 1 내지 제 3 실시형태에서는 파노라마 촬영시에, 디지털 카메라(1)를 좌측에서 우측, 위에서 아래, 그리고, 우측에서 좌측으로 이동시켰지만, 이것에 한정되지 않고, 예를 들면, 도 13의 (a)에 나타내는 바와 같이, 1방향으로 움직이고 있는 동안에 복수의 화상을 촬상하고, 그들을 합성하여 1개의 광각 화상을 생성하도록 해도 좋다. 혹은 도 13의 (b)에 나타내는 바와 같이, 디지털 카메라(1)를 좌측에서 우측, 위에서 아래, 우측에서 좌측, 위에서 아래, 그리고 좌측에서 우측과 같이, 횡방향의 이동을 3회 이상 반복하도록 해도 좋고, 3개 이상의 파노라마 화상을 합성하여 광각 화상을 생성하도록 해도 좋다.

또, 상술한 제 3 실시형태에서는 촬영 범위를 나타내는 촬영 프레임이나, 이동 방향을 표시시키도록 했지만, 이것에 한정되지 않고, 도 14에 나타내는 바와 같이, 최종의 광각 화상의 전체 프레임(20)에 대해 촬상한 부분(30)을 다 칠하도록 해도 좋다.

이상, 본 발명의 몇 개의 실시형태에 대해 설명했지만, 본 발명은 이들에 한정되는 것은 아니고, 특허청구의 범위에 기재된 발명과 그 균등의 범위를 포함하는 것이다.

1; 디지털 카메라 2; 촬상 렌즈
3; 렌즈 구동부 4; 조리개
5; CCD 6; TG
7; 유닛 회로 8; 화상 처리부
11; CPU 12; DRAM
13; 메모리 14; 플래시 메모리
15; 화상 표시부 16; 키 입력부
17; 카드 I/F 18; 메모리 카드

Claims

1방향으로 긴 복수의 파노라마 화상을 취득하는 취득 수단과,
상기 취득 수단에 의해 취득한 상기 복수의 파노라마 화상끼리를 상기 1방향에 대해 직교 방향으로 합성하여 1개의 광각 화상을 생성하는 광각 화상 생성 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
촬상 수단과.
상기 촬상 수단에 의해 순차 촬상된 복수의 화상을 합성하여 파노라마 화상을 생성하는 파노라마 화상 생성 수단을 더 구비하고,
상기 취득 수단은 상기 파노라마 화상 생성 수단에 의해서 생성된 복수의 파노라마 화상을 취득하는 것을 특징으로 하는 화상 처리 장치.

제 2 항에 있어서,
소정의 트리거를 검출하는 검출 수단을 더 구비하고,
상기 파노라마 화상 생성 수단은 상기 검출 수단에 의해서 소정의 트리거가 검출되면, 해당 트리거의 검출시까지 상기 촬상 수단에 의해서 순차 촬상된 복수의 화상을 합성하여 파노라마 화상을 생성하고,
상기 광각 화상 생성 수단은 상기 파노라마 화상 생성 수단에 의해서 생성된 복수의 파노라마 화상끼리를 합성하여 상기 1개의 광각 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 3 항에 있어서,
상기 촬상 수단에 의해 순차 촬상된 복수의 화상을 순차 기억하는 기억 수단과,
상기 검출 수단에 의해서 소정의 트리거가 검출되면, 상기 기억 수단이 상기 복수의 화상을 기억하도록 제어하는 기억 제어 수단을 더 구비하고,
상기 파노라마 화상 생성 수단은 상기 기억 수단에 기억된 복수의 화상으로부터, 상기 파노라마 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 3 항에 있어서,
상기 검출 수단은 이동량, 또는 방위 센서의 정보, 또는 이동 방향의 변화, 또는 유저에 의한 소정의 지시 조작, 또는 유저의 음성에 의한 지시, 또는 유저의 동작에 의한 지시를, 상기 소정의 트리거로서 검출하는 것을 특징으로 하는 화상 처리 장치.

제 4 항에 있어서,
상기 기억 제어 수단은 상기 기억 수단에 대해,
상기 검출 수단에 의해서 소정의 트리거가 검출된 후에 촬상되는 화상의 기억을 금지하고,
상기 기억의 금지 중에, 상기 검출 수단에 의해서 다른 소정의 트리거가 검출되면, 촬상되는 화상의 기억을 허가하는 것을 특징으로 하는 화상 처리 장치.

제 2 항에 있어서,
상기 파노라마 화상 생성 수단은 상기 촬상 수단이 소정의 방향으로 이동되면서 순차 촬상된 복수의 화상으로부터, 상기 복수의 파노라마 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 2 항에 있어서,
상기 파노라마 화상 생성 수단은 상기 촬상 수단의 촬상 영역이 소정의 방향으로 복수회 이동되면서 순차 촬상된 복수의 화상으로부터, 상기 복수의 파노라마 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 8 항에 있어서,
상기 파노라마 화상 생성 수단은 상기 촬상 수단의 촬상 영역이 1방향으로 이동된 과정에서 순차 촬상된 복수의 화상과, 상기 1방향과는 역방향으로 이동된 과정에서 순차 촬상된 복수의 화상의 각각으로부터, 상기 복수의 파노라마 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 9 항에 있어서,
상기 파노라마 화상 생성 수단은 상기 촬상 수단에 의한 촬상 영역이 1방향으로 이동되는 과정에서, 소정 시간, 또는 소정 개수, 또는 소정의 범위분의 화상을 상기 촬상 수단으로 촬상하면, 그들 화상으로부터 1개의 파노라마 화상을 생성하고,
상기 촬상 수단의 촬상 영역이 상기 1방향과는 역방향으로 이동되는 과정에서, 소정 시간, 또는 소정 개수, 또는 소정의 범위분의 화상을 상기 촬상 수단으로 촬상하면, 그들 화상으로부터 1개의 파노라마 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 2 항에 있어서,
미리 광각 화상의 촬상 범위를 지정하는 지정 수단을 더 구비하고,
상기 파노라마 화상 생성 수단은 상기 지정 수단에 의해서 지정된 촬상 범위에 의거하여, 상기 파노라마 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
합성할 파노라마 화상끼리의 촬상 범위를 비교하는 비교 수단을 더 구비하고,
상기 광각 화상 생성 수단은 상기 비교 수단에 의한 비교 결과에 따라, 큰 쪽의 촬상 범위를 작은 쪽의 촬상 범위에 맞추어 상기 파노라마 화상끼리를 합성함으로써, 상기 1개의 광각 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
상기 광각 화상 생성 수단은 상기 취득 수단에 의해 취득한 상기 복수의 파노라마 화상의 상측의 소정 영역과 하측의 소정 영역끼리를 합성하여 상기 1개의 광각 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

1방향으로 긴 복수의 파노라마 화상을 취득하는 취득 스텝과,
상기 취득 스텝에서 취득한 상기 복수의 파노라마 화상끼리를 상기 1방향에 대해 직교 방향으로 합성하여 1개의 광각 화상을 생성하는 광각 화상 생성 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.

화상 처리를 실행하는 화상 처리 장치의 컴퓨터가 판독 가능한 기록 매체로서,
1방향으로 긴 복수의 파노라마 화상을 취득하는 취득 기능,
상기 취득 기능에서 취득한 상기 복수의 파노라마 화상끼리를 상기 1방향에 대해 직교 방향으로 합성하여 1개의 광각 화상을 생성하는 광각 화상 생성 기능을 상기 컴퓨터에 실행시키는 프로그램을 기록한 기록 매체.