KR101626780B1

KR101626780B1 - 촬상 장치, 화상 처리 방법 및 프로그램

Info

Publication number: KR101626780B1
Application number: KR1020100004068A
Authority: KR
Inventors: 마사야 타마루; 마코토 오이시; 코이치 타나카
Original assignee: 후지필름 가부시키가이샤
Priority date: 2009-01-15
Filing date: 2010-01-15
Publication date: 2016-06-02
Also published as: US20100177208A1; EP2239707A1; EP2239707B1; KR20100084140A; US8587684B2; CN101795355B; JP2010166289A; JP5214476B2; CN101795355A

Abstract

[과제] 처리 시간이나 메모리 용량을 증대시킴이 없이 효과적인 이동 촬영 화상을 취득한다.
[해결 수단] 이동 촬영에 의해 연속해서 촬상된 복수개의 화상(P1∼P4)을 취득하고, 취득된 복수개의 화상(P1∼P4)으로부터 기준 화상(P2)을 선택하고, 선택된 기준 화상(P2)을 제외한 복수개의 대응 화상(P1, P3, P4) 각각에 있어서 동체 영역을 특정하고, 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 복수개의 대응 화상(P1, P3, P4) 각각을 기준 화상(P2)에 위치 맞춤하고, 위치 맞춤된 복수개의 대응 화상(P1, P3, P4)과 기준 화상(P2)을 합성해서 합성 화상(C)을 취득한다.

Description

촬상 장치, 화상 처리 방법 및 프로그램{IMAGING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}

본 발명은 디지털 스틸 카메라 등의 촬상 장치에 관한 것으로서, 특히 이동 촬영 기능이 있는 촬상 장치 및 이동 촬영 화상을 처리하는 화상 처리 방법 및 프로그램에 관한 것이다.

종래부터 도 10a에 나타내는 바와 같이, 예를 들면 차 등의 동체(動體)(D)의 움직임에 추종해서 카메라(1')를 패닝(panning)시키면서 촬영을 행함으로써 도 10b의 좌측 도면에 나타내는 바와 같이, 동체(차)(D)는 정지되어 있지만 노출 중에 카메라(1')가 이동한만큼 배경(나무)(T)이 지나간 스피드감이 있는 화상(P)을 얻는 소위 이동 촬영이라는 촬영 기술이 알려져 있다. 그러나, 동체(D)의 움직임에 추종해서 카메라(1')를 패닝시키는 것은 난이도가 높은 촬영 기술이며 실패도 많고, 실패하면 도 10b의 우측 도면에 나타내는 바와 같이, 배경(T)은 지나가지만 동체(D)가 흔들린 화상(P)으로 되어버린다.

그래서, 간단하게 이동 촬영을 행하기 위한 방법으로서 카메라(1')를 패닝하면서 연사 촬영을 행하고, 도 11a에 나타내는 바와 같이, 복수개의 프레임 화상(P1∼P4)을 취득하고, 취득된 복수개의 프레임 화상(P1∼P4) 중에서 기준 프레임 화상(예를 들면, P2)을 선택해서 이 기준 프레임 화상(P2)의 동체(D2)의 위치에 다른 프레임 화상(P1, P3, P4)의 동체(D1∼D4) 부분이 각각 대략 일치하도록 프레임 화상(P1, P3, P4)에 대하여 위치 맞춤 처리를 행한 후에 복수개의 프레임 화상(P1∼P4)을 합성함으로써 동체(D)와 카메라(1')의 움직임이 다소 어긋나 있어도 동체(D) 부분이 정지된 화상(C)을 얻는 방법이 제안되어 있다(특허 문헌 1).

그러나, 특허 문헌 1에 기재된 방법에서는 동체(D) 부분은 확실히 정지하지만, 예를 들면 배경(T)이 도 11a 중의 화상(P)의 좌측으로부터 우측(수평 방향)으로 정렬되어 있고, 동체(D)가 도 11a 중의 화상(P)의 깊이측으로부터 앞쪽으로 향해서, 즉 카메라(1')에 가까워지는 방향으로 이동하고 있을 경우에는 동체(D)에 대하여 위치 맞춤을 행하면 도 11b에 나타내는 바와 같이, 위치 맞춤에 의해 각 프레임 화상(P1∼P4) 사이에 화상(P)의 깊이측으로부터 앞쪽 방향의 흔들림이 발생하고, 도 11a에 나타내는 바와 같이, 배경(T)의 흐름이 불연속으로 되어버리는 경우가 있다. 이것은 동체(D)가 이동하는 방향과 카메라(1')의 패닝 방향이 완전히 일치하지 않은 것에 기인하는 것이고, 배경(T)이 불연속으로 된 경우 화상(P)은 부자연스러운 흐름 방향이 되어버려 화상(P)의 스피드감이 손상되어 버릴 우려가 있다.

여기서, 복수개의 프레임 화상(P1∼P4)을 각각 동체(D) 부분과 배경(T) 부분으로 분할하고, 동체(D) 부분만을 복수개의 프레임 화상(P1∼P4) 사이에 위치 맞춤시키면서 합성하고, 배경(T) 부분은 동체(D)의 모션 벡터와 배경(T)의 모션 벡터의 차분 벡터의 방향과 크기에 따라 배경(T)에 브러시 처리를 함으로써 보간 화상을 작성해서 합성하는 것으로 이동 촬영의 효과를 내는 방법이 제안되어 있다(특허 문헌 2).

일본특허공개제2006-25312호공보 일본특허공개제2007-74031호공보

그러나, 특허 문헌 2에 기재된 방법에서는 보간 화상을 작성하기 위한 처리 시간이나 메모리의 용량 등이 증대되어 버릴 우려가 있다.

본 발명은 이러한 사정을 고려하여 이루어진 것으로서 처리 시간이나 메모리 용량을 증대시킴이 없이 효과적인 이동 촬영 화상을 취득할 수 있는 촬상 장치 및 화상 처리 방법 및 프로그램을 제공하는 것을 목적으로 하는 것이다.

본 발명의 촬상 장치는 피사체를 촬상해서 화상을 취득하는 촬상 수단과,

상기 촬상 수단에 복수개의 화상을 연속해서 취득시키는 촬상 제어 수단과,

상기 복수개의 화상으로부터 1개의 기준 화상을 선택하는 기준 화상 선택 수단과,

상기 기준 화상 선택 수단에 의해 선택된 기준 화상을 제외한 복수개의 대응 화상 각각에 있어서 동체 영역을 특정하는 동체 영역 특정 수단과,

상기 복수개의 화상이 이동 촬영에 의해 촬영되고 있을 때에 상기 복수개의 대응 화상 각각을 상기 기준 화상에 위치 맞춤하는 것이고, 상기 동체 영역 특정 수단에 의해 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 상기 위치 맞춤하는 위치 맞춤 수단과,

상기 위치 맞춤 수단에 의해 위치 맞춤된 복수개의 대응 화상과 상기 기준 화상을 합성하는 합성 수단을 구비하고 있는 것을 특징으로 하는 것이다.

여기서, 본 발명에 있어서 「위치 맞춤량」이란 기준 화상 중의 소정 영역과 대응 화상 중의 소정 영역을 대략 일치시켜서 위치 맞춤했을 때를 100(%)로 하고, 기준 화상 중의 소정 영역과 대응 화상 중의 소정 영역을 이동시키지 않고 그대로의 상태에서 위치 맞춤했을 때를 0(%)로 한다. 또한, 기준 화상 중의 소정 영역과 대응 화상 중의 소정 영역을 어긋나게 해서 일치시켰을 때에는 이 어긋난 양에 따라 비율이 결정되는 것으로 한다.

또한, 본 발명에 있어서 「동체 영역」이란 촬상 소자에 있어서의 화상의 촬상 영역 중 촬상시의 촬상 소자에 대하여 상대적으로 움직이고 있는 피사체가 촬상되고 있는 영역을 의미하는 것으로 한다. 또한, 동체 영역은 동체만의 영역이어도 좋고 동체를 둘러싸는 소정 범위의 영역이어도 좋다. 또한, 「비동체 영역」이란 화상의 촬상 영역 중 동체 영역 이외의 영역을 의미하는 것으로 한다.

또한, 본 발명에 있어서 「연속해서 취득된 복수개의 화상」이란, 통상 1회의 노광에 의해 촬상을 행하는 것을 복수회로 분할해서 노광을 행하여 복수회의 노광에 각각 대응해서 촬상된 화상을 의미하는 것으로 한다.

본 발명의 촬상 장치에 있어서는 상기 동체 영역은 상기 화상 중에서 미리 정해진 소정 영역이어도 좋다.

또한, 본 발명의 촬상 장치에 있어서는 상기 기준 화상으로부터 특징점을 검출하는 특징점 검출 수단과,

상기 복수개의 대응 화상 각각에 있어서 상기 특징점 검출 수단에 의해 검출된 특징점에 대응하는 대응점을 검출하는 대응점 검출 수단을 구비하고,

상기 동체 영역 특정 수단이 상기 특징점 검출 수단에 의해 검출된 특징점과 상기 대응점 검출 수단에 의해 검출된 대응점으로부터 상기 동체 영역을 특정하는 것이 바람직하다.

또한, 본 발명의 촬상 장치는 상기 비동체 영역의 위치 맞춤량을 0으로 해서 상기 위치 맞춤을 행하여도 좋다.

본 발명의 화상 처리 방법은 이동 촬영에 의해 연속해서 촬상된 복수개의 화상을 취득하고,

상기 취득된 복수개의 화상으로부터 기준 화상을 선택하고,

상기 선택된 기준 화상을 제외한 복수개의 대응 화상 각각에 있어서 동체 영역을 특정하고,

상기 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 상기 복수개의 대응 화상 각각을 상기 기준 화상에 위치 맞춤하고,

상기 위치 맞춤된 복수개의 대응 화상과 상기 기준 화상을 합성하는 것을 특징으로 하는 것이다.

또한, 본 발명의 화상 처리 방법에 있어서는 상기 기준 화상으로부터 특징점을 검출하고,

상기 복수개의 대응 화상 각각으로부터 상기 특징점에 대응하는 대응점을 검출하고,

상기 검출된 특징점과 대응점으로부터 상기 동체 영역을 특정하는 것이 바람직하다.

또한, 본 발명의 화상 처리 방법에 있어서는 상기 비동체 영역의 위치 맞춤량을 0으로 해서 상기 위치 맞춤을 행할 수 있다.

본 발명의 프로그램은 컴퓨터에,

이동 촬영에 의해 연속해서 촬상된 복수개의 화상을 취득하고,

상기 취득된 복수개의 화상으로부터 기준 화상을 선택하고,

상기 위치 맞춤된 복수개의 대응 화상과 상기 기준 화상을 합성하는 것을 실행시키는 것을 특징으로 하는 것이다.

또한, 본 발명의 프로그램에 있어서는 컴퓨터에,

상기 기준 화상으로부터 특징점을 검출하고,

상기 검출된 특징점과 대응점으로부터 상기 동체 영역을 특정하는 것을 실행시키는 것이 바람직하다.

또한, 본 발명의 프로그램에 있어서는 컴퓨터에 상기 비동체 영역의 위치 맞춤량을 0으로 해서 상기 위치 맞춤을 행하는 것을 실행시킬 수 있다.

<발명의 효과>

본 발명의 촬상 장치 및 화상 처리 방법 및 프로그램에 의하면 이동 촬영에 의해 연속해서 촬상된 복수개의 화상을 취득하고, 취득된 복수개의 화상으로부터 기준 화상을 선택하고, 선택된 기준 화상을 제외한 복수개의 대응 화상 각각에 있어서 동체 영역을 특정하고, 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 복수개의 대응 화상 각각을 기준 화상에 위치 맞춤하고, 위치 맞춤된 복수개의 대응 화상과 기준 화상을 합성하는 것이므로, 동체 영역과 비동체 영역을 분리해서 위치 맞춤함으로써 보간 화상을 작성할 필요가 없고 보간 화상의 작성에 요하는 처리 시간이나 보간 화상을 기억하는 메모리를 절약할 수 있어 처리 시간이나 메모리 용량을 증대시킴이 없이 효과적인 이동 촬영 화상을 취득할 수 있다.

도 1은 본 발명의 일실시형태에 의한 촬상 장치를 적용한 디지털 카메라의 외관을 나타내는 도면(정면측).
도 2는 본 발명의 일실시형태에 의한 촬상 장치를 적용한 디지털 카메라의 외관을 나타내는 도면(배면측).
도 3은 본 발명의 일실시형태에 의한 촬상 장치를 적용한 디지털 카메라의 내부 구성을 나타내는 개략 블록도.
도 4는 도 3의 디지털 카메라에 의한 촬상 처리의 플로우챠트.
도 5는 도 4의 촬상 처리의 개념도.
도 6은 동체 영역의 특정 방법을 설명하는 도면.
도 7은 워핑을 설명하는 도면.
도 8은 소정 영역의 일례를 나타내는 도면
도 9는 본 발명의 일실시형태에 의한 화상 처리 방법을 적용한 화상 처리의 플로우챠트.
도 10a는 이동 촬영을 설명하기 위한 도면.
도 10b는 이동 촬영 화상의 성공예와 실패예의 일례를 나타내는 도면.
도 11a는 종래의 이동 촬영 화상의 취득 방법을 설명하는 도면.
도 11b는 종래의 이동 촬영 화상의 문제점을 설명하는 도면.

이하, 도면을 참조해서 본 발명의 실시형태에 대해서 설명한다. 도 1 및 도 2는 본 발명의 실시형태에 의한 촬상 장치를 적용한 디지털 카메라(1)의 외관을 나타내는 도면이다. 도 1 및 도 2에 나타내는 바와 같이, 이 디지털 카메라(1)의 상부에는 릴리즈 버튼(2), 전원 버튼(3) 및 줌 레버(4)가 구비되어 있다.

릴리즈 버튼(2)은 2단계의 눌러짐에 의해 2종류의 동작을 지시할 수 있는 구조로 되어 있다. 예를 들면, 자동 노출 조정 기능(AE: Auto Exposure), 자동 초점 조절 기능(AF: Auto Focus)을 이용한 촬영에서는 디지털 카메라(1)는 릴리즈 버튼(2)이 가볍게 눌러지는 제 1 누름 조작(반누름이라고 함)이 되었을 때에 노출 조정, 초점 맞춤 등의 촬영 준비를 행한다. 그 상태에서, 릴리즈 버튼(2)이 강하게 눌러지는 제 2 누름 조작(완전 누름이라고 함)이 되면 디지털 카메라(1)는 노광을 개시하고, 노광에 의해 얻어진 1화면분의 화상 데이터를 기록 미디어(34)에 기록한다.

디지털 카메라(1)의 뒷면에는 액정 등의 모니터(5), 촬영 모드 등의 설정에 이용되는 모드 다이얼(6) 및 뒤에 각종 조작 버튼(8)이 구비되어 있다. 또한, 본 실시형태에 있어서는 촬영을 행하는 촬영 모드 및 기록 미디어(34)에 기록된 화상을 모니터(5)에 재생하는 재생 모드 등을 설정 가능하게 되어 있다. 또한, 촬영 모드로서는 통상의 촬영을 행하기 위한 통상 촬영 모드 외에 이동 촬영의 촬영을 행하기 위한 이동 촬영 모드가 설정 가능하게 되어 있다.

이어서, 디지털 카메라(1)의 내부 구성에 대해서 설명한다. 도 3은 본 발명의 실시형태에 의한 촬상 장치를 적용한 디지털 카메라의 내부 구성을 나타내는 개략 블록도이다. 도 3에 나타내는 바와 같이, 본 실시형태에 의한 촬상 장치를 적용한 디지털 카메라(1)는 촬상계(촬상 수단)(9)를 갖는다.

촬상계(촬상 수단)(9)는 피사체에 포커스를 맞추기 위한 포커스 렌즈(10a) 및 줌 기능을 실현하기 위한 줌 렌즈(10b)로 이루어지는 촬영 렌즈(10)를 갖는다. 각각의 렌즈는 모터와 모터 드라이버로 이루어지는 포커스 렌즈 구동부(11) 및 줌 렌즈 구동부(12)에 의해 광축 방향으로 이동 가능하다. 포커스 렌즈 구동부(11)는 후술하는 AF 처리부(28)로부터의 지시에 의거하여, 줌 렌즈 구동부(12)는 줌 레버(4)의 조작에 따른 CPU(22)로부터의 지시에 의거하여 각각의 렌즈의 이동을 제어한다.

조리개(14)는 복수개의 조리개 날로 이루어진다. 조리개 구동부(15)는 스텝핑 모터 등 소형의 모터로 AE 처리부(29)로부터 출력되는 조리개 값 데이터에 따라 조리개의 개구 사이즈가 목적에 알맞은 사이즈가 되도록 조리개 날의 위치를 조정한다.

셔터(16)는 메커니컬 셔터이고 셔터 구동부(17)에 의해 구동된다. 셔터 구동부(17)는 릴리즈 버튼의 눌러짐에 의해 발생되는 신호와, AE 처리부(29)로부터 출력되는 셔터 스피드 데이터에 따라 셔터(16)의 개폐의 제어를 행한다.

셔터(16)의 후방에는 촬상 소자(18)를 갖고 있다. 본 실시형태에 있어서는 CMOS 타입의 촬상 소자(18)를 사용하는 것으로 한다. 촬상 소자(18)는 다수의 수광 소자를 2차원적으로 배열된 광전면을 갖고 있고, 촬영 렌즈(10) 등의 광학계를 통과한 피사체광이 이 광전면에 결상되고 광전 변환된다. 광전면의 전방에는 각 화소에 광을 수집하기 위한 마이크로 렌즈 어레이와, R, G, B 각 색의 필터가 규칙적으로 배열된 칼라 필터 어레이가 배치되어 있다. 촬상 소자(18)는 촬상 소자 제어부(19)로부터 공급되는 판독 신호에 동기되어 화소마다 축적된 전하를 1화소씩 아날로그 촬영 신호로서 출력한다. 또한, 각 화소에 있어서 전하의 축적을 개시하고 나서 전하를 판독할 때까지의 시간, 즉 전자 셔터의 셔터 스피드는 촬상 소자 제어부(19)로부터 주어지는 전자 셔터 구동 신호에 의해 결정된다. 이 노광 시간은 후술하는 AE 처리부(29)에 의해 설정된다. 또한, 촬상 소자(18)는 촬상 소자 제어부(19)에 의해 미리 정해진 크기의 아날로그 촬상 신호가 얻어지도록 게인이 조정되어 있다.

촬상 소자(18)로부터 판독된 아날로그 촬영 신호는 아날로그 프론트 엔드(AFE)(20)에 입력된다. AFE(20)는 아날로그 신호의 노이즈를 제거하는 상관 2중 샘플링 회로(CDS)와, 아날로그 신호의 게인을 조절하는 오토 게인 컨트롤러(AGC)와, 아날로그 신호를 디지털 신호로 변환하는 A/D 컨버터(ADC)로 이루어진다. 이 디지털 신호로 변환된 화상 데이터는 화소마다 R, G, B의 농도값을 갖는 RAW 데이터이다.

타이밍 제너레이터(21)는 동기 신호를 발생시키는 것이고, 이 타이밍 신호를 셔터 구동부(17), 촬상 소자 제어부(19) 및 AFE(20)에 공급함으로써 릴리즈 버튼의 조작, 셔터(16)의 개폐, 촬상 소자(18)로부터의 전하의 판독 및 AFE(20)의 처리의 동기를 취하고 있다.

CPU(촬상 제어 수단)(22)는 릴리즈 버튼(2), 조작 버튼(8) 및 AE 처리부(29) 등의 각종 처리부로부터의 신호에 따라 디지털 카메라(1)의 본체 각 부를 제어한다. 또한, 본 실시형태에 있어서는 CPU(22)가 통상 촬영 모드로 설정되어 있을 경우에는 1회의 릴리즈 버튼의 완전 누름 조작에 따라 1회의 노광에 의해 촬상 소자(18)로부터 1회 전하를 판독하는 촬영을 촬상계(9)에 행하게 한다. 한편, 이동 촬영 모드로 설정되어 있을 경우에는 통상 1회의 전하의 판독을 행하는 것을 노광 기간 동안 복수회로 분할해서 전하의 판독을 행하는 소위 연사를 행하고, 각 회에 있어서 판독된 전하에 각각 대응하는 복수개의 화상을 취득한다. 또한, 복수개의 화상은 후술하는 바와 같이 합성되어서 합성 화상이 생성된다. 또한, 이동 촬영 모드에서는 AE 처리부(29)는 프리 화상에 의거하여 설정된 셔터 스피드, 즉 노광 시간(T0으로 함)에 의거하여 분할 후의 노광 시간, 즉 전하의 판독 간격(T로 함) 및 판독 회수(n)를 설정한다.

또한, 통상 촬영 모드에 의한 촬영시에 있어서는 AE 처리부(29)가 설정한 셔터 스피드에 의해 셔터(16)가 개방되어 촬상 소자(18)가 셔터 스피드에 대응하는 노광 시간(T0) 노광되어서 1회의 전하의 판독이 행하여진다. 한편, 이동 촬영 모드에 의한 촬영시에 있어서는 릴리즈 버튼의 누름 후 설정된 판독 회수(n)의 전하의 판독이 이루어지기까지의 동안 셔터(16)는 개방되고, 그 동안 설정된 노광 시간(T)의 간격에 의해 촬상 소자(18)로부터 반복해서 전하가 판독되는 연사가 행하여져 복수개의 화상이 취득된다.

예를 들면, 분할해서 촬영을 행하지 않을 경우(통상 촬영 모드시)의 노광 시간(T0)이 1/4초일 경우, 분할해서 촬영을 행할 경우(이동 촬영 모드시)의 노광 시간(T1)이 1/16초인 것으로 하면 이동 촬영 모드시에 있어서는 노광 시간(T1)이 1/16초인 노광이 4회 행하여지게 되어 4장의 프레임 화상이 취득된다.

또한, 이동 촬영 모드에서는 통상, 디지털 카메라(1)는 도 10a에 나타내는 바와 같이, 디지털 카메라(1)의 위치를 고정한 채, 동체(차)(D)의 움직임에 맞춰서 유저에 의해 좌우(수평 방향)로 움직이고 있는, 즉 패닝하고 있는 동안에 연사해서 복수개의 프레임 화상이 취득된다.

또한, 디지털 카메라(1)는 촬영시에 있어서 필요할 때에 발광되는 플래시(24)를 갖는다. 플래시(24)는 발광 제어부(23)에 의해 그 발광이 제어된다.

또한, 디지털 카메라(1)는 AFE(20)가 출력된 화상 데이터를 데이터 버스(42)를 통해서 다른 처리부에 전송하는 화상 입력 컨트롤러(25) 및 화상 입력 컨트롤러(25)로부터 전송된 화상 데이터를 일시 기억하는 프레임 메모리(26)를 구비한다.

프레임 메모리(26)는 화상 데이터에 대하여 후술의 각종 처리를 행할 때에 사용되는 작업용 메모리이고, 예를 들면 일정 주기의 버스 클록 신호에 동기되어 데이터 전송을 행하는 SDRAM(Synchronous Dynamic Random Access Memory)이 사용된다.

표시 제어부(27)는 프레임 메모리(26)에 격납된 화상 데이터를 스루 화상으로서 모니터(5)에 표시시키거나, 재생 모드시에 기록 미디어(34)에 보존되어 있는 화상을 모니터(5)에 표시시키기 위한 것이다. 또한, 스루 화상은 촬영 모드가 선택되어 있는 동안 타이밍 제너레이터(21)가 발생하는 동기 신호에 동기되어 소정 시간 간격으로 촬상계(9)에 의해 촬영된다.

AF 처리부(28) 및 AE 처리부(29)는 프리 화상에 의거하여 촬영 조건을 결정한다. 이 예비 화상이란 릴리즈 버튼이 반 눌러지게 됨으로써 발생되는 반누름 신호를 검출한 CPU(22)가 촬상 소자(18)에 프리 촬영을 실행시킨 결과, 프레임 메모리(26)에 격납된 화상 데이터에 의해 나타내어지는 화상이다.

AF 처리부(28)는 프리 화상에 의거하여 포커스 렌즈(10a)의 포커싱 위치(focusing position)를 검출한다. 포커싱 위치의 검출 방식으로서는, 예를 들면 소망하는 피사체에 포커싱된 상태에서는 화상의 콘트라스트가 높아지게 된다는 특징을 이용해서 포커싱 위치를 검출하는 TTL 방식을 사용한다.

AE 처리부(29)는 프리 화상에 의거하여 피사체 휘도를 측정하고, 측정된 피사체 휘도에 의거하여 조리개 값 및 셔터 스피드를 노출 설정값으로서 설정해서 출력한다(AE 처리). 구체적으로는 프리 화상을, 예를 들면 8×8은 64의 측광 영역으로 분할하고, 각 영역의 밝기 및 미리 정해져서 후술하는 내부 메모리(35)에 기억된 프로그램 선도에 의거하여 셔터 스피드 및 조리개 값을 설정한다.

AWB 처리부(30)는 촬영시의 화이트 밸런스를 자동 조정한다(AWB 처리).

화상 처리부(31)는 본 화상의 화상 데이터에 대하여 밝기 보정, 계조 보정, 샤프니스 보정 및 색 보정 등의 화질 보정 처리 및 RAW 데이터를 휘도 신호인 Y 데이터와, 청색 색차 신호인 Cb 데이터 및 적색 색차 신호인 Cr 데이터로 이루어지는 YC 데이터로 변환하는 YC 처리를 행한다. 이 본 화상이란 릴리즈 버튼이 완전히 눌러지게 됨으로써 실행되는 본 촬영에 의해 촬상 소자(18)로부터 입력되어 AFE(20), 화상 입력 컨트롤러(25) 경유에 의해 프레임 메모리(26)에 격납된 화상 데이터에 의해 나타내어지는 화상이다.

압축/신장 처리부(32)는 화상 처리부(31)에 의해 처리가 행하여진 본 화상의 화상 데이터에 대하여, 예를 들면 JPEG 등의 압축 형식으로 압축 처리를 행하여 화상 파일을 생성한다. 이 화상 파일에는 Exif 포맷 등에 의거하여 촬영 일시 등의 부대 정보가 격납된 태그가 부가된다.

미디어 제어부(33)는 도면에 나타내지 않은 미디어 스로틀(throttle)에 착탈 가능하게 세팅된 기록 미디어(34)에 액세스해서 화상 파일의 기입과 판독의 제어를 행한다.

기록 미디어(34)는 각종 데이터를 기억 가능한 기록 매체이고, 자기적 또는 광학적 기록 매체, 반도체 메모리 등으로 구성되어 있다.

내부 메모리(35)는 디지털 카메라(1)에 있어서 설정되는 각종 정수, 룩업 테이블 및 CPU(22)가 실행되는 프로그램 등을 기억한다.

기준 화상 선택부(기준 화상 선택 수단)(36)는 이동 촬영 모드에 의해 촬상계(9)에 의해 연속해서 취득된 복수개의 프레임 화상으로부터 1개의 기준 화상을 선택한다.

특징점 검출부(특징점 검출 수단)(37)는 기준 화상 선택부(36)에 의해 선택된 기준 화상으로부터 복수개의 특징점을 검출한다. 특징점은 피사체의 각이 진 부분이나 화상 패턴 등으로서 특징을 갖는 점이고 화소 신호의 구배 정보 등에 의거하여 검출된다. 특징점의 검출 방법으로서는, 예를 들면 Moravec의 방법이나, Harris의 방법, Shi-Tomai의 방법 등을 사용할 수 있지만 본 발명에 있어서는 특징점을 추출할 수 있으면 추출 방법은 한정되지 않는다.

대응점 검출부(대응점 검출 수단)(38)는 특징점 검출부(37)에 의해 추출된 특징점이 기준 화상 선택부(36)에 의해 선택된 기준 화상을 제외한 복수개의 대응 화상에 있어서 어느 위치로 이동되었는지를 추종함으로써 대응점을 검출한다. 대응점은 특징점의 특징과 대략 일치하는 점이고, 대응점의 검출 방법으로서는, 예를 들면 KLT-Tracker의 방법, 블록 매칭 등을 사용할 수 있지만 본 발명에 있어서는 대응점을 검출할 수 있으면 검출 방법은 한정되지 않는다.

동체 영역 특정부(동체 영역 특정 수단)(39)는 기준 화상 선택부(36)에 의해 선택된 기준 화상을 제외한 복수개의 대응 화상 각각에 있어서 동체 영역을 특정한다. 또한, 동체 영역의 특정 방법에 대해서는 나중에 상세하게 설명한다.

위치 맞춤부(위치 맞춤 수단)(40)는 복수개의 화상이 이동 촬영에 의해 촬영되고 있을 때에 복수개의 대응 화상 각각을 기준 화상에 위치 맞춤하는 것이고, 본 발명에 있어서 특징적으로는 특정 영역 특정부(39)에 의해 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 위치 맞춤을 행하는 것이다. 또한, 이 위치 맞춤의 방법에 대해서는 나중에 상세하게 설명한다.

합성부(합성 수단)(41)는 위치 맞춤부(40)에 의해 위치 맞춤된 복수개의 대응 화상과 기준 화상을 합성해서 합성 화상을 생성한다. 또한, 합성은 복수개의 화상에 대해서 복수개의 화상 사이의 대응되는 화소값을 가산함으로써 행하여도 좋고 화소값의 평균값을 산출함으로써 행하여도 좋다. 또한, 이 합성 방법에 대해서는 나중에 상세하게 설명한다.

데이터 버스(42)는 각종 처리부, 프레임 메모리(26) 및 CPU(22) 등에 접속되어 있어 화상 데이터 및 각종 지시 등의 전송을 행한다. 이상과 같이 해서 디지털 카메라(1)가 구성되어 있다.

이어서, 본 실시형태에 있어서 행하여지는 처리에 대해서 설명한다. 도 4는 디지털 카메라(1)에 의한 촬상 처리의 플로우 챠트, 도 5는 도 4의 촬상 처리의 개념도, 도 6은 동체 영역의 특정 방법을 설명하는 도면, 도 7은 워핑(warping)을 설명하는 도면, 도 8은 소정 영역의 일례를 나타내는 도면이다.

상기한 바와 같이 구성된 본 실시형태의 디지털 카메라(1)는 도 4에 나타내는 바와 같이, 우선 CPU(22)는 이동 촬영 모드가 설정되어 있는지의 여부를 판별한다(스텝 S1). 이동 촬영 모드가 설정되어 있는 경우(스텝 S1; 예)에는 CPU(22)는 릴리즈 버튼(2)이 완전히 눌러졌는지의 여부를 판별하고(스텝 S2), 완전히 눌러져 있지 않은 경우(스텝 S2; 아니오)에는 릴리즈 버튼(2)이 완전히 눌러질 때까지 스텝 S2의 처리를 반복해서 행한다.

한편, 스텝 S2에서 릴리즈 버튼(2)이 완전히 눌러졌을 경우(스텝 S2;예)에는 CPU(22)가 촬상계(9)에 복수개의 프레임 화상을 연속해서 취득시키는 소위 연사를 행하게 한다(스텝 S3).

이동 촬영은 동체인 차(D)의 움직임에 추종하도록 유저에 의해 디지털 카메라(1)가 수평 방향으로 패닝되어서 행하여지는 것이기 때문에 이 연사에 의해 얻어지는 복수개의 프레임 화상은 디지털 카메라(1)가 수평 방향으로 패닝되고 있는 동안에 취득된다(도 10a 참조).

예를 들면, 도 5에 나타내는 바와 같이, 전체의 노광 시간이 1/4초인 때에 1/16초씩 4장의 프레임 화상(P1∼P4)으로 분할해서 촬영되었을 경우에는 유저가 디지털 카메라(1)를 수평 방향으로 패닝한 것에 의해 비동체인 배경의 나무(T1∼T4)는 프레임 화상(P1∼P4) 사이에 수평 방향으로 이동되고 있지만, 동체인 차(D1∼D4)는 조금씩 디지털 카메라(1) 측으로 근접해 있기 때문에 배경의 나무(T1∼T4)와 차(D1∼D4)의 화상 중의 깊이 방향의 위치 관계가 어긋나게 되어 있다.

또한, 각 프레임 화상(P1∼P4)도 노광 시간이 1/16초이기 때문에 배경의 나무(T1∼T4)는 그 노광 시간만큼의 수평 방향의 흔들림이 생기게 되어 있지만 차(D1∼D4)는 디지털 카메라(1)의 패닝에 의해 수평 방향의 흔들림이 작아지게 된다.

디지털 카메라(1)가 연사에 의해 상기와 같은 복수개의 프레임 화상(P1∼P4)을 취득하고(스텝 S3), 이어서 기준 화상 선택부(36)가 복수개의 프레임 화상(P1∼P4)으로부터 1개의 기준 프레임 화상(이하, 기준 화상이라고 함)을 선택한다(스텝 S4). 본 실시형태에서는 도 5에 나타내는 바와 같이, 프레임 화상(P2)을 기준 화상으로서 선택하지만 기준 화상의 선택 방법은 특별하게 한정되는 것은 아니고 어느쪽의 프레임 화상을 선택해도 좋다.

기준 화상(P2)이 선택되면(스텝 S4) 특징점 검출부(37)가 선택된 기준 화상(P2)으로부터 특징점을 검출한다(스텝 S5). 그리고 이어서, 대응점 검출부(38)가 기준 화상(P2)을 제외한 복수개의 대응 프레임 화상(이하, 대응 화상이라고 함)(P1, P3, P4) 각각에 있어서 대응점을 검출한다(스텝 S6).

대응점의 검출은 도 5에 나타내는 바와 같이, 기준 화상(P2)의 특징점이 복수개의 대응 화상(P1, P3, P4) 각각에 있어서 어느 위치로 이동되었는지를 추종함으로써 검출된다. 이 추종 결과는 도 5 중의 위로부터 2번째의 공정에 나타내는 바와 같이, 모션 벡터로서 표현될 수 있고 화살표의 시점이 특징점, 종점이 대응점을 나타내고 있다.

이와 같이 해서 대응점이 검출되면(스텝 S6), 이어서 동체 영역 특정부(39)가 동체 영역을 특정한다(스텝 S7). 여기서 본 실시형태에 있어서의 동체 영역의 특정은 대응점의 검출 결과를 이용하여 행하는 것으로 한다. 상술한 바와 같이, 이동 촬영을 행하는 경우에는 유저에 의해 동체인 차(D)에 추종하도록 디지털 카메라(1)가 패닝되므로 화면 중앙부 근처의 짧은 모션 벡터가 동체 영역일 가능성이 높고, 또한 수평 방향으로 긴 모션 벡터는 비동체 영역일 가능성이 높다. 따라서, 예를 들면 모션 벡터의 수평 성분이 소정의 임계값보다 작을 경우에는 동체 영역의 특징점으로 판단될 수 있다.

그리고, 동체 영역의 특징점을 특정하면 도 6에 나타내는 바와 같이, 예를 들면 특징점의 주위의 소정 직사각형 범위를 동체 영역으로 설정함으로써 동체 영역의 마스크 화상을 생성하고, 마스크 화상의 경계를 보다 매끄럽게 하기 위해서 이 마스크 화상에 대하여 공간 방향의 평활화 처리를 행하고, 평활화 처리가 행하여진 영역을 도 5의 위로부터 3번째의 공정에 나타내는 바와 같이 동체 영역으로서 특정한다. 또한, 본 실시형태에서는 동체 영역의 특정을 도 6에 나타내서 상기에 설명한 바와 같이 행하였지만 대응점 검출 결과를 이용해서 동체 영역을 특정하는 방법은 이미 수많이 제안되어 있기 때문에 상기와는 다른 공지의 방법을 사용하여도 좋다.

상기한 바와 같이 해서 동체 영역이 특정되면(스텝 S7), 이어서 위치 맞춤부(40)가 대응점의 수정을 행한다(스텝 S8). 대응점의 수정은 도 5의 위로부터 4번째의 공정에 나타내는 바와 같이, 특정된 동체 영역의 범위 내의 모션 벡터는 그대로의 상태로 하고, 동체 영역 이외의 비동체 영역에 대해서는 미리 정해진 격자점에 있어서 성분 제로의 모션 벡터를 설정한다.

또한, 격자점 간격을 작게 설정하면 도 7의 삼각형 분할에 있어서의 각 삼각형이 작아지기 때문에 동체 영역과 비동체 영역의 경계 부분을 걸치는 삼각형을 작게 할 수 있고, 워핑에 의한 동체 영역 주변의 왜곡을 저감할 수 있지만 이 경우 처리되는 삼각형의 수가 많아지기 때문에 처리에 시간을 요하므로 격자점의 설정은 유저가 화질과 처리 시간의 관계를 고려해서 적절하게 설정 변경 가능하게 한다.

그리고, 수정된 대응점 정보, 즉 수정된 모션 벡터를 도 7에 나타내는 바와 같이, 대응 화상(P1, P3, P4)에 대해서는 동체 영역의 범위의 모션 벡터의 종점 즉 대응점을 특징점으로 하고, 기준 화상(P2)에 대해서는 동체 영역의 범위의 모션 벡터의 시점을 특징점으로 하여 각각의 프레임 화상(P1∼P4)에 대해서 각 특징점을 정점으로 잡는 삼각형으로 화상 전체를 분할한다. 이 때 각 프레임 화상(P1∼P4) 사이에 대응하는 특징점은 같은 삼각형의 같은 정점이 되도록 한다. 또한, 삼각형 분할방법으로서는 Delaunay 삼각형 분할법 등의 공지의 기술을 사용할 수 있다.

그리고 이어서, 위치 맞춤부(40)는 도 7에 나타내는 바와 같이, 3각형 단위로 아핀(affine) 변환을 행함으로써 화상을 변형하는 워핑을 행한다(스텝 S9). 워핑은 대응 화상(P1, P3, P4) 중의 동체 영역의 특징점의 좌표값이 기준 화상(P2) 중의 동체 영역의 특징점의 좌표값에 일치되도록 대응 화상(P1, P3, P4)을 기하 변환하는 것이고, 잘 알려진 모핑(morphing)과 같은 처리에 의해 행할 수 있다. 그리고, 3각형 단위에서의 아핀 변환은 기하학 변환인 하기식 (1)로 표현된다.

상기 식 (1)에 대응하는 삼각형의 3개의 정점의 좌표(xi, yi)=(x'i, y'i)(i=1, 2, 3)을 대입하고, 6연립 방정식을 푸는 것으로 a, b, c, d, s, t의 6개의 파라미터를 구할 수 있다. 그리고, 산출된 파라미터에 의거해서 모든 삼각형의 내부의 점, 즉 각 화소를 아핀 변환함으로써 화상을 변형해서 워핑을 종료한다.

상기한 바와 같이 해서 워핑된 대응 화상(P1, P3, P4)은 각각의 대응 화상(P1, P3, P4) 중의 동체 영역이 기준 화상(P2) 중의 동체 영역과 대략 일치하고, 비동체 영역은 변화되어 있지 않은 화상이 된다. 즉, 도 5의 위로부터 5번째의 공정에 나타내는 바와 같이, 비동체 영역인 배경, 예를 들면 나무(T1, T3, T4)의 화상 중의 위치는 각 처리 전인 도 5의 1번째의 공정에 나타내는 대응 화상(P1, P3, P4)의 나무(T1, T3, T4)의 화상 중의 위치와 바뀌지 않는, 즉 위치 맞춤량이 0이 되고, 동체 영역인 차(D1, D3, D4)의 화상 중의 위치는 각 처리 전인 도 5의 1번째의 공정에 나타내는 대응 화상(P1, P3, P4)의 차(D1, D3, D4)의 위치와 대략 일치하는, 즉 위치 맞춤량이 100%가 된다.

이와 같이, 동체 영역이 비동체 영역보다 위치 맞춤량이 많아지도록 대응 화상(P1, P3, P4)을 위치 맞춤한다. 또한, 본 실시형태에서 비동체 영역은 위치 맞춤량이 0, 즉 위치 맞춤을 행하고 있지 있으므로 삼각형 분할 등의 처리를 생략해도 좋다. 이와 같이 처리를 생략함으로써 처리 시간을 단축하는 것이 가능하게 된다.

그리고, 동체 영역의 위치 맞춤이 종료되면(스텝 S8, 9), 이어서, 합성부(41)가 위치 맞춤부(40)에 의해 위치 맞춤된 대응 화상(P1, P3, P4)과 기준 화상(P2)을 서로 겹침으로써 합성 화상(C)을 생성한다(스텝 S10). 이에 따라, 도 5의 최후의 공정에 나타내는 바와 같이, 동체인 차(D)는 정지하지만 비동체인 나무(T) 등의 배경은 디지털 카메라(1)의 움직임만에 의해 패닝 방향, 즉 수평 방향으로 흐른 자연스러운 화상을 취득할 수 있다.

한편, 스텝 S1에서 CPU(22)가 이동 촬영 모드가 설정되어 있지 않고 통상의 촬영 모드가 설정되어 있는 것으로 판별한 경우(스텝 S1;아니오)에는 디지털 카메라(1)는 1회의 노광에 의해 촬영을 행하는 통상의 촬영을 행하여 1장의 화상 데이터를 취득한다(스텝 S13).

그리고, 압축/신장 처리부(32)가 합성 화상(C)의 화상 데이터 또는 통상의 촬영에 의해 취득된 화상 데이터로부터 화상 파일을 생성하고(스텝 S11), 미디어 제어부(33)가 화상 파일을 기록 미디어(34)에 기록하고(스텝 S12) 처리를 종료한다.

이와 같이, 본 실시형태의 디지털 카메라(1)에 의하면 이동 촬영에 의해 연속해서 촬상된 복수개의 화상(P1∼P4)을 취득하고, 취득된 복수개의 화상(P1∼P4)으로부터 기준 화상(P2)을 선택하고, 선택된 기준 화상(P2)을 제외한 복수개의 대응 화상(P1, P3, P4) 각각에 있어서 동체 영역을 특정하고, 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 복수개의 대응 화상(P1, P3, P4) 각각을 기준 화상(P2)에 위치 맞춤하고, 위치 맞춤된 복수개의 대응 화상(P1, P3, P4)과 기준 화상(P2)을 합성하는 것이므로, 동체 영역과 비동체 영역을 분리해서 위치 맞춤함으로써 보간 화상을 작성하는 필요가 없고 보간 화상의 작성에 요하는 처리 시간이나 보간 화상을 기억하는 메모리를 절약할 수 있어 처리 시간이나 메모리 용량을 증대시킴이 없이 효과적인 이동 촬영 화상을 취득할 수 있다.

또한, 본 실시형태에서는 비동체 영역의 위치 맞춤량을 0으로 했지만 본 발명은 이것에 한정되는 것은 아니고, 도 5의 위로부터 2번째로 나타내어지는 비동체 영역의 모션 벡터의 수평 방향[디지털 카메라(1)의 패닝 방향]의 정보를 수정해도 좋다. 이와 같이, 비동체 영역의 수평 방향의 정보를 수정해서 복수개의 대응 화상(P1, P3, P4)에 있어서의 비동체 영역 각각을 기준 화상(P2)의 비동체 영역에 위치 맞춤할 때에 비동체 영역의 위치 맞춤량이 동체 영역의 위치 맞춤량보다 많아지지 않도록 함으로써 합성 화상(C) 중의 비동체인 배경의 흐름을 변경할 수 있으므로 합성 화상(C)에 있어서의 차(D)의 스피드감을 변경할 수 있다.

또한, 본 실시형태에서는 동체 영역 특정부(39)가 대응점 검출 결과를 근거로 함으로써 동체 영역의 특정을 행하였지만, 예를 들면 도 8에 나타내는 바와 같이, 예를 들면 미리 설정된 소정 영역(A)을 동체 영역으로서 특정하도록 하여도 좋다. 이 경우 유저가 이동 촬영을 행하는 스루 화상에는 이 소정 영역(A)이 표시되어 있고, 유저는 이 표시된 소정 영역(A) 내에 동체(D)가 들어가도록 디지털 카메라(1)를 패닝해서 이동 촬영을 행하도록 한다.

이어서, 본 발명의 실시형태에 의한 화상 처리 방법에 대해서 설명한다. 도 9는 본 발명의 일실시형태에 의한 화상 처리 방법을 적용한 화상 처리의 플로우챠트이다. 또한, 도 9는 도 4의 플로우 챠트와 마찬가지의 처리는 같은 스텝 번호로 나타내서 설명을 생략하고 다른 개소에 대해서만 상세하게 설명한다.

본 실시형태의 화상 처리 방법은 컴퓨터를 상기 기준 화상 선택부(36), 특징점 검출부(37), 대응점 검출부(38), 동체 영역 특정부(39), 위치 맞춤부(40), 합성부(41)에 대응하는 수단으로서 기능시켜서 행하는 화상 처리 방법이고, 도 9에 나타내는 바와 같이, 우선 컴퓨터에 입력된 복수개의 화상 파일의 화상 데이터가 이동 촬영에 의해 촬영된 화상인지의 여부를 판별한다(스텝 S20).

복수개의 화상이 이동 촬영에 의해 촬영된 화상 데이터일 경우(스텝 S20;예)에는 입력된 복수개의 화상 데이터를 취득하고(스텝 S21), 이동 촬영에 의해 촬영된 화상 데이터가 아닐 경우(스텝 S20;아니오)에는 이동 촬영에 의해 촬영된 화상 데이터의 화상 파일이 입력될 때까지 스텝 S20의 처리를 반복해서 행한다. 여기서, 이동 촬영에 의해 촬영된 화상 데이터인지의 여부의 판단은, 예를 들면 화상 파일에 부가된 태그의 정보에 의해 화상 데이터가 통상 촬영 모드에 의해 촬영되었는지, 이동 촬영 모드에 의해 촬영되었는지를 판단한다.

이와 같이 해서, 디지털 카메라 등에 의해 이동 촬영에 의해 연속해서 촬상된 복수개의 화상을 취득해서 상술된 실시형태의 디지털 카메라(1)와 마찬가지의 화상 처리를 행함으로써 디지털 카메라(1)와 마찬가지의 효과를 얻을 수 있다.

이상, 본 발명의 실시형태에 따른 디지털 카메라(1) 및 화상 처리 방법에 대해서 설명했지만 컴퓨터를 상기 기준 화상 선택부(36), 특징점 검출부(37), 대응점 검출부(38), 동체 영역 특정부(39), 위치 맞춤부(40), 합성부(41)에 대응하는 수단으로서 기능시켜 도 9에 나타내는 바와 같은 처리를 행하게 하는 프로그램도 본 발명의 실시형태의 하나이다. 또한, 그러한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 본 발명의 실시형태의 하나이다.

또한, 본 발명의 촬상 장치 및 화상 처리 방법 및 프로그램은 상술된 실시형태에 한정되는 것은 아니고 본 발명의 취지를 일탈하지 않는 범위에 있어서 적절하게 설계 변경 가능하다.

1 - 디지털 카메라
5 - 모니터
9 - 촬상계(촬상 수단)
22 - CPU(촬상 제어 수단)
36 - 기준 화상 선택부(기준 화상 선택 수단)
37 - 특징점 검출부(특징점 검출 수단)
38 - 대응점 검출부(대응점 검출 수단)
39 - 동체 영역 특정부(동체 영역 특정 수단)
40 - 위치 맞춤부(위치 맞춤 수단)
41 - 합성부(합성 수단)

Claims

피사체를 촬상해서 화상을 취득하는 촬상 수단;
상기 촬상 수단에 복수개의 화상을 연속해서 취득시키는 촬상 제어 수단;
상기 복수개의 화상으로부터 1개의 기준 화상을 선택하는 기준 화상 선택 수단;
상기 기준 화상 선택 수단에 의해 선택된 기준 화상을 제외한 복수개의 대응 화상 각각에 있어서 동체 영역을 특정하는 동체 영역 특정 수단;
상기 복수개의 화상이 각 화상 중에 있어서 배경이 이동하는 상태가 되는 이동 촬영에 의해 촬영되고 있을 때에 상기 복수개의 대응 화상 각각을 상기 기준 화상에 위치 맞춤하는 것이고, 상기 동체 영역 특정 수단에 의해 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 상기 위치 맞춤하는 위치 맞춤 수단; 및
상기 위치 맞춤 수단에 의해 위치 맞춤된 복수개의 대응 화상과 상기 기준 화상을 합성하는 합성 수단을 구비하고 있는 것을 특징으로 하는 촬상 장치.
제 1 항에 있어서,
상기 동체 영역은 상기 화상 중에서 미리 정해진 소정 영역인 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 기준 화상으로부터 특징점을 검출하는 특징점 검출 수단과,
상기 복수개의 대응 화상 각각에 있어서 상기 특징점 검출 수단에 의해 검출된 특징점에 대응되는 대응점을 검출하는 대응점 검출 수단을 구비하고;
상기 동체 영역 특정 수단이 상기 특징점 검출 수단에 의해 검출된 특징점과 상기 대응점 검출 수단에 의해 검출된 대응점으로부터 상기 동체 영역을 특정하는 것을 특징으로 하는 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 위치 맞춤 수단에 의한 상기 비동체 영역의 위치 맞춤량이 0인 것을 특징으로 하는 촬상 장치.
제 3 항에 있어서,
상기 위치 맞춤 수단에 의한 상기 비동체 영역의 위치 맞춤량이 0인 것을 특징으로 하는 촬상 장치.
각 화상 중에 있어서 배경이 이동하는 상태가 되는 이동 촬영에 의해 연속해서 촬상된 복수개의 화상을 취득하고;
상기 취득된 복수개의 화상으로부터 기준 화상을 선택하고;
상기 선택된 기준 화상을 제외한 복수개의 대응 화상 각각에 있어서 동체 영역을 특정하고;
상기 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 상기 복수개의 대응 화상 각각을 상기 기준 화상에 위치 맞춤하고;
상기 위치 맞춤된 복수개의 대응 화상과 상기 기준 화상을 합성하는 것을 특징으로 하는 화상 처리 방법.
제 6 항에 있어서,
상기 기준 화상으로부터 특징점을 검출하고;
상기 복수개의 대응 화상 각각으로부터 상기 특징점에 대응하는 대응점을 검출하고;
상기 검출된 특징점과 대응점으로부터 상기 동체 영역을 특정하는 것을 특징으로 하는 화상 처리 방법.
제 6 항 또는 7 항에 있어서,
상기 비동체 영역의 위치 맞춤량을 0으로 해서 상기 위치 맞춤을 행하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터에,
각 화상 중에 있어서 배경이 이동하는 상태가 되는 이동 촬영에 의해 연속해서 촬상된 복수개의 화상을 취득하고;
상기 취득된 복수개의 화상으로부터 기준 화상을 선택하고;
상기 선택된 기준 화상을 제외한 복수개의 대응 화상 각각에 있어서 동체 영역을 특정하고;
상기 특정된 동체 영역이 특정되지 않은 비동체 영역보다 위치 맞춤량이 많아지도록 상기 복수개의 대응 화상 각각을 상기 기준 화상에 위치 맞춤하고;
상기 위치 맞춤된 복수개의 대응 화상과 상기 기준 화상을 합성하는 것을 실행시키기 위한 프로그램이 기록된 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
제 9 항에 있어서,
컴퓨터에,
상기 기준 화상으로부터 특징점을 검출하고;
상기 복수개의 대응 화상 각각으로부터 상기 특징점에 대응하는 대응점을 검출하고;
상기 검출된 특징점과 대응점으로부터 상기 동체 영역을 특정하는 것을 실행시키기 위한 프로그램이 기록된 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
제 9 항 또는 제 10 항에 있어서,
컴퓨터에 상기 비동체 영역의 위치 맞춤량을 0으로 해서 상기 위치 맞춤을 행하는 것을 실행시키는 프로그램이 기록된 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.