KR100819811B1 - 촬상 장치 및 촬상 방법 - Google Patents

Abstract

본 발명은 복수의 화상을 합성할 때 손떨림 등에 의한 위치 어긋남을 정확하게 보정할 수 있는 촬상 장치 및 화상 합성 방법을 제공하는 것을 목적으로 하며, 이 목적을 달성하기 위하여 본 발명은, 1회의 촬영 동작으로 노광 시간을 시분할하여 복수회의 노광을 하여 복수의 화상을 촬상하는 촬상 장치로서, 하나의 노광의 화상 데이터 중에서 주 피사체의 주변에 화상 비교 영역을 설정하는 화상 비교 영역 설정부;와, 상기 하나의 노광에서의 상기 화상 비교 영역 내의 하나의 화상과, 다른 노광의 화상 데이터 중에서 상기 하나의 화상에 대응하는 다른 화상을 비교하여 상기 하나의 화상과 상기 다른 화상과의 상대적인 위치 어긋남을 검출하는 위치 어긋남 검출부;와, 상기 상대적인 위치 어긋남을 제거하여 상기 하나의 화상과 상기 다른 화상이 일치하도록 상기 복수의 화상을 합성하는 화상 합성부를 포함하는 촬상 장치를 개시한다.

Description

촬상 장치 및 촬상 방법{Photographing apparatus, and photographing method}

도 1은 본 발명의 실시예에 관한 촬상 장치의 구성을 도시한 개략적인 도면이다.

도 2는, 1회의 촬상 동작시에 수행되는 처리를 나타내는 타이밍 차트이다.

도 3은, 노광 후의 후처리를 나타내는 타이밍 차트이다.

도 4는, 복수회의 노광에 의해 얻어진 복수의 화상 중 4장를 도시한 도면이다.

도 5는, 도 4에 도시한 4장의 화상을 합성하여 얻어진 화상을 도시하고 있다.

도 6은, LCD에 촬상 화상과 함께 AF 영역이 표시된 상태를 도시하고 있다.

도 7은, AF 영역 중에 복수의 AF 영역들이 설정되어 있는 예를 도시한 도면이다.

도 8은, AF 영역과는 상관없이 비교 영역 데이터를 설정한 예를 도시한 도면이다.

도 9는, 비교 영역 데이터를 설정하는 영역을 촬영자가 임의로 설정할 수 있도록 한 예를 도시한 도면이다.

도 10은 본 실시예의 촬상 장치에서의 처리 순서를 도시한 흐름도이다.

* 도면의 주요부분에 대한 부호의 설명 *

100: 촬상 장치 120: 화상 합성부

130: 조작부 158: 비교 영역 설정부

160: 위치 어긋남 검출부 170, 170a, 170b, 170c: AF 영역

172, 174: 비교 영역 테두리

본 발명은 촬상 장치 및 화상 합성 방법에 관한 것으로, 더 상세하게는 복수의 화상을 합성할 때 위치 어긋남을 정확하게 보정할 수 있는 촬상 장치 및 화상 합성 방법에 관한 것이다.

근래에는 디지털 카메라 등의 기능을 이용하여 시간적으로 연속한 화상을 합성하는 기술이 알려져 있다. 예를 들면, 일본특허공보 2004-158905호에는 연속하여 촬상한 화상에서 이동 피사체를 검출하고, 이동 피사체를 비교 대상으로 하여 복수의 화상을 합성하는 방법이 개시되어 있다.

그러나, 복수의 화상을 촬상할 때에 손떨림 등이 발생하면 화상을 합성했을 때에 복수의 화상의 상호간 위치 어긋남이 생긴다는 문제가 있다. 특히, 주요 피사체가 움직이고 있는 경우에는 주요 피사체와 배경의 각각의 위치 어긋남 양이 다르기 때문에, 화상 전체를 비교 대상으로 하게 되면 위치 어긋남을 정확하게 보정하 는 것이 불가능해진다.

또한, 이동 피사체를 기준으로 하여 복수의 화상을 합성하면 배경의 화상에 어긋남이 생긴다는 문제점이 있다. 또한, 이동 피사체가 인물, 동물 등인 경우에는 피사체의 외형이 시시각각 변화하기 때문에, 이동 피사체를 기준으로 하여 복수의 화상을 합성하여 위치 어긋남을 보정하기 어렵다. 이 때문에, 손떨림 등이 발생한 경우에는 선명한 화상을 얻을 수 없다는 문제점이 생긴다.

본 발명의 주된 목적은, 복수의 화상을 합성할 때 손떨림 등에 의한 위치 어긋남을 정확하게 보정할 수 있는 촬상 장치 및 화상 합성 방법을 제공하는 데 있다.

본 발명은, 1회의 촬영 동작으로 노광 시간을 시분할하여 복수회의 노광을 하여 복수의 화상을 촬상하는 촬상 장치로서, 하나의 노광의 화상 데이터 중에서 주 피사체의 주변에 화상 비교 영역을 설정하는 화상 비교 영역 설정부;와, 상기 하나의 노광에서의 상기 화상 비교 영역 내의 하나의 화상과, 다른 노광의 화상 데이터 중에서 상기 하나의 화상에 대응하는 다른 화상을 비교하여 상기 하나의 화상과 상기 다른 화상과의 상대적인 위치 어긋남을 검출하는 위치 어긋남 검출부;와, 상기 상대적인 위치 어긋남을 제거하여 상기 하나의 화상과 상기 다른 화상이 일치하도록 상기 복수의 화상을 합성하는 화상 합성부를 포함하는 촬상 장치를 개시한다. 따라서, 상기 촬상 장치는, 촬영자의 손떨림 등에 의해 복수의 화상에 위치 어 긋남이 발생한 경우라 해도 위치 어긋남이 해소되도록 화상을 합성할 수 있다. 이로써 주 피사체가 움직이고 있는지 여부에 상관없이 손떨림을 보정한 선명한 화상을 얻을 수 있다.

여기서, 상기 하나의 노광은 상기 복수회의 노광의 최초의 노광이고, 상기 위치 어긋남 검출부는 상기 하나의 화상을 기준으로 하여 이후의 각 노광의 화상 데이터 중에서의 상기 다른 화상과의 상대적인 위치 어긋남을 검출할 수 있다. 이러한 구성은 최초의 노광의 화상을 기준으로 하여 이후의 노광의 화상을 합성할 수 있게 된다.

여기서, 상기 화상 비교 영역은 합초(合焦) 검출 영역의 영역 밖에 설정될 수 있다. 통상 합초 검출 영역은 화상의 중심에 위치하고 있으며, 주 피사체의 위치에 대응하고 있기 때문에 화상 비교 영역을 합초 검출 영역의 영역 밖에 설정함으로써 화상 비교 영역을 주 피사체의 주변에 설정할 수 있다.

여기서, 상기 화상 비교 영역은 화상의 바깥 테두리에서 중심을 향해 연장되는 소정 범위의 영역에 설정될 수 있다. 통상 주 피사체는 화상의 중심에 위치하고 있기 때문에 화상의 바깥 테두리에서 중심을 향해 연장되는 소정 범위의 영역에 화상 비교 영역을 설정함으로써 화상 비교 영역을 주 피사체의 주변에 설정할 수 있다.

여기서, 상기 화상 비교 영역의 위치를 설정하는 조작부를 구비하고, 상기 조작부의 조작에 의해 상기 화상 비교 영역의 위치가 임의로 설정될 수 있다. 이러한 구성은 촬영자가 조작부를 조작함으로써 화상 비교 영역을 주 피사체의 주변에 설정할 수 있게 된다.

또한, 본 발명은, 1회의 촬영 동작으로 노광 시간을 시분할하여 복수회의 노광을 수행하고, 얻어진 복수의 화상을 합성하는 화상 합성 방법으로서, 하나의 노광의 화상 데이터 중에서 주 피사체의 주변에 화상 비교 영역을 설정하는 제1 단계;와, 상기 화상 비교 영역 내의 하나의 화상을 기억하는 제2 단계;와, 다른 노광의 화상 데이터 중에서 상기 하나의 화상에 대응하는 다른 화상을 기억하는 제3 단계;와, 상기 하나의 화상과 상기 다른 화상과의 상대적인 위치 어긋남을 검출하는 제4 단계;와, 상기 상대적인 위치 어긋남을 제거하여 상기 하나의 화상과 상기 다른 화상이 일치하도록 상기 복수의 화상을 합성하는 제5 단계를 포함하는 화상 합성 방법을 개시한다. 따라서, 상기 화상 합성 방법은, 촬영자의 손떨림 등에 의해 복수의 화상에 위치 어긋남이 발생한 경우라 해도 위치 어긋남이 해소되도록 화상을 합성할 수 있다. 이로써 주 피사체가 움직이고 있는지 여부에 상관없이 손떨림을 보정한 선명한 화상을 얻을 수 있다.

여기서, 상기 하나의 노광은 상기 복수회의 노광의 최초의 노광이고, 상기 제4 단계에서 상기 하나의 화상을 기준으로 하여 이후의 각 노광의 화상 데이터 중에서의 상기 다른 화상과의 상대적인 위치 어긋남을 검출할 수 있다. 이러한 구성은 최초의 노광의 화상을 기준으로 하여 이후의 노광의 화상을 합성할 수 있게 된다.

여기서, 상기 제1 단계에서, 상기 화상 비교 영역은 합초 검출 영역의 영역 밖에 설정될 수 있다. 통상 합초 검출 영역은 화상의 중심에 위치하고 있으며, 주 피사체의 위치에 대응하고 있기 때문에 화상 비교 영역을 합초 검출 영역의 영역 밖에 설정함으로써 화상 비교 영역을 주 피사체의 주변에 설정할 수 있다.

여기서, 상기 제1 단계에서, 상기 화상 비교 영역은 화상의 바깥 테두리에서 중심을 향해 연장되는 소정 범위의 영역으로 설정될 수 있다. 통상 주 피사체는 화상의 중심에 위치하고 있기 때문에 화상의 바깥 테두리에서 중심을 향해 연장되는 소정 범위의 영역에 화상 비교 영역을 설정함으로써 화상 비교 영역을 주 피사체의 주변에 설정할 수 있다.

여기서, 상기 제1 단계에서, 상기 화상 비교 영역의 위치가 상기 주 피사체의 위치에 따라 임의로 설정될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

우선, 도 1을 참조하여 본 발명의 실시예에 관한 촬상 장치의 구성에 대해서 설명한다.

도 1은 본 발명의 실시예에 관한 촬상 장치(100)의 구성을 도시한 개략적인 도면이다.

도 1에 도시한 바와 같이, 본 발명의 실시예에 관한 촬상 장치(100)는, 줌렌즈(군)(102)와, 셔터(104)와, 조리개(106)와, 포커스 렌즈(군)(108)와, 촬상 소자로서의 CCD(Charge Coupled Devices) 소자(110)와, CDS(Correlated Double Sampling)/AMP(amplifier) 회로(112)와, A/D 변환기(114)와, 화상 입력 콘트롤 러(116)와, 화상 신호 처리부(118)와, 화상 합성부(120)와, 압축 처리부(122)와, LCD(Liquid Crystal Display) 드라이버(124)와, LCD(126)와, 타이밍 제너레이터(128)와, CPU(Central Processing Unit)(150)와, 조작부(130)와, 셔터 버튼(132)과, 메모리(134)와, VRAM(Video Random Access Memory)(136)과, 미디어 콘트롤러(138)와, 기록 미디어(140)와, 드라이버(142),(144),(146),(148)로 구성되어 있다.

줌 렌즈(102), 셔터(104), 조리개(106) 및 포커스 렌즈(108)는 각 드라이버(142),(144),(146),(148)에 의해 제어되는 액추에이터를 사이에 두고 구동된다.

줌렌즈(102)는, 광축 방향에 전후로 이동되어 초점 거리를 연속적으로 변화시키는 렌즈이다.

셔터(104)는 화상을 촬영할 때 CCD 소자(110)로의 노광 시간을 제어한다.

조리개(106)는 화상을 촬영할 때 CCD 소자(110)에 입사되는 광량을 조절한다.

포커스 렌즈(108)는 광축 방향에 전후로 이동되어, CCD 소자(110)에 결상된 피사체의 화상의 초점을 조절한다.

CCD 소자(110)는 줌렌즈(102), 셔터(104), 조리개(106) 및 포커스 렌즈(108)를 통해 입사된 광을 전기 신호로 변환하기 위한 소자이다.

본 실시형태에서는 촬상 소자로서 CCD 소자(110)를 사용하고 있는데, 본 발명은 이에 한정되지 않으며, CCD 소자(110) 대신에 CMOS(Complementary Metal Oxide Semiconductor) 소자를 사용해도 좋고, 그 외의 다른 이미지 센서를 사용해 도 좋다. 여기서, CMOS 소자를 이용하게 되면, CMOS 소자는 CCD 소자보다도 고속으로 피사체의 영상광을 전기 신호로 변환할 수 있기 때문에, 피사체를 촬영하고 나서 화상의 합성 처리를 하기까지의 시간을 단축할 수 있다.

CDS/AMP 회로(112)는, CCD 소자(110)로부터 출력된 전기 신호의 잡음을 제거하는, 샘플링 회로의 일종인 CDS 회로와, 잡음을 제거한 후에 전기 신호를 증폭하는 앰프가 일체가 된 회로이다. 본 실시예에서는 CDS 회로와 앰프가 일체가 된 회로를 사용하고 있는데, 본 발명은 이에 한정하지 않으며, CDS 회로와 앰프를 각각의 회로로 구성해도 좋다.

A/D 변환기(114)는 CCD 소자(110)에 생성된 전기 신호를 디지털 신호로 변환하여 화상의 생(生)데이터(화상 데이터)를 생성하는 것이다.

화상 입력 콘트롤러(116)는 A/D 변환기(114)에서 생성된 화상의 생데이터(화상 데이터)의 메모리(134)로의 입력을 제어하는 것이다.

화상 신호 처리부(118)는, CCD 소자(110)로부터 출력된 화상의 데이터로부터 콘트라스트 정보로서의 AF 평가값을 산출한다.

또한, 화상 신호 처리부(118)는 CCD 소자(110)로부터 출력된 화상의 데이터, 화상 합성부(120)에서 합성한 화상의 데이터에 대해 광량의 게인 보정, 화상의 엣지 처리, 계조 처리, 색처리, 화이트 밸런스의 조정 등의 처리를 한다.

화상 합성부(120)는, 촬영한 복수의 화상을 합성하는 것이다. 화상 합성부의 형태는, 화상을 합성하는 회로여도 좋고, 화상을 합성하기 위한 컴퓨터 프로그램이어도 좋다.

압축 처리부(122)는, 화상 합성부(120)에서 합성한 화상을 적절한 형식의 화상 데이터로 압축하는 압축 처리를 한다. 화상의 압축 형식은 가역 형식이어도 좋고 비가역 형식이어도 좋다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group) 형식이나 JPEG 2000 형식으로 변환해도 좋다.

LCD(126)는, 촬영 조작을 하기 전의 라이브 뷰 표시나 촬상 장치(100)의 각종 설정 화면이나 촬영한 화상의 표시등을 한다. 화상 데이터나 촬상 장치(100)의 각종 정보의 LCD(126)로의 표시는, LCD 드라이버(124)를 통해 수행된다.

타이밍 제너레이터(128)는 CCD 소자(110)에 타이밍 신호를 입력한다. 즉, 타이밍 제너레이터(128)로부터의 타이밍 신호에 의해 CCD 소자(110)의 구동이 제어되어 화상 데이터의 기초가 되는 전기 신호가 생성된다. 타이밍 제너레이터(128)는, CCD 소자(110)가 구동하는 시간 내에 피사체로부터의 영상광을 입사시킴으로써 CCD 소자(110)에 전자 셔터의 기능을 부여하는 것도 가능하다.

CPU(150)는, CCD 소자(110)나 CDS 회로(112) 등에 대해 신호계의 지령을 수행하거나, 조작부(130)의 조작에 따른 조작계의 지령을 수행한다. 본 실시예에서는 CPU를 하나만 포함하고 있는데, 반드시 이에 한정하는 것은 아니다. 즉, 본 발명에 따르면, 신호계의 명령과 조작계의 명령을 각각 CPU에서 수행하도록 해도 좋다.

조작부(130)는 촬상 장치(100)의 조작을 수행하거나, 촬영시의 각종 설정을 수행하거나 수행하기 위한 부재가 배치되어 있다. 조작부(130)에 배치되는 부재에는 전원 버튼, 촬영 모드나 촬영 드라이브 모드의 선택 및 효과 파라미터의 설정을 하는 십자키 및 선택 버튼 등이 배치된다.

셔터 버튼(132)은 촬영 조작을 하기 위한 버튼이다. 셔터 버튼(132)이 반누름 상태(이하, 셔터 버튼(132)의 반누름 조작을 가리켜 「S1 조작」이라고도 칭한다)가 되면, 포커스 렌즈(108)를 합초 위치로 구동하는 AF 동작이 수행되고, 셔터 버튼(132)이 완전 누름 상태(이하, 셔터 버튼(132)의 완전 누름 조작을 가리켜 「S2 조작」이라고도 칭한다)가 되면, CCD 소자(110)로의 노광이 수행되고 피사체의 촬상이 수행된다.

메모리(134)는, 촬영한 화상이나 화상 합성부(120)에서 합성한 화상을 일시적으로 기억하는 것이다. 메모리(134)는, 복수의 화상을 기억할 수 있는 만큼의 기억용량을 가지고 있다. 메모리(134)에의 화상의 읽고 쓰기는 화상 입력 콘트롤러(116)에 의해 제어된다.

VRAM(136)은, LCD(126)에 표시하는 내용을 유지하는 것으로서, LCD(126)의 해상도나 최대 발색수는 VRAM(136)의 용량에 의존한다.

기록 미디어(140)는 촬영한 화상이나 화상 합성부(120)에서 합성한 화상을 기록하는데, 기록 미디어(140)로의 입출력은 미디어 콘트롤러(138)에 의해 제어된다. 기록 미디어(140)로서는 플래시 메모리에 데이터를 기록하는 카드형 기억장치인 메모리 카드를 사용할 수 있다.

CPU(150)는 적정 AE 레벨 산출부(152)와 노광 조건 결정부(154)와 합초 위치 검출부(156)와 비교 영역 설정부(158)와 위치 어긋남 검출부(160)를 포함하여 구성된다.

적정 AE 레벨 산출부(152)는 촬상 장치(100)에서 자동 노광을 수행하여 EV(Exposure Value)값을 취득한다. 취득한 EV값에 기초하여 적정한 조리개 값 및 셔터 속도의 조합이 결정된다.

EV값은, 조리개 값이 F1, 셔터 속도가 1초일 때 적절한 노출을 얻을 수 있는 광량을 EV=0으로 하고, 조리개 값이나 셔터 속도를 변화시킴으로써 EV값이 변화한다. EV값은, F를 조리개 값, T를 셔터 속도로 하여 EV=log₂(F²/T)로 구할 수 있다. 따라서, 같은 조리개 값으로는 셔터 속도가 고속이 되면 될수록 EV값이 상승하고, 같은 셔터 속도로는 조리개 값을 크게 하면 할수록 EV값이 상승한다. 적정 AE 레벨 산출부(152)에서는 촬영한 화상의 AE(Auto Exposure; 자동 노광) 평가값을 산출한다. 여기서, AE 평가값은 화상 신호 처리부(118)에서 산출해도 좋다.

노광 조건 결정부(154)는, 적정 AE 레벨 산출부(152)에서 산출한 AE 평가값에 기초하여, 피사체를 촬영할 때의 조리개 값, 셔터 속도를 결정한다. 드라이버(144),(146)는 결정된 조리개 값, 셔터 속도에 기초하여 제어된다.

합초 위치 검출부(156)는, CCD 소자(110)에 피사체로부터의 영상광이 입사되어 화상 신호 처리부(118)에 생성된 화상 데이터의 AF 평가값으로부터 피사체의 합초 위치를 검출하는 것이다.

비교 영역 설정부(158)는 1회의 촬영 조작으로 촬영한 복수의 화상을 합성할 때 촬상 화상 중의 소정 범위의 화상을 비교 영역 데이터로서 설정하는 것이다. 나중에 상세히 설명하겠지만, 본 실시형태에서는 주 피사체보다도 바깥쪽에 위치하는 소정 범위의 화상이 비교 영역 데이터가 된다. 화상 합성부(120)에서 화상을 합성 할 때에는, 비교 영역 설정부(158)에서 설정한 비교 영역 데이터가 일치하도록 화상을 합성한다.

위치 어긋남 검출부(160)는 1장째의 화상에서의 비교 영역 데이터와, 2장째 이후의 각 화상에서의, 비교 영역 데이터와 대응하는 화상의 데이터 간의 상대적인 위치의 어긋남 양을 검출하는 것이다. 화상 합성부(120)에 화상을 합성할 때에는, 위치 어긋남 검출부(160)에서 검출한 상대적 위치의 어긋남 양을 제거하도록, 각 화상의 합성(패턴 매칭)을 수행한다.

이상과 같이 구성된 본 실시예의 촬상 장치(100)는, 1회의 촬영 동작시에 복수회의 노광을 수행하고, 얻어진 복수의 화상을 합성하여 1장의 화상을 취득한다.

도 2는, 1회의 촬상 동작시에 수행되는 처리를 나타내는 타이밍 차트이다.

도 2에 도시한 바와 같이, 본 실시형태에서는 1장의 촬상 화상을 얻기 위해 예를 들면 10회의 노광이 수행된다.

도 2의 예에서는, 예를 들면 1회의 노광의 셔터 속도가 1/100초, 조리개가 f11, 게인이 ISO 100 상당의 값으로 설정된다. 그리고, 이 조건에서 10회의 노광이 소정의 간격으로 수행되어 전체 1/10초의 노광이 수행된다. 또한, 1회의 노광이 수행될 때마다 후처리가 수행된다.

도 3은, 노광 후의 후처리를 나타내는 타이밍 차트이다.

도 3에 도시한 바와 같이, 1회의 노광이 수행될 때마다 후처리로서 CCD 소자(110)로부터의 신호 판독, 판독한 신호의 처리 및 데이터 저장이 수행된다. 또한, 이러한 방법에 한정된 것이 아니라, 1회의 노광이 수행될 때마다의 후처리로서 CCD 소자(110)부터의 신호 판독의 종료 후에 판독한 신호의 처리와 동시에 다음 노광을 병행하여 개시시켜도 된다.

이 때, 촬상 소자로서 예를 들면 CMOS 소자를 사용한 경우에는 노광 후의 후처리를 고속으로 할 수 있다. 따라서 1회의 촬영으로 10회의 노광을 수행하는 경우라 해도 1회의 촬영에 필요한 전체 시간은 최소한으로 억제된다.

도 4는, 복수회의 노광에 의해 얻어진 복수의 화상 중 4장를 도시한 도면이다.

도 4의 예에서는, 주 피사체인 인물이 소정의 동작(골프 스윙)을 수행하고 있다. 10회의 노광은 소정의 간격으로 수행되기 때문에 도 4에 도시한 바와 같이 노광에 의해 얻어진 화상은 도 4(A), 도 4(B), 도 4(C), 도 4(D)의 순서로 주 피사체 시계열의 동작에 따른 화상이 된다.

도 5는, 도 4에 도시한 4장의 화상을 합성하여 얻어진 화상을 도시하고 있다. 이와 같이 복수회의 노광으로 얻어진 화상을 합성함으로써 주 피사체가 시계열로 변화하는 상태를 1장의 화상으로서 얻을 수 있다.

10회의 노광을 연속하여 수행할 때에 촬영자가 촬상 장치를 손으로 지지하면 10회의 노광 도중에 손떨림이 발생하는 경우가 있다. 그 경우, 촬영된 10매의 화상을 화상의 윤곽을 일치시켜 합성하게 되면, 손떨림에 기인한 화상에 위치 어긋남이 발생하게 된다.

또한, 주 피사체의 화상을 비교 영역 데이터로 하여 화상을 합성하면, 도 4에 도시한 바와 같이 주 피사체가 움직이고 있는 경우에는 배경 등의 화상을 일치 시켜 합성하기 어려워진다.

이 때문에 본 실시예에서는 복수의 화상을 합성할 때에 주 피사체의 주변의 화상을 비교 영역 데이터로서 설정하고, 복수의 화상의 상대적인 어긋남 양을 제거하도록 각 화상을 합성한다.

주 피사체 이외의 화상으로서는, 예를 들면 AF 영역의 밖에 위치하는 화상을 사용할 수 있다.

도 6은, LCD(126)에 촬상 화상과 함께 AF 영역이 표시된 상태를 도시하고 있다. 도 6에 도시한 바와 같이, 촬상 화상의 중심부에는 AF 영역(170)이 표시된다. AF 영역(170)은, AF 동작시에 AF 평가값으로서의 화상의 콘트라스트값을 산출하는 영역으로서, AF 영역(170) 안의 화상의 콘트라스트에 기초하여 AF 동작이 수행된다.

도 6에 도시한 바와 같이, 통상 AF 영역(170)은 촬상 화상의 중앙부에 설정된다. 주 피사체는 촬상 화상의 중앙에 위치하는 경우가 많기 때문에 주 피사체는 AF 영역(170)의 범위에 속해 있다. 따라서, AF 영역(170)의 밖에 위치하는 화상을 비교 영역 데이터로 함으로써 주 피사체 이외의 화상을 사용하여 합성을 할 수 있다.

구체적으로는, 1회째 노광으로 촬상된 화상의 AF 영역(170)의 밖에 비교 영역 데이터가 설정된다. 그리고, 2∼10번째 노광으로 촬상된 화상으로부터, 비교 영역 데이터에 대응하는 화상의 위치를 검출한다. 그리고, 1회째 노광의 화상에서의 비교 영역 데이터에 대해, 2∼10번째 노광의 비교 영역 데이터에 대응하는 화상의 상대적인 위치의 어긋남 양을 제거하도록 각 화상을 합성함으로써 손떨림에 의한 화상의 위치 어긋남을 확실히 억제할 수 있다.

특히, 본 실시예에서는, 1회의 촬영 동작시에 복수회의 노광을 수행하기 때문에, 1회의 촬영의 전체 노광 시간이 긴 경우라 해도 1회마다의 노광 시간을 단축할 수 있다. 따라서, 1회마다의 노광시에는 손떨림에 의한 촬상 화상으로의 영향을 최소한으로 억제할 수 있어, 전체의 노광 시간이 긴 경우라 해도 떨림 없는 선명한 화상을 촬영할 수 있다.

특히, 셔터 속도가 1/(결상 광학계의 초점 거리(mm))보다 길어지면 일반적으로 손떨림에 의한 화상에 미치는 영향이 커지지만, 이와 같은 경우에도 노광을 복수회로 나누어 수행함으로써, 1회의 노광시마다의 화상에 손떨림의 영향이 생기는 것을 억제할 수 있다. 그리고, 1회의 노광시마다의 화상에서의 손떨림의 영향을 억제함으로써, 합성한 화상을 보다 선명하게 할 수 있다.

또한, 복수회의 노광으로 얻어진 화상을 합성함으로써, 전체적인 노광 시간을 길게 할 수 있어 화상 데이터의 SN비를 향상시킬 수 있다.

그리고 상술한 수법에 의하면, 도 4와 같이 주 피사체가 움직이고 있는 경우라 해도 주 피사체보다도 앞에 위치하는 지면의 화상, 배경의 나무의 화상 등에 관해서는 위치 어긋남이 발생하지 않는 선명한 화상을 얻을 수 있다.

한편, 움직이고 있는 주 피사체에 관해서는, 도 5에 도시한 바와 같이, 손떨림에 의한 위치 어긋남을 억제한 상태에서 주 피사체의 시계열의 동작에 기인하는 화상 어긋남을 기록할 수 있다. 따라서, 본 실시예의 방법에 의하면 주 피사체의 움직임에 의한 화상의 어긋남과, 손떨림 등에 의한 화상의 어긋남을 구분할 수 있어 손떨림 등에 의한 화상의 어긋남만을 보정하여 주 피사체의 움직임을 정확하게 기록할 수 있다.

따라서, 복수의 화상을 촬영할 때에 촬영자의 손떨림 등에 의해 복수의 화상에 위치 어긋남이 발생한 경우라 해도 위치 어긋남이 해소되도록 패턴 매칭을 할 수 있다. 이로써, 주 피사체가 움직이고 있는지 여부에 상관 없이 확실하게 손떨림을 검출하여 보정할 수 있다. 이와 같은 방법으로, 합성하여 얻어진 화상에 손떨림에 기인하는 상(像)어긋남이 생기는 것을 억제할 수 있으므로, 손떨림을 보정한 선명한 화상을 얻을 수 있다.

도 7은, AF 영역(170) 중에 복수의 AF 영역(170a),(170b),(170c)들이 설정되어 있는 예를 도시한 도면이다.

도 7의 예에서는, AF 동작 도중에 AF 영역(170a),(170b),(170c)의 각각에서 콘트라스트 정보가 취득되어 가장 콘트라스트가 높은 영역을 AF 영역으로서 선택하고, 이 영역 안에 위치하는 피사체를 주 피사체로 하여 합초가 수행된다. 이와 같은 구성으로는, 복수의 AF 영역(170a),(170b),(170c) 중 합초된 시점에서 콘트라스트 정보가 사용된 AF 영역 이외의 영역에서 비교 영역 데이터를 설정한다. 이로써 주 피사체의 범위가 AF 영역(170)의 크기에 비해 적은 경우에는 AF 영역(170) 중에 비교 영역 데이터를 설정하는 것도 가능해진다. 따라서, 비교 영역 데이터의 설정 자유도를 더욱 높일 수 있다.

도 8은, AF 영역(170)과는 상관없이 비교 영역 데이터를 설정한 예를 도시한 도면이다.

도 8의 예에서는, 촬상 화상의 윤곽에서 중심을 향해 소정의 위치에 비교 영역 테두리(172)가 설정되고, 비교 영역 데이터는 비교 영역 테두리(172)보다도 바깥쪽 영역으로 설정된다.

통상, 주 피사체는 촬상 화상의 중심에 위치하고 있기 때문에, 비교 영역 테두리(172)를 촬상 화상의 주변부에 설정하면, 비교 영역 테두리(172)보다도 바깥쪽의 영역은 주 피사체가 거의 존재하지 않는 영역이 된다. 따라서, 비교 영역 테두리(172)보다도 바깥쪽 영역의 화상에 비교 영역 데이터를 설정함으로써 주 피사체 이외의 화상 데이터를 사용하여 화상을 합성할 수 있다.

도 9는, 비교 영역 데이터를 설정하는 영역을 촬영자가 임의로 설정할 수 있도록 한 예를 도시한 도면이다.

도 9에서, 비교 영역 데이터는 비교 영역 테두리(174)의 내부에 설정된다. 그리고 비교 영역 테두리(174)의 위치는 촬영자가 조작부(130)를 조작함으로써 임의로 설정할 수 있다. 따라서, 예를 들면 주 피사체가 화면의 주변부에 위치하고 있는 경우에는 비교 영역 테두리(174)를 촬상 화상의 중앙으로 이동시킴으로써 주 피사체 이외의 화상에서 비교 영역 데이터를 설정할 수 있다.

다음으로 도 10의 흐름도에 기초하여 본 실시형태의 촬상 장치(100)에서의 처리 순서에 대해서 설명한다. 도 10은 본 실시예의 촬상 장치에서의 처리 순서를 도시한 흐름도이다.

우선, 단계 S1에서는 촬상 장치(100)의 전원이 온(ON)으로 설정된다. 전원이 온 되면 CCD 소자(110)가 제어되어 일정 간격(1/30초 단위)으로 노광 및 화상의 판독이 수행된다. 여기에서는 1/30초 단위로 취득되는 1화상을 1프레임이라고 칭한다.

판독된 화상은, 라이브 뷰로서 촬상 장치의 배면에 배치된 LCD(126)에 실시간으로 표시된다. 또 화상 데이터로부터 피사체의 휘도값이 산출된다.

다음의 단계 S2에서는, 촬영자에 의해 S1 조작이 수행된다. 이로써 다음 단계 S3에서 AF 동작이 개시된다. 여기에서 수행되는 AF 동작은, CCD 소자(110)에서 판독된 화상 데이터의 콘트라스트에 기초하여 AF를 수행하는 비디오 AF(Video AF)이다.

AF 동작이 개시됨과 동시에 CCD 소자(110)의 제어와 연동하여 포커스 렌즈(108)를 구동하면서 판독된 각 프레임의 화상의 콘트라스트값(AF 평가값)을 순차적으로 산출한다. 더욱이 이들 콘트라스트값의 각 데이터에 대해 포커스 렌즈(108)의 위치는 대응되어 있다.

다음 단계 S4에서는, 합초 위치의 산출이 수행된다. 화상의 콘트라스트값이 가장 높아지는 상태가 합초되어 있는 상태이며, 합초 위치는, 콘트라스트값이 가장 높아지는 프레임에 대응하는 포커스 위치로서 산출된다.

다음 단계 S5에서는, 단계 S4에서 산출된 합초 위치로 포커스 렌즈(108)를 구동한다.

다음 단계 S6에서는 AE 연산에 의해 촬영 노광 조건을 결정한다.

다음 단계 S7에서는, S1 조작이 오프(OFF)되었는지 여부를 판정한다. S1 조 작이 오프된 경우에는 촬영자가 셔터 버튼(132)의 반누름 상태를 해제했기 때문에 촬영 처리를 종료한다(RETURN). 한편, 단계 S7에서 S1 조작이 오프되지 않은 경우에는 단계 S8로 진행한다.

단계 S8에서는, 촬영자에 의해 S2 조작이 수행되었는지 여부를 판정한다.

S2 조작이 수행된 경우에는 단계 S9 이후의 처리가 수행되어 촬영 노광 동작이 개시된다. 이 경우, 이후의 단계에서는, 예를 들면, 조리개가 f11, 게인이 ISO 100 상당이 되어, 셔터 속도1/100초의 노광을 N회 연속하여 수행하고, 노광시마다 화상이 투입된다. 한편, 단계 S8에서 S2 조작이 수행되지 않은 경우에는 단계 S7로 되돌아간다.

단계 S9에서는, 셔터(104)를 열어 노광이 수행된다.

다음 단계 S10에서는, 노광 후의 후처리가 수행되어 단계 S8에서 노광된 화상의 신호의 판독, 신호 처리 및 데이터의 저장이 수행된다.

다음 단계 S11에서는, 1회의 촬영시에 수행되는 N회의 노광의 화상 데이터의 투입이 종료되었는지 여부가 판정된다. N회의 노광의 화상 데이터의 투입이 종료된 경우에는 단계 S12로 진행한다. 한편, N회의 노광의 데이터의 투입이 종료되지 않은 경우에는 단계 S9로 돌아가 노광을 계속 수행한다.

단계 S12에서는, 1회째의 노광으로 촬영된 화상에 비교 영역 데이터를 설정한다. 여기에서는 AF 영역(170) 밖의 영역의 화상에 비교 영역 데이터가 설정된다.

다음 단계 S13에서는, 촬영된 N매의 화상의 상대적인 위치 어긋남을 검출한다. 여기에서는 1매째에 촬영된 화상의 비교 영역 데이터를 기준으로 하여 그 후에 촬영된 N-1장의 화상 각각에서 비교 영역 데이터에 대응하는 화상과, 1매째의 화상의 비교 영역 데이터와의 위치 어긋남 양을 검출한다.

다음 단계 S14에서는, 촬영된 N매의 화상을 합성한다. 이 때, 단계 S13에서 검출된 각 화상의 위치 어긋남 양에 기초하여 1매째의 화상을 기준으로 하여, 나머지 화상의 상대적 위치의 어긋남 양을 제거하도록 각 화상을 합성한다.

다음 단계 S15에서는 합성한 화상을 압축하여 기록 미디어(140)에 저장하는 처리를 한다.

단계 S15 후에는 촬영 처리를 종료한다(RETURN).

본 발명에 의하면, 1회의 촬영 동작으로 노광된 복수의 화상을 합성할 때에,손떨림 등에 의한 위치 어긋남을 정확하게 보정할 수 있는 효과가 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 누구든지 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (10)

1회의 촬영 동작으로 노광 시간을 시분할하여 복수회의 노광을 하여 복수의 화상을 촬상하는 촬상 장치로서,

하나의 노광의 화상 데이터 중에서 주 피사체의 주변에 화상 비교 영역을 설정하는 화상 비교 영역 설정부;

상기 하나의 노광에서의 상기 화상 비교 영역 내의 하나의 화상과, 다른 노광의 화상 데이터 중에서 상기 하나의 화상에 대응하는 다른 화상을 비교하여 상기 하나의 화상과 상기 다른 화상과의 상대적인 위치 어긋남을 검출하는 위치 어긋남 검출부; 및

상기 상대적인 위치 어긋남을 제거하여 상기 하나의 화상과 상기 다른 화상이 일치하도록 상기 복수의 화상을 합성하는 화상 합성부를 포함하며,

상기 화상 비교 영역은 합초(合焦) 검출 영역의 영역 밖에 설정되는 촬상 장치.

제1항에 있어서,

상기 하나의 노광은 상기 복수회의 노광의 최초의 노광이고,

상기 위치 어긋남 검출부는 상기 하나의 화상을 기준으로 하여 이후의 각 노광의 화상 데이터 중에서의 상기 다른 화상과의 상대적인 위치 어긋남을 검출하는 촬상 장치.

삭제

제1항 또는 제2항에 있어서,

상기 화상 비교 영역은 화상의 바깥 테두리에서 중심을 향해 연장되는 소정 범위의 영역에 설정되는 촬상 장치.

제1항 또는 제2항에 있어서,

상기 화상 비교 영역의 위치를 설정하는 조작부를 구비하고, 상기 조작부의 조작에 의해 상기 화상 비교 영역의 위치가 임의로 설정되는 촬상 장치.

1회의 촬영 동작으로 노광 시간을 시분할하여 복수회의 노광을 수행하고, 얻어진 복수의 화상을 합성하는 화상 합성 방법으로서,

하나의 노광의 화상 데이터 중에서 주 피사체의 주변에 화상 비교 영역을 설정하되, 상기 화상 비교 영역은 합초 검출 영역의 영역 밖에 설정되는 제1 단계;

상기 화상 비교 영역 내의 하나의 화상을 기억하는 제2 단계;

다른 노광의 화상 데이터 중에서 상기 하나의 화상에 대응하는 다른 화상을 기억하는 제3 단계;

상기 하나의 화상과 상기 다른 화상과의 상대적인 위치 어긋남을 검출하는 제4 단계;

상기 상대적인 위치 어긋남을 제거하여 상기 하나의 화상과 상기 다른 화상이 일치하도록 상기 복수의 화상을 합성하는 제5 단계를 포함하는 화상 합성 방법.

제6항에 있어서,

상기 하나의 노광은 상기 복수회의 노광의 최초의 노광이고,

상기 제4 단계에서 상기 하나의 화상을 기준으로 하여 이후의 각 노광의 화상 데이터 중에서의 상기 다른 화상과의 상대적인 위치 어긋남을 검출하는 화상 합성 방법.

삭제

제6항 또는 제7항에 있어서,

상기 제1 단계에서, 상기 화상 비교 영역은 화상의 바깥 테두리에서 중심을 향해 연장되는 소정 범위의 영역으로 설정되는 화상 합성 방법.

제6항 또는 제7항에 있어서,

상기 제1 단계에서, 상기 화상 비교 영역의 위치가 상기 주 피사체의 위치에 따라 임의로 설정되는 화상 합성 방법.

Images