KR20120131178A - 타겟 추적 기능을 포함하는 촬영 장치 - Google Patents

타겟 추적 기능을 포함하는 촬영 장치 Download PDF

Info

Publication number
KR20120131178A
KR20120131178A KR1020127023676A KR20127023676A KR20120131178A KR 20120131178 A KR20120131178 A KR 20120131178A KR 1020127023676 A KR1020127023676 A KR 1020127023676A KR 20127023676 A KR20127023676 A KR 20127023676A KR 20120131178 A KR20120131178 A KR 20120131178A
Authority
KR
South Korea
Prior art keywords
image
tracking
target
area
photographing
Prior art date
Application number
KR1020127023676A
Other languages
English (en)
Inventor
하이케 구안
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20120131178A publication Critical patent/KR20120131178A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

촬영 장치는, 대상의 화상을 촬영하는 촬영부를 포함하고, 시계열로 촬영된 화상을 통해 특정한 타겟이 나타나는 영역을 추적한다. 상기 장치는, 상기 촬영부로부터 촬영 파라미터를 취득하도록 구성된 파라미터 취득부와; 상기 특정한 타겟을 포함하는 촬영된 화상의 영역을 타겟 영역으로 결정하도록 구성된 타겟 영역 결정부와; 상기 특정한 타겟을 포함하는 상기 타겟 영역을 추적하기 위한 추적 영역에 대한 추적 프레임을 설정하고, 상기 촬영 파라미터에 기초하여 상기 추적 프레임의 크기를 조정하도록 구성된 추적 영역 조정부와; 상기 크기가 조정된 추적 프레임을 이동시키면서, 해당되는 상기 촬영된 화상의 상기 추적 영역에서의 화상의 특징량과, 시계열로 해당되는 상기 화상의 직전에 촬영된 화상의 상기 타겟 영역에서의 화상의 특징량 사이의 유사도에 기초하여, 상기 추적 영역에 대해 상기 촬영된 화상을 탐색하도록 구성된 추적 영역 탐색부를 포함한다.

Description

타겟 추적 기능을 포함하는 촬영 장치{IMAGING DEVICE INCLUDING TARGET TRACKING FUNCTION}
관련 출원의 상호 참조
본 출원은 2010넌 2월 16일에 출원된 일본 특허 출원 제2010-31292호에 기초하여 이로부터 우선권을 주장하며, 이로써 일본 특허 출원 제2010-31292호의 전체 내용은 참조로 포함된다.
본 발명은, 시계열로 촬영된 화상을 통해, 특정한 타겟이 나타나는 영역을 추적하는 타겟 추적 기능을 포함하는 촬영 장치에 관한 것이다.
종래 기술에서, 촬영부로부터 시계열로 입력된 촬영 화상(이하, 화상 프레임)을 통해 특정한 타겟을 포함하는 영역을 추적하기 위해, 도 6에 도시된 바와 같이, 타겟 영역(50)은, 제1 화상 프레임(F0)으로부터 결정되고 이후의 화상 프레임(F1 내지 Fn)을 통해 추적된다.
도 7a 내지 도 7c는 추적 처리의 결과의 예를 도시한다. 도 7a의 화상 프레임(F0) 상의 타겟 영역(50)으로부터, 도 7b의 화상 프레임(F1) 상의 새로운 타겟 영역(51)을 취득한다. 그 다음에, 도 7c의 화상 프레임(F2) 상의 새로운 타겟 영역(52)은, 타겟 영역(51)로부터 취득된다. 그 후에, 동일한 처리가 반복된다.
타겟의 이동, 타겟의 자세의 변형 또는 변화에 기인하여 추적의 결과에 오차가 발생하고, 타겟 영역이 업데이트됨에 따라 누적되는 문제가 있다. 도 7c는, 타겟 영역(52)이 제1 화상 프레임(F0)의 원래의 추적 영역(53)으로부터 크게 틀어진 추적 실패의 예를 나타낸다. 또한, 추적 오차는, 타겟 영역의 크기의 증가를 유발할 수도 있고, 결과적으로 추적 처리에서 산출량의 증가를 야기하여, 처리 속도를 지연시킬 수도 있다.
일본 특허 출원 공개공보 제2008-153879호는, 예를 들면, 촬영된 화상의 화상 프레임 상의 타겟을 추적하고, 추적의 결과로서 이동 벡터를 이용하는 촬영부의 토크량을 조정하는 촬영 장치를 개시한다. 그러나, 이러한 장치는, 여전히 추적 결과에 영향을 미치는 추적 오차를 제거할 수 없다.
다른 예를 들면, 일본 특허 출원 공개공보 제2009-10453호는, 사용자가 추적 결과에 대하여 원하는 타겟 포인트를 입력하도록 허용함으로써, 추적을 중단하지 않고 추적 결과를 보정하는 기술을 개시한다.
그러나, 이러한 기술에서, 추적 결과를 확장시키거나 축소시키면서 타겟 영역이 탐색되기 때문에, 추적 처리를 위한 산출량은 방대해지고, 처리 속도는 현저히 지연된다는 문제가 일어난다.
본 발명은, 시계열로 촬영된 화상을 통해, 특정한 타겟이 나타나는 타겟 영역을 빠른 속도로 추적할 수 있는 촬영 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 태양에 따르면, 대상의 화상을 촬영하는 촬영부를 포함하고, 시계열로 촬영된 화상을 통해 특정한 타겟이 나타나는 영역을 추적하는 촬영 장치는, 상기 촬영부로부터 촬영 파라미터를 취득하도록 구성된 파라미터 취득부와; 상기 특정한 타겟을 포함하는 촬영된 화상의 영역을 타겟 영역으로 결정하도록 구성된 타겟 영역 결정부와; 상기 특정한 타겟을 포함하는 상기 타겟 영역을 추적하기 위한 추적 영역에 대한 추적 프레임을 설정하고, 상기 촬영 파라미터에 기초하여 상기 추적 프레임의 크기를 조정하도록 구성된 추적 영역 조정부와; 상기 크기가 조정된 추적 프레임을 이동시키면서, 해당되는 상기 촬영된 화상의 상기 추적 영역에서의 화상의 특징량과, 시계열로 해당되는 상기 화상의 직전에 촬영된 화상의 상기 타겟 영역에서의 화상의 특징량 사이의 유사도에 기초하여, 상기 추적 영역에 대해 상기 촬영된 화상을 탐색하도록 구성된 추적 영역 탐색부를 포함한다.
상기 추적 영역 조정부는, 상기 촬영 파라미터로서 상기 촬영부의 초점 거리 및 결상 거리를 이용하여도 좋다.
상기 추적 영역 탐색부는, 휘도 및 칼라 성분 중 적어도 하나의 빈도 분포에 기초하여 상기 화상의 특징량을 산출하도록 구성되어도 좋다.
상기 촬영 장치는, 상기 추적 영역 탐색부가 상기 추적 영역을 탐색하기 전에, 상기 촬영된 화상 중 적어도 상기 추적 영역에 대하여, 노이즈 제거 처리 및 휘도 보정 처리 중 적어도 하나를 상기 촬영 파라미터에 기초하여 수행하도록 구성된 전-처리부를 더 포함하여도 좋다.
상기 전-처리부는, 상기 촬영 파라미터로서 상기 촬영부의 감도, 초점 거리, 및 개구경을 이용하여도 좋다.
본 발명의 다른 태양에 따르면, 대상의 화상을 촬영하는 촬영부를 포함하는 촬영 장치를, 시계열로 촬영된 화상을 통해 특정한 타겟이 나타나는 영역을 추적하기 위해 이용하는 타겟 추적 방법은, 상기 촬영부로부터 촬영 파라미터를 취득하는 단계와; 상기 특정한 타겟을 포함하는 촬영된 화상의 영역을 타겟 영역으로 결정하는 단계와; 상기 특정한 타겟을 포함하는 상기 타겟 영역을 추적하기 위한 추적 영역에 대한 추적 프레임을 설정하고, 상기 촬영 파라미터에 기초하여 상기 추적 프레임의 크기를 조정하는 단계와; 상기 크기가 조정된 추적 프레임을 이동시키면서, 해당되는 상기 촬영된 화상의 상기 추적 영역에서의 화상의 특징량과, 시계열로 해당되는 상기 화상의 직전에 촬영된 화상의 상기 타겟 영역에서의 화상의 특징량 사이의 유사도에 기초하여, 상기 추적 영역에 대해 상기 촬영된 화상을 탐색하는 단계를 포함한다.
도 1은 본 발명의 일 실시형태에 따른 촬영 장치의 블록도이다.
도 2는 촬영 장치의 기능 블록도이다.
도 3은 촬영 장치의 전-처리부가 참조하는 파라미터 맵의 예를 도시한다.
도 4는 촬영 장치의 추적 영역 탐색부의 탐색 동작의 예를 도시한다.
도 5는 촬영 장치의 타겟 추적 동작에 대한 플로우차트이다.
도 6은 시계열로 촬영된 종래 기술의 화상 프레임의 예를 도시한다.
도 7a 내지 도 7c는 종래 기술의 타겟 추적의 결과의 예로, 화상 프레임(F0, F1, FN)을 각각 도시한다.
이하, 본 발명의 실시형태는 첨부된 도면을 참조하여 세부적으로 설명된다.
도 1은 본 발명의 일 실시형태에 따른 촬영 장치의 블록도이다. 촬영 장치(1)는, 광학계(11), 메커니컬 셔터(12, mechanical shutter), CCD(13, Charge Coupled Device), CDS(Correlated Double Sampling) 회로(14), A/D 변환기(15), 모터 드라이버(16), 타이밍 신호 발생기(17), 화상 처리기(18), CPU(19, Central Processing Unit), RAM(20, Random Access Memory), ROM(21, Read Only Memory), SDRAM(22, Synchronous Dynamic Random Access Memory), 압축/신장 회로(23), 메모리 카드(24), 조작부(25), 및 LCD(26, Liquid Crystal Display)를 구비한다.
메커니컬 셔터(12)는, 광학계(11)를 통해 입사하는 광이 CCD(13)에 들어가는 것을 차단한다. CCD(13)는, 광학상(optical image)이 결상되는 촬상면을 포함하고, 광학상을 아날로그 화상 신호로 변환한다.
CDS 회로(14)는, CCD(13)에 의해 변환된 아날로그 화상 신호로부터 노이즈를 제거한다. A/D 변환기(15)는, 노이즈가 제거된 아날로그 화상 신호를 디지털 화상 신호 또는 화상 데이터로 변환한다.
모터 드라이버(16)는, CPU(19)로부터의 지시에 따라, 광학계(11) 및 메커니컬 셔터(12)를 구동하여, 광학계(11)의 위치를 변동시키고 메커니컬 셔터(12)를 개폐시킨다.
타이밍 신호 발생기(17)는, CPU(19)로부터의 지시에 따라, CCD(13), CDS 회로(14), 및 A/D 변환기(15)를 동작시키기 위한 타이밍 신호를 발생시킨다.
화상 처리기(18)는, 화상 데이터를 SDRAM(22)에 일시적으로 저장하여, 화상 데이터에 YCrCb 변환, 화이트 밸런스 조정, 콘트라스트 보정, 엣지 강조, 칼라 변환 등의 각종 화상 처리를 수행하고, 처리된 화상 데이터를 LCD(26)에 표시한다.
여기서, 화이트 밸런스 조정은, 화상 데이터에 의해 나타나는 화상의 칼라의 농도(density)를 조정하는 것이다. 콘트라스트 보정은, 화상 데이터에 의해 나타나는 화상의 콘트라스트를 조정하는 것이다. 엣지 강조는, 화상 데이터에 의해 나타나는 화상의 선예도(sharpness)를 조정하는 것이다. 칼라 변환은, 화상 데이터에 의해 나타나는 화상의 색조(tone)를 조정하는 것이다.
촬영 장치(1)를 동작시키는 프로그램은 ROM(21)에 저장된다. CPU(19)는, RAM(20)을 작업 영역으로서 이용하여, ROM(21)의 프로그램이 후술되는 타겟 추적 기능을 위해 실행되도록 한다.
압축/신장 회로(23)는, 조작부(25)를 통해 입력된 지시에 따라서, 화상 처리기(18)에 의해 처리된 화상 데이터를 압축하여, 메모리 카드(24)에 저장한다. 또한, 압축/신장 회로(23)는 메모리 카드(24)로부터 화상 데이터를 판독하여 신장시키고, 그것을 화상 처리기(18)에 출력한다.
조작부(25)는, 스위치, 레버(lever), 및 터치 패널 등으로 구성된다. 터치 패널은 본 실시형태에서 LCD(26) 상에 설치된다.
도 2는 촬영 장치(1)의 기능 블록도이다. 촬영 장치(1)는, 촬영부(30)를 포함하고, 촬영부(30)로부터 시계열로 수신되는 화상 프레임 상에서 특정 타겟이 나타나는 영역을 추적하도록 구성된다.
구체적으로는, 촬영 장치(1)는, 촬영부(30)로부터 촬영 파라미터(photographic parameter)를 취득하는 파라미터 취득부(31), 화상 프레임에 전-처리를 수행하는 전-처리부(32), 화상 프레임으로부터 특정한 타겟이 나타나는 영역을 타겟 영역으로 결정하는 타겟 영역 결정부(33), 타겟 영역 결정부(33)에 의해 결정된 상기 영역에서 특정한 타겟을 추적하기 위한 추적 영역에 대한 추적 프레임을 설정하고 추적 프레임의 크기를 조정하는 추적 영역 조정부(34), 특정한 타겟을 포함하는 추적 영역에 대한 화상 프레임을 탐색하는 추적 영역 탐색부(35), 추적 영역 탐색부(35)의 탐색 결과에 기초하여 촬영부(30)를 제어하는 촬영 제어부(36), 화상 프레임에 화상 처리를 수행하는 화상 처리부(37), 및 처리된 화상 프레임을 출력하는 화상 출력부(38)를 포함한다.
촬영부(30)는, 광학계(11), 메커니컬 셔터(12), CCD(13), CDS 회로(14), A/D 변환기(15), 모터 드라이버(16), 및 타이밍 신호 발생기(17)를 포함한다.
본 실시형태에 따르면, 촬영부(30)는, 제1 화상 프레임(F1)부터 제N 화상 프레임(FN)까지 N개의 화상 프레임을 △t의 간격의 시계열로 취득하도록 구성된다.
파라미터 취득부(31)는, CPU(19)로 구성되고, RAM(20)으로부터 촬영 파라미터를 취득한다. 여기서, 촬영 파라미터는, 초점 거리, 개구경(aperture diameter), F 치(F-number), ISO 감도, 및 결상 거리를 포함한다.
전-처리부(32)는, CPU(19) 및 화상 처리기(18)로 구성되고, 파라미터 취득부(31)에 의해 취득된 촬영 파라미터에 기초로 하여, 화상 프레임에 전-처리를 수행한다. 본 실시형태에 있어서, 전-처리부(32)는 노이즈 제거 처리를 실행하도록 구성된다.
예를 들면, 도 3에 도시된 파라미터 맵은 ROM(21)에 미리 저장된다. 파라미터 맵은, 촬영부(30)의 초점 거리와 개구경 사이의 관계를 나타내는 F 치, ISO 감도, 및 노이즈 제거 함수에 대한 데이터가 서로 대응되어 포함된다.
노이즈 제거 함수는, 상이한 F 치 및 ISO 감도로 대상이 촬영되는 경우, 연속적인 화상 프레임의 노이즈율(noise rate)의 차이를 거의 일정하게 만드는 것으로 정의된다. 즉, 노이즈 제거 함수는, F 치가 더 작아지고 ISO 감도가 더 커질수록, 노이즈 제거 레벨이 더 높아지도록 설정된다.
도 2에서, 전-처리부(32)는, 화상 프레임(F0, F1)이 촬영될 때 얻어진 F 치와 ISO 감도에 대응되는 노이즈 제거 함수를 촬영 파라미터로 이용하여, 화상 프레임(F0, F1)에 노이즈 제거 처리를 각각 수행한다.
전-처리부(32)는, 화상 프레임(F1)의 다음 화상 프레임에 동일한 방법으로 노이즈 제거 처리를 수행한다. 그러므로, 각각의 화상 프레임 내의 노이즈를 적절하게 제거함으로써, 추적 결과에 오차가 발생하는 것과, 연속적인 화상 프레임의 노이즈율의 차이에 기인하여 오차가 누적되는 것을 방지할 수 있다.
대안으로, 촬영부(30)의 F 치 및 ISO 감도와, 휘도 보정 함수를 포함하는 파라미터 맵은, ROM(21)에 미리 저장될 수 있다. 전-처리부(32)는 이 파라미터 맵을 이용하여 화상 프레임에 휘도 보정을 수행하도록 구성될 수 있다.
이 경우에, 추적 결과에 오차가 발생하는 것과, 연속적인 화상 프레임의 휘도의 차이에 기인하여 오차가 누적되는 것을 방지할 수 있다.
대안으로, 촬영부(30)의 F 치 및 ISO 감도와, 노이즈 제거 함수 및 휘도 보정 함수를 포함하는 파라미터 맵은, ROM(21)에 미리 저장될 수 있다. 전-처리부(32)는 이 파라미터 맵을 이용하여 화상 프레임에 노이즈 제거 처리와 휘도 보정 처리를 둘 다 수행하도록 구성될 수 있다. 여기서, 노이즈 제거 함수 및 휘도 보정 함수는, 파라미터 맵에 단일한 함수로 통합될 수 있다.
타겟 영역 결정부(33)는, CPU(19) 및 조작부(25)로 구성되고, 화상 프레임으로부터 특정한 타겟이 나타나는 임의의 영역을 지정하도록 구성된다. 예를 들면, 타겟 영역 결정부(33)는, 화상 출력부(38)로부터 출력된 화상 상에 상기 영역을 타겟 영역으로 결정하고, 조작부(25)를 통해 상기 영역을 직사각형 프레임으로 둘러싼다.
대안으로, 타겟 영역 결정부(33)는, 사용자가, 화상 출력부(38)로부터 출력된 화상 상에 한 점을 조작부(25)를 통해 지정하고, 지정된 점을 포함하며 다른 영역보다 콘트라스트가 더 높게 나타나는 영역을 타겟 영역으로서 결정하도록 구성될 수 있다. 본 실시형태에 있어서, 화상 프레임(FO)은, 타겟 영역 결정부(33)에 의해 결정된 타겟 영역을 포함하는 것이다.
추적 영역 조정부(34)는, CPU(19)로 구성되고, 특정한 타겟을 추적하기 위한 추적 영역에 대한 추적 프레임을 설정하고 파라미터 취득부(31)에 의해 취득된 촬영 파라미터로서 촬영부의 초점 거리 및 결상 거리(imaging distance)에 기초하여 추적 프레임의 크기를 조정하도록 구성된다. 추적 영역은 타겟 영역에서 특정한 타겟을 추적하기 위한 영역이다.
구체적으로는, 추적 영역 조정부(34)는, 이전 화상 프레임 F(i-1)과, 현 화상 프레임 F(i)이 촬영될 때 얻어진 초점 거리 및 결상 거리의 값으로부터 이전 화상 프레임 F(i-1)과 현 화상 프레임 F(i) 사이의 가변 배율(variable magnification)을 산출하고, 산출된 가변 배율에 기초하여 추적 영역의 크기를 조정한다.
추적 영역 탐색부(35)는, CPU(19)로 구성되고, 도 4에 도시된 바와 같이, 추적 영역 조정부(34)에 의해 크기가 조정된 추적 프레임(40)을 현 화상 프레임 F(i) 상에서 이동시키면서, 타겟 영역 결정부(33)에 의해 결정된 타겟 영역 내에서 특정한 타겟을 추적하도록 구성된다.
구체적으로는, 추적 영역 탐색부(35)는, 이전 화상 프레임 F(i-1)의 타겟 영역의 특징량(characteristic amount)과 현 화상 프레임 F(i)의 추적 영역의 특징량에 기초하여 가장 높은 유사도를 가지는 영역을, 현 화상 프레임 F(i)에서 탐색한다.
본 실시형태에 있어서, 추적 영역 탐색부(35)는, 화상의 휘도의 빈도 분포에 기초하여, 화상의 특징량을 산출하도록 구성된다. 구체적으로, 추적 영역 탐색부(35)는, 이전 화상 프레임 F(i-1)의 타겟 영역에서의 화상의 휘도의 빈도 분포(q=[q1, q2, ··· qn])와, 현 화상 프레임 F(i)의 추적 영역에서의 화상의 휘도의 빈도 분포(p=[p1, p2, ··· pn])를 산출한다.
또한, 추적 영역 탐색부(35)는, 이전 화상 프레임 F(i-1)의 타겟 영역의 크기와 현 화상 프레임 F(i)의 추적 영역의 크기에 기초하여, 빈도 분포 q, p 중 적어도 하나를 정규화한다.
추적 영역 탐색부는, 이하의 식에 따라서 유사도(Sim)를 산출한다.
Figure pct00001
그리고 나서, 추적 영역 탐색부(35)는, 유사도(Sim)가 가장 큰 추적 영역을 타겟 영역으로 결정한다.
대안으로, 추적 영역 탐색부(35)는, 휘도 대신에 화상의 칼라 분포(YUV 또는 RGB)의 빈도 분포에 기초하거나, 또는 휘도 및 칼라 성분의 빈도 분포에 기초하여, 특징량을 산출하도록 구성될 수 있다.
촬영 제어부(36)는, CPU(19)로 구성되고, 예를 들면, 추적 영역 탐색부(35)에 의해 결정된 타겟 영역에 초점을 맞추기 위해, 촬영부(30)의 초점 거리를 제어하도록 구성된다. 화상 처리부(37)는, 화상 처리기(18)로 구성되고, 화상 데이터에 각종 화상 처리를 수행하여 화상 출력부(38)에 출력하도록 구성된다.
화상 출력부(38)는, LCD(26), 압축/신장 회로(23), 및 메모리 카드(24)로 구성된다. 그리고, 화상 처리부(37)에 의해 처리된 화상 데이터를 압축하여, 메모리 카드(24)에 저장하고, 화상 데이터에 의해 나타나는 화상을 LCD(26) 상에 표시하도록 구성된다.
위와 같이 구성된 촬영 장치의 타겟 추적 동작은, 도 5를 참조하여 설명된다. 이러한 동작은, 특정한 타겟이 나타나는 영역이 타겟 영역 결정부(33)에 의해 결정될 때 시작된다.
우선, 단계 S1에서, 전-처리부(32)는, 화상 프레임(F0)이 촬영될 때 얻어진 촬영 파라미터를 이용하여, 제1 화상 프레임(F0)에 노이즈 제거 처리를 수행한다.
단계 S2에서, 추적 영역 탐색부(35)는, 화상 프레임(F0)의 상기 영역에서의 화상의 특징량을 산출한다. 단계 S3에서, 다음 화상 프레임 F(i)이 촬영부(30)로부터 취득되면, 단계 S4에서, 전-처리부(32)는, 화상 프레임 F(i)을 촬영할 때 얻어진 촬영 파라미터를 이용하여 화상 프레임 F(i)에 노이즈 제거 처리를 수행한다.
다음에, 단계 S5에서, 추적 영역 조정부(34)는, 현 화상 프레임 F(i)과, 이전 화상 프레임 F(i-1)이 촬영될 때 얻어진 촬영 파라미터를 이용하여, 이전 화상 프레임 F(i-1)의 상기 영역 내의 타겟을 추적하기 위한 추적 영역의 크기를 조정한다.
단계 S6에서, 추적 영역 조정부(34)에 의해 크기가 조정된 추적 영역을 이동시키면서, 추적 영역 탐색부(35)는 화상 프레임 F(i)의 추적 영역의 특징량을 탐색한다. 단계 S7에서, 추적 영역 탐색부(35)는, 이들 화상의 특징량에 기초하여, 화상 프레임 F(i-1)의 상기 영역의 화상과, 화상 프레임 F(i)의 추적 영역의 화상 사이의 유사도를 산출한다.
화상 프레임 F(i)의 전체에 대한 탐색을 종료하면, 단계 S8에서, 추적 영역 탐색부(35)는, 가장 높은 유사도를 보이는 추적 영역을 타겟 영역으로 특정한다. 단계 S9에서, 촬영 제어부(36)는 타겟 영역에 초점을 맞추기 위해, 촬영부(30)의 초점 거리를 제어한다.
단계 S10에서, 조작부(25)를 통해 타겟 추적 동작을 종료하는 지시가 내려지면, 상기 동작은 종료한다. 상기 지시가 없다면, 상기 동작은 단계 S3로 돌아간다.
대안으로, 타겟 추적 동작의 단계 S9 이후에, 추적 영역 탐색부(35)는 해당되는 타겟 영역을 확장시키거나 또는 축소시키면서, 현 화상 프레임의 타겟 영역의 화상과 이전 화상 프레임의 타겟 영역의 화상의 특징량에 기초하여 유사도를 산출하여, 산출된 유사도에 기초하여 화상 프레임 F(i)의 타겟 영역의 크기를 조정할 수 있다.
또한, 단계 S9 이후, 추적 영역 탐색부(35)는, LCD(26) 상의 화상에, 타겟 영역을 나타내는 직사각형 프레임이 표시되도록 화상 처리부(37)를 제어하도록 구성될 수 있다.
전술한 바와 같이, 본 실시형태에 따른 촬영 장치는, 전체 화상 프레임에 걸쳐서 추적의 결과를 확장시키거나 축소시키지 않고, 특정한 타겟을 포함하는 영역을 추적하기 위한 추적 영역의 크기를 촬영 파라미터를 이용하여 조정할 수 있다. 따라서, 종래 기술의 촬영 장치와 비교하면, 본 실시형태에 따른 촬영 장치는, 더 빠른 속도로, 시계열로 촬영부로부터 입력되는 촬영된 화상을 통해 특정한 타겟을 포함하는 상기 영역을 추적할 수 있다.
또한, 본 실시형태에 따른 촬영 장치는, 촬영부의 초점 거리 및 결상 거리에 기초하여, 이전에 촬영된 화상에 대한 현재 촬영된 화상의 가변 배율을 산출하고, 그렇게 함으로써 추적 영역의 크기를 조정할 수 있다.
또한, 본 실시형태에 따른 촬영 장치는, 추적 영역의 화상의 특징량과, 이전 촬영된 화상의 타겟 영역의 화상의 특징량 사이의 유사도를 산출할 수 있다.
또한, 본 실시형태에 따른 촬영 장치는, 노이즈율 또는 휘도에 따라 화상 데이터를 전-처리할 수 있다.
비록, 본 발명은 예시적인 실시형태에 대하여 설명되었지만, 거기에 제한되지 않는다. 후술하는 청구항에 의해 정의되는 본 발명의 범위로부터 벗어나지 않으면서, 이 기술 분야의 당업자에 의해 설명된 상기 실시형태에 대해 변형 또는 변경이 행해질 수 있음을 이해해야 한다.

Claims (10)

  1. 대상의 화상을 촬영하는 촬영부를 포함하고, 시계열로 촬영된 화상을 통해 특정한 타겟이 나타나는 영역을 추적하는 촬영 장치에 있어서,
    상기 촬영부로부터 촬영 파라미터를 취득하도록 구성된 파라미터 취득부와;
    상기 특정한 타겟을 포함하는 촬영된 화상의 영역을 타겟 영역으로 결정하도록 구성된 타겟 영역 결정부와;
    상기 특정한 타겟을 포함하는 상기 타겟 영역을 추적하기 위한 추적 영역에 대한 추적 프레임을 설정하고, 상기 촬영 파라미터에 기초하여 상기 추적 프레임의 크기를 조정하도록 구성된 추적 영역 조정부와;
    상기 크기가 조정된 추적 프레임을 이동시키면서, 해당되는 상기 촬영된 화상의 상기 추적 영역에서의 화상의 특징량과, 시계열로 해당되는 상기 화상의 직전에 촬영된 화상의 상기 타겟 영역에서의 화상의 특징량 사이의 유사도에 기초하여, 상기 추적 영역에 대해 상기 촬영된 화상을 탐색하도록 구성된 추적 영역 탐색부
    를 포함하는 촬영 장치.
  2. 제1항에 있어서,
    상기 추적 영역 조정부는, 상기 촬영 파라미터로서 상기 촬영부의 초점 거리 및 결상 거리를 이용하는 것인 촬영 장치.
  3. 제1항에 있어서,
    상기 추적 영역 탐색부는, 휘도 및 칼라 성분 중 적어도 하나의 빈도 분포에 기초하여 상기 화상의 특징량을 산출하도록 구성된 것인 촬영 장치.
  4. 제1항에 있어서,
    상기 추적 영역 탐색부가 상기 추적 영역을 탐색하기 전에, 상기 촬영된 화상 중 적어도 상기 추적 영역에 대하여, 노이즈 제거 처리 및 휘도 보정 처리 중 적어도 하나를 상기 촬영 파라미터에 기초하여 수행하도록 구성된 전-처리부를 더 포함하는 촬영 장치.
  5. 제4항에 있어서,
    상기 전-처리부는, 상기 촬영 파라미터로서 상기 촬영부의 감도, 초점 거리, 및 개구경을 이용하는 것인 촬영 장치.
  6. 대상의 화상을 촬영하는 촬영부를 포함하는 촬영 장치를, 시계열로 촬영된 화상을 통해 특정한 타겟이 나타나는 영역을 추적하기 위해 이용하는 타겟 추적 방법에 있어서,
    상기 촬영부로부터 촬영 파라미터를 취득하는 단계와;
    상기 특정한 타겟을 포함하는 촬영된 화상의 영역을 타겟 영역으로 결정하는 단계와;
    상기 특정한 타겟을 포함하는 상기 타겟 영역을 추적하기 위한 추적 영역에 대한 추적 프레임을 설정하고, 상기 촬영 파라미터에 기초하여 상기 추적 프레임의 크기를 조정하는 단계와;
    상기 크기가 조정된 추적 프레임을 이동시키면서, 해당되는 상기 촬영된 화상의 상기 추적 영역에서의 화상의 특징량과, 시계열로 해당되는 상기 화상의 직전에 촬영된 화상의 상기 타겟 영역에서의 화상의 특징량 사이의 유사도에 기초하여, 상기 추적 영역에 대해 상기 촬영된 화상을 탐색하는 단계
    를 포함하는 타겟 추적 방법.
  7. 제6항에 있어서,
    상기 추적 영역 조정 단계에서, 상기 촬영 파라미터로서 상기 촬영부의 초점 거리 및 결상 거리가 이용되는 것인 타겟 추적 방법.
  8. 제6항에 있어서,
    상기 추적 영역 탐색 단계에서, 휘도 및 칼라 성분 중 적어도 하나의 빈도 분포에 기초하여 상기 화상의 특징량을 산출하는 단계를 더 포함하는 타겟 추적 방법.
  9. 제6항에 있어서,
    상기 추적 영역 탐색 단계 전에, 상기 촬영된 화상 중 적어도 상기 추적 영역에 대하여, 노이즈 제거 처리 및 휘도 보정 처리 중 적어도 하나를 상기 촬영 파라미터에 기초하여 수행하는 단계를 더 포함하는 타겟 추적 방법.
  10. 제9항에 있어서,
    상기 촬영 파라미터로서 상기 촬영부의 감도, 초점 거리, 및 개구경이 이용되는 것인 타겟 추적 방법.
KR1020127023676A 2010-02-16 2011-02-14 타겟 추적 기능을 포함하는 촬영 장치 KR20120131178A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010031292 2010-02-16
JPJP-P-2010-031292 2010-02-16
PCT/JP2011/053582 WO2011102495A1 (en) 2010-02-16 2011-02-14 Imaging device including target tracking function

Publications (1)

Publication Number Publication Date
KR20120131178A true KR20120131178A (ko) 2012-12-04

Family

ID=44483080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127023676A KR20120131178A (ko) 2010-02-16 2011-02-14 타겟 추적 기능을 포함하는 촬영 장치

Country Status (6)

Country Link
US (1) US9092877B2 (ko)
EP (1) EP2537331B1 (ko)
JP (1) JP2011193443A (ko)
KR (1) KR20120131178A (ko)
CN (1) CN102763405A (ko)
WO (1) WO2011102495A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5589548B2 (ja) 2010-05-14 2014-09-17 株式会社リコー 撮像装置、画像処理方法、及びプログラム記憶媒体
JP5720275B2 (ja) 2011-02-03 2015-05-20 株式会社リコー 撮像装置および撮像方法
JP5746937B2 (ja) * 2011-09-01 2015-07-08 ルネサスエレクトロニクス株式会社 オブジェクト追跡装置
JP2016140030A (ja) 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム
JP6516544B2 (ja) * 2015-04-22 2019-05-22 キヤノン株式会社 制御装置、光学機器、撮像装置および制御方法
CN105573016B (zh) * 2015-12-21 2019-01-18 浙江大学 一种自动对焦窗口调整方法及系统
CN107003680B (zh) 2016-07-25 2019-11-05 深圳市大疆创新科技有限公司 控制移动物体移动的方法、装置和系统
US11010646B2 (en) 2018-04-10 2021-05-18 Facebook Technologies, Llc Object tracking assisted with hand or eye tracking
EP4233306A1 (en) 2020-10-22 2023-08-30 Qualcomm Incorporated Mechanism for improving image capture operations

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815315B2 (ja) * 1993-10-12 1996-02-14 キヤノン株式会社 自動焦点調節装置
JPH08249450A (ja) 1995-03-14 1996-09-27 Fujitsu Ltd 画像追跡装置
JP2000101902A (ja) * 1998-09-18 2000-04-07 Toshiba Corp 監視カメラ制御装置
US7113616B2 (en) * 2001-12-05 2006-09-26 Hitachi Kokusai Electric Inc. Object tracking method and apparatus using template matching
JP2003235035A (ja) 2001-12-05 2003-08-22 Hitachi Kokusai Electric Inc 物体検出方法及びそれを用いた物体検出装置並びに物体追跡方法及びそれを用いた物体追跡装置
JP3973462B2 (ja) 2002-03-18 2007-09-12 富士フイルム株式会社 画像撮影方法
JP2006276948A (ja) * 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
JP2007017401A (ja) 2005-07-11 2007-01-25 Central Res Inst Of Electric Power Ind 立体画像情報取得方法並びに装置
JP2007094536A (ja) * 2005-09-27 2007-04-12 Konica Minolta Holdings Inc 対象物追跡装置及び対象物追跡方法
JP4586709B2 (ja) * 2005-11-02 2010-11-24 オムロン株式会社 撮像装置
JP4837365B2 (ja) * 2005-11-16 2011-12-14 オリンパス株式会社 画像処理システム、画像処理プログラム
JP5167750B2 (ja) * 2006-10-03 2013-03-21 株式会社ニコン 追尾装置、撮像装置、および追尾方法
JP4866227B2 (ja) 2006-12-15 2012-02-01 日本放送協会 自動追尾撮影装置
JP2009010453A (ja) 2007-06-26 2009-01-15 Sony Corp 画像処理装置および方法、並びにプログラム
JP4872834B2 (ja) * 2007-07-04 2012-02-08 株式会社ニコン 画像認識装置、焦点調節装置および撮像装置
JP5141317B2 (ja) 2008-03-14 2013-02-13 オムロン株式会社 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
US8130282B2 (en) * 2008-03-31 2012-03-06 Panasonic Corporation Image capture device
JP2009246700A (ja) * 2008-03-31 2009-10-22 Panasonic Corp 撮像装置
CN101833749B (zh) * 2009-03-12 2012-03-28 株式会社理光 检测图像中阴影的装置和方法

Also Published As

Publication number Publication date
US9092877B2 (en) 2015-07-28
JP2011193443A (ja) 2011-09-29
EP2537331A1 (en) 2012-12-26
US20120293665A1 (en) 2012-11-22
EP2537331B1 (en) 2017-07-26
CN102763405A (zh) 2012-10-31
WO2011102495A1 (en) 2011-08-25
EP2537331A4 (en) 2013-08-14

Similar Documents

Publication Publication Date Title
KR20120131178A (ko) 타겟 추적 기능을 포함하는 촬영 장치
JP4665718B2 (ja) 撮影装置
US8634016B2 (en) Imaging device and main photographic subject recognition method
JP4674471B2 (ja) デジタルカメラ
KR101455018B1 (ko) 촬상 장치, 촬상 방법, 및 컴퓨터 판독 가능한 기록 매체
US8274572B2 (en) Electronic camera capturing a group of a plurality of specific objects
JP4896852B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
JP3679693B2 (ja) オートフォーカスカメラ
KR20090071471A (ko) 촬상 장치 및 그 셔터 구동 모드 선택 방법
KR101728042B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
US20110211038A1 (en) Image composing apparatus
JP2006080844A (ja) 電子カメラ
JP5482148B2 (ja) オートフォーカス調整回路及び撮像装置
JP5189913B2 (ja) 画像処理装置
JP2019101997A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
JP2006217249A (ja) 電子カメラ、電子カメラシステムおよびプログラム
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2004318331A (ja) 連続画像の被写体特徴部分抽出方法及びそのプログラム並びにデジタルカメラ
JP5615031B2 (ja) 撮像装置
JP2010081421A (ja) デジタルカメラ
JP4936799B2 (ja) 電子カメラ
JP2010122358A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
JP2007274029A (ja) 手振れ補正装置、手振れ補正方法およびプログラム
JP2023055075A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application