KR101455018B1

KR101455018B1 - 촬상 장치, 촬상 방법, 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR101455018B1
Application number: KR1020137020090A
Authority: KR
Inventors: 하이케 구안; 리우 통
Original assignee: 가부시키가이샤 리코
Priority date: 2011-02-03
Filing date: 2012-01-23
Publication date: 2014-10-27
Also published as: EP2671208A1; US20130314548A1; CN103339655A; EP2671208A4; JP5720275B2; EP2671208B1; KR20130112059A; CN103339655B; WO2012105460A1; US9336606B2; JP2012164002A

Abstract

촬상 장치는 화상을 입력하는 화상 입력 유닛과, 상기 화상 입력 유닛으로부터 입력된 시계열의 화상 프레임 중 제1 화상 프레임 내의 제1 영역인 초기 추적 대상 영역의 지정을 접수하는 지정 유닛과, 상기 제1 화상 프레임 내의 대상 영역으로부터 미리 정해진 특징량을 추출하는 특징량 추출 유닛과, 상기 제1 영역의 사이즈를 변경하여 얻은 제2 영역을 탐색하고, 상기 제2 영역으로부터 추출된 특징량이 성공적인 추적을 가능하게 하는 미리 정해진 조건을 만족하는지를 판정하여 상기 제2 영역을 새로운 초기 추적 대상 영역으로서 설정하는 제1 탐색 유닛과, 제1 화상 프레임에 후속하는 제2 화상 프레임 내에서, 그 새롭게 설정된 초기 추적 대상 영역과 유사한 영역을 추적 결과 영역으로서 탐색하는 제2 탐색 유닛을 포함한다.

Description

촬상 장치, 촬상 방법, 및 컴퓨터 판독 가능한 기록 매체{IMAGE CAPTURING APPARATUS, IMAGE CAPTURING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM}

본 발명은 촬상 장치 및 촬상 방법에 관한 것이다.

종래부터, 연속적인 시계열의 화상 프레임에 촬상된 물체를 추적하고, 그 추적 결과에 따라 카메라를 제어하는 카메라 제어 방법이 제안되고 있다. 예컨대, 일본 특허 출원 공개 제2008-153879호는 화상 프레임 내에서 물체를 추적하고, 그 추적으로 생긴 결과의 이동 벡터를 이용하여, 카메라 제어에 관한 토크량을 조정하는 자동 추적 촬상 장치가 제안되어 있다.

또한, 일본 특허 출원 공개 제2009-10453호는 물체 추적 시에 화상 노이즈 또는 추적 대상 물체의 변형에 의해 생길 수 있는 추적 오차로 인한 추적 실패에 대처하는 방법이 제안되어 있다. 더 구체적으로, 사용자에 의해 입력된, 추적 결과를 보정하기 위한 추적점의 입력을 접수하여, 중단 없이 추적을 계속하는 방법이 제안되어 있다.

일반적인 추적 방법에 있어서, 연속적인 화상 프레임에 촬상된 물체에 대한 추적은, 도 9에 도시하는 바와 같이 화상 프레임(F0) 내에서 초기 추적 대상 영역(ABCD)을 결정한 후, 후속 화상 프레임에서 그 물체에 대해 추적 처리를 수행함으로써 이루어진다. 더 구체적으로, 도 10a에 도시하는 F0 프레임(초기 화상 프레임)의 초기 추적 대상 영역(ABCD)에 관하여, 도 10b에 도시하는 FM 프레임(M번째 화상 프레임)에서 추적 결과 영역(A'B'C'D')이 얻어질 경우에, FM 프레임 내의 추적 결과 영역을 새로운 추적 대상 영역으로서 이용하여, 후속 화상 프레임에 대해 추적 처리를 수행한다.

일본 특허 출원 공개 제2008-153879호 일본 특허 출원 공개 제2009-10453호

그러나, 초기 추적 대상 영역이 제한되는 상황 등에 있어서, 도 11a에 도시하는 바와 같이 초기 추적 대상 영역(ABCD)이 선택될 경우, 의도한 추적 대상 영역과 다른 영역인 영역(A'B'C'D')이 원하지 않게 FM 프레임 내의 추적 결과로서 얻어질 수도 있다. 도 11a와 도 11b에 도시하는 예에서는, 초기 추적 대상 영역에는 물체의 일부만 포함되므로, 초기 추적 대상 영역이 부적절하게 선택된다. 따라서, 추적 결과 영역은 원하지 않게 대상 물체의 다른 부분을 추적하여, 추적 결과가 불안정하게 된다.

일본 특허 출원 공개 제2008-153879호에 개시된 바와 같은 종래 기술은 도 11a와 도 11b에 도시하는 바와 같은 초기 추적 대상 영역이 선택되면, 물체 추적을 실패할 가능성이 높아진다.

일본 특허 출원 공개 제2009-10453호의 기술에서는, 추적 실패가 일어날 경우, 그에 대한 수정은 이루어질 수 있지만, 초기 추적 대상 영역이 적절하게 선택되지 못한다면, 역시 추적 결과가 불안정하게 되어, 인간의 개입을 빈번하게 필요로 한다. 이것은 사용자에게 큰 부담이 된다.

이러한 사정으로, 적절한 초기 추적 대상 영역을 자동으로 선택하여, 추적 실패 가능성을 저감시키는 물체 추적 방법이 요구되고 있다.

본 발명은 상기 사정을 감안하여 이루어진 것이며, 시계열의 화상 프레임에서의 물체 추적으로부터 안정적인 추적 결과를 얻을 수 있고 추적 성공률을 높일 수 있는 물체 추적 기능을 갖는 촬상 장치 및 촬상 방법을 제공하는 것이다.

본 발명의 목적은 종래 기술의 과제를 적어도 일부 해결하는 것이다.

촬상 장치는 화상을 입력하는 화상 입력 유닛과, 상기 화상 입력 유닛으로부터 입력된 시계열의 화상 프레임 중 제1 화상 프레임 내의 제1 영역인 초기 추적 대상 영역의 지정을 접수하는 지정 유닛과, 상기 제1 화상 프레임 내의 대상 영역으로부터 미리 정해진 특징량을 추출하는 특징량 추출 유닛과, 상기 제1 영역의 사이즈를 변경하여 얻은 제2 영역을 탐색하고, 상기 제2 영역으로부터 추출된 특징량이 성공적인 추적을 가능하게 하는 미리 정해진 조건을 만족하는지를 판정하여 상기 제2 영역을 새로운 초기 추적 대상 영역으로서 설정하는 제1 탐색 유닛과, 시계열의 화상 프레임 중 제1 화상 프레임에 후속하는 제2 화상 프레임 내에서, 그 새롭게 설정된 초기 추적 대상 영역과 유사한 영역을 추적 결과 영역으로서 탐색하는 제2 탐색 유닛을 포함한다.

촬상 장치에 의해 수행되는 촬상 방법은, 화상을 입력하는 단계와, 지정 유닛이, 시계열의 화상 프레임 중 제1 화상 프레임 내의 제1 영역인 초기 추적 대상 영역의 지정을 접수하는 단계와, 상기 제1 화상 프레임 내의 대상 영역으로부터 미리 정해진 특징량을 추출하는 단계와, 상기 제1 영역의 사이즈를 변경하여 얻은 제2 영역을 탐색하고, 상기 제2 영역으로부터 추출된 특징량이 성공적인 추적을 가능하게 하는 미리 정해진 조건을 만족하는지를 판정하여 상기 제2 영역을 새로운 초기 추적 대상 영역으로서 설정하는 제1 탐색 단계와, 시계열의 화상 프레임 중 제1 화상 프레임에 후속하는 제2 화상 프레임 내에서, 그 새롭게 설정된 초기 추적 대상 영역과 유사한 영역을 추적 결과 영역으로서 탐색하는 제2 탐색 단계를 포함한다.

컴퓨터로 하여금 촬상 방법을 실행하게 하는 컴퓨터 판독 가능한 프로그램 코드가 구현화되어 있는 지속성의 컴퓨터 이용 가능한 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 이 촬상 방법은, 화상을 입력하는 단계와, 지정 유닛이, 시계열의 화상 프레임 중 제1 화상 프레임 내의 제1 영역인 초기 추적 대상 영역의 지정을 접수하는 단계와, 상기 제1 화상 프레임 내의 대상 영역으로부터 미리 정해진 특징량을 추출하는 단계와, 상기 제1 영역의 사이즈를 변경하여 얻은 제2 영역을 탐색하고, 상기 제2 영역으로부터 추출된 특징량이 성공적인 추적을 가능하게 하는 미리 정해진 조건을 만족하는지를 판정하여 상기 제2 영역을 새로운 초기 추적 대상 영역으로서 설정하는 제1 탐색 단계와, 시계열의 화상 프레임 중 제1 화상 프레임에 후속하는 제2 화상 프레임 내에서, 그 새롭게 설정된 초기 추적 대상 영역과 유사한 영역을 추적 결과 영역으로서 탐색하는 제2 탐색 단계를 포함한다.

본 발명의 상기 및 기타 목적, 특징, 이점, 그리고 기술적 및 산업적 중요성은 첨부하는 도면을 참조하면서 본 발명의 현시점의 바람직한 실시형태에 대한 이하의 상세한 설명으로부터 더 잘 이해될 것이다.

도 1은 실시형태에 따른 물체 추적 장치의 구성을 도시하는 블록도이다.
도 2a와 도 2b는 실시형태에 따른 초기 추적 대상 영역 산출 처리 및 추적 처리를 설명하기 위한 도면이다.
도 3은 실시형태에 따른 추적 처리를 설명하기 위한 도면이다.
도 4는 실시형태에 따른 물체 추적 장치에 의해 수행되는 물체 추적에 수반된 일련의 처리를 설명하기 위한 흐름도이다.
도 5는 물체 추적 기능을 갖는 촬상 장치의 일례로서 디지털 스틸 카메라의 외관을 도시하는 도면이다.
도 6은 물체 추적 기능을 갖는 촬상 장치의 일례로서 디지털 스틸 카메라의 외관을 도시하는 다른 도면이다.
도 7은 디지털 스틸 카메라의 내부 구성을 도시하는 블록도이다.
도 8은 탭핑 조작에 의해 초기 추적 대상 영역이 지정되는 경우를 예시하는 도면이다.
도 9는 일반적인 추적 방법을 설명하기 위한 도면이다.
도 10a와 도 10b는 일반적인 추적 방법을 설명하기 위한 다른 도면이다.
도 11a와 도 11b는 일반적인 추적 방법이 수행될 때에 일어날 수 있는 추적 실패를 예시하는 도면이다.

이하, 첨부 도면을 참조하여, 실시형태에 따른 촬상 장치의 물체 추적 기능을 실현하는 물체 추적 장치에 대해 상세하게 설명한다.

먼저, 실시형태에 따른 물체 추적 장치의 구성에 대해, 도 1을 참조하여 이하에 설명한다. 도 1은 실시형태에 따른 물체 추적 장치의 구성을 도시하는 블록도이다. 이하에 설명하는 물체 추적 장치의 구성은 디지털 스틸 카메라 등의 촬상 장치의 제어 유닛, 화상 처리 유닛 등에 적용될 수 있다.

도 1에 도시하는 물체 추적 장치는 화상 입력 유닛(101), 초기 대상 영역을 지정하는 초기 영역 지정 유닛(102), 초기 추적 대상 영역을 산출하는 초기 영역 산출 유닛(103), 추적 처리 유닛(104), 추적 결과 출력 유닛(105), 및 제어 처리 유닛(106)을 포함한다.

화상 입력 유닛(101)은 촬상 장치 또는 화상 처리 장치에 의해 촬영된 동화상이나 복수의 정지 화상으로부터 얻은 연속적인 시계열의 화상 프레임의 데이터를 순차적으로 입력한다. 도 9에 도시하는 바와 같이, F0은 최초의 화상 프레임을 나타낸다. 이 화상 프레임(F0)의 입력으로부터 Δt의 시간 간격이 경과한 후, 후속 화상 프레임(F1)이 입력된다. 이런 식으로, N개의 시계열 화상 프레임이 순차적으로 하나씩 입력된다. 이들 화상 프레임을 포함하는 이 화상 프레임 세트가 추적 대상 화상 데이터로서 기능한다.

초기 영역 지정 유닛(102)은 최초의 화상 프레임(F0) 내에서 초기 추적 대상 영역(A0B0C0D0)의 지정을 접수한다. 도 2a에 도시하는 예에서는, 영역(A0B0C0D0)이 초기 추적 대상 영역으로서 지정된다. 초기 추적 대상 영역(A0B0C0D0)의 지정은, 예컨대 디지털 스틸 카메라 등의 터치 채널과 일체로 형성된 액정 디스플레이를 이용하여 이루어질 수 있다. 사용자는 초기 추적 대상 영역(A0B0C0D0)의 4개 코너의 좌표(A0, B0, C0 및 D0)를 탭핑함으로써, 직접 입력할 수 있다. 또는, 사용자에 의해 지정된 하나의 점, 예컨대 영역(A0B0C0D0) 부근의 하나의 점의 좌표의 입력을 접수하여, 입력된 좌표에 중심이 위치한 미리 정해진 사이즈를 갖는 초기 추적 대상 영역(A0B0C0D0)을 자동으로 산출하는 식으로 지정이 이루어질 수 있다. 또한, 초기 추적 대상 영역(A0B0C0D0) 또는 후술하는 추적 대상 영역(ABCD)이 도 2a 또는 도 2b에 도시한 사각 형태를 취할 필요는 없으며, 타원형, 원형, 다각형, 또는 복수의 사각형의 조합 등의 다른 형상을 가질 수도 있다.

초기 영역 산출 유닛(103)은 초기 영역 지정 유닛(102)을 이용해 지정된 초기 추적 대상 영역(A0B0C0D0)에 기초하여, 후술하는 조건을 만족하는 영역을 새로운 초기 추적 대상 영역(ABCD)으로서 결정함으로써 산출한다. 더 구체적으로, 특징량 추출 유닛(103a)이, 도 2a에 도시한 지정된 초기 추적 대상 영역(A0B0C0D0) 내의 컬러 화상의 N빈(bin)의 컬러 히스토그램을 계산한다. 계속해서, 특징량 추출 유닛(103a)은 이하의 수학식 (1)을 이용하여, 계산된 컬러 히스토그램으로부터 엔트로피(E)를 계산한다. 수학식 (1)에 있어서, h_i는 컬러 히스토그램의 i번째 빈의 값이다.

제1 탐색 유닛(103b)이 초기 추적 대상 영역(A0B0C0D0)의 사이즈를 변경하여(이 예에서는, 사이즈를 확대시키면서), 컬러 히스토그램의 엔트로피(E)를 재계산한다. 엔트로피(E)가 최대인 영역(ABCD)이 새로운 초기 추적 대상 영역으로서 선택된다. 이런 식으로 초기 추적 대상 영역(ABCD)을 결정하면, 도 11a와 도 11b에 도시한 바와 같은 추적 실패의 발생을 방지함으로써, 정확하고 안정적인 추적을 달성할 수 있다. 한편, 초기 추적 대상 영역(A0B0C0D0)의 사이즈를 변경하여 얻은 영역에서 계산된 엔트로피(E)가 임계값(Eth)을 초과하지 않을 경우, 즉 엔트로피(E)의 최대값이 임계값(Eth)을 초과하지 않을 경우, 초기 추적 대상 영역의 산출이 실행될 수 없음을 알리는 경고(예컨대, 도 1에 도시하지 않은 액정 디스플레이 등의 표시 장치 상에서의 경고 표시, 또는 스피커 등의 사운드 출력 장치를 이용한 경고음 등)가 발행되고, 후술하는 추적 처리 유닛(104)에 의해 수행되는 추적 처리가 종료된다.

추적 처리 유닛(104)은 초기 영역 산출 유닛(103)에 의해 산출된 초기 추적 대상 영역(ABCD)을 템플릿으로 이용하여, 도 2b에 도시하는 바와 같이 후속 화상 프레임(FM) 내에서 초기 추적 대상 영역(ABCD)과의 유사도가 가장 높은 영역(A'B'C'D')을 탐색하여 추출한다. 더 구체적으로, 유사도 산출 유닛(104a)은 후술하는 바와 같이 유사도를 산출하고, 제2 탐색 유닛(104b)은 초기 추적 대상 영역(ABCD)과의 유사도가 높은 영역(A'B'C'D')을 탐색한다(상세한 것은 후술한다). 추적 결과 영역은 이 A', B', C' 및 D'의 정점 좌표로 둘러싸이는 영역으로서 얻어진다.

추적 결과 출력 유닛(105)은 추적 처리 유닛(104)에 의해 수행된 추적 결과인 추적 결과 영역에 관한 정보를 출력한다.

제어 처리 유닛(106)은 추적 결과 출력 유닛(105)으로부터 출력된 추적 결과(추적 결과 영역에 관한 정보)를 수신하여, 이 추적 결과에 따라 제어 조작을 수행한다. 예컨대, 추적 대상 영역(ABCD)에 초점을 위치시킬 경우, 제어 처리 유닛(106)은 후속하는 각 화상 프레임의 추적 결과 영역(A'B'C'D')에 초점을 유지시키는 제어 조작을 수행한다.

전술한 바와 같이, 본 실시형태의 물체 추적 장치는, 지정된 초기 추적 대상 영역의 특징량인 컬러 히스토그램의 엔트로피(E)를 평가하여, 초기 추적 대상 영역의 엔트로피(E)가 추적을 성공시키기 위한 미리 정해진 임계값보다 더 커지도록 초기 추적 대상 영역의 사이즈를 변경함으로써, 물체 추적을 안정화하는 초기 영역 산출 유닛(103)을 포함한다.

이하, 본 실시형태에 따른 물체 추적 장치에 의해 수행되는 추적 처리에 대해 상세하게 설명한다. 도 3은 추적 처리를 설명하기 위한 도면이다.

도 3에 도시하는 바와 같이, 추적 대상인 화상 프레임(FM) 상에서, 탐색 영역 또는 윈도우(A'B'C'D')를 이동시킴으로써, 초기 추적 대상 영역(ABCD)과 가장 유사한 영역(A'B'C'D')(추적 결과 영역)을 탐색한다. 더 구체적으로, 추적 결과 영역의 후보가 되는 탐색 영역(A'B'C'D')[이 영역은 최초의 탐색 단계에서 초기 영역 산출 유닛(103)에 의해 산출된 초기 추적 대상 영역(ABCD)과 형상 및 사이즈가 동일함]의 위치를 왼쪽 상측 코너에서부터 화소마다 이동시키면서 탐색하여, 화상 프레임(F0) 내의 초기 추적 대상 영역(ABCD)과의 유사도가 가장 높은 영역을 찾는다.

화상 프레임(F0) 내의 초기 추적 대상 영역(ABCD)과 화상 프레임(FM)의 탐색 영역(A'B'C'D') 간의 유사도는 대응 화상의 특징량을 이용하여 산출된다. 산출 시에, 초기 추적 대상 영역(ABCD)과 탐색 영역(A'B'C'D')의 컬러 히스토그램을 사용한다. 영역(ABCD)의 컬러 히스토그램은 q=[q1, q2, …, qn]로 표현된다. 여기서, q1, q2, …, qn은 각 컬러 성분의 휘도 레벨 1부터 휘도 레벨 n까지의 화소수이다. 탐색 영역(A'B'C'D')의 컬러 히스토그램은 p=[p1, p2,…, pn]으로 표현된다. 대상 영역의 모든 화소는 면적 변화의 영향을 최소로 하기 위해 컬러 히스토그램의 계산 시에 정규화된다.

초기 추적 대상 영역(ABCD)과 탐색 영역(A'B'C'D') 간의 유사도(Sim)는 이하의 수학식 (2)로부터 산출된다.

유사도(Sim)가 가장 높은 탐색 영역(A'B'C'D')이 추적 결과 영역으로서 선택된다.

한편, 상이한 프레임들 간에 피사체의 사이즈가 변할 수 있다. 따라서, 실제 탐색은 최초 사이즈[최초 탐색 시의 탐색 영역(A'B'C'D')의 사이즈]의 윈도우를 이용하여 전체 화면을 탐색한 후에, 그 윈도우 사이즈를 배율 계수(M)씩 변경하면서 추가 탐색을 한다. 이런 식으로, 모든 사이즈의 윈도우를 이용하여 모든 위치에 대해 탐색이 이루어지고, 수학식 (2)에서 취득된 유사도(Sim)가 최고인 탐색 영역(A'B'C'D')이 추적 결과 영역으로서 결정된다.

다음에, 물체 추적 장치에 의해 수행되는 물체 추적에 수반된 일련의 처리에 대해서, 도 4에 나타낸 흐름도를 참조하여 후술한다.

먼저, 촬상 장치 또는 화상 처리 장치로부터 화상이 입력된다(단계 S101). 이 단계에서, 촬상 장치 또는 화상 처리 장치에 의해 촬영된 동화상이나 복수의 정지 화상으로부터 얻어진 시계열의 화상 프레임의 데이터가 입력된다.

후속하여, 입력된 시계열의 화상 프레임 중 제1 화상 프레임 내에서의 초기 추적 대상 영역의 지정이 접수된다(단계 S102). 예컨대, 도 2a에 도시한 영역(A0B0C0D0)이 지정된다.

계속해서, 초기 추적 대상 영역(A0B0C0D0)의 특징량이 계산된다. 이 단계에서는, 먼저 초기 추적 대상 영역(A0B0C0D0) 내의 화소의 컬러 히스토그램이 작성된다(단계 S103). 추적 대상의 화상이 컬러 화상이면, R, G, B 각각의 컬러 성분마다 히스토그램이 작성된다. RGB 성분의 히스토그램을 함께 조합하여, N빈의 컬러 히스토그램을 얻을 수 있다. 한편, RGB 외의 컬러 성분, 예컨대 YCrCb와 Lab를 포함하는 다른 컬러 성분 각각마다 히스토그램을 작성하여 컬러 히스토그램을 얻을 수도 있다. 입력 화상이 휘도 화상인 경우에는, 특징량으로서 휘도의 히스토그램이 작성된다.

전술한 수학식 (1)로부터 컬러 히스토그램의 엔트로피(E)가 계산된다(단계 S104). 엔트로피(E)의 값이 클수록 추적 대상 영역의 특징량도 커진다.

단계 S103 내지 단계 S106에 나타낸 바와 같이, 컬러 히스토그램의 계산 및 엔트로피(E)의 계산은 도 2a에 도시한 바와 같은 영역의 초기 설정된 사이즈의 범위(width_min, width_max) 내에서(그 사이즈가 사이즈 범위 내에 있다면, 단계 S105에서 YES로서 판정됨) 초기 추적 대상 영역(A0B0C0D0)의 사이즈를 최초의 사이즈로부터 변경하여 얻은 영역에 대해 반복 실행된다(단계 S106).

그 영역의 초기 설정된 사이즈 범위(width_min, width_max)에 대해 컬러 히스토그램의 계산 및 엔트로피(E)의 계산이 종료될 경우(이 경우, 단계 S105에서 NO로서 판정됨), 엔트로피(E)의 최대값이 임계값(Eth)(제1 임계값)보다 크면, 이 엔트로피(E)가 최대인 영역이 초기 추적 대상 영역(ABCD)으로서 결정된다. 즉, 초기 추적 대상 영역(A0B0C0D0)의 사이즈를 변경하여 얻은 각 영역마다 엔트로피(E)가 계산된다. 엔트로피가 최대이고 임계값(Eth) 이상인, 예컨대 도 2a에 도시한 예의 영역(ABCD)이 최종적으로 초기 추적 대상 영역으로서 선택된다. 초기 추적 대상 영역(ABCD)을 이용하여 추적 처리가 수행된다.

단계 S106에서 수행되는 영역 사이즈의 변경에 대해 이하에 상세하게 설명한다. 엔트로피(E)의 최대값을 찾기 위해, 먼저 초기 설정된 영역 사이즈로부터 사이즈를 작게 하는 방향으로 사이즈가 초기 설정된 최소 사이즈(width_min)에 도달할 때까지 탐색하여 엔트로피(E)의 최대값(E1)을 찾는다. 그런 다음, 초기 설정된 사이즈로부터 사이즈를 크게 하는 방향으로 사이즈가 초기 설정된 최대 사이즈(width_max)에 도달할 때까지 탐색하여, 엔트로피(E)의 최대값(E2)을 찾는다. 엔트로피(E1)와 엔트로피(E2) 중 더 큰 것이 전체 최대값으로서 선택된다. 전체 최대값이 임계값(Eth)보다 크면, 전체 최대값이 구해지는 사이즈의 영역이 최종적으로 초기 추적 대상 영역으로서 선택된다. 엔트로피(E)의 최대값의 탐색은 전술한 탐색과 반대로 이루어질 수도 있는데, 즉 초기 설정된 사이즈로부터 사이즈를 크게 하는 방향으로 탐색이 이루어진 다음, 초기 사이즈로 복귀하여, 사이즈를 작게 하는 방향으로 탐색이 이루어질 수 있다.

다시 도 4로 되돌아가서, 초기 추적 대상 영역(A0B0C0D0)의 사이즈를 변경하여 얻은 컬러 히스토그램의 엔트로피(E)의 최대값이 임계값(Eth)을 초과하지 않는다면(단계 S107에서 NO), 처리 제어는 단계 S108 및 후속 단계에서 수행되는 추적 처리를 중지하고 단계 S117로 이행한다. 엔트로피(E)의 최대값이 임계값(Eth)보다 작다면, 탐색 범위 내의 영역의 특징량이 작고, 추적이 실패할 가능성이 있기 때문에, 경고가 발행된다(단계 S117). 이 처치로 말미암아, 실패할 가능성이 높은 추적 처리를 생략할 수 있고 사용자에게 최초에 지정된 물체(피사체)의 추적이 이루어질 수 없음을 알릴 수 있다.

반면, 전술한 바와 같이 초기 추적 대상 영역(ABCD)이 성공적으로 결정되면, 즉 단계 S107에서 판정 처리의 결과가 YES로서 판정되면, 그렇게 결정된 초기 추적 대상 영역(ABCD)을 이용하여, 추적 처리가 이루어진다. 이 추적 처리는 이미 앞에서 설명하였지만, 도 4에 나타내는 흐름도를 따라 후술한다.

도 3에 도시한 바와 같이, 추적 대상이 되는 화상 프레임(FM) 내에서의 탐색 영역인 윈도우(A'B'C'D')를 이동시킴으로써, 초기 추적 대상 영역(ABCD)과 가장 유사한 추적 결과 영역을 탐색한다. 더 구체적으로, 먼저 초기 추적 대상 영역(ABCD)의 특징량(본 예에서는 컬러 히스토그램)이 산출된다(단계 S108). 한편, 단계 S103부터 단계 S106까지 이전 단계에서 산출된 초기 추적 대상 영역(ABCD)의 특징량은 단계 S108에서 구해져야 하는 초기 추적 대상 영역(ABCD)의 특징량으로서 이용되도록 저장될 수도 있다.

계속해서, 단계 S109에서 수행되는 추적 결과 영역의 탐색에 있어서, 추적 결과 영역의 후보인 탐색 영역(A'B'C'D')[이 영역은 초기 영역 산출 유닛(103)에 의해 최초의 탐색 단계에서 산출된 초기 추적 대상 영역(ABCD)과 형상 및 사이즈가 동일함]의 위치를 왼쪽 상측 코너에서부터 화소마다 이동시킨 다음, 다음 라인(행)의 좌단으로부터 화소마다 그 위치를 추가 이동시키면서 탐색 대상의 화상 프레임(FM) 내의 모든 위치에서 탐색 영역(A'B'C'D')의 컬러 히스토그램이 작성된다.

계속해서, 초기 추적 대상 영역(ABCD)의 컬러 히스토그램과, 추적 결과 영역의 후보인 탐색 영역(A'B'C'D')의 컬러 히스토그램을 이용하여, 초기 추적 대상 영역(ABCD)과 추적 결과 영역의 후보인 각 탐색 영역(A'B'C'D') 간의 유사도가 계산된다(단계 S110). 초기 추적 대상 영역(ABCD)과 탐색 영역(A'B'C'D') 간의 유사도(Sim)가 전술한 바와 같이 수학식 (2)로부터 계산된다.

이어서, 모든 사이즈의 탐색 영역에 대해 탐색이 완료되었는지가 판정된다(단계 S111). 판정 처리는, 상이한 프레임들 간에 피사체의 사이즈가 변할 수 있기 때문에, 전술한 바와 같이 실제의 탐색 처리에서, 초기 사이즈의 윈도우[탐색 영역(A'B'C'D')]을 이용하여 전체 화면 탐색으로서 이루어진 후에, 윈도우 사이즈를 배율 계수(M)씩 변경함으로써 단계 S109 및 후속 단계에서의 탐색 처리가 이루어진다. 모든 사이즈의 탐색 영역에 대해 탐색이 아직 완료되지 않았다면(단계 S111에서 NO), 처리 제어는 단계 S112로 이행하며, 이 단계에서는 탐색 영역(A'B'C'D)의 사이즈가 변경된다.

반면, 모든 사이즈의 탐색 영역에 대한 탐색이 완료되었다면(단계 S111에서 YES), 처리 제어는 단계 S113으로 이행하며, 이 단계에서는 초기 추적 대상 영역(ABCD)과 추적 결과 영역의 후보인 각 탐색 영역(A'B'C'D') 간의 유사도의 최대값이 미리 정해진 임계값(제2 임계값)을 초과하는지가 판정된다(단계 S113).

유사도의 최대값이 미리 정해진 임계값을 초과하지 않는다면(단계 S113에서 NO), 화상 프레임(FM) 내의 초기 추적 대상 영역(ABCD)과 유사한 영역은 존재하지않는다. 이 경우, 처리 제어는 단계 S116으로 이행하며, 이 단계에서는, 초기 추적 대상 영역(ABCD)과 유사한 영역이 존재하지 않음을 알리는 경고가 발행된다.

한편, 유사도의 최대값이 미리 정해진 임계값을 초과하면(단계 S113에서 YES), 유사도(Sim)가 최고인 탐색 영역(A'B'C'D')이 추적 결과 영역으로서 출력된다(단계 S114).

제어 처리 유닛(106)은 추적 결과에 따라 촬상 장치에 대해 제어 조작, 예컨대 추적 대상 물체에 대한 오토포커스 제어 등을 수행한다(단계 S115). 이후, 후속 화상 프레임에 대하여, 단계 S109 및 후속 단계에서의 추적 처리가 반복 수행된다. 한편, 화상 프레임(FM) 내의 추적 결과 영역을 새로운 초기 추적 대상 영역(ABCD)으로서 이용하여, 후속 화상 프레임 내에서 탐색이 이루어질 경우에, 단계 S114에서 얻어진 추적 결과 영역의 컬러 히스토그램은 단계 S110에서 유사도 산출에 이용되도록 저장된다.

이상, 물체 추적 장치에 의해 수행되는 물체 추적에 수반된 일련의 조작에 대해 설명하였다.

전술한 물체 추적 처리를 포함하는 화상 처리를 실시하는 촬상 장치의 실시형태인 디지털 스틸 카메라의 하드웨어 구성에 대해 후술한다.

도 5와 도 6은 실시형태에 따른 디지털 스틸 카메라의 외관을 도시하는 도면이다. 일반적인 디지털 카메라와 마찬가지로, 디지털 스틸 카메라(20)는 본체의 앞면 및 상면에, 파워(전원) 버튼(21), 셔터 릴리스 버튼(22), 플래시광 발광 유닛(23), 오토포커스 보조 광/셀프타이머 램프(24), 렌즈 커버(25), 마이크(26), 스피커(27), 및 촬상 렌즈를 포함하는 촬상 광학계(1)를 포함한다.

도 6에 도시하는 바와 같이, 디지털 스틸 카메라(20)는 배면에, 액정 디스플레이(16)[이하, "LCD(16)"라고 약기함], 모드 전환 스위치(31), 재생 버튼(32), 조정(ADJ.) 버튼(33), 삭제/셀프타이머 버튼(34), 상향 화살표/모드 버튼(35), 우향 화살표/퀵리뷰 버튼(36), 메뉴/OK 버튼(37), 하향 화살표/매크로 버튼(38), 좌향 화살표/플래시광 버튼(39), 및 표시(DISP.) 버튼(40)을 비롯한 각종 버튼 및 스위치를 포함한다. 디지털 스틸 카메라(20)의 상면 및 배면에 배치된 각종 버튼 및 스위치는 디지털 스틸 카메라(20)의 조작 유닛[후술하는 조작 유닛(15)]을 구성한다.

촬상 광학계(1)는 격납식 줌 렌즈를 포함한다. 파워(전원) 버튼(21)을 눌러 카메라의 전원이 투입되고, 모드 전환 스위치(31)를 이용하여 카메라의 모드가 촬영 모드에 설정되면, 디지털 카메라(20)의 본체로부터 격납식 줌 렌즈가 돌출하게 된다.

LCD(16)는 컬러 화상을 표시할 수 있는 LCD 패널과, 터치 패널을 포함한다. 재생 모드 시에, LCD(16)는 촬영된 화상을 표시하기 위한 화상 표시 패널로서 이용되고, 터치 패널 상에서의 사용자에 의한 탭핑 및 드래그 조작 등의 각종 조작에 의해 입력된 다양한 설정 조작에 관한 입력을 접수하기 위한 사용자 인터페이스 표시 패널로서도 이용된다. 촬영 모드 시에, LCD(16)는 필요에 따라서 화각(angle of view) 확인을 위한 모니터 표시로서 라이브 뷰(live view)를 표시한다.

실시형태의 디지털 스틸 카메라(20)의 내부 구성에 대해 도 7을 이용하여 후술한다. 도 7은 디지털 스틸 카메라(20)의 내부 구성을 도시하는 블록도이다.

도 7에 도시하는 바와 같이, 물체광이 촬상 광학계(1)를 통과하여 CCD(Charge Coupled Device)(3)에 입사된다. 촬상 광학계(1)와 CCD(3) 사이에는 메커니컬 셔터(2)가 배치되어 있다. 이 메커니컬 셔터(2)는 CCD(3)에 입사된 광을 차단할 수 있다. 촬상 광학계(1)와 메커니컬 셔터(2)는 모터(6)에 의해 구동된다.

CCD(3)는 그 촬상면에 결상된 광학상을 전기 신호로 변환하고, 이 전기 신호를 아날로그 화상 신호로서 출력한다. CCD(3)로부터 출력된 화상 신호는 CDS(Correlated Double Sampling) 회로(4)에 의해 노이즈 성분이 감소되고, A/D(아날로그-디지털) 컨버터(5)에 의해 디지털값(RGB)을 갖는 디지털 신호로 변환된 다음에, 화상 처리 회로(8)에 출력된다.

화상 처리 회로(8)는 화상 데이터를 일시적으로 저장하는 SDRAM(Synchronous DRAM)(12)를 이용하여, YCrCb 변환 처리, 화이트 밸런스 제어 처리, 콘트라스트 보정 처리, 엣지 강조 처리, 및 컬러 변환 처리 등의 각종 화상 처리를 수행한다. 한편, 화이트 밸런스 처리는 화상 데이터의 컬러 세기를 조정하는 화상 처리이고, 콘트라스트 보정 처리는 화상 데이터의 콘트라스트를 조정하는 화상 처리이다. 엣지 강조 처리는 화상 데이터의 선명도(sharpness)를 조정하는 화상 처리이며, 컬러 변환 처리는 화상 데이터의 색조를 조정하는 화상 처리이다. 화상 처리 회로(8)는 각종 신호 처리 및 화상 처리가 실시된 화상 데이터를 LCD(16)에 표시한다.

각종 신호 처리 및 화상 처리가 실시된 화상 데이터는 압축/신장 회로(13)를 통해, 메모리 카드(14)(도 7에는 "메모리"라고 약기함)에 저장된다. 압축/신장 회로(13)는 조작 유닛(15)으로부터 인출된 지시에 따라, 화상 처리 회로(8)로부터 출력된 화상 데이터를 압축하여 그 압축된 화상 데이터를 메모리 카드(14)에 출력하고, 메모리 카드(14)로부터 판독된 화상 데이터를 신장하여 그 신장된 화상 데이터를 화상 처리 회로(8)에 출력하는 회로이다.

CCD(3), CDS 회로(4) 및 A/D 컨버터(5)의 동작 타이밍은 타이밍 신호를 생성하는 타이밍 신호 발생기(7)를 통해 CPU(Central Processing Unit)(9)에 의해 제어된다. 또한, 화상 처리 회로(8), 압축/신장 회로(13) 및 메모리 카드(14)도 CPU(9)에 의해 제어된다.

디지털 스틸 카메라(20)는 제어 프로그램 등을 저장한 판독 전용 메모리인 ROM(Read Only Memory)(11), 및 각종 처리에 이용되는 작업 영역과 각종 데이터를 저장하는 저장 영역을 갖는 판독 가능/기록 가능한 메모리인 RAM(Random Access Memory)(10)를 내장한다. ROM(11)과 RAM(10)은 서로 버스 라인을 통해 접속된다. CPU(9)는 화상 처리 프로그램을 포함하는 제어 프로그램에 따라 각종 연산을 수행하고, 디지털 스틸 카메라(20)의 각 유닛을 제어한다.

실시형태의 디지털 스틸 카메라(20)에서 실행되는 화상 처리 프로그램은 전술한 추적 기능을 포함하는 모듈 구성을 갖는다. 실제 하드웨어 상에서, CPU(프로세서)(9)가 기억 매체인 ROM(11)로부터 화상 처리 프로그램을 판독하고 그 프로그램을 실행하여, 도 1에 도시하는 각 유닛을, 메인 메모리로서 기능하는 RAM(10) 상에 로드함으로써, 물체 추적을 수행한다. 화상 처리 프로그램은 물체 추적의 결과를 이용하여 디지털 스틸 카메라(20)를 최적으로 제어하고 화상에 대해 촬상 및 화상 처리를 수행하며, 압축 후에 화상을 메모리 카드(14)에 저장하도록 구성되어 있다.

실시형태의 디지털 스틸 카메라(20)에 의해 수행되는 물체 추적에 수반된 처리의 개요에 대해 후술한다.

먼저, 촬상 광학계(1), CCD(3), CDS 회로(4), 및 A/D 컨버터(5)를 통해 화상 처리 회로(8)에 입력되며, 모니터링을 위해 표시되는 동화상의 화상 데이터로부터, Δt의 시간 간격으로 최신의 2 프레임의 화상 데이터가 얻어져 SDRAM(12)에 저장된다. 이 동화상으로부터 얻어진 화상 프레임을 이용하여, 물체 추적이 이루어진다.

여기서, 초기 추적 대상 영역의 지정은, 디지털 스틸 카메라(20) 상에서 사용자에 의해 지정되어 입력된 점의 좌표를 접수함으로써 이루어진다. 그 점을 포함하는, 도 2a에 도시하는 직사각 영역(A0B0C0D0), 또는 타원형, 원형, 다각형 등의 다른 형태의 영역이 초기 추적 대상 영역으로서 설정된다. 실시형태의 디지털 스틸 카메라(20)에서는, 예컨대 도 8에 도시하는 바와 같이, LCD(16)의 터치 패널을 통해, 사용자가, LCD(16)에 표시된 화상에 있는 점을 마우스의 클릭 조작과 마찬가지로, 탭핑함으로써 좌표가 지정될 수 있다.

도 2a에 도시하는 초기 추적 대상 영역(A0B0C0D0)이 입력되면, CPU(9)는 화상 처리 프로그램에 따라, 전술한 바와 같이, 이 영역의 컬러 히스토그램을 계산하한다. 그리고, CPU(9)는 수학식 (1)로부터 컬러 히스토그램의 엔트로피(E)를 계산하고, 엔트로피(E)가 최대인 영역을 탐색하여, 그 영역을 초기 추적 대상 영역(ABCD)으로서 결정한다.

계속해서, CPU(9)는 도 6에 도시하는 바와 같이, 추적 결과 영역의 후보인 탐색 영역(A'B'C'D')의 사이즈와 위치를 변경하면서, 초기 추적 대상 영역(ABCD)과 각각의 탐색 영역(A'B'C'D') 간의 컬러 히스토그램의 유사도를 결정한다. CPU(9)는 유사도(Sim)가 최고인 영역(A'B'C'D')을 추적 결과 영역으로서 선택한다.

추적 결과 영역(A'B'C'D')가 얻어지면, CPU(9)는 추적 결과 영역(A'B'C'D')에 대한 정보를 이용하여, 실시형태의 디지털 스틸 카메라(20)를 제어한다. 예컨대, 초기 추적 대상 영역(ABCD)에 초점이 위치할 경우, CPU(9)는 초점을 후속하는 각 화상 프레임 내의 추적 결과 영역(A'B'C'D')에 유지시키는 제어 조작을 수행한다.

사용자가 셔터 릴리스 버튼(22)을 누른 후 입력된 화상 데이터에 대해서 화상 처리 회로(8)에 의해 미리 정해진 신호 처리 및 화상 처리가 실시된 다음, 압축/신장 회로(13)를 통해 메모리 카드(14)에 기록된다.

이상, 물체 추적 처리를 포함한 화상 처리를 수행하는 촬상 장치의 실시형태로서 디지털 스틸 카메라에 대해 설명하였다. 이에, 전술한 물체 추적 장치의 물체 추적 기능은 디지털 스틸 카메라 등의 촬상 장치에 적용되어 구현될 수 있다. 물체 추적 기능을 구비한 디지털 스틸 카메라 등의 촬상 장치는 시계열의 화상 프레임에서의 물체(피사체)의 추적으로부터 안정된 추적 결과를 얻을 수 있고, 추적 성공률을 높일 수 있다.

디지털 스틸 카메라를 참조하여 실시형태에 대해 설명하였지만, 본 실시형태는 예컨대 비디오 카메라를 포함하는 물체 추적 시스템에도 적용될 수 있다.

완전하며 명확한 설명을 위해 특정 실시형태에 대하여 본 발명을 설명하였지만, 이어지는 특허청구범위는 그렇게 제한되는 것이 아니라, 당업자가 발상할 수 있는, 설명한 기본 지침 내에 분명히 포함되는 모든 변형 및 대안 구성을 포함하는 것으로 해석되어야 한다.

Claims

촬상 장치에 있어서,
화상을 입력하는 화상 입력 유닛과,
상기 화상 입력 유닛으로부터 입력된 시계열의 화상 프레임 중 제1 화상 프레임 내의 제1 영역인 초기 추적 대상 영역의 지정을 접수하는 지정 유닛과,
상기 제1 화상 프레임 내의 대상 영역으로부터 미리 정해진 특징량을 추출하는 특징량 추출 유닛과,
상기 제1 영역의 사이즈를 변경하여 얻은 제2 영역을 탐색하고, 상기 제2 영역으로부터 추출된 특징량이 성공적인 추적을 가능하게 하는 미리 정해진 조건을 만족하는지를 판정하여 상기 제2 영역을 새로운 초기 추적 대상 영역으로서 설정하는 제1 탐색 유닛과,
시계열의 화상 프레임 중 제1 화상 프레임에 후속하는 제2 화상 프레임 내에서, 그 새롭게 설정된 초기 추적 대상 영역과 유사한 영역을 추적 결과 영역으로서 탐색하는 제2 탐색 유닛
을 포함하는 촬상 장치.
제1항에 있어서, 상기 제2 탐색 유닛에 의해 수행된 탐색의 결과인 상기 추적 결과 영역에 대한 정보에 기초하여, 상기 촬상 장치를 제어하는 제어 유닛을 더 포함하는 촬상 장치.
제1항에 있어서, 상기 특징량은 상기 제1 화상 프레임의 컬러 히스토그램의 엔트로피이고,
상기 제1 탐색 유닛은 상기 엔트로피가 최대인 영역을 상기 새롭게 설정된 초기 추적 대상 영역으로서 탐색하는 것인 촬상 장치.
제3항에 있어서, 상기 새로운 초기 추적 대상 영역의 컬러 히스토그램과 탐색되는 영역의 컬러 히스토그램 간의 유사도를 산출하는 유사도 산출 유닛을 더 포함하고,
상기 제2 탐색 유닛은 상기 유사도 산출 유닛에 의해 산출된 유사도에 기초하여, 상기 추적 결과 영역을 탐색하는 것인 촬상 장치.
제3항에 있어서, 상기 엔트로피의 최대값이 초기 설정된 임계값 이하일 경우, 상기 제1 탐색 유닛은 상기 제2 탐색 유닛에 의한 탐색을 중지시키는 것인 촬상 장치.
촬상 장치에 의해 수행되는 촬상 방법에 있어서,
화상을 입력하는 단계와,
지정 유닛이, 시계열의 화상 프레임 중 제1 화상 프레임 내의 제1 영역인 초기 추적 대상 영역의 지정을 접수하는 단계와,
상기 제1 화상 프레임 내의 대상 영역으로부터 미리 정해진 특징량을 추출하는 단계와,
상기 제1 영역의 사이즈를 변경하여 얻은 제2 영역을 탐색하고, 상기 제2 영역으로부터 추출된 특징량이 성공적인 추적을 가능하게 하는 미리 정해진 조건을 만족하는지를 판정하여 상기 제2 영역을 새로운 초기 추적 대상 영역으로서 설정하는 제1 탐색 단계와,
시계열의 화상 프레임 중 제1 화상 프레임에 후속하는 제2 화상 프레임 내에서, 그 새롭게 설정된 초기 추적 대상 영역과 유사한 영역을 추적 결과 영역으로서 탐색하는 제2 탐색 단계
를 포함하는 촬상 방법.
제6항에 있어서, 상기 제2 탐색 단계에서 수행된 탐색의 결과인 추적 결과 영역에 대한 정보에 기초하여, 상기 촬상 장치를 제어하는 단계를 더 포함하는 촬상 방법.
제6항에 있어서, 상기 특징량은 상기 제1 화상 프레임의 컬러 히스토그램의 엔트로피이고,
상기 제1 탐색 단계는 상기 엔트로피가 최대인 영역을 상기 새롭게 설정된 초기 추적 대상 영역으로서 탐색하는 단계를 포함하는 것인 촬상 방법.
제8항에 있어서,
상기 새로운 초기 추적 대상 영역의 컬러 히스토그램과 탐색되는 영역의 컬러 히스토그램 간의 유사도를 산출하는 유사도 산출 단계와,
상기 제2 탐색 단계와 상기 유사도 산출 단계에서 산출된 유사도에 기초하여, 상기 추적 결과 영역을 탐색하는 단계
를 더 포함하는 촬상 방법.
제8항에 있어서, 상기 엔트로피의 최대값이 초기 설정된 임계값을 초과하지 않을 경우, 상기 제1 탐색 단계는 상기 제2 탐색 단계의 탐색을 중지시키는 것인 촬상 방법.
컴퓨터로 하여금 촬상 방법을 실행하게 하는 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체에 있어서, 이 촬상 방법은,
화상을 입력하는 단계와,
지정 유닛이, 시계열의 화상 프레임 중 제1 화상 프레임 내의 제1 영역인 초기 추적 대상 영역의 지정을 접수하는 단계와,
상기 제1 화상 프레임 내의 대상 영역으로부터 미리 정해진 특징량을 추출하는 단계와,
상기 제1 영역의 사이즈를 변경하여 얻은 제2 영역을 탐색하고, 상기 제2 영역으로부터 추출된 특징량이 성공적인 추적을 가능하게 하는 미리 정해진 조건을 만족하는지를 판정하여 상기 제2 영역을 새로운 초기 추적 대상 영역으로서 설정하는 제1 탐색 단계와,
시계열의 화상 프레임 중 제1 화상 프레임에 후속하는 제2 화상 프레임 내에서, 그 새롭게 설정된 초기 추적 대상 영역과 유사한 영역을 추적 결과 영역으로서 탐색하는 제2 탐색 단계
를 포함하는 것인 컴퓨터 판독 가능한 기록 매체.