KR20120022512A - 전자 카메라, 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

대상물이 급격히 움직히는 등에 의해 입력 화상에 있어서 대상물의 상의 특징량이 변동된 경우라도, 대상물을 안정되게 추적하는 것이 가능한 화상 처리 장치를 제공한다.
입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치(10)이며, 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬상된 화상을 이용하여 결정되는 영역이며 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지부(12)와, 흔들림 검지부(12)에 의해 검출된 흔들림 궤적의 단점을 이용하여, 대상물의 상을 포함하는 영역이며 탐색 영역보다도 작은 영역인 대상 영역을 특정함으로써, 대상물의 상을 추적하는 추적 처리부(13)를 구비한다.

Description

전자 카메라, 화상 처리 장치 및 화상 처리 방법 {ELECTRONIC CAMERA, IMAGE PROCESSING APPARATUS, AND IMAGE PROCESSING METHOD}

본 발명은, 전자 카메라, 화상 처리 장치 등에 관한 것이며, 특히, 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 전자 카메라, 화상 처리 장치 등에 관한 것이다.

근래, 전자 카메라는, AF(오토 포커스:Auto-Focus), AE(자동 노출:Automatic Exposure) 또는 역광 보정 기능의 위치 맞춤 수단으로서 물체 추적 기능을 가진다. 또한, 전자 카메라란, 정지 화상을 촬영하는 카메라 또는 동화상을 촬영하는 카메라이다.

예를 들면, 전자 카메라가 촬영하고 있는 화상 또는 촬영하고자 하는 화상을 표시하는 수단으로서 터치 패널을 구비하는 경우, 유저는, 터치 패널에 터치함으로써 추적의 대상이 되는 대상물의 상을 지정한다. 또 예를 들면, 유저는, 표시 화면의 중앙 등의 미리 정해진 영역에 추적하고 싶은 물체가 찍히도록 전자 카메라의 방향을 맞춘 후에 추적 버튼을 누름으로써, 당해 영역에 찍혀 있는 물체의 상을 대상물의 상으로서 지정한다.

그리고, 전자 카메라는, 대상물의 상이 지정된 후에 촬영된 화상에 있어서, 대상물의 상을 포함하는 영역인 대상 영역을 특정함으로써, 대상물의 상의 추적을 행한다. 일반적으로, 전자 카메라는, 지정된 대상물의 상의 특징량과 유사한 특징량을 가지는 영역을 탐색함으로써 대상 영역을 특정한다(예를 들면, 특허 문헌 1을 참조). 구체적으로는, 전자 카메라는, 예를 들면, 특징량으로서 색의 정보를 이용한 템플릿 매칭에 의해 대상 영역을 탐색한다.

특허 문헌 1 : 일본국 특허 공개 2009-48428호 공보

그러나, 대상물이 아이 등 재빠른 움직임을 하는 물체인 경우, 전자 카메라의 조작이 서투른 유저가 격렬하게 상하 좌우로 전자 카메라를 흔들면서 촬영하는 경우, 또는, 어두운 환경하에 있어서 프레임 레이트(1초 동안에 촬영되는 화상의 매수)가 작은 경우 등에는, 대상물의 상의 특징을 나타내는 특징량이 변동한다. 그 때문에, 종래의 전자 카메라와 같이 특징량을 이용하여 대상 영역을 특정하는 경우는, 정확하게 대상물을 추적할 수 없다는 문제가 있다.

그래서, 본 발명은, 상기 종래의 과제를 감안하여 이루어진 것이며, 대상물이 급격하게 움직이는 등에 의해 입력 화상에 있어서 대상물의 상의 특징량이 변동된 경우라도, 대상물을 안정되게 추적하는 것이 가능한 전자 카메라, 화상 처리 장치등을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명에 관련되는 전자 카메라는, 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하고, 추적 결과를 이용하여, 오토 포커스 처리, 자동 노출 처리 및 역광 보정 처리 중 적어도 1개를 실행하는 전자 카메라로서, 상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지부와, 상기 흔들림 검지부에 의해 검출된 흔들림 궤적의 단점(端点)을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 추적 처리부를 구비한다.

이로 인해, 대상물이 재빠르게 움직이는 등에 의해 입력 화상에 있어서 대상물의 상의 특징량이 변동된 경우라도, 흔들림 궤적을 이용함으로써 대상물을 안정되게 추적하는 것이 가능해진다.

또, 상기 대상물의 상의 특징을 정량적으로 나타내는 초기 특징량을 기억하는 기억부를 더 구비하고, 상기 흔들림 검지부는, 또한, 검출한 흔들림 궤적의 종점을 특정하고, 상기 추적 처리부는, 상기 입력 화상과 시간적으로 연속하는 다음의 입력 화상에 있어서, 상기 흔들림 검지부에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 상기 탐색 영역으로 결정하고, 결정한 탐색 영역 내에 있어서 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을 탐색함으로써, 상기 입력 화상과 시간적으로 연속하는 다음의 입력 화상에 있어서의 대상 영역을 특정한다고 해도 된다.

이로 인해, 대상물의 상에 흔들림이 발생되어 있는 화상의 다음의 입력 화상에 있어서, 대상물이 찍혀 있다고 추정되는 위치의 근방을 탐색 영역으로 결정할 수 있다. 따라서, 대상물을 안정되게 추적함과 더불어, 탐색 처리의 부하를 경감시키는 것이 가능해진다.

또, 상기 흔들림 검지부는, 상기 흔들림 궤적의 2개의 단점 중, 상기 입력 화상과 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치로부터 먼 쪽의 단점을, 상기 흔들림 궤적의 종점으로서 특정한다고 해도 된다.

이로 인해, 시간적으로 연속하는 1개 앞의 입력 화상을 이용하여, 1개의 화상으로부터는 추정하는 것이 어려운 흔들림 궤적의 종점의 위치를 고정밀도로 특정할 수 있다. 이와 같이 특정된 흔들림 궤적의 종점의 위치를 이용함으로써, 대상물의 상을 보다 안정되게 추적하는 것이 가능해진다.

또, 상기 추적 처리부는, 상기 흔들림 궤적의 2개의 단점의 각각을 포함하는 영역 중, 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을, 상기 입력 화상에 있어서의 대상 영역으로서 특정하는 것으로 해도 된다.

이로 인해, 대상물의 상에 흔들림이 발생되어 있는 화상에 있어서, 흔들림 궤적의 2개의 단점의 각각을 포함하는 영역의 특징량과 초기 특징량을 비교함으로써 대상 영역을 특정할 수 있다. 따라서, 탐색 영역 내를 탐색하는 것보다도 처리의 부하를 경감시키는 것이 가능해진다.

또, 상기 추적 처리부는, 상기 흔들림 궤적의 길이가 역치보다 큰 경우에, 상기 흔들림 궤적을 이용하여 상기 입력 화상에 있어서의 대상 영역을 특정하고, 상기 흔들림 궤적의 길이가 역치 이하인 경우에, 상기 탐색 영역 내에 있어서 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을 탐색함으로써 상기 입력 화상에 있어서의 대상 영역을 특정한다고 해도 된다.

이로 인해, 대상물의 상에 흔들림이 발생하고, 특징량이 변동하고 있는 경우에만, 흔들림 궤적을 이용하여 대상 영역을 특정할 수 있으므로, 대상물을 보다 안정되게 추적하는 것이 가능해진다.

또, 상기 흔들림 검지부는, 또한, 검출한 흔들림 궤적의 종점을 특정하고, 상기 추적 처리부는, 상기 흔들림 검지부에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 상기 입력 화상에 있어서의 대상 영역으로서 특정한다고 해도 된다.

이로 인해, 대상물의 상에 흔들림이 발생되어 있는 화상에 있어서, 흔들림 궤적의 종점을 이용하여 흔들림 궤적의 종점의 위치를 포함하는 영역을 대상 영역으로서 특정하므로, 특징량의 추출 혹은 비교 등을 행하지 않고 용이하게 대상 영역을 특정하는 것이 가능해진다.

또, 상기 흔들림 검지부는, 상기 흔들림 궤적의 2개의 단점 중, 상기 입력 화상과 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치로부터 먼 쪽의 단점을, 상기 흔들림 궤적의 종점으로서 특정한다고 해도 된다.

이로 인해, 시간적으로 연속하는 1개 앞의 입력 화상을 이용하여, 1개의 화상으로부터는 추정하는 것이 어려운 흔들림 궤적의 종점의 위치를 특정하는 것이 가능해지고, 대상물을 보다 안정되게 추적하는 것이 가능해진다.

또, 상기 대상물이 찍혀 있는 영역의 특징을 정량적으로 나타내는 초기 특징량을 기억하는 기억부를 더 구비하고, 상기 흔들림 검지부는, 상기 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트가 역치보다 작은 경우, 상기 흔들림 궤적을 검출하고, 상기 추적 처리부는, 상기 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트가 역치보다 작은 경우, 상기 흔들림 검지부에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 상기 입력 화상에 있어서의 대상 영역으로서 특정하고, 상기 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트가 역치 이상인 경우, 상기 입력 화상과 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치를 포함하는 영역을 탐색 영역으로 결정하고, 결정한 탐색 영역 내에 있어서 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을 탐색함으로써, 상기 입력 화상에 있어서의 대상 영역을 특정한다고 해도 된다.

이로 인해, 셔터 속도 또는 프레임 레이트에 따라 흔들림 궤적을 이용하는지의 여부를 전환할 수 있으므로, 흔들림 궤적을 검출하는 처리의 부하를 경감할 수 있다.

또, 본 발명에 관련되는 화상 처리 장치는, 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치로서, 상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지부와, 상기 흔들림 검지부에 의해 검출된 흔들림 궤적의 단점을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 추적 처리부를 구비한다.

또, 본 발명에 관련되는 집적 회로는, 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 집적 회로로서, 상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지부와, 상기 흔들림 검지부에 의해 검출된 흔들림 궤적의 단점을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 추적 처리부를 구비한다.

또한, 본 발명은, 이러한 화상 처리 장치로서 실현할 뿐만 아니라, 이러한 화상 처리 장치가 구비하는 특징적인 구성부의 동작을 단계로 하는 화상 처리 방법으로서 실현해도 된다. 또, 그러한 화상 처리 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램으로서 실현해도 된다. 그리고, 그러한 프로그램은, CD-ROM 등의 기록 매체 또는 인터넷 등의 전송 매체를 통해 전달해도 된다.

이상의 설명으로부터 분명하듯이, 본 발명에 관련되는 전자 카메라 등은, 대상물이 급격하게 움직이는 등에 의해 입력 화상에 있어서 대상물의 상의 특징량이 변동한 경우라도, 흔들림 궤적을 이용함으로써 대상물을 안정되게 추적하는 것이 가능해진다.

도 1은, 본 발명의 실시의 형태 1 또는 실시의 형태 2에 관련되는 화상 처리 장치의 기능 구성을 나타내는 블럭도이다.
도 2는, 본 발명의 실시의 형태 1에 관련되는 화상 처리 장치의 구체예인 전자 카메라의 구성을 나타내는 블럭도이다.
도 3은, 본 발명의 실시의 형태 1에 관련되는 화상 처리 장치의 동작을 나타내는 플로차트이다.
도 4는, 입력 화상에 흔들림 화상이 포함되어 있지 않은 경우의 화상 처리 장치에 있어서의 각종 동작의 구체예를 설명하기 위한 도면이다.
도 5는, 본 발명의 실시의 형태 1에 관련되는 화상 처리 장치에 있어서의 동작의 구체예를 설명하기 위한 도면이다.
도 6은, 본 발명의 실시의 형태 2에 관련되는 화상 처리 장치의 동작을 나타내는 플로차트이다.

이하에, 본 발명의 실시의 형태에 대해서, 도면을 참조하면서 설명한다.

(실시의 형태 1)

본 발명의 실시의 형태 1에 관련되는 화상 처리 장치는, 흔들림 궤적의 길이가 역치보다 큰 경우에, 흔들림 화상과 시간적으로 연속하는 다음의 입력 화상에 있어서의 탐색 영역의 위치를 흔들림 궤적의 종점을 이용하여 결정하는 것을 특징으로 한다.

도 1은, 본 발명의 실시의 형태 1에 관련되는 화상 처리 장치의 기능 구성을 나타내는 블럭도이다. 도 1에 나타내는 바와 같이, 화상 처리 장치(10)는, 초기 특징량 추출부(11)와, 흔들림 검지부(12)와, 추적 처리부(13)와, 기억부(14)를 구비한다.

초기 특징량 추출부(11)는, 대상물의 상이 지정되었을 때의 입력 화상에 있어서 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보(예를 들면, 위치, 형상, 크기 등)를 취득한다. 또, 초기 특징량 추출부(11)는, 초기 영역에 포함되는 대상물의 상의 특징을 정량적으로 나타내는 초기 특징량을 추출한다. 또한, 초기 특징량 추출부(11)는, 추출한 초기 특징량을 기억부(14)에 기록한다.

흔들림 검지부(12)는, 입력 화상에 있어서의 탐색 영역의 흔들림 궤적을 검출한다. 여기서, 탐색 영역은, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 추적 처리부(13)에 의해 결정되는 영역이며, 대상물의 상을 포함하는 영역이다. 또한, 흔들림 검지부(12)는, 검출한 흔들림 궤적의 종점을 특정한다. 구체적으로는, 흔들림 궤적의 2개의 단점 중, 입력 화상과 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치로부터 먼 쪽의 단점을, 흔들림 궤적의 종점으로서 특정한다.

추적 처리부(13)는, 흔들림 검지부(12)에 의해 검출된 흔들림 궤적의 단점을 이용하여 대상 영역을 특정한다. 여기서, 대상 영역은, 대상물의 상을 포함하는 영역이며, 탐색 영역보다도 작은 영역이다. 또한, 추적 처리부(13)는, 흔들림 검지부(12)에 의해 검출된 흔들림 궤적의 길이가 역치보다 큰 경우에, 입력 화상이 흔들림 화상이라고 판정하고, 흔들림 궤적의 단점을 이용하여 대상 영역을 특정한다.

구체적으로는, 추적 처리부(13)는, 흔들림 궤적의 2개의 단점의 각각을 포함하는 영역 중, 기억부(14)에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을, 입력 화상에 있어서의 대상 영역으로서 특정한다.

또한, 추적 처리부(13)는, 흔들림 궤적이 검출된 입력 화상과 시간적으로 연속하는 다음의 입력 화상에 있어서, 흔들림 검지부(12)에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 탐색 영역으로 결정한다. 그리고, 추적 처리부(13)는, 흔들림 궤적이 검출된 입력 화상과 시간적으로 연속하는 다음의 입력 화상이 흔들림 화상이 아닌 경우, 결정한 탐색 영역 내에 있어서 기억부(14)에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을 탐색한다. 이와 같이 하여 탐색된 영역을, 추적 처리부(13)는 대상 영역으로서 특정한다.

기억부(14)는, 초기 특징량 추출부(11)에 의해 추출된 초기 특징량을 기억한다. 또, 기억부(14)는, 흔들림 검지부(12)에 의해 특정된 흔들림 궤적의 종점의 위치를 나타내는 정보(이하, 단지 「흔들림 종점 정보」라고 한다.)를 기억한다. 또한, 기억부(14)는, 추적 처리부(13)에 의해 특정된 대상 영역의 위치 및 크기를 나타내는 정보(이하, 단지 「대상 영역 정보」)를 기억한다.

도 2는, 본 발명의 실시의 형태 1에 관련되는 화상 처리 장치의 구체예인 전자 카메라의 구성을 나타내는 블럭도이다. 도 2에 나타내는 바와 같이, 전자 카메라(100)는, 촬영 렌즈(101)와, 셔터(102)와, 촬상 소자(103)와, AD 변환기(104)와, 타이밍 발생 회로(105)와, 화상 처리 회로(106)와, 메모리 제어 회로(107)와, 화상 표시 메모리(108)와, DA 변환기(109)와, 화상 표시부(110)와, 메모리(111)와, 리사이즈 회로(112)와, 시스템 제어 회로(113)와, 노광 제어부(114)와, 측거(測距) 제어부(115)와, 줌 제어부(116)와, 배리어 제어부(117)와, 플래시(118)와, 보호부(119)와, 메모리(120)와, 표시부(121)와, 불휘발성 메모리(122)와, 모드다이얼 스위치(123)와, 셔터 스위치(124)와, 전원 제어부(125)와, 커넥터(126 및 127)와, 전원(128)과, 인터페이스(129 및 130)와, 커넥터(131 및 132)와, 기록 매체(133)와, 광학 파인더(134)와, 통신부(135)와, 안테나(136)와, 초기 특징량 추출 회로(137)와, 추적 처리 회로(138)와, 흔들림 검지 회로(139)와, 추적 결과 묘화 회로(140)와, 카메라 제어 회로(141)를 구비한다. 또한, 전원(128) 및 기록 매체(133)는, 분리 가능해도 된다.

촬영 렌즈(101)는, 주밍 및 포커싱 기능을 가지는 렌즈이며, 입사하는 광을 촬상 소자(103) 상에 결상(結像)시킨다.

셔터(102)는, 조임 기능을 구비하고, 촬상 소자(103)에 입사하는 광의 양을 조절한다.

촬상 소자(103)는, 입사한 광이 결상하여 얻어지는 광학상을 전기 신호(화상 데이터)로 변환한다.

AD 변환기(104)는, 촬상 소자(103)로부터 출력되는 아날로그 신호를 디지털 신호로 변환한다. AD 변환기(104)는, 디지털 신호로 변환된 화상 데이터를, 메모리 제어 회로(107)를 통해, 화상 표시 메모리(108) 또는 메모리(111)에 기입한다. 또는, AD 변환기(104)는, 디지털 신호로 변환된 화상 데이터를 화상 처리 회로(106)에 출력한다.

타이밍 발생 회로(105)는, 촬상 소자(103), AD 변환기(104) 및 DA 변환기(109)에 클록 신호 또는 제어 신호를 공급한다. 타이밍 발생 회로(105)는, 메모리 제어 회로(107) 및 시스템 제어 회로(113)에 의해 제어된다.

화상 처리 회로(106)는, AD 변환기(104)로부터 출력되는 화상 데이터 또는 메모리 제어 회로(107)로부터 출력되는 화상 데이터에 대해서 소정의 화상 보간 처리 또는 색변환 처리 등을 행한다. 또, 화상 처리 회로(106)는, 입력되는 화상 데이터를 이용하여 소정의 연산 처리를 행하고, 얻어진 연산 결과에 기초하여 시스템 제어 회로(113)가 노광 제어부(114) 및 측거 제어부(115)에 대해서 제어를 행한다.

메모리 제어 회로(107)는, AD 변환기(104), 타이밍 발생 회로(105), 화상 처리 회로(106), 화상 표시 메모리(108), DA 변환기(109), 메모리(111) 및 리사이즈 회로(112)를 제어한다.

화상 표시 메모리(108)는, 표시용의 화상 데이터를 기억한다.

DA 변환기(109)는, 메모리 제어 회로(107)를 통해, 화상 표시 메모리(108)로부터 표시용의 화상 데이터를 취득하고, 디지털 신호로부터 아날로그 신호로 변환한다.

화상 표시부(110)는, DA 변환기(109)에서 아날로그 신호로 변환된 표시용의 화상 데이터를 표시한다. 또, 화상 표시부(110)는, 유저로부터 추적의 대상이 되는 대상물이 찍혀 있는 영역(초기 영역)을 특정하기 위한 정보를 접수해도 된다. 화상 표시부(110)는, 예를 들면, TFTLCD(Thin Film Transistor Liquid Crystal Display), 터치 패널 등의 디스플레이이다.

메모리(111)는, AD 변환기(104)로부터 얻어지는 화상 데이터, 및, 화상 처리 회로(106)에서 처리된 화상 데이터를 기억한다. 또한, 메모리(111)는, 초기 특징량 추출 회로(137)에 의해 추출된 초기 특징량 등 추적 처리에 필요한 정보를 기억한다. 또한, 메모리(111)는, 도 1의 기억부(14)에 상당한다.

리사이즈 회로(112)는, 촬영하여 얻어진 화상으로부터 저해상도의 화상을 생성한다. 또한, 리사이즈 회로(112)는, 용도에 따라서 소정의 복수의 해상도를 선택할 수 있다. 리사이즈 회로(112)는, 메모리(111)에 저장된 화상 데이터를 읽어들이고, 읽어들인 화상 데이터에 대해서 리사이즈 처리를 행하고, 처리를 끝낸 데이터를 메모리(111)에 기입한다.

또한, 리사이즈 회로(112)는, 촬상 소자(103)의 화소수와 다른 화소수(사이즈)로 기록 매체(133) 등에 화상 데이터를 기록하고 싶은 경우 등에 이용된다. 또, 화상 표시부(110)의 표시 가능한 화소수는, 촬상 소자(103)의 화소수보다도 상당히 작다. 따라서, 리사이즈 회로(112)는, 촬영한 화상 데이터를 화상 표시부(110)에 표시하는 경우의 표시용 화상을 생성하는 경우에도 이용된다. 마찬가지로, 리사이즈 회로(112)는, 흔들림 검지 회로(139)가 흔들림을 검출할 때에 이용하기 위한 화상(예를 들면, 화상 사이즈가 QVGA 등인 화상)을 생성하는 경우에도 이용된다.

시스템 제어 회로(113)는, 전자 카메라(100) 전체의 각 처리부 및 각 처리 회로를 제어함으로써, 촬영 처리를 행한다. 촬영 처리는, 노광 처리, 현상 처리 및 기록 처리 등으로 이루어진다. 노광 처리란, 촬상 소자(103)로부터 독출한 화상 데이터를 AD 변환기(104) 및 메모리 제어 회로(107)를 통해 메모리(111)에 기록하는 처리이다. 현상 처리란, 화상 처리 회로(106) 및 메모리 제어 회로(107)에서의 연산 처리이다. 기록 처리란, 메모리(111)로부터 화상 데이터를 독출하고, 기록 매체(133)에 화상 데이터를 기록하는 처리이다.

노광 제어부(114)는, 조임 기능을 구비하는 셔터(102)를 제어한다. 또, 노광 제어부(114)는, 플래시(118)와 제휴함으로써 플래시 조광 기능도 가진다.

측거 제어부(115)는, 촬영 렌즈(101)의 포커싱를 제어한다. 줌 제어부(116)는, 촬영 렌즈(101)의 주밍을 제어한다. 배리어 제어부(117)는, 보호부(119)의 동작을 제어한다.

플래시(118)는, 피사체에 대해서 플래시광을 조사한다. 플래시(118)는, 또한, AF 보조광의 투광 기능 및 플래시 조광 기능도 가진다.

보호부(119)는, 전자 카메라(100)의 촬영 렌즈(101), 셔터(102) 및 촬상 소자(103) 등을 포함하는 촬상부를 덮음으로써, 촬상부의 더러워짐 또는 파손을 방지하는 배리어이다.

메모리(120)는, 시스템 제어 회로(113)의 동작용의 정수, 변수 및 프로그램 등을 기록한다.

표시부(121)는, 시스템 제어 회로(113)에서의 프로그램의 실행에 따라, 문자, 화상 또는 음성 등을 이용하여 동작 상태 또는 메시지 등을 표시하는 액정 표시 장치 또는 스피커 등이다. 표시부(121)는, 전자 카메라(100)의 조작부 부근의 시인하기 쉬운 단수 또는 복수의 개소에 설치된다. 표시부(121)는, 예를 들면, LCD, LED(Light Emitting Diode), 또는, 발음 소자 등의 조합에 의해 구성되어 있다.

불휘발성 메모리(122)는, 전기적으로 증거?기록 가능한 메모리이며, 전자 카메라(100)의 동작 설정 데이터 또는 이용자 고유의 정보 등을 기억한다. 불휘발성 메모리(122)는, 예를 들면, EEPROM(Electrically Erasable and Programmable Read Only Memory) 등이다.

모드다이얼 스위치(123)는, 자동 촬영 모드, 촬영 모드, 파노라마 촬영 모드 및 RAW 모드 등의 각 기능 모드를 전환하여, 설정할 수 있다.

셔터 스위치(124)는, 셔터 버튼(도시 생략)의 조작 도중에 ON이 되고, AF 처리, AE 처리 및 AWB(Auto White Balance) 처리 등의 동작 개시를 지시한다. 또, 셔터 스위치(124)는, 노광 처리, 현상 처리 및 기록 처리라고 하는 일련의 처리의 동작의 개시를 지시한다.

전원 제어부(125)는, 전지 검출 회로, DC-DC 컨버터, 및, 통전하는 블록을 전환하는 스위치 회로 등에 의해 구성되어 있다. 전원 제어부(125)는, 전지의 장착의 유무, 전지의 종류 및 전지 잔량의 검출을 행한다. 전원 제어부(125)는, 또한, 검출 결과 및 시스템 제어 회로(113)의 지시에 기초하여 DC-DC 컨버터를 제어하고, 필요한 전압을 귀환시키고, 기록 매체(133)를 포함하는 각 처리부에 전압을, 커넥터(126 및 127)를 통해 공급한다.

커넥터(126 및 127)는, 전원 제어부(125)와, 전원(128)의 접속을 행하는 커넥터이다.

전원(128)은, 알칼리 전지 혹은 리튬 전지 등의 1차 전지, NiCd 전지, NiMH 전지 혹은 Li 전지 등의 2차 전지, 또는, AC 어댑터 등이다.

인터페이스(129 및 130)는, 기록 매체(133)와 메모리(111) 등의 사이에서 화상 데이터 등의 송수신을 행하기 위한 인터페이스이다.

커넥터(131 및 132)는, 인터페이스(129)와 인터페이스(130)를 통해 기록 매체(133)와의 접속을 행하는 커넥터이다.

기록 매체(133)는, 화상 데이터를 기록하는 메모리 카드 또는 하드 디스크 등의 기록 매체이다.

광학 파인더(134)는, 촬영자가 피사체를 확인하기 위해서 사용하는 파인더이다. 촬영자는, 화상 표시부(110)에 의한 전자 파인더 기능을 사용하지 않고, 광학 파인더(134)만을 이용하여 촬영을 행하는 것이 가능하다.

통신부(135)는, RS232C, USB, IEEE1394, 모뎀, LAN, 또는 무선 통신 등의 각종 통신 기능을 가진다.

안테나(136)는, 통신부(135)에 의해 전자 카메라(100)가 다른 기기와 접속되는 커넥터 또는 무선 통신의 경우의 안테나이다.

초기 특징량 추출 회로(137)는, 메모리(111)에 저장된 화상 데이터로부터 초기 특징량을 추출하고, 추출한 초기 특징량을 메모리(111)에 기록한다. 초기 특징량을 추출하는 영역의 좌표는, 터치 패널이 유저로부터 접수한 위치, 혹은 유저가 셔터 스위치(124)를 누름에 따라 설정되는 AF 영역 등에 의해 특정된다. 또한, 초기 특징량 추출 회로(137)는, 도 1의 초기 특징량 추출부(11)에 상당한다.

추적 처리 회로(138)는, 메모리(111)로부터 초기 특징량을 읽어들이고, 읽어들인 초기 특징량을 이용하여 추적 처리를 행한다. 그리고, 추적 처리 회로(138)는, 추적 결과(좌표 데이터, 평가치 등)를 메모리(111)에 기록한다. 또한, 추적 처리 회로(138)는, 도 1의 추적 처리부(13)에 상당한다.

흔들림 검지 회로(139)는, 흔들림 궤적을 검출하고, 검출 결과(셔터가 열리고 나서 닫힐 때까지의 시간과, 그 시간 동안에 이동하는 대상물의 상의 x좌표 및 y좌표의 값)를 메모리(111)에 기입한다. 또한, 흔들림 검지 회로(139)는, 도 1의 흔들림 검지부(12)에 상당한다.

추적 결과 묘화 회로(140)는, 메모리(111)에 기록된 추적 결과를 표시부(121)에 표시시키기 위해서, 화상 표시 메모리(108)에 기록된 표시용의 화상 데이터를 가공한다. 구체적으로는, 추적 결과 묘화 회로(140)는, 화상 데이터에 대해서, 예를 들면, 추적 틀, 모자이크화, 문자, 표시색의 변경, 바림 등의 가공을 행한다.

카메라 제어 회로(141)는, 메모리(111)에 기록된 추적 결과(대상 영역)의 위치와 크기에 기초하여, 대상 영역에 찍혀 있는 대상물에 초점이 맞도록, AF 처리를 제어한다. 구체적으로는, 카메라 제어 회로(141)는, 예를 들면, 대상 영역에 찍혀 있는 대상물의 콘트라스트를 이용하여, 콘트라스트가 높아지도록 촬영 렌즈(101)를 제어한다.

또, 카메라 제어 회로(141)는, 대상 영역에 찍혀 있는 대상물의 노출이 적정해지도록, AE 처리 또는 역광 보정 처리를 제어해도 된다. 구체적으로는, 카메라 제어 회로(141)는, 예를 들면, 셔터 속도 우선, 또는 조임값 우선 등 모드에 따라서, 노광 제어부(114)를 통해, 조임 기능을 구비하는 셔터(102)의 셔터 속도 또는 조임값을 제어해도 된다.

또한, 카메라 제어 회로(141)는, 대상물이 화상 내의 일정한 위치 또는 일정한 크기가 되도록(예를 들면, 대상물인 얼굴이 화상의 중앙에 찍히도록, 혹은, 대상물인 인물의 전신이 찍히도록 하는 등) 전자 카메라(100)를 제어해도 된다.

또한, 초기 특징량 추출 회로(137), 추적 처리 회로(138), 흔들림 검지 회로(139), 추적 결과 묘화 회로(140), 및 카메라 제어 회로(141) 중 어느 하나의 회로를 구비하지 않는 경우, 시스템 제어 회로(113)가, 소프트웨어 처리에 의해 추적 처리 등을 행해도 된다.

다음에, 이상과 같이 구성된 화상 처리 장치에 있어서의 각종 동작에 대해서 설명한다.

도 3은, 본 발명의 실시의 형태 1에 관련되는 화상 처리 장치의 동작을 나타내는 플로차트이다.

우선, 초기 특징량 추출부(11)는, 대상물이 지정되었을 때의 입력 화상에 있어서 대상물이 찍혀 있는 영역인 초기 영역의 정보를 취득하고, 취득한 초기 영역을 이용하여, 대상물의 상의 특징을 정량적으로 나타내는 초기 특징량을 추출한다(단계 S101).

그리고, 초기 특징량 추출부(11)는, 추출한 초기 특징량과 초기 영역의 위치 및 크기를 나타내는 정보를 기억부(14)에 등록한다(단계 S102).

그 후, 화상 처리 장치(10)는, 초기 특징량을 추출한 입력 화상 이후의 입력 화상에 있어서, 대상물이 찍혀 있는 영역인 대상 영역을 특정하는 처리를 반복한다. 대상 영역을 특정하는 처리는, 이하와 같다.

우선, 추적 처리부(13)는, 시간적으로 연속하는 1개 앞의 입력 화상이 흔들림 화상이었는지의 여부를 판정한다(단계 S103). 구체적으로는, 추적 처리부(13)는, 예를 들면, 시간적으로 연속하는 1개 앞의 입력 화상이 흔들림 화상인지의 여부를 나타내는 플래그 정보가 「1」인지의 여부를 판정한다.

여기서, 1개 앞의 입력 화상이 흔들림 화상이었을 경우(단계 S103의 Yes), 추적 처리부(13)는, 흔들림 궤적의 종점에 대응하는 위치의 근방의 영역을 탐색 영역으로 결정한다(단계 S104). 구체적으로는, 예를 들면, 추적 처리부(13)는, 흔들림 종점 정보가 나타내는 위치를 중심으로 하는 영역을 탐색 영역으로 결정한다.

한편, 1개 앞의 입력 화상이 흔들림 화상이 아니었을 경우(단계 S103의 No), 추적 처리부(13)는, 1개 앞의 입력 화상에 있어서 특정된 대상 영역의 근방의 영역을 탐색 영역으로 결정한다(단계 S105). 구체적으로는, 예를 들면, 추적 처리부(13)는, 1개 앞의 입력 화상에 있어서 특정된 대상 영역의 중심 위치와 대상 영역의 크기로 나타내는 정보를 기억부(14)로부터 독출한다. 그리고, 추적 처리부(13)는, 독출한 중심 위치와 중심 위치가 일치하는 영역이며, 독출한 대상 영역의 크기보다 도 큰 영역을 탐색 영역으로 결정한다. 또한, 독출한 중심 위치가 입력 화상의 단(端)인 경우 등, 탐색 영역의 중심 위치는, 반드시 독출한 중심 위치와 일치할 필요는 없다.

다음에, 흔들림 검지부(12)는, 추적 처리부(13)에 의해 결정된 탐색 영역에 있어서의 흔들림 궤적을 검출한다(단계 S106). 흔들림은 대상물의 움직임에 의존하는 경우도 있기 때문에, 흔들림 궤적은, 카메라 등에 부착된 쟈이로 센서 또는 가속도 센서 등으로부터의 센서 정보를 이용하여 구하는 것이 어렵다. 따라서, 흔들림 검지부(12)는, 1매의 입력 화상의 정보만을 이용하여 흔들림 궤적을 검출한다. 구체적으로는, 흔들림 검지부(12)는, 예를 들면, 탐색 영역을 구성하는 화소의 화소값을 이용하여 산출되는 점확산 함수(PSF:Point Spread Function)를 흔들림 궤적으로서 검출한다(예를 들면, 비특허 문헌 1 「High-Quality Motion Deblurring From a Single Image(Qi Shen et.al, SIGGRAPH2008)」를 참조).

비특허 문헌 1에 기재된 방법에 따라서 흔들림 검지부(12)가 흔들림 궤적을 검출하는 경우, 기억부(14)에는, 흔들림이 없는 일반적인 자연 화상에 나타나는 화상 구배의 분포가 미리 저장된다. 그리고, 흔들림 검지부(12)는, 소정의 점확산 함수를 이용하여 탐색 영역을 보정했을 때의 화상에 있어서의 화상 구배의 분포와 기억부(14)에 저장된 화상 구배의 분포의 비교를 반복함으로써, 이들 화상 구배의 분포가 동일 또는 유사해지는 점확산 함수를 탐색한다. 이와 같이 탐색한 점확산 함수를, 흔들림 검지부(12)는 흔들림 궤적으로서 검출한다.

다음에, 흔들림 검지부(12)는, 검출한 흔들림 궤적의 길이가 역치 이하인지의 여부를 판정한다(단계 S107). 즉, 흔들림 검지부(12)는, 입력 화상이 흔들림 화상인지의 여부를 판정한다. 또한, 역치는, 예를 들면, 미리 정해진 값이다.

여기서, 흔들림 궤적의 길이가 역치 이하인 경우(단계 S107의 Yes), 추적 처리부(13)는, 단계 S104 또는 S105에 있어서 결정된 탐색 영역 내에 있어서, 기억부(14)에 기억된 초기 영역의 특징량과 가장 유사한 특징량을 가지는 영역을 탐색한다. 그리고, 추적 처리부(13)는, 탐색한 결과, 가장 유사한 특징량을 가지는 영역을 대상 영역으로서 특정한다(단계 S108). 즉, 입력 화상이 흔들림 화상이 아닌 경우, 화상 처리 장치(10)는, 흔들림 궤적을 이용하지 않고 대상 영역을 특정한다. 또한, 추적 처리부(13)는, 대상 영역 정보를 기억부(14)에 등록함과 더불어, 흔들림 화상인지의 여부를 나타내는 플래그 정보에 「0」을 설정한다.

한편, 흔들림 궤적의 길이가 역치보다 큰 경우(단계 S107의 No), 흔들림 검지부(12)는, 흔들림 궤적의 2개의 단점 중, 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치로부터 먼 쪽의 단점을 종점으로 특정한다(단계 S109). 계속해서, 흔들림 검지부(12)는, 흔들림 종점 정보를 기억부(14)에 등록함과 더불어, 흔들림 화상인지의 여부를 나타내는 플래그 정보에 「1」을 설정한다.

또한, 추적 처리부(13)는, 흔들림 궤적의 2개의 단점의 각각을 포함하는 영역의 특징량과, 기억부(14)에 저장된 초기 특징량을 비교한다. 비교의 결과, 특징량이 유사한 쪽의 영역을 입력 화상에 있어서의 대상 영역으로서 특정한다(단계 S110).

이상의 단계 S103~S110까지의 처리를 연속해서 촬영된 입력 화상마다 반복함으로써, 화상 처리 장치(10)는, 대상물의 상을 추적할 수 있다.

다음에, 특징량으로서 색히스토그램을 이용하는 경우의 화상 처리 장치(10)에 있어서의 각종 동작의 구체예에 대해서 설명한다.

우선, 입력 화상에 흔들림 화상이 포함되어 있지 않은 경우의 화상 처리 장치(10)에 있어서의 동작에 대해서 설명한다. 즉, 도 3에 있어서의 단계 S107에 있어서, 흔들림 궤적의 길이가 역치 이하인 경우의 동작에 대해 설명한다.

도 4는, 입력 화상에 흔들림 화상이 포함되어 있지 않은 경우의 화상 처리 장치에 있어서의 각종 동작의 구체예를 설명하기 위한 도면이다. 도 4(a)에 나타내는 바와 같이, 우선, 초기 특징량 추출부(11)는, 대상물이 지정되었을 때의 입력 화상(400)에 있어서 대상물이 찍혀 있는 영역인 초기 영역(401)을 취득한다. 그리고, 초기 특징량 추출부(11)는, 취득한 초기 영역(401)의 색히스토그램인 초기 색히스토그램(402)을 생성한다. 또한, 초기 특징량 추출부(11)는, 초기 영역(401)의 변의 길이 및 중심 위치의 좌표와, 초기 색히스토그램(402)을 기억부(14)에 등록한다.

또한, 색히스토그램은, 화상 또는 화상의 일부 영역을 구성하는 복수의 화소가 가지는 색의 빈도의 분포를 나타내는 정보이다. 예를 들면, 색히스토그램의 횡축은, HSV(Hue Saturation Value) 색공간의 색상(H)의 값(0~360)을 20분할 했을 때의 색의 구분을 나타낸다. 또, 색히스토그램의 세로축은, 각 구분에 속하는 화소의 수(도수)를 나타낸다. 각 화소가 어느 색의 구분에 속하는지는, 각 화소의 색상(H)의 값을 구분의 수로 제거했을 때의 값의 정수 부분을 이용하여 결정되면 된다.

또한, 구분의 수는, 반드시 20일 필요는 없고, 1 이상이면 어떠한 수여도 된다. 단, 초기 영역에 포함되는 색이 많을 수록, 구분의 수가 많아지는 것이 바람직하다. 이로 인해, 초기 영역에 포함되는 색이 많은 경우에는, 작은 구분마다의 도수를 이용하여 유사한 영역을 탐색할 수 있으므로, 대상 영역의 특정의 정밀도를 향상시킬 수 있다. 한편, 초기 영역에 포함되는 색이 적은 경우에는, 큰 구분마다의 도수가 기억되므로, 메모리의 사용량을 적게 할 수 있다.

다음에, 도 4(b)에 나타내는 바와 같이, 추적 처리부(13)는, 입력 화상(400)과 시간적으로 연속하는 다음의 입력 화상(410)에 있어서, 탐색 영역(411)을 결정한다. 구체적으로는, 추적 처리부(13)는, 시간적으로 1개 앞의 입력 화상(400)이 흔들림 화상은 아니기 때문에, 입력 화상(400)에 있어서의 대상 영역(여기에서는, 초기 영역(401))을 포함하고, 또한 대상 영역(여기에서는, 초기 영역(401))보다 큰 직사각형 영역을 탐색 영역(411)으로 결정한다. 더 구체적으로는, 추적 처리부(13)는, 기억부(14)에 저장되어 있는 초기 영역(401)의 변의 길이 및 중심 위치의 좌표를 독출한다. 그리고, 추적 처리부(13)는, 독출한 변의 길이보다도 큰 직사각형 영역이며 독출한 중심 위치의 좌표를 중심으로 하는 직사각형 영역을, 탐색 영역으로 결정한다.

또한, 탐색 영역의 형상은, 직사각형일 필요는 없고, 원형, 육각형 등의 임의의 형상이어도 된다. 또, 탐색 영역의 크기는, 미리 정해진 크기여도 되고, 프레임 레이트 또는 셔터 속도가 작을 수록 커지는 크기여도 된다.

그리고, 입력 화상(410)이 흔들림 화상이 아니기 때문에, 추적 처리부(13)는, 탐색 영역(411)보다 작은 영역이며 탐색 영역(411) 내의 영역인 선택 영역(412)을 선택한다. 그리고, 추적 처리부(13)는, 선택한 선택 영역(412)의 색히스토그램인 선택 색히스토그램(413)을 추출한다. 이 때, 선택 색히스토그램(413)은, 초기 색히스토그램(402)을 이용하여 정규화되는 것이 바람직하다. 구체적으로는, 추적 처리부(13)는, 선택 영역의 색히스토그램에 있어서의 각 구분의 도수를, 초기 색히스토그램(402)의 각 구분의 도수로 나눔으로써, 선택 색히스토그램(413)을 정규화하는 것이 바람직하다.

계속해서, 도 4(c)에 나타내는 바와 같이, 추적 처리부(13)는, 초기 색히스토그램(402)과 선택 색히스토그램(413)이 겹치는 부분인 중복 부분(420)의 비율을 유사도로서 산출한다. 구체적으로는, 추적 처리부(13)는, 수학식 1에 따라 유사도를 산출한다.

여기서, Ri는, 초기 색히스토그램(402)에 있어서의 i번째의 구분의 도수이다. 한편, Ii는, 선택 색히스토그램(413)에 있어서의 i번째의 구분의 도수이다. 여기에서는, 20분할되어 있으므로, i는 0에서 19까지의 값이 된다. 또한, 중복 부분(420)의 비율이 클 수록 유사도가 나타내는 유사 정도는 높고, 작을 수록 유사도가 나타내는 유사 정도는 낮은 것을 나타낸다.

추적 처리부(13)는, 이와 같이 탐색 영역(411) 내에 있어서 위치 및 크기를 변경하면서 선택 영역(412)의 선택 및 선택 색히스토그램(413)의 추출을 반복하고, 색히스토그램이 중복 부분(420)인 비율이 가장 큰 선택 영역(412)을 대상 영역으로서 특정한다. 그리고, 추적 처리부(13)는, 대상 영역의 변의 길이 및 중심 위치의 좌표를 기억부(14)에 등록한다.

이와 같이, 입력 화상에 흔들림 화상이 포함되어 있지 않은 경우, 화상 처리 장치(10)는, 입력 화상(400)보다 시간적으로 뒤의 입력 화상의 각각에 있어서, 흔들림 궤적을 이용하지 않고 대상 영역을 특정한다.

다음에, 도 5를 이용하여, 입력 화상에 흔들림 화상이 포함되어 있는 경우의 화상 처리 장치에 있어서의 각종 동작의 구체예에 대해 설명한다.

도 5는, 본 발명의 실시의 형태 1에 관련되는 화상 처리 장치에 있어서의 동작의 구체예를 설명하기 위한 도면이다. 도 5에는, 시간적으로 연속해서 촬영된 3개의 입력 화상(제1 입력 화상(500), 제2 입력 화상(510) 및 제3 입력 화상(520)) 중, 제2 입력 화상(510)이 흔들림 화상인 경우의 화상 처리 장치(10)의 동작이 나타내어져 있다.

도 5(a)에 나타내는 제1 입력 화상(500)에 있어서, 추적의 대상이 되는 대상물이 찍혀 있는 영역으로서 대상 영역(501)이 특정되어 있다. 즉, 기억부(14)에는, 대상 영역(501)의 변의 길이 및 중심 위치의 좌표가 저장되어 있다.

여기서, 화상 처리 장치(10)는 제2 입력 화상(510)의 화상 처리를 개시한다.

추적 처리부(13)는, 기억부(14)에 저장된 제1 입력 화상(500)에 있어서의 대상 영역(501)의 변의 길이 및 중심 위치의 좌표를 기억부(14)로부터 독출한다. 그리고, 도 5(b)에 나타내는 바와 같이, 추적 처리부(13)는, 제2 입력 화상(510)에 있어서, 독출한 중심 위치의 좌표를 포함하는 직사각형 영역이며, 독출 변의 길이보다 긴 변을 가지는 직사각형 영역을 탐색 영역(511)으로 결정한다.

계속해서, 흔들림 검지부(12)는, 탐색 영역(511)에 있어서 흔들림 궤적(512)을 검출한다. 제2 입력 화상(510)에 있어서, 대상물의 상에 흔들림이 발생하고 있으므로, 도 5(b)에 나타내는 바와 같이, 2개의 단점(513 및 514)을 가지는 곡선으로 이루어지는 흔들림 궤적(512)이 검출된다.

여기서, 흔들림 궤적(512)의 길이는 역치보다도 크다. 그래서, 흔들림 검지부(12)는, 단점(513 및 514) 중, 대상 영역(501)의 중심 위치보다 먼 쪽의 단점인 단점(514)을 흔들림의 종점으로 특정한다. 즉, 흔들림 검지부(12)는, 대상물이 단 점(513)으로부터 단점(514)의 방향으로 움직였다고 결정한다. 그리고, 흔들림 검지부(12)는, 흔들림의 종점의 위치에 대응하는, 제2 입력 화상(510)에 있어서의 좌표를 흔들림 종점 정보로서 기억부(14)에 등록함과 더불어, 흔들림 화상인지의 여부를 나타내는 플래그 정보에 「1」을 설정한다.

또한, 추적 처리부(13)는, 흔들림 궤적(512)의 2개의 단점(513 및 514)의 각각을 포함하는 영역(515 및 516)에 있어서, 색히스토그램을 추출한다. 그리고, 추적 처리부(13)는, 추출된 색히스토그램과, 기억부(14)에 저장되어 있는 초기 색히스토그램의 유사도를 산출한다. 그 결과, 추적 처리부(13)는, 유사도가 큰 색히스토그램을 가지는 영역(예를 들면, 영역 515)을 제2 입력 화상(510)에 있어서의 대상 영역으로서 특정한다.

다음에, 화상 처리 장치(10)는 제3 입력 화상(520)의 화상 처리를 개시한다.

추적 처리부(13)는, 플래그 정보가 「1」이므로, 제2 입력 화상(510)이 흔들림 화상이었다고 판정한다. 따라서, 추적 처리부(13)는, 제2 입력 화상(510)에 있어서의 흔들림의 종점의 좌표를 기억부(14)로부터 독출한다. 그리고, 도 5(c)에 나타내는 바와 같이, 추적 처리부(13)는, 제3 입력 화상(520)에 있어서, 독출한 좌표를 포함하는 직사각형 영역을 탐색 영역(521)으로 결정한다.

계속해서, 흔들림 검지부(12)는, 탐색 영역(521)에 있어서 흔들림 궤적을 검출한다. 제3 입력 화상(520)에 있어서, 대상물의 상에 흔들림이 발생하지 않았기 때문에, 흔들림 궤적의 길이는 역치 이하이다. 따라서, 흔들림 검지부(12)는, 플래그 정보에 「0」을 설정한다. 또한, 추적 처리부(13)는, 탐색 영역(521) 내에 있어서, 초기 색히스토그램과 겹치는 부분의 비율이 가장 큰 색히스토그램을 가지는 영역을 탐색한다. 그리고, 탐색의 결과, 추적 처리부(13)는, 중복 부분의 비율이 가장 큰 색히스토그램을 가지는 영역을 대상 영역(522)으로서 특정한다.

이와 같이, 본 실시의 형태에 관련되는 화상 처리 장치(10)는, 복수의 입력 화상의 일부에 흔들림 화상이 포함되어 있는 경우, 흔들림 화상의 다음의 입력 화상에 있어서, 흔들림 궤적의 종점을 이용하여 탐색 영역을 결정한다. 그 결과, 화상 처리 장치(10)는, 대상물이 찍혀 있을 가능성이 높은 위치를 중심으로 한 영역으로 탐색 영역을 좁힐 수 있으므로, 대상물의 상을 안정되게 추적하는 것이 가능해짐과 더불어, 탐색 처리의 부하를 경감시키는 것이 가능해진다. 특히, 대상물이 급격하게 움직이고, 혹은 유저가 돌연 격렬하게 전자 카메라를 작동시키는 등에 의해, 대상물의 상의 특징량이 흔들림에 의해 변동된 경우에, 화상 처리 장치(10)는, 흔들림 화상의 뒤에 촬영된 입력 화상에 있어서 대상물의 상을 안정되게 추적하는 것을 가능하게 한다.

또, 화상 처리 장치(10)는, 시간적으로 연속하는 1개 앞의 화상을 이용하여, 1개의 화상으로부터는 추정하는 것이 어려운 흔들림 궤적의 종점의 위치를 고정밀도로 특정할 수 있다. 이와 같이 특정된 흔들림 궤적의 종점의 위치를 이용함으로써, 화상 처리 장치(10)는, 대상물을 보다 안정되게 추적하는 것이 가능해진다.

또, 화상 처리 장치(10)는, 흔들림 화상에 있어서, 흔들림 궤적의 2개의 단 점의 각각을 포함하는 영역의 특징량과 초기 특징량을 비교함으로써 대상 영역을 특정할 수 있다. 따라서, 화상 처리 장치(10)는, 탐색 영역 내를 탐색하는 것보다도 탐색 처리의 부하를 경감시키는 것이 가능해진다.

또, 화상 처리 장치(10)는, 흔들림 화상인 경우에만, 흔들림 궤적을 이용하여 대상 영역을 특정한다. 따라서, 화상 처리 장치(10)는, 대상물을 보다 안정되게 추적하는 것이 가능해진다.

(실시의 형태 2)

다음에, 본 발명의 실시의 형태 2에 관련되는 화상 처리 장치에 대해서 설명한다.

실시의 형태 2에 관련되는 화상 처리 장치(20)와 실시의 형태 1에 관련되는 화상 처리 장치(10)는, 흔들림 검지부 및 추적 처리부의 동작의 일부가 다르지만, 그 외에 대해서는 동일하다. 따라서, 이하에 있어서, 실시의 형태 1과 동일한 기능 구성이 되는 블럭도에 대해서는, 도 1을 이용하여 설명한다.

흔들림 검지부(22)는, 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트가 역치보다 작은 경우에, 흔들림 궤적을 검출한다. 그리고, 흔들림 검지부(22)는, 실시의 형태 1의 흔들림 검지부(12)와 같이, 흔들림 궤적의 종점을 특정한다.

추적 처리부(23)는, 흔들림 검지부(22)에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을, 입력 화상에 있어서의 대상 영역으로서 특정한다.

다음에, 이상과 같이 구성된 화상 처리 장치에 있어서의 각종 동작에 대해서 설명한다.

도 6은, 본 발명의 실시의 형태 2에 관련되는 화상 처리 장치의 동작을 나타내는 플로차트이다. 도 6에 있어서, 도 3에 나타내는 플로차트와 내용이 동일한 처리에는 동일한 부호를 부여하고, 설명을 생략 또는 간략화한다.

단계 S105에 있어서 탐색 영역이 결정된 후, 흔들림 검지부(22)는, 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트를 취득한다(단계 S201). 그리고, 흔들림 검지부(22)는, 취득한 셔터 속도 또는 프레임 레이트가 역치 이상인지의 여부를 판정한다(단계 S202). 역치는, 미리 정해진 값이며, 일반적으로 대상물의 상에 흔들림이 생길 가능성이 높아지는 셔터 속도 또는 프레임 레이트의 경계값이다.

여기서, 셔터 속도 또는 프레임 레이트가 역치 이상인 경우(단계 S202의 Yes), 추적 처리부(23)는, 단계 S105에 있어서 결정된 탐색 영역 내에 있어서, 기억부(14)에 기억된 초기 영역의 색히스토그램과 가장 유사한 특징량을 가지는 영역을 탐색한다. 그리고, 추적 처리부(23)는, 탐색한 결과, 가장 유사한 특징량을 가지는 영역을 대상 영역으로서 특정한다(단계 S108). 즉, 셔터 속도 또는 프레임 레이트가 큰 경우, 흔들림 화상일 가능성이 낮기 때문에, 화상 처리 장치(20)는 흔들림 궤적을 검출하지 않고 대상 영역을 특정한다.

한편, 셔터 속도 또는 프레임 레이트가 역치보다 작은 경우(단계 S202의 No), 흔들림 검지부(22)는, 추적 처리부(23)에 의해 결정된 탐색 영역에 있어서, 흔들림 궤적을 검출한다(단계 S106). 즉, 셔터 속도 또는 프레임 레이트가 작은 경우, 입력 화상이 흔들림 화상일 가능성이 높기 때문에, 흔들림 검지부(22)는 흔들림 궤적을 검출한다.

계속해서, 흔들림 검지부(22)는, 흔들림 궤적의 2개의 단점 중, 시간적으로 연속하는 1개 앞의 화상에 있어서 특정된 대상 영역에 대응하는 위치로부터 먼쪽의 단점을 흔들림 궤적의 종점으로 특정한다(단계 S109).

그리고, 추적 처리부(23)는, 흔들림 검지부(22)에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 대상 영역으로서 특정한다(단계 S203).

이와 같이, 본 실시의 형태에 관련되는 화상 처리 장치(20)는, 복수의 입력 화상에 흔들림 화상이 포함되어 있는 경우, 흔들림 화상에 있어서, 흔들림 궤적의 종점의 위치를 포함하는 영역을 대상 영역으로서 특정한다. 그 결과, 화상 처리 장치(20)는, 특징량의 추출 혹은 비교 등을 행하지 않고, 용이하게 대상 영역을 특정하는 것이 가능해진다. 특히, 대상물의 주위가 어두운 암환경 하에 있어서 촬영됨으로써 흔들림 화상이 많이 포함되는 복수의 입력 화상에 있어서, 화상 처리 장치(20)는, 흔들림 화상에 있어서 대상물을 안정되게 추적하는 것이 가능해진다.

또, 화상 처리 장치(20)는, 셔터 속도 또는 프레임 레이트가 작은 경우에 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 대상 영역으로서 특정한다. 즉, 화상 처리 장치(20)는, 셔터 속도 또는 프레임 레이트에 따라 흔들림 궤적을 이용하는지의 여부를 전환할 수 있으므로, 흔들림 궤적을 검출하는 처리의 부하를 경감할 수 있다.

이상, 본 발명에 관련되는 화상 처리 장치 또는 전자 카메라에 대해서, 실시의 형태에 기초하여 설명했지만, 본 발명은, 이들 실시의 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각해 내는 각종 변형을 본 실시의 형태에 실시한 것, 혹은 다른 실시의 형태에 있어서의 구성 요소를 조합하여 구축되는 형태도, 본 발명의 범위 내에 포함된다.

예를 들면, 상기 실시의 형태에 있어서, 흔들림 검지부는, 입력 화상의 탐색 영역에 있어서의 점확산 함수를 산출함으로써, 흔들림 궤적을 검출하고 있었지만, 다른 방법에 의해 흔들림 궤적을 검출해도 된다. 예를 들면, 흔들림 검지부는, 입력 화상보다도 셔터 속도 또는 프레임 레이트가 큰 화상이며, 입력 화상이 촬영되었을 때와 같을 때에 같은 피사체가 촬영된 복수의 화상을 이용하여, 흔들림 궤적을 산출해도 된다. 이와 같이 흔들림 궤적이 산출되는 경우, 흔들림 궤적의 방향은 흔들림 궤적과 함께 산출되므로, 화상 처리 장치 또는 전자 카메라는, 흔들림 궤적의 종점을 용이하게 특정할 수 있다.

또, 상기 실시의 형태에 있어서, 초기 특징량 추출부 또는 추적 처리부는, 입력 화상 내의 영역의 특징을 정량적으로 나타내는 특징량으로서 색히스토그램을 추출하고 있었지만, 예를 들면, 휘도 히스토그램을 특징량으로서 추출해도 된다. 이 경우, 추적 처리부는, 초기 영역으로부터 얻어진 휘도 히스토그램과 선택 영역으로부터 얻어진 휘도 히스토그램을 비교함으로써, 유사도를 산출한다. 또, 초기 특징량 추출부 또는 추적 처리부는, 휘도 그 자체를 특징량으로서 추출하고, 추출한 휘도를 이용한 템플릿 매칭에 의해 유사한 영역을 탐색해도 된다.

또, 상기의 화상 처리 장치를 구성하는 구성 요소의 일부 또는 전부는, 1개의 시스템 LSI(Large Scale Integration:대규모 집적 회로)로부터 구성되어도 된다. 시스템 LSI는, 복수의 구성부를 1개의 칩 상에 집적하여 제조된 초다기능 LSI이며, 구체적으로는, 마이크로 프로세서, ROM(Read Only Memory) 및 RAM(Random Access Memory) 등을 포함하여 구성되는 컴퓨터 시스템이다. 예를 들면, 도 1에 나타내는 바와 같이, 초기 특징량 추출부(11)와, 흔들림 검지부(12 또는 22)와, 추적 처리부(13 또는 23)는, 1개의 시스템 LSI(30)로 구성되어도 된다.

또, 본 발명은, 상기와 같은 화상 처리 장치로서 실현할 뿐만 아니라, 도 2에 나타내는 바와 같이, 화상 처리 장치가 구비하는 특징적인 구성부를 구비하는 전자 카메라로서 실현해도 된다. 또한, 본 발명은, 화상 처리 장치가 구비하는 특징적인 구성부의 동작을 단계로 하는 화상 처리 방법으로서 실현해도 된다. 또, 그러한 화상 처리 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램으로서 실현해도 된다. 그리고, 그러한 프로그램은, CD-ROM 등의 기록 매체 또는 인터넷 등의 전송 매체를 통해 전달해도 된다.

(산업상의 이용 가능성)

본 발명에 관련되는 전자 카메라 또는 촬상 장치 등은, 추적의 대상이 되는 대상물이 찍혀 있는 영역을 특정함으로써 대상물의 상을 추적하는, 디지털 비디오 카메라, 디지털 스틸 카메라, 감시용 카메라, 차량 탑재용 카메라, 또는 카메라 기능을 구비한 휴대 전화 등에 유용하다.

10, 20:화상 처리 장치 11:초기 특징량 추출부
12, 22:흔들림 검지부 13, 23:추적 처리부
14:기억부 30:시스템 LSI
100:전자 카메라 101:촬영 렌즈
102:셔터 103:촬상 소자
104:AD 변환기 105:타이밍 발생 회로
106:화상 처리 회로 107:메모리 제어 회로
108:화상 표시 메모리 109:DA 변환기
110:화상 표시부 111, 120:메모리
112:리사이즈 회로 113:시스템 제어 회로
114:노광 제어부 115:측거 제어부
116:줌 제어부 117:배리어 제어부
118:플래시 119:보호부
121:표시부 122:불휘발성 메모리
123:모드다이얼 스위치 124:셔터 스위치
125:전원 제어부 126, 127, 131, 132:커넥터
128:전원 129, 130:인터페이스
133:기록 매체 134:광학 파인더
135:통신부 136:안테나
137:초기 특징량 추출 회로 138:추적 처리 회로
139:흔들림 검지 회로 140:추적 결과 묘화 회로
141:카메라 제어 회로 400, 410:입력 화상
401:초기 영역 402:초기 색히스토그램
411, 511, 521:탐색 영역 412:선택 영역
413:선택 색히스토그램 420:중복 부분
500:제1 입력 화상 501, 522:대상 영역
510:제2 입력 화상 512:흔들림 궤적
513, 514:단점 515, 516:영역
520:제3 입력 화상

Claims (12)

1. 입력 화상에 있어서 추적의 대상이 되는 대상물의 상(像)을 추적하고, 추적 결과를 이용하여, 오토 포커스 처리, 자동 노출 처리 및 역광 보정 처리 중 적어도 1개를 실행하는 전자 카메라로서,
   상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지부와,
   상기 흔들림 검지부에 의해 검출된 흔들림 궤적의 단점(端点)을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 추적 처리부를 구비하는, 전자 카메라.
2. 청구항 1에 있어서,
   상기 대상물의 상의 특징을 정량적으로 나타내는 초기 특징량을 기억하는 기억부를 더 구비하고,
   상기 흔들림 검지부는, 또한, 검출한 흔들림 궤적의 종점을 특정하고,
   상기 추적 처리부는, 상기 입력 화상과 시간적으로 연속하는 다음의 입력 화상에 있어서, 상기 흔들림 검지부에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 상기 탐색 영역으로 결정하고, 결정한 탐색 영역 내에 있어서 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을 탐색함으로써, 상기 입력 화상과 시간적으로 연속하는 다음의 입력 화상에 있어서의 대상 영역을 특정하는, 전자 카메라.
3. 청구항 2에 있어서,
   상기 흔들림 검지부는, 상기 흔들림 궤적의 2개의 단점 중, 상기 입력 화상과 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치로부터 먼 쪽의 단점을, 상기 흔들림 궤적의 종점으로서 특정하는, 전자 카메라.
4. 청구항 2에 있어서,
   상기 추적 처리부는, 상기 흔들림 궤적의 2개의 단점의 각각을 포함하는 영역 중, 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을, 상기 입력 화상에 있어서의 대상 영역으로서 특정하는, 전자 카메라.
5. 청구항 2에 있어서,
   상기 추적 처리부는, 상기 흔들림 궤적의 길이가 역치보다 큰 경우에, 상기 흔들림 궤적을 이용하여 상기 입력 화상에 있어서의 대상 영역을 특정하고, 상기 흔들림 궤적의 길이가 역치 이하인 경우에, 상기 탐색 영역 내에 있어서 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을 탐색함으로써 상기 입력 화상에 있어서의 대상 영역을 특정하는, 전자 카메라.
6. 청구항 1에 있어서,
   상기 흔들림 검지부는, 또한, 검출한 흔들림 궤적의 종점을 특정하고,
   상기 추적 처리부는, 상기 흔들림 검지부에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 상기 입력 화상에 있어서의 대상 영역으로서 특정하는, 전자 카메라.
7. 청구항 6에 있어서,
   상기 흔들림 검지부는, 상기 흔들림 궤적의 2개의 단점 중, 상기 입력 화상과 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치로부터 먼 쪽의 단점을, 상기 흔들림 궤적의 종점으로서 특정하는, 전자 카메라.
8. 청구항 6에 있어서,
   상기 대상물이 찍혀 있는 영역의 특징을 정량적으로 나타내는 초기 특징량을 기억하는 기억부를 더 구비하고,
   상기 흔들림 검지부는, 상기 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트가 역치보다 작은 경우, 상기 흔들림 궤적을 검출하고,
   상기 추적 처리부는,
   상기 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트가 역치보다 작은 경우, 상기 흔들림 검지부에 의해 특정된 흔들림 궤적의 종점에 대응하는 위치를 포함하는 영역을 상기 입력 화상에 있어서의 대상 영역으로서 특정하고,
   상기 입력 화상이 촬영되었을 때의 셔터 속도 또는 프레임 레이트가 역치 이상인 경우, 상기 입력 화상과 시간적으로 연속하는 1개 앞의 입력 화상에 있어서 특정된 대상 영역에 대응하는 위치를 포함하는 영역을 탐색 영역으로 결정하고, 결정한 탐색 영역 내에 있어서 상기 기억부에 기억된 초기 특징량과 가장 유사한 특징량을 가지는 영역을 탐색함으로써, 상기 입력 화상에 있어서의 대상 영역을 특정하는, 전자 카메라.
9. 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치로서,
   상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지부와,
   상기 흔들림 검지부에 의해 검출된 흔들림 궤적의 단점을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 추적 처리부를 구비하는, 화상 처리 장치.
10. 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 방법으로서,
    상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지 단계와,
    상기 흔들림 검지 단계에 있어서 검출된 흔들림 궤적의 단점을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 대상 영역 특정 단계를 포함하는, 화상 처리 방법.
11. 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 집적 회로로서,
    상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지부와,
    상기 흔들림 검지부에 의해 검출된 흔들림 궤적의 단점을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 추적 처리부를 구비하는, 집적 회로.
12. 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 프로그램으로서,
    상기 입력 화상에 있어서, 당해 입력 화상보다 시간적으로 앞에 촬영된 화상을 이용하여 결정되는 영역이며 상기 대상물의 상을 포함하는 영역인 탐색 영역의 흔들림을 나타내는 궤적인 흔들림 궤적을 검출하는 흔들림 검지 단계와,
    상기 흔들림 검지 단계에 있어서 검출된 흔들림 궤적의 단점을 이용하여, 상기 대상물의 상을 포함하는 영역이며 상기 탐색 영역보다도 작은 영역인 대상 영역을 특정함으로써, 상기 대상물의 상을 추적하는 대상 영역 특정 단계를 컴퓨터에 실행시키는, 프로그램.

Images