KR20170048209A - 화상처리장치, 전자기기, 화상처리방법 및 기억매체 - Google Patents

Abstract

동화상 속의 대상물을 추적한 다음, 그 추적 결과의 새로운 이용방법을 제안한다. 화상처리장치(1)는, 원 동화상을 구성하는 프레임 화상에 있어서 추적영역을 설정하는 추적영역 설정부(11)와, 추적영역 설정부(11)에 의해서 설정된 추적영역의 색 정보를 취득하는 색 정보 취득부(12)와, 색 정보 취득부(12)에 의해서 취득된 색 정보를 이용하여, 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 순차로 추정하는 추적위치 추정부(14)와, 추적영역 설정부(11)에 의해서 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추정된 추적위치에 근거하여 출력 틀을 갱신하는 출력 틀 설정부(17)와, 출력 틀을 기준으로 한 동화상을 생성하는 조준 동화상 생성부(18)를 구비한다.

Description

화상처리장치, 전자기기, 화상처리방법 및 기억매체 {IMAGE PROCESSING DIVICE, ELECTRONIC DEVICE, IMAGE PROCESSING METHOD AND NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM}

본 발명은, 동화상(動畵像) 속의 대상물을 추적하는 화상처리장치 등에 관한 것이다.

종래로부터, 동화상 속에서 목적의 대상물을 추적하는 화상처리장치가 알려져 있다(예를 들면, 특허문헌 1 ~ 특허문헌 3).

국제공개 제2012/127618호 미국 특허출원공개 제2013/0222621호 명세서 일본 공개특허공보 2012-205037호

상기의 특허문헌에 개시되어 있는 종래의 화상처리장치에서는, 동화상 속에서 대상물을 어떻게 추적할지에 대한 추적 수법(추적 알고리즘)에 대해서는 개시되어 있지만, 대상물을 추적한 결과를 어떻게 응용할지에 대해서는 고려되어 있지 않다는 문제가 있다.

본 발명은 상기의 과제에 비추어서 이루어진 것으로서, 그 목적으로 하는 바는, 동화상 속의 대상물을 추적한 다음, 그 추적 결과의 새로운 이용방법을 제안하는 것에 있다.

상기 과제를 해결하기 위하여, 이하의 수단을 취했다. 다만, 후술하는 발명을 실시하기 위한 형태의 설명 및 도면에서 사용한 부호를 참고 목적으로 괄호내에 부기(付記)하는데, 본 발명의 구성요소는 상기 부기한 것에 한정되지는 않는다.

제1 발명은,

화상처리장치(도 1의 화상처리장치(1))로서,

원(元) 동화상을 구성하는 프레임 화상 속의 대상물에 추적영역을 설정하는(도 4의 A3) 추적영역 설정수단(도 1의 추적영역 설정부(11))과,

상기 추적영역 설정수단에 의해서 설정된 추적영역의 색 정보를 취득하는(도 4의 A5) 색 정보 취득수단(도 1의 색 정보 취득부(12))과,

상기 색 정보 취득수단에 의해 취득된 색 정보를 이용하여, 상기 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 추정하는(도 5의 B3) 추적위치 추정수단(도 1의 추적위치 추정부(14))과,

상기 추적영역 설정수단에 의해서 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추정된 추적위치에 근거하여 상기 출력 틀을 갱신하는(도 5의 B19) 출력 틀 설정수단(도 1의 출력 틀 설정부(17))과,

상기 출력 틀 설정수단에 의해서 갱신되는 출력 틀을 기준으로 한 동화상을 생성하는(도 4의 A11) 동화상 생성수단(도 1의 조준(照準) 동화상 생성부(18))을 구비한 화상처리장치이다.

또한, 다른 발명으로서,

화상처리방법으로서,

원 동화상을 구성하는 프레임 화상 속의 대상물에 추적영역을 설정하는 것(도 4의 A3)과,

상기 설정된 추적영역의 색 정보를 취득하는 것(도 4의 A5)과,

상기 취득된 색 정보를 이용하여, 상기 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 추정하는 것(도 5의 B3)과,

상기 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추정된 추적위치에 근거하여 상기 출력 틀을 갱신하는 것(도 5의 B19)과,

상기 갱신되는 출력 틀을 기준으로 한 동화상을 생성하는 것(도 4의 A11)을 포함하는 화상처리방법을 구성해도 좋다.

또한, 다른 발명으로서,

컴퓨터(각종 장치의 프로세서)에, 화상처리를 실행시키기 위한 프로그램(도 9의 대상물 추적 프로그램(811))을 기억하는 기억매체로서,

원 동화상을 구성하는 프레임 화상 속의 대상물에 추적영역을 설정하는 추적영역 설정스텝(도 4의 A3)과,

상기 추적영역 설정스텝에서 설정된 추적영역의 색 정보를 취득하는 색 정보 취득스텝(도 4의 A5)과,

상기 색 정보 취득스텝에서 취득된 색 정보를 이용하여, 상기 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 추정하는 추적위치 추정스텝(도 5의 B3)과,

상기 추적영역 설정스텝에서 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추정된 추적위치에 근거하여 상기 출력 틀을 갱신하는 출력 틀 설정스텝(도 5의 B19)과,

상기 출력 틀을 기준으로 한 동화상을 생성하는 동화상 생성스텝(도 4의 A11)을 실행시키기 위한 기억매체를 구성해도 좋다.

이 제1 발명 등에 의하면, 원 동화상을 구성하는 프레임 화상 속의 대상물로 설정된 추적영역의 색 정보를 이용하여, 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 추정한다. 또한, 설정한 추적영역을 포함하는 출력 틀을 설정함과 함께, 추적위치가 추정될 때마다, 추정된 추적위치에 근거하여 출력 틀을 갱신한다. 그리고 원 동화상을 이용하여, 갱신되는 출력 틀을 기준으로 한 동화상을 생성함으로써, 대상물의 추적 결과를, 대상물에 조준한 조준 동화상으로서 제공하는 것이 가능해진다.

또한, 제2 발명으로서,

제1 발명의 화상처리장치로서,

상기 추적영역 설정수단은, 상기 원 동화상을 구성하는 프레임 화상 속의 대상물에 복수의 추적영역을 설정하고(도 4의 A3),

상기 색 정보 취득수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 색 정보를 취득하고(도 4의 A5),

상기 추적위치 추정수단은, 상기 색 정보 취득수단에 의해서 취득된 상기 복수의 추적영역 각각의 색 정보를 이용하여, 상기 복수의 추적영역 각각을 기준으로 하는 추적위치를 프레임 화상마다 추정하는(도 5의 B3), 화상처리장치를 구성해도 좋다.

이 제2 발명에 의하면, 원 동화상을 구성하는 프레임 화상 속의 대상물에 복수의 추적영역을 설정한 다음, 복수의 추적영역 각각의 색 정보를 이용하여, 복수의 추적영역 각각을 기준으로 하는 추적위치를 프레임 화상마다 추정함으로써, 대상물의 추적을 보다 강건하게 행하는 것이 가능해진다.

또한, 제3 발명으로서,

제1 발명의 화상처리장치로서,

상기 추적위치 추정수단에 의해 추정된 추적위치의 적부(適否)를 판정하는(도 5의 B11) 추적위치 적부판정수단(도 1의 추적위치 적부판정부(15))과,

상기 추적위치 적부판정수단에 의해 상기 추정된 추적위치가 부적당으로 판정된 경우에, 상기 추적위치를 재추정하는(도 5의 B23) 추적위치 재추정수단(도 1의 추적위치 재추정부(16))을 더 구비한, 화상처리장치를 구성해도 좋다.

이 제3 발명에 의하면, 추정된 추적위치가 적당한 위치인지 아닌지를 판정할 수 있다. 그리고 적당한 위치가 아니라고 판정했을 경우에는, 추적위치를 재추정함으로써, 적당한 위치를 취득하는 것이 가능해진다.

또한, 제4 발명으로서,

제3 발명의 화상처리장치로서,

상기 추적영역 설정수단은, 상기 원 동화상을 구성하는 프레임 화상 속의 대상물에 복수의 추적영역을 설정하고(도 4의 A3),

상기 색 정보 취득수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 색 정보를 취득하고(도 4의 A5),

상기 추적위치 추정수단은, 상기 색 정보 취득수단에 의해서 취득된 상기 복수의 추적영역 각각의 색 정보에 근거하여, 상기 복수의 추적영역 각각을 기준으로 하는 추적위치를 프레임 화상마다 추정하고(도 5의 B3),

상기 추적위치 적부판정수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 추적위치 추정수단에 의해 추정된 추적위치의 상대적인 위치관계(추정 추적위치간의 거리가 근거리 조건을 만족하는지 아닌지)에 근거하여 적부판정을 행하는, 화상처리장치를 구성해도 좋다.

이 제4 발명에 의하면, 복수의 추적영역 각각에 대해서 추정된 추적위치의 상대적인 위치관계에 근거하여 적부판정을 행함으로써, 추정된 추적위치의 적부를 적절히 판정할 수 있다.

또한, 제5 발명으로서,

제3 발명의 화상처리장치로서,

상기 출력 틀 설정수단은, 상기 추적위치 재추정수단에 의해서 상기 추적위치가 재추정되었을 경우에, 상기 출력 틀의 갱신을 중단하는(도 5의 B25), 화상처리장치를 구성해도 좋다.

이 제5 발명에 의하면, 재추정된 추적위치가 부적당한 위치였을 경우에, 이 부적당한 추적위치에 근거하여 출력 틀이 생성되고, 그 결과, 추적물과는 관계가 없는 물체가 출력되어 버리는 것을 방지할 수 있다.

또한, 제6 발명으로서,

제5 발명의 화상처리장치로서,

상기 추적위치 추정수단은, 상기 추적위치 재추정수단에 의해서 재추정된 추적위치에 근거하여 상기 추적위치를 프레임 화상마다 추정하고(도 5의 B23→B25→B21→B3),

상기 출력 틀 설정수단은, 상기 추적위치 추정수단에 의해 추정된 추적위치가 상기 출력 틀을 기준으로 한 미리 정해진 범위에 포함되게 되었을 경우에, 상기 출력 틀의 갱신을 재개하는(도 5의 B5; Yes→B7; Yes→B9), 화상처리장치를 구성해도 좋다.

이 제6 발명에 의하면, 재추정된 추적위치에 근거하여 추적위치를 추정함으로써 적당한 추적위치가 추정되었을 경우에, 이 적당한 추적위치에 근거하여 출력 틀이 생성되기 때문에, 추적물을 적절히 출력하는 것이 가능해진다. 또한, 만일 재추정된 추적위치에 근거하여 추정된 추적위치가 부적당한 위치였을 경우에는, 이 부적당한 추적위치에 근거하여 출력 틀이 생성되는 것을 방지하여, 추적물과는 관계가 없는 물체가 출력되어 버리는 것을 방지할 수 있다.

또한, 제7 발명으로서,

제6 발명의 화상처리장치로서,

상기 추적 위치 재추정 수단은, 갱신이 재개되었을 때의 상기 출력 틀을 기준으로서 상기 출력 틀의 갱신이 중단되고 나서 재개될 때까지의 기간에 있어서의 추적 위치를 거슬러 올라가서 재추정하는, 화상 처리 장치를 구성해도 좋다.

이 제7 발명에 의하면, 갱신이 재개되었을 때의 출력 틀을 기준으로 하여, 출력 틀의 갱신이 중단되었을 때의 추적위치를 거슬러 올라가서 재추정함으로써, 출력 틀의 갱신이 중단되어 있던 기간에 있어서의 추적위치를 보완적으로 구할 수 있다.

또한, 제8 발명으로서,

제1 발명의 화상처리장치로서,

상기 추적영역 설정수단은, 상기 원 동화상을 구성하는 프레임 화상 속의 복수의 대상물에 추적영역을 설정하고,

상기 복수의 대상물에 추적의 우선도를 설정하는 우선도 설정수단(화상처리장치(1)의 미도시의 우선도 설정부)을 더 구비하고,

상기 출력 틀 설정수단은, 상기 우선도 설정수단에 의해서 설정된 우선도에 근거하여, 갱신하는 출력 틀을 결정하는, 화상처리장치를 구성해도 좋다.

이 제8 발명에 의하면, 복수의 대상물에 대해서 추적을 행할 수 있다. 또한, 복수의 대상물에 우선도를 설정하고, 설정한 우선도에 근거하여 갱신하는 출력 틀을 결정함으로써, 우선도가 높은 대상물에 조준한 조준 동화상을 생성할 수 있다.

또한, 제9 발명으로서,

제1 발명의 화상처리장치(도 8의 화상처리장치(1))로서,

상기 추적영역 설정수단에 의해서 설정된 추적영역의 형상정보를 취득하는 형상정보 취득수단(도 8의 형상정보 취득부(13))을 더 구비하고,

상기 추적위치 추정수단은, 상기 형상정보 취득수단에 의해서 취득된 형상정보를 더 이용하여, 상기 추적위치를 프레임 화상마다 추정하는, 화상처리장치를 구성해도 좋다.

이 제9 발명에 의하면, 추적영역의 형상정보를 추적위치의 추정에 이용함으로써, 대상물의 형상을 고려한 추적을 실현하는 것이 가능해진다.

또한, 제10 발명으로서,

제1 발명의 화상처리장치로서,

상기 출력 틀 설정수단에 의해서 갱신되는 출력 틀 위치의 변위량에 근거하여, 상기 출력 틀의 위치를 수정하는 출력 틀 위치 수정수단(화상처리장치(1)의 미도시의 출력 틀 위치 수정부)을 더 구비하고,

상기 동화상 생성수단은, 상기 출력 틀 위치 수정수단에 의해서 위치가 수정된 출력 틀을 기준으로 한 동화상을 생성하는, 화상처리장치를 구성해도 좋다.

이 제10 발명에 의하면, 갱신되는 출력 틀의 변위에 근거하여 출력 틀의 위치를 수정함으로써, 생성되는 조준 동화상에 흔들림이 생겨 버리는 것을 방지할 수 있다.

또한, 제11 발명으로서,

제1 발명의 화상처리장치(도 1, 도 8의 화상처리장치(1))와,

터치패널(도 9의 터치패널(250))이 일체적으로 구성된 표시수단(도 9의 표시부(300))과,

상기 표시수단을 표시 제어하는 표시 제어수단(도 9의 표시 제어부(190))

을 구비하고,

상기 추적영역 설정수단은, 상기 터치패널에 대한 유저 조작에 근거하여, 상기 추적영역을 설정하고(도 11의 F5; Yes→F7→F9),

상기 표시 제어수단은, 상기 동화상 생성수단에 의해서 생성된 동화상을 상기 표시수단에 표시시키는(도 10의 E11) 동화상 표시 제어수단을 가지는, 전자기기를 구성해도 좋다.

이 제11 발명에 의하면, 유저 조작에 근거하여 설정한 추적영역에 근거하여 대상물을 추적하는 것이 가능해진다. 또한, 대상물에 조준한 조준 동화상을 유저가 확인할 수 있도록 할 수 있다.

또한, 제12 발명으로서,

제11 발명의 전자기기로서,

상기 표시 제어수단은, 상기 추적영역 설정수단에 의해서 설정된 추적영역을 특정 가능한 표시형태(추적영역을 포함하는 추적영역 틀에 색을 부여하여 표시)로 상기 동화상에 중첩 표시시키는(도 10의 E11) 추적영역 표시 제어수단을 가지는, 전자기기를 구성해도 좋다.

이 제12 발명에 의하면, 설정된 추적영역을 조준 동화상에 있어서 유저가 확인할 수 있도록 할 수 있다.

또한, 제13 발명으로서,

제1 발명의 화상처리장치(도 1, 도 8의 화상처리장치(1))와,

터치패널(도 9의 터치패널(250))이 일체적으로 구성된 표시수단(도 9의 표시부(300))과,

상기 표시수단을 표시 제어하는 표시 제어수단(도 9의 표시 제어부(190))

을 구비하고,

상기 추적영역 설정수단은, 상기 터치패널에 대한 유저 조작에 근거하여, 상기 원 동화상을 구성하는 프레임 화상 속의 대상물에 복수의 추적영역을 설정하고(도 4의 A3),

상기 색 정보 취득수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 색 정보를 취득하고(도 4의 A5),

상기 추적위치 추정수단은, 상기 색 정보 취득수단에 의해서 취득된 상기 복수의 추적영역 각각의 색 정보에 근거하여, 상기 복수의 추적영역 각각을 기준으로 하는 추적위치를 프레임 화상마다 추정하고(도 5의 B3),

상기 표시 제어수단은, 상기 동화상 생성수단에 의해서 생성된 동화상을 상기 표시수단에 표시시키는 동화상 표시 제어수단을 가지는(도 10의 E11) 전자기기를 구성해도 좋다.

이 제13 발명에 의하면, 유저 조작에 근거하여 설정한 복수의 추적영역에 근거하여 대상물을 추적하는 것이 가능해진다. 또한, 대상물에 조준한 조준 동화상을 유저가 확인할 수 있도록 할 수 있다.

또한, 제14 발명으로서,

제13 발명의 전자기기로서,

상기 표시 제어수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역을 각각 구별하여 특정 가능한 표시형태(복수의 추적영역 각각을 포함하는 추적영역 틀에 색을 부여하여 표시)로 상기 동화상에 중첩 표시시키는 추적영역 표시 제어수단(도 9의 표시 제어부(190))을 가지는, 전자기기를 구성해도 좋다.

이 제14 발명에 의하면, 설정된 복수의 추적영역을 조준 동화상에 있어서 유저가 확인할 수 있도록 할 수 있다.

또한, 제15 발명으로서,

제11 발명의 전자기기로서,

상기 표시 제어수단은, 상기 출력 틀 설정수단에 의해서 갱신되는 출력 틀을 특정 가능한 표시형태(틀 선에 색을 부여하여 표시)로 상기 동화상에 중첩 표시시키는 제1 출력 틀 표시 제어수단(도 9의 표시 제어부(190))을 가지는, 전자기기를 구성해도 좋다.

이 제15 발명에 의하면, 갱신되는 출력 틀을 조준 동화상에 있어서 유저가 확인할 수 있도록 할 수 있다.

또한, 제16 발명으로서,

상기 동화상 표시 제어수단은, 상기 출력 틀을 포함하는 소정 영역을 확대한 동화상을 상기 표시수단에 표시시키고,

상기 제1 출력 틀 표시 제어수단은, 상기 확대된 소정 영역에 적응하도록 크기를 조정한 출력 틀을 상기 동화상에 중첩 표시시키는, 전자기기를 구성해도 좋다.

이 제16 발명에 의하면, 출력 틀을 포함하는 소정 영역(출력 대상 영역)이 확대된 조준 동화상을 유저가 열람하는 것이 가능해진다. 또한, 확대된 소정 영역(출력 대상 영역)에 적응한 크기로 출력 틀을 조준 동화상에 중첩 표시시키는 것이 가능해진다.

또한, 제17 발명으로서,

제11 발명의 전자기기로서,

상기 표시 제어수단은,

상기 원 동화상을 상기 표시수단에 표시시키는 원 동화상 표시 제어수단(도 9의 표시 제어부(190))과,

상기 출력 틀 설정수단에 의해서 갱신되는 출력 틀을 특정 가능한 표시형태(출력 틀의 틀 선에 색을 부여하여 표시)로 상기 원 동화상에 중첩 표시시키는 제2 출력 틀 표시 제어수단(도 9의 표시 제어부(190))을 가지는, 전자기기를 구성해도 좋다.

이 제17 발명에 의하면, 갱신되는 출력 틀을 원 동화상에 있어서 유저가 확인할 수 있도록 할 수 있다.

또한, 제18 발명으로서,

제17 발명의 전자기기로서,

상기 터치패널에의 유저 조작에 의해, 상기 원 동화상에 표시 중의 출력 틀을 이동시키는 이동조작이 이루어졌는지 아닌지를 판정하는(도 14의 H1) 이동조작 판정수단(도 9의 처리부(100))과,

상기 이동조작 판정수단에 의해서 출력 틀의 이동조작이 이루어졌다고 판정된 경우에, 출력 틀 내에 존재하는 물체를 검출하는(도 14의 H5) 물체 검출수단(도 9의 처리부(100))을 더 구비하고,

상기 색 정보 취득수단은, 상기 물체 검출수단에 의해서 검출된 물체의 색 정보를 취득하고(도 14의 H9),

상기 추적위치 추정수단은, 상기 물체 검출수단에 의해서 검출된 물체가 존재하는 영역을 상기 추적영역으로서 상기 추적위치를 프레임 화상마다 추정하는(도 14의 H11), 전자기기를 구성해도 좋다.

이 제18 발명에 의하면, 유저가 출력 틀을 이동시키는 이동조작을 행하고, 출력 틀 내에 존재하는 물체를 검출시키고, 그 색 정보에 근거하여, 대상물의 추적을 행하게 할 수 있다.

도 1은, 화상처리장치의 기능 구성의 일례를 나타내는 도이다.
도 2는, 추적영역 설정의 설명도이다.
도 3은, 추적처리에 이용하는 확률분포의 설명도이다.
도 4는, 화상처리의 흐름의 일례를 나타내는 플로우차트이다.
도 5는, 추적처리의 흐름의 일례를 나타내는 플로우차트이다.
도 6은, 추적위치 재추정처리의 흐름의 일례를 나타내는 플로우차트이다.
도 7은, 출력 틀의 설명도이다.
도 8은, 화상처리장치의 기능 구성의 다른예를 나타내는 도이다.
도 9는, 스마트폰의 기능 구성의 일례를 나타내는 도이다.
도 10은, 카메라모드 처리의 흐름의 일례를 나타내는 플로우차트이다.
도 11은, 대상물 추적처리의 흐름의 일례를 나타내는 플로우차트이다.
도 12는, 스마트폰의 표시화면의 일례를 나타내는 도이다.
도 13은, 제2 카메라모드 처리의 흐름의 일례를 나타내는 플로우차트이다.
도 14는, 제2 대상물 추적처리의 흐름의 일례를 나타내는 플로우차트이다.
도 15는, 기록매체의 일례를 나타내는 도이다.

이하, 도면을 참조하여, 본 발명을 적용한 적합한 실시형태의 일례에 대해서 설명한다. 또한, 도면의 설명에 있어서 동일한 요소에는 동일한 부호를 부여하고, 중복하는 설명을 생략하는 경우가 있다. 또한, 도면의 치수 비율은, 설명의 것과 반드시 일치하고 있지는 않다. 또한, 본 발명을 적용 가능한 형태가, 이하 설명하는 실시형태로 한정되지 않는다는 것은 물론이다.

[1. 화상처리장치]

본 실시형태에 있어서의 화상처리장치는, 동화상 속의 대상물을 추적하는 것이다. 본 실시형태에 있어서 대상물의 추적을 행하는 동화상은, 정점(定点)으로부터 촬상(정점촬상)된 동화상으로 하는 것이 적합하다. 이는, 본 실시형태에 있어서의 화상처리장치는, 주로 색 정보를 이용하여 대상물의 추적을 행하기 때문에, 손떨림에 의한 블러(blur)의 발생이나 빛의 영향 등에 의해 대상물의 색에 변화가 생겨 버리면, 추적의 정밀도가 저하되기 때문이다.

다만, 반드시 정점촬상된 동화상이 아니라도, 본 실시형태의 수법을 이용함으로써, 대상물의 추적을 행하는 것은 가능하다. 동화상 중의 밝기의 변화의 영향에 대해서는 화이트 밸런스의 조정, 동화상 중에 발생하는 손떨림에 대해서는 손떨림 보정 등의 조정을 행함으로써, 정점 관측과 거의 마찬가지의 성능으로 대상물의 추적을 실현할 수 있다.

본 실시형태에 관한 화상처리장치는, 예를 들면, 스마트폰 등의 휴대 전화기, 디지털 카메라, 타블렛 단말, PDA(Personal Digital Assistant) 등, 리소스에 제한이 있는 모바일 단말에 구비시키는 것이 가능하지만, 이들에 한정되지 않고, 예를 들면 통상의 컴퓨터 시스템에 구비시켜도 좋다.

[1-1. 기능 구성]

도 1은, 본 실시형태에 있어서의 화상처리장치(1)의 기능 구성의 일례를 나타내는 블럭도이다.

화상처리장치(1)는, 원(元) 동화상 취득부(10)와, 추적영역 설정부(11)와, 색 정보 취득부(12)와, 추적위치 추정부(14)와, 추적위치 적부판정부(15)와, 추적위치 재추정부(16)와, 출력 틀 설정부(17)와, 조준 동화상 생성부(18)를 구비한다. 이들은, 화상처리장치(1)의 처리부(처리장치)가 가지는 기능부(기능 블록)이며, 처리부는, CPU나 DSP 등의 프로세서나 ASIC 등의 집적회로를 가지고 구성된다.

원 동화상 취득부(10)는, 원 동화상 메모리(20)에 보존되어 있는 원 동화상 중에서 하나의 원 동화상(원 동화상의 데이터)을 취득한다. 원 동화상은 복수의 프레임 화상으로 구성된다. 본 명세서에서는, 후술하는 조준 동화상과 구별하는 것을 목적으로 하여, 대상물의 추적에 이용하는 동화상을 원 동화상이라고 표현한다.

추적영역 설정부(11)는, 원 동화상 취득부(10)에 의해서 취득된 원 동화상을 구성하는 프레임 화상 속의 대상물에 추적영역을 설정한다. 추적영역 설정부(11)가 설정하는 추적영역은, 단일의 영역으로 하는 것도, 2 이상의 영역으로 하는 것도 가능하다. 본 실시형태에서는, 1개의 대상물에 2개의 추적영역을 설정하는 경우는, 이 2개의 추적영역을, 각각 「제1 추적영역」, 「제2 추적영역」으로 하여 설명한다.

도 2는, 추적영역 설정의 원리를 설명하기 위한 도이다.

도 2의 (1)에는, 원 동화상을 구성하는 프레임 화상의 일례를 나타내고 있고, 이 프레임 화상에는, A, B의 2명의 인물이 비추어지고 있다. 인물 A를 대상물로서 추적을 행하는 경우, 예를 들면, 인물 A의 상반신과 하반신의 2개소에 추적영역을 설정한다. 본 실시형태에서는, 주로 대상물의 색 정보를 이용하여 대상물의 추적을 행하는데, 인물 A의 상반신과 하반신의 2개소에 추적영역을 설정하는 이유는, 사람이 상반신에 착용하는 셔츠와 하반신에 착용하는 바지는, 다른 색으로 되어 있는 경우가 많기 때문이다. 예를 들면, 상반신의 셔츠의 일부에 제1 추적영역(R1)을 설정하고, 하반신의 바지의 일부에 제2 추적영역(R2)을 설정한다.

인물 A가 인물 B와 함께 스포츠를 행하고, 그것을 스마트폰 등의 전자기기를 이용하여 동영상 촬영했다고 한다. 그리고 스포츠 중에 있어서의 인물 A의 움직임을 확인하기 위해서, 인물 A를 클로즈업 한 동영상을 확인하고 싶은 경우가 있다. 이를 실현하기 위해서, 본 실시형태에서는, 상기와 같이 하여 도 2의 (1)에 나타내는 바와 같이 설정한 제1 추적영역(R1)과 제2 추적영역(R2)의 색 정보에 근거하여, 대상물인 인물 A를 추적한다. 구체적으로는, 도 2의 (2)에 나타내는 바와 같이, 인물 A가 이동했을 경우에, 도 2의 (1)에 있어서 설정한 제1 추적영역(R1) 및 제2 추적영역(R2)을 기준으로 하는 추적위치를 추정함으로써, 대상물인 인물 A를 추적한다.

색 정보 취득부(12)는, 추적영역 설정부(11)에 의해서 설정된 추적영역에 포함되는 화소의 색 정보를 취득한다. 구체적으로는, 색 정보 취득부(12)는, 추적영역 설정부(11)에 의해서 설정된 추적영역의 통계적인 색 출현 빈도를 산출한다.

본 실시형태에서는, 화소치가 HSV(H: 색상, S: 채도, V: 명도) 색 공간으로 표현되고, H, S, V의 성분치가 각각 8비트의 0 ~ 255의 범위인 것으로 하여 설명한다. 이 경우, 색 정보 취득부(12)는, 하나의 프레임 화상에 있어서의 추적영역에 포함되는 화소의 H, S, V의 각 성분 각각에 대해서, 추적영역 내에서의 상기 성분의 출현 빈도를 나타내는 히스토그램을 생성한다. 그리고, 생성한 히스토그램과 다른 프레임 화상에 있어서의 추적영역의 근방의 소정 범위의 영역(이하, 「근방영역」이라 함)의 각 화소의 화소치(H, S, V)에 근거하여, 프레임 화상 속의 어느 좌표치에 있어서 추적영역과 동일한 색이 존재할 확률이 높은가를 나타내는 확률분포를 산출한다. 다른 프레임 화상은, 예를 들면 하나의 프레임 화상에 연속하는 다음의 프레임 화상으로 하면 좋다.

추적영역의 근방영역에 포함되는 화소에 근거하여 확률분포를 산출하는 것으로 하는 것은,

(1) 추적영역에 가능한 한 가까운 영역으로부터 추적영역과 동일한 색 영역을 탐색하고자 한다.

(2) 추적처리에 필요로 하는 데이터 처리량을 삭감하고자 한다.

의 2가지의 이유가 있기 때문이다.

도 3은, 색 정보 취득부(12)에 의해서 산출되는 확률분포의 일례를 나타내는 도로서, 설명의 간명화를 위해서, 1차원의 확률분포를 나타내고 있다.

이 도에는, 가로축을 확률 변수 x로 하고, 세로축을 확률 P로 하는 확률분포 φ(x)를 도시하고 있다. 확률 변수 x는, 예를 들면, 프레임 화상의 가로 방향의 좌표치 x에 대응한다. 이 확률분포 φ(x)는, 어느 좌표치 x에 추적영역과 동일한 색이 존재할 확률이 높은가를 나타내는 확률분포 함수이며, 제일 높은 산의 정점에 대응하는 좌표치에 있어서 추적영역과 동일한 색이 존재할 확률이 가장 높은 것을 나타내고 있다. 단, 화상은 2차원이기 때문에, 실제로는, 프레임 화상의 2차원의 좌표치(x, y)를 성분으로 하는 확률분포 φ(x, y)가 산출된다.

본 실시형태에서는, 단색 모델과 다색 모델이라 하는 2 종류의 색 모델에 근거하여, 확률분포 φ(x, y)를 산출하는 것이 가능하게 구성되어 있다. 단색 모델은, 추적영역 내의 색 분포 중에서 가장 출현 빈도가 높은 색을, 추적을 위한 색 정보로서 사용하는 색 모델이다. 즉, 단색 모델에서는, 단일의 색 정보를 추적에 사용하여, 대상물을 추적하는 모델이다. 단, 본 실시형태에서는, 단색 모델에서 추적에 사용하는 색 H, S, V 성분 각각에 대해서 일정 범위의 폭을 마련하는 것으로 하고, 이 H, S, V 성분에 일정 범위의 폭을 마련한 색을 추적에 사용한다.

이에 비하여, 다색 모델은, 추적영역 내에서 일정한 면적을 차지하는 특정 영역 내(예를 들면 사각형 영역)의 모든 화소의 색 분포를, 추적을 위한 색 정보로서 사용하는 색 모델이다. 즉, 다색 모델에서는, 복수의 색을 포함하는 특정 영역의 색 정보를 추적에 이용하여, 대상물을 추적하는 모델이다.

여기서, 본 실시형태에 있어서의 단색 모델에서는, 대상물이 가지는 색 중 단일의 색을 추적에 이용하는데, 상기와 같이, H, S, V 성분에 일정 범위의 폭을 마련한 색을 추적에 사용함으로써, 빛의 변화에 강하게 할 수 있다. H, S, V 성분 중, 색 종류에 상당하는 H(색상) 성분은 특히 빛의 영향을 받기 쉽다. 이 때문에, H, S, V 성분에 일정 범위의 폭을 마련함으로써, 빛의 영향을 경감하고 있다. 이로 인해, 본 실시형태에 있어서의 단색 모델은, 옥외에서 촬상된 동화상에 있어서의 대상물의 추적에 적절하다고 말할 수 있다.

이에 비하여, 본 실시형태에 있어서의 다색 모델에서는, 대상물이 가지는 복수의 색 정보를 추적에 이용하기 때문에, 대상물이 복수의 색 조합으로 표현되고 있는 경우에 있어서의 대상물의 추적에 적절하다. 이는, 예를 들면 대상물인 인물의 복장의 색이, 단색이 아니라 복수의 색이 조합된 모양으로 되어 있는 경우이다. 또한, 다색 모델은, 상기의 단색 모델과 비교하면 빛의 변화에 의한 영향을 받기 쉽다는 특징이 있다. 이 때문에, 본 실시형태에 있어서의 다색 모델은, 옥내(屋內)에서 촬상된 동화상에 있어서의 대상물의 추적에 적절하다고 말할 수 있다.

상기의 이유로부터, 동화상이 어떠한 촬상 환경에서 촬상된 동화상인지에 대응하여 적용하는 색 모델을 단색 모델과 다색 모델에서 전환하여, 대상물의 추적을 행하도록 하면 적합하다. 이 경우는, 색 정보 취득부(12)가 대상물의 추적영역의 색 분포의 대소 및 휘도 변화의 대소로부터, 단색 모델, 다색 모델의 어느 하나를 자동적으로 선택하도록 설정한다. 또는, 유저가 촬상 환경 및 대상물의 추적영역의 색으로부터 판단하여, 도시하지 않은 조작부를 조작하여 단색 모델, 다색 모델의 어느 하나를 선택하도록 설정한다. 또는, 색 정보 취득부(12)가 대상물의 추적영역의 색 분포의 대소 및 휘도 변화의 대소로부터 선택한 추천 모델을 표시화면에 표시하고, 그것을 참조한 유저가 단색 모델, 다색 모델의 어느 하나를 선택하도록 설정해도 좋다. 또는, 표시화면에 메뉴 화면을 표시하고, 유저가 메뉴 화면의 안내에 따라서, 촬상 환경이 옥내인지 옥외인지, 대상물의 추적영역이 단색인지 다색인지를 선택함으로써, 단색 모델, 다색 모델의 어느 하나가 선택되도록 설정해도 좋다. 또한, 다만, 상기의 용도로 사용할 표시 화면 및 유저 조작을 받아들이는 조작부는, 도 1의 화상처리장치(1)의 내부에 마련해도 좋고, 외부에 마련하여 유선 또는 무선에 의한 통신수단으로 화상처리장치(1)에 접속해도 좋다.

추적위치 추정부(14)는, 색 정보 취득부(12)에 의해서 산출된 확률분포 φ(x, y)에 근거하여, Mean-Shift법을 이용하여, 추적영역을 기준으로 하추적위치를 추정한다. 또한, 추적위치 추정부(14)는, 추적위치 재추정부(16)에 의해서 재추정된 추적위치에 근거하여, 추적영역을 기준으로 하는 추적위치를 추정한다. 추적위치 추정부(14)에 의해 추정된 추적위치를 「추정 추적위치」라 한다. 다만, Mean-Shift법 그 자체는 종래 공지이며, 예를 들면, 본원 출원인이 먼저 출원한 국제공개 제2012/127618호에 있어서 Mean-Shift법을 이용한 대상물의 추적 수법이 개시되어 있기 때문에, 여기에서는 상세한 설명을 생략한다.

간단히 설명하자면, 단색 모델에서는, 추적에 사용할 색(단일의 색)과 동일한 색을 가지는 화소를, 대상으로 하는 프레임 화상 내에서 최신의(전회의) 추정 추적위치의 근방영역으로부터 탐색한다. 이때, 추적에 사용할 색 HSV의 각 성분 각각을, 근방영역에 포함되는 화소의 HSV 성분과 각각 비교하고, 그 비교 결과에 근거하여, 각 화소 각각에 대해서 우도(尤度, likelihood)를 산출한다. 그리고, 산출한 우도가 큰 화소, 예컨대, 산출한 우도가 가장 큰 화소 또는 소정의 임계치보다 큰 화소의 위치를 추정 추적위치로 한다.

이에 비하여, 다색 모델에서는, 추적에 사용하는 HSV 색 공간 내의 색 분포를 추적영역의 색에 관한 확률분포로 간주하고, 근방영역에 포함되는 화소의 HSV 성분에 해당하는, 상기 확률분포의 값을 얻음으로써, 각 화소 각각에 대해서 우도를 산출한다. 그리고 산출한 우도가 큰 화소, 예컨대, 산출한 우도가 가장 큰 화소 또는 산출한 우도가 소정의 임계치보다 큰 화소의 위치를 추정 추적위치로 한다.

추적위치 적부판정부(15)는, 추적위치 추정부(14)에 의해서 구해진 추정 추적위치의 적부(적당한 위치인지 아닌지)를 판정한다. 구체적으로는, 상기와 같이 하여 산출된 우도를 이용하여, 제1 추적영역을 기준으로서 추정된 추적위치(이하, 「제1 추정 추적위치」라 함)의 신뢰도와 제2 추적영역을 기준으로서 추정된 추적위치(이하, 「제2 추정 추적위치」라 함)의 신뢰도를 각각 산출한다.

여기서, 추정 추적위치의 신뢰도는, 상기 추정 추적위치에 대해서 산출된 우도 그 자체로 해도 좋고, 우도에 다른 지표치, 예를 들면, 추적영역으로부터 취득한 색 정보의 움직임량을 가미한 값으로 해도 좋다. 그리고, 추적위치 적부판정부(15)는, 제1 추정 추적위치의 신뢰도 및 제2 추정 추적위치의 신뢰도에 근거하여, 추정 추적위치의 적부를 판정한다. 또한, 추적위치 적부판정부(15)는, 제1 추정 추적위치와 제2 추정 추적위치와의 상대적인 위치관계에 근거하여, 추정 추적위치의 적부를 판정한다.

추적 추정 위치 재추정부(16)는, 추적위치 적부판정부(15)에 의해 추정 추적위치가 부적당이라고 판정된 경우에, 추적위치를 재추정한다.

출력 틀 설정부(17)는, 추적영역 설정부(11)에 의해서 설정된 추적영역을 포함하는 출력 틀을 설정한다. 출력 틀의 사이즈는, 추적영역 및 대상물을 포함하는 소정 사이즈로 하면 적합하다. 또한, 출력 틀 설정부(17)는, 추적위치 추정부(14)에 의해 추정된 추적위치에 근거하여, 추적영역을 포함하는 출력 틀을 갱신한다. 여기서, 출력 틀이란, 프레임 화상 내에 표시되고, 대상물이 그 이미지 부분이 되도록, 촬상된 동화상으로부터 추출된 서브 프레임이며, 출력 영역이라고 말할 수도 있다. 또한, 그 역할에 관련지어서, 추적 틀 또는 조준 틀이라고 불러도 좋다.

조준 동화상 생성부(18)는, 원 동화상 메모리(20)에 기억된 원 동화상을 이용하여, 출력 틀 설정부(17)에 의해서 갱신되는 출력 틀에 조준한 동화상(이하, 「조준 동화상」이라 함)을 생성한다. 즉, 조준 동화상은, 출력 틀을 기준으로 한 동화상이며, 원 동화상과는 다른 동화상으로서 생성된다. 출력 틀에 주목한 동화상인 것으로부터, 조준 동화상은, 출력 동화상, 대상 동화상, 추적 동화상이라고 불러도 좋다.

[1-2. 처리의 흐름]

도 4는, 화상처리장치(1)가 실행하는 화상처리의 흐름의 일례를 나타내는 플로우차트이다.

최초에, 원 동화상 취득부(10)가, 원 동화상 취득처리를 실행한다(A1). 구체적으로는, 원 동화상 메모리(20)에 보존되어 있는 복수의 원 동화상 중에서 하나의 원 동화상을 취득한다. 또는, 도시하지 않은 입력부로부터 리얼타임으로 입력되고, 도시하지 않은 표시부에 리얼타임으로 표시되는 동화상(이하, 리얼타임 동화상이라 함)을 이하의 처리에 사용해도 좋다.

다음에, 추적영역 설정부(11)가, 추적영역 설정처리를 실행한다(A3). 구체적으로는, A1에서 취득된 동화상을 구성하는 프레임 화상 중에서, 대상물의 추적을 개시하는 프레임 화상에 제1 추적영역과 제2 추적영역의 2개의 추적영역을 설정한다.

구체적으로는, 동영상을 재생 중에, 유저가 추적영역 설정을 행하는 취지를 입력한 시점에서 동영상을 정지하고, 그 정지 프레임 화상을, 대상물의 추적영역을 설정하고, 추적처리를 개시하는 정지 프레임 화상으로서 설정하면 적합하다.

리얼타임 동화상의 경우는, 정지 프레임 화상에 있어서 대상물의 추적영역을 설정하는 동안에 계속하여 입력되는 리얼타임 동화상을 원 화상 메모리(20)에 기억시켜 둔다. 추적영역 설정의 종료 후에, 정지 프레임 화상은 리얼타임 동화상으로 돌아온다. 이때, 정지 프레임 표시 중에 원 화상 메모리(20)에 기억시킨 리얼타임 동화상에 대해서 추적처리를 행하여, 추적처리가 리얼타임의 표시에 따라잡도록 하는 것이 바람직하다. 다만, 정지 프레임 화상을 표시하는 시간은, 원 화상 메모리(20)의 기억용량에 대응하여, 예를 들면 5초간으로 설정하고, 설정 시간 경과 후는 추적영역 설정을 중단하여 리얼타임 재생으로 돌아오도록 설정하면 적합하다.

추적영역을 설정할 때는, 제1 추적영역과 제2 추적영역에 있어서 다른 색을 설정하도록 하는 것이 바람직하다. 이 때문에, 이하와 같은 표시 기능 및 가이던스(guidance) 기능을 마련하는 것이 유효하다. 표시 기능으로서는, 우선, 추적영역 설정부(11)는, 유저가 제1 추적영역을 설정 후에, 제1 추적영역의 색 정보를 도시하지 않은 표시화면에 표시한다. 다음에, 유저는, 표시된 제1 추적영역의 색 정보를 참고로 하여, 제2 추적영역을 설정한다. 여기서, 색 정보의 표시는, 단색 모드의 경우는 하나의 색을, 다색 모드의 경우는 복수의 색을, 예를 들면 문자 정보로서 표시한다. 또는, 유저가 한번 봐서 시인(視認)할 수 있도록, 색 정보가 파랑이라면 청색의 서브 윈도우 화면을 표시화면에 표시시킨다. 또한, 제2 추적영역을 설정 후에, 제1 추적영역의 색 정보와 제2 추적영역의 색 정보의 양쪽 모두를 표시시키고, 제1 및 제2 추적영역의 조합이 적합한지 아닌지를 유저에게 확인시키는 스텝을 마련한다. 조합이 적합이라고 유저가 판단한 경우는, 추적영역 설정을 종료하고, 다음의 처리로 이행한다. 조합이 적합하지 않다고 유저가 판단한 경우는, 추적영역 설정의 재설정을 행하도록 한다.

가이던스 기능으로서는, 유저가 제1 추적영역을 설정한 후에, 제1 추적영역의 색과는 다른 색을 가지는 영역을 제2 추적영역으로서 설정하도록 재촉하는 통지를 행하도록 한다. 또한, 유저가 제1 및 제2 추적영역을 설정한 후에, 추적영역 설정부(11)가 제1 및 제2 추적영역의 조합이 적합한지 아닌지를 판단하고, 적합하지 않은 경우는, 추적영역의 재설정을 재촉하는 통지를 행하도록 한다.

도 2의 (1)에 나타내는 바와 같이, 동일한 추적 대상물에 대해서 제1 및 제2 추적영역을 설정하는 경우는, 이들 2개의 추적영역은 근방에 있다는 것은 분명하다. 이 때문에, 유저가 제1 추적영역을 설정한 후, 추적영역 설정부(11)가 제2 추적영역의 설정 가능 범위를 제1 추적영역의 근방으로 한정해도 좋다. 유저가 제2 추적영역의 설정 가능 범위로부터 벗어난 영역을 제2 추적영역으로서 설정했을 경우는, 추적영역 설정부(11)가 추적영역 설정 에러 통지를 행하도록 한다. 또한, 설정 가능 범위를 사각형 등의 도형으로 정지 프레임 화상 상에 중첩 표시함과 함께, 유저에게 제2 추적영역의 적합한 설정을 재촉하는 통지를 행하도록 해도 좋다. 이와 같이 함으로써, 유저가 잘못하여 부적절한 추적영역 설정을 행하는 것을 방지하는 것이 가능해진다.

또한, 동일한 추적 대상물에 대해서 제1 및 제2 추적영역을 설정하는 경우는, 유저가 제1 추적영역을 설정한 후, 추적영역 설정부(11)가 제1 추적영역의 근방으로부터 제2 추적영역을 자동적으로 선택하는 것으로 해도 좋다. 이러한 경우는, 제1 추적영역과는 다른 (예컨대 2개의 추적처리를 구별 가능한 정도로 충분히 다른) 색 정보가 되는 영역을 제2 추적영역으로서 설정하는 것이 바람직하다.

다만, 유저가 제1 및 제2 추적영역의 양쪽 모두를 설정할지, 유저가 제1 추적영역을 설정하고, 추적영역 설정부(11)가 제2 추적영역을 설정할지는, 표시화면에 메뉴를 표시하여, 유저에게 미리 선택시키도록 하면 좋다.

대상물을 공지의 인물 검출, 얼굴 검출 방법 등에 의해서 검출한 후, 상기의 추적영역 설정을 행하도록 해도 좋다. 검출된 대상물이 하나인 경우는, 추적영역 설정부(11)가 자동적으로 그 대상물을 추적 대상물로서 설정한다. 검출된 대상물이 복수인 경우는 검출한 대상물을 각각 포함하는 사각형 등의 도형(이하, 대상물 검출 틀이라 함)를 정지 프레임 화상 상에 중첩 표시시키고, 유저가 소망한 대상물을 추적 대상물로서 선택하도록 하면 좋다.

상기의 대상물 검출은, 정지 프레임 화상이 설정된 직후에 자동적으로 행하도록 하면 적합하다.

또는, 동영상을 재생 중에, 유저가 추적영역 설정을 행하는 취지를 입력한 시점으로부터 소정의 시간 주기, 예를 들면 5초 마다, 상기의 대상물 검출 및 대상물 검출 틀의 표시를 자동적으로 행하도록 설정해도 좋다. 이와 같이, 소정의 시간 주기에 동화상 상에 대상물 검출 틀을 중첩 표시함으로써, 유저에 대해서 동화상 속의 어느 위치에 추적영역의 후보가 있는지를 통지할 수 있다.

대상물 검출의 결과를 이용하여, 추적영역의 설정 및 단색 모델, 다색 모델의 선택을, 대상물의 종류에 대응하여 자동적으로 행하도록 해도 좋다. 예를 들면, 검출된 대상물이 인물이면, 제1 추적영역을 그 인물의 상반신의 위치에, 제2 추적영역을 그 인물의 하반신의 위치가 되도록, 2개의 추적영역을 추적영역 설정부(11)가 자동적으로 선택한다. 또한, 예를 들면 검출된 대상물이 인물이면 다색 모델에서 추적영역은 두개로 설정하고, 검출된 대상물이 자동차이면 단색 모델에서 추적영역은 하나로 설정한다. 유저가 상기와 같이 자동적 선택된 것을 변경하고 싶은 경우는, 화상처리장치(1)가 추적처리를 실행하기 전에 변경할 수 있도록 하면 적합하다.

그 후, 색 정보 취득부(12)가, 색 정보 취득처리 실행한다(A5). 구체적으로는, A3에서 설정된 제1 추적영역 및 제2 추적영역의 2개의 추적영역 각각에 대해서, 상기 추적영역에 포함되는 화소의 H, S, V 성분 및 좌표치에 근거하여, 단색 모델 또는 다색 모델에 근거하여 확률분포 φ(x, y)를 산출한다.

다음에, 출력 틀 설정부(17)가, 초기 출력 틀 설정처리를 실행한다(A7). 구체적으로는, 예를 들면, A3에서 설정된 제1 추적영역과 제2 추적영역을 포함하는 소정 사이즈의 출력 틀을 설정한다. 출력 틀의 사이즈는, 제1 추적영역과 제2 추적영역 및 대상물을 포함하는 사이즈로 하면 적합하다. 또한, 제1 추적영역과 제2 추적영역은, 출력 틀의 중심 부근에 포함되는 것이 적합하다. 이 때문에, 제1 추적영역의 중심 위치와 제2 추적영역의 중심 위치를 연결하는 선분의 중점(中點)에 대응하는 좌표치가, 소정 사이즈의 출력 틀의 중심 또는 중심으로부터 소정의 범위 내가 되도록 초기 출력 틀을 설정하도록 해도 좋다. 그 후, 추적처리의 실행을 개시한다(A9).

도 5는, 추적처리의 흐름의 일례를 나타내는 플로우차트이다.

최초에, 화상처리장치(1)는, 현재의 프레임 화상의 다음의 프레임 화상(다음의 프레임 화상의 데이터)을 취득하고, 취득한 프레임 화상을 대상 프레임 화상으로 한다(B1).

다음에, 추적위치 추정부(14)가, 추적위치 추정처리를 실행한다(B3). 구체적으로는, B1에서 취득한 대상 프레임 화상에 대해서, 제1 추적영역 및 제2 추적영역 각각에 대해서, 확률분포 φ(x, y)에 근거하는 Mean-Shift법을 이용하여, 추적위치를 추정한다.

그 후, 출력 틀 설정부(17)는, 출력 틀 갱신 플래그가 「OFF」인지 아닌지를 판정한다(B5). 출력 틀 갱신 플래그는, 출력 틀을 갱신하는지 아닌지를 나타내는 플래그이며, 초기설정에서는 「ON」으로 설정되어 있고, 후술하는 추적위치 재추정처리가 실행되었을 경우에 「OFF」로 설정된다.

출력 틀 갱신 플래그가 「OFF」라고 판정했다면(B5; Yes), 출력 틀 설정부(17)는, 추적위치 추정처리로 구해진 제1 추정 추적위치와 제2 추정 추적위치와의 중점(中點)에 대응하는 위치(이하, 「중점 위치」라 함)를 산출하고, 산출한 중점 위치가 출력 틀에 포함되는지 아닌지를 판정한다(B7). 여기서, 이 판정은, 중점 위치가 출력 틀을 기준으로 한 미리 정해진 범위 내, 예컨대, 출력 틀로부터 미리 정해진 거리의 범위 내 또는 출력 틀의 중심으로부터 미리 정해진 거리의 범위 내에 포함되는지 여부로 판정해도 좋다. 즉, 중점 위치는 출력 틀의 외측이어도, 출력 틀의 갱신이 가능할 정도로 가까이 위치하고 있으면 된다.

산출한 중점 위치가 출력 틀에 포함된다고 판정했다면(B7; Yes), 출력 틀 설정부(17)는, 출력 틀 갱신 플래그를 「ON」으로 설정한다(B9). 한편, B5에 있어서 출력 틀 갱신 플래그가 「OFF」가 아니라고 판정했을 경우(B5; No), 또는, B7에 있어서 중점 위치가 출력 틀에 포함되지 않는다고 판정했다면(B7; No), 추적위치 적부판정 처리(B11)로 처리를 이행한다.

그 후, 추적위치 적부판정부(15)가, 추적위치 적부판정 처리를 실행한다(B11). 구체적으로는, 제1 적부판정 조건으로서 상술한 제1 추정 추적위치의 신뢰도와 제2 추정 추적위치의 신뢰도가 각각 소정의 임계치 신뢰도 이상(또는 임계치 신뢰도 초과)이 되는 고신뢰도 조건을 만족하는지 아닌지를 판정한다. 또한, 제2 적부판정 조건으로서 제1 추정 추적위치와 제2 추정 추적위치의 사이의 거리가 소정의 임계치 거리 이하(또는 임계치 거리 미만)가 되는 근거리 조건을 만족하는지 아닌지를 판정한다. 제1 적부판정 조건과 제2 적부판정 조건의 양쪽 모두가 성립되었을 경우에는, 추정 추적위치는 적당한 것으로 판정하고, 적어도 어느 한쪽의 적부판정 조건이 성립하지 않는 경우에는, 추정 추적위치는 부적당한 것으로 판정한다.

도 2에서 설명한 바와 같이, 예를 들면, 인물의 상반신과 하반신의 2개소에 추적영역을 설정했을 경우, 인물이 이동해도 상반신과 하반신과의 상대적인 위치관계는 변화하지 않기 때문에, 제1 추적영역과 제2 추적영역의 상대적인 위치관계도 변화하지 않을 것이다. 그래서, 제2 적부판정 조건에서는, 제1 추정 추적위치와 제2 추정 추적위치의 사이의 거리가 근거리 조건을 만족하는지 아닌지를 판정하는 것으로 하고 있다.

다만, 상기와 같이, 제1 적부판정 조건과 제2 적부판정 조건의 2개의 적부판정 조건에 근거하여 추정 추적위치의 적부판정을 행하는 것이 아니라, 어느 한쪽의 적부판정 조건에만 기초하여 추정 추적위치의 적부판정을 행하도록 해도 좋다. 예를 들면, 제2 적부판정 조건에만 기초하여 추정 추적위치의 적부판정을 행하도록 해도 좋다.

또한, 제1 적부판정 조건으로서 제1 추정 추적위치의 신뢰도와 제2 추정 추적위치의 신뢰도의 합계치가 소정의 임계치 이상이 되는지 아닌지에 의해서 적부판정을 행하도록 해도 좋다. 또한, 신뢰도에 가중치를 설정하는 것도 효과적이다. 예를 들면, 제2 추적위치의 신뢰도보다 제1 추적위치의 신뢰도에 가중치를 부여하고, 2개의 신뢰도의 합계치가 임계치 이상이 되는지 아닌지에 의해서 적부판정을 행하도록 하면 적합하다. 가중치의 설정은, 유저가 제1 또는 제2 추적위치의 신뢰도 중의 어느 하나에, 보다 가중치를 부여하는지를 선택하도록 해도 좋고, 추적위치 적부판정부(15)가 자동적으로 행하도록 해도 좋다. 자동적으로 행하는 경우는, 예를 들면 대상물이 인물의 경우는, 하반신에 설정한 제2 추적영역보다 상반신에 설정한 제1 추적영역을 보다 중요한 것으로 하는 설정을 미리 행해 두고, 그 설정 정보를 기초로, 추적위치 적부판정부(15)가, 제2 추적위치의 신뢰도보다 제1 추적위치의 신뢰도에 가중치를 부여하도록 설정하면 좋다. 이와 같이 함으로써, 제1 및 제2 추정 추적위치의 신뢰도를 포함한 종합적인 추적위치 적부판정을 행하는 것이 가능해진다.

추적위치 적부판정 처리의 판정결과가 적당인 경우에는(B13; 적당), 추적위치 추정부(14)는, B3에서 새롭게 추정된 추정 추적위치의 좌표치로, 기억되어 있는 추정 추적위치의 좌표치를 갱신한다(B15).

그 후, 출력 틀 설정부(17)는, 출력 틀 갱신 플래그가 「ON」인지 아닌지를 판정하고(B17), 「ON」이라고 판정했다면(B17; Yes), B15에서 갱신된 추적영역의 좌표치에 근거하여, 현재 설정되어 있는 출력 틀을 갱신한다(B19). 구체적으로는, 예를 들면, 최근의 소정수(예를 들면 과거 15개)의 프레임 화상에 대해서 추정된 추적위치를 평균 연산한 위치를 중심 위치로 하는 소정 사이즈의 출력 틀의 표시 위치를 산출하고, 산출한 출력 틀로, 현재 설정되어 있는 출력 틀을 갱신한다. 출력 틀의 사이즈 설정에 대해서, 상세히는 후술하지만, 유저가 소정의 범위 내에서 임의로 설정 가능해도 좋다.

다음으로, 화상처리장치(1)는, 현재의 프레임 화상의 다음의 프레임 화상(다음의 프레임 화상의 데이터)을 취득하고, 취득한 프레임 화상을 대상 프레임 화상으로 하여(B21), 추적위치 추정처리(B3)로 처리를 되돌린다.

한편, 추적위치 적부판정 처리의 판정결과가 부적당인 경우에는(B13; 부적당), 추적위치 재추정부(16)가, 추적위치 재추정처리를 실행한다(B23).

도 6은, 추적위치 재추정처리의 흐름의 일례를 나타내는 플로우차트이다.

추적위치 재추정부(16)는, 제1 추적영역의 색 정보와 제2 추적영역의 색 정보에 근거하여, 대상 프레임 화상에 대해서, 제1 추적영역 및 제2 추적영역 각각에 대해서, 전(全)범위 탐색을 실행하여, 제1 추적위치와 제2 추적위치를 재추정한다(C1). 구체적으로는, 대상 프레임 화상에 대해서 추적영역의 색에 유사한 색을 가지는 영역을, 대상 프레임 화상 속에서 탐색한다.

다음으로, 추적위치 재추정부(16)는, C1의 전범위 탐색에 의해서 재추정된 추적위치(이하, 「재추정 추적위치」라 함)에 대해서, 제1 추적영역을 기준으로서 재추정된 추적위치(이하, 「제1 재추정 추적위치」라 함)와 제2 추적영역을 기준으로서 재추정된 추적위치(이하, 「제2 재추정 추적위치」라 함)가 근거리 조건을 만족하는 추적위치가 발견되었는지 아닌지를 판정한다(C3).

근거리 조건을 만족하는 추적위치가 발견되지 않았다고 판정했다면(C3; No), 추적위치 재추정부(16)는, 대상 프레임 화상의 다음의 프레임 화상(다음의 프레임 화상의 데이터)을 취득하고, 취득한 프레임 화상을 대상 프레임 화상으로 하고(C5), C1로 처리를 되돌린다.

한편, 근거리 조건을 만족하는 추적위치가 발견되었다고 판정했다면(C3; Yes), 추적위치 재추정부(16)는, 재추정 추적위치의 좌표치로, 현재 기억되어 있는 추정 추적위치의 좌표치를 갱신한다(C7). 그리고, 추적위치 재추정부(16)는, 추적위치 재추정처리를 종료한다.

다만, 본 실시형태에 있어서는, 설명을 간편하게 하기 위해서 전범위 탐색을 행한다고 설명하고 있지만, 탐색의 범위는 반드시 대상 프레임 화상의 전범위일 필요는 없다. 즉, 추적위치 추정처리(B3)에 있어서 최초에 설정한 제1 추적위치 또는 제2 추적위치의 근방으로부터 탐색을 실행하여 재추정을 행하고, 근거리 조건을 만족하는 추적위치가 발견된 시점에서 탐색을 종료하면 좋다. 구체적으로는, 우선, 최초에 설정한 제1 추적위치 또는 제2 추적위치의 근방의 소정 범위 내를 탐색하고, 근거리 조건을 만족하는 추적위치가 발견되었는지 아닌지를 판정한다(C3). 근거리 조건을 만족하는 추적위치가 발견되지 않았다고 판정했다면(C3; No), 그 후 탐색 범위를 넓혀서 탐색을 더 행하여, 근거리 조건을 만족하는 추적위치가 발견되었는지 아닌지를 판정한다(C3). 근거리 조건을 만족하는 추적위치가 발견되었다고 판정된 시점에서(C3; Yes), 탐색을 종료하고, 추적위치 재추정부(16)는, 재추정 추적위치의 좌표치로, 현재 기억되어 있는 추정 추적위치의 좌표치를 갱신한다(C7).

또한, 유저가 탐색 범위를 지정하고, 추적위치 재추정부(16)가 지정된 탐색 범위의 탐색을 행하도록 해도 좋다.

도 5로 돌아와서, 추적위치 재추정처리를 실행했다면, 출력 틀 설정부(17)가, 출력 틀 갱신 플래그를 「OFF」로 설정한다(B25). 그리고, B21로 처리를 이행한다.

추적위치 적부판정 처리의 판정결과가 부적당이라는 것은(B13; 부적당), 추적위치의 추정이 올바르게 행해지지 않았다는 것을 의미한다. 본 명세서에서는, 이와 같이 추적위치의 추정이 올바르게 행해지지 않았다는 것을 「로스트(lost)」라 한다.

로스트가 발생하는 것은, 주로 대상물 이외의 물체가 대상물과 겹쳐서, 상기 물체가 대상물의 앞측에 위치하게 된 결과, 앞측의 물체에 의해서 배후의 대상물이 숨어서 안보이게 되는, 이른바 「오클루전(occlusion)」이 발생하는 경우이다. 본 실시형태에서는, 대상물의 색 정보에 근거하여 추적을 행하기 때문에, 앞측에 위치하게 된 물체의 색이 대상물의 색과 유사한 경우, 앞측의 물체를 대상물로 오인하고, 추적 대상이 상기 물체로 옮겨지는 경우가 있다.

그래서, 이 경우에는, 추적위치 재추정처리를 실행하여(B23), 추적위치를 재추정한다. 여기서, 추적위치 재추정처리에서는, 추적영역의 색 정보에 근거하는 전범위 탐색을 행하여 추적위치를 재추정하는데, 이와 같이 하여 재추정되는 추적위치는, 반드시 대상물이 존재하는 위치로 되어 있다고 한정할 수는 없다. 이 때문에, 출력 틀 갱신 플래그를 「OFF」로 설정함으로써(B25), 출력 틀이 갱신되지 않게 한다(B19). 즉, 출력 틀의 갱신을 중단하고, 그 위치에 출력 틀을 고정한다.

그러나, 추적위치를 재추정한 후, 순차로 다음의 프레임 화상을 읽어내어 추적위치 추정처리로 추적위치를 추정했을 때에(B3), 대상물이 이동한 것 등에 기인하여, 새롭게 추정된 추적위치가, 로스트 전의 최후의 출력 틀에 다시 포함되게 되는 경우가 있다(B7; Yes). 그래서, 이 경우에는, 출력 틀 갱신 플래그를 「ON」으로 설정함으로써(B9), 출력 틀이 다시 갱신되도록 한다. 즉, 고정하고 있던 출력 틀의 갱신을 재개한다. 다만, 상술한 바와 같이, 추적위치가 출력 틀에 포함되는지 여부의 판정(B7)은, 중점 위치가 출력 틀을 기준으로 한 미리 정해진 범위 내, 예컨대 출력 틀로부터 미리 정해진 거리의 범위 내 또는 출력 틀의 중심으로부터 미리 정해진 거리의 범위 내에 포함되는지 여부로 판단하여도 좋다.

또한, 상기의 설명에서는, 추적위치 적부판정 처리의 판정결과가 부적당인 경우에는(B13; 부적당), 추적위치 재추정부(16)가, 추적위치 재추정처리를 실행하는(B23) 것으로 하여 설명했지만, 이하와 같은 처리를 실행해도 좋다. 추적위치 적부판정 처리의 판정결과가 부적당인 경우(B13; 부적당), 화상처리장치(1)가, 현재의 프레임 화상의 다음의 프레임 화상(다음의 프레임 화상의 데이터)을 취득하고, 취득한 프레임 화상을 대상 프레임 화상으로 하여(B21), 추적위치 추정처리(B3)로 처리를 되돌리도록 한다. 다음의 프레임 화상에 대한 추적위치 적부판정 처리의 판정결과가 부적당인 경우에는(B13; 부적당), 판정결과가 적당이 될 때까지(B13; 적당), 화상처리장치(1)는, 다음의 프레임 화상을 더 취득하고, 취득한 프레임 화상을 대상 프레임 화상으로 하여(B21), 추적위치 추정처리(B3)로 처리를 되돌리는 처리를 반복하도록 해도 좋다. 또한, 추적위치 적부판정 처리의 판정결과가 적당이 될 때까지의 동안은, 현재의 프레임 화상의 표시를 계속하도록 한다. 또한, 이 반복 처리가 소정의 회수 이상이 되었을 경우, 추적위치를 로스트했다고 판정하고, 추적위치 재추정부(16)가, 추적위치 재추정처리를 실행(B23)하도록 하면 적합하다.

도 4로 돌아와서, 추적처리의 실행을 개시한 후, 조준 동화상 생성부(18)가, 조준 동화상 생성 처리를 실행한다(A11). 구체적으로는, 원 동화상을 구성하는 프레임 화상으로부터, 추적처리로 설정·갱신된 출력 틀이 중심 부근에 위치하도록 출력 틀을 포함하는 출력 대상 영역(예를 들면 규정 사이즈의 사각형 영역)을 잘라낸 서브 프레임 화상을 생성하는 처리를, 원 동화상을 구성하는 프레임 화상 각각에 대해서 실행하고, 이들 일련의 서브 프레임 화상으로 구성되는 동화상을 조준 동화상으로서 생성한다. 그리고, 화상처리장치(1)는, 화상처리를 종료한다.

도 7은, 출력 틀의 설명도이다. 이들의 도에는, 도 2와 마찬가지로, 인물 A 및 인물 B를 포함하는 동화상을 구성하는 프레임 화상을 나타내고 있다.

도 7의 (1)에 나타내는 바와 같이, 추적영역 설정처리에 있어서, 인물 A의 상반신에 제1 추적영역(R1)이, 하반신에 제2 추적영역(R2)이 각각 설정됨으로써(도 4의 A3), 제1 추적영역(R1)의 색 정보와 제2 추적영역(R2)의 색 정보가 각각 취득되고(도 4의 A5), 제1 추적영역(R1)과 제2 추적영역(R2)과 인물 A를 포함하는 사각형으로 나타나는 초기 출력 틀(F0)이 설정된다(도 4의 A7).

다만, 출력 틀의 사이즈에 대해서는, 유저가 소정의 범위 내에서 소망한 사이즈로 설정 가능하면 적합하다. 또한, 출력 틀을 소정의 사이즈로 표시한 후, 유저가 소정의 범위 내에서 소망한 사이즈로 변경할 수 있도록 해도 좋다.

출력 틀을 소정의 사이즈로 표시하는 경우는, 예를 들면, 제1 추정 추적위치와 제2 추정 추적위치간의 거리에 대응한 사이즈로 하면 좋다. 이 경우는, 예를 들면, 제1 추정 추적위치와 제2 추정 추적위치간의 거리의 4배의 길이를 출력 틀의 세로의 길이로 하고, 2배의 길이를 가로의 길이로 설정한다. 또한, 출력 틀의 사이즈 설정치를 원 동화상에 관련시켜서 원 화상 메모리(20)에 기억해 두고, 동일한 원 화상을 사용하는 경우는, 과거에 사용한 출력 틀의 사이즈 설정치를 디폴트치로서 사용하도록 해도 좋다.

그 후, 다음의 프레임 화상에 대해서 추적위치 추정처리가 실행되고, 제1 추정 추적위치(P1)와 제2 추정 추적위치(P2)가 구해진다(도 5의 B3). 그 결과, 제1 추정 추적위치(P1)의 신뢰도와 제2 추정 추적위치(P2)의 신뢰도가 고신뢰도 조건을 만족하고, 또한, 제1 추정 추적위치(P1)와 제2 추정 추적위치(P2)의 사이의 거리(d)가 근거리 조건을 만족하는 경우에는, 추적위치 적부판정 처리에 있어서 적부판정 조건이 성립했다고 판정되고, 추정 추적위치는 적당한 것으로 판정된다(도 5의 B13; 적당). 이 경우는, 새로운 추정 추적위치의 좌표치로 전회의 추정 추적위치의 좌표치가 갱신된다(도 5의 B15). 그리고, 갱신된 추정 추적위치의 좌표치에 근거하여, 도 7의 (2)에 나타내는 바와 같이, 초기 출력 틀(F0)이 새로운 출력 틀(F1)로 갱신된다(도 5의 B17; Yes→B19).

그 후, 도 7의 (3)에 나타내는 바와 같이, 다음의 프레임 화상에 대해서 추적위치 추정처리가 더 실행되고, 제1 추정 추적위치(P1)와 제2 추정 추적위치(P2)가 구해진다(도 5의 B3). 이 경우, 인물 B가 인물 A의 앞측에 이동함으로써 인물 A가 배후에 숨어서 안보이게 되는 오클루전이 발생하고, 예를 들면, 인물 B의 하반신에 제2 추정 추적위치(P2)가 구해져 버렸다고 한다. 그리고, 그 결과, 제1 추정 추적위치(P1)와 제2 추정 추적위치(P2)의 사이의 거리(d)가 근거리 조건을 만족하지 않게 되었다고 한다. 이 경우는, 추적위치 적부판정 처리에 있어서 적부판정 조건이 성립하지 않는다고 판정되기 때문에, 추정 추적위치는 부적당이고, 인물 A를 로스트한 상태로 판정된다(도 5의 B13; 부적당). 이 경우, 추적위치 재추정처리가 실행되는데(도 5의 B23), 출력 틀 갱신 플래그가 「OFF」로 설정됨으로써(도 5의 B25), 도 7의 (3)에 나타내는 바와 같이, 출력 틀(F1)의 갱신이 중단되고, 출력 틀(F1)은 그 위치에서 고정된다. 즉, 출력 틀(F1)의 위치는, 도 7의 (2)에 나타낸 위치와 동일한 위치에서 유지되기 때문에, 도 7의 (3)의 출력 틀(F1)에는 인물 A는 표시되지 않는 상태가 된다.

여기서, 추적 대상물 로스트 후의 표시를 이하와 같이 해도 좋다. 즉, 로스트한 시점에서 출력 틀(F1)을 고정하는 것이 아니라, 로스트한 시점으로부터 소정의 시간의 사이는, 로스트하기 직전의 움직임을 계속하여, 서서히 움직임이 늦어지고 나서 멈추는 표시로 한다. 또한, 움직임이 늦어짐과 함께, 출력 틀(F1)의 사이즈를 서서히 크게 하도록 하고, 최종적으로는 프레임 화상 전체에 출력 틀(F1)을 표시하도록 해도 좋다. 출력 틀(F1)의 사이즈 확대 중에, 다시 추적위치 적부판정 처리에 있어서 적부판정 조건이 성립되었을 경우는, 출력 틀(F1)의 사이즈를 확대 전의 원래의 사이즈로 되돌린다. 이때, 급격하게 사이즈를 되돌리는 것이 아니라, 소정이 시간을 들여서 서서히 되돌리도록 하면 적합하다. 또한, 확대에 대해서는, 로스트한 시점에서 프레임 화상 전체에 출력 틀(F1)을 표시하도록 해도 좋다.

그 후는, 도 7의 (4)에 나타내는 바와 같이, 출력 틀(F1)은 갱신되지 않고, 추적위치 재추정처리에서 재추정된 재추정 추적위치에 근거하여, 추적위치 추정처리가 실행되게 된다(도 5의 B23→B25→B3). 그리고, 도 7의 (5)에 나타내는 바와 같이, 추적위치 추정처리에서 얻어진 제1 추정 추적위치(P1)와 제2 추정 추적위치(P2)의 중점 위치(Pc)가 출력 틀(F1)에 포함되게 되었을 경우에는(도 5의 B5; Yes→B7; Yes), 출력 틀 갱신 플래그가 「ON」으로 설정됨으로써(도 5의 B9), 출력 틀(F1)의 고정이 해제되고, 출력 틀(F1)의 갱신이 재개된다.

그 후, 추적위치 추정처리에서 구해진 제1 추정 추적위치(P1)의 신뢰도와 제2 추정 추적위치(P2)의 신뢰도가 고신뢰도 조건을 만족하고, 또한, 제1 추정 추적위치(P1)와 제2 추정 추적위치(P2)의 사이의 거리(d)가 근거리 조건을 만족하는 경우에는, 추정 추적위치는 적당이라고 판정된다(도 15의 B13; 적당). 이 경우, 이번 추정된 추적위치의 좌표치로, 추정 추적위치의 좌표치가 갱신된다(도 5의 B15). 그리고, 도 7의 (6)에 나타내는 바와 같이, 출력 틀(F1)이 새로운 출력 틀(F2)로 갱신된다(도 5의 B19).

이후는, 이 반복이다.

[1-3. 작용 효과]

화상처리장치(1)는, 원 동화상을 구성하는 프레임 화상에 있어서 추적영역을 설정하는 추적영역 설정부(11)와, 추적영역 설정부(11)에 의해서 설정된 추적영역의 색 정보를 취득하는 색 정보 취득부(12)와, 색 정보 취득부(12)에 의해서 취득된 색 정보를 이용하여, 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 순차로 추정하는 추적위치 추정부(14)와, 추적영역 설정부(11)에 의해서 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추적위치 추정부(14)에 의해서 추적위치가 순차로 추정될 때마다, 추정된 추적위치에 근거하여 출력 틀을 갱신하는 출력 틀 설정부(17)와, 원 동화상을 이용하여, 출력 틀 설정부(17)에 의해서 순차로 갱신되는 출력 틀에 조준한 조준 동화상을 생성하는 조준 동화상 생성부(18)를 구비한다.

이에 의하면, 대상물의 추적 결과를, 대상물에 조준한 조준 동화상으로서 제공하는 것이 가능해진다.

[1-4. 변형예]

[1-4-1. 형상 추적]

도 8은, 상기의 화상처리장치(1)의 기능 구성의 다른 일례를 나타내고 있다. 이 화상처리장치(1)는, 도 1에서 설명한 기능부 외에, 형상정보 취득부(13)를 구비하여 구성된다.

형상정보 취득부(13)는, 추적영역 설정부(11)에 의해서 설정된 추적영역의 형상정보를 취득한다. 형상정보는, 추적영역의 형상을 모델화한 것으로서, 예를 들면, 추적영역을 소정의 축척으로 축소한 화상의 화소치의 데이터로 구성된다.

이 경우, 추적위치 추정부(14)는, 추적위치 추정처리에 있어서, 대상 프레임 화상에 대해서, 하나 전의 프레임 화상에 대해서 추정 추적위치에 근거하여 갱신된 추적영역의 근방 소정 범위로부터, 패턴 매칭 등의 수법을 이용하여, 추적영역의 형상에 가장 유사한 형상을 가지는 영역(이하, 「형상 유사 영역」이라 함)을 추정한다.

다음으로, 추적위치 추정부(14)는, 형상 유사 영역의 중심 위치의 좌표치(x′, y′)를 특정한다. 그리고, 추적위치 추정부(14)는, 색 정보 취득부(12)에 의해서 취득된 색 모델에 근거하여 산출되는 프레임 화상의 화소치(x, y)를 성분으로 하는 확률분포 φ(x, y)와 형상 유사 영역의 중심 위치의 좌표치(x′, y′)를 이용하여, 다음 식 (1)에 따라서, 추적영역의 추정에 이용하는 제2 확률분포 φ′(x, y)를 산출한다.

φ′(x, y) = G(x, y; x′, y′, σ)*φ(x, y) … (1)

여기서, "G(x, y; x′, y′, σ)"는, 평균을 (x′, y′), 분산을 "σ²"로 하는 2차원의 정규 분포를 나타내는 가우스 함수이다. 또한, "*"는, 컨벌루션 연산(convolution)을 나타낸다. 즉, 제2 확률분포 φ′(x, y)는, 색 모델에 근거하는 확률분포에, 형상 모델에 근거하는 가우스 분포를 컨벌루션 연산함으로써 산출된다.

이 경우, 추적위치 추정부(14)는, 제2 확률분포 φ′(x, y)에 근거하여, Mean-Shift법을 이용하여, 추적위치를 추정한다. 이 경우, 식(1)에서 나타나는 제2 확률분포 φ′(x, y)에 있어서의 분산 σ²의 값을 작게 설정하여 추적위치를 추정함으로써, 추적영역의 형상을 강하게 반영시킨 추적영역의 추정을 행할 수 있다. 즉, 대상물의 형상을 중시한 추적영역의 추정을 행하는 것이 가능해진다.

상기의 색 정보와 형상정보를 병용한 추적영역의 추정은, 어느 방향에서 봐도 색 및 형상이 변화하기 어려운 대상물을 추적할 때에 특히 유용하다. 예를 들면, 어떤 인물이 볼 경기(농구 등)를 행하고 있는 장면을 촬상한 동화상에 대해서 대상물의 추적을 행하는 경우에, 볼의 색이나 형상은 어느 방향에서 봐도 변화하지 않기 때문에, 예를 들면 프레임 화상에 있어서 볼이 비추어진 영역을 추적영역으로서 설정하여, 볼을 대상물로서 추적하는 추적처리를 실행하도록 해도 좋다. 이 경우, 볼의 색이 1색이라면, 색 모델로서, 다색 모델이 아니라, 단색 모델을 이용하여 추적처리를 실행하도록 하면 적합하다.

상기 외에도, 이동하는 강체(剛體)(예를 들면 자동차)에 추적영역을 설정하여, 이 강체를 추적물로서 추적처리를 실행하도록 해도 좋다.

[1-4-2. 우선도의 설정]

하나의 대상물에 복수의 추적영역을 설정하는 것이 아니라, 복수의 대상물에 추적영역을 설정하도록 해도 좋다. 예를 들면, 상기와 같이, 어떤 인물이 볼 경기를 행하고 있는 장면을 촬상한 원 동화상에 대해서 대상물의 추적을 행하는 경우에, 인물의 일부분과 볼의 일부분에 제1 추적영역 및 제2 추적영역을 각각 설정하고, 인물과 볼을 대상물로서 추적처리를 실행하도록 해도 좋다.

이 경우, 인물에 설정된 제1 추적영역과 볼에 설정된 제2 추적영역이, 각각의 색 정보에 근거하여 추적되는데, 인물과 볼과의 위치관계는 수시 변화하는 것이라고 생각된다. 즉, 인물과 볼은, 서로 가까워지거나, 서로 멀어지거나 한다. 이 때문에, 인물의 위치와 볼의 위치가 크게 멀어진 것 같은 경우에는, 인물에 대해서 구해진 제1 추정 추적위치와, 볼에 대해서 구해진 제2 추정 추적위치의 사이의 거리가 너무 커져 버리기 때문에, 유저가 주목하고 싶은 씬(볼 주위의 플레이 등)을 근접 촬영 상태로 열람할 수 없게 될 우려가 있다.

그래서, 화상처리장치(1)의 기능부로서 우선도 설정부를 구성해도 좋다.

우선도 설정부는, 대상물에 추적의 우선도를 설정한다. 그리고, 출력 틀 설정부(17)가, 우선도 설정부에 의해서 설정된 우선도에 근거하여, 갱신하는 출력 틀을 결정한다. 이 경우, 추적의 우선도 외에, 복수의 대상물간의 최대 허용 거리를 설정하도록 해도 좋다. 상기의 예에서는, 인물과 볼에 추적의 우선도를 설정하고, 또한, 인물과 볼의 사이의 최대 허용 거리를 설정한다. 그리고, 인물에 대해서 추정된 추적위치와 볼에 대해서 추정된 추적위치의 사이의 거리가 최대 허용 거리를 초과하지 않은 경우에는, 양쪽 모두의 대상물을 포함하도록 출력 틀을 갱신하고, 최대 허용 거리를 초과하고 있는 경우에는, 우선도가 높은 쪽의 대상물을 포함하도록 출력 틀을 갱신한다.

다만, 추적영역을 설정하는 대상물이 어느 쪽도 형상이 변화하는 것인 경우에는, 색 정보만을 이용한 추적처리를 적용하고, 추적영역을 설정하는 대상물이 어느 쪽도 형상이 변화하지 않는 것인 경우에는, 형상정보만을 이용한 추적처리를 적용하고, 추적영역을 설정하는 대상물의 어느 하나에 형상이 변화하는 대상물이 존재하는 경우에는, 색 정보와 형상정보를 병용한 추적처리를 적용하는 등과 같이, 대상물의 성질에 대응하여, 적용하는 추적처리를 전환하도록 해도 좋다.

또한, 대상물의 형상이 변화하는 경우라도, 예를 들면, 매 프레임마다 대상물의 형상정보를 갱신하도록 함으로써, 형상정보를 이용한 추적처리를 적용하는 것도 가능하다.

[1-4-3. 적부판정 조건]

상기의 추적위치 적부판정 처리에 있어서의 적부판정 조건으로서, 예를 들면, 제1 추정 추적위치와 제2 추정 추적위치의 상하의 관계가 역전하지 않는 것을 정해 두어도 좋다. 예를 들면, 상술한 바와 같이, 인물의 상반신과 하반신의 2개소에 추적영역을 설정하여 추적처리를 실행하는 경우, 인물이 이동해도, 상반신과 하반신이 반대로 되는 케이스는 적다고 생각된다.

그래서, 상반신에 설정된 추적영역에 대해서 추정된 제1 추정 추적위치와 하반신에 설정된 추적영역에 대해서 추정된 제2 추정 추적위치의 상하의 관계를 판정한다. 그리고, 상하의 관계가 역전하고 있지 않는 경우에, 추적위치의 추정 결과는 적당이라고 판정하도록 해도 좋다.

다만, 경우에 따라서는, 인물의 상반신과 하반신의 상하의 관계가 역전하는 경우도 있을 수 있다. 예를 들면, 인물이 체조경기를 실시하는 경우에 있어서, 마루 경기나 철봉 경기에서는, 상반신과 하반신의 상하의 관계가 역전하는 경우가 있다. 이 때문에, 이 경우에는, 상기의 적부판정 조건을 적용하지 않는 것이 좋다. 따라서, 어떠한 장면에 있어서 대상물의 추적을 행하는지에 대응하여, 적부판정 조건을 적절히 설정 변경 가능하면 적합하다.

[1-4-4. 예외 처리]

추적위치를 추정하는 경우의 예외 처리로서 이하에 설명하는 예외 처리를 적용하는 것으로 해도 좋다.

(A) 추정 추적위치의 어느 한쪽의 신뢰도가 고신뢰도 조건을 만족하지 않는 경우

제1 추정 추적위치와 제2 추정 추적위치의 2개의 추정 추적위치의 어느 한쪽의 신뢰도가 고신뢰도 조건을 만족하지 않는 경우에는, 신뢰도가 고신뢰도 조건을 만족하지 않는 쪽의 추정 추적위치가 로스트 상태가 되었다고 판정하고, 신뢰도가 고신뢰도 조건을 만족하는 쪽의 추정 추적위치를 올바른 추적위치로 해서 상기 추적위치만에 대해서 추적을 계속하도록 하도록 해도 좋다. 이는, 제1 추정 추적위치와 제2 추정 추적위치의 어느 한쪽이 로스트 상태가 되었을 경우에 일률적으로 추정 추적위치를 부적당으로서 추적위치 재추정처리를 실행하는 것으로 해 버리면, 지금까지의 추적이 소용없게 되어 버리기 때문이다.

(B) 추정 추적위치가 근거리 조건을 만족하지 않는 경우

제1 추정 추적위치와 제2 추정 추적위치의 사이의 거리가 근거리 조건을 만족하지 않는 경우에는, 이하의 2개의 추적위치 탐색 처리를 실행한다.

(1) 제2 추정 추적위치를 포함하는 제2 추적영역의 상측에 일정 범위의 탐색 영역을 설정하고, 이 탐색 영역 내에서, 제1 추정 추적위치를 탐색하는 제1 추적위치 탐색 처리를 실행한다.

(2) 제1 추정 추적위치를 포함하는 제1 추적영역의 하측에 일정 범위의 탐색 영역을 설정하고, 이 탐색 영역 내에서, 제2 추정 추적위치를 탐색하는 제2 추적위치 탐색 처리를 실행한다.

상기의 2가지의 처리를 실행함으로써, 추적위치 추정처리로 추정된 제1 추정 추적위치 및 제2 추정 추적위치와, 추적위치 탐색 처리로 탐색된 제1 탐색 추적위치 및 제2 탐색 추적위치의, 합계 4개의 추적위치가 얻어진다.

그리고, 이들 4개의 추적위치에 대해서, <제1 추정 추적위치, 제2 탐색 추적위치>, <제1 탐색 추적위치, 제2 추정 추적위치>의 2개의 조합 중에서, 확률분포에 근거하여 산출되는 신뢰도가 가장 낮은 것이 포함되지 않은 조합을 선택하고, 선택한 조합에 포함되는 추적위치를 각각 새로운 제1 추정 추적위치 및 제2 추정 추적위치로 해서 추적을 계속한다.

[1-4-5. 추적위치의 재추정]

리얼타임으로 원 동화상이 입력되고, 또한, 리얼타임으로 출력이 요구되는 경우가 아니면, 추적처리를 후처리로서 실행하는 것이 가능하다. 여기서, 추적위치 재추정부(16)가, 출력 틀의 갱신이 재개된 타이밍으로부터 갱신이 중단된 타이밍까지 거슬러 올라가서, 추적위치를 재추정하도록 해도 좋다.

구체적으로는, 추적위치 재추정부(16)는, 로스트가 발생했을 때의 추적위치의 추정에 이용하고 있던 색 정보를 이용하여, Mean-Shift법을 이용한 추적처리를 실행하여, 출력 틀의 갱신이 중단되고 나서 재개될 때까지의 기간에 있어서의 추적위치를, 시간을 거슬러 올라가서 재추정한다. 이를 도 5를 이용하여 설명하자면, 추적이 재개된 프레임인 도 5의 (5)로부터, 이전의 프레임인 도 7의 (4), 또한 그 이전의 로스트가 발생한 프레임인 도 5의 (3)의 순서로 시간을 거슬러 올라가서 추적위치의 재추정을 실시하는 것을 의미한다.

또한, 시간을 거슬러 올라가서 추적위치를 재추정함으로써, 인물이나 자동차 등의 대상물이 과거에 있어서 어떠한 거동을 하고 있었는지를 열람하는 것이 가능해진다. 이 경우는, 대상물 및 추적영역의 설정을 행하고, 또한 열람 대상으로 하는 과거의 시간을, 원 화상 메모리(20)의 기억용량에 대응하여, 예를 들면 현재로부터 과거 1분간으로 설정한다. 이들의 정보를 기초로, 추적위치 재추정부(16)는 상기의 방법으로 추적처리를 실행하여, 현재로부터 과거 1분간의 기간에 있어서의 추적위치를 재추정한다. 재추정이 완료되면, 과거 1분 전부터 현재까지의 대상물의 움직임을 동영상 표시하는 것이 가능하다. 이 방법에 의하면, 현재 표시되고 있는 프레임에 있어서 대상물 및 추적영역의 설정을 행하기 때문에, 과거 1분 전의 프레임을 표시하여 대상물 및 추적영역을 설정하는 것보다도, 유저에게 있어서 효율이 좋고, 사용하기 쉽다고 하는 이점이 있다.

[1-4-6. 출력 틀의 위치의 수정]

Mean-Shift법을 이용한 추적처리를 행하면, 아무래도 추정 추적위치가 세세하게 변동하는 노이즈가 남아 버리는 경향이 있다. 이와 같이 하여 구해진 추정 추적위치에 근거하여 출력 틀을 갱신했을 경우, 생성되는 조준 동화상에 있어서 흔들림이 발생하는 요인이 된다.

여기서, 화상처리장치(1)의 기능부로서 출력 틀 위치 수정부를 구성해도 좋다.

출력 틀 위치 수정부는, 프레임 화상간의 출력 틀의 좌표의 변화에 근거하여, 프레임 화상간의 출력 틀의 움직임량(변위량)을 산출한다. 그리고, 출력 틀 수정부는, 최근의 과거 소정분(예를 들면 과거 30 프레임분)의 출력 틀의 움직임량을 평균 처리하고, 이 평균 처리에서 얻어진 평균 움직임량에 근거하여, 프레임 화상마다 갱신된 출력 틀의 위치를 수정한다. 이와 같이 하여 위치가 수정된 출력 틀에 조준한 조준 동화상을 조준 동화상 생성부(18)가 생성함으로써, 흔들림이 없는 조준 동화상을 제공하는 것이 가능해진다.

[2. 실시예]

다음으로, 상기의 화상처리장치(1)를 구비하는 전자기기의 일례로서 스마트폰(2)의 실시예에 대해서 설명한다. 단, 본 발명을 적용 가능한 실시예가, 이하 설명하는 실시예로 한정되지 않는다는 것은 물론이다.

[2-1. 기능 구성]

도 9는, 스마트폰(2)의 기능 구성의 일례를 나타내는 블럭도이다.

스마트폰(2)은, 처리부(100)와, 조작부(200)와, 표시부(300)와, 음(音) 출력부(400)와, 촬상부(500)와, 통신부(600)와, 시계부(700)와, 기억부(800)를 구비한다.

처리부(100)는, 기억부(800)에 기억되어 있는 시스템 프로그램 등의 각종 프로그램에 따라서 스마트폰(2)의 각 부를 통괄적으로 제어하거나, 화상처리에 관한 각종 처리를 행하는 처리장치이며, CPU나 DSP 등의 프로세서나 ASIC 등의 집적회로를 가지고 구성된다.

처리부(100)는, 주요한 기능부로서, 추적영역 설정부(110)와, 색 정보 취득부(120)와, 형상정보 취득부(130)와, 추적위치 추정부(140)와, 추적위치 적부판정부(150)와, 추적위치 재추정부(160)와, 출력 틀 설정부(170)와, 조준 동화상 생성부(180)와, 표시 제어부(190)를 가진다. 추적영역 설정부(110) ~ 조준 동화상 생성부(180)는, 도 8의 화상처리장치(1)의 기능부인 추적영역 설정부(11) ~ 조준 동화상 생성부(18)에 각각 대응하고 있다.

조작부(200)는, 조작 버튼이나 조작 스위치, 마우스 등의, 유저가 스마트폰(2)에 대한 각종 조작 입력을 행하기 위한 입력장치를 가지고 구성된다. 또한, 조작부(200)는, 표시부(300)와 일체적으로 구성된 터치패널(250)을 가지고, 이 터치패널(250)은 유저와 스마트폰(2)의 사이의 입력 인터페이스로서 기능한다. 조작부(200)에서는, 유저 조작에 따른 조작 신호가 처리부(100)에 출력된다.

표시부(300)는, LCD(Liquid Crystal Display) 등을 가지고 구성되는 표시 장치이며, 처리부(100)로부터 출력되는 표시 신호에 근거한 각종 표시를 행한다. 표시부(300)는, 터치패널(250)과 일체적으로 구성되어서 터치 스크린을 형성하고 있다. 표시부(300)에는, 촬상 화상이나 수정 화상 등의 각종 화상이 표시된다.

음 출력부(400)는, 스피커 등을 가져서 구성되는 음 출력장치이며, 처리부(100)로부터 출력되는 음 출력 신호에 근거한 각종 음 출력을 행한다.

촬상부(500)는, 임의의 씬의 화상을 촬영 가능하게 구성된 촬상 장치이며, CCD(Charge Coupled Device) 이미지 센서나 CMOS(Complementary MOS) 이미지 센서 등의 촬상 소자를 가져서 구성된다. 촬상부(500)는, 광신호를 전기신호로 변환하고, 디지털화한 촬상 화상의 데이터를 처리부(100)에 출력한다.

통신부(600)는, 장치 내부에서 이용되는 정보를 외부의 정보 처리장치 및 화상 표시 장치의 사이에서 송수신하기 위한 통신 장치이다. 통신부(600)의 통신 방식으로서는, 소정의 통신규격에 준거한 케이블을 개재하여 유선 접속하는 형식이나, 크래들이라 불리는 충전기와 겸용의 중간 장치를 개재하여 접속하는 형식, 근거리 무선 통신을 이용하여 무선 접속하는 형식 등, 여러 가지의 방식을 적용 가능하다.

시계부(700)는, 스마트폰(2)의 내부 시계이며, 예를 들면 수정 진동자 및 발진 회로인 수정 발진기를 가져서 구성된다. 시계부(700)의 계시 시각은, 처리부(100)에 수시 출력된다.

기억부(800)는, ROM이나 플래시 ROM, RAM 등의 휘발성 또는 불휘발성의 메모리나, 하드 디스크 장치 등을 가져서 구성되는 기억장치이다. 기억부(800)는, 처리부(100)가 스마트폰(2)을 제어하기 위한 시스템 프로그램이나, 각종 화상처리를 행하기 위한 프로그램이나 데이터를 기억한다.

본 실시예에 있어서, 기억부(800)에는, 처리부(100)에 의해서 읽히고, 카메라모드 처리로서 실행되는 카메라모드 처리 프로그램(810)이 기억되어 있다. 카메라모드 처리 프로그램(810)은, 처리부(100)에 의해 읽히고, 대상물 추적처리로서 실행되는 대상물 추적 프로그램(811)을 써브루틴으로서 포함한다.

또한, 기억부(800)에는, 촬상부(500)로부터 처리부(100)에 입력된 동화상의 데이터가 격납되는 원 동화상 데이타베이스(830)가 기억된다.

[2-2. 처리의 흐름]

도 10은, 처리부(100)가, 기억부(800)에 기억되어 있는 카메라모드 처리 프로그램(810)에 따라서 실행하는 카메라모드 처리의 흐름의 일례를 나타내는 플로우차트이다. 이 카메라모드 처리는, 유저에 의해 카메라의 어플리케이션이 기동됨으로써 실행되는 처리이다.

최초에, 처리부(100)는, 유저에 의해 조작부(200)을 개재하여 선택된 모드가 추적 모드인지 아닌지를 판정한다(E1). 추적 모드는, 유저가 있는 지점에 스마트폰(2)을 고정하여 동화상을 촬상하는 동화상 촬상 모드로 촬상된 원 동화상을 대상으로 하여, 대상물의 추적을 행하여, 출력 틀에 조준한 조준 동화상을 표시부(300)에 표시시키는 모드이다.

추적 모드인 것으로 판정했다면(E1; Yes), 처리부(100)는, 추적용 설정 화면을 표시부(300)에 표시시키는 제어를 행한다(E3). 구체적으로는, 추적용 설정 화면으로서 「색 모델」과 「색 모델+형상 모델」 중의 어느 설정으로 추적을 행할지를 유저에게 선택시키는 화면을 표시시킨다.

다음으로, 처리부(100)는, 추적용 설정처리를 실행한다(E5). 구체적으로는, 추적용 설정 화면에 있어서의 조작부(200)에의 유저의 선택 조작에 따라서, 추적을 행하기 위한 설정을 행한다.

그 후, 처리부(100)는, 대상물의 추적을 실행할지 아닐지를 판정한다(E7). 구체적으로는, 조작부(200)에의 유저의 실행 조작을 검출했는지 아닌지에 근거하여, 대상물의 추적을 실행할지 아닐지를 판정한다.

대상물의 추적을 실행하는 것으로 판정했다면(E7; Yes), 처리부(100)는, 기억부(800)에 기억되어 있는 대상물 추적 프로그램(811)에 따라서, 대상물 추적처리를 실행한다(E9).

도 11은, 대상물 추적처리의 흐름의 일례를 나타내는 플로우차트이다.

최초에, 표시 제어부(190)는, 기억부(800)에 기억되어 있는 원 동화상 데이타베이스(830)에 기억되어 있는 원 동화상의 일람을 표시부(300)에 표시시키고, 유저에게 대상물의 추적을 실행시킬 원 동화상을 선택시키는 원 동화상 선택 처리를 실행한다(F1).

다음으로, 표시 제어부(190)는, 유저에 의해 선택된 원 동화상의 데이터를 디코드하고, 원 동화상을 구성하는 프레임 화상을 표시부(300)에 순차로 표시시킨다(F3).

그 후, 처리부(100)는, 터치패널(250)에 대한 탭 조작을 검출했는지 아닌지를 판정하고(F5), 검출했다고 판정했다면(F5; Yes), 표시 중인 프레임 화상 중에서, 탭 조작으로 탭된 탭 위치를 특정한다(F7).

다음으로, 추적영역 설정부(110)가, 추적영역 설정처리를 실행한다(F9). 구체적으로는, F7에서 특정한 탭 위치의 좌표치를 포함하는 1군의 영역을 추적영역으로서 설정한다(F11). 여기서 설정되는 추적영역은, 1회째의 탭 조작으로 설정되는 추적영역이기 때문에, 제1 추적영역이 된다.

다음으로, 처리부(100)는, E5에서 설정된 추적용 설정을 판정하고(F11), 추적용 설정이 「색 모델」인 것으로 판정했다면(F11; 색 모델), 색 정보 취득부(120)가, 색 정보 취득처리 실행한다(F13). 한편, 추적용 설정이 「색 모델+형상 모델」인 것으로 판정했다면(F11; 색 모델+형상 모델), 색 정보 취득부(120)가, 색 정보 취득처리 실행한다(F15). 그리고, 형상정보 취득부(130)가, 형상정보 취득처리 실행한다(F17).

F13 또는 F17의 후, 처리부(100)는, 2개의 추적영역이 설정되었는지 아닌지를 판정하고(F19), 설정되어 있지 않다고 판정했다면(F19; No), F5로 처리를 되돌린다. 이 경우, 유저에 의해 2번째의 탭 조작이 이루어지면, F9에 있어서 추적영역이 설정된다. 여기서 설정되는 추적영역은, 2번째의 탭 조작으로 설정되는 추적영역이기 때문에, 제2 추적영역이 된다.

2개의 추적영역이 설정되었다고 판정했다면(F19; Yes), 출력 틀 설정부(170)가, 초기 출력 틀 설정처리를 실행한다(F21). 또한, 처리부(100)가, 추적처리의 실행을 개시한다(F23). 또한, 조준 동화상 생성 처리부(180)가, 조준 동화상 생성 처리를 실행한다(F25). 이들의 처리는, 화상처리장치(1)의 처리에서 설명한 바와 같다. 그리고, 처리부(100)는, 대상물 추적처리를 종료한다.

도 10으로 돌아와서, 대상물 추적처리를 실행했다면, 표시 제어부(190)가, 동화상 표시 처리를 실행한다(E11). 구체적으로는, 조준 동화상 생성 처리로 생성된 조준 동화상을 표시부(300)에 표시시킨다.

또는, 조준 동화상 생성 처리로 생성된 조준 동화상을 통신부(600)를 개재하여, 유선 또는 무선 접속으로 외부의 표시 단말장치에 표시시켜도 좋다. 또는, 조준 동화상을 통신부(600)를 개재하여, 네트워크 경유로 외부의 표시 단말장치에 출력시켜도 좋다. 이 경우, 스마트폰(2)의 표시부(300)에는, 프레임 중에 출력 틀이 표시되고 있는 형식, 즉, 도 5에 나타내는 프레임 동화상이 표시되고, 외부의 표시 단말장치에는, 조준 동화상이 표시된다.

이때, 표시 제어부(190)는, 조준 동화상을 구성하는 프레임 화상마다의 추적영역의 변화를 유저가 파악 가능하게 하기 위해서, 추적영역을 포함하는 추적영역 틀을 조준 동화상 속에 중첩 표시시킨다.

여기서, 추적영역에는, 제1 추적영역과 제2 추적영역의 2개의 추적영역이 존재하기 때문에, 각각의 추적영역을 유저가 파악 가능하게 하기 위해서, 제1 추적영역을 포함하는 제1 추적영역 틀과, 제2 추적영역을 포함하는 제2 추적영역 틀을 조준 동화상 속에 중첩 표시시킨다. 이때, 추적영역 틀의 틀 선에 소정의 색(예를 들면 청색)을 부여하여 표시한다.

다만, 제1 추적영역 틀과 제2 추적영역 틀을 유저가 구별할 수 있도록, 제1 추적영역 틀의 틀 선과 제2 추적영역 틀의 틀 선에 각각 다른 색(예를 들면, 한쪽을 청색, 다른 쪽을 황색)을 부여하여 표시시키도록 해도 좋다. 또한, 추적영역 틀의 틀 선에 색을 부여하여 표시하는 것이 아니라, 틀 선을 실선이나 점선으로 표시하도록 해도 좋다.

또한, 표시 제어부(190)는, 조준 동화상을 구성하는 프레임 화상마다의 출력 틀의 변화를 유저가 파악 가능하게 하기 위해서, 조준 동화상에 출력 틀을 중첩 표시시킨다. 이때, 상기의 추적영역 틀과 출력 틀을 유저가 구별할 수 있도록, 추적영역 틀의 틀 선에 부여한 색과는 다른 색(예를 들면 적색)을 부여하여 출력 틀의 틀 선을 표시한다.

다만, 이 경우도, 출력 틀의 틀 선에 색을 부여하여 표시하는 것이 아니라, 틀 선을 실선이나 점선으로 표시하도록 해도 좋다.

그 후, 처리부(100)는, 추적 모드를 종료할지 아닐지를 판정하고(E13), 종료하지 않는다고 판정했다면(E13; No), E7로 처리를 되돌린다. 또한, 추적 모드를 종료한다고 판정했다면(E13; Yes), 처리부(100)는, 처리를 종료할지 아닐지를 판정하고(E19), 처리를 계속한다고 판정했다면(E19; No), E1로 처리를 되돌린다. 또한, 처리를 종료한다고 판정했다면(E19; Yes), 처리부(100)는, 대상물 추적처리를 종료한다.

한편, E1에 있어서 추적 모드가 선택되지 않았다고 판정했다면(E1; No), 처리부(100)는, 동화상 촬상 모드가 선택되었는지 아닌지를 판정하고(E15), 선택되었다고 판정했다면(E15; Yes), 동화상 촬상 처리를 실행한다(E17). 구체적으로는, 유저 조작에 따라서, 촬상부(500)에 동화상의 촬상을 실행시키고, 촬상된 동화상을 기억부(800)의 원 동화상 데이타베이스(830)에 기억시킨다. 그리고, 처리부(100)는, E19로 처리를 이행한다.

이 경우, E11의 조준 동화상 표시 처리에 있어서, 예를 들면, 표시부(300)의 화면 전체에 조준 동화상을 표시부(300)에 표시시키도록 해도 좋다. 즉, 출력 틀을 포함하는 출력 대상 영역(예를 들면 규정 사이즈의 사각형 영역)을 표시부(300)의 화면 사이즈로 확대한 서브 프레임 화상으로 구성되는 조준 동화상을 표시부(300)에 표시시키도록 해도 좋다. 이 경우는, 출력 대상 영역의 크기에 적응하도록 출력 틀의 크기를 조정할 필요가 있기 때문에, 출력 대상 영역과 같은 확대율로 출력 틀을 확대한 다음, 대응하는 위치에 출력 틀을 중첩 표시시키도록 하면 좋다.

추적영역 틀의 표시에 대해서도 마찬가지이다.

또한, 유저 조작에 따라서, 확장 수축을 변경하여 조준 동화상을 표시부(300)에 표시시키는 것을 가능하게 해도 좋다. 구체적으로는, 예를 들면, 확장 수축을 변경하기 위한 확장 수축용 게이지를 유저가 슬라이드 조작 가능한 조작 바와 함께 표시부(300)에 표시시키고, 유저에 의해서 확장 수축용 게이지의 조작 바를 슬라이드하는 조작이 이루어졌을 경우에, 그 슬라이드 조작에 대응한 확대율로 출력 대상 영역을 확대한 서브 프레임 화상으로 구성되는 조준 동화상을 표시부(300)에 표시시키도록 해도 좋다.

[2-3. 표시화면]

도 12는, 스마트폰(2)의 표시부(300)에 표시되는 표시화면의 일례를 나타내는 도이다.

도 12의 (1)에는, A, B, C의 3명의 인물이 비추어진 원 동화상의 한 장면을 표시한 표시화면을 도시하고 있다. 이 표시화면에 있어서, 유저가, 터치패널(250)에 대해서 인물 A의 몸체부(상반신)를 탭 함으로써, 제1 추적영역(R1)이 설정된다. 또한, 유저가 터치패널(250)에 대해서 인물 A의 다리부(하반신)를 탭 함으로써, 제2 추적영역(R2)이 설정된다. 이와 같이 하여 설정된 제1 추적영역(R1) 및 제2 추적영역(R2)에 근거하여 인물 A를 추적하는 추적처리가 실행되고, 조준 동화상 생성 처리가 실행됨으로써, 대상물인 인물 A에 조준된 조준 동화상이 생성된다.

도 12의 (2)에는, 조준 동화상의 한 장면을 표시한 표시화면을 도시하고 있다. 이 표시화면에는, 도 12의 (1)에 나타낸 제1 추적영역(R1)을 포함하는 사각형의 추적영역 틀(Fr1)과, 제2 추적영역(R2)을 포함하는 사각형의 추적영역 틀(Fr2)이 표시되고 있다. 이 제1 추적영역 틀(Fr1)과 제2 추적영역 틀(Fr2)의 틀 선은, 예컨대 각각 청색으로 나타나 있다. 또한, 이 표시화면에는, 사각형의 출력 틀(F)이 표시되고 있다. 이 출력 틀(F)의 틀 선은, 예컨대 적색으로 나타나 있다.

[2-4. 작용 효과]

스마트폰(2)은, 터치패널(250)이 일체적으로 구성된 표시부(300)와, 표시부(300)를 표시 제어하는 표시 제어부(190)를 구비한다. 그리고, 추적영역 설정부(110)는, 터치패널(250)에 대한 탭 조작에 근거하여 추적영역을 설정하고, 표시 제어부(190)는, 조준 동화상 생성부(180)에 의해서 생성된 조준 동화상을 표시부(300)에 표시시킨다.

이에 의하면, 유저의 탭 조작에 근거하여 설정한 추적영역에 근거하여, 대상물을 추적하는 것이 가능해진다. 또한, 대상물에 조준한 조준 동화상을 유저가 확인할 수 있도록 할 수 있다.

[3. 제2 실시예]

제2 실시예는, 제1 실시예의 스마트폰(2)에 있어서, 유저에게 표시 중인 동화상에 있어서 출력 틀을 이동시키는 조작을 행하게 하는 것을 가능하게 하고, 이 출력 틀의 이동조작에 따라서, 반자동으로 대상물을 설정하는 것을 가능하게 하는 실시예이다.

[3-1. 처리의 흐름]

도 13은, 스마트폰(2)의 처리부(100)가, 카메라모드 처리 대신에 실행하는 제2 카메라모드 처리의 흐름의 일례를 나타내는 플로우차트이다. 다만, 카메라모드 처리와 동일한 스텝에 대해서는 동일한 부호를 부여하고, 반복 설명을 생략한다.

E11에 있어서 조준 동화상 표시 처리를 실행한 후, 처리부(100)는, 유저에 의해 원 동화상에 표시를 전환하는 조작이 이루어졌는지 아닌지를 판정한다(G13).

전환하는 조작이 이루어졌다고 판정했다면(G13; Yes), 표시 제어부(190)가, 원 동화상 표시 처리를 실행한다(G15). 구체적으로는, 원 화상 선택 처리에서 선택된 원 동화상을 표시부(300)에 표시시킨다. 이때, 표시 제어부(190)는, 원 동화상을 구성하는 프레임 화상마다의 추적영역의 변화를 유저가 파악 가능하게 하기 위해서, 추적영역을 포함하는 추적영역 틀(F)을 원 동화상 속에 중첩 표시시킨다. 이 경우도, 조준 동화상과 마찬가지로, 추적영역 틀(F)에는, 틀 선에 소정의 색(예를 들면 청색)을 부여하여 표시한다.

또한, 표시 제어부(190)는, 원 동화상을 구성하는 프레임 화상마다의 출력 틀의 변화를 유저가 파악 가능하게 하기 위해서, 원 동화상에 출력 틀을 중첩 표시시킨다. 이 경우도, 상기의 추적영역 틀과 출력 틀을 유저가 구별할 수 있도록, 추적영역 틀의 틀 선에 부여한 색과는 다른 색(예를 들면 적색)을 부여하여 출력 틀을 표시한다.

그 후, 처리부(100)는, 터치패널 조작을 검출했는지 아닌지를 판정하고(G17), 검출했다고 판정했다면(G17; Yes), 제2 대상물 추적처리를 실행한다(G19).

도 14는, 제2 대상물 추적처리의 흐름의 일례를 나타내는 플로우차트이다.

최초에, 처리부(100)는, 검출한 터치패널 조작이, 원 동화상에 표시 중의 출력 틀을 임의의 위치에 이동시키는 조작(이하, 「출력 틀 이동조작」이라 함)인지 아닌지를 판정한다(H1). 구체적으로는, 출력 틀의 표시 위치가 소정 시간(예를 들면 1초간) 터치된 후, 계속하여 드래그 조작이 이루어진 것을 검출했을 경우에, 출력 틀 이동조작이 이루어졌다고 판정한다.

출력 틀 이동조작이 이루어졌다고 판정했다면(H1; Yes), 처리부(100)는, 출력 틀 이동조작이 완료되었는지 아닌지를 판정한다(H3). 구체적으로는, 드래그 조작이 정지되고, 터치패널(250)에의 입력이 없어진 것을 검출했을 경우에, 출력 틀 이동조작이 완료되었다고 판정한다.

출력 틀 이동조작이 완료되었다고 판정했다면(H3; Yes), 처리부(100)는, 이동된 출력 틀 내에 존재하는 물체를 검출하는 물체 검출 처리를 실행한다(H5). 물체 검출 처리는, 인물이나 그 외의 물체를 모델화한 모델 데이터를 이용한 패턴 매칭 등의 종래 공지의 수법을 이용하여 실현될 수 있다.

다음으로, 추적영역 설정부(110)가, 추적영역 설정처리를 실행한다(H7). 구체적으로는, H5에서 검출된 물체를 구성하는 각 화소의 색 정보에 근거하여, 상기 물체를 구성하는 영역 중에서, 균일한 색으로 구성되는 2개의 영역을 탐색하고, 탐색한 2개의 영역을 각각 제1 추적영역 및 제2 추적영역으로서 설정한다.

그 후, 색 정보 취득부(120)가, 색 정보 취득처리 실행한다(H9). 구체적으로는, H7에서 설정된 2개의 추적영역에 대해서, 상기의 실시형태와 마찬가지로, 색 정보를 취득한다. 그리고, 처리부(100)는, 추적처리의 실행을 개시하고(H11), 조준 동화상 생성부(180)가, 조준 동화상 생성 처리를 실행한다(H13). 그리고, 처리부(100)는, 제2 대상물 추적처리를 종료한다.

다만, 상기의 설명에서는, 출력 틀 이동조작이 완료되었다고 판정했다면(H3; Yes), 처리부(100)는, 이동된 출력 틀 내에 존재하는 물체를 검출하는 물체 검출 처리를 실행하는(H5) 것으로 했지만, 본 실시예는 이에 한정되는 것은 아니다. 예를 들면, 출력 틀 이동조작이 검출된 시점(H1; Yes)으로부터 물체 검출 처리(H5)를 개시하고, 대상물이 검출된 시점에서, 다음의 추적영역 설정처리의 실행(H7) 이후의 처리를 실행하도록 해도 좋다. 이 경우, 추적처리 개시(H7)는, 출력 틀 이동조작 완료의 판정(H3; Yes) 후에 개시되도록 설정해도 좋다.

또한, 물체 검출 처리(H5)에 의해서 대상물이 검출된 시점에서, 출력 틀의 틀 선의 색을 변화시킴으로써, 유저에 대해서 대상물이 검출된 것을 통지하도록 해도 좋다. 또한, 처리부(100)에 의한 추적처리의 실행시와 유저 조작에 의한 출력 틀 이동시에 있어서, 출력 틀의 표시형태를 다르게 하면 좋다. 이 경우는, 예를 들면, 처리부(100)에 의한 추적처리의 실행시는 출력 틀의 틀 선을 실선 표시로 하고, 유저 조작에 의한 출력 틀 이동시는 출력 틀의 틀 선을 파선 표시로 하면 좋다. 또한, 출력 틀의 틀 선의 색을 다르게 하도록 해도 좋다.

도 13으로 돌아와서, 제2 대상물 추적처리를 실행한 후, 처리부(100)는, 원 동화상의 표시를 종료하는 조작이 이루어졌는지 아닌지를 판정하고(G21), 이루어지지 않았다고 판정했다면(G21; No), G17로 처리를 되돌린다.

또한, 원 동화상의 표시를 종료하는 조작이 이루어졌다고 판정했다면(G21; Yes), 처리부(100)는, 조준 동화상에 표시를 전환하는 조작이 이루어졌는지 아닌지를 판정하고(G23), 이루어졌다고 판정했다면(G23; Yes), E11로 처리를 되돌린다. 또한, 조준 동화상에 표시를 전환하는 조작이 이루어지지 않았다고 판정했다면(G23; No), 처리부(100)는, E13로 처리를 이행한다.

다만, 상기의 처리에 있어서, 물체 검출 처리에 있어서 추적 대상으로 하는 물체를 검출할 때에, 원 동화상 상에서 미리 설정된 복수의 추적 대상물 중에서, 출력 틀 내에 존재하는 1 또는 복수의 물체를 검출하도록 해도 좋다. 예를 들면, 스포츠를 하고 있는 장면을 촬상하는 경우에 있어서, 미리 촬상된 동화상이나 정지 화상 속에서 주목 선수 등의 동(動)피사체를, 유저가 수동으로 추출하거나 전자동/반자동으로 추출하고, 이 추출한 동피사체의 색 정보를 등록해 둔다. 그리고, 물체 검출 처리에서는, 이와 같이 하여 등록된 동피사체를 검출하도록 한다. 이 경우, 동피사체의 색 정보를 미리 등록해 두면, H9의 색 정보 취득처리를 실행할 필요가 없어, H5의 물체 검출 처리를 실행하는 것만으로 완료된다.

[3-2. 변형예]

상기의 제2 실시예에 있어서, 추적위치 추정부(140)가 백그라운드에서 추적위치를 추정하고 있는 동안에 출력 틀 이동조작이 이루어졌다고 판정했을 경우에, 실행 중인 추적위치의 추정보다 출력 틀 이동조작을 우선하여, 추적위치를 추정하도록 해도 좋다. 즉, 자동으로 추정되는 추적위치에 근거하여 갱신되는 출력 틀의 위치보다, 수동으로 이동되는 출력 틀의 위치를 우선하여, 추적위치를 추정하도록 해도 좋다.

이 경우, 출력 틀 이동조작이 완료되었다고 판정했다면, 이동된 출력 틀에 추정 추적위치가 포함된 타이밍에서, 그 이후, 추정 추적위치에 추종하도록 출력 틀을 갱신하도록 하면 좋다. 이와 같이 함으로써, 추적되고 있는 대상물이 올바르지 않다고 판단한 경우에, 유저는 출력 틀을 올바른 대상물의 위치에 이동시켜서 추적위치를 추정시키는 것이 가능해지고, 세미 오토에 의한 대상물의 추적을 실현할 수 있다.

[4. 제3 실시예]

대상물의 로스트가 발생하여 출력 틀의 갱신이 중단되었을 경우, 대상 프레임 화상의 전범위 탐색을 행하여 추적을 계속했다고 해도, 대상물과는 다른 물체를 잘못 추적해 버리는 경우가 있다. 이 경우에는, 추적위치가 출력 틀 내에 들어가지 않는 상태가 계속되거나, 또는, 추적위치가 출력 틀에 들어갔다고 해도, 잘못된 대상을 계속 추적해 버리는 경우가 있다. 그러나, 리얼타임으로 원 동화상이 입력되고, 또한, 리얼타임으로 출력이 구해지는 경우가 아니라면, 추적처리를 촬상 및 원 화상의 보존 후에 실행하는 것이 가능한 것을 이용하여, 이하와 같이 하여, 추적위치를 재추정하도록 해도 좋다.

예를 들면, 상술한 오클루전에 의한 로스트가 발생한 후, 오클루전이 해소되어 대상물이 화면에 다시 나타난 타이밍에서, 대상물이 출력 틀에 포함되도록 출력 틀을 이동시키는 출력 틀 이동조작이 유저에 의해서 이루어졌다고 한다(도 14의 H1; Yes). 이 경우, 출력 틀 이동조작이 완료된 시점에서(도 14의 H3; Yes), 도 14의 H5 ~ H13의 처리가 실행되는데, 도 14의 H9의 색 정보 취득처리 취득된 색 정보에 근거하여, 출력 틀 이동조작에 의해서 대상물이 지정된 타이밍으로부터 거슬러 올라가서, 시간축 상에서 역방향으로 추적위치를 재추정한다. 그리고, 재추정한 추적위치에 근거하여, 로스트가 발생하고 나서 유저에 의해서 대상물이 지정될 때까지의 기간에 있어서의 출력 틀의 위치를 보완적으로 추정한다.

이 경우, 로스트가 발생한 프레임 화상 부근에서, 시간축 상에서 순방향(順方向)으로 재추정한 추적위치와 역방향으로 재추정한 추적위치가 가까운 영역에 수렴될 가능성이 높아진다. 이에 비해, 상술한 전범위 탐색을 행하여 추적위치를 재추정하는 경우에는, 대상 프레임 화상의 전범위를 대상으로서 추적위치를 재추정하기 때문에, 대상물로부터 멀어진 장소의 색이 유사한 영역을 대상물로 오인식할 가능성이 있다. 이 때문에, 상기의 처리를 행함으로써, 전범위 탐색에 의해서 추적위치를 재추정하는 경우와 비교하여, 추적의 정밀도를 향상시킬 수 있다.

[5. 다른 실시형태]

본 발명을 적용 가능한 실시형태는, 상기의 실시형태에 한정되는 일 없이, 본 발명의 취지를 일탈하지 않는 범위에서 적절히 변경 가능하다는 것은 물론이다. 이하, 다른 실시형태에 대해서 설명한다.

[5-1. 전자기기]

본 발명에 관한 화상처리장치(1)는, 스마트폰이나 카메라, 디지털 카메라, 타블렛 단말, PDA, PC 등의 각종 전자기기에 구비시켜서 이용할 수 있다.

[5-2. 원 동화상]

상기의 실시형태에서 설명한 대상물 추적처리는, 미리 촬상된 보존된 원 동화상에 대해서 실행하는 것으로 해도 좋고, 리얼타임으로 촬상되는 원 동화상에 대해서 실행하는 것으로 해도 좋다. 예를 들면, 축구 경기를 고정 카메라로 촬상한 동화상에 대해서, 주목의 선수를 대상물로서 대상물 추적처리를 행하고, 이 주목의 선수에게 조준한 조준 동화상을 생성하여, 방송하는 것 등을 생각할 수 있다.

또한, 복수의 카메라로 촬상한 동화상을 합성함으로써 얻어지는 합성 동화상을 원 동화상으로서 대상물 추적처리를 실행하도록 해도 좋다.

또한, 어안 렌즈를 이용하여 촬상한 동화상을 원 동화상으로서 대상물 추적처리를 실행하도록 해도 좋다. 어안 렌즈를 이용하여 촬상한 동화상에서는, 단부에 가까울수록 왜곡이 커지지만, 본원 발명의 수법에서는 색 정보에 근거하여 대상물의 추적을 행하기 때문에, 왜곡의 영향은 거의 배제할 수 있다.

또한, 스마트폰(2)과는 다른 별도의 카메라로 촬상한 동화상을 스마트폰에 송신하도록 하고, 스마트폰(2)이, 수신한 동화상을 원 동화상으로서 상기의 대상물 추적처리를 실시하도록 하는 것도 가능하다. 이 경우, 별도의 카메라로 촬상된 원 동화상을 유저가 스마트폰으로 열람한 다음, 상술한 출력 틀의 이동조작 등을 행하여, 대상물에 조준한 조준 동화상을 스마트폰으로 확인하는 것이 가능해진다. 또한, 이 경우에 있어서, 로스트가 발생했을 경우에, 조준 동화상으로부터 원 동화상에 표시를 전환하는 등 해도 좋다.

또한, 별도의 카메라로 촬상한 동화상을 원 동화상으로서 상기 카메라가 상기의 대상물 추적처리를 행하고, 원 동화상이나 조준 동화상을 상기 카메라의 표시부에 표시시키도록 해도 좋다. 이 경우, 원 동화상을 유저가 카메라로 열람한 다음, 상술한 출력 틀의 이동조작 등을 행하여, 대상물에 조준한 조준 동화상을 카메라로 확인하는 것이 가능해진다. 또한, 출력 틀의 데이터를 원 동화상이나 조준 동화상의 데이터를 함께 인코드하여 보존하거나, 인코드한 데이터를 외부 장치에 송신하고, 외부 장치측에서 이들의 데이터를 디코드함으로써, 외부 장치에 있어서 원 동화상이나 조준 동화상을 유저가 확인하는 것을 가능하게 해도 좋다. 또한, 본 실시형태에 있어서 대상물의 추적을 행하는 동화상은, 정점촬상된 동화상으로 하는 것이 적합한 것으로 설명했지만, 동화상을 촬상하는 카메라를 고정하지 않고 이동 가능하게 하고, 예를 들면, 프레임 내의 출력 틀의 위치가 프레임단이 되지 않도록, 카메라를 이동시키도록 해도 좋다.

[5-3. 추적영역]

상기의 실시형태에서는, 대상물을 추적하기 위해서, 대상물에 2개의 추적영역을 설정하는 것으로 하여 설명했지만, 이는 어디까지나 일례에 지나지 않는다. 대상물에 단일의 추적영역을 설정하도록 해도 좋고, 대상물에 3 이상의 추적영역을 설정하도록 해도 좋다.

예를 들면, 대상물에 단일의 추적영역을 설정하는 경우에는, 설정한 단일의 추적영역을 기준으로 하는 추적위치를 추정하도록 하면 좋다. 이 경우, 추적위치 추정처리로 구해진 추정 추적위치의 적부판정은, 상기 추정 추적위치에 대해서 산출된 신뢰도가 고신뢰도 조건을 만족하는지 아닌지에 근거하여 판정하도록 하면 좋다.

상기의 설명에서는, 동일한 추적 대상물에 대해서 제1 및 제2 추적영역의 2개로 이루어지는 1조(組)의 추적영역을 설정했지만, 복수의 조를 설정해도 좋다. 즉, 상기와 같이, 최초에 제1 및 제2 추적영역의 2개로 이루어지는 1조의 추적영역을 설정한 후, 제3 및 제4 추적영역으로부터 이루어지는 다른 1조의 추적영역을 프레임 화상 상에서 유저가 설정한다. 계속하여, 마찬가지로, 다른 추적영역의 조합으로부터 이루어지는 다른 1조의 추적영역을 더 설정함으로써, 복수의 조의 추적영역을 설정할 수 있다. 또는, 최초에 제1 및 제2 추적영역의 2개로 이루어지는 1조의 추적영역을 설정한 후, 추적영역 설정부(11)가 최초의 1조의 추적영역의 근방의 색 정보를 기초로 하여, 최초의 1조와는 다른 추적영역의 조합으로 이루어지는 다른 1조의 추적영역을 자동적으로 설정하도록 하면 좋다. 이와 같이 함으로써, 최초의 1조의 추적영역을 이용한 추적이 로스트되었을 경우, 다시 추적영역 설정을 행하는 순서를 따르는 일 없이, 다른 1조의 추적영역을 이용한 대상물의 재추적이 가능해진다. 또한, 복수의 조의 추적영역을 추적하고, 소정 기간마다 각 추적영역의 추정 추적위치의 신뢰도를 판정함으로써 각 조의 사용 우선도를 판정하고, 사용 우선도가 높은 조를 자동적으로 선택하도록 설정해도 좋다.

[5-4. 색 공간]

상기의 실시형태에서는, 프레임 화상의 화소치가 HSV 색 공간으로 표현되고 있고, 이 HSV 색 공간으로 표현된 화소치에 근거하여 색 정보를 취득하는 것으로 하여 설명했지만, 이는 어디까지나 일례에 지나지 않는다. 예를 들면, 프레임 화상의 화소치를 YUV 색 공간으로 표현하는 것으로 하고, 이 YUV 공간에서 표현된 화소치에 근거하여 색 정보를 취득하도록 해도 좋고, 프레임 화상의 화소치를 RGB 색 공간으로 표현하는 것으로 하고, 이 RGB 공간에서 표현된 화소치에 근거하여 색 정보를 취득하도록 해도 좋다.

[5-5. 추적영역 정보의 표시]

상기의 실시예에서는, 조준 동화상이나 원 동화상에, 색을 부여한 추적영역 틀을 표시시킴으로써 유저가 추적영역을 인식할 수 있도록 했지만, 이는 어디까지나 일례에 지나지 않는다. 반드시 추적영역 틀을 표시시킬 필요는 없고, 설정한 추적영역 그 자체를 표시시키도록 해도 좋고, 추적영역에 대응하는 위치, 예컨대 추적영역의 중심 위치에 표시가 되는 아이콘 등을 표시시키도록 해도 좋다.

또한, 추적영역으로부터 취득한 추적에 사용하는 색(색 정보 취득부(12)에 의해서 취득된 색)을, 표시부(300)에 표시하여도 좋고, 예컨대 조준 동화상의 단부에 표시시키도록 해도 좋다. 이와 같이 함으로써, 유저는, 어느 색이 추적에 이용되는지를 한번 봐서 용이하게 인식할 수 있다. 또한, 의도하지 않는 색이 표시되었을 경우에는, 유저는 지정한 위치가 어긋나 있다고 판단하여, 위치를 다시 지정할 수 있다.

또한, 추정 추적위치의 신뢰도의 정도에 대응하여, 출력 틀의 틀 선의 색을 변화시키도록 해도 좋다. 예를 들면, 추적위치 적부판정부(15)가, 복수의 신뢰도의 임계치를 설정하고, 신뢰도의 정도를 판정할 수 있도록 한다. 그리고, 예를 들면, 추적위치 적부판정부(15)가, 상기 추정 위치의 신뢰도가, 어느 신뢰도의 임계치는 초과하고 있지만, 별로 신뢰도가 높지 않은 상태라고 판정했을 경우, 또는 그러한 신뢰도가 높지 않은 상태가 소정 기간 계속되고 있다고 판정했을 경우는, 유저에 대해서, 다른 색을 포함하는 추적영역을 재설정하도록 재촉하는 통지를 행하도록 한다. 또는, 추적위치 적부판정부(15)가, 상기 추적영역의 근방으로부터, 다른 색을 포함하는 추적영역을 재설정하도록 해도 좋다.

[5-6. 출력 틀의 표시]

또한, 상기의 실시예에서는, 조준 동화상이나 원 동화상에, 색을 부여한 출력 틀을 표시시킴으로써 유저가 출력 틀을 인식할 수 있도록 했지만, 이는 어디까지나 일례에 지나지 않는다. 반드시 출력 틀을 표시시킬 필요는 없고, 출력 틀의 중심 위치나, 그 시점에서 추적하고 있는 대상물을 표시시키도록 해도 좋다.

[5-7. 기록매체]

상기의 실시형태에서는, 화상처리에 관한 각종 프로그램이나 데이터가, 화상처리장치(1)의 기억부나, 스마트폰(2)의 기억부(800)에 기억되고 있고, 처리부가 이들의 프로그램을 읽어서 실행함으로써, 상기의 각 실시형태에 있어서의 화상처리가 실현되었다. 이 경우, 각 장치의 기억부는, ROM이나 플래시 ROM, 하드 디스크, RAM 등의 내부 기억 장치 외에, 메모리카드(SD 카드)나 컴팩트 플래시(등록상표) 카드, 메모리스틱, USB 메모리, CD-RW(광학 디스크), MO(광학 자기 디스크) 등의 기록매체(기록 미디어, 외부 기억장치)를 가지고 있어도 좋고, 이들의 기록매체에 상기의 각종 프로그램이나 데이터를 기억시키는 것으로 해도 좋다.

도 15는, 이 경우에 있어서의 기록매체의 일례를 나타내는 도이다.

스마트폰(2)에는, 메모리 카드(9)를 삽입하기 위한 카드 슬롯(910)이 마련되어 있고, 카드 슬롯(910)에 삽입된 메모리 카드(9)에 기억된 정보를 읽어내는, 또는 메모리 카드(9)에 정보를 쓰기 위한 카드 리더 라이터(R/W)(920)가 마련되어 있다. 카드 리더 라이터(920)는, 처리부(100)의 제어에 따라서, 기억부(800)에 기록된 프로그램이나 데이터를 메모리 카드(9)에 쓰는 동작을 행한다. 메모리 카드(9)에 기록된 프로그램이나 데이터는, 스마트폰(2) 이외의 외부 장치(예를 들면 PC)에서 읽어냄으로써, 상기 외부 장치에 있어서 상기의 실시형태에 있어서의 조준 동화상의 생성을 실현하는 것이 가능하게 구성되어 있다.

1: 화상처리장치
2: 스마트폰
9: 메모리 카드
10: 원 동화상 취득부
11: 추적영역 설정부
12: 색 정보 취득부
13: 형상정보 취득부
14: 추적위치 추정부
15: 추적위치 적부판정부
16: 추적위치 재추정부
17: 출력 틀 설정부
18: 조준 동화상 생성부
20: 원 동화상 메모리
100: 처리부
200: 조작부
250: 터치패널
300: 표시부
400: 음 출력부
500: 촬상부
600: 통신부
700: 시계부
800: 기억부
910: 카드 슬롯
920: 카드 리더 라이터

Claims (20)

1. 화상처리장치로서,
   원 동화상을 구성하는 프레임 화상 속의 대상물에 추적영역을 설정하는 추적영역 설정수단과,
   상기 추적영역 설정수단에 의해서 설정된 추적영역의 색 정보를 취득하는 색 정보 취득수단과,
   상기 색 정보 취득수단에 의해서 취득된 색 정보에 근거하여, 상기 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 추정하는 추적위치 추정수단과,
   상기 추적영역 설정수단에 의해서 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추정된 추적위치에 근거하여 상기 출력 틀을 갱신하는 출력 틀 설정수단과,
   상기 출력 틀을 기준으로 한 동화상을 생성하는 동화상 생성수단
   을 구비한 화상처리장치.
2. 청구항 1에 있어서,
   상기 추적영역 설정수단은, 상기 원 동화상을 구성하는 프레임 화상 속의 대상물에 복수의 추적영역을 설정하고,
   상기 색 정보 취득수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 색 정보를 취득하고,
   상기 추적위치 추정수단은, 상기 색 정보 취득수단에 의해서 취득된 상기 복수의 추적영역 각각의 색 정보에 근거하여, 상기 복수의 추적영역 각각을 기준으로 하는 추적위치를 프레임 화상마다 추정하는,
   화상처리장치.
3. 청구항 1에 있어서,
   상기 추적위치 추정수단에 의해 추정된 추적위치의 적부를 판정하는 추적위치 적부판정수단과,
   상기 추적위치 적부판정수단에 의해 상기 추정된 추적위치가 부적당으로 판정된 경우에, 상기 추적위치를 재추정하는 추적위치 재추정수단을 더 구비한,
   화상처리장치.
4. 청구항 3에 있어서,
   상기 추적영역 설정수단은, 상기 원 동화상을 구성하는 프레임 화상 속의 대상물에 복수의 추적영역을 설정하고,
   상기 색 정보 취득수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 색 정보를 취득하고,
   상기 추적위치 추정수단은, 상기 색 정보 취득수단에 의해서 취득된 상기 복수의 추적영역 각각의 색 정보에 근거하여, 상기 복수의 추적영역 각각을 기준으로 하는 추적위치를 프레임 화상마다 추정하고,
   상기 추적위치 적부판정수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 추적위치 추정수단에 의해 추정된 추적위치의 상대적인 위치관계에 근거하여 적부판정을 행하는,
   화상처리장치.
5. 청구항 3에 있어서,
   상기 출력 틀 설정수단은, 상기 추적위치 재추정수단에 의해서 상기 추적위치가 재추정되었을 경우에, 상기 출력 틀의 갱신을 중단하는,
   화상처리장치.
6. 청구항 5에 있어서,
   상기 추적위치 추정수단은, 상기 추적위치 재추정수단에 의해서 재추정된 추적위치에 근거하여 상기 추적위치를 프레임 화상마다 추정하고,
   상기 출력 틀 설정수단은, 상기 추적위치 추정수단에 의해 추정된 추적위치가 상기 출력 틀을 기준으로 한 미리 정해진 범위에 포함되게 되었을 경우에, 상기 출력 틀의 갱신을 재개하는,
   화상처리장치.
7. 청구항 6에 있어서,
   상기 추적위치 재추정수단은, 갱신이 재개되었을 때의 상기 출력 틀을 기준으로 하여 상기 출력 틀의 갱신이 중단되고 나서 재개될 때까지의 기간에 있어서의 추적위치를 거슬러 올라가서 재추정하는,
   화상처리장치.
8. 청구항 1에 있어서,
   상기 추적영역 설정수단은, 상기 원 동화상을 구성하는 프레임 화상 속의 복수의 대상물에 추적영역을 설정하고,
   상기 복수의 대상물에 추적의 우선도를 설정하는 우선도 설정수단을 더 구비하고,
   상기 출력 틀 설정수단은, 상기 우선도 설정수단에 의해서 설정된 우선도에 근거하여, 갱신하는 출력 틀을 결정하는,
   화상처리장치.
9. 청구항 1에 있어서,
   상기 추적영역 설정수단에 의해서 설정된 추적영역의 형상정보를 취득하는 형상정보 취득수단을 더 구비하고,
   상기 추적위치 추정수단은, 상기 형상정보 취득수단에 의해서 취득된 형상정보를 더 이용하여, 상기 추적위치를 프레임 화상마다 추정하는,
   화상처리장치.
10. 청구항 1에 있어서,
    상기 출력 틀 설정수단에 의해서 갱신되는 출력 틀 위치의 변위량에 근거하여, 상기 출력 틀의 위치를 수정하는 출력 틀 위치 수정수단을 더 구비하고,
    상기 동화상 생성수단은, 상기 출력 틀 위치 수정수단에 의해서 위치가 수정된 출력 틀을 기준으로 한 동화상을 생성하는,
    화상처리장치.
11. 청구항 1에 기재된 화상처리장치와,
    터치패널이 일체적으로 구성된 표시수단과,
    상기 표시수단을 표시 제어하는 표시 제어수단
    을 구비하고,
    상기 추적영역 설정수단은, 상기 터치패널에 대한 유저 조작에 근거하여, 상기 추적영역을 설정하고,
    상기 표시 제어수단은, 상기 동화상 생성수단에 의해서 생성된 동화상을 상기 표시수단에 표시시키는 동화상 표시 제어수단을 가지는,
    전자기기.
12. 청구항 11에 있어서,
    상기 표시 제어수단은, 상기 추적영역 설정수단에 의해서 설정된 추적영역을 특정 가능한 표시형태로 상기 동화상에 중첩 표시시키는 추적영역 표시 제어수단을 가지는,
    전자기기.
13. 청구항 1에 기재된 화상처리장치와,
    터치패널이 일체적으로 구성된 표시수단과,
    상기 표시수단을 표시 제어하는 표시 제어수단
    을 구비하고,
    상기 추적영역 설정수단은, 상기 터치패널에 대한 유저 조작에 근거하여, 상기 원 동화상을 구성하는 프레임 화상 속의 대상물에 복수의 추적영역을 설정하고,
    상기 색 정보 취득수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역 각각에 대해서 상기 색 정보를 취득하고,
    상기 추적위치 추정수단은, 상기 색 정보 취득수단에 의해서 취득된 상기 복수의 추적영역 각각의 색 정보에 근거하여, 상기 복수의 추적영역 각각을 기준으로 하는 추적위치를 프레임 화상마다 추정하고,
    상기 표시 제어수단은, 상기 동화상 생성수단에 의해서 생성된 동화상을 상기 표시수단에 표시시키는 동화상 표시 제어수단을 가지는,
    전자기기.
14. 청구항 13에 있어서,
    상기 표시 제어수단은, 상기 추적영역 설정수단에 의해서 설정된 복수의 추적영역을 각각 구별하여 특정 가능한 표시형태로 상기 동화상에 중첩 표시시키는 추적영역 표시 제어수단을 가지는,
    전자기기.
15. 청구항 11에 있어서,
    상기 표시 제어수단은, 상기 출력 틀 설정수단에 의해서 갱신되는 출력 틀을 특정 가능한 표시형태로 상기 동화상에 중첩 표시시키는 제1 출력 틀 표시 제어수단을 가지는,
    전자기기.
16. 청구항 15에 있어서,
    상기 동화상 표시 제어수단은, 상기 출력 틀을 포함하는 소정 영역을 확대한 동화상을 상기 표시수단에 표시시키고,
    상기 제1 출력 틀 표시 제어수단은, 상기 확대된 소정 영역에 적응하도록 크기를 조정한 출력 틀을 상기 동화상에 중첩 표시시키는,
    전자기기.
17. 청구항 15에 있어서,
    상기 표시 제어수단은,
    상기 원 동화상을 상기 표시수단에 표시시키는 원 동화상 표시 제어수단과,
    상기 출력 틀 설정수단에 의해서 갱신되는 출력 틀을 특정 가능한 표시형태로 상기 원 동화상에 중첩 표시시키는 제2 출력 틀 표시 제어수단을 가지는,
    전자기기.
18. 청구항 17에 있어서,
    상기 터치패널에의 유저 조작에 의해, 상기 원 동화상에 표시 중의 출력 틀을 이동시키는 이동조작이 이루어졌는지 아닌지를 판정하는 이동조작 판정수단과,
    상기 이동조작 판정수단에 의해서 출력 틀의 이동조작이 이루어졌다고 판정된 경우에, 출력 틀 내에 존재하는 물체를 검출하는 물체 검출수단을 더 구비하고,
    상기 색 정보 취득수단은, 상기 물체 검출수단에 의해서 검출된 물체의 색 정보를 취득하고,
    상기 추적위치 추정수단은, 상기 물체 검출수단에 의해서 검출된 물체가 존재하는 영역을 상기 추적영역으로 하여 상기 추적위치를 프레임 화상마다 추정하는,
    전자기기.
19. 화상처리방법으로서,
    원 동화상을 구성하는 프레임 화상 속의 대상물에 추적영역을 설정하는 것과,
    상기 설정된 추적영역의 색 정보를 취득하는 것과,
    상기 취득된 색 정보를 이용하여, 상기 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 추정하는 것과,
    상기 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추정된 추적위치에 근거하여 상기 출력 틀을 갱신하는 것과,
    상기 출력 틀을 기준으로 한 동화상을 생성하는 것
    을 포함하는 화상처리방법.
20. 컴퓨터에, 화상처리를 실행시키기 위한 프로그램을 기억하는 기억매체로서,
    원 동화상을 구성하는 프레임 화상 속의 대상물에 추적영역을 설정하는 추적영역 설정스텝과,
    상기 추적영역 설정스텝에서 설정된 추적영역의 색 정보를 취득하는 색 정보 취득스텝과,
    상기 색 정보 취득스텝에서 취득된 색 정보를 이용하여, 상기 추적영역을 기준으로 하는 추적위치를 프레임 화상마다 추정하는 추적위치 추정스텝과,
    상기 추적영역 설정스텝에서 설정된 추적영역을 포함하는 출력 틀을 설정하고, 추정된 추적위치에 근거하여 상기 출력 틀을 갱신하는 출력 틀 설정스텝과,
    상기 출력 틀을 기준으로 한 동화상을 생성하는 동화상 생성스텝
    을 실행시키기 위한 기억매체.
    

Images