KR20110112820A

KR20110112820A - 대조 가중 정보 추출 장치

Info

Publication number: KR20110112820A
Application number: KR1020117017336A
Authority: KR
Inventors: 료마 오아미; 고따 이와모또
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2009-01-23
Filing date: 2010-01-20
Publication date: 2011-10-13
Also published as: EP2383665A4; CN102292724B; KR101347933B1; WO2010084738A1; JPWO2010084738A1; EP2383665A1; JP5644505B2; US20110274317A1; EP2383665B1; CN102292724A; US8873799B2

Abstract

이 대조 가중 정보 추출 장치는, 대조 가중 정보 추출 수단을 갖는다. 상기의 대조 가중 정보 추출 수단은, 입력되는 영상, 또는, 영상으로부터 추출되는 복수 차원의 특징량의 적어도 어느 한쪽의 시간 방향의 변화를 상기 차원에 대응지어 해석한다. 그리고, 상기의 대조 가중 정보 추출 수단은, 상기의 시간 방향의 변화의 정도에 따라서, 대조용의 가중 정보를 대조 가중 정보로 하여, 상기 차원마다 산출한다.

Description

대조 가중 정보 추출 장치{COLLATION WEIGHTING INFORMATION EXTRACTING DEVICE}

본 발명은 수많은 동화상 중에서, 유사 혹은 동일한 동화상 구간을 검출하는 영상 검색용의 영상 식별자를 대조할 때에 이용하는 가중 정보의 추출 장치, 방법, 및 프로그램에 관한 것이다.

가중 정보를 이용한 동화상 특징량 추출ㆍ대조 장치의 일례가, 비특허 문헌 1에 기재되어 있다. 도 12는 비특허 문헌 1에 기재된 동화상 특징량 추출 장치를 도시하는 블록도이다.

블록 단위 특징량 추출 수단(1000)은, 입력되는 제1 영상으로부터 블록 단위로 특징량을 추출하고, 제1 특징량을 대조 수단(1030)에 출력한다. 블록 단위 특징량 추출 수단(1010)은, 입력되는 제2 영상으로부터 블록 단위로 특징량을 추출하고, 제2 특징량을 대조 수단(1030)에 출력한다. 가중치 부여 계수 산출 수단(1020)은, 입력되는 학습용 영상에 기초하여 각 블록의 가중치의 값을 산출하고, 가중치 부여 계수를 대조 수단(1030)에 출력한다. 대조 수단(1030)은, 가중치 부여 계수 산출 수단(1020)으로부터 출력되는 가중치 부여 계수를 이용하여, 블록 단위 특징량 추출 수단(1000)으로부터 출력되는 제1 특징량과, 블록 단위 특징량 추출 수단(1010)으로부터 출력되는 제2 특징량을 대조하고, 대조 결과를 출력한다.

다음으로, 도 12에 도시한 장치의 동작에 대하여 설명한다.

블록 단위 특징량 추출 수단(1000)에서는, 입력되는 제1 영상의 각 프레임을 블록 단위로 분할하고, 각 블록으로부터 영상을 식별하기 위한 특징량을 산출한다. 구체적으로는, 블록마다 엣지의 타입을 판정하고, 그 타입을 각 블록의 특징량으로서 산출한다. 그리고, 각 프레임에 대하여, 각 블록의 엣지 타입으로 이루어지는 특징량 벡터를 구성한다. 이 특징량 벡터를 각 프레임에 대하여 산출하고, 얻어진 특징량을 제1 특징량으로서 대조 수단(1030)에 출력한다.

블록 단위 특징량 추출 수단(1010)의 동작도 블록 단위 특징량 추출 수단(1000)과 마찬가지이며, 입력되는 제2 영상으로부터 제2 특징량을 산출하고, 얻어진 제2 특징량을 대조 수단(1030)에 출력한다.

한편, 가중치 부여 계수 산출 수단(1020)에서는, 사전에 학습용 영상을 이용하여, 프레임 내의 각 블록에서 텔롭이 삽입될 확률을 산출한다. 그리고, 산출된 확률에 기초하여, 각 블록의 가중치 부여 계수를 산출한다. 구체적으로는, 텔롭 중첩에 대한 완건성(robustness)을 높이기 위해서, 텔롭이 중첩될 확률이 낮을수록, 가중치가 높아지도록 하여 가중치 부여 계수를 산출한다. 얻어진 가중치 부여 계수는, 대조 수단(1030)에 출력된다.

대조 수단(1030)에서는, 가중치 부여 계수 산출 수단(1020)으로부터 출력되는 가중치 부여 계수를 이용하여, 블록 단위 특징량 추출 수단(1000)으로부터 출력되는 제1 특징량과 블록 단위 특징량 추출 수단(1010)으로부터 출력되는 제2 특징량을 대조한다. 구체적으로는, 프레임마다, 동일한 위치에 있는 블록의 특징량을 비교하여, 동일하면 1, 그렇지 않으면 0으로서 블록 단위의 스코어를 산출한다. 얻어진 블록 단위의 스코어를 가중치 부여 계수를 이용하여 가중하여 합계하고, 프레임의 대조 스코어(프레임 단위의 유사도)를 산출한다. 이것을 각 프레임에 대하여 행하여, 제1 영상과 제2 영상의 대조 결과를 산출한다.

이와 같이 함으로써, 텔롭 중첩의 영향이 큰 부분의 영향을 억제하여 동화상의 대조를 행하는 것이 가능해져, 텔롭 중첩이 있는 경우라도 높은 대조 정밀도를 달성할 수 있다.

또한, 블록 단위의 평균값이나 DCT 계수 등의 화상의 특징량과, 전후 프레임간에서 구한 움직임 벡터 정보를 이용하여, 동화상의 검색을 행하는 장치가 특허 문헌 1에 기재되어 있다. 특허 문헌 1에 기재된 동화상 검색 장치에서는, 우선, 입력된 화상으로부터 각 프레임의 휘도나 색차 정보, 색 정보 등의 물리적인 동화상 특징량 정보의 값, 그 평균값, 그 값의 합계값, 또는 그 값의 차분값 중 적어도 1개를 각 프레임에 대하여 추출한다. 다음으로, 추출한 값을 시간축 상에 배열하고, 그 배열의 전부, 그 배열한 순서로부터 일정 간격 또는 변칙 간격으로 뽑아낸 값을 동화상 식별 정보로서 추출한다. 혹은, 프레임의 DCT 계수와 움직임 보상 정보를 압축된 동화상 데이터로부터 추출하고, DCT 계수의 평균값, 그 값의 합계값, 또는 그 값의 차분값을 구하고, 움직임 보상 정보로부터는 움직임 벡터, 전후 프레임간의 평균 움직임 벡터, 합계 움직임 벡터, 차분 벡터, 또는 프레임 전체로서의 움직임 벡터 등 중 적어도 1개를 구한다. 그리고, 구한 값을 시간축 상에 배열하고, 그 배열의 전부, 그 배열한 순서로부터 일정 간격 또는 변칙 간격으로 뽑아낸 값을 동화상 식별 정보로서 추출한다.

특허 문헌 1 : 일본 특개 2000-194727호 공보

비특허 문헌 1 : Kota Iwamoto, Eiji Kasutani, Akio Yamada, 「Image Signature Robust to Caption Superimposition for Video Sequence Identification」, Proceedings of International Conference on Image Processing(ICIP 2006), 2006. 비특허 문헌 2 : Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato and Kyoji Hirata 「Video Material Archive System for Efficient Video Editing Based on Media Identification」, Proceedings of International Conference on Multimedia and Expo (ICME2004), pp.727-730, 2004.

전술한 기술의 문제점은, 시간적인 변화가 부족한 씬에서의 시간 방향의 식별 정밀도를 높이는 것이 곤란한 점이다. 그 이유는, 비특허 문헌 1의 경우에는, 대조 시의 가중치 부여를 텔롭이 중첩될 확률로 결정하고 있어, 시간적인 변화가 부족한 씬의 대조에 맞춘 제어로 되어 있지 않기 때문이다. 시간적인 변화가 부족한 씬의 경우에는, 화면 상의 대부분은 움직임이 없고, 국소적인 영역에만 움직임이나 휘도 변화 등의 화상의 변화가 생겨 있는 경우가 많다. 이와 같은 경우에는, 이 국소적인 영역을 중요시하여 대조함으로써, 부호화 왜곡 등이 가해진 경우라도 시간 방향의 식별 정밀도를 높이는 것이 가능하게 된다. 그러나, 상기 방식은, 이와 같은 관점에서 가중치 부여 계수가 결정되고 있지 않다. 따라서, 화면의 대부분을 차지하는 움직임이 없는 영역에서의 부호화 왜곡 등의 영향을 받기 쉬워, 시간 방향의 식별 정밀도가 저하된다. 특허 문헌 1의 경우도, 움직임 정보는 이용하고 있지만, 움직임 정보로부터 구하는 특징량과 휘도값이나 DCT 계수로부터 구하는 특징량을 독립적으로 이용하고 있어, 국소적인 영역을 중요시한 대조를 행하고 있지 않기 때문에, 마찬가지의 문제가 존재한다.

본 발명의 목적은, 시간적인 변화가 부족한 동화상으로부터 생성되는 영상 기술자에서는 식별 정밀도가 저하된다고 하는 과제를 해결하는 대조 가중 정보 추출 장치를 제공하는 것에 있다.

본 발명의 일 형태에 따른 대조 가중 정보 추출 장치는, 입력되는 영상, 또는, 영상으로부터 추출되는 복수 차원의 특징량의 적어도 어느 한쪽의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 대조 가중 정보로서 상기 차원마다 산출하는 대조 가중 정보 추출 수단을 갖는다.

본 발명은 전술한 바와 같이 구성되어 있기 때문에, 시간적인 변화가 부족한 씬이라도, 시간 방향의 식별 정밀도를 높일 수 있는 효과가 있다.

도 1은 본 발명에 따른 대조 가중 정보 추출 장치의 제1 실시 형태를 도시하는 블록도.
도 2는 시간 방향 변동 정보 추출 수단(150)의 구성예를 도시하는 블록도.
도 3은 도 2의 시간 방향 변동 정보 추출 수단(150)의 처리를 설명하기 위한 도면.
도 4는 시간 방향 변동 정보 추출 수단(150)의 다른 구성예를 도시하는 블록도.
도 5는 도 4의 시간 방향 변동 정보 추출 수단(150)의 처리를 설명하기 위한 도면.
도 6은 본 발명에 따른 제1 실시 형태의 대조 가중 정보 추출 장치를 내장한 영상 식별자 추출 장치의 실시 형태를 도시하는 블록도.
도 7은 도 6의 영상 식별자 추출 장치로부터 출력되는 영상 식별자를 대조하는 영상 식별자 대조 장치의 실시 형태를 도시하는 블록도.
도 8은 2개의 영상의 대조 처리를 설명하기 위한 도면.
도 9는 본 발명에 따른 대조 가중 정보 추출 장치의 제2 실시 형태를 도시하는 블록도.
도 10은 본 발명에 따른 제2 실시 형태의 대조 가중 정보 추출 장치를 내장한 영상 식별자 대조 장치의 실시 형태를 도시하는 블록도.
도 11은 특징량의 일례를 설명하는 도면.
도 12는 본 발명의 관련 기술을 설명하기 위한 블록도.

다음으로, 발명을 실시하기 위한 최량의 형태에 대하여 도면을 참조하여 상세하게 설명한다.

도 1을 참조하면, 본 발명의 제1 실시 형태의 대조 가중 정보 추출 장치가 도시되어 있고, 대조 가중 정보 추출 수단(110)으로 이루어진다. 대조 가중 정보 추출 수단(110)은, 또한 시간 방향 변동 정보 추출 수단(150)과 대조 가중 정보 산출 수단(160)으로 이루어진다.

시간 방향 변동 정보 추출 수단(150)은, 특징량 추출 파라미터에 기초하여, 입력되는 영상으로부터 시간 방향 변동 정보를 추출하고, 대조 가중 정보 산출 수단(160)에 출력한다. 대조 가중 정보 산출 수단(160)은, 시간 방향 변동 정보 추출 수단(150)으로부터 출력되는 시간 방향 변동 정보로부터 대조용의 대조 가중 정보를 산출하고, 출력한다.

또한, 대조 가중 정보 추출 장치는, 컴퓨터에 의해 실현 가능하고, 컴퓨터에 의해 실현하는 경우는, 예를 들면, 다음과 같이 한다. 컴퓨터를 대조 가중 정보 추출 장치로서 기능시키기 위한 프로그램을 기록한 디스크, 반도체 메모리, 그 밖의 기록 매체를 준비하고, 컴퓨터에 상기 프로그램을 판독시킨다. 컴퓨터는, 판독한 프로그램에 따라서 자신의 동작을 제어함으로써, 자신의 컴퓨터 상에, 시간 방향 변동 정보 추출 수단(150) 및 대조 가중 정보 산출 수단(160)을 실현한다.

다음으로, 도 1에 도시한 대조 가중 정보 추출 장치의 동작에 대하여 설명한다.

우선, 본 발명에서 대상으로 되는 시각 특징량은, 프레임 또는 필드 등의 영상의 화면의 구성 단위를 픽쳐라고 부르기로 하면, 픽쳐마다 산출되는 복수 차원으로 이루어지는 특징량 벡터이다. 즉, 픽쳐를 1매의 정지 화상으로 간주하고, 이 색이나 모양, 형태 등의 특징을 나타내는 물리량을 시각 특징량으로 한다. 또한, 시각 특징량은, 화면 전체를 변환함으로써 얻어지는 것이 아니라, 화면 내의 부분 영역으로부터 산출되는 특징량으로 한다. 즉, 특징량 벡터의 각 차원은, 특징량 추출 파라미터에 의해 화면 내의 특정한 영역과 대응지어져 있고, 그 영역으로부터 추출된 특징량의 값이 저장되는 것으로 한다. 예를 들면, 특징량 벡터의 각 차원을, 화면을 블록으로 분할하였을 때의 개개의 블록으로부터 추출되는 특징량으로 한다. 혹은, 미리 정해진 임의 형상의 영역으로부터 특징량의 각 차원의 값을 구하도록 해도 된다. 여기서, 특징량 추출 파라미터는, 구체적으로는, 예를 들면 특징량 벡터의 각 차원이 화면 내의 특정한 블록으로부터 추출되는 특징량인 경우에는, 그 특징량을 추출하는 특정 블록을 기술하는 정보(블록의 좌표값이나 블록의 인덱스 번호 등)로 된다. 혹은, 다양한 형상의 국소 영역이 특징량 벡터의 각 차원에 대응하는 경우에는, 그 국소 영역을 기술하는 정보(국소 영역의 위치, 사이즈, 형상을 나타내는 정보)가 특징량 추출 파라미터로 된다.

도 1에서, 영상은, 시간 방향 변동 정보 추출 수단(150)에 입력된다. 시간 방향 변동 정보 추출 수단(150)에서는, 특징량 추출 파라미터에 의해 특징량의 각 차원에 대응지어져 있는 영역에서의, 시간 방향의 화상의 변화량이 산출된다. 현재 대상으로 되어 있는 픽쳐와 그 전후의 픽쳐를 이용하여, 영역마다 변화량을 구한다. 시간 방향 변동 정보 추출 수단(150)에서의 변화량의 구체적인 산출 방법에 대해서는 후술한다. 구해진 화상의 변화량을 기술하는 정보는, 시간 방향 변동 정보로서 대조 가중 정보 산출 수단(160)에 출력된다.

대조 가중 정보 산출 수단(160)에서는, 시간 방향 변동 정보 추출 수단(150)으로부터 입력되는 시간 방향 변동 정보에 기초하여 대조 가중 정보를 산출한다. 즉, 각 차원에 대하여 구해진 시간 방향의 변화량에 따라서, 대조 시에 이용하는 특징량의 각 차원의 가중치 부여의 정도를 기술하는 정보를 결정하고, 출력한다. 시간 방향의 변화가 큰 영역일수록, 영상의 식별에 기여할 가능성이 높기 때문에, 변화가 클수록 중요하게 간주되는 가중치 부여를 행한다. 예를 들면, 시간 방향의 변화량에 대하여 단조 증가하는 함수에 의해 가중치 부여의 정도를 결정한다. 대조 가중 정보로서는, 가중치 부여의 정도를 결정하는 계수 그 자체이어도 되고, 가중치 부여의 정도를 가벼운 것부터 무거운 것으로 몇 가지로 클래스 분류해 놓고, 이 클래스를 지정하는 인덱스의 정보이어도 된다. 예를 들면, 뉴스에서 아나운서가 말하고 있는 장면에서는, 아나운서의 얼굴 부근 이외는 거의 움직임이 없는 경우가 있다. 이와 같은 경우에는, 아나운서의 얼굴에 대응하는 영역의 차원만이 시간 방향의 변화가 화면의 다른 영역에 비해 상대적으로 커지기 때문에, 얼굴의 영역(특히 입이나 눈에 대응하는 영역)에 대응하는 특징량의 차원의 가중치가 높아지는 대조 가중 정보가 산출된다.

또한, 대조 가중 정보는, 각 픽쳐에 대하여 산출하도록 되어 있어도 되고, 수픽쳐 통합하여 산출하고, 출력하도록 되어 있어도 된다. 예를 들면, 샷 내에서 움직임이 있는 부분이 특정한 영역에만 한정되어 있는 경우에는, 그 샷 전체에 대하여 대조 가중 정보를 산출하고, 출력하도록 되어 있어도 된다. 보다 구체적으로는, 샷 내의 임의의 1매의 픽쳐를 처리 대상으로 하여 구한 대조 가중 정보를, 샷 내의 다른 픽쳐에 대해서도 사용하도록 되어 있어도 된다. 이와 같이 함으로써, 대조 가중 정보를 구하기 위한 계산량을 삭감할 수 있다. 혹은, 샷 내의 모두 혹은 복수의 픽쳐에 대하여 대조 가중 정보를 산출하고, 그 대표값(평균, 메디안 등)에 의해, 샷 전체의 대조 가중 정보를 기술하도록 하고, 샷 내의 모든 픽쳐에 대하여 사용하도록 되어 있어도 된다. 이와 같이 함으로써, 대조 가중 정보의 정보량을 삭감할 수 있다.

단, 대조 가중 정보를 출력하는 단위는 샷에 한하지 않고, 수픽쳐 걸러 등, 고정의 시간 간격이어도 된다. 혹은, 동일한 대조 가중 정보가 적용 가능한 시간 구간을 시간 방향 변동 정보로부터 산출하고, 그 시간 구간에 포함되는 픽쳐에 대하여 대조 가중 정보를 통합하여 산출하고, 출력하도록 되어 있어도 된다. 이 경우, 통합되어지는 픽쳐수가 매회 변화하기 때문에, 그 픽쳐수도 함께 기술하도록 한다. 동일한 대조 가중 정보가 적용 가능한 시간 구간의 산출은, 시간 방향 변동 정보의 픽쳐간에서의 변화를 임계값 처리함으로써 산출할 수 있다. 즉, 시간 구간의 선두의 픽쳐에서의 시간 방향 변동 정보와 현재의 픽쳐의 시간 방향 변동 정보를 비교하고, 그 변화의 정도가 임계값을 상회하는 경우에, 그 전의 픽쳐까지의 구간을 하나의 통합으로 간주하고, 그 구간에 대한 대조 가중 정보를 산출하도록 한다. 상기 구간에 대한 대조 가중 정보는, 구간 내의 임의의 1매의 픽쳐의 대조 가중 정보 혹은 구간 내의 픽쳐의 대조 가중 정보의 대표값으로 할 수 있다. 이와 같이 함으로써, 처리 대상으로 하는 영상이 어떠한 것이라도, 시간 방향의 식별 정밀도를 높게 유지한 상태에서 대조 가중 정보의 정보량을 삭감할 수 있다.

또한, 특징량 벡터의 차원에서 동일한 영역에 대응지어져 있는 것이 복수 존재하는 경우에는, 그들을 통합하여 1개의 가중 정보로서 나타내어도 된다. 예를 들면, ISO/IEC 15938-3에서 규정되어 있는 Edge Histogram의 경우에는, 5개의 빈(bin)마다 동일한 영역에 대응지어져 있다. 이와 같은 경우에는, 5개의 빈마다 가중 정보를 통합하여 기술하도록 되어 있어도 된다.

다음으로, 시간 방향 변동 정보 추출 수단(150)의 구성예에 대하여 도 2를 참조하여 설명한다.

도 2를 참조하면, 시간 방향 변동 정보 추출 수단(150)의 구성예가 도시되어 있고, 픽쳐간 차분 산출 수단(400)과 시간 방향 변동 정보 산출 수단(410)으로 이루어진다.

픽쳐간 차분 산출 수단(400)은, 입력되는 영상으로부터 픽쳐간 차분 정보를 산출하고, 시간 방향 변동 정보 산출 수단(410)에 출력한다. 시간 방향 변동 정보 산출 수단(410)은, 픽쳐간 차분 산출 수단(400)으로부터 출력되는 픽쳐간 차분 정보와 특징량 추출 파라미터를 이용하여 시간 방향 변동 정보를 산출하고, 출력한다.

다음으로, 도 2에 도시한 시간 방향 변동 정보 추출 수단(150)의 동작에 대하여 설명한다.

우선, 영상은 픽쳐간 차분 산출 수단(400)에 입력된다. 픽쳐간 차분 산출 수단(400)에서는, 픽쳐간에서 화소값의 차분을 구한다. 차분의 산출은, 화소 단위로 행해도 되고, 어느 정도의 화소를 통합하여 생기는 영역(예를 들면 블록) 단위로 차분을 산출하도록 해도 된다. 예를 들면, 각 영역에 대한 대표값(화소값의 평균이나 메디안 등)을 구해 놓고, 픽쳐간에서 동일한 위치에 있는 영역의 대표값과 차분을 취한다고 하는 방법이어도 된다. 이와 같이 함으로써 영상에 중첩되어 있는 노이즈의 영향을 저감할 수 있다. 또한, 화소값의 차분은, 휘도값끼리의 차이어도 되고, 화소값으로서 R, G, B의 색 성분을 이용하여, 그들의 차분 중 적어도 1개를 구하고, 화소값의 차분으로 해도 된다. 물론, 색 공간은 RGB가 아니라, HSV 나 L*a*b* 등, 임의의 색 공간이어도 된다. 또한, 차분으로서는, 단순히 화소값을 빼는 것뿐만 아니라, 절대값 연산을 행하여, 차분의 절대값을 산출하도록 해도 된다. 산출된 픽쳐간의 차분 데이터는, 픽쳐간 차분 정보로서 시간 방향 변동 정보 산출 수단(410)에 출력된다.

시간 방향 변동 정보 산출 수단(410)에서는, 픽쳐간 차분 정보와 특징량 추출 파라미터로부터, 특징량의 각 차원에 대한 시간 방향 변동량을 산출한다. 이를 위해서, 우선, 처리 대상으로 되어 있는 픽쳐에서, 움직이고 있는 물체에 대응하는 영역에서 커지는 값을 산출한다. 이것은, 처리 대상으로 되어 있는 픽쳐와 1개 전의 픽쳐간, 또한, 처리 대상으로 되어 있는 픽쳐와 1개 후의 픽쳐간에서 산출된 차분값의 곱을 취함으로써 얻어진다.

이것을 도면에서 도시한 것이 도 3이다. 도 3에서, T 픽쳐는 처리 대상으로 되어 있는 픽쳐이고, T-1 픽쳐, T+1 픽쳐는, 각각 처리 대상 픽쳐의 1개 전, 1개 후의 픽쳐를 나타내고 있다. 그리고, 이들 픽쳐간에서는, 직사각형의 사선 오브젝트는 정지하고 있고, 둥근 흑색의 오브젝트만이 움직이고 있는 것으로 한다. 이 경우, 전술한 픽쳐간 차분 산출 수단(400)에서, 처리 대상인 T 픽쳐와 1개 전의 T-1 픽쳐간에서 차분이 산출되어 있다. 이 경우, 도면에 도시한 바와 같이, 둥근 오브젝트의 움직임에 의해 생긴 차분만이 산출된다. 단, 차분값 자체는, T 픽쳐에서의 둥근 오브젝트의 위치, 및 T-1 픽쳐에서의 동 오브젝트의 위치의 양방에서 큰 값으로 되는 경향이 있다. 마찬가지로, 1개 후의 T+1 픽쳐와 T 픽쳐의 차분을 산출함으로써, T 픽쳐에서의 둥근 오브젝트의 위치, 및 T+1 픽쳐에서의 둥근 오브젝트의 위치에서 차분이 커진다. 따라서, 양 차분 화상의 곱을 산출한다. 양방의 차분 화상에서 모두 차분값이 커지는 것은, T 픽쳐에서의 둥근 오브젝트의 위치만이기 때문에, 이에 의해 T 픽쳐에서의 움직임 오브젝트 영역의 차분만을 크게 할 수 있다. 여기서는, 처리 대상의 픽쳐의 1개 전, 1개 후의 픽쳐를 이용하여 산출하는 방법에 대하여 설명하였지만, 수픽쳐 전, 수픽쳐 후의 픽쳐를 이용해도 마찬가지로 산출 가능하다. 즉, T-m 픽쳐, T+n 픽쳐를 이용하여, 마찬가지로 하여 움직임 오브젝트 영역의 차분만을 크게 할 수 있다. 따라서, 이와 같이 하여 얻어진 결과를, 각 차원의 특징량 추출에서 이용하는 영역 내에서 묶음으로써 각 차원의 시간 방향 변동량을 산출한다.

묶는 방법으로서 단순히 영역 내에서 가산하는 경우에는, 시간 방향 변동량은 [수학식 1]에 의해 계산할 수 있다.

[수학식 1]에서, f_T(x)는, T 픽쳐의 위치 x에서의 화소값, R(i)는, i번째의 차원의 산출에 이용하는 영역(화소의 집합), D(i)는 i번째의 차원의 시간 방향 변동량을 나타낸다. 또한, 여기서는 단순히 영역 내에서의 가산을 이용하였지만, 영역 내에서의 평균을 취해도 되고, 제곱하여 가산해도 되고, 메디안이나 최대값 등, 다른 통계량을 이용하여 시간 방향 변동량을 구하도록 해도 된다. 또한, 영역 내의 모든 화소의 값을 이용하여 시간 방향 변동량을 구하지 않아도 된다. 예를 들면, 1화소 걸러 화소를 씨닝하여 시간 방향 변동량을 산출하도록 해도 된다.

이와 같이 하여 산출한 각 차원에 대한 시간 방향 변동량을 기술하는 정보를 시간 방향 변동 정보로서 출력한다. 이것은, 전술한 변동량 D(i) 그 자체이어도 되고, 이것을 몇 가지의 레벨로 양자화하고, 그 양자화 인덱스를 시간 방향 변동 정보로서 출력하도록 해도 된다. 또한, 시간 방향 변동 정보는, 모든 픽쳐에 대하여 산출할 필요는 없고, 수픽쳐 걸러 산출하도록 해도 된다. 이때, 복수 프레임에서 산출된 시간 방향 변동량을 평균하고, 구해진 평균값을 그 수픽쳐에 대응하는 시간 방향 변동 정보로 해도 된다.

도 2에 도시한 시간 방향 변동 정보 추출 수단(150)은, 기본적으로는 단순히 픽쳐간에서의 차분을 취하면 되기 때문에, 처리 부하가 작게 억제된다고 하는 특징이 있다.

다음으로, 시간 방향 변동 정보 추출 수단(150)의 다른 구성예에 대하여 도 4를 참조하여 설명한다.

도 4를 참조하면, 시간 방향 변동 정보 추출 수단(150)의 다른 구성예가 도시되어 있고, 움직임 정보 산출 수단(500)과, 시간 방향 변동 정보 산출 수단(510)으로 이루어진다.

움직임 정보 산출 수단(500)은, 영상을 입력으로 하고, 움직임 벡터를 산출하여 움직임 벡터 정보를 시간 방향 변동 정보 산출 수단(510)에 출력한다. 시간 방향 변동 정보 산출 수단(510)은, 움직임 정보 산출 수단(500)으로부터 출력되는 움직임 벡터 정보와 특징량 추출 파라미터를 이용하여 시간 방향 변동 정보를 산출하고, 출력한다.

다음으로, 도 4에 도시한 시간 방향 변동 정보 추출 수단(150)의 동작에 대하여 설명한다.

우선, 영상은 움직임 정보 산출 수단(500)에 입력된다. 움직임 정보 산출 수단(500)에서는, 현재의 대상 픽쳐와 그 전(또는 후)의 픽쳐간에서 움직임 추정을 행하여, 움직임 벡터를 산출한다. 움직임 벡터의 산출 방법으로서는, 종래의 구배법에 기초하는 방법이나, 블록 매칭법에 기초하는 방법 등, 임의의 움직임 벡터 추정법을 이용할 수 있다. 또한, 움직임은 화소 단위로 산출하도록 해도 되고, 화상을 복수의 소블록으로 분할하고, 그 블록 단위로 움직임을 구하도록 해도 된다. 이와 같이 하여 산출된 움직임 벡터의 장(場)을 기술하는 정보는, 움직임 벡터 정보로서 출력된다. 움직임 벡터 정보는, 픽쳐 내에서 구해진 개개의 움직임 벡터를 그대로 기술하는 정보이어도 되고, 0 이외의 움직임 벡터가 산출된 영역만의 움직임을, 영역을 특정하는 정보와 함께 기술하는 정보이어도 된다. 산출된 움직임 벡터 정보는 시간 방향 변동 정보 산출 수단(510)에 출력된다.

시간 방향 변동 정보 산출 수단(510)에서는, 산출된 움직임 벡터를 특징량의 각 차원의 특징량 산출에 이용하는 영역을 나타내는 특징량 추출 파라미터에 따라서 묶고, 시간 방향 변동량을 산출한다. 이것을 도시한 것이 도 5이다. 도 5에서는, T 픽쳐와 T-1 픽쳐의 모습을 도시하고 있다. 이에 대하여, 움직임 추정 처리를 행함으로써 도면에 도시한 바와 같이, 둥근 오브젝트의 움직임에 상당하는 부분에서 움직임 벡터가 산출된다. 따라서, 각 차원에 대응하는 영역을 특징량 추출 파라미터로부터 구하고, 영역 내에서의 움직임량을 산출한다. 예를 들면, 영역 내에서 움직임 벡터의 길이의 합계를 산출한다. 이것을 수식으로 나타낸 것이 [수학식 2]이다.

여기서, v(x)는, 위치 x에서의 움직임 벡터를 나타내고 있다. 그 이외의 기호에 대해서는, [수학식 1]과 마찬가지이다. 또한, 여기서는 단순히 영역 내에서의 가산을 이용하였지만, 영역 내에서의 평균을 취해도 되고, 제곱하여 가산해도 되고, 메디안이나 최대값 등, 다른 통계량을 이용하여 시간 방향 변동량을 구하도록 해도 된다. 또한, 영역 내의 모든 움직임 벡터를 이용하여 시간 방향 변동량을 구하지 않아도 된다. 예를 들면, 적당하게 씨닝하여 시간 방향 변동량을 산출하도록 해도 된다.

도 4에 도시한 시간 방향 변동 정보 추출 수단(150)은, 움직임을 산출하기 때문에, 일반적으로는 도 2의 경우보다도 처리량은 증가하지만, 실제의 움직임을 산출하기 때문에, 도 2의 경우에 비해, 시간 방향으로 움직임이 있는 영역을 정밀도 좋게 구하는 것이 가능하게 된다.

이상이 본 발명의 제1 실시 형태의 대조 가중 정보 추출 장치의 설명이다.

[본 발명의 제1 실시 형태의 효과]

본 실시 형태에 따르면, 시간적인 변화가 부족한 씬이라도, 시간 방향의 식별 정밀도를 높이는 것이 가능하게 된다. 그 이유는, 시간적인 변화가 부족한 씬의 경우에도, 움직임이나 휘도 변화 등의 화상의 변화가 생긴 영역에 대응하는 특징량의 가중치를 올림으로써, 부호화 왜곡 등에 의한 특징량 변화가 대조에 주는 영향을 받기 어렵게 할 수 있기 때문이다. 예를 들면, 스튜디오에서 아나운서가 뉴스를 읽는 씬의 연속하는 픽쳐가, 픽쳐 A, 픽쳐 B의 2매인 것으로 한다. 픽쳐 A와 픽쳐 B의 차이는, 아나운서의 입의 부분뿐이며, 그 외는 완전히 동일한 화상으로 한다. 픽쳐 A와 완전히 동일한 픽쳐 C가 제공되고, 그 픽쳐 C가 픽쳐 A, B 중의 어느 것의 픽쳐와 유사한지를 기계적으로 판정하는 것을 생각한다. 이 경우, 픽쳐 A∼C에 부호화 왜곡이 전혀 존재하지 않으면, 픽쳐 C와 픽쳐 A와의 거리가 0으로 된다. 한편, 픽쳐 C와 픽쳐 B와의 거리는, 움직임이 있는 입의 부분의 가중치가 커져 있으므로, 충분히 큰 거리로 된다.

여기서, 예를 들면 픽쳐 A의 배경 부분에 부호화 왜곡이 있었던 경우를 생각한다. 이 부호화 왜곡에 의해 픽쳐 C와 픽쳐 A와의 거리는 커지지만, 움직임이 없는 배경 부분의 가중치는 작으므로, 픽쳐 C와 픽쳐 A와의 거리는, 픽쳐 C와 픽쳐 B와의 거리보다도 커지는 일은 없다.

또한, 본 실시 형태에서는, 연속하는 복수매의 픽쳐 중의 1매의 픽쳐에 대하여 대조 가중 정보를 산출하고, 이 산출한 대조 가중 정보를 상기 복수매의 픽쳐의 대조 가중 정보로 하고 있으므로, 대조 가산 정보를 산출할 때의 계산량을 삭감할 수 있음과 함께, 대조 가중 정보의 정보량을 삭감할 수 있다.

또한, 본 실시 형태에서는, 연속하는 복수매의 픽쳐의 전부 혹은 일부에 대하여 픽쳐마다의 대조 가중 정보를 산출하고, 이 산출한 픽쳐마다의 대조 가중 정보의 대표값을 상기 복수매의 픽쳐의 대조 가중 정보로 하고 있으므로, 대조 가중 정보의 정보량을 삭감할 수 있다.

또한, 본 실시 형태에서는, 픽쳐의 시간 방향의 화상 변화의 정도에 기초하여, 동일한 대조 가중 정보가 적용 가능한 시간 구간을 판정한 후에, 그 시간 구간 내의 픽쳐에 대한 대조 가중 정보를 결정하도록 하고 있으므로, 처리 대상으로 하는 영상이 어떠한 것이라도, 시간 방향의 식별 정밀도를 높게 유지한 상태에서 대조 가중 정보의 정보량을 삭감할 수 있다.

또한, 본 실시 형태에서는, 픽쳐간의 화소값의 차분을, 픽쳐간에서 동일한 위치에 존재하는 영역끼리의 화소값의 대표값의 차분을 구함으로써 산출하고 있으므로, 영상에 중첩되어 있는 노이즈의 영향을 없앨 수 있다.

다음으로, 본 발명의 제1 실시 형태를 이용한 영상 식별자 추출 장치, 및, 그 추출 장치에 의해 생성된 영상 식별자끼리의 대조 장치에 대하여 설명한다.

도 6을 참조하면, 본 발명의 제1 실시 형태의 대조 가중 정보 추출 장치를 이용한 영상 식별자 추출 장치가 도시되어 있고, 특징량 추출 수단(100)과, 대조 가중 정보 추출 수단(110)과, 영상 식별자 생성 수단(120)으로 이루어진다. 또한, 도 6에 도시한 영상 식별자 추출 장치는, 프로그램 제어되는 컴퓨터에 의해 실현할 수 있다.

특징량 추출 수단(100)은, 입력되는 특징량 추출 파라미터를 이용하여, 입력되는 영상으로부터 시각 특징량을 추출하고, 시각 특징량을 영상 식별자 생성 수단(120)에 출력한다. 대조 가중 정보 추출 수단(110)은, 입력되는 특징량 추출 파라미터를 이용하여 입력되는 영상으로부터 대조 가중 정보를 산출하고, 대조 가중 정보를 영상 식별자 생성 수단(120)에 출력한다. 영상 식별자 생성 수단(120)은, 특징량 추출 수단(100)으로부터 출력되는 시각 특징량과 대조 가중 정보 추출 수단(110)으로부터 출력되는 대조 가중 정보를 통합하고, 영상 식별자를 생성하여 출력한다.

다음으로, 도 6에 도시한 영상 식별자 추출 장치의 동작에 대하여 상세하게 설명한다.

우선, 영상은 특징량 추출 수단(100)에 입력된다. 원래의 영상이 부호화되어 있는 경우에는, 복호기에 의해 복호되고 나서, 프레임 혹은 필드로 이루어지는 픽쳐 단위로 데이터가 입력되는 것으로 한다.

특징량 추출 수단(100)에서는, 픽쳐마다의 특징량 벡터를 산출한다. 픽쳐를 1매의 정지 화상으로 간주하고, 이 색이나 모양, 형태 등의 특징을 나타내는 시각 특징량의 벡터를 추출한다. 여기서, 시각 특징량은, 화면 전체를 변환함으로써 얻어지는 것이 아니라, 화면 내의 부분 영역으로부터 산출되는 특징량으로 한다. 즉, 특징량 벡터의 각 차원은, 특징량 추출 파라미터에 의해 화면 내의 특정한 영역과 대응지어져 있고, 그 영역으로부터 추출된 특징량의 값이 저장되는 것으로 한다. 예를 들면, 특징량 벡터의 각 차원을, 화면을 블록으로 분할하였을 때의 개개의 블록으로부터 추출되는 특징량으로 한다. 픽쳐마다 산출된 특징량 벡터는, 시각 특징량으로서 영상 식별자 생성 수단(120)에 출력된다.

또한, 영상은, 대조 가중 정보 추출 수단(110)에도 입력된다. 대조 가중 정보 추출 수단(110)의 동작은, 본원 발명의 제1 실시 형태의 부분에서 전술한 대로이며, 산출된 대조 가중 정보는, 영상 식별자 생성 수단(120)에 출력된다.

영상 식별자 생성 수단(120)에서는, 특징량 추출 수단(100)으로부터 출력되는 시각 특징량과 대조 가중 정보 추출 수단(110)으로부터 출력되는 대조 가중 정보를 통합하여 영상 식별자를 생성하고, 출력한다. 여기서는, 양자가 대조 시에 분리 가능한 형태로 다중화하여 영상 식별자를 생성한다. 다중화의 방법으로서는, 픽쳐마다 시각 특징량과 대조 가중 정보를 인터리브하여 다중화해도 되고, 대조 가중 정보만을 먼저 통합하여 다중화하고, 그 후에 시각 특징량을 다중화(혹은 그 반대)해도 된다. 혹은, 일정한 구간마다(예를 들면, 대조 가중 정보를 산출하는 시간 구간 단위마다) 대조 가중 정보와 시각 특징량을 다중화하도록 되어 있어도 된다.

다음으로, 도 6에 도시한 영상 식별자 추출 장치에 의해 생성된 영상 식별자의 대조 장치의 실시 형태에 대하여 설명한다.

도 7을 참조하면, 도 6에 도시한 영상 식별자 추출 장치에 의해 생성된 영상 식별자를 대조하는 영상 식별자 대조 장치의 실시 형태가 도시되어 있고, 영상 식별자 분리 수단(220)과, 영상 식별자 분리 수단(230)과, 가중 계수 산출 수단(210)과, 대조 수단(200)으로 이루어진다. 또한, 도 7에 도시한 영상 식별자 대조 장치는 프로그램 제어되는 컴퓨터에 의해 실현할 수 있다.

영상 식별자 분리 수단(220)은, 입력되는 제1 영상 식별자로부터 제1 시각 특징량과 제1 대조 가중 정보를 분리하고, 각각 대조 수단(200)과 가중 계수 산출 수단(210)에 출력한다. 영상 식별자 분리 수단(230)도 마찬가지로, 입력되는 제2 영상 식별자로부터 제2 시각 특징량과 제2 대조 가중 정보를 분리하고, 각각 대조 수단(200)과 가중 계수 산출 수단(210)에 출력한다. 가중 계수 산출 수단(210)은, 영상 식별자 분리 수단(220)으로부터 출력되는 제1 대조 가중 정보와, 영상 식별자 분리 수단(230)으로부터 출력되는 제2 대조 가중 정보로부터 가중치 부여 계수(가중 계수라고 기재하는 경우도 있음)를 구하고, 대조 수단(200)에 출력한다. 대조 수단(200)은, 가중 계수 산출 수단(210)으로부터 출력되는 가중치 부여 계수를 이용하여, 영상 식별자 분리 수단(220)으로부터 출력되는 제1 시각 특징량과 영상 식별자 분리 수단(230)으로부터 출력되는 제2 시각 특징량을 대조하고, 대조 결과를 출력한다.

다음으로, 도 7에 도시한 영상 식별자 대조 장치의 동작에 대하여 설명한다.

우선, 제1 영상 식별자는, 영상 식별자 분리 수단(220)에 입력된다. 영상 식별자 분리 수단(220)에서는, 제1 영상 식별자로부터 제1 시각 특징량과 제1 대조 가중 정보를 분리한다. 이때, 영상 식별자 생성 수단(120)에서 다중화할 때에 이용한 방법에 대응하는 분리 방법에 의해 분리한다. 분리에 의해 생긴 제1 시각 특징량은 대조 수단(200)에 출력되고, 제1 대조 가중 정보는 가중 계수 산출 수단(210)에 출력된다.

제2 영상 식별자는, 영상 식별자 분리 수단(230)에 입력된다. 영상 식별자 분리 수단(230)의 동작은 영상 식별자 분리 수단(220)과 마찬가지이며, 분리에 의해 생긴 제2 시각 특징량은 대조 수단(200)에 출력되고, 제2 대조 가중 정보는 가중 계수 산출 수단(210)에 출력된다.

가중 계수 산출 수단(210)에서는, 제1 대조 가중 정보와 제2 대조 가중 정보로부터, 특징량의 각 차원에 대한 가중 계수를 산출한다. 제1 대조 가중 정보와 제2 대조 가중 정보로부터 가중 계수를 산출하는 방법은 복수 생각되지만, 양방의 대조 가중 정보가 작은 가중치에 대응할 때에 작아진다고 하는 제약을 충족시키고 있고, 대조 가중 정보에 대응하는 가중치의 적어도 한쪽이 커졌을 때에 증가하도록 되어 있으면 된다. 예를 들면, 제1, 제2 대조 가중 정보로부터 구해진 가중치가 각각 w₁(i), w₂(i)일 때에, 가중 계수 w(i)는 [수학식 3]에 의해 산출할 수 있다.

보다 일반적으로는, [수학식 4]의 식을 이용할 수 있다.

여기서, p는 임의의 자연수이고, p가 무한대인 경우에 [수학식 3]에 귀착한다. 이 가중 계수를 특징량의 각 차원에 대하여 산출하고, 대조 수단(200)에 출력한다.

대조 수단(200)에서는, 제1 시각 특징량과 제2 시각 특징량을 대조한다. 이때, 양 특징량의 유사성을 나타내는 유사도에 의해 비교해도 되고, 양 특징량의 차이의 정도를 나타내는 거리에 의해 비교해도 된다. 거리에 의해 비교하는 경우에는, [수학식 5]에 의해 산출되는 거리 d에 기초하여 비교한다.

여기서, N은 특징량의 차원수이고, v₁(i), v₂(i)는 각각, 제1, 제2 특징량의i번째의 차원의 값을 나타내고 있고, w(i)는, i번째의 차원에 대응하는 가중 계수를 나타내고 있다. 이 비교를 픽쳐 단위로 행하여, 제1 영상과 제2 영상의 일정 구간의 대조를 행한다. 예를 들면, 픽쳐 단위의 비교에서 거리의 값이 임계값 이내로 되는 픽쳐쌍의 수를 구하고, 그 값이 구간에 포함되는 픽쳐수에 비해 충분히 클 때에 동일 구간이라고 판정하고, 그렇지 않으면, 동일 구간이 아니라고 판정한다. 이것을 제1 영상과 제2 영상의 임의의 구간의 조합에 대하여 행함으로써, 이들 영상간에 포함되는 임의의 길이의 동일 구간을 모두 판정할 수 있다. 또한, 픽쳐 단위로 거리를 임계값 처리하는 대신에, 거리를 구간 내에서 합계한 값이, 미리 정한 임계값보다 작은지의 여부에 의해 판정할 수도 있다. 물론, 합계값 대신에 평균값을 구해도 된다. 혹은, 가외치를 제외하고 구간 내에서 대조하도록 되어 있어도 된다. 예를 들면, 평균값 대신에 메디안이나 M 추정의 결과를 이용함으로써 이와 같은 대조를 실현할 수 있다.

임의의 길이의 구간끼리의 비교법으로서는, 비특허 문헌 2에 기재된 대조 방법을 이용할 수도 있다. 도 8에 도시한 바와 같이, 영상간에서의 대조에 길이 L 픽쳐의 대조창을 설치하고, 이들을 제1 영상, 제2 영상간에서 슬라이드시켜, 양자를 비교한다. 만약, 대조창 내의 구간끼리가 동일 구간으로 판정된 경우에는, 그곳으로부터 p 픽쳐만큼 대조창을 늘려, 대조 처리를 계속한다. 동일 구간으로 판정되는 한에 있어서는, p 픽쳐만큼 창을 늘리는 처리를 반복하여, 최대 길이의 동일 구간을 구한다. 이와 같이 함으로써, 최대 길이의 동일 구간을 효율적으로 구할 수 있다.

또한, 상기의 설명에서는 거리를 척도로서 이용하는 경우에 대하여 설명하였지만, 유사도를 이용해도 마찬가지로 대조 가능하다. 구체적으로는, [수학식 6]에 의해 산출되는 유사도 S에 기초하여 비교한다.

여기서, Sim(x, y)는 x와 y의 가까움을 나타내는 함수이고, x와 y의 값이 가까울수록 큰 값으로 된다. 예를 들면, x와 y의 사이의 거리를 d(x, y)로 하면, [수학식 7]과 같은 함수를 이용할 수 있다.

혹은, Sim(x, y)는 크로네커 델타와 같이, x와 y가 일치하였을 때만 1, 그 이외는 0으로 되는 함수이어도 된다. 혹은, 유사도로서 특징 벡터간의 각도(코사인값)를 이용하는 경우에는, [수학식 8]에 의해 산출되는 유사도 S에 기초하여 비교한다.

이와 같이 하여 구한 유사도를 이용하여, 거리의 경우와 마찬가지로 하여 대조를 행하는 것이 가능하다.

이에 의해, 제1 영상 식별자와 제2 영상 식별자의 대조 결과가 산출된다.

이상이, 본 발명의 제1 실시 형태를 이용한 영상 식별자 추출 장치, 및, 그 추출 장치에 의해 생성된 영상 식별자끼리의 대조 장치의 설명이다.

다음으로, 본 발명의 대조 가중 정보 추출 장치의 제2 실시 형태에 대하여 설명한다.

도 9를 참조하면, 본 발명의 제2 실시 형태의 대조 가중 정보 추출 장치가 도시되어 있고, 특징량 추출 수단(100)과 대조 가중 정보 추출 수단(320)으로 이루어진다. 대조 가중 정보 추출 수단(320)은, 또한 시간 방향 변동 정보 추출 수단(350)과 대조 가중 정보 산출 수단(360)으로 이루어진다. 또한, 도 9에 도시한 대조 가중 정보 추출 장치는, 프로그램 제어되는 컴퓨터에 의해 실현할 수 있다.

특징량 추출 수단(100)은, 입력되는 특징량 추출 파라미터를 이용하여, 입력되는 영상으로부터 시각 특징량을 추출하고, 시간 방향 변동 정보 추출 수단(350)에 출력한다. 시간 방향 변동 정보 추출 수단(350)은, 특징량 추출 수단(100)으로부터 출력되는 시각 특징량에 기초하여 시간 방향 변동 정보를 구하고, 대조 가중 정보 산출 수단(360)에 출력한다. 대조 가중 정보 산출 수단(360)은, 시간 방향 변동 정보 추출 수단(350)으로부터 출력되는 시간 방향 변동 정보로부터 대조 가중 정보를 구하고, 출력한다.

다음으로, 도 9에 도시한 대조 가중 정보 추출 장치의 동작에 대하여 설명한다.

특징량 추출 수단(100)의 동작은, 도 6의 영상 식별자 추출 장치의 특징량 추출 수단(100)과 마찬가지이며, 구해진 시각 특징량은 시간 방향 변동 정보 추출 수단(350)에 출력된다.

시간 방향 변동 정보 추출 수단(350)에서는, 시계열로 입력되는 시각 특징량의 각 차원의 값이 시간 방향으로 어떻게 변화하는지를 해석하고, 얻어진 결과를 시간 방향 변동 정보로서 대조 가중 정보 산출 수단(360)에 출력한다. 예를 들면, 일정한 시간 구간 내에서 특징량의 각 차원에 대하여 분산값을 산출한다. 분산이 클수록, 시간 방향의 변동이 큰 것을 나타내고 있기 때문에, 분산에 기초하여 시간 방향 변동 정보를 산출한다. 예를 들면, 분산값 혹은, 분산값으로부터 파생되어 산출되는 특징량(표준 편차 등)의 값을 그대로 시간 방향 변동량으로서 구해도 된다.

대조 가중 정보 산출 수단(360)의 동작은 기본적으로는, 도 1의 대조 가중 정보 산출 수단(160)과 마찬가지이다. 단, 입력되는 시간 방향 변동 정보의 값이, 원래의 영상으로부터 산출된 것인지, 혹은, 영상으로부터 산출된 특징량에 기초하여 산출된 것인지가 상이하다. 그리고, 시간 방향 변동 정보에 기초하여, 값이 변화하는 차원의 기여를 높게 하고, 변화하지 않는 차원에 대해서는 기여가 낮아지도록 가중치를 산출한다.

[본 발명의 제2 실시 형태의 효과]

본 실시 형태에 따르면, 시간적인 변화가 부족한 씬에서 부호화 왜곡 등에 의해 영상에 왜곡이 발생한 경우라도, 시간 방향의 식별 정밀도를 높여, 유사 혹은 동일한 영상 구간을 정밀도 좋게 검출하는 것이 가능하게 된다. 그 이유는, 특징량의 각 차원에 대한 대조 가중 정보를, 특징량의 각 차원의 값의 시간 방향의 변화의 정도에 따른 것으로 하고 있어, 부호화 왜곡 등에 의한 특징량 변화가 대조에 미치는 영향을 저감시킬 수 있기 때문이다.

다음으로, 본 발명의 제2 실시 형태의 대조 가중 정보 추출 수단(320)을 이용한 영상 식별자 대조 장치의 실시 형태에 대하여 설명한다.

도 10을 참조하면, 본 발명의 제2 실시 형태의 대조 가중 정보 추출 수단(320)을 이용한 영상 식별자 대조 장치의 실시 형태가 도시되어 있고, 대조 가중 정보 추출 수단(320, 330)과, 가중 계수 산출 수단(210)과, 대조 수단(200)으로 이루어진다. 또한, 도 10에 도시한 영상 식별자 대조 장치는, 프로그램 제어되는 컴퓨터에 의해 실현할 수 있다.

대조 가중 정보 추출 수단(320, 330)은, 각각 제1 시각 특징량, 제2 시각 특징량을 입력으로 하고, 제1 대조 가중 정보, 제2 대조 가중 정보를 각각 가중 계수 산출 수단(210)에 출력한다. 가중 계수 산출 수단(210)은, 대조 가중 정보 추출 수단(320, 330)으로부터 출력되는 제1, 제2 대조 가중 정보에 기초하여, 특징량의 각 차원에 대응하는 가중 계수를 산출하고, 대조 수단(200)에 출력한다. 대조 수단(200)은, 제1 시각 특징량과 제2 시각 특징량을 가중 계수 산출 수단(210)으로부터 출력되는 가중 계수를 이용하여 대조하고, 대조 결과를 출력한다.

다음으로, 도 10에 도시한 영상 식별자 대조 장치의 동작에 대하여 설명한다.

제1 시각 특징량과 제2 시각 특징량은, 대조 가중 정보 추출 수단(320, 330)에 각각 입력된다. 대조 가중 정보 추출 수단(320, 330)의 동작은, 도 9의 대조 가중 정보 추출 수단(320)과 마찬가지이며, 각각, 제1, 제2 대조 가중 정보를 산출한다. 산출된 제1, 제2 대조 가중 정보는, 가중 계수 산출 수단(210)에 출력된다.

가중 계수 산출 수단(210)의 동작은, 도 7의 대조 장치의 가중 계수 산출 수단(210)과 마찬가지이며, 산출된 가중 계수는 대조 수단(200)에 출력된다.

대조 수단(200)의 동작은 도 7의 대조 수단(200)과 마찬가지이며, 대조 결과를 출력한다.

이상이 도 10에 도시한 영상 식별자 대조 장치의 실시 형태의 설명이다. 본 실시 형태에 의해, 추출 시에 대조를 위한 대조 가중 정보를 산출하고 있지 않아도, 대조측에서 가중 계수를 산출하고, 대조에 이용할 수 있다.

다음으로, 본 발명의 제3 실시 형태를 설명한다.

도 11은 픽쳐로부터 특징량을 추출하는 방식의 일례를 도시하고 있다. 이 방식에서는, 픽쳐 내의 임의의 2영역을 페어로서 미리 정해 놓고, 페어로 된 2영역간에서의 특징량의 차를 특징량 벡터로 한다. 여기서, 각 영역 페어를 P1, P2, P3, …으로 나타내고, n번째의 페어 Pn으로부터 정해지는 특징량을 Vn으로 나타내기로 한다. 영역 페어의 취득 방법은, 도면에 도시한 바와 같이, 다양한 형태ㆍ위치의 영역의 조합이 있을 수 있다. 그리고, Pn으로부터 Vn을 구하는 방법도 다양한 방법이 생각된다. 예를 들면, 각 페어에서 사선의 영역과 격자선을 그은 각 영역 내에서 휘도의 평균값을 산출하고, 그 대소 관계로 Vn의 값을 결정하는 방법이 있다. 구체적으로는, 사선의 영역 내에서 구한 평균 휘도값으로부터 격자선의 영역 내에서 구한 평균 휘도값을 빼어 차를 구하고, 차가 플러스일 때에 Vn=1로 하고, 마이너스일 때에 Vn=-1로 한다. 혹은, 차의 절대값이 임계값보다 작은 경우에는 0으로 하고, Vn을 3치로 나타내도록 해도 된다.

이 특징량을 이용하는 경우, n차원째의 특징량의 특징량 추출 파라미터는, 영역 페어 Pn을 기술하는 정보이다. 구체적으로는, 영역 페어의 형상, 위치, 크기를 정하는 정보를 특징량 추출 파라미터로 한다.

시간 방향 변동 정보 추출 수단(150)에서는, 이 특징량 추출 파라미터에 의해 정해지는 영역 페어 Pn에서의 시간 방향 변동 정보를 산출한다. 예를 들면, 영역 페어 P1의 경우에는, 도 11에 도시된 영역 페어 P1에 포함되는 2개의 직사각형 영역 내에서의 시간 방향 변동량을 추출한다. 즉, 도 3에 따라서 산출한 시간 방향 변동량이나 도 5에 따라서 산출한 움직임량 중, 영역 페어 P1에 대응하는 영역 내에서의 값을 산출한다. 그리고, 1차원째의 특징량의 시간 방향 변동 정보로 한다.

이와 같이 하여 각 차원에 대하여 시간 방향 변동 정보를 산출한 결과에 기초하여, 대조 가중 정보 산출 수단(160)에서 대조 가중 정보를 차원마다 산출한다. 이 산출에는 전술한 방법을 이용할 수 있다. 예를 들면, 시간 방향 변동 정보가 나타내는 i차원째의 시간 방향 변동량 D(i)에 따라서, [수학식 9]에 따라서 가중 w(i)를 결정한다. 여기서, g(x)는 단조 증가하는 함수이다.

이상, 상기 각 실시 형태를 참조하여 본 발명을 설명하였지만, 본 발명은, 전술한 실시 형태에 한정되는 것은 아니다. 본 발명의 구성이나 상세에는, 본 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.

또한, 본 발명은, 일본에서 2009년 1월 23일에 특허 출원된 특원 2009-12814의 특허 출원에 기초하는 우선권 주장의 이익을 향수하는 것이며, 그 특허 출원에 기재된 내용은, 모두 본 명세서에 포함되는 것으로 한다.

본 발명에 따르면, 유사 혹은 동일한 영상을 많은 영상 중으로부터 고정밀도로 검색하는 등의 용도에 적용할 수 있다. 특히, 영상의 동일 구간 검색에 대해서는, 네트워크 상에 유통되는 위법으로 카피된 동화상을 식별하는 용도나, 실제의 방송파에서 흘려지고 있는 CM을 동정(同定)하는 등의 용도에 이용할 수 있다.

100 : 특징량 추출 수단
110 : 대조 가중 정보 추출 수단
120 : 영상 식별자 생성 수단
150 : 시간 방향 변동 정보 추출 수단
160 : 대조 가중 정보 산출 수단
200 : 대조 수단
210 : 가중 계수 산출 수단
220, 230 : 영상 식별자 분리 수단
320, 330 : 대조 가중 정보 추출 수단
350 : 시간 방향 변동 정보 추출 수단
360 : 대조 가중 정보 산출 수단
400 : 픽쳐간 차분 산출 수단
410, 510 : 시간 방향 변동 정보 산출 수단
500 : 움직임 정보 산출 수단

Claims

입력되는 영상, 또는, 영상으로부터 추출되는 복수 차원의 특징량의 적어도 어느 한쪽의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 대조 가중 정보로서 상기 차원마다 산출하는 대조 가중 정보 추출 수단
을 갖는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제1항에 있어서,
상기 대조 가중 정보 추출 수단은, 상기 입력되는 영상의 프레임 또는 필드인 픽쳐에 대하여, 상기 복수 차원의 특징량의 각 차원에 대응지어진 영역 내에서 시간 방향의 화상 변화를 해석하고, 화상 변화에 따라서 상기 대조 가중 정보를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제1항에 있어서,
상기 대조 가중 정보 추출 수단은, 상기 복수 차원의 특징량으로부터 각 차원의 값의 시간 방향 변화를 해석하고, 값의 변화에 따라서 상기 대조 가중 정보를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제2항에 있어서,
상기 시간 방향의 화상 변화의 해석은, 대조 가중 정보를 산출하는 픽쳐와 그 전후의 픽쳐와의 사이에서 픽쳐간 화소값 차분을 산출하고, 그 산출한 픽쳐간 화소값 차분에 기초하여, 특징량의 각 차원에 대응하는 화상 변화를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제2항에 있어서,
상기 시간 방향의 화상 변화의 해석은, 대조 가중 정보를 산출하는 픽쳐와 그 전 또는 후의 픽쳐와의 사이에서 움직임 추정 처리를 행하고, 추정된 움직임의 크기의 정도에 기초하여, 특징량의 각 차원에 대응하는 화상 변화를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제2항에 있어서,
상기 대조 가중 정보 추출 수단은, 연속하는 복수매의 픽쳐 중의 1매의 픽쳐에 대하여 대조 가중 정보를 산출하고, 그 산출한 대조 가중 정보를 상기 복수매의 픽쳐의 대조 가중 정보로 하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제2항에 있어서,
상기 대조 가중 정보 추출 수단은,
연속하는 복수매의 픽쳐의 전부 혹은 일부에 대하여 픽쳐마다의 대조 가중 정보를 산출하고, 그 산출한 픽쳐마다의 대조 가중 정보의 대표값을 상기 복수매의 픽쳐의 대조 가중 정보로 하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제2항에 있어서,
상기 대조 가중 정보 추출 수단은, 픽쳐의 시간 방향의 화상 변화의 정도에 기초하여, 동일한 대조 가중 정보가 적용 가능한 시간 구간을 판정하고, 그 시간 구간 내의 픽쳐 중의 임의의 1매의 픽쳐의 대조 가중 정보 혹은 상기 시간 구간 내의 픽쳐의 대조 가중 정보의 대표값을, 상기 시간 구간 내의 픽쳐의 대조 가중 정보로 하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제4항에 있어서,
상기 픽쳐간 화소값 차분은, 픽쳐간에서 동일한 위치에 존재하는 영역끼리의 화소값의 대표값의 차분인 것을 특징으로 하는 대조 가중 정보 추출 장치.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 대조 가중 정보 추출 수단은, 시간 방향의 변화의 정도가 큰 차원일수록, 가중치가 커지는 대조 가중 정보를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 장치.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 특징량의 각 차원은, 그 차원에 대하여 미리 정해져 있는, 픽쳐 내의 형상이 상이한 2영역의 특징량의 차분에 따른 값인 것을 특징으로 하는 대조 가중 정보 추출 장치.
입력되는 영상으로부터 복수 차원의 특징량을 추출하는 특징량 추출 수단과,
상기 입력되는 영상의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조 가중 정보를 상기 차원마다 산출하는 대조 가중 정보 추출 수단과,
상기 특징량 추출 수단에 의해 추출된 특징량과, 상기 대조 가중 정보 추출 수단에 의해 추출된 대조 가중 정보를 통합한 영상 식별자를 생성하는 영상 식별자 생성 수단
을 갖는 것을 특징으로 하는 영상 식별자 추출 장치.
제12항에 있어서,
상기 대조 가중 정보 추출 수단은,
상기 입력되는 영상의 프레임 또는 필드인 픽쳐에 대하여, 상기 복수 차원의 특징량의 각 차원에 대응지어진 영역 내에서 시간 방향의 화상 변화를 해석하고, 화상 변화의 정도에 따라서 상기 대조 가중 정보를 산출하는 것을 특징으로 하는 영상 식별자 추출 장치.
입력되는 제1 영상 식별자에 포함되는 복수 차원의 제1 특징량의 차원마다의 대조 가중 정보로서 그 차원의 시간 방향의 변화의 정도에 따른 제1 대조 가중 정보와, 입력되는 제2 영상 식별자에 포함되는 복수 차원의 제2 특징량의 차원마다의 대조 가중 정보로서 그 차원의 시간 방향의 변화의 정도에 따른 제2 대조 가중 정보를 취득하는 대조 가중 정보 취득 수단과,
상기 제1 대조 가중 정보와, 상기 제2 대조 가중 정보로부터, 특징량의 각 차원에 대응하는 가중치 부여 계수를 산출하는 가중 계수 산출 수단과,
상기 제1 특징량과 상기 제2 특징량을, 상기 가중치 부여 계수를 이용하여 가중치 부여하여 대조함으로써 대조 결과를 산출하는 대조 수단
을 갖는 것을 특징으로 하는 영상 식별자 대조 장치.
제14항에 있어서,
상기 제1 영상 식별자는, 상기 제1 특징량 외에 상기 제1 대조 가중 정보를 더 포함하고, 상기 제2 영상 식별자는, 상기 제2 특징량 외에 상기 제2 대조 가중 정보를 더 포함하고,
상기 대조 가중 정보 취득 수단은, 상기 제1 영상 식별자로부터 상기 제1 특징량과 상기 제1 대조 가중 정보를 분리하는 제1 영상 식별자 분리 수단과, 상기 제2 영상 식별자로부터 상기 제2 특징량과 상기 제2 대조 가중 정보를 분리하는 제2 영상 식별자 분리 수단을 갖는 것을 특징으로 하는 영상 식별자 대조 장치.
제14항에 있어서,
상기 대조 가중 정보 취득 수단은, 상기 제1 특징량의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 상기 차원마다 상기 제1 대조 가중 정보로서 산출하는 제1 대조 가중 정보 추출 수단과, 상기 제2 특징량의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 상기 차원마다 상기 제2 대조 가중 정보로서 산출하는 제2 대조 가중 정보 추출 수단을 갖는 것을 특징으로 하는 영상 식별자 대조 장치.
입력되는 영상, 또는, 영상으로부터 추출되는 복수 차원의 특징량의 적어도 어느 한쪽의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 대조 가중 정보로서 상기 차원마다 산출하는
것을 특징으로 하는 대조 가중 정보 추출 방법.
제17항에 있어서,
상기 입력되는 영상의 프레임 또는 필드인 픽쳐에 대하여, 상기 복수 차원의 특징량의 각 차원에 대응지어진 영역 내에서 시간 방향의 화상 변화를 해석하고, 화상 변화에 따라서 상기 대조 가중 정보를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제17항에 있어서,
상기 복수 차원의 특징량으로부터 각 차원의 값의 시간 방향 변화를 해석하고, 값의 변화에 따라서 상기 대조 가중 정보를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제18항에 있어서,
상기 시간 방향의 화상 변화의 해석은, 대조 가중 정보를 산출하는 픽쳐와 그 전후의 픽쳐와의 사이에서 픽쳐간 화소값 차분을 산출하고, 그 산출한 픽쳐간 화소값 차분에 기초하여, 특징량의 각 차원에 대응하는 화상 변화를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제18항에 있어서,
상기 시간 방향의 화상 변화의 해석은, 대조 가중 정보를 산출하는 픽쳐와 그 전 또는 후의 픽쳐와의 사이에서 움직임 추정 처리를 행하고, 추정된 움직임의 크기의 정도에 기초하여, 특징량의 각 차원에 대응하는 화상 변화를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제18항에 있어서,
연속하는 복수매의 픽쳐 중의 1매의 픽쳐에 대하여 대조 가중 정보를 산출하고, 그 산출한 대조 가중 정보를 상기 복수매의 픽쳐의 대조 가중 정보로 하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제18항에 있어서,
연속하는 복수매의 픽쳐의 전부 혹은 일부에 대하여 픽쳐마다의 대조 가중 정보를 산출하고, 그 산출한 픽쳐마다의 대조 가중 정보의 대표값을 상기 복수매의 픽쳐의 대조 가중 정보로 하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제18항에 있어서,
픽쳐의 시간 방향의 화상 변화의 정도에 기초하여, 동일한 대조 가중 정보가 적용 가능한 시간 구간을 판정하고, 그 시간 구간 내의 픽쳐 중의 임의의 1매의 픽쳐의 대조 가중 정보 혹은 상기 시간 구간 내의 픽쳐의 대조 가중 정보의 대표값을, 상기 시간 구간 내의 픽쳐의 대조 가중 정보로 하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제20항에 있어서,
상기 픽쳐간 화소값 차분은, 픽쳐간에서 동일한 위치에 존재하는 영역끼리의 화소값의 대표값의 차분인 것을 특징으로 하는 대조 가중 정보 추출 방법.
제17항 내지 제25항 중 어느 한 항에 있어서,
시간 방향의 변화의 정도가 큰 차원일수록, 가중치가 커지는 대조 가중 정보를 산출하는 것을 특징으로 하는 대조 가중 정보 추출 방법.
제17항 내지 제26항 중 어느 한 항에 있어서,
상기 특징량의 각 차원은, 그 차원에 대하여 미리 정해져 있는, 픽쳐 내의 형상이 상이한 2영역의 특징량의 차분에 따른 값인 것을 특징으로 하는 대조 가중 정보 추출 방법.
입력되는 영상으로부터 복수 차원의 특징량을 추출하고,
상기 입력되는 영상의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조 가중 정보를 상기 차원마다 산출하고, 상기 추출된 특징량과, 상기 추출된 대조 가중 정보를 통합한 영상 식별자를 생성하는
것을 특징으로 하는 영상 식별자 추출 방법.
제28항에 있어서,
상기 대조 가중 정보의 산출에서는,
상기 입력되는 영상의 프레임 또는 필드인 픽쳐에 대하여, 상기 복수 차원의 특징량의 각 차원에 대응지어진 영역 내에서 시간 방향의 화상 변화를 해석하고, 화상 변화의 정도에 따라서 상기 대조 가중 정보를 산출하는 것을 특징으로 하는 영상 식별자 추출 방법.
입력되는 제1 영상 식별자에 포함되는 복수 차원의 제1 특징량의 차원마다의 대조 가중 정보로서 그 차원의 시간 방향의 변화의 정도에 따른 제1 대조 가중 정보와, 입력되는 제2 영상 식별자에 포함되는 복수 차원의 제2 특징량의 차원마다의 대조 가중 정보로서 그 차원의 시간 방향의 변화의 정도에 따른 제2 대조 가중 정보를 취득하고,
상기 제1 대조 가중 정보와, 상기 제2 대조 가중 정보로부터, 특징량의 각 차원에 대응하는 가중치 부여 계수를 산출하고,
상기 제1 특징량과 상기 제2 특징량을, 상기 가중치 부여 계수를 이용하여 가중치 부여하여 대조함으로써 대조 결과를 산출하는
것을 특징으로 하는 영상 식별자 대조 방법.
제30항에 있어서,
상기 제1 영상 식별자는, 상기 제1 특징량 외에 상기 제1 대조 가중 정보를 더 포함하고, 상기 제2 영상 식별자는, 상기 제2 특징량 외에 상기 제2 대조 가중 정보를 더 포함하고,
상기 제1 및 제2 대조 가중 정보의 취득에서는,
상기 제1 영상 식별자로부터 상기 제1 특징량과 상기 제1 대조 가중 정보를 분리하고,
상기 제2 영상 식별자로부터 상기 제2 특징량과 상기 제2 대조 가중 정보를 분리하는 것을 특징으로 하는 영상 식별자 대조 방법.
제30항에 있어서,
상기 제1 및 제2 대조 가중 정보의 취득에서는,
상기 제1 특징량의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 상기 차원마다 상기 제1 대조 가중 정보로서 산출하고,
상기 제2 특징량의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 상기 차원마다 상기 제2 대조 가중 정보로서 산출하는 것을 특징으로 하는 영상 식별자 대조 방법.
컴퓨터를,
입력되는 영상, 또는, 영상으로부터 추출되는 복수 차원의 특징량의 적어도 어느 한쪽의 시간 방향의 변화를 상기 차원에 대응지어 해석하고, 시간 방향의 변화의 정도에 따라서 대조용의 가중 정보를 대조 가중 정보로서 상기 차원마다 산출하는 대조 가중 정보 추출 수단
으로서 기능시키는 것을 특징으로 하는 프로그램.