KR20110099047A

KR20110099047A - 영상 디스크립터 생성 장치

Info

Publication number: KR20110099047A
Application number: KR20117017321A
Authority: KR
Inventors: 료마 오아미; 고타 이와모토
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2009-01-23
Filing date: 2010-01-20
Publication date: 2011-09-05
Also published as: KR101281850B1; EP2296095B1; US8509303B2; JPWO2010084736A1; CN102292727A; WO2010084736A1; EP2296095A4; US20110051810A1; CN102292727B; JP4687834B2; EP2296095A1

Abstract

영상 디스크립터 생성 장치는 프레임 또는 필드인 각각의 픽처를 위한 영상으로부터 특징을 추출하고 각각의 픽처 특징을 출력하는 각각의 픽처 특징 추출 유닛, 픽처의 특징 간의 차이인 픽처간 특징 차이를 각각의 픽처 특징으로부터 차이 특징으로서 계산하고, 차이 특징의 정보의 양을 나타내는 차이 특징 정보량을 계산하는 픽처간 특징 차이 계산 유닛, 영상으로부터 추가적 특징으로서 추가될 특징을 계산하는 추가 특징 추출 유닛, 및 차이 특징 정보량의 양이 특정 기준보다 작은 경우, 차이 특징뿐만 아니라 추가적 특징을 병합함으로써 영상 디스크립터를 구성하는 특징 결합 유닛을 포함한다.

Description

영상 디스크립터 생성 장치{VIDEO DESCRIPTOR GENERATOR}

본 발명은 다수의 동화상 중에서 비슷하거나 같은, 동화상 구간을 검출할 수 있는, 영상 검색용의 영상 디스크립터 (descriptor) 생성 장치, 영상 디스크립터 생성 방법, 영상 디스크립터 생성 프로그램에 관한 것이다.

영상 디스크립터 생성 장치의 예는 특허 문헌 1에 개시되었다. 도 6은 블럭도이며 특허 문헌 1 에 나타낸 영상 디스크립터 생성 장치를 나타낸다.

각각의 프레임 (each-frame) 특징 추출 유닛 (1000) 은 영상 입력 값으로부터 프레임 단위 특징을 계산하고, 그것을 특징 테이블 작성 유닛 (1010) 으로 출력한다.

다음으로, 도 6에 도시한 디바이스의 작동이 설명된다.

각각의 프레임 특징 추출 유닛 (1000) 은 입력 영상으로부터 컬러와 같은 특징을 추출하는 프로세스를 수행하고, 얻어진 특징을 프레임 단위 특징으로서 특징테이블 작성 유닛 (1010) 으로 출력한다.

특징 테이블 작성 유닛 (1010) 은 한계값을 이용하여 프레임간 특징의 변이를 프로세스하고, 시간 방향으로 특징을 압축한다. 구체적으로, 특징 테이블 작성 유닛 (1010) 은 프레임의 프레임 단위 특징 간의 차이를 계산하고, 그 차이가 허용 차이 범위 내에 있는지 아닌지를 결정한다. 그리고 나서, 특징 테이블 작성 유닛 (1010) 은 허용 차이 범위 내의 영상을 시간 세그먼트 (segment) 로 나누고, 각각의 나누어진 시간 세그먼트에 대해, 특징과 시간 세그먼트 길이 (프레임의 수) 의 세트가 영상 디스크립터로서 출력된다.

프레임 단위로 얻어진 영상의 특징은 시간 방향으로 압축될 수 있고, 여기서, 특징의 사이즈는 축소시킬 수도 있다. 또한, 빠른 속도의 매칭 (matching) 이 실현될 수 있다.

선행 기술 문헌

특허 문헌

특허 문헌 1: 일본 공개 특허 공보 제 10-320400 호

그러나, 상기 시스템은 적은 시간적 변화 (모션) 를 갖는 장면에서 성능이 떨어진다는 문제점과 관련되어 있다. 그 이유는 프레임의 특징 간의 차이가 허용범위 내라면, 각각의 프레임간 특징의 차이는 무시되고 세그먼트의 대표 값이 이용되기 때문이다. 이렇게 적은 시간적 변화의 장면에서는, 특징들이 같은 특징으로 통합되고, 따라서 이러한 장면에서 동화상의 검색을 수행할 때 성능이 떨어진다.

본 발명의 목적은 적은 시간적 변화 (모션) 의 동화상으로부터 생성되는 영상 디스크립터의 낮은 식별력의 문제를 해결할 수 있는 영상 디스크립터 생성 장치를 제공하는 것이다.

본 발명의 양태에 따르면, 영상 디스크립터 생성 장치는 프레임 또는 필드인 각각의 픽처의 영상으로부터 특징을 추출하고 각각의 픽처 특징을 출력하는 각각의 픽처 (each-feature) 특징 추출 유닛, 차이 특징으로서 각각의 픽처 특징으로부터 픽처의 특징간 차이인 픽처간 특징 차이를 계산하고, 차이 특징 (difference feature) 의 정보의 양을 나타내는 차이 특징 정보량을 계산하는 픽처간 특징 차이 계산 유닛, 영상으로부터 추가적인 특징이 추가된 경우 특징을 계산하는 추가 특징 추출 유닛, 상기 차이 특징의 정보량의 양이 특정 기준보다 작을 경우, 차이 특징뿐만 아니라 추가적 특징을 병합함으로써 영상 디스크립터를 구성하는 특징 결합 유닛을 포함한다.

상기 나타낸 바와 같이 본 발명은, 적은 시간적 변화 (모션) 를 가진 동화상으로부터 생성된 영상 디스크립터의 식별력을 향상시키는 효과를 얻을 수 있다는 이점이 있다.

도 1은 본 발명의 첫번째 실시예를 도시한 블럭도이다.
도 2는 본 발명의 두번째 실시예를 도시한 블럭도이다.
도 3은 픽처간 특징 차이 계산 유닛의 실시예를 도시하는 블럭도이다.
도 4는 픽처간 특징 차이 계산 유닛의 또 다른 실시예를 도시하는 블럭도이다.
도 5는 각각의 픽처 특징 계산 방법의 예를 도시한 도면이다.
도 6은 본 발명과 관련된 영상 디스크립터 발생 장치의 구성을 도시한 블럭도이다.

다음으로, 도면을 참조하여 본 발명의 실시예를 설명한다.

도 1을 참조하면, 본 발명의 첫번째 실시예에 따른 영상 디스크립터 생성 장치는 각각의 픽처 특징 추출 유닛 (100), 픽처간 특징 차이 계산 유닛 (110), 특징 추가 결정 유닛 (120), 추가 특징 추출 유닛 (130) 및 특징 결합 유닛 (140) 을 포함한다.

각각의 픽처 특징 추출 유닛 (100) 은 입력 영상으로부터 각각의 픽처의 특징을 계산하고, 각각의 픽처 특징을 픽처간 특징 차이 계산 유닛 (110) 으로 출력한다. 픽처간 특징 차이 계산 유닛 (110) 은 각각의 픽처 특징 추출 유닛 (100) 의 출력인 각각의 픽처 특징으로부터 차이 특징을 생성하고, 차이 특징을 특징 결합 유닛 (140) 으로 출력하고, 또한 차이 특징의 정보량을 나타내는 정보 (차이 특징 정보량 정보로 지칭) 를 특징 추가 결정 유닛 (120) 으로 출력한다. 특징 추가 결정 유닛 (120) 은 픽처간 특징 차이 계산 유닛 (110) 의 출력인 차이 특징 정보량에 따라 특징 추가의 필요성을 결정한다. 그리고, 특징의 추가가 필요하다면, 특징 추가 결정 정보를 특징 결합 유닛 (140) 으로 출력한다. 추가 특징 추출 유닛 (130) 은 영상으로부터 추가될 특징인 추가적 특징을 계산하고, 이것을 특징 결합 유닛 (140) 으로 출력한다. 특징 결합 유닛 (140) 은 특징 추가 결정 유닛 (120) 으로부터 출력될 특징 추가 결정 정보에 기초하여 픽처간 특징 차이 계산 유닛 (140) 의 출력인 차이 특징과 추가 특징 추출 유닛 (130) 의 출력인 추가적 특징을 병합하고, 영상 디스크립터를 출력한다.

다음은 도 1에 도시한 첫번째 실시예의 작동을 상세히 나타낼 것이다.

우선, 영상이 각각의 픽처 특징 추출 유닛 (100) 으로 입력된다. 만약 원본 영상이 코딩되어 있다면, 그 영상은 우선 디코더로 디코딩되고, 그 후 데이터가 프레임 또는 필드로 구성된 픽처 단위로 입력된다.

각각의 픽처 특징 추출 유닛 (100) 은 픽처 각각의 특징 벡터를 계산한다. 각각의 픽처 특징 추출 유닛 (100) 은 픽처를 하나의 정지된 이미지로 간주하고, 이 픽처의 색, 패턴, 모양과 같은 시각적인 특징의 벡터를 추출한다. 계산된 특징 벡터는 각각의 픽처 특징으로서 픽처간 특징 차이 계산 유닛 (110) 으로 출력된다.

이 특징은 그것이 픽처 단위에 있는 색, 패턴, 모양과 같은 특징을 가리킨다면 어느 시각적 특징도 될 수 있다. 예를 들면, Part 3, MPEG-7에 도시된 것과 같은 색 레이아웃 (layout) 과 엣지 히스토그램 (edge histogram) 은 이러한 목적으로 이용될 수 있다.

픽처간 특징 차이 계산 유닛 (110) 은 각각의 입력 픽처의 특징을 가리키는 특징간의 차이를 계산한다. 이것은 픽처간 특징 차이 계산 유닛 (110) 이 일시적으로 서로 인접한 픽처의 특징 벡터 사이의 차이를 계산하고, 그럼으로써 차이 특징 벡터를 얻는다는 것을 의미한다. 그리고 나서, 픽처간 특징 차이 계산 유닛 (110) 은 차이 특징 정보량으로서 차이 특징 벡터를 나타내는데 필요한 정보량을 계산한다. 픽처간 특징 차이 계산 유닛 (110) 의 동작은 아래에 상세하게 설명 할 것이다.

계산된 차이 특징은 특징 결합 유닛 (140) 으로 출력된다. 반면, 차이 특징 정보량을 나타내는 차이 특징 정보량 정보는 특징 추가 결정 유닛 (120) 으로 출력된다.

특징 추가 결정 유닛 (120) 은 픽처간 특징 차이 계산 유닛 (110) 의 출력인 차이 특징 정보량 정보를 바탕으로 특징을 추가하는 것이 필요한지 아닌지 결정하고, 특징 추가 결정 정보를 산출한다. 구체적으로, 만약 차이 특징 정보량 정보로 나타내는 차이 특징 정보가, 픽처간 차이가 작아서 장면의 역동성이 작다고 결정되는 것 같이 특정 한계값 내에 있다면, 특징 추가 결정 유닛 (120) 은 특징 추가 결정 정보로서 특징 추가 신호를 가리키는 정보를 출력한다. 그러나, 만약 결정이 연속된 픽처 쌍 간의 차이 특징 정보량으로만 결정된다면, 심지어 우연히 이전 픽처와 작은 차이를 갖는 하나의 픽처만 있는 경우에도 특징 추가 결정이 나올 수 있다. 이러한 상황을 피하기 위해, 차이 특징 정보량이 적은 상태일 때는 연속된 픽처의 수가 특정 수 (세 픽처 또는 그 이상) 일 때만, 특징 추가 결정 정보로서 특징 추가 신호를 가리키는 정보가 출력될 수 있게 하는 것이 가능하다. 이 경우에, 특징 추가 신호는 차이 특징 정보량이 적은 첫번째 픽처로 부터 실행될 수도 있고 또는 결정된 픽처로부터 실행될 수도 있다. 특징 추가 결정 정보는 결정 결과를 가리키며 특징 결합 유닛 (140) 으로 출력된다.

한편, 추가 특징 추출 유닛 (130) 은 입력 영상으로부터 추가적인 특징을 추출한다. 추가적인 특징은 각각의 픽처 특징 추출 유닛 (100) 에 의해 추출된 특징과 같은 유형으로 좀더 자세하게 추출된 특징이거나 완전히 다른 특징 일 수 있다. 전자의 예는 각각의 픽처 특징 추출 유닛 (100) 이 큰 블럭 단위에 있는 엣지 (edge) 특징을 추출하고, 추가 특징 추출 유닛 (130) 이 작은 블럭 단위에 있는 엣지 특징을 추출하는 것이다. 후자의 예는 각각의 픽처 특징 추출 유닛 (100) 이 색 특징을 추출하고, 추가 특징 추출 유닛 (130) 이 엣지 특징을 추출하는 것이다. 다른 방법으로는, 추가 특징 추출 유닛 (130) 에서 추출된 특징이 각각의 픽처를 계산한 특징이 아닐 수도 있다. 예를 들면, 픽처간의 모션 추정을 행하고 픽처 간의 모션량을 특징으로 사용할 수도 있고 또는 다수의 연속된 픽처를 위하여 픽처간 모션량을 계산하고 여기에 통계적 처리를 적용함으로써 특징을 계산할 수도 있다. 이러한 방법으로 계산된 추가적인 특징은 특징 결합 유닛 (140) 으로 출력된다.

특징 결합 유닛 (140) 은 특징 추가 결정 유닛 (120) 의 출력인 특징 추가 결정 정보에 기초하여 픽처간 특징 차이 추출 유닛 (110) 의 출력인 차이 특징과 추가 특징 추출 유닛 (130) 의 출력인 추가적 특징을 결합하고, 그럼으로써 영상 디스크립터를 생성한다. 특징 결합 유닛 (140) 은 특징을 추가하는 특징 추가 결정 정보 신호일 때만 추가적 특징을 영상 디스크립터로 추가하고, 반면 다른 경우에는, 오직 차이 특징만 영상 디스크립터에 추가하도록 되어 있다. 추가적 특징 또는 차이 특징을 추가할 때, 특징 결합 유닛 (140) 은 영상 디스크립터를 생성하기 위해 각각의 특징을 인코딩한다. 특징 차이를 코딩하기 위해, 다양한 코딩 시스템이 사용될 수 있고, 이것은 이하에서 픽처간 특징 차이 계산 유닛 (110) 의 설명에서 설명될 것이다. 추가적 특징이라도, 만약 특징의 값들의 생성이 바이어스 (biased) 되어 있다면, 디스크립터의 크기를 허프만 코딩 (Huffman coding), 산술 코딩 (arithmetic coding) 과 같은 엔트로피 코팅 (entropy coding) 을 이용하여 감소시킬 수 있다.

다음으로, 픽처간 특징 차이 계산 유닛 (100) 의 실시예가 도 3에서 도시될 것이다.

도 3을 참조하면, 픽처간 특징 차이 계산 유닛 (110) 의 실시예는 메모리 요소 (300), 감산기 (310) 그리고 차이 특징 정보량 계산 유닛 (320) 을 포함한다.

메모리 요소 (300) 는 각각의 픽처 특징을 저장하고 하나의 픽처를 위해 그것에 입력하고, 저장된 각각의 픽처 특징을 픽처 특징의 기준으로서 출력한다. 감산기 (310) 는 메모리 요소 (300) 의 출력인 픽처 특징 기준을 각각의 픽처 특징 입력에서 빼고, 차이 특징을 출력한다. 차이 특징 정보량 계산 유닛 (320) 은감산기 (310) 의 출력인 차이 특징을 받고, 차이 특징 정보량 정보를 출력한다.

다음으로, 도 3에 도시한 픽처간 특징 차이 계산 유닛 (110) 의 작동을 설명할 것이다.

메모리 요소 (300) 는 이전 픽처의 각각의 픽처 특징을 저장하고, 차이를 계산하기 위해 각각의 픽처 특징을 픽처 특징의 기준으로서 감산기 (310) 로 출력한다. 감산기 (310) 는 픽처 특징 기준을 각각의 픽처 특징 입력에서 빼어 차이 특징을 얻는다. 구체적으로, 차이 특징은 아래 식 1 에 계산되어 있다.

[식 1]

D(t)=V(t)-V(t-T)

여기서 V(t)는 시간에 따른 특징 벡터, T는 픽처간 시간 간격 그리고 D(t)는 차이 벡터를 말한다.

차이 벡터 D(t)를 계산한 후, 메모리 요소 (300) 에 있는 특징은 현재시간에서의 각각의 픽처 특징으로 겹쳐 씌여진다. 이러한 특징은 시간 t+T 에서의 차이 특징을 계산할 때 픽처 특징 기준으로서 이용된다.

계산된 차이 특징 D(t)는 또한 차이 특징 정보량 계산 유닛 (320) 으로 입력된다. 차이 특징 정보량 계산 유닛 (320) 은 차이 특징의 정보량을 차이 특징 벡터 D(t)의 값으로부터 산출하고, 그것 (즉, 차이 특징 정보량 정보) 을 나타내기 위해 정보를 계산하고, 정보를 출력한다. 차이 특징 정보량 정보는 차이 특징 벡터 D(t) 가 실제로 차이 코딩에 적용되는 것을 가정한 경우에 추정되는 생성된 코드량이 될 수도 있다는 것을 주의해야한다. 다른 방법으로는, 차이 특징 정보량 정보가 그 자체로 생성된 코드량이 아니라 차이 특징 백터 D(t) 와 그것의 차이량에서 생성된 차이인 특징 벡터 요소의 수, 또는 실제 차이 코딩을 적용하여 계산된 코드량 관측값과 같은 코드량의 크기와도 크게 상관된 양이 될 수 있다. 이러한 경우에, 어느 방법이라도 차이 코딩을 위해 사용될 수 있다. 예를 들어, 미리 학습 데이터 정보를 이용하여 특징 벡터의 각각의 차원에 대해 차이값의 발생의 확률을 계산하고, 이 확률을 이용하여 허프만 코딩 (Huffman coding) 또는 산술 코딩 (arithmetic coding) 으로 차이 코딩 (difference coding) 을 실행하는 것이 가능하다. 또한 요소의 인덱스 (index) 와 함께, 특징 벡터에서 차이가 생성되는 요소 (차원) 만의 차이값을 인코딩하는 것이 가능하다.

다음으로, 픽처간 특징 차이 계산 유닛 (110) 의 또 다른 실시예를 도 4를 기준으로 설명할 것이다.

도 4를 참조하면, 픽처간 특징 차이 계산 유닛 (110) 의 실시예는 메모리 요소 (300), 감산기 (310), 각각의 픽처 특징 정보량 계산 유닛 (400), 비교기 (410), 차이 특징 정보량 계산 유닛 (420) 그리고 스위치 (430) 를 포함한다.

메모리 요소 (300) 와 감산기 (310) 간의 연결 관계는 도 3에 도시한 픽처간 특징 차이 계산 유닛 (110) 의 연결 관계와 같다. 각각의 픽처 특징 정보량 계산 유닛 (400) 은 각각의 픽처 특징을 수신하고, 각각의 특징 정보량을 비교기 (410) 로 출력한다. 차이 특징 정보량 계산 유닛 (420) 은 감산기 (310) 의 출력인 차이 특징을 수신하고, 차이 특징 정보량을 비교기 (410) 로 출력하고, 또한 차이 특징 정보량 정보를 출력한다. 비교기 (410) 는 각각의 픽처 특징 정보량 계산 유닛 (400) 의 출력인 각각의 특징 정보량과 차이 특징 정보량 계산 유닛 (420) 의 출력인 차이 특징 정보량을 비교하고, 특징 선택 신호를 스위치 (430) 로 출력한다. 스위치 (430) 는 감산기 (310) 의 출력인 차이 특징과 각각의 픽처 특징을 수신하고, 비교기 (410) 의 출력인 특징 선택 신호에 기초하여 그것들 중 어느 하나를 선택하고, 차이 특징으로서 선택된 것을 출력한다.

다음으로, 도 4에 도시된 픽처간 특징 차이 계산 유닛 (100) 의 작동을 설명할 것이다.

메모리 요소 (300), 감산기 (310), 차이 특징 정보량 계산 유닛 (320) 은 도 3에 도시된 것과 같다.

각각의 픽처 특징 정보량 계산 유닛 (400) 은 특징 V(t) 값으로부터 각각의 픽처 특징의 정보량을 산출한다. 각각의 픽처 특징은 특징 V(t)로부터 추정된 생성된 코드량일 수도 있고, 실제 코딩의 수행으로 계산된 코드량의 관측 값일 수도 있다. 다른 방법으로, 만약 생성된 코드량이 거의 일정하다면, 특징 V(t) 의 값에 의존하기보다는 고정된 값을 코드량으로 사용할 수도 있다. 얻어진 각각의 픽처 특징 정보량은 비교기 (410) 로 출력된다.

한편, 차이 특징 정보량 계산 유닛 (420) 의 작동은 도 3에 도시된 차이 특징 정보량 계산 유닛 (320) 의 작동과 같고, 차이 특징 정보량 계산 유닛 (420) 은 차이 특징 정보량과 그것을 나타내기 위한 차이 특징 정보량 정보를 계산한다. 차이 특징 정보량 계산 유닛 (420) 은 차이 특징 정보량도 출력한다는 점에서 차이 특징 정보량 계산 유닛 (320) 과 다르다. 얻어진 차이 특징 정보량은 비교기 (410) 로 출력된다.

비교기 (410) 는 각각의 픽처 특징 정보량 계산 유닛 (400) 의 출력인 각각의 픽처 특징 정보량과 차이 특징 정보량 계산 유닛 (420) 의 출력인 차이 특징 정보량을 비교하고, 작은 값을 선택하고, 스위치 (430) 을 컨트롤하는 신호를 출력한다. 만약 각각의 특징 정보량이 더 작으면, 스위치 (430) 는 각각의 픽처 특징에 연결되도록 컨트롤 되고, 차이 특징 정보량이 더 작으면 스위치 (430) 는 감산기 (310) 의 출력인 차이 특징 정보량에 연결되도록 컨트롤 된다.

다음으로 첫번째 실시예의 바람직한 효과가 설명될 것이다.

첫번째 실시예는 만약 픽처간의 특징 차이가 작아서 성능 저하가 예측 될때 추가적 특징을 삽입하도록 함으로써, 시간 방향 전환이 부족한 장면에서도 식별력을 향상시킬 수 있고, 검색 성능 또한 향상될 수 있다. 게다가 픽처간의 특징 차이가 작은 경우도 특징 추가를 제한함으로써, 필요 이상으로 특징의 양을 증가시키지 않고 성능을 향상시킬 수 있다.

다음으로, 본 발명의 두번째 실시예가 도면을 기준으로 자세하게 설명될 것이다.

도면 2를 참조하면, 본 발명의 두번째 실시예의 영상 디스크립터 생성 장치는 각각의 픽처 특징 추출 유닛 (100), 픽처간 특징 차이 계산 유닛 (110), 특징 추가 결정 유닛 (120), 추가 특징 추출 유닛 (230), 그리고 특징 결합 유닛 (240) 을 포함한다.

각각의 픽처 특징 추출 유닛 (100), 픽처간 특징 차이 계산 유닛 (110), 그리고 특징 추가 결정 유닛 (120) 사이의 연결 관계는 도 1에 도시된 영상 디스크립터 생성 장치의 연결 관계와 같다. 그러나, 특징 추가 결정 유닛 (120) 의 출력은 또한 추가 특징 추출 유닛 (230) 으로 입력된다. 추가 특징 추출 유닛 (230) 은 특징 추가 결정 유닛 (120) 의 출력인 특징 추가 결정 정보에 기초하여 입력 영상으로부터 추가적 특징을 추출하고, 추가적 특징을 특징 결합 유닛 (140) 으로 출력한다. 특징 결합 유닛 (240) 은 픽처간 특징 차이 계산 유닛 (110) 의 출력인 차이 특징과 추가 특징 추출 유닛 (230) 의 출력인 추가 특징 출력을 결합하고, 영상 디스크립터를 출력한다.

다음은 본 발명의 두번째 실시예의 작동에 대해 자세히 설명할 것이다. 각각의 픽처 특징 추출 유닛 (100), 픽처간 특징 차이 계산 유닛 (110), 특징 추가 결정 유닛 (120) 의 작동은 도 1에 도시된 영상 디스크립터 생성 장치의 작동과 같다.

추가 특징 추출 유닛 (230) 의 작동은 도 1에 도시된 영상 디스크립터 생성 장치의 추가 특징 추출 유닛 (130) 과도 기본적으로 비슷하다. 그러나 추가 특징 추출 유닛 (230) 이 특징 추가 결정 유닛 (120) 의 출력인 특징 추가 결정 정보에 따라 작동 양상은 다르다. 추가 특징 추출 유닛 (230) 은 특징 추가 결정 정보가 특징의 추가신호를 가리킬 때만 추가적 특징을 추출하고, 다른 경우에는 특징을 추출하지 않는다. 추출된 추가 특징은 특징 결합 유닛 (240) 으로 출력된다.

기본적으로, 특징 결합 유닛 (240) 의 작동은 도 1에 도시된 영상 디스크립터 생성 장치의 특징 결합 유닛 (140) 의 작동과 또한 비슷하다. 그러나, 특징 결합 유닛 (240) 이 추가 특징 추출 유닛 (230) 으로부터 간헐적으로 출력되는 추가 특징과 차이 특징을 결합하여 영상 디스크립터를 생성하는 양상이 다르다. 이 결합은 특징 추가 결정 유닛 (120) 의 출력인 특징 추가 결정 정보가 특징 추가 신호를 가리킬 때 일어난다.

두번째 실시예에서, 추가 특징의 계산이 추가 특징이 실제로 요구되는 경우로 제한됨으로써, 영상 디스크립터는 더 효과적으로 생성될 수 있다.

다음으로, 본 발명의 세번째 실시예가 설명될 것이다.

도 5는 픽처로부터 특징을 추출하는 예시적 방법을 도시한다. 이 방법에서, 픽처 내의 어느 두 영역의 쌍들이 미리 설정되고, 한 쌍의 두 영역의 특징간 차이가 특징 벡터로써 얻어진다. 이 실시예에서는, 각각의 영역 쌍을 P1, P2, P3,...,로 나타내고, n번째 쌍에서 결정된 특징은 Vn으로 나타낸다. 영역의 쌍은 도 5에 도시된 것과 같이 영역의 모양과 위치의 다양한 조합을 취할 수도 있다. 또한, 다양한 방법이 특징 Vn을 쌍 Pn으로부터 계산하는데 이용될 수 있다. 예를 들어, 각 쌍에서 사선 영역과 망선 영역 (reticulated region) 의 각각에서 휘도의 평균값이 계산되고, 특징 Vn의 값이 그것의 크기 관계로부터 결정되는 방법이 있다. 구체적으로, 차이를 계산하기 위해 망선 영역 내에서 얻어진 휘도의 평균값을 사선 영역 내에서 얻어진 평균 휘도 값에서 뺀다. 그리고, 차이 값이 양수일 경우 Vn은 1이고, 차이 값이 음수일 경우 Vn은 -1이 된다. 또한 만약 차이의 절대값이 한계값보다 작은 경우 Vn은 0 이 되도록 하는 것이 가능하며, 따라서 특징 Vn은 세가지 값에 의해 나타내진다.

도 1에 도시된 각각의 픽처 특징 추출 유닛 (100) 은 상기 나타낸 프로세스를 N개의 쌍에서 실행하고 그렇게 함으로써 N차원에서의 특징 벡터 Vn을 얻는다. 다음으로, 픽처간 특징 차이 계산 유닛 (110) 은 이전 픽처와 현재 픽처간의 특징 벡터 Vn의 차이를 계산하고, 그 차이를 차이 특징으로서 출력한다. 동시에, 픽처간 특징 차이 계산 유닛 (110) 은 차이 특징의 차원 가운데, 차이가 0 이 아닌 차원의 수를 계산하고, 그 수를 차이 특징 정보량 정보로서 출력한다. 만약, 차이 특징 정보량 정보가 이미 결정된 한계값이거나 한계값보다 작으면, 특징 추가 결정 유닛 (120) 은 특징 추가 신호를 출력한다. 한편, 도 5에 도시된 것과 같은 방법으로 계산된 특징은 추가 특징으로 사용될 수도 있다. 예를 들어, 추가 특징 추출 유닛 (130) 은 각각의 픽처 특징 추출 유닛 (100) 에서 사용된 것들과 다른 M개의 쌍을 사용하여 같은 방식으로 특징을 계산한다. 그리고 나서, 만약 특징 추가 신호가 출력되는 경우, 특징량 결합 유닛 (140) 이 영상 디스크립터를 생성하기 위해 차이 특징과 추가 특징을 합한다. 이 경우, 추가 특징이 추가된 프레임에서는 원래의 N차원 특징뿐만 아니라 M차원 특징이 더 사용된다.

이 경우, 다양한 유형의 차이 코딩이 차이 특징에 적용가능하지만, 이전 픽처의 값과 상이한 값을 갖는 차원에 대해서는 그 차원의 인덱스와 차이값을 쌍으로 코딩하는 방법이 사용될 수 있다. 만약, 이전 픽처가 고정된 값을 갖는 상태에서 상기 설명한 대로 특징 벡터 Vn이 원래 세 가지값 -1, 0, 1 을 갖는다면, 차이로서 취할 수 있는 값의 개수는 2개이다. (예를 들어, 만약 전의 픽처 값이 1이라면 그 차이는 -1 또는 -2이다.) 이렇게 두 가지값을 구별하기 위한 정보는 1비트 차이를 나타낼 수 있다. 차이 코딩은 이러한 방법으로 실행될 수 있다.

비록, 상기 예가 추가적 특징으로서 같은 유형의 특징을 이용하여 나타내었지만, 추가적 특징은 다른 특징이 될 수도 있다. 예를 들어, 픽처간 모션 벡터를 계산하는 것이 가능하고, 그것의 통계적 양이 특징으로서 이용될 수도 있다.

본 발명의 실시예가 상기에 설명되었지만, 본 발명이 이러한 실시예에만 제한되는 것은 아니다. 당업자라면 형태와 세부사항에 있어서 다양한 변화가 본 발명의 범위에서 벗어나지 않고 만들어질 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 픽처간 특징 차이 계산 유닛 (110) 은 차이 특징 대신에 각각의 픽처 특징을 특정 픽처 주기에서 픽처 결합 유닛 (140) 으로 출력할 수도 있다. 이것을 이해하기 위한 구체적인 방법으로, 도 4에 도시된 픽처간 특징 차이 계산 유닛 (110) 의 경우에, 비교기 (410) 가 각각의 픽처 특징 선택 신호를 과거 특정 픽처 주기 내에서 스위치 (430) 로 출력하는지 아닌지를 결정하고, 만약 출력하지 않는다면 비교 결정의 결과와 관계없이 각각의 픽처 특징 선택 신호를 스위치 (430) 로 출력한다. 또한 픽처간 특징 차이 계산 유닛 (110) 의 경우에, 픽처간 특징 차이 계산 유닛 (110) 은 각각의 픽처 특징 입력과 감산기 (310) 로 부터의 출력인 차이 특징을 수신하는 스위치와, 특정 픽처 주기 동안에 한번 만 각각의 픽처 특징 입력을 선택하는 컨트롤 신호를 출력하며 다른 때에는 차이 특징 선택 컨트롤 신호를 스위치로 출력하는 스위치 컨트롤 유닛을 포함할 수 있다.

또한, 본 발의 영상 디스크립터 생성 장치는 하드웨어뿐만 아니라 컴퓨터와 프로그램에 의해 실행될 수 있는 장치에도 적용된다. 이러한 프로그램은 자기디스크, 반도체 기억 장치와 같은 컴퓨터가 읽을 수 있는 레코딩 매체에 기록된 형태로 제공되고, 예를 들어, 컴퓨터가 시작될 때 컴퓨터에 의해 읽힌다. 또한 이러한 프로그램은 컴퓨터를 상기 실시예의 영상 디스크립터 생성 장치로서 기능하게 함으로써 컴퓨터의 실행을 컨트롤한다.

본 출원은 2009년 1월 23일에 출원된 일본 특허출원 제 2009-12809호의 우선권을 주장하며, 이 전체 내용은 참조로서 본 명세서에 포함된다.

(산업상 이용가능성)

본 발명은 높은 정확도로 다양한 영상으로부터 비슷하거나 같은 영상을 검색하는데 이용될 수 있다. 특히, 같은 세그먼트의 영상 검색에 관해서, 본 발명은 네트워크상에 퍼져 있는 불법적으로 복사된 동화상의 식별과 실제 공중파에 퍼져 있는 광고들의 식별에도 이용될 수 있다.

110 각각의 픽처 추출 유닛
110 픽처간 특징 차이 계산 유닛
120 특징 추가 결정 유닛
130 추가 특징 추출 유닛
140 특징 결합 유닛
230 추가적 특징 추출 유닛
240 특징 결합 유닛
300 메모리 요소
310 감산기
320 차이 특징 정보량 계산 유닛
400 각각의 픽처 특징 정보량 계산 유닛
410 비교기
420 차이 특징 정보량 계산 유닛
430 스위치
1000 각각의 프레임 특징 추출 유닛
1010 특징 테이블 작성 유닛

Claims

영상 디스크립터 생성 장치로서,
프레임 또는 필드인 각각의 픽처에 대한 영상으로부터 특징을 추출하고, 각각의 픽처 특징 (each-picture feature) 을 출력하는 각각의 픽처 특징 추출 유닛;
픽처의 특징 간 차이인 픽처간 특징 차이를, 상기 각각의 픽처 특징으로부터 차이 특징으로서 계산하고, 상기 차이 특징의 정보의 양을 나타내는 차이 특징 정보량을 계산하는 픽처간 특징 차이 계산 유닛;
상기 영상으로부터 추가적 특징으로 추가될 특징을 계산하는 추가 특징 추출 유닛; 및
상기 차이 특징 정보량의 양 (volume) 이 특정 기준보다 작으면, 상기 차이 특징뿐아니라 상기 추가적 특징을 병합하여 영상 디스크립터를 구성하는 특징 결합 유닛을 포함하는, 영상 디스크립터 생성 장치.
제 1 항에 있어서,
상기 추가 특징 추출 유닛은 상기 차이 특징 정보량의 양이 특정 기준보다 작은 경우에만 상기 추가적 특징을 계산하는, 영상 디스크립터 생성 장치.
제 1 항 또는 제 2 항에 있어서,
상기 픽처간 특징 차이 계산 유닛은 상기 각각의 픽처 특징의 정보의 양인 각각의 픽처 특징 정보량과 상기 차이 특징 정보량을 비교하여, 상기 차이 특징 정보량이 더 큰 경우 상기 각각의 픽처 특징을 상기 차이 특징으로서 획득하는, 영상 디스크립터 생성 장치.
제 3 항에 있어서,
상기 각각의 픽처 특징 정보량과 상기 차이 특징 정보량은 실제 코딩을 실행하고, 코드량을 측정함으로써 계산되는, 영상 디스크립터 생성 장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 특정 기준에서는, 상기 차이 특징 정보량의 양이 픽처 단위로 결정되는, 영상 디스크립터 생성 장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 특정 기준에서는, 상기 차이 특징 정보량의 양이 연속된 픽처의 특정 수로 결정되는, 영상 디스크립터 생성 장치.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 추가적 특징은 상기 각각의 픽처 특징과 같은 유형의 특징이고 상기 각각의 픽처 특징을 더 상세히 나타내는, 영상 디스크립터 생성 장치.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 추가적 특징은 상기 각각의 픽처 특징과 다른 유형의 특징인, 영상 디스크립터 생성 장치.
제 1 항 또는 제 2 항에 있어서,
상기 픽처간 특징 차이 계산 유닛은 특정 픽처 주기에서 상기 각각의 픽처 특징을 상기 차이 특징으로서 계산하는, 영상 디스크립터 생성 장치.
영상 디스크립터 생성 방법으로서,
프레임 또는 필드인 각각의 픽처에 대한 영상으로부터 특징을 추출하고, 각각의 픽처 특징 (each-picture feature) 을 출력하는 단계;
각각의 픽처 특징으로부터 차이 특징으로서, 픽처의 특징간 차이인 픽처간 특징 차이를 계산하고, 상기 차이 특징의 정보의 양을 나타내는 차이 특징 정보량을 계산하는 단계;
상기 영상으로부터 추가적 특징으로서 추가될 특징을 계산하는 단계; 및
상기 차이 특징 정보량의 양 (volume) 이 특정 기준보다 작은 경우, 상기 차이 특징뿐만 아니라 상기 추가적 특징을 병합함으로써 영상 디스크립터를 구성하는 단계를 포함하는, 영상 디스크립터 생성 방법.
제 10 항에 있어서,
상기 추가적 특징의 계산에서는, 상기 추가적 특징은 상기 차이 특징 정보량의 양이 상기 특정 기준보다 작은 경우에만 계산되는, 영상 디스크립터 생성 방법.
제 10 항 또는 제 11 항에 있어서,
상기 차이 특징 정보량의 계산에서는, 상기 각각의 픽처 특징의 정보의 양인 각각의 픽처 특징 정보량은 상기 차이 특징 정보량과 비교되고, 상기 차이 특징 정보량이 더 큰 경우, 상기 각각의 픽처 특징이 차이 특징으로서 획득되는, 영상 디스크립터 생성 방법.
제 12 항에 있어서,
상기 각각의 픽처 특징 정보량과 상기 차이 특징 정보량은, 실제 코딩을 실행하고 코드량을 측정함으로써 계산되는, 영상 디스크립터 생성 방법.
제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 특정 기준 내에서는, 상기 차이 특징 정보량의 양은 픽처 단위로 결정되는, 영상 디스크립터 생성 방법.
제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 특정 기준 내에서는, 상기 차이 특징 정보량의 양은 연속된 픽처의 특정 개수로 결정되는, 영상 디스크립터 생성 방법.
제 10 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 추가적 특징은 상기 각각의 픽처 특징과 같은 유형의 특징이고, 상기 각각의 픽처 특징을 더 상세히 나타내는, 영상 디스크립터 생성 방법.
제 10 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 추가적 특징은 상기 각각의 픽처 특징과 다른 유형의 특징인, 영상 디스크립터 생성 장치.
제 10 항 또는 11 항에 있어서,
상기 차이 특징 정보량의 계산에서는, 상기 각각의 픽처 특징은 특정 픽처 주기에서 상기 차이 특징으로서 계산되는, 영상 디스크립터 생성 방법.
프로그램으로서,
컴퓨터로 하여금,
프레임 또는 필드인 각각의 픽처에 대한 영상으로부터 특징을 추출하고, 각각의 픽처 특징 (each-picture feature) 을 출력하는 각각의 픽처 특징 추출 유닛;
픽처의 특징 간 차이인 픽처간 특징 차이를, 상기 각각의 픽처 특징으로부터 차이 특징으로서 계산하고, 상기 차이 특징의 정보의 양을 나타내는 차이 특징 정보량을 계산하는 픽처간 특징 차이 계산 유닛;
상기 영상으로부터 추가적 특징으로서 추가될 특징을 계산하는 추가 특징 추출 유닛; 및
상기 차이 특징 정보량의 양 (volume) 이 특정 기준보다 작은 경우, 상기 차이 특징뿐만 아니라 상기 추가적 특징을 병합함으로써, 영상 디스크립터를 구성하는 특징 결합 유닛으로서 기능하게 하는, 프로그램.