KR20110069845A - 멀티미디어 서명을 위한 인코딩 및 디코딩 방법 및 장치 - Google Patents

멀티미디어 서명을 위한 인코딩 및 디코딩 방법 및 장치 Download PDF

Info

Publication number
KR20110069845A
KR20110069845A KR1020117010430A KR20117010430A KR20110069845A KR 20110069845 A KR20110069845 A KR 20110069845A KR 1020117010430 A KR1020117010430 A KR 1020117010430A KR 20117010430 A KR20117010430 A KR 20117010430A KR 20110069845 A KR20110069845 A KR 20110069845A
Authority
KR
South Korea
Prior art keywords
components
descriptor
priority
decoding
encoding
Prior art date
Application number
KR1020117010430A
Other languages
English (en)
Inventor
폴 브라스넷
미로슬로우 보버
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20110069845A publication Critical patent/KR20110069845A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

멀티미디어 컨텐츠의 기술자를 인코딩하기 위한 방법으로서, 상기 기술자는 멀티미디어 컨텐츠의 각각의 부분들을 기술하는 복수의 컴포넌트를 포함하며, 상기 방법은 상기 기술자를 처리하여 상기 복수의 컴포넌트의 우선 순위를 결정하는 단계 및 상기 결정된 우선 순위에 기초하여 상기 기술자의 컴포넌트들을 인코딩하는 단계를 포함한다. 상기 기술자를 디코딩하는 방법은 상기 복수의 컴포넌트의 미리 결정된 개수를 우선 순위 순서로 각각 디코딩함으로써 상기 미리 결정된 개수의 컴포넌트를 디코딩하는 단계를 포함한다. 유리하게도, 상기 인코딩 및 디코딩 기법들은 빠른 가변형(scalable) 검색을 가능하게 한다.

Description

멀티미디어 서명을 위한 인코딩 및 디코딩 방법 및 장치{ENCODING AND DECODING METHOD AND APPARATUS FOR MULTIMEDIA SIGNATURES}
본 발명은 멀티미디어 컨텐츠를 표현하는 서명의 처리와 관련되고, 보다 구체적으로는 이러한 서명을 인코딩 및 디코딩하기 위한 방법 및 장치와 관련된다.
멀티미디어 컨텐츠의 아이템은 "서명"{또한 "견고한 해시(robust hash)" 또는 "지문(fingerprint)"라고도 알려짐}에 의해 표현될 수 있다. 서명은 컨텐츠에 기초한 간결하고 고유하며 견고한 설명을 제공한다. 예컨대, 동시 계속중인 유럽 특허 출원 EP 06255239.3 및 영국 특허 출원 GB 0700468.2, GB 0712388.8, GB0719833.6 및 GB0800364.2는 "이미지 기술자" 또는 "이미지 식별자"로도 알려진 이미지에 대한 서명을 기술한다. 유럽 특허 출원 EP-A-1 550 297은 오디오 컨텐츠에 대한 서명을 기술하고 미국 특허 출원 US-A-2007/0253594는 비디오 컨텐츠에 대한 서명을 기술한다.
멀티미디어 서명은 전형적으로 숫자들을 포함하는 복수의 컴포넌트를 포함하는데, 종종 이러한 숫자들은 이진 공간 내에 있다. 서명들은 동일하거나 거의 중복되는 컨텐츠의 식별, 검색 및 위치 파악을 위해 사용될 수 있다.
막대한 양의 멀티미디어 데이터가 생성되면, 검색이 매우 빠르게 낮은 복잡도로 수행될 것이 명확히 요구된다.
본 발명은 빠른 검색을 지원하도록 서명을 인코딩 및 저장하기 위한 방법 및 인코딩된 서명을 디코딩하기 위한 대응하는 방법과 관련된다.
제1 태양에 따르면, 본 발명은 멀티미디어 컨텐츠의 기술자를 인코딩하기 위한 방법을 제공하는데, 상기 방법은 멀티미디어 컨텐츠의 기술자를 수신하는 단계(상기 기술자는 멀티미디어 컨텐츠의 각각의 부분들을 기술하는 복수의 컴포넌트를 포함함), 수신된 기술자를 처리하여 복수의 컴포넌트의 우선 순위를 결정하는 단계 및 결정된 우선 순위에 기초하여 기술자의 컴포넌트들을 인코딩하는 단계를 포함한다.
실시예들에서, 복수의 컴포넌트의 우선 순위는 우선 순위 정렬 휴리스틱(heuristic)을 사용하여 결정될 수 있다. 예컨대, 복수의 컴포넌트의 우선 순위는 복수의 컴포넌트 각각 또는 이들의 부분 집합의 엔트로피(entropy)를 고려함으로써 결정될 수 있다.
일 실시예에서, 대응하는 기술자들의 데이터 집합의 적어도 하나의 확률 분포를 사용하여 기술자 내의 복수의 컴포넌트 각각 또는 이들의 부분 집합에 대해 추정된 엔트로피 값이 결정된다.
일 실시예에서, 기술자 내의 복수의 컴포넌트 각각 또는 이들의 부분 집합에 대한 우선 순위 점수가 결정되고, 우선 순위 점수들 및/또는 연관된 컴포넌트들을 연속적인 순서로 배열함으로써 컴포넌트들에 대한 우선 순위 순서가 도출된다.
상기 인코딩 방법은 바람직하게는 기술자의 컴포넌트들 또는 이들의 부분 집합을 결정된 우선 순위 순서로 인코딩하는 단계를 더 포함한다.
일 실시예에서, 기술자의 컴포넌트들에 대한 우선 순위 순서를 결정한 후에, 상기 방법은 기술자의 복수의 컴포넌트 각각 또는 이들의 부분 집합의 상호 종속성을 결정하는 단계 및 결정된 우선 순위 순서를 결정된 상호 종속성에 기초하여 업데이트하는 단계를 더 포함한다. 기술자의 복수의 컴포넌트 각각 또는 이들의 부분 집합의 상호 종속성을 결정하는 단계는 각각의 컴포넌트와 결정된 우선 순위 순서에서 더 높은 우선 순위를 갖는 모든 다른 컴포넌트와의 상관(correlation)을 고려하는 단계를 포함할 수 있다.
이러한 실시예에 따르면, 상기 인코딩 방법은 바람직하게는 기술자의 컴포넌트들 또는 이들의 부분 집합을 업데이트된 우선 순위 순서로 인코딩하는 단계를 더 포함한다.
제2 태양에 따르면, 본 발명은 멀티미디어 컨텐츠의 기술자를 디코딩하기 위한 방법을 제공하는데, 상기 방법은 멀티미디어 컨텐츠의 인코딩된 기술자의 복수의 컴포넌트를 수신하는 단계(상기 기술자의 컴포넌트들은 멀티미디어 컨텐츠의 각각의 부분들을 기술하고, 상기 컴포넌트들은 인코딩되지 않은 기술자 내의 대응하는 컴포넌트들의 순서와 상이한 우선 순위 순서로 수신됨) 및 미리 결정된 개수의 복수의 컴포넌트를 이들이 수신되는 순서로 각각 디코딩함으로써 상기 미리 결정된 개수의 복수의 컴포넌트를 디코딩하는 단계를 포함한다.
전형적으로, 기술자의 미리 결정된 개수의 복수의 컴포넌트는 기술자의 복수의 컴포넌트의 전체 개수보다 적다.
제3 태양에 따르면, 본 발명은 이미지 검색을 위한 방법을 제공하는데, 상기 방법은 질의 이미지의 인코딩된 기술자를 수신하는 단계, 본 발명의 제2 태양에 따른 방법을 사용하여 질의 이미지의 기술자를 디코딩하는 단계, 질의 이미지의 기술자의 디코딩된 미리 결정된 개수의 복수의 컴포넌트와 하나 이상의 기준 이미지의 기술자의 대응하는 컴포넌트들 사이의 거리{바람직하게는 해밍(Hamming) 거리}를 결정하는 단계 및 결정된 거리가 미리 결정된 문턱값보다 작은 기준 이미지들을 선택하는 단계를 포함한다.
실시예들에서, 상기 방법은 바람직하게는 질의 이미지의 기술자의 나머지 컴포넌트들을 디코딩하는 단계 및 선택된 기준 이미지들 각각에 대해 질의 이미지의 기술자의 모든 디코딩된 컴포넌트들을 선택된 기준 이미지의 기술자의 모든 컴포넌트들과 비교하는 단계를 더 포함한다.
다른 태양들에 따르면, 본 발명은 본 발명의 제1 태양에 따른 방법을 실행하도록 구성되는 멀티미디어 컨텐츠의 기술자를 인코딩하기 위한 인코더, 프로세서에 의해 실행되는 경우 본 발명의 제1 태양에 따른 인코딩 방법을 수행하는 명령어들을 포함하는 컴퓨터 판독 가능 매체, 본 발명의 제2 태양에 따른 방법을 실행하도록 구성되는 멀티미디어 컨텐츠의 기술자를 디코딩하기 위한 디코더, 프로세서에 의해 실행되는 경우 본 발명의 제2 태양에 따른 디코딩 방법을 수행하는 명령어들을 포함하는 컴퓨터 판독 가능 매체, 본 발명의 제3 태양에 따른 이미지 검색 방법을 수행하기 위한 장치 및 프로세서에 의해 실행되는 경우 본 발명의 제3 태양에 다른 방법을 수행하는 명령어들을 포함하는 컴퓨터 판독 가능 매체를 제공한다.
일 실시예에서, EP 06255239.3에 기술된 것과 같은 이진 서명은 멀티미디어 컨텐츠를 고유하게 표현한다. EP 06255239.3에 기술된 바처럼, 서명은 이진 문자열로서 표현될 수 있다. 서명은 비트스트림(bitstream)으로서 또는 XML과 같은 소정의 다른 적합한 형식으로 인코딩, 저장 및/또는 송신될 수 있다. 서명을 포함하는 인코딩된 비트스트림(또는 다른 데이터 구조)은 컨텐츠 검색 및 일치(matching)에 사용하도록 수신 및 디코딩될 수 있다.
본 발명의 태양들은 하나 이상의 컨텐츠 기반 서명을 포함하는 비트스트림(또는 다른 데이터 구조)을 인코딩 및 디코딩하기 위한 방법들과 관련된다.
서명의 인코딩에 대한 주요 태양은 서명의 컴포넌트들의 우선 순위 정렬이다. 일 실시예에서, 미리 결정된 개수의 비트를 포함하는 서명은 가장 높은 우선 순위를 갖는 서명 비트들이 인코딩된 데이터 구조(예컨대 비트스트림) 내에 맨 먼저 배치되도록 인코딩된다. 바람직하게는, 서명의 컴포넌트들(예컨대 비트들)의 우선 순위 정렬은 이들의 엔트로피에 기초한다. 서명의 컴포넌트들을 우선 순위 순서로 정렬하기 위한 적합한 기법들 및 그로부터 야기되는 기술적인 장점들이 아래에서 기술된다.
유리하게도, 본 발명의 인코딩 및 디코딩 기법들은 빠른 가변형(scalable) 검색 및 해싱을 지원한다.
도 1은 본 발명의 실시예에서 구현될 수 있는 기법을 사용하여 결정되는, 예시적인 512 비트 이미지 서명의 컴포넌트 비트가 1과 같을 확률을 도시하는 도면.
도 2는 본 발명의 실시예에서 구현될 수 있는 기법을 사용하여 결정되는, 도 1의 512 비트 이미지 서명의 비트들 사이의 상관을 도시하는 도면.
도 3은 예시적인 512 비트 서명에 대한 엔트로피를 도시하는 도면.
도 4는 본 발명의 실시예에 따른 멀티미디어 서명을 인코딩하기 위한 방법을 도시하는 흐름도.
도 5는 본 발명의 실시예들에 따른 멀티미디어 서명들을 인코딩 및 디코딩하기 위한 시스템의 개략도.
아래의 설명은 위에서 언급된 방법들 중 하나 이상을 사용하여 도출되는 이미지의 서명의 인코딩 및 디코딩과 관련된다. 그러나, 상기 인코딩 및 디코딩 기법들은 임의의 적합한 기법을 사용하여 도출될 수 있는 다른 유형의 멀티미디어 컨텐츠로부터 도출되는 서명들과 함께 사용될 수 있음을 이해할 것이다.
따라서, 아래의 설명은 이진 문자열로 이루어지는 이미지의 서명의 인코딩 및 디코딩과 관련된다.
특히, 이미지 I(x,y)의 서명 S는 0 내지 n-1의 색인을 갖는 n 비트의 집합으로 이루어진다.
S(I(x,y))={s0,s1,...,sn-1}
일반적으로, 이미지 서명 S 내의 각각의 비트(s0 내지 sn -1)는 기대값, 독립성 및 견고성과 관련된 개별적인 특성들을 가질 것이다. 각각의 비트(si)의 특성은 데이터의 집합으로부터 추출된 서명들(즉, 복수의 이미지의 서명들)을 평가함으로써 실험적으로 결정될 수 있다. 바람직하게는 이러한 실험적 데이터 집합은 클 것이다.
이러한 특성들에 기초하여, 가장 정보성이 있는 비트들에게 가장 높은 점수를 부여하여 각각의 비트(s0 내지 sn-1)에 대한 우선 순위 점수를 획득하도록 서명 내의 비트들이 평가될 수 있다. 이러한 목적을 위해, 실험적인 평가에 기초하여 비트들의 우선 순위 순서를 결정하도록 휴리스틱이 사용될 수 있다.
바람직한 일 실시예에서, 각각의 비트에 대한 엔트로피 값에 기초하여 우선 순위 점수를 결정하기 위해 함수 f가 사용된다.
f(si)=-p1(si)log2p1(si)-p0(si)log2p0(si)
여기서 p1(si)는 si가 1일 확률 p(si=1)이고, p0(si)=1-p1(si)는 si가 0일 확률이다. 엔트로피는 0 내지 1의 범위에 있고, 더 높은 값은 더 높은 엔트로피를 의미하며, 값은 아래의 경우에 최대에 도달한다.
p(si=1)=p(si=0)=0.5
서명의 비트들에 대한 확률 p(si=1)은 M개의 이미지의 큰 데이터 집합으로부터 서명들을 추출하고 평가함으로써 추정될 수 있다.
Figure pct00001
도 1은 예로서 512 비트 이미지 서명 내의 각각의 비트의 확률 p(si=1)의 실험적으로 결정되는 추정치를 도시한다. 서명의 컴포넌트들을 평가하여 이들의 엔트로피를 결정하기 위해 다른 함수들이 사용될 수 있음을 이해할 것이다. 도 3은 동일한 예시적인 512 비트 이미지 서명에 대한 대응하는 우선 순위 점수들 f(si)를 도시한다.
서명 비트들(s0 내지 sn-1)에 대한 우선 순위 점수 f(si)는 내림차순으로, 즉 가장 높은 점수를 갖는 비트가 가장 먼저 배열되고, S 내의 비트들의 색인들을 유지한다.
f(si)≥f(sj)≥…≥f(sk)
이후 이러한 우선 순위 정렬은 아래에서 기술되는 바처럼 이미지 서명 S의 비트들(s0 내지 sn-1)의 인코딩을 위해 사용될 수 있다.
대안적인 실시예로서, 상호 비트 종속성(예컨대 상관에 의해 표현됨)이 또한 우선 순위 정렬 휴리스틱의 일부로서 고려될 수 있다. 최초의 정렬이 예컨대 위에서 기술된 실시예에 따라 f(si)≥f(sj)≥…≥f(sk)로 획득되면, 모든 비트와 모든 더 높은 우선 순위를 갖는 비트의 상관이 고려된다.
상관 c∈(0,1]은 데이터의 집합 상에서 실험적으로 발견될 수 있는데, 여기서 0은 상관되지 않은 비트들을 나타내고 1은 상관된 비트들을 나타낸다. 다음으로, 모든 더 높은 우선 순위를 갖는 비트들과의 상관의 최대값은 아래와 같이 발견된다.
cmax(sj)
그리고 새로운 우선 순위 점수를 아래와 같이 구할 수 있다.
g(sj)=f(sj)+αcmax(sj)
여기서 α는 정렬의 상관의 영향을 결정하기 위한 설계 파라미터이다. 다음으로, 업데이트된 우선 순위 정렬은 아래와 같이 구해진다.
g(si)≥g(sj)≥…≥g(sk)
이러한 두 번째 우선 순위 정렬 후에 첫 번째 비트는 항상 동일함에 주목한다.
따라서, 이러한 대안적인 실시예에서, 업데이트된 우선 순위 정렬은 이후 아래에서 기술되는 바처럼 이미지 서명 S의 비트들(s0 내지 sn-1)의 인코딩을 위해 사용될 수 있다.
특히, S 내의 비트들(s0 내지 sn-1)의 색인들이 이제 관련 우선 순위 정렬로부터 구해진다.
i,j,…,k
이러한 색인들을 사용하여, 서명의 비트들은 결정된 우선 순위 순서로 비트스트림(또는 다른 구조)으로 인코딩된다.
Figure pct00002
예컨대, GB 0807411.4의 방법을 사용하여 도출된, 세 개의 이미지 우선 순위 정렬된 이미지 서명을 포함하는 비트스트림 구문(syntax)은 아래와 같이 주어진다.
Figure pct00003
비트스트림에 대응하는 XML 스키마(schema)는 아래와 같이 주어진다.
Figure pct00004
Figure pct00005
우선 순위 정렬된 서명을 필요한 개수의 비트까지 판독함으로써 비트스트림(또는 다른 구조)이 디코딩된다. 특히, 디코딩 방법은 인코딩된 비트스트림(또는 다른 데이터 구조)을 수신하고, 이미지 검색 및 일치에 사용하기 위해 비트스트림 내의 n 비트 서명으로부터 첫 m개의 비트만을 디코딩한다. 인코딩된 비트스트림 내의 우선 순위 정렬된 서명들은 가장 정보성이 있는 비트들을 맨 먼저 저장하므로, 디코딩 기법은 가장 관련성 있는 비트들을 맨 먼저 디코딩하고, 그럼으로써 빠른 검색 및 일치를 가능하게 하는데, 이는 두 서명을 비교하는 경우에 m개의 가장 관련성 있는 비트만이 사용되기 때문이다. 또한, 디코딩 기법은 가변형 서명을 제공한다. 아래의 장점들은 이러한 시스템으로부터 비롯된다.
첫째로, 두 서명 사이의 거리(예컨대 해밍 거리)를 발견하는 것이 가능한데, 이는 전체 n개의 비트에 대해 계산되는 거리보다 견고성 및/또는 독립성이 낮은 거친 수준(coarse level)의 거리이다. 거리 계산의 복잡도는 비트의 개수와 선형적으로 관련되며, 따라서 더 적은 비트 m을 사용하는 것은 더 낮은 계산 요건을 제공한다.
둘째로, 검색 공간을 k개의 가장 가까운 이웃으로 빠르게 감소시키기 위한 서명의 구조의 해시 테이블을 m개의 비트에 기초하여 생성하는 것이 가능하다. 바람직한 실시예에서 m은 8이고, 이는 256 요소 해시 테이블을 낳으며, k는 1이고 따라서 검색 공간은 원래 크기의 약 8/256으로 감소된다.
마지막으로, 낮은 확률의 일치를 제거함으로써 검색 시간을 감소시키는 것이 가능하다. 질의 서명으로부터 문턱값 T1 미만의 정규화된 거리를 갖는 모든 서명을 발견하기 위해 검색이 수행될 경우, 바람직한 실시예에서는 첫 m개의 비트가 비교되고, 정규화된 거리가 T2 미만인 경우에만 모든 n개의 비트가 추출 및 비교된다. 정규화된 거리가 T2보다 큰 경우, 두 개의 서명은 상이한 것으로 선언된다. 바람직한 실시예에서, T2=T1+ε이고, ε≥0이다. 이러한 검색 방법에서, 첫 m개의 비트 및/또는 모든 n개의 비트의 비교에 기초하여 유사한 것으로 선언되는 이미지들이 검색 결과로서 제공될 수 있다(예컨대 대응하는 이미지들을 디스플레이 스크린 상에 디스플레이함으로써).
도 4는 본 발명의 실시예에 따른 멀티미디어 서명을 인코딩하기 위한 방법을 나타내는 흐름도이다.
인코딩될 멀티미디어 컨텐츠를 수신하는 단계(100)에서 방법이 시작된다.
단계(200)에서, 별개로 인코딩될 멀티미디어 컨텐츠의 각각의 부분(예컨대 각각의 이미지)에 대해, 미리 정의된 컨텐츠 기반 서명이 추출된다. 위에서 기술된 바처럼, 서명은 다수의 이진 비트와 같은 미리 결정된 개수의 서명 컴포넌트를 포함한다. 수신된 멀티미디어 컨텐츠로부터 이러한 서명을 추출하기 위한 임의의 적합한 기법이 사용될 수 있다. 예컨대, 멀티미디어 컨텐츠가 정지 이미지들을 포함하는 경우, 각각의 이미지에 대한 서명은 위에서 언급된 특허 출원들인 EP 06255239.3, GB0700468.2, GB 0712388.8, GB0719833.6 및 GB 0800364.2에서 기술된 기법들 중 하나 이상을 사용하여 이미지를 처리함으로써 도출될 수 있다.
단계(300)에서, 우선 순위 순서가 미리 정의된 서명의 컴포넌트들 중 적어도 일부에 대해 도출된다. 우선 순위 순서는 위에서 기술된 실시예들의 기법들 중 하나, 또는 임의의 다른 적합한 기법을 사용하여 결정될 수 있다.
단계(400)에서, 단계(300)에서 결정된 우선 순위 순서에 따라 각각의 서명이 인코딩된다.
마지막으로, 단계(500)에서, 인코딩된 서명들은 디코더에 의해 사용되기 위해 송신 또는 저장될 수 있는 비트스트림(또는 다른 데이터 구조)으로서 제공된다. 데이터 구조는 위에서 논의된 바와 같은 이진 또는 XML 형식으로, 또는 임의의 다른 적합한 형식으로 송신 또는 저장될 수 있다.
위에서 기술된 인코딩 방법은 도 5에 도시된 바와 같은 프로세서(20)를 포함하는 인코딩 장치(10)에서 수행될 수 있다. 전형적으로, 상기 방법은 위에서 기술된 방법의 단계들을 수행하기 위한, 프로세서(20)에 의해 실행 가능한 명령어들을 포함하는 컴퓨터 프로그램의 형태로 구현된다.
대응하는 디코딩 방법은 도 5에 도시된 바와 같은 프로세서(60)를 포함하는 디코딩 장치(50)에서 수행될 수 있다. 전형적으로, 디코딩 방법은 프로세서(60)에 의해 실행 가능한 명령어들을 포함하는 컴퓨터 프로그램의 형태로 구현된다. 디코딩 방법은 수신된 데이터 구조(예컨대, 비트스트림) 내의 각각의 인코딩된 서명의 첫 m개의 컴포넌트(예컨대 비트)를 수신 및 디코딩하는 단계를 포함하는데, 이들은 위에서 기술된 바처럼 이후에 이미지 검색 및 일치를 위해 사용될 수 있다.
도 5를 상세히 참조하면, 인코더(10)는 이미지 수신기 모듈(90)에서 카메라(110)와 같은 이미지 포착 장치로부터 이미지들을 수신한다. 인코더 프로세서(20)는 이미지들을 처리하고 위에서 기술된 기법들에 따라 이미지들에 대응하는 서명들을 인코딩한다. 선택적으로, 인코더 프로세서(20)는 인코딩된 이미지 서명들 및 대응하는 이미지들을 메모리(30)에 저장한다.
인코더 프로세서(20)는 또한 인코딩된 이미지 서명들, 그리고 선택적으로는 대응하는 이미지들을 통신 링크(40)를 통해 디코더(50)의 수신기(80)에게 송신할 수 있다(예컨대 인코딩된 비트스트림으로서). 디코더 프로세서(60)는 위에서 기술된 기법들에 따라 수신된 이미지 서명들을 디코딩한다. 선택적으로, 디코더 프로세서(60)는 디코딩된 이미지 서명들 및 대응하는 이미지들을 메모리(70)에 저장한다. 디코더 프로세서는 또한 위에서 기술된 기법들에 따라 메모리(70)에 저장된 디코딩된 이미지 서명들을 사용하여 이미지 검색 및 일치를 수행할 수 있다.
대안적인 구현예
대안적인 실시예들에서, 서명은 비 이진 데이터 컴포넌트로 이루어질 수 있다. 이는 또한 우선 순위 순서에 의해 정렬되고 비트스트림 또는 다른 데이터 구조로 인코딩될 수 있다.
기술된 실시예들은 서명 내의 모든 비트들을 이들의 우선 순위에 의해 정렬한다. 당업자가 이해하는 바처럼, 이러한 방식으로 모든 비트들을 정렬하는 것이 필요하지 않거나 바람직하지 않을 수 있다. 따라서, 대안적인 실시예들은 부분적으로 우선 순위 정렬된 인코딩을 포함하는데, 여기서는 가장 높은 m개의 비트가 우선 순위 순서에 기초하여 인코딩되고 다음으로 나머지 비트들은 이들의 원래 순서로 인코딩된다.
우선 순위 순서는 정지 및 움직이는 이미지, 오디오 컨텐츠 등을 포함하는 임의의 유형의 멀티미디어 컨텐츠로부터 추출되는 임의의 유형의 서명으로부터 형성될 수 있다.
당업자가 이해하는 바처럼, 기술된 실시예들에 대해 많은 변경 및 수정이 이루어질 수 있다. 본 발명의 사상 및 범위 내에 속하는 이러한 모든 변경, 수정 및 등가물을 포함하는 것을 의도한다.

Claims (22)

  1. 멀티미디어 컨텐츠의 기술자(descriptor)를 인코딩하기 위한 방법으로서,
    멀티미디어 컨텐츠의 기술자를 수신하는 단계 - 상기 기술자는 상기 멀티미디어 컨텐츠의 각각의 부분들을 기술하는 복수의 컴포넌트를 포함함 -;
    상기 수신된 기술자를 처리하여 상기 복수의 컴포넌트의 우선 순위를 결정하는 단계; 및
    상기 결정된 우선 순위에 기초하여 상기 기술자의 컴포넌트들을 인코딩하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 복수의 컴포넌트의 우선 순위는 우선 순위 정렬 휴리스틱(priority ordering heuristic)을 사용하여 결정되는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 복수의 컴포넌트의 우선 순위는 상기 복수의 컴포넌트 각각 또는 이들의 부분 집합의 엔트로피(entropy)를 고려함으로써 결정되는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 복수의 컴포넌트 각각 또는 이들의 부분 집합의 엔트로피를 고려하는 단계는 상기 컴포넌트 각각에 대한 엔트로피 값을 결정하는 단계를 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    대응하는 기술자들의 데이터 집합의 적어도 하나의 확률 분포를 사용하여 상기 기술자 내의 복수의 컴포넌트 각각 또는 이들의 부분 집합에 대해 추정된 엔트로피 값을 결정하는 단계를 더 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 기술자 내의 복수의 컴포넌트 각각 또는 이들의 부분 집합에 대한 우선 순위 점수를 결정하는 단계; 및
    상기 우선 순위 점수들 및/또는 연관된 컴포넌트들을 연속적인 순서로 배열함으로써 상기 컴포넌트들에 대한 우선 순위 순서를 도출하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    상기 기술자의 컴포넌트들 또는 이들의 부분 집합을 상기 결정된 우선 순위 순서로 인코딩하는 단계를 포함하는 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 기술자의 복수의 컴포넌트 각각 또는 이들의 부분 집합의 상호 종속성(inter-dependence)을 결정하는 단계; 및
    상기 결정된 우선 순위 순서를 상기 결정된 상호 종속성에 기초하여 업데이트하는 단계
    를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 기술자의 복수의 컴포넌트 각각 또는 이들의 부분 집합의 상호 종속성을 결정하는 단계는 각각의 컴포넌트와 상기 결정된 우선 순위 순서에서 더 높은 우선 순위를 갖는 모든 다른 컴포넌트와의 상관(correlation)을 고려하는 단계를 포함하는 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 기술자의 컴포넌트들 또는 이들의 부분 집합을 상기 업데이트된 우선 순위 순서로 인코딩하는 단계를 포함하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 기술자는 이진 서명이고, 각각의 컴포넌트는 상기 이진 서명의 하나 이상의 비트를 포함하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 인코딩된 기술자를 미리 정의된 형식으로 송신 또는 저장하는 단계를 더 포함하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항의 방법을 실행하도록 구성된, 멀티미디어 컨텐츠의 기술자를 인코딩하기 위한 인코더.
  14. 프로세서에 의해 실행될 때, 제1항 내지 제12항 중 어느 한 항의 인코딩 방법을 수행하는 명령어들을 포함하는 컴퓨터 판독 가능 매체.
  15. 멀티미디어 컨텐츠의 기술자를 디코딩하기 위한 방법으로서,
    멀티미디어 컨텐츠의 인코딩된 기술자의 복수의 컴포넌트를 수신하는 단계 - 상기 기술자의 컴포넌트들은 상기 멀티미디어 컨텐츠의 각각의 부분들을 기술하고, 상기 컴포넌트들은 인코딩되지 않은 기술자 내의 대응하는 컴포넌트들의 순서와 상이한 우선 순위 순서로 수신됨 -; 및
    미리 결정된 개수의 복수의 컴포넌트를 수신되는 순서로 각각 디코딩함으로써 상기 미리 결정된 개수의 복수의 컴포넌트를 디코딩하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서,
    상기 기술자의 상기 미리 결정된 개수의 복수의 컴포넌트는 상기 기술자의 복수의 컴포넌트의 전체 개수보다 적은 방법.
  17. 제15항 또는 제16항의 방법을 실행하도록 구성된, 멀티미디어 컨텐츠의 기술자를 디코딩하기 위한 디코더.
  18. 프로세서에 의해 실행될 때, 제15항 또는 제16항의 디코딩 방법을 수행하는 명령어들을 포함하는 컴퓨터 판독 가능 매체.
  19. 이미지 검색을 위한 방법으로서,
    질의 이미지의 인코딩된 기술자를 수신하는 단계;
    제15항 또는 제16항의 방법을 사용하여 상기 질의 이미지의 기술자를 디코딩하는 단계;
    상기 질의 이미지의 기술자의 디코딩된 미리 결정된 개수의 복수의 컴포넌트와 하나 이상의 기준 이미지의 기술자의 대응하는 컴포넌트들 사이의 거리, 바람직하게는 해밍(Hamming) 거리를 결정하는 단계; 및
    상기 결정된 거리가 미리 결정된 문턱값 미만인 기준 이미지들을 선택하는 단계
    를 포함하는 방법.
  20. 제19항에 있어서,
    상기 질의 이미지의 기술자의 나머지 컴포넌트들을 디코딩하는 단계; 및
    상기 선택된 기준 이미지들 각각에 대해, 상기 질의 이미지의 기술자의 모든 디코딩된 컴포넌트들을 상기 선택된 기준 이미지의 기술자의 모든 컴포넌트들과 비교하는 단계
    를 더 포함하는 방법.
  21. 제19항 또는 제20항의 이미지 검색 방법을 수행하기 위한 장치.
  22. 프로세서에 의해 실행될 때, 제19항 또는 제20항의 방법을 수행하는 명령어들을 포함하는 컴퓨터 판독 가능 매체.
KR1020117010430A 2008-10-08 2009-10-08 멀티미디어 서명을 위한 인코딩 및 디코딩 방법 및 장치 KR20110069845A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0818463.2 2008-10-08
GBGB0818463.2A GB0818463D0 (en) 2008-10-08 2008-10-08 Encoding and decoding method and apparatus for multimedia signatures

Publications (1)

Publication Number Publication Date
KR20110069845A true KR20110069845A (ko) 2011-06-23

Family

ID=40042506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117010430A KR20110069845A (ko) 2008-10-08 2009-10-08 멀티미디어 서명을 위한 인코딩 및 디코딩 방법 및 장치

Country Status (6)

Country Link
EP (1) EP2347350B1 (ko)
JP (1) JP5706824B2 (ko)
KR (1) KR20110069845A (ko)
CN (1) CN102177516A (ko)
GB (1) GB0818463D0 (ko)
WO (1) WO2010041074A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900401B (zh) * 2014-01-07 2020-03-06 佳能株式会社 用于对层间依赖性进行编码的方法、装置和计算机程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JPH09282461A (ja) * 1996-04-18 1997-10-31 Atsushi Matsushita カラー画像の重要な構成要素の分割選別方法及びシステム
JP2001045484A (ja) * 1999-07-30 2001-02-16 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR100767489B1 (ko) * 2000-03-18 2007-10-16 주식회사 팬택앤큐리텔 벡터 기술자 표현장치 및 이를 이용한 멀티미디어 데이터 검색장치
CN100584013C (zh) * 2005-01-07 2010-01-20 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置
US7801893B2 (en) * 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US7860308B2 (en) * 2005-12-01 2010-12-28 Yahoo! Inc. Approach for near duplicate image detection

Also Published As

Publication number Publication date
JP5706824B2 (ja) 2015-04-22
EP2347350B1 (en) 2020-02-12
GB0818463D0 (en) 2008-11-12
CN102177516A (zh) 2011-09-07
WO2010041074A1 (en) 2010-04-15
JP2012505457A (ja) 2012-03-01
EP2347350A1 (en) 2011-07-27

Similar Documents

Publication Publication Date Title
US9202255B2 (en) Identifying multimedia objects based on multimedia fingerprint
US8184953B1 (en) Selection of hash lookup keys for efficient retrieval
US20110158538A1 (en) Image feature extraction device
CN110149529B (zh) 媒体信息的处理方法、服务器及存储介质
US20110170782A1 (en) Image identity scale calculation system
US20090210470A1 (en) Apparatus and methods for lossless compression of numerical attributes in rule based systems
US20220222541A1 (en) Neural Network Representation Formats
WO2013185852A1 (en) A system and method to store video fingerprints on distributed nodes in cloud systems
CN112307374A (zh) 基于待办事项的跳转方法、装置、设备及存储介质
CN112508048B (zh) 图像描述的生成方法和装置
CN106911939A (zh) 一种视频转码方法、装置及系统
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
KR100946694B1 (ko) 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법
CN111782798A (zh) 摘要生成方法、装置和设备以及项目管理方法
CN105574030A (zh) 一种信息搜索方法及装置
CN106126721A (zh) 一种实时计算平台的数据处理方法和装置
US20240061579A1 (en) System and method for data compaction utilizing mismatch probability estimation
CN105493106B (zh) 用于基于梯度直方图编码图像描述符的图像处理装置和方法
KR20110069845A (ko) 멀티미디어 서명을 위한 인코딩 및 디코딩 방법 및 장치
CN117194778A (zh) 基于属性图数据的预测规则生成方法、装置、设备及介质
CN107944045B (zh) 基于t分布哈希的图像检索方法及系统
CN115586996A (zh) 基于开源软件供应链的物联网固件指纹识别方法及装置
US20120265768A1 (en) Encoding and decoding method and apparatus for multimedia signatures
CN111813975A (zh) 一种图像检索方法、装置及电子设备
US9116928B1 (en) Identifying features for media file comparison

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid