JP5706824B2 - マルチメディアシグネチャのための符号化及び復号の方法及び装置 - Google Patents
マルチメディアシグネチャのための符号化及び復号の方法及び装置 Download PDFInfo
- Publication number
- JP5706824B2 JP5706824B2 JP2011530574A JP2011530574A JP5706824B2 JP 5706824 B2 JP5706824 B2 JP 5706824B2 JP 2011530574 A JP2011530574 A JP 2011530574A JP 2011530574 A JP2011530574 A JP 2011530574A JP 5706824 B2 JP5706824 B2 JP 5706824B2
- Authority
- JP
- Japan
- Prior art keywords
- bits
- descriptor
- image
- decoding
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
マルチメディアコンテンツのそれぞれの部分を記述する複数の構成要素を含む、前記マルチメディアコンテンツの記述子を受信すること、及び
実験的に求められた優先度に基づいて前記記述子の前記構成要素を符号化すること、
を含む、方法を提供する。
前記方法は、
前記記述子の前記複数の構成要素のそれぞれ又はそれらのサブセットの相互依存を求めること、及び
前記求められた相互依存に基づいて前記求められた優先順序を更新すること
をさらに含む。
前記記述子の前記複数の構成要素のそれぞれ又はそれらのサブセットの相互依存を求めるステップは、前記求められた優先順序においてより高い優先度を有する全ての他の構成要素との、各構成要素の相関を考慮することを含むことができる。
マルチメディアコンテンツの符号化された記述子の複数の構成要素を受信することであって、該記述子の該構成要素は前記マルチメディアコンテンツのそれぞれの部分を記述し、該構成要素は、符号化されていない記述子における対応する構成要素の順序とは異なる優先順序で受信される、受信すること、及び
所定の数の構成要素が受信される順序で該所定の数の構成要素のそれぞれを復号することによって、該所定の数の前記複数の構成要素を復号すること、
を含む、方法を提供する。
クエリ画像の符号化された記述子を受信すること、
本発明の第2の態様による方法を用いて前記クエリ画像の前記記述子を復号すること、
前記クエリ画像の前記記述子の前記復号された所定の数の前記複数の構成要素と、1つ又は複数の基準画像の前記記述子の対応する構成要素との間の距離、好ましくはハミング距離を求めること、及び
前記求められた距離が所定の閾値を下回る基準画像を選択すること、
を含む、方法を提供する。
前記クエリ画像の前記記述子の残りの構成要素を復号すること、及び
前記選択された基準画像ごとに、前記クエリ画像の前記記述子の前記復号された全ての前記構成要素を、前記選択された基準画像の前記記述子の全ての前記構成要素と比較することをさらに含む。
本発明の第1の態様による方法を実行するように構成される、マルチメディアコンテンツの記述子を符号化するための符号化器と、
プロセッサによって実行されると、本発明の第1の態様による符号化方法を実行する命令を含むコンピューター可読媒体と、
本発明の第2の態様による方法を実行するように構成される、マルチメディアコンテンツの記述子を復号するための復号器と、
プロセッサによって実行されると、本発明の第2の態様による復号方法を実行する命令を含むコンピューター可読媒体と、
本発明の第3の態様による画像検索方法を実行するための装置と、
プロセッサによって実行されると、本発明の第3の態様による方法を実行する命令を含むコンピューター可読媒体とを提供する。
欧州特許出願第06255239.3号に記載されるように、シグネチャはバイナリストリングとして表すことができる。
シグネチャは、ビットストリームとして、又はXML等の何らかの他の適切なフォーマットで符号化、記憶、及び/又は送信することができる。
シグネチャを含む符号化されたビットストリーム(又は他のデータ構造)は、受信されて、コンテンツ検索及びマッチングにおける使用のために復号され得る。
1つの実施の形態では、最も高い優先度を有するシグネチャビットがビットストリーム等の符号化されたデータ構造の最初に配置されるように、所定の数のビットを含むシグネチャが符号化される。
好ましくは、シグネチャのビット等の構成要素の優先順序付けは、それらのエントロピーに基づく。
シグネチャの構成要素を優先順序で順序付けるための適切な技法、及びそこから生じる技術的利点が以下に説明される。
S(I(x,y))={s0,s1,...sn-1]
f(si)=−p1(si)log2p1(si)−p0(si)log2p0(si)
ここで、p1(si)はsiが1である確率p(si=1)であり、p0(si)=1−p1(si)はSiが0である確率である。エントロピーは0〜1の範囲にあり、より高い値はより高いエントロピーを意味し、該値は
p(si=1)=p(si=0)=0.5
のとき最大値に達する。
f(si)≧f(sj)≧・・・≧f(sk)
cmax(sj)
新たな優先度スコアを得ることができる。
g(sj)=f(sj)+αcmax(sj)
ここで、αは順序付けの相関の影響を求める設計パラメーターである。次に、更新された優先順序付けが得られる。
g(si)≧g(sj)≧・・・≧g(sk)
i,j,...,k
<complexType name="ImageSignatureType" final="#all">
<complexContent>
<extension base="mpeg7 : VisualDType">
<sequence>
<element name="GlobalSignatureA">
<simpleType>
<restriction>
<simpleType>
<list itemType="mpeg7 : unsigned1" />
</simpleType>
<length value="512" />
</restriction>
</simpleType>
</element>
</sequence>
<sequence>
<element name="GlobalSignatureB">
<simpleType>
<restriction>
<simpleType>
<list itemType="mpeg7 : unsigned1" />
</simpleType>
<length value="512" />
</restriction>
</simpleType>
</element>
<element name="LocalSignature">
<complexType>
<sequence>
<element name="FeaturePointCount">
<simpleType>
<restriction base="nonNegativeInteger">
<minInclusive value="32" />
<maxInclusive value="80" />
</restriction>
</simpleType>
</element>
<element name="FeaturePoint" minOccurs="32" maxOccurs="80">
<complexType>
<sequence>
<element name="XCoord" type="mpeg7 : unsigned8"/>
<element name="YCoord" type="mpeg7 : unsigned8"/>
<element name="Direction" type="mpeg7 : unsigned4 "/>
<element name="Localsignature">
<simpleType>
<restriction>
<simpleType>
<list itemType="mpeg7 : unsigned1 "/>
</simpleType>
<length value="60" />
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</extension>
</complexContent>
</complexType>
符号化されたビットストリームにおける優先順序付けされたシグネチャは、最も情報性のあるビットを最初に記憶するので、復号技法は、最も関連しているビットを最初に復号し、それによって、高速検索及びマッチングを可能にする。これは、2つのシグネチャを比較するとき、最も関連しているmビットしか用いられないためである。さらに、復号技法は、スケーリング可能なシグネチャを提供する。以下の利点はそのようなシステムから生じる。
好ましい実施形態では、T2=T1+εであり、ε≧0である。そのような検索方法において、最初のmビット及び/又は全てのnビットの比較に基づいて類似であると宣言される画像は、検索結果として(たとえば対応する画像をディスプレイ画面に表示することによって)提供され得る。
受信したマルチメディアコンテンツからそのようなシグネチャを抽出するための任意の適切な技法を用いることができる。たとえば、マルチメディアコンテンツが静止画を含む場合、各画像に対するシグネチャは、上述した特許出願である、欧州特許出願第06255239.3号、英国特許出願第0700468.2号、英国特許出願第0712388.8号、英国特許出願第0719833.6号、及び英国特許出願第0800364.2号において記載される技法のうちの1つ又は複数を用いて画像を処理することによって導出することができる。
代替的な実施形態では、シグネチャは非バイナリデータ構成要素から構成されてもよい。これもまた、優先順序で配列されビットストリーム又は他のデータ構造に符号化されてもよい。
Claims (15)
- 画像検索に用いるマルチメディアコンテンツの記述子の符号化データを生成する符号化器によって実行される符号化方法であって、
マルチメディアコンテンツのそれぞれの部分を記述する複数のビットからなる記述子を受信し、
前記記述子の実験データセットを用いて実験的に求められた前記複数のビットの各値の確率分布から得られるエントロピーに基づく優先度スコアに従って前記複数のビットを配列し、
前記優先度スコアに従って配列された前記複数のビットを前記符号化データとして出力する、符号化方法。 - 前記記述子の前記複数のビットのそれぞれ又はそれらのサブセットの相互依存を求めること、及び
前記求められた相互依存に基づいて前記優先度スコアを更新すること、
をさらに含む、請求項1に記載の符号化方法。 - 前記記述子の前記複数のビットのそれぞれ又はそれらのサブセットの相互依存を求めることは、前記優先度スコアにおいてより高い優先度を有する全ての他のビットとの、各ビットの相関を考慮することを含む、請求項2に記載の符号化方法。
- 前記記述子の前記複数のビット又はそれらのサブセッ卜を、前記更新された優先度スコアで符号化することを含む、請求項2又は3に記載の符号化方法。
- 前記符号化された記述子を所定のフォーマットで送信又は記憶することをさらに含む、請求項1〜4のいずれか1項に記載の符号化方法。
- 請求項1〜5のいずれか1項に記載の方法を実行するように構成される、マルチメディアコンテンツの記述子を符号化するための符号化器。
- プロセッサによって実行されると、請求項1〜5のいずれか1項に記載の符号化方法を実行する命令を記憶するコンピューター可読媒体。
- 請求項1〜請求項5のいずれか1項に記載された符号化方法により生成されたマルチメディアコンテンツの記述子の符号化データを復号する復号器によって実行される復号方法であって、
前記符号化データを構成する複数のビットを、符号化されていない記述子における対応するビットの順序とは異なる順序で受信し、
受信した前記複数のビットのうち、最初から所定の数のビットを受信した順序で読み出すことにより、前記符号化データを復号する、復号方法。 - 受信した前記複数のビットから読み出される所定数のビットは、前記符号化データを構成する複数のビットの総数よりも少ない、請求項8に記載の方法。
- 請求項8又は9に記載の方法を実行するように構成される、マルチメディアコンテンツの記述子を復号するための復号器。
- プロセッサによって実行されると、請求項8又は9に記載の復号方法を実行する命令を記憶する、コンピューター可読媒体。
- 画像検索装置によって実行される画像検索方法であって、
クエリ画像の記述子の符号化データを受信し、
請求項8又は9に記載の復号方法を用いて前記クエリ画像の前記記述子の符号化データを復号し、
前記クエリ画像の記述子の復号された所定数のビットと、1つ又は複数の基準画像の記記述子の対応するビットとの間の距離、好ましくはハミング距離を求め、
前記求められた距離が所定の閾値を下回る基準画像を選択する、
画像検索方法。 - 前記クエリ画像の前記記述子の残りのビットを復号し、
前記選択された基準画像ごとに、前記クエリ画像の前記記述子の前記復号された全ての前記ビットを、前記選択された基準画像の記述子の全てのビットと比較すること、
をさらに含む、請求項12に記載の画像検索方法。 - 請求項12又は13に記載の画像検索方法を実行するための装置。
- プロセッサによって実行されると、請求項12又は13に記載の画像検索方法を実行する命令を記憶するコンピューター可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB0818463.2A GB0818463D0 (en) | 2008-10-08 | 2008-10-08 | Encoding and decoding method and apparatus for multimedia signatures |
GB0818463.2 | 2008-10-08 | ||
PCT/GB2009/051341 WO2010041074A1 (en) | 2008-10-08 | 2009-10-08 | Encoding and decoding method and apparatus for multimedia signatures |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012505457A JP2012505457A (ja) | 2012-03-01 |
JP2012505457A5 JP2012505457A5 (ja) | 2012-10-11 |
JP5706824B2 true JP5706824B2 (ja) | 2015-04-22 |
Family
ID=40042506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011530574A Active JP5706824B2 (ja) | 2008-10-08 | 2009-10-08 | マルチメディアシグネチャのための符号化及び復号の方法及び装置 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP2347350B1 (ja) |
JP (1) | JP5706824B2 (ja) |
KR (1) | KR20110069845A (ja) |
CN (1) | CN102177516A (ja) |
GB (1) | GB0818463D0 (ja) |
WO (1) | WO2010041074A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105900401B (zh) * | 2014-01-07 | 2020-03-06 | 佳能株式会社 | 用于对层间依赖性进行编码的方法、装置和计算机程序 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152779A (ja) * | 1993-11-29 | 1995-06-16 | Toshiba Corp | 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置 |
JPH09282461A (ja) * | 1996-04-18 | 1997-10-31 | Atsushi Matsushita | カラー画像の重要な構成要素の分割選別方法及びシステム |
JP2001045484A (ja) * | 1999-07-30 | 2001-02-16 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
KR100767489B1 (ko) * | 2000-03-18 | 2007-10-16 | 주식회사 팬택앤큐리텔 | 벡터 기술자 표현장치 및 이를 이용한 멀티미디어 데이터 검색장치 |
US9088802B2 (en) * | 2005-01-07 | 2015-07-21 | Nippon Telegraph And Telephone Corporation | Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs |
US7801893B2 (en) * | 2005-09-30 | 2010-09-21 | Iac Search & Media, Inc. | Similarity detection and clustering of images |
US7860308B2 (en) * | 2005-12-01 | 2010-12-28 | Yahoo! Inc. | Approach for near duplicate image detection |
-
2008
- 2008-10-08 GB GBGB0818463.2A patent/GB0818463D0/en not_active Ceased
-
2009
- 2009-10-08 WO PCT/GB2009/051341 patent/WO2010041074A1/en active Application Filing
- 2009-10-08 CN CN2009801396465A patent/CN102177516A/zh active Pending
- 2009-10-08 KR KR1020117010430A patent/KR20110069845A/ko not_active Application Discontinuation
- 2009-10-08 EP EP09752219.7A patent/EP2347350B1/en active Active
- 2009-10-08 JP JP2011530574A patent/JP5706824B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2010041074A1 (en) | 2010-04-15 |
EP2347350B1 (en) | 2020-02-12 |
CN102177516A (zh) | 2011-09-07 |
EP2347350A1 (en) | 2011-07-27 |
GB0818463D0 (en) | 2008-11-12 |
KR20110069845A (ko) | 2011-06-23 |
JP2012505457A (ja) | 2012-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220035827A1 (en) | Tag selection and recommendation to a user of a content hosting service | |
JP5175908B2 (ja) | 情報処理装置及びプログラム | |
US20190320213A1 (en) | Media management based on derived quantitative data of quality | |
US8184953B1 (en) | Selection of hash lookup keys for efficient retrieval | |
US9659094B2 (en) | Storing fingerprints of multimedia streams for the presentation of search results | |
WO2009116856A2 (en) | Generating statistics of popular content | |
CN101647288A (zh) | 生成数据流并识别在数据流内的位置 | |
EP2319223A1 (en) | Scalable video providing and reproducing system and methods thereof | |
US8949207B2 (en) | Method and apparatus for decoding encoded structured data from a bit-stream | |
US8723703B2 (en) | Method and apparatus for encoding and decoding structured data | |
JP2006509406A (ja) | ビットストリームフォーマット検出に基づいて特定のデコーダを選択するための方法および装置 | |
CN110149529B (zh) | 媒体信息的处理方法、服务器及存储介质 | |
CN107592572B (zh) | 视频推荐方法、装置及其设备 | |
CN108491715B (zh) | 终端指纹库的生成方法、装置和服务器 | |
CN111782798B (zh) | 摘要生成方法、装置和设备以及项目管理方法 | |
US20110137896A1 (en) | Information processing apparatus, predictive conversion method, and program | |
KR100896336B1 (ko) | 영상 정보 기반의 동영상 연관 검색 시스템 및 방법 | |
CN105786953B (zh) | 在内容中心网络中对编码清单排序 | |
JP2010166154A (ja) | コンテンツ推薦装置およびコンテンツ推薦方法 | |
JP2009539190A (ja) | コンテンツ・アイテムをアノテーションするための装置及び方法 | |
CN104854588A (zh) | 用于搜索标记的主要为非文本的项目的系统和方法 | |
JP5706824B2 (ja) | マルチメディアシグネチャのための符号化及び復号の方法及び装置 | |
CN106937127B (zh) | 一种智能搜索准备的显示方法及其系统 | |
US8761579B2 (en) | Video data processing apparatus and file management method | |
US20120265768A1 (en) | Encoding and decoding method and apparatus for multimedia signatures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5706824 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |