JP5340517B2 - マルチメディア情報に対するメタ・ディスクリプタ - Google Patents

マルチメディア情報に対するメタ・ディスクリプタ Download PDF

Info

Publication number
JP5340517B2
JP5340517B2 JP2001508722A JP2001508722A JP5340517B2 JP 5340517 B2 JP5340517 B2 JP 5340517B2 JP 2001508722 A JP2001508722 A JP 2001508722A JP 2001508722 A JP2001508722 A JP 2001508722A JP 5340517 B2 JP5340517 B2 JP 5340517B2
Authority
JP
Japan
Prior art keywords
descriptor
meta
descriptors
multimedia
multimedia information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001508722A
Other languages
English (en)
Other versions
JP2003529122A5 (ja
JP2003529122A (ja
Inventor
ガンドヒマシ ヴァシィリンガム
モハメッド アブデル−モッタレブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2003529122A publication Critical patent/JP2003529122A/ja
Publication of JP2003529122A5 publication Critical patent/JP2003529122A5/ja
Application granted granted Critical
Publication of JP5340517B2 publication Critical patent/JP5340517B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Description

発明が属する技術分野
本発明は、マルチメディア・データのコンテンツに基づく処理、特に、それのコンテンツを記述しているマルチメディア・データの属性の作成と使用に、関する。
典型的に、マルチメディア情報は、例えば、デジタル、アナログ（例えば、VCR磁気テープとオーディオ磁気テープ）、光学式（例えば、従来のフィルム）、画像（例えば、理論上のピクチャと図形）等の様々の均質でないフォームで存在する。このマルチメディア情報を得る能力は、現代社会においては重要であり、特に、例えば、教育、ジャーナリズム（例えば、ある政治家のスピーチを彼の名前、彼の声、または彼の顔を使用して検索する）、旅行者の情報、文化的サービス（例えば、歴史博物館、アートギャラリ等）、エンタテイメント（例えば、ゲーム、またはカラオケのタイトルの検索）、調査サービス（例えば、人間特性認識と弁論術）、地理的な情報システム、遠隔探査（例えば、地図製作、エコロジ、天然資源管理等）、監視（例えば、交通管理、水陸路輸送、劣悪な環境での非破壊試験等）、バイオ医学的なアプリケーション、買い物（例えば、好みの衣類の検索）、建築、不動産、インテリア・デザイン、社交クラブ（例えば、デート・サービス）、そしてフィルム、ビデオ、およびラジオ・アーカイブのような、様々なプロ用アプリケーションと消費者用アプリケーションにおいて重要である。残念なことに、現在のシステムは、マルチメディア情報を検索する場合、完全ではなく、高速でなく、または効率的でない。例えば、「国際標準化組織ISO/IEC JTC1/SC29/WG11動画および音声のコーディング(International Organizsation for Standardisation ISO/IEC JTC1/SC29/WG11 Coding of Moving Pictures and Audio), MPEG-7 Applications Document V.8, No. N2728, March 1999 」を参照されたい（これは、引用文献として全体が本明細書に組み込まれているものとする）。
マルチメディア情報の検索をサポートする上で重要なステップは、モデムコンピュータシステムを使用して検索可能であるフォームでそれを表すことである。単純波形またはサンプルに基づく表現以上のオーディオ・ビジュアル情報表現と、MPEG-1とMPEG-2のような圧縮に基づく表現と、MPEG-4のようなオブジェクトに基づく表現とであって、かつデバイスまたはコンピュータコードに渡すことが出来、またはそれらによりアクセスすることが出来るフォームを開発することに、多くの関心が、注がれて来た。所有権が異なる多数の解決策が、マルチメディアコンテンツを記述し、かつそれらの表現を抽出しそして結果として生じる表現の集合を照会するために、開発されて来たが、これらは、異種のマルチメディア情報を更に急増させ、かつマルチメディア情報を高速にしかも効率的に検索する困難性を悪化させるのみであった。
「ディスクリプタ」は、マルチメディア情報の媒体または技術にかかわらず、かつマルチメディア情報が、どのように、格納され、符号化され、表示され、かつ送信されるかにかかわらない、マルチメディア情報特有の特性である「機能」の表現である。所有権が異なるマルチメディア情報検索システムに使用されるディスクリプタには、必ずしも互換性がないので、マルチメディア情報を作成し、交換し、検索しおよび／または再利用する計算システムの演算上の要求をサポートする、マルチメディアコンテンツデータを記述する標準を確立することに、関心が向けられていた。具体的には、画像理解（例えば、監視、知的ビジョン、スマートカメラ）と、メディア変換（例えば、テキストのスピーチへの、スピーチのピクチャへの、ピクチャのスピーチヘの変換）と、情報検索（ユーザが興味を持つマルチメディアドキュメントの様々なタイプの高速かつ効率的な検索）と、オーディオ・ビジュアルコンテンツ記述のストリームにおいて（ユーザの好みを満足するこれらのマルチメディア・データ項目のみを受信する）フィルタリングとのために設計された計算システム、が挙げられる。
従って、これらの演算上の要求とこれから開発される他の演算上の要求とをサポートするマルチメディアコンテンツデータを記述する標準に対する必要性が、存在する。
 課題を解決するための手段
従って、特定の実施例で実現される本発明の目的は、収納場所からマルチメディア情報を検索する効率を改善することである。
特定の実施例で実現される本発明の別の目的は、収納場所からマルチメディア情報を検索するスピードを改善することである。
特定の実施例で実現される本発明の更に別の目的は、マルチメディア情報の機能の標準表現を提供することである。
これらのおよび他の目的は、本発明の様々な実施例において達成される。例えば、本発明の一実施例は、複数のマルチメディア情報を表現する方法であって、前記マルチメディア情報に対するディスクリプタを獲得することと、前記ディスクリプタに対する少なくとも一つのメタ・ディスクリプタを生成することと、前記マルチメディア情報に前記少なくとも一つのメタ・ディスクリプタをアッタッチすることとを有する方法である。
本発明の別の実施例は、前記マルチメディア情報が、集合的に、様々なコンテンツのタイプであり、更に前記ディスクリプタのクラスタを生成することを有し、前記メタ・ディスクリプタ生成ステップが、前記クラスタに対するメタ・ディスクリプタを生成することを有し、かつ前記メタ・ディスクリプタ・アッタッチング・ステップが、前記クラスタ内の前記ディスクリプタによって記述された前記マルチメディア情報の項目に前記クラスタに対する前記メタ・ディスクリプタを各々アッタッチすることを有する方法である。
本発明の更なる実施例は、照会マルチメディア情報項目を使用して、ディスクリプタによって記述された収納場所内のマルチメディア情報を検索する方法であって、前記収納場所・ディスクリプタのメタ・ディスクリプタを獲得することと、照会マルチメディア情報を選択することと、少なくとも一つの照会ディスクリプタを得るために、前記メタ・ディスクリプタに基づく照会マルチメディア情報から少なくとも一つの照会ディスクリプタを抽出することと、前記照会ディスクリプタを前記収納場所・ディスクリプタと比較することと、前記比較ステップに従って、前記収納場所内の前記マルチメディア情報の少なくともいくつかをランク付けすることとを有する方法である。
本発明の別の実施例は、収納場所からマルチメディア情報を検索する方法であって、前記収納場所内の前記マルチメディア情報から収納場所・ディスクリプタを抽出することと、前記収納場所・ディスクリプタのクラスタを生成することと、前記収納場所内の前記マルチメディア情報に前記収納場所・ディスクリプタにインデックスを付けることと、前記クラスタに対するメタ・ディスクリプタを生成することと、前記クラスタ内の前記各々のマルチメディア情報に前記クラスタに対する前記メタ・ディスクリプタをアッタッチすることと、照会マルチメディア情報を選択することと、少なくとも一つの照会ディスクリプタを得るために、前記メタ・ディスクリプタに基づく前記照会マルチメディア情報から少なくとも一つのディスクリプタを抽出することと、前記収納場所・ディスクリプタと前記照会ディスクリプタを比較することと、前記比較ステップに従って、前記収納場所内の前記マルチメディア情報の少なくともいくつかをランク付けすることとを有する方法である。
本発明の更なる実施例は、マルチメディアコンテンツの特定のカテゴリに属するマルチメディア情報の項目の機能の表現である複数のディスクリプタに関する情報を表現するデータ構造であって、マルチメディア情報の前記項目を記述する場合に前記ディスクリプタの関連を示す複数のデータ要素を有するデータ構造である。
マルチメディア・データが存在することが出来る様々なフォームの具体例は、図1に示されていて、かつ、例えば、グラフィックス10、静止画像12、ビデオ14、フィルム16、音楽18、音声20、音22、および他のメディア24の多重出現を含む。これらの多重出現は、異なったフォームで格納し、異なったフォームで符号化し、異なったフォームで送信し、異なったメディア上に存在させ、また異なった技術で製作されたものとすることが出来る。マルチメディアのデータは、一つの位置に格納することも出来るし、世界中に分散させることも出来る。例えば、ユーザが興味を持つデジタル化されたマルチメディアは、独立言語型関係またはオブジェクト指向のデータ・ベースに、または異なる技術で実施され、かつ世界中に散在していてかつインターネットのみでアクセス可能な所有者が異なるコンピュータに格納されている別々の独立したデータ・ベースに、格納することが出来る。実際、ユーザが興味を持つデジタル化されていないマルチメディアも、同様に、単一の構成要素の制御のもとで一つの集合に格納することも出来、また異なる構成要素のもとで異なる集合に広く分散させることも出来る。マルチメディア情報が存在するフォームやそれがどのように格納されているかに関係なく、ユーザは、図1に示されるように、特定のマルチメディア・データの集合を効率的に検索するために、マルチメディアの情報の集合を単一の収納場所とみなすことを好むであろう。
本発明者等は、ディスクリプタに加えてメタ・ディスクリプタを使用するマルチメディア情報検索が、マルチメディア情報を識別する場合に、効率的なだけではなく、これが、様々な異なる方法で表現されたマルチメディア情報を識別することが可能であることを見出した。「ディスクリプタ」は、マルチメディア情報特有の特性である「機能」の表現であり、一方「メタ・ディスクリプタ」は、そのディスクリプタに関する情報である。メタ・ディスクリプタは、追加情報を埋め込む周知の方法であるメタ・データの一般的な概念とは異なるが、関連はしている。例えば、ドキュメント内のメタ・データは、ドキュメント内の画像のフォーマットを含むことが出来、そしてデータベース内のメタ・データは、一つの関係の属性に対する値制約または統計情報を含むことが出来る。特に、マルチメディア情報の項目に対するメタ・ディスクリプタは、マルチメディア情報のこの項目を識別する最も有効な情報を含むマルチメディア情報のこの項目に対するディスクリプタのこれらの部分を識別する。メタ・ディスクリプタの概念は、所定のマルチメディア情報項目は、それを最もよく記述しているものを知ることに最も適していて、かつこの情報を示すことは、コンテンツベースの検索を大きく強化するという認識に基づいている。メタ・ディスクリプタにより、マルチメディア情報に対するコンピュータ化された検索を、メタ・スクリプタのサイズを一般により小さくすることにより、より高速に行い、関連性の薄い情報を除去することにより、より効率的に行うことが出来ることは、有利である。
多くのマルチメディアの検索技術がメタ・ディスクリプタの使用に適合化させることが出来るが、メタ・ディスクリプタを使用してマルチメディア情報を検索する好適技術は、シナリオ検索、または例示照会である。例えば、画像の例示照会検索の場合、特定の静止画像が、収納場所を照会する根拠として規定される。この照会は、人間のユーザによるプロセス、または自動化されたプロセスとすることが出来る照会のイニシエータ、または例えば、検索処理に使用される検索アルゴリズムの何れかにより規定される。この照会は、収納場所内のマルチメディア情報のメタ・ディスクリプタ内に示された一つまたは複数の機能が、重要となることに基づいて形成される。その一つまたは複数の機能に対するディスクリプタは、照会マルチメディア情報から抽出され、かつマルチメディア情報の一つ以上の「マッチング」項目を選択するために使用される類似尺度を得るために、収納場所マルチメディア情報から抽出されたディスクリプタと比較される。場合によっては、収納場所マルチメディア情報に対するメタ・ディスクリプタは、コンテンツ内の明白で大きな相違点を即座に示すことが出来、これによって、ディスクリプタの抽出と、照会と特定の収納場所マルチメディア情報に対する機能との比較とを実行する計算が不用になる。ユーザが情報検索のエキスパートでない場合、マルチメディア情報とマッチングする検索で使用されるその特定の一つまたは複数の機能は、使用の簡潔さのためユーザに対して即応型であることが好ましい。
図2は、収納場所マルチメディア情報に対するメタ・スクリプトを生成し、かつ収納場所の照会を実行する処理を示しているフローチャートである。メタ・ディスクリプタが、マルチメディア情報の何れのタイプにも使用することが出来るが、図2に例示された具体例は、説明を容易にするために静止画像に基づいている。メタ・ディスクリプタを生成する方法110は、主要なステップ111〜114により示されていて、そして図1に示されるようなマルチメディアの収納場所を照会する方法130は、主要なステップ131〜137により示されている。メタ・ディスクリプタは、人間によって、または半自動式の技術の混成によってユーザ入力を定式化することによっても生成することが出来るが、メタ・ディスクリプタ生成方法110は、管理されない、または自動化された機械学習方法である。照会方法130は、照会のユーザの定式化を除いて自動化されることが好ましい。ディスクリプタの生成およびマルチメディア情報検索の様々な観点は、周知であり、かつ様々の刊行物に記述されている。それらの例には、Yong Rui, Thomas S. Hung およびShih-Fu Changによる「画像検索：過去、現在そして未来（Image Retrieval:Past, Present, and Future）」（Jounal of Visual Communication and Image Representation, 10,1-23(1999)）；Sharad Mehrotra, Yong Rui, Michasel Ortega-Briderberger， およびThomas S. Huangによる「MARSにおける画像についてのコンテントにもとずく照会の指示（Supporting Content-based Queries over Image in MARS）」（Proceedings of the IEEE International Conference on Multimedia Computing and System, June 3-6, 1997, Chateau Laurier, Ottawa, Ontario, Canada, 1997, pp.632-633）；Sharad Mehrota, Yong Rui, Kaushik Chakrabarti, Michael Ortega-Binderberger， およびThomas S.Huangによる「マルチメディア分析および検索システム（Multimedia Analysis and Retrieval System）」（Proceedings of the 3rd International Workshop on Information Retrieval Systems, Como, Italy, September 25-27, 1997, pp.39-45）；そしてPatrick M. Kelly, Michael Cannon, およびDonald R. Hushによる「画像例による照会（Query by Image Example）」（the CANADI Approach,in SPIE Vol. 2420 Storage and Retrieval for Image and Video Databases III, 1995, pp. 238-248）が、挙げられ、これらは引用文献としてそれらの全体が本明細書に組み込まれているものとする。
メタ・ディスクリプタ生成方法110の第一のステップ111は、マルチメディア（「MM」）情報からのディスクリプタの抽出である。ディスクリプタ抽出アルゴリズムおよびソフトウエアとインデックス付けアルゴリズムおよびソフトウエアは、従来技術において周知であり、かつそれらの具体例は、上述した刊行物に記述されている。何れの関連する標準によって課せられる制約を除いて、ディスクリプタ抽出技術の何れか一つまたは組み合わせは、所望どおり使用することが出来る。任意の瞬間に抽出された特有のディスクリプタは、自動化された処理で使用されたソフトウエア、手動の処理におけるユーザの動作、またはハイブリッド処理におけるユーザとソフトウエアのインタラクションに依存するが、典型的には、静止画像から抽出きれたディスクリプタは、例えば、カラー、形状、テクスチャ、およびスケッチを含む。自動化された処理は、それらが収納場所内の大量のマルチメディア情報を人間の重要な介入を必要とせずに処理することが出来るので有利である。典型的には、静止画像に演算を行う自動化された処理は、意味レベルに演算を行なわない。つまり、これらは、この様な項でファミリーポートを記述せず、おそらく静止画像全体に対して、またはおそらく画像が分割されたマルチブル・ブロックに対して色、形状、テクスチャ、およびスケッチの値を生成すると言える。
所望により他の技術を使用することも可能で、かつ具体例は上述された刊行物に記述されているが、次のステップ112は、ディスクリプタに基づいてマルチメディア情報をクラスタ化することである。本質的に、クラスタリングとは、から、ディスクリプタに適応されたある基準に基づいて、大きい混合データセットから類似したマルチメディア情報をグループ化することである（クラスタリングは、同じコンテンツのタイプ情報の小さい収納場所には必要とされない）。クラスタは、似ている構成要素のセットであり、そして異なるクラスタからの構成要素は、似ていない。メタ・ディスクリプタの抽出は、管理されているまたは管理されていないクラスタリングによって行うことが出来る。管理されたクラスタリングによるメタ・ディスクリプタの抽出は、以前にラベルまたはディスクリプタが割り当てられたクラスタの代表のセットに対し、その機能に基づくクラスタリング・マルチメディア・コンテンツに関係する。各クラスタ内の画像には、この時、このクラスタの代表のラベル、またはディスクリプタが割り当てられる。管理されないクラスタリングによるメタ・ディスクリプタの抽出は、各記述された機能に基づくクラスタリング・マルチメディア・コンテンツに関係する。例えば、画像のセットは、それらのカラー機能に基づく第一のクラスタ表現と、これらのテクスチャ機能に基づく第二のクラスタ表現とを有する。例えば、それらのクラスタが、どの程度明瞭に規定され、かつコンパクトであるかを計算するプログラムされた測定基準を使用して各機能に対するクラスタを比較することに基づき、一つの機能または二、三の機能が、所定の画像を記述する上で他のものより優れていることが判明する。例えば、ある画像は、カラー機能に基づいてクラスタのセットにおいて極めてコンパクトでかつ明瞭に規定されたクラスタに属することが出来るが、テクスチャ機能に基づいてクラスタのセットにおいて大きく広がってかつ重なっているクラスタに属することも出来る。従って、カラー機能は、それがそれらの各々の機能スペース内でテクスチャ機能よりより良く画像を分類するので、画像に対するメタ・ディスクリプタとして選択される。
クラスタは、数学的には、クラスタ内の任意の二つのポイント間の距離が、そのクラスタ内の任意のポイントとそのクラスタ内に無い任意のポイント間の距離より小さい、テストスペース内のポイントの集合である。例えば、Anil K. JainとRichard C. Dubesによる「クラスタリングデータのアルゴリズム（Algorithms for Clustering Data）」（Prentice Hall Advanced Reference Series, 1988,p.1.）を参照されたい。クラスタ分析は、特定の問題のコンテキスト中に意味を有するサブセットにオブジェクトを分類するプロセスである。オブジェクトは、これによって、サンプリングされている母集団を特徴づける効率的な表現に編成される。オブジェクト間の関係は、行と列がオブジェクトに対応している近似マトリクスにより表現される。オブジェクトが、d次元距離空間のパターンまたはポイントとして特徴付けられる場合、その近似は、ユークリッド距離のような対を成すポイント間の距離とすることが出来る。典型的に、近似マトリクスは、クラスタリングアルゴリズムへの唯一の入力である。クラスタ化されているオブジェクトは、異なるトピックに関するデジタル画像またはドキュメント内の種類が異なるプラント、ピクセルとすることが出来る。クラスタ分析は、パターン認識と画像処理において数個のアプリケーションが見出される。クラスタ分析は、管理されない学習に関するアプリケーション、および人工知能における機械学習と知識表現の補助における機能選択に使用される。
静止画像から抽出されたディスクリプタは、典型的には、スペース内のポイントの集合を表現している多次元数のベクトルである。単純なケースでは、クラスタリングアルゴリズムは、2Dスペース内のポイントの集合内の距離を比較し、それらのポイントがどの程度近接しているかを決定する。より高度なアルゴリズムの場合、この概念は、多次元のスペースまで拡張される。整合性を保証するために、クラスタリング処理は、同じ抽出アルゴリズムで処理されたマルチメディア情報のみに適応されることが好ましい。静止画像に対して、クラスタリングは、典型的に低レベル機能の類似性に基づいている。例えば、（例えば、浜辺のシーンから生成されるような）特定のカラーとテクスチャに対しては明瞭なパターンが現れるが、一方スケッチと形状に対しては不明確な結果を有する画像は、同じクラスタ内にあると考えることが出来る。管理されないクラスタリングアルゴリズムは、典型的には、ユーザによって指定されるしきい値ポイントが達成されるまで、反復して作動し、それらの結果を精緻化する。
次のスッテップ113は、メタ・ディスクリプタを各クラスタに割り当てる。例えば、パターンが、カラーについてのみ現れる場合、カラーのメタ・ディスクリプタは、100％そのクラスタに割り当てられる。（モノクロの工業設計図のように）パターンがスケッチのみに現れる場合、例えば、スケッチのメタ・ディスクリプタは、100％そのクラスタに割り当てられる。明瞭なパターンが特定のカラーとテクスチャに対してのみ現れる前記具体例の静止画像の特定のクラスタに対しては、カラー50％とテクスチャ50％のメタ・ディスクリプタが、そのクラスタに割り当てられる。処理自動化が要望される場合、重みは、マルチメディア情報に関する過去の経験による統計情報に基づく経験的規則を使用して割り当てることが出来る。これに代えて、メタ・ディスクリプタは、必要に応じ、手動で割り当てることが出来、または必要に応じ、人間のインタラクションによる半自動方式で割り当てることが出来る。
メタ・ディスクリプタは、プログラマに便利であれば如何なるフォームを取ることが出来る。一つの特にコンパクトなフォームの場合、メタ・ディスクリプタは、バイナリベクトルＸである。ここで、各ビットxi は、マルチメディアコンテンツのこのカテゴリに対して固定数の順序付けられた機能が与えられた機能の関連性（xi =ith 機能が、関連している）を示している。静止画像の場合、例えば、適切なベクトルは、その中の２進数1または0が、各々、マルチメディアの記述における、カラー、形状、テクスチャ、およびスケッチの重要性または不適切さを示す4ビットベクトルである。特定の静止画像においてカラーしか重要でない場合には、適切なメタ・ディスクリプタは、1000である。
特定重みを割り当てることが出来る表記法は、重み付きベクトルXを使用する。ここで、ベクトルxi の各要素は、マルチメディアコンテンツのこのカテゴリに対して固定数の順序付けられた機能が与えられたithの機能に割り当てられた重みを示している。カラーとスケッチの両方が重要であるが、重みが異なる場合、このタイプの適切なメタ・スクリプタは、カラーが70％の重みを有し、かつスケッチが30パーセントの重みを有することを示す「70,0,0,30」である。
別のフォームは、異なる重みのみならず異なる抽出アルゴリズムを扱いかつ静止画像をマルチプル・ブロックに分割することが出来るストリング表記法である。さらに、ストリング表現は、新しい機能を、後にメタ・ディスクリプタ内で適切な時間に考慮することを可能にする。ストリング表記法の場合、ストリング内の各文字または文字グループは、既定の標準表記法に従って、与えられた機能と機能のセットとの関連性を示す。例えば、四つの有効なカラー・ディスクリプタ・タイプのセット、（1）RGBカラースペース内の全ての画像に対する単一ヒストグラム；（2）5×5グリッドに分割されるRGBカラースペース内の画像に対する25のヒストグラム；（3）YUVカラースペース内の全ての画像に対する単一ヒストグラム；および（4）5×5グリッドに分割されるYUVカラースペース内の画像に対する25のヒストグラム（結果として生ずる25のブロックの各々は、一つのヒストグラムによって表現される）を考えよう。これらのディスクリプタ・タイプは、1からnまで数値的に順序づけられていて、nを、有効なディスクリプタ・タイプの番号である（ここでは4）と仮定する。例えば、第一および第四カラー・ディスクリプタによって最良に記述される静止画像に対する適切なストリング・メタ・ディスクリプタは、「C214」である。これは、カラー機能が、関連した（C）であり、かつカラー表現の既定セットからの二つの（2）カラー表現、即ち、カラー表現の既定セットからの第一および第四（14）カラー表現により得られることを意味する。ストリング表記法は、特にフレキシブルであり、異なるカラースペ一ス（例えば、RGBとYUV）を識別することが出来るばかりでなく、各カラースペースを（例えば、１ブロック、10ブロックのセット、100ブロックのセット等として）違えて計算することが出来る。ストリング表記法の機能拡張は、適正な既定コードによって異なる抽出アルゴリズムを扱うことが出来る。
異なるフォームのメタ・ディスクリプタは、異なるマルチメディア情報に使用することが出来、かつメタ・ディスクリプタの特定のフォームに提供されない如何なる情報も、デフォルトによって供給することが出来る。例えば、デフォルトディスクリプタ抽出方法とデフォルトカラースペースが使用される場合、バイナリ・メタ・ディスクリプタが、適切である。
次のステップ114は、クラスタ情報に基づいてマルチメディア情報にメタ・ディスクリプタをアタッチさせる。様々な異なる「アタッチメント」技術は、周知であり、かつメディア・タイプとそれにアクセスする仕方に基づく使用に対して選択することが出来、かつ異なるアタッチメント・タイプを、メタ・ディスクリプタの特定のデータ・ベースの範囲内で使用することが出来る。それらが存在しない場合には、システムは、デフォルトまたはメタ・ディスクリプタ表記法内の値の何れかによりそれらを計算する方法を知っていなければならないが、ディスクリプタ自体は、存在していても、存在していなくても良い。少なくとも、メタ・ディスクリプタかつそれらのアッタチメント・データは、システムにアクセス可能な如何なるタイプのデータ・ベースでも良い記憶部120に格納させることが好ましい。ディスクリプタは、記憶部120に格納することが出来、またはこれらが抽出されたマルチメディア情報と共に格納することが出来る。マルチメディア情報自体は、収納場所（図1）の中にあり、それは、記憶装置120内の他のメモリと同様に特定され、またはインターネットと同様に多様であり、または紙の様な非電子フォームの記憶を含むように多様であっても良い。
機能が、例えば、画像に対して、メタ・ディスクリプト内に存在するように選択されると、メタ・ディスクリプタは、必要に応じ、既定セットからの他の機能の存在を可能にする。テストされる機能の数を減らすために、ラベルを付けられたトレーニング・セットから導出された結合ルールのセットを、適正ならば、使用することが出来る。例えば、特定の収納場所は、スケッチによってうまく記述されていないマルチメディア情報を含むことが出来るので、検索システムは、スケッチを使用する必要はないであろう。
抽出の間、マルチメディアコンテンツからの機能は、必要に応じ、メタ・ディスクリプタ内の値を決定するために、より高いレベルの意味情報と結合させることが出来る。例えば、マルチメディアコンテンツが画像である場合、画像からの機能は、その画像に関連するテキスト・キャプションからの意味情報と結合され、その画像に対するメタ・ディスクリプタ内の値を決定する。
図3は、様々なアタッチメント技術を使用する関係型データ・ベースファイル（データ・ベースの他の如何なるタイプも、適切である）に対する単純なマルチメディア情報表の具体例である。例示的に、表は、5つのフィールド、マルチメディア情報番号フィールドMM_INFO_NOと、ディスクリプタ値フィールドDVと、メタ・ディスクリプタ値フィールドMDVと、マルチメディア・ファイル・ソース・フィールドMM_SOURCEと、コメント・フィールドCOMMENTとを有する。MM_INFO_NOフィールドは、基本キー・フィールドである。DVとMDVフィールドは、例えば、ストリングベクトルを含む文字フィールドである。MM_SOURCEフィールドは、デジタル化されたドキュメント、図面、ピクチャ、音等のようなOLEオブジェクトにリンクし、またはそれらを埋め込むOLEデータタイプである。COMMENTフィールドは、メモ・データ・タイプ・フィールドである。必要に応じ、ディスクリプタがマルチメディア情報内に埋め込まれるか、または検索システムがマルチメディア情報からディスクリプタを抽出することが出来るならば、DVフィールドは、表から省略することが出来る。しかしながら、ローカル・データ・ベースにディスクリプタを有することは、検索システムがより高速に動作することを可能にする。
基本キーMM01によって識別されたレコードは、ディスクリプタ値DV01とメタ・ディスクリプタ値MDV01とを含み、かつOLEデータ・タイプ・フィールド内のリンクによってFILE01内に格納されているデジタル化された静止画像にアタッチされる。基本キーMM02によって識別されたレコードは、メタ・ディスクリプタ値MDV02を含み、かつOLEデータ・タイプ・フィールド内にリンクによってFILE02内に格納されているデジタル化された静止画像にアタッチされる。ディスクリプト値は、収納場所内のマルチメディア情報を照会する処理中、FILE02のコンテンツから抽出される。基本キーMM03によって識別されたレコードは、ディスクリプタ値DV03と画像内のマルチメディア情報のブロックに対するメタ・ディスクリプタ値MDV03とを含み、かつOLEデータ・タイプ・フィールド内のリンクによってFILE03内に格納されているデジタル化された静止画像にアタッチされる。基本キーMM04によって識別されたレコードは、ディスクリプタ値DV04と同じ画像のマルチメディア情報の別のブロックに対するメタ・ディスクリプタ値MDV04とを含み、かつOLEデータ・タイプ・フィールド内のリンクによってFILE04内に格納されているデジタル化された静止画像にアタッチされる。基本キーMM05によって識別されたレコードは、OLEデータ・タイプ・フィールド内のリンクによってFILE05内に格納されているデジタル化された静止画像にアタッチされる。DVとMDVフィールドは、DVとMDVがリンクされたファイルに埋め込まれ、かつそれから容易に読み出すことが出来るので、このレコードに対して空白である。基本キーMM06によって識別されたレコードは、OLEデータ・タイプ・フィールド内のURLリンクによってインターネットでアクセス可能な別のデータ・ベース内に格納されているデジタル化された静止画像にアタッチされる。DVとMDVフィールドは、DVとMDVがリンクされたファイルに埋め込まれ、かつそれから読み出すことが出来るので、このレコードに対して空白である。基本キーMM07によって識別されたレコードは、メタ・ディスクリプタ値MDV07を含み、VCRテープにアッタッチされる。ディスクリプタ値がVCRテープ上に垂直帰線消去期間に埋め込まれ、かつそれから読み出すことが出来るので、DVフィールドは、このレコードに対して空白である。MM_SOURCEフィールドは、このレコードに対して空白である。検索システムが、内容の明白かつ大きな相違点が照会マルチメディアとVRCテープとの間に存在することをメタ・ディスクリプタから検知しない限り、テープをマウントし、かつディスクリプタが、照会中VCRテープから読み出しを行なわなければならない。基本キーMM08によって識別されたレコードは、ディスクリプタ値DV08とメタ・ディスクリプタ値MDV08とを含み、かつ写真印画紙にプリントされ、かつ引き出し08にファイルされた静止画像にアッタッチされる。MM_SOURCEフィールドは、このレコードに対して空白である。
図1に示されるようなマルチメディア収納場所を照会する方法130は、主要ステップ131〜137によって示される。ステップ131は、任意の便利な方法、ここでは例示照会を使用するユーザによる照会の形成である。例示照会言語の場合、ユーザは、マルチメディア情報の項目を選択し、かつ収納場所からマルチメディア情報の全てにマッチングする項目を見出そうとする。ステップ132において、収納場所内のマルチメディア情報の項目に対するディスクリプタとメタ・ディスクリプタとが、図示されるように、記憶120から検索される。ディスクリプタの場合、それらは、その代わりに、マルチメディア情報とともに格納し、そして従ってそれらをマルチメディア情報から検索しなけばならないようにするか、またはそれらを利用できなくし、そしてメタ・ディスクリプタの値に基づいて再び抽出しなければならなくすることもできる。収納場所マルチメディア情報項目に対するディスクリプタが、照会130内であらかじめ処理されてないタイプである（ステップ133でYES）場合、対応するディスクリプタは、メタ・ディスクリプタによって示される抽出方法と重みを収納場所マルチメディア情報項目に適応させることによって、照会マルチメディア項目から抽出される（ステップ134）。次いで、比較（ステップ135）が、収納場所マルチメディア情報項目に対する参照ディスクリプタとディスクリプタとの間で行われる。収納場所マルチメディア情報項目に対するメタ・ディスクリプタにおいて重みを与えられない機能は、メタ・ディスクリプタ抽出に対する処理には必要ない。比較は、データ・ベース内で全てのクラスタに対して繰り返され（ステップ136でNO）、かつ各クラスタからの最も近いマッチのセットが、従来技術で周知である適切な手段により、適正にランク付けされ、かつユーザに表示される（ステップ137）。
人間のエキスパートによってユーザ入力を形式化することに関するメタ・ディスクリプタを最適化する技術が、図4に示されている。本明細書の明確さのために、静止画像の単純な収納場所が、想定されている。この様な画像は、典型的には、例えば、人間の姿、植物、景色、および織物のようないくつかのカテゴリに分類することが可能であり、かつカラー、形状、テクスチャ、およびスケッチのようないくつかの方法によって、コンテンツに基づく検索を可能にする。データデース内の所定の画像は、これらの機能の一つ以上によって最も良く記述され、かつ他の機能によっては十分に記述されない。例えば、人間の姿は、形状によって最も良く記述され、かつ植物は、カラーとテクスチャによって最も良く記述され、かつ景色は、テクスチャ単独によって最も良く記述される。これらの特性を有するデータ・ベースは、人間の入力を使用して次のようにトレーニングされる。ステップ301において、メタ・ディスクリプタ生成処理は、カラー、形状、テクスチャ、およびスケッチ等の機能の全てを使用して実行される（図2のステップ112〜114は、この様な処理の例である）。ステップ302において、マルチメディアの照会処理が、カラー、形状、テクスチャ、およびスケッチ等の機能の全てを使用して実行される（図2のステップ131〜136は、この様な処理の例である）。ステップ303において、結果は、検索システムによってランク付けされ、かつ人間のエキスパートに表示される。最も近いマッチから、ユーザは、どの方法が最も良く照会画像に合うかを決定し、また複数の方法が照会画像に合う場合、ユーザは、適切な基準を使用して適切な機能の各々に対する重みを決定する。ユーザは、適切な機能に対して同じ重みが与えられるべき最も近いマッチのセット内の他の画像の全ても示す。ステップ306において、検索システムは、例えば、人間のエキスパートの入力に基づく機能に対して新しい重みを割り当てることによって、メタ・ディスクリプタの値をアップデートする。如何なる様々な反復的学習技術も、使用することが出来る。トレーニング内で全く考慮されなかった画像には、全ての機能に対して等しい重みを割り当てることが出来る。人間のエキスパートが、その結果に満足するまで、ステップ301、302、303および306は、繰り返され、そしてメタ・ディスクリプタは最適化され、かつ処理300は終了する。
特定の標準化方式に関わらず、メタ・ディスクリプタは、ディスクリプタ、ディスクリプタ方式、およびディスクリプタ定義言語に対する標準システムに組み込まれる場合、最も効果的である。ディスクリプタとは何か、かつそれがマルチメディア情報の検索システム内でどのように機能するかを述べた例は、「国際標準化組織ISO/IEC JTC1/SC29/WG11 動画および音声コーディング（International Organisation for Standardisation ISO/IEC JTC1/SC29/WG11 Coding of Moving Pictures and Audio）」（MPEG-7 Requirements Document V.8, No.N2727, March 1999）；「国際標準化組織ISO/IEC JTC1/SC29/WG11 動画および音声コーディング, MPEG-7（International Organization for Standardisation ISO/IEC JTC1/SC29/WG11 Coding of Moving Pictures and Audio, MPEG-7）」（Context, Objectives and Technical Roadmap, V.11, No.N2729, March 1999）であり、これらは、引用文献としてそれらの全体が、本明細書に組み込まれているものとする。これらの文献において示された観点によると、マルチメディア情報の検索は、「ディスクリプタ」とそれらの例示（「ディスクリプタ値」）を比較することによって実行され、ディスクリプタは、マルチメディア情報の「機能」の表現であり、かつ機能は、誰かに何かを知らせるマルチメディア情報特有の特性である。ディスクリプタは、機能表現の構文と意味を定義する。必要に応じ、異なる関連した要求事項が、アドレス指定されることが必要となる場合のように、数個のディスクリプタを、単一の機能を表現するために使用することが出来る。例えば、カラー機能に対して可能なディスクリプタは、カラーヒストグラム、周波数成分の平均、モーション・フィールド、およびタイトルのテキスト等である。ディスクリプタ値は、「記述方式」のメカニズムを介して「記述」を形成するために結合される。特に、記述方式（「DS」）は、ディスクリプタと記述方式とすることが出来るその成分間の関係の構成と意味を規定し、かつ記述は、DS(構成)とマルチメディア・データを記述するディスクリプタ値（例示）のセットから成る。記述定義言語（「DDL」）は、新規な記述方式、およびおそらくディスクリプタの作成を可能にする言語である。それは、既存の記述方式の拡張と変更態様も可能にする。（スケッチ機能を含むように修正された）上述したMPEG-7 Requirements Document V.8から引用した表1は、機能とそのディスクリプタ間の区別を示す。
Figure 0005340517
ディスクリプタと記述方式のための一般的な要求事項は、上述のMPEG-7 Requirements Document内に提案されたように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。機能の多重タイプ(Multiple types of features) ― 適切なディスクリプタとそれらのメタ・ディスクリプタは、次のような様々なタイプの機能を使用しているマルチメディア記述をサポートする：N次元の時空間構造（例えば、音楽セグメントの継続時間）、オブジェクティブ機能（例えば、ホテル内のベッド数、オブジェクトのカラー、オブジェクトの形状、オーディオピッチ等）、主観的機能（例えば、誰かがどの程度素適で、幸福で、太っているかということ、トピック、スタイル等）、生産機能（例えば、取得日のようなドキュメント作成についての情報、プロデューサ、ディレクタ、パフオーマ、役割、生産会社、生産履歴、何れかの非IPMP生産情報）、合成情報（例えば、シーンが組み立てられる方法、編集情報、ユーザの優先等）、および概念（例えば、イベント、アクティビティ）。マルチメディア材料に対する抽象レベル(Abstraction levels for the multimedia material) ― 異なる抽象レベルでマルチメディアドキュメントを記述する階層的なメカニズムは、サポートされ、それは（例えば、サブオブジェクトからのオブジェクトの合成と、ビデオのモーションシーケンス解析によるシーケンスと、ビデオのプロット構造のような）異なる抽象レベルで情報に対するユーザのニーズに対処する。クロスモダリティ(Cross-modality) ―ビジュアル記述に基づいて照会がオーディオ・データを検索することおよびその逆を可能にする、オーディオ、ビジュアル、または他のディスクリプタおよびメタ・ディスクリプタが、サポートされる（例えば、照会は、パバロッティの音声の抽出であり、かつその結果は、パバロッティが歌っていて、かつパバロッティが現れるビデオ・クリップの検索である）。多重記述(Multiple descriptions) ― その生産プロセスの数個のステージで、同じ材料の多重記述を扱う能力が、同じ材料の多重コピーに適応される記述と同様に、サポートされる。記述方式関係(Description scheme relations) ― 適切な記述方式は、ディスクリプタとそれらのメタ・ディスクリプタとの間の関係を表し、複数の記述方式のそれらの使用を可能にする。異なる記述方式でのディスクリプタとそれらのメタ・ディスクリプタとの間の等価関係を符号化する性能が、サポートされる。ディスクリプタ優先順位(Descriptor priorities) ― ディスクリプタとそれらのメタ・ディスクリプタの優先順位付けは、照会をより効率的に処理することが出来るように記述方式によってサポートされることが好ましい。優先順位は、確信、または信頼性のレベルを反映することが出来る。ディスクリプタ階層(Descriptor hierarchy) ― 適切な記述方式は、照会が、（Nレベルディスクリプタが（N-1）レベルディスクリプタを補足する）連続したレベルで、より効率的に処理されることを可能にするために、異なるディスクリプタとそれらのメタ・ディスクリプタの階層的表現をサポートする。ディスクリプタ・スケーラビリティ(Descriptor scalability) ― 適切な記述方式は、照会を、連続した記述層でより効率的に処理することが出来るように、それらのメタ・ディスクリプタを有するスケーラブルなディスクリプタをサポートする。時間範囲の記述(Description of temporal range)―異なる時間範囲へのそれらのメタ・ディスクリプタを有するディスクリプタの関連は、シーケンシャル（それらのメタ・ディスクリプタを有するディスクリプタは、連続する時間間隔に連続して関連する）および階層的（それらのメタ・ディスクリプタを有するディスクリプタは、全部のデータ、またはそれの時間なサブセットに関連する）の両方でサポートされる。直接データ操作(Direct data manipulation) ―データに直接参照することを扱うように作用するディスクリプタとそれらのメタ・ディスクリプタは、サポートされ、マルチメディア材料の操作を可能にする。テキストベースの記述言語(Language of text-based descriptions) ― それらのメタ・ディズクリプタを有する適切なディスクリプタは、記述で使用される言語を規定し、かつ全ての自然言語をサポートする。テキスト記述における翻訳(Translations in text descriptions) ― 適切なテキスト記述は、異なる言語における記述間の関係を伝えるために、多数の異なる言語への翻訳を含む方法を提供する。
ディスクリプタと記述方式に対する機能要求は 上述したMPEG-7 Requirements Documentに提案されているように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされている。検索効果(Retrieval effectiveness) ― マルチメディア材料の効果的な検索は、サポートされる。検索効率 ― マルチメディア材料の効率的な検索は、サポートされる。類似ベース検索(Similarity-base retrieval) ― 照会との類似の程度によってデータ・ベース・コンテンツの順位付けを可能にする記述が、サポートされる。関連情報(Associated information) ― データと他の情報との関連性が、サポートされる。流出されたおよび格納された記述(Streamed and stored descriptions) ― （コンテンツと同期された）流出されたデータと流出されないデータの記述の両方が、サポートされる。分散型マルチメディア・データベース(Distributed multimedia database) ― 分散型データ・ベースにおけるマルチメディア・データの同時かつ即応型の検索が、サポートされる。アナログデータの参照(Referencing analogue and data) ― アナログ・フォーマットにおけるマルチメディアドキュメントを参照しかつ記述する能力が、サポートされる（例えば、VHSテープ内のシーケンスに対する時間参照を提供する）。インタラクティブ照会(Interactive queries) ― インタラクティブ照会を可能にするメカニズムが、サポートされる。リンキング(Linking) ― ソース・データを空間と時間に位置付けることが可能なメカニズムが、関連情報へのリンクを含んで、サポートされる。関連情報の優先順位(Prioritization of related information) ― 関連情報の優先順位を可能にするメカニズムが、上述のリンキングのもとで、サポートされる。ブラウジング(Browsing) ― 情報コンテンツをプレビューできる記述が、ユーザが構成および／または情報タイプの彼らの不慣れを克服するのを助け、または彼等の未決定のニーズを明瞭にするために、サポートされる。準関係(Associate relation) ― 記述の成分の間の関係が、サポートされる。インタラクティビティ・サポート(Interactivity support) ― 記述に関するインタラクティビティを規定することが可能な手段が、サポートされる（例えば、放送イベントに関するテレ投票）。知的所有権情報 ― 著作権、ライセンス、およびDs、DSs、および記述に関する認証情報の内包が、サポートされる。
ディスクリプタと記述方式に対するビジュアル規定の要求事項は、上述したMPEG-7 Requirements Documentで提案されるように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。機能のタイプ(Type of features) ―（主に、照会において使用される情報のタイプに関する）以下の機能を可能にするビジュアル記述が、サポートされる：カラー、ビジュアル・オブジェクト、テクスチャ、スケッチ、形状、静止と動画像(例えば、サムネイル)、ボリューム、空間の関係、モーション、変位、ビジュアル・オブジェクトのソースとその特性（例えば、ソース・オブジェクト、ソース・イベント、ソース属性、イベント、イベント属性、および典型的に関連するシーン）、およびモデル（例えば、MPEG-4 SNHC）。記述を使用しているデータ・ビジュアライゼーション(Data visualization using the description) ― ビジュアライゼーションで性能を向上させるマルチメディア・データ記述の範囲が、サポートされる（インデックスを付けられたデータの多少のスケッチビジュアライゼーションが可能になる）。ビジュアル・データフォーマット(Visual data formats) ― 次のビジュアル・データフォーマットの記述が、サポートされる：MPEG-1, MPEG-2, またはMPEG-4のようなデジタルビデオとフィルム；アナログビデオとフィルム；JPEG、紙、または他のフォーマットのような電子機器内の静止画像；CADのようなグラフィックス；3Dモデル（とりわけVRML）；およびビデオに関連した構成データ。まだ定義されない他のビジュアル・データフォーマットの記述は、可能である。ビジュアル・データ・クラス(Visual data classes) ― ビヂュアル・データの次のクラスに特別に適用できる記述が、サポートされる：ナチュラルビデオ、静止画像、グラフィックス、アニメーション（2次元）、3次元モデル、および構成情報。
ディスクリプタと記述に対するオーディオ規定要求は、上述したMPEG-7 Requirements Documentに提案されるように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。機能のタイプ(Type of features) ― （照会において使用される情報のタイプに主に関する）次の機能を可能にするオーディオ記述：周波数等高線（一般的な傾向、旋律的な等高線）、オーディオ・オブジェクト、音色、調和、周波数プロファイル、振幅エンベロープ、時間の構成（リズムを含む）、テキストのコンテンツ（典型的に、音声または歌詞）のソニック近似（例えば、メロディをハミングする、または音響効果を高めることによるソニック・スケッチの発声）、原型的な音（典型的に、例示照会言語）、空間構造（マルチチャンネル・ソース、ステレオ、5.1チャンネル、および各々特定のマッピングを有するバイノーラル音に適用できる）、音とその特性のソース（例えば、ソース・オブジェクト、ソース・イベント、ソース属性、イベント、イベント属性、および典型的に関連シーン）、およびモデル（例えば、MPEG-4 SAOL）。記述を使用しているデータ・ソニフィケーション(Data sonification using the description)―ソニフィケーションで性能を向上したマルチメディア・データ記述の範囲が、サポートされる。聴覚データフォーマット(Auditory data formats) ― 聴覚データの次のタイプの記述は、サポートされる：デジィタルオーディオ（例えば、MPEG-1 オーディオ、コンパクトディスク）、アナログ・オーディオ（例えば、ビニル・レコード、磁気テープ・メディア）、一般的MIDI とカラオケフォーマットを含むMIDI、モデルに基づくオーディオ（例えば、MPEG-4のStructured Audio Orchestra Language - SAOL）、および生産データ。聴覚データ・クラス(Auditory data classes) ― 聴覚データの次のサブクラスに特別に適用できる記述は、サポートされる：サウンドトラック（ナチュラルオーディオシーン）、音楽、極小の音響効果（例えば、拍手）、音声、記号オーディオ表現（MIDI, SNHC Audio）、およびミキシング情報（効果を含む）。
ディスクリプタと記述方式に対する符号化要求事項は、上述のMPEG-7 Requirements Documentに提案されるように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。記述の効率的な表現(Description efficient representation) ― データ記述の効率的な表現は、サポートされる。記述抽出(Description extraction) ―数個の広く使用されたフォーマットに従って、圧縮されていないデータと圧縮データから容易に抽出することが出来るディスクリプタと記述方式の使用は、メタ・ディスクリプタによってサポートされる。情報エラーと損失に対する堅牢性(Robustness to information errors and loss) ― 送信エラーの場合システムの適当な動作を保証するメカニズムは、サポートされる。
ディスクリプタと記述方式に対するテキスト規定要求事項は、上述のMPEG-7 Requirements Documentには提案されていないが、テキスト記述とインターフェースにより、オーディオ・ビジュアル記述に基づいて照会がテキストデータを検索するまたその逆が可能になり、かつテキストのみのドキュメントとテキストを含むコンポジット・ドキュメントに対するテキストの記述が同じであるならば、適切なディスクリプタとそれらのメタ・ディスクリプタは、オーディオビヂュアル情報に加えて、テキストを含む、または参照するマルチメディアの能力をサポートする。
メタ・ディスクリプタが使用されるいくつかの状況においては、検索エンジンまたはフィルタエージェント（ユーザ側）は、メタ・記述生成処理によって用いられる正確な機能抽出アルゴリズムを知る必要がある場合があるが、記述生成処理の間、機能抽出に使用される特有のアルゴリズムは、メタ・記述生成処理に関連しない。それゆえ、メタ・記述プロセスは、機能抽出における技術開発に対処することが出来、かつ競争力の有る開発を奨励することが出来る。
本明細書において述べられた本発明とそのアプリケーションの記載は、例示的であり、かつ請求項に述べられた本発明の範囲を制限するものではない。本明細書で開示された実施例の変更と修正は、可能であり、かつ実施例の様々な要素の実際的な代替と等価物は、当業者には知られている。本明細書に開示された実施例のこれらのおよび他の変更と修正は、請求項に記載された本発明の範囲と精神から逸脱することなく行うことが出来る。
収納場所内のマルチメディア・データの様々なフォームのピクトリアル表現を示す。 本発明によるメタ・ディスクリプタ生成処理とマルチメディアの照会処理のフローチャートを示す。 本発明による例示となる関係形式データ・ベースのレコード表を示す。 本発明による収納場所内のマルチメディアに対するメタ・ディスリプタをリファインする処理のフローチャートを示す。
10 グラフィックス
20 音声
110 メタ・ディスクリプタ生成方法
120 記憶
130 マルチメディア・収納場所の照会方法
MM_INFO_NO マルチメディア情報番号フィールド
DV ディスクリプタ値フィールド
MDV メタ・ディスクリプタ値フィールド
301 メタ・ディスクリプタ生成処理
302 マルチメディアの照会処理

Claims (11)

  1. 複数のマルチメディア情報に対して情報処理装置が処理を実行する情報処理方法であって、
    前記マルチメディア情報に対するディスクリプタを獲得するステップと、
    各前記ディスクリプタの、前記マルチメディア情報における重要性を表す、少なくとも一つのメタ・ディスクリプタを生成するステップと、
    前記マルチメディア情報に前記少なくとも一つのメタ・ディスクリプタをアタッチするステップとを有し、
    前記メタ・ディスクリプタは、各前記ディスクリプタの重要性をベクトル表現で示し、前記ディスクリプタは前記マルチメディア情報から抽出されたカラー、形状、テクスチャ、スケッチのうちの複数を表す方法。
  2. 前記マルチメディア情報が、集合的に、様々なコンテンツのタイプであり、更に前記ディスクリプタのクラスタを生成するステップを有し、
    前記メタ・ディスクリプタを生成するステップが、前記クラスタに対するメタ・ディスクリプタを生成するステップを有し、かつ
    前記メタ・ディスクリプタをアタッチするステップが、前記クラスタ内の前記ディスクリプタによって記述された前記マルチメディア情報の項目に前記クラスタに対する前記メタ・ディスクリプタを各々アタッチするステップを有する請求項1に記載の方法。
  3. 前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタの関連を示す前記クラスタの各々に対して各々のデータ要素のグループを生成するステップを有する請求項2に記載の方法。
  4. 前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
    前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタの関連を示している前記クラスタの各々に対する各々のバイナリベクトルを生成するステップを有する請求項3に記載の方法。
  5. 前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
    前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタに対する各々の重みを示す前記クラスタの各々に対して各々の重み値のグループを生成するステップを有する請求項3に記載の方法。
  6. 前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
    前記メタ・ディスクリプタを生成するステップが、表現タイプの既定セットを有する少なくとも一つの関連機能を識別する前記クラスタの各々に対する各々の文字ストリングを生成するステップと、表現タイプの前記既定セットから前記表現タイプの少なくとも一つとを有する請求項3に記載の方法。
  7. 前記マルチメディア情報の前記ディスクリプタにインデックスを付けるステップを更に有する請求項2に記載の方法。
  8. 前記メタ・ディスクリプタを生成するステップが、その中に前記ディスクリプタの関連を示すデータ要素のグループを生成するステップを有する請求項1に記載の方法。
  9. 前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
    前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタの関連を示すバイナリベクトルを生成するステップを有する請求項8に記載の方法。
  10. 前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
    前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタに対する重みを示す重み値のグループを生成するステップを有する請求項8に記載の方法。
  11. 前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
    前記メタ・ディスクリプタを生成するステップが、表現タイプの前記既定セットを有する少なくとも一つの関連機能を識別している文字ストリングを生成するステップと、表現タイプの前記既定セットから前記表現タイプの少なくとも一つとを有する請求項8に記載の方法。

JP2001508722A 1999-07-02 2000-06-29 マルチメディア情報に対するメタ・ディスクリプタ Expired - Lifetime JP5340517B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/347,214 US6411724B1 (en) 1999-07-02 1999-07-02 Using meta-descriptors to represent multimedia information
US09/347,214 1999-07-02
PCT/EP2000/006082 WO2001003002A2 (en) 1999-07-02 2000-06-29 Meta-descriptor for multimedia information

Publications (3)

Publication Number Publication Date
JP2003529122A JP2003529122A (ja) 2003-09-30
JP2003529122A5 JP2003529122A5 (ja) 2007-08-16
JP5340517B2 true JP5340517B2 (ja) 2013-11-13

Family

ID=23362788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001508722A Expired - Lifetime JP5340517B2 (ja) 1999-07-02 2000-06-29 マルチメディア情報に対するメタ・ディスクリプタ

Country Status (6)

Country Link
US (2) US6411724B1 (ja)
EP (1) EP1395916B1 (ja)
JP (1) JP5340517B2 (ja)
CN (1) CN1311386C (ja)
DE (1) DE60035910T2 (ja)
WO (1) WO2001003002A2 (ja)

Families Citing this family (258)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6886047B2 (en) 1998-11-13 2005-04-26 Jp Morgan Chase Bank System and method for managing information retrievals for integrated digital and analog archives on a global basis
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
JP2000222584A (ja) * 1999-01-29 2000-08-11 Toshiba Corp 映像情報記述方法、映像検索方法及び映像検索装置
DE60045699D1 (de) * 1999-01-29 2011-04-21 Sony Corp Daten-beschreibungs-verfahren und daten-bearbeitung-vorrichtung
KR100296967B1 (ko) * 1999-01-30 2001-09-26 구자홍 멀티미디어 스트림의 다단계 요약 세그먼트 정보 스킴 구성 방법 및 구성된 다단계 요약 세그먼트 정보 스킴으로 부터 요약 스트림 발생 방법과 이러한 방법에 의해 제공되는 다단계 요약 스트림의 브라우징/녹화/편집 장치
EP1341328A1 (en) * 1999-06-11 2003-09-03 Matsushita Electric Industrial Co., Ltd. Data broadcast system, for broadcasting multimedia data; receiving terminal device for receiving said multimedia data
US6745368B1 (en) * 1999-06-11 2004-06-01 Liberate Technologies Methods, apparatus, and systems for storing, retrieving and playing multimedia data
CN1193593C (zh) * 1999-07-06 2005-03-16 皇家菲利浦电子有限公司 自动提取和数据索引方法
WO2001003430A2 (en) * 1999-07-06 2001-01-11 Koninklijke Philips Electronics N.V. Automatic extraction method of the structure of a video sequence
US7383504B1 (en) * 1999-08-30 2008-06-03 Mitsubishi Electric Research Laboratories Method for representing and comparing multimedia content according to rank
KR100350792B1 (ko) * 1999-09-22 2002-09-09 엘지전자 주식회사 사용자 선호도를 반영한 사용자 프로파일 생성방법과 멀티미디어 데이타 브라우징 방법
US8554932B1 (en) 1999-11-12 2013-10-08 Jpmorgan Chase Bank, N.A. Data exchange management system and method
KR100346264B1 (ko) * 1999-12-02 2002-07-26 엘지전자주식회사 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법
US7212972B2 (en) * 1999-12-08 2007-05-01 Ddi Corporation Audio features description method and audio video features description collection construction method
KR20000023961A (ko) * 1999-12-22 2000-05-06 김정태 정보 모델링방법 및 데이터베이스 검색시스템
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
KR20010081894A (ko) * 2000-02-18 2001-08-29 구자홍 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
WO2001071558A1 (fr) * 2000-03-23 2001-09-27 Mitsubishi Denki Kabushiki Kaisha Systeme et procede d'extraction/de distribution d'images
US6505194B1 (en) * 2000-03-29 2003-01-07 Koninklijke Philips Electronics N.V. Search user interface with enhanced accessibility and ease-of-use features based on visual metaphors
WO2001075884A2 (en) * 2000-04-05 2001-10-11 Sony United Kingdom Limited Audio/video reproducing apparatus and method
US7761438B1 (en) * 2000-04-26 2010-07-20 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for representing and searching for an object using shape
AU6263101A (en) * 2000-05-26 2001-12-03 Tzunami Inc. Method and system for organizing objects according to information categories
US6650705B1 (en) * 2000-05-26 2003-11-18 Mitsubishi Electric Research Laboratories Inc. Method for encoding and transcoding multiple video objects with variable temporal resolution
US6760724B1 (en) * 2000-07-24 2004-07-06 Lucent Technologies Inc. Approximate query processing using wavelets
US6686838B1 (en) * 2000-09-06 2004-02-03 Xanboo Inc. Systems and methods for the automatic registration of devices
US7734724B2 (en) * 2000-09-06 2010-06-08 Xanboo Inc. Automated upload of content based on captured event
KR100439371B1 (ko) * 2000-09-08 2004-07-09 엘지전자 주식회사 히스토그램을 이용한 멀티미디어 검색방법
US20020120652A1 (en) * 2000-10-20 2002-08-29 Rising Hawley K. Two-stage mapping for application specific markup and binary encoding
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8122236B2 (en) 2001-10-24 2012-02-21 Aol Inc. Method of disseminating advertisements using an embedded media player page
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
MXPA03003493A (es) 2000-10-24 2005-01-25 Thomson Licensing Sa Metodo para reunir datos utilizando una pagina de reproduccion de medios embebida.
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7146349B2 (en) * 2000-11-06 2006-12-05 International Business Machines Corporation Network for describing multimedia information
US7593954B1 (en) * 2000-11-15 2009-09-22 Traction Software, Inc. System and method for cross-referencing, searching and displaying entries in a document publishing system
US6842761B2 (en) 2000-11-21 2005-01-11 America Online, Inc. Full-text relevancy ranking
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
KR100422710B1 (ko) * 2000-11-25 2004-03-12 엘지전자 주식회사 다중 가중치 구조를 사용한 멀티미디어 검색 방법
WO2002043396A2 (en) * 2000-11-27 2002-05-30 Intellocity Usa, Inc. System and method for providing an omnimedia package
KR100422805B1 (ko) * 2000-12-26 2004-03-12 한국전자통신연구원 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
US7240285B2 (en) * 2001-03-01 2007-07-03 Sony Corporation Encoding and distribution of schema for multimedia content descriptions
US7689901B2 (en) * 2001-03-01 2010-03-30 Sony Corporation Multiple updates to content descriptions using a single command
US7197160B2 (en) 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US7254570B2 (en) 2001-03-21 2007-08-07 Nokia Corporation Query resolution system and service
US7353236B2 (en) 2001-03-21 2008-04-01 Nokia Corporation Archive system and data maintenance method
GB0107138D0 (en) * 2001-03-21 2001-05-09 Nokia Oy Ab Management and distribution of electric media
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7191190B2 (en) 2001-03-27 2007-03-13 Microsoft Corporation Meta data management for media content objects
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7962482B2 (en) 2001-05-16 2011-06-14 Pandora Media, Inc. Methods and systems for utilizing contextual feedback to generate and modify playlists
US7734997B2 (en) * 2001-05-29 2010-06-08 Sony Corporation Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions
US20020184196A1 (en) * 2001-06-04 2002-12-05 Lehmeier Michelle R. System and method for combining voice annotation and recognition search criteria with traditional search criteria into metadata
US7475416B2 (en) * 2001-06-13 2009-01-06 Microsoft Corporation System and methods for searching interactive broadcast data
FR2826539B1 (fr) * 2001-06-22 2003-09-26 Thomson Multimedia Sa Procede d'identification de fichier et dispositif pour la mise en oeuvre du procede
JP4202622B2 (ja) * 2001-07-13 2008-12-24 富士通株式会社 コンテンツ配信方法、コンテンツ情報処理装置、および、プログラム
CN1549982A (zh) * 2001-08-28 2004-11-24 皇家飞利浦电子股份有限公司 根据用户在多媒体内容中的选择的自动问题编制
US6857030B2 (en) * 2001-09-12 2005-02-15 Sun Microsystems, Inc. Methods, system and article of manufacture for pre-fetching descriptors
US7907149B1 (en) * 2001-09-24 2011-03-15 Wolfgang Daum System and method for connecting people
US20040064500A1 (en) * 2001-11-20 2004-04-01 Kolar Jennifer Lynn System and method for unified extraction of media objects
US7925139B2 (en) 2001-12-03 2011-04-12 Sony Corporation Distributed semantic descriptions of audiovisual content
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
US7287222B2 (en) * 2002-01-31 2007-10-23 Canon Kabushiki Kaisha Information processing apparatus and method that determines effectiveness of metadata for editing information content
US20030154071A1 (en) * 2002-02-11 2003-08-14 Shreve Gregory M. Process for the document management and computer-assisted translation of documents utilizing document corpora constructed by intelligent agents
JP4255239B2 (ja) * 2002-03-29 2009-04-15 富士通株式会社 文書検索方法
US7664830B2 (en) * 2002-03-29 2010-02-16 Sony Corporation Method and system for utilizing embedded MPEG-7 content descriptions
US7149755B2 (en) * 2002-07-29 2006-12-12 Hewlett-Packard Development Company, Lp. Presenting a collection of media objects
US7305133B2 (en) * 2002-11-01 2007-12-04 Mitsubishi Electric Research Laboratories, Inc. Pattern discovery in video content using association rules on multiple sets of labels
US7120626B2 (en) * 2002-11-15 2006-10-10 Koninklijke Philips Electronics N.V. Content retrieval based on semantic association
US20040128342A1 (en) * 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
US7131059B2 (en) 2002-12-31 2006-10-31 Hewlett-Packard Development Company, L.P. Scalably presenting a collection of media objects
US7197698B2 (en) * 2003-01-21 2007-03-27 Canon Kabushiki Kaisha Information processing method and apparatus
EP1629359A4 (en) 2003-04-07 2008-01-09 Sevenecho Llc METHOD, SYSTEM AND SOFTWARE FOR CUSTOMIZING PERSONALIZED NARRATIVE PRESENTATIONS
US8392834B2 (en) * 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
JP4336950B2 (ja) * 2003-05-15 2009-09-30 富士ゼロックス株式会社 画像処理装置
US7610306B2 (en) * 2003-06-30 2009-10-27 International Business Machines Corporation Multi-modal fusion in content-based retrieval
US7643684B2 (en) * 2003-07-15 2010-01-05 Samsung Electronics Co., Ltd. Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor
US20050018057A1 (en) * 2003-07-25 2005-01-27 Bronstein Kenneth H. Image capture device loaded with image metadata
EP1503299A1 (en) * 2003-07-31 2005-02-02 Alcatel A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents
US20050038814A1 (en) * 2003-08-13 2005-02-17 International Business Machines Corporation Method, apparatus, and program for cross-linking information sources using multiple modalities
US8600963B2 (en) * 2003-08-14 2013-12-03 Google Inc. System and method for presenting multiple sets of search results for a single query
US8031979B2 (en) * 2003-09-25 2011-10-04 Canon Research Centre France Method and device for verifying multimedia entities and in particular for verifying digital images
US7313574B2 (en) * 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US20050091232A1 (en) * 2003-10-23 2005-04-28 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
JP4594701B2 (ja) * 2003-11-14 2010-12-08 パイオニア株式会社 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体
US8010579B2 (en) 2003-11-17 2011-08-30 Nokia Corporation Bookmarking and annotating in a media diary application
US20050105374A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Media diary application for use with digital device
US8990255B2 (en) * 2003-11-17 2015-03-24 Nokia Corporation Time bar navigation in a media diary application
US20050108234A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Speed browsing of media items in a media diary application
US20050108643A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Topographic presentation of media files in a media diary application
US7109848B2 (en) * 2003-11-17 2006-09-19 Nokia Corporation Applications and methods for providing a reminder or an alert to a digital media capture device
US7774718B2 (en) * 2003-12-17 2010-08-10 Nokia Corporation Time handle in a media diary application for accessing media files
US20050187943A1 (en) * 2004-02-09 2005-08-25 Nokia Corporation Representation of media items in a media file management application for use with a digital device
CN1996303B (zh) * 2004-05-03 2010-10-13 Lg电子株式会社 为联网的媒体服务器中所存储的内容管理书签信息的方法和装置
US8131674B2 (en) 2004-06-25 2012-03-06 Apple Inc. Methods and systems for managing data
US20050289107A1 (en) * 2004-06-25 2005-12-29 Yan Arrouye Methods and systems for managing data
US20050286428A1 (en) * 2004-06-28 2005-12-29 Nokia Corporation Timeline management of network communicated information
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8176054B2 (en) * 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8332401B2 (en) * 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
DE102004049227B4 (de) * 2004-10-08 2007-03-01 Yxlon International Security Gmbh Verfahren zur Bestimmung der Lageänderung eines Objekts in einem Gepäckstück
FR2878116B1 (fr) * 2004-11-15 2007-05-18 France Telecom Procede et systeme d'indexation d'un flux de donnees multimedia et procede et systeme de traitement correspondants
GB0427642D0 (en) * 2004-12-16 2005-01-19 Renovo Ltd Information collection system
US20060184553A1 (en) * 2005-02-15 2006-08-17 Matsushita Electric Industrial Co., Ltd. Distributed MPEG-7 based surveillance servers for digital surveillance applications
US8570586B2 (en) * 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US20060287994A1 (en) * 2005-06-15 2006-12-21 George David A Method and apparatus for creating searches in peer-to-peer networks
JP4752623B2 (ja) 2005-06-16 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20070011718A1 (en) * 2005-07-08 2007-01-11 Nee Patrick W Jr Efficient customized media creation through pre-encoding of common elements
EP1758398A1 (en) * 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
JP4633595B2 (ja) * 2005-09-30 2011-02-16 富士フイルム株式会社 動画生成装置、動画生成方法、及びプログラム
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US9087049B2 (en) 2005-10-26 2015-07-21 Cortica, Ltd. System and method for context translation of natural language
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US8065335B2 (en) * 2005-12-09 2011-11-22 Lg Electronics Inc. Method for managing and processing information of an object for presentation of multiple sources and apparatus for conducting said method
US7478093B2 (en) * 2006-01-30 2009-01-13 International Business Machines Corporation Design of self-adapting meta descriptors based on real use scenarios and experiences
US7617224B2 (en) * 2006-01-30 2009-11-10 International Business Machines Corporation System and method for managing hierarchically related software components
JP5341523B2 (ja) * 2006-02-10 2013-11-13 コーニンクレッカ フィリップス エヌ ヴェ メタデータを生成する方法及び装置
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US8099086B2 (en) * 2006-06-21 2012-01-17 Ektimisi Semiotics Holdings, Llc System and method for providing a descriptor for a location to a recipient
US8750892B2 (en) 2006-06-21 2014-06-10 Scenera Mobile Technologies, Llc System and method for naming a location based on user-specific information
JP4453684B2 (ja) * 2006-06-30 2010-04-21 ソニー株式会社 監視システム、監視装置、検索方法及び検索プログラム
US9633356B2 (en) 2006-07-20 2017-04-25 Aol Inc. Targeted advertising for playlists based upon search queries
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8407213B2 (en) 2006-08-31 2013-03-26 Ektimisi Semiotics Holdings, Llc System and method for identifying a location of interest to be named by a user
US8050923B2 (en) * 2006-09-29 2011-11-01 Verint Americas, Inc. Automated utterance search
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US20150052155A1 (en) * 2006-10-26 2015-02-19 Cortica, Ltd. Method and system for ranking multimedia content elements
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
US20080288869A1 (en) * 2006-12-22 2008-11-20 Apple Inc. Boolean Search User Interface
US7954065B2 (en) * 2006-12-22 2011-05-31 Apple Inc. Two-dimensional timeline display of media items
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US9142253B2 (en) * 2006-12-22 2015-09-22 Apple Inc. Associating keywords to media
EP1947576A1 (en) * 2007-01-22 2008-07-23 Deutsche Thomson OHG Method for storing media data from a broadcasted media data stream
KR100961444B1 (ko) * 2007-04-23 2010-06-09 한국전자통신연구원 멀티미디어 콘텐츠를 검색하는 방법 및 장치
US20080300702A1 (en) * 2007-05-29 2008-12-04 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
US8375312B2 (en) * 2007-06-08 2013-02-12 Apple Inc. Classifying digital media based on content
US20090083275A1 (en) * 2007-09-24 2009-03-26 Nokia Corporation Method, Apparatus and Computer Program Product for Performing a Visual Search Using Grid-Based Feature Organization
US20090136208A1 (en) * 2007-11-28 2009-05-28 Flora Gilboa-Solomon Virtual Video Clipping and Ranking Based on Spatio-Temporal Metadata
US10600082B1 (en) 2007-12-05 2020-03-24 Beats Music, Llc Advertising selection
JP5041229B2 (ja) * 2007-12-07 2012-10-03 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
JP4989516B2 (ja) * 2008-02-27 2012-08-01 キヤノン株式会社 表示制御装置、撮像装置及び表示制御方法、プログラム並びに記憶媒体
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
EP2136314A1 (en) * 2008-06-09 2009-12-23 Alcatel, Lucent Method and system for generating multimedia descriptors
US8065302B2 (en) * 2008-08-27 2011-11-22 Satyam Computer Services Limited System and method for annotation aggregation
US8341151B2 (en) * 2008-09-15 2012-12-25 Margalit Mordehai Method and system for providing targeted searching and browsing
US9721013B2 (en) 2008-09-15 2017-08-01 Mordehai Margalit Holding Ltd. Method and system for providing targeted searching and browsing
US8396287B2 (en) 2009-05-15 2013-03-12 Google Inc. Landmarks from digital photo collections
IL199115A (en) 2009-06-03 2013-06-27 Verint Systems Ltd Systems and methods for efficiently locating keywords in communication traffic
US8484140B2 (en) * 2009-06-09 2013-07-09 Microsoft Corporation Feature vector clustering
US9020038B2 (en) * 2009-06-14 2015-04-28 Rafael Advanced Defense Systems Ltd. Systems and methods for streaming and archiving video with geographic anchoring of frame contents
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US8135222B2 (en) * 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
US10115065B1 (en) 2009-10-30 2018-10-30 Verint Americas Inc. Systems and methods for automatic scheduling of a workforce
WO2012154216A1 (en) * 2011-05-06 2012-11-15 Sti Medical Systems, Llc Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8892572B2 (en) * 2011-12-30 2014-11-18 Cellco Partnership Video search system and method of use
US9258564B2 (en) * 2012-02-07 2016-02-09 Stmicroelectronics S.R.L. Visual search system architectures based on compressed or compact feature descriptors
US9069880B2 (en) * 2012-03-16 2015-06-30 Microsoft Technology Licensing, Llc Prediction and isolation of patterns across datasets
US20130283143A1 (en) * 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
KR102069538B1 (ko) * 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
US10140372B2 (en) 2012-09-12 2018-11-27 Gracenote, Inc. User profile based on clustering tiered descriptors
EP2720172A1 (en) * 2012-10-12 2014-04-16 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video access system and method based on action type detection
DE212013000246U1 (de) * 2012-12-06 2015-07-08 Unison Holdings Llc System zum Hochladen von Videodateien auf ein Immobilienangebot und zur Angabe des Interessentenumfangs eines Immobilienangebots
WO2014099285A1 (en) 2012-12-21 2014-06-26 Dolby Laboratories Licensing Corporation Object clustering for rendering object-based audio content based on perceptual criteria
US20140372439A1 (en) * 2013-06-13 2014-12-18 Canon Kabushiki Kaisha Systems and methods for creating a visual vocabulary
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
US9317260B2 (en) * 2013-08-09 2016-04-19 Vmware, Inc. Query-by-example in large-scale code repositories
CN104866332A (zh) * 2014-02-26 2015-08-26 华为终端有限公司 能力确定方法、能力配置方法、主机、终端设备及系统
US9639761B2 (en) 2014-03-10 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for extracting low-rank descriptors from images and videos for querying, classification, and object detection
US9767101B2 (en) * 2014-06-20 2017-09-19 Google Inc. Media store with a canonical layer for content
US20160203137A1 (en) * 2014-12-17 2016-07-14 InSnap, Inc. Imputing knowledge graph attributes to digital multimedia based on image and video metadata
US10402446B2 (en) * 2015-04-29 2019-09-03 Microsoft Licensing Technology, LLC Image entity recognition and response
US10402226B2 (en) * 2015-06-05 2019-09-03 Apple Inc. Media analysis and processing framework on a resource restricted device
US11055735B2 (en) * 2016-09-07 2021-07-06 Adobe Inc. Creating meta-descriptors of marketing messages to facilitate in delivery performance analysis, delivery performance prediction and offer selection
US10298837B2 (en) 2016-12-28 2019-05-21 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
US11093542B2 (en) * 2017-09-28 2021-08-17 International Business Machines Corporation Multimedia object search
CN108470195B (zh) * 2018-05-11 2021-01-26 东方网力科技股份有限公司 视频身份管理方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056437A (ja) * 1991-06-27 1993-01-14 Matsushita Electric Ind Co Ltd 画像特徴抽出装置、画像特徴照合装置および画像検索装置
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
DE69423166T2 (de) * 1993-09-08 2000-07-06 Thomson Consumer Electronics Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung
US5548749A (en) * 1993-10-29 1996-08-20 Wall Data Incorporated Semantic orbject modeling system for creating relational database schemas
EP0682318B1 (de) * 1994-05-10 2000-08-09 Siemens Aktiengesellschaft Datenverwaltungssystem
JP2973944B2 (ja) * 1996-06-26 1999-11-08 富士ゼロックス株式会社 文書処理装置および文書処理方法
JP3661287B2 (ja) * 1996-08-02 2005-06-15 富士ゼロックス株式会社 画像登録装置および方法
JPH10198705A (ja) * 1997-01-14 1998-07-31 Ricoh Co Ltd 文書画像処理装置および文書画像処理方法および情報記録媒体
US5806061A (en) * 1997-05-20 1998-09-08 Hewlett-Packard Company Method for cost-based optimization over multimeida repositories
US6108619A (en) * 1998-07-02 2000-08-22 Novell, Inc. Method and apparatus for semantic characterization of general content streams and repositories
US6243713B1 (en) * 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types
US6445834B1 (en) * 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US6512850B2 (en) * 1998-12-09 2003-01-28 International Business Machines Corporation Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects
US6490370B1 (en) * 1999-01-28 2002-12-03 Koninklijke Philips Electronics N.V. System and method for describing multimedia content
ATE510258T1 (de) * 1999-01-29 2011-06-15 Lg Electronics Inc Verfahren zum durchsuchen oder browsen von multimediadaten
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination
US6941325B1 (en) * 1999-02-01 2005-09-06 The Trustees Of Columbia University Multimedia archive description scheme

Also Published As

Publication number Publication date
US20020159640A1 (en) 2002-10-31
US7340458B2 (en) 2008-03-04
DE60035910D1 (de) 2007-09-20
WO2001003002A2 (en) 2001-01-11
WO2001003002A3 (en) 2003-12-24
US6411724B1 (en) 2002-06-25
CN1524235A (zh) 2004-08-25
EP1395916B1 (en) 2007-08-08
CN1311386C (zh) 2007-04-18
EP1395916A2 (en) 2004-03-10
JP2003529122A (ja) 2003-09-30
DE60035910T2 (de) 2008-05-21

Similar Documents

Publication Publication Date Title
JP5340517B2 (ja) マルチメディア情報に対するメタ・ディスクリプタ
US9507779B2 (en) Multimedia integration description scheme, method and system for MPEG-7
US10311094B2 (en) Synthetic audiovisual description scheme, method and system for MPEG-7
EP1125245B1 (en) Image description system and method
US7653635B1 (en) Systems and methods for interoperable multimedia content descriptions
JP2003256432A (ja) 映像素材情報記述方法、遠隔検索システム、遠隔検索方法、編集装置および遠隔検索端末、遠隔編集システム、遠隔編集方法、編集装置および遠隔編集端末、ならびに、映像素材情報記憶装置および方法
Daras et al. Introducing a unified framework for content object description
KR100706820B1 (ko) 멀티미디어 아카이브 디스크립션 스킴
Marques et al. Issues in Designing Contemporary Video Database Systems.
Adami et al. ToCAI: a framework for Indexing and Retrieval of Multimedia Documents
Lindley The FRAMES processing model for the synthesis of dynamic virtual video sequences
Adami et al. Describing multimedia documents in natural and semantic-driven ordered hierarchies
Zhang et al. Representation and retrieval of visual media in multimedia systems
Hobbs et al. Entity-media modelling: conceptual modelling for multimedia database design
Cai Content-Based Retrieval (CBR)
Pahwa et al. Content Search & Extraction via MPEG-7
Troncy et al. METADATA, ANALYSIS AND INTERACTION

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070628

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100308

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100622

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110125

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120803

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130308

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130807

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5340517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term