JP5426533B2 - マルチメディアコンテンツを検索する方法及び装置 - Google Patents

Description

本発明は、マルチメディアコンテンツを検索する装置及び方法に関し、より具体的には、ユーザのクエリーをＭＰＥＧ−７のクエリーフォーマットに変換することにより、ＭＰＥＧ−７に基づいて表現されたマルチメディアコンテンツを検索することができる、マルチメディアコンテンツを検索する装置及び方法に関する。

本研究は、情報通信部／情報通信研究振興院のＩＴ成長開発プログラムによりサポートされる［課題管理番号：２００５−Ｓ−１１７−０３、課題名：ユビキタス環境のための知能型個人用メディア管理技術の開発（Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｐｅｒｓｏｎａｌ Ｍｅｄｉａ Ｍａｎａｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｕｂｉｑｕｉｔｏｕｓ Ｅｎｖｉｒｏｎｍｅｎｔ）］。

ＭＰＥＧ−７は、イメージ、オーディオ、及び動画のようなマルチメディア情報を表現するメタデータのアーキテクチャに関する国際標準である。ＭＰＥＧ−７のクエリーフォーマットは、ＭＰＥＧ−７に基づいて表現されたマルチメディアコンテンツを検索するために使用される。ＭＰＥＧ−７マルチメディアコンテンツを検索するシステムは、ＭＰＥＧ−７のクエリーフォーマットで入力されたクエリーと関連したマルチメディアコンテンツを検索する。

ＭＰＥＧ−７のクエリーフォーマットは、ＭＰＥＧ−７ドキュメントを検索するための構文を定義している。この構文は、ＭＰＥＧ−７ドキュメントの検索に使用することができる多様なクエリーの類型を表現することができる。例えば、「山があるイメージ」のような自然文章形式のクエリーのみならず、マルチメディアファイルをクエリーとして使用する例題ベースクエリー、ＭＰＥＧ−７のテキスト記述（ｔｅｘｔｕａｌ ｄｅｓｃｒｉｐｔｉｏｎ）ベースクエリーを表現することができる。

そのような多様なクエリーを表現する間、同じＭＰＥＧ−７ドキュメントの部分、又は異なるＭＰＥＧ−７ドキュメントの部分を参照することが頻繁に発生する。具体的には、２つ以上の検索条件を、同じ構造内において、全て満たさなければならないという場合がある。例えば、「山」と「海」とが共にある動画セグメントを検索するためには、１つの領域に対して「山」と「海」とがあることを表現することが可能である。結合演算（ｊｏｉｎ ｏｐｅｒａｔｉｏｎ）のためには、２つの異なるＭＰＥＧ−７ドキュメントを参照する必要がある。このためには、２つの異なるＭＰＥＧ−７ドキュメントが参照されることを明示的に表現する必要がある。

従来のＭＰＥＧ−７のクエリーフォーマットは、同じアーキテクチャ内において３つ以上の検索条件を満たすことができるが、２つの異なるＭＰＥＧ−７ドキュメントへの参照を明示的に表現することができないという欠点がある。

この問題点を解決するために発明された、本発明の実施形態は、同じ構造内で３つ以上の検索条件を満たすことができ、且つ異なるＭＰＥＧ−７ドキュメントを参照することを明示的に表現することができるＭＰＥＧ−７のクエリーフォーマットを提供することに向けられる。

本発明の別の実施形態は、検索過程においてユーザのクエリーの意味を正確に解析することによりマルチメディアコンテンツを正確に検索することができる装置及び方法を提供することに向けられる。

本発明の他の目的及び利点は、下記の説明によって理解することができ、本発明の実施形態を参照して明らかになる。また、本発明の目的及び利点を、特許請求の範囲及びその組合せに係る手段により実現できることは、本発明の当業者にとって明白である。

本発明の一態様によると、マルチメディアコンテンツを検索する方法が提供される。この方法は、ＭＰＥＧ−７ドキュメントの特定領域を指示する指示子及び指示子を参照する参照子を用いることによりユーザのクエリーを表現するステップと、指示子及び参照子を用いることによって表現されたユーザのクエリーの意味を解析しそれによって解析結果を作成するステップと、解析結果に従いマルチメディアコンテンツを検索するステップとを含む。

本発明の別の態様によると、マルチメディアコンテンツを検索するためにユーザのクエリーを処理する方法が提供される。この方法は、ユーザからマルチメディアコンテンツを検索するためのクエリーを受信するステップと、ＭＰＥＧ−７ドキュメントの特定領域を指示する指示子及び指示子を参照する参照子を用いることによりユーザのクエリーを表現するステップとを含む。

本発明の別の態様によると、マルチメディアコンテンツを検索する装置が提供される。この装置は、ユーザからマルチメディアコンテンツを検索するためのクエリーを受信するクエリー入力部と、クエリー入力部を通じて入力されたユーザのクエリーをＭＰＥＧ−７ドキュメントの特定領域を指示する指示子及び指示子を参照する参照子を用いることにより表現するクエリー表現部と、クエリー表現部において、指示子及び参照子を用いることにより表現されたユーザのクエリーの意味を解析しそれにより解析結果を作成するクエリー解析部と、解析結果に従いマルチメディアコンテンツを検索するコンテンツ検索部とを備える。

本発明の別の態様によると、マルチメディアコンテンツを検索するためにユーザのクエリーを表現するデータ構造が提供される。このデータ構造は、ＭＰＥＧ−７ドキュメントの特定領域を指示する指示子と、指示子を参照する参照子とを含む。

上記の本発明は、同じ構造内で３つ以上の検索条件を満たすことができ、異なるＭＰＥＧ−７ドキュメントを参照することを明示的に表現することができるＭＰＥＧ−７のクエリーフォーマットを提供する。また、検索過程の間、ユーザのクエリーの意味が正確に解析されるため、ユーザのクエリーに正確に一致するマルチメディアコンテンツを検索することができる。

本発明の一実施形態に係るマルチメディアコンテンツを検索する方法を説明するフローチャートである。 本発明の一実施形態に係る指示子のＸＭＬスキーマを説明する図である。 本発明の一実施形態に係る参照子のＸＭＬスキーマを説明する図である。 図１のクエリー表現ステップ１０を詳細に説明するフローチャートである。 図１のクエリー処理ステップ２０を詳細に説明するフローチャートである。 本発明の別の実施形態に係る指示子のＸＭＬスキーマを説明する図である。 本発明の一実施形態に係るマルチメディアコンテンツ検索装置の構造を説明するブロック図である。

本発明の利点、特徴、及び態様は、添付の図面への参照と共に、以下で説明される次の実施形態の説明から明らかになるであろう。関連技術についての詳細な説明が本発明の特徴を曖昧にする可能性があるとみなされるときは、明細書では説明は提供されない。以下、添付の図面を参照して本発明の具体的な実施形態が説明される。

図１は、本発明の一実施形態に係るマルチメディアコンテンツの検索方法を説明するフローチャートである。

ステップＳ１０において、ユーザのクエリーは、マルチメディアコンテンツを検索するためのクエリーとして表現される。ユーザのクエリーは、指示子と指示子を参照する参照子とを用いることにより表現され、ユーザのクエリーの意味を正確に表現する。指示子は、ＭＰＥＧ−７ドキュメントの特定領域を指し、参照子は、指示子を参照するために使用される。例えば、「山」と「海」とがある動画セグメントを検索する場合、動画セグメントに対する指示子があり、この指示子の一参照子は、「山」の存在を表現することができ、別の参照子は、「海」の存在を表現することができる。次の結合演算において、２つの異なる２つのＭＰＥＧ−７ドキュメントに対し、２つの指示子をそれぞれ設定し、２つの指示子の各々が、互いに異なる２つのＭＰＥＧ−７ドキュメントを明示的に表現する参照子を有することができる。

ステップＳ２０において、クエリー処理器は、指示子及び参照子を使用して表現されたユーザのクエリーを解析する。ステップＳ３０において、検索エンジンは、クエリー処理器で解析されたユーザのクエリーと関連したマルチメディアコンテンツを検索し、ステップＳ４０において、検索結果を提供する。

図２は、本発明の一実施形態に係る指示子のＸＭＬスキーマの形式を示す。図に示すように、指示子は、指示子のＩＤ番号１０１、指示子領域の記述子１０２、指示子制限記述子１０３を含む。指示子領域の記述子１０２は、別の指示子を参照する参照子１０４を含むことができる。指示子制限記述子１０３は、指示子を制限するための条件を記述する部分１０５を含む。

ＭＰＥＧ−７ドキュメントはＸＭＬ形式で記述されており、指示子はＭＰＥＧ−７ドキュメントの特定領域を指示する。このために、指示子領域の記述子１０２は、特定領域の最上位ノードを指定するために使用される。指示子制限記述子１０３は、指示子領域の記述子により表現された領域と関連して追加的な制限条件が必要な場合に使用される。指示子のＩＤ番号１０１は、指示子が参照されるときに使用される。

次の表１は、ＸＭＬスキーマの形式で記述された図２を示す。表１において、「ｐａｔｈ」の要素は、指示子領域を記述するための部分であり、「ｓｅｌｅｃｔｏｒ」の要素は指示子の制限を記述するための部分である。「ｉｄ」は、指示子の固有番号を示す。指示子内部で他の指示子を参照できるようにするため、「ｒｅｆ」の属性が使用される。指示子を制限する部分では、特定の条件を記述するために、制限条件として「ＣｏｎｄｉｔｉｏｎＴｙｐｅ」が定義される。

図３は、本発明の一実施形態に係る参照子のＸＭＬスキーマの形式を示す。指示子は、特定の指示子を参照することができ、指示子により指示される特定領域内部のノードを参照することができる。

図３において、指示子は、特定の指示子を参照するための「ｒｅｆ」の属性を有することができ、属性値によって指示子と関連した領域を表現することができる。図３と関連したＸＭＬスキーマは、次の表２のように記述することができる。ここで、「ｒｅｆ」の属性は、指示子を参照し、「ｘＰａｔｈＴｙｐｅ」は、指示子と関連した部分を記述することができる。

図４は、図１のクエリー表現ステップＳ１０を詳細に示すフローチャートである。ステップＳ４０２では、マルチメディアコンテンツを検索するためのクエリーがユーザから入力される。ステップＳ４０４では、入力されたユーザのクエリーを、ＭＰＥＧ−７ドキュメントの特定領域を指示する指示子と、指示子を参照する参照子として表す。

例えば、表１及び表２に定義されたＸＭＬスキーマに基づき、「横長×縦長が、１０２４×７６８よりも大きいイメージを検索」というクエリーを次の表３のように表現することができる。表３において、参照子「ｈｒｅｆ」を使用することにより指示子が参照され、追加パスを記述することによって、指示子により指示される領域と関連した特定の部分を指示することができる。

図５は、図１のクエリー処理ステップＳ２０を詳細に説明するフローチャートである。クエリー処理ステップＳ２０において、指示子及び参照子を利用して表現されたユーザのクエリーの意味は解析される。まず、ステップＳ５０２において、ＸＭＬパーサは、ＸＭＬ形式で記述されたユーザのクエリーをパーシングする。次に、ステップＳ５０４において、パーシングされた結果に基づいて指示子及び参照子が処理される。ステップＳ５０６において、処理された指示子及び参照子を用いてユーザのクエリーの意味が解析される。

指示子及び参照子を処理するステップＳ５０４において、同じ指示子を参照する参照子は、同じ領域内の値を参照する値としてみなし、ユーザのクエリーの意味を解析する。例えば、ユーザのクエリーにおいて「＠ｈｅｉｇｈｔ」及び「＠ｗｉｄｔｈ」は、「ＶｉｓｕａｌＣｏｄｉｎｇＦｒａｍｅＩＤ」を参照しているので、この２つが「ＶｉｓｕａｌＣｏｄｉｎｇＦｒａｍｅＩＤ」により指示される領域内にある値を参照していることが解析される。

図６は、本発明の別の実施形態に係る指示子のＸＭＬスキーマを示す。指示子ＩＤ番号６０１は、図２の指示子ＩＤ番号１０１と同じである。指示子制限記述子６０３は必須要素であるのに対し、図６の指示子領域の記述子は選択要素であり、「ａｔｔｒｉｂｕｔｅ」を有さない。図６を、次の表４に提示される、ＸＭＬスキーマで記述することができる。

図７は、本発明の一実施形態に係るマルチメディアコンテンツ検索装置の構造を示すブロック図である。図に示すように、マルチメディアコンテンツ検索装置７００は、クエリー入力部７０２、クエリー表現部７０４、クエリー解析部７０６、コンテンツ検索部７０８、及びコンテンツ出力部７１０を備えている。

クエリー入力部７０２は、ユーザからマルチメディアコンテンツを検索するためのクエリーを受信する。クエリー表現部７０４は、クエリー入力部７０２によって入力されたユーザのクエリーを、ＭＰＥＧ−７ドキュメントの特定領域を指示する指示子と、指示子を参照する参照子を用いることにより、ＭＰＥＧ−７のクエリーフォーマットで表現する。指示子は、指示子を参照する参照子に対し使用される指示子ＩＤ番号と、指示子により指示される領域に対する条件を記述する記述子と、指示子により指示される領域の最上位ノードを指定する記述子とを含む。ユーザのクエリーは、ＸＭＬ形式で表現される。

クエリー解析部７０６は、クエリー表現部７０４で指示子及び参照子を用いて表現されたユーザのクエリーの意味を解析する。クエリー解析部７０６は、ユーザのクエリーをパーシングするＸＭＬパーサ７１２と、ＸＭＬパーサ７１２のパーシング結果に基づき指示子及び参照子を処理する記述子処理部７１４と、記述子処理部７１４で処理された指示子及び参照子に基づきユーザのクエリーの意味を解析する意味解析部７１６とを備える。コンテンツ検索部７０８は、ユーザのクエリー解析部７０６の解析結果に従いマルチメディアコンテンツを検索する。コンテンツ検索部７０８はデータベース７１８を検索することや、通信部７２０を用いてインターネット７２２を検索することができる。データベース７１８は、マルチメディア検索装置７００の内部又は外部に設置することができる。出力部７１０は、コンテンツ検索部７０８によって検索されたマルチメディアコンテンツをユーザに提供する。

上述の本発明の方法は、プログラムとして具現することができ、ＣＤ ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなどのコンピュータ可読記録媒体に保存することができる。このような過程は、本発明が属する技術分野における当業者により容易に実装できるので、更なる説明は本明細書では提供されない。

本発明が具体的な実施形態に関して説明されてきたが、以下の特許請求の範囲で定義される本発明の趣旨及び範囲を逸脱することなく、様々な変化、修正をなすことができることは、当業者にとって明白であろう。

Claims (12)

1. 検索装置がマルチメディアコンテンツを検索する方法であって、
   ユーザのクエリーをＭＰＥＧ−７ドキュメントの特定領域を指示する指示子及び前記指示子を参照する参照子を用いることにより表現するステップと、
   前記指示子及び前記参照子を用いることにより表現された前記ユーザのクエリーの意味を解析することによって解析結果を作成するステップと、
   前記解析結果に従ってマルチメディアコンテンツを検索するステップと
   を含み、前記指示子は、
   前記参照子に対し使用されて前記指示子を参照する指示子ＩＤと、
   前記指示子により指示される領域を制限する条件を記述する記述子と
   を含むことを特徴とする方法。
2. 前記指示子は、前記指示子により指示される領域の最上位ノードを指定する記述子を更に含むことを特徴とする請求項１に記載の方法。
3. 前記ユーザのクエリーを指示子及び参照子を用いることにより表現するステップにおいて、前記ユーザのクエリーは、ＸＭＬ形式で記述されることを特徴とする請求項１に記載の方法。
4. 前記指示子及び前記参照子を用いることにより表現された前記ユーザのクエリーの意味を解析するステップは、
   前記ユーザのクエリーをＸＭＬパーサを用いることによりパーシングすることによって、パーシング結果を作成するステップと、
   前記パーシング結果に基づいて前記指示子及び前記参照子を処理するステップと、
   処理された指示子及び参照子を用いることにより前記ユーザのクエリーの意味を解析するステップと
   を含むことを特徴とする請求項３に記載の方法。
5. 前記指示子及び前記参照子を処理するステップにおいて、同じ領域内の値は、同一の指示子を参照する参照子に対し参照されることを特徴とする請求項４に記載の方法。
6. 検索装置がマルチメディアコンテンツを検索するためにユーザのクエリーを処理する方法であって、
   ユーザからマルチメディアコンテンツ検索するクエリーを受信するステップと、
   前記ユーザのクエリーをＭＰＥＧ−７ドキュメントの特定領域を指示する指示子及び前記指示子を参照する参照子を用いることにより表現するステップと
   を含み、前記指示子は、
   前記参照子に対し使用されて前記指示子を参照する指示子ＩＤと、
   前記指示子により指示される領域を制限する条件を記述する記述子と
   を含むことを特徴とする方法。
7. 前記指示子は、前記指示子によって指示される領域の最上位ノードを指定する記述子を含むことを特徴とする請求項６に記載の方法。
8. 前記ユーザのクエリーを指示子及び参照子を用いることにより表現するステップにおいて、前記ユーザのクエリーは、ＸＭＬ形式で記述されることを特徴とする請求項６に記載の方法。
9. マルチメディアコンテンツを検索する装置であって、
   ユーザからマルチメディアコンテンツを検索するためのクエリーを受信するクエリー入力部と、
   前記クエリー入力部を通じて入力されたユーザのクエリーを、ＭＰＥＧ−７ドキュメントの特定領域を指示する指示子及び前記指示子を参照する参照子を用いることにより表現するクエリー表現部と、
   前記クエリー表現部において、前記指示子及び前記参照子を用いることにより表現された前記ユーザのクエリーの意味を解析することによって、解析結果を作成するクエリー解析部と、
   前記解析結果に従ってマルチメディアコンテンツを検索するコンテンツ検索部と
   を備え、前記指示子は、
   前記参照子に対し使用されて前記指示子を参照する指示子ＩＤと、
   前記指示子により指示される領域を制限する条件を記述する記述子と
   を含むことを特徴とする装置。
10. 前記指示子は、前記指示子によって指示される領域の最上位ノードを指定する記述子を更に備えることを特徴とする請求項９に記載の装置。
11. 前記クエリー表現部において、前記ユーザのクエリーは、ＸＭＬ形式で記述されることを特徴とする請求項９に記載の装置。
12. 前記クエリー解析部は、
    前記ユーザのクエリーをパーシングすることによりパーシング結果を作成するＸＭＬパーサと、
    前記ＸＭＬパーサのパーシング結果に基づいて前記指示子及び前記参照子を処理する記述子処理部と、
    前記記述子処理装置において得られる、処理された指示子及び参照子を用いることにより前記ユーザのクエリーの意味を解析する意味解析部と、
    を備えることを特徴とする請求項１１に記載の装置。

Images