JP5406201B2 - マルチメディアデータを整理するためのプロセス - Google Patents

Description

本発明は、オントロジ（存在論：ｏｎｔｏｌｏｇｙ）、つまり知識を表現する一連の概念を構造化したものを利用する、マルチメディアデータを整理するためのプロセスに関する。

本発明には、マルチメディアデータ、特にデジタル写真データを整理するという家庭向け応用分野がある。また、共有マルチメディアデータの整理をカスタマイズするという応用分野もある。本発明の利用分野は、マルチメディアコンテンツへのオンデマンドでの公共アクセスの実現に及ぶ。

この整理システムに取り入れられるマルチメディアデータとしては、画像関連データ、画像シーケンス、音、テキストまたはこれらのデータセットのあらゆる組み合わせ等がある。

現在市販されているさまざまなマルチメディアデータの読取りおよび再生機器により、使用者はこのような機器を使って以前より格段に多くのデータにアクセスし、これを共有できるようになった。特に、デジタルカメラのメモリが大容量化したことから、１つのイベントでより多くの写真が撮影されている。

提示されるデータが大量であるため、これらのデータを選別し、整理しなければならない。どのように選別するかは、そのマルチメディアデータが誰を対象とするものかだけでなく、データを提示するための媒体によっても異なるかもしれない。

たとえば、デジタル写真データは、プリントされたプルーフのスライドショーまたはアルバムを制作するように整理することができる。同一のイベントに関する複数のアルバムには、そのアルバムが誰のためのものかに応じて、異なる写真が含まれているかもしれない。

ビデオクリップデータ、音データ、テキストデータまたはマルチメディアデータのあらゆる組み合わせについても同じことがいえる。

出来上がった提示は楽しいものであるかもしれないが、使用者はしばしば、データを選別、分類、整理するステップを踏まなければならないことを面倒に感じる。

下記の技術文献１，２に、画像生成およびアルバム制作に関する各種の技術が開示されている。

米国特許第６，６３６，６４８号明細書 米国特許出願第２００３／０１４７５５８号明細書

異なる人々を対象として、異なる提示媒体用に、異なる提示物を制作することは、マルチメディアデータの分類または検索にどの方法を用いるか、また使用者が各データ提示物の制作にどのツールを使えるかに関係なく、一般的に面倒な作業である。

本明細書では、結婚写真を提示する場合を例にとって説明する。提示用として選ばれる写真の選択は、理想的には、その提示物を誰に見せようとしているか、つまり新婚の夫婦か、両親か、友人か、立会人その他か、およびどの提示媒体を用いるか、つまりスライドショーか、フォトアルバムか、娯楽用品か、３Ｄオブジェクトその他かによって決定されるべきである。

本発明の目的は、少なくともある数のコンテキストにおいて、デジタルデータの整理をはるかに容易にする方法を提供することである。

本発明の別の目的は、使用者が同じマルチメディアデータ集合を、誰をターゲットとするかによって異なる手段で整理し、しかもはるかに少ない労力でこれを行うことができるようにすることである。

上記の目標を達成するために、本発明はマルチメディアデータを整理するためのプロセスを目的物としており、このプロセスでは、マルチメディアデータが、包括的個体(generic individuals)と個体間の意味論上のリンクその他を含むインスタンス化されたオントロジの随伴的個体(contingent individuals)によって表現される。

このプロセスは、ソフトウェアを実行するパーソナルコンピュータやサーバ等のコンピュータを用いて遂行できる。

このプロセスはまた、カメラ等の特定のマルチメディアデバイスやデジタルフォトフレームのプロセッサを用いても遂行できる。

このプロセスはさらに、特定用途向け集積回路を備えるデバイスでも遂行できる。

その方法は、
−使用者に、インスタンス化されたオントロジからの少なくとも１つの個体を選択させるステップと、使用者に行わせた選択に応答して、
−少なくとも１つの選択および／または、使用者が選んだ個体および関連する意味論上のリンクに関する（engage）整理ルールにしたがって、インスタンス化されたオントロジの随伴的個体に対応するマルチメディアデータのサブセットを選択し、整理するステップと、
を含む。

選択は自動的に実行され、使用者が何らかの入力を追加で行う必要はない。

マルチメディアデータに画像データが含まれる場合、このプロセスはさらに、選択されたデータサブセットを使ってフォトアルバムおよび／またはスライドショーを制作するステップを含む。

「個体」という用語は、オントロジの概念化された基本要素を指す。これらの個体は、包括的個体または随伴的個体に分けられる。

包括的個体群全部と関連のある意味論上のリンクとで１つまたは複数の包括的オントロジを構築することができる。包括的オントロジは、マルチメディアデータを整理するための基本構造として用いられる。マルチメディアデータは随伴的個体によって表現され、随伴的個体は意味論上のリンクを通じて包括的オントロジの中の個体に関連付けられる。包括的オントロジと包括的個体は、好ましくは、このプロセスを実行する使用者によって生成または変更されないものである。

これに対して、随伴的個体は、実際に使用者の知識の内容に関連付けられる。随伴的個体の例としては、既存のマルチメディアデータまたは、使用者により読み取られるデータを指し示すポインタが挙げられる。

「ポインタ」という用語は、マルチメディアデータを特定し、位置付け、または探すことを可能にするアドレスその他の情報を指す。オントロジの１つの個体があるマルチメディアデータオブジェクトを指し示すポインタを有していれば必ず、そのマルチメディアはその個体に関連付けられているとみなされる。

包括的オントロジと、意味論上のリンクによってそれに関連付けられる随伴的個体によって形成されるグループは、「インスタンス化されたオントロジ」と呼ばれる。

インスタンス化されたオントロジは、１つまたは好ましくはいくつかの選択および整理ルールに関連付けて使用される。ルールとインスタンス化されたオントロジとの関連付けによって、提示用に設計されたマルチメディアデータ、特に写真に焦点を当てた整理システムが形成される。

本発明によれば、データ、特にデジタル写真を、写真にラベル付けせずに、また意味的内容を分析せずに整理することができる。

提示を目的としたマルチメディアデータの選択と整理は基本的に、使用者により選択される１つまたは複数の個体によって異なる。使用者に提供される個体の集合には、包括的個体、随伴的個体、あるいはこれら２つの組み合わせが含まれている可能性がある。

本発明の好ましい実施例において、使用者に提供される選択肢の集合は包括的個体を含む。

整理ルールまたは整理ルールセットは、不変かつ固有とすることができる。また、いくつかのルールセットを使用者が直接選択するか、あるいは使用者が求める提示の形態に応じて選択できるようにすることも可能である。たとえば、データ整理がフォトアルバムの制作を目的として行われる場合に適用されるルールセットと、データ整理がビデオクリップまたはスライドショーの制作を目的として行われる場合のための別のルールセットを用意することができる。

この方法の単純な実施例では、統計情報による分類ルール(parametric rule)または統計情報以外による分類ルール(non-parametric rule)を１つ用いることができる。この種のルールの例としては、オントロジの中の、使用者が選択した個体との直接的な意味論上のリンクを示す個体に関連付けられるマルチメディアデータを選択すること等がある。

包括的個体を、共通の特徴を有する個体のクラスに再分配することが可能であり、この場合、セクションルール(section rule)にはクラスも含めることができる。

このように、使用者が選択した個体（複数の場合もある）に応じて、または使用者が選択した個体（複数の場合もある）のクラス集合に応じて、あるルールセットから１つのルールを選択でき、この場合、ルールの数は、たとえばオントロジの中の包括的個体の数と同じとすることができる。１つのルールは、たとえば個々の包括的個体および／または個々の個体クラスに関連付けられる。

本発明によるプロセスは、使用者に与えられたインスタンス化されたオントロジに基づいて実行される。しかしながら、その方法には、有利な形態として、包括的オントロジに基づいてインスタンス化されたオントロジを支援付きで構築することを含む予備ステップを含めることもできる。この場合、使用者には１つのオントロジまたは複数の包括的オントロジたけを提供すればよい。

使用者が利用できる支援付きの構築方法には、好適な選別手段を提供することが含まれていてもよい。これは、たとえば使用者が選択した包括的オントロジに応じてデータ読取機器のインタフェースを構成することであり、この場合、構成ステップでは使用者に具体的なマルチメディアデータ選別オプションが提供されることになる。

たとえば、使用者が包括的オントロジを選択した場合、ディスプレイアイコンおよび／またはコントロールキーをそのオントロジの中の個々の包括的個体に関連付けることができる。インタフェースとしてマウスを備えるＰＣを使用するのであれば、選別は、マルチメディアデータを表すアイコンとその包括的オントロジの中の個体を表すアイコンの間のドラッグ・アンド・ドロップによって行うことができる。

使用者が行う選別によって、意味論上のリンクが出来上がる。このプロセスは実際に、マルチメディアデータに関連付けられる随伴的個体と、使用者がそのマルチメディアデータを割り当てる選別カテゴリを表す選択されたオントロジの中の包括的個体との間の意味論上のリンクを作るという過程を含む。したがって、意味論上のリンクは使用者が実行する選別（sort-through）の機能（function)として作成される。

本発明のその他の特徴や利点は、付属の図面に関する以下の説明から明らかとなるであろう。この説明はあくまでも一例にすぎず、この例に限定されない。

本発明によるプロセスの実行に使用できるタイプのインスタンス化されたオントロジを説明する概略図である。 本発明を実行するマルチメディアデータ整理プロセスの主要ステップを示すフローチャートである。

図１は、包括的オントロジ１２と特定の数の随伴的個体１４を含むインスタンス化されたオントロジ１０の概略図である。

包括的オントロジは２つの個体クラス１６ａ，１６ｂからなり、各クラスに特定の数の包括的個体１８が含まれる。

例として、図面の説明は、結婚式に関するデジタルデータを整理するために設計された包括的オントロジについて行う。

したがって、第一の個体クラス１６ａには、ある結婚式において発生したエピソードに関する個体が含まれる。図のエピソードは、民事婚または宗教婚の結婚式における誓いの言葉の交換ＥＶ（ＥＣ）、乾杯Ｔ（Ｃ）および披露宴ＷＲ（Ｆ）に対応する。

オントロジの中には、各エピソードについて１つの包括的個体がある。

個体クラス１６ｂでは、個体は結婚式の中の代表的な役割を表す。例として、図面では新郎Ｂ（Ｍ）、立会人Ｗ（Ｔ）、友人Ｆ（Ａ）が特に示されている。

包括的オントロジにはまた、特定の数の包括的意味論上のリンクも含まれている。意味論上のリンク「それに続いて」は参照記号ｓで示され、エピソードのクラス１６ａの中の個体を結びつける。以上のことから、包括的オントロジは、結婚の誓いに続いて乾杯が行われ、それに続いて披露宴が行われるという知識を含んでいる。

同様に、包括的意味論上のリンク「にとって重要」は参照記号ｉで示され、エピソードのクラス１６ａに含まれる個体を結婚式での役割のクラス１６ｂに含まれる個体と結びつけ、また結婚式での役割のクラスの中の個体同士を結びつける。したがって、図の例において、包括的オントロジは、誓いの言葉の交換と披露宴は新郎にとって重要な時間である、誓いの言葉の交換と乾杯は立会人にとって重要な時間である、等々の知識を含んでいる。

随伴的個体１４は、マルチメディアデータのポインタまたはアドレスまたは識別子であり、またはこれを含む。説明を単純化するために、ポインタとアドレスと識別子を、それぞれが表すマルチメディアデータとして扱う。したがって、以下の説明において、本出願人は言葉の意味を広げ、随伴的個体を「マルチメディアデータ」と呼ぶことにする。

図の例において、マルチメディアデータには、デジタル写真ファイル１４ａ，１４ｂ，１４ｃ，１４ｄと、使用者がそれ以前に入力したテキストを含むかもしれないテキストファイル１４ｅ，１４ｆが含まれる。

マルチメディアデータ１４は、参照記号ｒで示される「により表される」という意味論上のリンクによって包括的オントロジ１２の包括的個体に関連付けられる。したがって、誓いの言葉の交換は写真集合１４ａによって表され、新郎は写真集合１４ｄによって表される。意味リ論上のリンクｒは、今度は「随伴的意味論上のリンク」と呼ばれる。

図をわかりやすいものにするという明白な目的のために、図には描かれていないが、同じ写真、ひいては同じ随伴的個体１４が、これを包括的オントロジの中の異なる包括的個体に結びつける意味論上のリンクを有することもありうる。

図２は、本発明を実行するための別の例を示す。まず、予備選別ステップ１００から説明する。このステップは、厳密には、整理の方法そのものの不可欠な部分ではなく、また必ずしも、データを提示のために整理しようとしている使用者と同じ使用者によって行われるとはかぎらない。選別ステップは、インスタンス化されたオントロジを構築することに対応する。しかしながら、本発明の方法は、既存のインスタンス化されたオントロジを使っても実行できる。

予備段階の最初のステップ１０１では、包括的オントロジが選択される。図の例では、この包括的オントロジは結婚式に関するオントロジである。同様に、誕生日、休日等、他のイベントに関する他の包括的オントロジを構築することもできる。個々のケースにおいて、包括的個体は、イベント、場所、人、状況、そしてより一般的には、ターゲットとなるコンテキストの中で通常遭遇すると予想され、かつこれに関連するマルチメディアデータが作られる可能性のある、あらゆる対象に対応できる。

包括的オントロジが選択されると、ステップ１０２で、その包括的オントロジを選別プロセスに最もよく適合させるように設計された選別インタフェースが自動的に構成される。図の例では、スクリーンの表示を、オントロジの中の各包括的個体にアイコン１１８を対応させるように構成することができる。図には、少数のアイコンだけを示す。同じ方法によって、選択された包括的オントロジの中の包括的個体の各々にコントロールキーを割り当てることもできる。

したがって、使用者は、マウスとドラッグ・アンド・ドロップによるコマンドを使って、マルチメディアデータを表すアイコン１１４を、包括的個体を表すアイコンとマッチさせることができる。この選別ステップには、図１のテキストデータ１４ｅ，１４ｆに対応するテキストの入力を含めることできる。このテキスト入力ステップは参照番号１０３で示される。同様に、データは音声による解説や音楽の形態でも入力できる。

使用者のコマンドは、次のステップ１０４で、随伴的意味論上のリンクを作成し、それによってインスタンス化されたオントロジを構築するのに使用される。随伴的意味論上のリンクは、図１においてｒで示される意味論上のリンクである。これらは、マルチメディアデータを包括的オントロジの中の包括的個体に結びつける。

このようにして、インスタンス化されたオントロジが構築されると予備ステップが完了する。

データ整理プロセスそのものである１２０は、ステップ１０４で構築されたインスタンス化されたオントロジまたは、マルチメディアデータを含む同じタイプの別のインスタンス化されたオントロジを使用できる。

最初のステップ１２２は、インスタンス化されたオントロジを選択するステップである。これは、マルタメディアデータセット、たとえばデジタル写真の集合と、このデータセットに関する知識の集合を同時に選択することである。この知識は特に、インスタンス化されたオントロジの中の個体を相互に結びつける包括的および随伴的リンクの中に保存される。

オントロジが選択されたら、１２６において、使用者にはまた別の選択のオプション、つまり１つまたは複数の個体を選択する機会が与えられる。この選択の前に、１２４において、選択されたインスタンス化されたオントロジの中の個体に関係する特定の数のアイコンがスクリーンに表示されてもよい。この選択ステップはまた、キーボードまたはその他のアドホックインタフェースを構成することによっても実行できる。

使用者に与えられる選択は、包括的個体に限定することができ、または、随伴的個体を含んでいてもよい。あるいは、その選択の選択肢とされる個体を、これに付けられる意味論上のリンクの数に応じて限定してもよい。

この選択ステップでは、選択肢とされる個体の中から１つまたは複数を使用者が選択する。

たとえば、選択できる個体は、図１の中の個体ＥＶ，Ｃ，ＷＲ，Ｂ，Ｗ，Ｆであってもよい。したがって、使用者は個体Ｃ（セレモニー）を選択するかもしれない。

１２８で、使用者にさらに別の選択を行わせてもよい。これは、データを提示するための媒体またはモードの選択である。たとえば、マルチメディアデータが主として写真に関連するものである場合、使用者は、マルチメディアデータをスライドショーによる提示用にあてるか、フォトアルバムによる提示用にあてるかを選択できる。

その後、ステップ１３０で、マルチメディアデータのサブセットの選択と整理が行われる。このステップでは１３２におけるルールセットが必要となり、このルールセットは、必要に応じて、１２８での第二の選択の間に選択された提示フォーマットに応じて選択してもよい。

これらのルールは事前に決められ、随伴的または意味的個体に関係付けることができるのと同様に、随伴的または包括的意味論上のリンクに関係付けることができる。これらのルールにより、使用者の選択（複数の場合もある）を考慮して選択しなければならないマルチメディアデータが決まる。

いくつかの例を挙げることができる。
−（ａ）使用者がある包括的個体を選択した場合、その包括的個体に関係するすべてのマルチメディアデータ（随伴的個体）を選択する。
−（ｂ）使用者が選択したマルチメディアデータ（随伴的個体）が関連付けられる包括的個体に関係するすべてのマルチメディアデータをとる。
−（ｃ）使用者が選択した個体に、Ｘの下の連続する多数のリンクによって関連付けられるすべてのマルチメディアデータをとる。
−（ｄ）使用者が選択した個体に関連付けられるマルチメディアデータの中のｘパーセントと、ｙ個より少ない連続する「それに続いて」のリンクによってその個体に関連付けられるマルチメディアデータの１００−ｘパーセントをランダムに選択する。

これらの例は、ルールをどのように包括的個体または個体クラスに固有のものとすることができるかを明確にしている。また、たとえば多数のリンクを考えることにより、ルール自体が包括的であってもよい。

ルールはまた、データの整理と、それがどのように提示されるかにも適用できる。たとえば、使用者がデータをフォトアルバムとして提示することを選択した場合、たとえば、アルバムに入れる１枚の写真のプリントフォーマットは、この写真を表す随伴的個体を包括的個体に結びつける意味論上のリンクの数によって決まるというルールを設けることができる。たとえば、リンクが１つであれば小さな提示フォーマットとなり、リンクが２つであれば中規模のフォーマットとなり、リンクが３つ以上であれば大きなフォーマットとなる。

本発明による方法は、有利な点として、ターゲットとなる受取手のために特に設計されたマルチメディア提示物を制作するのに使用できる。

再びフォトアルバムを制作する場合を例にとると、個体選択ステップ１２６で、使用者に対し、オントロジの中の個体集合をカバーする、より広い選択肢か、あるいはより限定的な選択肢を与えることが可能である。たとえば、この選択肢を１つのクラス内の個体に限定することができる。

したがって、図１の結婚式の役割のクラス１６ｂに注目すると、使用者は、新郎Ｂ（Ｍ）、立会人Ｗ（Ｔ）または友人Ｆ（Ａ）をより明確なターゲットとした構成を選択できる。

たとえば、３つ未満の連続するリンクによって、選択された個体（Ｗ）に関係する写真を選択するというルールがある場合、フォトアルバムには主として、新郎、誓いの言葉の交換の儀式、そして乾杯の写真が含まれるであろう。写真は、リンクｉとｒだけで立会人Ｗに関連付けられる。しかしながら、この例で立会人が受け取るのは、少なくとも３つの連続するリンク、たとえば１４ＴからＷＲ、ＷＲから１Ｔ、ＴからＷを想定する披露宴ＷＲまたは友人Ｆの写真だけであろう。

意味論上のリンクｓ「それに続いて」に関するルールは、選択された写真を時系列で並べるのに使用できる。

最も制限的なルールから最も制限的でないルールへの順序で適用される一連の条件付きルールを含めることが可能である。より制限的なルールを使用する際の条件となるのは、そのルールによって、提示フォーマットとその提示物に含める必要のあるマルチメディアオブジェクトの数を考慮して十分な数のマルチメディアオブジェクトを生成できることである。このオプションは、ステップ１２８で使用者に与えることができる。

マルチメディアコンテンツのオンデマンド配信システムの場合、包括的オントロジは、オンデマンド配信サービス事業者によって管理されるサーバ上に保存でき、上述のような使用者による選択は通信ネットワークを介して遠隔的に行うことができる。

１２ 包括的オントロジ、１４ 随伴的個体、１６ 個体クラス、１８ 包括的個体。

Claims (7)

1. 包括的個体と個体間の意味論上のリンクを含むインスタンス化されたオントロジの中にさらに含まれる随伴的個体によって表されるマルチメディアデータを整理するコンピュータにより実行されるプログラムであって：
   包括的個体を含む包括的オントロジに基づいて、前記インスタンス化されたオントロジをハードウェアインターフェースの支援付きで構築する予備ステップと、
   前記インスタンス化されたオントロジから少なくとも１つの個体の選択オプションを表示手段を用いて使用者に与えるステップと、
   使用者に行わせた選択に応答して、前記インスタンス化されたオントロジの随伴的個体に対応するマルチメディアデータのサブセットを、前記使用者が選択した個体およびこれに関連する意味論上のリンクに関する少なくとも１つの選択および／または整理ルールに応じて選択し、整理するステップと、
   を含み、
   前記包括的個体は共通の特徴を有する個体クラスに再分配され、前記選択および整理ルールはまた、これらのクラスに関係する
   ことを特徴とする、コンピュータにより実行されるプログラム。
2. 請求項１に記載のプログラムであって、
   前記随伴的個体は、マルチメディアデータを指し示すポインタであることを特徴とするプログラム。
3. 請求項１に記載のプログラムであって、
   前記選択ルールは、使用者が選択したデータ提示フォーマットに応じて機能するルールセットの一部であることを特徴とするプログラム。
4. 請求項１に記載のプログラムであって、
   一連のルールを使用し、その中の少なくとも１つのルールが前記オントロジの中の個々の包括的個体に関連付けられることを特徴とするプログラム。
5. 請求項１に記載のプログラムであって、
   一連のルールを使用し、その中の少なくとも１つのルールが各クラスに関連付けられることを特徴とするプログラム。
6. 請求項１に記載のプログラムであって、
   使用者が選択した包括的オントロジにしたがってデータ読取ハードウェアインタフェースを構成するステップを含み、前記構成ステップでは、使用者に対して、前記マルチメディアデータを選別するオプションが与えられることを特徴とするプログラム。
7. 請求項６に記載のプログラムであって、
   前記マルチメディアデータに関連付けられる随伴的個体と前記選択されたオントロジの包括的個体の間の意味論上のリンクを作るステップを含み、前記意味論上のリンクを作るステップは、前記使用者が実行する前記選別にしたがって実行されることを特徴とするプログラム。

Images