JP4159248B2 - 階層的データ構造管理システム及び階層的データ構造管理方法 - Google Patents

Description

【０００１】
（発明の分野）
本発明は、情報と画像とを関連付け、コンテンツベースによる情報検索アプリケーション、オブジェクトベースによる編集アプリケーション及び操作アプリケーションにおいて、かかる情報を利用するシステム、及びかかるシステムにおいて情報を操作する方法に関する。
【０００２】
（発明の背景）
情報と画像とを関連付けることは、画像を成功裏に認定し、異なるアプリケーションの間で画像を相互交換できるようにする上で有効である。画像データ自体の他に関連付けられた情報をオーディオビジュアル的に与えられると、画像を種々の方法で利用し、楽しむことができる。公知の方法及びシステムでは、かかる情報は一般的にこの上なくグローバルである。すなわちこのことは、画像内の異なるオブジェクト（例えば人物対背景又は異なる人物）を区別することなく、全体画像に対しても当てはまる。画像にグローバルな情報を添付できるようにする、規格団体によって開発された１つのファイルフォーマット例として、静止画像交換ファイルフォーマット（ＳＰＩＦＦ）があり、このフォーマットはＪＰＥＧ規格、すなわちＩＳＯ／ＩＥＣ ＩＳ １０９１８−３（付属Ｆ）に対する拡張案として指定されたものである。
【０００３】
公知のシステムでは、相互アクティビティのための工夫がなく、ユーザに情報が与えられるだけである。公知のシステムはコンテンツ情報のオーディオビジュアル化することを全く解決しておらず、これら公知のシステムは古典的な画像データベース又は画像ファイル交換アプリケーションに対して構成されている。ユーザにとって表示されている画像の主題に関する別の情報を学習する方法はない。
【０００４】
（発明の概要）
情報検索、編集及び操作を行うために、画像にオブジェクトベースによるオーディオビジュアルな記述的タグ付けを行うための階層的システムは、画像における関心のあるオブジェクトを選択するためのオブジェクトベースによる選択機構と、画像に対し、階層的データ構造を生成し、補助情報と画像とを関連付けるための階層的データ構造生成手段と、画像及び階層的データ構造を蓄積するための伝送及び蓄積機構とを備える。
【０００５】
情報検索、編集及び操作をするために画像にオブジェクトベースによるオーディオビジュアルな記述的タグ付けを行うための階層的方法は、オブジェクトベースによる選択機構により画像内の関心のあるオブジェクトを選択するステップと、画像のための階層的データ構造を生成し、補助情報と画像とを関連付けるステップと、画像及び階層的データ構造を伝送及び蓄積するステップとを備える。
【０００６】
本発明の目的は、画像に対する記述データの関連付けを可能にする階層的データ構造及び方法を開発することにある。
【０００７】
本発明の別の目的は、画像内のオブジェクトに対し記述データを特定し、記述データがテキスト情報、他のファイルへのリンク、同一又は他の画像内の他のオブジェクト、又はウェブページへのリンク及び形状のようなオブジェクトの特徴、及びオーディオの注釈を含むことのできるようなシステム及び方法を提供することにある。
【０００８】
本発明の別の目的は、画像のコンテンツに関連した情報を創出し、この情報を含むデータ構造を形成するための手段と、この情報を経験するための手段とを提供するシステム及び方法を提供することにある。かかるシステムはカメラ、パソコンに接続されたカメラ、又は画像取得もしくは生成，ビューイング及び取り扱いケーパビリティを備えた任意の情報装置を含むことができる。上記の説明において、「経験する」なる用語は、表示及び再生により画像コンテンツに関連した情報をオーディオビジュアル的に視聴することを意味し、「利用」なる用語は、画像を編集し、アーカイブし、検索し、操作し、再目的化し、通信することを意味する。
【０００９】
（好ましい実施形態の詳細な説明）
本発明は、（ｉ）ディジタル画像内の領域に関するオブジェクトベースによる情報を定義し、（ｉｉ）かかる情報を構造化し、画像データ自体を含む共通ファイルフォーマットにかかる情報を統合し、及び、（ｉｉｉ）コンテンツベースによる情報検索アプリケーション、オブジェクトベースによる編集アプリケーション及び操作アプリケーションにおいて、かかる情報を利用するためのシステム及び方法を提供するものである。
【００１０】
本発明の方法は、画像圧縮規格、例えば現在のＪＰＥＧ規格だけでなく、ＪＰＥＧの将来のバージョン、例えばＪＰＥＧ２０００と共に働くようになっている。本発明のユニークな特徴として、異なる画像オブジェクトの境界を定める長方形だけでなく、正確な輪郭データに関する関連付け情報が挙げられる。本発明の重要な特徴は、ユーザからの要求時に限り、ユーザに階層的データ構造及びコンテンツに関連した情報がダウンロードされ、与えられることである。すなわちオブジェクトベースによるパラダイムが提供される。このシステム及び方法は、新しいタイプのコンテンツに関連する情報、例えばウェブページ及びオブジェクト境界情報をサポートする。画像又は画像内の領域又はオブジェクトを他の任意のローカルな、又は離れたマルチメディアコンテンツにリンクできるリンク機構が提供される。この新しく定められたフォーマットは現在のシステムと後方互換性を持つ。
【００１１】
本発明は、フレームベースではなく、オブジェクトベースによるパラダイムを使用するものである。すなわち情報は、異なる画像オブジェクト，公知のシステムのパラダイムを区別できるようにすることなく、画像全体を参照する。
【００１２】
図１では、本発明のシステムの実施形態の主要構成部品の全体が符号１０で示されている。この実施形態では、画像１２が取得され、及び／又は生成される。この画像はカメラで取得したり、コンピュータで生成することができ、又は現存する画像でもよい。画像が一旦取得されると、興味を引く（関心のある）オブジェクトを囲む矩形を描画することにより、インタラクティブにオブジェクトの選択１４を実行できる。カメラで画像１２の取得をしたり、またコンピュータで画像１２を生成する場合、ペン入力により液晶上で長方形を描画できる。これとは異なり、ディジタル画像をダウンロードしたコンピュータのプラットホーム上でオブジェクトの選択を実行してもよい。テキスト情報及びリンク情報に対しては、ペン入力によりオブジェクトベースによる情報入力１４を実行できる。取得プロセス中の注釈を可能にするよう、カメラに組み込むことができるマイクロフォンを介し、オーディオ注釈を入力してもよい。カメラに音声認識モジュールを設け、音声−テキスト変換を使って音声を介し、テキスト情報を入力することも可能である。圧縮モジュール１５はオーディオ（音声）圧縮機構１５ａとデータ圧縮機構１５ｂとを含む。標準オーディオ圧縮方法（例えばデルタパルス符号化変調（ＤＰＣＭ））を使ったオーディオ注釈の圧縮、及び標準データ圧縮方法（例えばＬｅｍｐｅｌ−Ｚｅｒ−Ｗｅｌｃｈ（ＬＺＷ））を使った他の関連するデータの圧縮はオプションである。
【００１３】
２つのレベル（第１レイヤをベースレイヤと称す）の情報を含む階層的データ構造１６の生成については後述する。好ましい実施形態では、統合モジュール１７はコンテンツに関連するデータ及び画像データ自体を共通ファイルに組み合わせる。この組み合わせは、例えばＪＰＥＧ２０００又はＭＰＥＧ４が採用できる将来の画像ファイルフォーマットのネイティブな部分としてサポートできる。しかしながら、現在普及している標準ファイルフォーマットを所有権に基づく様式で拡張することにより、現行の標準ファイルフォーマットを使用することも可能である。この後者の方法は、追加情報を破壊したり、無視することなく、現在のファイルフォーマットを使ったレガシービューワが、少なくとも画像を表示できるという意味で、後方互換性を提供する。これについては後述する。図４を参照して後述するように、所定の肯定と否定を伴って別の画像及び画像ファイルによる実現も可能である。次に、統合された画像コンテンツ及び画像データ自身がチャネル又はネットワークを通して送信され、又はサーバ内に蓄積される（ブロック１８）。
【００１４】
蓄積装置としてメモリユニット、例えば電子カメラ内又はサーバ内のメモリがある。これとは異なり、統合されたデータをＥメールを介して送ったり、又はＥメールに添付書類として加えることができる。画像圧縮モジュール２０は、オプションであり、ＪＰＥＧ規格又は他の任意の画像圧縮アルゴリズムを実現するために設けてもよい。オーディオ及び／又は他の関連データを圧縮する場合、モジュール２４内で情報のオーディオビジュアル化を実現する前に、オーディオ及び／又はデータの解凍（伸長）を実行する。画像及びこれに関連する階層的データ構造がユーザに対して利用できるようになると、これらをインタラクティブに利用できる。
【００１５】
（インタラクティブなオーディオビジュアル化の実現）
本発明を利用するインタラクティブシステムは、次のステップで、画像に関連するオブジェクト情報の検索及びオーディオビジュアル化を実現する（すなわちブロック２４）。
【００１６】
（ａ）画像データを検索し表示する。
（ｂ）ベースレイヤ情報を読み取る。
（ｃ）ベースレイヤ情報をオーバーレイ生成機構として使用し、オーバーレイを生成してベースレイヤに含まれている領域情報に従って、「ホットスポット」の情報を含む領域を視覚的に表示する。ユーザの指示装置がその領域内のエリア内のロケーションをポイントした時にホットスポットだけを強調表示できる。
（ｄ）ユーザがホットスポット上でポイントしクリックするオブジェクトによってポップアップメニューを表示する。そのオブジェクトに対して入手可能な情報のタイプがメニュー内で特徴付けられる。
（ｅ）ユーザがメニュー内の適当な項目をクリックした後に、ユーザが選択した情報をレンダリングする。
ユーザの要求に応じて、ホットスポットとポップアップを呼び出すだけでよいことに留意することが重要である。この意味において、この発明によって提供される追加情報は決して侵入的とはならない。ステップ（ａ）〜（ｅ）は適当なコンピュータソフトウェアを含むオブジェクト情報モジュール２４のオーディオビジュアル化によって実現できる。
【００１７】
本発明の完全な実現例では、コンテンツベースによる画像検索及び編集もサポートされる。ユーザが特定の画像を探すことができるための検索エンジン２８も提供される。編集はオブジェクトベースによる画像操作及び編集サブシステム２６によって提供される。画像１２は、内部にディジタル画像の集合を含むデータベースに含めることができる。かかる画像データベースはライブラリ又はディジタルライブラリと称すことができる。
【００１８】
コンテンツベースによる情報検索は、画像を利用し、画像と相互対話する新しい次元をユーザに提供する。まず第１に、ユーザは画像内の関心のある（興味を引く）領域又はオブジェクトをクリックし、それらに関する別の情報を検索できる。かかる情報には、関連するウェブサイト又は他のマルチメディアマテリアル，テキスト記述，音声注釈などへのリンクが含まれる。第２に、ユーザは高度な検索エンジンを介してデータベース内の所定の画像を探すことができる。データベースアプリケーションでは、コンテンツを記述するための関連する情報を元に画像を索引し、検索できる。かかるコンテンツベースによる情報は、画像及び画像内のオブジェクトと関連付けでき、その後、本発明を利用して情報検索で使用できる。
【００１９】
オブジェクトベースによる画像編集によってユーザは画像内のオブジェクトに関し画像を操作することが可能となる。例えば、ユーザは画像内の人のサブジェクトをドラッグし、これを別の背景画像へドロップし、従って、所定の望ましい効果を有する新しい画像を構成することができる。本発明は、画像を切り取り、ある画像から別の画像へオブジェクトをドラッグできるようにオブジェクトの精密なアウトライン（輪郭）情報にアクセスできるようにする。ここで、オブジェクトをシームレス（継ぎ目無し）に異なる背景へ一体化できる。これと共に、コンテンツベースによる情報検索及びオブジェクトベースによる画像編集は、画像を見たり操作したりする上でのエキサイティングな体験をユーザに与える。
【００２０】
次に、画像データ構造がオブジェクトベースによる情報検索及びオブジェクトベースによる画像編集をサポートできるようにする統合された方法について開示する。この方法は、「ベースレイヤ」がコンテンツに関連する情報インジケータしか搬送されず、極端に軽量となっている階層的データ構造を構成する。実際のコンテンツに関連する情報は「第２レイヤ」内で搬送される。この階層的実現例は、ユーザが命令した場合に機能を完全に実現できるようにしながら、それらの新しい機能を導入した後で、圧縮された画像のダウンロードの効率が実際に完全となることを保証する。
【００２１】
コンテンツベースによる情報検索及びオブジェクトベースによる画像編集をサポートする方法を開発する場合、２つの主な目標がある。１）かかる機能をサポートする圧縮された画像は、かかる機能をあたかもサポートしていない場合とほぼ同じ速度でダウンロードでき、ほぼ同じディスク空間を使って蓄積できなければならない。２）かかる機能はユーザ／アプリケーションがそのようにすることを選択した場合に、完全に実現できなければならない。
【００２２】
上記目標を満たすために、２つのレイヤを有する階層的データ構造を使用する。本明細書で「ベースレイヤ」と称する第１レイヤは、ある固定された数までのバイトを含む。これらバイトは関心のある多数の領域を指定し、ある領域に対して所定の別のコンテンツ関連情報が利用可能かを示す多数のフラグを蓄積するのに使用される。第２レイヤは実際のコンテンツ関連情報を載せている。ネットワークアプリケーションでは、当初の圧縮画像及びそれに関連するコンテンツ関連情報のベースレイヤしか送信されない。ベースレイヤは固定された少数のバイトしか載せないので、実際にはその画像の送信速度への影響は無視できる。
【００２３】
次に図２を参照する。最初のダウンロードの後に、ユーザは画像４０を見ることができ、画像のコンテンツと相互対話することを判断することもできる。この判断は当該オブジェクト、例えばキャラクタ１（４２）、キャラクタ２（４４）又は他のアイテム、例えばアイテム４６との相互作用が含まれる。代わりに、画像の一領域を興味のオブジェクトとして見なすことができる。画像全体を興味のオブジェクトとして取り扱うこともできる。ユーザは自分が関心を持つ領域又はオブジェクトをクリックすることによってこのように処理することもできる。次に、システムは、ベースレイヤに蓄積されたフラグに基づき、選択された領域又はオブジェクトに関連する入手可能な情報をリストするポップアップメニュー４８，５０を表示する。ユーザがメニュー内のアイテムを選択した場合、システムは元のソースから第２レイヤに蓄積された関連情報のダウンロードを開始し、これをユーザに表示する。ユーザはコンテンツに関連する情報と共に、又はこの情報を伴わずに、圧縮された画像をセーブするよう選択することもできる。ユーザがコンテンツ関連情報と共に画像をセーブすることを選択した場合、ベースレイヤ内の入手可能な情報に対応するフラグを真にセットすることが可能で、また、この逆を行うことも可能である。
【００２４】
共通の関心となり得るコンテンツ関連情報の初期のセットは、１）リンク、２）メタテキスト情報、３）音声注釈、４）オブジェクト境界、を含み、更に、５）機密−著作権情報、６）ＭＰＥＧ−７：「コンテクスト及び目的（バージョン４）」，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１，動画とオーディオの符号化，Ｍ１７３３，１９９７年７月に記載されているようなＭＰＥＧ−７の記述子の引用の参照、も表示できる（図示せず）。表１のシンタックスはコンテンツ関連情報の取得をサポートするために使用できる。種々のアプリケーションを満足させるために必要な場合は、この初期のセットに他のタイプのコンテンツ関連情報を追加できることに留意すべきである。例えば関連情報のリストに、例えばＪａｖａ（商標）言語で記載されたコンピュータコードを追加してもよい。あるケースでは、システムは既に実行中のアプリケーション、例えばウェブブラウザ、メディアプレイヤなどをオープンにし、又はアプリケーションが既に作動していない場合にはアプリケーションを作動するのにシステムが必要なことがある。かかるアプリケーションは、任意の形態、ワードプロセッサアプリケーション、Ｊａｖａ（商標）アプレット又は他の任意に必要なアプリケーションとなり得る。
【００２５】
（ベースレイヤシンタックス）
【００２６】
【表１】

【００２７】
（セマンティクス）
num＿of＿regions ： 付加されるコンテンツ関連情報を有する画像内の領域数。
region＿start＿x ： 領域の左上隅のｘ座標。
region＿start＿y ： 領域の左上隅のｙ座標。
region＿width ： 領域の幅。
region＿height ： 領域の高さ。
【００２８】
link＿flag ： 領域用リンクの存在を示す１ビットのフラグ。「１」はこの領域に付与されたリンクがあることを示し、「０」は無いことを示す。
meta＿flag ： 領域用メタ情報の存在を示す１ビットのフラグ。「１」はメタ情報があることを示し、「０」は無いことを示す。
voice＿flag ： 領域用音声注釈の存在を示す１ビットのフラグ。「１」は音声注釈があることを示し、「０」は無いことを示す。
boundary＿flag ： 領域用の精密な境界情報の存在を示す１ビットのフラグ。「１」は境界情報があることを示し、「０」は無いことを示す。
security＿flag ： 領域用の機密−著作権情報の存在を示す１ビットのフラグ。「１」は情報があることを示し、「０」は無いことを示す。
mpeg7＿flag ： 領域用のＭＰＥＧ−７記述子の基準情報が存在することを示す１ビットのフラグ。「１」はＭＰＥＧ−７の基準情報があることを示し、「０」は無いことを示す。
【００２９】
上記シンタックスはベースレイヤが軽量であることを示唆する。例えば２５６バイトの場合、このベースレイヤは、６５,５３６×６５,５３６画素の大きさの画像内の任意の場所に少なくとも２６個の領域を規定できる。画像内に４つの領域を定義するには、ベースレイヤは３８バイトしか消費しない。
【００３０】
（第２レイヤシンタックス）
第２レイヤは実際のコンテンツに関連する情報を支持する。この情報は各領域ごとにリンク，メタ情報，音声注釈，境界情報，機密（セキュリティ）−著作権情報及びＭＰＥＧ−７基準情報を含むことができ、第２レイヤ内に上記情報を蓄積するのに、表２のハイレベルのシンタックスを使用できる。
【００３１】
【表２】

【００３２】
リンクとメタ情報はテキスト情報であって、損失のない符号化を要求する。現存の音声圧縮フォーマットのうちの１つ、例えばデルタパルス符号化変調（ＤＰＣＭ）を使って音声情報を符号化できる。境界情報は、ＭＰＥＧ−４「ＭＰＥＧ−４動画の形状符号化におけるコア実験の説明」，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１，動画及びオーディオの符号化，Ｎ１５８４，１９９７年３月で開発された形状符号化技術を使用できる。機密−著作権情報は所定の暗号化技術を利用できる。冒頭で引用したＭＰＥＧ−７基準情報はＭＰＥＧ−７で開発された将来の記述ストリームへの所定のタイプのリンクを含む。
【００３３】
上記のように示したコンテンツに関連する情報の各タイプに対する精密なシンタックス及びフォーマットは、将来の規格のためのファイルフォーマット開発の途中で決定でき、本明細書では本発明のシステム及び方法の単なる例として示される。しかしながら、一般的には表３のシンタックス構造を使用できる。
【００３４】
【表３】

【００３５】
（セマンティクス）
links() ： リンク符号化のためのサブシンタックス。
meta() ： メタ情報符号化のためのサブシンタックス。
voice() ： 音声注釈符号化のためのサブシンタックス。
boundary() ： 境界情報符号化のためのサブシンタックス。
security() ： 機密−著作権情報を符号化するためのサブシンタックス。
mpeg7() ： ＭＰＥＧ−７基準情報を符号化するためのサブシンタックス。
【００３６】
end＿of＿region ： １領域用コンテンツ関連情報の終わりに付けるタグ。
type＿of＿info ： コンテンツ関連情報の形式を一意に規定するための８ビットのタグ。このパラメータの値はリンク，メタ情報，音声注釈，境界情報，機密−著作権情報及びＭＰＥＧ−７基準情報のようなコンテンツ関連情報の全ての形式の一覧表中に規定された１セットの数の内の１つである。
length＿of＿data ： コンテンツ関連情報を蓄積するために使用するバイト数。
data() ： コンテンツ関連情報を符号化するための実際のシンタックス。このシンタックスはアプリケーションの要求に基づき定められるか、又は、本来の特徴の１つである階層的データ構造をサポートできる将来のファイルフォーマットの仕様に従って決定される。
【００３７】
次に、機能の代表的な使用例を示すいくつかの例を説明する。
（コンテンツベースによる情報検索）
画像内の領域又はオブジェクトに音声注釈及びＵＲＬリンクのような付加情報を取り付けることにより、ユーザにより興味を引くようにこの画像と対話することを可能にする。更にこれにより、我々が静止画像を見て利用する態様に新しい次元が加えられる。図２は、かかる機能を備えた画像、すなわち情報強化画像を表示するシナリオを示す。アプリケーションは画像データだけでなく、ベースレイヤ情報を読み出す。次に画像を表示し、ベースレイヤ内の領域情報に従って画像上のオーバーレイを介し「ホットスポット」を視覚的に表示する。ユーザは自分の関心のある領域又はオブジェクトをクリックする。選択した領域又はオブジェクトに対して利用できるアイテムをリストアップするポップアップメニューが現れる。ユーザが例えば音声注釈アイテムを選択すると、アプリケーションは第２レイヤにおけるサウンド情報を探し、デフォルトのサウンド再生アプリケーションを使ってそれを再生する。ユーザがウェブサイト５２に対するＵＲＬリンクであるリンクを選択すると、システムはアドレスを探し、デフォルトのウェブブラウザ内の対応するウェブページを表示する。１つのリンクで別の画像ファイルをポイントすることもできるし、また画像内の別の領域又はオブジェクトをポイントすることもできる。更にユーザがメニューから対応するアイテム、例えばメディアプレイヤ５４を選択するだけで、追加メタ情報も異なる種々の形態で検索しこれを見ることができる。
【００３８】
上記方法を使用する場合、同じ画像内の異なる領域及びオブジェクトは添付された異なる付加情報を有し得る。ユーザは、例えば画像内の異なるキャラクタに対応する別の声を聞くことができる。シーン内の、より関連するコンポーネントに対して直接個々のウェブページをそれぞれ添付することも可能である。
【００３９】
（オブジェクトベースによる画像編集）
画像を編集する際、任意の形状を有するオブジェクトによって切り取りを行い、コピー及び貼り付けすることが好ましい。提案された方法は付加形状情報が符号化されることを条件に、かかる機能をサポートする。図３は、赤ん坊のオブジェクト６２に関連する境界情報６０を使うことによってユーザが赤ん坊のオブジェクト６２をコピーし、これを別の背景６４へ入れ、よってコンピュータで生成された１つの画像をコンピュータで生成された別の画像に移す例を示している。アクションのシーケンスは次の順で起こり得る。すなわちユーザがまず赤ん坊のオブジェクト６２をクリックすると、システムはメニュー６６をポップアップする。次にユーザはシステム内の境界生成機構で生成された境界アイテム６８を選択する。次に、システムは境界情報をロードし、オブジェクトに関し、輝線が表示するような赤ん坊のオブジェクトを強調する。次にユーザはドラッグ及びドロップタイプ７２のアクションを実行するか、又は編集メニュー７０からコピー及び貼り付け機能を選択することによって、赤ん坊のオブジェクトをコピーし、貼り付け７０を行うことができる。
【００４０】
（画像のコンテンツにベースによる検索）
ＭＰＥＧ−７記述子を画像に関連付けることにより、高度な検索エンジンを用いて画像のグラフィックなコンテンツに基づいた画像を検索できる。記述子にはカラー，テクスチャ，形状だけでなく、ＭＰＥＧ−７で決定すべきキーワードが含まれる。一般に１つの画像は、ＭＰＥＧ−７記述ストリームをポイントする軽量な基準情報を載せているだけでよい。
【００４１】
コンテンツベースによる情報検索及びオブジェクトベースによる画像編集の高度な機能をサポートする統合方法についてこれまで開示した。この方法は、コンテンツ関連情報を蓄積するのに２層の階層的データ構造を使用する。第１レイヤは矩形形状で興味の領域を指定する座標及び特定の領域に対して所定の付加コンテンツ関連情報を利用できるかどうかを示すフラグを含んでいる。実際のコンテンツ関連情報は第２レイヤに蓄積されており、この第２レイヤにおいて、各指定領域に対するリンク，メタ情報，音声注釈，境界情報，機密−著作権情報及びＭＰＥＧ−７基準情報を見つけることができる。
【００４２】
第１レイヤは軽量、すなわち多くて２５６バイトとなるように設計されており、これによりユーザが追加のコンテンツ関連情報を明示的に要求しない場合、圧縮画像のダウンロード及び蓄積効率はほぼそのままとなるように保証できる。他方、ユーザがかかる情報を必要とした場合、我々の提案する方法はこれら情報を完全に送ることを保証することもできる。
【００４３】
現在のＪＰＥＧ圧縮画像ファイルフォーマット、例えば静止画像交換ファイルフォーマット（ＳＰＩＦＦ）又はＪＰＥＧファイル互換フォーマット（ＪＦＩＦ）は、本来オブジェクトベースの情報の埋め込みとかかる情報のインタラクティブな（相互作用方式の）検索をサポートしない。本発明の方法及びシステムを使って情報強化画像の創出、経験及び利用を行うことができるが、本発明によって創造された情報強化画像をＪＦＩＦ又はＳＰＩＦＦを使用する従来のビューワによって、少なくとも復号し、表示することが望ましい。従来システムは本システムが行うような関連する情報の認識及び利用を行うことはできない。従って、目標は従来のシステムを破壊することなく、従来のシステムによって成功裏に画像を復号し、表示することを保証することである。
【００４４】
従来のビューワ、例えばＪＦＩＦ及びＳＰＩＦＦファイルフォーマットを利用するようなビューワとの後方互換性が必要な場合、本発明に開示する階層的データ構造をＪＩＦＦ又はＳＰＩＦＦファイルフォーマットにカプセル化すればよい。図１のモジュール１７によって実現可能なかかるカプセル化の例を次に示す。
【００４５】
ＪＦＩＦファイルフォーマット「グラフィックファイルフォーマット（第２版，Ｊ.Ｄ.ＭｕｒｒａｙとＷ.ＶａｎＲｐｅｒ著，Ｏ′ｒｅｉｌｌｙ社，１９９６年，５１０〜５１５頁）の場合。図５を参照すると、ここにはＪＦＩＦファイルフォーマット構造の全体が符号９０で示されている。このＪＦＩＦファイルフォーマットはＪＰＥＧデータ９２と、画像エンド（ＥＯＩ）マーカ９４を含む。ＪＦＩＦビューワはＥＯＩマーカに続くデータを無視する。従って、ここに開示する２層式階層的データ構造９６がＥＯＩ９４の直後にＪＦＩＦファイルに添付されている場合、従来のビューワは付加データ構造を無視することによって画像を復号し、表示することができる。本発明に従って構成されたシステムは、付加データを適当に解読し、本発明の相互作用機能を実施することができる。
【００４６】
ＳＰＩＦＦを使用する場合、本発明のシステムに識別できるプライベートタグを使用して階層的データ構造をカプセル化できる。従来のビューワはＳＰＩＦＦ仕様に従って非標準タグ及び関連情報フィールドを無視するので、画像はＳＰＩＦＦに合致した従来システムによって正しく復号され、表示される。本発明のシステムは、付加データを認識し、これを適当に使用して相互作用の機能性を可能にする。（ＳＰＩＦＦに対する別の、よりアクセス可能な参考例として、「グラフィックファイルフォーマット（第２版）」（Ｊ.Ｄ.ＭｕｒｒａｙとＷ.ＶａｎＲｐｅｒ共著，Ｏ′ｒｅｉｌｌｙ社，８２２〜８３７頁）がある。）
【００４７】
本方法は現存の任意の計算環境に適用できる。画像ファイルをローカルディスクに蓄積する場合、追加システムを変更することなく、スタンドアローンの画像ビューワ又はかかる機能をサポートするアプリケーションによって、提案された機能を実現できる。画像ファイルがサーバに遠隔的に蓄積される場合、クライアント側のかかる機能＋サーバ上の画像パーサモジュールをサポートする任意のアプリケーションによって提案された機能を実現できる。サーバが画像パーサを含むことを必要とする理由は、画像自体と同じファイル内に、コンテンツに関連する追加情報が常駐しているからである。ユーザが画像内の所定の領域又はオブジェクトに関する所定のコンテンツ関連情報、例えばメタ情報を要求する際、システムがこの情報部分だけをフェッチし、できるだけ早くこれをユーザに与えることが重要である。この目的を達成するには、サーバは画像ファイルを解析し、クライアントが指定したコンテンツ関連情報部分を探し、これを伝送できなければならない。
【００４８】
現在のネットワークサーバを強化することなく、上記のことを実現するには、図４に示されるように、全体が符号８で示された別個のファイルに、コンテンツに関連する各情報を蓄積しなければならない。従って、定義された各領域に対し、６つもの多くのファイルは、リンク，メタ情報，音声注釈，境界情報，機密−著作権情報及びＭＰＥＧ−７基準情報をそれぞれ含む。所定の画像に対し、Ｎ個の定義された領域のために、下記のコンテンツ関連情報を含むmy＿image.jpg、すなわちmy＿image.infoと称されるディレクトリが作成され蓄積される。
region01.links
region01.meta
region01.voice
region01.boundary
region01.security
region01.mpeg7
*****
regionON.links
regionON.meta
regionON.voice
regionON.boundary
regionON.security
regionON.mpeg7
【００４９】
当然ながら、付加情報を蓄積するのに別個のファイルを使用する解決案は脆弱であり、実際にはめんどうである。ネームの変更によりファイル名の間の簡単な不一致によって、コンテンツ関連情報が完全に失われてしまう。
【００５０】
本発明における「画像」は、ディジタル動画シーケンスのフレーム、例えば動画コンテンツを最も表示する１セットのフレームに対応し得る。画像のコンテンツ情報は蓄積効率及びダウンロード速度を高めるように圧縮できることにも留意すべきである。このような圧縮は現在の技術レベルの圧縮方法によって実行できる。形状情報は例えばＭＰＥＧ４規格に含まれる方法を使って圧縮できる。この場合、ビューアプリケーションには適当な解凍ツールが装備されていなければならない。
【００５１】
本発明は、公知の従来技術よりも、次のような利点を有する。（１）オブジェクトをベースとしているのでフレキシブルである。（２）オブジェクトの特徴情報、例えばオブジェクトの形状境界を含むことが可能である。（３）階層的データ構造を有するので、画像コンテンツに関連する情報をダウンロードし、蓄積しないように選択するアプリケーションに負荷をかけない。（４）ユーザの要求でオブジェクトベースによる情報のオーディオビジュアル化が可能である。（５）ＵＲＬリンクを含むことができるので、ディジタル画像を楽しみ、利用することに対する次元を高めることができる（ＵＲＬリンクは画像コンテンツに関連するウェブページ、例えば個人のウェブページ，製品ウェブページ及び所定の都市，地域などのためのウェブページなどのためのウェブページを指定できる）。（６）包括的であり、画像圧縮技術だけでなく、非圧縮画像に対しても適用できる。同様に、本発明は将来の圧縮規格、例えばＪＰＥＧ２０００にオブジェクトベースの機能を提供できる。現在のファイルフォーマットのいずれも、本来的に、本明細書に開示した方法及びシステムをサポートするものではないが、以上で、従来のシステムが少なくとも画像データを復号し、付加情報を無視できる場合、後方互換性をもつ態様でシステムを実現できる方法について開示した。
【００５２】
本発明に記載したように構成されたデータ構造は、画像データに関連するだけでなく、コンテンツ情報にも関連するアプリケーションに負荷をかけないような、選択的な態様で、ネットワークを通してダウンロードできる。ダウンロードアプリケーションはユーザがコンテンツ情報をダウンロードし、蓄積することを望んでいるかどうかを、ユーザと対話してチェックする。ユーザが「ＮＯ」と答えれば、アプリケーションは画像データ及びベースレイヤだけを検索し、ベースレイヤ内の画像にコンテンツ情報がないことを示すフラグを０にセットする。
【００５３】
本方法及びシステムは、スケーラブルな画像圧縮・解凍アルゴリズムもサポートする。品質スケーラブルな圧縮では、画像を種々の異なる品質レベルで復号できる。空間スケーラブルな圧縮では、異なる空間解像度で画像を復号できる。スケーラビリティをサポートする圧縮アルゴリズムの場合、空間スケーラビリティをサポートするのに、領域情報とオブジェクトの輪郭だけをスケーリングするだけでよい。他のすべてのタイプのデータは元のままである。
【００５４】
以上で、本発明のシステム及び方法の好ましい実施形態について開示したが、当業者であれば添付した請求の範囲に記載した発明の範囲から逸脱することなく、開示した実施形態に対する別の変形及び変更を行うことができると理解できよう。
【図面の簡単な説明】
【図１】 図１は、本発明のシステムの主要構成要素のブロック図である。
【図２】 図２は、コンテンツベースによる情報検索システムのブロック図である。
【図３】 図３は、オブジェクトベースによる画像編集方法を示すブロック図である。
【図４】 図４は、好ましい実施形態のファイル構造を示す。
【図５】 図５は、ＪＦＩＦファイルフォーマットを使用することによる階層的データ構造と画像との統合を示す。

Claims (12)

1. 情報の検索、編集及び操作を行うために、画像にオブジェクトベースによるオーディオビジュアルの記述的タグを付ける階層的データ構造管理システムであって、
   画像内の領域をオブジェクト単位でユーザに選択させるための選択機構と、
   前記画像内の前記選択されたオブジェクトのそれぞれに対し、該オブジェクトに関連する複数のオブジェクト関連情報と、該オブジェクト関連情報と一対一に対応する情報であって該オブジェクト関連情報が存在することを示す存在情報とを、タグとして含む階層的データ構造を生成し、前記画像にオブジェクト関連情報を関連付ける階層的データ構造生成手段と、
   前記画像及び前記階層的データ構造を伝送可能に蓄積するための伝送及び蓄積機構と、
   視聴ユーザに前記画像及び該画像に対応する前記階層的データ構造を表示するための表示機構とを有し、
   前記伝送及び蓄積機構で蓄積された画像の表示要求を受けたときに、該画像を前記伝送及び蓄積機構から前記表示機構に供給し、視聴ユーザの操作により１つの前記オブジェクトが選択されたときに、該選択された前記オブジェクトの前記存在情報を前記伝送及び蓄積機構から前記表示機構に供給し、その後、視聴ユーザの操作により前記存在情報の１つが選択されたときに、該選択された前記存在情報に対応する前記オブジェクト関連情報のみを、前記伝送及び蓄積機構から前記表示機構に供給することを特徴とする階層的データ構造管理システム。
2. 前記伝送及び蓄積機構は、前記画像及び該画像のための前記階層的データ構造を、単一ファイルとして蓄積することを特徴とする請求項１記載の階層的データ構造管理システム。
3. 前記伝送及び蓄積機構は、前記画像及び該画像のための前記階層的データ構造を、別個のファイルとして蓄積することを特徴とする請求項１記載の階層的データ構造管理システム。
4. 内部にディジタル画像の集合を含むデータベースを含むことを特徴とする請求項１記載の階層的データ構造管理システム。
5. 前記画像と関連するオーバーレイを生成するための生成機構を含み、該オーバーレイは、前記階層的データ構造がリンクとして設定された領域であるホットスポットを含み、該ホットスポットは、前記画像の表示中に視聴ユーザの操作によって該画像に含まれる前記オブジェクトが選択された時に、前記画像の他の部分と視覚的に区別できるように強調表示されるように、前記生成機構で生成されることを特徴とする請求項１記載の階層的データ構造管理システム。
6. 視聴ユーザによる前記存在情報を選択する操作により、該存在情報に対応するオブジェクト関連情報を読み出し、該オブジェクト関連情報を視聴ユーザに可視聴的に再生するオーディオビジュアル実現機構を含むことを特徴とする請求項１記載の階層的データ構造管理システム。
7. 前記階層的データ構造は、前記存在情報及び該存在情報を表示するための情報のみを含むベースレイヤと、前記オブジェクト関連情報を含む第２レイヤとを含むことを特徴とする請求項１〜６のいずれか１項に記載の階層的データ構造管理システム。
8. コンピュータを用いて、情報の検索、編集及び操作を行うために、画像にオブジェクトベースによるオーディオビジュアルの記述的タグを付ける階層的データ構造管理方法であって、
   選択機構が、画像内の領域をオブジェクト単位でユーザに選択させるステップと、
   階層的データ構造生成手段が、前記画像内の前記選択されたオブジェクトのそれぞれに対し、該オブジェクトに関連する複数のオブジェクト関連情報と、該オブジェクト関連情報と一対一に対応する情報であって該オブジェクト関連情報が存在することを示す存在情報とを、タグとして含む階層的データ構造を生成し、前記画像にオブジェクト関連情報を関連付けるステップと、
   伝送及び蓄積機構が、前記画像及び前記階層的データ構造を伝送可能に蓄積するステップと、
   表示機構が、前記伝送及び蓄積機構で蓄積された画像及び該画像に対応する前記階層的データ構造を視聴ユーザに表示するステップと、
   供給手段が、前記伝送及び蓄積機構で蓄積された画像の表示要求を受けたときに、該画像を前記伝送及び蓄積機構から前記表示機構に供給し、視聴ユーザの操作により１つの前記オブジェクトが選択されたときに、該選択された前記オブジェクトの前記存在情報を前記伝送及び蓄積機構から前記表示機構に供給し、その後、視聴ユーザの操作により前記存在情報の１つが選択されたときに、該選択された前記存在情報に対応する前記オブジェクト関連情報のみを、前記伝送及び蓄積機構から前記表示機構に供給する供給ステップとを含むことを特徴とする階層的データ構造管理方法。
9. 前記供給ステップは、オーディオビジュアル実現機構が、視聴ユーザによる前記存在情報を選択する操作により、該存在情報に対応するオブジェクト関連情報を読み出し、該オブジェクト関連情報を視聴ユーザに可視聴的に再生するステップを含むことを特徴とする請求項８記載の階層的データ構造管理方法。
10. 前記階層的データ構造は、前記存在情報及び該存在情報を表示するための情報のみを含むベースレイヤと、前記オブジェクト関連情報を含む第２レイヤと、を含むように生成することを特徴とする請求項８又は９に記載の階層的データ構造管理方法。
11. 前記階層的データ構造は、前記存在情報及び該存在情報を表示するための情報のみを含むベースレイヤと、前記オブジェクト関連情報を含む第２レイヤと、を含むように生成し、
    検索操作機構が、前記伝送及び蓄積機構で蓄積された前記画像の検索操作、及び該画像に関連した前記オブジェクト関連情報の選択的な検索操作を、視聴ユーザに行わせ、前記供給ステップにより検索結果を出力するための検索操作ステップを含み、該検索操作ステップは、
    （ａ）前記画像の検索操作により、前記画像のデータを検索し、
    （ｂ）該画像に含まれるオブジェクトに対し、前記存在情報を前記ベースレイヤから読み出し、
    （ｃ）前記検索された画像を前記表示機構に表示し、
    （ｄ）前記ベースレイヤに含まれる、前記存在情報を表示するための領域情報に従って、前記階層的データ構造がリンクとして設定された領域であるホットスポットを含むオーバーレイを生成し、
    （ｅ）視聴ユーザが前記ホットスポットをポイントし、クリックした際に、利用可能な前記複数のオブジェクト関連情報に対応する複数の存在情報を、ポップアップメニューで前記表示機構に表示し、
    （ｆ）該表示されたポップアップメニュー内の存在情報のうち１つが視聴ユーザの操作によって選択されたときに、該選択された存在情報に対応する前記オブジェクト関連情報を検索し、
    （ｇ）該検索したオブジェクト関連情報をレンダリングすることで、視聴ユーザに可視聴的に再生することを特徴とする請求項８記載の階層的データ構造管理方法。
12. 視聴ユーザが前記ポイントに使用するポインティングデバイスが、前記ホットスポットの表示領域に対応した所定のロケーションをポイントした時に、前記オーバーレイを、前記ホットスポットを強調表示するよう生成することを特徴とする請求項１１記載の階層的データ構造管理方法。

Images