JPH09146918A - マルチメディア情報の管理方法及び装置 - Google Patents

マルチメディア情報の管理方法及び装置

Info

Publication number
JPH09146918A
JPH09146918A JP30116395A JP30116395A JPH09146918A JP H09146918 A JPH09146918 A JP H09146918A JP 30116395 A JP30116395 A JP 30116395A JP 30116395 A JP30116395 A JP 30116395A JP H09146918 A JPH09146918 A JP H09146918A
Authority
JP
Japan
Prior art keywords
information
content management
content
management information
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30116395A
Other languages
English (en)
Other versions
JP3383495B2 (ja
Inventor
Yoshihisa Yabuuchi
義久 籔内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP30116395A priority Critical patent/JP3383495B2/ja
Publication of JPH09146918A publication Critical patent/JPH09146918A/ja
Application granted granted Critical
Publication of JP3383495B2 publication Critical patent/JP3383495B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】マルチメディア情報をコンテンツ情報の属性情
報によって管理することによって、同一のコンテンツ情
報を複数の再生シナリオで使用する場合に必要な記憶容
量を大幅に減少させることを目的とする。 【解決手段】利用可能な文字情報、静止画情報、動画情
報、及び/又は音声情報などの複数のコンテンツ情報に
対して、それぞれの全部又は一部を利用するために必要
な属性情報を、それぞれコンテンツ管理情報141とし
て登録しておき、登録されたコンテンツ管理情報141
の中から、1つ又は複数のコンテンツ管理情報を構成コ
ンテンツ管理情報173として選択し、選択された構成
コンテンツ管理情報173の集合体に対して再生シナリ
オを付与し、その集合体及びその再生シナリオを互いに
関連付けて記憶装置に格納する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、文字情報、静止画
情報、動画情報、及び音声情報などのマルチメディア情
報の管理方法及び装置に関する。
【0002】マルチメディア情報(マルチメディアデー
タ)を組み合わせることによって操作者(利用者)が意
図する内容を表現することは、情報伝達の手段として非
常に有効であり、各種プレゼンテーション、教育、ソフ
ト分野などにおいてしばしば用いられている。今後ます
ます大量に供給されるマルチメディア情報を効率的に利
用し、人間の持つ記憶又は表現意図などを人間の持つ方
法に近い形で管理し表現することのできるマルチメディ
ア情報の管理方法及び装置が望まれている。
【0003】
【従来の技術】従来より、マルチメディア情報を管理し
活用するために、種々のプレゼンテーションツールが用
いられている。
【0004】図20は従来のプレゼンテーションツール
によるマルチメディア情報の管理方法を説明する図であ
る。図20において、プレゼンテーション用に編集され
たデータ群DP1は、動画情報A、静止画情報A、音声
情報Aの3つのコンテンツ情報と、それらの再生順序、
再生タイミングなどを記述した再生シナリオ情報とから
構成されている。また、データ群DP2は、動画情報
A、動画情報B、音声情報Bの3つのコンテンツ情報及
びその再生シナリオ情報から、データ群DP3は、動画
情報C、動画情報B、音声情報Bの3つのコンテンツ情
報及びその再生シナリオ情報から、それぞれ構成されて
いる。
【0005】すなわち、従来においては、それぞれのプ
レゼンテーション用のデータ群毎にコンテンツ情報(実
データ)が格納されており、再生シナリオに基づいて再
生されるデータの集合体はコンテンツ情報によって管理
されている。
【0006】
【発明が解決しようとする課題】コンテンツ情報は、動
画や音声などを記録した実データであり、通常、データ
量が多く、動画情報については特に多い。したがって、
同一のコンテンツ情報を複数の再生シナリオで使用する
場合には、再生シナリオの数だけ同一のコンテンツ情報
が存在することとなり、全体のデータ量は極めて多くな
る。そのため、それだけ記憶容量の大きな記憶装置が必
要となる。
【0007】また、例えば1本の原本となるビデオ情
報、及びその中の一部のビデオ情報を利用した再生シナ
リオを作成した場合には、原本のビデオ情報の全部とそ
の一部のビデオ情報とを記憶装置に格納しておく必要が
あり、同一内容のビデオ情報が重複して複数存在するこ
ととなってそれだけ記憶容量の大きな記憶装置が必要と
なってしまう。
【0008】マルチメディア情報の管理又は活用にハイ
パーメディアを採用する場合があるが、ハイパーメディ
アは、情報そのものに属性としてリンクを付与するた
め、様々な内容の表現に同一情報を流用すると、リンク
の形成状態によっては情報空間内の意味的矛盾を生じる
可能性がある。そのため、コンテンツ情報の共用又は流
用といった情報の共有化又は一元管理化が行えないとい
う問題がある。
【0009】本発明は、上述の問題に鑑みてなされたも
ので、マルチメディア情報をコンテンツ情報の属性情報
によって管理することによって、同一のコンテンツ情報
を複数の再生シナリオで使用する場合に必要な記憶容量
を大幅に減少させることのできるマルチメディア情報の
管理方法及び装置を提供することを目的とする。
【0010】
【課題を解決するための手段】請求項1の発明に係る方
法は、利用可能な文字情報、静止画情報、動画情報、及
び/又は音声情報などの複数のコンテンツ情報に対し
て、それぞれの全部又は一部を利用するために必要な属
性情報を、それぞれコンテンツ管理情報として登録して
おき、登録された前記コンテンツ管理情報の中から、1
つ又は複数のコンテンツ管理情報を構成コンテンツ管理
情報として選択し、選択された前記構成コンテンツ管理
情報の集合体に対して再生シナリオを付与し、前記集合
体及びその再生シナリオを互いに関連付けて記憶装置に
格納する。
【0011】請求項2の発明に係る方法は、利用可能な
文字情報、静止画情報、動画情報、及び/又は音声情報
などの複数のコンテンツ情報に対して、それぞれの全部
又は一部を利用するために必要な属性情報を、それぞれ
コンテンツ管理情報として管理情報ベースに記録してお
き、前記管理情報ベースに記録された前記コンテンツ管
理情報の中から、1つ又は複数のコンテンツ管理情報を
構成コンテンツ管理情報として選択し、選択された前記
構成コンテンツ管理情報の集合体について、当該集合体
を再生するための再生シナリオ情報と、当該集合体を検
索するための検索情報とを作成し、前記集合体、前記再
生シナリオ情報、及び前記検索情報を互いに関連付けて
記憶装置に格納する。
【0012】請求項3の発明に係る装置は、文字情報、
静止画情報、動画情報、及び/又は音声情報などの複数
のコンテンツ情報を、その利用に当たって読み出すため
の操作処理手段と、前記コンテンツ情報に対して、それ
ぞれの全部又は一部を利用するために必要な属性情報を
コンテンツ管理情報として作成するコンテンツ管理情報
作成処理手段と、前記コンテンツ管理情報の中から、1
つ又は複数のコンテンツ管理情報を構成コンテンツ管理
情報として選択する検索処理手段と、選択された前記構
成コンテンツ管理情報の集合体について、当該集合体を
再生するための再生シナリオ情報を作成する編集処理手
段と、前記再生シナリオ情報にしたがって、前記構成コ
ンテンツ管理情報に基づいて前記コンテンツ情報を読み
出して出力する出力処理手段と、を有してなる。
【0013】請求項4の発明に係る装置では、前記コン
テンツ管理情報作成処理手段は、経時的に再生されるべ
き前記コンテンツ情報に対して、当該コンテンツ情報の
再生総時間の中の利用すべき一部の開始時間及び終了時
間を指定することによって、前記コンテンツ管理情報を
作成する。
【0014】請求項5の発明に係る装置では、前記編集
処理手段は、シナリオ編集画面を表示装置に表示する機
能を有し、前記シナリオ編集画面には、前記各構成コン
テンツ管理情報をメタファによって一覧表示する領域
と、前記構成コンテンツ管理情報の種類毎に時間軸に沿
って延びるスケジュール設定枠を表示する領域とが設け
られ、前記メタファを指定して前記スケジュール設定枠
にその再生時間を設定することによって、前記再生シナ
リオ情報を作成する。
【0015】請求項6の発明に係る装置では、前記出力
処理手段は、プレゼンテーション画面を表示装置に表示
する機能及び音声を出力する機能を有し、前記プレゼン
テーション画面には、前記文字情報を表示する領域、前
記静止画情報を表示する領域、及び前記動画情報を表示
する領域が、一定の位置関係を保持して設けられてな
る。
【0016】マルチメディア情報は、コンテンツ操作処
理手段によってアクセス可能であり、その再生には適当
なハンドリングツールが用いられる。コンテンツ管理情
報作成処理手段は、コンテンツ情報の全部又は一部を利
用するために必要な属性情報をコンテンツ管理情報とし
て作成する。コンテンツ管理情報には物理的な実データ
は含まれない。
【0017】検索処理手段によって、コンテンツ管理情
報の中から1つ又は複数のコンテンツ管理情報が検索さ
れ、そこから選択されたコンテンツ管理情報が構成コン
テンツ管理情報として登録される。編集処理手段は、構
成コンテンツ管理情報の集合体について、それを再生す
るための再生シナリオ情報を作成する。作成された再生
シナリオ情報は、構成コンテンツ管理情報の集合体、及
び検索情報とともにカプセル化されて登録され、これに
よって一括管理される。
【0018】出力処理手段によって、再生シナリオ情報
にしたがって、構成コンテンツ管理情報に基づいてコン
テンツ情報を読み出し、例えばプレゼンテーション画面
として表示し、スピーカから音声として発する。
【0019】
【発明の実施の形態】図1は本発明に係るマルチメディ
ア情報管理装置1の構成を示す図である。図1におい
て、ビデオ録画情報111、CD情報112、テキスト
情報113、静止画情報114、ファクシミリ画像情報
115などのコンテンツ情報110が、メディア情報ベ
ース11に登録されている。つまり、メディア情報ベー
ス11は、文字情報、静止画情報、動画情報、及び音声
情報などのコンテンツ情報(実データ)110が、種々
の形態のメディアに格納され、アクセス可能な状態とな
ったものである。コンテンツ情報110は圧縮処理がな
されているものもある。メディア情報ベース11のハー
ドウエアは、磁気ディスク装置、RAM、CD装置、光
磁気ディスク装置、フロッピィディスク装置、及びそれ
らによってアクセスされるメディアによって構成されて
いる。
【0020】コンテンツ操作処理部12は、指令に応じ
てメディア情報ベース11にアクセスし、所定の位置の
情報(データ)を読み出して出力する。また、必要に応
じてメディア情報ベース11に情報を書き込む。
【0021】コンテンツ管理情報作成処理部13は、メ
ディア情報ベース11に対して、そこに格納されたそれ
ぞれのコンテンツ情報110の全部又は一部を利用する
ために必要な属性情報をコンテンツ管理情報141とし
て作成し、必要に応じてそれを修正する。
【0022】管理情報ベース14はコンテンツ管理情報
作成処理部13によって作成された多数のコンテンツ管
理情報141を格納する。ハンドリング部15は、文字
処理部151、静止画処理部152、動画処理部15
3、音声処理部154を有しており、メディア情報ベー
ス11に格納された種々のコンテンツ情報110を再生
する処理、再生のための条件を設定する処理などを行
う。
【0023】検索処理部16は、管理情報ベース14に
格納されたコンテンツ管理情報141の中から、1つ又
は複数のコンテンツ管理情報を構成コンテンツ管理情報
173として検索し選択する。
【0024】カプセル(メディア集合体)17は、1つ
のプレゼンテーションのための基本情報171、再生シ
ナリオ情報172、及び構成コンテンツ管理情報173
を互いに関連付けて登録したものである。換言すれば、
1つのプレゼンテーションのための基本情報171、再
生シナリオ情報172、及び構成コンテンツ管理情報1
73が、カプセル17として一括して管理されている。
カプセル17自体、又はカプセル17に含まれる構成コ
ンテンツ管理情報173の集合体を、他のカプセルの構
成要素として登録することもできる。
【0025】基本情報171として、集合体の名称、キ
ーワードなどの検索情報がある。検索情報は、基本情報
171として直接的に持たせる他、外部のデータベース
に格納しておいてそれとの関連を示す情報のみを基本情
報171に持たせるようにしてもよい。後者の方法によ
ると、外部に設けた汎用のデータベースエンジンを適用
することが容易となる。
【0026】再生シナリオ情報172として、再生方
法、再生順序、再生開始時間、再生終了時間、再生する
コンテンツ情報などがある。これらの情報は、再生シナ
リオ情報172として直接的に持たせる他、外部のデー
タベース又はファイルとして管理し、そのファイルの物
理属性(格納先アドレス、システム管理名称など)のみ
を再生シナリオ情報172として持たせるようにしても
よい。後者の方法によると、異なったコンテンツ情報1
10の組み合せに対して同一の再生シナリオを与える場
合に、その処理がより簡便となる利点がある。
【0027】構成コンテンツ管理情報173として、ホ
スト名、データパス、コンテンツの種類、コンテンツの
属性情報、時間の概念を持つコンテンツ(動画、音声)
については使用する時間区間などがある。なお、構成コ
ンテンツ管理情報173の内容はコンテンツ管理情報1
41の内容と同様のものである。
【0028】編集処理部18は、カプセル作成部18
1、カプセル変更部182、カプセル削除部183、及
び再生シナリオ編集部184を有している。再生シナリ
オ編集部184は、検索処理部16によって選択された
構成コンテンツ管理情報173の集合体について、その
集合体を再生するための再生シナリオ情報172を作成
し又は修正する。カプセル作成部181は、構成コンテ
ンツ管理情報173及び再生シナリオ情報172に対し
て基本情報171を作成し、これらを一括して管理する
カプセル17を作成して登録する。カプセル変更部18
2は、登録されたカプセル17に修正を加え、カプセル
削除部183は登録したカプセル17を削除する。
【0029】出力処理部19は、再生シナリオ情報17
2にしたがって実行されるプレゼンテーション画面HG
6を表示装置に表示するための処理を行う他、カプセル
一覧画面、構成コンテンツ一覧画面、再生シナリオ編集
画面、コンテンツ管理情報作成画面、検索画面などを表
示するための処理を行う。なお、プレゼンテーション画
面HG6は、コンテンツ管理情報141に基づいてメデ
ィア情報ベース11から読み出したコンテンツ情報11
0を、再生シナリオ情報172にしたがって画面に表示
し、また音声としてスピーカ20から出力する。
【0030】図2及び図3はコンテンツ管理情報141
の格納状態を示す図、図4及び図5はコンテンツ管理情
報141を格納するファイルの構成例を示す図、図6及
び図7はカプセル17の情報の格納状態を示す図、図8
乃至図10はカプセル17の情報を格納するファイルの
構成例を示す図である。
【0031】コンテンツ管理情報141は、コンテンツ
情報110の属性情報であるコンテンツ管理基本情報フ
ァイル142と、コンテンツ情報110の検索のための
索引を格納するコンテンツ管理検索情報ファイル143
との2つのファイルに分けて格納されている。コンテン
ツ管理基本情報ファイル142は、図2に示すようにデ
ィレクトリ「CONTENTS」内に格納され、コンテ
ンツ管理検索情報ファイル143は、図3に示すように
ディレクトリ「CO−INDEX」内に格納されてい
る。
【0032】図4に示すように、コンテンツ管理基本情
報ファイル142は、当該コンテンツ管理情報141を
識別する識別名称1421、当該コンテンツ管理情報1
41が管理するコンテンツ情報110つまり実データの
格納先アドレス1422、コンテンツ情報110の全体
の再生に要するコンテンツ総時間1423、その中の当
該コンテンツ管理情報141の管理するコンテンツ情報
110の開始時間1424及び終了時間1425、当該
コンテンツ管理情報141を検索するための検索情報格
納先アドレス1426からなっている。
【0033】格納先アドレス1422には、コンテンツ
情報110のメディアがCD−DAである場合には、そ
のTOC(テーブル・オブ・コンテンツ)の内容やトラ
ック番号が格納される。コンテンツ総時間1423は、
再生シナリオ編集において時間軸編集のために用いられ
る。検索情報格納先アドレス1426には、例えばコン
テンツ管理検索情報ファイル143のディレクトリ名及
びファイル名が格納される。
【0034】図5に示すように、コンテンツ管理検索情
報ファイル143は、キーワード1431、及びコンテ
ンツ管理基本情報ファイル142の格納先アドレス14
32からなっている。キーワード1431は、当該コン
テンツ管理情報141によって管理されているコンテン
ツ情報110の内容から連想される単語、それに関連す
る単語など、操作者の表現の意図をできるだけ反映させ
ることができるような単語が選ばれる。基本情報格納先
アドレス1432には、例えばコンテンツ管理基本情報
ファイル142のディレクトリ名及びファイル名が格納
される。
【0035】1つのカプセル17について、当該カプセ
ルを管理するためのカプセル管理ファイル174、当該
カプセルによって管理される集合体の要素である1つ又
は複数の構成コンテンツ管理基本情報ファイル175、
当該カプセルの検索のための索引を格納するカプセル検
索情報ファイル176が設けられている。カプセル管理
ファイル174及び構成コンテンツ管理基本情報ファイ
ル175は、図6に示すようにディレクトリ「KAPS
EL」内の各カプセル毎のサブディレクトリに格納され
ている。例えば、カプセルの名称が「test」である
場合に、サブディレクトリ「test」内に格納されて
いる。カプセル検索情報ファイル176は、図7に示す
ようにディレクトリ「CA−INDEX」内に格納され
ている。
【0036】図8に示すように、カプセル管理ファイル
174は、当該カプセル管理ファイル174が管理する
コンテンツの個数1741、カプセルの名称1742、
カプセル検索情報ファイル176の格納先アドレス17
43、当該カプセルが管理する各コンテンツの開始時間
1744、終了時間1745、画面上の表示位置座標1
746、ハイパーメディアアドレス1747、カプセル
リンク情報1748からなっている。カプセル管理ファ
イル174の内容は、再生シナリオ編集によって作成さ
れた再生シナリオ情報172に対応する。
【0037】図9に示すように、構成コンテンツ管理基
本情報ファイル175は、識別名称1751、格納先ア
ドレス1752、コンテンツ総時間1753、開始時間
1754、終了時間1755からなっている。これらの
内容はコンテンツ管理情報141の内容と同様である。
【0038】図10に示すように、カプセル検索情報フ
ァイル176はキーワード1761からなっている。キ
ーワード1761は、各コンテンツ管理情報141とし
て保有されていたキーワード1431を承継したもので
あり、これによって、各コンテンツ毎に管理していた検
索情報が当該カプセル17のカプセル検索情報ファイル
176によって一括して管理される。コンテンツ管理検
索情報ファイル143からカプセル検索情報ファイル1
76への登録の切り替えは、コンテンツ管理情報141
をカプセル17に登録するタイミングで行われ、そのと
きにキーワード1431が取捨選択される。
【0039】図11はコンテンツ管理情報141の作成
例を説明するための図、図12はコンテンツ管理情報1
41の作成のための操作画面HG1の例を示す図であ
る。図11において、1つのコンテンツ情報110、例
えば1本のビデオ情報に対して、その全体を利用するた
めのコンテンツ管理情報141aを作成することができ
る他、ビデオ情報の一部をイベントとして利用するため
のコンテンツ管理情報141b,141cをそれぞれ作
成することができる。一部のイベント同士に重複部分が
あってもよい。つまり、コンテンツ情報110に対し
て、利用しようとする任意の箇所のイベントについてコ
ンテンツ管理情報141を作成することができる。
【0040】図12において、画面HG1には、開始時
間を設定するための時間枠1551及び時間指示部15
54、終了時間を設定するための時間枠1552及び時
間指示部1555、現在の再生位置を示す再生時間15
57、録音音量調整1558、再生音量調整1559な
どが表示されている。図示は省略したが、再生のスター
ト、ストップのボタンなども表示されている。図示しな
いマウスなどを用いて、時間指示部1554,5を移動
させることにより、指定したコンテンツ情報110の中
の任意の箇所についての時間区間を設定することができ
る。画面HG1における操作及び処理が、請求項4の発
明における特徴的な処理に相当する。なお、画面HG1
は、ハンドリング部15によって表示されるものである
が、コンテンツ管理情報作成処理部13及び編集処理部
18などにおける処理過程において、ハンドリング部1
5を起動して表示させることができる。
【0041】図13は検索処理部16によって検索され
たコンテンツ管理情報141の一覧画面HG2を示す
図、図14は構成コンテンツ管理情報173の一覧画面
HG3を示す図である。
【0042】図13において、画面HG2には、検索さ
れたコンテンツ管理情報141が、文字情報、静止画情
報、動画情報、及び音声情報などのコンテンツ情報の種
類毎に異なるメタファによって表示されている。画面H
G2において、それぞれのメタファを指定してコンテン
ツ管理情報141を削除することができる。削除及び検
索などを繰り返し、意図するコンテンツ管理情報141
を選択し、それを構成コンテンツ管理情報173として
登録する。
【0043】図14において、画面HG3には、1つの
カプセル17について、登録された構成コンテンツ管理
情報173が、そのコンテンツ情報の種類毎に異なるメ
タファによって表示されている。
【0044】いずれの画面HG2,3においても、それ
ぞれのメタファを指定し、そのコンテンツ情報110の
再生要求を発呼することによって、ハンドリング部15
を起動してそのコンテンツ情報110を再生することが
できる。再生シナリオを持たない集合体については、こ
の機能を用いることによって、操作者のある表現意図に
沿って集められた構成コンテンツ管理情報173を操作
者の意思にしたがって再生するという、従来のハイパー
メディア的なマルチメディア情報の利用方法が可能であ
る。
【0045】このように、構成コンテンツ管理情報17
3を1つの「まとまり」をイメージさせるメタファによ
り表示し、その集合体に対する検索、変更、削除、再生
などの操作をメタファの単位で行うようになっている。
なお、コンテンツ情報110の再生に当たっては、図1
2に示す画面HG1が表示され、その画面HG1におい
て適宜指定される時間区間を再生することができる。
【0046】図15は再生シナリオ編集のための画面H
G4を示す図、図16は登録されたカプセル17の一覧
画面HG5を示す図である。図15において、画面HG
4には、各構成コンテンツ管理情報173をメタファに
よって一覧表示する領域1841、及び構成コンテンツ
管理情報173の種類毎に時間軸に沿って延びるスケジ
ュール設定枠1844を表示する領域1842が設けら
れている。スケジュール設定枠1844は、図15の左
から、動画用、音声用、静止画用、文字用の4つが表示
されており、それぞれ、設定されたスケジュールが変色
領域1845として表示されている。
【0047】この画面HG4において、メタファ184
3の1つを図示しないマウスでクリックした状態で、当
該メタファ1843の種類に対応するスケジュール設定
枠1844の開始時間でクリックを解除すると、そこが
変色領域1845となってスケジュールが設定される。
変色領域1845の移動、複写、拡大、縮小なども可能
である。1つのメタファ1843について、複数の変色
領域1845を設定することも可能である。
【0048】全部のメタファ1843に対して上述の操
作を繰り返すことによって、構成コンテンツ管理情報1
73に対する再生シナリオが作成される。作成した再生
シナリオの修正も同様にして行われる。なお、スケジュ
ール設定枠1844の全体の時間は予め初期設定されて
いるが、それを変更することも可能である。作成された
再生シナリオは、再生シナリオ情報172として、構成
コンテンツ管理情報173及び基本情報171ととも
に、1つのカプセル17として登録される。
【0049】図16において、画面HG5には、登録さ
れた種々のカプセル17がメタファによって表示されて
いる。1つのメタファを指定することによって、そのカ
プセル17に登録された構成コンテンツ管理情報173
を表示する画面HG3を表示することができ、構成コン
テンツ管理情報173の修正、削除などを行い、また再
生シナリオ情報172の修正を行うことができる。
【0050】また、画面HG5において1つのメタファ
を指定し、そのカプセル17をプレゼンテーション画面
HG6上で再生することができる。図17はプレゼンテ
ーション画面HG6を示す図である。
【0051】プレゼンテーション画面HG6には、文字
情報を表示する領域1911、静止画情報を表示する領
域1912、及び動画情報を表示する領域1913が、
所定の位置に所定の大きさで設けられている。カプセル
17の再生を開始すると、その再生シナリオ情報172
にしたがって、構成コンテンツ管理情報173によって
管理されているコンテンツ情報110が読み出され、そ
れぞれの各領域に表示され、又はスピーカ20から音声
として発せられる。
【0052】上述のように、カプセル17に登録された
情報には、物理的なコンテンツ情報が一切含まれない。
したがって、操作者は、物理的なコンテンツ情報と、コ
ンテンツ情報の組み合わせを示す管理情報とを完全に分
離することができ、メディア情報の共有と一元管理が可
能である。
【0053】図18はマルチメディア情報管理装置1に
よるコンテンツ情報の管理を概念的に説明する図であ
る。図18において、メディア集合体であるカプセル1
7が表現する情報空間170には時間軸1701が与え
られており、時間軸1701上のある時刻における断面
である再生時間面1702は、時間軸1701に沿って
再生開始から再生終了に向かって移動する。メディア集
合体の再生シナリオは、再生時間面1702上における
構成コンテンツ173の表現位置(レイアウト)、及び
時間軸1701上における構成コンテンツ173の再現
位置(再生タイミング)によって規定される。
【0054】マルチメディア情報管理装置1は、メディ
ア集合体を作成する際に次の処理又は動作を行う。 (1)メディア集合体の構成要素となるコンテンツ情報
110を構成コンテンツ管理情報173として検索して
選択し、情報空間170に登録する。 (2)情報空間170内において、構成要素である構成
コンテンツ管理情報173の存在位置を3次元的に決定
することにより、再生シナリオを付与する。 (3)情報空間170の属性として、検索情報を付与す
る。 (4)作成した情報空間170に関する情報を格納し、
「まとまり」や「カプセル化されたもの」をイメージさ
せるメタファとして表示する。
【0055】メディア集合体を再生する際には、該当す
る情報空間170において、再生時間面1702を、再
生開始から再生終了の方に向かって、情報空間170の
時間軸1701に沿って移動させる処理又は動作を行
う。
【0056】図19はマルチメディア情報管理装置1に
おけるカプセル17の作成までの操作又は処理の例を示
すフローチャートである。まず、管理情報ベース14
を、予め設定した検索条件によって検索し、検索によっ
て得られたコンテンツ(コンテンツ管理情報141)を
メタファによって画面HG2に一覧表示する(#1)。
【0057】類似した集合体がカプセル17として既に
登録されている場合には(#2でイエス)、類似した集
合体を複写し(#5)、複写した集合体の内容を画面に
表示する(#6)。類似した集合体がない場合には(#
2でノー)、新規作成を選択し、空の集合体を作成し
(#3)、新規に作成した集合体の内容を画面に表示す
る(#4)。
【0058】意図するコンテンツ(コンテンツ管理情報
141)を選択し、構成コンテンツ管理情報173とし
て集合体に登録する(#7)。コンテンツに時間の概念
がある場合に(#8でイエス)、作成しようとしている
集合体で使用する時間区間を指定する(#9)。意図し
たコンテンツが総て揃うと(#10でイエス)、集合体
に再生シナリオを与える場合に(#11でイエス)、再
生シナリオ編集を行う(#12)。その後、基本情報を
与え、カプセル17として登録する(#13)。
【0059】上述したように、マルチメディア情報管理
装置1では、各種のメディアの垣根が取り払われたよう
な状態として種々のメディア情報を横断的に組み合わせ
たものの中に含まれる様々なイベントを、メディア情報
ベース11から洩れなく抽出して利用することができ
る。また、その操作又は処理を、物理的な実データをと
もなうことなく、論理的な属性情報のみによって行うこ
とができるので、同一のメディア情報又はコンテンツ情
報を複数のシナリオで使用する場合に必要な記憶容量を
大幅に減少させることができる。
【0060】換言すれば、マルチメディア情報管理装置
1は、アクセス可能なマルチメディア情報群の中を散策
し、その中のコンテンツを自由に且つ容易に組み合わせ
ることにより、操作者の持つイメージを表現する情報空
間を迅速に作成し、しかもその情報空間に検索属性を与
え、情報空間の単位で、目的または意図に合致するもの
を検索可能とすることによって、情報空間単位でのマル
チメディア情報管理を容易としたものである。したがっ
て、マルチメディア情報管理装置1によると、メディア
情報ベース11及びシステム資源面において効率的にマ
ルチメディア情報の管理及び操作を行うことが可能とな
り、増加するマルチメディア情報を有効活用することが
できる。
【0061】上述のマルチメディア情報管理装置1は、
パーソナルコンピュータ、ワークステーションなどを用
いて構成することができる。コンテンツ管理情報作成処
理部13、管理情報ベース14、編集処理部18などの
機能は、プログラムを実行することによって実現され
る。蓄積したメディア情報ベース11や作成したカプセ
ル17などは、例えば通信回線などを用いて他のコンピ
ュータに送信することができる。マルチメディア情報管
理装置1の全体又は各部の構成、処理内容、処理順序、
画面の構成、情報又はデータの格納方法などは、本発明
の主旨に沿って適宜変更することができる。
【0062】
【発明の効果】請求項1乃至請求項6の発明によると、
マルチメディア情報をコンテンツ情報の属性情報によっ
て管理することによって、同一のコンテンツ情報を複数
の再生シナリオで使用する場合に必要な記憶容量を大幅
に減少させることができる。
【0063】請求項4の発明によると、時間の概念を持
つ動画情報、音声情報などのコンテンツ情報に対して、
その一部を容易に抽出して利用することができる。請求
項5の発明によると、再生シナリオ情報の作成又は修正
が容易である。
【0064】請求項6の発明によると、複数種類のメデ
ィア情報が1つの画面上で同時に表示され、操作者の意
図した内容に近い表現を行うことができる。
【図面の簡単な説明】
【図1】本発明に係るマルチメディア情報管理装置の構
成を示す図である。
【図2】コンテンツ管理情報の格納状態を示す図であ
る。
【図3】コンテンツ管理情報の格納状態を示す図であ
る。
【図4】コンテンツ管理情報を格納するファイルの構成
例を示す図である。
【図5】コンテンツ管理情報を格納するファイルの構成
例を示す図である。
【図6】カプセルの情報の格納状態を示す図である。
【図7】カプセルの情報の格納状態を示す図である。
【図8】カプセルの情報を格納するファイルの構成例を
示す図である。
【図9】カプセルの情報を格納するファイルの構成例を
示す図である。
【図10】カプセルの情報を格納するファイルの構成例
を示す図である。
【図11】コンテンツ管理情報の作成例を説明するため
の図である。
【図12】コンテンツ管理情報の作成のための操作画面
の例を示す図である。
【図13】検索処理部によって検索されたコンテンツ管
理情報の一覧画面を示す図である。
【図14】構成コンテンツ管理情報の一覧画面を示す図
である。
【図15】再生シナリオ編集のための画面を示す図であ
る。
【図16】登録されたカプセルの一覧画面を示す図であ
る。
【図17】プレゼンテーション画面を示す図である。
【図18】マルチメディア情報管理装置によるコンテン
ツ情報の管理を概念的に説明する図である。
【図19】マルチメディア情報管理装置におけるカプセ
ルの作成までの操作又は処理の例を示すフローチャート
である。
【図20】従来のプレゼンテーションツールによるマル
チメディア情報の管理方法を説明する図である。
【符号の説明】
1 マルチメディア情報管理装置 12 コンテンツ操作処理部(操作処理手段) 13 コンテンツ管理情報作成処理部(コンテンツ管理
情報作成処理手段) 14 管理情報ベース 16 検索処理部(検索処理手段) 18 編集処理部(編集処理手段) 19 出力処理部(出力処理手段) 20 スピーカ 110 コンテンツ情報 141 コンテンツ管理情報 172 再生シナリオ情報 173 構成コンテンツ管理情報 1841,1842 領域 1844 スケジュール設定枠 1911 文字情報を表示する領域 1912 静止画情報を表示する領域 1913 動画情報を表示する領域 HG4 画面(シナリオ編集画面) HG5 画面(プレゼンテーション画面)

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】利用可能な文字情報、静止画情報、動画情
    報、及び/又は音声情報などの複数のコンテンツ情報に
    対して、それぞれの全部又は一部を利用するために必要
    な属性情報を、それぞれコンテンツ管理情報として登録
    しておき、登録された前記コンテンツ管理情報の中か
    ら、1つ又は複数のコンテンツ管理情報を構成コンテン
    ツ管理情報として選択し、 選択された前記構成コンテンツ管理情報の集合体に対し
    て再生シナリオを付与し、 前記集合体及びその再生シナリオを互いに関連付けて記
    憶装置に格納する、 ことを特徴とするマルチメディア情報の管理方法。
  2. 【請求項2】利用可能な文字情報、静止画情報、動画情
    報、及び/又は音声情報などの複数のコンテンツ情報に
    対して、それぞれの全部又は一部を利用するために必要
    な属性情報を、それぞれコンテンツ管理情報として管理
    情報ベースに記録しておき、 前記管理情報ベースに記録された前記コンテンツ管理情
    報の中から、1つ又は複数のコンテンツ管理情報を構成
    コンテンツ管理情報として選択し、 選択された前記構成コンテンツ管理情報の集合体につい
    て、当該集合体を再生するための再生シナリオ情報と、
    当該集合体を検索するための検索情報とを作成し、 前記集合体、前記再生シナリオ情報、及び前記検索情報
    を互いに関連付けて記憶装置に格納する、 ことを特徴とするマルチメディア情報の管理方法。
  3. 【請求項3】文字情報、静止画情報、動画情報、及び/
    又は音声情報などの複数のコンテンツ情報を、その利用
    に当たって読み出すための操作処理手段と、 前記コンテンツ情報に対して、それぞれの全部又は一部
    を利用するために必要な属性情報をコンテンツ管理情報
    として作成するコンテンツ管理情報作成処理手段と、 前記コンテンツ管理情報の中から、1つ又は複数のコン
    テンツ管理情報を構成コンテンツ管理情報として選択す
    る検索処理手段と、 選択された前記構成コンテンツ管理情報の集合体につい
    て、当該集合体を再生するための再生シナリオ情報を作
    成する編集処理手段と、 前記再生シナリオ情報にしたがって、前記構成コンテン
    ツ管理情報に基づいて前記コンテンツ情報を読み出して
    出力する出力処理手段と、 を有してなることを特徴とするマルチメディア情報の管
    理装置。
  4. 【請求項4】前記コンテンツ管理情報作成処理手段は、
    経時的に再生されるべき前記コンテンツ情報に対して、
    当該コンテンツ情報の再生総時間の中の利用すべき一部
    の開始時間及び終了時間を指定することによって、前記
    コンテンツ管理情報を作成する、 請求項3記載のマルチメディア情報の管理装置。
  5. 【請求項5】前記編集処理手段は、シナリオ編集画面を
    表示装置に表示する機能を有し、 前記シナリオ編集画面には、前記各構成コンテンツ管理
    情報をメタファによって一覧表示する領域と、前記構成
    コンテンツ管理情報の種類毎に時間軸に沿って延びるス
    ケジュール設定枠を表示する領域とが設けられ、 前記メタファを指定して前記スケジュール設定枠にその
    再生時間を設定することによって、前記再生シナリオ情
    報を作成する、 請求項3記載のマルチメディア情報の管理装置。
  6. 【請求項6】前記出力処理手段は、プレゼンテーション
    画面を表示装置に表示する機能及び音声を出力する機能
    を有し、 前記プレゼンテーション画面には、前記文字情報を表示
    する領域、前記静止画情報を表示する領域、及び前記動
    画情報を表示する領域が、一定の位置関係を保持して設
    けられてなる、 請求項3記載のマルチメディア情報の管理装置。
JP30116395A 1995-11-20 1995-11-20 マルチメディア情報の管理装置 Expired - Lifetime JP3383495B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30116395A JP3383495B2 (ja) 1995-11-20 1995-11-20 マルチメディア情報の管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30116395A JP3383495B2 (ja) 1995-11-20 1995-11-20 マルチメディア情報の管理装置

Publications (2)

Publication Number Publication Date
JPH09146918A true JPH09146918A (ja) 1997-06-06
JP3383495B2 JP3383495B2 (ja) 2003-03-04

Family

ID=17893554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30116395A Expired - Lifetime JP3383495B2 (ja) 1995-11-20 1995-11-20 マルチメディア情報の管理装置

Country Status (1)

Country Link
JP (1) JP3383495B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120187A (ja) * 1997-10-09 1999-04-30 Nippon Telegr & Teleph Corp <Ntt> マルチメディアデータ管理・提示方法及び装置及びマルチメディアデータ管理・提示プログラムを格納した記憶媒体
JP2000083217A (ja) * 1998-06-24 2000-03-21 Samsung Electronics Co Ltd 静止画のための情報を貯蔵する記録媒体と、記録及び/または再生方法並びにその装置
JP2000083204A (ja) * 1998-09-04 2000-03-21 Nec Software Kobe Ltd 動画検索システム及び方法
JP2000149044A (ja) * 1998-11-05 2000-05-30 Matsushita Electric Ind Co Ltd マルチメディア情報の編集方法と編集装置
WO2001056281A1 (fr) * 2000-01-26 2001-08-02 Sony Corporation Procede et systeme informatique et support d'enregistrement de programmes
WO2001069924A1 (en) * 2000-03-14 2001-09-20 Matsushita Electric Industrial Co., Ltd. Device and method for reproducing image and voice
JP2001257992A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
JP2001257980A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
JP2001257981A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
JP2001257982A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
JP2001346152A (ja) * 2000-05-31 2001-12-14 Sharp Corp 動画像編集方法及び装置
JP2002044574A (ja) * 2000-07-27 2002-02-08 Ews Kk コンテンツ再生装置および記録媒体
JP2002044599A (ja) * 2000-07-27 2002-02-08 Sharp Corp 動画像処理装置
JP2002204423A (ja) * 2000-10-23 2002-07-19 Ryuji Tabuchi マルチメディアプレーヤーを使って記録媒体を再生し活用する方法と装置
WO2003065311A1 (fr) * 2002-01-31 2003-08-07 Sony Corporation Dispositif de creation de donnees, dispositif de reproduction de donnees, systeme de traitement de donnees, et procedes associes
US6721493B1 (en) 1998-06-24 2004-04-13 Samsung Electronics Co., Ltd. Recording medium for storing information for still picture, recording and/or reproducing method and apparatus therefor
US7085995B2 (en) 2000-01-26 2006-08-01 Sony Corporation Information processing apparatus and processing method and program storage medium
US7349112B2 (en) 2000-10-26 2008-03-25 Matsushita Electric Industrial Co., Ltd. Printing-object image designation device
US7889236B2 (en) 2000-03-14 2011-02-15 Panasonic Corporation Automatic file transmission system

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120187A (ja) * 1997-10-09 1999-04-30 Nippon Telegr & Teleph Corp <Ntt> マルチメディアデータ管理・提示方法及び装置及びマルチメディアデータ管理・提示プログラムを格納した記憶媒体
US7444066B2 (en) 1998-06-24 2008-10-28 Samsung Electronics Co., Ltd. Recording medium for storing information for still picture, recording and/or reproducing method and apparatus therefor
US7099566B2 (en) 1998-06-24 2006-08-29 Samsung Electronics Co., Ltd. Recording medium storing information for still picture management, recording and/or reproducing method and apparatus therefor
US6721493B1 (en) 1998-06-24 2004-04-13 Samsung Electronics Co., Ltd. Recording medium for storing information for still picture, recording and/or reproducing method and apparatus therefor
JP2001169241A (ja) * 1998-06-24 2001-06-22 Samsung Electronics Co Ltd 静止画のための情報を貯蔵する記録媒体と、記録及び/または再生方法並びにその装置
US7725007B2 (en) 1998-06-24 2010-05-25 Samsung Electronics Co., Ltd. Recording medium for storing information for still picture, recording and/or reproducing method and apparatus therefor
JP2000083217A (ja) * 1998-06-24 2000-03-21 Samsung Electronics Co Ltd 静止画のための情報を貯蔵する記録媒体と、記録及び/または再生方法並びにその装置
US6757480B1 (en) 1998-06-24 2004-06-29 Samsung Electronics Co., Ltd. Recording medium for storing information for still picture recording and/or reproducing method and apparatus therefor
US7440679B2 (en) 1998-06-24 2008-10-21 Samsung Electronics Co., Ltd. Recording medium for storing information for still picture, recording and/or reproducing method and apparatus therefor
JP2000083204A (ja) * 1998-09-04 2000-03-21 Nec Software Kobe Ltd 動画検索システム及び方法
JP2000149044A (ja) * 1998-11-05 2000-05-30 Matsushita Electric Ind Co Ltd マルチメディア情報の編集方法と編集装置
WO2001056281A1 (fr) * 2000-01-26 2001-08-02 Sony Corporation Procede et systeme informatique et support d'enregistrement de programmes
KR100752455B1 (ko) * 2000-01-26 2007-08-24 소니 가부시끼 가이샤 정보 처리 장치 및 처리 방법과 프로그램 저장 매체
US7085995B2 (en) 2000-01-26 2006-08-01 Sony Corporation Information processing apparatus and processing method and program storage medium
US7797620B2 (en) 2000-01-26 2010-09-14 Sony Corporation Information processing apparatus and processing method, and program storage medium
JP2001257981A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
JP2001257980A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
US8204358B2 (en) 2000-03-14 2012-06-19 Panasonic Corporation Image and audio reproducing apparatus and method
US8023007B2 (en) 2000-03-14 2011-09-20 Panasonic Corporation Automatic file transmission system
US7889236B2 (en) 2000-03-14 2011-02-15 Panasonic Corporation Automatic file transmission system
US7231134B2 (en) 2000-03-14 2007-06-12 Matsushita Electric Industrial Co., Ltd. Image and audio reproducing apparatus and method
WO2001069924A1 (en) * 2000-03-14 2001-09-20 Matsushita Electric Industrial Co., Ltd. Device and method for reproducing image and voice
JP2001257992A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
JP2001257982A (ja) * 2000-03-14 2001-09-21 Matsushita Electric Ind Co Ltd 画像及び音声の再生装置及び方法
US8446474B2 (en) 2000-03-14 2013-05-21 Panasonic Corporation Automatic file transmission system
JP2001346152A (ja) * 2000-05-31 2001-12-14 Sharp Corp 動画像編集方法及び装置
JP2002044574A (ja) * 2000-07-27 2002-02-08 Ews Kk コンテンツ再生装置および記録媒体
JP2002044599A (ja) * 2000-07-27 2002-02-08 Sharp Corp 動画像処理装置
JP2002204423A (ja) * 2000-10-23 2002-07-19 Ryuji Tabuchi マルチメディアプレーヤーを使って記録媒体を再生し活用する方法と装置
US7349112B2 (en) 2000-10-26 2008-03-25 Matsushita Electric Industrial Co., Ltd. Printing-object image designation device
US7525556B2 (en) 2002-01-31 2009-04-28 Sony Corporation Data creating device, data reproducing device, data processing system, and methods therefor
WO2003065311A1 (fr) * 2002-01-31 2003-08-07 Sony Corporation Dispositif de creation de donnees, dispositif de reproduction de donnees, systeme de traitement de donnees, et procedes associes

Also Published As

Publication number Publication date
JP3383495B2 (ja) 2003-03-04

Similar Documents

Publication Publication Date Title
JP3383495B2 (ja) マルチメディア情報の管理装置
US8700635B2 (en) Electronic device, data processing method, data control method, and content data processing system
US6948128B2 (en) Nonlinear editing system and method of constructing an edit therein
CN101727950B (zh) 播放列表搜索装置和方法
JPH0944394A (ja) マルチメディアデータファイリングシステム
JP2002505788A (ja) 時間基準型データへのアクセス及び操作のためのシステム及び方法
JP2005533333A (ja) プレイリストをアップデートする方法およびシステム
JP2004213613A (ja) マルチメディアコンテンツの統合管理方法及びマルチメディアコンテンツの統合管理システム
JPH08115312A (ja) マルチメディア文書再生装置、マルチメディア文書編集装置およびマルチメディア文書編集再生装置
US6664966B1 (en) Non linear editing system and method of constructing an edit therein
JP2895064B2 (ja) 静止画ファイル方法、静止画再生装置および静止画ファイル記憶媒体システムならびに静止画ファイル装置
JP4198711B2 (ja) 記録再生システム、記録装置、再生装置、記録媒体、記録再生方法、記録方法、再生方法、プログラム、および記録媒体
KR20010019445A (ko) 멀티미디어 파일 관리방법
JP2736070B2 (ja) 静止画ファイル編集装置
JPH06208780A (ja) 映像素材管理装置
JP2007109334A (ja) 記録再生装置
JPH04196779A (ja) データ検索方法及びデータ検索再生装置
US7522814B2 (en) Information recording medium, recording apparatus, editing apparatus, reproduction apparatus, recording method, editing method, and reproduction method
JP2006510163A (ja) 記録再生システム、記録装置、再生装置、記録媒体、記録再生方法、記録方法、再生方法、プログラム、および記録媒体
JPH08202681A (ja) ハイパーメディアシステムおよびハイパーメディア文書作成・編集方法
JP3471389B2 (ja) マルチメディアファイリングシステム
KR20030069278A (ko) 사용자의 mp3 파일 관리 기능을 제공하는 광디스크재생 장치 및 방법
JPH09198392A (ja) データ管理・出力方法及び該方法を備える電子ファイリングシステム
JP2002140220A (ja) ファイル管理方法および記録媒体
JP3060921B2 (ja) マルチメディアシナリオ編集装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020806

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121220

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121220

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131220

Year of fee payment: 11

EXPY Cancellation because of completion of term