JPH07219971A - 目次インデキシング装置 - Google Patents

目次インデキシング装置

Info

Publication number
JPH07219971A
JPH07219971A JP6322046A JP32204694A JPH07219971A JP H07219971 A JPH07219971 A JP H07219971A JP 6322046 A JP6322046 A JP 6322046A JP 32204694 A JP32204694 A JP 32204694A JP H07219971 A JPH07219971 A JP H07219971A
Authority
JP
Japan
Prior art keywords
data
episode
user
auxiliary
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6322046A
Other languages
English (en)
Other versions
JP3390553B2 (ja
Inventor
John D Gabbe
デー.ガブ ジョン
Allen Ginsberg
ギンスバーグ アレン
Bethany S Robinson
エス.ロビンソン ベサニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc, AT&T Corp filed Critical American Telephone and Telegraph Co Inc
Publication of JPH07219971A publication Critical patent/JPH07219971A/ja
Application granted granted Critical
Publication of JP3390553B2 publication Critical patent/JP3390553B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99948Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 1つあるいは複数のデータ処理装置を動作さ
せてデータにインデックスを付けるための方法。 【構成】 原データを受け取る工程と、原データからエ
ピソードデータを描写する工程と、エピソードデータと
対応するメディア表示を生成する工程と、エピソードデ
ータとメディア表示から実時間で目次を生成する工程
と、図式使用者インターフェースに目次を記憶及び/ま
たは表示する工程とを含む。原データは、オーディオデ
ータ、ビデオデータ、原文データ、これらの組合せでも
良い。エピソードデータは、場面変化及び他の情報で決
定される重要なビデオ画像を基礎として生成される。メ
ディア表示は、最終的に使用者が実時間目次の検討から
決定するのを助けるためのエピソードデータを指す、ア
イコン画像、記号表示または図形画像である。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は一般にデータにインデッ
クスを付けるようにプロセッサを動作させる方法に関す
る。特に、本発明の一態様は、生の、オーディオデー
タ、ビデオデータまたは他のデータからアイコン的目次
を実時間生成する方法に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】一般
に、使用者に、注釈文によりデジタルビデオ及びオーデ
ィオデータに手でインデックスを付けさせる装置は技術
上周知である。また、会議を録音しながら、前記会議に
関するデジタルビデオ及びオーディオデータの再生を許
す装置も技術上周知である。 "Where Were We: Making and Using Near-synchronous,
Prenarrative Video,"Scott L.Minneman and Steve R.H
arrison (ミネマン)は、Multimedia 1993 に発表され
たものだが、大記憶容量を有する複合コンピュータハー
ドウェアの使用によるビデオ及びオーディオデータのマ
ニュアルインデキシングを開示している。ミネマンの装
置は、使用者が、ビデオ画像を手で選択し、そのビデオ
画像にその後の使用のために文章表現を用いて手で注釈
をつけることができるものである。ミネマンは、ビデオ
データ上の重要な出来事をフィルタにかける知的代行者
はいないことを開示している。
【0003】“ビデオデータ用拡大器ツール”(ミル
ズ)は、マイケル ミルズ(Michael Mills) と、ジョナ
サン コーエン(Jonathan Cohen)と、イン イン ウォ
ン(YinYin Wong)によって書かれ、1992年5月3日
〜7日発行のProceedings of Computer Human Interact
ion の第93−98頁に発表された。ミルズは、ビデオ
データの内容中の重要な出来事を確認しないが規則的な
時間間隔で静止フレームサンプルをデジタル化すること
よりビデオデータに単純にインデックスを付ける、ビデ
オデータのあまりにも単純な時間インデックスを開示し
ているが、"Magnifier" プログラムが初めに入力される
時、全部で30の瞬時表示の区分にわたる6フレームが
例示されるので、実時間で動作するとは思われない。
【0004】“CECED :非公式マルチメディア共同制作
用装置”は、アール クレイグヒル(Earl Craighill)
と、ルース ラング(Ruth Lang) と、マーチン フォン
グ(Martin Fong) と、キース スキナー(Keith Skinne
r) によって書かれ、1993年のProceedings of the
Association for Computing Machinery Multimedia
発表された。クレイグヒルの発表は、“1人の使用者ま
たは多数の使用者のデザイン期間中に発生したデザイン
形跡を自動的に集め、記憶し、再演すると共に、再生後
プロセス形跡中の重要な出来事を使用者に選択させて注
釈をつけさせるプロセス マネージャー”を開示してい
る。
【0005】“マルチメディアコンピュータシステムに
おけるビデオ記憶及び管理”は、ピー ベンカト ラン
ガン(P.Venkat Rangan) によって、1993年3月、Co
mputer Networks and ISDN Systemsの第901−919
頁に書かれた。ランガンの記事は、使用者が実時間会議
が続いている間に、記録された会議を再生するのを許す
ビデオ会議システムを開示している。ランガンの記事
は、使用者−会議参加者が会議の進行を文書に手で記録
するのを許すビデオファイルサーバーを開示しており、
このビデオファイルサーバーは、原文ファイルに前記文
書と関連するビデオを記憶する。しかし、ビデオファイ
ルサーバーは、重要な出来事を自動的にフィルタにかけ
ないし、目次またはそれに基づくインデックスを作らな
い。
【0006】
【課題を解決するための手段】本発明は、原データを受
け取る工程と、前記原データからエピソードデータを描
く工程と、前記エピソードデータと対応させるためのメ
ディア表現を生成する工程と、前記エピソードデータと
実時間のメディア表現から目次を生成する工程と、前記
目次を記憶及び/または図式使用者インターフェースに
提供する工程を含む、1人以上の使用者のためにデータ
にインデックスを付けるように、1つのデータ処理器ま
たは複数のデータ処理器を動作させる方法である。原デ
ータは、デジタル形式になっているかまたはデジタル形
式に変換できる、媒体が生成したデータと同様に、オー
ディオデータ、ビデオデータ、テキストデータ、これら
の組合せを構成することができる。エピソードデータ
は、場面変化及び他の情報で決定される重要なビデオ画
像を基礎として生成される。さらに、エピソードデータ
は、例えば話者交代及び他の情報に基づいて、原データ
から描かれる重要なオーディオ変化をベースとしても良
い。メディア表示は、最終的に使用者が実時間目次を見
て決定するのを援助するためにエピソードデータを参照
する、アイコン画像、記号表現または図形画像である。
【0007】
【実施例】本発明は、付随の図面と共に考察される以下
の説明を参照することによって理解することができる。
ここで、同じ参照数字は同じ構成要素とみなす。本発明
は、使用者が、データ内容を読む及び/またはデータに
手でインデックスをつける必要がなくなるように、デー
タに自動的にインデックスをつけるための方法の提供に
向けられる。この方法は、本の目次に似通った、ビデ
オ、原文、オーディオ及び他の有効な情報の目次の実時
間生成を含む。本発明の方法は、処理装置が理解可能な
補助データを、処理装置に目下理解力のないマルチメデ
ィアデータと関連させることにより、情報記憶及び読出
装置の有用性を改善する。また、本発明の方法は、使用
者会議参加者が、理解力を高めるために、さもなければ
記録の一部または全部を選択的に即座にもしくは後で調
べるために、強調のため会議中に記録された重要な部分
をより便利に捜して再演させるのを許すことによって、
会議の対話を促進するためにも用いられる。
【0008】本発明の方法は、その目次のためにエピソ
ードデータに頼ることに加えて、語義に関する説明が最
小限にされるようにビデオデータの小型図形画像である
メディア表示すなわちアイコンを自動的に生成する。本
発明の方法は、関連オーディオまたはビデオデータに常
に対応するメディア表示を生成するようにプログラムさ
れた処理装置の信頼できかつ依存できる応答に頼ってい
る。さらに、本実施例は、使用者が、図式使用者インタ
ーフェースを介してビデオまたはオーディオに注釈をつ
けられるべき原文を単に強調するかまたはブロックする
のを許すことによって、ビデオの半自動的な注釈付けを
可能にする。さらに、本発明は、重要な出来事を確認す
るために知的フィルタ代行者を用いることによってデー
タからの疑似情報を抑える、または、重要な情報を聞き
損なうインデックスの問題を克服する。本発明は、単な
る実時間記録ビデオデータから区別されるものとして、
実時間インデックスに対する不十分な処理装置の処理量
の問題を克服する。
【0009】一般に、本発明は、エピソードデータを描
く工程と、メディア表示を生成する工程と、実時間で目
次を生成する工程と、インデックスを付けられるべき、
重要なビデオデータ、オーディオデータまたはメータデ
ータを描くことにより第1の処理装置への入力を効率的
にフィルタに通すことによって目次を生成する工程から
なる主要工程を実行する。本発明は、図式使用者インタ
ーフェースを介して情報を便利にアクセス可能にするた
めに、実時間で原データを手に入れる。実時間は、出力
データのどんな最小限の遅延も人間の使用者に取って取
るに足らないまたは人間の使用者に気づかれないように
受信すると直に入力データを処理するデータ処理装置と
して定義される。原データは、オーディオデータ、ビデ
オデータ、原文データ、それらの組合せ、及び、デジタ
ルデータになっているかまたはデジタルデータに変換で
きる他の全てのデータ形式を含む。本発明は、遠隔位置
にいる使用者間の会議の促進、設計過程中の技術者間の
対話の強調、生放送からのニュースの再演、生放送から
の政治的討論の再演、及び選択された部分を見ることに
よる映画の試写を含む無数のアプリケーションを有す
る。 ハードウェア必要条件
【0010】本発明のハードウェア必要条件は、本発明
が、聴覚データのみ、視覚データのみ、または視聴覚デ
ータである原データを説明するために用いられるかどう
かに依存して変わる。また、ハードウェア必要条件は、
原データの量と、図式使用者インターフェース及びオー
ディオインターフェースの表示の望ましい品質とにも依
存して変わる。一般に、本発明は、SUN SPARC
10のような汎用コンピュータも用いて実行すべきで
ある。かけがえとして、本装置は、共同通信状態にある
数台の汎用コンピュータによって実行することができ
る。本装置は、原データの量及び品質がその通り許す所
にのみ1つの処理装置を有する汎用コンピュータに作用
することができる。他の実施例では、本発明は、顧客サ
ーバー網を援助するコンピュータアーキテクチャに作用
することもできる。例えば、下記に説明される図6は、
顧客サーバー網におけるインデキシング装置の情報の流
れを示す。
【0011】原データがビデオデータまたは視聴覚デー
タを含む場合、汎用コンピュータは、ウインドウ装置操
作環境における他のタスクのための処理装置時間及びメ
モリを残しておきながら、ビデオ ビットマップの連続
入力を処理するのに十分なメモリ、バッファ、及び処理
装置容量を持たなければならない。最小限のハードウェ
ア及び処理装置必要条件は、高められた表示解像度、表
示装置の特色をなす増加した色の数、処理されるべき原
データの増加した持続時間、及び異なる形式の原データ
の同時処理に応じて比例的に増加する傾向がある。した
がって、処理装置、メモリバッファ、ランダムアクセス
メモリ(RAM)及び記憶ディスクのための本装置の必
要条件は、市販の部品で汎用コンピュータの品質改善を
要することがある。例えば、ギガバイトの範囲にわたる
大容量を有する市販ディスクはデジタル原データまたは
それの派生物を記憶するために用いることができる。
1.0ギガバイトディスクは、JPEGフォーマットで
圧縮された視聴覚データを60分乃至75分記憶するの
に十分である。オーディオ及びビデオデータの圧縮は、
既知のソフトウェアプログラムまたは好適にはファーム
ウェアで実行することができる。
【0012】図1は、本発明の可能なハードウェア構成
の一実施例を示す。図1のハードウェア構成の個々の構
成要素は技術上周知である。さらに、図1の構成要素
は、技術上周知な多重処理装置構成に接続されている。
図1のハードウェア構成は、デジタルビデオ及びオーデ
ィオデータの連続入力を実時間処理できる本発明を実行
するためにハードウェア構成を選択することの重要性を
強調するように表わされている。また、図1のハードウ
ェア構成は、本発明の詳細な説明におけるその後のデー
タ処理の説明を容易にする。
【0013】第1の処理装置10は、第1の局部ランダ
ムアクセスメモリ16と、第1の入力メモリバッファ1
8と、第1のROM14と、包括ランダムアクセスメモ
リ44のメモリ位置をアドレス指定することができる。
直接メモリアクセス共同処理装置13は、包括RAMメ
モリ44、第1の局部ランダムアクセスメモリ(第1の
局部RAMメモリ)16またはデータベース26と、第
1の処理装置10の直接的な掛かり合いなしに第1の局
部データバス38に配置された入出力装置との間でデー
タを転送することができる。一方、第2の処理装置12
は、第2の局ランダムアクセスメモリ50と、第2のリ
ードオンリーメモリ52と、包括ランダムアクセスメモ
リ44のメモリ位置をアドレス指定することができる。
したがって、第1の処理装置10及び第2の処理装置1
2は、第1のバス制御装置40及び第2のバス制御装置
46の管理下に包括RAMメモリ44を介してデータを
やり取りする。要するに、本装置は、第1の処理装置1
0及び第2の処理装置12が独立してデータを同時処理
できかつ包括RAM44を介して入出力データを共有で
きるように構成されている。
【0014】また、本装置の他の改善は大容量のデータ
を処理するように適応されている。例えば、図形表示制
御装置30は、ビデオ画像の処理速度を増すためにビデ
オ処理装置と補助ランダムアクセスメモリを含む。図式
使用者インターフェース34用のハードウェアは、キー
ボード及びマウス用の入出力ポート44で部分的に構成
されている。図式使用者インターフェース34は、視覚
表示装置、キーボード、及びマウスのような指示装置を
含む。文脈が許す、明細書中いたるところで用いられる
言葉のセレクト及び他の形式は、指示装置またはキーボ
ードを用いることによって表示装置に与えられるものを
選ぶ使用者入力を指す。
【0015】また、ハードウェア構成は、第1の入力メ
モリバッファ18及び第2の入力メモリバッファ20の
インピーダンスをデータ源36のインピーダンスに整合
させるためのインピーダンスブリッジ22を特徴とす
る。第1の入力メモリバッファ18及び第2の入力メモ
リバッファ20は、第1の処理装置10または直接メモ
リアクセス共同処理装置13に第1の入力メモリバッフ
ァ18からデータを読み出させ、また、補助処理装置を
備えたディスク制御装置24は、第2の入力メモリバッ
ファ20を介してデータ源36から原データ102を読
み出す。ディスク制御装置24は、第2の入力メモリバ
ッファ20からの原データ102と、該原データ102
からの派生物を記憶する。データベース26は、記憶さ
れるべき原データ102の量及び品質を基礎として決定
される大記憶容量を持たなければならない。データベー
ス26に記憶される情報は、好適にはオブジェクト形式
で記憶される。ゼロックス パル アルト リサーチ
センター(Xerox Pal Alto Research Center)のスモール
トーク(Smalltalk) のようなコンピュータ言語は、プロ
グラマーにオブジェクトを定義させる。オブジェクト
は、タスク及びプロセスすなわちデータ構成要素と、他
のデータ表現を構成することができる。プログラマー
は、各オブジェクトが、オブジェクト間のやり取りを非
順次的に実行することができるように他のオブジェクト
とやり取りすることができる方法を定義する。オブジェ
クト間のやり取りは、プロセスが実行されるのを許す。
データ形式の定義
【0016】図2を参照すると、本発明は、原データ1
02、エピソードデータ104、イベントデータ10
6、メータデータ108及びメディア表示202を含む
種々様々なタイプのデータを処理する。原データ102
は、オーディオデータ、ビデオデータ、文書データ及び
視聴覚データを含む。原データ102は、処理が行なわ
れる前にデジタルフォーマットになっていなければなら
ない。例えば、ビデオ原データ102は、市販の機器を
用いて、NTSCからJPEGデジタルフォーマットに
フォーマット変換することができる。文書データはAS
CIIフォーマットとすることができる。エピソードデ
ータ104は、重要な場面変化、ビデオ及びオーディオ
の同時変化、または重要な話者交代を表わすオーディオ
記録に基づいて原データ102から描かれる重要なビデ
オ画像を含む。また、エピソードデータ104は、話者
交代及び他の要因に基づいて原データ102から描かれ
る重要なオーディオ抜粋をも含む。
【0017】メディア表示202は、原データがビデオ
データの場合はエピソードデータ104の小型図形画像
とすることができる。メディア表示202は、エピソー
ドデータ104がオーディオデータのみの場合は話中の
人の図形画像とすることができる。メディア表示202
は、アプリケーション語処理プログラムからの記号を表
す図形的記号画像とすることができる。メディア表示2
02は、図式使用者インターフェース34にウインドウ
で表示されるアイコンである。ウインドウは、別個の使
用者入力に応じる図式使用者インターフェースの作業区
域すなわち表示区域を指す。ウインドウは、技術上知ら
れているかまたは熟練者によって作り出されたもののよ
うなウインドウ化プログラム110により表示される。
メディア表示は、エピソードデータ104、イベントデ
ータ106またはメータデータ108のどれから引き出
されたかによって異なる。エピソードデータ104がビ
デオデータの場合は、エピソードデータから引き出され
たメディア表示202は小型の図形画像になる。一方、
エピソードデータ104がオーディオ情報の場合は、エ
ピソードデータから引き出されたメディア表示202
は、原データ102がビデオデータのみである時の話中
の人の図形的な記号画像になる。
【0018】イベントデータ106またはメータデータ
108から引き出されるメディア表示202は、図式使
用者インターフェース34またはオーディオインターフ
ェース54において事実上どんな形をとることもでき
る。イベントデータ106は、使用者の入力111すな
わち網入力111、またはアプリケーションプログラム
109、または外部入力に応じてウインドウ化プログラ
ム110で作られる記録である。例えば、イベントデー
タ106は、使用者が、キーボードキーを押したり離し
たり、キーボードキーを保持したり、ウインドウを起動
したり、ウインドウを更新したり、マウスボタンを押し
たりした時の使用者入力111に応じて生成される。ま
た、イベントデータは、汎用コンピュータの直列または
並列ポートにおける予め定義されたストリングの到達の
形の外部入力に応じて生成しても良い。メータデータ1
08は、アプリケーションプログラム109、実時間イ
ンデキシングプログラム112、またはUNIXのよう
な基本オペレーティングシステムによって生成される制
御データである。出来事とは、時間的制約で制限される
どんなタイプのデータの内容も指している。
【0019】第1の複数の認識表示及び第2の複数の認
識表示は、原データ102、エピソードデータ104及
びメディア表示202を正しく評価する際に処理装置を
援助するデータ構成要素間の事実、認識及び関係の例を
含む。第1の複数の認識表示は、語義網、ルールをベー
スとしたシステムまたはフレームの形で表現することが
できる。語義網は、ノード間の関係を特徴づける、コン
セプト、オブジェクト、またはデータ構成要素及びリン
クを表わす、ノードのアセンブリである。シソーラス認
識表示方式は語義網の一例である。オブジェクト向けの
プログラムは、接続されたノードの特性を受け継ぐ、オ
ブジェクト向けプログラムの必要性のため、語義網に適
している。本発明の好適な実施例は、オブジェクト向け
プログラミングと結合された語義網を使用する。しか
し、本発明は、一連のif−then記述からなる認識
表示のために、ルールに基づいたシステムを用いて実行
することもできる。図2を参照すると、好適な実施例の
主要ステップは、エピソードデータ100の描写、メデ
ィア表示200の生成、目次300の実時間生成、目次
400の提供である。
【0020】エピソードデータの描写原データ102か
らのエピソードデータ100の描写は、オーディオデー
タ、ビデオーデータまたは視聴覚データのどれが処理さ
れるかによって異なる。ブロック100のエピソードデ
ータ描写ステップは、複数の第1の認識表示と共同する
実行手順に基づいている。複数の第1の認識表示は、第
1の局部ランダムアクセスメモリ16及び包括ランダム
アクセスメモリ44に記憶される。複数の第1の認識表
示は、関係を含み、各エピソードデータ104を原デー
タ102に関係づける手順を含むことができる。複数の
第1の認識表示があれば、処理装置、すなわち第1の処
理装置10及び第2の処理装置12、はビデオデータに
関する重要な場面変化とオーディオデータに関する話者
交代を区別することができる。好適な実施例では、話者
交代は、主な発言者を確認するべく、既知のデジタル論
理回路網と共に用いられる既知の音声作動式リレー(V
OR)回路網によって確認される。
【0021】原データ102がビデオデータを含む場合
は、複数の第1の認識表示は、図3に示されるようなブ
ロック120、140、160、180及びその他を介
して原データ102に加えられる。原データ102がオ
ーディオデータまたは視聴覚データを含む場合は、複数
の第1の認識表示は異なるルーチンを介して加えられ
る。オーディオデータは、話者交代が起きる時にエピソ
ードデータ104候補としてフラグがたてられる。追加
的なフィルタリングは、決まった時間間隔の間前記オー
ディオエピソードデータ候補と前のオーディオエピソー
ドデータを比較する。エピソードデータ候補のオーディ
オスペクトル周波数成分が決まった量だけ前のエピソー
ドデータから偏位していれば、オーディオエピソードデ
ータ候補は、真のエピソードデータであり、エピソード
データ104としてフラグがたてられる。
【0022】ビデオデータに関しては、複数の第1の認
識表示は、情報を含み、また、選択的に、処理装置すな
わち第1の処理装置10及び第2の処理装置12に場面
変化を識別させるビットマップの輝度値に対応する手順
を含む。また、複数の第1の認識表示は、情報と、たぶ
ん、重要な場面変化のみがエピソードデータ104とし
てフラグがたてられるように輝度に従って選択された場
面変化をさらにフィルタにかける手順を含む。図3は、
どのように複数の第1の認識表示が原データ102とし
てビデオデータからエピソードデータ104を選択する
ために加えられるかを示す。図3に参照されるレジス
タ、カウンタ及びポインタは、コンピュータハードウェ
アの物理的構成要素に相当する。例えば、ブロック11
6の類似カウンタ及びブロック118の最大数カウンタ
は、第1の処理装置10または第2の処理装置12の汎
用レジスタとすることができる。一方、類似及び最大数
カウンタは、第1の局部ランダムアクセスメモリ16、
包括ランダムアクセスメモリ44または第2の局部ラン
ダムアクセスメモリ50に配置しても良い。ブロック1
18のMポインタ及びブロック113のNポインタは、
汎用レジスタまたはスタックポインタである。
【0023】図3によるエピソードデータ100の描写
に代わるものとして、種々の既知の場面変化アルゴリズ
ムを用いることができ、これは、図3のブロック180
に示されるような追加の知的フィルタリングと結合する
ことができる。図3において、各ブロックは、本発明の
好適な実施例によるエピソードデータ100の描写のス
テップを示す。第一に、ビットマップNからの各ワード
MとビットマップN+Cからの対応するワードは、ブロ
ック114でデータレジスタに読み込まれる。前述のよ
うに、データレジスタは、データの一時的記憶のための
第1の処理装置10または第2の処理装置12の汎用レ
ジスタである。Cは、第1の入力メモリバッファ18に
入力されたビットマップ数より小さい正の整数を表わ
す。第二に、ブロック120おいて、ブロック114の
データレジスタは、各ワードMの輝度特性が類似してい
るかどうかを調べるために比較される。ビットマップN
からの各ワードMとビットマップN+Cからの対応する
ワードMの互いの偏位が約20%以下ならば、ビットマ
ップNからの各ワードMとビットマップN+Cからの対
応するワードMは類似している。第三に、類似カウンタ
は、ブロック116において、ビットマップNからの各
ワードMがビットマップN+Cからの対応するワードに
十分に類似している。第四に、ブロック114及び12
0のステップは、ビットマップN及びビットマップN+
Cの十分なサンプルが比較されるまでブロック140に
より繰り返される。ビットマップの十分なサンプルは、
一方の端にあるビットマップN及びN+Cと、他方の端
にある第1の処理装置10及び第2の処理装置12の利
用可能な処理時間との間の類似性を計算する際に許容で
きる最大のエラー程度で制限される。利用可能な処理時
間を維持するために、十分なサンプルは、ビットマップ
N及びビットマップ+1を構成するワードの最大70%
に制限することができるがそうする必要はない。
【0024】第五に、ビットマップN及びビットマップ
N+Cの十分なサンプルが比較されると、ブロック16
0は、場面変化が類似カウンタの値を求めることによっ
て起こったかどうかを確認する。ビットマップN及びビ
ットマップN+1が類似カウンタの最小スレショールド
値で確認されたものとして類似しているならば、類似カ
ウンタはクリヤされ、Mポインタは1にセットされ、N
ポインタはCだけ増分される。類似カウンタの最小スレ
ショールド値は、20%以下だけ偏位されたビットマッ
プN及びビットマップN+1の輝度特性に相関する。ビ
ットマップN及びビットマップ+1が類似していなけれ
ば、ビットマップはブロック180に従って評価され
る。ブロック180は、同時のオーディオ変化及びビデ
オ変化、すなわちビットマップの色の変化と、ブロック
180で異なるものと前に確認されたビットマップの追
加の比較を評価することによって、どのビデオ場面変化
が最も重要かを確認する。ビットマップN+1がブロッ
ク180により決まった前の時間間隔における全ビット
マップと十分に異なっていれば、ビットマップN+1
は、ブロック115でエピソードデータとしてフラグが
たてられる。最後に、ブロック117で、エピソードデ
ータ104は、第1の局部ランダムアクセスメモリ1
6、局部ランダムアクセスメモリ50または包括ランダ
ムアクセスメモリ44に記憶され、ここで、アプリケー
ションプログラム109は後続のタスクのためにエピソ
ードデータ104をアクセスすることができる。
【0025】イベントデータのフィルタリング つまらないイベントデータは重要なイベントデータ10
6と区別しなければならない(図2参照)。メディア表
示202は、重要なイベントデータ106及び重要なメ
ータデータ108に対応して生成されるだけである。例
えば、メディア表示202は、図式使用者インターフェ
ース34のマウスボタンを押す度に生成されるべきでは
ない。しかし、使用者は、自分の紹介を始めた時から一
定の指定時間が経過した時にメディア表示を生成したい
ときがある。
【0026】重要なイベントデータ106を得るために
イベントデータをフィルタにかける一手段が図4に開示
される。この実施例では、イベントデータ106はブロ
ック230でさえぎられる。このデータが新たな顧客の
ウインドウ(すなわちアプリケーションの主要作業ウイ
ンドウ)を作り出すための要求かどうかの確認は、ブロ
ック211で行なわれる。もしそうであれば、このウイ
ンドウを作り出した要求のコピーがブロック212で保
存される。ブロック212は、このウインドウのための
Client_rec_id ベクトルへのエントリを作り出し、それ
を0にセットする。Client_rec_id ベクトルはアレイウ
インドウIDである。各ウインドウは、このベクトルに
インデックスをつけるために用いられる唯一のIDを有
する。最後に保存された記録のID番号は各ウインドウ
についてこれらの位置に記憶される。次に、ブロック2
13は、アプリケーションが実際の文字、写真マップ、
または両方を用いることにより原文表示要求を送るかど
うかを確認する。アプリケーションが写真マップだけを
用いるならば、アプリケーションはスタートに戻る。ア
プリケーションが文字または文字と写真マップの組合せ
を用いるならば、ブロック214は2Dアレイを割当て
る。
【0027】このアレイは、このウインドウに現われる
文書と、文字の位置の追跡を維持する。2Dアレイは、
ウインドウの位置X,Yにある文字“C”を表示するこ
とを要求された時に機能する。要求されたフォント形式
は常にわかっている。したがって、表示Cが必要とし、
2Dアレイのセル数(n)が真のウインドウとの一致を
維持するために必要とする画素数もわかる。Cがアレイ
のX,Yに入力されると、2Dアレイセル−−X+1,
Y...X+(n−1),Y−−は、特定の表示不可能
な文字またはコードで引用語句を添えられる。2Dアレ
イの内容とストリングSの比較は、表示要求で与えられ
るアレイのスタート位置で始まる。2Dアレイの第1の
文字は、Sにおける第1の文字と比較される。それらが
等しければ、フォントサイズが比較される。Sのフォン
トサイズはわかっており、2Dアレイのフォントサイズ
は、与えられた文字に続く特定の文字の数を数えること
により確認される。
【0028】2Dアレイの割当てに続いて、ブロック2
15は、このウインドウについてText_Change_Counter
変数を0にセットする。Text_Change_Counter は、各ウ
インドウについての局部変数であり、最後の原文がこの
ウインドウのために得られた時から加えられた/変化し
た文字数を追跡し続ける。
【0029】イベントデータ106が新たな顧客のウイ
ンドウを作り出すための要求を表わさない場合は、ブロ
ック216で、既存の顧客ウインドウの原文の1つ以上
の文字を表示するための確認が行なわれる。前記確認が
肯定的ならば、ブロック217は、表示要求で指示され
た位置と、アプリケーションにより要求される既知のフ
ォント特性を与えられたウインドウの2Dの位置の一致
を確認する。この確認に続いて、ブロック218は、2
Dアレイの対応する位置の内容(もしあれば)を、表示
要求で指示された対応するウインドウ位置に表示される
べき内容と比較する。ブロック219では、2つの内容
が同一かどうかの決定がなされる。もしそうなら、アプ
リケーションはスタートに戻る。もしそうでなければ、
ブロック220は次の文書を示すために2Dアレイを更
新する。この更新に続いて、ブロック221は、更新の
文字数をこのウインドウのText_Change_Counter に加算
する。次に、ブロック222で、このウインドウのText
_Change_Counter がText_Index_Thresholdを越えている
かどうかの決定がなされる。Text_Index_Thresholdは、
インデキシングが行なわれる前にウインドウに加えられ
または変えられなければならない文字数を指定する整数
を指す。Text_Change_Counter が過大になっていなけれ
ば、アプリケーションはスタートに戻る。
【0030】しかし、そうであれば、ブロック223
は、2Dアレイの内容を保存し、それらにインデックス
をつけ、保存記録の一場面としてこのウインドウの要求
を作り出す。アプリケーションが文書のほかの他の表示
(図形または写真マップ)を含む場合は、ブロック22
3は疑似再表示メッセージを送る(疑似再表示メッセー
ジ要求の詳細な説明は下記に与えられる)。また、ブロ
ック223は、ウインドウの結果的に生じる表示要求を
補足して保存記録に入れ、保存記録の一場面としてClie
nt_rec_id ベクトルの全数について現記録IDのリスト
を含める。次に、ブロック223は、Client_rec_id へ
のこのウインドウについてのエントリを、この保存記録
のIDに変更する。最後に、ブロック223は、このウ
インドウについてText_Change_Counter を0にセットす
る。
【0031】ブロック216が既存の顧客ウインドウの
文書の1つ以上の文字を表示しないと決定すれば、ブロ
ック224は、イベントが既存の顧客ウインドウを破棄
するための要求かどうかを確認する。もしそうなら、ブ
ロック225は、このウインドウが肯定的なText_Chang
e_Counter を伴う2Dアレイを有するかどうかを確認す
る。もしそうなら、情報は上記に説明したようにブロッ
ク223で管理される。もしそうでなければ、アプリケ
ーションはスタートに戻る。
【0032】ブロック224が、このイベントは既存の
顧客ウインドウを破壊するための要求でないことを確認
した場合は、ブロック226は、このイベントが既存ウ
インドウの表示バッファに書き込むための要求かどうか
を確認する。もしそうなら、ブロック227は、ウイン
ドウの被害領域のサイズ(%)を計算して、このウイン
ドウについてのG_Change_Counterに加える。G_Change_C
ounterは、最後の図がこのウインドウについて保存され
た時以後の描写命令によって影響を受けるウインドウの
パーセンテージを追跡し続ける各ウインドウの局部変数
である。このステップに続いて、ブロック228は、こ
のウインドウのG_Change_CounterがG_Index_Threshold
変数を越えているかどうかを確認する。G_Index_Thresh
old 変数は、インデキシングが行なわれる前の描写命令
により影響を受けるウインドウのパーセンテージを指定
する整数を指す。G_Change_Counterが過大になっていな
ければ、アプリケーションはスタートに戻る。しかし、
過大になっていれば、ブロック229は、疑似再表示メ
ッセージをウインドウに送り、ウインドウの結果的に生
じる表示要求を補足し、保存記録に入れる。また、ブロ
ック229は、保存記録の一場面としてClient_rec_id
ベクトルの全数について現記録IDのリストを含める。
次に、ブロック229は、Client_rec_id へのこのウイ
ンドウについてのエントリを、この保存記録のIDに変
更する。次に、ブロック229は、このウインドウにつ
いてText_Change_Counter を0にセットする。最後に、
ブロック229は、保存記録の一場面としてこのウイン
ドウの生成要求を含める。ブロック229に続いて、ア
プリケーションはスタートに戻る。
【0033】ブロック226が、このイベントが既存の
ウインドウの表示バッファに書き込むための要求でなけ
れば、ブロック230は、このイベントが既存のウイン
ドウの特性を変えるための要求であるかどうかを確認す
る。もしそうでなければ、アプリケーションはスタート
に戻る。もしそうなら、ブロック231で、特性は表示
された原文区域、例えばウインドウの題名の帯、を指定
しているかどうかの決定がなされる。もしそうでなけれ
ば、アプリケーションはスタートに戻る。特性が表示さ
れた文書区域を指定していれば、ブロック232は、名
づけられた特性とその値を記憶し、このウインドウの記
録を保存する時に一区域としてそれを入れる。このステ
ップに続いて、アプリケーションはスタートに戻る。
【0034】疑似再表示要求は、ウインドウサーバーま
たは管理者によってそれ自体の再描写を求める顧客に送
られる要求である。しかしこの場合、結果的に生じる顧
客要求は、実際には実行されないが、保存の一部になる
べきインデキシングプログラムで簡単にさえぎられる。
この疑似要求は、既存のウインドウプロトコルの一部で
はないが、容易にそれに統合することができる。読み出
し及び再生中の擬似再表示要求の機能は、使用者が質問
を発した時に始まる。システムは、用いられるインデキ
シング及び読み出し方法により潜在的に関連する保存記
録の0以上のポインタすなわちヘッダに戻る。次に、使
用者は再表示のためこれらの表示のうちの1つを選択す
る。読み出される記録は、1)ウインドウを生成するた
めに必要な要求と、2)ある時点でウインドウに表示さ
れた全原文と、3)この記録が保存された時またはされ
た頃にこのウインドウと共に提供された他のウインドウ
の最前の保存状態を表わす保存における顧客記録リスト
を含む。原文及びウインドウが与えられれば、この原文
をウインドウに表示する要求を自動的に生成するのはつ
まらない。記録が保存された時の環境を複製するため
に、システムは、保存記録からこのリストの記録を読み
出し、必要な創作及び表示要求を実行する。
【0035】ウインドウの“アニメーション”、すなわ
ち時間区分にわたるそれらの出演を再生は、各保存記録
を伴う表示要求の時間の印をつけられたリストを記憶す
ることによってこのアルゴリムを用いて保存することが
できる。再生時間において、時間印で決定される時間順
に創作及び表示要求を単純に実行する。
【0036】メディア表示の生成 生成するメディア表示202は、エピソードオーディオ
データまたはエピソード視覚データを処理中かどうかに
よって異なる。生成するメディア表示202は、イベン
トデータ106またはメータデータ108に対抗するも
のとしてエピソードデータ104から引き出されたかど
うかによって異なる。複数の第2の認識表示は、関係を
含み、エピソードデータ104の各々をメディア表示2
02の対応するものに、イベントデータ106の各々を
メディア表示202の対応するものに、メータデータ1
08の各々をメディア表示202の対応するものに関係
づける手順を含むことができる。1つのイベントデータ
106に対応するメディア表示202は、このイベント
について包括的なものとすることができ、または、複数
の第2の認識表示は、イベントの同一性以外の情報に基
づいてイベントに関するアイコン表示情報を確立するこ
とができる。
【0037】目次の実時間生成 プロセスの次の主要ステップは、実時間の目次の生成で
ある。ウインドウは、周知の方法によりウインドウ操作
環境において作り出される。ウインドウは、系統だった
仕方でメディア表示202を含むように構成される。
【0038】目次の提供 プロセスの次の主要ステップは目次の提供400であ
る。目次302の可能な一実施例は図5に示されるよう
に提供される。表示の全体背景を含む親ウインドウ10
5がある。上部左側には原データウインドウ102があ
り、下部には、メディア表示202を含む子孫ウインド
ウ103と呼ばれる一連の小ウインドウがある。
【0039】ウインドウはウインドウプログラム110
を用いて普通の仕方で表示される。ウインドウ化プログ
ラム110は、プログラマーに最終プログラムの出現に
大きな融通性を与える。しかし、メディア表示202は
時間順に進行するので、限られた数だけのメディア表示
202を兄弟または子孫ウインドウ103に表示するこ
とができる。したがって、目次の提供400は、エピソ
ードデータ104、イベントデータ106またはメータ
データ108から最も新しく作り出されたメディア表示
202と共に子孫ウインドウ103または兄弟ウインド
ウのメディア表示の連続的な更新を含む。前のメディア
表示202は、実時間インデキシングプログラム112
により、第1の局部ランダムアクセスメモリ16、第2
の局部ランダムアクセスメモリまたは包括ランダムアク
セスメモリ44に記憶するか、またはウインドウ化プロ
グラム110によりビデオ補助ランダムアクセスメモリ
に記憶するか、またはアプリケーションプログラム10
9もしくは実時間インデキシングプログラム112によ
りデータベース26に記憶することができる。これらの
メディア表示の記憶及び早い読み出しは、プレゼンテー
ションすなわちビデオのビデオ画像の出来事の順番を保
つのが望ましい。怠慢により、子孫ウインドウ103は
最も新しいメディア表示202を表示する。しかし、使
用者は、第1の局部ランダムアクセスメモリ16、第2
の局部ランダムアクセスメモリ、包括ランダムアクセス
メモリ44またはデータベース26に記憶されている一
連のメディア表示202全体を通じてスクロールするこ
とができる。
【0040】補助データによる注釈付け また、本発明は、エピソードデータに補助データを追加
することにより、使用者がエピソードデータに注釈を付
けるのを許す。補助データは、使用者が手でキーボード
で入力するか、または前もって存在する原文の一部を強
調するかもしくはふさぐ使用者によって半自動的に入力
されるデータである。補助データは、使用者により生成
された注釈文を構成するか、または会議中にウインドウ
に与えられるドキュメントから原文の抜粋を構成するこ
とができる。補助データの各々、読み出しを促進するた
めにエピソードデータ104の対応するものと関連す
る。半自動的な注釈付けを達成するために、エピソード
データ104に注釈を付けるための手段は、アプリケー
ションプログラム109文書の原文データを強調するこ
との重要性を理解するための複数の第3の認識表示を含
む。かけがえとして、アプリケーションプログラム10
9は、実時間インデキシングプログラム112に原文デ
ータの強調に関する実時間通知及び情報を送るように修
正することができる。アプリケーションプログラム10
9は、標準プロトコルまたはアプリケーションプログラ
ムプロトコルにより実時間インデキシングプログラム1
12とやり取りすることができる。
【0041】以下の実施例は、ビデオデータまたはオー
ディオデータに注釈を付けるために補助データをどのよ
うに用いることができるかを説明する。使用者が会議中
にワード処理プログラムの原文をブロックする場合は、
イベントデータZと呼ばれる特定のイベントデータが作
り出される。イベントデータZは、ブロッキングが起き
た時までの時間に最も近いエピソードデータ104と関
連している。このプロセスから結果的に生じる追加のエ
ピソードデータは、多数の会議のビデオデータ及びオー
ディオデータをサーチするのに役立つ。
【0042】他の実施例、顧客サーバー網 図6の他の実施例は、顧客サーバー網で実行される本発
明と、前記顧客サーバー網の関連情報フローを示す。こ
の他の実施例は、エピソードサーバー500と、網管理
者570と、複数の参加顧客600と、内部供給源62
0と、外部供給源650と、保存装置670とからな
る。エピソードサーバー500は、網管理装置570
と、外部供給源650からの原データ102の入力と、
原データ102の記憶及び読み出しとそれの保存装置6
70への誘導と、参加顧客600の図式使用者インター
フェースのウインドウの創作処理とを制御する。
【0043】参加顧客600はエピソードサーバー50
0で与えられる設備を用いる。参加顧客600は、図式
使用者インターフェースを援助するワークステーション
である。参加顧客600とエピソードサーバー500は
網管理装置570を介してやり取りする。網管理装置5
70は、TCP/IP、DECnet及びChaosの
ような網プロトコルを含むことができる。参加顧客60
0は、タスクの実行をエピソードサーバー500に要求
することができるがその必要はない。網管理装置570
は、エピソードサーバー500が参加顧客の要求を使え
るようにするまで、参加顧客600を待ち行列に置く。
かけがえとして、網管理装置570は、データのために
参加顧客600を登録することができる。網管理装置5
70は、参加顧客600の1つ1つとエピソードサーバ
ー500の間、外部供給源65の1つ1つとエピソード
データ500の間、内部供給源620の1つ1つのエピ
ソードデータ500の間、参加顧客600の1つ1つの
間の通信、切換及び制御を提供する。また、網管理装置
570は、データが衝突しないようにタイミングを制御
する。
【0044】保存装置670はエピソードサーバー50
0に取りつけられる。保存装置670は、エピソードデ
ータ104、目次302、メディア表示202、補助デ
ータ及びシステムの参加顧客600の全員に共通なファ
イルを含むインデックスアセンブリを記憶する大容量記
憶ディスクである。内部部供給源はメータデータ108
及びイベントデータ106の供給源を含む。したがっ
て、内部データとはメータデータ108とイベントデー
タ106の両方を指す。外部供給源は、他の相互接続さ
れた網からのメータデータ108及びイベントデータ1
08ばかりでなく原データ102の供給源を含む。図6
に示される顧客サーバー網は、一般的に知られているウ
インドウソフトウェア及びコンピュータアーキテクチャ
を用いて提供することができる。エピソードサーバー5
00は、2つの主要なカテゴリに分けることができる機
能を実行する。このカテゴリは、(1)図7に示される
ようなデータを記憶するための手段と、(2)図8に示
されるようなデータを読み出すための手段である。
【0045】データを記憶するための手段 データを記憶するための手段は、以下の記憶作用を達成
するようにエピソードサーバー500を動作させること
を含む。この記憶作用は、エピソードデータの描写50
2、メディア表示の生成504、目次の実時間生成50
4、エピソードデータへの注釈付け506及び補助デー
タ530に基づくインデキシング508である。エピソ
ードデータの描写502は、外部データ651の入力と
イベントデータ106の入力に基づく。エピソードデー
タ104が好適な実施例で説明された詳細にしたがって
描写された後、その出力は、保存装置670への記憶の
ために適する仕方でブロック510のインデックスアセ
ンブリプロセスに加えられる。メディア表示の生成50
4と目次の実時間生成504は、顧客要求512、イベ
ントデータ106及びエピソードデータ104の入力に
基づく。顧客要求512は、有限数の許された代わりの
ものによる1ステップまたは全プロセスに影響を与える
ための使用者からの要求である。メディア表示の生成5
04と目次の実時間生成504の出力は、保存装置67
0への記憶のために適する仕方でブロック510のイン
デックスアセンブリプロセスに加えられる。さらに、メ
ディア表示の生成504と目次の実時間生成504の出
力は、ブロック506でエピソードデータへの注釈付け
プロセスにも送られる。
【0046】ブロック506の注釈付けプロセスは、入
力として、顧客注釈文514、イベントデータ106、
メディア表示202及び目次302を受け入れる。顧客
注釈文514は、キーボードに手で文字をタイプするか
または指示装置を用いて原文エントリを半自動的に強調
することによって入力される。ブロック516の注釈付
けプロセスはその出力をインデックスアセンブリプロセ
ス510に供給し、インデックスアセンブリプロセス5
10は、記憶のために適切な形式でこのインデックスア
センブリを保存装置670に加える。さらに、注釈付け
プロセス506の出力はインデキシングプロセス508
にも送られる。インデキシングプロセス508は、メデ
ィア表示202が補助データ530で記憶されるのを許
す。インデキシングプロセスの入力は、ブロック506
からの追加補助データを伴うエピソードデータ104
と、顧客要求512である。ブロック508のインデキ
シングの出力は、保存装置670に直接供給されるか、
またはブロック510のインデックスアセンブリプロセ
スを介して保存装置に間接的に供給される。
【0047】データを読み出すための手段 データを読み出すための手段は図8に示される。データ
読み出し手段は、質問処理522とインデックスアセン
ブリ読み出し及び読み取り524が生じ得るようにデー
タを読み出すためにエピソードサーバー500を動作さ
せることを含む。質問処理522は顧客質問516の入
力によって始められる。質問される情報は、種々の既知
の方法を用いることによって、例えば反転されたファイ
ルを用いることによって、読み出しを促進するために記
憶することができる。目次302の情報は、保存装置6
70に含まれている他の情報と同様に質問されることが
できる。使用者が顧客質問516を入力するのに応じ
て、エピソードサーバー500は、1つ以上の関連メデ
ィア表示202を確認し、参加顧客600の図式使用者
インターフェースに使用者のために適するメディア表示
202を表示する。次に、使用者は、対応するエピソー
ドデータ104を見るように顧客選択520を行なわせ
る糊塗できる。
【0048】ブロック524のインデックスアセンブリ
読み出し及び読み取りプロセスは、使用者が、入力とし
て顧客要求512及び顧客選択520により、原データ
102の再演、メディア表示202の提供、及び顧客要
求512による補助データ530表示の提供の形でイン
デックスアセンブリ出力518を選択するのを許す。エ
ピソードサーバー500は、保存装置670の使用者関
連記録をアクセスして、参加顧客の図式使用者インター
フェースへの出力として前記記録を表示する。さらに、
エピソードサーバー500は、ウインドウ構成(すなわ
ち外形、背景、色)を説明するウインドウ化プロトコル
と、エピソードデータ104を入力としての顧客要求5
12及び顧客選択520によりエピソードサーバー50
0に個別的に再生することができるようにウインドウ内
容を説明するウインドウ化メッセージと区別する。明ら
かに、本発明の多数の修正及び変形が上記の教示にかん
がみて可能である。したがって、付随の特許請求の範囲
の範囲内で、本発明をここに詳細に説明されたものと違
う方法で実行することができることがわかる。
【図面の簡単な説明】
【図1】本発明を実行するのが可能なハードウェア構成
を示す。
【図2】本発明にしたがってデータにインデックスを付
けるように処理装置を動作させるための方法に含まれる
主要ステップを示す。
【図3】本発明にしたがってエピソードデータを描写す
るステップに関するデータフローを示すフローチャート
である。
【図4】本発明にしたがってイベントデータをフィルタ
にかけるステップを示すフローチャートである。
【図5】本発明にしたがってビデオ表示装置に可能なス
クリーン構成を示すことによりテーブルオブコンテンツ
を表わすステップを示すダイヤグラムである。
【図6】顧客サーバー網の情報フローを示す本発明の他
の実施例である。
【図7】エピソードサーバーのデータを記憶するための
手段と関連する情報フローを示す本発明の他の実施例で
ある。
【図8】エピソードサーバーのデータを読み出すための
手段と関連する情報フローを示す本発明の他の実施例で
ある。
【符号の説明】 10 第1の処理装置 12 第2の処理装置 13 直接メモリアクセス共同処理装置 14 第1のROM 16 第1の局部RAM 18 第1の入力メモリバッファ 20 第2の入力メモリバッファ 22 インピーダンスブリッジ 24 ディスク制御装置 26 データベース 30 図形表示制御装置 32 ビデオメモリバッファ 34 GUI 36 データ源 40 第1のバス制御装置 42 包括データバス 44 キー及びマウス用I/Oポート 46 第12のバス制御装置 48 第2の局部データバス 50 第2の局部RAM 52 第2の局部ROM
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アレン ギンスバーグ アメリカ合衆国 08527 ニュージャーシ ィ,ジャクソン,ケイス コート 6 (72)発明者 ベサニー エス.ロビンソン アメリカ合衆国 07722 ニュージャーシ ィ,コルツ ネック,チューリップ レー ン 40

Claims (32)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも1人の使用者のためにデータ
    にインデックスを付けるようにデータ処理装置を動作さ
    せる方法であって、 a)データ源から一連のワードからなる原データを受け
    取る工程と、 b)前記原データから、各々が前記一連のワードのうち
    の少なくとも1ワードであり、メモリに記憶される、複
    数のエピソードデータを描写する工程と、 c)前記エピソードデータと対応する複数のメディア表
    示を生成する工程と、 d)前記複数のエピソードデータ及び前記複数のメディ
    ア表示を用いて実時間の目次を生成する工程と、 e)前記目次を前記少なくとも1人の使用者に少なくと
    も1つの表示装置で見せる工程とからなり、前記目次
    は、使用者に、複数のメディア表示の各々を選択させて
    複数のエピソードデータの対応する1つ1つを再生させ
    ることを特徴とする方法。
  2. 【請求項2】 請求項1記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、工程a)における前記一連のワードは、不連続で確
    認可能な時間間隔の間に受け取った原データである特定
    のワードであり、工程b)、c)及びe)は、特定のワ
    ードが工程a)で受け取られた直後に実行され、それに
    より、特定のワードから引き出されるメディア表示が、
    特定のワードが受け取られた直後に前記少なくとも1人
    の使用者に見せられる方法。
  3. 【請求項3】 請求項1記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、複数のメディア表示は、工程c)において、複数の
    第2の認識表示と共同の手順を実行することによって生
    成され、複数のエピソードデータは、工程b)におい
    て、複数の第1の認識表示と共同の手順を実行すること
    によって生成される方法。
  4. 【請求項4】 請求項1記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、さらに、f)複数のエピソードデータ及び複数のメ
    ディア表示をデータベースに記憶する工程を含む方法。
  5. 【請求項5】 請求項1記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、さらに、 f)オーディオインターフェース、図式使用者インター
    フェース、視覚表示装置及び聴視覚表示装置からなる群
    から選択された少なくとも1つの表示装置で原データを
    見せる工程と、 g)前記原データをデータベースに記憶する工程を含む
    方法。
  6. 【請求項6】 請求項1記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、さらに、 f)使用者に、メディア表示のうちの対応するものを選
    択させることによって、前記エピソードデータのうちの
    選択したものを読み出させる工程と、 g)使用者に、使用者が工程f)で読み出した選択され
    たエピソードデータに注釈を付けるために補助データを
    入力させる工程と、 h)補助データを使用者に提供する工程と、 i)補助データが工程f)で読み出された特定の選択さ
    れたエピソードデータに付加されるように、該補助デー
    タを記憶する工程と、 j)各補助データがデータベースに記憶された第1の補
    助アドレスを持つように、補助データにインデックスを
    付ける工程と、 k)補助データが前記使用者のために再生されるよう
    に、補助データを読み出す工程とを含む方法。
  7. 【請求項7】 請求項6記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、さらに、 l)使用者が選択した入力値を用いると共に補助データ
    の固有値を用いることによって、補助データを分類する
    工程と、 m)工程a)にしたがって分類された補助データに対応
    し、データベースに記憶される第2の補助アドレスを生
    成する工程と、 n)工程a)にしたがって分類された補助データを第2
    の補助アドレスを用いることにより表示装置に表示する
    工程とを含む抱負緒。
  8. 【請求項8】 請求項7記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、さらに、 o)請求項6において前記複数のエピソードデータのう
    ちの対応するものに付加された補助データの各々を分類
    することによって、エピソードデータを分類する工程を
    含む方法。
  9. 【請求項9】 請求項1記載のデータにインデックスを
    付けるようにデータ処理装置を動作させる方法におい
    て、さらに、 f)使用者に補助データを入力させて、前記使用者の補
    助データ入力と実質的に同時に生じる複数のエピソード
    データのうちの特定のものに半自動的に注釈を付ける工
    程と、 g)補助データを前記使用者に提供する工程と、 h)補助データが工程f)で読み出された複数のエピソ
    ードデータのうちの特定のものに付加されるように、該
    補助データを記憶する工程とを含む方法。
  10. 【請求項10】 請求項1記載のデータにインデックス
    を付けるようにデータ処理装置を動作させる方法におい
    て、さらに、 f)使用者に、複数のメディア表示値のうちの対応する
    ものを入力させることによって、前記エピソードデータ
    の各々を選択させる工程と、 g)使用者が前記工程f)で選択したエピソードデータ
    のうちの特定のものを表示する工程とを含む方法。
  11. 【請求項11】 請求項1記載のデータにインデックス
    を付けるようにデータ処理装置を動作させる方法におい
    て、一連のワードは、使用者により複数の出来事から選
    択された所定の出来事に関連があり、前記エピソードデ
    ータの各々は前記出来事の対応するものと関連してお
    り、前記方法はさらに、使用者に、前記エピソードデー
    タの各々を選択させることによって、前記出来事のうち
    の対応するものの提示を選択させる工程を含む方法。
  12. 【請求項12】 請求項1記載のデータにインデックス
    を付けるようにデータ処理装置を動作させる方法におい
    て、工程b)における複数のエピソードデータの描写
    は、原データのビットマップの輝度値を比較すると共
    に、エピソードデータの前もってフィルタにかけられた
    前のビットマップを、原データの後続のビットマップと
    比較して、後続のビットマップがエピソードデータを構
    成するほど十分に異なっているかどうかを確認すること
    によって、予め決められた時間間隔で周期的に行なわれ
    る方法。
  13. 【請求項13】 請求項1記載のデータにインデックス
    を付けるようにデータ処理装置を動作させる方法におい
    て、工程b)におけるエピソードデータの描写は、原デ
    ータのビットマップの色彩値を比較することにより部分
    的に遂行され、複数のエピソードデータの描写は、利用
    可能なメモリに関する処理装置の帰還及びメモリ利用に
    基づいた変動率で周期的に行なわれる方法。
  14. 【請求項14】 請求項1記載のデータにインデックス
    を付けるようにデータ処理装置を動作させる方法におい
    て、工程b)におけるエピソードデータの描写は、原デ
    ータ中のオーディオデータの値の変化と、原データ中の
    ビデオデータのビットマップの輝度値の変化との相関に
    応じて部分的に遂行される方法。
  15. 【請求項15】 請求項1記載のデータにインデックス
    を付けるようにデータ処理装置を動作させる方法におい
    て、工程c)における生成は、各メディア表示が、複数
    のエピソードデータのうちの少なくとも1つのエピソー
    ドデータの小画像になるように、メディア表示を生成す
    ることによって行なわれる方法。
  16. 【請求項16】 請求項1記載のデータにインデックス
    を付けるようにデータ処理装置を動作させる方法におい
    て、データ源は、オーディオデータ源、視覚データ源、
    視聴覚データ源、原文データ源、使用者入力データ源及
    びそれらの組合せからなる群から選択される方法。
  17. 【請求項17】 データにインデックスを付けるための
    データ処理装置であって、 a)原データ信号を復調して原データを得ることがで
    き、少なくとも1つのワード列からなる原データをデジ
    タル形式で記憶するために第1の入力メモリバッファ及
    び第2の入力メモリバッファの群から選択されたメモリ
    バッファを有する受信装置と、 b)各々が前記ワード列のうちの少なくとも1ワードで
    ある複数のエピソードデータと、 c)複数のエピソードデータを原データに関連づけるこ
    とを含む複数の第1の認識表示と、 d)前記複数のメディア表示の各々を前記エピソードデ
    ータの対応するものと関連づける複数の第2の認識表示
    と、 e)第1の処理装置、第2の処理装置、及びひとまとめ
    にして考えられる第1及び第2の処理装置の群から選択
    され、前記第2の認識表示に基づいて複数のエピソード
    データから与えられたエピソードデータから各メディア
    表示を生成すると共に、前記第1の認識表示に基づいて
    与えられた原データから各エピソードデータを生成する
    ための処理装置と、 f)複数のエピソードデータからとメディア表示から目
    次を実時間生成するための手段とからなることを特徴と
    する装置。
  18. 【請求項18】 請求項17記載の装置において、さら
    に、使用者が前記複数のエピソードデータのうちの対応
    する1つ1つを表示することができるように、前記メデ
    ィア表示の各々を選択するための手段を含む装置。
  19. 【請求項19】 請求項17記載の装置において、さら
    に、原データが記憶される前に、使用者に原データを見
    せるための手段を含む装置。
  20. 【請求項20】 請求項17記載の装置において、さら
    に、原データからエピソードデータを検出して描写する
    ための手段を含む装置。
  21. 【請求項21】 請求項17記載の装置において、さら
    に、メディア表示を生成するための手段と、前記複数の
    エピソードデータの各々を前記メディア表示のうちの対
    応するものと関連させるための手段を含む装置。
  22. 【請求項22】 請求項17記載の装置において、さら
    に、複数のエピソードデータ及びメディア表示の目次を
    記憶するための手段を含む装置。
  23. 【請求項23】 請求項17記載の装置において、さら
    に、メディア表示が形成されるにつれて使用者にメディ
    ア表示を見せるための手段を含む装置。
  24. 【請求項24】 請求項17記載の装置において、さら
    に、メモリからメディア表示を読み出して表示するため
    の手段を含む装置。
  25. 【請求項25】 請求項17記載の装置において、さら
    に、エピソードデータに補助データを用いて注釈を付け
    るための手段を含む装置。
  26. 【請求項26】 請求項17記載の装置において、さら
    に、補助データを用いてインデックスを付けて分類する
    ための手段を含む装置。
  27. 【請求項27】 請求項17記載の装置において、さら
    に、イベント中またはイベント後にエピソードを確認
    し、選択し、再生するための手段を含む装置。
  28. 【請求項28】 a)図式使用者インターフェースを援
    助するワークステーションである複数の参加顧客と、 b)原データと、他の網からのメータデータ及びイベン
    トデータとを含む外部データを有する外部供給源と、 c)メータデータ及びイベントデータの局部供給源を含
    む内部供給源と、 d)外部データ、イベントデータ、顧客要求または顧客
    メモの入力に応じてデータを記憶するための手段と、顧
    客質問、顧客選択または顧客要求に応じてデータを読み
    出すための手段とを有するエピソードサーバーであっ
    て、前記データ記憶手段は、複数の第1の認識表示と共
    に手順を実行することによりエピソードデータを描写す
    ることを含むエピソードサーバーと、 e)前記エピソードサーバー、前記外部供給源及び前記
    参加顧客に操作可能にかつ電気的に接続され、前記参加
    顧客たちとエピソードサーバーの間、前記参加顧客たち
    の間、外部供給源とエピソードサーバーの間、及び内部
    供給源とエピソードサーバーの間の通信、切換及び制御
    を提供するための手段を有する網管理装置と、 f)エピソードサーバーに操作可能に取りつけられ、エ
    ピソードデータを記憶すると共に、参加顧客のための他
    の共通ファイルを記憶する大容量記憶装置である保存装
    置とからなることを特徴とするマルチメディア会議装
    置。
  29. 【請求項29】 請求項28記載のマルチメディア会議
    装置において、複数の第1の認識表示は、ビットマップ
    の輝度値、オーディオ及びビデオの同時変化の相関、及
    びビットマップの色彩、に関する認識を含むマルチメデ
    ィア会議装置。
  30. 【請求項30】 請求項28記載のマルチメディア会議
    装置において、エピソードサーバーは、実時間の複数の
    メディア表示と実時間の目次を生成するマルチメディア
    会議装置。
  31. 【請求項31】 請求項28記載のマルチメディア会議
    装置において、データ記憶手段は、エピソードデータの
    注釈付けが前記顧客メモ及び前記イベントデータに応じ
    て生じ、インデキシングが前記顧客要求に応じて生じる
    ように、データを記憶することを含むマルチメディア会
    議装置。
  32. 【請求項32】 請求項28記載のマルチメディア会議
    装置において、データ読み出し手段は、原データ、メデ
    ィア表示、目次、補助データ及びエピソードデータが、
    前記顧客質問、前記顧客選択または前記顧客要求に応じ
    て保存装置から読み出されるように、データを読み出す
    ことを含むマルチメディア会議装置。
JP32204694A 1993-12-27 1994-12-26 目次インデキシング装置 Expired - Lifetime JP3390553B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US173843 1993-12-27
US08/173,843 US5550965A (en) 1993-12-27 1993-12-27 Method and system for operating a data processor to index primary data in real time with iconic table of contents

Publications (2)

Publication Number Publication Date
JPH07219971A true JPH07219971A (ja) 1995-08-18
JP3390553B2 JP3390553B2 (ja) 2003-03-24

Family

ID=22633746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32204694A Expired - Lifetime JP3390553B2 (ja) 1993-12-27 1994-12-26 目次インデキシング装置

Country Status (5)

Country Link
US (1) US5550965A (ja)
EP (1) EP0660249B1 (ja)
JP (1) JP3390553B2 (ja)
CA (1) CA2135328C (ja)
DE (1) DE69428256T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809792B2 (en) 2004-03-22 2010-10-05 Fuji Xerox Co., Ltd. Conference information processing apparatus, and conference information processing method and storage medium readable by computer

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
JP2914170B2 (ja) * 1994-04-18 1999-06-28 松下電器産業株式会社 映像変化点検出方法
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
WO1996017313A1 (en) * 1994-11-18 1996-06-06 Oracle Corporation Method and apparatus for indexing multimedia information streams
JP3754715B2 (ja) * 1994-11-30 2006-03-15 キヤノン株式会社 協調作業システム及び前記システムにおけるデータ格納方法
US5727204A (en) * 1995-06-07 1998-03-10 Hughes Electronics Database organization for rapid multi-set membership determination
US5799315A (en) * 1995-07-07 1998-08-25 Sun Microsystems, Inc. Method and apparatus for event-tagging data files automatically correlated with a time of occurence in a computer system
US5659742A (en) * 1995-09-15 1997-08-19 Infonautics Corporation Method for storing multi-media information in an information retrieval system
US5717869A (en) * 1995-11-03 1998-02-10 Xerox Corporation Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities
US20020002562A1 (en) * 1995-11-03 2002-01-03 Thomas P. Moran Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities
US5786814A (en) * 1995-11-03 1998-07-28 Xerox Corporation Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities
US5717879A (en) * 1995-11-03 1998-02-10 Xerox Corporation System for the capture and replay of temporal data representing collaborative activities
US5751280A (en) * 1995-12-11 1998-05-12 Silicon Graphics, Inc. System and method for media stream synchronization with a base atom index file and an auxiliary atom index file
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
DE19608514A1 (de) * 1996-03-05 1997-09-11 Siemens Ag Inhaltsverzeichnis und Wiedergabegerät für sequentiell betriebene Speicher
US5745642A (en) * 1996-03-15 1998-04-28 Broderbund Software, Inc. System to add selectivley persistent resource data to unused bandwidth of digital movie
US5898429A (en) * 1996-04-19 1999-04-27 Engineering Animation Inc. System and method for labeling elements in animated movies using matte data
US8107015B1 (en) 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
US5802524A (en) * 1996-07-29 1998-09-01 International Business Machines Corporation Method and product for integrating an object-based search engine with a parametrically archived database
US5745894A (en) * 1996-08-09 1998-04-28 Digital Equipment Corporation Method for generating and searching a range-based index of word-locations
US6745194B2 (en) * 2000-08-07 2004-06-01 Alta Vista Company Technique for deleting duplicate records referenced in an index of a database
US5745890A (en) * 1996-08-09 1998-04-28 Digital Equipment Corporation Sequential searching of a database index using constraints on word-location pairs
US5915038A (en) * 1996-08-26 1999-06-22 Philips Electronics North America Corporation Using index keys extracted from JPEG-compressed images for image retrieval
JP3409652B2 (ja) * 1996-09-02 2003-05-26 松下電器産業株式会社 マルチメディア情報提供装置
US6173298B1 (en) 1996-09-17 2001-01-09 Asap, Ltd. Method and apparatus for implementing a dynamic collocation dictionary
US6119114A (en) * 1996-09-17 2000-09-12 Smadja; Frank Method and apparatus for dynamic relevance ranking
US6199076B1 (en) * 1996-10-02 2001-03-06 James Logan Audio program player including a dynamic program selection controller
JP2001503895A (ja) * 1996-11-15 2001-03-21 サーノフ コーポレイション ビデオ情報を効果的に表示、保存、およびアクセスするための方法および装置
US6956573B1 (en) 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
JPH10185634A (ja) * 1996-12-26 1998-07-14 Ando Electric Co Ltd 計測システム
US6327387B1 (en) 1996-12-27 2001-12-04 Fujitsu Limited Apparatus and method for extracting management information from image
JP3520952B2 (ja) * 1997-02-04 2004-04-19 シャープ株式会社 文書表示装置
US6654933B1 (en) * 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
US6032156A (en) * 1997-04-01 2000-02-29 Marcus; Dwight System for automated generation of media
US7574649B1 (en) * 1997-08-14 2009-08-11 Keeboo Sarl Book metaphor for modifying and enforcing sequential navigation of documents
US6208353B1 (en) * 1997-09-05 2001-03-27 ECOLE POLYTECHNIQUE FEDéRALE DE LAUSANNE Automated cartographic annotation of digital images
US6356922B1 (en) * 1997-09-15 2002-03-12 Fuji Xerox Co., Ltd. Method and system for suggesting related documents
US6658623B1 (en) * 1997-09-15 2003-12-02 Fuji Xerox Co., Ltd. Displaying in a first document a selectable link to a second document based on a passive query
JPH11103441A (ja) * 1997-09-26 1999-04-13 Matsushita Electric Ind Co Ltd クリップ表示方法とその表示装置
JP2001511991A (ja) * 1997-10-01 2001-08-14 エイ・ティ・アンド・ティ・コーポレーション マルチメディア・レコードのためのラベル・インターバル・データの格納および取得の方法及び装置
US6061688A (en) * 1997-11-04 2000-05-09 Marathon Oil Company Geographical system for accessing data
US5973723A (en) * 1997-12-12 1999-10-26 Deluca; Michael Joseph Selective commercial detector and eliminator apparatus and method
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US8752010B1 (en) 1997-12-31 2014-06-10 Honeywell International Inc. Dynamic interface synthesizer
GB2342802B (en) * 1998-10-14 2003-04-16 Picturetel Corp Method and apparatus for indexing conference content
US7213030B1 (en) * 1998-10-16 2007-05-01 Jenkins Steven R Web-enabled transaction and collaborative management system
US7099876B1 (en) 1998-12-15 2006-08-29 International Business Machines Corporation Method, system and computer program product for storing transliteration and/or phonetic spelling information in a text string class
US6460015B1 (en) 1998-12-15 2002-10-01 International Business Machines Corporation Method, system and computer program product for automatic character transliteration in a text string object
US6389386B1 (en) 1998-12-15 2002-05-14 International Business Machines Corporation Method, system and computer program product for sorting text strings
US6496844B1 (en) 1998-12-15 2002-12-17 International Business Machines Corporation Method, system and computer program product for providing a user interface with alternative display language choices
US6892351B2 (en) * 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
JP3569800B2 (ja) * 1998-12-24 2004-09-29 カシオ計算機株式会社 画像処理装置及び画像処理方法
US7174083B1 (en) 1998-12-30 2007-02-06 Xerox Corporation Systems and methods for using structured representations to index recordings of activity
JP2000276493A (ja) 1999-01-29 2000-10-06 Canon Inc 電子的にアクセスできるリソースのブラウジング方法
AU776284B2 (en) * 1999-01-29 2004-09-02 Canon Kabushiki Kaisha Browsing electronically-accessible resources
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6308168B1 (en) 1999-02-09 2001-10-23 Knowledge Discovery One, Inc. Metadata-driven data presentation module for database system
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
US6345252B1 (en) * 1999-04-09 2002-02-05 International Business Machines Corporation Methods and apparatus for retrieving audio information using content and speaker information
US6502088B1 (en) 1999-07-08 2002-12-31 International Business Machines Corporation Method and system for improved access to non-relational databases
DE19933541C2 (de) * 1999-07-16 2002-06-27 Infineon Technologies Ag Verfahren für ein digitales Lerngerät zur digitalen Aufzeichnung eines analogen Audio-Signals mit automatischer Indexierung
US7509580B2 (en) 1999-09-16 2009-03-24 Sharp Laboratories Of America, Inc. Audiovisual information management system with preferences descriptions
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6535909B1 (en) * 1999-11-18 2003-03-18 Contigo Software, Inc. System and method for record and playback of collaborative Web browsing session
US6993245B1 (en) 1999-11-18 2006-01-31 Vulcan Patents Llc Iterative, maximally probable, batch-mode commercial detection for audiovisual content
EP1120683B1 (de) * 2000-01-28 2004-08-11 Gerhard Lehmann Verfahren und Vorrichtung zur synchronisierten Abgabe von Bildinformationen und bildbezogenen Informationen
ATE278293T1 (de) * 2000-01-31 2004-10-15 Mike Maas Verfahren zur detektion und identifikation von zeitlich konstanten mustern in videosignalen, insbesondere zur detektion von werbespots in fernsehübertragungen, und vorrichtung zur ausführung dieses verfahrens
GB2359155A (en) * 2000-02-11 2001-08-15 Nokia Mobile Phones Ltd Memory management of acoustic samples eg voice memos
US8910199B2 (en) 2000-02-25 2014-12-09 Interval Licensing Llc Targeted television content display
US20020062481A1 (en) 2000-02-25 2002-05-23 Malcolm Slaney Method and system for selecting advertisements
US7661116B2 (en) 2000-02-25 2010-02-09 Vulcan Patents Llc Auction for targeted content
US8028314B1 (en) * 2000-05-26 2011-09-27 Sharp Laboratories Of America, Inc. Audiovisual information management system
US7647340B2 (en) 2000-06-28 2010-01-12 Sharp Laboratories Of America, Inc. Metadata in JPEG 2000 file format
US7277956B2 (en) * 2000-07-28 2007-10-02 Kasenna, Inc. System and method for improved utilization of bandwidth in a computer system serving multiple users
US7310678B2 (en) * 2000-07-28 2007-12-18 Kasenna, Inc. System, server, and method for variable bit rate multimedia streaming
US9419844B2 (en) 2001-09-11 2016-08-16 Ntech Properties, Inc. Method and system for generation of media
US20060015904A1 (en) 2000-09-08 2006-01-19 Dwight Marcus Method and apparatus for creation, distribution, assembly and verification of media
US8020183B2 (en) 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
US8195760B2 (en) 2001-01-11 2012-06-05 F5 Networks, Inc. File aggregation in a switched file system
US20040133606A1 (en) 2003-01-02 2004-07-08 Z-Force Communications, Inc. Directory aggregation for files distributed over a plurality of servers in a switched file system
US7788335B2 (en) * 2001-01-11 2010-08-31 F5 Networks, Inc. Aggregated opportunistic lock and aggregated implicit lock management for locking aggregated files in a switched file system
US7512673B2 (en) 2001-01-11 2009-03-31 Attune Systems, Inc. Rule based aggregation of files and transactions in a switched file system
US7509322B2 (en) 2001-01-11 2009-03-24 F5 Networks, Inc. Aggregated lock management for locking aggregated files in a switched file system
US8239354B2 (en) * 2005-03-03 2012-08-07 F5 Networks, Inc. System and method for managing small-size files in an aggregated file system
TW561358B (en) * 2001-01-11 2003-11-11 Force Corp Z File switch and switched file system
US20030018978A1 (en) * 2001-03-02 2003-01-23 Singal Sanjay S. Transfer file format and system and method for distributing media content
JP2004533738A (ja) * 2001-03-02 2004-11-04 カセンナ インコーポレイテッド ネットワークにわたって低レイテンシで効率的にビデオコンテンツを配給するためのメタデータイネーブル型プッシュ−プルモデル
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US20020166004A1 (en) * 2001-05-02 2002-11-07 Kim Jason Seung-Min Method for implementing soft-DMA (software based direct memory access engine) for multiple processor systems
CA2451992C (en) 2001-05-15 2013-08-27 Psychogenics Inc. Systems and methods for monitoring behavior informatics
US7203693B2 (en) * 2001-06-12 2007-04-10 Lucent Technologies Inc. Instantly indexed databases for multimedia content analysis and retrieval
US20050044569A1 (en) 2003-06-24 2005-02-24 Dwight Marcus Method and apparatus for efficient, entertaining information delivery
US6931201B2 (en) 2001-07-31 2005-08-16 Hewlett-Packard Development Company, L.P. Video indexing using high quality sound
JP4288879B2 (ja) * 2001-09-14 2009-07-01 ソニー株式会社 ネットワーク情報処理システムおよび情報処理方法
WO2003026289A1 (fr) 2001-09-14 2003-03-27 Sony Corporation Procede et appareil de creation d'informations et systeme de traitement d'informations en reseau
US7474698B2 (en) 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments
JP3835679B2 (ja) * 2001-10-26 2006-10-18 ソニー株式会社 情報処理システムおよび情報処理方法、情報処理装置および情報処理方法、記録媒体、並びにプログラム
US7386217B2 (en) * 2001-12-14 2008-06-10 Hewlett-Packard Development Company, L.P. Indexing video by detecting speech and music in audio
US7266287B2 (en) * 2001-12-14 2007-09-04 Hewlett-Packard Development Company, L.P. Using background audio change detection for segmenting video
US7137062B2 (en) * 2001-12-28 2006-11-14 International Business Machines Corporation System and method for hierarchical segmentation with latent semantic indexing in scale space
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US7636499B1 (en) * 2002-04-05 2009-12-22 Bank Of America Corporation Image processing system
US7234106B2 (en) * 2002-09-10 2007-06-19 Simske Steven J System for and method of generating image annotation information
US7657907B2 (en) 2002-09-30 2010-02-02 Sharp Laboratories Of America, Inc. Automatic user profiling
US20040199650A1 (en) * 2002-11-14 2004-10-07 Howe John E. System and methods for accelerating data delivery
US7006945B2 (en) 2003-01-10 2006-02-28 Sharp Laboratories Of America, Inc. Processing of video content
US7877511B1 (en) 2003-01-13 2011-01-25 F5 Networks, Inc. Method and apparatus for adaptive services networking
US7529798B2 (en) 2003-03-18 2009-05-05 Intercall, Inc. System and method for record and playback of collaborative web browsing session
US7594245B2 (en) 2004-03-04 2009-09-22 Sharp Laboratories Of America, Inc. Networked video devices
US8949899B2 (en) 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US8356317B2 (en) 2004-03-04 2013-01-15 Sharp Laboratories Of America, Inc. Presence based technology
US20050262245A1 (en) * 2004-04-19 2005-11-24 Satish Menon Scalable cluster-based architecture for streaming media
US8296441B2 (en) 2005-01-14 2012-10-23 Citrix Systems, Inc. Methods and systems for joining a real-time session of presentation layer protocol data
US8230096B2 (en) 2005-01-14 2012-07-24 Citrix Systems, Inc. Methods and systems for generating playback instructions for playback of a recorded computer session
US20060161671A1 (en) * 2005-01-14 2006-07-20 Citrix Systems, Inc. Method and systems for capture and replay of remote presentation protocol data
US8935316B2 (en) 2005-01-14 2015-01-13 Citrix Systems, Inc. Methods and systems for in-session playback on a local machine of remotely-stored and real time presentation layer protocol data
US8145777B2 (en) 2005-01-14 2012-03-27 Citrix Systems, Inc. Method and system for real-time seeking during playback of remote presentation protocols
US8200828B2 (en) 2005-01-14 2012-06-12 Citrix Systems, Inc. Systems and methods for single stack shadowing
US7996549B2 (en) * 2005-01-14 2011-08-09 Citrix Systems, Inc. Methods and systems for recording and real-time playback of presentation layer protocol data
US8340130B2 (en) 2005-01-14 2012-12-25 Citrix Systems, Inc. Methods and systems for generating playback instructions for rendering of a recorded computer session
US20060159432A1 (en) 2005-01-14 2006-07-20 Citrix Systems, Inc. System and methods for automatic time-warped playback in rendering a recorded computer session
US7395508B2 (en) * 2005-01-14 2008-07-01 International Business Machines Corporation Method and apparatus for providing an interactive presentation environment
US7831728B2 (en) * 2005-01-14 2010-11-09 Citrix Systems, Inc. Methods and systems for real-time seeking during real-time playback of a presentation layer protocol data stream
US7885970B2 (en) 2005-01-20 2011-02-08 F5 Networks, Inc. Scalable system for partitioning and accessing metadata over multiple servers
US20060167838A1 (en) * 2005-01-21 2006-07-27 Z-Force Communications, Inc. File-based hybrid file storage scheme supporting multiple file switches
US7958347B1 (en) 2005-02-04 2011-06-07 F5 Networks, Inc. Methods and apparatus for implementing authentication
US7533808B2 (en) 2005-02-09 2009-05-19 Yuh-Shen Song Privacy protected cooperation network
US8423673B2 (en) 2005-03-14 2013-04-16 Citrix Systems, Inc. Method and apparatus for updating a graphical display in a distributed processing environment using compression
US8171169B2 (en) 2005-03-14 2012-05-01 Citrix Systems, Inc. Method and apparatus for updating a graphical display in a distributed processing environment
KR100722046B1 (ko) * 2005-06-03 2007-05-25 엘지전자 주식회사 프로그램 녹화 및 재생방법 및 장치
US8191008B2 (en) 2005-10-03 2012-05-29 Citrix Systems, Inc. Simulating multi-monitor functionality in a single monitor environment
JP4439462B2 (ja) * 2005-11-29 2010-03-24 株式会社東芝 情報提示方法、情報提示装置及び情報提示プログラム
US7793329B2 (en) * 2006-02-06 2010-09-07 Kasenna, Inc. Method and system for reducing switching delays between digital video feeds using multicast slotted transmission technique
US8689253B2 (en) 2006-03-03 2014-04-01 Sharp Laboratories Of America, Inc. Method and system for configuring media-playing sets
US8417746B1 (en) 2006-04-03 2013-04-09 F5 Networks, Inc. File system management with enhanced searchability
US8701005B2 (en) 2006-04-26 2014-04-15 At&T Intellectual Property I, Lp Methods, systems, and computer program products for managing video information
US8726279B2 (en) * 2006-05-06 2014-05-13 Nvidia Corporation System for multi threaded multi processor sharing of asynchronous hardware units
US8225320B2 (en) * 2006-08-31 2012-07-17 Advanced Simulation Technology, Inc. Processing data using continuous processing task and binary routine
US7949118B1 (en) * 2006-10-19 2011-05-24 Avaya Inc. Methods and apparatus for processing a session
US20080109557A1 (en) * 2006-11-02 2008-05-08 Vinay Joshi Method and system for reducing switching delays between digital video feeds using personalized unicast transmission techniques
US20080235590A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of accessing a multimedia timeline
US8745501B2 (en) * 2007-03-20 2014-06-03 At&T Knowledge Ventures, Lp System and method of displaying a multimedia timeline
US8739073B2 (en) * 2007-05-15 2014-05-27 Microsoft Corporation User interface for document table of contents
US8682916B2 (en) 2007-05-25 2014-03-25 F5 Networks, Inc. Remote file virtualization in a switched file system
US8145704B2 (en) 2007-06-13 2012-03-27 Ntech Properties, Inc. Method and system for providing media programming
US8117244B2 (en) 2007-11-12 2012-02-14 F5 Networks, Inc. Non-disruptive file migration
US8548953B2 (en) 2007-11-12 2013-10-01 F5 Networks, Inc. File deduplication using storage tiers
US8180747B2 (en) 2007-11-12 2012-05-15 F5 Networks, Inc. Load sharing cluster file systems
US8352785B1 (en) 2007-12-13 2013-01-08 F5 Networks, Inc. Methods for generating a unified virtual snapshot and systems thereof
US7925980B2 (en) 2008-02-19 2011-04-12 Harris Corporation N-way multimedia collaboration systems
US8549582B1 (en) 2008-07-11 2013-10-01 F5 Networks, Inc. Methods for handling a multi-protocol content name and systems thereof
US8260055B2 (en) * 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
US10721269B1 (en) 2009-11-06 2020-07-21 F5 Networks, Inc. Methods and system for returning requests with javascript for clients before passing a request to a server
US8438484B2 (en) * 2009-11-06 2013-05-07 Sony Corporation Video preview module to enhance online video experience
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US8204860B1 (en) 2010-02-09 2012-06-19 F5 Networks, Inc. Methods and systems for snapshot reconstitution
US9195500B1 (en) 2010-02-09 2015-11-24 F5 Networks, Inc. Methods for seamless storage importing and devices thereof
WO2013062597A1 (en) * 2011-04-29 2013-05-02 American Teleconferencing Services, Ltd. Customizing participant information in an online conference
US8347100B1 (en) 2010-07-14 2013-01-01 F5 Networks, Inc. Methods for DNSSEC proxying and deployment amelioration and systems thereof
US9286298B1 (en) 2010-10-14 2016-03-15 F5 Networks, Inc. Methods for enhancing management of backup data sets and devices thereof
US8396836B1 (en) 2011-06-30 2013-03-12 F5 Networks, Inc. System for mitigating file virtualization storage import latency
US8615159B2 (en) 2011-09-20 2013-12-24 Citrix Systems, Inc. Methods and systems for cataloging text in a recorded session
US8463850B1 (en) 2011-10-26 2013-06-11 F5 Networks, Inc. System and method of algorithmically generating a server side transaction identifier
US9020912B1 (en) 2012-02-20 2015-04-28 F5 Networks, Inc. Methods for accessing data in a compressed file system and devices thereof
CN103514184B (zh) * 2012-06-25 2017-05-10 浙江大华技术股份有限公司 一种录像文件的剪辑备份方法及装置
US9519501B1 (en) 2012-09-30 2016-12-13 F5 Networks, Inc. Hardware assisted flow acceleration and L2 SMAC management in a heterogeneous distributed multi-tenant virtualized clustered system
US8799278B2 (en) * 2012-10-01 2014-08-05 DISCERN, Inc. Data augmentation based on second-phase metadata
US10375155B1 (en) 2013-02-19 2019-08-06 F5 Networks, Inc. System and method for achieving hardware acceleration for asymmetric flow connections
US9554418B1 (en) 2013-02-28 2017-01-24 F5 Networks, Inc. Device for topology hiding of a visited network
US9336332B2 (en) 2013-08-28 2016-05-10 Clipcard Inc. Programmatic data discovery platforms for computing applications
US11838851B1 (en) 2014-07-15 2023-12-05 F5, Inc. Methods for managing L7 traffic classification and devices thereof
US10182013B1 (en) 2014-12-01 2019-01-15 F5 Networks, Inc. Methods for managing progressive image delivery and devices thereof
US11895138B1 (en) 2015-02-02 2024-02-06 F5, Inc. Methods for improving web scanner accuracy and devices thereof
US10834065B1 (en) 2015-03-31 2020-11-10 F5 Networks, Inc. Methods for SSL protected NTLM re-authentication and devices thereof
US10404698B1 (en) 2016-01-15 2019-09-03 F5 Networks, Inc. Methods for adaptive organization of web application access points in webtops and devices thereof
US10797888B1 (en) 2016-01-20 2020-10-06 F5 Networks, Inc. Methods for secured SCEP enrollment for client devices and devices thereof
US10412198B1 (en) 2016-10-27 2019-09-10 F5 Networks, Inc. Methods for improved transmission control protocol (TCP) performance visibility and devices thereof
US10567492B1 (en) 2017-05-11 2020-02-18 F5 Networks, Inc. Methods for load balancing in a federated identity environment and devices thereof
US11223689B1 (en) 2018-01-05 2022-01-11 F5 Networks, Inc. Methods for multipath transmission control protocol (MPTCP) based session migration and devices thereof
US10833943B1 (en) 2018-03-01 2020-11-10 F5 Networks, Inc. Methods for service chaining and devices thereof
US11461535B2 (en) 2020-05-27 2022-10-04 Bank Of America Corporation Video buffering for interactive videos using a markup language
US11237708B2 (en) 2020-05-27 2022-02-01 Bank Of America Corporation Video previews for interactive videos using a markup language

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520367A (ja) * 1991-07-15 1993-01-29 Hitachi Ltd インデツクス作成方式
JPH05266084A (ja) * 1992-03-19 1993-10-15 Oki Electric Ind Co Ltd 議事録作成システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4752834A (en) * 1981-08-31 1988-06-21 Shelton Video Editors Inc. Reciprocating recording method and apparatus for controlling a video recorder so as to edit commercial messages from a recorded television signal
US4750213A (en) * 1986-06-09 1988-06-07 Novak Albert P Method and system for editing unwanted program material from broadcast signals
JP2977829B2 (ja) * 1989-01-11 1999-11-15 株式会社東芝 動画像再生装置および動画像再生方法
US5038211A (en) * 1989-07-05 1991-08-06 The Superguide Corporation Method and apparatus for transmitting and receiving television program information
JP3058333B2 (ja) * 1989-07-25 2000-07-04 ソニー株式会社 画像検索装置及び方法
JP2789723B2 (ja) * 1989-10-20 1998-08-20 ソニー株式会社 画像検索装置
US5189630A (en) * 1991-01-15 1993-02-23 Barstow David R Method for encoding and broadcasting information about live events using computer pattern matching techniques
GB9100733D0 (en) * 1991-01-14 1991-02-27 Xerox Corp Indexing of data sets
US5321396A (en) * 1991-02-07 1994-06-14 Xerox Corporation Indexing of audio/video data
US5191645A (en) * 1991-02-28 1993-03-02 Sony Corporation Of America Digital signal processing system employing icon displays
EP0507743A3 (en) * 1991-04-04 1993-01-13 Stenograph Corporation Information storage and retrieval systems
JP3292248B2 (ja) * 1991-05-29 2002-06-17 富士通株式会社 遠隔会議システム
JPH0756652B2 (ja) * 1992-03-24 1995-06-14 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像のフレーム列の検索
US5343251A (en) * 1993-05-13 1994-08-30 Pareto Partners, Inc. Method and apparatus for classifying patterns of television programs and commercials based on discerning of broadcast audio and video signals
US5355161A (en) * 1993-07-28 1994-10-11 Concord Media Systems Identification system for broadcast program segments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520367A (ja) * 1991-07-15 1993-01-29 Hitachi Ltd インデツクス作成方式
JPH05266084A (ja) * 1992-03-19 1993-10-15 Oki Electric Ind Co Ltd 議事録作成システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809792B2 (en) 2004-03-22 2010-10-05 Fuji Xerox Co., Ltd. Conference information processing apparatus, and conference information processing method and storage medium readable by computer

Also Published As

Publication number Publication date
DE69428256D1 (de) 2001-10-18
EP0660249A1 (en) 1995-06-28
CA2135328A1 (en) 1995-06-28
CA2135328C (en) 1999-03-02
DE69428256T2 (de) 2002-06-27
EP0660249B1 (en) 2001-09-12
JP3390553B2 (ja) 2003-03-24
US5550965A (en) 1996-08-27

Similar Documents

Publication Publication Date Title
JP3390553B2 (ja) 目次インデキシング装置
US7739597B2 (en) Interactive media frame display
US9875222B2 (en) Capturing and storing elements from a video presentation for later retrieval in response to queries
JP4347223B2 (ja) マルチメディア文書における多モード特性に注釈を付けるためのシステムおよび方法
US7266568B1 (en) Techniques for storing multimedia information with source documents
US7131059B2 (en) Scalably presenting a collection of media objects
US5021992A (en) Method of translating data from knowledge base to data base
JP3268545B2 (ja) 映画をその基礎にあるソース情報とリンクし表示するシステムおよび方法
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US20020163548A1 (en) System and apparatus for notetaking with digital video and ink
JPH08249348A (ja) 映像検索方法および装置
US11314387B1 (en) System and method for analysis and visualization of incident data
JPH07200775A (ja) シナリオ編集装置
JP3736597B2 (ja) 発言構造情報提示装置および発言構造情報提示方法
JP2001350397A (ja) 遠隔地用講座情報提示方法及び装置
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
Li et al. Capturing and indexing computer-based activities with virtual network computing
JPH06309381A (ja) 動画像処理装置
JPH07282079A (ja) リンク表示方法
CN114422745A (zh) 音视频会议的会议纪要快速整理方法、装置和计算机设备
JP3471389B2 (ja) マルチメディアファイリングシステム
JP3711710B2 (ja) 情報検索収集システムおよび情報検索収集プログラムを記憶した記憶媒体
JP2001350775A (ja) 複数情報提示方法及び装置
JPH08153077A (ja) 協調作業システム
KR102023687B1 (ko) 서버의 이미지 공유 방법, 그리고 이를 구현한 시스템 및 어플리케이션

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100117

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120117

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130117

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term