JP2892901B2 - プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法 - Google Patents

プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法

Info

Publication number
JP2892901B2
JP2892901B2 JP5055984A JP5598493A JP2892901B2 JP 2892901 B2 JP2892901 B2 JP 2892901B2 JP 5055984 A JP5055984 A JP 5055984A JP 5598493 A JP5598493 A JP 5598493A JP 2892901 B2 JP2892901 B2 JP 2892901B2
Authority
JP
Japan
Prior art keywords
presentation
data
video
audio
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5055984A
Other languages
English (en)
Other versions
JPH0695629A (ja
Inventor
サミュエル、ドレイク
アラン、ディー、グリーファー
ジョン、ティー、パワーズ、ジュニア
ジョン、ジー、トマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH0695629A publication Critical patent/JPH0695629A/ja
Application granted granted Critical
Publication of JP2892901B2 publication Critical patent/JP2892901B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は音声／視覚によるプレゼ
ンテーション（presentation）をとらえ、記憶し、イン
デクスし、そして再生するための自動システムに関す
る。また本発明は記録の形でとらえられた生のプレゼン
テーションを選択的に表示するための教育的なデータベ
ースとして利用出来るプレゼンテーションライブラリを
つくりそして維持するためのシステムに関する。
【０００２】
【従来の技術】ビジネスおよび教育に関し、講演、講習
および他のプレゼンテーションに出席するために多くの
時間が費されている。また、そのような講習やプレゼン
テーションを準備し、提供するためにも多くの時間が費
されている。
【０００３】
【発明が解決しようとする課題】しかしながら、多くの
人々がプレゼンテーションに出席したがあまり有効でな
いことがある。逆に、多くの人々が有効なプレゼンテー
ションに出席出来ないこともある。教育および背景資料
の提供者はこのように同じ資料を何回もカバーするため
に大きな努力をすることになる。従って、プレゼンテー
ションをとらえ、インデクスし、記憶しそして再生する
ための自動システムは多くのそのような環境において大
きな価値がある。
【０００４】
【課題を解決するための手段】本発明は音声および視覚
情報を有するプレゼンテーションの獲得、管理および再
生のための自動システムに関する。好適な実施例におい
てはプレゼンテーションの音声部分を検知し、そしてそ
の音声部分に対応する音声信号情報を発生する音声入力
装置を含むプレゼンテーション獲得システムを提供す
る。ビデオ入力装置はプレゼンテーションの可視部分を
検出し、それに対応するビデオ信号情報を発生する。ユ
ーザ入力はプレゼンテーションに関するプレゼンテーシ
ョン識別情報を入力するためのものである。音声信号情
報、ビデオ信号情報および識別情報はプレゼンテーショ
ンセットとして記憶される。
【０００５】他の観点によれば本発明はプレゼンテーシ
ョン管理システムを提供する。これはプレゼンテーショ
ン獲得システムと通信を行う。このプレゼンテーション
管理システムはプレゼンテーションセット（presentati
on set）ビデオ信号情報からテキスト文字情報を発生し
そしてそのテキスト文字情報をプレゼンテーションセッ
トに付加するための文字認識装置を含む。プレゼンテー
ションセットは、それからテキスト文字情報のインデク
スを発生するためのデータベースインデクスシステムと
そこに含まれる選択された情報についてのインデクスを
検索するためのデータベース検索プログラムを含むデー
タベースに記憶される。
【０００６】本発明の他の観点によれば、プレゼンテー
ションプレイバックシステムがプレゼンテーション管理
システムと通信を行うように設けられる。プレゼンテー
ションプレイバックシステムはデータベース検索プログ
ラムに対する検索要求を定式化しそれに送るための入力
照会インターフェースを含む。出力表示装置が検索要求
に続き検索結果を表示する。この検索結果にもとづきユ
ーザはデータベースからプレゼンテーションセットを選
択的に再生することが出来る。音声情報は音声再生装置
に送られ、ビデオ情報はビデオ再生装置に出力される。
【０００７】
【実施例】図１において、自動プレゼンテーション獲
得、管理およびプレイバックシステムはプレゼンテーシ
ョン獲得コンポーネント１０、プレゼンテーション管理
コンポーネント１２およびプレゼンテーションプレイバ
ックコンポーネント１４を含む。これらシステムは例え
ばパーソナルコンピュータ、ワークステーションまたは
他の適当なデータ処理システムのような１個のデータ処
理装置内で組合せることが出来る。これらはまた夫々独
立したデータ処理装置内で具体化してもよい。例えば多
くの場合、可搬のあるいはプレゼンテーションの場に永
久的に配置されうるパーソナルコンピュータまたはＰＣ
のような別個のデータ処理装置としてプレゼンテーショ
ン獲得システム１０を設けることが望ましい。この場
合、プレゼンテーション獲得システム１０はプレゼンテ
ーションデータを記憶しそしてその後そのデータを、プ
レゼンテーション管理システム１２および必要であれば
プレゼンテーションプレイバックシステム１４を含む別
個のデータ処理装置に移すことになる。また、プレゼン
テーションプレイバックシステム１４と通信を行うデー
タ処理サーバ装置としてプレゼンテーション管理システ
ム１２を実施することも望ましいことである。例えば、
プレゼンテーション管理システム１２はパーソナルコン
ピュータ、あるいは回路網構成においてプレゼンテーシ
ョンプレイバックシステム１４に接続するミッドレンジ
（mid-range)または主フレームコンピュータシステムで
よい。プレゼンテーションプレイバックコンポーネント
１４は局所処理能力を有しあるいはダム（dumb）ターミ
ナルでよい。多くの他の実施および実施例はこの明細書
の記述から当業者には明らかである。
【０００８】プレゼンテーション獲得システム１０は会
議室、講堂あるいはそのようなスペースのごときプレゼ
ンテーションの場に設けられる。代表的なプレゼンテー
ションは講師が含まれ、この講師はプレゼンテーション
の主題の説明を補足するために“フォイル（foil）”ま
たはビューグラフ（view graphs)を表示すべくオーバヘ
ッド画像プロジェクタ１６を用いることになる。オーバ
ヘッドプロジェクタ１６はスクリーン１８にビューフォ
イル画像を投射する。ビューフォイル画像は一般に文字
数字テキストそしておそらく図、チャートおよび他のグ
ラフを含む。プレゼンテーション獲得システム１０はプ
ロジェクタ１６上のビューフォイルのビデオ画像を獲得
するため、そのプロジェクタ１６のビューグラフ表示領
域に向けられたテレビジョンまたは高解像度スチールカ
メラを利用する。アナログ‐ディジタル（Ａ／Ｄ）変換
器を含むインターフェース電子モジュール２２がカメラ
からのビデオ画像フレームを処理しそれらをコンピュー
タ２４にディジタル形式で送る。このコンピュータは複
数のビデオフレームをバッファ処理するための適正な揮
発性メモリを含む。プレゼンテーション獲得システム１
０はプレゼンテーションすなわち解説付きのビューフォ
イル表示の音声部分を、講師の声をピックアップするよ
うに配置されたマイクロホンまたは他の適当な音声検出
装置２６により獲得する。Ａ／Ｄ変換器を含むインター
フェース電子装置２８がマイクロホン２６からの音声信
号をディジタル化しそしてそれをコンピュータ２４に与
えるために設けられる。
【０００９】コンピュータ２４は従来のものであり、Ｃ
ＰＵ３０、キーボード３２を含む入力システム、ビデオ
表示装置３４を含む出力システム、および磁気ディスク
あるいは光記憶システムのような直接アクセス記憶装置
であるとよいデータ記憶資源３６を含む。一実施例にお
いてはコンピュータ２４は従来のパーソナルコンピュー
タまたはＰＣとして設けられる。この場合、すべてのＰ
Ｃに設けられているバス通信スロットに物理的に装着さ
れるように設計された市販のアダプタカードを、ビデオ
および音声情報を後述するように処理し、インデクスを
付し、記憶しそしてとり出すことの出来る機械読取可能
なフォーマットを有するデータシーケンスに変換するた
めの電子モジュール２２，２８として利用しうる。
【００１０】プレゼンテーション獲得システム１０の動
作を図２のフローチャートを更に参照して説明する。プ
レゼンテーションの開始前のステップ４０において、コ
ンピュータ獲得システム２４が付勢され、そのシステム
が従来のオペレーティングシステムにより初期化され
る。プレゼンテーション獲得ソフトウェアプログラムの
実行も開始される。プレゼンテーション獲得プログラム
はプレゼンテーションから発生する情報をプレゼンテー
ションデータセットとして構成するためのデータ構造を
つくる。ステップ４２において、プレゼンテーション獲
得プログラムがデータの受け入れ可能となれば、オペレ
ータが例えばプレゼンテーションの日付、時刻、場所の
ような識別情報並びにそのプレゼンテーションについて
のコメントおよび、予め既知となっていればその記述ア
ブストラクトを入力するように要求するプロンプトをビ
デオ表示装置３４に発生する。オプションとして、この
情報を入力する能力はプレゼンテーション管理およびプ
レイバックシステム１２，１４を介して、プレゼンテー
ションの終了時あるいは後日に与えることが出来る。入
力フィールドはオペレータがキーボード３２によりプレ
ゼンテーション情報を入力しうるようにするためにビデ
オ表示装置３４に設けられる。
【００１１】プレゼンテーションがはじまると、オペレ
ータはプレゼンテーション獲得プロセスのステップ４４
でキーボード３２によりスタートコマンドを入力する。
ステップ４６において、プレゼンテーション獲得プログ
ラムは音声プロセッサ２８から音声信号情報を入力し、
それをプレゼンテーションスタート時点からの経過時間
に対応するメモリアドレスに記憶する。このように、音
声情報は経過時間値に対応するメモリアドレスオフセッ
ト値を特定することによりとり出すことが出来る。ステ
ップ４８でこのプレゼンテーション獲得プログラムはコ
ンピュータ２４に含まれる揮発性メモリに次々のビデオ
フレームを入力する。多くの場合、ビデオフレームのす
べてを記憶する必要はない。事実、一つのビューフォイ
ルのプレゼンテーションのビデオ部分を適正に得るには
各プレゼンテーションビューフォイルの１つのビデオ画
像のみでよい。プレゼンテーション獲得プログラムはこ
のように不要なビデオフレームを捨てつつ必要とするビ
ューフォイル画像を保存するように入力ビデオフレーム
を処理する。
【００１２】ステップ５０でＦＲＡＭ−ＣＡＰＴＵＲＥ
フラグが“ＴＲＵＥ”にセットされる。ステップ５２で
プレゼンテーション獲得プログラムは第一ビデオフレー
ムを“現在の”ビデオ画像としてセットする。ステップ
５４でこのプログラムは“次の”ビデオフレームが“現
在の”フレームとは著しく異なるかどうかを決定すべ
く、“次の”ビデオフレームを検索する。著しく異なる
ものであれば第一ビューフォイルが多分オーバヘッドプ
ロジェクタ１６に置かれつつあることになる。その場
合、プレゼンテーション獲得プログラムはステップ５６
に進み、“次の”ビデオフレームを捨て、そして次にス
テップ５８でＦＲＡＭＥ−ＣＡＰＴＵＲＥフラグが“Ｆ
ＡＬＳＥ”にセットされる。このプログラムは次にステ
ップ５４にもどり、以降の“次の”ビデオフレームが同
様にしてステップ５２，５４，５６，５８により検査さ
れる。
【００１３】第一ビューフォイルがオーバヘッドプロジ
ェクタ１６に置かれていなければ、第一ビューフォイル
が表示位置となるまで一連のブランクビデオ画像が生じ
る。ブランクビデオ画像が次々に入力されるとき、ステ
ップ５４は誤決定出力となり、それらフレームが互いに
著しくは異ならないことを示す。次にステップ６０でプ
レゼンテーション獲得プログラムは“次の”ビデオ画像
フレームが“現在の”フレームと非常によく似ているか
どうかについて検査を行う。似ていなければステップ５
４にもどり、そしてビデオフレームが“現在の”フレー
ムと著しく異なるかどうかについて再検査される。ステ
ップ６０において、“次の”ビデオフレームが“現在
の”フレームに非常に近いものとされれば、ステップ６
２でフレーム獲得フラグをＴＲＵＥにセットするかどう
かの決定を行う。セットするのであれば、それはビデオ
画像が変化しておらずそして表示位置にビューフォイル
が置かれていないことを示す。複数のブランクフレーム
の発生を避けるために、夫々の“次の”フレームがステ
ップ６４で捨てられる。かくして、第一ビューフォイル
の配置以前の初期ブランクビデオフレームはすべて捨て
られる。
【００１４】上記のように、第一ビューフォイルが表示
領域に置かれるとき、一連の非常に異なるビデオ画像が
与えられる。これにより、ＦＲＡＭＥ−ＣＡＰＴＵＲＥ
フラグがＦＡＬＳＥにセットされ、そしてこのプレゼン
テーション獲得プログラムはステップ５２，５４，５
６，５８を循環する。第一ビューフォイルが完全に配置
されて静止すると、ステップ５４で誤結果が生じ、ステ
ップ６０で真が生じる。ステップ６２でＦＲＡＭＥ−Ｃ
ＡＰＴＵＲＥフラグがＦＡＬＳＥ状態であれば、ステッ
プ６６に進む。ステップ６６でブランクスクリーン画像
の存在が検査される。第一ビューフォイルが表示領域内
にあるからその結果は誤となり、ステップ７０でそのビ
デオフレームを第一ビューフォイル画像として保存す
る。
【００１５】一つのビューフォイル画像のみが必要であ
るから、このプログラムはそのビューフォイルの以降の
画像を捨てなくてはならない。これは、ステップ５０に
もどりＦＲＡＭＥ−ＣＡＰＴＵＲＥフラグをＴＲＵＥに
リセットすることで行われる。ステップ５４と６０にお
いて著しく異なるものではなく、保存されたビューフォ
イル画像に非常に近いものとされた夫々の“次の”ビデ
オフレームはステップ６２，６４で捨てられる。第一ビ
ューフォイルが表示領域から除かれるまでステップ５
２，５４，６０，６２，６４が続けられる。
【００１６】一つのビューフォイルの除去により生じる
ビデオ画像の変化により、プログラムはステップ５２，
５４，５６，５８をたどる。ＦＲＡＭＥ−ＣＡＰＴＵＲ
ＥフラグがＦＡＬＳＥにセットされる。ビューフォイル
の除去に続き、一連のブランクスクリーン画像が与えら
れる。“現在”および“次”のブランク画像が次々に入
ると、このプログラムはステップ６６に入りそしてブラ
ンクである“次の”フレームがステップ６８で捨てられ
る。次に、新しいビューフォイルが表示領域に置かれて
上記の手順がくり返されるまでこのプログラムはステッ
プ５２，５４，６０，６２，６６，６８をたどる。
【００１７】音声信号情報と同様に、夫々のビューフォ
イルの第一表示を表わすビデオ信号情報が経過時間値に
対応するアドレスオフセット値を特定することでデータ
記憶装置からとり出しうるように、プレゼンテーション
開始からの経過時間に対応するようにそのビデオ信号情
報がデータ記憶資源３６に記憶される。
【００１８】図１において、前述のようにプレゼンテー
ション管理システム１２はパーソナルコンピュータまた
はミッドレンジまたは主フレームシステムを含む任意の
数の従来のコンピュータシステムからつくることが出来
る。しかしながらいずれにしてもプレゼンテーション管
理システム１２は従来のデータベース記憶装置８０とデ
ータベース制御プログラム８２を含むデータベースシス
テムを支援するための充分なメモリ容量および処理能力
を有するものであるべきである。プレゼンテーション管
理システム１２は一つのプレゼンテーションの夫々獲得
された音声および獲得されたビデオ画像からなる音声お
よび画像（ビデオ）データストリームを含むプレゼンテ
ーションセットをプレゼンテーション獲得システム１０
から受ける。プレゼンテーション管理システム１２はデ
ータベース記憶装置８０に、夫々のプレゼンテーション
セットを他のプレゼンテーションからのプレゼンテーシ
ョンセットと共に記憶する。これに関して、各プレゼン
テーションセットはデータベース制御プログラムにより
プレゼンテーションオブジェクトへと配列され、そして
そのオブジェクトが他のプレゼンテーションオブジェク
トと共に一つのプレゼンテーションデータベースに記憶
されるプレゼンテーションデータベースでこれらオブジ
ェクトは日付、時刻、場所、コメント、アブストラクト
およびキーワードによりインデクスされる。
【００１９】データベース制御プログラム８２は好適に
は特定された検索目安によりプレゼンテーションセット
データをとり出すための検索アルゴリズムを含む。例え
ば、データベース制御プログラム８２は１以上のプレゼ
ンテーションについてプレゼンテーションビューグラフ
の文字テキスト部分に含まれるキーワードを検索するた
めの記述語検索能力を与えるべきである。更に、オペレ
ータによりそのプレゼンテーションセットに付加される
情報、すなわちプレゼンテーションの日付、時刻および
場所の情報並びにコメントおよびプレゼンテーションア
ブストラクト情報も検索可能である。
【００２０】ビューグラフ文字セットについての記述語
検索を容易にするために、プレゼンテーション管理シス
テム１２は光学的な文字認識（ＯＣＲ）プログラム８４
を含む。ＯＣＲプログラム８４は入力されるプレゼンテ
ーションセットに含まれるビデオ信号情報から文字テキ
スト情報を抽出しそしてそれを例えばＡＳＣＩＩ文字セ
ットのような適正なフォーマットで記憶するためにセッ
トアップされる。ＯＣＲプログラム８４により発生され
るテキスト文字セットはそれに対応するビデオ画像と相
関させて記憶されたプレゼンテーションセットに組込ま
れる。かくして、データベース８０に記憶された各プレ
ゼンテーションセットはプレゼンテーションの獲得され
た音声およびビューフォイル画像、日付、時刻、場所、
そのプレゼンテーション内のすべてのビューグラフの完
全なテキストＡＳＣＩＩ表現を含む複数のデータフィー
ルドを有するデータ構造を含み、更に、ＡＳＣＩＩフォ
ーマット記憶される記述アブストラクトおよびプレゼン
テーションコメントを含む。
【００２１】各ビューフォイルに関連した完全ＡＳＣＩ
Ｉテキストは逐次型記憶モードで音声データと相関する
関連したビューフォイルと相関させて記憶される点は重
要である。
【００２２】記述語検索を容易にするためにデータベー
ス制御プログラム８２は完全テキストプレゼンテーショ
ンインデクスをつくるべくＯＣＲプログラム８４により
発生される文字テキスト情報を利用する。このインデク
スはデータベース８０に記憶される１以上のプレゼンテ
ーションについて完全なビューフォイルテキストを含
む。これはまたＡＳＣＩＩコメントおよびプレゼンテー
ションアブストラクトを含みうる。このように複数のプ
レゼンテーションセットが複数のレベルで検索出来る。
その結果、すべてのプレゼンテーションについて一つの
大域インデクスを用いることにより、ユーザは照会にお
いて少くとも次の項目を特定することが出来る： １．プレゼンテーションの日（正確な日または期間）。 ２．プレゼンテーションの時間（正確な時刻または時
間）。 ３．プレゼンテーションの場所（正確な場所）。 ４．そのプレゼンテーションのアブストラクトにある１
以上のキーワード。 ５．そのプレゼンテーションにあるビューグラフにある
１以上のキーワード。 ６．そのプレゼンテーションにおけるコメントにある１
以上のキーワード。 上記情報の１以上のレベルについての検索要求が入る
と、解説制御プログラムがユーザにより特定された検索
目安に合ったプレゼンテーションのリストを発生する。
上記の検索能力を与えるため当業者により容易に用いる
ことの出来る、市販の多くのデータベースシステムが存
在する。
【００２３】プレゼンテーション管理システム１２への
アクセスとその制御はシステム１２とネットワークをつ
くる処理装置により与えることの出来るプレゼンテーシ
ョンプレイバックシステム１４により与えられる。プレ
ゼンテーションプレイバックシステム１４はまたプレゼ
ンテーション管理システムに接続したダムターミナルで
もよい。図１において、プレゼンテーションプレイバッ
クシステム１４はＣＰＵ９０、データ記憶資源９２およ
びキーボード９６により与えられるユーザインターフェ
ース９４からなる知能端末と、ビデオ表示装置９８と、
音声出力装置１００と、適正なインターフェース制御ソ
フトウェアとから成る。プレゼンテーションプレイバッ
クシステム１４はユーザがユーザインターフェース９４
を介してプレゼンテーション管理システム１２に検索照
会を与えることが出来るようにプログラムされる。かく
して、ユーザインターフェースによりユーザはプレゼン
テーション管理システム１２で維持されるプレゼンテー
ションのインデクスを照会しうるようになる。この照会
要求はプレゼンテーション管理システムに送られ、それ
がその検索目安に合うカタログ化されてプレゼンテーシ
ョンのリストをもどす。
【００２４】ユーザインターフェース９４を介してユー
ザは合致したプレゼンテーションの内の一つを選択し、
それを再生させる。再生が要求されるとき、一つのプレ
ゼンテーションセットの内容がプレゼンテーションプレ
イバックシステム１４に出力され、そこでそれらがデー
タ記憶装置９２に置かれる。プレゼンテーションプレイ
バックシステム１４あるいはプレゼンテーション管理シ
ステム１２自体につくられるプレゼンテーションプレイ
バックプログラムは情報のプレゼンテーションを制御す
る。通常プレゼンテーションプレイバックソフトウェア
は適正な時点で表示装置９８に生じる夫々のビューグラ
フの画像とＡＳＣＩＩ表現と共に一つのプレゼンテーシ
ョンの音声部分を全体として表示させる。このプレゼン
テーションプレイバックソフトウェアはユーザにそのプ
レイバックを停止させそして特定の時点からプレイバッ
クを開始しうるようにする能力を与えるものであるとよ
い。ユーザはまた音声なしにビューグラフを表示しうる
べきである。あるいはユーザは音声を伴うプレゼンテー
ションを任意の与えられたピューグラフから回復するよ
うに制御出来るべきである。オプションとして、ユーザ
はプレゼンテーションにコメントと情報アブストラクト
を付加しそしてそれらコメントをプレゼンテーション管
理システム１２によりカタログ化しうるようにすべきで
ある。そして、もしユーザが適正に権利を与えられれ
ば、そのプレゼンテーションを例えばそれから冗長な画
像を自動的に削除しあるいはＯＣＲプロセス中に生じた
誤りを修正することにより改定しうるべきである。上記
のプレイバック制御機能を与えるための適正なプレイバ
ック制御ソフトウェアはここに示す技術によりルーチン
として実行しうるものであることは当業者には明らかで
ある。
【００２５】従って、生のプレゼンテーションを獲得
し、データベースに記憶し、再生要求によりとり出すよ
うになったプレゼンテーション獲得、管理およびプレイ
バックシステムがここに開示された。本発明の好適な実
施例を示し説明したが、当業者にはその変更および適用
は明らかである。例えば与えられたビューグラフのＡＳ
ＣＩＩテキストが使用可能であれば、ＡＳＣＩＩテキス
トがそのプレゼンテーションにおいてビデオ画像が生じ
る時点に相関させることが出来るようにビューグラフが
表示されたときを決定するためにＯＣＲを使用すればよ
いように、プレゼンテーション管理システムを変更しう
る。提供されるビューグラフの高解像度ビデオ画像が使
用出来ればＯＣＲを高解像度画像に適用しうる。この高
解像度画像は、各ビューグラフが表示されたときを決定
するためにスクリーンから獲得される画像と相関させる
ことが出来る。場合によってはＯＣＲを全く使用せず人
である編集者がその機能を行う必要がある。他の例とし
ては編集者についてのスタート位置として作用するコン
ピュータＯＣＲによる“コンピュータ支援”編集を行っ
てもよい。更に、人的な編集を全く行わずコンピュータ
化獲得およびＯＣＲに全面的に依存してもよい。
【図面の簡単な説明】
【図１】本発明による自動化プレゼンテーション獲得、
管理およびプレイバックシステムを示すブロック図。
【図２】図１のシステムのプレゼンテーション獲得部分
の動作を示すフローチャートの一部分を示す図。
【図３】図１のシステムのプレゼンテーション獲得部分
の動作を示すフローチャートの一部分を示す図。
【符号の説明】
１０ プレゼンテーション獲得システム １２ プレゼンテーション管理システム １４ プレゼンテーションプレイバックシステム １６ オーバヘッドプロジェクタ １８ 投射スクリーン ２２，２８ インターフェース電子モジュール ２４ コンピュータ ２６ 音声検出装置 ３０ ＣＰＵ ３２ キーボード ３４ ビデオ表示装置 ３６ データ記憶資源
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アラン、ディー、グリーファー アメリカ合衆国カリフォルニア州、サン ノゼ、クレスタ、ビスタ、ウェイ、271 (72)発明者 ジョン、ティー、パワーズ、ジュニア アメリカ合衆国カリフォルニア州、モー ガン、ヒル、エンチノ、ドライブ、605 (72)発明者 ジョン、ジー、トマス アメリカ合衆国カリフォルニア州、サン タ、クルーズ、ダグマー、ドライブ、 1220 (56)参考文献 特開 平３−123387（ＪＰ，Ａ) 特開 平３−276260（ＪＰ，Ａ) 特開 平３−273363（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G09G 5/00 - 5/40

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】音声および可視情報成分を有する実演プレ
    ゼンテーションの獲得、管理およびプレイバックのため
    の自動化システムであって、実演プレゼンテーション獲
    得システムおよび該実演プレゼンテーション獲得システ
    ムに接続するプレゼンテーション管理システム、および
    プレゼンテーション・プレイバックシステムを含み、 上記実演プレゼンテーション獲得システムは、 実演プレゼンテーションの音声部分を検知しその音声部
    分に対応する音声信号情報を発生する音声入力手段と、 実演プレゼンテーションの可視部分を検知し、その可視
    部分に対応するビデオ信号情報を発生するビデオ入力手
    段と、 実演プレゼンテーションに関係するプレゼンテーション
    識別情報をユーザが手操作入力できるユーザ入力手段
    と、 上記音声信号情報、ビデオ信号情報およびプレゼンテー
    ション識別情報を、それぞれ音声データストリーム、一
    連の静止ビデオ・プレゼンテーション・イメージに対応
    するビデオ・データストリームおよびプレゼンテーショ
    ン識別データの形式の機械読み取り可能フォーマットに
    変換し、上記プレゼンテーション識別情報に含まれる実
    演プレゼンテーションの開始時点からの経過時間に対応
    するアドレスを有する一連の記憶位置の記憶により、上
    記音声データストリームおよび上記ビデオ・データスト
    リームをそれぞれアセンブルし、その際、上記静止ビデ
    オ・プレゼンテーション・イメージ間の移行部分に対応
    する上記ビデオ・データストリームの記憶を妨げる処理
    手段とを備え、 上記プレゼンテーション管理システムは、 プレゼンテーション・データベースと、 上記音声データストリーム、上記ビデオ・データストリ
    ームおよび上記プレゼンテーション識別データを受信す
    る手段と、 受信した上記音声およびビデオ・データストリームを一
    つのプレゼンテーション・オブジェクトに組立て該プレ
    ゼンテーション・オブジェクトを上記プレゼンテーショ
    ン識別データによりインデクスする手段と、 上記プレゼンテーション・データベース内に上記プレゼ
    ンテーション・オブジェクトを記憶する手段と、 上記プレゼンテーション識別データに含まれるインデク
    スデータを含む検索要求に応じて上記プレゼンテーショ
    ン・データベースから上記プレゼンテーション・オブジ
    ェクトを取り出す手段とを備え、 上記プレゼンテーション・プレイバックシステムは、 上記プレゼンテーション管理システムに接続してインデ
    クスデータを含む検索要求を与える照会手段と、 上記検索要求に対するプレゼンテーション管理システム
    の応答を含む検索結果を表示する出力インターフェース
    手段と、 上記検索結果から一つのプレゼンテーション・オブジェ
    クトを選択するための応答要求手段と、 選択されたプレゼンテーション・オブジェクトから音声
    情報を出力する音声出力手段と、 上記選択されたプレゼンテーション・オブジェクトに応
    じてビデオ情報を出力するビデオ出力手段と、 を具備する自動化システム。
  2. 【請求項２】直接アクセス記憶装置を有する記憶システ
    ムを含むコンピュータシステムにおいて、一連のビュー
    グラフ画像およびそれに関連する音声ナレーションを含
    むプレゼンテーションの獲得、管理およびプレイバック
    のための下記段階を含む自動化方法であって、 プレゼンテーション日、時および場所を含む、プレゼン
    テーションを識別する、ユーザにより発生される情報を
    記憶する段階と、 上記プレゼンテーションの音声ナレーション部分を表わ
    すデータを発生し、そのデータをプレゼンテーションス
    タート時点からの経過時間にもとづき記憶する段階と、 上記プレゼンテーションの複数のビデオ画像を記憶し、
    各ビューグラフについて上記ビデオデータ内に１つのビ
    デオ画像のみが残るようにビューグラフの変化を表わす
    ビデオ画像を選択的に捨て、そして上記プレゼンテーシ
    ョンスタート時点からの経過時間にもとづき上記ビデオ
    データを記憶する段階と、 上記ユーザ発生の情報、上記音声データおよび上記ビデ
    オデータを一つのプレゼンテーションデータセットに組
    合せる段階と、 上記プレゼンテーションデータセットに含まれる上記ビ
    デオデータ内でテキスト文字情報を光学的に認識し、そ
    の情報をテキスト文字データ表現に変換しそしてそのテ
    キスト文字データ表現を上記プレゼンテーションセット
    に付加する段階と、 上記プレゼンテーションデータセットをデータベースに
    プレゼンテーションデータオブジェクトとして記憶し、
    そして上記識別データおよび文字表現データにより上記
    プレゼンテーションデータオブジェクトをインデクスす
    る段階と、 ユーザの検索要求に応じて上記データベースをテキスト
    文字情報を含むキーワードを用いて検索し、そして上記
    キーワードに応じて、上記データベース内のプレゼンテ
    ーションデータオブジェクトの識別を含む検索結果を発
    生する段階と、 上記検索結果からプレゼンテーションデータオブジェク
    トを選択する段階と、 上記音声データに応じて音声情報を出力しそして上記ビ
    デオデータに応じてビデオ情報を出力することにより上
    記プレゼンテーションデータオブジェクトに含まれる上
    記プレゼンテーションセット内のデータを再生する段階
    と、を含む自動化方法。
JP5055984A 1992-04-27 1993-03-16 プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法 Expired - Fee Related JP2892901B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US874441 1978-02-02
US87444192A 1992-04-27 1992-04-27

Publications (2)

Publication Number Publication Date
JPH0695629A JPH0695629A (ja) 1994-04-08
JP2892901B2 true JP2892901B2 (ja) 1999-05-17

Family

ID=25363780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5055984A Expired - Fee Related JP2892901B2 (ja) 1992-04-27 1993-03-16 プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法

Country Status (2)

Country Link
US (1) US5550966A (ja)
JP (1) JP2892901B2 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838967A (en) * 1992-04-23 1998-11-17 Teac Corporation Image filing apparatus and method for storing image data and directory information
JP3334211B2 (ja) * 1993-02-10 2002-10-15 株式会社日立製作所 ディスプレイ
US6594688B2 (en) 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US7185054B1 (en) 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
US5689641A (en) 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5794249A (en) * 1995-12-21 1998-08-11 Hewlett-Packard Company Audio/video retrieval system that uses keyword indexing of digital recordings to display a list of the recorded text files, keywords and time stamps associated with the system
US5805118A (en) * 1995-12-22 1998-09-08 Research Foundation Of The State Of New York Display protocol specification with session configuration and multiple monitors
JPH09233458A (ja) * 1996-02-28 1997-09-05 Toshiba Corp 画像選択方法および画像選択装置
US6898620B1 (en) 1996-06-07 2005-05-24 Collaboration Properties, Inc. Multiplexing video and control signals onto UTP
US5870739A (en) * 1996-09-20 1999-02-09 Novell, Inc. Hybrid query apparatus and method
US6026409A (en) * 1996-09-26 2000-02-15 Blumenthal; Joshua O. System and method for search and retrieval of digital information by making and scaled viewing
US5905988A (en) * 1996-11-13 1999-05-18 Imaginon Method and apparatus for database transformation and adaptive playback
US6058435A (en) * 1997-02-04 2000-05-02 Siemens Information And Communications Networks, Inc. Apparatus and methods for responding to multimedia communications based on content analysis
JP3011157B2 (ja) * 1997-10-30 2000-02-21 日本電気株式会社 画像読取方法及び装置
US7689898B2 (en) 1998-05-07 2010-03-30 Astute Technology, Llc Enhanced capture, management and distribution of live presentations
US6802041B1 (en) 1999-01-20 2004-10-05 Perfectnotes Corporation Multimedia word processor
US6684186B2 (en) 1999-01-26 2004-01-27 International Business Machines Corporation Speaker recognition using a hierarchical speaker model tree
US7010533B1 (en) * 1999-02-15 2006-03-07 Matsushita Electric Industrial Co., Ltd. E-mail preparation device, terminal device, information forwarding system, and program recording medium
US6425525B1 (en) * 1999-03-19 2002-07-30 Accenture Llp System and method for inputting, retrieving, organizing and analyzing data
US6434520B1 (en) 1999-04-16 2002-08-13 International Business Machines Corporation System and method for indexing and querying audio archives
US6636238B1 (en) 1999-04-20 2003-10-21 International Business Machines Corporation System and method for linking an audio stream with accompanying text material
US6763377B1 (en) 2000-03-03 2004-07-13 International Business Machines Corporation Asset management and scheduling graphical user interface for media streamer
US6963910B1 (en) 2000-03-03 2005-11-08 International Business Machines Corporation Graphical user interface for creating assets
US7117259B1 (en) 2000-03-03 2006-10-03 International Business Machines Corporation Server time window for multiple selectable servers in a graphical user interface
US6813745B1 (en) 2000-04-28 2004-11-02 D4 Media, Inc. Media system
US6792573B1 (en) 2000-04-28 2004-09-14 Jefferson D. Duncombe Method for playing media based upon user feedback
US20080120345A1 (en) * 2000-04-28 2008-05-22 Duncombe Jefferson D Media distribution system and method for generating media presentations customized with real-time feedback from a user
US20070239785A1 (en) * 2000-04-28 2007-10-11 Duncombe Jefferson D Media distribution system for distributing media that includes media personalities
US6430582B1 (en) 2000-04-28 2002-08-06 D4 Media, Inc. Goal seeking engine and method for generating custom media presentations
GB0029880D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
US7046914B2 (en) 2001-05-01 2006-05-16 Koninklijke Philips Electronics N.V. Automatic content analysis and representation of multimedia presentations
US20030207245A1 (en) * 2001-05-23 2003-11-06 Parker Alexander F. Method and system for providing online distance learning
JP2002358761A (ja) * 2001-05-31 2002-12-13 Toshiba Corp 情報処理装置、記録管理情報制御方法とその制御プログラム及び情報処理ネットワークシステム
US6970712B1 (en) * 2001-12-13 2005-11-29 At&T Corp Real time replay service for communications network
GB2388930A (en) * 2002-05-23 2003-11-26 Appliance Studio Ltd Resource reservation and media capture apparatus
US7260257B2 (en) 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US6886925B2 (en) * 2003-01-06 2005-05-03 Industrial Technology Research Institute Porous back-shooting inkjet print head module and method for manufacturing the same
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
US7383344B2 (en) * 2003-02-14 2008-06-03 Microsoft Corporation Remote encoder system and method for capturing the live presentation of video multiplexed with images
US20040199875A1 (en) * 2003-04-03 2004-10-07 Samson Jason Kyle Method for hosting analog written materials in a networkable digital library
US20060016890A1 (en) * 2004-07-21 2006-01-26 Alex Chou Automatic planar image capture device
US20060082662A1 (en) * 2004-10-15 2006-04-20 Brian Isaacson System and process for digitizing and tracking audio, video and text information
US20060265374A1 (en) * 2005-05-19 2006-11-23 Smith Thomas W Multipurpose database
US7378540B2 (en) * 2005-10-21 2008-05-27 Catalytic Distillation Technologies Process for producing organic carbonates
US8171412B2 (en) * 2006-06-01 2012-05-01 International Business Machines Corporation Context sensitive text recognition and marking from speech
US7929764B2 (en) * 2007-06-15 2011-04-19 Microsoft Corporation Identifying character information in media content
US8605863B1 (en) * 2008-03-18 2013-12-10 Avaya Inc. Method and apparatus for providing state indication on a telephone call
US9363214B2 (en) * 2012-11-29 2016-06-07 Ricoh Company, Ltd. Network appliance architecture for unified communication services

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4025722A (en) * 1976-03-10 1977-05-24 Leo Karron Method and apparatus for recording
JPS5776663A (en) * 1980-10-31 1982-05-13 Toshiba Corp Storage and retrieval device for picture information
US4939594A (en) * 1982-12-22 1990-07-03 Lex Computer And Management Corporation Method and apparatus for improved storage addressing of video source material
US4979050A (en) * 1983-12-02 1990-12-18 Lex Computer And Management Corporation Video composition method for assembling video segments
US4553206A (en) * 1983-10-03 1985-11-12 Wang Laboratories, Inc. Image storage and retrieval
JPS60116072A (ja) * 1983-11-29 1985-06-22 N K B:Kk 情報提供システム
US4641253A (en) * 1984-06-06 1987-02-03 Maximus, Inc. Process for synchronizing computer video with independent audio
JPS61235981A (ja) * 1985-04-12 1986-10-21 Toshiba Corp プレゼンテ−シヨン装置
US4805134A (en) * 1986-01-09 1989-02-14 International Business Machines Corporation Electronic system for accessing graphical and textual information
US4893256A (en) * 1986-04-04 1990-01-09 International Business Machines Corporation Interactive video composition and presentation systems
US4958297A (en) * 1986-07-17 1990-09-18 Honeywell Inc. Apparatus for interfacing video information and computer-generated graphics on a visual display terminal
US4951155A (en) * 1987-11-23 1990-08-21 Stokes Imaging Services Apparatus and method for synchronizing videodisc images with audio signals
US4924387A (en) * 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US4905094A (en) * 1988-06-30 1990-02-27 Telaction Corporation System for audio/video presentation
US4924303A (en) * 1988-09-06 1990-05-08 Kenneth Dunlop Method and apparatus for providing interactive retrieval of TV still frame images and audio segments
US5274758A (en) * 1989-06-16 1993-12-28 International Business Machines Computer-based, audio/visual creation and presentation system and method
JPH03123387A (ja) * 1989-10-06 1991-05-27 Mitsubishi Electric Corp プレゼンテーション装置
JPH03273363A (ja) * 1990-03-22 1991-12-04 Nec Corp 動画像の内容一覧表示方式
JPH03276260A (ja) * 1990-03-24 1991-12-06 Ricoh Co Ltd 文字コードのタイトル処理機能を備えた電子フアイリング装置
US5237648A (en) * 1990-06-08 1993-08-17 Apple Computer, Inc. Apparatus and method for editing a video recording by selecting and displaying video clips
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface

Also Published As

Publication number Publication date
US5550966A (en) 1996-08-27
JPH0695629A (ja) 1994-04-08

Similar Documents

Publication Publication Date Title
JP2892901B2 (ja) プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法
US7616840B2 (en) Techniques for using an image for the retrieval of television program information
US6789228B1 (en) Method and system for the storage and retrieval of web-based education materials
US5136655A (en) Method and apparatus for indexing and retrieving audio-video data
US6549913B1 (en) Method for compiling an image database, an image database system, and an image data storage medium
US9837077B2 (en) Enhanced capture, management and distribution of live presentations
US6499016B1 (en) Automatically storing and presenting digital images using a speech-based command language
JP5353148B2 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
EP1467288B1 (en) Translation of slides in a multimedia presentation file
US6049806A (en) Computer system for managing a plurality of data types
US7243101B2 (en) Program, image managing apparatus and image managing method
US8930308B1 (en) Methods and systems of associating metadata with media
JP3895892B2 (ja) マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
US20050228665A1 (en) Metadata preparing device, preparing method therefor and retrieving device
JP2010073114A6 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
US20060036441A1 (en) Data-managing apparatus and method
JP2002010178A (ja) 画像管理システム及び画像管理方法、並びに、記憶媒体
JPH11175533A (ja) 画像検索装置
CN111522992A (zh) 题目入库方法、装置、设备及存储介质
JP3166725B2 (ja) 情報記録装置および情報記録方法、並びに記録媒体
US7444068B2 (en) System and method of manual indexing of image data
BE1023431B1 (nl) Automatische identificatie en verwerking van audiovisuele media
JP2002288178A (ja) マルチメディア情報収集管理装置およびプログラム
JPH0773196A (ja) 図書検索システム
GB2349764A (en) 2-D Moving image database

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees