JP4360905B2

JP4360905B2 - リアルタイムスライドプレゼンテーションのマルチメディアデータオブジェクト、ならびにマルチメディアデータオブジェクトを記録し閲覧するシステムおよび方法

Info

Publication number: JP4360905B2
Application number: JP2003527638A
Authority: JP
Inventors: リン，イ−ジョン; サマダニ，ラミン
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-09-13
Filing date: 2002-09-13
Publication date: 2009-11-11
Anticipated expiration: 2022-09-13
Also published as: WO2003023657A3; US20040205478A1; WO2003023657A2; JP2005533398A; EP1433088A2; US7356763B2

Description

［発明の分野］
本発明は、コンピュータ制御可能な表示システムに関し、特に、本開示は、リアルタイムスライドプレゼンテーションを表現するマルチメディアデータオブジェクト、マルチメディアデータオブジェクトを記録するためのシステム、ならびに閲覧可能なマルチメディアデータオブジェクトをプレゼンターのインタラクションイベント単位で作成するシステムおよび方法を提供する。

［発明の背景］
コンピュータ制御による投影システムとしては、一般に、スライドプレゼンテーションの形で画像データを生成するコンピュータシステム、および画像データを投影スクリーン上に投影するプロジェクタが挙げられる。通常、コンピュータ制御による投影システムは、２人以上の閲覧者がプレゼンテーションを容易に見ることができるように、プレゼンターがコンピュータシステムを使用して作成したプレゼンテーションをより大きなスクリーン上に投影できるようにするために使用される。多くの場合、プレゼンターは、投影された画像上の注目すべき領域を自身の指、レーザポインタ、または他の何らかのポインティングデバイスまたは器具で指し示すことによって、投影された画像と対話（相互作用）する。

ある個人がスライドプレゼンテーションに個人的に出席できず、見ることができない場合、その個人が代わりに、プレゼンテーション時に示されたスライドのデジタルコピーを取得して、各自のパーソナルコンピュータシステム上で後に閲覧できることが一般的である。このようにして、少なくとも、スライド内の情報を得ることが可能である。しかし、スライドを後に見ることには、スライドが、各スライドについての言葉での注釈ならびに各スライドとのプレゼンターのインタラクション等、プレゼンテーション中にプレゼンターによって加えられた追加情報を含まないという点で不足がある。さらに、言葉での各注釈と、対応するプレゼンターの各スライドとのインタラクションとの間の同期もまた、後に閲覧する際には失われる。たとえば、プレゼンテーション中、話者はスライド内の関心のある領域を指し示しながら、同時にスライド内の特定領域に関連する言葉での注釈を提供するといったことがしばしばある。この種の情報は、単純に閲覧者に後で閲覧するスライドセットが提供されるだけの場合は失われてしまう。

上記問題を克服する１つの方法は、閲覧者が、スライドの閲覧と同時に、プレゼンテーションのビデオテープを再生し、プレゼンターのスライドとのインタラクションを見るとともに、そのスライドに対するプレゼンターの音声での説明を聞くことができるように、プレゼンテーションをビデオテープに記録するというものである。しかし、ビデオテープに記録されたプレゼンテーションには、いくつかの欠点がある。第１に、ビデオテープに記録されたプレゼンテーションでは、比較的大量の記憶領域が使用され、また、伝送および／またはダウンロードに比較的大量の帯域が必要になる。このため、記憶領域または帯域が限られている状況では、ビデオテープに記録されたプレゼンテーションを取得して閲覧することは、困難であるか、あるいは不可能でありうる。第２に、ビデオテープに記録されたプレゼンテーションがスライドプレゼンテーションの所望の要素（すなわち、スライド、プレゼンターのスライドとのインタラクション、およびプレゼンターの音声）をすべて取り込んでいる場合であっても、ビデオテープに記録されたスライドは、潜在的に、ビデオ記録装置の解像度制約により、またはプレゼンテーションが適切に記録されていないことにより、クリアでないか、または読み取り不可能である恐れがある。たとえば、ビデオテープ記録中、プレゼンターが不用意に、ビデオカメラとスライドとの間の見通し線を遮ってしまい、それによってスライドがビデオテープ記録されたプレゼンテーション内で見えないか、またはクリアでなくなるといった場合がある。別の欠点は、スライドプレゼンテーションをビデオテープに記録するのに不都合がある場合があることである。加えて、この技法では、ビデオ機器の操作に人員を追加する必要がある。最後に、プレゼンテーションを専門職のようにビデオテープ記録するには、高価な、または専用の制作機器が必要である。

プレゼンテーションをビデオテープに記録することに対する代替は、プレゼンテーション中のプレゼンターの音声を単純に録音するというものである。既知の一技法では、スライドが再生されるときに、関連する音声も再生されるように、音声の部分に特定のスライドが関連付けられる。残念なことに、この方策には、閲覧者に、追加情報を付加しうるプレゼンターのスライドプレゼンテーションとのインタラクションを提供しないという点で不足がある。

したがって、必要とされるのは、スライドによって付与される情報、プレゼンターのスライドとの物理的なインタラクション、およびプレゼンターの音声寄与部分を同期して組み込み、それによってリアルタイムプレゼンテーションの再生可能な一貫した記録を生成する、リアルタイムスライドプレゼンテーションの記録を提供する手段である。

［発明の概要］
マルチメディアデータオブジェクトは、コンピュータ制御によるリアルタイムスライドプレゼンテーション、およびコンピュータ制御可能な表示領域に表示されたスライドとのプレゼンターのインタラクションを前もって取り込んだ記録を表現する、複数の同期化されオーバーレイされた再生可能なビットストリームを有するデータストリームを含む。ビットストリームは、スライドプレゼンテーションの複数のスライドそれぞれに対応する第１のビットストリームと、プレゼンテーション中の各スライド内の関心のあるポイントとのプレゼンターの各インタラクションのシンボリック表現に対応する第２のビットストリームと、プレゼンテーション中のプレゼンターの音声部分に対応する第３のビットストリームと、を少なくとも含む。複数の同期化されオーバーレイされたビットストリームは、各スライドが再生されている間に、プレゼンターのインタラクションのシンボリック表現がスライド上にオーバーレイされ、スライドに対応する音声が再生されるように、コンピュータシステムを使用して再生することが可能である。１実施形態では、マルチメディアデータオブジェクトは、取り込まれたリアルタイムプレゼンテーションのビデオクリップに対応する第４のビットストリームをさらに含む。

別の実施形態では、シンボリックインタラクションイベントビットストリームは、インタラクションイベント単位で複数のビットストリームの中の別のビットストリームにリンクされる。シンボリックプレゼンターインタラクションイベントの位置が、マルチメディアデータオブジェクトの再生スライド内で選択されると、リアルタイムプレゼンテーション中にインタラクションイベントと同時に取り込まれた他のビットストリームの一部も再生される。ビットストリームは、リアルタイムスライドプレゼンテーションを取り込み、記録するときに、表示スライド内の関心ポイントとのプレゼンターインタラクションの検出に応答してリンクされる。１実施形態では、他のビットストリームは取り込まれたプレゼンテーションの音声部分に対応する。別の実施形態では、他のビットストリームは、取り込まれたリアルタイムプレゼンテーションの複数のビデオクリップに対応し、ビデオクリップは、リアルタイムスライドプレゼンテーション中のプレゼンターインタラクションの検出に応答して取り込まれる。

本発明は、複数の再生可能なオーバレイビットストリームを有する閲覧可能なマルチメディアデータオブジェクトを作成する方法をさらに含む。この方法は、リアルタイムスライドプレゼンテーションを取り込んで画像信号および音声信号を取得することを含む。マルチメディアデータオブジェクトの所与のビットストリーム内の位置が、マルチメディアデータオブジェクトを取り込み記録している間にトラッキングされる。スライド内の関心領域とのプレゼンターインタラクションが、マルチメディアデータオブジェクトを取り込み記録している間に検出され、インタラクションが検出された場合、インタラクションイベントと同時に取り込まれた所与のビットストリーム内の位置に、そのインタラクションイベントがリンクされる。１実施形態では、インタラクションイベントは、そのインタラクションイベントのときに取り込まれた音声ビットストリーム内の位置にリンクされる。マルチメディアデータオブジェクトが複数のビデオクリップに対応するビットストリームを含む別の実施形態では、インタラクションイベントはビデオクリップにリンクされる。

閲覧可能なマルチメディアデータオブジェクトを作成するシステムは、リアルタイムスライドプレゼンテーションを取り込み、プレゼンテーションに対応する画像信号および音声信号を取得する手段と、少なくとも、表示スライド内のプレゼンターインタラクションのシンボリック表現に対応するビットストリームを含む複数のビットストリームを含むマルチメディアデータオブジェクトを記録する手段と、を備える。第１の手段は、マルチメディアデータオブジェクトのプレゼンターインタラクションビットストリーム以外のビットストリーム内の位置をトラッキングするように機能する。このシステムは、スライド内の関心領域との各プレゼンターインタラクションを検出する第２の手段をさらに備え、検出されたプレゼンターインタラクションは、マルチメディアデータオブジェクトのシンボリックインタラクションビットストリーム内に対応するシンボリックインタラクションイベントを有する。第３の手段は、各シンボリックインタラクションイベントを、シンボリックインタラクションイベントのときに、トラッキングされたビットストリーム内で発生する対応するトラッキング位置にリンクする。１実施形態では、インタラクションイベントは、インタラクションイベントのときに取り込まれた音声ビットストリーム内の対応するトラッキング位置にリンクされる。さらに別の実施形態では、インタラクションイベントは、インタラクションイベントのときに取り込まれたビデオクリップビットストリーム内の対応するトラッキング位置にリンクされる。

［発明の詳細な説明］
図１Ａは、リアルタイムでコンピュータ制御式のスライドプレゼンテーションを取り込み、プレゼンテーションを表現するマルチメディアデータオブジェクトを生成するシステムの一例を示す。表示領域１０は、プレゼンター１０Ａが表示領域の前にいてスライドを提示する間に複数のスライド（図示せず）を表示する。この例では、プロジェクタ１１でスライドを表示する。プロジェクタは、ラップトップコンピュータ１２によって提供される、スライドを表す画像信号１１Ａによって駆動される。コンピュータ制御可能なスライドプレゼンテーションを表示する他の装置も当該技術分野において既知であることを理解されたい。各スライドが順次示されるにつれ、プレゼンター１０Ａは、スライド内の関心のあるポイントを指し示しながら、その内容について説明する言葉での注釈を付加する。たとえば、プレゼンターは、スライド内の黒丸を指し示し、それから黒丸の隣にあるテキストについて言葉での説明を付加するといったことがある。プレゼンターがスライド内の関心のあるポイントを指し示す行動（アクション）を、本明細書ではプレゼンターインタラクションと呼ぶ。

リアルタイムスライドプレゼンテーション中、マルチメディアデータオブジェクトユニット１５は、シンボルを、プレゼンターがリアルタイムスライドプレゼンテーション中に対話するスライド内の関心のあるポイントに表示させるように機能することができる。具体的には、本明細書において以下述べるように、マルチメディアデータオブジェクトユニット１５は、１）画像取り込み装置の取り込み領域（または捕捉領域。以下同じ）内の表示領域の位置を特定することができるように較正され、２）プレゼンターおよび／または細長いポインティング器具を含む表示領域の前にあるオブジェクトを特定し見つけることができ、３）細長いポインティング器具の先端などのような表示領域の前にあるオブジェクトの関心のあるポイントを見つけることができる。そのため、ユニット１５は、表示されているスライドに対応する画像信号１１Ａ内の対応する関心のあるポイントを見つけ、リアルタイムスライドプレゼンテーション中の関心のあるポイントとのプレゼンターのインタラクションを表現するデジタルシンボルを挿入することができる。たとえば、プレゼンター１０Ａは、画像取り込み装置の見通し線と表示されているスライドとの間にある表示領域１０（図１Ｂ）内の関心のあるポイント１０Ｂを物理的に指し示すことができ、選択されたシンボル（１０Ｃ）がスライド内のそのポイントに表示されることになる（図１Ｃ）。本明細書では、この所定のシンボルをプレゼンターインタラクションのシンボリック表現と呼ぶことにする。

マルチメディアデータオブジェクト
マルチメディアデータオブジェクトユニット１５は、画像取り込み装置１３および音声信号取り込み装置１４によって取り込まれたリアルタイムスライドプレゼンテーションを表現する複数の同期化されオーバーレイされた再生可能なビットストリーム１５Ａ（図１）を含むマルチメディアデータオブジェクトを生成するように機能する。図２を参照すると、１実施形態では、ビットストリームは、コンピューティングシステム１２によって提供されるプレゼンテーションの各スライドを表現するコンピュータ生成画像データに対応する第１のビットストリーム、各スライドとのプレゼンターのインタラクションの複数のシンボリック表現に対応する第２のビットストリーム、および音声信号取り込み装置１４によって提供されるプレゼンターの音声信号１４Ａに対応する第３のビットストリームを含む。

複数のビットストリーム１５Ａが、コンピュータ制御可能な表示スクリーンおよび音声装置（すなわち、オーディオスピーカ）を使用することによって再生されると、表示領域に、第２のビットストリームに対応するプレゼンターのインタラクションのシンボリック表現が同期してオーバーレイされた第１のビットストリームに従って、各スライドの画像が表示され、その間に音声装置が第３の音声ビットストリームを同期して再生する。たとえば、図１Ｄは、図１Ｃに示す、取り込まれたリアルタイムスライドプレゼンテーションの画像に対応する再生スライドを示す。図１Ｄに示すように、スライドの画像は、スライドの画像（すなわち、「レッスン１」）および、ビットストリーム１及び２にしたがって再生された、プレゼンターのインタラクションのシンボリック表現１０Ｃのオーバーレイされた画像（すなわち、笑っている顔）を含む。プレゼンターのビデオ画像は図示されていないが、プレゼンターのスライドとのインタラクションはやはり、低ビットフォーマットで再生スライド内に表されていることに留意されたい。

マルチメディアデータオブジェクトはさらなるビットストリームを含みうることに留意されたい。たとえば、さらなる音声および／またはビデオビットストリームを上記ビットストリームにオーバーレイして、リアルタイムスライドプレゼンテーション表現をさらに向上させることが可能である。

オーバーレイされた再生可能なビットストリームの同期化を図３に示す。ビットストリームは、ビットストリーム１内の任意の所与のスライドの表示開始時に、ビットストリーム２内の所与のスライドとのプレゼンターのインタラクションの対応するシンボリック表現が同期して表示され、ビットストリーム３内の対応する音声トラックが再生されるように再生することが可能である。たとえば、ｔ_０において、スライド１が表示され、スライド１に関連する音声トラックである音声１が再生され始める。ｔ_０１において、第１のシンボリック表現イベントが発生し、これにより、プレゼンターのインタラクションの第１のシンボリック表現がスライド画像内に表示／オーバーレイされる。スライド１は、第２のシンボリック表現イベントが発生して、第２のシンボリック表現が表示されるｔ_０２まで音声トラックと同じように引き続き再生される。

図４は、コンピューティングシステム１２によって提供されるスライドプレゼンテーション中の各スライドを表すコンピュータ生成画像データに対応する第１のビットストリーム、各スライドとのプレゼンターインタラクションのシンボリック表現に対応する第２のビットストリーム、プレゼンターの音声信号１４Ａに対応する第３のビットストリーム、およびプレゼンターインタラクションイベントに応じて取り込まれた複数のビデオクリップに対応する第４のビットストリームを含むマルチメディアデータオブジェクト１５Ａの第２の実施形態を示す。

図５は、図４に示すビットストリームの同期化を示す。図２に示す実施形態のように、マルチメディアデータオブジェクトがコンピュータ制御可能な表示スクリーンおよび音声装置を使用して再生されると、音声装置が同期化された第３の音声ビットストリームを再生している間、第２のビットストリームに対応するプレゼンターのインタラクションのシンボリック表現が同期してオーバーレイされた第１のビットストリームに従って各スライドが表示領域に再生される。加えて、各スライド内でのプレゼンターインタラクションの発生に応じて、たとえば、表示スクリーンの一部にビデオクリップを再生することができる。たとえば、１実施形態では、プレゼンターインタラクションのシンボリック表現が時間ｔ_０１にスライド１内で再生されると（図５）、そのプレゼンターインタラクションに関連するビデオクリップＶ_１が表示スクリーンの隅に再生される。ビットストリーム４はプレゼンテーションの連続したビデオ記録を必ずしも含まないことに留意されたい。したがって、図５に示す例では、ビデオクリップＶ_１が再生されると、次のプレゼンターインタラクションイベントが時間ｔ_０２において発生するまで、ビデオ画像は再生されない。言い換えれば、ビデオクリップは、プレゼンターインタラクションイベントに応じて取り込まれる。１実施形態では、閲覧者は、ユーザ／ブラウザインタフェース上のオプション（選択肢）を選択することによってビデオクリップの閲覧を禁止することができる。このようにしてプレゼンテーションのビデオクリップを記録することの利点は、閲覧者が、すべてのプレゼンテーションをビデオに記録することを回避しながら、関心のある（すなわち、興味のある）何かを行っている可能性が最も高いときに、リアルタイムプレゼンテーション内の特定の時点におけるプレゼンターをビデオに記録したものを見ることができることである。その結果、マルチメディアデータオブジェクトのサイズが最小化される。したがって、閲覧者は、最小量の帯域消費で、マルチメディアデータオブジェクトから大半の情報を得ることが可能である。

図２および図４に示すマルチメディアデータオブジェクトの利点は、一応用形態では、それらが、１）コンテンツが豊富なマルチメディアデータオブジェクトとしてのスライドプレゼンテーションを容易に生成できるようにし、また２）ビットレートの極めて低いスライドプレゼンテーションの新しい表現を可能にすることにより、インターネットに対しての新しいコンテンツパイプライン（新しいコンテンツの供給ルート）を表現することである。マルチメディアデータオブジェクトは、スライドプレゼンテーションの関連コンテンツをいずれも失うことなく画像および音声がクロスリンクし同期したドキュメントとしてのそのコンパクトなスライドプレゼンテーション表現により、低ビットレートネットワークを介しての遠隔教育への応用を可能にする。さらに、マルチメディアデータオブジェクトは、これもまた容易な閲覧に適合された元々圧縮された形態を有している。

本発明によれば、マルチメディアデータオブジェクトは、まず１）リアルタイムスライドプレゼンテーション中に、画像取り込み装置１３を使用して、スライドを表示する表示領域１０（図１Ａ）の画像、および表示領域１０内の各スライドとのプレゼンターのインタラクション（対話または相互作用。以下同じ）を取り込み、２）音声信号取り込み装置１４を用いてプレゼンターのスピーチを取り込むことによって記録される。画像取り込み装置１３および音声信号記録装置１４は、捕捉した画像信号１３Ａおよび捕捉した音声信号１４Ａそれぞれを、コンピューティングシステム１２に、より具体的にはマルチメディアデータオブジェクトユニット１５に提供する。

マルチメディアデータオブジェクトユニット
図６は、図２および図４に示す複数のビットストリーム１５Ａを生成するマルチメディアデータオブジェクトユニット１５の１実施形態を示す。ユニット１５は、リアルタイムスライドプレゼンテーション前に、較正画像６０Ａを使用して画像取り込み装置のビューエリア内に表示エリアを配置し（または表示エリアを突きとめ）、および、少なくとも、表示エリア１０内に表示される画像に対応する信号１１Ａと画像取り込み装置のビューエリア内に取り込まれる画像に対応する信号１３Ａとの間の座標変換を生成するよう機能する較正手段（ブロック６０）を備える。１実施形態では、較正ブロック６０は、表示エリア内に表示される色と、画像取り込み装置によって取り込まれる色の間で変換するピクセル値変換も含む。１実施形態では、ブロック６０は、２００１年１月３０日に出願され、本願と同じ譲受人に譲渡された「A Method for Robust Determination of Visible Points of a Controllable Display within a Camera View」という名称の米国特許出願第０９／７７４４５２号に記載されているシステムおよび方法に従って実施される。しかし、クロマキー（chroma-keying）表示装置を使用する方法等、画像取り込み装置の取り込みエリア内に表示エリアを配置する（または突きとめる）他の方法も既知であることに留意されたい。この装置は、ブルーバック処理（blue screening）等で行われるように表示画面を特定の色に設定し、その特定の色を有する取り込みエリア内で取り込まれた画像はいずれも表示エリアであると想定して画面を検出する。

マルチメディアデータオブジェクトユニット１５は、表示エリア１０の前景内にあるオブジェクト、たとえば、プレゼンターおよび／またはポインタに対応する画像データを分離する手段（ブロック６１）をさらに備える。より具体的には、画像データを分離する手段は、取り込み装置１３の視線と表示エリア１０の間にあるオブジェクトを識別し、そのオブジェクトに対応する画像データ６１Ａを取り込まれた画像信号１３Ａから抽出するように機能する。画像データの分離を可能にするために、較正ユニット６０は、座標変換情報を提供して交点６０Ｂ上の取り込みエリア内の表示エリアを識別する。１実施形態では、ブロック６１は、２００１年１月３１日に出願され、本願と同じ譲受人に譲渡された「A System and Method For Robust Foreground And Background Image Data Separation For Location Of Objects In Front Of A Controllable Display Within A Camera View」という名称の米国特許出願第０９／７７５０３２号に記載されているシステムおよび方法に従って実施される。しかし、動き検出およびオブジェクトトラッキング等、表示エリア前に配置されたオブジェクトを識別する他の方法も既知であることに留意されたい。

マルチメディアデータオブジェクトユニット１５は、プレゼンターの指、または木製のポインティングスティック等の任意の細長いポインティングオブジェクトを使用してプレゼンターが指し示す、本明細書では関心ポイントと呼ばれるスライド内の位置１０Ｂ（図１Ｂ）を識別する手段をさらに備える。より具体的には、ブロック６２は、プレゼンターが所与のスライド内で対話した大まかな位置に対応する、分離された画像データ６１Ａ内のデータ６２Ａを識別する。１実施形態では、ブロック６２は、２００１年１月３１日に出願され、本願と同じ譲受人に譲渡された「System and Method for Extracting a Point of Interest of an Object in Front of a Computer Controllable Display Captured by an Imaging Device」という名称の米国特許出願第０９／７７５３９４号に記載されているシステムおよび方法に従って実施される。しかし、３Ｄマウス、オブジェクトトラッキング、および特定所作（特定のジェスチャー）認識等、表示エリア前に配置されたオブジェクトを識別する他の方法も既知であることに留意されたい。

次に、特定された各関心ポイント６２Ａに、シンボリック表現ビットストリームを生成する手段（ブロック６３）によってシンボルが関連付けられる。具体的には、画像データ６２Ａ内の関心のあるポイントに対応する各位置に、ブロック６３によってシンボルが挿入されて、各プレゼンターインタラクションのシンボリック表現に対応するビットストリーム６３Ａが生成される。挿入されるシンボルの種類は、リアルタイムプレゼンテーション前にプレゼンターが事前に選択することもでき、またはユニット１５が自動的に割り当てることもできる。ビットストリーム６３Ａは、シンボリック表現が図１Ｃに示すもの等、スライド内の現在の関心のあるポイントの位置に表示されるように、リアルタイムプレゼンテーション中にスライド画像データ１１Ａとともに表示装置１１に伝送されることに留意されたい。

１実施形態では、捕捉された画像データ１３Ａおよびスライド画像データ１１Ａに、音声信号１４Ａの持続期間に従って断続的にタイムスタンプが付与される（ブロック６４Ａ〜６４Ｃ）。次に、音声信号が、音声コーダ６５によってデジタル信号に変換され、デジタル音声信号６５Ａが生成される。

各プレゼンターインタラクションのシンボリック表現に対応するビットストリーム６３Ａ、スライド画像データに対応するビットストリーム１１Ａ、および音声信号に対応するビットストリーム６５Ａは、同期ブロック６６に結合され、ブロック６４Ａ〜６４Ｃにおいて生成されたタイムスタンプに従って同期される。具体的には、スライド画像データビットストリーム１１Ａおよびシンボリック表現ビットストリーム６３Ａは、録音された音声信号の持続期間に応じて、音声ビットストリーム６４Ａに同期される。同期ブロック６６が、タイムスタンプを使って音声信号にしたがってビットストリームに同期化することができるように、タイムスタンプは、ブロック６４Ａ〜６４Ｃによって、受け取られた各信号１３Ａ、１４Ａ、１１Ａ内に作成され、対応するビットストリーム６３Ａ、１１Ａ、および６５Ａそれぞれとともに保持される。これは、別個のシステムクロックが全ての信号の同期化に使用される一般的な同期化技法とは対照的である。システムクロックではなく音声ビットストリームに関して同期をとることの利点は、１）同期化のために別個のクロックを必要としない、２）音声信号がプレゼンテーションの持続期間の正確なタイミングを表す、３）システムクロックは、他のタスクに関与することになる場合があり、実際のプレゼンテーション接続時間を反映しない場合があるため、音声ビットストリームほどプレゼンテーションのタイミングツールとして正確ではないことである。そのため、音声信号持続期間に従った同期化は、より頑強なプレゼンテーションタイミングを提供する。

ビットストリームのリンクおよび閲覧
１実施形態では、閲覧インタフェース（またはブラウジングインターフェース）を使用してマルチメディアデータオブジェクトを閲覧可能にするために、ビットストリームがリンク（結合）されて、スライドプレゼンテーション内の個々のスライドの選択および閲覧が可能になり、これにより、所与のスライドが選択されたときに、その所与のスライドを画定するインターバル間のマルチメディアデータオブジェクトの各ビットストリームが再生されるようにする。したがって、マルチメディアデータオブジェクトは、スライド単位で閲覧することが可能である。

別の実施形態では、マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧可能にするためにビットストリームがリンクされる。特に、複数のビットストリームは、ユーザがマルチメディアデータオブジェクトを再生し、プレゼンターインタラクションのシンボリック表現の位置が、再生されたスライド内で選択されると、リアルタイムプレゼンテーション中にそのプレゼンターインタラクションが発生したと同時に取り込まれた別のビットストリームの一部も再生されるように、リンキング機構（図３および図５ではＬ_１およびＬ_２と表される）をさらに含む。たとえば、図３を参照すると、閲覧者が表示スライド１内のｔ_０１において発生した再表示スライド内のシンボリック表現に対応する位置を選択した場合、リンキング機構Ｌ_１により、ビットストリーム３の音声１も時間ｔ_０１に再生され始める。

別の実施形態では、シンボリックインタラクションビットストリームが、リアルタイムプレゼンテーション中に取り込まれた複数のビデオクリップを含むマルチメディアデータオブジェクトビデオクリップビットストリーム（図４）にリンクされる。ビデオクリップは、複数のビデオクリップのそれぞれに、リアルタイムプレゼンテーション取り込み中に発生したプレゼンターインタラクションが関連付けられるように、リアルタイムプレゼンテーション取り込み中にプレゼンターインタラクションの発生が検出されたことに応答して取り込まれる。この実施形態では、シンボリックインタラクションビットストリームは、スライドがマルチメディアデータオブジェクト内で再生され、シンボリックインタラクションイベントの位置がスライド内で選択されると、リアルタイムプレゼンテーション中にそのインタラクションイベントが発生したのと同時に取り込まれたビデオクリップも再生されるように、ビデオクリップビットストリームにリンクされる。たとえば、時間ｔ_０１に発生したプレゼンテーションインタラクションイベントは、プレゼンテーションインタラクションが再生されるときに、ビデオクリップが同期して再生されるように、リンキング機構Ｌ_２によってビデオクリップＶ１にリンクされる。各プレゼンテーションインタラクションイベントを、マルチメディアデータオブジェクトの複数のビットストリームの２つ以上にリンクさせることができることにさらに留意されたい。

リンク機構は、インタラクションイベントシンボルポインタを使用してテーブルにアクセスし、他のビットストリーム内のトラッキング位置へのポインタを得ることができるポインタのルックアップテーブルとして実現することができる。たとえば、リアルタイムプレゼンテーションの記録中、インタラクションイベントシンボルそれぞれにポインタを割り振ることができる。その後、記録を閲覧している間に、閲覧者はユーザインタフェース装置（たとえば、マウス）を使用してスライド内のインタラクションイベントシンボルを選択することができる。選択されると、ブラウザインタフェースアプリケーションがインタラクションイベントシンボルに関連するポインタを使用して、他のビットストリーム内のトラッキング位置への複数のポインタを格納しているルックアップテーブルにアクセスする。他のビットストリーム内のトラッキング位置へのポインタは、インタラクションイベントシンボルに対応して得られ、これを使用して、閲覧インタフェースアプリケーションに他のビットストリームをトラッキング位置から再生開始させる。複数のビットストリーム１５Ａの中の残りのビットストリームもまた、トラッキング位置から同期して再生される。ビットストリームをリンクする他の技法も、デジタル回路設計の分野において周知である。

図７は、マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧可能にするためにビットストリームがリンクされる、マルチメディアデータオブジェクトを生成するシステムの１実施形態を示す。このシステムによれば、リアルタイムスライドプレゼンテーションが、スライドプレゼンテーション捕捉手段（ブロック７０）によって取り込まれて、表示されたスライド、および表示されたスライドの前にいるプレゼンターに対応する画像信号７０Ａ、ならびにプレゼンターのスピーチに対応する音声信号７０Ｂが得られる。画像信号７０Ａは、リアルタイムスライドプレゼンテーションを表す複数のビットストリームを生成するように機能するマルチメディアデータオブジェクトレコーダ（ブロック７１）に結合される。ビットストリーム７１Ｂの１つは、ビットストリーム内の位置をトラッキングする（すなわち、追跡する）第１の手段（ブロック７２）に結合される。プレゼンターインタラクションのシンボリック表現に対応するビットストリーム７１Ａは、スライド内のプレゼンターインタラクションを検出する第２の手段（ブロック７３）に結合されて、プレゼンテーション中のプレゼンターインタラクションイベントの発生を検出する。ビットストリームトラッキング情報７２Ａおよびプレゼンターインタラクションイベント情報７３Ａは、検出された各プレゼンターインタラクションを音声ビットストリーム内の対応するトラッキング位置（追跡された位置）にリンクする第３の手段（ブロック７４）に結合される。１実施形態では、ビットストリームを、インタラクションイベントの発生がビットストリーム内の特定の時間にリンクされるように、カウンタを使用してトラッキングすることができる。代替として、ビットストリームの位置を、インタラクションイベントの発生が、そのビットストリームを格納しているデータファイル内の特定位置にリンクされるように、格納されているデータ量をトラッキングすることによってトラッキングすることができる。１実施形態では、イベントは、イベントビットストリームが再生され、インタラクションイベントが選択されたときに、そのイベントの位置を使用して、トラッキングされたビットストリーム内のトラッキング位置を格納しているルックアップテーブルが指し示され、ビットストリームをどこから再生し始めるかが決定されるように、ルックアップテーブルまたはインデックスを使用してビットストリーム内のトラッキング位置にリンクされる。１実施形態では、ブロック７２〜７４はマルチメディアデータオブジェクトレコーダ７１内で実現することができ、この場合、イベントの検出およびビットストリームのトラッキングは、マルチメディアデータオブジェクトを生成する間に行われることを理解されたい。

図８は、マルチメディアデータオブジェクトを記録し、マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧する方法を示す。まず、リアルタイムプレゼンテーションが取り込まれて、プレゼンテーションを表す画像信号および音声信号が得られる（ブロック８１）。複数のビットストリームを含むマルチメディアデータオブジェクトが生成され（ブロック８２）、ここで、ビットストリームのうちの少なくとも１つは、プレゼンターインタラクションのシンボリック表現に対応する。インタラクションビットストリーム以外の、複数のビットストリームのうちの１つの位置がトラッキングされる（ブロック８３）。さらに、インタラクションビットストリーム内のプレゼンターインタラクションが検出される（ブロック８４）。インタラクションの検出に応答して、他のビットストリーム内の対応するトラッキングされた位置が、検出されたインタラクションのシンボリック表現にリンクされる（ブロック８５）。マルチメディアデータオブジェクトを閲覧し、再表示されているスライド内の検出されたインタラクションのシンボリック表現の位置が選択されると（ブロック８６）、他のビットストリームが、音声ビットストリーム内のトラッキングされた位置で再生され始める。

上記説明において、本発明の完全な理解を提供するために、多くの特定の細部について述べた。しかし、こういった特定の細部は、本発明を実施するために採用する必要がないことが当業者に明らかであろう。他の場合では、本発明を不必要に曖昧にすることを避けるために、周知の技法については詳細に説明しなかった。

さらに、本発明の要素を特定の実施形態に関連して説明したが、様々な他の方法で本発明を実施することが可能である。したがって、例として図示し説明した特定の実施形態は限定することを意図したものではない。それらの実施形態の細部に対する参照は、本発明に必須なものとみなされる特徴のみを記載した特許請求の範囲を限定することを意図したものではない。

リアルタイムスライドプレゼンテーションを取り込み、プレゼンテーションを表現するマルチメディアデータオブジェクトを生成するシステムの一例を示す。表示されたスライドプレゼンテーションの表示領域内の関心のあるポイントとのプレゼンターのインタラクションを示す。図１Ｂに示す表示されたスライドプレゼンテーション内のプレゼンターのインタラクションのシンボリック表現の挿入を示す。図１Ｃに示す、以前に記録されたプレゼンターのインタラクションのシンボリック表現を含むマルチメディアデータオブジェクトの再生スライドを示す。複数のビットストリームを含むマルチメディアデータオブジェクトの第１の実施形態を示す。図２に示すマルチメディアデータオブジェクトの複数のビットストリームの同期化を示す。複数のビデオクリップに対応する複数のビットストリームを含むマルチメディアデータオブジェクトの第２の実施形態を示す。図４に示すマルチメディアデータオブジェクトの複数のビットストリームの同期化を示す。マルチメディアデータオブジェクトユニットの１実施形態を示す。マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧可能にするためにビットストリームがリンクされた、閲覧可能なマルチメディアデータオブジェクトを作成するシステムの第１の実施形態を示す。本発明によるマルチメディアデータオブジェクトを作成し閲覧する方法の第１の実施形態を示す。

Claims

画像取り込み装置および音声信号取り込み装置によって取り込まれたリアルタイムスライドプレゼンテーションを表す複数の再生可能なビットストリームを含むマルチメディアデータオブジェクトであって、前記複数の再生可能なビットストリームが、少なくとも、
前記スライドプレゼンテーションの複数のスライドのそれぞれの画像に対応する第１のビットストリームと、
前記プレゼンテーション中に取り込まれた各スライドとのプレゼンターインタラクションのシンボリック表現に対応する第２のビットストリームと、
前記プレゼンテーション中に取り込まれた前記プレゼンテーションの音声信号に対応する第３のビットストリーム
を含み、
前記ビットストリームはスライド単位で同期して再生できるように関連付けられており、再生されたスライド内のシンボリック表現が選択されたときに、前記第２のビットストリーム以外の前記ビットストリームである少なくとも１つの他のビットストリーム内の前記シンボリック表現に対応する位置で該他のビットストリームが再生されるように、前記シンボリック表現と前記対応する位置とがリンクされてなるマルチメディアデータオブジェクト。
前記他のビットストリームは前記第３のビットストリームである、請求項１記載のマルチメディアデータオブジェクト。
複数のビデオクリップに対応する第４のビットストリームをさらに含む、請求項１記載のマルチメディアデータオブジェクト。
前記複数のビデオクリップは、プレゼンターインタラクションの検出に応じて、前記リアルタイムスライドプレゼンテーション中に取り込まれたものであり、前記複数のビットストリームの中の他のビットストリームは前記第４のビットストリームであり、前記再生スライド内のシンボリック表現が選択されたときに、前記第４のビットストリーム内の関連するビデオクリップが再生されるように前記シンボリック表現と前記ビデオクリップがリンクされてなる請求項３記載のマルチメディアデータオブジェクト。
前記他のビットストリームへのポインタを格納するルックアップテーブルを用いて前記シンボリック表現と前記他のビットストリーム内の前記対応する位置とがリンクがされるように構成された請求項１記載のマルチメディアデータオブジェクト。
閲覧可能なマルチメディアデータオブジェクトを作成するシステムであって、
画像取り込み装置および音声信号取り込み装置を使用してリアルタイムスライドプレゼンテーションを記録し、少なくとも、前記スライドプレゼンテーションの複数のスライドのそれぞれの画像に対応する第１のビットストリームと、前記スライドとのプレゼンターインタラクションのシンボリック表現に対応する第２のビットストリームと、前記リアルタイムスライドプレゼンテーションの音声信号に対応する第３のビットストリームを含む前記マルチメディアデータオブジェクトに対応する複数の再生可能なビットストリームを生成するための手段と、
前記マルチメディアデータオブジェクトを記録する間に、前記複数のビットストリームの１つの中の位置をトラッキングするための手段と、
前記マルチメディアデータオブジェクトを取り込む間に、スライド内の関心領域とのプレゼンターインタラクションを検出するための手段と、
前記検出されたインタラクションのシンボリック表現を、該インタラクションが生じた時に発生する、前記第２のビットストリーム以外の前記ビットストリームである少なくとも１つの他のビットストリーム内の対応するトラッキング位置にリンクし、これによって、再生されたスライド内のシンボリック表現が選択されると該シンボリック表現にリンクされた前記他のビットストリーム内の前記トラッキング位置で該他のビットストリームが再生されるようにするための手段
を備えるシステム。
前記他のビットストリームは前記第３のビットストリームである、請求項６記載のシステム。
前記複数のビットストリームは、前記リアルタイムスライドプレゼンテーションの複数のビデオクリップに対応する第４のビットストリームをさらに含み、前記他のビットストリームは該第４のビットストリームである、請求項６記載のシステム。
前記複数のビデオクリップは、プレゼンターインタラクションの検出に応じて前記リアルタイムスライドプレゼンテーション中に取り込まれ、前記他のビットストリームは前記第４のビットストリームであり、前記再生スライド内のシンボリック表現が選択されると、前記第４のビットストリーム内の関連するビデオクリップが再生される、請求項８記載のシステム。
複数のスライドに対応する画像信号を生成するためのコンピューティングシステムと、
前記スライドに対応する前記画像信号を表示エリア内に表示するための表示システムと、
前記複数のスライドの画像および前記スライドのそれぞれとのプレゼンターインタラクションの画像を含むリアルタイムスライドプレゼンテーションの画像を少なくとも取り込み、及び、プレゼンターの音声を取り込んで捕捉された信号を生成するための取り込み装置と、
前記コンピュータにより生成された画像信号と前記捕捉された信号から、前記マルチメディアデータオブジェクトに対応する複数の同期して再生可能なビットストリームを作成するための手段であって、前記複数のビットストリームは、少なくとも、前記スライドプレゼンテーションの複数のスライドのそれぞれの画像に対応するビットストリーム、前記スライドのそれぞれとのプレゼンターインタラクションのシンボリック表現に対応するビットストリーム、およびプレゼンターの音声部分に対応するビットストリームを含むことからなる、手段と、
取り込んでいる間に、前記捕捉された信号の少なくとも１つ内の位置をトラッキングするためのカウンタと、
前記リアルタイムプレゼンテーション中のプレゼンターインタラクションの発生を検出するための検出器と、
第１及び第２のインジケータを格納するためのルックアップテーブル
を備え、
前記第１のインジケータは、前記検出されたプレゼンターインタラクションのシンボリック表現に関連付けられ、前記第２のインジケータは、前記プレゼンターインタラクションが検出されたときに発生するトラッキング位置であって、前記プレゼンターインタラクションのシンボリック表現に対応するビットストリーム以外の少なくとも１つの前記ビットストリーム内のトラッキング位置を示し、前記第１のインジケータと前記第２のインジケータは、前記マルチメディアデータオブジェクトが再生されているときに、前記スライドの１つの画像内のシンボリック表現が選択されると、該シンボリック表現に対応するトラッキング位置における音声ビットストリームが再生されるようにリンクされることからなる、システム。
前記カウンタはタイマである、請求項１０記載のシステム。
前記カウンタは、格納されている音声データの量をトラッキングする、請求項１０記載のシステム。
少なくとも、スライドプレゼンテーションの複数のスライドのそれぞれの画像に対応するビットストリームと、各スライド内の関心ポイントとのプレゼンターインタラクションのシンボリック表現に対応するビットストリームと、各スライドに関連するプレゼンターの音声に対応するビットストリームを含む複数の再生可能なビットストリームを有する閲覧可能なマルチメディアデータオブジェクトを作成する方法であって、
前記音声に対応するビットストリーム内の位置をトラッキングするステップと、
前記マルチメディアデータオブジェクトを取り込んでいる間に、スライド内の関心ポイントとのプレゼンターインタラクションを検出するステップと、
前記検出されたインタラクションのシンボリック表現を、該インタラクションが生じた時に発生する、前記音声に対応するビットストリーム内の対応するトラッキング位置にリンクするステップと、
スライドの再生画像内のシンボリック表現を選択することにより、再生中にマルチメディアデータオブジェクトを閲覧するステップであって、前記音声に対応するビットストリームの再生が、選択された前記シンボリック表現にリンクされた前記トラッキング位置で開始されるようにするステップ
とを含む、方法。