JP2024521613A - ビデオコンテンツとのインタラクションを容易にするユーザインターフェースおよびツール - Google Patents

ビデオコンテンツとのインタラクションを容易にするユーザインターフェースおよびツール Download PDF

Info

Publication number
JP2024521613A
JP2024521613A JP2023562722A JP2023562722A JP2024521613A JP 2024521613 A JP2024521613 A JP 2024521613A JP 2023562722 A JP2023562722 A JP 2023562722A JP 2023562722 A JP2023562722 A JP 2023562722A JP 2024521613 A JP2024521613 A JP 2024521613A
Authority
JP
Japan
Prior art keywords
content
video stream
video
annotation
presenter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023562722A
Other languages
English (en)
Inventor
ワン，シン
リン，リー
ラッセル，アンディ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2024521613A publication Critical patent/JP2024521613A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ビデオコンテンツをキャプチャするレコーディングを開始させることを含む、システムおよび方法について記載する。ビデオコンテンツは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、およびアノテーションビデオストリームを含むことができる。本システムおよび方法は、ビデオコンテンツに基づいて、ビデオコンテンツのキャプチャ中に、ビデオコンテンツの少なくとも１つの部分を、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、またはアノテーションビデオストリームのうちの少なくとも１つにおいて受け取られた入力に同期させるために使用されるタイミング情報を表すメタデータレコードを生成することを含むことができる。

Description

関連出願の相互参照
本出願は、２０２１年５月１９日に出願された米国特許出願第１７／３０３，０７５号の継続出願であって、その利益を主張するものであり、その出願の開示は、参照によりその全体が本明細書に組み込まれる。
背景
プレゼンテーションを行う際、プレゼンターは、あるコンセプトをユーザのグループに説明するために、指示および情報を繰り返し述べなければならないことが多い。次いで、各ユーザは、通常、そのコンセプトに関するメモを取り、後でそのメモをさらに見直すことができるようにする。プレゼンテーションからレコーディングが作成されれば、プレゼンターがコンセプトを繰り返し述べる回数を減らすことができる。しかしながら、従来のレコーディングされたビデオでは、ユーザがビデオ全体を見てかつ／またはスキャンすることなしに、ビデオ内の特定のコンテンツを見つける簡単な方法を提供することができない。すなわち、ユーザは、ビデオにおいてコンセプトを探す場合、そのコンセプトの位置を特定するためにレコーディング全体を見るかまたはスクロールしなければならない。
概要
本明細書に記載するシステムおよび方法は、ビデオコンテンツとのインタラクションを容易にする多数のユーザインターフェース（ＵＩ）および／またはプレゼンテーションツールを提供することができる。たとえば、ツールは、ビデオコンテンツのレコーディング、共有、視聴、検索、およびキャストを容易にすることができる。ビデオコンテンツは、任意の数のプレゼンターによって提供されるとともに任意の数のユーザによって消費される情報および入力に基づいて、教育用、プレゼンテーション用、および／または他のものであり得る。本明細書に記載するシステムおよび方法は、アプリケーション（たとえば、ブラウザ、ウェブアプリ、ネイティブアプリケーションなど）から受け取ったコマンド、および／またはコンピューティングデバイスのオペレーティングシステム（Ｏ／Ｓ）から受け取ったコマンドに基づいて、ＵＩおよびプレゼンテーションツールを提供し、実行し、かつ／または制御することができる。いくつかの実施態様では、本明細書に記載するＵＩおよびプレゼンテーションツールは、アプリケーションおよびＯ／Ｓの両方からの情報のハイブリッドな組み合わせで提供することができる。たとえば、ツール、ＵＩ、および関連する教育用コンテンツ（たとえば、ビデオコンテンツ、ファイル、アノテーションなど）の一部は、異なるアプリケーショントリガまたはＯ／Ｓトリガソースによって提供される場合がある。
本明細書に記載するシステムおよび方法は、多数の選択可能なツール（たとえば、スクリーンキャスト、スクリーンキャストのレコーディング、プレゼンターカメラ（たとえば、前面（すなわち、自撮り）カメラ）、リアルタイムトランスクリプション、リアルタイム翻訳、レーザポインタツール、アノテーションツール、拡大鏡ツール）を有するインタラクティブツールバーを少なくとも含むプレゼンテーションツールを提示することができる。ツールバーは、プレゼンターが１回の入力で簡単にプレゼンテーションし、レコーディングし、キャストするように構成することができる。加えて、ツールバーは、プレゼンテーション、レコーディング、および／またはキャスティングを切り替えるオプションを提供することができる。たとえば、特定のツールおよび／または画面コンテンツを、レコーディング中にオン／オフが切り替えられるように構成してもよい。いくつかの実施態様では、レコーディングの視聴者に（リアルタイムでまたはレコーディング後に）、ツールバー、画面コンテンツ、および／またはビデオに関連するビデオストリームを切り替える特定のツールを提供することができる。たとえば、レコーディングの特定の要素（たとえば、プレゼンターの前面カメラストリーム、トランスクリプションストリーム、翻訳ストリーム、アノテーションストリームなど）を、レコーディング中、および／またはレコーディングのユーザの見直し中に、オンまたはオフに切り替えてもよい。
本明細書に記載するシステムおよび方法は、プレゼンテーションツールが１つまたは複数のコンピュータディスプレイからのコンテンツの共有をトリガすることができるように構成されている。プレゼンテーションツールは、プレゼンターおよび／またはユーザが、共有されたコンテンツに効果的な方法でアノテーション付けする（すなわち、アノテーションを作成する）ことを可能にすることができる。アノテーションは、共有されたコンテンツに正確に配置されるために、アノテーションを後で検索し、タイムスタンプおよびビデオコンテンツと位置合わせすることができるように、格納することができる。たとえば、コンテンツのビデオレコーディングおよび／またはキャスト中に、コンテンツにアノテーション付けすることができる。アノテーションは、コンテンツ（たとえば、基礎となるアプリケーションコンテンツ）上にレイヤ化し、メタデータに格納することができ、そのため、アノテーションは、削除するか、またはウィンドウイベントが検出されたときに（すなわち、ウィンドウがスクロールされ、サイズが変更され、またはＵＩを横切って移動したときに）、コンテンツとともに移動するように適切に位置決めされるように適合させることができる。たとえば、プレゼンターがレコーディング中に別のドキュメントに切り替えた（またはドキュメント内でスクロールした）場合、たとえばレコーディングを通してプレゼンターがドキュメントを切り替えたときに、適切なアノテーションが適切なコンテンツ上にオーバーレイされるのをトリガするために、メタデータを使用してアノテーションレイヤが保存される。これにより、コンセプトを描写するために複数のソースが使用されるのを可能にすることができ、プレゼンターがオーバーレイレイヤで（すなわち、ワードプロセッシング編集ではなく）コンテンツにマークアップアノテーションを配置し、プレゼンターまたはユーザがレイヤを削除または再適用するように要求すると、オーバーレイレイヤが削除および再適用されるのを可能にすることができる。
本明細書に記載するシステムおよび方法は、プレゼンターまたはユーザが、（レコーディングが行われた間にアクセスされた）多数のドキュメント、アプリケーション、または他のレコーディングされたコンテンツを、こうしたコンテンツにアノテーション付けしながら切り替えることができ、アノテーションが、取り出され、ビデオレコーディング中に実行されたようにアノテーションが適切に位置決めされたオーバーレイとして提供され得るように、アノテーションを格納することができる。スクリーンコンテンツ、プレゼンターカメラがキャプチャしたコンテンツ、トランスクリプションコンテンツ、翻訳コンテンツ、およびアノテーションコンテンツは、レコーディング中およびレコーディング後（すなわち、プレゼンターの視聴およびユーザの視聴中）にオン／オフが切り替えられるように構成することができる。
いくつかの実施態様では、本明細書に記載するプレゼンテーションツールは、プレゼンターまたはユーザが、レコーディング中に１つまたは複数のマークアップツールを使用してコンテンツ内のチャプタ、コンテンツ内のキーアイデアを示すのを可能にするように構成されたアノテーションツールを含む。マークアップツールは、テキスト入力、レーザポインタ（および／またはカーソル、コントローラ入力など）、ペン入力、強調表示入力、図形入力などを含む、任意の数の入力機構を含むことができる。
いくつかの実施態様では、本明細書に記載するシステムおよび方法は、オーディオコンテンツおよびビデオコンテンツのリアルタイムトランスクリプションおよび／または翻訳を生成し、表示することができる。トランスクリプションおよび／または翻訳は、他の教育用コンテンツと並んで画面上に描写することができる。いくつかの実施態様では、トランスクリプションおよび／または翻訳を、生成した後、後に視聴するためにキュレーションすることができる。たとえば、トランスクリプションは、視聴しやすいように書式設定し、プレゼンターまたはユーザからアノテーションを受け取るように書式設定することができ、そこで、アノテーションは、コンテンツの特定のコンセプトを、学習すべき重要なコンセプトとして示すことができる。
本明細書に記載するシステムおよび方法は、ビデオコンテンツの翻訳および／またはトランスクリプションを実行し、書式設定し、表示するツールを含むことができる。（レコーディング中またはレコーディング後に）ビデオを視聴するとき、ユーザは、コンテンツ（たとえば、ウェブページ、ドキュメントなど）をスクロール（たとえば、ビデオスクロール）することができ、これに応じて、トランスクリプト部分が、ビデオスクロールと同期して自動的にスクロールすることができる。ビデオとテキストコンテンツとのこの同期により、対応するテキストを検索に使用することができるため、ビデオ内に含まれるコンテンツの効果的でリソース効率の高い検索を容易にすることができる。
いくつかの実施態様では、アノテーションおよびトランスクリプトを使用して、レコーディングされたビデオコンテンツの一部を表すリキャップ（たとえば、要約）ビデオを自動的に生成することができる。本明細書に記載するシステムおよび方法は、レコーディングされたビデオコンテンツにアクセスするコンピューティングデバイスのアプリケーション（たとえば、ブラウザ）および／またはＯ／Ｓで提供される検索で表出するように検索可能である（かつ／またはインデックス付けされる）ように、アノテーションおよび文字起こしされた音声を構成することができる。
いくつかの実施態様では、本明細書に記載するプレゼンテーションツールは、単一の入力に基づいてズームインまたはズームアウトモードを可能にする拡大鏡ツールを含むことができる。拡大鏡ツールは、ウィンドウまたはウェブページのサイズを手動で変更することなく使用することができる。加えて、拡大鏡ツールをアノテーションツールと組み合わせて使用することができる。アノテーションは、ユーザがズームインまたはズームアウトモードのいずれかを終了したときに、アノテーション付けされたコンテンツに一致させるようにビデオコンテンツとともに自動的にサイズ変更することができる。このサイズ変更により、メタデータを介してアノテーションを格納することができ、このアノテーションは、レコーディング終了の後にビデオコンテンツを見直す際に、アノテーションまたはズームされたコンテンツが誤ったサイズになることなく、後で検索してコンテンツにオーバーレイとして適用することができる。
１つまたは複数のコンピュータのシステムは、特定の動作またはアクションを、動作中にシステムにそうしたアクションを実行させる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせをシステムにインストールすることによって、実行するように構成することができる。１つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を含むことによって、特定の動作またはアクションを実行するように構成することができる。
第１の包括的な態様では、ビデオコンテンツをキャプチャするレコーディングを開始させるステップであって、ビデオコンテンツは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、およびアノテーションビデオストリームを含む、ステップと、ビデオコンテンツに基づいて、ビデオコンテンツのキャプチャ中に、ビデオコンテンツの少なくとも１つの部分を、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、またはアノテーションビデオストリームのうちの少なくとも１つにおいて受け取られた入力に同期させるために使用されるタイミング情報を表すメタデータレコードを生成するステップとを含む、コンピュータによって実施される方法について記載する。
実施態様は、以下の特徴のうちの任意のものまたはすべてを含むことができる。いくつかの実施態様では、レコーディングの終了に応じて、本方法は、メタデータレコードに基づいて、ビデオコンテンツの表現を生成するステップを含むことができ、上記表現は、プレゼンタービデオストリームに関連するユーザによってアノテーション付けされたビデオコンテンツの部分を含む。いくつかの実施態様では、タイミング情報は、受け取られた入力のそれぞれの入力に関連付けられた複数のタイムスタンプと、ビデオコンテンツに関連付けられたドキュメントにおける少なくとも１つの位置とに対応し、入力を同期させることは、それぞれの入力について、複数のタイムスタンプにおける少なくとも１つのタイムスタンプを、ドキュメントにおける少なくとも１つの位置に一致させることを含む。
いくつかの実施態様では、ビデオコンテンツは、トランスクリプションビデオストリームをさらに含み、トランスクリプションビデオストリームは、ビデオコンテンツのレコーディング中に、スクリーンキャストビデオストリームとともに表示されるように構成された変更可能なトランスクリプションデータとして生成される、プレゼンタービデオストリームからのリアルタイムの文字起こしされたオーディオデータを含む。いくつかの実施態様では、トランスクリプションビデオストリームは、ビデオコンテンツのレコーディング中に、スクリーンキャストビデオストリームおよび文字起こしされたオーディオデータとともに表示されるように構成されたテキストデータとして生成される、プレゼンタービデオストリームからのリアルタイムの翻訳されたオーディオデータも含む。いくつかの実施態様では、リアルタイムの文字起こしされたオーディオデータのトランスクリプションは、少なくとも１つの音声テキスト化（ｓｐｅｅｃｈ－ｔｏ－ｔｅｘｔ）アプリケーションによって実施され、少なくとも１つの音声テキスト化アプリケーションは、トランスクリプションビデオストリームによってアクセス可能であると決定された複数の音声テキスト化アプリケーションから選択され、変更可能なトランスクリプションデータおよびテキストデータは、タイムスタンプに従ってメタデータレコードに格納され、検索可能であるように構成される。
いくつかの実施態様では、入力は、アノテーションビデオストリームに関連付けられたアノテーション入力を含み、アノテーション入力は、プレゼンタービデオストリームに関連するユーザによって生成されたビデオマーカデータおよびテレストレータデータを含む。いくつかの実施態様では、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、およびアノテーションビデオストリームは、レコーディング中にオンとオフとが切り替えられるように構成され、オンとオフとの切り替えにより、それぞれのプレゼンタービデオストリーム、それぞれのスクリーンキャストビデオストリーム、またはそれぞれのアノテーションビデオストリームの表示または表示からの削除がトリガされる。
第２の包括的な態様では、メモリと、メモリに結合された少なくとも１つのプロセッサとを含むシステムについて記載し、少なくとも１つのプロセッサは、協働するオンラインユーザインターフェースを生成するように構成されており、このユーザインターフェースは、ユーザインターフェース内からの複数のアプリケーションのアクセスに関連付けられたオーディオおよびビデオコンテンツをレンダリングするように構成されたレンダラと、ユーザインターフェースにおいてアノテーション入力を受け取り、オーディオおよびビデオコンテンツのレンダリング中に、受け取ったアノテーション入力に対する複数のアノテーションデータレコードを生成するように構成されたアノテーション生成ツールであって、アノテーション入力を受け取る少なくとも１つのコントロールを含むアノテーション生成ツールと、オーディオおよびビデオコンテンツのレンダリング中にオーディオコンテンツを文字起こしし、文字起こしされたオーディオコンテンツをユーザインターフェースに表示するように構成されたトランスクリプション生成ツールと、レンダリングの終了を検出することに応じて、オーディオおよびビデオコンテンツの表現を生成するように構成されたコンテンツ生成ツールとからのコマンドを受け取るように構成されている。上記表現は、アノテーション入力、ビデオコンテンツ、および文字起こしされたオーディオコンテンツに基づくことができ、上記表現は、アノテーション入力でマークされた、レンダリングされたオーディオおよびビデオの部分を含む。
実施態様は、以下の特徴のうちの任意のものまたはすべてを含むことができる。いくつかの実施態様では、コンテンツ生成ツールは、オーディオおよびビデオコンテンツの表現へのＵＲＬリンクを生成し、ウェブブラウザアプリケーションにおいてオーディオおよびビデオコンテンツの少なくとも一部を見つける検索機能を有効にするように表現にインデックス付けするようにさらに構成されている。いくつかの実施態様では、複数のアノテーションデータレコードは、複数のアプリケーションにおける、アノテーション入力を受け取る少なくとも１つのアプリケーションの指示と、それぞれのタイムスタンプに従って、指示された少なくとも１つのアプリケーションを描写するレンダリングされたビデオコンテンツの一部の少なくとも１つの画像フレームの上に、アノテーション入力をオーバーレイする機械可読命令とを含む。
いくつかの実施態様では、少なくとも１つの画像フレームの上にアノテーション入力をオーバーレイすることは、複数のアノテーションデータレコードのうちの少なくとも１つを取り出すことと、機械可読命令を実行することと、アノテーション入力が、少なくとも１つのアノテーションデータレコードに従って、少なくとも１つの画像フレームの上にオーバーレイされた状態で、ユーザが少なくとも１つの画像フレームをスクロールすることができるようにするドキュメントを生成することとを含む。いくつかの実施態様では、アノテーション生成ツールは、レンダリングされたオーディオおよびビデオコンテンツのレコーディングを開始させることであって、レンダリングされたビデオコンテンツは、複数のアプリケーションにおける第１のアプリケーションに関連付けられたデータと、複数のアプリケーションにおける第２のアプリケーションに関連付けられたデータとを含む、開始させることと、第１のアプリケーションにおいて、レコーディングビデオコンテンツの第１のセグメントの間に第１のアノテーションのセットを受け取ることと、第１のセグメントに関連付けられたそれぞれのタイムスタンプに従って、第１のアノテーションのセットを格納することと、第２のアプリケーションにおいて、レコーディングビデオコンテンツの第２のセグメントの間に第２のアノテーションのセットを受け取ることと、第２のセグメントに関連付けられたそれぞれのタイムスタンプに従って、第２のアノテーションのセットを格納することとを行うようにさらに構成されている。
カーソルフォーカスが第１のアプリケーションから第２のアプリケーションに切り替わったことを検出することに応じて、アノテーション生成ツールは、第２のアノテーションのセットと、第２のアプリケーションに関連付けられたデータとを取り出すことと、第２のセグメントに関連付けられたタイムスタンプを第２のアノテーションのセットに一致させることと、第２のセグメントに関連付けられたそれぞれのタイムスタンプに従って、第２のアプリケーションの上での取り出された第２のアノテーションのセットの表示を引き起こすこととを行うようにさらに構成されている。
いくつかの実施態様では、第１のアノテーションのセットおよび第２のアノテーションのセットは、アノテーションツールによって生成され、アノテーションツールは、第１のアノテーションのセットおよび第２のアノテーションのセットの各アノテーションについて、第１のアプリケーションに関連付けられたデータまたは第２のアプリケーションに関連付けられたデータ上の初期位置を保持しながら、第１のアノテーションのセットおよび第２のアノテーションのセットのマーキング、格納、およびスクロールを可能にする。いくつかの実施態様では、アノテーション生成ツールは、カーソルフォーカスが第２のアプリケーションから第１のアプリケーションに切り替わったことを検出することに応じて、第１のアノテーションのセットと、第１のアプリケーションに関連付けられたデータとを取り出すことと、第１のセグメントに関連付けられたタイムスタンプを、第１のアノテーションのセットに一致させることと、第１のセグメントに関連付けられたそれぞれのタイムスタンプに従って、第１のアプリケーションの上での取り出された第１のアノテーションのセットの表示を引き起こすこととを行うようにさらに構成されている。
いくつかの実施態様では、アノテーション生成ツールは、第２のアプリケーションにおいて追加のアノテーションを受け取ることであって、追加のアノテーションはそれぞれのタイムスタンプに関連付けられている、受け取ることと、レコーディングの完了を検出することに応じて、第２のアノテーションのセットおよび追加のアノテーションからドキュメントを生成することであって、ドキュメントは、第２のセグメントに関連付けられたそれぞれのタイムスタンプと、追加のアノテーションに関連付けられたそれぞれのタイムスタンプとに従って、第２のアプリケーションに関連付けられたデータの上にオーバーレイされた第２のアノテーションのセットおよび追加のアノテーション、ならびに第２のセグメントに関連付けられたレコーディングされたオーディオコンテンツのトランスクリプションを含む、生成することとを行うようにさらに構成されている。
第３の包括的な態様では、少なくとも１つのプロセッサによって実行されると、ビデオコンテンツをキャプチャするレコーディングを開始させることであって、ビデオコンテンツは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームを含む、開始させることと、ビデオコンテンツに基づいて、ビデオコンテンツのキャプチャ中に、ビデオコンテンツの少なくとも１つの部分を、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、またはアノテーションビデオストリームのうちの少なくとも１つにおいて受け取られた入力に同期させるために使用されるタイミング情報を表すメタデータレコードを生成することとを含む命令をコンピューティングシステムに実行させるように構成された命令が格納されている、非一時的コンピュータ可読記憶媒体。
実施態様は、以下の特徴のうちの任意のものまたはすべてを含むことができる。いくつかの実施態様では、上記命令は、レコーディングの終了に応じて、メタデータレコードに基づいて、ビデオコンテンツの要約ビデオを生成することであって、要約ビデオは、プレゼンタービデオストリームに関連するユーザによってアノテーション付けされたビデオコンテンツの部分を含む、生成することをさらに含む。
いくつかの実施態様では、タイミング情報は、受け取られた入力のそれぞれの入力に関連付けられた複数のタイムスタンプと、ビデオコンテンツに関連付けられたドキュメントにおける少なくとも１つの位置とに対応し、入力を同期させることは、それぞれの入力について、複数のタイムスタンプにおける少なくとも１つのタイムスタンプを、ドキュメントにおける少なくとも１つの位置に一致させることを含む。
いくつかの実施態様では、トランスクリプションビデオストリームは、ビデオコンテンツのレコーディング中に、スクリーンキャストビデオストリームとともに表示されるように構成されたテキストデータとして生成される、プレゼンタービデオストリームからのリアルタイムの文字起こしされたオーディオデータと、ビデオコンテンツのレコーディング中に、スクリーンキャストビデオストリームおよび文字起こしされたオーディオデータとともに表示されるように構成されたテキストデータとして生成される、プレゼンタービデオストリームからのリアルタイムの翻訳されたオーディオデータとを含む。いくつかの実施態様では、リアルタイムの文字起こしされたオーディオデータは、ビデオコンテンツのレコーディング中に、スクリーンキャストビデオストリームとともに表示されるように構成された変更可能なトランスクリプションデータとして生成され、リアルタイムの文字起こしされたオーディオデータのトランスクリプションは、少なくとも１つの音声テキスト化アプリケーションによって実施され、少なくとも１つの音声テキスト化アプリケーションは、トランスクリプションビデオストリームによってアクセス可能であると決定された複数の音声テキスト化アプリケーションから選択され、変更可能なトランスクリプションデータおよびテキストデータは、タイムスタンプに従ってメタデータレコードに格納され、検索可能であるように構成される。
いくつかの実施態様では、入力は、アノテーションビデオストリームに関連付けられたアノテーション入力を含み、アノテーション入力は、プレゼンタービデオストリームに関連するユーザによって生成されたビデオマーカデータおよびテレストレータデータを含む。いくつかの実施態様では、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームは、レコーディング中にオンとオフとが切り替えられるように構成され、オンとオフとの切り替えにより、それぞれのプレゼンタービデオストリーム、それぞれのスクリーンキャストビデオストリーム、それぞれのトランスクリプションビデオストリーム、またはそれぞれのアノテーションビデオストリームの表示または表示からの削除がトリガされる。
第４の包括的な態様では、少なくとも１つのプロセッサによって実行されると、オーディオコンテンツおよびビデオコンテンツをキャプチャするレコーディングを開始させることであって、ビデオコンテンツは、少なくともプレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームを含む、開始させることと、ユーザインターフェース内からの複数のアプリケーションのアクセスに関連付けられたオーディオコンテンツおよびビデオコンテンツのレンダリングを引き起こすことと、オーディオコンテンツおよびビデオコンテンツのレンダリング中に、ユーザインターフェースにおいてアノテーション入力を受け取ることであって、アノテーション入力は、アノテーションビデオストリームに記録される、受け取ることと、オーディオコンテンツおよびビデオコンテンツのレンダリング中にオーディオコンテンツを文字起こしすることであって、文字起こしされたオーディオコンテンツは、トランスクリプションビデオストリームに記録される、文字起こしすることと、オーディオコンテンツおよびビデオコンテンツのレンダリング中に、文字起こしされたオーディオコンテンツを翻訳することと、レンダリングされたオーディオコンテンツおよびレンダリングされたビデオコンテンツとともに、ユーザインターフェースにおいて、文字起こしされたオーディオコンテンツおよび文字起こしされたオーディオコンテンツの翻訳のレンダリングを引き起こすこととを含む命令をコンピューティングシステムに実行させるように構成された命令が格納されている、非一時的コンピュータ可読記憶媒体。
実施態様は、以下の特徴のうちの任意のものまたはすべてを含むことができる。いくつかの実施態様では、コンピュータ実行可能命令は、オンラインプレゼンテーションシステムに、ビデオコンテンツおよびオーディオコンテンツのレンダリングの終了を検出することに応じて、オーディオコンテンツおよびビデオコンテンツの少なくとも一部分の代表的なコンテンツを生成させるようにさらに構成されている。代表的なコンテンツは、アノテーション入力、ビデオコンテンツ、および文字起こしされたオーディオコンテンツ、および翻訳されたオーディオコンテンツに基づくことができ、代表的なコンテンツは、アノテーション入力でマークされたレンダリングされたオーディオおよびビデオの部分を含む。いくつかの実施態様では、アノテーション入力は、ビデオコンテンツの上のオーバーレイとしてレンダリングされ、アノテーション入力は、レコーディング中にアクセスされた他のビデオコンテンツへの切り替えをトリガするウィンドウイベントまたはカーソルイベントの検出に応じて、ビデオコンテンツとともに移動するように構成されている。
第５の包括的な態様では、少なくとも１つのビデオストリームを受け取るステップと、少なくとも１つのビデオストリームにおいて検出された入力に関連付けられたタイミング情報を表すメタデータを受け取るステップであって、タイミング情報は、少なくとも１つのビデオストリームにおいて提供される検出された入力を、少なくとも１つのビデオストリームの一部に同期させるように構成される、ステップとを含む、コンピュータによって実施される方法について記載する。少なくとも１つのビデオストリームを視聴する要求を受け取ることに応じて、コンピュータによって実施される方法は、少なくとも１つのビデオストリームの一部を生成するステップであって、生成は、メタデータと、少なくとも１つのビデオストリームの表現を視聴することを要求する検出されたユーザ指示とに基づく、ステップと、少なくとも１つのビデオストリームの上記一部のレンダリングを引き起こすステップとを含むことができる。
実施態様は、以下の特徴のうちの任意のものまたはすべてを含むことができる。いくつかの実施態様では、タイミング情報は、少なくとも１つのビデオストリームにおいて検出されたそれぞれの入力に関連付けられた複数のタイムスタンプと、少なくとも１つのビデオストリームに関連付けられたコンテンツにおける少なくとも１つの位置とに対応し、検出された入力を同期させることは、それぞれの入力について、少なくとも１つのタイムスタンプを、少なくとも１つのビデオストリームに関連付けられたドキュメントにおける少なくとも１つの位置に一致させることを含む。いくつかの実施態様では、少なくとも１つのビデオストリームは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームを含む。いくつかの実施態様では、少なくとも１つのビデオストリームの表現は、検出された入力に基づき、入力でアノテーション付けされた少なくとも１つのビデオストリームのレンダリングされた部分を含む。
上記のシステム、方法、コンピュータ可読記憶媒体、および態様は、上述した態様の任意の組み合わせを実行するように構成することができ、それらの各々は、上記に列挙した特徴および態様の任意の好適な組み合わせとともに合わせて実装することができる。
上述した技法の実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータがアクセス可能な媒体上のコンピュータソフトウェアを含むことができる。１つまたは複数の実施態様の詳細は、添付の図面および以下の説明に示す。他の特徴は、説明および図面から、かつ特許請求の範囲から明らかとなろう。
本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムの一例を示すブロック図である。 本明細書に記載する実施態様による、リアルタイムオンラインプレゼンテーションシステムを生成し、動作させるように構成された、コンピューティングシステム例を示すブロック図である。 本明細書に記載する実施態様による、リアルタイムオンラインプレゼンテーションシステムを生成し、動作させるように構成された、コンピューティングシステム例を示すブロック図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのユーザインターフェース（ＵＩ）例とアノテーションが付されたコンテンツ間の切り替えとを示すスクリーンショットである。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのユーザインターフェース（ＵＩ）例とアノテーションが付されたコンテンツ間の切り替えとを示すスクリーンショットである。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのユーザインターフェース（ＵＩ）例とアノテーションが付されたコンテンツ間の切り替えとを示すスクリーンショットである。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって提供されるツールバー例を示すスクリーンショットである。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのＵＩ例における画面を共有する例のスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのＵＩ例における画面を共有する例のスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのＵＩ例における画面を共有する例のスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって提供されるツールバー例のスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって提供されるツールバー例のスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって提供されるツールバーの使用例のスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステム使用する一例のフロー図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって生成されるトランスクリプトの一例を示すスクリーンショットの図である。 本明細書に記載する実施態様による、レコーディングされたコンテンツをリアルタイムプレゼンテーションシステムのユーザに表出させる一例を示すスクリーンショットの図である。 本明細書に記載する実施態様による、レコーディングされたコンテンツをリアルタイムプレゼンテーションシステムのユーザに表出させる別の例を示すスクリーンショットの図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって生成されたセッションのレコーディング中にマークされたキーアイデアおよびコンテンツを表出させる一例を示すスクリーンショットの図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにアクセスするユーザによって構成されたマークされたコンテンツを示すスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにアクセスするユーザによって構成されたマークされたコンテンツを示すスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにアクセスするユーザによって構成されたマークされたコンテンツを示すスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにアクセスするユーザによって構成されたマークされたコンテンツを示すスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにアクセスするユーザによって構成されたマークされたコンテンツを示すスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにアクセスするユーザによって構成されたマークされたコンテンツを示すスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにアクセスするユーザによって構成されたマークされたコンテンツを示すスクリーンショットを示す図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって生成されたセッションのレコーディング中にリアルタイムで示される翻訳されたテキストを示すスクリーンショットの図である。 本明細書に記載する実施態様による、スクリーンキャストを生成しレコーディングするプロセス例のフロー図である。 本明細書に記載する実施態様による、複数のビデオストリームに関連付けられたメタデータレコードを生成するプロセス例のフロー図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにおいてビデオプレゼンテーションを生成しレコーディングするプロセス例のフロー図である。 本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにおいてビデオプレゼンテーションをプレゼンテーションするプロセス例のフロー図である。 本明細書に記載する技法を実装するために使用することができるコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。
さまざまな図面における同様のまたは同一の参照番号の使用は、同様のまたは同一の要素または特徴の存在を示すことように意図されている。
詳細な説明
本明細書では、ビデオコンテンツをレコーディングし、共有し、視聴し、ビデオコンテンツとインタラクトし、ビデオコンテンツを検索し、キャストするのを容易にする、ユーザインターフェース（ＵＩ）および／またはプレゼンテーションツールについて説明する。ＵＩおよびプレゼンテーションツールは、オンラインであって、リアルタイムでコンテンツをプレゼンテーションすることができる、プレゼンテーションシステムにおいて提供することができる。プレゼンテーションツールを使用して、プレゼンテーションされた（たとえば、共有された、キャストされたなどの）コンテンツとインタラクトすることができる。本明細書に記載するシステムおよび方法は、アプリケーション（たとえば、ブラウザ、ウェブアプリ、アプリケーション、拡張機能、ネイティブアプリケーションなど）から受け取ったコマンド、および／またはコンピューティングデバイスのオペレーティングシステム（Ｏ／Ｓ）から受け取ったコマンドに基づいて、ＵＩおよびプレゼンテーションツールを提供し、実行し、かつ／または制御することができる。したがって、本明細書に記載するシステムおよび方法は、オンラインのリアルタイムプレゼンテーションシステムを、アプリケーションとして、またはＯ／Ｓが提供するユーザインターフェースのセットとして、提供することができる。
いくつかの実施態様では、本明細書に記載するシステムおよび方法を使用して、プレゼンテーションツールでプレゼンテーションされる教育用コンテンツを生成することができる。コンテンツは、重要な教育用コンテンツを区別するために、すべてリアルタイムで、文字起こしし、翻訳し、アノテーション付けすることができる。アノテーションを使用して、追加の関連コンテンツ（たとえば、教育用コンテンツ、学習ガイド、代表的な（たとえば、リキャップ、要約、スニペット）ビデオおよび関連コンテンツ、ビデオスニペット、スクリーンショット、画像フレームなど）を生成することができる。たとえば、アプリケーションは、ビデオ（たとえば、１つまたは複数のプレゼンテーション、授業、セミナーなど）のレコーディング中にコンテンツに提供されたアノテーションに基づいて、リキャップビデオを自動的に生成することができる。アノテーションは、プレゼンターおよび／またはユーザが提供することができる。動作時、プレゼンターおよび／またはユーザは、テキスト、プレゼンターがマークした（またはユーザがマークした）重要度インジケータ、および／または文字起こしされたオーディオコンテンツマーカの形態で、アノテーションマーキングを生成するための入力を提供することができ、入力は、ビデオにレコーディングされているコンテンツ上へのマーカまたはオーバーレイとして生成される。
従来のオンラインの教育用ビデオは、ユーザがビデオ全体を見てかつ／またはスキャンすることなしに、特定のビデオ内の特定のコンテンツを見つける好都合な方法を提供することができない。ビデオがレコーディングされると、従来の技術では、後に検索することができるトランスクリプションを生成することができるが、文字起こしされたコンテンツに関連するビデオの部分のリアルタイムの並列ビューを提供することはできない。ビデオをレコーディングしながら、ライブのトランスクリプションおよび／または翻訳を提供する技術的解決法が必要である。本明細書に記載するシステムおよび方法は、リアルタイムのアノテーション付きビデオコンテンツおよび／またはスクリーンシェア／スクリーンキャストコンテンツの隣に、文字起こしされたかつ／または翻訳されたコンテンツ（たとえば、文字起こしされたオーディオコンテンツの翻訳）の並列での視覚表示を可能にする、そうした技術的解決法を提供する。これは、ビデオのコンテンツの学習および理解を強化するという利点を提供することができる。本明細書に記載するシステムおよび方法によって提供される技術的解決法は、ビデオコンテンツ（教育用コンテンツ、アノテーション、プレゼンターが示す要素、トランスクリプション、翻訳など）が迅速にインデックス付けされ、ユーザに検索可能となるのを可能にすることができる。たとえば、本明細書に記載するシステムおよび方法は、プレゼンテーションされているコンテンツをレコーディングしそうしたコンテンツとインタラクトするための機能およびツールを備えたプレゼンテーション（たとえば、スクリーンキャスト）機能を生成するように構成された、ネイティブアプリケーション（またはウェブアプリケーション）を提供することができる。
本明細書に記載する技法は、スクリーンキャスト（またはスクリーンシェア）プレゼンテーションの開始、スクリーンキャストのレコーディング、およびスクリーンキャストされているコンテンツのトランスクリプション／翻訳を同時にトリガする単一の入力コマンドを可能にするという、技術的効果を提供する。レコーディングされたコンテンツの複数のレイヤ（たとえば、ドキュメント、ウェブサイト、ネスト化されたビデオコンテンツレイヤ、ピクチャインピクチャレイヤ、アノテーションレイヤ、プレゼンターカメラ（たとえば、自撮り）レイヤ、参加者（たとえば、ユーザ）レイヤ、トランスクリプションレイヤ、および翻訳レイヤ）は、プレゼンター（すなわち、レコーダ）によるかまたはユーザ（すなわち、参加者または視聴者）によるレイヤのオンおよびオフの切り替えを可能にするために、別々にキャプチャすることができる。これにより、レコーディングに対するより柔軟な手法を提供することができ、異なるレイヤを別々にレコーディングするか、または、たとえばトランスクリプションを得るためにビデオを後処理しなければならない場合よりも、一度にすべてをレコーディングするために、計算効率が高くなり得る。加えて、レコーディングされたスクリーンキャストのコンテンツは、レコーディングされたスクリーンキャストとインタラクトしている間、またはレコーディングされたスクリーンキャストビデオが最近アクセスされたと判断されている間に、検索タスクがコンテンツを取り出して表出させるようにすることができるように、インデックス付けすることができる。これにより、ビデオの非常に長い後処理を回避するように、効率的な方法でＯＳレベルの検索機能にビデオコンテンツ（単なるファイル名ではない）を統合することができる。こうしたＯＳレベルの手法は、アノテーション（たとえば、ウィンドウイベントなど）を調整するために、実行中のアプリケーションからの信号を受け取って利用することができるため、本明細書に記載する技法をＯＳレベルで実装することにより、アノテーションに対するアプリケーション特有の手法よりも汎用性があり得る。
本明細書のシステムおよび方法は、特定のユーザのための最近の教育用ビデオコンテンツを見つけるという技術的課題（たとえば、問題）を解決することができる。これは、従来の教室／講義に基づく学習が、家庭または「仮想」学習に取って代わられる場合に役に立つ可能性がある。たとえば、ユーザは、ビデオコンテンツで教示される教育用コンテンツに関連する試験の勉強をするか、または宿題を行うときに、以前にキャプチャされたビデオコンテンツをどこで、どのように取り出すべきか分からない場合がある。多くの場合、ユーザは、以前にレコーディングされた多数のビデオを使用して試験の勉強をしなければならない場合がある。従来のシステムでは、ユーザは、各ビデオの全体を見直し、スキャンし、および／または見る必要がある可能性がある。しかしながら、ユーザは、各ビデオからのキーアイデアおよびコンセプトから利益を得ることができる。したがって、本明細書に記載するシステムおよび方法は、キーアイデアおよびコンセプトを示すために１つまたは複数のオリジナルビデオのレコーディング中にアノテーション付けされた、代表的なビデオが自動的に生成されるという技術的解決法を提供する。たとえば、本システムおよび方法により、プレゼンターまたはユーザ（たとえば、プレゼンテーション参加者）によって重要とみなされた、１つまたは複数の（たとえば、一組の）キュレーションされた検索可能なビデオコンテンツ（たとえば、要約、スニペット）の生成を可能にすることができる。これらの代表的なビデオの生成は、本明細書に記載するコンテンツをキャプチャするストリームベースの手法によって容易になる。
本明細書に記載するシステムおよび方法は、基礎となるＯ／Ｓを使用して、コンテンツ（たとえば、メタデータ、ビデオコンテンツなど）およびビデオスニペットを提示するために使用することができるＵＩのリポジトリを生成することによって、技術的な問題に対する技術的解決法を提供する。本明細書に記載する技術的解決法は、改善されたコンテンツ管理、改善されたコンテンツアクセス、および改善されたＵＩインタラクションという技術的効果を提供することができる。たとえば、本明細書に記載するシステムおよび方法は、ビデオコンテンツの一部のインタラクティブな説明、プレゼンターのコメント、アノテーションなどを提供する代表的なビデオを生成することができる。さらに、これらのスニペットは、従来のファイル検索またはウェブブラウザアプリケーションを使用して検索可能であり得る。
図１は、本明細書に記載する実施形態によるリアルタイムプレゼンテーションシステム１００の一例を示すブロック図である。システム１００は、１つまたは複数のアプリケーション１０２またはオペレーティングシステムＯ／Ｓ１０４によって提供することができる。いくつかの実施態様では、システム１００は、オンラインサービス、オンラインドライブ、オンラインライブラリなどにアクセスし、かつ／またはそこからコンテンツを受信することができる。コンテンツは、１つまたは複数のユーザインターフェース（ＵＩ）１０６に描写することができる。
リアルタイムプレゼンテーションシステム１００は、システム、オペレーティングシステム、アプリケーション（たとえば、プログラム）、および／または本明細書に記載する他の機能が、ユーザ情報（たとえば、ユーザのソーシャルネットワーク、ソーシャルアクション、もしくはアクティビティ、職業、ユーザの嗜好、および／またはユーザの現在位置に関する情報）の収集を可能にすることができる場合と、ユーザにサーバからコンテンツまたは通信が送信される場合の両方について、ユーザが選択を行うことができるようにするコントロールを、ユーザに提供することができる。加えて、システム１００は、個人を特定できる情報が削除されるように、ある特定のデータが格納または使用される前に１つまたは複数の方法で処理されるのを確実にすることができる。たとえば、ユーザの個人情報を処理して、ユーザについて個人を特定できる情報を決定することができないようにしてもよく、または、位置情報が取得される（都市、郵便番号、または州レベルなど）ユーザの地理的位置を一般化して、ユーザの特定の位置を決定することができないようにしてもよい。このように、ユーザは、ユーザについて何の情報が収集されるか、その情報がいかに使用されるか、および何の情報がユーザに提供されるかを制御することができる。
システム１００は、スクリーンキャストし、スクリーンシェアし、かつ／またはレコーディングし、リアルタイムでまたはレコーディング後にオンラインリソースにアップロードすることができる、任意の数のＵＩ（たとえば、ＵＩ１０７）を生成することができる。ＵＩ１０６は、ツールバー１０８、ビデオストリームおよびオーディオストリーム１１０、代表的なコンテンツ１１２、アノテーション１１４、およびライブラリ１１６を含み、提示し、または他の方法でアクセスすることができる。たとえば、システム１００は、ユーザがツールバー１０８、アノテーション１１４、およびライブラリ１１６を使用してコンテンツをプレゼンテーションすることができる、オンラインのリアルタイムプレゼンテーションシステム（たとえば、アプリケーション、ＵＩ、Ｏ／Ｓベースのポータル）であってもよい。ユーザは、システム１００を使用して、ユーザおよび／またはプレゼンターが提供するアノテーション１１４を描写するビデオコンテンツおよびオーディオコンテンツ１１０を生成することもできる。プレゼンテーションコンテンツは、レコーディングし、スクリーンキャストし、共有し、プレゼンテーションコンテンツの一部を含むことができる特定の代表的なコンテンツ１１２を提供するように変更することができる。いくつかの実施態様では、代表的なコンテンツ１１２は、特定のビデオコンテンツのすべてまたは一部を要約した要約コンテンツ（たとえば、アノテーションの有無にかかわらず、オーディオおよび／またはビデオコンテンツ）である。いくつかの実施態様では、代表的なコンテンツ１１２は、特定のトピックまたはカテゴリに関連付けられたビデオおよび／またはオーディオコンテンツの一部を含む。いくつかの実施態様では、代表的なコンテンツ１１２は、特定のビデオのチャプタ情報またはタイトル情報を含むビデオおよび／またはオーディオコンテンツを含む。いくつかの実施態様では、代表的なコンテンツ１１２は、マークアップ（たとえば、アノテーション）を含むビデオの部分を含み、こうした部分は、関連付けられたオーディオおよび／またはメタデータを含むことができる。
概して、ツールバー１０８は、多数の選択可能なツール（たとえば、スクリーンキャスト、スクリーンキャストのレコーディング、プレゼンターカメラ（たとえば、前面カメラ（すなわち、自撮り）カメラ）、リアルタイムトランスクリプション、リアルタイム翻訳、レーザポインタツール、アノテーションツール、拡大鏡ツールなど）を含むインタラクティブツールバーを含むことができる。ツールバーは、プレゼンターが単一の入力で容易にプレゼンテーションし、レコーディングし、キャストするように、構成することができる。加えて、ツールバーは、プレゼンテーション、レコーディング、および／またはキャスティングを切り替えるオプションを提供してもよい。ツールバー例を図１のツールバー１１８に示す。ツールバー１１８は、レコーディングツール、レーザポインタツール、（アノテーション１１４を生成するための）ペンツール、消しゴムツール、拡大鏡ツール、自撮りカメラまたは他のキャプチャツール、ならびにライブトランスクリプションおよび翻訳ツールなどを含む。
いくつかの実施態様では、ツールバー１０８は、ＵＩ１０７においてアノテーション入力（たとえば、アノテーション１２０）を受け取るように構成されたアノテーション生成ツール１０８ａを含むことができる。（たとえば、ツールバー１１８から選択される）アノテーション生成ツール１０８ａは、オーディオおよびビデオコンテンツのレンダリング中に（かつＵＩ１０７に示すように）、受け取られたアノテーション入力１２０に対するアノテーションデータレコード（たとえば、レコード２１４）を生成することができる。いくつかの実施態様では、アノテーション生成ツール１０８ａは、アノテーション入力１２０を受け取り、受け取ったアノテーション入力に対するタイムスタンプの格納をトリガする少なくとも１つのコントロール（たとえば、ソフトウェアまたはハードウェアベースの入力コントロール）を含むことができる。たとえば、システム１００は、アノテーション１１４（たとえば、アノテーション１２０）を受け取ることができ、これに応じて、入力１２０がいつ受け取られたか、およびいずれのアプリケーションにおいて入力１２０が受け取られたかを示す１つまたは複数のタイムスタンプを含むメタデータ（たとえば、アノテーションデータレコード２１４）を格納することができる。後に、メタデータを使用して、入力がいつ受け取られたか、入力が何を示したか、ならびに／または入力および／もしくは入力に関連するコンテンツの重要度レベルに基づいて、ビデオスニペットおよび／または代表的なコンテンツ１１２を生成することができる。いくつかの実施態様では、ユーザがコンテンツに対するアノテーションを生成するために任意の数のツールを選択することができるため、たとえば、ツールバー１１８上の任意の数のツールは、アノテーション生成ツール１０８ａの一部であってもよい。
いくつかの実施態様では、プレゼンテーションシステム１００は、ビデオストリームおよびオーディオストリーム１１０を生成および変更することもできる。たとえば、システム１００を使用して、さまざまなライブラリ１１６およびアクセスされたアプリケーション、画像、または他のリソースを使用してコンテンツをプレゼンテーションすることができる。コンテンツは、ツールバー１１８を使用してレコーディングすることができる。レコーディングされたコンテンツは、プレゼンターまたは別のユーザがアクセスすることができる。レコーディングされたコンテンツを使用して、システム１００は、代表的なコンテンツ１１２を自動的に生成することができる。
いくつかの実施態様では、システム１００をホストするコンピューティングデバイスに、前面カメラツール（たとえば、自撮りカメラ）を含めることができる。自撮りカメラを使用して、プレゼンタービデオストリーム例１２２に示すように、プレゼンタービデオストリームを生成することができる。システム１００上のＵＩ１０７に描写されるコンテンツの消費者、または（ストリーム１２２に示される）プレゼンターは、ストリーム１２２のビューをオンまたはオフに切り替えることができる。たとえば、ストリーム１２２がコンテンツ１２４と重なる場合、たとえば、プレゼンターまたはＵＩ１０７に描写されたコンテンツの消費者は、コンテンツ１２４のビューをより多く確保するために、ストリーム１２２を表示されないようにすることができる。同様に、ＵＩ１０７に、参加者ビデオストリーム１２６を描写してもよい。参加者ビデオストリーム１２６もまた、参加者のいずれによっても、またはプレゼンターによって、オンまたはオフに切り替えることができる。
動作時、プレゼンター（たとえば、ストリーム１２２に示されるユーザ）は、たとえば、ＵＩ１０７およびツールバー１１８がプレゼンテーションされるようにシステム１００にアクセスすることができる。プレゼンターは、コンテンツをプレゼンテーションし、コンテンツにアノテーション付けし、コンテンツおよび／またはアノテーションをレコーディングし、将来の見直しのためにコンテンツおよび／またはアノテーションをアップロードするために、ツールバー１１８を使用して、ＵＩ１０７内のコンテンツのうちの任意のものまたはすべてをキャストし、スクリーンキャストし、または他の方法で共有することができる。この例では、プレゼンターは、ブラウザアプリケーションを介してシステム１００にアクセスしており、プレゼンテーション１０１、タブ１２８、ストリーム１２２、ストリーム１２６、および以前に入力されたアノテーション１２０を含むブラウザアプリケーション全体を共有する（たとえば、キャストする）ことを選択している。ツールバー１１８も共有コンテンツに提示され、表示／非表示を切り替えることができる。
図２Ａおよび図２Ｂは、本明細書に記載する実施態様による、リアルタイムオンラインプレゼンテーションシステム１００を生成し動作させるように構成された、コンピューティングシステム例２００を示すブロック図である。システム１００は、デスクトップオペレーティングシステム、モバイルオペレーティングシステム、アプリケーション拡張機能、または他のソフトウェアにおいて、本明細書に記載するコンピューティングシステムのうちの任意のもので動作することができる。システム２００を使用して、コンピューティングデバイス（たとえば、コンピューティングシステム２０１、コンピューティングシステム２０２、およびサーバコンピューティングシステム２０４）、および／またはシステム１００（および対応するＵＩ）を動作させるための他のデバイス（図２Ａには図示せず）を構成することができる。たとえば、システム２００は、プレゼンターがシステム１００を使用してオーディオおよびビデオを共有し、アノテーション付けし、レコーディングするのを可能にする、多数のＵＩを生成することができる。
図２Ａに示すように、コンピューティングシステム２０２は、オペレーティングシステム（Ｏ／Ｓ）２１６を含む。概して、Ｏ／Ｓ２１６は、図示しないアプリケーション、ＵＩインタラクション、アクセスされたサービス、および／またはデバイス通信を実行および／または制御するように機能することができる。たとえば、Ｏ／Ｓ２１６は、アプリケーション２１８およびＵＩ生成器２２０を実行および／または他の方法で管理することができる。いくつかの実施態様では、Ｏ／Ｓ２１６は、リアルタイムプレゼンテーションシステム１００もまたを実行および／または他の方法で管理することができる。いくつかの実施態様では、１つまたは複数のアプリケーション２１８が、リアルタイムプレゼンテーションシステム１００を実行および／または他の方法で管理してもよい。いくつかの実施態様では、ブラウザ２２２が、リアルタイムプレゼンテーションシステム１００を実行および／または他の方法で管理してもよい。
アプリケーション２１８は、コンピューティングシステム２０２によって（もしくはサーバコンピューティングシステム２０４によって、または外部サービスを介して）実行／配布することができる、任意のタイプのコンピュータプログラムであり得る。アプリケーション２１８は、ユーザがそれぞれのアプリケーション２１８の機能とインタラクトすることができるように、ユーザインターフェース（たとえば、アプリケーションウィンドウ、メニュー、ビデオストリーム、ツールバーなど）を提供することができる。特定のアプリケーション２１８のアプリケーションウィンドウは、メニュー、アイコン、ツールバー、ウィジェットなどの任意のタイプのコントロールとともに、アプリケーションデータを表示することができる。アプリケーション２１８は、アプリ情報２２４およびセッションデータ２２６を含むか、またはそれらにアクセスすることができ、これらの両方が、コンテンツおよび／またはデータを生成し、そうしたコンテンツおよび／またはデータを、デバイスインターフェースを介してユーザおよび／またはＯ／Ｓ２１６に提供するために使用することができる。アプリ情報２２４は、特定のアプリケーション２１８によって実行されているかまたは他の方法でアクセスされている情報に対応することができる。たとえば、アプリ情報２２４は、テキスト、画像、ビデオコンテンツ、メタデータ（たとえば、メタデータ２２８）、入力、出力、またはアプリケーション２１８とのインタラクションに関連付けられた制御信号を含むことができる。いくつかの実施態様では、アプリ情報２２４は、クラウドサーバ、サーバ２０４、サービス、または他のストレージリソースからダウンロードされたデータを含むことができる。いくつかの実施態様では、アプリ情報２２４は、限定されないが、メタデータ、タグ、タイムスタンプデータ、ＵＲＬデータなどを含む、特定のアプリケーション２１８に関連付けられたデータを含むことができる。いくつかの実施態様では、アプリケーション２１８は、ブラウザ２２２を含むことができる。ブラウザ２２２を利用して、システム１００は、プレゼンテーション、キャスティング、および／または他の共有のためにコンテンツを構成することができる。
セッションデータ２２６は、アプリケーション２１８とのユーザセッション２３０に関係することができる。たとえば、ユーザは、コンピューティングシステム２０２上のもしくはコンピューティングシステム２０２に関連するユーザプロファイル２３４を介して、または代替的にサーバコンピューティングシステム２０４を介して、ユーザアカウント２３２にアクセスすることができる。ユーザアカウント２３２にアクセスすることは、ユーザ名／パスワードまたは他のタイプの認証クレデンシャルおよび／もしくは許可データ２３６を提供することを含むことができる。ユーザがユーザクレデンシャルを供給することができるように、ログイン画面を表示することができ、これにより、認証されると、ユーザは、コンピューティングシステム２０２の機能にアクセスすることができる。セッションは、ユーザアカウント２３２がアクセスされたと判断されたことに応じて、またはコンピューティングシステム２０２の１つまたは複数のユーザインターフェース（ＵＩ）が表示されたときに、開始することができる。いくつかの実施態様では、セッションおよびユーザアカウントは、サーバコンピューティングシステム２０４と通信することなく、コンピューティングシステム２０２を使用して、認証およびアクセスすることができる。
いくつかの実施態様では、ユーザプロファイル２３４は、単一のユーザのための複数のプロファイルを含むことができる。たとえば、ユーザは、仕事用ユーザプロファイルと個人用ユーザプロファイルとを有することができる。両方のプロファイルは、両方のユーザプロファイルから格納されたコンテンツアイテムを使用およびアクセスするために、リアルタイムプレゼンテーションシステム１００を利用することができる。したがって、ユーザが、業務用プロファイルでブラウザセッションを開き、個人用ユーザプロファイルでオンラインファイルまたはアプリケーションを開いている場合、システム１００は、両方のプロファイル上のコンテンツにアクセスすることができる。
セッション中（かつユーザが許可した場合）、セッションデータ２２６が生成される。セッションデータ２２６は、特定のコンピューティングセッション２３０の間にユーザによって使用された／有効にされたセッションアイテムに関する情報を含む。セッションアイテムは、クリップボードコンテンツ、ブラウザタブ／ウィンドウ、ドキュメント、オンラインドキュメント、アプリケーション（たとえば、ウェブアプリケーション、ネイティブアプリケーション）、仮想デスク、表示状態（またはモード）（たとえば、分割スクリーン、ピクチャインピクチャ、全画面モード、自分撮りモードなど）、および／または他のグラフィカル制御要素（たとえば、ファイル、ウィンドウ、制御画面など）を含むことができる。
ユーザが、ユーザインターフェース上でこれらのセッションアイテムを起動し、有効化し、かつ／または操作すると、セッションデータ２２６が生成される。セッションデータ２２６は、いずれのセッションアイテム（たとえば、ドキュメント、ブラウザタブなど）が起動され、構成され、または有効にされたかの識別を含むことができる。セッションデータ２２６は、ウィンドウの位置、ウィンドウのサイズ、セッションアイテムが前景に配置されているかまたは背景に配置されているか、セッションアイテムがフォーカスされているかまたはフォーカスされていないか、セッションアイテムが使用された（または最後に使用された）時間、および／またはセッションアイテムの最新性または最後の出現順序、および／またはセッションのこうした詳細のうちの任意のものまたはすべてを定義するメタデータも含むことができる。いくつかの例では、セッションデータ２２６は、オーディオストリームレコーディング１１０ａおよびビデオストリームレコーディング１１０ｂなど、セッションに対するレコーディングされたコンテンツを含む場合がある。こうしたレコーディングは、サーバ（サーバ２０４またはクラウドサーバなど）に格納するか、ローカルに（たとえば、デバイス２０１または２０２に）格納するか、またはシステム１００のレコーディングされたコンテンツおよびメタデータを格納するように構成された特定のライブラリ１１６に格納することができる。
いくつかの例では、セッションデータ２２６は、ネットワーク２４０を介してサーバコンピューティングシステム２０４に送信され、そこで、サーバコンピューティングシステム２０４におけるユーザのユーザ許可データ２３６に従って、ユーザアカウント２３２と関連してメモリ２４２に格納することができる。たとえば、ユーザが、コンピューティングシステム２０２上の（たとえば、システム１００の）ユーザインターフェースでセッションアイテムを起動および／または操作すると、セッションアイテムに関するセッションデータ２２６を、サーバコンピューティングシステム２０４に送信することができる。いくつかの実施態様では、セッションデータ２２６は、コンピューティングシステム２０２上のメモリデバイス２４４内に代わりに（またはメモリデバイス２４４内にも）格納される。
ＵＩ生成器２２０は、システム１００に関連付けられかつ／またはシステム１００によって提供されるＵＩでレンダリングする、コンテンツアイテムおよびツールバーの表現を生成することができる。ＵＩ生成器２２０は、検索、コンテンツアイテム分析、ブラウザプロセス開始、および他の処理アクティビティを実施して、コンテンツアイテムがシステム１００に関連付けられたＵＩにおいて特定の領域または順序内で正確にかつ効率的にレンダリングされることを確実にすることができる。たとえば、生成器２２０は、システム１００に関連付けられたＵＩにおいて特定のコンテンツアイテムがいかに描写されるかを決定することができる。いくつかの実施態様では、生成器２２０は、システム１００によって描写されるコンテンツアイテムに書式設定を追加してもよい。いくつかの実施態様では、生成器２２０は、システム１００によって描写されるコンテンツアイテムから書式設定を削除してもよい。
図２Ａに示すように、Ｏ／Ｓ２１６は、サービス（図示せず）、通信モジュール２４８、カメラ２５０、メモリ２４４、およびＣＰＵ／ＧＰＵ２５２を含むか、またはそれらにアクセスすることができる。コンピューティングシステム２０２は、メタデータ２２８、プリファレンス２５６も含むか、またはそれらにアクセスすることもできる。加えて、コンピューティングシステム２０２は、入力デバイス２５８、および／または出力デバイス２６０も含むか、またはそれらにアクセスすることもできる。
システム２００がアクセスすることができるサービス（図示せず）は、オンラインストレージ、コンテンツアイテムアクセス、アカウントセッションまたはプロファイルアクセス、許可データアクセスなどを含むことができる。いくつかの実施態様では、サービスは、ユーザ情報およびアカウント２３２がサービスを介してアクセスされるサーバコンピューティングシステム２０４に置き換わるように機能してもよい。同様に、リアルタイムプレゼンテーションシステム１００に、１つまたは複数のサービスを介してアクセスしてもよい。
カメラ２５０は、コンピューティングシステム２０２（または、コンピューティングシステム２０２と通信する別のデバイス）によって実行されるカメラキャプチャ（およびビデオキャプチャ）に関連付けられた背景データの変化を検出することができる、１つまたは複数の画像センサ（図示せず）を含むことができる。カメラ２５０は、背面キャプチャモードおよび前面キャプチャモードを含むことができる。
コンピューティングシステム２０２は、特定のポリシーおよび許可およびプリファレンス２５６を生成および／または配布することができる。ポリシーおよび許可およびプリファレンス２５６は、コンピューティングシステム２０２、システム１００のデバイス製造業者によって、かつ／またはシステム２０２にアクセスするユーザによって構成することができる。ポリシーおよびプリファレンス２５６は、オーディオコマンド、視覚コマンド、スケジュールベースのコマンド、または他の構成可能なコマンドに基づいてトリガするルーチン（すなわち、一組のアクション）を含むことができる。たとえば、ユーザは、表示される特定のＵＩを設定し、特定のアクションに応答するＵＩとのインタラクションのレコーディングを開始することができる。こうしたアクションを検出することに応じて、システム２０２は、ＵＩを表示し、レコーディングをトリガすることができる。他のポリシーおよびプリファレンス２５６は、ポリシーおよび許可および／またはプリファレンス２５６で構成されたシステム２０２に関連付けられたコンテンツを変更および／または制御するように構成してもよい。
入力デバイス２５８は、たとえば、触覚ユーザ入力を受け取ることができるタッチ入力デバイス、キーボード、マウス、ハンドコントローラ、ウェアラブルコントローラ、モバイルデバイス（または、他のポータブル電子デバイス）、可聴ユーザ入力を受け取ることができるマイクロフォンなどを介して受け取られたデータを、システム２０２に提供することができる。出力デバイス２６０は、たとえば、視覚的出力のためにディスプレイ用のコンテンツを生成するデバイス、音声出力のための１つまたは複数のスピーカなどを含むことができる。
いくつかの実施態様では、コンピューティングシステム２０２は、特定のアプリケーションおよび／またはＯ／Ｓデータをリポジトリに格納することができる。たとえば、アノテーション１１４、データレコード２１４、メタデータ２２８、オーディオストリームレコーディング１１０ａ、およびビデオストリームレコーディング１１０ｂは、後に検索しかつ／または取り出すために格納することができる。同様に、スクリーンキャプチャおよびアノテーションビデオストリームもまた、こうしたリポジトリに格納し、そこから取り出すことができる。
サーバコンピューティングシステム２０４は、多数の異なるデバイスの形態をとる任意の数のコンピューティングデバイス、たとえば標準サーバ、そうしたサーバのグループ、またはラックサーバシステムを含むことができる。いくつかの例では、サーバコンピューティングシステム２０４は、プロセッサ２６２およびメモリ２４２などのコンポーネントを共有する単一のシステムであってもよい。ユーザアカウント２３２は、ユーザ許可データ２３６に従って、システム２０４およびセッション２３０の構成および／またはプロファイル２３４の構成と関連付けることができ、たとえば、ユーザアカウント２３２のユーザの要求に応じてシステム２０２に提供することができる。
ネットワーク２４０は、インターネット、および／または、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、セルラネットワーク、衛星ネットワーク、または他のタイプのデータネットワークなど、他のタイプのデータネットワークを含むことができる。ネットワーク２４０は、ネットワーク２４０内でデータを受信および／または送信するように構成された任意の数のコンピューティングデバイス（たとえば、コンピュータ、サーバ、ルータ、ネットワークスイッチなど）も含むことができる。ネットワーク２４０は、任意の数の配線接続および／または無線接続をさらに含むことができる。
サーバコンピューティングシステム２０４は、基板に形成された１つまたは複数のプロセッサ２６２、オペレーティングシステム（図示せず）、および１つまたは複数のメモリデバイス２４２を含むことができる。メモリデバイス２４２は、任意の種類の（または複数の種類の）メモリ（たとえば、ＲＡＭ、フラッシュ、キャッシュ、ディスク、テープなど）を表すことができる。いくつかの例（図示せず）では、メモリデバイス２４２は、外部記憶デバイス、たとえば、サーバコンピューティングシステム２０４から物理的に離れているがサーバコンピューティングシステム２０４によりアクセス可能なメモリを含むことができる。サーバコンピューティングシステム２０４は、特別にプログラムされたソフトウェアを表す１つまたは複数のモジュールまたはエンジンを含むことができる。
概して、コンピューティングシステム１００、２０１、２０２、および２０４は、たとえば、本明細書に記載するシステムおよび技法を使用して互いの間で、通信モジュール２４８を介して通信することができ、かつ／またはネットワーク２４０を介して無線でデータを転送することができる。いくつかの実施態様では、各システム１００、２０１、２０２、および２０４は、システム２００内で、システム２００に関連付けられた他のデバイスと通信するように構成することができる。
図２Ｂは、ビデオおよびオーディオをレコーディングし、結果として得られるレコーディングされたコンテンツ（たとえば、オーディオストリームレコーディング１１０ａ、ビデオストリームレコーディング１１０ｂ、レコーディングされたアノテーション１１４、および他のレコーディングされたビデオストリーム）を、関連するメタデータ２２８とともに格納するアーキテクチャ例２６３を表す。この例では、リアルタイムプレゼンテーションシステム１００は、Ｏ／Ｓ用のネイティブアプリケーションを介してアクセスされ、ネイティブアプリケーションに関連付けられたレコーディングツールを使用する。レコーディング（たとえば、ビデオおよびオーディオストリーム）は、リアルタイムでオンラインドライブにアップロードしてもよい。
図２Ｂに示すように、Ｏ／Ｓ２１６は、リアルタイムプレゼンテーションシステム１００および任意の数のアプリケーション２１８を含むか、またはそれらにアクセスすることができる。たとえば、アプリケーション２１８は、ブラウザ２２２も含むことができる。ブラウザ２２２は、インターネット上の情報にアクセスするように構成されたウェブブラウザを表す。ブラウザ２２２は、ブラウザコンテンツまたは他のブラウザベースの動作を生成するために、１つまたは複数のブラウザプロセス２６４を起動することができる。ブラウザ２２２は、１つまたは複数のブラウザウィンドウ２６８のコンテキスト内でブラウザタブ２６６を起動することもできる。
アプリケーション２１８は、ウェブアプリケーション２７０を含むことができる。ウェブアプリケーション２７０は、たとえば、リモートサーバ（たとえば、ウェブサーバ）に格納され、ブラウザタブ２６６を介してネットワーク２４０で配布される、アプリケーションプログラムを表す。いくつかの実施態様では、ウェブアプリケーション２７０は、デバイスに保存してオフラインで使用することができるプログレッシブウェブアプリケーションである。アプリケーション２１８は、コンピューティングシステム２０２上に少なくとも部分的に格納される（たとえば、ローカルに格納される）プログラムであり得る、非ウェブアプリケーションも含むことができる。いくつかの例では、非ウェブアプリケーションは、Ｏ／Ｓ２１６によって実行可能（または、Ｏ／Ｓ２１６の上で実行可能）であってもよい。
アプリケーション２１８は、ネイティブアプリケーション２７２をさらに含むことができる。ネイティブアプリケーション２７２は、特定のプラットフォームまたはデバイス上で使用されるように開発されたソフトウェアプログラムを表す。いくつかの例では、ネイティブアプリケーション２７２は、複数のプラットフォームまたはデバイス用に開発されたソフトウェアプログラムである。いくつかの例では、ネイティブアプリケーション２７２は、モバイルプラットフォーム上で使用されるように開発され、デスクトップまたはラップトップコンピュータ上で実行するようにも構成された、ソフトウェアプログラムである。
いくつかの実施態様では、リアルタイムプレゼンテーションシステム１００は、アプリケーションとして実行することができる。いくつかの実施態様では、システム１００はビデオ会議アプリケーション内で実行することができる。いくつかの実施態様では、リアルタイムプレゼンテーションシステム１００は、ネイティブアプリケーションとして実行することができる。概して、システム１００は、オーディオデータもしくはテキスト、ＨＴＭＬ、画像、オブジェクト、テーブル、またはアプリケーション２１８内の他のコンテンツアイテムの選択、変更、およびレコーディングをサポートするように構成することができる。
図２Ｂに示すプレゼンテーションシステム１００は、レコーディング２７３、リアルタイムトランスクリプション２７４、リアルタイム翻訳２７５、図面２７６、およびキーアイデアメタデータ２７８を含む。各要素２７３～２７８は、システム１００のセッション中にレコーディングすることができる。レコーディングされた要素２７３～２７８は、セッション中に第１のユーザ（たとえば、プレゼンター）によってアノテーション付けし、任意の数の他のユーザ（データ消費者、参加者など）にリアルタイムで提供する（共有する、キャストする、ストリーミングするなど）ことができる、ビデオおよび／またはオーディオストリームを表すことができる。
いくつかの実施態様では、要素２７３～２７８に関連付けられたレコーディングされたストリームは、システム１００に関連付けられた１つまたは複数のツールを使用して生成することができる。システム１００は、メモリと、メモリに結合された少なくとも１つのプロセッサとを含み、かつ／またはそれらにアクセスすることができ、少なくとも１つのプロセッサは、協働するオンラインユーザインターフェース（たとえば、システム１００）を生成するように構成されている。ユーザインターフェースは、レンダラおよびツール／ツールバー１０８（たとえば、アノテーション生成ツール１０８ａ、トランスクリプション生成ツール１０８ｂ、ビデオコンテンツ生成ツール１０８ｃ）からコマンドを受け取るように構成されている。各ツール／ツールバー１０８は、システム１００によって提示されるＵＩまたはツールバーを介してアクセス可能であり得る。
レンダラ（たとえば、ＵＩ生成器２２０）は、システム１００のユーザインターフェース内から複数のアプリケーションのうちの１つまたは複数のアクセスに関連付けられたオーディオおよびビデオコンテンツをレンダリングするように構成することができる。たとえば、レンダラは、ＵＩ生成器２２０を利用して、システム１００内の、またはコンピューティングシステム２０２に関連付けられた、アプリケーション、アノテーション、カーソル、入力、ビデオストリーム、または他のＵＩコンテンツをレンダリングすることができる。
（たとえば、ツールバー１１８上の）アノテーション生成ツール１０８ａは、ユーザインターフェースにおいてアノテーション入力（たとえば、アノテーション入力１２０）を受け取るように構成することができる。そして、アノテーション生成ツール１０８ａは、その入力を使用して、オーディオおよびビデオコンテンツのレンダリング中に、受け取ったアノテーション入力に対する任意の数のアノテーションデータレコードを生成することができる。アノテーション生成ツール１０８ａは、アノテーション入力を受け取り、それぞれの受け取ったアノテーション入力に対するタイムスタンプの格納をもたらす、少なくとも１つのコントロールを含むことができる。タイムスタンプを使用して、ビデオコンテンツをシステム１００に関連付けられたアノテーション、トランスクリプション、翻訳、および／または他のデータと一致させることができる。
いくつかの実施態様では、（たとえば、アノテーション１１４および／またはメタデータ２２８から生成される）アノテーションデータレコード２１１は、アノテーション入力を受け取っている、アクセスされている少なくとも１つのアプリケーションの指示を含むことができる。アノテーションデータレコード２１１は、指示されたアプリケーションを描写するレンダリングされたビデオコンテンツの一部の少なくとも１つの画像フレーム上にアノテーション入力を（それぞれのタイムスタンプに従って）オーバーレイする、機械可読命令も含むことができる。たとえば、アノテーションデータレコード２１１は、任意の数のビデオストリーム、メタデータ、およびアノテーション入力を利用して、たとえば、アプリケーションを描写する１つまたは複数の他のビデオストリームの特定のフレームに対するオーバーレイ（たとえば、ビデオストリームオーバーレイ）の適切な位置決めを決定するために、いずれの特定のアプリケーションがアノテーションを受け取っているか、およびいずれの時点で受け取っているかを決定することができる。これらの画像フレームおよびアノテーションオーバーレイを使用して、代表的なコンテンツ１１２を生成し、ユーザがアノテーション付きコンセプトを迅速に見直すことができるようにすることができ、これにより、ユーザがビデオストリーム全体を見直すことを回避することができる。
アノテーション入力を少なくとも１つの画像フレームにオーバーレイすることは、複数のアノテーションデータレコードのうちの少なくとも１つを取り出すこと、オーバーレイを実行するための機械可読命令を実行することを含むことができる。次いで、システム１００は、ドキュメント（たとえば、オンラインドキュメント、ビデオスニペット、トランスクリプションスニペット、画像など）を生成することができ、ドキュメントによって、ユーザは、（タイムスタンプ、アノテーションなどを示すアノテーションデータレコードに基づいて）少なくとも１つの画像フレーム上にオーバーレイされたアノテーション入力を含む少なくとも１つの画像フレームをスクロールすることができる。
トランスクリプション生成ツール１０８ｂは、オーディオおよびビデオコンテンツのレンダリング中にキャプチャされたオーディオコンテンツを文字起こしするように構成することができ、システム１００に関連付けられたユーザインターフェースに文字起こしされたオーディオコンテンツを表示することができる。いくつかの実施態様では、トランスクリプション生成ツール１０８ｂは、システム１００によってレンダリングされ、プレゼンターによって話されているオーディオスピーチに対応するトランスクリプションの特定の位置を、プレゼンテーションを視聴しているユーザに示すために、文字起こしされたテキスト上にオーバーレイされたマーカ、強調表示、または他のインジケータも提供することができる。いくつかの実施態様では、重要なコンセプトまたは言語を示すために、文字起こしされたテキストとともにまたはその上に、追加のインジケータを提供することができる。後にレコーディングにアクセスするユーザは、そうしたインジケータを利用して、重要なコンセプトまたは言語を迅速に見つけることができる。加えて、システム１００は、こうしたインジケータをトリガとして使用して、特定のインジケータのマーキングに関連付けられた時間の閾値内に発生するオーディオコンテンツ、ビデオコンテンツ、トランスクリプションコンテンツ、翻訳コンテンツ、および／またはアノテーションコンテンツを取得することができる。こうしたインジケータを使用して、要約コンテンツおよび／またはビデオストリームの他の表現（たとえば、オーディオおよびビデオコンテンツ）を生成することができる。
たとえば、要約生成ツール１０８ｃは、オーディオおよび／またはビデオのレンダリングの終了を検出することに応じて、代表的なコンテンツ１１２を生成するために、そうしたインジケータ（および／またはアノテーション）を取り出すように構成することができる。代表的なコンテンツは、アノテーション入力、ビデオコンテンツ、および文字起こしされたオーディオコンテンツに基づくことができる。いくつかの実施態様では、要約コンテンツは、アノテーション入力（または他のインジケータ）でマークされたレンダリングされたオーディオおよびビデオの一部を含むことができる。いくつかの実施態様では、ビデオコンテンツ生成ツール１０８ｃは、代表的なコンテンツ１１２へのＵＲＬリンクを生成するようにさらに構成されている。たとえば、システム１００は、１つまたは複数のビデオストリームのビデオおよび／またはオーディオコンテンツの特にコンパイルされ、キュレーションされ、または他の方法で組み合わされた部分を、ウェブサイトまたはオンラインストレージメモリにアップロードされるようにトリガして、その部分に好都合にかつ後にアクセスすることができるようにすることができる。いくつかの実施態様では、ツール１０８ｃは、たとえばウェブブラウザアプリケーション２２２を使用して代表的なコンテンツ１１２の少なくとも一部を見つける検索機能を有効にするために、代表的なコンテンツ１１２にインデックス付けすることもできる。
動作時、第１のユーザ（たとえば、プレゼンターコンピューティングシステム２７９を）は、（たとえば、アプリケーショントリガまたはＯ／Ｓトリガを介して）リアルタイムプレゼンテーションシステムのセッションをトリガすることができる。システムは、システム２７９のプレゼンターが、コンテンツをプレゼンテーションし、レコーディングするように操作することができる。たとえば、システム２７９は、レコーディング２７３をトリガして、レコーディングされたプレゼンタービデオストリーム（たとえば、自撮りカメラでキャプチャされたコンテンツ）、スクリーンキャストビデオストリーム（たとえば、図面２７６およびスクリーンキャスト２７７コンテンツ）、アノテーションビデオストリーム（アノテーションデータレコード２１４ならびに／またはキーアイデアマーカおよび対応するメタデータ２７８）、トランスクリプションビデオストリーム（たとえば、リアルタイムトランスクリプション２７４）、および／または翻訳ビデオストリーム（たとえば、リアルタイム翻訳２７５）の形態のビデオおよび／またはオーディオコンテンツを生成することができる。プレゼンターは、レコーディング中にこれらのストリームのうちの任意のものをオン／オフすることができる。いくつかの実施形態では、レコーディング中にメタデータ２２８をキャプチャして格納することができる。メタデータ２２８は、任意の数のビデオストリームに関連することができる。各ビデオストリームは、オーディオデータおよび／またはアノテーションデータも含むことができる。しかしながら、いくつかの実施態様では、アノテーションデータは、ビデオレイヤとして別個にレコーディングしてもよい。
レコーディングをトリガし、コンテンツのプレゼンテーションおよび／またはアノテーション付けを開始すると、システム１００は、キャストアプリケーション２８０をトリガして、プレゼンテーションおよび／またはアノテーションを別個のデバイス（たとえば、役員会議室のテレビ２８１または他のデバイス）でキャストすることができる。システム１００は、ビデオ／オーディオコンテンツ２８２のトランスクリプションもトリガすることができ、このトランスクリプションは、リアルタイムで生成し、オンラインストレージ２８３に提供することができる。コンテンツは、書式設定アプリケーション２８４によって、システム１００内でのプレゼンテーションのためにリアルタイムで書式設定することができ、書式設定アプリケーション２８４は、アプリケーション２８５（または、たとえば、コンピューティングシステム２８６を使用するユーザがアクセス可能な他のアプリケーション）に、そうした文字起こしされた（かつ／または翻訳された）データを提供することもできる。いくつかの実施態様では、翻訳およびトランスクリプションは、ユーザが、システム１００のＵＩのビューに提供されるよう要求しなくてもよい。その場合、プレゼンターコンピューティングシステム２７９は、書式設定アプリケーション２８４に直接、その後、ユーザコンピューティングシステム２８６に（いくつかの例ではアプリケーション２８５を介して）リアルタイムでレコーディングコンテンツを提供することができる。
いくつかの実施態様では、システム１００は、ビデオコンテンツ（および／またはオーディオコンテンツ）をキャプチャするレコーディング２７３を開始させることができる。ビデオコンテンツ（および／またはオーディオコンテンツ）は、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、翻訳ビデオストリーム、オーディオストリーム、および／またはアノテーションビデオストリームとして表すことができる。これらのストリームの任意の好適な組み合わせが、ビデオコンテンツを形成することができ、プレゼンターがレコーディング２７３中に１つまたは複数のストリームをオフまたはオンするのを選択した場合、ビデオコンテンツ内のストリームが変化することができる。このように簡単な方法で異なるストリームを選択することができることにより、コンテンツをレコーディングし、レコーディングされたコンテンツから追加の代表的なコンテンツを生成することに対する柔軟な手法が提供される。システム１００は、ビデオコンテンツ（および／またはオーディオコンテンツ）に基づいて、ビデオコンテンツ（および／またはオーディオコンテンツ）のキャプチャ中に、少なくとも１つのメタデータレコードを生成することができる。各メタデータレコードは、ビデオコンテンツの少なくとも１つの部分を、レコーディングビデオストリームのうちの少なくとも１つで受け取られた入力（たとえば、アノテーション１１４／レコード２１４、キーアイデアメタデータ２７８）に同期させるために使用されるタイミング情報を表すことができる。言い換えると、タイミング情報を使用して、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、またはアノテーションビデオストリームのうちの少なくとも１つで（または他の任意のストリームで）受け取った入力を、ビデオコンテンツに同期させることができる。タイミング情報は、学習ガイド（代表的なコンテンツ１１２）、ビデオコンテンツのスニペットへのアノテーションのオーバーレイ、検索可能なビデオコンテンツなどを生成するために、後に使用することができる。
図３Ａ～図３Ｃは、本明細書に記載する実施形態による、リアルタイムプレゼンテーションシステムのユーザインターフェース（ＵＩ）例とアノテーション付きコンテンツ間の切り替えとを示すスクリーンショットである。この例では、（プレゼンタービデオストリーム１２２に示されている）プレゼンターは、プレゼンテーション（たとえば、スクリーンキャスト、スクリーンシェア、ビデオ会議など）をトリガして、参加者ストリーム１２６に示されているユーザが消費するように、コンテンツのプレゼンテーションおよびレコーディングを開始することができる。いくつかの実施態様では、システム１００は、システム１００によってレンダリングされる特定のオーディオおよびビデオコンテンツのレコーディングの開始をトリガするように構成されている。たとえば、プレゼンターは、システム１００からのコンテンツの共有を開始することを単一のコントロールで示すことができ、これにより、そうしたコンテンツの自動レコーディングをトリガすることができる。
図３Ａに示すように、ストリーム１２２のプレゼンターは、第１のアプリケーション３０２および第２のアプリケーション３０４をプレゼンテーションしている。第１のアプリケーション３０２は、アノテーション３０６およびアノテーション３０８でアノテーション付けされている。ストリーム１２２のプレゼンターは、たとえば、アノテータ生成ツール（たとえば、ツールバー３１４）からのペンツール３１２を使用して、カーソル３１０ａを使用して能動的にアノテーション付けすることができる。動作時、レンダリングされたビデオコンテンツは、システム１００にアクセス可能な任意の数の開いているまたは利用可能なアプリケーションからの第１のアプリケーション３０２に関連付けられたデータ（マップならびにアノテーション３０６および３０８）を含むことができる。レンダリングされたビデオコンテンツは、第２のアプリケーション３０４に関連付けられたデータ（たとえば、地理コンセプト）も含むことができる。
プレゼンター（またはプレゼンテーションされたコンテンツの消費者）は、システム１００によって提示された任意の数のアプリケーション、ドキュメント、コンテンツアイテム、または表示部分にアノテーション付けすることができるため、システム１００は、上記のアイテムのうちのいずれがアノテーションを受け取るかを追跡するように構成されている。アノテーション付けされたアイテムへのアノテーションを追跡することにより、アノテーションがビデオコンテンツ（たとえば、ストリーム）のレイヤとしてキャプチャされることが可能になり、ユーザがレコーディングされたコンテンツに後にアクセスするときに、そのレイヤを後にオーバーレイするかまたは表示されないようにすることができるようになる。こうしたオーバーレイの切り替えにより、ユーザがアプリケーションコンテンツと適切なアプリケーションコンテンツに対するアノテーションとを適切に表示することができることを確実にすることができる。加えて、ユーザは、アプリケーション（たとえば、アプリケーション３０４）に関連付けられたスクロールコントロール（たとえば、コントロール３１６）を使用することができる。プレゼンターは、コンテンツをスクロールするカーソルフォーカスを有する特定のアプリケーションでコンテンツをスクロールし、アノテーションをコンテンツとともにスクロール（たとえば、移動）させることができる。このように、オーバーレイされたアノテーションのセットをキャプチャし、アプリケーションコンテンツとともにスクロールして、アノテーション付きアプリケーションコンテンツが保存されるのを確実にすることができる。
図３Ｂに示すように、（プレゼンターストリーム１２２に示されている）プレゼンターは、アプリケーション３０４においてアプリケーションコンテンツをプレゼンテーションしている。この例では、プレゼンターは、アノテーション３１８、アノテーション３２０、およびアノテーション３２２によって示すように、アプリケーション３０４において、ツールバー３１４を使用してコンテンツにアノテーション付けした。アノテーション３１８～３２２は、選択されたペンツールによるテキスト書き込みとして描かれているが、アプリケーションコンテンツ内のマーキングツールおよび／または選択を使用して、任意の数のアノテーションおよびアノテーションタイプを入力することができる。たとえば、コンテンツは、強調表示し、描画し、修正し、マークするなどが可能である。いくつかの実施態様では、特定のコンテンツは、コンテンツをマークするためのインジケータを含むことができる。たとえば、いくつかのコンテンツは、テキストのパラグラフに関係する場合がある。そうした例では、アプリケーションコンテンツ内のパラグラフ上またはパラグラフの近くに提示されたインジケータを選択することによって、パラグラフ全体をマークすることができる。各アノテーション３１８～３２２に、それぞれのアノテーションがユーザによって入力された、レコーディングされたビデオ内の時刻を表す１つまたは複数のタイムスタンプと関連付けることができる。タイムスタンプは、システム１００がアノテーションを含む特定のコンテンツを追跡および検索する方法を示すことができる。
たとえば、アノテーションを追跡することにより、システム１００は、リアルタイムで、第１のアプリケーションにおいて、レコーディングビデオコンテンツの第１のセグメント中に第１のアノテーションのセット（たとえば、アノテーション３０６および３０８）を受け取り、第１のセグメントに関連付けられたそれぞれのタイムスタンプに従って第１のアノテーションのセット（たとえば、アノテーション１１４および／またはアノテーションデータレコード２１４）を格納することができる。システム１００はまた、リアルタイムで、第２のアプリケーション（たとえば、アプリケーション３０４）において、レコーディングビデオコンテンツの第２のセグメント中に第２のアノテーションのセット（たとえば、アノテーション３１８、３２０、および３２２）を受け取り、第２のセグメントに関連付けられたそれぞれのタイムスタンプに従って第２のアノテーションのセットを格納することができる。ある時点で、システム１００は、カーソルフォーカスがアプリケーション間で切り替わったことを検出することができる。たとえば、システム１００は、プレゼンターが、カーソル３１０ａがフォーカスされているアプリケーション３０２の使用から、代わりにカーソル３１０ｂがフォーカスされているアプリケーション３０４の使用に切り替えた、と判断する場合がある。アノテーションは、アプリケーションコンテンツの上にレイヤとして提供される場合があるため、カーソルフォーカスの変更に応じてアノテーションを適用および削除して、最近カーソルフォーカスを受け取ったアプリケーションまたはアプリケーションコンテンツに適用されなくなったアノテーション付きコンテンツを有することを回避することができる。
カーソルフォーカスが第１のアプリケーション３０２から第２のアプリケーション３０４に切り替わったことを検出することに応じて、システム１００は、第２のアノテーションのセット３１８、３２０、および３２２を取り出し、第２のアプリケーションに関連付けられたデータ（たとえば、アプリケーションコンテンツ、メタデータ、またはコンテンツに対する他の設定）を取り出すことができる。次に、システム１００は、第２のセグメントに関連付けられたタイムスタンプを、第２のアノテーションのセット３１８、３２０、および３２２と一致させることができる。以前のタイムスタンプで受け取られたアノテーションを適切に表示するために、システム１００は、タイムスタンプの時点で表示中であったコンテンツ（スクリーンキャストなど）を一致させ、アノテーション（たとえば、アノテーション３１８、３２０、および３２２）をオーバーレイする。次いで、システム１００は、第２のセグメントに関連付けられたそれぞれのタイムスタンプに従って、第２のアプリケーション３０４上に、取り出された第２のアノテーションのセット（たとえば、アノテーション３１８、３２０、および３２２）を表示させることができる。加えて、システム１００は、システム１００に関連付けられた異なるアプリケーションに適用されたアノテーションを削除してもよい。たとえば、システム１００は、プレゼンターがカーソルフォーカスをアプリケーション３０４に切り替えたときに、アプリケーション３０２に関連付けられたアノテーションを削除してもよい。図３Ａに示すように、ユーザがアプリケーション３０２に戻すように切り替えた場合、システム１００は、アノテーション３１８、３２０、および３２２を削除し、代わりにアノテーション３０６および３０８を取り出してレンダリングして、たとえば、アプリケーション３０２が以前のマークアップからの正確なアノテーションを描写することを確実にすることができる。アプリケーション３０２、３０４がＵＩ内で並列配置される（すなわち、重なっていない）例では、アプリケーション３０２でアノテーション３０６、３０８を表示することができ、同時に、アプリケーション３０４でアノテーション３１８、３２０、３２２を表示することができる。このようにして、ユーザは、表示されているコンテンツに対するすべてのアノテーションを同時に見ることができる。
いくつかの実施態様では、システム１００を使用するプレゼンターは、アノテーションツールを介して（たとえば、ツールバー３１４または別のツールバーの１つまたは複数のツールから）第１のアノテーションのセット（たとえば、アノテーション３０６および３０８）および第２のアノテーションのセット（たとえば、アノテーション３１８、３２０、３２２）の生成をトリガすることができる。アノテーションツールは、第１のアノテーションのセット（たとえば、アノテーション３０６および３０８）および第２のアノテーションのセット（たとえば、アノテーション３１８、３２０、３２２）の各アノテーションについて、第１のアプリケーションに関連付けられたデータまたは第２のアプリケーションに関連付けられたデータにおける初期位置を保持しながら、第１のアノテーションのセットおよび第２のアノテーションのセットのマーキング、格納、およびスクロールを可能にすることができる。すなわち、アノテーションツールは、各アノテーションについて、特定のアプリケーションによって提示されたデータコンテンツにおける、それぞれのアノテーションを見つける場所（すなわち、位置）を示すメタデータを格納することができる。このように、システム１００は、たとえば要約コンテンツ（または他の代表的なコンテンツ）が生成されるときに、データコンテンツの上に復元することができるアノテーションのオーバーレイを生成することができる。別の例では、システム１００は、プレゼンターがデータコンテンツをスクロールしかつ／またはアプリケーション間を切り替えるときに、データコンテンツにおける適切な位置にアノテーションのこうしたオーバーレイを生成することができる。
いくつかの実施態様では、第２のアプリケーション３０４で追加のアノテーション（たとえば、アノテーション３２４）を受け取ることができる。この例では、プレゼンターは、ライブラリコード、リソースリンク、およびオフィスアワーの変更に関するメモを追加した。追加のアノテーション（たとえば、アノテーション３２４）は、レコーディング中にアノテーション３２４がアプリケーション３０４のコンテンツに追加されたときに対応するそれぞれのタイムスタンプと関連付けることもできる。レコーディングの完了を検出することに応じて、システム１００は、図３Ｃに示すように、ドキュメント３２８を生成することができる。ドキュメント３２８は、第２のアノテーションのセット（たとえば、アノテーション３１８、３２０、および３２２）および追加のアノテーション（たとえば、アノテーション３２４）から生成することができる。ドキュメントは、第２のセグメントに関連付けられたそれぞれのタイムスタンプと追加のアノテーションに関連付けられたそれぞれのタイムスタンプとに従って、第２のアプリケーション３０４に関連付けられたデータの上にオーバーレイされた第２のアノテーションのセット３１８～３２２および追加のアノテーション３２４を含むことができる。いくつかの実施態様では、１つまたは複数の静止画フレームまたは動画スニペット３３０は、ドキュメント３２８内で実行されるように生成してもよく、または、ドキュメント３２８に関連付けられたリンクまたは検索結果として提供してもよい。入力（アノテーション３１８～３２２および追加アノテーション３２４など）は、タイムスタンプをビデオコンテンツに関連付けられたドキュメント３２８内のそれぞれの位置に一致させることによって、ビデオコンテンツと同期させる（すなわち、アプリケーション３０４からのデータの正しい位置にオーバーレイする）ことができる。
いくつかの実施態様では、システム１００は、第２のセグメントに関連付けられた、レコーディングされたオーディオコンテンツのトランスクリプション３３２も生成することができる。概して、ドキュメント３２８は、任意の時点で変更されるように構成することができる。たとえば、プレゼンターは、変更されたオーディオ、追加のマークアップもしくはアノテーション、および／または他の変更など、レコーディングされたプレゼンテーションに後に変更を行うことができる。こうした変更は、変更を含むようにドキュメント３２８が再生成されるようにトリガするように構成することができる。ドキュメント３２８は、要約コンテンツドキュメントまたは代表的なコンテンツドキュメントと称することもできる。
図４は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって提供されるプレゼンターツールバー例４００を示すスクリーンショットである。プレゼンターツールバー４００は、少なくとも、レーザポインタツール４０２、ペンツール４０４、拡大鏡ツール４０６、消しゴムツール４０８、スクリーンキャストレコーディングツール４１０、チャプタ作成ツール４１２、自撮り（たとえば、プレゼンター）カメラツール４１４、クローズドキャプションツール４１６、トランスクリプションツール４１８、およびマーカツール４２０を含む。ツールバー４００の各ツール４０２～４２０は、アノテーション生成ツール１０８ａの一部であってもよい。たとえば、各ツールを使用して、プレゼンテーションされているコンテンツに対するアノテーションを作成することができる。
レーザポインタツール４０２を使用して、システム１００でのプレゼンテーション中に、カーソルをレーザポインタとして構成することができる。レーザポインタツール４０２は、システム１００によって提供されるプレゼンテーションの消費者に視覚的フォーカスを提供することができる。ペンツール４０４は、提示された画面（たとえば、ウィンドウ、アプリケーション、全画面など）の任意のコンテンツまたは部分に対するアノテーション機能を提供することができる。ペンツール４０４は、任意の数の選択可能なペン、カラーコンテンツ、コンテンツおよび／またはテキストのサイズ、形状などを含むことができる。拡大鏡ツール４０６は、プレゼンテーション中にプレゼンターによって拡大されるすべての小さいテキストおよびグラフィックにズーム機能を提供することができる。消しゴムツール４０８は、誤りを修正するためかまたはアノテーションを削除するために、たとえば、より多くのアノテーションを生成するための場所を確保するために、手操作の消しゴムに類似した削除および消去機能を提供することができる。
スクリーンキャストレコーディングツール４１０は、レコーディングと、そうしたレコーディングされたコンテンツのローカルでの、クラウドサーバへの、または他の選択された場所へのアップロードを開始する、レコーディング機能を提供することができる。いくつかの実施態様では、スクリーンキャストレコーディングツール４１０は、レコーディングをトリガするだけでなく、スクリーンキャスト、スクリーンシェア、または他のプレゼンテーションモードをトリガする。たとえば、プレゼンターがツール４１０を選択すると、プレゼンテーションとレコーディングとが同時に開始することができる。これにより、ユーザは、コンテンツおよび／または関連するオーディオコンテンツをレコーディングしながら、コンテンツのプレゼンテーションを迅速に開始するために、単一のコントロール入力を選択することができるため、ユーザ（たとえば、プレゼンター）にとってプレゼンテーションおよびレコーディングが容易であるという利点を提供することができる。
概して、ツール４１０を選択したときに共有される画面またはウィンドウは、最後に検出された共有設定またはツール４１０を選択する前に使用された最後の画面であり得る。すなわち、プレゼンターのレコーディングスコープは、以前に選択された表示スコープ（たとえば、タブ、ウィンドウ、全画面など）と一致することができる。いくつかの実施態様では、いずれの表示スコープをプレゼンターが共有および／またはレコーディングするかを選択することができるように、ツール４１０を選択したときに確認ＵＩを提示することができる。いくつかの実施態様では、プレゼンターは、ツール４１０を再選択することによってプレゼンテーションを停止することができる。しかしながら、この行為は、レコーディングは停止しなくてもよい。これは、プレゼンターが、別の時点でレコーディングにアクセスするときに、視聴者が有することを望む可能性があるさらなるメモ、オーディオ、または追加のコンテンツを追加することができるようにするのに好都合であり得る。
レコーディングを終了するために、プレゼンターは、別のツールまたはコマンド（図示せず）を選択することができる。システム１００でレコーディングを終了（たとえば、停止）すると、ツールバー４００がビューから削除される場合がある。さらに、レコーディングを停止する指示を検出したとき、システム１００は、レコーディングのアップロード、送信、または他のファイナライズを自動的にトリガすることができる。レコーディングは、概して、レコーディングの完了時ではなく、レコーディングが発生する際にアップロードされるため、アップロード完了のための遅延は最小であり得る。いくつかの実施態様では、システム１００はオフラインであってもよく、そうした状況では、代わりにレコーディングのローカルコピーを生成することができる。
チャプタ作成ツール４１２は、プレゼンターにより、時間に関してレコーディングビデオにアノテーション付けするために使用することができる。たとえば、プレゼンターは、プレゼンテーション中の任意の時点でツール４１２を選択して、レコーディングビデオのチャプタを生成することができる。いくつかの実施態様では、チャプタ作成ツール４１２（またはレコーディング後ツール）は、レコーディングが完了した後（たとえば、レコーディング後）にレコーディングのためのチャプタを作成するために使用することができる。したがって、プレゼンターは、ユーザが将来、プレゼンテーションからコンテンツを検索し見直すことを容易にするために、プレゼンテーションをチャプタでさらにアノテーション付けすることを望む場合がある。チャプタは、ビデオのセクションを表す。チャプタは、ユーザがチャプタのコンテンツを特定するのを支援する、プレビュー画像フレームを提供することができる。チャプタは、メタデータ、タイトルデータ、またはユーザが追加したもしくはシステムが追加した識別データも含むことができる。チャプタで分割されたビデオは、タイムラインビューで提示して、ユーザが、タイムラインに提示された以前に構成されたチャプタインジケータを選択することができるようにすることができる。チャプタ生成を提供する従来のシステムは、こうした機能をレコーディング後に提供する。すなわち、従来のシステムは、ビデオをレコーディングしながらリアルタイムで（たとえば、オンザフライで）チャプタを生成するオプションは提供しない。
自撮り（たとえば、プレゼンター）カメラツール４１４は、リアルタイムプレゼンテーションシステム１００を実行するコンピューティングデバイス（たとえば、デバイス２０２）上の前面カメラの機能をトリガすることができる。ツール４１４は、プレゼンテーションされたコンテンツのプレゼンターおよび／またはユーザ（たとえば、消費者）によってオンおよびオフを切り替えることができる。ツール４１４によってキャプチャされたビデオストリームは、クローズドキャプションツール４１６および／またはトランスクリプションツール４１８によって、ツール４１４によって（たとえば、カメラ２５０を介して）キャプチャされたビデオ／オーディオストリーム（たとえば、ストリーム１２２）から提示されているオーディオデータのキャプション、トランスクリプション、および翻訳を生成するために使用することができる。
トランスクリプションツール４１８は、本明細書に記載するトランスクリプション生成ツール１０８ｂを表す。システム１００のプレゼンターは、オーディオのリアルタイムトランスクリプションをオンとオフとで切り替えることができる。いくつかの実施態様では、トランスクリプションツール４１８は、トランスクリプション生成ツール１０８ｂと組み合わせてクローズドキャプションツール４１６を使用することにより、完全な翻訳を伴うライブトランスクリプションをトリガすることができる。トランスクリプションツール４１８は、ＵＩ生成器２２０と協働して、たとえば、システム１００からのスクリーンシェアプレゼンテーションを介してプレゼンテーションされるコンテンツとともにレンダリングするための、特に書式設定されたトランスクリプションを生成することができる。
マーカツール４２０は、プレゼンターによって、たとえば、特定のコンテンツ、アイデア、スライド、アノテーション、または画面の他のプレゼンテーション部分をキーアイデアとしてマークするために選択することができる。キーアイデアは、プレゼンターが有用で、重要な、学習ガイドの材料とみなし、かつ／または代表的なコンテンツ１１２に選択可能であるとみなす要素を表すことができる。プレゼンターがマーカツール４２０を選択した場合、プレゼンテーションされたコンテンツに対して、システム１００にキーアイデアとして格納することができるように、他の標示（強調表示、アノテーションなど）を行うことができる。いくつかの実施態様では、マーカツール４２０は、ツール４２０がアクティブであることをプレゼンターに理解させるために、ツール４２０上のバックライトまたは他の標示の形式でユーザフィードバックを提供することができる。他のフィードバックオプションも可能である。
ツールバー４００は、ツールバーを閉じるか最小化するように機能することができるクローズメニューコントロール（図示せず）も含むことができる。ツールバー４００は、システム１００によって提供される任意のプレゼンテーションで使用されるように、移動および／または回転させることができる。いくつかの実施態様では、ツールバー４００は、カーソルがツールバーの上でドラッグされた場合、たとえば、ツールバー上でマウスオーバイベントが発生したとき、非表示にすることができる。これにより、プレゼンターおよびプレゼンテーションの視聴者（たとえば、ユーザ）が、ツールバー４００を手動で移動させる必要なしにコンテンツを表示することができるという利点を提供することができる。
図５Ａ～図５Ｃは、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのＵＩ例において画面を共有する例のスクリーンショットを示す。図５Ａは、ユーザがプレゼンテーション１０１（たとえば、Ｐ１０１）のホームページにアクセスしているブラウザ５００を示す。ユーザは、ブラウザタブ５０２およびブラウザタブ５０４内のコンテンツにもアクセスしている。ユーザは、１人または複数の他のユーザにコンテンツをプレゼンテーションすることを決定することができる。たとえば、ユーザは、多数のユーザにプレゼンテーションを提供するように計画しているプレゼンターであり得る。
プレゼンターは、（たとえば、Ｏ／Ｓ２１６またはリアルタイムプレゼンテーションシステム１００をホストするアプリケーション２１８を介して）コンピューティングシステム２０２によって提供されるメニューＵＩ５０６にアクセスすることができる。ＵＩ５０６は、クイック設定ＵＩから提示してもよい。ＵＩ５０６から、プレゼンターは、プレゼンテーション１０１からコンテンツをプレゼンテーションするためのスクリーンキャストおよび／またはスクリーンシェアを構成するための追加画面が提供されるように、カーソル５１０でプレゼンテーションコントロール５０８を選択することができる。
図５Ｂは、プレゼンターがビデオ会議５１６を介してコンテンツをキャストする５１４かまたはコンテンツを共有することを選択することができる、プレゼンテーションＵＩ５１２を示す。たとえば、プレゼンターは、役員会議室のテレビ（たとえば、テレビ２８１）にスクリーンキャストを介してプレゼンテーション１０１をプレゼンテーションすることを選択することができる。代替的に、プレゼンターは、ビデオ会議アプリケーションを介して（たとえば、ネイティブアプリケーションまたはブラウザアプリケーションを用いて）プレゼンテーション１０１をプレゼンテーションすることを選択してもよい。この例では、プレゼンターは、カーソル５１８によって示すように、プレゼンテーション１０１をキャストすることを選択した。
図５Ｃは、プレゼンターがいずれの表示フォーカスをキャストするかを選択することができるキャスティングＵＩ５２０を示す。ユーザがコンテンツを共有することを選択しているため、システム１００は、プレゼンテーションツールが利用可能であることを示すために、ツールバー５２２にポピュレートすることができる。ＵＩ５２０は、画面を共有するためのオプションを含む。オプションは、少なくとも内蔵ディスプレイオプション５２４および外部ディスプレイオプション５２６を含む。この例では、プレゼンターは、カーソル５２８で示すように、内蔵ディスプレイ５２４を選択した。プレゼンターには、画面のいずれのスコープを共有するかに関するオプションも提供することができる。描かれているオプション例は、画面全体オプション５３０、ブラウザタブオプション５３２、およびアプリケーションウィンドウ５３４を含む。他のオプションも可能であり、ＵＩ５２０の背後でカーソルフォーカスされているコンテンツに基づく。プレゼンターには、オーディオコンテンツを共有する（または共有しない）オプション５３６を提供することができる。プレゼンターに、プレゼンターツールをレンダリングする（またはレンダリングしない）オプション５３８も提供することができる。プレゼンターは、オプションを選択し、保存コントロール５４０を使用して選択したオプションを保存することができる。
図６Ａおよび図６Ｂは、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステム１００によって提供されるツールバー例のスクリーンショットを示す。図６Ａは、レンダリングされたツールバー６０２を有するブラウザタブ６００の共有されたプレゼンテーションを示す。プレゼンターは、ツールバー４００と同様に、ツールバー６０２上のツールにアクセスすることができる。この例では、プレゼンターはペンツール６０４を選択している。これに応じて、システム１００は、プレゼンターがペン用のオプションを選択することができるように、ペンツール６０４用のサブパネル６０６を提供している。サブパネル６０６は、選択されたアノテーションを削除するゴミ箱オプション６０９も含む。
図６Ａに示すように、プレゼンターは、描画６１０、テキスト６１２、および描画（たとえば、線６１４での円）などのアノテーション入力を提供している。プレゼンターは、誤りまたは余分なペンストロークであるように見える、追加のマーキング６１６も描いている。この場合、ユーザはマーキング６１６を選択し、次いで、オプション６０９を選択してマーキング６１６を削除することができる。
ツールバー６０２からのアノテーションは、共有ウィンドウまたは画面のスコープ内のコンテンツに対して生成することができる。プレゼンターがそのスコープ外で描画またはアノテーション付けを開始した場合、システム１００は、アノテーションがビューから外れているという標示をトリガすることができる。加えて、アノテーションは、スクロール可能とすることができ、レコーディング／キャスティングセッションの間、コンテンツがアノテーション付けされた状態であり続けるように構成することができる。レコーディングされたコンテンツおよびアノテーションがレコーディング／キャスティング後にアクセスされるのを可能にするように、コンテンツをアノテーションと一致させるために、対応するメタデータを有するアノテーションビデオストリームをキャプチャすることができる。いくつかの実施態様では、システム１００は、アノテーションストリーム内のアノテーションをキャプチャするように構成してもよいが、スクロールイベントが検出された場合、レコーディング／キャスティング中にアノテーションを表示されないようにしてもよい。いくつかの実施態様では、システム１００は、たとえば、レコーディング後に各ユーザが手動でアノテーションをパージするのを可能にすることができる。
いくつかの実施態様では、ウィンドウの切り替えにより、１つのウィンドウまたはアプリケーションから別のウィンドウまたはアプリケーションに切り替えるときに、アノテーションが削除される（たとえば、非表示になる）ようにトリガすることができる。その後、アノテーションに関連付けられたウィンドウまたはアプリケーションに戻るように切り替えたとき、アノテーションを置き換える（たとえば、再表示する）ことができる。加えて、アノテーションは、サイズ変更されたウィンドウに従ってサイズ変更することができる。いくつかの実施態様では、アノテーションは、基礎となるアプリケーションコンテンツがユーザに可視である限り、可視の（すなわち、レンダリングされ、表示された）ままであってもよい。言い換えれば、関連するアプリケーションが別のウィンドウまたはアプリケーションでオーバーラップされるか、または他の方法で前景にない場合であっても、アノテーションは可視であり得る。
図６Ｂは、別のサブパネル例６２０を有するツールバー例６０２を示す。この例では、ツールバー６０２は、いくつかの例を挙げると、特定のアノテーションを削除するゴミ箱オプション６２２、アノテーション入力をやり直すまたは取り消すやり直し／取り消しボタン、静的ペン６２６、消えるペン６２８、蛍光ペン６３０、および任意の数の選択可能な色６３２、６３４、および６３６を含む。プレゼンターが、たとえば色、フォント、線スタイル、またはペンツール６０４に関連する他のオプションを選択することができるようにするために、さらなるサブパネルが表示するために提供してもよい。
図７は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステム１００によって提供されるツールバー１０８の使用例のスクリーンショットを示す。ＵＩ７００は、米国の部分的な地図を描写している。プレゼンターは、ツールバー７０２を使用して、ＵＩ７００およびＵＩ７００の描写されたコンテンツとインタラクトすることができる。この例では、プレゼンターは、２つのチャプタが生成されたことをプレゼンターに通知するインジケータメッセージ７０８によって示すように、プレゼンテーションのレコーディング中にチャプタ作成ツール７０４を選択してチャプタを生成した。
チャプタ作成ツール７０２は、プレゼンターが、時間に関してレコーディングビデオにアノテーション付けするために使用することができる。たとえば、プレゼンターは、プレゼンテーション中の任意の時点でツール７０２を選択して、レコーディングビデオのチャプタを生成することができる。チャプタは、ビデオのセクションを表す。チャプタは、ユーザがチャプタのコンテンツを識別するのを支援するプレビュー画像フレームを提供することができる。チャプタは、メタデータ、タイトルデータ、またはユーザが追加したもしくはシステムが追加した識別データも含む（またはそれらの格納もトリガする）ことができる。チャプタで分割されたビデオは、タイムラインビューで提示して、ユーザが、タイムラインに提示された以前に構成されたチャプタインジケータを選択することができるようにすることができる。
図７に示すように、自撮りカメラストリーム（たとえば、プレゼンタービデオストリーム）を使用して、プレゼンテーションＵＩ空間の任意の部分に提供されるパススルービュー７０６を生成することができる。プレゼンターは、プレゼンターまたはビデオおよびオーディオコンテンツのプレゼンターであり得る。プレゼンタービデオストリームは、レコーディング全体を通して、たとえば、ストリームがアノテーション付けされているコンテンツのビューを妨げないことを確実にする画面上の場所に、自動的に配置することができる。いくつかの実施態様では、プレゼンターは、提示されたＵＩコンテンツ内のビュー７０６のプレゼンタービデオストリームをドラッグすることができる。いくつかの実施態様では、プレゼンターは、ビュー７０６を縮小または拡大することができる。いくつかの実施態様では、プレゼンターは、ビュー７０６をクロッピングすることができる。いくつかの実施態様では、プレゼンターはビュー７０６を非表示にすることができる。
図８は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムを使用する一例のフロー図を示す。この例では、プレゼンターは、システム１００を使用して、アイデアまたはコンテンツをプレゼンテーションすることができる。動作時、ユーザは、クイック設定ＵＩ（ＵＩ５０６またはＵＩ５１２など）を介してシステム１００にアクセスすることができる。ユーザは、プレゼンテーションの宛先を選択する（８０４）ことができる。たとえば、ユーザは、キャストを介して、またはビデオ会議を介してプレゼンテーションすることができる。次に、ユーザは、共有する画面のスコープを選択する（８０６）ことができる。たとえば、ユーザは、１つまたは複数の画面、１つまたは複数のブラウザタブ、１つまたは複数のアプリケーション、１つまたは複数のウィンドウなどを共有することを選択することができる。
いくつかの実施態様では、ユーザは、プレゼンテーションのスクリーンキャストをレコーディングすることを望む場合があり、プレゼンテーションをレコーディングするようにも選択する（８０８）ことによりそうすることができる。そして、スクリーンキャストのレコーディングが開始することができる。いくつかの実施態様では、クイック設定ＵＩは、単一の入力コマンドでキャストし、共有し、レコーディングするオプションを提供することができる。その後、ユーザはプレゼンテーションを行うことができ、アノテーション、チャプタ、およびその他のデータを生成することができる（８１０）。ユーザは、プレゼンテーション停止コントロールを選択することにより、プレゼンテーションを停止することを選択することができる（８１２）。ユーザは、プレゼンテーション（たとえば、スクリーンキャスト）をレコーディングすることを選択した場合、レコーディングを停止することによってプレゼンテーションを終了することができ、これにより、レコーディングを終了し、リポジトリへのレコーディングのアップロードを完了するようにシステム１００をトリガすることができる（８１４）。
図９は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって生成されるトランスクリプト９０２の一例を示すスクリーンショット９００である。スクリーンショット９００のビューは、プレゼンテーション／スクリーンキャストのレコーディング後に提供することができる。システム１００は、レコーディングが発生するとリアルタイムでトランスクリプト９０２を生成していてもよい。加えて、プレゼンターは、レコーディング中にキーアイデア９０４およびキーアイデア９０６をマークするアノテーションを作成していてもよい。プレゼンターは、ビデオコンテンツを他のユーザにとって有用なものにするために、レコーディング後のアノテーション付けおよびマークアップを行ってもよい。たとえば、プレゼンターは、キーアイデア９０８およびキーアイデア９１０などの追加のアノテーションおよび／またはキーアイデアマーキングを生成することを決定してもよく、レコーディング後に行ってもよい。新たなキーアイデアおよび／またはアノテーションは、レコーディングデータに追加することができるビデオストリームの一部とすることができる。同様に、プレゼンターは、追加のコンテンツをレコーディングすることによって、さらなるオーディオデータを追加してもよい。トランスクリプション９０２は、新たなオーディオデータで更新してもよい。加えて、トランスクリプション９０２は、レコーディング後にコンテンツを追加または削除するように他の方法で変更してもよい。
いくつかの実施態様では、システム１００は、レコーディング後にアクセスされている特定のコンテンツを自動的に強調表示することができる。強調表示されたコンテンツは、プレゼンターに何らかの種類の間違いまたは誤りを示すことができる。強調表示は、間違いまたは誤りに注意を引いて、プレゼンターが、たとえば、レコーディングとともに追加情報（たとえば、代表的なコンテンツ１１２、ビデオストリームなど）を広める前に誤りを修正することができるようにする。いくつかの実施態様では、システム１００は、追加情報を提供する領域を示すことができる。たとえば、プレゼンターは、キーアイデアにタイトル、ラベルなどを追加することができる。
いくつかの実施態様では、システム１００は、機械学習技法を利用して、特定の誤りを学習し、修正することができる。いくつかの実施態様では、システム１００は、機械学習技法を利用して、更新および／または修正すべきアイテムのリストを提供するために、いずれのコンテンツをプレゼンターに表出させるべきかを学習することができる。いくつかの実施態様では、システム１００は、機械学習技法を利用して、レコーディングからタイトルおよび追加コンテンツを自動的に生成して、プレゼンターがいずれの更新をレコーディングに適用または追加すべきかを選別することができるようにすることができる。
プレゼンターは、ＵＩ９１２によって示すように、クローズドキャプション付きコンテンツおよび／または翻訳されたコンテンツも追加することができる。いくつかの実施態様では、ユーザは、コントロール９１４を使用して、１つまたは複数の言語を選択して、プレゼンターが提供すると決定した言語の数だけ、トランスクリプトコンテンツ、クローズドキャプション付きコンテンツ、および／または翻訳されたコンテンツを提供することができる。
図１０は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのユーザにレコーディングされたコンテンツを表出させる一例を示すスクリーンショットである。この例では、プレゼンターが、一部がスクリーンショット１０００に示されている、レコーディングを完了している可能性がある。これに応じて、システム１００は、レコーディングのコンテンツ（たとえば、任意またはすべてのビデオストリーム、アノテーション、トランスクリプト、翻訳、オーディオ、プレゼンテーションコンテンツ、またはプレゼンテーション中にアクセスされたリソースなど）を分析し、インデックス付けすることができる。分析は、ビデオコンテンツの一部（たとえば、代表的またはリキャップビデオまたはスニペット、学習ガイド、オーディオトラックなど）を生成するためにレコーディングのいずれのコンテンツを使用するべきかを決定することをさらに含むことができる。こうしたコンテンツは、メタデータレコーディングに基づいて生成することができ、プレゼンターにより（またはプレゼンタービデオストリームに関連するユーザにより）アノテーション付けがなされたビデオコンテンツの部分を含むことができる。いくつかの実施態様では、要約ビデオは、アノテーション付けされていないが、代わりに代表的なコンテンツに含まれるように選択された、ビデオコンテンツの他の部分も含むことができる。
図１０に示すように、システム１００は、細胞内のリボソームに関連する翻訳およびトランスクリプションについて考察するビデオスニペット１００２を生成した。プレゼンターは、表出したアイテム１００４によって示すように、ビデオスニペット１００２とともに表出させるべきインジケータ、タイトル、および／またはメッセージを提供することができる。アイテムは、プレゼンターによって生成されたアノテーションに基づいて表出させてもよい。表出したアイテム１００４を受け取ったユーザは、アイテム１００４によって表出した情報を取得するため、かつ／またはアイテムに関して応答またはコメントするために、リンク、ビデオ、または他の情報を選択することができる。
ユーザは、コントロール１００６を使用して、レコーディング内のコンテンツ、メタデータ、またはレコーディングに関連付けられた他のストリームを検索することもできる。この例では、ユーザは「細胞構造」という用語の検索クエリを入力している。これに応じて、システム１００は、検索結果として表出したアイテム１００４とともに、強調表示１００８によって示すような、検索用語を含むトランスクリプション（または翻訳）の強調表示部分を提供することができる。加えて、システム１００は、検索クエリに関連する可能性のある追加のトランスクリプションまたは翻訳コンテンツ１０１０を強調表示することができる。
図１１は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムのユーザにレコーディングされたコンテンツに表出させる別の例を示すスクリーンショットである。この例では、システム１００を実行するウェブブラウザアプリケーション１１０２が、たとえば、ウィンドウ１１０４に教育用コンテンツを描写している。システム１００は、メニュー１１０６およびＵＩ１１０８によって示すように、代表的なコンテンツ１１２を生成することができる。メニュー１１０６の代表的なコンテンツは、ウィンドウ１１０４内のコンテンツを視聴するユーザによってアクセスされるメニュー例１１０６を含むことができる。メニュー１１０６は、ウィンドウ１１０４に提示された主題に関連する利用可能なビデオスニペット１１１０を含む。いくつかの実施態様では、ビデオスニペット１１１０は、特定のトピックまたは日付について提示されたコンテンツのスニペットまたは画像フレームを含むことができる。いくつかの実施態様では、任意の数のビデオスニペットおよび／またはリンクをメニュー１１０６に埋め込んで、ユーザに迅速な回答およびコンテンツを提供することができる。したがって、インターネットからの結果を表出させる代わりに、システム１００は、ローカルに、オンラインライブラリに、オンラインドライブに、かつ／または別のリポジトリからアクセスされた、以前にアクセスされたコンテンツからの検索結果を、表出させることができる。いくつかの実施態様では、システム１００は、最近アクセスまたは閲覧されたキーアイデアスニペット（たとえば、ビデオクリップ）を表示することを優先させることができる。メニュー１１０６は、メニューにアクセスするユーザにとって有用な時点に提供することができる。加えて、関連する検索をメニュー１１０６のオプションとして提示してもよい。たとえば、メニュー１１０６にアクセスするユーザに、ウィンドウ１１０４のコンテンツで考察されているトピックに基づいて、「リボソーム」１１１２という用語の検索が提供される。
システム１００は、レコーディングされたコンテンツを他の方法でユーザに表出させることができる。たとえば、Ｏ／Ｓが提供するメニュー１１１４は、ウィンドウ１１０４に、またはウィンドウ１１０４に提供されるコンテンツに対応するレコーディングに関連付けられた、追加コンテンツを表出させることができる。この例では、Ｏ／Ｓは、ＵＩ１１０８に検索結果を表出させた。いくつかの実施態様では、システム１００は、ユーザが入力した検索クエリ１１２０に基づいて、ＵＩ１１０８にコンテンツを表出させることができる。たとえば、入力された検索クエリ１１２０を、ウィンドウ１１０４に関連付けられたビデオレコーディングからのキーアイデアと一致させることができ、Ｏ／Ｓが生成した検索結果として表出させることができる。
図示するように、ＵＩ１１０８は、トップ検索結果として、ビデオとキーアイデアのタイムライン１１１６とを含む。ユーザは、タイムライン１１１６に列挙されたイベントのうちの任意のものを選択して、ウィンドウ１１０４または新しいウィンドウにおいて、こうしたコンテンツを含むビデオ部分に誘導されるようにすることができる。加えて、ＵＩ１１０８は、ウィンドウ１１０４でアクセスされたコンテンツに関連する１つまたは複数のビデオ１１１８も含む。
いくつかの実施態様では、メニュー１１０６および／またはＵＩ１１０８などのＵＩにおいて表出するコンテンツは、ウィンドウ１１０４においてアクセスされる特定のレコーディングされたビデオ以外のソースからも取り出すことができる。たとえば、システム１００は、メニュー１１０６および／またはＵＩ１１０８にポピュレートするために、ウィンドウ１１０４においてアクセスされているプレゼンテーションに類似する（またはプレゼンテーションにおけるコンテンツに類似する）別のプレゼンターまたは別のプレゼンテーションから、コンテンツを取り出すことができる。したがって、システム１００は、ウィンドウ１１０４においてアクセスされるコンテンツに関連すると決定されたトピックに関する、他のプレゼンター、企業、ユーザ、および／または１つまたは複数の権威あるソースもしくはリソースからのコンテンツを利用することができる。
図１２は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムによって生成されたセッションのレコーディング中にマークされたキーアイデアおよびコンテンツを表出させる一例を示すスクリーンショットである。この例では、ユーザは、スクリーンキャストを提供および開始する拡張機能、アプリケーション、またはＯ／Ｓを使用している可能性がある。たとえば、ブラウザウィンドウ１２００が、システム１００を使用して共有されている可能性がある。共有されたコンテンツは、各々がそれぞれのタイムスタンプ１２１０、１２１２、１２１４に対応するキーアイデア１２０４、１２０６、および１２０８を有するタイムライン１２０２を少なくとも含む。タイムライン１２０２は、たとえばプレゼンテーション中に、コンテンツのプレゼンター１２１６が生成してもよい。代替的に、プレゼンターは、ビデオレコーディングの完了後にキーアイデアおよびタイムライン１２０２を生成してもよい。トランスクリプトはタイムライン１２０２と同期して、コンテンツ１２１６またはトランスクリプトの一方のスクロールが他方の対応するスクロールを引き起こすようになっていることが分かる。
図１３Ａ～図１３Ｇは、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステム１００にアクセスするユーザによって構成されたマークされたコンテンツを描写しているスクリーンショットを示す。この例では、ユーザは、スクリーンキャストを提供および開始する拡張機能、アプリケーション、またはＯ／Ｓを使用している可能性がある。ブラウザウィンドウ１３０４がオンラインリアルタイムプレゼンテーションシステム１００によってキャストされている間、ツールバー１３０２が描写されている。ツールバー１３０２は、ブラウザウィンドウ１３０４のキャストを開始したときに開始することができ、それにより、プレゼンターが、テレストレーション（たとえば、動画または静止ビデオコンテンツへのアノテーション付け）を開始するツールを選択することを可能にすることができる。いくつかの実施態様では、たとえば、プレゼンターがスタイラス、スマートペン、または他のそうしたツールを使用してプレゼンテーションのコンテンツに入力を提供する場合、本明細書に記載するツールバーを省略してもよい。
図１３Ａを参照すると、ツールバー１３０２は、ポインタツール、消えるペンツール、ペンツール、クローズドキャプションツール、ミュートツール、およびキーアイデアマーカツール１３０６を含む。マーカツール１３０６は、たとえば、特定のコンテンツ、アイデア、スライド、アノテーション、または画面の他の提示部分をキーアイデアとしてマークするために、プレゼンターが選択することができるコントロールを表すことができる。キーアイデアは、プレゼンターが有用で、重要な、学習ガイド材料とみなし、かつ／または代表的なコンテンツ１１２に対して選択可能であるとみなす、要素を表すことができる。概して、キーアイデアは、日付、タイムスタンプ、および／または主題によって整理することができる。
この例では、プレゼンターは、ペンツールを使用してテキスト１３０８および／または強調表示１３１０および１３１２を入力している。その後、プレゼンターは、マーカツール１３０６を選択し、次いで、テキスト１３０８ならびに強調表示１３１０および１３１２のアノテーションをマークして、こうしたコンテンツをキーアイデアとして示した可能性がある。これに応じて、システム１００は、キーアイデアとしてマークされているアイデアに関するフィードバックをプレゼンターに提供するために、インジケータメッセージ１３１４を提供することができる。いくつかの実施態様では、マーカツール１３０６を使用して、テレストレータデータ（すなわち、強調表示１３１０および１３１０ならびに／またはテキスト１３０８）と並んでアノテーション入力として提供することができるチャプタ（たとえば、マーカデータを生成するビデオマーカ、マーカデータを生成するチャプタマーカなど）を生成することもできる。プレゼンターは、マーカツール１３０６および／または他のツールバーツールをリアルタイムで、かつレコーディング中に使用して、こうしたアノテーション入力にテレストレーションおよびキーアイデアでマークすることができる。たとえば、プレゼンテーション中に、プレゼンターは、チャプタ、アノテーション、キーアイデアなどをインタラクティブにマークすることができる。双方向性から得られるアノテーションは、システム１００が、ユーザ（たとえば、プレゼンテーション参加者）がキーアイデアおよび／またはアノテーションのリキャップビデオに容易にアクセスすることができるようにするために、学習ガイド、代表的なコンテンツ１１２、ビデオスニペット、および検索可能なコンテンツを生成するために使用することができる。
図１３Ｂを参照すると、ブラウザウィンドウ１３０４は、追加のトランスクリプトセクション１３１６とともに示されている。トランスクリプトセクション１３１６は、プレゼンターが、システム１００を使用して発話しウィンドウ１３０４内でコンテンツをプレゼンテーションしている間に、リアルタイムで生成することができる。トランスクリプトセクション１３１６は、目下レコーディングされているトランスクリプトビデオストリームを表すことができる。トランスクリプトセクション１３１６は、強調表示１３１８によって示すように、目下発話されている文を強調表示してもよい。ユーザがレコーディングの完了後にレコーディングされたビデオにアクセスしている場合、目下発話されている文を強調表示して、スピーチ（たとえば、オーディオ）がビデオ全体を通して提供されるにつれて更新し続けるようにすることができる。これにより、ユーザがトランスクリプトセクション１３１６で話についていくことができるという利点を提供することができる。オーディオが進行するにつれて、強調表示は、発話されている特定のオーディオを示すように更新する。
いくつかの実施態様では、プレゼンターまたはユーザは、完了後にレコーディングにアクセスすることができ、トランスクリプトをナビゲートして、セクション１３１６において選択されたトランスクリプトに従ってウィンドウ１３２０内のコンテンツを更新させることができる。たとえば、ユーザは、トランスクリプト内のパラグラフを選択して、パラグラフの先頭にナビゲートし、ウィンドウ１３２０内の一致するコンテンツをトリガすることができる。加えて、ユーザは、検索コントロール１３２２にアクセスして、コンテンツについてトランスクリプトを検索することができる。ブラウザウィンドウ１３０４は、プレゼンターまたはユーザが、特定の完全レコーディング、トランスクリプトの一部、ウィンドウ１３２０の一部、またはビデオレコーディングの他の部分を共有することができるようにする共有オプション１３２４も描写している。
図１３Ｃを参照すると、ブラウザウィンドウ１３０４が示されており、追加のオプションを含む。たとえば、トランスクリプトのパラグラフにマーカツール１３２６が提供され、ユーザがトランスクリプトの特定の部分（およびトランスクリプトに関連付けられた、結果としてのビデオ部分）をキーアイデアとしてマークする（またはマーク解除する）ことができるようにする。たとえば、ユーザは、マーカツール１３２６を選択することにより、パラグラフをキーアイデア１３２８としてマークしている。ユーザは、ビデオ全体を通して、トランスクリプト内のパラグラフをマークするかまたはマーク解除することができる。マークされた部分は、システム１００によって、代表的なコンテンツ１１２を生成するためにアクセスすることができる。トランスクリプト部分をマークすることは、同じタイムスタンプ（または複数のタイムスタンプ）で関連するビデオストリームを自動的に選択するように機能することができる。したがって、特定のトランスクリプトパラグラフがキーアイデアとしてマークされた場合、他のコンテンツも、同じタイムスタンプまたはその周辺でキーアイデアとしてマークすることができる。すなわち、１つのビデオストリームをマークすることは、限定されないが、アノテーション（たとえば、アノテーションビデオストリームを介する）、翻訳（たとえば、翻訳ビデオストリームを介する）、スクリーンコンテンツ（たとえば、スクリーンキャストビデオストリームを介する）、カメラビュー（たとえば、プレゼンタービデオストリームを介する）を含む、キーアイデアで、他のビデオストリームをマークするように機能することができる。
図１３Ｄを参照すると、この場合もまたブラウザウィンドウ１３０４が示されており、図１３Ｄに示すキーアイデアマーキングは、ビデオ内のタイムスタンプ１３３２にキーアイデア１３２８がマークされているタイムライン１３３０に描写されている。インジケータ１３３４が、トランスクリプト１３１６の一部を描写している。インジケータは、ユーザがキーアイデアのタイムスタンプ１３３２でコンテンツを識別するのを支援するビデオスニペットまたは画像フレームであり得る。いくつかの実施態様では、ユーザは、タイムライン１３３０を使用して、マークされたキーアイデアをマークし、マーク解除し、または他の方法で変更することができる。
図１３Ｅを参照すると、この場合もまたブラウザウィンドウ１３０４が示されており、追加のキーアイデアがマークされている。たとえば、システム１００を使用するユーザによって、Ｐａｒｔｉａｌ ｏｒｄｅｒ（部分順序）キーアイデア１３３６およびＵｎｔｉｔｌｅｄ ｋｅｙ ｉｄｅａ（無題キーアイデア）１３３８がマークされている。タイムライン１３３０に対して、対応するタイムスタンプ１３４０および１３４２も生成されている。１つの例では、ユーザは、コンセプト３３６をトリガするためにパラグラフ１３４４を選択した。加えて、ユーザが特定の翻訳パラグラフ（または、ユーザがキーアイデアを生成するために使用する他のコンテンツ）を選択すると、編集ツール１３４６を提供することができる。編集ツール１３４６を使用して、任意のトランスクリプト部分を編集することができる。いくつかの実施態様では、編集ツール１３４６を使用して、トランスクリプト部分を結合および／または分割することができ、したがって、キーアイデアの可能な変更がトリガされる。
図１３Ｆを参照すると、ユーザは、タイムライン１３３０のキーアイデア１３３６に対する編集をトリガすることができるトランスクリプション部分１３４４を編集するために、編集ツール１３４６を選択した。部分１３４４において編集ツールを選択することに応じて、システム１００は、ＵＩ１３４８を提示することができる。ＵＩ１３４８は、コントロール１３５０を使用してキーアイデアのタイトルを変更するためのエントリ、およびコントロール１３５２に示す実際のトランスクリプトの任意の部分を変更するためのエントリを提供することができる。加えて、ＵＩ１３４８は、キーアイデアの結合または分割をトリガすることができる、トランスクリプションの一部を結合または分割するコントロールを提供することができる。こうしたキーアイデアの変更は、基礎となるビデオフレーム、テキスト、およびキーアイデアのコンテキストを変更することができる。
図１３Ｇを参照すると、ユーザが検索１３６０を入力したことに応じて、多数の検索結果１３５４、１３５６、および１３５８が提示される。こうした検索結果は、システム１００によって生成することができる。たとえば、プレゼンター（または他のユーザ）が、システム１００によって提供されるビデオに対するキーアイデアおよびアノテーションを生成した後、システム１００は、ビデオ（ならびに基礎となるビデオストリームおよび関連するメタデータ）を検索可能であるように構成することができる。ユーザがビデオに関連付けられているコンテンツを（検索エンジンで）検索した場合、検索エンジンは、ビデオおよび／または関連するコンテンツの一部を含む検索結果（テキスト、ビデオ、画像など）を返すことができる。
図１３Ｇに示すように、検索は、検索用語セットおよびサブセットを含む。検索結果１３５４～１３５８を提供することができるのは、システム１００が、ウェブブラウザアプリケーションを使用して代表的なコンテンツの少なくとも一部を見つける検索機能を有効にするために、代表的なビデオコンテンツの一部（たとえば、キーアイデア、トランスクリプション、アノテーション、入力など）のインデックス付けを実行またはトリガすることができるためである。代表的なコンテンツを含むビデオまたはテキストの一部にユーザを誘導するように、特定のＵＲＬリンクを生成することができる。いくつかの実施態様では、検索された用語を一致するキーアイデアに相関させる、ビデオにおける位置（たとえば、タイムスタンプ）にユーザを誘導するように選択することができる、ビデオ検索結果を提供することができる。各検索結果は、動画のサムネイルおよびタイムスタンプ、タイトル、トランスクリプトの強調表示（たとえば、強調表示１３６２、１３６４、および１３６６）、ユーザ名、およびアップロードされたビデオのタイムスタンプを含むように構成することができる。
図１４は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステム１００によって生成されるセッションのレコーディング中にリアルタイムで示される翻訳されたテキストを示すスクリーンショットである。たとえば、レコーディングおよび／またはプレゼンテーションされているオーディオのクローズドキャプションバージョン１４０２に加えて、システム１００は、テキスト１４０４として示すリアルタイム翻訳２７５を生成およびレンダリングすることもできる。ユーザは、コントロール１４０６を使用して、特定の翻訳を表示する言語を選択することができる。選択された言語の翻訳は、いくつかの例では、トランスクリプションビデオストリームの一部を形成してもよく、または別個の翻訳ストリームとして提供してもよい。
クローズドキャプションは、ツールバー１４１０のツール１４０８でオンまたはオフに切り替えることができる。クローズドキャプションコンテンツ１４０２を提供することで、プレゼンテーション中にユーザが話についていくのをより容易にすることができる。リアルタイム翻訳コンテンツ１４０４により、プレゼンターの言語を学習しているユーザが、プレゼンテーション中に話についていくことができる。いくつかの実施態様では、ユーザは、第１の言語での翻訳を含む、以前にレコーディングされたビデオにアクセスすることができ、第２の言語での翻訳を表示するために第２の言語を選択することができる。これは、プレゼンテーションの言語を話さない親または他のユーザからの支援を求めているユーザに役立つことができる。
図１５は、本明細書に記載する実施態様による、スクリーンキャストを生成およびレコーディングするプロセス例１５００のフロー図を示す。プレゼンターは、たとえば、リアルタイムプレゼンテーションシステム１００に関連付けられた１つまたは複数のライブラリ１１６から開始するスクリーンキャストを生成するように、コンピューティングシステム２０２を構成することができる。ライブラリは、ローカルストレージドライブ、オンラインストレージドライブ、サーバコンピューティングシステム２０４、またはコンピューティングシステム２０１および／もしくはコンピューティングシステム２０２にアクセス可能な別の場所に格納することができる、プレゼンターに関連付けられたコンテンツを含むことができる。プレゼンターは、ライブラリ１１６に入り、スクリーンキャストのレコーディングを開始するように選択することができる（１５０２）。次に、プレゼンターは、レコーディングするコンテンツのスコープ（たとえば、ウィンドウ、タブ、全画面など）を選択することができる（１５０４）。システム１００は、スコープを選択するＵＩをトリガするために、スクリーンキャスト／スクリーンシェアツールを作動させてもよい。ユーザはスクリーンキャストをレコーディングしているが、たとえば、スクリーンキャストのレコーディングが後にユーザが視聴するためのものである場合、ユーザは画面を共有しないことを選択することができる。
次に、システム１００は、選択されたスコープに従ってレコーディングを開始することができ、１つまたは複数のツールバー（たとえば、ツールバー１０８）を提示することができる。プレゼンターは、スクリーンキャストツール（たとえば、ツールバー１０８）を使用して、コンテンツにアノテーション付けすることができる（１５０６）。プレゼンターは、ある時点でレコーディングを終了することを選択することができる。レコーディングが終了すると、システム１００は、ビデオ（ならびに対応するビデオストリームおよびメタデータ）を、新たに利用可能になったファイルとしてライブラリ１１６に自動的にアップロードすることができる。いくつかの実施態様では、システム１００は、ビデオを、他の人によって視聴され他の人と共有されるように構成する。
図１６は、本明細書に記載する実施態様による、複数のビデオストリームに関連付けられたメタデータレコードを生成するプロセス例１６００のフロー図を示す。概して、プロセス１６００は、本明細書に記載するシステムおよびアルゴリズムを利用して、リアルタイムプレゼンテーションシステム１００によって使用されるメタデータレコードを生成する。プロセス１６００は、少なくとも１つの処理デバイスと、実行されると処理デバイスに請求項に記載する複数の動作およびコンピュータ実装ステップを実行させる命令を記憶するメモリとを備える、１つまたは複数のコンピューティングシステムを利用することができる。概して、プロセス１６００の説明および実行において、システム１００、システム２００、システム２６３、および／またはシステム１９００を使用することができる。
ブロック１６０２において、プロセス１６００は、ビデオコンテンツをキャプチャするレコーディングを開始させることを含む。ビデオコンテンツは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、および／またはアノテーションビデオストリームのうちの任意のものまたはすべてを含むことができる。たとえば、システム１００は、ユーザ（たとえば、プレゼンター）が、ビデオコンテンツをキャプチャするレコーディングを開始するためにアクセスすることができる。こうしたビデオコンテンツは、プレゼンタービデオストリーム（たとえば、自撮りカメラでキャプチャされたコンテンツ）、スクリーンキャストビデオストリーム（たとえば、図面２７６およびスクリーンキャスト２７７コンテンツ）、アノテーションビデオストリーム（アノテーションデータレコード２１４ならびに／またはキーアイデアマーカおよび対応するメタデータ２７８）、トランスクリプションビデオストリーム（たとえば、リアルタイムトランスクリプション２７４）、および／または翻訳ビデオストリーム（たとえば、リアルタイム翻訳２７５）を含むことができる。
ブロック１６０４において、プロセス１６００は、ビデオコンテンツに基づいて、ビデオコンテンツのキャプチャ中に、タイミング情報を表すメタデータレコードを生成することを含む。タイミング情報を使用して、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、またはアノテーションビデオストリームのうちの少なくとも１つで受け取られた入力を、ビデオコンテンツの一部と同期させることができる。いくつかの実施態様では、入力は、アノテーションビデオストリームに関連付けられたアノテーション入力を含む。いくつかの実施態様では、アノテーションは、図面２７６、テキスト、オーディオ入力、参照リンクなどを含むことができる。いくつかの実施態様では、アノテーション入力は、プレゼンタービデオストリームに関連するユーザによって生成されたビデオマーカデータおよび／またはテレストレータデータを含む。たとえば、プレゼンターが、ビデオコンテンツへのオーバーレイとして図面、テキストなどを入力するテレストレータを使用して、アノテーションを入力することができる。同様に、プレゼンターは、レコーディング中にマーカツールを使用してチャプタをマークすることができる。チャプタは、ビデオコンテンツのチャプタを生成するために使用することができるビデオマーカデータとして格納することができる。
いくつかの実施態様では、各メタデータレコードは、レコーディングビデオストリームのうちの少なくとも１つで受け取られた入力（たとえば、アノテーション１１４／レコード２１４、キーアイデアメタデータ２７８）を同期させるために使用されるタイムスタンプデータを表す。いくつかの実施態様では、メタデータ２２８は、レコーディング中にキャプチャし、格納することができる。メタデータ２２８は、任意の数のビデオストリームと、ビデオストリームのレコーディング中またはビデオストリームのレコーディング後に受け取られたアノテーションとに関連することができる。各ビデオストリームは、オーディオデータも含むことができる。いくつかの実施態様では、ビデオストリームは、メタデータとしてアノテーションデータを格納することができる。しかしながら、いくつかの実施態様では、アノテーションデータは、ビデオレイヤとして別途レコーディングしてもよく、したがって、メタデータ２２８は、ビデオレイヤから取得してもよい。
いくつかの実施態様では、プロセス１６００は、メタデータレコードに基づいて、ビデオおよび／またはオーディオコンテンツの一部を代表するコンテンツを生成することを含む。たとえば、代表的なコンテンツは、レコーディングの終了に応じて、プレゼンタービデオストリームに関連するユーザ（たとえば、プレゼンター）によってアノテーション付けされたビデオコンテンツの部分を含むことができる。ビデオコンテンツは、代表的なコンテンツ１１２を含むことができ、タイミング情報、メタデータ２２８、および／または他のビデオコンテンツもしくはビデオコンテンツのアノテーションに基づいて生成することができる。生成は、レコーディングの終了に応じて自動的に行ってもよく、または、レコーディングが終了したときにユーザによって、もしくはユーザ入力に応じて他の方法で開始してもよい。いくつかの実施態様では、代表的なビデオコンテンツは、レンダリングされたビデオコンテンツおよび／または画面コンテンツ上のアノテーションを描写するオーバーレイされた画像フレームを含むことができる。いくつかの例では、代表的なコンテンツは、ユーザによってアノテーション付けされたビデオコンテンツのそれぞれの部分の直前および／または直後からのビデオコンテンツの１つまたは複数の部分を含むこともできる。
いくつかの実施態様では、タイミング情報は、受け取られた入力のそれぞれの入力に関連付けられた複数のタイムスタンプに対応する。たとえば、タイミング情報は、レコーディングおよび／またはスクリーンキャスト中に受け取られた（たとえば、プレゼンターによって提供される）アノテーションに対応することができる。受け取られたアノテーションは、特定の１つのタイムスタンプまたは複数のタイムスタンプで提供することができる。タイミング情報は、入力が受け取られた、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、またはアノテーションビデオストリームに関連付けられたコンテンツまたはドキュメントにおける（言い換えれば、ビデオコンテンツに関連付けられたコンテンツまたはドキュメントにおける）少なくとも１つの位置に対応することもできる。たとえば、アノテーションの作成のタイミングは、タイムスタンプを含む期間中にアノテーションが配置された画面／ビデオ／コンテンツ内の（空間的な）位置にも対応する。いくつかの実施態様では、入力を同期させることは、それぞれの入力について、複数のタイムスタンプにおける少なくとも１つのタイムスタンプを、コンテンツまたは文書における少なくとも１つの位置に一致させることを含む。たとえば、システム１００は、アノテーションまたはマーカ入力を、ビデオコンテンツにおける位置と、ビデオコンテンツのレコーディング中にアノテーションまたはマーカ入力を受け取ることに関連する時点とに一致させる、マッチングプロセスを実行することができる。
いくつかの実施態様では、ビデオコンテンツは、他の複数のビデオストリームに加えて、トランスクリプションビデオストリームをさらに含む。トランスクリプションビデオストリームは、プレゼンタービデオストリームからのリアルタイムの文字起こしされたオーディオデータを含むことができる。リアルタイムの文字起こしされたオーディオは、ビデオコンテンツのレコーディング中にスクリーンキャストビデオストリームとともに表示されるように構成された変更可能なトランスクリプションデータ（たとえば、テキストデータ）として生成することができる。すなわち、トランスクリプションは、プレゼンターがコンテンツをレコーディングおよびプレゼンテーションする際に、リアルタイムまたはほぼリアルタイムで生成およびレンダリングすることができる。いくつかの実施態様では、プレゼンタービデオストリームからのリアルタイムに翻訳されたオーディオデータは、ビデオコンテンツのレコーディング中にスクリーンキャストビデオストリームおよび文字起こしされたオーディオデータとともに表示されるように構成されたテキストデータとして生成される。たとえば、レコーディング中に、スクリーンキャストからの他のビデオストリームコンテンツとともに、トランスクリプションをレンダリングすることができる。いくつかの実施態様では、システム１００は、トランスクリプションビデオストリームのテキストデータを用いて、トランスクリプションの翻訳を実行およびレンダリングすることもできる。したがって、テキスト（トランスクリプション）データは、翻訳の有無にかかわらずレンダリングすることができる。
いくつかの実施態様では、リアルタイムの文字起こしされたオーディオデータのトランスクリプションは、少なくとも１つの音声テキスト化アプリケーションによって実行される。少なくとも１つの音声テキスト化アプリケーションは、トランスクリプションビデオストリームによってアクセス可能であると決定された任意の数の音声テキスト化アプリケーションから選択することができる。たとえば、システム１００は、いずれの音声テキスト化アプリケーションがオーディオコンテンツに対して正確かつ好都合なトランスクリプションを提供することができるかを決定することができる。こうした決定は、オーディオコンテンツ、オーディオコンテンツの言語、ビデオストリームをプレゼンテーションするかまたはビデオストリームにアクセスしているユーザによって提供される人口統計などに基づいて行うことができる。変更可能なトランスクリプションデータおよびテキストデータは、メタデータレコード内のタイムスタンプに従って格納することができ、検索可能であるように構成することができる。これにより、効果的かつリソース効率の高い方法で、ビデオストリーム内のコンテンツの検索を容易にすることができる。
いくつかの実施態様では、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、およびアノテーションビデオストリームは、レコーディング中にオンとオフとが切り替えられるように構成されている。オンとオフとの切り替えは、それぞれのプレゼンタービデオストリーム、それぞれのスクリーンキャストビデオストリーム、またはそれぞれのアノテーションビデオストリームの表示（または表示からの削除）をトリガすることができる。
図１７は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムにおいてビデオプレゼンテーションを生成およびレコーディングするプロセス例のフロー図である。概して、プロセス１７００は、本明細書に記載するシステムおよびアルゴリズムを利用して、リアルタイムプレゼンテーションシステム１００によって使用されるメタデータレコードを生成する。プロセス１７００は、少なくとも１つの処理デバイスと、実行されると処理デバイスに請求項に記載する複数の動作およびコンピュータ実装ステップを実行させる命令を記憶するメモリとを備える、１つまたは複数のコンピューティングシステムを利用することができる。概して、プロセス１７００の説明および実行において、システム１００、システム２００、システム２６３、および／またはシステム１９００を使用することができる。
リアルタイムオンラインプレゼンテーションシステム１００は、少なくとも１つのカメラと、少なくとも１つのマイクロフォンと、少なくとも１つのスピーカと、少なくとも１つの表示画面と、少なくとも１つの表示画面上に表示されるように構成された１つまたは複数のユーザインターフェースとを含むシステムであり得る。システム１００は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行可能なコンピュータ実行可能命令が格納されている１つまたは複数のコンピュータ可読ハードウェア記憶デバイスとを使用して、プロセス１７００の命令を実行することができる。
ブロック１７０２において、プロセス１７００は、オーディオコンテンツおよびビデオコンテンツをキャプチャするレコーディングを開始させることを含む。たとえば、プレゼンターは、システム１００にアクセスして、プレゼンテーションおよび／またはレコーディングをトリガして、プレゼンテーションされているオーディオコンテンツおよびビデオコンテンツのキャプチャを開始することができ、これにより、最終的に、レコーディング１１０、１１０ｂ、および／またはアノテーション１１４を生成することができる。ビデオコンテンツは、本開示を通して説明するように、少なくともプレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームを含むことができる。いくつかの実施態様では、図１６を参照して考察したように、ビデオコンテンツに基づいてメタデータレコードを生成することができる。
ブロック１７０４において、プロセス１７００は、ユーザインターフェース内からの複数のアプリケーションのアクセスに関連付けられたオーディオコンテンツおよびビデオコンテンツのレンダリングを引き起こすことを含む。たとえば、オーディオおよびビデオコンテンツのプレゼンテーションおよびレコーディング中に、システム１００は、コンテンツ共有（たとえば、スクリーンシェア、ビデオ会議シェア、スクリーンキャストなど）をトリガしてもよい。ビデオデータは、さまざまなＵＩを提供する画面を介してレンダリングすることができ、オーディオコンテンツは、スピーカを介してレンダリングすることができる。いくつかの実施態様では、オーディオコンテンツは、システム１００によって提示されている残りのコンテンツの近くまたは閾値距離内に、文字起こしされかつ／または翻訳されたテキストとしてもレンダリングされる。
ブロック１７０６において、プロセス１７００は、オーディオコンテンツおよびビデオコンテンツのレンダリング中に、ユーザインターフェースにおいてアノテーション入力を受け取ることを含む。アノテーション入力は、アノテーションビデオストリームに記録してもよい。たとえば、ユーザがビデオコンテンツにアノテーション付けすると（たとえば、図３Ａのアノテーション３０６、３０８）、システム１００は、システム１００によってキャプチャされた他のビデオストリームからのコンテンツ上に配置可能なオーバーレイとして表すことができる別個のストリームに、アノテーションを記録してもよい。いくつかの実施態様では、アノテーション入力は、ビデオコンテンツ上のオーバーレイとしてレンダリングされる。アノテーション入力はまた、レコーディング中にアクセスされた他のビデオコンテンツ（たとえば、アプリケーション、ウィンドウ、ブラウザタブなど）への切り替えをトリガするウィンドウイベントまたはカーソルイベントを検出することに応じて、ビデオコンテンツとともに移動するように構成することもできる。たとえば、ウィンドウイベントまたはウィンドウのスクロールを示す他の信号を受け取ることができ、アノテーション入力は、アノテーションが、基礎となる、アノテーション付けされた、アプリケーションコンテンツに対して固定位置に留まるように、基礎となるアプリケーションのコンテンツとともにスクロールするように構成することができる。
ブロック１７０８において、プロセス１７００は、オーディオコンテンツおよびビデオコンテンツのレンダリング中にオーディオコンテンツを文字起こしすることを含む。たとえば、オーディオコンテンツはリアルタイムで文字起こしされる。文字起こしされたオーディオコンテンツは、トランスクリプションビデオストリームに記録することができ、システム１００によってリアルタイムでレンダリングおよびマークすることができる。たとえば、プレゼンター（またはプレゼンテーションを視聴しているユーザ）は、システム１００によって提供されるＵＩに提示されるトランスクリプションデータにマークし、アノテーション付けし、トランスクリプションデータを変更し、または他の方法でトランスクリプションデータとインタラクトすることができる。
ブロック１７１０において、プロセス１７００は、任意選択的に、オーディオコンテンツおよびビデオコンテンツのレンダリング中にオーディオコンテンツを翻訳することを含む。たとえば、翻訳はリアルタイムで実行することができる。翻訳は、プレゼンテーション中に発生するオーディオ情報を翻訳することに加えて、スクリーンキャスト（または他の共有メカニズム）で提示されているテキストを翻訳することを含むことができる。
ブロック１７１２において、プロセス１７００は、ユーザインターフェースにおいて、レンダリングされたオーディオコンテンツおよびビデオコンテンツとともに、リアルタイムで、文字起こしされたオーディオコンテンツ（および任意選択的に翻訳されたオーディオコンテンツ）のレンダリングを引き起こすことを含む。たとえば、プレゼンターおよびプレゼンテーションを視聴しているユーザが１つのビューにおいて提示されたビデオストリームに好都合にアクセスすることができるように、教育用／プレゼンテーションコンテンツ、文字起こしされたコンテンツ、および任意選択的な翻訳されたコンテンツを、単一のＵＩで描写することができる。いくつかの実施態様では、プレゼンタービデオストリーム、アノテーションビデオストリーム、参加者ビデオストリームなど、追加のビデオストリームがこうしたビューに追加される。
いくつかの実施態様では、プロセス１７００は、ビデオコンテンツおよびオーディオコンテンツのレンダリングの終了を検出することに応じて、オンラインプレゼンテーションシステム１００に要約コンテンツを生成させることも含むことができる。要約コンテンツは、たとえば、代表的なコンテンツ１１２であってもよく、コンテンツ１１２は、アノテーション入力、ビデオコンテンツ、文字起こしされたオーディオコンテンツ、および翻訳されたオーディオコンテンツに基づいてもよい（すなわち、コンテンツ１１２は、アノテーション入力、文字起こしされたオーディオコンテンツなどに基づいて選択または決定されるビデオコンテンツの部分を含むことができる）。要約コンテンツは、生成されたメタデータレコードに基づいて生成してもよい。いくつかの実施態様では、要約コンテンツは、アノテーション入力でマークされたレンダリングされたオーディオおよびビデオの部分を含む。
図１８は、本明細書に記載する実施態様による、リアルタイムプレゼンテーションシステムでビデオプレゼンテーションをプレゼンテーションするプロセス例１８００のフロー図である。概して、プロセス１８００は、本明細書に記載するシステムおよびアルゴリズムを利用して、リアルタイムプレゼンテーションシステム１００によって使用されるメタデータレコードを生成する。プロセス１８００は、少なくとも１つの処理デバイスと、実行されると処理デバイスに請求項に記載する複数の動作およびコンピュータ実装ステップを実行させる命令を記憶するメモリとを備えた、１つまたは複数のコンピューティングシステムを利用することができる。概して、プロセス１８００の説明および実行において、システム１００、システム２００、システム２６３、および／またはシステム１９００を使用することができる。
ステップ１８０２において、プロセス１８００は、少なくとも１つのビデオストリームを受け取ることを含む。たとえば、ユーザは、システム１００にアクセスして、プレゼンテーションコンテンツ（たとえば、ビデオおよびオーディオコンテンツ）を視聴することができる。ユーザは、視聴するレコーディングを選択してもよく、システム１００を使用してレコーディングをライブ視聴してもよい。いずれのレコーディングを視聴するかを示すことに応じて、システム１００は、システム２０２をトリガして、たとえば、複数のビデオストリームのうちの１つまたは複数を受け取ることができる。ビデオストリームは、本開示全体を通じて説明するように、限定されないが、少なくともプレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームを含むことができる。
ステップ１８０４において、プロセス１８００は、少なくとも１つのビデオストリームにおいて検出された入力に関連付けられたタイミング情報を表すメタデータを受け取ることを含む。たとえば、システム１００は、システム２０２をトリガして、タイミング情報を表すメタデータ２２８を受け取ることができる。タイミング情報は、少なくとも１つのビデオストリームにおいて提供される検出された入力を、少なくとも１つのビデオストリームのコンテンツ（たとえば、ビデオ、オーディオ、データ、メタデータなど）に同期させるように構成することができる。たとえば、タイミング情報は、検出された入力（たとえば、アノテーション、マーカなど）を複数のビデオストリームのうちの少なくとも１つに同期させるように構成された情報および／または命令を含むことができる。
ステップ１８０６において、プロセス１８００は、メタデータに基づいて、少なくとも１つのビデオストリームの一部を生成することを含む。その部分は、少なくとも１つのビデオストリームのうちの任意のものまたはすべてを視聴する要求を受け取ることに応じて生成することができる。たとえば、ユーザは、ビデオストリームに関連付けられたコンテンツを視聴するように要求することができる。これに応じて、システム１００は、メタデータに基づいて、ビデオストリームの部分のコンパイルまたは他の組み合わせとして、要約ビデオ、リキャップビデオ、または他の代表的なビデオ（および／またはオーディオ）を生成することができる。
いくつかの実施態様では、システム１００は、ＵＩ３０２を生成および提示することができ、メタデータから取り出されたアノテーション３０６および３０８は、ＵＩ３０２に示されるコンテンツ上にオーバーレイとして描写される。ＵＩ３０２は、複数のビデオストリームに関連付けられたコンパイルされたコンテンツ（たとえば、要約されたコンテンツ、リキャップコンテンツ、および／または他の代表的なコンテンツ）を表示することを要求する検出されたユーザの指示に応じて、アノテーション３０６および３０８がメタデータに示されたタイムスタンプで、ＵＩ３０２内のコンテンツの上にオーバーレイされるように、描写することができる。生成された部分は、アノテーションコンテンツ、ビデオコンテンツ、または他のユーザが要求したおよび／もしくはシステム１００が提供したコンテンツを表すビデオおよび／またはオーディオコンテンツを含むことができる。いくつかの実施態様では、生成された部分は、検出された入力に基づくコンテンツを含み、入力でアノテーション付けされたビデオストリームのレンダリングされた部分を含む。
いくつかの実施態様では、図３Ａに示されるスクリーンショット全体は、フレームがアノテーション付きコンテンツを含むため、コンパイルされたかまたは他の方法でキュレーションされたコンテンツを表示する要求を検出することに応じて、画像フレームとして提供することができる。アノテーション付きコンテンツは、少なくとも１つのビデオストリームのコンテンツに関連付けられたプレゼンターによって示されるように、画像フレーム内の情報がキーデータを含むことを示すインジケータであり得る。
ステップ１８０８において、プロセス１８００は、少なくとも１つのユーザインターフェースにおいて、少なくとも１つのビデオストリームの上記部分のレンダリングを引き起こすことを含む。たとえば、ＵＩ生成器２２０は、レンダラを使用して、コンパイルされた（たとえば、リキャップ、要約された）コンテンツとして示された部分を書式設定および表示する。コンパイルまたはコンテンツの他の組み合わせを表示する要求に応じて、ビデオストリームの他の部分も表示し、または代替的に表示することができる。たとえば、プレゼンタービデオストリーム、翻訳ビデオストリーム、トランスクリプションビデオストリーム、別のアノテーションビデオストリーム、および／またはシステム１００によって生成された他のビデオストリームに関連付けられたビデオおよび／またはオーディオコンテンツなどの、ビデオおよび／またはオーディオコンテンツも描写することができる。
いくつかの実施態様では、タイミング情報は、ビデオストリームのうちの１つまたは複数において検出されたそれぞれの入力に関連付けられた複数のタイムスタンプと、１つまたは複数のビデオストリームのうちの少なくとも１つに関連付けられたコンテンツまたはドキュメントにおける（すなわち、少なくとも１つのビデオストリームに関連付けられたコンテンツまたはドキュメントにおける）少なくとも１つの位置とに対応する。いくつかの実施態様では、検出された入力を同期させることは、それぞれの入力について、少なくとも１つのタイムスタンプをドキュメントにおける少なくとも１つの位置に一致させることを含む。
いくつかの実施態様では、レコーディングされたビデオは、デバイス（たとえば、デスクトップ、タブレット、モバイルデバイス、ウェアラブルデバイスなど）のネイティブアプリケーションで開くことができる。ネイティブアプリケーションは、ユーザがビデオレコーディングのトランスクリプトを読み、トランスクリプトを選択することによってビデオレコーディングをナビゲートし、キーアイデアの間をスキップし／ざっと読み、ビデオ内およびビデオ間で検索し、かつ／またはビデオの範囲にわたってキーアイデアを見る（たとえば、従業員に試験の準備をさせるプレゼンテーションから「ここがテストに出る」というモーメントをすべて見せる）ことができるようにする追加のツールを提供することができる。いくつかの実施態様では、レコーディングされたビデオおよびシステム１００は、ネイティブアプリケーションの代わりにアプリケーション拡張機能として提供してもよい。
システム１００の動作時、プレゼンターに、レコーディングのためのコンテンツ１１２の生成を容易にするために、キーアイデアをマークし、レコーディングの上にリアルタイムで描画し、そうしたアノテーションおよびレコーディングを任意の数の別個のビデオストリームとしてオンラインで格納するオプションを提供することができる。レコーディングの最後に、プレゼンターは、レコーディングを確認し、レコーディングをオンラインドライブにアップロードして、１つまたは複数のアプリケーションと、かつ／またはユーザと直接、共有することができる。システム１００により、プレゼンターは、ユーザが後に視聴することができるようにナレーション付きのスクリーンキャストを作成し、プレゼンテーションおよび関連コンテンツを非同期でレコーディングして共有し、対面プレゼンテーションを実施し、ビデオ会議ソフトウェアおよび関連アプリケーションを介して遠隔プレゼンテーションを準備することができる。
本明細書に記載するシステムおよび方法は、スクリーンシェアスコープ選択ツール（たとえば、プレゼンテーションシステム１００）を提供することができる。システム１００のツールは、プレゼンターツールバーへのアクセスも含む外部ディスプレイ（たとえば、テレビまたはプロジェクタハードウェア）に接続しながら、プレゼンテーションモード（たとえば、拡張ディスプレイまたはミラーディスプレイモードなど）を選択するオプションをユーザに提供することができる。プレゼンターツールバーは、キャスト先ツール、スクリーンシェアパネル、スクリーンシェアレコーディングツール、スクリーンシェア停止ツール、テレストレーションツール、レーザポインタツール、クローズドキャプションツール、カメラツール、マークアップツール、および任意の数のアノテーションツール（たとえば、ペン、蛍光ペン、図形など）を含むことができる。テレストレーションツールは、ユーザが画面上の任意の場所にテレストレーションできるようにすることができる。代替的に、プレゼンターのツールバーを省略して、アノテーションにスタイラスが直接使用される。クローズドキャプションツールオプションは、たとえば、システム１００に関連付けられたマイクロフォンからの入力により、強調表示されたテキストの上にデバイス上のライブキャプションおよび翻訳を提供する。翻訳の言語は、ユーザが選択してもよく、テキスト形式で提供してもよい。いくつかの例では、翻訳されたテキストを合成し、オーディオデータとしてユーザに出力してもよい。
ユーザがプレゼンターツールバーまたはスクリーンシェアパネルからレコードオプションを選択すると、目下のスクリーンシェアスコープが有効になり、ツールは、レコーディングしてクラウドサーバにアップロードするか否かをユーザに確認する。ツールバーは、画面キャプチャツールを介してレコーディングがトリガされた場合に、レコーディングをトリミングして公開するためのスクリーンシェアスコープ選択ツールに移動するオプションを第１のユーザに提供することができる。マークアップオプション（すなわち、ツールバー４００のスターオプション）により、ユーザは、画面上に提示された重要な／キーアイデアをマークアップすることができるようにすることができ、マーキングを確認するためのインジケータテキストを表示することができる。
ツールバーは、キャプチャされたレコーディングを自動的に文字起こしすることができ、ユーザが正確さをチェックするためにテキストを強調表示することができ、システム１００のユーザとレコーディングを共有するためにリポジトリにアップロードする前に、キーアイデアのタイトルを提供するようにユーザに求めることができる。
システム１００は、キーアイデアが日付および主題によって整理されているため、別のユーザが、そのユーザがレコーディングにアクセスするときに提供される検索バーを介してトランスクリプトを検索し、トランスクリプトおよび／またはキーアイデアでナビゲートし、予め決められた時間ベース（たとえば、毎日、毎週、毎月、四半期ごと、毎年など）ですべてのキーアイデアのリキャップ（要約、代表部分）ビデオを視聴することができるようにすることができる。システム１００は、トランスクリプトにおける（読まれている）目下の文を強調表示することができ、ユーザがタイトル、トランスクリプトを編集し、パラグラフのキーアイデアをマークすることができるようにすることができる。システムは、ユーザのクエリがレコーディングされたキーアイデアと一致する場合、検索結果またはブラウザのクイックアンサーとしてレコーディングクリップを表示することができる。
いくつかの実施態様では、システム１００は、並列表示の読解支援ＵＩを提供することができる。たとえば、システム１００は、並列表示の電子ブックによる参照支援を提供して、読書中にコンテンツを読み、参照するためのコンテキストを保持することができる。ユーザは、システム１００内から任意のテキストを選択して、テキストをアップロードすることができる。システム１００は、アップロードされたテキストを使用して、役立つ学習モーメントを事前対応的に提案することができる。たとえば、用語集スタイルの関連コンテンツのように、システム１００はキーコンセプトを提供して、そのコンセプトに関する記事およびビデオを表出させることができる。いくつかの実施態様では、システム１００は特定のテキストのＬｅｘｉｌｅ（登録商標）レベルを調整することができる。たとえば、システム１００は、テキスト中の特に高度な単語をより簡単な用語に置き換えて、語彙の少ないユーザにコンテンツを合わせることができる。いくつかの実施態様では、システム１００は、読者がコンテンツの文を理解するのを助けるために、特定のコンテンツをより高度でないコンテンツに置き換えることができる。その後、システム１００は元のコンテンツに切り替わって、テキスト中の語彙の用法をさらに理解することができるようにすることができる。
いくつかの実施態様では、システム１００はコンテキスト学習モーメントを提供することもできる。たとえば、システム１００は、テキストの言語とは異なる第１の学習言語を有するユーザのために、パラグラフ翻訳を組み込むことができる。システム１００は、語彙検索および／または回答検索のためのクイックリンクを提供することもできる。
いくつかの実施態様では、システム１００は、速度、ピッチ、およびアクセントの調整を伴う音読などのアクセシビリティ機能へのアクセスを提供することができる。いくつかの実施態様では、システム１００は、失読症の読者が文を読むのを支援するフォントを提供することができ、システム１００によって音声で読み上げられる文および／または単語を強調表示することもできる。ユーザが提示されたコンセプトを学習するのを支援するために、システム１００によって、他の強調表示、アノテーション付け、およびデータの合成を実行することができる。
図１９は、ここに記載する技法で使用することができるコンピュータデバイス１９００およびモバイルコンピュータデバイス１９５０の一例を示す。コンピューティングデバイス１９００は、ラップトップ、デスクトップ、タブレット、ワークステーション、携帯情報端末、スマートデバイス、電化製品、電子センサベースのデバイス、テレビ、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピューティングデバイスなど、さまざまな形態のデジタルコンピュータを表すように意図されている。コンピューティングデバイス１９５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、さまざまな形態のモバイルデバイスを表すように意図されている。ここに示す構成要素、それらの接続および関係、ならびにそれらの機能は、単に例示的なものであるように意図されており、本明細書に記載しかつ／または特許請求する発明の実施態様を限定するようには意図されていない。
コンピューティングデバイス１９００は、プロセッサ１９０２と、メモリ１９０４と、記憶デバイス１９０６と、メモリ１９０４および高速拡張ポート１９１０に接続する高速インターフェース１９０８と、低速バス１９１４および記憶デバイス１９０６に接続する低速インターフェース１９１２とを含む。プロセッサ１９０２は、半導体ベースのプロセッサであり得る。メモリ１９０４は、半導体ベースのメモリであり得る。構成要素１９０２、１９０４、１９０６、１９０８、１９１０、および１９１２の各々は、さまざまなバスを使用して相互接続され、共通のマザーボード上に、または必要に応じて他の方法で搭載することができる。プロセッサ１９０２は、高速インターフェース１９０８に結合されたディスプレイ１９１６などの外部入出力デバイス上にＧＵＩのためのグラフィカル情報を表示するための、メモリ１９０４または記憶デバイス１９０６に格納された命令を含む、コンピューティングデバイス１９００内で実行される命令を処理することができる。他の実施態様では、必要に応じて、複数のプロセッサおよび／または複数のバスを、複数のメモリおよび複数のタイプのメモリとともに使用してもよい。また、複数のコンピューティングデバイス１９００を接続してもよく、各デバイスが（たとえば、サーババンク、ブレードサーバ群、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。
メモリ１９０４は、コンピューティングデバイス１９００内で情報を記憶する。１つの実施態様では、メモリ１９０４は、１つまたは複数の揮発性メモリユニットである。別の実施態様では、メモリ１９０４は、１つまたは複数の不揮発性メモリユニットである。メモリ１９０４はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。概して、コンピュータ可読媒体は、非一時的コンピュータ可読媒体であってもよい。
記憶デバイス１９０６は、コンピューティングデバイス１９００に大容量記憶を提供することができる。１つの実施態様では、記憶デバイス１９０６は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリ、もしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成のデバイスを含むデバイスのアレイなど、コンピュータ可読媒体であるか、またはそれを含むことができる。コンピュータプログラム製品は、情報担体に有形に具現化することができる。コンピュータプログラム製品は、実行されると、上述したような１つまたは複数の方法および／またはコンピュータによって実施される方法を実行する命令も含むことができる。情報担体は、メモリ１９０４、記憶デバイス１９０６、またはプロセッサ１９０２上のメモリなどのコンピュータまたは機械可読媒体である。
高速コントローラ１９０８は、コンピューティングデバイス１９００の帯域幅を大量に使用する動作を管理し、一方、低速コントローラ１９１２は、帯域幅をそれほど大量に使用しない動作を管理する。こうした機能の割り当ては単に例示的なものである。１つの実施態様では、高速コントローラ１９０８は、メモリ１９０４、（たとえば、グラフィックプロセッサまたはアクセラレータを介して）ディスプレイ１９１６に、かつ、さまざまな拡張カード（図示せず）を受け入れることができる高速拡張ポート１９１０に結合されている。本実施態様では、低速コントローラ１９１２は、記憶デバイス１９０６および低速拡張ポート１９１４に結合されている。さまざまな通信ポート（たとえば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、Ｅｔｈｅｒｎｅｔ、無線Ｅｔｈｅｒｎｅｔ）を含むことができる低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入出力デバイス、または、たとえばネットワークアダプタを介して、スイッチもしくはルータなどのネットワークデバイスに結合することができる。
コンピューティングデバイス１９００は、図に示すように、多数の異なる形態で実装することができる。たとえば、標準サーバ１９２０として、またはそうしたサーバ群で複数回、実装してもよい。また、ラックサーバシステム１９２４の一部として実装してもよい。加えて、ラップトップコンピュータ１９２２などのコンピュータに実装してもよい。代替的に、コンピューティングデバイス１９００の構成要素を、デバイス１９５０など、モバイルデバイス（図示せず）内の他の構成要素と組み合わせてもよい。こうしたデバイスの各々は、コンピューティングデバイス１９００、１９５０のうちの１つまたは複数を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイス１９００、１９５０で構成することができる。
コンピューティングデバイス１９５０は、他の構成要素もあるがとりわけ、プロセッサ１９５２、メモリ１９６４、ディスプレイ１９５４などの入出力デバイス、通信インターフェース１９６６、およびトランシーバ１９６８を含む。また、デバイス１９５０には、マイクロドライブまたは他のデバイスなどの記憶デバイスも備えて、追加の記憶容量を提供することができる。構成要素１９５０、１９５２、１９６４、１９５４、１９６６、および１９６８の各々は、さまざまなバスを使用して相互接続されており、構成要素のうちのいくつかは、共通のマザーボード上に、または必要に応じて他の方法で搭載することができる。
プロセッサ１９５２は、メモリ１９６４に格納された命令を含む、コンピューティングデバイス１９５０内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装することができる。プロセッサは、たとえば、ユーザインターフェースの制御、デバイス１９５０によって実行されるアプリケーション、およびデバイス１９５０による無線通信など、デバイス１９５０の他の構成要素の調整を提供することができる。
プロセッサ１９５２は、ディスプレイ１９５４に結合された制御インターフェース１９５８およびディスプレイインターフェース１９５６を介して、ユーザと通信することができる。ディスプレイ１９５４は、たとえば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェース１９５６は、ディスプレイ１９５４を駆動してグラフィカル情報および他の情報をユーザに提示する適切な回路を備えることができる。制御インターフェース１９５８は、ユーザからコマンドを受け取り、プロセッサ１９５２に提出するためにそれらを変換することができる。加えて、デバイス１９５０の他のデバイスとの近距離通信を可能にするように、プロセッサ１９５２と通信する外部インターフェース１９６２を設けることができる。外部インターフェース１９６２は、たとえば、いくつかの実施態様では有線通信を提供し、他の実施態様では無線通信を提供することができ、複数のインターフェースを使用することもできる。
メモリ１９６４は、コンピューティングデバイス１９５０内に情報を記憶する。メモリ１９６４は、１つもしくは複数のコンピュータ可読媒体、１つもしくは複数の揮発性メモリユニット、または１つもしくは複数の不揮発性メモリユニットのうちの１つまたは複数として実装することができる。拡張メモリ１９７４も提供し、たとえばＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含むことができる、拡張インターフェース１９７２を介して、デバイス１９５０に接続することができる。こうした拡張メモリ１９７４は、デバイス１９５０のための追加の記憶空間を提供することができ、または、デバイス１９５０のためのアプリケーションもしくは他の情報を記憶することもできる。具体的には、拡張メモリ１９７４は、上述したプロセスを実行または補完する命令を含むことができ、セキュアな情報も含むことができる。したがって、たとえば、拡張メモリ１９７４は、デバイス１９５０用のセキュリティモジュールとして提供してもよく、デバイス１９５０のセキュアな使用を可能にする命令を用いてプログラムしてもよい。加えて、ＳＩＭＭカードに識別情報をハッキング不可能な方法で配置するなど、追加情報とともに、ＳＩＭＭカードを介してセキュアなアプリケーションを提供してもよい。
メモリは、後述するように、たとえば、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。１つの実施態様では、コンピュータプログラム製品は、情報担体に有形に具現化される。コンピュータプログラム製品は、実行されると、上述したような１つまたは複数の方法を実行する命令を含む。情報担体は、たとえば、トランシーバ１９６８または外部インターフェース１９６２を介して受信することができる、メモリ１９６４、拡張メモリ１９７４、またはプロセッサ１９５２上のメモリなど、コンピュータ可読または機械可読媒体である。
デバイス１９５０は、必要な場合にデジタル信号処理回路を含むことができる通信インターフェース１９６６を介して、無線通信することができる。通信インターフェース１９６６は、とりわけ、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、もしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどのさまざまなモードまたはプロトコルでの通信を提供することができる。こうした通信は、たとえば、無線周波数トランシーバ１９６８を介して行うことができる。加えて、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、または他のそうしたトランシーバ（図示せず）を使用するなどして、近距離通信を行ってもよい。加えて、ＧＰＳ（全地球測位システム）受信モジュール１９７０が、追加のナビゲーションおよび位置関連の無線データをデバイス１９５０に提供することができ、そうした無線データは、デバイス１９５０上で実行しているアプリケーションによって必要に応じて使用することができる。
デバイス１９５０はまた、オーディオコーデック１９６０を使用して可聴通信することもでき、オーディオコーデック１９６０は、ユーザから音声情報を受け取り、それを使用可能なデジタル情報に変換することができる。オーディオコーデック１９６０は、同様に、たとえばデバイス１９５０のハンドセット内のスピーカを介するなどして、ユーザに対して可聴音を生成することができる。こうした音は、音声通話からの音を含むことができ、録音された音（たとえば、ボイスメッセージ、音楽ファイルなど）を含むことができ、デバイス１９５０上で動作しているアプリケーションによって生成された音も含むことができる。
コンピューティングデバイス１９５０は、図に示すように、多くの異なる形態で実装することができる。たとえば、携帯電話１９８０として実装してもよい。スマートフォン１９８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実装してもよい。
ここに記載するシステムおよび技法のさまざまな実施態様は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらのさまざまな実施態様は、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受け取り、それらにデータおよび命令を送出するように結合された、専用であっても汎用であってもよい、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムでの実施態様を含むことができる。
（モジュール、プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）これらのコンピュータプログラムは、プログラマブルプロセッサ用の機械命令を含み、高水準手続き型および／またはオブジェクト指向プログラミング言語で、かつ／またはアセンブリ／機械言語で実装することができる。本明細書で用いる場合の「機械可読媒体」、「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受け取る機械可読媒体を含む、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される、任意のコンピュータプログラム製品、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
ユーザとのインタラクションを提供するために、ここに記載するシステムおよび技法は、ユーザに情報を表示する表示デバイス（たとえば、ＣＲＴ（陰極線管）もしくはＬＣＤ（液晶ディスプレイ）モニタ、またはＬＥＤ（発光ダイオード））と、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実装することができる。ユーザとのインタラクションを提供するために、他の種類のデバイスを同様に使用することもできる。たとえば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができ、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受け取ることができる。
ここに記載するシステムおよび技法は、（たとえば、データサーバとして）バックエンドコンポーネントを含むコンピューティングシステム、またはミドルウェアコンポーネント（たとえば、アプリケーションサーバ）を含むコンピューティングシステム、またはフロントエンドコンポーネント（たとえば、ユーザがここに記載するシステムおよび技法の実施態様とインタラクトすることができるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、またはそうしたバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせで実装することができる。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（たとえば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、およびインターネットが挙げられる。
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に互いに遠隔にあり、通常、通信ネットワークを介してインタラクトする。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行しており、互いにクライアント－サーバの関係を有する、コンピュータプログラムによって生じる。
いくつかの実施形態では、図１９に示すコンピューティングデバイスは、仮想現実またはヘッドセット（ＶＲヘッドセット／ＡＲヘッドセット／ＨＭＤデバイス１９９０）とインターフェースするセンサを含むことができる。たとえば、コンピューティングデバイス１９５０または図１９に示す他のコンピューティングデバイスに含まれる１つまたは複数のセンサは、ＡＲ／ＶＲヘッドセット１９９０に入力を提供し、または概して、ＡＲ／ＶＲ空間に入力を提供することができる。センサは、限定されないが、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生体認証センサ、温度センサ、湿度センサ、および周囲光センサを含むことができる。コンピューティングデバイス１９５０は、センサを使用して、後にＡＲ／ＶＲ空間への入力として使用することができる、ＡＲ／ＶＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を決定することができる。たとえば、コンピューティングデバイス１９５０は、コントローラ、レーザポインタ、キーボード、武器などの仮想オブジェクトとしてＡＲ／ＶＲ空間に組み込むことができる。ＡＲ／ＶＲ空間に組み込まれたときのユーザによるコンピューティングデバイス／仮想オブジェクトの位置決めにより、ユーザは、ＡＲ／ＶＲ空間においていくつかの態様で仮想オブジェクトを見るためにコンピューティングデバイスを位置決めすることができる。
いくつかの実施形態では、コンピューティングデバイス１９５０に含まれる、またはコンピューティングデバイス１９５０に接続される１つまたは複数の入力デバイスを、ＡＲ／ＶＲ空間への入力として使用することができる。入力デバイスとしては、限定されないが、タッチスクリーン、キーボード、１つまたは複数のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイクロフォン、入力機能を有するイヤホンまたはバッド、ゲームコントローラ、または他の接続可能な入力デバイスを挙げることができる。コンピューティングデバイスがＡＲ／ＶＲ空間に組み込まれたときに、コンピューティングデバイス１９５０に含まれる入力デバイスとインタラクトするユーザは、ＡＲ／ＶＲ空間で特定のアクションを発生させることができる。
いくつかの実施形態では、コンピューティングデバイス１９５０に含まれる１つまたは複数の出力デバイスは、ＡＲ／ＶＲ空間においてＡＲ／ＶＲヘッドセット１９９０のユーザに出力および／またはフィードバックを提供することができる。出力およびフィードバックは、視覚的、戦術的（ｔａｃｔｉｃａｌ）、または音声であり得る。出力および／またはフィードバックは、限定されないが、ＡＲ／ＶＲ空間または仮想環境のレンダリング、振動、１つまたは複数の照明またはストロボのオン／オフまたは点滅および／もしくは閃光、アラームの鳴動、チャイムの鳴動、曲の再生、およびオーディオファイルの再生を含むことができる。出力デバイスとしては、限定されないが、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを挙げることができる。
いくつかの実施形態では、ＡＲ／ＶＲシステムを作成するために、コンピューティングデバイス１９５０をＡＲ／ＶＲヘッドセット１９９０内に配置することができる。ＡＲ／ＶＲヘッドセット１９９０は、スマートフォン１９８２などのコンピューティングデバイス１９５０をＡＲ／ＶＲヘッドセット１９９０内の適切な位置に配置することを可能にする１つまたは複数の位置決め要素を含むことができる。こうした実施形態では、スマートフォン１９８２のディスプレイは、ＡＲ／ＶＲ空間または仮想環境を表す立体画像をレンダリングすることができる。
いくつかの実施形態では、コンピューティングデバイス１９５０は、コンピュータ生成３Ｄ環境内の別のオブジェクトとして現れることができる。ユーザによるコンピューティングデバイス１９５０とのインタラクション（たとえば、回転させる、振る、タッチスクリーンに触れる、タッチスクリーンを横切って指をスワイプする）は、ＡＲ／ＶＲ空間におけるオブジェクトとのインタラクションとして解釈することができる。一例として、コンピューティングデバイスは、レーザポインタであり得る。こうした例では、コンピューティングデバイス１９５０は、コンピュータ生成３Ｄ環境において、仮想レーザポインタとして現れる。ユーザがコンピューティングデバイス１９５０を操作すると、ＡＲ／ＶＲ空間内のユーザは、レーザポインタの動きを見る。ユーザは、ＡＲ／ＶＲ環境におけるコンピューティングデバイス１９５０とのインタラクションから、コンピューティングデバイス１９５０またはＡＲ／ＶＲヘッドセット１９９０上でフィードバックを受け取る。
いくつかの実施形態では、コンピューティングデバイス１９５０は、タッチスクリーンを含むことができる。たとえば、ユーザは、タッチスクリーン上で起こることをＡＲ／ＶＲ空間内で起こることで再現することができる特定の方法で、タッチスクリーンとインタラクトすることができる。たとえば、ユーザは、タッチスクリーン上に表示されたコンテンツをズームするためにピンチ型動作を使用することができる。タッチスクリーン上のこのピンチ型動作により、ＡＲ／ＶＲ空間に提供される情報をズームさせることができる。別の例では、コンピューティングデバイスは、コンピュータ生成３Ｄ環境における仮想ブックとしてレンダリングしてもよい。ＡＲ／ＶＲ空間では、このブックのページをＡＲ／ＶＲ空間に表示することができ、タッチスクリーンを横切るユーザの指のスワイプは、仮想ブックのページをめくる／裏返すものとして解釈することができる。各ページがめくられ／裏返されると、ページの内容が変化するのを見ることに加えて、本のページをめくる音などの音声フィードバックをユーザに提供することができる。
いくつかの実施形態では、コンピューティングデバイスに加えて１つまたは複数の入力デバイス（たとえば、マウス、キーボード）を、コンピュータ生成３Ｄ環境でレンダリングすることができる。レンダリングされた入力デバイス（たとえば、レンダリングされたマウス、レンダリングされたキーボード）は、ＡＲ／ＶＲ空間内のオブジェクトを制御するためにＡＲ／ＶＲ空間内でレンダリングされるように使用することができる。
多くの実施形態について説明してきた。それにもかかわらず、本発明の趣旨および範囲から逸脱することなく、さまざまな変更を行うことができることが理解されよう。
加えて、図に示す論理フローは、望ましい結果を達成するために、図示する特定の順序、または連続した順序を必須とするものではない。加えて、他のステップを提供してもよく、または記載したフローからステップを削除してもよく、記載したシステムに他の構成要素を追加してもよく、またはそこから削除してもよい。したがって、他の実施形態は、続く特許請求の範囲内にある。
上記の説明に加えて、ユーザには、本明細書に記載するシステム、プログラム、デバイス、ネットワーク、または機能が、ユーザ情報（たとえば、ユーザのソーシャルネットワーク、ソーシャルアクション、もしくはアクティビティ、職業、ユーザの嗜好、またはユーザの現在位置に関する情報）の収集を可能にすることができる場合、およびユーザにサーバからコンテンツまたは通信が送信される場合の両方について、ユーザが選択を行うことができるようにするコントロールが提供される。加えて、ユーザ情報が削除されるように、ある特定のデータが格納または使用される前に１つまたは複数の方法で処理することができる。たとえば、ユーザの個人情報を処理して、ユーザについてユーザ情報を決定することができないようにしてもよく、または、位置情報が取得される（都市、郵便番号、または州レベルなど）ユーザの地理的位置を一般化して、ユーザの特定の位置を決定することができないようにしてもよい。このように、ユーザは、ユーザに関して何の情報が収集されるか、その情報がいかに使用されるか、および何の情報がユーザに提供されるかを制御することができる。
コンピュータシステム（たとえば、コンピューティングデバイス）は、ネットワークを介した通信に適合された無線周波数（ＲＦ）、マイクロ波周波数（ＭＷＦ）、および／または赤外線周波数（ＩＲＦ）無線通信技術およびプロトコルを含む任意の既知の無線通信技術およびプロトコルを使用してネットワークサーバと確立された通信リンクを介してネットワークを介してネットワークサーバと無線通信するように構成することができる。
本開示の態様に従って、本明細書に記載するさまざまな技法の実施態様は、デジタル電子回路で、またはコンピュータハードウェア、ファームウェア、ソフトウェアで、またはそれらの組み合わせで実装することができる。実施態様は、データ処理装置（たとえば、プログラマブルプロセッサ、コンピュータ、または複数のコンピュータ）による処理のために、またはデータ処理装置の動作を制御するために、コンピュータプログラム製品（たとえば、情報担体、機械可読記憶デバイス、コンピュータ可読媒体、有形コンピュータ可読媒体に有形に具現化されたコンピュータプログラム）として実装することができる。いくつかの実施態様では、有形のコンピュータ可読記憶媒体は、実行されるとプロセッサにプロセスを実行させる命令を記憶するように構成することができる。上述したコンピュータプログラムなどのコンピュータプログラムは、コンパイル型またはインタプリタ型言語を含む任意の形式のプログラミング言語で記述することができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に好適な他のユニットとしてなど、任意の形式で展開することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトにおける、もしくは複数のサイトに分散して、通信ネットワークによって相互接続された、複数のコンピュータ上で、処理されるように展開することができる。
本明細書で開示する特定の構造的および機能的詳細は、単に、実施形態例を説明する目的のために代表的なものである。しかしながら、実施形態例は、多くの代替形態で具現化してもよく、本明細書に示す実施形態のみに限定されると解釈されるべきではない。
本明細書で用いる用語は、特定の実施形態を説明する目的のみのためのものであり、実施形態を限定するように意図されていない。本明細書で用いる場合の単数形「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、文脈上別段明確な指示がない限り、複数形も含むように意図されている。本明細書で用いる場合の「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、および／または「含んでいる（ｉｎｃｌｕｄｉｎｇ）」という用語は、述べられている特徴、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、ステップ、動作、要素、構成要素、および／またはそれらの群の存在または追加を排除するものではないことがさらに理解されよう。
ある要素が別の要素に「結合され」、「接続され」、もしくは「応答し」ている、または別の要素の「上に」あると言う場合、その要素は、他の要素に直接結合され、接続され、もしくは応答し、もしくはその上にあり得るか、または介在する要素が存在してもよいことが理解されよう。対照的に、ある要素が別の要素に「直接結合され」、「直接接続され」、もしくは「直接応答し」ているか、または別の要素の「上に直接」あると言う場合、介在する要素は存在しない。本明細書で用いる場合の「および／または」という用語は、関連する列挙された項目のうちの１つまたは複数のありとあらゆる組み合わせを含む。
本明細書において、「真下」、「下」、「下方」、「上」、「上方」などの空間的に相対的な用語は、説明を容易にするために、図に示すように、１つの要素または特徴を別の要素または特徴との関係において説明するために使用する場合がある。空間的に相対的な用語は、図に描かれている向きに加えて、使用時または動作時のデバイスの異なる向きを包含することが意図されていることが理解されよう。たとえば、図のデバイスが上下反転された場合、他の要素または特徴の「下」または「真下」と記載されている要素は、他の要素または特徴の「上」に向けられることになる。したがって、「下」という用語は、上と下の両方の向きを包含することができる。デバイスは、別様に（７０度回転させ、または他の向きで）方向付けてもよく、本明細書で使用する空間的に相対的な記述子は、それに応じて解釈することができる。
本明細書では、これらの概念の実施形態例を、実施形態例の理想化された実施形態（および中間構造）の概略図である断面図を参照して説明している。したがって、たとえば、製造技法および／または公差の結果として、図の形状からの変形が予期されるべきである。したがって、記載した概念の実施形態例は、本明細書で図示した領域の特定の形状に限定されるものとして解釈されるべきではなく、たとえば、製造に起因する形状の逸脱を含むべきである。したがって、図に示す領域は、本質的に概略的なものであり、それらの形状は、デバイスの領域の実際の形状を示すように意図されるものではなく、実施形態例の範囲を限定するようには意図されていない。
本明細書では、さまざまな要素を説明するために「第１の」、「第２の」などの用語を使用することがあるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、単に、１つの要素を別の要素から区別するために使用されている。したがって、「第１の」要素は、本実施形態の教示から逸脱することなく、「第２の」要素と称することができる。
別段の定義がない限り、本明細書で使用する（技術用語および科学用語を含む）用語は、これらの概念が属する技術分野における当業者によって一般的に理解されるものと同じ意味を有する。一般的に使用される辞書に定義されているような用語は、関連技術および／または本明細書の文脈における意味と一貫する意味を有するものとして解釈されるべきであり、本明細書において明示的に定義されてない限り、理想化されたまたは過度に形式的な意味で解釈されないことがさらに理解されよう。
記載した実施態様のいくつかの特徴について、本明細書に記載したように例示したが、当業者であれば、ここで、多くの変更形態、置換形態、変形形態、および均等物が想到されよう。したがって、添付の特許請求の範囲は、実施態様の範囲内にあるようなこうした変更形態および変形形態を包含することが意図されていることを理解されるべきである。それらは、限定ではなく、単に例として提示されており、形態および詳細におけるさまざまな変更を行うことができることが理解されるべきである。本明細書に記載する装置および／または方法の任意の部分を、相互に排他的な組み合わせを除き、任意の組み合わせで組み合わせることができる。本明細書に記載する実施態様は、記載する異なる実施態様の機能、構成要素、および／または特徴のさまざまな組み合わせおよび／またはサブコンビネーションを含むことができる。
概して、ツールバー１０８は、多数の選択可能なツール（たとえば、スクリーンキャスト、スクリーンキャストのレコーディング、プレゼンターカメラ（たとえば、前面カメラ（すなわち、自撮り）カメラ）、リアルタイムトランスクリプション、リアルタイム翻訳、レーザポインタツール、アノテーションツール、拡大鏡ツールなど）を含むインタラクティブツールバーを含むことができる。ツールバーは、プレゼンターが単一の入力で容易にプレゼンテーションし、レコーディングし、キャストするように、構成することができる。加えて、ツールバーは、プレゼンテーション、レコーディング、および／またはキャスティングを切り替えるオプションを提供してもよい。ツールバー例を図１のツールバー１１７に示す。ツールバー１１７は、レコーディングツール、レーザポインタツール、（アノテーション１１４を生成するための）ペンツール、消しゴムツール、拡大鏡ツール、自撮りカメラまたは他のキャプチャツール、ならびにライブトランスクリプションおよび翻訳ツールなどを含む。
いくつかの実施態様では、ツールバー１０８は、ＵＩ１０７においてアノテーション入力（たとえば、アノテーション１２０）を受け取るように構成されたアノテーション生成ツール１０８ａを含むことができる。（たとえば、ツールバー１１７から選択される）アノテーション生成ツール１０８ａは、オーディオおよびビデオコンテンツのレンダリング中に（かつＵＩ１０７に示すように）、受け取られたアノテーション入力１２０に対するアノテーションデータレコード（たとえば、レコード２１４）を生成することができる。いくつかの実施態様では、アノテーション生成ツール１０８ａは、アノテーション入力１２０を受け取り、受け取ったアノテーション入力に対するタイムスタンプの格納をトリガする少なくとも１つのコントロール（たとえば、ソフトウェアまたはハードウェアベースの入力コントロール）を含むことができる。たとえば、システム１００は、アノテーション１１４（たとえば、アノテーション１２０）を受け取ることができ、これに応じて、入力１２０がいつ受け取られたか、およびいずれのアプリケーションにおいて入力１２０が受け取られたかを示す１つまたは複数のタイムスタンプを含むメタデータ（たとえば、アノテーションデータレコード２１４）を格納することができる。後に、メタデータを使用して、入力がいつ受け取られたか、入力が何を示したか、ならびに／または入力および／もしくは入力に関連するコンテンツの重要度レベルに基づいて、ビデオスニペットおよび／または代表的なコンテンツ１１２を生成することができる。いくつかの実施態様では、ユーザがコンテンツに対するアノテーションを生成するために任意の数のツールを選択することができるため、たとえば、ツールバー１１７上の任意の数のツールは、アノテーション生成ツール１０８ａの一部であってもよい。
いくつかの実施態様では、プレゼンテーションシステム１００は、ビデオストリームおよびオーディオストリーム１１０を生成および変更することもできる。たとえば、システム１００を使用して、さまざまなライブラリ１１６およびアクセスされたアプリケーション、画像、または他のリソースを使用してコンテンツをプレゼンテーションすることができる。コンテンツは、ツールバー１１７を使用してレコーディングすることができる。レコーディングされたコンテンツは、プレゼンターまたは別のユーザがアクセスすることができる。レコーディングされたコンテンツを使用して、システム１００は、代表的なコンテンツ１１２を自動的に生成することができる。
動作時、プレゼンター（たとえば、ストリーム１２２に示されるユーザ）は、たとえば、ＵＩ１０７およびツールバー１１７がプレゼンテーションされるようにシステム１００にアクセスすることができる。プレゼンターは、コンテンツをプレゼンテーションし、コンテンツにアノテーション付けし、コンテンツおよび／またはアノテーションをレコーディングし、将来の見直しのためにコンテンツおよび／またはアノテーションをアップロードするために、ツールバー１１７を使用して、ＵＩ１０７内のコンテンツのうちの任意のものまたはすべてをキャストし、スクリーンキャストし、または他の方法で共有することができる。この例では、プレゼンターは、ブラウザアプリケーションを介してシステム１００にアクセスしており、プレゼンテーション１０１、タブ１２８、ストリーム１２２、ストリーム１２６、および以前に入力されたアノテーション１２０を含むブラウザアプリケーション全体を共有する（たとえば、キャストする）ことを選択している。ツールバー１１７も共有コンテンツに提示され、表示／非表示を切り替えることができる。
図２Ａに示すように、コンピューティングシステム２０２は、オペレーティングシステム（Ｏ／Ｓ）２１６を含む。概して、Ｏ／Ｓ２１６は、図示しないアプリケーション、ＵＩインタラクション、アクセスされたサービス、および／またはデバイス通信を実行および／または制御するように機能することができる。たとえば、Ｏ／Ｓ２１６は、アプリケーション２１７およびＵＩ生成器２２０を実行および／または他の方法で管理することができる。いくつかの実施態様では、Ｏ／Ｓ２１６は、リアルタイムプレゼンテーションシステム１００もまたを実行および／または他の方法で管理することができる。いくつかの実施態様では、１つまたは複数のアプリケーション２１７が、リアルタイムプレゼンテーションシステム１００を実行および／または他の方法で管理してもよい。いくつかの実施態様では、ブラウザ２２２が、リアルタイムプレゼンテーションシステム１００を実行および／または他の方法で管理してもよい。
アプリケーション２１７は、コンピューティングシステム２０２によって（もしくはサーバコンピューティングシステム２０４によって、または外部サービスを介して）実行／配布することができる、任意のタイプのコンピュータプログラムであり得る。アプリケーション２１７は、ユーザがそれぞれのアプリケーション２１７の機能とインタラクトすることができるように、ユーザインターフェース（たとえば、アプリケーションウィンドウ、メニュー、ビデオストリーム、ツールバーなど）を提供することができる。特定のアプリケーション２１７のアプリケーションウィンドウは、メニュー、アイコン、ツールバー、ウィジェットなどの任意のタイプのコントロールとともに、アプリケーションデータを表示することができる。アプリケーション２１７は、アプリ情報２２４およびセッションデータ２２６を含むか、またはそれらにアクセスすることができ、これらの両方が、コンテンツおよび／またはデータを生成し、そうしたコンテンツおよび／またはデータを、デバイスインターフェースを介してユーザおよび／またはＯ／Ｓ２１６に提供するために使用することができる。アプリ情報２２４は、特定のアプリケーション２１７によって実行されているかまたは他の方法でアクセスされている情報に対応することができる。たとえば、アプリ情報２２４は、テキスト、画像、ビデオコンテンツ、メタデータ（たとえば、メタデータ２２８）、入力、出力、またはアプリケーション２１７とのインタラクションに関連付けられた制御信号を含むことができる。いくつかの実施態様では、アプリ情報２２４は、クラウドサーバ、サーバ２０４、サービス、または他のストレージリソースからダウンロードされたデータを含むことができる。いくつかの実施態様では、アプリ情報２２４は、限定されないが、メタデータ、タグ、タイムスタンプデータ、ＵＲＬデータなどを含む、特定のアプリケーション２１７に関連付けられたデータを含むことができる。いくつかの実施態様では、アプリケーション２１７は、ブラウザ２２２を含むことができる。ブラウザ２２２を利用して、システム１００は、プレゼンテーション、キャスティング、および／または他の共有のためにコンテンツを構成することができる。
セッションデータ２２６は、アプリケーション２１７とのユーザセッション２３０に関係することができる。たとえば、ユーザは、コンピューティングシステム２０２上のもしくはコンピューティングシステム２０２に関連するユーザプロファイル２３４を介して、または代替的にサーバコンピューティングシステム２０４を介して、ユーザアカウント２３２にアクセスすることができる。ユーザアカウント２３２にアクセスすることは、ユーザ名／パスワードまたは他のタイプの認証クレデンシャルおよび／もしくは許可データ２３６を提供することを含むことができる。ユーザがユーザクレデンシャルを供給することができるように、ログイン画面を表示することができ、これにより、認証されると、ユーザは、コンピューティングシステム２０２の機能にアクセスすることができる。セッションは、ユーザアカウント２３２がアクセスされたと判断されたことに応じて、またはコンピューティングシステム２０２の１つまたは複数のユーザインターフェース（ＵＩ）が表示されたときに、開始することができる。いくつかの実施態様では、セッションおよびユーザアカウントは、サーバコンピューティングシステム２０４と通信することなく、コンピューティングシステム２０２を使用して、認証およびアクセスすることができる。
図２Ｂに示すように、Ｏ／Ｓ２１６は、リアルタイムプレゼンテーションシステム１００および任意の数のアプリケーション２１７を含むか、またはそれらにアクセスすることができる。たとえば、アプリケーション２１７は、ブラウザ２２２も含むことができる。ブラウザ２２２は、インターネット上の情報にアクセスするように構成されたウェブブラウザを表す。ブラウザ２２２は、ブラウザコンテンツまたは他のブラウザベースの動作を生成するために、１つまたは複数のブラウザプロセス２６４を起動することができる。ブラウザ２２２は、１つまたは複数のブラウザウィンドウ２６８のコンテキスト内でブラウザタブ２６６を起動することもできる。
アプリケーション２１７は、ウェブアプリケーション２７０を含むことができる。ウェブアプリケーション２７０は、たとえば、リモートサーバ（たとえば、ウェブサーバ）に格納され、ブラウザタブ２６６を介してネットワーク２４０で配布される、アプリケーションプログラムを表す。いくつかの実施態様では、ウェブアプリケーション２７０は、デバイスに保存してオフラインで使用することができるプログレッシブウェブアプリケーションである。アプリケーション２１７は、コンピューティングシステム２０２上に少なくとも部分的に格納される（たとえば、ローカルに格納される）プログラムであり得る、非ウェブアプリケーションも含むことができる。いくつかの例では、非ウェブアプリケーションは、Ｏ／Ｓ２１６によって実行可能（または、Ｏ／Ｓ２１６の上で実行可能）であってもよい。
アプリケーション２１７は、ネイティブアプリケーション２７２をさらに含むことができる。ネイティブアプリケーション２７２は、特定のプラットフォームまたはデバイス上で使用されるように開発されたソフトウェアプログラムを表す。いくつかの例では、ネイティブアプリケーション２７２は、複数のプラットフォームまたはデバイス用に開発されたソフトウェアプログラムである。いくつかの例では、ネイティブアプリケーション２７２は、モバイルプラットフォーム上で使用されるように開発され、デスクトップまたはラップトップコンピュータ上で実行するようにも構成された、ソフトウェアプログラムである。
いくつかの実施態様では、リアルタイムプレゼンテーションシステム１００は、アプリケーションとして実行することができる。いくつかの実施態様では、システム１００はビデオ会議アプリケーション内で実行することができる。いくつかの実施態様では、リアルタイムプレゼンテーションシステム１００は、ネイティブアプリケーションとして実行することができる。概して、システム１００は、オーディオデータもしくはテキスト、ＨＴＭＬ、画像、オブジェクト、テーブル、またはアプリケーション２１７内の他のコンテンツアイテムの選択、変更、およびレコーディングをサポートするように構成することができる。
（たとえば、ツールバー１１７上の）アノテーション生成ツール１０８ａは、ユーザインターフェースにおいてアノテーション入力（たとえば、アノテーション入力１２０）を受け取るように構成することができる。そして、アノテーション生成ツール１０８ａは、その入力を使用して、オーディオおよびビデオコンテンツのレンダリング中に、受け取ったアノテーション入力に対する任意の数のアノテーションデータレコードを生成することができる。アノテーション生成ツール１０８ａは、アノテーション入力を受け取り、それぞれの受け取ったアノテーション入力に対するタイムスタンプの格納をもたらす、少なくとも１つのコントロールを含むことができる。タイムスタンプを使用して、ビデオコンテンツをシステム１００に関連付けられたアノテーション、トランスクリプション、翻訳、および／または他のデータと一致させることができる。
図３Ａに示すように、ストリーム１２２のプレゼンターは、第１のアプリケーション３０２および第２のアプリケーション３０４をプレゼンテーションしている。第１のアプリケーション３０２は、アノテーション３０６およびアノテーション３０８でアノテーション付けされている。ストリーム１２２のプレゼンターは、たとえば、アノテーション生成ツール（たとえば、ツールバー３１４）からのペンツール３１２を使用して、カーソル３１０ａを使用して能動的にアノテーション付けすることができる。動作時、レンダリングされたビデオコンテンツは、システム１００にアクセス可能な任意の数の開いているまたは利用可能なアプリケーションからの第１のアプリケーション３０２に関連付けられたデータ（マップならびにアノテーション３０６および３０８）を含むことができる。レンダリングされたビデオコンテンツは、第２のアプリケーション３０４に関連付けられたデータ（たとえば、地理コンセプト）も含むことができる。
プレゼンターは、（たとえば、Ｏ／Ｓ２１６またはリアルタイムプレゼンテーションシステム１００をホストするアプリケーション２１７を介して）コンピューティングシステム２０２によって提供されるメニューＵＩ５０６にアクセスすることができる。ＵＩ５０６は、クイック設定ＵＩから提示してもよい。ＵＩ５０６から、プレゼンターは、プレゼンテーション１０１からコンテンツをプレゼンテーションするためのスクリーンキャストおよび／またはスクリーンシェアを構成するための追加画面が提供されるように、カーソル５１０でプレゼンテーションコントロール５０８を選択することができる。

Claims (29)

  1. ビデオコンテンツをキャプチャするレコーディングを開始させるステップであって、前記ビデオコンテンツは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、およびアノテーションビデオストリームを含む、ステップと、
    前記ビデオコンテンツに基づいて、前記ビデオコンテンツのキャプチャ中に、前記ビデオコンテンツの少なくとも１つの部分を、前記プレゼンタービデオストリーム、前記スクリーンキャストビデオストリーム、または前記アノテーションビデオストリームのうちの少なくとも１つにおいて受け取られた入力に同期させるために使用されるタイミング情報を表すメタデータレコードを生成するステップと、
    を含む、コンピュータによって実施される方法。
  2. 前記レコーディングの終了に応じて、前記メタデータレコードに基づいて、前記ビデオコンテンツの表現を生成するステップであって、前記表現は、前記プレゼンタービデオストリームに関連するユーザによってアノテーション付けされた前記ビデオコンテンツの部分を含む、ステップ
    をさらに含む、請求項１に記載のコンピュータによって実施される方法。
  3. 前記タイミング情報は、前記入力に関連付けられた複数のタイムスタンプと、前記ビデオコンテンツに関連付けられたドキュメントにおける少なくとも１つの位置とに対応し、
    前記入力を同期させることは、前記複数のタイムスタンプにおける少なくとも１つのタイムスタンプを、前記ドキュメントにおける前記少なくとも１つの位置に一致させることを含む、請求項１または２に記載のコンピュータによって実施される方法。
  4. 前記ビデオコンテンツは、トランスクリプションビデオストリームをさらに含み、前記トランスクリプションビデオストリームは、
    前記ビデオコンテンツの前記レコーディング中に、前記スクリーンキャストビデオストリームとともに表示されるように構成された変更可能なトランスクリプションデータとして生成される、前記プレゼンタービデオストリームからのリアルタイムの文字起こしされたオーディオデータと、
    前記ビデオコンテンツの前記レコーディング中に、前記スクリーンキャストビデオストリームおよび前記リアルタイムの文字起こしされたオーディオデータとともに表示されるように構成されたテキストデータとして生成される、前記プレゼンタービデオストリームからのリアルタイムの翻訳されたオーディオデータと、
    を含む、請求項１から３のいずれか１項に記載のコンピュータによって実施される方法。
  5. 前記リアルタイムの文字起こしされたオーディオデータのトランスクリプションは、少なくとも１つの音声テキスト化アプリケーションによって実施され、前記少なくとも１つの音声テキスト化アプリケーションは、前記トランスクリプションビデオストリームによってアクセス可能であると決定された複数の音声テキスト化アプリケーションから選択され、
    前記変更可能なトランスクリプションデータおよび前記テキストデータは、タイムスタンプに従って前記メタデータレコードに格納され、検索可能であるように構成される、請求項４に記載のコンピュータによって実施される方法。
  6. 前記入力は、前記アノテーションビデオストリームに関連付けられたアノテーション入力を含み、前記アノテーション入力は、前記プレゼンタービデオストリームに関連するユーザによって生成されたビデオマーカデータおよびテレストレータデータを含む、請求項１から５のいずれか１項に記載のコンピュータによって実施される方法。
  7. 前記プレゼンタービデオストリーム、前記スクリーンキャストビデオストリーム、および前記アノテーションビデオストリームは、前記レコーディング中にオンとオフとが切り替えられるように構成され、前記オンとオフとの切り替えにより、前記プレゼンタービデオストリーム、前記スクリーンキャストビデオストリーム、または前記アノテーションビデオストリームの表示または表示からの削除がトリガされる、請求項１から６のいずれか１項に記載のコンピュータによって実施される方法。
  8. メモリと、
    前記メモリに結合された少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、ユーザインターフェースを生成するように構成されており、前記ユーザインターフェースは、
    前記ユーザインターフェース内からの複数のアプリケーションのアクセスに関連付けられたオーディオおよびビデオコンテンツをレンダリングするように構成されたレンダラ、
    前記ユーザインターフェースにおいてアノテーション入力を受け取り、前記オーディオおよびビデオコンテンツのレンダリング中に、前記受け取ったアノテーション入力に対する複数のアノテーションデータレコードを生成するように構成されたアノテーション生成ツールであって、前記アノテーション入力を受け取る少なくとも１つのコントロールを含むアノテーション生成ツール、
    前記オーディオおよびビデオコンテンツの前記レンダリング中に前記オーディオコンテンツを文字起こしし、前記文字起こしされたオーディオコンテンツを前記ユーザインターフェースに表示するように構成されたトランスクリプション生成ツール、および
    前記レンダリングの終了を検出することに応じて、前記オーディオおよびビデオコンテンツの表現を生成するように構成されたコンテンツ生成ツールであって、前記表現は、前記アノテーション入力、前記ビデオコンテンツ、および前記文字起こしされたオーディオコンテンツに基づき、前記表現は、前記アノテーション入力でマークされた、前記レンダリングされたオーディオおよびビデオコンテンツの部分を含む、コンテンツ生成ツール
    からのコマンドを受け取るように構成されている、少なくとも１つのプロセッサと、
    を備えるシステム。
  9. 前記コンテンツ生成ツールは、
    前記オーディオおよびビデオコンテンツの前記表現へのＵＲＬリンクを生成し、
    ウェブブラウザアプリケーションにおいて前記オーディオおよびビデオコンテンツの少なくとも一部を見つける検索機能を有効にするように前記表現にインデックス付けする
    ようにさらに構成されている、請求項８に記載のシステム。
  10. 前記複数のアノテーションデータレコードは、
    前記複数のアプリケーションにおける、前記アノテーション入力を受け取る少なくとも１つのアプリケーションの指示と、
    それぞれのタイムスタンプに従って、前記指示された少なくとも１つのアプリケーションを描写する前記レンダリングされたビデオコンテンツの一部の少なくとも１つの画像フレームの上に、前記アノテーション入力をオーバーレイする機械可読命令と、
    を含む、請求項８または９に記載のシステム。
  11. 前記少なくとも１つの画像フレームの上に前記アノテーション入力をオーバーレイすることは、
    前記複数のアノテーションデータレコードのうちの少なくとも１つを取り出すことと、
    前記機械可読命令を実行することと、
    前記アノテーション入力が、前記少なくとも１つのアノテーションデータレコードに従って、前記少なくとも１つの画像フレームの上にオーバーレイされた状態で、ユーザが前記少なくとも１つの画像フレームをスクロールすることができるようにするドキュメントを生成することと、
    を含む、請求項１０に記載のシステム。
  12. 前記アノテーション生成ツールは、
    前記レンダリングされたオーディオおよびビデオコンテンツのレコーディングを開始させることであって、前記レンダリングされたビデオコンテンツは、前記複数のアプリケーションにおける第１のアプリケーションに関連付けられたデータと、前記複数のアプリケーションにおける第２のアプリケーションに関連付けられたデータとを含む、開始させることと、
    前記第１のアプリケーションにおいて、前記レコーディングビデオコンテンツの第１のセグメントの間に第１のアノテーションのセットを受け取ることと、
    前記第１のセグメントに関連付けられたそれぞれのタイムスタンプに従って、前記第１のアノテーションのセットを格納することと、
    前記第２のアプリケーションにおいて、前記レコーディングビデオコンテンツの第２のセグメントの間に第２のアノテーションのセットを受け取ることと、
    前記第２のセグメントに関連付けられたそれぞれのタイムスタンプに従って、前記第２のアノテーションのセットを格納することと、
    カーソルフォーカスが前記第１のアプリケーションから前記第２のアプリケーションに切り替わったことを検出することに応じて、
    前記第２のアノテーションのセットと、前記第２のアプリケーションに関連付けられた前記データとを取り出すことと、
    前記第２のセグメントに関連付けられた前記タイムスタンプを前記第２のアノテーションのセットに一致させることと、
    前記第２のセグメントに関連付けられた前記それぞれのタイムスタンプに従って、前記第２のアプリケーションの上での前記取り出された第２のアノテーションのセットの表示を引き起こすことと、
    を行うようにさらに構成されている、請求項８から１１のいずれか１項に記載のシステム。
  13. 前記第１のアノテーションのセットおよび前記第２のアノテーションのセットは、前記アノテーションツールによって生成され、前記アノテーションツールは、前記第１のアノテーションのセットおよび前記第２のアノテーションのセットの各アノテーションについて、前記第１のアプリケーションに関連付けられた前記データまたは前記第２のアプリケーションに関連付けられた前記データ上の初期位置を保持しながら、前記第１のアノテーションのセットおよび前記第２のアノテーションのセットのマーキング、格納、およびスクロールを可能にする、請求項１２に記載のシステム。
  14. 前記アノテーション生成ツールは、
    前記カーソルフォーカスが前記第２のアプリケーションから前記第１のアプリケーションに切り替わったことを検出することに応じて、
    前記第１のアノテーションのセットと、前記第１のアプリケーションに関連付けられた前記データとを取り出すことと、
    前記第１のセグメントに関連付けられた前記タイムスタンプを、前記第１のアノテーションのセットに一致させることと、
    前記第１のセグメントに関連付けられた前記それぞれのタイムスタンプに従って、前記第１のアプリケーションの上での前記取り出された第１のアノテーションのセットの表示を引き起こすことと、
    を行うようにさらに構成されている、請求項１２に記載のシステム。
  15. 前記アノテーション生成ツールは、
    前記第２のアプリケーションにおいて追加のアノテーションを受け取ることであって、前記追加のアノテーションはそれぞれのタイムスタンプに関連付けられている、受け取ることと、
    前記レコーディングの完了を検出することに応じて、前記第２のアノテーションのセットおよび前記追加のアノテーションからドキュメントを生成することであって、前記ドキュメントは、
    前記第２のセグメントに関連付けられた前記それぞれのタイムスタンプと、前記追加のアノテーションに関連付けられた前記それぞれのタイムスタンプとに従って、前記第２のアプリケーションに関連付けられた前記データの上にオーバーレイされた前記第２のアノテーションのセットおよび前記追加のアノテーション、ならびに
    前記第２のセグメントに関連付けられた前記レコーディングされたオーディオコンテンツのトランスクリプション
    を含む、生成することと、
    を行うようにさらに構成されている、請求項１２に記載のシステム。
  16. 少なくとも１つのプロセッサによって実行されると、
    ビデオコンテンツをキャプチャするレコーディングを開始させることであって、前記ビデオコンテンツは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームを含む、開始させることと、
    前記ビデオコンテンツに基づいて、前記ビデオコンテンツのキャプチャ中に、前記ビデオコンテンツの少なくとも１つの部分を、前記プレゼンタービデオストリーム、前記スクリーンキャストビデオストリーム、前記トランスクリプションビデオストリーム、または前記アノテーションビデオストリームのうちの少なくとも１つにおいて受け取られた入力に同期させるために使用されるタイミング情報を表すメタデータレコードを生成することと、
    を含む命令をコンピューティングシステムに実行させるように構成された命令が格納されている、非一時的コンピュータ可読記憶媒体。
  17. 前記命令は、
    前記レコーディングの終了に応じて、前記メタデータレコードに基づいて、前記ビデオコンテンツの表現を生成することであって、前記表現は、前記プレゼンタービデオストリームに関連するユーザによってアノテーション付けされた前記ビデオコンテンツの部分を含む、生成すること
    をさらに含む、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
  18. 前記タイミング情報は、前記受け取られた入力に関連付けられた複数のタイムスタンプと、前記ビデオコンテンツに関連付けられたドキュメントにおける少なくとも１つの位置とに対応し、
    前記入力を同期させることは、前記複数のタイムスタンプにおける少なくとも１つのタイムスタンプを、前記ドキュメントにおける前記少なくとも１つの位置に一致させることを含む、請求項１６または１７に記載の非一時的コンピュータ可読記憶媒体。
  19. 前記トランスクリプションビデオストリームは、
    前記ビデオコンテンツの前記レコーディング中に、前記スクリーンキャストビデオストリームとともに表示されるように構成されたテキストデータとして生成される、前記プレゼンタービデオストリームからのリアルタイムの文字起こしされたオーディオデータと、
    前記ビデオコンテンツの前記レコーディング中に、前記スクリーンキャストビデオストリームおよび前記文字起こしされたオーディオデータとともに表示されるように構成されたテキストデータとして生成される、前記プレゼンタービデオストリームからのリアルタイムの翻訳されたオーディオデータと、
    を含む、請求項１６から１８のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。
  20. 前記リアルタイムの文字起こしされたオーディオデータは、前記ビデオコンテンツの前記レコーディング中に、前記スクリーンキャストビデオストリームとともに表示されるように構成された変更可能なトランスクリプションデータとして生成され、
    前記リアルタイムの文字起こしされたオーディオデータのトランスクリプションは、少なくとも１つの音声テキスト化アプリケーションによって実施され、前記少なくとも１つの音声テキスト化アプリケーションは、前記トランスクリプションビデオストリームによってアクセス可能であると決定された複数の音声テキスト化アプリケーションから選択され、
    前記変更可能なトランスクリプションデータおよび前記テキストデータは、タイムスタンプに従って前記メタデータレコードに格納され、検索可能であるように構成される、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
  21. 前記入力は、前記アノテーションビデオストリームに関連付けられたアノテーション入力を含み、前記アノテーション入力は、前記プレゼンタービデオストリームに関連するユーザによって生成されたビデオマーカデータおよびテレストレータデータを含む、請求項１６から２０のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。
  22. 前記プレゼンタービデオストリーム、前記スクリーンキャストビデオストリーム、前記トランスクリプションビデオストリーム、および前記アノテーションビデオストリームは、前記レコーディング中にオンとオフとが切り替えられるように構成され、前記オンとオフとの切り替えにより、前記プレゼンタービデオストリーム、前記スクリーンキャストビデオストリーム、前記トランスクリプションビデオストリーム、または前記アノテーションビデオストリームの表示または表示からの削除がトリガされる、請求項１６から２１のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。
  23. 少なくとも１つのプロセッサによって実行されると、
    オーディオコンテンツおよびビデオコンテンツをキャプチャするレコーディングを開始させることであって、前記ビデオコンテンツは、少なくともプレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームを含む、開始させることと、
    ユーザインターフェース内からの複数のアプリケーションのアクセスに関連付けられた前記オーディオコンテンツおよび前記ビデオコンテンツのレンダリングを引き起こすことと、
    前記オーディオコンテンツおよび前記ビデオコンテンツのレンダリング中に、前記ユーザインターフェースにおいてアノテーション入力を受け取ることであって、前記アノテーション入力は、前記アノテーションビデオストリームに記録される、受け取ることと、
    前記オーディオコンテンツおよび前記ビデオコンテンツの前記レンダリング中に前記オーディオコンテンツを文字起こしすることであって、前記文字起こしされたオーディオコンテンツは、前記トランスクリプションビデオストリームに記録される、文字起こしすることと、
    前記オーディオコンテンツおよび前記ビデオコンテンツの前記レンダリング中に、前記文字起こしされたオーディオコンテンツを翻訳することと、
    前記レンダリングされたオーディオコンテンツおよび前記レンダリングされたビデオコンテンツとともに、前記ユーザインターフェースにおいて、前記文字起こしされたオーディオコンテンツおよび前記文字起こしされたオーディオコンテンツの前記翻訳のレンダリングを引き起こすことと、
    を含む命令をコンピューティングシステムに実行させるように構成された命令が格納されている、非一時的コンピュータ可読記憶媒体。
  24. 前記命令は、
    前記ビデオコンテンツおよび前記オーディオコンテンツの前記レンダリングの終了を検出することに応じて、前記オーディオコンテンツおよび前記ビデオコンテンツの少なくとも一部分の代表的なコンテンツを生成することであって、前記代表的なコンテンツは、前記アノテーション入力、前記ビデオコンテンツ、および文字起こしされたオーディオコンテンツ、および前記翻訳されたオーディオコンテンツに基づき、前記代表的なコンテンツは、前記アノテーション入力でマークされた前記レンダリングされたオーディオおよびビデオの部分を含む、生成すること
    をさらに含む、請求項２３に記載の非一時的コンピュータ可読媒体。
  25. 前記アノテーション入力は、前記ビデオコンテンツの上のオーバーレイとしてレンダリングされ、前記アノテーション入力は、前記レコーディング中にアクセスされた他のビデオコンテンツへの切り替えをトリガするウィンドウイベントまたはカーソルイベントの検出に応じて、前記ビデオコンテンツとともに移動するように構成されている、請求項２３または２４に記載の非一時的コンピュータ可読媒体。
  26. 少なくとも１つのビデオストリームを受け取るステップと、
    前記少なくとも１つのビデオストリームにおいて検出された入力に関連付けられたタイミング情報を表すメタデータを受け取るステップであって、前記タイミング情報は、前記少なくとも１つのビデオストリームにおいて提供される前記検出された入力を、前記少なくとも１つのビデオストリームにおいて描写されるコンテンツに同期させるように構成される、ステップと、
    前記少なくとも１つのビデオストリームを視聴する要求を受け取ることに応じて、前記少なくとも１つのビデオストリームの一部を生成するステップであって、前記生成は、前記メタデータと、前記少なくとも１つのビデオストリームの表現を視聴することを要求する検出されたユーザ指示とに基づく、ステップと、
    前記少なくとも１つのビデオストリームの前記一部のレンダリングを引き起こすステップと、
    を含む、コンピュータによって実施される方法。
  27. 前記タイミング情報は、前記少なくとも１つのビデオストリームにおいて検出されたそれぞれの入力に関連付けられた複数のタイムスタンプと、前記少なくとも１つのビデオストリームに関連付けられたコンテンツにおける少なくとも１つの位置とに対応し、
    前記検出された入力を同期させることは、それぞれの入力について、少なくとも１つのタイムスタンプを、前記少なくとも１つのビデオストリームに関連付けられたドキュメントにおける前記少なくとも１つの位置に一致させることを含む、請求項２６に記載のコンピュータによって実施される方法。
  28. 前記少なくとも１つのビデオストリームは、プレゼンタービデオストリーム、スクリーンキャストビデオストリーム、トランスクリプションビデオストリーム、およびアノテーションビデオストリームから選択される、請求項２６または２７に記載のコンピュータによって実施される方法。
  29. 前記少なくとも１つのビデオストリームの前記表現は、前記検出された入力に基づき、前記入力でアノテーション付けされた前記少なくとも１つのビデオストリームの前記レンダリングされた部分を含む、請求項２６から２８のいずれか１項に記載のコンピュータによって実施される方法。
JP2023562722A 2021-05-19 2022-05-19 ビデオコンテンツとのインタラクションを容易にするユーザインターフェースおよびツール Pending JP2024521613A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/303,075 US20220374585A1 (en) 2021-05-19 2021-05-19 User interfaces and tools for facilitating interactions with video content
US17/303,075 2021-05-19
PCT/US2022/072434 WO2022246450A1 (en) 2021-05-19 2022-05-19 User interfaces and tools for facilitating interactions with video content

Publications (1)

Publication Number Publication Date
JP2024521613A true JP2024521613A (ja) 2024-06-04

Family

ID=82320057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023562722A Pending JP2024521613A (ja) 2021-05-19 2022-05-19 ビデオコンテンツとのインタラクションを容易にするユーザインターフェースおよびツール

Country Status (6)

Country Link
US (1) US20220374585A1 (ja)
EP (1) EP4272211A1 (ja)
JP (1) JP2024521613A (ja)
KR (1) KR20230172004A (ja)
CN (1) CN116888668A (ja)
WO (1) WO2022246450A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448475B (zh) * 2021-06-30 2024-06-07 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
US11968476B2 (en) * 2021-10-31 2024-04-23 Zoom Video Communications, Inc. Virtual environment streaming to a video communications platform
US11880644B1 (en) * 2021-11-12 2024-01-23 Grammarly, Inc. Inferred event detection and text processing using transparent windows
US11854267B2 (en) * 2021-12-09 2023-12-26 Motorola Solutions, Inc. System and method for witness report assistant
US20230244857A1 (en) * 2022-01-31 2023-08-03 Slack Technologies, Llc Communication platform interactive transcripts

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972274A (en) * 1988-03-04 1990-11-20 Chyron Corporation Synchronizing video edits with film edits
US7689898B2 (en) * 1998-05-07 2010-03-30 Astute Technology, Llc Enhanced capture, management and distribution of live presentations
US6430357B1 (en) * 1998-09-22 2002-08-06 Ati International Srl Text data extraction system for interleaved video data streams
US7330875B1 (en) * 1999-06-15 2008-02-12 Microsoft Corporation System and method for recording a presentation for on-demand viewing over a computer network
US7216266B2 (en) * 2003-03-12 2007-05-08 Thomson Licensing Change request form annotation
FR2858087B1 (fr) * 2003-07-25 2006-01-21 Eastman Kodak Co Procede de simulation numerique d'un rendu de support d'images
EP1920393A2 (en) * 2005-07-22 2008-05-14 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
US8437409B2 (en) * 2006-12-06 2013-05-07 Carnagie Mellon University System and method for capturing, editing, searching, and delivering multi-media content
US9665529B1 (en) * 2007-03-29 2017-05-30 Amazon Technologies, Inc. Relative progress and event indicators
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US9330069B2 (en) * 2009-10-14 2016-05-03 Chi Fai Ho Layout of E-book content in screens of varying sizes
US9508387B2 (en) * 2009-12-31 2016-11-29 Flick Intelligence, LLC Flick intel annotation methods and systems
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US20160148517A1 (en) * 2011-04-11 2016-05-26 Ali Mohammad Bujsaim Talking notebook with projection
US20150003595A1 (en) * 2011-04-25 2015-01-01 Transparency Sciences, Llc System, Method and Computer Program Product for a Universal Call Capture Device
US20130110565A1 (en) * 2011-04-25 2013-05-02 Transparency Sciences, Llc System, Method and Computer Program Product for Distributed User Activity Management
US9049259B2 (en) * 2011-05-03 2015-06-02 Onepatont Software Limited System and method for dynamically providing visual action or activity news feed
US8798598B2 (en) * 2012-09-13 2014-08-05 Alain Rossmann Method and system for screencasting Smartphone video game software to online social networks
US20140222462A1 (en) * 2013-02-07 2014-08-07 Ian Shakil System and Method for Augmenting Healthcare Provider Performance
US9268756B2 (en) * 2013-04-23 2016-02-23 International Business Machines Corporation Display of user comments to timed presentation
US9087521B2 (en) * 2013-07-02 2015-07-21 Family Systems, Ltd. Systems and methods for improving audio conferencing services
US10891428B2 (en) * 2013-07-25 2021-01-12 Autodesk, Inc. Adapting video annotations to playback speed
US20150234571A1 (en) * 2014-02-17 2015-08-20 Microsoft Corporation Re-performing demonstrations during live presentations
US10033825B2 (en) * 2014-02-21 2018-07-24 Knowledgevision Systems Incorporated Slice-and-stitch approach to editing media (video or audio) for multimedia online presentations
US10431259B2 (en) * 2014-04-23 2019-10-01 Sony Corporation Systems and methods for reviewing video content
US9924240B2 (en) * 2015-05-01 2018-03-20 Google Llc Systems and methods for interactive video generation and rendering
US11036458B2 (en) * 2015-10-14 2021-06-15 Google Llc User interface for screencast applications
US9812175B2 (en) * 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
EP3537278A4 (en) * 2016-11-29 2019-11-27 Huawei Technologies Co., Ltd. RECORDING AND REPRODUCTION METHOD FOR SCREEN VIDEO AND SCREEN RECORDING DEVICE AND PLAYBACK TRANSMITTER
CN107920280A (zh) * 2017-03-23 2018-04-17 广州思涵信息科技有限公司 视频、讲义ppt和语音内容精准匹配的方法和系统
US10762284B2 (en) * 2017-08-21 2020-09-01 International Business Machines Corporation Automated summarization of digital content for delivery to mobile devices
US11259075B2 (en) * 2017-12-22 2022-02-22 Hillel Felman Systems and methods for annotating video media with shared, time-synchronized, personal comments
CN108459836B (zh) * 2018-01-19 2019-05-31 广州视源电子科技股份有限公司 批注显示方法、装置、设备及存储介质
US11030796B2 (en) * 2018-10-17 2021-06-08 Adobe Inc. Interfaces and techniques to retarget 2D screencast videos into 3D tutorials in virtual reality
US10805651B2 (en) * 2018-10-26 2020-10-13 International Business Machines Corporation Adaptive synchronization with live media stream
US11437072B2 (en) * 2019-02-07 2022-09-06 Moxtra, Inc. Recording presentations using layered keyframes
US11170782B2 (en) * 2019-04-08 2021-11-09 Speech Cloud, Inc Real-time audio transcription, video conferencing, and online collaboration system and methods
US20220013127A1 (en) * 2020-03-08 2022-01-13 Certified Electronic Reporting Transcription Systems, Inc. Electronic Speech to Text Court Reporting System For Generating Quick and Accurate Transcripts
IL297858A (en) * 2020-05-01 2023-01-01 Monday Com Ltd Digital processing systems and methods for improved networking and collaborative work management systems, methods and devices
US11128636B1 (en) * 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
US11606220B2 (en) * 2020-06-20 2023-03-14 Science House LLC Systems, methods, and apparatus for meeting management
US11665284B2 (en) * 2020-06-20 2023-05-30 Science House LLC Systems, methods, and apparatus for virtual meetings

Also Published As

Publication number Publication date
CN116888668A (zh) 2023-10-13
WO2022246450A1 (en) 2022-11-24
KR20230172004A (ko) 2023-12-21
EP4272211A1 (en) 2023-11-08
US20220374585A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
US11849196B2 (en) Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter
US20220374585A1 (en) User interfaces and tools for facilitating interactions with video content
US9063641B2 (en) Systems and methods for remote collaborative studying using electronic books
CN101930779B (zh) 一种视频批注方法及视频播放器
US20160266864A1 (en) Methods and apparatus for enhancing electronic presentations
US8194081B2 (en) Animation of audio ink
WO2013151610A1 (en) Synchronizing progress in audio and text versions of electronic books
US20150121189A1 (en) Systems and Methods for Creating and Displaying Multi-Slide Presentations
US9335838B2 (en) Tagging of written notes captured by a smart pen
CA2837093A1 (en) Content selection in a pen-based computing system
US20170300746A1 (en) Organizing Written Notes Using Contextual Data
US10965743B2 (en) Synchronized annotations in fixed digital documents
US20160180822A1 (en) Smart Zooming of Content Captured by a Smart Pen
CN115437736A (zh) 一种笔记记录方法和装置
TW202009891A (zh) 電子書語音朗讀裝置及其方法
AU2012258779A1 (en) Content selection in a pen-based computing system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231213