JP4171157B2 - ノート作成システム、ノート作成方法及びノート作成システムの動作方法 - Google Patents
ノート作成システム、ノート作成方法及びノート作成システムの動作方法 Download PDFInfo
- Publication number
- JP4171157B2 JP4171157B2 JP2000081135A JP2000081135A JP4171157B2 JP 4171157 B2 JP4171157 B2 JP 4171157B2 JP 2000081135 A JP2000081135 A JP 2000081135A JP 2000081135 A JP2000081135 A JP 2000081135A JP 4171157 B2 JP4171157 B2 JP 4171157B2
- Authority
- JP
- Japan
- Prior art keywords
- note
- video stream
- video
- notebook
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000008859 change Effects 0.000 claims description 28
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 241000239290 Araneae Species 0.000 description 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 235000005979 Citrus limon Nutrition 0.000 description 1
- 244000131522 Citrus pyriformis Species 0.000 description 1
- 241001310793 Podium Species 0.000 description 1
- 241001255741 Vanna Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Educational Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、統合型マルチメディアノート作成システムに関する。本発明は、より詳細には、デジタルビデオ及びデジタルインクを参照及びノートとして用いるノート作成システムに関する。本発明は、更に、説明ノート、ブックマーク、及び索引資料の提供にビデオ供給を用いるノート作成システムに関する。本発明は、更に、サムネイル、タイムスタンプ、及び背景写真を用いた、ノート及びビデオ供給の少なくとも一方の索引付けに関する。本発明は、更に、自動ノート作成のための、及び、ノート作成システムに資料を表示する際に帯域幅を最適化するためのフレーム率圧縮用の供給機構としての、スライド検出プロセスを有するノート作成システムに関する。
【０００２】
【従来の技術】
マルチメディアノート作成システムは、一般的に、会議中の音声及びビデオを取得し、取得した資料からスライドを作成する。（例えば、ライブボード(LiveBoard)上で実行されるシステムであるチボリ(Tivoli)がある。モラン(Moran,T.P.)、パレン(Palen,L.)、ハリソン(Harrison,S.)、チィーウ(Chiu,P.)、キンバー(Kimber,D.)、ミンネマン(Minneman,S.)、ヴァンメル(van Melle,W.)、及びゼルウェガー(Zellweger,P.)による「“私はそれを音声から得る”：マルチメディア会議記録利用のケーススタディ("I'll get that off the audio": a case study of salvaging multimedia meeting records)」 、ＣＨＩ '97ＣＭ 予稿集、ニューヨークにて開催、202−209頁、を参照)。チボリは、プレゼンテーション型の会議よりもワーク型の会議を支援するように設計されている（即ち、プレゼンテーションが行われる会議ではなく、議論が行われる会議の議事録作成に向いている）。チボリの、音声に索引付けされるインクストロークは、チボリスライド上の任意の準備資料とともに、会議についてのグループノートになる。ラップトップ型コンピュータを使用する参加者は、タイプしたテキストのコメントをチボリのスライドに“発信”してもよい（即ち、赤外線ポート、又はその他の手段によって、コメントをチボリに送信してもよい）。
【０００３】
類似の例のクラスルーム2000(Classroom 2000)では、プレゼンテーションスライドのイメージ及び音声が取得されるが、ビデオは用いられない（アバウド(Abowd,G.D.)、アトキーソン(Atkeson,C.G.)、ブラザートン(Brotherton,J.)、エンクヴィスト(Enqvist,T.)、ガレイ(Gulley,P.)、及びルモン(LeMon,J.)による「教育的設定における偏在するコンピューティングの、取得、統合、及びアクセス問題の調査(Investigating the capture, integration and access problem of ubiquitous computing in an educational setting) 」、ＣＨＩ '98学会予稿集、ＡＣＭ、ニューヨークにて開催、440−447頁、及びアバウド(Abowd,G.D.)、アトキーソン(Atkeson,C.G.)、ファインスタイン(Feinstein,A.)、フメロ(Hmelo,C.)、クーパー(Kooper,R.)、ロング(Long,S.)、ソーニー(Sawhney,N.)、及びタニ(Tani,M.)による「マルチメディアオーサリングとしての指導及び学習：クラスルーム2000プロジェクト(Teaching and learning as multimedia authoring: the classroom 2000 project)」、ＡＣＭマルチメディア '96学会予稿集、ＡＣＭ、ニューヨークにて開催、187−198頁、を参照)。更に、クラスルーム2000は、発表者がスライドを標準画像形式で準備する努力を要する。スライドはライブボード上に表示され、ノート作成は、事前にスライドをロードしたＰＤＡ装置を用いて行われる。このノートは、後から、音声及びライブボードの前で講義した教授による注釈つきのスライドと同期される。
【０００４】
更に別の例で、フォーラム(Forum)（アイザクス(Isaacs,E.)、モリス(Morris,T.)、及びロドリゲス(Rodriguez,T.K.)による「分散された聴衆に対する相互プレゼンテーションを支援するためのフォーラム(A forum for supportiong interactive presentations to distributed audiences)」、ＣＳＣＷ '94予稿集、ＡＣＭ、ニューヨークにて開催、405−416頁、を参照）は、ビデオを分散型プレゼンテーションの手段として用いるシステムである。プレゼンテーション中は、発言者を含む全員がワークステーションの前に座っている。スライドは、特定の形式で準備されなければならない。スライドにはテキスト及びマウスで描かれたマークで注釈をつけることができるが、ビデオ映像には注釈をつけられない。
【０００５】
別の例では、ストリームズ(STREAMS)（クルツ(Cruz,G.)及びヒル(Hill,R.)による「ストリームズを用いたマルチメディアイベントの取得及び再生(Capturing and playing multimedia events with STREAMS)」、ＡＣＭマルチメディア '94学会予稿集、ＡＣＭ、ニューヨークにて開催、193−200頁、を参照）は、室内カメラからのビデオを用いる、プレゼンテーション取得用のシステムである。これらのカメラは、ディスプレイ上の任意のプレゼンテーション内容を取得するためにも用いられる。この方法は、室内の活動が表示を不明瞭にするという問題を有する。レビュー中にテキストのコメントを加えることにより、取得したビデオストリームに注釈をつけられるが、プレゼンテーション中のノート作成はサポートされていない。これらのシステムでは、カメラからのライヴ映像及びプレゼンテーション資料を、対話式にノートに統合することはできない。
【０００６】
更に、幾つかのスタンドアローン型インク及び音声ノート作成システムが知られている。例えば、FXPAL（富士ゼロックス・パロアルト研究所）のダイノマイト(Dynomite)（ウィルコックス(Wilcox,L.D.)、シリット(Schilit,B.N.)、及びソーニー(Sawney,N.)による「ダイノマイト：ダイナミックに組織されたインク及び音声ノートブック(Dynomite: A dinamically Organized Ink and Audio Notebook)」、ＣＨＩ '97予稿集、ＡＣＭ、ニューヨークにて開催、186−193頁、を参照）、及び、音声記録とともに紙を用いるオーディオノートブック(Audio Notebook)（スティフルマン(Stifelman,L.)による「オーディオノートブック：構造的スピーチによる紙及びペンの対話(The Audio Notebook: Paper and Pen Interaction with Structured Speech)」、博士論文、ＭＩＴ、1997年、を参照）がある。フィロチャット(Filochat)（ホイットテーカー(Whittaker,S.)、ハイランド(Hyland,P.)、及びウィリー(Wiley,M.)による「フィロチャット：手書きノートは記録された会話へのアクセスを提供する(Filochat: handwritten notes provide access to recorded conversations)」（ＣＨＩ '94予稿集、ＡＣＭ、ニューヨークにて開催、271−276頁、を参照）は、手書きノートで音声が索引される、ペン・タブレットを有するＰＣコンピュータであり、ノータイム(NoTime)（ラミング(Lamming,M.)及びニューマン(Newman,W.)による「個人的記憶を支援するための、活動ベースの情報技術(Activity-based information technology in support of personal memory)」、技術報告書EPC-1991-103、ランクゼロックス(Rank Xerox)社、ユーロパーク(EuroPARC)、1991年、を参照）は、ユーザのインクストロークを、記録した音声又はビデオのキーとするように設計された。
【０００７】
ビデオ注釈システムも知られている。マーキー(Marquee)（ウェーバー(Weber,K.)及びプーン(Poon,A.)による「マーキー：リアルタイムのビデオロギングのためのツール(Marquee: a tool for real-time video logging)」、ＣＨＩ '94予稿集、ＡＣＭ、ニューヨークにて開催、58−64頁、を参照）は、ビデオテープを見ている間に注釈をつけるための、ペン・ベースのシステムである。マーキーのその後のバージョンは、ホェア・ワー・ウィ(WhereWereWe)マルチメディアシステムからのデジタルビデオストリームにタイムスタンプを採用する修正が加えられている（ミンネマン(Minneman,S.)、ハリソン(Harrison,S.)、ジャンセン(Janssen,B.)、クルテンバッハ(Kurtenbach,G.)、モラン(Moran,T.)、スミス、(Smith,I.)及びヴァンメル(van Melle, B.)による「共同活動の取得及びアクセスのためのツールの連合(A confederation of tools for capturing and accessing collaborative activity)」、ＡＣＭマルチメディア '95学会予稿集、ＡＣＭ、ニューヨークにて開催、523−534頁、を参照）。
【０００８】
ヴァナ(Vanna)（ハリソン(Harrison,B.)及びベーカー(Baecker,R.M.)による「ビデオ注釈及び解析システムの設計(Designing video annotation and analysis systems)」、グラフィックスインタフェース(Graphics Interface) '92、Morgan-Kaufmann刊、157−166頁、を参照）及びＥＶＡ（マッケイ(MacKay,W.E.)による「ＥＶＡ：ビデオデータの記号的解析のための実験的ビデオ注釈装置(EVA: An experimental video annotator for symbolic analysis of video data)」、SIGCHI Bulletin、21(2)、68−71頁、1989年、ACM Press刊、を参照）は、テキスト・ベースのシステムである。ビデオノーター(VideoNoter)（トリッグ(Trigg,R.)の「記録した活動を転記するためのコンピュータによる支援(Computer support for transcribing recorded activity)」、SIGCHI Bulletin、21(2)、68−71頁、1989年、ACM Press刊、を参照）は、活動（ビデオ、図、ホワイトボードへの書き込み、テキスト）の異なる流れを表示及び同期させるが、音声をテキストに転記するための又はホワイトボードから書き込みを抽出するための事後生成を必要とする。これらのシステムには、デジタルビデオではなくビデオテープを用いることに基づく設計による、制約がある。これらのシステムでは、ビデオ映像をノートに対話式に統合することはできない。シャープ(Sharp)のザウルス(Zaurus)（ザウルス操作マニュアル、シャープ株式会社、1996年発行）は、デジタルカメラが取り付けられたＰＤＡである商品である。デジタル写真を撮影して、手書きのノートにリンクさせることができる。
【０００９】
【発明が解決しようとする課題】
本発明者は、ノート作成は、ビデオを用いることでより強力にできる一般的活動であることに気がついた。本発明者は、完全に統合されたデジタルビデオ及びインクノート作成システムを提供する必要性にも気がついた。
【００１０】
従って、本発明の目的は、マルチメディアノート作成システムの提供である。
【００１１】
本発明の別の目的は、ノート作成システムに入力されたメディアストリームから取得した画像に、ユーザが注釈をつけることを可能にする、ノート作成システムの提供である。
【００１２】
本発明の更に別の目的は、ノート作成セッション中に生じる重要なイベントを識別するタイムラインを有するノート作成システムの提供である。
【００１３】
本発明の更に別の目的は、ライヴマルチメディアストリームを取得するとともに、ノート作成システムにマルチメディアストリームを供給するため、及びスライドの変更のようなイベントを自動的にタイムラインに要約するために、フレーム率圧縮を用いるノート作成システムの提供である。
【００１４】
本発明の更に別の目的は、ノート作成装置内の取得したマルチメディアストリーム内の点にユーザがブックマークをつけることを可能にすることである。
【００１５】
【課題を解決するための手段】
上記及び他の目的は、デジタルビデオ及びインクを用いるノート作成用のシステム（ノートルック(NoteLook)とも呼ばれる）によって遂行される。本発明は、少なくとも１つのライヴメディアストリームを検索するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成された少なくとも１つのユーザ入力機構と、ユーザがユーザ入力を介して、少なくとも１つのメディアストリームに、操作、暗示（注釈づけ）、及び要約の少なくとも１つを行えるように構成された制御装置と、を含むノート作成装置を含む。
【００１６】
１つの実施の形態では、ノートルックは、ペン・ベースのノートブック型コンピュータ上で実行されるクライアントアプリケーションを含む。ノートルックは、イメージの書き込み、取得、及び注釈づけのための、紙のノートのページに似た主領域を有するディスプレイを有する。アクティブ状態のビデオを見るための小さなビデオウィンドウがある。ユーザは、チャンネルを変更して異なるビデオストリームを見てもよい。ユーザは、ビデオウィンドウ内で示されているフレームを、ノートページの余白の小さなサムネイルとして又は大きな背景として取得することができる。
【００１７】
サムネイル、背景イメージ、及びインクストロークにはタイムスタンプがつけられ、ビデオへの索引を与える。ビデオソースは、ビデオ入力を有するコンピュータ上で実行されるノートルック・サーバーによって操作される。ノートルック・サーバーは、一般的に無線又は有線ネットワークを介して、ノートルック・クライアントアプリケーションに、ビデオ、音声、及びメタデータ（例えばスライド変更の時間や発言者の変更）の送信もする。マルチメディアデータのこれらのストリームは、ノートルック・サーバーによって保管され、再生中に、クライアントによってランダムにアクセス可能である。複数のノートルック・クライアント及び複数のサーバーの複数の手続きが一緒に動作可能である。ビデオソースは、室内カメラ又はドキュメントカメラから、背面プロジェクタ、ＴＶ、ＶＣＲ、又は任意のビデオストリームへのタップから、又はペン・コンピュータに取り付けられた小さな携帯カメラから、様々な方法で取得できる。
【００１８】
会議、プレゼンテーション、及び授業では、ノートルック・デジタルビデオ及びインク・ノート作成システムを用いて、発言者、室内の活動、及びプレゼンテーション資料の静止画を撮影して、それらをノートに統合できる。ブラウジング及び検索を容易にするために、撮影されたイメージ及びインクストロークにタイムスタンプをつけて、記録されたビデオにリンクさせることができる。ビデオは、ジェスチャ及び非言語的活動をとらえることができ、内容を見せることができる。ビデオは、プレゼンテーション内容を様々な形態で取得するための多用途の手段を提供する。パワーポイント(PowerPoint)のスライド、ウェブページ、オーバーヘッドプロジェクタ（ＯＨＰ）スライド、ホワイトボード、及びアニメーションやビデオのようなより動的なメディアを、全て、ビデオを用いて取得できる。
【００１９】
プレゼンテーション及びトレーニングセッション中の実演もビデオによって効果的に取得される。デジタルインク及びビデオ・ノート作成システムを有用なものにするには、室内のノート作成者及び他の参加者の邪魔にならず、発言者による準備の必要が最小でなければならない。
【００２０】
本発明の第１の態様は、ビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力機構を介して、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置を有するノート作成システムである。
本発明の第２の態様は、第１の態様において、前記ビデオストリームを参照するタイムライン内で、イベントを識別及び索引付けするタイムライン装置を更に有する前記ノート作成装置を含む。
本発明の第３の態様は、第１の態様において、前記操作及び注釈づけの少なくとも１つにタイムスタンプをつけ前記ビデオストリームにリンクさせるように構成されたタイムスタンプ機構を更に有する前記ノート作成装置を含む。
本発明の第４の態様は、第１の態様において、取得された静止フレームに対するユーザ入力を受け入れ、前記ユーザ入力を前記フレームの注釈として適用する、ように構成された注釈づけ装置を更に有する前記ノート作成装置を含む。
本発明の第５の態様は、第１の態様において、ノートページ上のインクストロークを取得するように構成されたインクストローク取得装置と、各ノートページを、前記ビデオストリームのセグメントと、前記ノート作成装置に表示されるイベントのタイムライン内の位置との一方にリンクさせるように構成された索引付け装置と、を更に有する前記ノート作成装置を含む。
本発明の第６の態様は、第５の態様において、各ノートページとリンクするタイムラインが、対応するノートページ上で取得されたインクストロークと同色で表されることを特徴とする。
本発明の第７の態様は、第１の態様において、前記ノート作成装置で表示するためにビデオストリームのチャンネルを識別及び選択するように構成されたチャンネル機構を更に有する前記ノート作成装置を含む。
本発明の第８の態様は、第１の態様において、各入力がビデオストリームの１つに対応するマルチメディア入力を供給するノートサーバー、を更に含む。
本発明の第９の態様は、ビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、ノート作成方法である。
本発明の第１０の態様は、第９の態様において、前記入力ビデオストリーム内のノート作成イベントのタイムラインを構成するステップ、を更に含む。
本発明の第１１の態様は、第９の態様において、取得された静止フレームに対するユーザ入力を受け入れ、前記ユーザ入力を前記フレームの注釈として適用するステップを更に含む。
本発明の第１２の態様は、第９の態様において、入力チャンネルから前記入力ビデオストリームを選択するステップを更に含む。
本発明の第１３の態様は、ソース装置から入力されたデータを取得するように構成された取得装置と、取得したデータをノート作成装置に配信するように構成された配信装置と、を有する、ノートサーバーと、前記ノートサーバーから配信されたビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力を介して、前記ビデオストリームに注釈づけを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置と、を有するノート作成システムである。
本発明の第１４の態様は、第１３の態様において、前記ノートサーバーは、取得したデータにおける変更を認識するとともに、変更データ以外の全データの配信を阻止するように構成されたスライド変更認識装置を更に含む。
本発明の第１５の態様は、第１４の態様において、前記ノートサーバーは、取得したデータに対応する１組のメタデータを構築するように構成されたメタデータ装置であって、対応する取得データと関係して前記メタデータが配信される前記メタデータ装置を更に含む。
本発明の第１６の態様は、第１３の態様において、前記ノートサーバーが、各メディア入力を保存するとともに、前記ノート作成装置による再生に対して各メディア入力を使用可能にするように、更に構成される。
本発明の第１７の態様は、第１３の態様において、前記ノートサーバーは、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に含む。又は、上記の態様は、第１３の態様において、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に含んでもよい。
本発明の第１８の態様は、ノートサーバーとノート作成装置を有するノート作成システムの動作方法であって、前記ノートサーバーは、ソース装置からビデオデータを取得するステップと、前記取得されたビデオデータをノート作成装置に配信するステップと、を有し、前記ノート作成装置は、前記ノートサーバーから配信されたビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、ノート作成システムの動作方法である。
本発明の第１９の態様は、第１８の態様において、前記ノートサーバーは、前記取得したビデオデータにおける変化を認識し、変化したビデオデータだけを前記ノート作成装置に配信するステップを更に含む。
本発明の第２０の態様は、第１８の態様において、前記ノートサーバーは、前記取得したビデオデータ及び前記ソース装置に格納されたビデオデータの一方の１つのセグメント又は位置への索引を取り出すステップと、索引付けされたビデオデータを前記ノート作成装置に配信するステップと、を更に含む。
本発明の第２１の態様は、第１８の態様において、前記ノートサーバーは、配信されるビデオデータに対応するメタデータタグを構成するステップと、対応するビデオデータと関係するメタデータタグを配信するステップと、を更に含む。
【００２１】
以下の詳細説明を参照し、添付の図面と関係して考慮されることにより、本発明がよりよく理解されるにつれて、本発明の真価及び本発明に付随する長所の多くが容易に理解されよう。
【００２２】
【発明の実施の形態】
次に、図面を参照する。類似の参照番号は、同一又は対応する要素を示す。特に、図１では、ノートルック(NoteLook)・クライアントアプリケーション１１０を実行するペン・ベースのコンピュータ１００が示されている。
【００２３】
他のプラットフォームにも適用可能であるが、ペン・ベースのノートブック型コンピュータは、特に無線ネットワークとともに用いられたときに、ノート作成者及び室内の他の参加者の邪魔にならない形状ファクターを有する。
【００２４】
現在の実施の形態では、ノートルック・クライアントは、FXPAL（富士ゼロックスパロアルト研究所）ダイノマイト(Dynomite)インク及び音声ノート作成アプリケーション上に構築されている。ノートルック・クライアントは、イメージの書き込み、取得、及び注釈づけのための、紙のノートのページに似た主領域を有する。アクティブ状態のビデオを見るための小さなビデオウィンドウがある。ユーザは、チャンネルを変更して異なるビデオストリームを見たり、ビデオウィンドウ内に示されているフレームをノートページの余白の小さなサムネイルとして取得したり、又はフレームを大きな背景画像として取得してもよい。サムネイル、背景イメージ、及びインクストロークにはタイムスタンプがつけられ、ビデオへの索引を与える。
【００２５】
ビデオソースは、ビデオ入力を有するコンピュータ上で実行されるノートルック・サーバーによって操作される。ノートルック・サーバーは、無線（又は有線）ネットワークを介して、ノートルック・クライアントアプリケーションへの、ビデオ、音声、及びメタデータの送信も行う。複数のノートルック・サーバー及び複数のノートルック・クライアントの、複数の手続きが、一緒に、それも同一の装置で、動作可能である。１つの実施の形態では、サーバーは、各ビデオチャンネルに対して構成される。例えば、３つのビデオチャンネルは、３つの個別のサーバーによって操作される。サーバーは、任意の数のノートブッククライアントを扱う。ビデオソースは、室内カメラ又はドキュメントカメラから、背面プロジェクタ、ＴＶ、ＶＣＲ、又は任意のビデオストリームへのタップから、又はペン・コンピュータに取り付けられた小さな携帯カメラから、様々な方法で取得される。
【００２６】
本発明者は、スキューの発生は、プレゼンテーション内容の取得に外付けカメラを用いることによる問題であることにも気づき、少なくとも１つの実施の形態では、グラフィック及び他のプレゼンテーション資料のための、フルデジタルキャプチャを備える。
【００２７】
ノートルック・サーバーは、図２（Ａ）及び図２（Ｂ）のように、FXPALのクモ(Kumo)会議室に実装され、統合されている。１つの実施の形態では、会議室には３台の室内カメラ（２００、２０１、及び２０２）があり、各々が１つのビデオチャンネルを提供する（代替の又は遠隔の視界を有する追加のカメラもサポートされてよい）。背面プロジェクタ２１０は、プレゼンテーション内容のための、コンピュータ、ドキュメントカメラ、及びＶＣＲ/ＤＶＤ（図示せず）からくる別のチャンネルを備えている。このセットアップでは、発言者は最小限の準備をすればよい。発言者は、パワーポイント(PowerPoint)のスライド又はウェブページを有する自分のラップトップ型コンピュータのプラグを差し込んだり、ドキュメントカメラにオーバーヘッド（ＯＨＰ）スライドを供給したり、ＶＣＲでビデオテープを再生したりできる。これには、通常の業務を越える特別な準備は、あまり必要ではない。
【００２８】
ノートルックシステムの更なる特徴は、スライド変更検出を用いる自動ノート作成である。背面プロジェクタからのプレゼンテーション資料を含むビデオが解析され、スライド変更が生じる時が判断される。個々のスライドが抽出され、これらのスライドイメージを含む１組のノートページが生成される。ビデオの索引付けのために、スライド変更が生じる時間の点が、タイムライン上のマークによって表示され、ブラウジングを容易にする視覚情報を与える。
【００２９】
スライド変更検出の更なる適用例は、無線ネットワークの帯域幅を最適化するためのフレーム率圧縮である。ノートルック・サーバーは、デジタルビデオを１秒間に15又は30のフレームを取得し、再生用に格納する。スライドがそのような速度で変化することはないので（発表者が１、２分毎にスライドを変えることはあり得る）、ノートルック・サーバーが、スライド変更が生じたときだけビデオフレームを送信するのは、合理的である。
【００３０】
システムの２通りの変更例である、ノートルック２ＧＯ及びノートルック４ＴＶについて説明する。ノートルック２ＧＯは、完全に携帯可能なインク及びビデオノート作成システムである。これは、ペン・ベースのノートブック型コンピュータ上で実行される基本的ノートルック・クライアントの形態をとり、（これに）小さなビデオカメラを追加する。これは、旅のレポートや現地調査を行うために用いることができる。ノートルック４ＴＶは、ＴＶやＶＣＲからビデオが入力されるように構成された基本的ノートルック・クライアントである。これは、遠隔学習、及びビデオテープや放送ビデオの分析に用いることができる。当業者には認識されるように、上述の実施の形態はそれぞれ、明らかに、他の状況にも適用可能である。例えば、どちらも教室の設定において効果的に用いられ得る。
【００３１】
[技術的な詳細]
ノートルック・クライアントは、インク及び音声・ノート作成アプリケーションであり、ビデオウィンドウ及びビデオ操作能力を有する。現在の開発作業はWindows95/NT上で行われているが、本明細書に述べる特徴及び能力は、通常の能力を有する任意のオペレーティング・システム上で適用可能且つ開発され得る。
【００３２】
ビデオウィンドウのクローズ・アップを含むノートルックの画面３００が図３に示されており、ビデオコントロール４００が図４に示されている。ビデオウィンドウの隣には、ビデオを対話式に操作するための３つのボタンがあり、上ボタン（チャンネル変更ボタン４０５）はチャンネルを変更し、中ボタン４１０は（ビデオ映像を）ノートページの余白のサムネイルとして撮影し（即ち、取得し）、下ボタン４１５は（ビデオ映像を）大きな背景イメージとして撮影する（取得する）（即ち、注釈づけに使用可能なイメージ又は恐らく見るために拡大されるイメージ）。
【００３３】
更に、ビデオ（コントロール）ウィンドウ（４００）の左（下）側には、１組のＶＣＲタイプのコントロール４２０がある。タイムライン４２５は、ビデオの現在の時間的位置を示すためのポインタを有する。タイムラインは、ブラウジング及びリビューを容易にするために、索引情報も表示できる。
【００３４】
図４は、図３に示されているセッションから生成されたタイムライン（４２５）のクローズ・アップも示している。ユーザが、サムネイル（例えば３１０）又は背景のいずれかを撮影すると、そのイメージの小さなバージョンがタイムラインに配置される。更に、ユーザがペンで書き込みをすると、ペンの色（即ち、ペンに設定されたカラー）と同色の帯がタイムラインに配置される。
【００３５】
自動的に計算されたメタデータも表示される。例えば、図４の点線４４０は、その点でスライド変更が検出されていることを示す。ユーザは、（図３の）左上の角のビデオウィンドウ３２０で、アクティブ状態のビデオを見ることができる。
【００３６】
図５は、ノートルック・クライアント１１０を操作するための装置の１つの可能な実施例のブロック図を示している。メディアストリーム及びメタデータ５１０が、ノートルック・サーバーから受信される。記憶装置５５０は、ノートルックプログラム及びノートルックセッション中に生成又は保存された任意のノートファイル又は他のデータの記憶を維持する。
【００３７】
チャンネルセレクタ５３０は、（ビデオウィンドウ３２０に表示するために）適切なストリームをディスプレイ５６０に向かわせる。プロセッサ５４０はユーザ入力（チャンネル選択等）（５２０）を受信し、チャンネル選択、及びディスプレイ５６０への出力（ボタン配置等）を指示する。プロセッサ５４０は、サーバーに送られたユーザ要求（例えば、特定のタイムスタンプでのビデオ又はスナップ写真の巻き戻し又は再生）を開始してもよい。
【００３８】
ノートルックプログラムがロードされると、プロセッサ５４０は、上述の操作を行う。プロセッサ自体は、図６のブロック図に示されている特定の装置によって説明され得るが、これに限定されるものではない。
【００３９】
ノート作成セッション中、ノートルック・クライアントの各手続きは、デジタルインクのストローク、サムネイル、及び背景スナップ写真で構成されるノートファイルを生成する。これらのオブジェクトは、タイムスタンプがつけられるとともにチャンネル番号に帰属させられ（即ち、属性としてチャンネル番号が与えられ）、それによりビデオストリームへの索引が与えられる。
【００４０】
図７は、本発明に従ったノートファイルの１つの可能な実施例を示している。ノートファイルは、ノートルック１００によって入力されたオブジェクト又はアイテム７００の任意の１つ（例えば、サムネイル７１０、インクストローク７１５、及びスナップ写真７２０）を参照する。各オブジェクトは、対応するタイムスタンプ７５０及びチャンネル識別子７７０を有する。個々のノートファイル及び追加情報も保持されてもよい。
【００４１】
セッション後、ユーザはノートをリビューし、オブジェクトを選択して再生ボタンを押すことにより、そのオブジェクトに対応するビデオを再生できる。他に、サムネイルをクリック又はダブルクリックしてビデオを再生する方法がある。オブジェクトを再生することにより、オブジェクトが生成された（時間、チャンネル）に対応する（時間、チャンネル）のビデオがスタートする（或いは、サムネイルが特定のビデオ又はメディアセグメントへの指標又はリンクとなっていてもよい）。
【００４２】
ユーザは、再生中にチャンネル変更ボタン（４０５）を押すことにより、チャンネルを変更できる。ノート作成活動の時間的な位置を視覚的に示すタイムラインは、対象時点のビデオをブラウジング及び再生するための更に別の方法を提供する。ユーザは、再生するために、単に、ポインタをタイムライン上の所望の場所にドラッグするか又はタイムライン上の位置をクリックする。
【００４３】
デジタルビデオストリームは、サーバーによって、ネットワーク上に別々に保存され、各自が作成したノートファイルを介してランダムにアクセス可能である。或いは、ビデオはノートファイルとともに部分的に保存できるが、これには大量のファイルスペースが必要である。
【００４４】
FXPALにおけるセットアップでは、ノートルック・クライアントは、ペン・ベースのノートブック型コンピュータ、富士通スタイリスティック(Stylistic)1200（ペンティアム(Pentium)120、8インチＶＧＡアクティブマトリックスディスプレイ）上で実行される。無線ネットワーク接続については、ウェーブランPCカード(WaveLan PC Card)（10Mb）を用いている。ビデオはノートルック・サーバーによって無線ネットワーク８１０を介してノートルック・クライアントに送信される（図８参照）。
【００４５】
ノートルック・サーバーは、Windows95又はWindowsNT上で実行されている（明らかに他のオペレーティング・システムも適用可能である）。サーバー装置はビデオキャプチャカードを備えており、コンポジット・ビデオを受け入れる。デジタルビデオは、１秒間に15又は30のフレーム（速度）で取得され、再生用にネットワーク上に格納される。FXPALクモ会議室の現在のセットアップでは、主なビデオソースは、３台の室内カメラ（２００、２０１、及び２０２）及び120インチ背面プロジェクタ２１０である。図５は、ノートルックの構成の１つの実施の形態を示す。例えば、ユーザが（資料を）供給するラップトップ型コンピュータのような奥の部屋のワークステーション、ドキュメントカメラ、ＶＣＲ、又はＤＶＤ/ＣＤプレーヤーから、プレゼンテーション資料のビデオが、背面プロジェクタに供給される。発表者は演壇で、所望の背面プロジェクタソースを選択する。また、室内カメラを室内のホワイトボードに向け、ホワイトボードを背面プロジェクタに映し出すこともできる。クモ会議室内の音声は、６台の天井マイクによって取得され、組合わされて単一の音声ストリームにされ、ビデオとともにネットワーク上に格納される。音声、ビデオ、又は他のデータの他の多くの組み合わせが、ノートルック・クライアントへのメディアストリームとして供給され得る。
【００４６】
ノートルック・サーバーにより、自動スライド変更検出が行われる（そのような検出は、任意のノートルック（クライアント）１１０上で行われてもよいのだが、ノートルック・サーバーは、任意の要求される処理及びその後の結果の配信に関して、より効率的なロケーションである）。ビデオフレーム間の区別をする１つのアルゴリズムは、ビデオストリーム内の連続するフレームのカラーヒストグラムを比較する方法を用いて、いつフレームが変わったか及びそれ以降スライド変更が生じたかを決定するアルゴリズムである。検出された各スライド変更は１片のメタデータを与え、そのメタデータはノートルック・クライアントに送られる。クライアントはメタデータから生成された索引を管理し、タイムライン上にマークを表示する（図４の点線）。無線帯域幅を最適化するために、スライド変更とスライド変更との間のフレームを削除することによって、フレーム率圧縮が行われる。ビデオフレーム及びメタデータは標準的なＴＣＰ/ＩＰの方法を用いてノートルック・クライアントに送信される（ここでも、他の方法を用いてもよい）。
【００４７】
ノートルック２ＧＯ及びノートルック４ＴＶは、ノートルックのクライアント及びサーバーを同じペン・ベースのノートブック型コンピュータ上で実行することにより、実現可能である。ノートルック２ＧＯに対しては、ＵＳＢ接続端子を有する携帯カメラが現在は好ましい。ＵＳＢポートはカメラに電力を供給する。ノートルック４ＴＶに対しては、ビデオキャプチャ用のＰＣカードが現在は好ましい。
【００４８】
帯域幅を節約するためにフレーム率圧縮を用いてもよい。自動変更検出（例えばスライド変更検出）を用いてもよく、メディアストリーム内の変化があった部分だけがノートルック・クライアントに送信される。或いは、メディアストリームのフレーム転送速度が削減されてもよい（即ち、30fpsのビデオショットが1又は2fpsに削減されてもよい）。この結果、ノートルック・クライアントでの表示はぎこちなくなるかもしれないが、このノート作成プロセスにとって、ノート作成装置における完全なビデオは必須ではなく、実際のところ、ノート作成者がビデオ（撮影される会議）に出席している状況では必要ない（なぜなら、ノート作成者は、生じている事柄を見たり聞いたりできるからである）。
【００４９】
また、自動索引付けを用いて、重要なビデオ映像を（上述と同じ変更検出基準を用いて）自動的に決定し、自動的に取得して、特定のノートにしてもよい。そのような自動的に索引付けされたマテリアルも、（上述のスライド変更のように）タイムラインにリンクされてよい。
【００５０】
コンピュータ技術者には明らかなように、本発明は、従来の汎用又は専用デジタルコンピュータ、又は本開示の教示に従ってプログラムされたマイクロプロセッサを用いて、容易に実施され得る。
【００５１】
ソフトウェア技術者には明らかなように、本開示の教示に基づき、熟練したプログラマーによって、適切なソフトウェアコーディングが容易に準備され得る。当業者に容易に明らかとなるように、本発明は、アプリケーションを特定した集積回路を準備することによって、又は従来の構成回路の適切なネットワークを相互接続することによって、実施されてもよい。
【００５２】
本発明は、本発明の任意の処理を行うためにコンピュータをプログラムするために用いられ得る命令を記憶した１つ（又は複数）の記憶媒体である、コンピュータプログラム製品を含む。記憶媒体は、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び磁気光ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）、又は命令及び/又はデータの記憶に適した任意のタイプの媒体又は装置を含むことが可能だが、それに限定されない。
【００５３】
コンピュータ読み取り可能媒体の任意の１つに格納される、本発明は、汎用/専用コンピュータのハードウェア又はマイクロプロセッサの両方を制御し、コンピュータ又はマイクロプロセッサが人間のユーザ又は本発明の結果を用いる他の機構と対話式にやりとりするのを可能にするためのソフトウェアを含む。そのようなソフトウェアは、デバイス・ドライバー、オペレーティング・システム、及びユーザアプリケーションを含み得るが、それに限定されない。究極的には、そのようなコンピュータ読み取り可能媒体は、更に、上述した本発明を行うためのソフトウェアを含む。
【００５４】
汎用/専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、メディアストリームの取得及び索引付け、重要なノート作成イベントのタイムラインの生成、メディアストリームの点又はセグメントへの静止フレームのリンク、あらゆるスライド変更の認識、メディアストリームの少なくとも一部を記述するメタデータの生成及び配信、及び本発明の処理に従った結果の通信を含むが、それに限定されない、本発明の教示を実施するためのソフトウェアモジュールである。
【００５５】
上述の教示に照らして、本発明の多くの修正及び変更が可能なことは明らかである。従って、添付の特許請求の範囲の範囲内において、本発明は本明細書に特に述べた以外の方法で実用化され得ることが理解されるものである。
【図面の簡単な説明】
【図１】ペン・ベースのコンピュータ上で実行されるノートルック・クライアントを示す図である。
【図２】 FXPALの会議室の様子を示す図であり、（Ａ）は前向きに見た（即ち、部屋の前部の）様子であり、（Ｂ）は反対向きに見た（即ち、部屋の後部の）様子である。
【図３】ノートルック・クライアント・アプリケーションのスクリーンの（画面例の）図である。
【図４】ノートルック・クライアントのビデオコントロール及びタイムライン表示索引をクローズアップで示す図である。
【図５】本発明に従ったノート作成装置の１つの可能な実施の形態を示すブロック図である。
【図６】本発明に従ったノート作成装置用のプロセッサの構成要素を示すブロック図である。
【図７】本発明に従ったノート作成システムによって生成されるノートファイルの１つの可能な実施の形態の例を示す図である。
【図８】ノートルックシステム用の構成を示すブロック図である。
【符号の説明】
１００ コンピュータ
１１０ ノートルック・クライアント・アプリケーション
５１０ メディアストリーム及びメタデータ
５２０ ユーザ入力
５３０ チャンネルセレクタ
５４０ プロセッサ
５５０ 記憶装置
５６０ ディスプレイ
【発明の属する技術分野】
本発明は、統合型マルチメディアノート作成システムに関する。本発明は、より詳細には、デジタルビデオ及びデジタルインクを参照及びノートとして用いるノート作成システムに関する。本発明は、更に、説明ノート、ブックマーク、及び索引資料の提供にビデオ供給を用いるノート作成システムに関する。本発明は、更に、サムネイル、タイムスタンプ、及び背景写真を用いた、ノート及びビデオ供給の少なくとも一方の索引付けに関する。本発明は、更に、自動ノート作成のための、及び、ノート作成システムに資料を表示する際に帯域幅を最適化するためのフレーム率圧縮用の供給機構としての、スライド検出プロセスを有するノート作成システムに関する。
【０００２】
【従来の技術】
マルチメディアノート作成システムは、一般的に、会議中の音声及びビデオを取得し、取得した資料からスライドを作成する。（例えば、ライブボード(LiveBoard)上で実行されるシステムであるチボリ(Tivoli)がある。モラン(Moran,T.P.)、パレン(Palen,L.)、ハリソン(Harrison,S.)、チィーウ(Chiu,P.)、キンバー(Kimber,D.)、ミンネマン(Minneman,S.)、ヴァンメル(van Melle,W.)、及びゼルウェガー(Zellweger,P.)による「“私はそれを音声から得る”：マルチメディア会議記録利用のケーススタディ("I'll get that off the audio": a case study of salvaging multimedia meeting records)」 、ＣＨＩ '97ＣＭ 予稿集、ニューヨークにて開催、202−209頁、を参照)。チボリは、プレゼンテーション型の会議よりもワーク型の会議を支援するように設計されている（即ち、プレゼンテーションが行われる会議ではなく、議論が行われる会議の議事録作成に向いている）。チボリの、音声に索引付けされるインクストロークは、チボリスライド上の任意の準備資料とともに、会議についてのグループノートになる。ラップトップ型コンピュータを使用する参加者は、タイプしたテキストのコメントをチボリのスライドに“発信”してもよい（即ち、赤外線ポート、又はその他の手段によって、コメントをチボリに送信してもよい）。
【０００３】
類似の例のクラスルーム2000(Classroom 2000)では、プレゼンテーションスライドのイメージ及び音声が取得されるが、ビデオは用いられない（アバウド(Abowd,G.D.)、アトキーソン(Atkeson,C.G.)、ブラザートン(Brotherton,J.)、エンクヴィスト(Enqvist,T.)、ガレイ(Gulley,P.)、及びルモン(LeMon,J.)による「教育的設定における偏在するコンピューティングの、取得、統合、及びアクセス問題の調査(Investigating the capture, integration and access problem of ubiquitous computing in an educational setting) 」、ＣＨＩ '98学会予稿集、ＡＣＭ、ニューヨークにて開催、440−447頁、及びアバウド(Abowd,G.D.)、アトキーソン(Atkeson,C.G.)、ファインスタイン(Feinstein,A.)、フメロ(Hmelo,C.)、クーパー(Kooper,R.)、ロング(Long,S.)、ソーニー(Sawhney,N.)、及びタニ(Tani,M.)による「マルチメディアオーサリングとしての指導及び学習：クラスルーム2000プロジェクト(Teaching and learning as multimedia authoring: the classroom 2000 project)」、ＡＣＭマルチメディア '96学会予稿集、ＡＣＭ、ニューヨークにて開催、187−198頁、を参照)。更に、クラスルーム2000は、発表者がスライドを標準画像形式で準備する努力を要する。スライドはライブボード上に表示され、ノート作成は、事前にスライドをロードしたＰＤＡ装置を用いて行われる。このノートは、後から、音声及びライブボードの前で講義した教授による注釈つきのスライドと同期される。
【０００４】
更に別の例で、フォーラム(Forum)（アイザクス(Isaacs,E.)、モリス(Morris,T.)、及びロドリゲス(Rodriguez,T.K.)による「分散された聴衆に対する相互プレゼンテーションを支援するためのフォーラム(A forum for supportiong interactive presentations to distributed audiences)」、ＣＳＣＷ '94予稿集、ＡＣＭ、ニューヨークにて開催、405−416頁、を参照）は、ビデオを分散型プレゼンテーションの手段として用いるシステムである。プレゼンテーション中は、発言者を含む全員がワークステーションの前に座っている。スライドは、特定の形式で準備されなければならない。スライドにはテキスト及びマウスで描かれたマークで注釈をつけることができるが、ビデオ映像には注釈をつけられない。
【０００５】
別の例では、ストリームズ(STREAMS)（クルツ(Cruz,G.)及びヒル(Hill,R.)による「ストリームズを用いたマルチメディアイベントの取得及び再生(Capturing and playing multimedia events with STREAMS)」、ＡＣＭマルチメディア '94学会予稿集、ＡＣＭ、ニューヨークにて開催、193−200頁、を参照）は、室内カメラからのビデオを用いる、プレゼンテーション取得用のシステムである。これらのカメラは、ディスプレイ上の任意のプレゼンテーション内容を取得するためにも用いられる。この方法は、室内の活動が表示を不明瞭にするという問題を有する。レビュー中にテキストのコメントを加えることにより、取得したビデオストリームに注釈をつけられるが、プレゼンテーション中のノート作成はサポートされていない。これらのシステムでは、カメラからのライヴ映像及びプレゼンテーション資料を、対話式にノートに統合することはできない。
【０００６】
更に、幾つかのスタンドアローン型インク及び音声ノート作成システムが知られている。例えば、FXPAL（富士ゼロックス・パロアルト研究所）のダイノマイト(Dynomite)（ウィルコックス(Wilcox,L.D.)、シリット(Schilit,B.N.)、及びソーニー(Sawney,N.)による「ダイノマイト：ダイナミックに組織されたインク及び音声ノートブック(Dynomite: A dinamically Organized Ink and Audio Notebook)」、ＣＨＩ '97予稿集、ＡＣＭ、ニューヨークにて開催、186−193頁、を参照）、及び、音声記録とともに紙を用いるオーディオノートブック(Audio Notebook)（スティフルマン(Stifelman,L.)による「オーディオノートブック：構造的スピーチによる紙及びペンの対話(The Audio Notebook: Paper and Pen Interaction with Structured Speech)」、博士論文、ＭＩＴ、1997年、を参照）がある。フィロチャット(Filochat)（ホイットテーカー(Whittaker,S.)、ハイランド(Hyland,P.)、及びウィリー(Wiley,M.)による「フィロチャット：手書きノートは記録された会話へのアクセスを提供する(Filochat: handwritten notes provide access to recorded conversations)」（ＣＨＩ '94予稿集、ＡＣＭ、ニューヨークにて開催、271−276頁、を参照）は、手書きノートで音声が索引される、ペン・タブレットを有するＰＣコンピュータであり、ノータイム(NoTime)（ラミング(Lamming,M.)及びニューマン(Newman,W.)による「個人的記憶を支援するための、活動ベースの情報技術(Activity-based information technology in support of personal memory)」、技術報告書EPC-1991-103、ランクゼロックス(Rank Xerox)社、ユーロパーク(EuroPARC)、1991年、を参照）は、ユーザのインクストロークを、記録した音声又はビデオのキーとするように設計された。
【０００７】
ビデオ注釈システムも知られている。マーキー(Marquee)（ウェーバー(Weber,K.)及びプーン(Poon,A.)による「マーキー：リアルタイムのビデオロギングのためのツール(Marquee: a tool for real-time video logging)」、ＣＨＩ '94予稿集、ＡＣＭ、ニューヨークにて開催、58−64頁、を参照）は、ビデオテープを見ている間に注釈をつけるための、ペン・ベースのシステムである。マーキーのその後のバージョンは、ホェア・ワー・ウィ(WhereWereWe)マルチメディアシステムからのデジタルビデオストリームにタイムスタンプを採用する修正が加えられている（ミンネマン(Minneman,S.)、ハリソン(Harrison,S.)、ジャンセン(Janssen,B.)、クルテンバッハ(Kurtenbach,G.)、モラン(Moran,T.)、スミス、(Smith,I.)及びヴァンメル(van Melle, B.)による「共同活動の取得及びアクセスのためのツールの連合(A confederation of tools for capturing and accessing collaborative activity)」、ＡＣＭマルチメディア '95学会予稿集、ＡＣＭ、ニューヨークにて開催、523−534頁、を参照）。
【０００８】
ヴァナ(Vanna)（ハリソン(Harrison,B.)及びベーカー(Baecker,R.M.)による「ビデオ注釈及び解析システムの設計(Designing video annotation and analysis systems)」、グラフィックスインタフェース(Graphics Interface) '92、Morgan-Kaufmann刊、157−166頁、を参照）及びＥＶＡ（マッケイ(MacKay,W.E.)による「ＥＶＡ：ビデオデータの記号的解析のための実験的ビデオ注釈装置(EVA: An experimental video annotator for symbolic analysis of video data)」、SIGCHI Bulletin、21(2)、68−71頁、1989年、ACM Press刊、を参照）は、テキスト・ベースのシステムである。ビデオノーター(VideoNoter)（トリッグ(Trigg,R.)の「記録した活動を転記するためのコンピュータによる支援(Computer support for transcribing recorded activity)」、SIGCHI Bulletin、21(2)、68−71頁、1989年、ACM Press刊、を参照）は、活動（ビデオ、図、ホワイトボードへの書き込み、テキスト）の異なる流れを表示及び同期させるが、音声をテキストに転記するための又はホワイトボードから書き込みを抽出するための事後生成を必要とする。これらのシステムには、デジタルビデオではなくビデオテープを用いることに基づく設計による、制約がある。これらのシステムでは、ビデオ映像をノートに対話式に統合することはできない。シャープ(Sharp)のザウルス(Zaurus)（ザウルス操作マニュアル、シャープ株式会社、1996年発行）は、デジタルカメラが取り付けられたＰＤＡである商品である。デジタル写真を撮影して、手書きのノートにリンクさせることができる。
【０００９】
【発明が解決しようとする課題】
本発明者は、ノート作成は、ビデオを用いることでより強力にできる一般的活動であることに気がついた。本発明者は、完全に統合されたデジタルビデオ及びインクノート作成システムを提供する必要性にも気がついた。
【００１０】
従って、本発明の目的は、マルチメディアノート作成システムの提供である。
【００１１】
本発明の別の目的は、ノート作成システムに入力されたメディアストリームから取得した画像に、ユーザが注釈をつけることを可能にする、ノート作成システムの提供である。
【００１２】
本発明の更に別の目的は、ノート作成セッション中に生じる重要なイベントを識別するタイムラインを有するノート作成システムの提供である。
【００１３】
本発明の更に別の目的は、ライヴマルチメディアストリームを取得するとともに、ノート作成システムにマルチメディアストリームを供給するため、及びスライドの変更のようなイベントを自動的にタイムラインに要約するために、フレーム率圧縮を用いるノート作成システムの提供である。
【００１４】
本発明の更に別の目的は、ノート作成装置内の取得したマルチメディアストリーム内の点にユーザがブックマークをつけることを可能にすることである。
【００１５】
【課題を解決するための手段】
上記及び他の目的は、デジタルビデオ及びインクを用いるノート作成用のシステム（ノートルック(NoteLook)とも呼ばれる）によって遂行される。本発明は、少なくとも１つのライヴメディアストリームを検索するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成された少なくとも１つのユーザ入力機構と、ユーザがユーザ入力を介して、少なくとも１つのメディアストリームに、操作、暗示（注釈づけ）、及び要約の少なくとも１つを行えるように構成された制御装置と、を含むノート作成装置を含む。
【００１６】
１つの実施の形態では、ノートルックは、ペン・ベースのノートブック型コンピュータ上で実行されるクライアントアプリケーションを含む。ノートルックは、イメージの書き込み、取得、及び注釈づけのための、紙のノートのページに似た主領域を有するディスプレイを有する。アクティブ状態のビデオを見るための小さなビデオウィンドウがある。ユーザは、チャンネルを変更して異なるビデオストリームを見てもよい。ユーザは、ビデオウィンドウ内で示されているフレームを、ノートページの余白の小さなサムネイルとして又は大きな背景として取得することができる。
【００１７】
サムネイル、背景イメージ、及びインクストロークにはタイムスタンプがつけられ、ビデオへの索引を与える。ビデオソースは、ビデオ入力を有するコンピュータ上で実行されるノートルック・サーバーによって操作される。ノートルック・サーバーは、一般的に無線又は有線ネットワークを介して、ノートルック・クライアントアプリケーションに、ビデオ、音声、及びメタデータ（例えばスライド変更の時間や発言者の変更）の送信もする。マルチメディアデータのこれらのストリームは、ノートルック・サーバーによって保管され、再生中に、クライアントによってランダムにアクセス可能である。複数のノートルック・クライアント及び複数のサーバーの複数の手続きが一緒に動作可能である。ビデオソースは、室内カメラ又はドキュメントカメラから、背面プロジェクタ、ＴＶ、ＶＣＲ、又は任意のビデオストリームへのタップから、又はペン・コンピュータに取り付けられた小さな携帯カメラから、様々な方法で取得できる。
【００１８】
会議、プレゼンテーション、及び授業では、ノートルック・デジタルビデオ及びインク・ノート作成システムを用いて、発言者、室内の活動、及びプレゼンテーション資料の静止画を撮影して、それらをノートに統合できる。ブラウジング及び検索を容易にするために、撮影されたイメージ及びインクストロークにタイムスタンプをつけて、記録されたビデオにリンクさせることができる。ビデオは、ジェスチャ及び非言語的活動をとらえることができ、内容を見せることができる。ビデオは、プレゼンテーション内容を様々な形態で取得するための多用途の手段を提供する。パワーポイント(PowerPoint)のスライド、ウェブページ、オーバーヘッドプロジェクタ（ＯＨＰ）スライド、ホワイトボード、及びアニメーションやビデオのようなより動的なメディアを、全て、ビデオを用いて取得できる。
【００１９】
プレゼンテーション及びトレーニングセッション中の実演もビデオによって効果的に取得される。デジタルインク及びビデオ・ノート作成システムを有用なものにするには、室内のノート作成者及び他の参加者の邪魔にならず、発言者による準備の必要が最小でなければならない。
【００２０】
本発明の第１の態様は、ビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力機構を介して、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置を有するノート作成システムである。
本発明の第２の態様は、第１の態様において、前記ビデオストリームを参照するタイムライン内で、イベントを識別及び索引付けするタイムライン装置を更に有する前記ノート作成装置を含む。
本発明の第３の態様は、第１の態様において、前記操作及び注釈づけの少なくとも１つにタイムスタンプをつけ前記ビデオストリームにリンクさせるように構成されたタイムスタンプ機構を更に有する前記ノート作成装置を含む。
本発明の第４の態様は、第１の態様において、取得された静止フレームに対するユーザ入力を受け入れ、前記ユーザ入力を前記フレームの注釈として適用する、ように構成された注釈づけ装置を更に有する前記ノート作成装置を含む。
本発明の第５の態様は、第１の態様において、ノートページ上のインクストロークを取得するように構成されたインクストローク取得装置と、各ノートページを、前記ビデオストリームのセグメントと、前記ノート作成装置に表示されるイベントのタイムライン内の位置との一方にリンクさせるように構成された索引付け装置と、を更に有する前記ノート作成装置を含む。
本発明の第６の態様は、第５の態様において、各ノートページとリンクするタイムラインが、対応するノートページ上で取得されたインクストロークと同色で表されることを特徴とする。
本発明の第７の態様は、第１の態様において、前記ノート作成装置で表示するためにビデオストリームのチャンネルを識別及び選択するように構成されたチャンネル機構を更に有する前記ノート作成装置を含む。
本発明の第８の態様は、第１の態様において、各入力がビデオストリームの１つに対応するマルチメディア入力を供給するノートサーバー、を更に含む。
本発明の第９の態様は、ビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、ノート作成方法である。
本発明の第１０の態様は、第９の態様において、前記入力ビデオストリーム内のノート作成イベントのタイムラインを構成するステップ、を更に含む。
本発明の第１１の態様は、第９の態様において、取得された静止フレームに対するユーザ入力を受け入れ、前記ユーザ入力を前記フレームの注釈として適用するステップを更に含む。
本発明の第１２の態様は、第９の態様において、入力チャンネルから前記入力ビデオストリームを選択するステップを更に含む。
本発明の第１３の態様は、ソース装置から入力されたデータを取得するように構成された取得装置と、取得したデータをノート作成装置に配信するように構成された配信装置と、を有する、ノートサーバーと、前記ノートサーバーから配信されたビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力を介して、前記ビデオストリームに注釈づけを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置と、を有するノート作成システムである。
本発明の第１４の態様は、第１３の態様において、前記ノートサーバーは、取得したデータにおける変更を認識するとともに、変更データ以外の全データの配信を阻止するように構成されたスライド変更認識装置を更に含む。
本発明の第１５の態様は、第１４の態様において、前記ノートサーバーは、取得したデータに対応する１組のメタデータを構築するように構成されたメタデータ装置であって、対応する取得データと関係して前記メタデータが配信される前記メタデータ装置を更に含む。
本発明の第１６の態様は、第１３の態様において、前記ノートサーバーが、各メディア入力を保存するとともに、前記ノート作成装置による再生に対して各メディア入力を使用可能にするように、更に構成される。
本発明の第１７の態様は、第１３の態様において、前記ノートサーバーは、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に含む。又は、上記の態様は、第１３の態様において、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に含んでもよい。
本発明の第１８の態様は、ノートサーバーとノート作成装置を有するノート作成システムの動作方法であって、前記ノートサーバーは、ソース装置からビデオデータを取得するステップと、前記取得されたビデオデータをノート作成装置に配信するステップと、を有し、前記ノート作成装置は、前記ノートサーバーから配信されたビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、ノート作成システムの動作方法である。
本発明の第１９の態様は、第１８の態様において、前記ノートサーバーは、前記取得したビデオデータにおける変化を認識し、変化したビデオデータだけを前記ノート作成装置に配信するステップを更に含む。
本発明の第２０の態様は、第１８の態様において、前記ノートサーバーは、前記取得したビデオデータ及び前記ソース装置に格納されたビデオデータの一方の１つのセグメント又は位置への索引を取り出すステップと、索引付けされたビデオデータを前記ノート作成装置に配信するステップと、を更に含む。
本発明の第２１の態様は、第１８の態様において、前記ノートサーバーは、配信されるビデオデータに対応するメタデータタグを構成するステップと、対応するビデオデータと関係するメタデータタグを配信するステップと、を更に含む。
【００２１】
以下の詳細説明を参照し、添付の図面と関係して考慮されることにより、本発明がよりよく理解されるにつれて、本発明の真価及び本発明に付随する長所の多くが容易に理解されよう。
【００２２】
【発明の実施の形態】
次に、図面を参照する。類似の参照番号は、同一又は対応する要素を示す。特に、図１では、ノートルック(NoteLook)・クライアントアプリケーション１１０を実行するペン・ベースのコンピュータ１００が示されている。
【００２３】
他のプラットフォームにも適用可能であるが、ペン・ベースのノートブック型コンピュータは、特に無線ネットワークとともに用いられたときに、ノート作成者及び室内の他の参加者の邪魔にならない形状ファクターを有する。
【００２４】
現在の実施の形態では、ノートルック・クライアントは、FXPAL（富士ゼロックスパロアルト研究所）ダイノマイト(Dynomite)インク及び音声ノート作成アプリケーション上に構築されている。ノートルック・クライアントは、イメージの書き込み、取得、及び注釈づけのための、紙のノートのページに似た主領域を有する。アクティブ状態のビデオを見るための小さなビデオウィンドウがある。ユーザは、チャンネルを変更して異なるビデオストリームを見たり、ビデオウィンドウ内に示されているフレームをノートページの余白の小さなサムネイルとして取得したり、又はフレームを大きな背景画像として取得してもよい。サムネイル、背景イメージ、及びインクストロークにはタイムスタンプがつけられ、ビデオへの索引を与える。
【００２５】
ビデオソースは、ビデオ入力を有するコンピュータ上で実行されるノートルック・サーバーによって操作される。ノートルック・サーバーは、無線（又は有線）ネットワークを介して、ノートルック・クライアントアプリケーションへの、ビデオ、音声、及びメタデータの送信も行う。複数のノートルック・サーバー及び複数のノートルック・クライアントの、複数の手続きが、一緒に、それも同一の装置で、動作可能である。１つの実施の形態では、サーバーは、各ビデオチャンネルに対して構成される。例えば、３つのビデオチャンネルは、３つの個別のサーバーによって操作される。サーバーは、任意の数のノートブッククライアントを扱う。ビデオソースは、室内カメラ又はドキュメントカメラから、背面プロジェクタ、ＴＶ、ＶＣＲ、又は任意のビデオストリームへのタップから、又はペン・コンピュータに取り付けられた小さな携帯カメラから、様々な方法で取得される。
【００２６】
本発明者は、スキューの発生は、プレゼンテーション内容の取得に外付けカメラを用いることによる問題であることにも気づき、少なくとも１つの実施の形態では、グラフィック及び他のプレゼンテーション資料のための、フルデジタルキャプチャを備える。
【００２７】
ノートルック・サーバーは、図２（Ａ）及び図２（Ｂ）のように、FXPALのクモ(Kumo)会議室に実装され、統合されている。１つの実施の形態では、会議室には３台の室内カメラ（２００、２０１、及び２０２）があり、各々が１つのビデオチャンネルを提供する（代替の又は遠隔の視界を有する追加のカメラもサポートされてよい）。背面プロジェクタ２１０は、プレゼンテーション内容のための、コンピュータ、ドキュメントカメラ、及びＶＣＲ/ＤＶＤ（図示せず）からくる別のチャンネルを備えている。このセットアップでは、発言者は最小限の準備をすればよい。発言者は、パワーポイント(PowerPoint)のスライド又はウェブページを有する自分のラップトップ型コンピュータのプラグを差し込んだり、ドキュメントカメラにオーバーヘッド（ＯＨＰ）スライドを供給したり、ＶＣＲでビデオテープを再生したりできる。これには、通常の業務を越える特別な準備は、あまり必要ではない。
【００２８】
ノートルックシステムの更なる特徴は、スライド変更検出を用いる自動ノート作成である。背面プロジェクタからのプレゼンテーション資料を含むビデオが解析され、スライド変更が生じる時が判断される。個々のスライドが抽出され、これらのスライドイメージを含む１組のノートページが生成される。ビデオの索引付けのために、スライド変更が生じる時間の点が、タイムライン上のマークによって表示され、ブラウジングを容易にする視覚情報を与える。
【００２９】
スライド変更検出の更なる適用例は、無線ネットワークの帯域幅を最適化するためのフレーム率圧縮である。ノートルック・サーバーは、デジタルビデオを１秒間に15又は30のフレームを取得し、再生用に格納する。スライドがそのような速度で変化することはないので（発表者が１、２分毎にスライドを変えることはあり得る）、ノートルック・サーバーが、スライド変更が生じたときだけビデオフレームを送信するのは、合理的である。
【００３０】
システムの２通りの変更例である、ノートルック２ＧＯ及びノートルック４ＴＶについて説明する。ノートルック２ＧＯは、完全に携帯可能なインク及びビデオノート作成システムである。これは、ペン・ベースのノートブック型コンピュータ上で実行される基本的ノートルック・クライアントの形態をとり、（これに）小さなビデオカメラを追加する。これは、旅のレポートや現地調査を行うために用いることができる。ノートルック４ＴＶは、ＴＶやＶＣＲからビデオが入力されるように構成された基本的ノートルック・クライアントである。これは、遠隔学習、及びビデオテープや放送ビデオの分析に用いることができる。当業者には認識されるように、上述の実施の形態はそれぞれ、明らかに、他の状況にも適用可能である。例えば、どちらも教室の設定において効果的に用いられ得る。
【００３１】
[技術的な詳細]
ノートルック・クライアントは、インク及び音声・ノート作成アプリケーションであり、ビデオウィンドウ及びビデオ操作能力を有する。現在の開発作業はWindows95/NT上で行われているが、本明細書に述べる特徴及び能力は、通常の能力を有する任意のオペレーティング・システム上で適用可能且つ開発され得る。
【００３２】
ビデオウィンドウのクローズ・アップを含むノートルックの画面３００が図３に示されており、ビデオコントロール４００が図４に示されている。ビデオウィンドウの隣には、ビデオを対話式に操作するための３つのボタンがあり、上ボタン（チャンネル変更ボタン４０５）はチャンネルを変更し、中ボタン４１０は（ビデオ映像を）ノートページの余白のサムネイルとして撮影し（即ち、取得し）、下ボタン４１５は（ビデオ映像を）大きな背景イメージとして撮影する（取得する）（即ち、注釈づけに使用可能なイメージ又は恐らく見るために拡大されるイメージ）。
【００３３】
更に、ビデオ（コントロール）ウィンドウ（４００）の左（下）側には、１組のＶＣＲタイプのコントロール４２０がある。タイムライン４２５は、ビデオの現在の時間的位置を示すためのポインタを有する。タイムラインは、ブラウジング及びリビューを容易にするために、索引情報も表示できる。
【００３４】
図４は、図３に示されているセッションから生成されたタイムライン（４２５）のクローズ・アップも示している。ユーザが、サムネイル（例えば３１０）又は背景のいずれかを撮影すると、そのイメージの小さなバージョンがタイムラインに配置される。更に、ユーザがペンで書き込みをすると、ペンの色（即ち、ペンに設定されたカラー）と同色の帯がタイムラインに配置される。
【００３５】
自動的に計算されたメタデータも表示される。例えば、図４の点線４４０は、その点でスライド変更が検出されていることを示す。ユーザは、（図３の）左上の角のビデオウィンドウ３２０で、アクティブ状態のビデオを見ることができる。
【００３６】
図５は、ノートルック・クライアント１１０を操作するための装置の１つの可能な実施例のブロック図を示している。メディアストリーム及びメタデータ５１０が、ノートルック・サーバーから受信される。記憶装置５５０は、ノートルックプログラム及びノートルックセッション中に生成又は保存された任意のノートファイル又は他のデータの記憶を維持する。
【００３７】
チャンネルセレクタ５３０は、（ビデオウィンドウ３２０に表示するために）適切なストリームをディスプレイ５６０に向かわせる。プロセッサ５４０はユーザ入力（チャンネル選択等）（５２０）を受信し、チャンネル選択、及びディスプレイ５６０への出力（ボタン配置等）を指示する。プロセッサ５４０は、サーバーに送られたユーザ要求（例えば、特定のタイムスタンプでのビデオ又はスナップ写真の巻き戻し又は再生）を開始してもよい。
【００３８】
ノートルックプログラムがロードされると、プロセッサ５４０は、上述の操作を行う。プロセッサ自体は、図６のブロック図に示されている特定の装置によって説明され得るが、これに限定されるものではない。
【００３９】
ノート作成セッション中、ノートルック・クライアントの各手続きは、デジタルインクのストローク、サムネイル、及び背景スナップ写真で構成されるノートファイルを生成する。これらのオブジェクトは、タイムスタンプがつけられるとともにチャンネル番号に帰属させられ（即ち、属性としてチャンネル番号が与えられ）、それによりビデオストリームへの索引が与えられる。
【００４０】
図７は、本発明に従ったノートファイルの１つの可能な実施例を示している。ノートファイルは、ノートルック１００によって入力されたオブジェクト又はアイテム７００の任意の１つ（例えば、サムネイル７１０、インクストローク７１５、及びスナップ写真７２０）を参照する。各オブジェクトは、対応するタイムスタンプ７５０及びチャンネル識別子７７０を有する。個々のノートファイル及び追加情報も保持されてもよい。
【００４１】
セッション後、ユーザはノートをリビューし、オブジェクトを選択して再生ボタンを押すことにより、そのオブジェクトに対応するビデオを再生できる。他に、サムネイルをクリック又はダブルクリックしてビデオを再生する方法がある。オブジェクトを再生することにより、オブジェクトが生成された（時間、チャンネル）に対応する（時間、チャンネル）のビデオがスタートする（或いは、サムネイルが特定のビデオ又はメディアセグメントへの指標又はリンクとなっていてもよい）。
【００４２】
ユーザは、再生中にチャンネル変更ボタン（４０５）を押すことにより、チャンネルを変更できる。ノート作成活動の時間的な位置を視覚的に示すタイムラインは、対象時点のビデオをブラウジング及び再生するための更に別の方法を提供する。ユーザは、再生するために、単に、ポインタをタイムライン上の所望の場所にドラッグするか又はタイムライン上の位置をクリックする。
【００４３】
デジタルビデオストリームは、サーバーによって、ネットワーク上に別々に保存され、各自が作成したノートファイルを介してランダムにアクセス可能である。或いは、ビデオはノートファイルとともに部分的に保存できるが、これには大量のファイルスペースが必要である。
【００４４】
FXPALにおけるセットアップでは、ノートルック・クライアントは、ペン・ベースのノートブック型コンピュータ、富士通スタイリスティック(Stylistic)1200（ペンティアム(Pentium)120、8インチＶＧＡアクティブマトリックスディスプレイ）上で実行される。無線ネットワーク接続については、ウェーブランPCカード(WaveLan PC Card)（10Mb）を用いている。ビデオはノートルック・サーバーによって無線ネットワーク８１０を介してノートルック・クライアントに送信される（図８参照）。
【００４５】
ノートルック・サーバーは、Windows95又はWindowsNT上で実行されている（明らかに他のオペレーティング・システムも適用可能である）。サーバー装置はビデオキャプチャカードを備えており、コンポジット・ビデオを受け入れる。デジタルビデオは、１秒間に15又は30のフレーム（速度）で取得され、再生用にネットワーク上に格納される。FXPALクモ会議室の現在のセットアップでは、主なビデオソースは、３台の室内カメラ（２００、２０１、及び２０２）及び120インチ背面プロジェクタ２１０である。図５は、ノートルックの構成の１つの実施の形態を示す。例えば、ユーザが（資料を）供給するラップトップ型コンピュータのような奥の部屋のワークステーション、ドキュメントカメラ、ＶＣＲ、又はＤＶＤ/ＣＤプレーヤーから、プレゼンテーション資料のビデオが、背面プロジェクタに供給される。発表者は演壇で、所望の背面プロジェクタソースを選択する。また、室内カメラを室内のホワイトボードに向け、ホワイトボードを背面プロジェクタに映し出すこともできる。クモ会議室内の音声は、６台の天井マイクによって取得され、組合わされて単一の音声ストリームにされ、ビデオとともにネットワーク上に格納される。音声、ビデオ、又は他のデータの他の多くの組み合わせが、ノートルック・クライアントへのメディアストリームとして供給され得る。
【００４６】
ノートルック・サーバーにより、自動スライド変更検出が行われる（そのような検出は、任意のノートルック（クライアント）１１０上で行われてもよいのだが、ノートルック・サーバーは、任意の要求される処理及びその後の結果の配信に関して、より効率的なロケーションである）。ビデオフレーム間の区別をする１つのアルゴリズムは、ビデオストリーム内の連続するフレームのカラーヒストグラムを比較する方法を用いて、いつフレームが変わったか及びそれ以降スライド変更が生じたかを決定するアルゴリズムである。検出された各スライド変更は１片のメタデータを与え、そのメタデータはノートルック・クライアントに送られる。クライアントはメタデータから生成された索引を管理し、タイムライン上にマークを表示する（図４の点線）。無線帯域幅を最適化するために、スライド変更とスライド変更との間のフレームを削除することによって、フレーム率圧縮が行われる。ビデオフレーム及びメタデータは標準的なＴＣＰ/ＩＰの方法を用いてノートルック・クライアントに送信される（ここでも、他の方法を用いてもよい）。
【００４７】
ノートルック２ＧＯ及びノートルック４ＴＶは、ノートルックのクライアント及びサーバーを同じペン・ベースのノートブック型コンピュータ上で実行することにより、実現可能である。ノートルック２ＧＯに対しては、ＵＳＢ接続端子を有する携帯カメラが現在は好ましい。ＵＳＢポートはカメラに電力を供給する。ノートルック４ＴＶに対しては、ビデオキャプチャ用のＰＣカードが現在は好ましい。
【００４８】
帯域幅を節約するためにフレーム率圧縮を用いてもよい。自動変更検出（例えばスライド変更検出）を用いてもよく、メディアストリーム内の変化があった部分だけがノートルック・クライアントに送信される。或いは、メディアストリームのフレーム転送速度が削減されてもよい（即ち、30fpsのビデオショットが1又は2fpsに削減されてもよい）。この結果、ノートルック・クライアントでの表示はぎこちなくなるかもしれないが、このノート作成プロセスにとって、ノート作成装置における完全なビデオは必須ではなく、実際のところ、ノート作成者がビデオ（撮影される会議）に出席している状況では必要ない（なぜなら、ノート作成者は、生じている事柄を見たり聞いたりできるからである）。
【００４９】
また、自動索引付けを用いて、重要なビデオ映像を（上述と同じ変更検出基準を用いて）自動的に決定し、自動的に取得して、特定のノートにしてもよい。そのような自動的に索引付けされたマテリアルも、（上述のスライド変更のように）タイムラインにリンクされてよい。
【００５０】
コンピュータ技術者には明らかなように、本発明は、従来の汎用又は専用デジタルコンピュータ、又は本開示の教示に従ってプログラムされたマイクロプロセッサを用いて、容易に実施され得る。
【００５１】
ソフトウェア技術者には明らかなように、本開示の教示に基づき、熟練したプログラマーによって、適切なソフトウェアコーディングが容易に準備され得る。当業者に容易に明らかとなるように、本発明は、アプリケーションを特定した集積回路を準備することによって、又は従来の構成回路の適切なネットワークを相互接続することによって、実施されてもよい。
【００５２】
本発明は、本発明の任意の処理を行うためにコンピュータをプログラムするために用いられ得る命令を記憶した１つ（又は複数）の記憶媒体である、コンピュータプログラム製品を含む。記憶媒体は、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び磁気光ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）、又は命令及び/又はデータの記憶に適した任意のタイプの媒体又は装置を含むことが可能だが、それに限定されない。
【００５３】
コンピュータ読み取り可能媒体の任意の１つに格納される、本発明は、汎用/専用コンピュータのハードウェア又はマイクロプロセッサの両方を制御し、コンピュータ又はマイクロプロセッサが人間のユーザ又は本発明の結果を用いる他の機構と対話式にやりとりするのを可能にするためのソフトウェアを含む。そのようなソフトウェアは、デバイス・ドライバー、オペレーティング・システム、及びユーザアプリケーションを含み得るが、それに限定されない。究極的には、そのようなコンピュータ読み取り可能媒体は、更に、上述した本発明を行うためのソフトウェアを含む。
【００５４】
汎用/専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、メディアストリームの取得及び索引付け、重要なノート作成イベントのタイムラインの生成、メディアストリームの点又はセグメントへの静止フレームのリンク、あらゆるスライド変更の認識、メディアストリームの少なくとも一部を記述するメタデータの生成及び配信、及び本発明の処理に従った結果の通信を含むが、それに限定されない、本発明の教示を実施するためのソフトウェアモジュールである。
【００５５】
上述の教示に照らして、本発明の多くの修正及び変更が可能なことは明らかである。従って、添付の特許請求の範囲の範囲内において、本発明は本明細書に特に述べた以外の方法で実用化され得ることが理解されるものである。
【図面の簡単な説明】
【図１】ペン・ベースのコンピュータ上で実行されるノートルック・クライアントを示す図である。
【図２】 FXPALの会議室の様子を示す図であり、（Ａ）は前向きに見た（即ち、部屋の前部の）様子であり、（Ｂ）は反対向きに見た（即ち、部屋の後部の）様子である。
【図３】ノートルック・クライアント・アプリケーションのスクリーンの（画面例の）図である。
【図４】ノートルック・クライアントのビデオコントロール及びタイムライン表示索引をクローズアップで示す図である。
【図５】本発明に従ったノート作成装置の１つの可能な実施の形態を示すブロック図である。
【図６】本発明に従ったノート作成装置用のプロセッサの構成要素を示すブロック図である。
【図７】本発明に従ったノート作成システムによって生成されるノートファイルの１つの可能な実施の形態の例を示す図である。
【図８】ノートルックシステム用の構成を示すブロック図である。
【符号の説明】
１００ コンピュータ
１１０ ノートルック・クライアント・アプリケーション
５１０ メディアストリーム及びメタデータ
５２０ ユーザ入力
５３０ チャンネルセレクタ
５４０ プロセッサ
５５０ 記憶装置
５６０ ディスプレイ
Claims (21)
- ビデオストリームを入力するように構成されたメディア入力機構と、
ユーザ入力を受け入れるように構成されたユーザ入力機構と、
前記ユーザが前記ユーザ入力機構を介して、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行えるように構成された制御装置と、
前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、
各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、
を有するノート作成装置
を有するノート作成システム。 - 前記ビデオストリームを参照するタイムライン内で、イベントを識別及び索引付けするタイムライン装置
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。 - 前記操作及び注釈づけの少なくとも１つにタイムスタンプをつけ前記ビデオストリームにリンクさせるように構成されたタイムスタンプ機構
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。 - 取得された静止フレームに対するユーザ入力を受け入れ、
前記ユーザ入力を前記フレームの注釈として適用する、
ように構成された注釈づけ装置
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。 - ノートページ上のインクストロークを取得するように構成されたインクストローク取得装置と、
各ノートページを、前記ビデオストリームのセグメントと、前記ノート作成装置に表示されるイベントのタイムライン内の位置との一方にリンクさせるように構成された索引付け装置と、
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。 - 各ノートページとリンクするタイムラインが、対応するノートページ上で取得されたインクストロークと同色で表されることを特徴とする、
請求項５に記載のノート作成システム。 - 前記ノート作成装置で表示するためにビデオストリームのチャンネルを識別及び選択するように構成されたチャンネル機構
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。 - 各入力がビデオストリームの１つに対応するマルチメディア入力を供給するノートサーバー、
を更に有する、請求項１に記載のノート作成システム。 - ビデオストリームを入力するステップと、
前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、
前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、
前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレ ームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、
前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、
を有する、ノート作成方法。 - 前記入力ビデオストリーム内のノート作成イベントのタイムラインを構成するステップ、
を更に有する、請求項９に記載のノート作成方法。 - 取得された静止フレームに対するユーザ入力を受け入れ、
前記ユーザ入力を前記フレームの注釈として適用するステップを更に有する、請求項９に記載のノート作成方法。 - 入力チャンネルから前記入力ビデオストリームを選択するステップを更に有する、請求項９に記載のノート作成方法。
- ソース装置から入力されたデータを取得するように構成された取得装置と、取得したデータを配信するように構成された配信装置と、
を有する、ノートサーバーと、
前記ノートサーバーから配信されたビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力を介して、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置と、
を有するノート作成システム。 - 前記ノートサーバーは、取得したデータにおける変更を認識するとともに、変更データ以外の全データの配信を阻止するように構成されたスライド変更認識装置を更に有する、請求項１３に記載のノート作成システム。
- 前記ノートサーバーは、取得したデータに対応する１組のメタデータを構築するように構成されたメタデータ装置であって、対応する取得データと関係して前記メタデータが配信される前記メタデータ装置を更に有する、請求項１４に記載のノート作成システム。
- 前記ノートサーバーが、各メディア入力を保存するとともに、前記ノート作成装置による再生に対して各メディア入力を使用可能にするように、更に構成された、請求項１３に記載のノート作成システム。
- 前記ノートサーバーは、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、前記ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に有する、請求項１３に記載のノート作成システム。
- ノートサーバーとノート作成装置を有するノート作成システムの動作方法であって、
前記ノートサーバーは、ソース装置からビデオデータを取得するステップと、前記取得されたビデオデータを前記ノート作成装置に配信するステップと、を有し、
前記ノート作成装置は、前記ノートサーバーから配信されたビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続す るフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、
ノート作成システムの動作方法。 - 前記ノートサーバーは、前記取得したビデオデータにおける変化を認識し、変化したビデオデータだけを前記ノート作成装置に配信するステップを更に有する、請求項１８に記載のノート作成システムの動作方法。
- 前記ノートサーバーは、前記取得したビデオデータ及び前記ソース装置に格納されたビデオデータの一方の１つのセグメント又は位置への索引を取り出すステップと、索引付けされたビデオデータを前記ノート作成装置に配信するステップと、
を更に有する、請求項１８に記載のノート作成システムの動作方法。 - 前記ノートサーバーは、配信されるビデオデータに対応するメタデータタグを構成するステップと、対応するビデオデータと関係するメタデータタグを配信するステップと、
を更に有する、請求項１８に記載のノート作成システムの動作方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/275,285 US6452615B1 (en) | 1999-03-24 | 1999-03-24 | System and apparatus for notetaking with digital video and ink |
| US275285 | 1999-03-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000341660A JP2000341660A (ja) | 2000-12-08 |
| JP4171157B2 true JP4171157B2 (ja) | 2008-10-22 |
Family
ID=23051635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000081135A Expired - Fee Related JP4171157B2 (ja) | 1999-03-24 | 2000-03-23 | ノート作成システム、ノート作成方法及びノート作成システムの動作方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6452615B1 (ja) |
| JP (1) | JP4171157B2 (ja) |
Families Citing this family (168)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPQ582900A0 (en) * | 2000-02-24 | 2000-03-16 | Silverbrook Research Pty Ltd | Printed media production |
| US7111009B1 (en) * | 1997-03-14 | 2006-09-19 | Microsoft Corporation | Interactive playlist generation using annotations |
| US7596755B2 (en) | 1997-12-22 | 2009-09-29 | Ricoh Company, Ltd. | Multimedia visualization and integration environment |
| US7954056B2 (en) * | 1997-12-22 | 2011-05-31 | Ricoh Company, Ltd. | Television-based visualization and navigation interface |
| US7689898B2 (en) | 1998-05-07 | 2010-03-30 | Astute Technology, Llc | Enhanced capture, management and distribution of live presentations |
| US6484156B1 (en) | 1998-09-15 | 2002-11-19 | Microsoft Corporation | Accessing annotations across multiple target media streams |
| US6956593B1 (en) | 1998-09-15 | 2005-10-18 | Microsoft Corporation | User interface for creating, viewing and temporally positioning annotations for media content |
| US7174083B1 (en) * | 1998-12-30 | 2007-02-06 | Xerox Corporation | Systems and methods for using structured representations to index recordings of activity |
| US7330875B1 (en) * | 1999-06-15 | 2008-02-12 | Microsoft Corporation | System and method for recording a presentation for on-demand viewing over a computer network |
| US7299405B1 (en) | 2000-03-08 | 2007-11-20 | Ricoh Company, Ltd. | Method and system for information management to facilitate the exchange of ideas during a collaborative effort |
| US6976032B1 (en) * | 1999-11-17 | 2005-12-13 | Ricoh Company, Ltd. | Networked peripheral for visitor greeting, identification, biographical lookup and tracking |
| US7653925B2 (en) * | 1999-11-17 | 2010-01-26 | Ricoh Company, Ltd. | Techniques for receiving information during multimedia presentations and communicating the information |
| US7647555B1 (en) * | 2000-04-13 | 2010-01-12 | Fuji Xerox Co., Ltd. | System and method for video access from notes or summaries |
| US7302490B1 (en) * | 2000-05-03 | 2007-11-27 | Microsoft Corporation | Media file format to support switching between multiple timeline-altered media streams |
| US20020049979A1 (en) * | 2000-05-18 | 2002-04-25 | Patrick White | Multiple camera video system which displays selected images |
| WO2001089221A1 (en) * | 2000-05-18 | 2001-11-22 | Imove Inc. | Multiple camera video system which displays selected images |
| US20020089587A1 (en) * | 2000-05-18 | 2002-07-11 | Imove Inc. | Intelligent buffering and reporting in a multiple camera data streaming video system |
| US6714222B1 (en) * | 2000-06-21 | 2004-03-30 | E2 Home Ab | Graphical user interface for communications |
| AU2001288495A1 (en) * | 2000-08-29 | 2002-03-13 | Eloquent | Tool for collaborative edit/search of dyanamic objects |
| US6599130B2 (en) * | 2001-02-02 | 2003-07-29 | Illinois Institute Of Technology | Iterative video teaching aid with recordable commentary and indexing |
| US20040027370A1 (en) * | 2001-02-15 | 2004-02-12 | Denny Jaeger | Graphic user interface and method for creating slide shows |
| US6897880B2 (en) * | 2001-02-22 | 2005-05-24 | Sony Corporation | User interface for generating parameter values in media presentations based on selected presentation instances |
| US7143353B2 (en) * | 2001-03-30 | 2006-11-28 | Koninklijke Philips Electronics, N.V. | Streaming video bookmarks |
| US7260771B2 (en) * | 2001-04-26 | 2007-08-21 | Fuji Xerox Co., Ltd. | Internet-based system for multimedia meeting minutes |
| US7131068B2 (en) * | 2001-05-25 | 2006-10-31 | Learning Tree International | System and method for electronic presentations having simultaneous display windows in a control screen |
| US7454708B2 (en) * | 2001-05-25 | 2008-11-18 | Learning Tree International | System and method for electronic presentations with annotation of preview material |
| US7747943B2 (en) * | 2001-09-07 | 2010-06-29 | Microsoft Corporation | Robust anchoring of annotations to content |
| US7356763B2 (en) * | 2001-09-13 | 2008-04-08 | Hewlett-Packard Development Company, L.P. | Real-time slide presentation multimedia data object and system and method of recording and browsing a multimedia data object |
| US20040205477A1 (en) * | 2001-09-13 | 2004-10-14 | I-Jong Lin | System for recording a presentation |
| US20040237032A1 (en) * | 2001-09-27 | 2004-11-25 | David Miele | Method and system for annotating audio/video data files |
| US7415670B2 (en) * | 2001-11-19 | 2008-08-19 | Ricoh Co., Ltd. | Printer with audio/video localization |
| US7747655B2 (en) | 2001-11-19 | 2010-06-29 | Ricoh Co. Ltd. | Printable representations for time-based media |
| US7314994B2 (en) | 2001-11-19 | 2008-01-01 | Ricoh Company, Ltd. | Music processing printer |
| US8635531B2 (en) | 2002-02-21 | 2014-01-21 | Ricoh Company, Ltd. | Techniques for displaying information stored in multiple multimedia documents |
| US7861169B2 (en) | 2001-11-19 | 2010-12-28 | Ricoh Co. Ltd. | Multimedia print driver dialog interfaces |
| US7495795B2 (en) | 2002-02-21 | 2009-02-24 | Ricoh Company, Ltd. | Interface for printing multimedia information |
| US7146574B2 (en) * | 2001-12-21 | 2006-12-05 | Microsoft Corporation | Systems and methods for interfacing with digital history data |
| JP2003198870A (ja) * | 2001-12-25 | 2003-07-11 | Seiko Epson Corp | プロジェクタのワイヤレス制御システム及びワイヤレス制御方法 |
| US7096037B2 (en) * | 2002-01-29 | 2006-08-22 | Palm, Inc. | Videoconferencing bandwidth management for a handheld computer system and method |
| US6906741B2 (en) * | 2002-01-29 | 2005-06-14 | Palm, Inc. | System for and method of conferencing with a handheld computer using multiple media types |
| US7243301B2 (en) | 2002-04-10 | 2007-07-10 | Microsoft Corporation | Common annotation framework |
| US20030202004A1 (en) * | 2002-04-30 | 2003-10-30 | I-Jong Lin | System and method for providing a low-bit rate distributed slide show presentation |
| US20040008970A1 (en) * | 2002-07-09 | 2004-01-15 | Junkersfeld Phillip Aaron | Enhanced bookmarks for digital video playback |
| US7257774B2 (en) * | 2002-07-30 | 2007-08-14 | Fuji Xerox Co., Ltd. | Systems and methods for filtering and/or viewing collaborative indexes of recorded media |
| US8634030B2 (en) * | 2002-10-25 | 2014-01-21 | Disney Enterprises, Inc. | Streaming of digital data to a portable device |
| US7536713B1 (en) * | 2002-12-11 | 2009-05-19 | Alan Bartholomew | Knowledge broadcasting and classification system |
| US8225194B2 (en) * | 2003-01-09 | 2012-07-17 | Kaleidescape, Inc. | Bookmarks and watchpoints for selection and presentation of media streams |
| US7415667B2 (en) * | 2003-01-31 | 2008-08-19 | Ricoh Company, Ltd. | Generating augmented notes and synchronizing notes and document portions based on timing information |
| US7251786B2 (en) * | 2003-02-26 | 2007-07-31 | Microsoft Corporation | Meeting information |
| US7730407B2 (en) * | 2003-02-28 | 2010-06-01 | Fuji Xerox Co., Ltd. | Systems and methods for bookmarking live and recorded multimedia documents |
| KR100547335B1 (ko) * | 2003-03-13 | 2006-01-26 | 엘지전자 주식회사 | 비디오 재생 방법 및 시스템, 이를 이용한 장치 |
| JP2004280940A (ja) * | 2003-03-14 | 2004-10-07 | Funai Electric Co Ltd | ディスク再生装置 |
| US20040205547A1 (en) * | 2003-04-12 | 2004-10-14 | Feldt Kenneth Charles | Annotation process for message enabled digital content |
| US20040255232A1 (en) * | 2003-06-11 | 2004-12-16 | Northwestern University | Networked presentation system |
| US7511846B2 (en) | 2003-09-25 | 2009-03-31 | Ricoh Co., Ltd. | Printer having embedded functionality for printing time-based media |
| JP2005108230A (ja) | 2003-09-25 | 2005-04-21 | Ricoh Co Ltd | オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム |
| US8077341B2 (en) | 2003-09-25 | 2011-12-13 | Ricoh Co., Ltd. | Printer with audio or video receiver, recorder, and real-time content-based processing logic |
| US7864352B2 (en) | 2003-09-25 | 2011-01-04 | Ricoh Co. Ltd. | Printer with multimedia server |
| US20050125717A1 (en) * | 2003-10-29 | 2005-06-09 | Tsakhi Segal | System and method for off-line synchronized capturing and reviewing notes and presentations |
| US20050097451A1 (en) * | 2003-11-03 | 2005-05-05 | Cormack Christopher J. | Annotating media content with user-specified information |
| US7689712B2 (en) * | 2003-11-26 | 2010-03-30 | Ricoh Company, Ltd. | Techniques for integrating note-taking and multimedia information |
| AU2004233453B2 (en) * | 2003-12-03 | 2011-02-17 | Envysion, Inc. | Recording a sequence of images |
| GB2409124B (en) * | 2003-12-03 | 2009-03-18 | Safehouse Internat Inc | Processing input data signals |
| US7664292B2 (en) * | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
| NZ536913A (en) * | 2003-12-03 | 2006-09-29 | Safehouse Internat Inc | Displaying graphical output representing the topographical relationship of detectors and their alert status |
| US20050163345A1 (en) * | 2003-12-03 | 2005-07-28 | Safehouse International Limited | Analysing image data |
| US7620896B2 (en) * | 2004-01-08 | 2009-11-17 | International Business Machines Corporation | Intelligent agenda object for showing contextual location within a presentation application |
| JP4686990B2 (ja) * | 2004-03-10 | 2011-05-25 | 富士ゼロックス株式会社 | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム |
| JP2005267279A (ja) * | 2004-03-18 | 2005-09-29 | Fuji Xerox Co Ltd | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム |
| US8274666B2 (en) | 2004-03-30 | 2012-09-25 | Ricoh Co., Ltd. | Projector/printer for displaying or printing of documents |
| US20050289453A1 (en) * | 2004-06-21 | 2005-12-29 | Tsakhi Segal | Apparatys and method for off-line synchronized capturing and reviewing notes and presentations |
| JP2006148730A (ja) * | 2004-11-24 | 2006-06-08 | Hitachi Omron Terminal Solutions Corp | 会議システム及び会議情報提供方法 |
| US20060161838A1 (en) * | 2005-01-14 | 2006-07-20 | Ronald Nydam | Review of signature based content |
| US7551312B1 (en) * | 2005-03-17 | 2009-06-23 | Ricoh Co., Ltd. | Annotable document printer |
| US7466858B2 (en) * | 2005-04-28 | 2008-12-16 | Fuji Xerox Co., Ltd. | Methods for slide image classification |
| US20060244818A1 (en) * | 2005-04-28 | 2006-11-02 | Comotiv Systems, Inc. | Web-based conferencing system |
| JP2006352879A (ja) * | 2005-06-17 | 2006-12-28 | Fuji Xerox Co Ltd | 映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステム |
| US8805929B2 (en) | 2005-06-20 | 2014-08-12 | Ricoh Company, Ltd. | Event-driven annotation techniques |
| US7554576B2 (en) * | 2005-06-20 | 2009-06-30 | Ricoh Company, Ltd. | Information capture and recording system for controlling capture devices |
| US7440123B2 (en) * | 2005-07-20 | 2008-10-21 | Eastman Kodak Company | Adaptive printing |
| US9384178B2 (en) * | 2005-12-09 | 2016-07-05 | Adobe Systems Incorporated | Review of signature based content |
| US8533199B2 (en) * | 2005-12-14 | 2013-09-10 | Unifi Scientific Advances, Inc | Intelligent bookmarks and information management system based on the same |
| US20070198637A1 (en) * | 2006-01-04 | 2007-08-23 | Scott Deboy | Conferencing system with data file management |
| US7989720B2 (en) * | 2006-01-04 | 2011-08-02 | Fuji Xerox Co., Ltd. | Smart cable for controlling video capture device |
| US20070156829A1 (en) * | 2006-01-05 | 2007-07-05 | Scott Deboy | Messaging system with secure access |
| US7911482B1 (en) | 2006-01-06 | 2011-03-22 | Videomining Corporation | Method and system for efficient annotation of object trajectories in image sequences |
| US8464164B2 (en) * | 2006-01-24 | 2013-06-11 | Simulat, Inc. | System and method to create a collaborative web-based multimedia contextual dialogue |
| US20070239827A1 (en) * | 2006-02-13 | 2007-10-11 | Scott Deboy | Global chat system |
| US8495492B2 (en) * | 2006-03-14 | 2013-07-23 | Technische Universität Darmstadt | Distributed interactive augmentation of display output |
| US20070286366A1 (en) * | 2006-03-17 | 2007-12-13 | Scott Deboy | Chat presence system |
| US7954049B2 (en) | 2006-05-15 | 2011-05-31 | Microsoft Corporation | Annotating multimedia files along a timeline |
| US20070276910A1 (en) * | 2006-05-23 | 2007-11-29 | Scott Deboy | Conferencing system with desktop sharing |
| US20070276852A1 (en) * | 2006-05-25 | 2007-11-29 | Microsoft Corporation | Downloading portions of media files |
| US20070282793A1 (en) * | 2006-06-01 | 2007-12-06 | Majors Kenneth D | Computer desktop sharing |
| US20080005245A1 (en) * | 2006-06-30 | 2008-01-03 | Scott Deboy | Conferencing system with firewall |
| US20080043964A1 (en) * | 2006-07-14 | 2008-02-21 | Majors Kenneth D | Audio conferencing bridge |
| US20080021968A1 (en) * | 2006-07-19 | 2008-01-24 | Majors Kenneth D | Low bandwidth chat system |
| US8437409B2 (en) * | 2006-12-06 | 2013-05-07 | Carnagie Mellon University | System and method for capturing, editing, searching, and delivering multi-media content |
| US20080066001A1 (en) * | 2006-09-13 | 2008-03-13 | Majors Kenneth D | Conferencing system with linked chat |
| US20080065999A1 (en) * | 2006-09-13 | 2008-03-13 | Majors Kenneth D | Conferencing system with document access |
| US20080065727A1 (en) * | 2006-09-13 | 2008-03-13 | Majors Kenneth D | Conferencing system with improved access |
| US20080104503A1 (en) * | 2006-10-27 | 2008-05-01 | Qlikkit, Inc. | System and Method for Creating and Transmitting Multimedia Compilation Data |
| US7827490B2 (en) * | 2006-11-30 | 2010-11-02 | Microsoft Corporation | Media state user interface |
| US20080222505A1 (en) * | 2007-01-08 | 2008-09-11 | David Chmura | Method of capturing a presentation and creating a multimedia file |
| JP5092469B2 (ja) * | 2007-03-15 | 2012-12-05 | ソニー株式会社 | 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム |
| US20080244442A1 (en) * | 2007-03-30 | 2008-10-02 | Microsoft Corporation | Techniques to share information between application programs |
| US20080256114A1 (en) * | 2007-04-10 | 2008-10-16 | Microsoft Corporation | Techniques to display associated information between application programs |
| US20080270761A1 (en) * | 2007-04-30 | 2008-10-30 | Microsoft Corporation | Techniques to generate event contexts for recurring events |
| US8194081B2 (en) * | 2007-05-29 | 2012-06-05 | Livescribe, Inc. | Animation of audio ink |
| US8269728B2 (en) * | 2007-06-07 | 2012-09-18 | Smart Technologies Ulc | System and method for managing media data in a presentation system |
| US8165450B2 (en) | 2007-11-19 | 2012-04-24 | Echostar Technologies L.L.C. | Methods and apparatus for filtering content in a video stream using text data |
| US8165451B2 (en) | 2007-11-20 | 2012-04-24 | Echostar Technologies L.L.C. | Methods and apparatus for displaying information regarding interstitials of a video stream |
| US8606085B2 (en) | 2008-03-20 | 2013-12-10 | Dish Network L.L.C. | Method and apparatus for replacement of audio data in recorded audio/video stream |
| US20090249427A1 (en) * | 2008-03-25 | 2009-10-01 | Fuji Xerox Co., Ltd. | System, method and computer program product for interacting with unaltered media |
| US8074173B2 (en) * | 2008-05-08 | 2011-12-06 | Microsoft Corporation | Associating input with computer based content |
| US10055392B2 (en) * | 2008-05-12 | 2018-08-21 | Adobe Systems Incorporated | History-based archive management |
| US7949633B1 (en) | 2008-05-12 | 2011-05-24 | Adobe Systems Incorporated | Shared edit access of electronic content |
| US7945595B1 (en) | 2008-05-12 | 2011-05-17 | Adobe Systems Incorporated | System and method for generating an item list in electronic content |
| US8996621B2 (en) | 2008-05-12 | 2015-03-31 | Adobe Systems Incorporated | Asynchronous comment updates |
| US9176943B2 (en) | 2008-05-12 | 2015-11-03 | Adobe Systems Incorporated | Comment presentation in electronic documents |
| US9329744B2 (en) | 2008-05-12 | 2016-05-03 | Adobe Systems Incorporated | Segmented scroll bar |
| US9418054B2 (en) | 2008-05-12 | 2016-08-16 | Adobe Systems Incorporated | Document comment management |
| US8156520B2 (en) | 2008-05-30 | 2012-04-10 | EchoStar Technologies, L.L.C. | Methods and apparatus for presenting substitute content in an audio/video stream using text data |
| US20090317051A1 (en) * | 2008-06-18 | 2009-12-24 | Millington Daniel K | Mobile Timestamp Systems and Methods of Use |
| US8639032B1 (en) * | 2008-08-29 | 2014-01-28 | Freedom Scientific, Inc. | Whiteboard archiving and presentation method |
| KR101537592B1 (ko) | 2008-09-03 | 2015-07-22 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
| US8407735B2 (en) | 2008-12-24 | 2013-03-26 | Echostar Technologies L.L.C. | Methods and apparatus for identifying segments of content in a presentation stream using signature data |
| US8510771B2 (en) | 2008-12-24 | 2013-08-13 | Echostar Technologies L.L.C. | Methods and apparatus for filtering content from a presentation stream using signature data |
| US8588579B2 (en) | 2008-12-24 | 2013-11-19 | Echostar Technologies L.L.C. | Methods and apparatus for filtering and inserting content into a presentation stream using signature data |
| US8380866B2 (en) | 2009-03-20 | 2013-02-19 | Ricoh Company, Ltd. | Techniques for facilitating annotations |
| US8255820B2 (en) | 2009-06-09 | 2012-08-28 | Skiff, Llc | Electronic paper display device event tracking |
| US8437617B2 (en) | 2009-06-17 | 2013-05-07 | Echostar Technologies L.L.C. | Method and apparatus for modifying the presentation of content |
| US8423088B2 (en) | 2009-07-22 | 2013-04-16 | Microsoft Corporation | Aggregated, interactive communication timeline |
| US10628835B2 (en) | 2011-10-11 | 2020-04-21 | Consumeron, Llc | System and method for remote acquisition and deliver of goods |
| US11238465B2 (en) | 2009-08-26 | 2022-02-01 | Consumeron, Llc | System and method for remote acquisition and delivery of goods |
| US8881012B2 (en) * | 2009-11-17 | 2014-11-04 | LHS Productions, Inc. | Video storage and retrieval system and method |
| US8373741B2 (en) * | 2009-11-20 | 2013-02-12 | At&T Intellectual Property I, Lp | Apparatus and method for collaborative network in an enterprise setting |
| US8806341B2 (en) * | 2009-12-10 | 2014-08-12 | Hulu, LLC | Method and apparatus for navigating a media program via a histogram of popular segments |
| US8332530B2 (en) | 2009-12-10 | 2012-12-11 | Hulu Llc | User interface including concurrent display of video program, histogram, and transcript |
| US20110161834A1 (en) * | 2009-12-31 | 2011-06-30 | omNovia Technology, Inc. | Systems and Methods for Restoring and Recreating a Live On-Line Session |
| US8934758B2 (en) * | 2010-02-09 | 2015-01-13 | Echostar Global B.V. | Methods and apparatus for presenting supplemental content in association with recorded content |
| US20110202864A1 (en) * | 2010-02-15 | 2011-08-18 | Hirsch Michael B | Apparatus and methods of receiving and acting on user-entered information |
| KR101781861B1 (ko) * | 2011-04-04 | 2017-09-26 | 엘지전자 주식회사 | 영상표시장치 및 이를 이용한 텍스트 디스플레이 방법 |
| US9342516B2 (en) | 2011-05-18 | 2016-05-17 | Microsoft Technology Licensing, Llc | Media presentation playback annotation |
| US10079039B2 (en) * | 2011-09-26 | 2018-09-18 | The University Of North Carolina At Charlotte | Multi-modal collaborative web-based video annotation system |
| US9529884B2 (en) | 2012-01-19 | 2016-12-27 | Microsoft Technology Licensing, Llc | Usage based synchronization of note-taking application features |
| US9483109B2 (en) * | 2012-07-12 | 2016-11-01 | Spritz Technology, Inc. | Methods and systems for displaying text using RSVP |
| US8955002B2 (en) * | 2013-01-16 | 2015-02-10 | Comcast Cable Communications, Llc | Tracking and responding to distracting events |
| US10629188B2 (en) | 2013-03-15 | 2020-04-21 | International Business Machines Corporation | Automatic note taking within a virtual meeting |
| US9323447B2 (en) * | 2013-10-15 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Electronic whiteboard and touch screen method for configuring and applying metadata tags thereon |
| US20150116283A1 (en) * | 2013-10-24 | 2015-04-30 | Livescribe Inc. | Paper Strip Presentation Of Grouped Content |
| US20150206446A1 (en) * | 2014-01-22 | 2015-07-23 | Microsoft Technology Licensing, Llc. | Authoring, sharing, and consumption of online courses |
| US9496922B2 (en) | 2014-04-21 | 2016-11-15 | Sony Corporation | Presentation of content on companion display device based on content presented on primary display device |
| US9910840B2 (en) | 2015-04-03 | 2018-03-06 | Microsoft Technology Licensing, Llc | Annotating notes from passive recording with categories |
| US10228775B2 (en) * | 2016-01-22 | 2019-03-12 | Microsoft Technology Licensing, Llc | Cross application digital ink repository |
| US10817169B2 (en) | 2016-10-14 | 2020-10-27 | Microsoft Technology Licensing, Llc | Time-correlated ink |
| US10950275B2 (en) * | 2016-11-18 | 2021-03-16 | Facebook, Inc. | Methods and systems for tracking media effects in a media effect index |
| US10303928B2 (en) | 2016-11-29 | 2019-05-28 | Facebook, Inc. | Face detection for video calls |
| US10554908B2 (en) | 2016-12-05 | 2020-02-04 | Facebook, Inc. | Media effect application |
| US10642478B2 (en) | 2017-04-10 | 2020-05-05 | Microsoft Technology Licensing Llc | Editable whiteboard timeline |
| US10063660B1 (en) | 2018-02-09 | 2018-08-28 | Picmonkey, Llc | Collaborative editing of media in a mixed computing environment |
| US10579240B2 (en) * | 2018-02-09 | 2020-03-03 | Picmonkey, Llc | Live-rendered and forkable graphic edit trails |
| US11615208B2 (en) * | 2018-07-06 | 2023-03-28 | Capital One Services, Llc | Systems and methods for synthetic data generation |
| US11102540B2 (en) * | 2019-04-04 | 2021-08-24 | Wangsu Science & Technology Co., Ltd. | Method, device and system for synchronously playing message stream and audio-video stream |
| US11172269B2 (en) | 2020-03-04 | 2021-11-09 | Dish Network L.L.C. | Automated commercial content shifting in a video streaming system |
| USD1002641S1 (en) * | 2020-05-15 | 2023-10-24 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| US11379424B2 (en) * | 2020-10-30 | 2022-07-05 | Docusign, Inc. | Edit interface in an online document system |
| CN113038230B (zh) * | 2021-03-10 | 2022-01-28 | 读书郎教育科技有限公司 | 一种智慧课堂回放视频增加笔记的系统及方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5852436A (en) * | 1994-06-30 | 1998-12-22 | Microsoft Corporation | Notes facility for receiving notes while the computer system is in a screen mode |
| US5786814A (en) * | 1995-11-03 | 1998-07-28 | Xerox Corporation | Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities |
| US5717869A (en) * | 1995-11-03 | 1998-02-10 | Xerox Corporation | Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities |
| US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
| US6173311B1 (en) * | 1997-02-13 | 2001-01-09 | Pointcast, Inc. | Apparatus, method and article of manufacture for servicing client requests on a network |
| US6128649A (en) * | 1997-06-02 | 2000-10-03 | Nortel Networks Limited | Dynamic selection of media streams for display |
| US6279014B1 (en) * | 1997-09-15 | 2001-08-21 | Xerox Corporation | Method and system for organizing documents based upon annotations in context |
| US5986655A (en) * | 1997-10-28 | 1999-11-16 | Xerox Corporation | Method and system for indexing and controlling the playback of multimedia documents |
| US6646655B1 (en) * | 1999-03-09 | 2003-11-11 | Webex Communications, Inc. | Extracting a time-sequence of slides from video |
| US6732148B1 (en) * | 1999-12-28 | 2004-05-04 | International Business Machines Corporation | System and method for interconnecting secure rooms |
| WO2003014955A1 (en) * | 2001-08-09 | 2003-02-20 | Gigamedia Access Corporation | Hybrid system architecture for secure peer-to-peer-communication |
| US20030137536A1 (en) * | 2001-11-30 | 2003-07-24 | Hugh Harlan M. | Method and apparatus for communicating changes from and to a shared associative database using one-way communications techniques |
-
1999
- 1999-03-24 US US09/275,285 patent/US6452615B1/en not_active Expired - Lifetime
-
2000
- 2000-03-23 JP JP2000081135A patent/JP4171157B2/ja not_active Expired - Fee Related
-
2002
- 2002-06-27 US US10/185,309 patent/US20020163548A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20020163548A1 (en) | 2002-11-07 |
| US6452615B1 (en) | 2002-09-17 |
| JP2000341660A (ja) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4171157B2 (ja) | ノート作成システム、ノート作成方法及びノート作成システムの動作方法 | |
| US7730407B2 (en) | Systems and methods for bookmarking live and recorded multimedia documents | |
| US7647555B1 (en) | System and method for video access from notes or summaries | |
| Chiu et al. | NoteLook: Taking notes in meetings with digital video and ink | |
| Chiu et al. | LiteMinutes: an Internet-based system for multimedia meeting minutes | |
| US7266568B1 (en) | Techniques for storing multimedia information with source documents | |
| US7598975B2 (en) | Automatic face extraction for use in recorded meetings timelines | |
| KR100887696B1 (ko) | 정보 캡처 및 기록 시스템 | |
| US9837077B2 (en) | Enhanced capture, management and distribution of live presentations | |
| US8805929B2 (en) | Event-driven annotation techniques | |
| Mackay | EVA: An experimental video annotator for symbolic analysis of video data | |
| Cruz et al. | Capturing and playing multimedia events with STREAMS | |
| JP3185505B2 (ja) | 会議録作成支援装置 | |
| US20030236792A1 (en) | Method and system for combining multimedia inputs into an indexed and searchable output | |
| JP2005198303A (ja) | 関心度の値を生成及び表示する方法、コンピュータプログラム及びシステム | |
| US8693842B2 (en) | Systems and methods for enriching audio/video recordings | |
| JP2005267279A (ja) | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム | |
| JP4686990B2 (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2012053855A (ja) | コンテンツ閲覧装置、コンテンツ表示方法及びコンテンツ表示プログラム | |
| JP4269980B2 (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2005260512A (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2009026261A (ja) | マルチマディア情報処理システム、マルチメディア情報処理システム用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060127 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060327 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |