JPH10268996A - ディジタルノート記入システム - Google Patents

ディジタルノート記入システム

Info

Publication number
JPH10268996A
JPH10268996A JP7041698A JP7041698A JPH10268996A JP H10268996 A JPH10268996 A JP H10268996A JP 7041698 A JP7041698 A JP 7041698A JP 7041698 A JP7041698 A JP 7041698A JP H10268996 A JPH10268996 A JP H10268996A
Authority
JP
Japan
Prior art keywords
note
digital
audio
processor
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7041698A
Other languages
English (en)
Inventor
Lynn D Wilcox
ディー．ウィルコックス リン
William N Schilit
エヌ．シィリット ウィリアム
Nitin Sawhney
ソーニー ニティン
Joseph W Sullivan
ダブリュー．サリバン ジョセフ
Timothy W Bickmore
ダブリュー．ビックモア ティモシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JPH10268996A publication Critical patent/JPH10268996A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Calculators And Similar Devices (AREA)

Abstract

(57)【要約】 【課題】 ユーザーが個人用のノートの記録、参照、再
利用する方法を改良するよう設計された電子ノートブッ
クを提供する。 【解決手段】 ディジタルノート記入システムは、ペン
ベースの入力を受け取るのに使用されるペンベースの対
話形ディスプレイ装置２４を含み、ペンベースの対話形
ディスプレイ装置２４との通信を行なうと共にペンベー
スの入力に応答してペンベースの対話形ディスプレイ装
置２４に表示するために少なくとも一つのノートマーク
を発生するプロセッサ１８を含み、ディジタルインクは
少なくとも一つの特性を有し、ディジタルインクを記憶
するためにプロセッサ１８と通信を行なう記憶装置２０
を含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、音声データ及び対
応する手書きノートを収集し、検索するためのシステム
に関する。特に本発明はユーザーがノートと対応する音
声データを記録し、参照し、検索し、再使用する方法を
改善する電子ノートブックに関する。
【０００２】
【従来の技術】ノートに記入することは科学者、会社取
締役、あるいは学生など情報を取り扱う業務に従事して
いる者の多くが実行していることである。しかしノート
に記入する理由は人それぞれ差異がある。学生は授業で
ノートに記入し、後日の試験に備えてそれを見直してい
る。科学者は実験室で実験結果をノートに記入してい
る。会社取締役は会議中に行動項目をノートに記入した
りしている。これらの人々の多くはノートを記すことに
歴史的な意義を見出している。
【０００３】多くのこのような人々はノートをとるため
にラップトップコンピュータやパーソナルディジタルア
シスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓ
ｓｉｓｔａｎｔ：ＰＤＡ）を使用しているが、大多数の
人達は紙のノートを使用している。紙のノートは体系化
されたキーポード入力の場合と比較して入力形式に制約
が無いため、より豊かな表現を行なうことが可能であ
る。その一方で紙のノート、特に広く利用されているバ
インダータイプのものや螺旋状に綴じられたものはトピ
ック別にまとめることが困難である。また事後に検索が
容易に行なえるマニュアルであればともかく綴じられた
ノートでは特定の情報を見つけ出すのも困難である。そ
して紙のノートは持ち運びが便利で使い易い反面、ディ
ジタルデータを組み込むことは出来ない。
【０００４】リアルタイムでのノート記入用途として、
あるいは記録済の音声や映像に注釈を加える用途として
のシステムはこれまでに幾つか設計されてきた。
【０００５】キャロン・ウェバーとアレックス・プーン
（Ｋａｒｏｎ Ｗｅｂｅｒ，Ａｌｅｘ Ｐｏｏｎ）によ
る「マーキー（Ｍａｒｑｕｅｅ）」は映像に手書きノー
トやキーワードを注記するためのツールである。ここで
は水平線ジェスチュアを使ったタイムゾーンを生成する
ことによりノートは映像と同期される。またノートに記
入された言葉を丸で囲むとキーワードが定義されて、キ
ーワードは対応するキーワード領域によって領域に適用
される。また事後の検索用としてキーワードは手動変換
でテキストに置き変えられる。
【０００６】スティーブ・ウィテカー、パトリック・ハ
イランド、マーティル・ワイリー（Ｓｔｅｖｅ Ｗｈｉ
ｔｔａｋｅｒ，Ｐａｔｒｉｃｋ Ｈｙｌａｎｄ，Ｍｙｒ
ｔｌｅ Ｗｉｌｅｙ）らによる「フィロチャット（Ｆｉ
ｌｏｃｈａｔ）」は音声が記録され手書きノートによっ
て記録及び索引付けが行なわれるノート記入システムで
ある。ノートの新たなセクション毎にヘッダーが自動的
に生成される。各ヘッダーには日時およびトピックや名
前を記載する領域が含まれている。また音声は、シーク
オプションを選択してノートにジェスチュアを行なうこ
とでアクセスされる。
【０００７】グレゴリー・アボウド、クリス・アトケソ
ン、エイミー・フェインシュタイン、ユスフ・グーラマ
バス、シンディ・フメロ、スコット・レジスター、ニー
ティン・サウニー、ミキヤ・タニ（Ｇｒｅｇｏｒｙ Ａ
ｂｏｗｄ，Ｃｈｒｉｓ Ａｔｋｅｓｏｎ，Ａｍｉ Ｆｅ
ｉｎｓｔｅｉｎ，Ｙｕｓｕｆ Ｇｏｏｌａｍａｂｂａ
ｓ，Ｃｉｎｄｙ Ｈｍｅｌｏ，Ｓｃｏｔｔ Ｒｅｇｉｓ
ｔｅｒ，Ｎｉｔｉｎ Ｓａｗｈｎｅｙ，Ｍｉｋｉｙａ
Ｔａｎｉ）らによる「クラスルーム２０００（Ｃｌａｓ
ｓｒｏｏｍ ２０００）」は授業での講義、授業で取り
扱う事前準備されたビジュアルな資料、そして手書きノ
ートを合体させたシステムである。講義の音声はビュー
グラフにより記録及び索引付が行なわれる。手書きノー
トはビューグラフのディジタルオーバーレイ上に記入さ
れる。そしてノート検索はビューグラフのテキストをサ
ーチすることにより行なわれる。
【０００８】リサ・スタイフェルマン（Ｌｉｓａ Ｓｔ
ｉｆｅｌｍａｎ）による「紙ベースの音声ノートブック
（Ｐａｐｅｒ Ｂａｓｅｄ Ａｕｄｉｏ Ｎｏｔｅｂｏ
ｏｋ）」では紙に書かれたノートを使用してユーザーが
音声記録を収集し、音声記録にアクセスすることができ
る。音声記録は各手書きノートの各ページと同期してお
り、音声の再生はノートのポインティングまたは音声ス
クロールバーの利用により開始される。
【０００９】１９９２年７月２２日公開のマイケル・ジ
ー・ラミング（Ｍｉｃｈａｅｌ Ｇ． Ｌａｍｍｉｎ
ｇ）ＥＰＯ公開 ０ ４９５ ６１２ Ａ２ の「デー
タアクセスシステム（Ａ Ｄａｔａ Ａｃｃｅｓｓ Ｓ
ｙｓｔｅｍ）」では音声と映像一体形の記録装置を備え
るノートパッドコンピュータに基づくノート記入システ
ムについて記載している。ユーザーがキーボードをタイ
プしたりノートパッドコンピュータ上をスタイラスなど
の入力装置により書き込むと、ユーザーにより入力され
た各文字やスタイラスのストロークに対してコンピュー
タは不可視的に時間をスタンプする。この行為により、
ミーティング「ノート」が作成される。音声・映像のス
トリームは、記録中連結的に時間がスタンプされる。そ
して再生が所望されると最終的に作成されたミーティン
グノートがユーザーに提供される。記録の一部再生を行
なうためにはユーザーはノートの一部分を選び（スタイ
ラスで丸を付す等により）、「再生選択」コマンドを呼
び出す。するとコンピュータは時間スタンプを検証して
音声または映像記録部を巻き戻し対応する部分に来ると
再生を始め、ユーザーは選択したテキストまたはストロ
ークを入力した時点で記録されていた音声・映像を聞い
たり見たりすることができる。グラフィカルユーザーイ
ンターフェースを利用すると、ユーザーはキーとなるト
ッピックワードを入力でき、続いてトピックについての
会話がユーザーの目指す箇所付近に近づくと適当なワー
ドにチェックマークを付すことができる。
【００１０】エレン・ペダーソン、キム・マッコール、
トーマス・モラン、フランク・ハラズ（Ｅｌｉｎ Ｐｅ
ｄｅｒｓｏｎ，Ｋｉｍ ＭｃＣａｌｌ，Ｔｈｏｍａｓ
Ｍｏｒａｎ，Ｆｒａｎｋ Ｈａｌａｓｚ）らによる「テ
ィボリ（Ｔｉｖｏｌｉ）」はライブボード（Ｌｉｖｅｂ
ｏａｒｄ）上にホワイトボードの機能をシミュレートし
ている。挿入、削除などの編集機能はジェスチュアによ
り制御されている。
【００１１】「ミーティング収集システム（Ｍｅｅｔｉ
ｎｇ Ｃａｐｔｕｒｅ Ｓｙｓｔｅｍ）」ではライブボ
ードに書かれたノートと音声とを同期させている。音声
の再生はライブボードのノートのジェスチュアまたは音
声タイムラインを利用して行なわれる。
【００１２】リン・ウィルコックス、ダン・キンバー、
フランシン・チェン（Ｌｙｎｎ Ｗｉｌｃｏｘ，Ｄｏｎ
Ｋｉｍｂｅｒ，Ｆｒａｎｃｉｎｅ Ｃｈｅｎ）らによ
る音声セグメンテーションではリアルタイム音声または
記録音声について話者の声と音との分離手段を規定して
いる。異なる話者に対応するセグメント部分は話者毎に
異なる色のバンドまたは別個のタイムラインを用いて音
声タイムライン上に表示される。
【００１３】デビー・ヒンダス、クリス・シュマンド、
クリス・ホーナー（Ｄｅｂｂｙ Ｈｉｎｄｕｓ，Ｃｈｒ
ｉｓ Ｓｃｈｍａｎｄｔ，Ｃｈｒｉｓ Ｈｏｒｎｅｒ）
らによる「リスナー（Ｌｉｓｔｎｅｒ）」は電話会話の
構造を表示し、ユーザーは選択された者のコメントをセ
ーブできるシステムである。
【００１４】
【発明が解決しようとする課題】前挙したシステムは、
適切に編成され検索可能な手書きノートとその音声デー
タに対する要請に応えるべく様々なアプローチを提案し
ている。しかしながらこの要請を効果的に満たしている
ものは一つもない。
【００１５】
【課題を解決するための手段】本発明は、ユーザーが個
人用ノートの記録、参照、検索、再利用する方法を改良
するよう設計された電子ノートブックである。本発明は
標準的な紙のノートブックと同様のインターフェース、
即ち、伝統的なノートブックのページの外観を有するス
クリーンにユーザーが形式自由に手書きで記入すること
を含んでいる。しかしながら、本発明は標準的なノート
記入の能力を増大させる特徴を有している。第一に本発
明は、「アクション項目」と「名前」のような特性をデ
ィジタルインクと関連づけることができるので、これら
の特性を含むノートならば容易に検索が可能である。第
二に、検索付けを更に容易にするために、本発明はユー
ザーがノートのページにテキストキーワードを割り当て
ることができる。最後に、音声が記録され、それがディ
ジタルインクと同期されるのみならず、ユーザーにより
ハイライト（強調）された音声の部分が永久記録され
る。
【００１６】本発明のこれらの特徴は、多面的視点をノ
ートブックに与えるデータベースシステムにも近似した
能力を提供する。例えば、前週分のノートを特性「アク
ション項目」とキーワード「モービル」及び「コンピュ
ーティング」で要求すると、ノートブックは前週分の中
からアクション項目としてマークされ且つモービルコン
ピューティングのトピックに関するノートのみを表示す
る。ノートブックビュー（ノート閲覧画面）が一旦定義
されると、その再使用も可能となるため、ユーザーはノ
ートブックの変化する内容をもダイナミックに編成する
ことができる。
【００１７】本発明ではディジタルインクと関連付けら
れた特性のセットには「アクション項目」、「名前」、
「カレンダー」、「ＵＲＬ」等の標準的な特性のみなら
ず、ユーザーが定義した他の特性が含まれる。特性はデ
ィジタルインクにより表される情報のタイプを示すのに
使用される。また、特性はユーザーに対してインクカラ
ーまたはアイコンなどで示され、ノートブックの中から
対象のマークに関するノート、即ち、指定された特性を
有するノートを検索する際に使用される。
【００１８】ディジタルインクに対する特性の設定は、
ノートを書く前に特性を選択するか、または書いた後で
所望のノートマークを選択してノートマークのディジタ
ルインクに所望の特質を付与することによりなされる。
あるいは、予め設定された領域内のノートマークのディ
ジタルインクが自動的に該領域の特性に指定されるよう
にノートページが構成されることも出来る。例えば、会
議用のノートページのテンプレートにはページ上部に
「出席者」の領域が設けられる。該領域でのノートマー
クのディジタルインクには特性「出席者」が割り当てら
れる。
【００１９】本発明では、更にユーザーがノートのペー
ジにテキストキーワードを関連付けてページ上のディジ
タルインクが表すトピック内容を示すことができる。テ
キストキーワードはタイプ打ち、キーワードリストから
の選択により、あるいは手書き認識装置（ｈａｎｄｗｒ
ｉｔｉｎｇ ｒｅｃｏｇｎｉｚｅｒ）との対話などいく
つもの方法で入力することができる。本発明では所望す
るキーワードと対応するノートマークを選択してノート
マークに該キーワード特性を付与することができる。す
ると該キーワード特性をもつディジタルインクが手書き
認識装置で認識され、キーワードリストにキーワードと
して入力される。
【００２０】本発明では、音声の一部分をハイライトさ
せ該ハイライト部分を修正する機能をも有する。音声の
ハイライト処理はボタンまたはジェスチュアで開始さ
れ、ハイライトの固定持続時間はボタンのクリックまた
はジェスチュアにより延長できる。ハイライト音声はハ
イライト処理の間に作成されたノートマークの肉太字で
の表示により且つ音声タイムライン中のバーとしてユー
ザーに示される。他の多くのシステムは音声とノートマ
ークを同期させて記録するが、それらは音声全体の記録
が永続的に記憶される想定である。この想定とは逆に、
本発明は音声を連続的に記録するが、ユーザーによりハ
イライトされた音声部分のみが記憶される。この機能は
携帯装置にとっては極めて重要である音声データの記憶
量を大幅に削減するものである。
【００２１】あるいは、本発明は全ての音声記録を記憶
することも可能であるが、ハイライトされていない音声
データを記憶するためにＬＰＣ等低ビットレート圧縮テ
クニックを用いることができる。
【００２２】ハイライト部分は、タイムライン編集をす
ることにより記録後に変更が可能である。
【００２３】編集処理過程において、ハイライト音声部
分とハイライトされない音声部分とを区別するために再
生が変化される。本発明はこれを数々の方法で実行して
いる。例えば、ハイライト部分の音量をより高めるよう
にボリュームを変更したり、ハイライト部分をより遅め
るように再生速度を変更したり、ハイライトされない音
声にノイズを加えたり、ハイライト音声部分に音声残響
を付す等である。
【００２４】また、本発明は、該ノートブックの所有者
や他の話者の連続する話者の識別を行なう。適切なトレ
ーニングが行なわれるならば、話者の識別に基づいてそ
の音声部分を自動的にハイライトすることができる。
【００２５】本発明はまた所望の特性、キーワード、及
び／またはタイムスタンプを示すサーチにより作成され
た索引を基にしてノートブックが有する多面的視点を利
用している。他のシステムが内容に対してキーワードベ
ースの検索をおこなうのに対し、本発明は更に情報のタ
イプに基づく検索を可能にしている。例えば、本発明は
「アクション項目」特性を有するディジタルインクを有
するノートマークのみを表示することができるばかりで
なく、特定のキーワードが付与されたディジタルページ
のノートマークのみを表示することもできる。この機能
によりユーザーは関係ある情報タイプのノートマークだ
けを素早く閲覧することができる。
【００２６】
【発明の実施の形態】本発明の好適な実施形態は図の参
照により詳しく説明される。本発明は手書きノートおよ
び音声ノートを収集し検索するシステムである。システ
ムへの入力にはディジタルインク、キーワードや特性の
ようなインクに付随する注釈事項、音声記録、そしてこ
の入力を制御するジェスチュアが含まれる。
【００２７】図１は本発明によるシステム１０の構成要
素のブロック図である。入力装置はキーボード１２、マ
イクロフォン１４、ペン１６を含む。プロセッサ１８は
入力装置からデータを受け取り、記憶装置２０、スピー
カー２２およびディスプレイ装置２４を制御する。
【００２８】図２はサンプルのディジタルページ２８を
有するスクリーン２６を示す。ここでノートのページに
入力されたノートマーク３０はノートのタイムスタンプ
および関連付けた特性を含む領域に記憶される。ディジ
タルページ２８のサイズはユーザーにより定義され、デ
ィジタルページをスクロールし新たなページを求めるこ
とによりページ空間は無制限に使用できる。日付３２は
各ページに付される。
【００２９】ディジタルページ２８の背景３４はユーザ
ーの好みで、または取り掛かろうとしているタスクに従
ってユーザーにより選択可能である。図２に示す例示の
背景３４は、紙ベースの左マージン仕様の下線を付した
ノートをエミュレート（模倣）している。その他の背景
サンプルにはまったくの白紙のページや名前あるいはユ
ニフォームリソースロケーター（Ｕｎｉｆｏｒｍ Ｒｅ
ｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓ．ＵＲＬ）等の特定情
報記入のための予め設定された領域を有するフォームベ
ースのページを含む。
【００３０】ポーズなしに連続的に作成されたマークが
ディジタルページに同じグループとしてまとめられるよ
うにノートマーク３０は時間毎にクラスタされる。
【００３１】入力を支援するためにいくつかのジェスチ
ュアが利用できる。水平ラインジェスチュアは新たなペ
ージを作成させる。挿入ジェスチュアは挿入点の上下に
より多くのスペースを生成する。削除ジェスチュアはノ
ートマークの最後のグループを削除し、取り消しジェス
チュアは直近の変更を繰り返し逆転させる。さらにノー
トマークは個々またはグループ毎に選択でき、ディジタ
ルページ上をドラッグして他の位置に移すことができ
る。
【００３２】本発明ではノートマークのディジタルイン
クに特性を付加することでユーザーが該ノートマークに
含まれる情報のタイプを示すことができる。特性は選択
されたディジタルインクと関連付けた情報のタイプを示
している。ここで特性はディジタルページ全体と関連づ
けられるのではなく、ディジタルインクと関連づけられ
ているので、ページ上の個々のノートマークは容易に識
別されすぐに見ることができる。また特定の特性が付与
されたディジタルインクのノートマークが複数のディジ
タルページに散在する場合でも一度に閲覧することがで
きる。特性は個々のノートマークを判別するのに利用さ
れる低オーバーヘッドであるため検索の際には便利であ
る。
【００３３】本発明は、ノートマークがユーザーにある
特定タスクを実行することを要請するリマインダーであ
ることを示す「アクション項目」、ノートマークが個人
名であることを示す「名前」、特定時刻に予約が入って
いることを示す「カレンダー項目」、ノートマークがＨ
ＴＴＰアドレスであることを示す「ＵＲＬ」等の固定セ
ットのデフォルト特性を備える。デフォルト特性に加え
て、ユーザーは他の特性も追加できる。例えば、ユーザ
ーは将来の仕事のためにアイデアのノートマークには
「アイデア」、ビジネス上の費用に関するノートマーク
には「費用」等の特性を追加することができる。
【００３４】ノートマークのディジタルインクに特性を
指定するのはノートマーク記入の前後どちらでもでき
る。もし記入内容が特定の特性に関するものであること
をユーザーが事前に知っていたならばユーザーはメニュ
ーから特性を選択し、それをディジタルインクに割り当
てて書き始めればいい。異なる特性を有するノートマー
クはディジタルインクの色分けにより互いに区別され
る。例えば、特性の無いディジタルインクのノートマー
クに黒色が使われ、割り当てられた特性として「アクシ
ョン」が指定されたディジタルインクのノートマークに
は緑色が使われてもよい。
【００３５】また２通りの方法で作成されたノートマー
クグループのディジタルインクに対しても特性を付与す
ることができる。一番目の作成方法は、ユーザーが所望
のノートマーク付近をクリックするとそのグループに含
まれる全てのノートマークが選択される。そして選択さ
れたノートマークのグループのディジタルインクには特
性メニューを使い所望の特性を付与することができる。
あるいは輪型のジェスチュアを使用するかまたは選別さ
れたノートマークを囲む矩形をドラッグして、前記同様
にノートマークのグループに特性を付与することができ
る。
【００３６】図３では、選択されたノートマーク４０の
ディジタルインクに付与されるべき特性である「名前」
３８を示している。特性として「アクション」が付与さ
れたディジタルインクの入力済ノートマーク３６は緑色
インクで識別される。特性付与の別の方法は予め定義さ
れた領域にノートマークが書かれたディジタルインクに
自動的に特性付与を行なうテンプレートを利用すること
である。例えば、ディジタルページは例えば「アクショ
ン」項目に対して一つのボックスで、ＵＲＬ項目に対し
ては他の一つのボックスで定義されることができ、ある
いはノートページでは左側マージンを設定してマージン
内に記入されたいかなるノートマークのディジタルイン
クにも特性「名前」を付与する事ができる。
【００３７】特性付与に加えて、本発明はノートマーク
を有するディジタルページにテキストキーワードを関連
付けることができる。これによりディジタルページ上の
ノートマーク検索をキーワードベースでおこなうことが
可能となる。特性がノートに含まれる情報のタイプを表
示するのとは対照的に、キーワードはノートの記述内容
を表現する。キーワードはより一般的な情報を反映する
ものであるため、特定のノートマークに限定された指定
ではなくディジタルページ全体に割り当てられている。
テキストキーワード４２はディジタルページ２８（図２
参照）のマージン部分に表示され何通りかの方法で入力
され得る。一つ目の入力方法は入力済キーワードのリス
トから選択をおこなう方法である。２つ目の入力方法は
ポップアップキーボードを用いてタイプ打ちする方法で
ある。３つ目の入力方法はキーワード入力ボックスにキ
ーワードを手書き入力し、標準の手書き認識パッケージ
で認識させる方法である。最後にノートマークが選択さ
れ手書き認識装置に送られ、得られたテキストはキーワ
ードとして入力される。ユーザーが手書き認識パッケー
ジをすぐに使用したくない場合には、ユーザーはディジ
タルインクに「キーワード」特性を関連付けておけば後
から認識させることができる。
【００３８】利用可能な状態になったら、連続的に音声
が記録されノートマークのインクと同期してタイムスタ
ンプされる。しかしながら、音声に関してはユーザーが
ハイライトを付した部分だけが永続的に記憶される。こ
れにより音声データの記憶に要する領域は削減される。
音声のハイライト処理は図４（Ａ）で示す「マーク」ボ
タン４４を押すか、またはハイライトジェスチュアを描
くことで開始される。音声ハイライト処理は固定時間持
続される。次いでユーザーは図４（Ｂ）に示す延長ボタ
ン４６を押せば音声がハイライトされる時間を延長で
き、また「終了マーク」ボタン４８を押してハイライト
処理を終了させることもできる。
【００３９】音声ハイライト処理は２通りの方法でユー
ザーに示される。１つ目の方法はハイライト部分に対応
するノートマークが肉太字化されて示される。２つ目は
音声がハイライトされると水平タイムライン５０は時間
経過に伴い伸ばしていくバーを表示する。図２では音声
のハイライト部分を示す肉太ストローク５２を有するタ
イムライン３６が示してある。
【００４０】音声ハイライト処理は特定の話者（単数又
は複数）が話をしている時に起動するように設定でき
る。例えば、該ノートブックの所有者が話をしている時
にはいつでもＯＮ状態にすることができる。この機能は
話者セグメンテーションアルゴリズムの利用により可能
である。
【００４１】ノートブックにノートマークの新たなディ
ジタルページが追加されると、前ディジタルページのハ
イライト音声部分のみが永久記憶される。あるいは非ハ
イライト音声部分にＬＰＣのような低ビットレートのラ
ッソー（囲み）圧縮スキームを適用して圧縮をおこなえ
ばすべての音声を記憶することも可能である。ハイライ
ト部分付近の音声データについてはハイライト部分から
離れた音声データと比較してより高いビットレートを使
って圧縮できる。これにより音質面では劣っても聞き取
れるオリジナル音声データの記録を保持しながら、音声
データに要する記憶スペースを減少させるという目標を
達成することができる。
【００４２】タイムラインバー５０がノート３０の上に
表示されて、音声ハイライト部分を示している（図２参
照）。また、タイムライン５０はユーザーが音声記録は
おこないたいがノート記入は行ないたくない場合にも便
利である。タイムライン５０は音声記録後ハイライト部
分の変更をおこなう際にもインターフェースとして機能
する。この場合ユーザーはハイライト部分を聞き、編集
はマーク３０を選択後に図４（Ｃ）に示す「編集マー
ク」ボタン５４を押してマーク３０の端部５６をドラッ
グしておこなうことによりハイライト部分のエンドポイ
ントを変更する。
【００４３】再生は音声がハイライトされているか否か
を示すように変更される。この変更方法には何通りかの
方法がある。一つの方法は再生音量を変更してハイライ
トされた部分がより大きく聞こえるようにする方法であ
る。別の一つの方法は再生速度に変化をつけてハイライ
トされた部分が通常よりもやや遅めに再生される一方で
非ハイライト音声部分はすべて通常よりも速く再生され
るようにする方法である。さらに別の方法では非ハイラ
イト音声部分にノイズを追加して音質を低下させる方法
である。これに加えてハイライト音声部分に残響を付与
して区別をおこなう。
【００４４】変更後の結果にユーザーが満足であれば、
ノートマークとハイライト音声部分は記憶可能である一
方、非ハイライト音声部分は容易に削除または圧縮され
る。ハイライト音声部分のみ記憶する方が記憶スペース
を削減できる点で有利である。さらにもう一つの細かい
利点としては記録音声からノートマークを分離できるこ
とが挙げられる。例えば、ユーザーが現在の音声と対応
した議論のトピックに関心がなく且つ以前にミーティン
グで記入したノートの手直しをしたいとすると、ユーザ
ーは現在の音声が現在のノートとリンクしてほしくはな
いはずである。この目的は音声をハイライトしないこと
で達成することができる。
【００４５】ノートブックのページは作成された時間順
に閲覧することができる。走査検索はノートブックのデ
ィジタルページの説明を提供する窓５８により十分にサ
ポートされている。図５は一連のディジタルページの走
査検索窓５８を示している。最初のコラム６０にはディ
ジタルページが作成された日付が表示されている。次の
コラム６２には変更をおこなった日付が示される。一連
のアイコン６４はディジタルページのノートマークのデ
ィジタルインクに関連付けられた特性を表している。例
えば、電話アイコン６６は特性「電話番号」を表し、チ
ェックボックス６８は特性「アクション」を表す。最終
コラム７０はキーワード４２を表示する。
【００４６】カレンダー上の該当日時に応じディジタル
ぺージのリストを有するカレンダーのグラフィカル画面
（図示せず）も提供される。グラフィカル画面はユーザ
ーが特定のノートページの日時の指定をおこなうのを容
易にする。この機能は例えば週毎の定例会議等がある場
合にはそれらは決まった日時に行なわれるのでカレンダ
ー上で素早く見つけることができるのでたいへん便利で
ある。
【００４７】図６は照会をおこなう場合のインターフェ
ース５８を示している。所望の特性に該当するボックス
７６にチェック７４を付し、キーワード４２をキーワー
ドボックス７８に入力する。
【００４８】本発明ではディジタルインク特性、タイム
スタンプ、そしてキーワードにより索引付けメカニズム
を利用することでノートブックのデータの多面的画面を
ユーザーに提供している。ここでの画面はデータベース
システムの画面に類似したものである。照会が特定の特
性を指定する場合には、該特性を有するディジタルイン
クのノートマークだけが表示される。このデータの画面
には新たに作成されたディジタルページが含まれ、各デ
ィジタルページは元の日付が付され且つ指定された特性
を有するノートマークのみを有する。
【００４９】図７では「実行すべきこと（Ｔｏ Ｄ
ｏ）」特性を有するノートマークを求める照会で作成さ
れた索引ページの例が示されている。
【００５０】ユーザーはまた指定キーワードを有するデ
ィジタルページを請求する照会を作成することによりノ
ートブック画面を作成することもできる。この場合、ユ
ーザーはページに付属したアルファベット順リストのキ
ーワードを走査検索して所望のキーワードをタイプする
か手書き入力して照会キーワードを定義することが可能
である。画面はノートブックの底部にタブとして記憶さ
れる。名前は各タブに関連付けられて容易な参照を可能
にしている。ユーザーはタブの選択により前回の画面に
戻ることができる。またユーザーは静止画面または動的
画面のどちらかを選択することができる。静止画面では
表示される内容は変化しない。動的画面の場合には、照
会されている条件に該当する項目である限りノートブッ
クに入力された内容は画面に新たに付け加えられる。
【００５１】手書き認識装置により認識されたキーワー
ドはスペリングエラーが含まれている可能性があるた
め、本発明では照会されたキーワードに近似したキーワ
ードが検索されるようにキーワードリストのファジーな
検索を提供している。ファジー検索に於ける近似は手書
き認識装置において既知である文字入力誤りを基準とし
ている。照会はさらに指定日あるいは指定期間に該当す
るディジタルページを限定しておこなうこともできる。
最後に複数の検索照会は組み合わされ、ユーザーはノー
トブック画面での特性、キーワードおよび日付を指定す
ることができる。
【００５２】本発明は前記概要のとおり特定の実施形態
を用いて詳述したが多くの代替物、変更、変形が存在し
うることは当業者には明白であろう。したがって、前記
した本発明の好適な実施形態はあくまでも本発明の主旨
の明確化を意図するものであり、本発明は前記した実施
形態に限定されるものではない。前記請求項に示す本発
明の精神と範囲から離れることなく種々の変更形態が存
在し得る。
【図面の簡単な説明】
【図１】本発明によるシステムの構成要素を示すブロッ
ク図である。
【図２】一例として紙ベースのノートブックページを擬
似した画面を紹介した本発明のインターフェースの絵図
である。
【図３】ディジタルインクへの特性の適用を示すインタ
ーフェースの一例の絵図である。
【図４】（Ａ），（Ｂ）及び（Ｃ）はいずれも音声イン
ターフェースの図である。
【図５】内容の例示テーブルの図である。
【図６】検索ツールバーの一例の図である。
【図７】「やるべき事」特性を有する複数のノートペー
ジ上に存在するディジタルインクから作成された索引ペ
ージ図である。
【符号の説明】
１２ キーボード １４ マイクロフォン １６ ペン １８ プロセッサ ２０ 記憶装置 ２８ ディジタルページ ３０ ノートマーク ３６ タイムライン ４０ 選択されたノートマーク ５０ タイムラインバー ５８ 閲覧窓 ６４ アイコン ７８ キーワードボックス
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ニティン ソーニー アメリカ合衆国 02141 マサチューセッ ツ州ケンブリッジ トムダイク ストリー ト 218 アパートメント 107 (72)発明者 ジョセフ ダブリュー．サリバン アメリカ合衆国 94028 カリフォルニア 州 ポートラ ヴァレイ ポートラ ロー ド 197 (72)発明者 ティモシー ダブリュー．ビックモア アメリカ合衆国 95818 カリフォルニア 州 サクラメント トゥエンティーフィフ ス ストリート 2773

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 ディジタルノート記入システムであっ
    て、 ペンベースの入力を受け取るのに使用されるペンベース
    の対話形ディスプレイ装置を含み、 ペンベースの対話形ディスプレイ装置との通信を行なう
    と共にペンベースの入力に応答してペンベースの対話形
    ディスプレイ装置に表示するために少なくとも一つのノ
    ートマークを発生するプロセッサを含み、 ディジタルインクは少なくとも一つの特性を有し、 ディジタルインクを記憶するためにプロセッサと通信を
    行なう記憶装置を含む、 ディジタルノート記入システム。
  2. 【請求項２】 プロセッサは少なくとも一つのノートマ
    ークをディジタルページに割り当て、前記ディジタルペ
    ージは識別キーワードを含む、 請求項１のディジタルノート記入システム。
  3. 【請求項３】 プロセッサと通信を行ない且つ音声デー
    タを生成するために音声に応答する音声入力装置を更に
    含み、 プロセッサは少なくとも一つのハイライトされた音声デ
    ータ部分の指定を行なう、 請求項１のディジタルノート記入システム。
  4. 【請求項４】 音声データとディジタルインクがさらに
    時間データを含む、請求項３のディジタルノート記入シ
    ステム。
  5. 【請求項５】 記憶装置は、前記少なくとも一つのハイ
    ライトされた音声データ部分を記憶する、 請求項３のディジタルノート記入システム。
  6. 【請求項６】 プロセッサは、非ハイライト音声部分の
    少なくとも一つを圧縮するように用いられ、記憶装置が
    圧縮された少なくとも一部の非ハイライト音声部分を記
    憶する、請求項３のディジタルノート記入システム。
  7. 【請求項７】 ペンベースの対話形ディスプレイ装置が
    音声データタイムラインを含む、 請求項３のディジタルノート記入システム。
  8. 【請求項８】 音声データタイムラインが少なくとも一
    部のハイライト音声データ部分を示す、 請求項７のディジタルノート記入システム。
  9. 【請求項９】 少なくとも一部のノートマークが少なく
    とも一部のハイライト音声データ部分に対応する、 請求項３のディジタルノート記入システム。
  10. 【請求項１０】 少なくとも一部のハイライト音声デー
    タ部分に対する少なくとも一つのノートマークの対応が
    肉太線幅によりユーザーに対してディスプレイ装置に示
    される、 請求項９のノート記入システム。
  11. 【請求項１１】 少なくとも一つの特性がカラー表示に
    よりユーザーに示される、 請求項１のノート記入システム。
  12. 【請求項１２】 少なくとも一つの特性がアクション項
    目、名前、カレンダー項目およびＵＲＬのセットの内の
    一つの特性を含む、 請求項１のノート記入システム。
  13. 【請求項１３】 ディジタルページが少なくとも一つの
    領域を指定する特性を含む、 請求項２のノート記入システム。
  14. 【請求項１４】 更に、プロセッサと通信を行なう音声
    出力装置を含む、 請求項３のノート記入システム。
  15. 【請求項１５】 プロセッサは、音声出力装置を介する
    出力の少なくとも一部のハイライト音声データ部分を変
    更する、 請求項１４のノート記入システム。
  16. 【請求項１６】 ユーザーによる入力に従い、プロセッ
    サが少なくとも一部のハイライト音声部分の指定を行な
    う、 請求項３のノート記入装置。
  17. 【請求項１７】 話者セグメンテーションアルゴリズム
    による音声データの処理によりプロセッサは少なくとも
    一部のハイライト音声データ部分を指定する、 請求項３のノート記入システム。
  18. 【請求項１８】 プロセッサはユーザー入力照会に応答
    して特性を識別し、記憶装置をサーチし、識別された特
    性を含むディジタルインクを有する少なくとも一つのノ
    ートマークを含むディジタルページを生成する、 請求項１のノート記入システム。
  19. 【請求項１９】 プロセッサはユーザー入力照会に応答
    してキーワードを識別し、記憶装置をサーチし、識別さ
    れたキーワードを含むディジタルページから少なくとも
    一つのノートマークを含むディジタルページを生成す
    る、 請求項２のノート記入システム。
  20. 【請求項２０】 ディジタルページが背景を含む、 請求項２のノート記入システム。
  21. 【請求項２１】 プロセッサは水平線ジェスチュアを含
    むペンベースの入力に応答して、ディジタルページを生
    成する、 請求項２のノート記入システム。
  22. 【請求項２２】 少なくとも一つのディジタルページ
    を、ディジタルページ作成日、ディジタルページ変更
    日、及びディジタルページ上のディジタルインクに対応
    する特性を識別する少なくとも一つのアイコン及びディ
    ジタルページに関連するキーワードと共にリストアップ
    する走査検索窓を含む、 請求項２のノート記入システム。
  23. 【請求項２３】 キーワードおよび特性の少なくとも一
    方に基づいた照会を生成するための照会窓を更に含む、 請求項２のディジタルノート記入システム。
JP7041698A 1997-03-20 1998-03-19 ディジタルノート記入システム Pending JPH10268996A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US821311 1997-03-20
US08/821,311 US5970455A (en) 1997-03-20 1997-03-20 System for capturing and retrieving audio data and corresponding hand-written notes

Publications (1)

Publication Number Publication Date
JPH10268996A true JPH10268996A (ja) 1998-10-09

Family

ID=25233063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7041698A Pending JPH10268996A (ja) 1997-03-20 1998-03-19 ディジタルノート記入システム

Country Status (4)

Country Link
US (1) US5970455A (ja)
EP (1) EP0866397B1 (ja)
JP (1) JPH10268996A (ja)
DE (1) DE69810976T2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187541A (ja) * 1998-11-03 2000-07-04 Fuji Xerox Co Ltd 自由形式のデジタルインクによるデ―タトレ―スの注記方法及びシステム
JP2011197744A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、プログラム、記録媒体および情報処理システム
JP2014219807A (ja) * 2013-05-07 2014-11-20 株式会社リコー 情報処理プログラムおよび情報処理装置、ならびに、表示制御プログラム
JP2015049752A (ja) * 2013-09-02 2015-03-16 株式会社東芝 情報処理装置、方法およびプログラム
US9013428B2 (en) 2012-05-25 2015-04-21 Kabushiki Kaisha Toshiba Electronic device and handwritten document creation method
CN109254720A (zh) * 2014-05-23 2019-01-22 三星电子株式会社 用于再现内容的方法和装置

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ055999A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (npage01)
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6092100A (en) * 1997-11-21 2000-07-18 International Business Machines Corporation Method for intelligently resolving entry of an incorrect uniform resource locator (URL)
US6404856B1 (en) * 1998-04-10 2002-06-11 Fuji Xerox Co., Ltd. System for recording, annotating and indexing audio data
EP0965907A3 (en) * 1998-06-15 2000-12-20 Xerox Corporation A method and system for creating ad-hoc links from handwritten annotations
US6766494B1 (en) 1998-06-15 2004-07-20 Fuji Xerox Co., Ltd. Method and system for creating ad-hoc links from free-form ink
US6802041B1 (en) 1999-01-20 2004-10-05 Perfectnotes Corporation Multimedia word processor
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6041023A (en) * 1999-03-29 2000-03-21 Lakhansingh; Cynthia Portable digital radio and compact disk player
US6957768B1 (en) 1999-05-25 2005-10-25 Silverbrook Research Pty Ltd Computer system control via interface surface
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
AU4200600A (en) * 1999-09-16 2001-04-17 Enounce, Incorporated Method and apparatus to determine and use audience affinity and aptitude
FI19992074A (fi) * 1999-09-28 2001-03-28 Nokia Mobile Phones Ltd Elektroniikkalaite
US6529122B1 (en) 1999-12-10 2003-03-04 Siemens Technology-To-Business Center, Llc Tactile sensor apparatus and methods
US6720980B1 (en) * 2000-03-01 2004-04-13 Microsoft Corporation Method and system for embedding voice notes
US6355889B1 (en) * 2000-06-28 2002-03-12 International Business Machines Corporation Method and apparatus for linking electronic ink to electronic personal information systems
GB2365614A (en) * 2000-06-30 2002-02-20 Gateway Inc An apparatus and method of generating an audio recording having linked data
US6671684B1 (en) 2000-09-01 2003-12-30 Ricoh Co., Ltd. Method and apparatus for simultaneous highlighting of a physical version of a document and an electronic version of a document
US20020040311A1 (en) * 2000-10-04 2002-04-04 John Douglass Web browser page rating system
US7277765B1 (en) 2000-10-12 2007-10-02 Bose Corporation Interactive sound reproducing
US20020133513A1 (en) * 2001-03-16 2002-09-19 Ftr Pty Ltd. Log note system for digitally recorded audio
US7260771B2 (en) * 2001-04-26 2007-08-21 Fuji Xerox Co., Ltd. Internet-based system for multimedia meeting minutes
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
JP2003008805A (ja) * 2001-06-26 2003-01-10 Matsushita Electric Ind Co Ltd 電子黒板システム
US6900819B2 (en) * 2001-09-14 2005-05-31 Fuji Xerox Co., Ltd. Systems and methods for automatic emphasis of freeform annotations
AUPR824301A0 (en) * 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and systems (npw001)
AU2002333066B2 (en) * 2001-10-15 2006-11-02 Silverbrook Research Pty Ltd Digital ink database searching using handwriting feature synthesis
US8370763B1 (en) * 2001-10-31 2013-02-05 At&T Intellectual Property I, L. P. System and method for creating an electronic-calendar entry
US7882212B1 (en) 2002-01-28 2011-02-01 Verint Systems Inc. Methods and devices for archiving recorded interactions and retrieving stored recorded interactions
US7219138B2 (en) * 2002-01-31 2007-05-15 Witness Systems, Inc. Method, apparatus, and system for capturing data exchanged between a server and a user
US9008300B2 (en) 2002-01-28 2015-04-14 Verint Americas Inc Complex recording trigger
US7424715B1 (en) * 2002-01-28 2008-09-09 Verint Americas Inc. Method and system for presenting events associated with recorded data exchanged between a server and a user
US7149788B1 (en) * 2002-01-28 2006-12-12 Witness Systems, Inc. Method and system for providing access to captured multimedia data from a multimedia player
US7035807B1 (en) * 2002-02-19 2006-04-25 Brittain John W Sound on sound-annotations
GB2391143A (en) * 2002-04-17 2004-01-28 Rhetorical Systems Ltd Method and apparatus for scultping synthesized speech
US7353453B1 (en) * 2002-06-28 2008-04-01 Microsoft Corporation Method and system for categorizing data objects with designation tools
US7188309B2 (en) 2002-06-28 2007-03-06 Microsoft Corporation Resolving document object collisions
US7174042B1 (en) 2002-06-28 2007-02-06 Microsoft Corporation System and method for automatically recognizing electronic handwriting in an electronic document and converting to text
US7259752B1 (en) 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US7079713B2 (en) 2002-06-28 2006-07-18 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
US7185278B1 (en) 2002-06-28 2007-02-27 Microsoft Corporation Separating and moving document objects using the movement of a wiper bar
US7137077B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Freeform encounter selection tool
US7415667B2 (en) * 2003-01-31 2008-08-19 Ricoh Company, Ltd. Generating augmented notes and synchronizing notes and document portions based on timing information
US7793233B1 (en) 2003-03-12 2010-09-07 Microsoft Corporation System and method for customizing note flags
US7774799B1 (en) 2003-03-26 2010-08-10 Microsoft Corporation System and method for linking page content with a media file and displaying the links
US20040196306A1 (en) * 2003-04-04 2004-10-07 Microsoft Corporation Method and system for flagging digital ink note content
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US7721226B2 (en) 2004-02-18 2010-05-18 Microsoft Corporation Glom widget
US20050179647A1 (en) * 2004-02-18 2005-08-18 Microsoft Corporation Automatic detection and switching between input modes
US7358965B2 (en) * 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US7453447B2 (en) 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US7659890B2 (en) 2004-03-19 2010-02-09 Microsoft Corporation Automatic height adjustment for electronic highlighter pens and mousing devices
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7788589B2 (en) 2004-09-30 2010-08-31 Microsoft Corporation Method and system for improved electronic task flagging and management
US7712049B2 (en) 2004-09-30 2010-05-04 Microsoft Corporation Two-dimensional radial user interface for computer software applications
US20060075347A1 (en) * 2004-10-05 2006-04-06 Rehm Peter H Computerized notetaking system and method
US8225195B1 (en) 2004-12-15 2012-07-17 Amazon Technologies, Inc. Displaying links at varying levels of prominence to reveal emergent paths based on user interaction
US7467349B1 (en) 2004-12-15 2008-12-16 Amazon Technologies, Inc. Method and system for displaying a hyperlink at multiple levels of prominence based on user interaction
CA2532635C (en) * 2005-01-12 2008-06-03 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US7461059B2 (en) * 2005-02-23 2008-12-02 Microsoft Corporation Dynamically updated search results based upon continuously-evolving search query that is based at least in part upon phrase suggestion, search engine uses previous result sets performing additional search tasks
US8290313B2 (en) 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8232979B2 (en) 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US8823636B2 (en) 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8749480B2 (en) 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US8640959B2 (en) 2005-03-18 2014-02-04 The Invention Science Fund I, Llc Acquisition of a user expression and a context of the expression
US8229252B2 (en) 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US20060212430A1 (en) 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US7826687B2 (en) 2005-03-18 2010-11-02 The Invention Science Fund I, Llc Including contextual information with a formed expression
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
JP2006276915A (ja) * 2005-03-25 2006-10-12 Fuji Xerox Co Ltd 翻訳処理方法、文書翻訳装置およびプログラム
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US20070067707A1 (en) * 2005-09-16 2007-03-22 Microsoft Corporation Synchronous digital annotations of media data stream
US7526737B2 (en) 2005-11-14 2009-04-28 Microsoft Corporation Free form wiper
US7747557B2 (en) 2006-01-05 2010-06-29 Microsoft Corporation Application of metadata to documents and document objects via an operating system user interface
US7797638B2 (en) 2006-01-05 2010-09-14 Microsoft Corporation Application of metadata to documents and document objects via a software application user interface
US7925993B2 (en) * 2006-03-30 2011-04-12 Amazon Technologies, Inc. Method and system for aggregating and presenting user highlighting of content
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US8275243B2 (en) * 2006-08-31 2012-09-25 Georgia Tech Research Corporation Method and computer program product for synchronizing, displaying, and providing access to data collected from various media
US7957976B2 (en) 2006-09-12 2011-06-07 Nuance Communications, Inc. Establishing a multimodal advertising personality for a sponsor of a multimodal application
US8229754B1 (en) * 2006-10-23 2012-07-24 Adobe Systems Incorporated Selecting features of displayed audio data across time
US7761785B2 (en) 2006-11-13 2010-07-20 Microsoft Corporation Providing resilient links
US7707518B2 (en) 2006-11-13 2010-04-27 Microsoft Corporation Linking information
US7693842B2 (en) * 2007-04-09 2010-04-06 Microsoft Corporation In situ search for active note taking
US20080256114A1 (en) * 2007-04-10 2008-10-16 Microsoft Corporation Techniques to display associated information between application programs
US20080270761A1 (en) * 2007-04-30 2008-10-30 Microsoft Corporation Techniques to generate event contexts for recurring events
US20090058820A1 (en) 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
US20110035662A1 (en) 2009-02-18 2011-02-10 King Martin T Interacting with rendered documents using a multi-function mobile device, such as a mobile phone
TW200917049A (en) * 2007-10-05 2009-04-16 Wistron Corp Portable computer system for expanding usage function
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US8943394B2 (en) * 2008-11-19 2015-01-27 Robert Bosch Gmbh System and method for interacting with live agents in an automated call center
WO2010105245A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8150695B1 (en) 2009-06-18 2012-04-03 Amazon Technologies, Inc. Presentation of written works based on character identities and attributes
US10115065B1 (en) 2009-10-30 2018-10-30 Verint Americas Inc. Systems and methods for automatic scheduling of a workforce
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9208222B2 (en) * 2010-11-26 2015-12-08 Htc Corporation Note management methods and systems
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
US9449303B2 (en) * 2012-01-19 2016-09-20 Microsoft Technology Licensing, Llc Notebook driven accumulation of meeting documentation and notations
US8954890B2 (en) * 2012-04-12 2015-02-10 Supercell Oy System, method and graphical user interface for controlling a game
KR101897774B1 (ko) * 2012-05-21 2018-09-12 엘지전자 주식회사 녹음된 음성의 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기
US8887044B1 (en) 2012-06-27 2014-11-11 Amazon Technologies, Inc. Visually distinguishing portions of content
US9250728B2 (en) * 2013-01-29 2016-02-02 Blackberry Limited Apparatus and method pertaining to predicted-text entry
US20150074127A1 (en) * 2013-09-10 2015-03-12 Microsoft Corporation Creating Visualizations from Data in Electronic Documents
US9323447B2 (en) 2013-10-15 2016-04-26 Sharp Laboratories Of America, Inc. Electronic whiteboard and touch screen method for configuring and applying metadata tags thereon
US10277643B2 (en) 2014-05-23 2019-04-30 Samsung Electronics Co., Ltd. Server and method of providing collaboration services and user terminal for receiving collaboration services
US9910840B2 (en) 2015-04-03 2018-03-06 Microsoft Technology Licensing, Llc Annotating notes from passive recording with categories
US9552814B2 (en) 2015-05-12 2017-01-24 International Business Machines Corporation Visual voice search
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US10970476B2 (en) * 2017-05-17 2021-04-06 Microsoft Technology Licensing, Llc Augmenting digital ink strokes
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11114186B2 (en) 2017-08-10 2021-09-07 Nuance Communications, Inc. Automated clinical documentation system and method
US11250383B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
WO2019173333A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. Automated clinical documentation system and method
WO2019173349A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778052A (ja) * 1993-06-21 1995-03-20 Casio Comput Co Ltd 手書き入力装置
JPH07182365A (ja) * 1993-12-24 1995-07-21 Hitachi Ltd マルチメディア会議録作成支援装置および方法
JPH07303209A (ja) * 1994-05-06 1995-11-14 Matsushita Electric Ind Co Ltd 特殊効果編集装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4627001A (en) * 1982-11-03 1986-12-02 Wang Laboratories, Inc. Editing voice data
US4841387A (en) * 1987-12-15 1989-06-20 Rindfuss Diane J Arrangement for recording and indexing information
JPH0381817A (ja) * 1989-08-25 1991-04-08 Hitachi Ltd 手書入力情報処理装置およびこの手書入力情報処理装置を用いた手書入力情報システム
GB9100732D0 (en) * 1991-01-14 1991-02-27 Xerox Corp A data access system
US5539427A (en) * 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
EP0645757B1 (en) * 1993-09-23 2000-04-05 Xerox Corporation Semantic co-occurrence filtering for speech recognition and signal transcription applications
US5564005A (en) * 1993-10-15 1996-10-08 Xerox Corporation Interactive system for producing, storing and retrieving information correlated with a recording of an event
US5561446A (en) * 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
US5598507A (en) * 1994-04-12 1997-01-28 Xerox Corporation Method of speaker clustering for unknown speakers in conversational audio data
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US5477511A (en) * 1994-07-13 1995-12-19 Englehardt; C. Duane Portable documentation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778052A (ja) * 1993-06-21 1995-03-20 Casio Comput Co Ltd 手書き入力装置
JPH07182365A (ja) * 1993-12-24 1995-07-21 Hitachi Ltd マルチメディア会議録作成支援装置および方法
JPH07303209A (ja) * 1994-05-06 1995-11-14 Matsushita Electric Ind Co Ltd 特殊効果編集装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187541A (ja) * 1998-11-03 2000-07-04 Fuji Xerox Co Ltd 自由形式のデジタルインクによるデ―タトレ―スの注記方法及びシステム
JP2011197744A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、プログラム、記録媒体および情報処理システム
US9690393B2 (en) 2010-03-17 2017-06-27 Sony Corporation Information processing device, program, recording medium, and information processing system
US9013428B2 (en) 2012-05-25 2015-04-21 Kabushiki Kaisha Toshiba Electronic device and handwritten document creation method
JP2014219807A (ja) * 2013-05-07 2014-11-20 株式会社リコー 情報処理プログラムおよび情報処理装置、ならびに、表示制御プログラム
JP2015049752A (ja) * 2013-09-02 2015-03-16 株式会社東芝 情報処理装置、方法およびプログラム
CN109254720A (zh) * 2014-05-23 2019-01-22 三星电子株式会社 用于再现内容的方法和装置
CN109508137A (zh) * 2014-05-23 2019-03-22 三星电子株式会社 用于再现内容的方法和装置
CN109254720B (zh) * 2014-05-23 2021-06-08 三星电子株式会社 用于再现内容的方法和装置
CN109508137B (zh) * 2014-05-23 2021-09-14 三星电子株式会社 用于再现内容的方法和装置

Also Published As

Publication number Publication date
EP0866397A1 (en) 1998-09-23
EP0866397B1 (en) 2003-01-29
DE69810976T2 (de) 2003-06-18
DE69810976D1 (de) 2003-03-06
US5970455A (en) 1999-10-19

Similar Documents

Publication Publication Date Title
US5970455A (en) System for capturing and retrieving audio data and corresponding hand-written notes
US20020099552A1 (en) Annotating electronic information with audio clips
US5742736A (en) Device for managing voice data automatically linking marked message segments to corresponding applications
US5572728A (en) Conference multimedia summary support system and method
US6404856B1 (en) System for recording, annotating and indexing audio data
US6332147B1 (en) Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities
US5898434A (en) User interface system having programmable user interface elements
Whittaker et al. Filochat: Handwritten notes provide access to recorded conversations
US5786814A (en) Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities
US5717879A (en) System for the capture and replay of temporal data representing collaborative activities
JP3526067B2 (ja) 再生装置及び再生方法
US5717869A (en) Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities
US7454763B2 (en) System and method for linking page content with a video media file and displaying the links
EP0495612A2 (en) A data access system
JP2000235475A (ja) オーディオメッセージからデータを抽出するシステム及び方法
US20150234800A1 (en) System and method for creating a presentation using natural language
JP2000215214A (ja) 複数文書ジャンル用ダイナミックコンテントデ―タベ―ス処理方法
JP2000215213A (ja) 分散型文書に基づく一覧表作成方法及びシステム
JP2000231627A (ja) フィードバック機構を備えた複数モード走査ペン及びこれを用いた入力方法
JP2003037677A (ja) マルチメディア会議議事録作成方法及びプログラマブル・デバイスと通信する方法
JP2004206658A (ja) 表示制御方法、情報表示処理システム、クライアント端末、管理サーバ、プログラム
US5546565A (en) Input/output apparatus having a pen, and method of associating and processing handwritten image data and voice data
JP3266959B2 (ja) 電子会議システム
JP2004151899A (ja) 情報提供方法、情報提供処理システム、プログラム
JPH11272679A (ja) 発言構造情報提示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060320

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070403