JP6728036B2 - インクからテキスト表現への変換 - Google Patents

Description

モバイルコンピューティングは、複数の市場にわたってメディアの消費を変えている。製品生成にわたる小型化は、より多くの機能が、より小さなデバイスによって達成されることを可能にしている。ユーザは、スマートフォンやタブレットといった、より小さなコンピューティングデバイス上でドキュメントを見て、対話することができる。一部のより小さなコンピューティングデバイスは、指や電子ペンを用いるタッチ対話により、コンピューティングデバイス上に表示されるコンテンツに対する手書き入力を提供することを可能にする。ユーザは、コンテンツを提供し、小さなコンピューティングデバイス上に表示される既存のコンテンツに、ユーザ自身の手書きにより注釈を付け、マークアップすることができ、そして手書きされたコンテンツ並びにフォームファクタは、コンピューティングデバイスのインタフェース上に表示され得る。手書きは、ナチュラル入力方法である−これは、人々が何も考えずに行うことができるものであり、人々がコンテンツを読み、かつ／又はコンテンツに注釈を付けるのに使用しているソフトウェアの代わりに、人々にコンテンツについて考えさせるときに、好ましい可能性がある。

この発明の概要の記載は、下記で発明の詳細な説明において更に説明される概念の選択を簡略化した形式で紹介するために提供される。この発明の概要の記載は、特許請求に係る主題の主要な特徴又は本質的特徴を排他的に特定するようには意図されておらず、特許請求に係る主題の範囲を確定する際の助けとしても意図されていない。

実施形態は、コンピューティングデバイス上に表示されるコンテンツに対する手書きインク入力を、テキスト表現に変換することを対象とする。ユーザは、コンピューティングデバイス上に表示されるコンテンツに対する手書きインク入力を提供して、コンテンツを編集及びマークアップすることができる。インク入力は、コンピューティングデバイスのユーザインタフェースに対する、コンテンツを編集するジェスチャを通して提供され得る。インク入力は、コメントとテキストの挿入、テキストの削除及びマークアップ記号と形状の挿入を含み得る。インク入力は、コンテンツに対するインク入力のコンテキストと、文法及び校正分析とに基づいてテキスト注釈に変換され得る。インク入力は、コンテンツの注釈ビューに表示されることもある。加えて、インク入力は、所定の期間後、インク入力の変換をアクティブ化する変換ボタンの選択を検出すると周期的に変換され得る。

これら及び他の特徴並びに利点は、以下の詳細な説明を読むこと及び関連する図面をレビューすることから明らかになるであろう。理解されるように、上記の一般的な説明と下記の詳細な説明は双方とも例示であり、特許請求される態様を制限しない。

一部の実施形態に係るインク入力の挿入と、テキスト注釈への変換を可能にする例示のコンピューティングデバイスを示す図である。 諸実施形態に係る、マークアップされたドキュメントと、マークアップされたドキュメントのテキスト注釈の例示のビューを示す図である。 諸実施形態に係る、コンテンツの挿入を可能にする例示のコメントペインを示す図である。 諸実施形態に係る、マークアップされたビューと注釈ビューの例示の隣り合った表示を示す図である。 諸実施形態に係るシステムが実装され得るネットワーク環境を示す図である。 諸実施形態が実装され得る例示のコンピューティング動作環境を示すブロック図である。 諸実施形態に従って、電子リーダ内において注釈を有するインクコンテンツを変換する処理の論理フロー図である。

上記で簡単に説明したように、手書きのインク入力を、コンピューティングデバイスのユーザインタフェース上に表示されるコンテンツに適用することができ、インク入力を、テキスト注釈に変換することができる。インク入力は、タッチ、ジェスチャ、キーボード、マウス、ペン、アイトラッキング又はコンテンツを編集するためのコンピューティングデバイスのユーザインタフェースに対する同様の入力を通して提供され得る。インク入力は、コメントとテキストの挿入、テキストの削除及びマークアップ記号と形状の挿入を含み得る。インク入力は、コンテンツに対するインク入力のコンテキストと、文法及び校正分析に基づいて、レンダリング用のテキスト注釈に変換され得る。

以下の詳細な説明では、説明の一部をなし、かつ具体的な実施形態又は実施例を例示として示す図面への参照を行う。本開示の精神又は範囲から逸脱することなく、これらの態様を組み合わせてもよく、他の態様を利用してもよく、構造的変更を行ってもよい。したがって、以下の詳細な説明は、限定的意味で考えられるべきではなく、本開示の範囲は添付の特許請求の範囲及びその均等物によって定義される。

実施形態は、コンピューティングデバイス上のオペレーティングシステムにおいて動作するアプリケーションプログラムとの関連で実行されるプログラムモジュールの一般的コンテキストにおいて説明されるが、当業者には、諸態様が、他のプログラムモジュールとの組合せにより実装されてもよいことが認識されよう。

一般に、プログラムモジュールは、ルーチン、プログラム、コンポーネント、データ構造及び特定のタスクを実行するか特定の抽象データタイプを実装する他のタイプの構造を含む。さらに、当業者には、諸実施形態を、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベース又はプログラマブル家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ及び同等のコンピューティングデバイスといった、他のコンピュータシステム構成とともに実施してよいことが認識されよう。実施形態は、通信ネットワークを通してリンクされるリモート処理デバイスによってタスクが実行される、分散コンピューティング環境において実施されてもよい。分散コンピューティング環境では、プログラムモジュールが、ローカルとリモートの双方のメモリストレージデバイスに配置され得る。

実施形態は、コンピュータで実装される処理（方法）、コンピューティングシステムとして、あるいはコンピュータプログラム製品やコンピュータ読取可能媒体といった製品として実装され得る。コンピュータプログラム製品は、コンピュータシステムによって読取可能であって、コンピュータ又はコンピューティングシステムに例示の処理を実行させるための命令を備えるコンピュータプログラムを符号化する、コンピュータ記憶媒体とすることができる。コンピュータ読取可能記憶媒体は、コンピュータ読取可能メモリデバイスである。コンピュータ読取可能記憶媒体は、例えば揮発性コンピュータメモリ、不揮発性メモリ、ハードドライブ、フラッシュドライブ、フロッピー（登録商標）ディスク又はコンパクトディスク及び同等の媒体のうちの１つ又は複数により実装され得る。

本明細書全体を通して、「プラットフォーム」という用語は、インク入力をテキスト注釈に変換するためのソフトウェア及びハードウェアコンポーネントの組合せとすることができる。プラットフォームの例には、これらに限られないが、複数のサーバ上で実行されるホストサービス、単一のコンピューティングデバイス上で実行されるアプリケーション及び同等のシステムを含む。「サーバ」という用語は一般に、典型的にはネットワーク環境内で１つ以上のソフトウェアプログラムを実行しているコンピューティングデバイスを指す。しかしながら、サーバは、ネットワーク上でサーバとして見られる１つ以上のコンピューティングデバイス上で動作する、仮想サーバ（ソフトウェアプログラム）として実装されてもよい。これらの技術及び例示の動作の更なる詳細は以下で提供される。

図１は、諸実施形態に従って、インク入力の挿入とテキスト表現への変換を可能にする例示のコンピューティングデバイスを図示している。図１００内に示されるコンポーネント及び環境は、説明の目的のためである。実施形態は、様々なコンピューティングデバイス及びシステム、ハードウェア及びソフトウェアを用いる、様々なローカルの、ネットワークの、クラウドベース及び同様のコンピューティング環境において実装され得る。

タブレット１０２のようなコンピューティングデバイスは、コンテンツ１０６をユーザ１０８へ提供するアプリケーションをホストすることができる。デバイス１０２は、ユーザがコンテンツ１０６と対話できるようにすることができる。コンテンツ１０６を提供し、かつコンテンツとの対話を可能にする他のコンピューティングデバイスには、スマートフォン１１２、リーダデバイス１１０及びラップトップコンピュータが含まれ得る。コンテンツ１０６を提供する例示のアプリケーションは、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、プレゼンテーションアプリケーション、ウェブブラウザアプリケーション、電子リーダアプリケーション及び同様のものであり得る。アプリケーションは、ローカルにインストールされて実行されるアプリケーションであってよい。アプリケーションは、有線又は無線ネットワークを通してコンテンツ１０６を受け取り、提供することもできる。

コンテンツ１０６は、任意のタイプの消費可能なデータであってよく、これらに限定しないが、テキスト、オーディオ、ビデオ、グラフィック及び同等のものを含む。コンテンツ１０６は、標準フォーマット（例えばｅＰｕｂ、ＨＴＭＬ、ＸＨＴＭＬ等）で提示されるメディアの組合せも含み得る。コンテンツ１０６は、サービス及びデバイスによる消費のためにコンテンツ１０６をホストするコンテンツサーバによって提供され得る。

コンピューティングデバイス１０２において実行されるアプリケーションは、ユーザ１０８がコンピューティングデバイス１０２のユーザインタフェースと対話して、コンテンツ１０６を提供及び編集することを可能にするように構成され得る。例えばユーザは、光学ジェスチャキャプチャ、ジャイロスコープ入力デバイス、マウス、キーボード、アイトラッキング入力及び同等のソフトウェア及び／又はハードウェアベースの技術を含め、様々な入力方法を用いてコンテンツ１０６と対話することができる。加えて、コンピューティングデバイスは、コンピューティングデバイス上のコンテンツと対話、編集及び提供するために対話型スタイラス１２０、電子ペン及び指のタッチ１０４によって提供されるタッチ及びジェスチャ入力を認識するよう構成される、タッチ対応型デバイスであってもよい。

例示の実施形態において、ユーザ１０８は、ユーザ１０８が鉛筆と紙を使用して文書をマークアップする方法と同様にコンテンツをマークアップするように、タッチ及びペンベースの入力のような入力方法を用いて、コンピューティングデバイス１０２上に手書きの入力コンテンツ及びマークアップを提供することができる。例えばユーザ１０８は、コンテンツを挿入及び削除し、コメント及びメモを追加し、コンテンツを丸で囲み、下線を引き、線で消すことがある。タッチ及び／又はペンベースの入力を用いるコンピューティングデバイス１０２上への手書きのコンテンツ入力は、インク又はデジタルインクと呼ばれることがある。諸実施形態に係るシステムでは、手書きインク入力は、インク検出と手書き認識を用いてテキスト注釈へと変換され得る。テキスト注釈は、ドキュメントの注釈ビューへシームレスに統合され得る。テキスト注釈は、新たに挿入されたコンテンツ及び手書きのコメントの注釈を含むことがあり、フォーマットの削除やスタイルの変更といったコンテンツに対する変更も含むことがある。

図２は、諸実施形態に係る、マークアップされたドキュメントと、マークアップされたドキュメントのテキスト注釈の例示のビューを図示している。図２００は、手書きインク入力で注釈を付けられたコンテンツを表示している例示のタブレット２０２と、手書きのインク入力の、ドキュメント上のテキスト注釈への変換を表示する例示のタブレット２２０とを例示している。

諸実施形態に係るシステムでは、タブレット２０２のようなコンピューティングデバイスは、ワードプロセッシングドキュメントのようなコンテンツをユーザに表示することができる。ユーザは、ドキュメントをマークアップして編集することができる。例えばユーザはドキュメントにメモとコメント２１４を追加して、コンテンツを丸で囲み２１３、下線を引き２０６、線で消して２１８、そして新たなコンテンツ２０４、２１０を挿入することができる。ドキュメントに対するユーザの手書きのマークアップ及び編集は、デジタルインク又はインク入力と呼ばれることがある。ドキュメントは、ワードプロセッシングアプリケーションのようなアプリケーションによって提供され得る。アプリケーションは、インク入力を認識して、このインク入力をテキストの注釈に変換するように構成され得る。テキスト注釈は、ドキュメントにシームレスに統合されて、ユーザのマークアップ及び編集をドキュメントに組み込むことができる。インク入力のテキスト注釈への変換はアプリケーションによって容易にされ得る。あるいは、変換は、コンピューティングデバイス上に表示されるコンテンツのインク入力を検出し、インク入力をテキスト注釈へ変換するように構成されるスタンドアロンアプリケーションによって容易にされ得る。

例示の実施形態において、変換されたテキスト注釈は、ユーザによって注釈が付けられた基礎となるコンテンツの一部に（アンカーで）固定される（anchor）。変換されたテキスト注釈は、コンテンツの注釈が付けられた部分に関連付けられ、ユーザの編集をミラーリングすることができる。例示のシナリオでは、ユーザは、インク入力を、ドキュメントのテキストの線の間に余白内に挿入されるコメント２１４及びメモとして提供することができる。ユーザは、線、円又は下線を描くか同様のジェスチャにより、コメント２１４をテキストの一部分へリンク２１２させるか、あるいは他の方法で関連付けることができる。手書きのコメントがテキスト注釈に変換されると、テキスト注釈は、ユーザによって注釈が付けられたテキストの部分に固定され得る。

別の例示のシナリオでは、ユーザは、手書きのコメント２１４をドキュメントの余白内に挿入することができる。ユーザは、コメント２１４に関連付けられるコンテンツの部分の上に線及び円２１３を描くことができる。手書きのコメント２１４がテキスト注釈に変換されると、この注釈がコメントボックス２３４に表示され得る。コメントボックス２３４は、アンカー２３５により、テキストの関連する部分に接続され得る。あるいは、アプリケーションは、命令２１７のような入力インクを検出して、コンテンツに対する変更を行うことができる。命令２１７は、コンテンツの一部分に対する命令２１７をユーザがタイピング２１２したことを検出したことに応答して、コンテンツのその部分に関連付けられ得る。命令及び関連するアクションを格納しているデータストアを検索することにより、命令２１７をアクションにマッチさせることがある。次に、命令２１７を関連するアクションに変換したことに応答して、命令２１７に関連付けられるアクションが、コンテンツ２３２のその一部分に適用され得る。

上述のように、手書きインク入力は、テキストの線の間や余白といった、ドキュメント内のいずれかの場所に挿入されるメモ及びコメント２１４を含むことがある。インク入力は、編集及びマークアップを示す記号及びマーキングを含むこともある。例えばユーザは、テキストの削除を指示するようにテキストを線で消す２０８ことがあり、ユーザは、所望の位置にテキストを挿入するために、コメントを添えてカラット（挿入記号）２１６又は同様の記号を挿入することができる。加えて、ユーザは、テキストに下線を引くこと２０６及び句読点や中黒点（行頭文字）を挿入することのように、フォーマット及びスタイリング記号を挿入して、所望のフォーマット及びスタイル編集を指示することができる。アプリケーションは、インク入力を分析し、コンテキストに基づいて、形状及び記号から手書きテキストを識別して区別することができる。この区別は、アプリケーションが、丸で囲まれた語から伸びる線が、手書きコメントを指し示す矢印となるように意図されていると識別することを可能にする。さらに、アプリケーションは、手書きコメントのコンテキストを分析し、この手書きコメントのコンテキストに基づいて、手書きコメントをテキスト注釈に変換するよう構成され得る。例えばアプリケーションは、ドキュメント上の手書きコメント２１４を、ドキュメント内に挿入されるべきコンテンツから区別し、またコンテンツを編集するための命令２１７として意図されるコメントからも区別することができる。

更なる例示の実施形態において、アプリケーションは、ユーザの意図をインク入力のコンテキストに基づいて解釈するように構成され得る。アプリケーションは、文法及び校正ツールを使用して、ユーザのインク入力が、コンテンツのコンテキスト内で意味をなすかどうかを判断することができる。例えばコンテンツの削除及び／又は挿入が検出されると、アプリケーションは、その変更が、文法的に正しくないか、意味をなさない文を生み出さないことを検証することができる。潜在的な問題が検出された場合、アプリケーションはインク入力を、その潜在的な問題に対処し得る、提案のテキスト注釈へと変換し、ユーザがその提案されたテキスト注釈を受け入れるか拒否できるようにする。

更に別の例示のシナリオでは、アプリケーションは、ユーザの意図があいまいな場合、インク入力のコンテキストに基づいて、変換されたテキスト注釈の配置を提案することができる。例えばユーザが、タブレット２０２上に表示されるドキュメント上にコンテンツ２０４、２１０を挿入することがある。ユーザは、挿入されるコンテンツ２０４、２１０の正確に意図される位置についての矢印、線又は他の指示を含めないことがある。挿入されたコンテンツ２０４、２１０がテキスト注釈に変換されるとき、アプリケーションは、コンテンツのコンテキストに基づいて、位置を推論して提案することができ、タブレット２２０に表示されるドキュメント内の提案される位置に、コンテンツ２２４、２２２を自動的に挿入することができる。ユーザは、提案された位置を受け入れるか、拒否し、あるいは変更することが可能である。加えて、コンテンツの一部分の位置及び／又は編集に対するユーザの意図があいまいであるか、不明確な状況では、アプリケーションは、２つ以上の提案されるテキスト注釈を提示して、ユーザが、これらの提案から受け入れることを可能にする。

諸実施形態に係るシステムでは、テキスト注釈へのインク入力の変換は、コンピューティングデバイス上で実行されるコンテンツアプリケーションの継続的にアクティブな機能であってよい。アプリケーションは継続的に、インク入力を検出して、該インク入力をテキスト注釈に変換するように構成され得る。加えて、インク入力の検出は、スタイラスや電子ペン又は指のように、インク入力をコンピューティングデバイスのユーザインタフェースに提供するよう構成される入力デバイスの検出があると、トリガされ得る。さらに、ユーザは、ユーザが望む任意の時に、アプリケーションのインク検出及び変換機能をターンオンするよう選択することによって、インク入力変換セッションを開始してもよい。

一部の実施形態では、ユーザがドキュメント全体を編集し終えた後に、インク入力をテキスト注釈に変換することができる。ユーザが変換をレビューし、誤りを訂正できるようにするため、ユーザに周期的なフィードバックを提供することが望ましいことがある。例示の実施形態では、ユーザにフィードバックを提供して、変換されたテキスト注釈をユーザがレビューすることを可能にするために、インク入力をテキスト注釈へ周期的に変換して表示することができる。例えばインク入力は、各コメント又は変更の検出後、即時フィードバックをユーザに提供するために、テキスト注釈に自動的に変換され得る。手書きインク入力のテキスト注釈に関する即時フィードバックは、ユーザが必要に応じて訂正を行うことを可能にする。

一部の他の実施形態では、インク入力は、所定の期間の後、あるいは非アクティブな期間の検出後に、テキスト注釈に自動的に変換され得る。ユーザは、ドキュメント上に設けられる変換ボタン２４０を選択することにより、インク入力をテキスト注釈に変換することを積極的に選択することができる。変換ボタン２４０は、ユーザのインク入力をテキスト注釈に変換する時をユーザ制御することを可能にする。加えて、テキスト注釈へのインク入力の変換の後に、アプリケーションは、ユーザが、手書きのインク入力を含むマークアップバージョンのドキュメントと、変換されたテキスト注釈を含む最終バージョンのドキュメントとの間を切り替える２４２ことができるように、元のインク入力を保持することができる。

図３は、諸実施形態に係る、コンテンツの挿入を可能にする例示のコメントペインを図示している。上述のように、ユーザは手書きのコメントを、コンピューティングデバイス上に表示されるドキュメントの線の間及び余白内に挿入することができる。

図３００に示されるように、例示の実施形態では、コメントペイン３０８は、ユーザがドキュメント上にコメントを挿入することを可能にするために提供され得る。コンテンツを表示しているアプリケーションは、ユーザがコメントを挿入したいドキュメントの一部分を選択するユーザアクション３０６を検出し得る。この選択の検出に応答して、コメントペイン３０８が現れてよい。例示のシナリオでは、ユーザアクション３０６を検出したことに応答して、アプリケーションは、ユーザがコメントペインを起動するのを可能にする制御ボタン３０４を表示することができる。制御ボタン３０４の選択があると、コメントペイン３０８が表示され得る。コメントペイン３０８を、ドキュメント上の所定の位置（すなわち、ページの下又はドキュメントの余白内）に表示することができる。あるいは、コメントペイン３０８を、ポップアップペインとしてコンテンツの一部の上に表示することができる。ユーザは、コメントペイン３０８の位置及び外観をカスタマイズすることができる。ユーザがコメントペイン３０８への手書きコメントの挿入を終えると、コメントペイン３０８は閉じられ、手書きコメントは、以前に説明したようにテキスト注釈に変換されてドキュメント内に組み込まれ得る。

図４は、諸実施形態に係る、マークアップビューと注釈ビューの例示の隣り合った表示を図示している。前述のように、ユーザは、タブレット４０２のようなコンピューティングデバイス上のドキュメントを見て、ユーザは、コンピューティングデバイスのユーザインタフェース上で手書きインク入力により、このドキュメントに注釈を付けることができる。手書きインク入力は変換され、手書きインク入力のテキスト注釈を提供し得る。

図４００内に図示されるように、ユーザは、手書きインク入力を含むドキュメントのマークアップバージョン４０４を、変換されたテキスト注釈を表示しているドキュメントの注釈バージョン４０６と並べて見ることができる。マークアップバージョン４０４及び注釈バージョン４０６を、タブレット４０２のようなコンピューティングデバイスのユーザインタフェース上に並べて表示することができる。あるいは、マークアップバージョン４０４及び注釈バージョン４０６を異なるデバイス上に表示してもよい。例えば分散アプリケーションが、タブレット４０２上にマークアップバージョン４０４を表示し、このアプリケーションのインスタントが、ラップトップ、デスクトップ又は他のディスプレイといった別のデバイス上の注釈バージョン４０６を表示してもよい。マークアップバージョン４０４及び注釈バージョン４０６が同時に表示されるとき、手書きインク入力を連続的にテキスト注釈に変換して、注釈バージョン４０６上に提示し、ユーザに即時フィードバックを提供することができる。

例示の実施形態では、マークアップバージョン４０４は、ユーザによって提供された手書きインク入力と元のコンテンツを表示することができる。注釈バージョン４０６は、追跡変更ビューを提供することができ、この追跡変更ビューでは、テキスト注釈に関連付けられる変更を表示して、元のコンテンツから区別することができる。最終的なビューも提供することができ、最終的なビューでは、テキスト注釈が元のコンテンツとシームレスに統合され得る。例えば追跡変更ビューでは、テキスト注釈は、カラーコーディングのようなグラフィカルスキームを用いて表示され得る。テキスト注釈は、元のコンテンツとは異なる色で表示され、ユーザの注釈を区別することができる。ユーザは、最終的なビューに切り替えることが可能であり、ドキュメントの最終的なバージョンがどのように見えるかを提示するよう、注釈が元のドキュメントと同じ色で表示され得る。

別の例示の実施形態では、ユーザがドキュメント上に手書きのインク入力を提供すると、ドキュメントは、空間４２０を増加させるよう調整され、ユーザが手書きコメントを入力するためにより多くの空間を提供することができる。また、ドキュメントの他のレイアウトオプションが、ユーザがコメントを入力するのにより多くの空間を提供するよう調整されることもあり、例えば余白を増加させ、最小のテキストサイズを表示すること等がある。ユーザが手書きのインク入力の提供を行うと、ドキュメントはデフォルトのレイアウト設定に調整され得る。

更に別の例示の実施形態では、アプリケーションは、１以上のユーザによって提供されるインク入力に関連付けられる履歴データを格納することができる。履歴データは、ユーザの認証情報、ユーザの好み、組織的ルール、地域設定及び同様のものといった、コンテキスト属性に基づいて分析され得る。履歴データを、アプリケーションにより使用して、ユーザによる後続のインク入力を予測することができる。部分的なインク入力を検出したことに応答して、アプリケーションは、部分的なインク入力を、履歴データ内のインク入力とマッチングすることができる。１つ以上の合致するインク入力の提案をユーザに提供することができる。あるいは、アプリケーションは、合致するインク入力により、部分的なインク入力を自動で完了させてもよい。更に別の代替的な実施形態では、アプリケーションは、部分的なインク入力を、合致したインク入力に基づいて変換して、関連するテキスト注釈を提供することができる。

図１〜図４の例示のシナリオ及びスキーマは、具体的なコンポーネント、データタイプ及び構成とともに示されている。実施形態は、これらの例示の構成に係るシステムに限定されない。手書きインクをテキスト注釈に変換することは、アプリケーション及びユーザインタフェース内でより少ないコンポーネント又は追加のコンポーネントを用いる構成で実装され得る。さらに、図１〜図４に示される例示のスキーマ及びコンポーネントとそのサブコンポーネントは、本明細書で説明される原理を使用する他の値を用いる同様の手法で実装されてもよい。

図５は、実施形態に係るシステムが実装され得るネットワーク環境である。ローカル及びリモートのリソースが、ホストサービスのように、１つ以上のサーバ５１４又は単一のサーバ（例えばウェブサーバ）５１６によって提供され得る。アプリケーションは、スマートフォン５１３、タブレットデバイス５１２又はラップトップコンピュータ５１１（「クライアントデバイス」）のような個々のコンピューティングデバイス上で実行することができ、ネットワーク５１０を通してコンテンツリソースと通信することができる。

上述のように、コンピューティングデバイス上で実行されるアプリケーションは、コンテンツを提供することができ、ユーザが、コンピューティングデバイスのインタフェース上に手書きのインク入力を提供して、コンテンツと対話することを可能にする。アプリケーションは、手書きのインク入力を変換して、ドキュメント上にインク入力のテキスト注釈を提供することができる。クライアントデバイス５１１〜５１３は、前述のようにリモートサーバ（例えばサーバ５１４のうちの１つ）上で実行されるアプリケーションにアクセスすることが可能である。サーバは、直接又はデータベースサーバ５１８を通して、関連するデータをデータストア５１９から取り出し／関連するデータをデータストア５１９に格納することができる。

ネットワーク５１０は、任意のトポロジのサーバ、クライアント、インターネットサービスプロバイダ及び通信媒体を備えることができる。実施形態に係るシステムは、静的又は動的なトポロジを有することができる。ネットワーク５１０は、企業ネットワークのようなセキュアなネットワーク、無線オープンネットワークのようなセキュアでないネットワーク又はインターネットを含み得る。ネットワーク５１０は、公衆交換電話網（ＰＳＴＮ）又はセルラネットワークのような他のネットワークを介して、通信を調整することもできる。さらに、ネットワーク５１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は同様のものといった、短距離の無線ネットワークを含んでもよい。ネットワーク５１０は、本明細書で説明されるノード間の通信を提供する。限定ではなく例として、ネットワーク５１０は、音響、ＲＦ、赤外線及び他の無線媒体といった無線媒体を含み得る。

コンピューティングデバイス、アプリケーション、データソース及びデータ分散システムの多くの他の構成を用いて、手書きのインク入力をテキスト注釈に変換することができる。さらに、図５で説明されるネットワーク環境は、単に例示の目的である。実施形態は、例示のアプリケーション、モジュール又はプロセスに限定されない。

図６及び関連する説明は、実施形態が実装され得る適切なコンピューティング環境の簡潔で一般的な説明を提供するように意図される。図６に関連して、コンピューティングデバイス６００といった、実施形態に係るアプリケーションのための例示のコンピューティング動作環境のブロック図が図示されている。基本的な構成では、コンピューティングデバイス６００は、少なくとも１つの処理ユニット６０２及びシステムメモリ６０４を含み得る。コンピューティングデバイス６００は、プログラムを実行する際に協働する複数の処理ユニットも含むことができる。コンピューティングデバイスの正確な構成及びタイプに応じて、システムメモリ６０４は、（ＲＡＭのような）揮発性、（ＲＯＭ、フラッシュメモリ等のような）不揮発性又はこれらの２つの何らかの組合せとすることができる。システムメモリ６０４は典型的に、ワシントン州のレッドモンドのマイクロソフト社によるWINDOWS（登録商標）及びWINDOWS（登録商標） PHONEのようなプラットフォームの動作を制御するのに適したオペレーティングシステム６０５を含む。システムメモリ６０４は、プログラムモジュール６０６、インク変換アプリケーション６２２、インク処理モジュール６２４及び注釈モジュール６２６といった、１つ以上のソフトウェアアプリケーションも含むことができる。

インク変換アプリケーション６２２は、コンピューティングデバイスのユーザインタフェース上に表示されるコンテンツを提供及び編集する、手書きインク入力を提供するアクションを検出することができる。手書きインク入力は、タッチ及び／又は電子ペン若しくはスタイラスベースの入力によって提供され得る。インク処理モジュール６２４は、インク入力を検出し、手書き分析を実行して、記号及び形状からテキストを区別することができる。注釈モジュール６２６は更に、手書きインク入力を処理し、インク入力のコンテキストに基づいて、インク入力をテキスト注釈に変換することができる。テキスト注釈は、アプリケーション６２２によって注釈ビュー内のドキュメント上に表示され得る。この基本的構成は、図６では、破線６０８内のこれらのコンポーネントにより図示されている。

コンピューティングデバイス６００は、追加の特徴又は機能を有することがある。例えばコンピューティングデバイス６００は、例えば磁気ディスク、光学ディスク又はテープといった、追加のデータストレージデバイス（取外し可能及び／又は取外し不可能）も含むことがある。そのような追加のストレージは、図６では、取外し可能ストレージ６０９及び取外し不可能ストレージ６１０によって図示されている。コンピュータ読取可能記憶媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュール又は他のデータといった、情報のストレージのための任意の方法又は技術で実装される揮発性及び不揮発性、取外し可能及び取外し不可能な媒体を含み得る。コンピュータ読取可能記憶媒体は、コンピュータ読取可能メモリデバイスである。システムメモリ６０４、取外し可能ストレージ６０９及び取外し不可能ストレージ６１０は全て、コンピュータ読取可能記憶媒体の例である。コンピュータ読取可能媒体には、これらに限られないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ他の磁気ストレージデバイス、あるいは所望の情報を格納するのに使用することができ、かつコンピューティングデバイス６００によってアクセス可能な任意の他のデバイスを含む。いずれかのそのようなコンピュータ読取可能記憶媒体は、コンピューティングデバイス６００の一部とすることができる。コンピューティングデバイス６００は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス及び同等な入力デバイスといった、入力デバイス６１２も有することができる。ディスプレイ、スピーカ、プリンタ及び他のタイプの出力デバイスといった、出力デバイス６１４も含まれ得る。これらのデバイスは当技術分野では周知であるので、ここでは長く説明する必要はない。

コンピューティングデバイス６００は、該デバイスが、例えば分散コンピューティング環境内の無線ネットワーク、衛星リンク、セルラリンク及び同等の機構を介して、他のデバイス６１８と通信することを可能にする通信接続部６１６も含むことができる。他のデバイス６１８は、通信アプリケーション、ストレージサーバ及び同等のデバイスを実行するコンピュータデバイスを含み得る。通信接続部６１６は通信媒体の一例である。通信媒体は、ここでは、コンピュータ読取可能命令、データ構造、プログラムモジュール又は搬送波や他の伝送機構のような変調データ信号内の他のデータを含むことができ、任意の情報伝達媒体を含む。「変調データ信号」という用語は、情報を信号内に符号化するような方法で設定又は変更されたその特性の１つ以上を有する信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークや直接有線接続といった有線媒体と、音響、ＲＦ、赤外線及び他の無線媒体といった無線媒体を含む。

例示の実施形態は方法も含む。これらの方法は、本明細書で説明される構造を含め、任意の数の方法で実装され得る。そのような方法の１つは、本明細書で説明されるタイプのデバイスの機械動作によるものである。

別のオプションの方法は、何らかのものを実行する１以上の人間のオペレータとともに実行される方法の個々の動作の１つ以上のためのものである。これらの人間のオペレータは、互いに同じ場所にいる必要はないが、それぞれプログラムの一部を実行するマシンを有すればよい。

図７は、諸実施形態に従って、電子リーダにおいてコンテンツに注釈を付加する処理の論理フロー図を示している。処理７００は、一部の例ではコンテンツ提供アプリケーションによって実装され得る。

処理７００は、動作７１０で始まり、動作７１０において、アプリケーションは、コンピューティングデバイス上に表示されるコンテンツと対話するよう、インク入力を提供するアクションを検出することができる。インク入力は、ジェスチャ、タッチ、ペン、マウス又は同様の入力能力を有するコンピューティングデバイスによって検出され得る。手書きインク入力は、コメントの挿入、テキストの挿入と削除及び元のコンテンツへのマークアップを含み得る。動作７２０において、コメントペインを、コンテンツに隣接して表示し、ユーザが手書きインクコメントを提供するのを可能にする。動作７３０において、アプリケーションは、受け取ったインク入力を処理して、テキストを形状及び記号から区別することができる。コメント、テキスト及びアクションも区別することができる。動作７４０において、処理されたインク入力がテキスト注釈に変換され得る。テキスト注釈には、コメント、挿入及び削除されたコンテンツ並びにコンテンツに対する変更が含まれ得る。テキスト注釈は、コンテンツの関連する部分に固定され得る。動作７５０において、変換されたテキスト注釈が注釈ビューに表示され得る。注釈ビューでは、変換されたテキスト注釈をドキュメントに統合して、ユーザのマークアップ及び編集を組み込むことができる。

一部の実施形態は、通信モジュール、メモリ及びプロセッサを含むコンピューティングデバイスで実装されることがあり、この場合、プロセッサは、メモリに格納される命令と協働して、上述の方法又は同等のものを実行する。他の実施形態は、上述の又は同等のような方法を実行するために格納される命令を有するコンピュータ読取可能記憶媒体として実装され得る。

処理７００に含まれる動作は、例示の目的である。諸実施形態に従って手書きインク入力をテキスト注釈に変換することは、より少ない又は追加のステップの同様の処理によって、並びに本明細書で説明される議論を使用する異なる順序の動作で実装され得る。

上記の詳述、例示及びデータは、実施形態の構成の製造及び使用の完全な説明を提供する。本主題は、構造的特徴及び／又は方法的動作に特有の言葉で説明されているが、理解されるように、添付の特許請求の範囲において定義される主題は、必ずしも上述の具体的特徴又は動作に限定されない。むしろ、上述の具体的な特徴及び動作は、請求項及び実施形態を実装する例示の形式として開示される。

Claims (10)

1. 手書きインク入力をテキスト表現に変換するためにコンピューティングデバイスにおいて実行される方法であって：
   前記コンピューティングデバイス上に表示されるドキュメント内のコンテンツに対してインク入力を提供するアクションを検出するステップと、
   前記インク入力のコンテキストを分析するステップと、
   前記インク入力をテキスト注釈に変換するステップと、
   前記アクションの意図が曖昧であるという判断に応答して、前記インク入力の前記コンテキストに基づいて、前記ドキュメント内において前記変換されたテキスト注釈を配置すべき位置を推論して提案するステップと、
   前記テキスト注釈の前記提案された位置に対する変更アクションと受け入れアクションの一方を検出するステップと、
   前記コンピューティングデバイスのユーザインタフェース上の前記ドキュメントの注釈ビュー内に前記テキスト注釈を表示するステップと、
   を含む、方法。
2. 前記インク入力に関連付けられる前記コンテンツの部分を決定するステップと、
   前記テキスト注釈を、前記インク入力に関連する前記コンテンツの前記部分に固定するステップと、
   を更に含む、請求項１に記載の方法。
3. 前記インク入力に関連付けられる前記コンテンツの前記部分を決定するステップは、
   前記コンテンツの前記部分を前記インク入力に関連付けるという指示を検出するステップを更に含み、該指示は、丸、線及び前記インク入力を前記コンテンツの前記部分に接続する矢印のうちの１つ以上を含む、
   請求項２に記載の方法。
4. 前記コンピューティングデバイスの前記ユーザインタフェース上の前記コンテンツに隣接してコメントペインを表示するステップと、
   前記コメントペイン内に提供される前記インク入力を検出するステップと、
   を更に含む、請求項１に記載の方法。
5. 前記インク入力を処理して、コメント、前記コンテンツへの挿入が意図されるテキスト及び前記コンテンツに対して実行するよう意図される別のアクションの命令のうちの１つ以上から、テキスト、形状及び記号のうちの１つ以上を区別するステップ
   を更に含む、請求項１に記載の方法。
6. 前記インク入力の前記テキスト注釈への変換をアクティブ化するボタンを提供するステップと、
   ユーザによる前記ボタンの選択の検出に応答して、前記インク入力を前記テキスト注釈に変更するステップと、
   を更に含む、請求項１に記載の方法。
7. 手書きインク入力をテキスト表現に変換するためのコンピューティングデバイスであって：
   命令を格納するように構成されるメモリと、
   前記メモリに結合される処理ユニットと、
   を備え、前記処理ユニットは、前記メモリ内に格納される命令とともにアプリケーションを実行し、前記アプリケーションは、
   当該コンピューティングデバイス上に表示されるドキュメント内のコンテンツに対するインク入力を提供するアクションを検出し、
   前記インク入力のコンテキストを分析し、
   前記インク入力をテキスト注釈に変換し、
   前記アクションの意図が曖昧であるという判断に応答して、前記インク入力の前記コンテキストに基づいて、前記ドキュメント内において前記変換されたテキスト注釈を配置すべき位置を推論して提案し、
   前記テキスト注釈の前記提案された位置に対する変更アクションと受け入れアクションの一方を検出し、
   当該コンピューティングデバイスのユーザインタフェース上の前記ドキュメントの注釈ビュー内に前記テキスト注釈を表示する
   ように構成される、コンピューティングデバイス。
8. 前記コンテンツのマークアップバージョンが、当該コンピューティングデバイスの前記ユーザインタフェース上の前記コンテンツの前記注釈ビューに隣接して表示される、
   請求項７に記載のコンピューティングデバイス。
9. 手書きインク入力をテキスト表現に変換するための命令を有するコンピュータプログラムであって、前記命令は：
   コンピューティングデバイス上に表示されるドキュメント内のコンテンツに対するインク入力を提供するアクションを検出するための命令と、
   前記インク入力のコンテキストを分析するための命令と、
   前記インク入力をテキスト注釈に変換するための命令と、
   前記インク入力に関連付けられる前記コンテンツの部分を決定するための命令と、
   前記アクションの意図が曖昧であるという判断に応答して、前記インク入力の前記コンテキストに基づいて、前記ドキュメント内において前記変換されたテキスト注釈を配置すべき位置を推論して提案するための命令と、
   前記変換されたテキスト注釈の前記提案された配置に対する変更アクションと受け入れアクションの一方を検出するための命令と、
   前記コンピューティングデバイスのユーザインタフェース上の前記ドキュメントの注釈ビュー内に、前記インク入力に関連付けられる前記コンテンツの前記部分に固定される前記テキスト注釈を表示するための命令と、
   含む、コンピュータプログラム。
10. 前記の変換の後に、前記テキスト注釈と前記インク入力との間の切り替えを可能にするよう前記インク入力を保持するための命令
    を更に備える、請求項９に記載のコンピュータプログラム。

Images