JP5442727B2 - ユーザーインターフェイス表示上での教示動画の表示 - Google Patents

ユーザーインターフェイス表示上での教示動画の表示 Download PDF

Info

Publication number
JP5442727B2
JP5442727B2 JP2011514899A JP2011514899A JP5442727B2 JP 5442727 B2 JP5442727 B2 JP 5442727B2 JP 2011514899 A JP2011514899 A JP 2011514899A JP 2011514899 A JP2011514899 A JP 2011514899A JP 5442727 B2 JP5442727 B2 JP 5442727B2
Authority
JP
Japan
Prior art keywords
teaching
content
user
video
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011514899A
Other languages
English (en)
Other versions
JP2011525665A (ja
Inventor
マルキエウィクズ，ジャン−クリスティアン
シルヴィス，ジェイソン
ガーサイド，エイドリアン
キーリー，レロイ・ビー
クレメント，マニュエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2011525665A publication Critical patent/JP2011525665A/ja
Application granted granted Critical
Publication of JP5442727B2 publication Critical patent/JP5442727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Description

本願の実施例は、例えば、ユーザーインターフェイス表示上での教示動画の表示に関する。
[0001]現在、オペレーティングシステムは、表示装置（例えばコンピューターのモニター、携帯機器の画面等）に提示されるＧＵＩ内に学習ツールを浮上させることによってユーザー支援の提供を助ける各種ユーティリティを提供している。しばしば、学習ツール（例えばオンラインサポート、ヘルプの一覧、投稿されたＦＡＱ、公開ライブラリ等）へのアクセスは、複雑なヘルプメニューのパスのために見つけにくい。あるいは、そうした学習ツールの存在が、ツールの内容で助けられる可能性のあるユーザーの目につきにくいか、あるいは全く知られていない。
[0002]ますます、コンピューティングデバイス内で動作をトリガーするためにジェスチャーが利用されるようになっている。そのようなジェスチャーは、ユーザーにより、タッチ画面装置で行われることができる。詳細には、ジェスチャーを行うことには、タッチ画面装置に適用されて解釈のために手書き認識ソフトウェアに送られる、自然な対話型の動きが伴う。そうした自然で対話型の動きは、一般には簡単に行うことができるが、多くのユーザーにとって新しいものであり、経験のあるユーザーにとっては必ずしも直感的なものではない。そのため、どのようなジェスチャーが提供されているのかを伝え、ジェスチャーを行う適切な方法を教えるための学習ツールが必須となる。しかし、上記のように、そのような学習ツールは、すぐに利用することができず、一般には発見するのが難しい。したがって、ユーザー入力を提供する代替形態としてのジェスチャーの使用は、従来の手段を使用してユーザー入力を提供する方が効率的である多くのユーザーに拒否される。
[0003]そのため、どのジェスチャーが現在提供されているかと、提供されているジェスチャーの正しいやり方を視覚的にユーザーに教える動画のジェスチャーをユーザーインターフェイス（ＵＩ）表示上に浮上させる直感的な技術を用いれば、コンピューティングデバイスと対話する主要な方法としてジェスチャーを利用する際のユーザー体験が向上すると思われる。
[0004]この概要は、以下の「発明を実施するための形態」でさらに説明する概念の一部を簡略化した形態で紹介するために提供される。この概要は、クレームに記載される主題の主要な特徴または必須の特徴を明らかにするものでも、クレームに記載される主題の範囲を決定する際の助けとして使用すべきものでもない。
[0005]本発明の実施形態は、手書きパッドツール内のコンテンツを操作する際にＵＩ表示に教示動画を浮上させるための、コンピューター実行可能命令が実施されたコンピューター可読媒体、コンピューターシステム、およびコンピューター化された方法を提供する。詳細には、手動ジェスチャーを実演する教示動画を開始する直感的な技術が提供され、手動ジェスチャーが正しく行われると、手書きパッドツールで動作が呼び出される。
[0006]初めに、コンピューティングデバイスにおけるコンピューティング環境の状況が監視される。各実施形態では、状況またはコンピューティング環境の状態を監視することは、手書きパッドツールの現在の状態を判定すること、手書きパッドツールによって生成されたコンテンツ入力領域内のカーソルツールのフォーカスを識別すること、および、現在の状態およびカーソルツールのフォーカスに基づいて、どの動作が呼び出し可能であるかを確定すること、の１つまたは複数を伴う。状況、具体的には呼び出しが可能な動作に基づいて、アクティブ状態に昇格する教示動画が識別される。すなわち、アクティブ状態に昇格された各教示動画は、現在呼び出しが可能な状態であると確定された動作に対応付けられてもいる。アクティブ状態にあるそれらの教示動画の表現がＵＩ表示に（例えばトグルボタンや、ツールバーまたは別個のジェスチャーパネル上のアイコンとして）提示されることができ、それにより、どのジェスチャーを行う、および／または実演することが可能であるかをユーザーに知らせる。
[0007]タッチ画面インターフェイス上に浮上させた手書きパッドツールと関連して、ユーザーによって開始された入力がタッチ画面インターフェイスに適用されて、オペレーティングシステムにアクティブ状態の教示動画の１つまたは複数を起動することができる。教示動画を起動するためのユーザーによって開始された適切な入力は、タッチ画面インターフェイス上で教示動画の表現を指示すること（例えばタッチ画面インターフェイス上のアイコンまたはトグルボタンが浮上している位置に接触する）、または、教示動画に対応付けられた手動ジェスチャーに対応するコマンドを実行することを含むことができる。教示動画が起動される旨の合図がタッチ画面インターフェイスに表示されることができる。一例では、表示することは、手書きパッドツールによって生成されたコンテンツ入力領域を覆わない別個の表示領域内で、指示された教示動画を再生することを含む。教示動画の再生は、通例、例示的なテキストまたは対象とするテキストに対して手動ジェスチャーを正しく行うモデルの手／ペンの映像を表示することを含む。映像を見ると、ユーザーは、その教示動画を真似ることにより、実演された手動ジェスチャーを行うことを試みることができる。手動ジェスチャーが正しく行われ、タッチ画面インターフェイスで受け取られると、受け取られた手動ジェスチャーにどの動作が対応付けられているかに基づいて、動作（例えば編集動作や管理動作）が手書きパッドツールで呼び出される。各実施形態では、管理動作は、単語の挿入、ファイルを開く、またはツールを閉じる、のコマンドの少なくとも１つを含む。一方、編集動作は、単語の削除、単語の結合、単語の分割、もしくは単語の修正、またはスペースの追加、のコマンドの少なくとも１つを含む。
[0008]以下で添付図面を参照して本発明を詳細に説明する。
[0009]本発明の実施形態を実施する際に使用するのに適した例示的コンピューティング環境のブロック図である。 [0010]本発明の一実施形態による、本発明の実施形態を実施する際に使用するのに適した例示的システムアーキテクチャーの概略図である。 [0011]本発明の一実施形態による、アクティブ状態にある教示動画の表現に関連付けられた、浮上させた手書きパッドツールを示したユーザーインターフェイス表示の模式図である。 [0012]本発明の実施形態による、ユーザーによって開始された適切な入力を認識すると教示動画のフレームを表示する段階を示した、進行していくＵＩ表示の図である。 [0012]本発明の実施形態による、ユーザーによって開始された適切な入力を認識すると教示動画のフレームを表示する段階を示した、進行していくＵＩ表示の図である。 [0012]本発明の実施形態による、ユーザーによって開始された適切な入力を認識すると教示動画のフレームを表示する段階を示した、進行していくＵＩ表示の図である。 [0012]本発明の実施形態による、ユーザーによって開始された適切な入力を認識すると教示動画のフレームを表示する段階を示した、進行していくＵＩ表示の図である。 [0013]手動ジェスチャーを実演する教示動画を開始するプロセスを示す動作流れ図であって、プロセスは、本発明の一実施形態による適切な例示的システムアーキテクチャーで実施される、図である。 [0013]手動ジェスチャーを実演する教示動画を開始するプロセスを示す動作流れ図であって、プロセスは、本発明の一実施形態による適切な例示的システムアーキテクチャーで実施される、図である。
[0014]本明細書では、法的要件を満たすように具体性をもって主題が説明される。ただし、説明自体は本特許の範囲を限定する意図はない。むしろ発明者らは、クレームに記載される主題が、異なるステップ、または本文書に記載されるステップと同様のステップの組み合わせを含むように、他の現在の技術または将来の技術と関連して、他の方式で実施されることも企図している。さらに、本明細書では、用語「ステップ」および／または「ブロック」が、用いられる方法の種々の要素を意味するものとして使用され得るが、これらの用語は、個々のステップの順序が明示的に記載されない限り、かつ記載される場合を除いて、本明細書に開示される各種ステップ間の特定の順序を示唆するものとは解釈すべきでない。
[0015]本発明の実施形態は、どのような手動ジェスチャーが実行のために提供されているかを示す教示動画の表現を浮上させ、ユーザーによって開始された適切な動作を受け取るとその教示動画を自動的に起動することにより、手書きパッドツールで動作を呼び出す正しく実行された手動ジェスチャーを実演する、コンピューター実行可能命令が実施されたコンピューター可読媒体、コンピューターシステム、および、コンピューター化された方法を提供する。
[0016]したがって、一態様では、本発明の実施形態は、実行されると手動ジェスチャーを実演する教示動画を開始する方法を行うコンピューター実行可能命令が実施された、１つまたは複数のコンピューター可読媒体を提供する。初めに、この方法は、コンピューティングデバイスのコンピューティング環境の状況を監視するステップを含む。その状況に基づいて、アクティブな状態に昇格する教示動画が判定される。それと同時に、またはその後に、コンピューティングデバイスのタッチ画面インターフェイスに浮上させた手書きパッドツールに関連して、ユーザーによって開始された入力が受け取られることができる。そのユーザーによって開始された入力に基づいて、アクティブ状態にある教示動画の１つまたは複数が起動される。実施形態では、１つまたは複数の教示動画を起動することを知らせる指示が、タッチ画面インターフェイスに表示される。
[0017]別の態様では、アクティブ状態に昇格する教示動画を判定するためのコンピューター化された方法を示す。各実施形態では、この方法は、手書きパッドツールを調べて、タッチ画面インターフェイスに関連付けられたコンピューティング環境の状況を判定するステップを含む。一般に、判定するステップは、これらに限定されないが、手書きパッドツールによって生成されたコンテンツ入力領域内にテキストが提供されているかどうかに基づいて、手書きパッドツールの現在の状態を認識するステップと、テキストの一部分が指示されているかどうかに基づいて、コンテンツ入力領域内にカーソルツールのフォーカスが存在するかどうかを確定するステップと、現在の状態およびカーソルのフォーカスに基づいて、どの動作が手書きパッドツールで呼び出すことが可能かを確定するステップと、を伴う。コンピューティング環境の状況が利用されて、アクティブ状態に昇格する教示動画を識別することができる。通例、識別することは、呼び出すことが可能な動作に関連付けられた教示動画を選択することを特に含む。識別された教示動画は、アクティブ状態にあるものとして記憶されることができる。さらなる実施形態では、この方法は、手動ジェスチャーに対応する、ユーザーによって開始されたコマンドを受け取るステップと、どの教示動画がその手動ジェスチャーに対応付けられたかを識別するステップと、識別された教示ジェスチャーを自動的に起動するステップとを含むことができる。例示的実施形態では、起動された教示動画は、ユーザーによって開始されたコマンドに対応付けられた動作の呼び出しと同時に、手動ジェスチャーを行うようにユーザーを促す。
[0018]さらに別の態様では、本発明の実施形態は、教示動画を起動するためのコンピューター実行可能命令を備える１つまたは複数のコンピューター記憶媒体に基づいて実施されたコンピューターシステムに関する。一般に、このシステムは、これらに限定しないが、監視コンポーネント、選択コンポーネント、入力コンポーネント、起動コンポーネント、およびレンダリングコンポーネントを備える。監視コンポーネントは、コンピューティングデバイスのコンピューティング環境の状況を監視する。一例では、監視することは、上記のように、手書きパッドツールの現在の状態を取得することを含む。選択コンポーネントは、状況に基づいて、アクティブ状態に昇格すべき教示動画を判定する。入力コンポーネントは、コンピューティングデバイスのタッチ画面インターフェイス上に浮上させた手書きパッドツールとの関連で、ユーザーによって開始された入力を受け取るように構成される。起動コンポーネントは、ユーザーによって開始された入力に基づいて、アクティブ状態にある教示動画の１つまたは複数の再生を開始する。レンダリングコンポーネントは、タッチ画面インターフェイスに浮上させた表示領域内に、再生される教示動画を表示する。各実施形態では、教示動画は、手書きパッドツールに入力されたコンテンツを編集するために使用される手動ジェスチャーの映像による指導を提供する。
[0019]一般に、本発明の実施形態は、手書きパッドツールと関連してユーザーによって開始された入力を受け取ると教示動画を起動することに関する。本明細書で使用される表現「手書きパッドツール」は、限定的な意味ではなく、動作中の任意の時にタッチ画面インターフェイスを介して入力を受け取ることが可能な任意のアプリケーションを包含することができる。手書きパッドツールは、例えば、タッチ画面インターフェイスに適用された手動ジェスチャー（例えば手書きジェスチャー、編集ジェスチャー等）を受け取り、ある形態の手書き認識ソフトウェアを利用してその手動ジェスチャーを解釈するタブレット型パーソナルコンピューター（ＰＣ）入力パネル（ＴＩＰ）であり得る。そのため、ＴＩＰは、部分的には、より高い柔軟性と自然な手書き体験を提供する、インクからテキストへの変換手順を実施するように設計される。他の例では、手書きパッドツールは、手書きパッド、文字パッド、オンスクリーンジャーナルまたはホワイトボード、または、物理的物体（例えば指先、スタイラス、ペン）で接触されると入力を検出するタッチ画面装置上に入力領域を表示する他のツールを含むことができる。さらに、手書きパッドツールは、従来の入力装置（例えばキーボードや音声認識）と対照的に、ペンによるテキスト（例えばＡＳＣＩＩテキスト）の入力と、ペンによって適用されたジェスチャーを動作に変換することを可能にする手書き認識ソフトウェアを含むことができる。
[0020]動作への変換の態様は、どの動作が現在始動できる状態にある、または始動が可能になっているかを識別することに関する。一般に、本明細書で使用される用語「動作」は、手書きパッドツールで処理されたコマンドの結果を意味する。例えば、コマンドは、タッチ画面でユーザーによって開始された入力によって生成されることができる。用いられるユーザーによって開始される入力（例えば認識されたジェスチャー、タップ選択等）に基づいて、オペレーティングシステムおよび／または手書きパッドツールは、特定の動作を呼び出す対応するコマンドを生成することができる。例として、タッチ画面装置でペンを用いてユーザーによって開始されたドラッグの動きが手書きジェスチャーとして認識されることができ、ユーザーは、手書きパッドツールによって生成されたコンテンツ入力領域にコンテンツを追加しようとしている。この場合は、手書きジェスチャーに対応付けられた下書き動作が呼び出され、それにより、ユーザーによって開始されたドラッグの動きがテキストに変換され、そのテキストがコンテンツ入力領域に提示される。
[0021]別の例では、ユーザーによって開始された特定のドラッグの動きが、編集動作または管理動作に対応付けられた手動ジェスチャーとして認識されることができる。典型的には、編集動作は、呼び出されると、コンテンツ入力領域に入力されたコンテンツに対して各種操作の１つを行う。各実施形態では、編集動作は、単語の削除、単語の結合、単語の分割、または単語の修正、またはスペースの追加、のコマンドの少なくとも１つを含むことができる。一般に、管理動作は、呼び出されると、手書きパッドツールの機能を管理する。実施形態では、管理動作は、単語を挿入する、ファイルを開く、またはツールを閉じる、のコマンドの少なくとも１つを含むことができる。
[0022]対応する動作を生成するいくつかの異なるジェスチャーについて上記で説明したが、タッチ画面インターフェイスに適用される各種の他のジェスチャーが本明細書で企図され、それらのジェスチャーは複数の異なる動作カテゴリに対応付けられ、また、本発明の実施形態はここに示し、説明するジェスチャーおよび動作に限定されないことを当業者に理解および認識されたい。例えば、ユーザーによって開始されたタップ式の入力が、トグルボタンを押す作動動作に対応付けられた手動ジェスチャーとして認識されることができる。
[0023]各実施形態では、タッチ画面インターフェイスで適用された、ユーザーによって開始されたドラッグ操作からジェスチャーが認識されることができる。タッチ画面インターフェイスは、タッチ画面ディスプレイ、静電容量方式のタッチ画面、または関連分野で知られる他の触覚入力装置からなることができる。本明細書で使用される表現「ドラッグの動き」は、限定的な意味ではなく、持続した動き、ほぼ連続した入力、または表面上のドラッグの接触を再現する反復的な一続きの入力を包含することができる。一例では、ドラッグの動きは、手書きパッドツールによって浮上させたコンテンツ入力領域内、または手書きパッドツールに関連付けられたツールバーやジェスチャーパネル上での、物理的物体（例えばスタイラスや指の一部）とタッチ画面インターフェイスとの途切れのない接触を含むことができる。タッチ画面インターフェイスに適用されるドラッグの動きとの関係で説明するが、本発明の実施形態は、表現「手動ジェスチャー」に包含されるどのような物理的なジェスチャー方式をも企図する。例として、タッチ画面インターフェイスから少し離れた位置で加速度感知型スタイラスを振ることも、手動ジェスチャーを構成することができる。
[0024]本発明の実施形態の概要および本発明で用いられるウィンドウ状態の一部を簡単に説明したので、以下で本発明を実施するのに適した例示的動作環境を説明する。
[0025]図面全般、特に図１を初めに参照すると、本発明の実施形態を実施するための例示的動作環境が示され、全体がコンピューティングデバイス１００として示される。コンピューティングデバイス１００は、適切なコンピューティング環境の一例に過ぎず、本発明の使用または機能の範囲についての限定を示唆するものではない。また、コンピューティングデバイス１００は、図示される構成要素の１つまたは組み合わせに関連する依存性や必要性を有するものとも解釈すべきでない。一実施形態では、コンピューティングデバイス１００は、従来のコンピューター（例えばパーソナルコンピューターやラップトップ）である。
[0026]一実施形態では、本発明は、コンピューター、または携帯データ端末や他のハンドヘルドデバイス等の他のマシンによって実行される、プログラムコンポーネント等のコンピューター実行可能命令を含むコンピューターコードまたはマシン使用可能命令の一般的な文脈で説明されることができる。一般に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むプログラムコンポーネントは、特定のタスクを行うコード、または特定の抽象データ型を実装するコードを意味する。本発明の実施形態は、ハンドヘルドデバイス、消費者家電製品、汎用コンピューター、特殊コンピューティングデバイス等を含む各種のシステム構成で実施されてよい。本発明の実施形態は、通信ネットワークを通じて接続された遠隔処理装置によってタスクが行われる分散コンピューティング環境で実施されることもできる。
[0027]したがって、コンピューティングデバイス１００との関連で上述した構成要素は、通信ネットワークと相互接続されたモバイルデバイスに含まれる場合もある。本明細書で記載されるモバイルデバイスとは、任意の種類の携帯電話、ハンドヘルドデバイス、携帯情報端末（ＰＤＡ）、ＢｌａｃｋＢｅｒｒｙ（登録商標）、スマートフォン、デジタルカメラ、またはワイヤレス通信が可能な他のモバイルデバイス（ラップトップを除く）を指す。当業者は、モバイルデバイスも、各種機能を行うためのプロセッサーおよびコンピューター記憶媒体を備えることを理解されよう。本明細書に記載される実施形態では、コンピューティングデバイスとモバイルデバイスの両方に言及する。各実施形態では、コンピューティングデバイスは、単に、モバイルデバイス内蔵のカメラで画像が取り込まれるアプリケーションを実行するデバイスを言う。
[0028]引き続き図１を参照すると、コンピューティングデバイス１００は、バス１１０を備え、バス１１０は、メモリー１１２、１つまたは複数のプロセッサー１１４、１つまたは複数のプレゼンテーションコンポーネント１１６、入出力（Ｉ／Ｏ）ポート１１８、Ｉ／Ｏコンポーネント１２０、および例示的な電源１２２を直接または間接的に結合する。バス１１０は、１つまたは複数のバス（アドレスバス、データバス、またはそれらの組み合わせ等）であってよいものを表す。図１の各種ブロックは分かりやすいように線で図示しているが、実際には、各種構成要素を図で表すことはそれほど明瞭ではなく、比喩的に言えば、それらの線はより正確には曖昧で不明瞭である。例えば、表示装置などのプレゼンテーションコンポーネントをＩ／Ｏコンポーネントと見なすこともできる。また、プロセッサーはメモリーを有する。当業者には、それが本分野の性質であり、上述のように、図１の図は、本発明の１つまたは複数の実施形態との関連で使用されることができる例示的コンピューティングデバイスを例示するに過ぎないことが理解されよう。「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルドデバイス」等のカテゴリはすべて、図１および「コンピューティングデバイス」の参照の範囲内にあることが企図されるので区別をしない。
[0029]コンピューティングデバイス１００は、通例、各種のコンピューター可読媒体を備える。限定ではなく例として、コンピューター可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、または他のメモリー技術、ＣＤ−ＲＯＭ、ＤＶＤ、または他の光学またはホログラフィ媒体、磁気カセット、磁気テープ、磁気ディスク記憶、または他の磁気記憶装置、または本明細書に記載される実施形態に関連するデータおよび／または命令を記憶するように構成可能な同様の有形媒体を含むことができる。
[0030]メモリー１１２は、揮発性メモリーおよび／または不揮発性メモリーの形態のコンピューター記憶媒体を含む。メモリーは、取り外し可能、取り外し不能、またはそれらの組み合わせであってよい。例示的なハードウェア装置は、固体メモリー、ハードドライブ、キャッシュ、光ディスクドライブ等を含む。コンピューティングデバイス１００は、メモリー１１２やＩ／Ｏコンポーネント１２０等の各種エンティティからデータを読み出す１つまたは複数のプロセッサーを備える。プレゼンテーションコンポーネント１１６は、ユーザーまたは他の装置に対してデータ指示を提示する。例示的なプレゼンテーションコンポーネントは、表示装置、スピーカー、印刷コンポーネント、振動コンポーネント等を含む。
[0031]Ｉ／Ｏポート１１８は、コンピューティングデバイス１１０を、Ｉ／Ｏコンポーネント１２０を含む他の装置に論理的に結合することを可能にし、それらの装置の一部はコンピューティングデバイス１００に内蔵されることができる。例示的なコンポーネントには、マイクロフォン、ジョイスティック、ゲームパッド、衛星受信アンテナ、スキャナー、プリンター、ワイヤレスデバイス等が含まれる。
[0032]次いで図２を参照すると、本発明の一実施形態による、本発明の実施形態を実施する際に使用するのに適した例示的なシステムアーキテクチャー２００の概略図が示される。当業者には、図２に示す例示的システムアーキテクチャー２００は適切な１つのコンピューティング環境の例に過ぎず、本発明の使用または機能の範囲についての限定を示唆するものではないことが理解および認識されよう。また、例示的システムアーキテクチャー２００は、図２に示される構成要素の１つまたは組み合わせに関する依存性や必要性を有するものとも解釈すべきでない。
[0033]さらに、例示的システムアーキテクチャー２００を支援するオペレーティングシステム２２０内のロジックは、コンピューティングデバイス２１５に合わせて内部処理コンポーネント２２５で実施されても、リモートサーバー（図示せず）等の分散コンピューティング環境から提供されても、または、それらの組み合わせであってもよい。分散コンピューティング環境で実施される本発明の実施形態では、ロジックの通信は、適切な接続を通じてつながれる。それらの接続は有線であっても無線であってもよい。本発明の範囲内にある特定の有線実施形態の例には、ＵＳＢ接続およびケーブル接続が含まれる。本発明の範囲内にある特定の無線実施形態の例には、近距離ワイヤレスネットワークおよび無線周波技術が含まれる。「近距離ワイヤレスネットワーク」という呼称は、限定的な意味ではなく、少なくとも、ネゴシエート・ワイヤレス・ペリフェラル（ＮＷＰ）デバイス、短距離ワイヤレス・エリア・インターフェース・ネットワーク（例えばワイヤレス・パーソナル・エリア・ネットワーク（ｗＰＡＮ）、ワイヤレス・ローカル・エリア・ネットワーク（ｗＬＡＮ）、ワイヤレス・ワイド・エリア・ネットワーク（ｗＷＡＮ）、Ｂｌｕｅｔｏｏｔｈ（商標）等）、ワイヤレス・ピアツーピア通信（例えばＵｌｔｒａ Ｗｉｄｅｂａｎｄ）、およびデバイス間のワイヤレスデータ通信をサポートする任意のプロトコル等の技術を含むものと広く解釈すべきことを理解および認識されたい。また、本発明の分野に精通した者は、短距離ワイヤレスネットワークは、各種のデータ転送方法（例えば衛星伝送、遠隔通信ネットワーク等）によって実施されることが可能であることを認識されよう。したがって、コンピューティングデバイス２１５と、例えば処理コンポーネント２２５の一部またはすべてを収容したリモートサーバーとの間の接続の実施形態は、ここに記載される例によって限定されず、幅広い通信方法を包含することが強調される。
[0034]例示的システムアーキテクチャー２００は、部分的に処理コンポーネント２２５の動作を支援するコンピューティングデバイス２１５を含む。コンピューティングデバイス２１５が例えばタブレットＰＣである例示的実施形態では、タッチ画面インターフェイス２５０がコンピューティングデバイス２１５に動作的に接続されることができる。コンピューティングデバイス２１５は、各種のコンピューティングデバイスの形態をとることができる。単なる例として、コンピューティングデバイス２１５は、パーソナルコンピューティングデバイス（例えば図１のコンピューティングデバイス１００）、ハンドヘルドデバイス（例えば携帯情報端末）、モバイルデバイス（例えばラップトップコンピューター、携帯電話、メディアプレーヤー）、消費者家電製品、各種サーバー等であり得る。また、コンピューティングデバイスは、その間で情報を共有するように構成された２つ以上の電子機器からなることができる。
[0035]各実施形態では、上記のように、コンピューティングデバイス２１５は、タッチ画面インターフェイス２５０と、オペレーティングシステム２２０がインストールされた処理コンポーネント２２５（例えばハードウェア）とを含む。コンピューティングデバイス２１５は、タッチ画面インターフェイス２５０にＵＩ表示２５１を提示するように構成される。タッチ画面インターフェイス２５０は、処理コンポーネント２２５に動作的に結合されることができ、ユーザーへの情報の表示とユーザーからの情報の収集を行うことが可能な任意の入出力装置として構成されて（図２に示すように）も、または、物理的にプレゼンテーションコンポーネントと入力コンポーネントに分離されてもよい。各実施形態では、プレゼンテーションコンポーネントは、モニター、電子表示パネル、タッチ画面、液晶ディスプレイ（ＬＣＤ）、プラズマスクリーン、１つまたは複数の発光ダイオード（ＬＥＤ）、白熱電球、レーザー、エレクトロルミネセンス光源、ケミカルライト、フレキシブル光ワイヤー、および／または蛍光灯、または他のディスプレイ方式等の、ユーザーにコンテンツを提示するように構成された装置とすることができ、または、視覚的情報が投影される反射面を備えることもできる。例示的な一実施形態では、プレゼンテーションコンポーネントによって表示されるＵＩ表示２５１は、手書きパッドツール２９５に関連付けられたコンテンツ入力領域２３５を提示し、かつ／または、ツールバーやジェスチャーパネル（図示せず）を表示するように構成される。別の例示的実施形態では、ＵＩ表示２５１は、１つまたは複数の教示動画（図示せず）を起動する旨の指示を表示することが可能である。
[0036]入力コンポーネントは、ユーザーによって開始された入力２３０から認識されるジェスチャーに対応付けられた特定の動作を呼び出すことに特に関わる、ユーザーによって開始された入力２３０を受け付けるために提供される。例示的実施形態では、入力コンポーネントは、ＵＩ表示２５１に浮上させたコンテンツ入力領域２３５内に表示されたコンテンツ２１０を対象とするユーザーによって開始された入力２３０を受け取る。例示的な入力コンポーネントには、タッチパッド、図１のＩ／Ｏコンポーネント１２０、または、ユーザーによって開始された入力２３０を受け取り、その入力の指示を処理コンポーネント２２５に通信することが可能な他のコンポーネントが含まれる。
[0037]単なる例として、入力コンポーネントは、ユーザーによって開始された入力２３０が入力コンポーネントとの接触を開始した座標位置（例えばユーザーによって開始されたドラッグの動きの始まりの位置）、ユーザーによって開始された入力２３０が入力コンポーネントとの接触を終了した座標位置（例えばユーザーによって開始されたドラッグの動きが解除される位置）、およびそれら位置の間の中間座標位置を求めることができる。ユーザーによって開始された入力２３０を定義するこれらの座標位置にはタイムスタンプが付加されることができ、そのタイムスタンプが入力コンポーネント２６５によって利用されて、下記でより完全に説明するように、ユーザーによって開始された入力からジェスチャーを解読する。さらに、それらの座標位置が、教示動画を表すアイコンの位置と比較されて、教示動画の１つまたは複数を起動するかどうかを決定することができる。
[0038]タッチ画面インターフェイス２５０のいくつかの異なる構成を上記に記載したが、当業者には、プレゼンテーションコンポーネントと、物理的な接触または他の方法で入力を受け取る入力コンポーネントとの各種の組み合わせがタッチ画面インターフェイス２５０として使用されることができ、また、本発明の実施形態は、上記で示し、説明した例に限定されないことが理解および認識されよう。例示的実施形態では、プレゼンテーションコンポーネントと入力コンポーネントは、上記の機能を同時に行い、物理的に組み合わせられてタッチ画面インターフェイス２５０を形成する。
[0039]別の例示的実施形態では、タッチ画面インターフェイス２５０は、アクティブデジタイザーであり、通信装置がデジタイザーから特定の距離内に置かれると通信装置（例えばコンパニオンペン）に反応する（例えばコンパニオンペンがタッチ画面インターフェイス２５０の表面近くをホバーする際のペンの動きと、ペンから提供される出力を追跡する）。したがって、説明を簡潔で分かりやすくするために、以降では入力コンポーネントとプレゼンテーションコンポーネントをまとめてタッチ画面インターフェイス２５０と呼び、タッチ画面インターフェイス２５０は、表示と入力要素両方の機能を１つのユニットで提供するタッチ画面である。
[0040]オペレーティングシステム（ＯＳ）２２０は、一般に、処理コンポーネント２２５の資源の共有を管理し、その資源にアクセスするために使用されるインターフェイスをプログラマーに提供するソフトウェアを指す。動作中、オペレーティングシステム２２０は、タッチ画面インターフェイス２５０から入力データ２６０として供給される、ユーザーによって開始された入力２３０を含む可能性のあるシステムデータを解釈する。それに対して、オペレーティングシステム２２０は、コンピューティングデバイス２１５のコンピューティング環境の状況を監視する処理であって、監視は、手書きパッドツール２９５の現在の状態を取得することを伴う処理、その状況に基づいて、アクティブな状態に昇格する教示動画を決定する処理、コンピューティングデバイス２１５のタッチ画面インターフェイス２５０に浮上させた手書きパッドツール２９５に関連して適用された、ユーザーによって開始された入力２３０を検出する処理、ユーザーによって開始された入力２３０に基づいて、アクティブ状態にある教示動画の１つまたは複数を起動する処理、および、起動された教示動画をタッチ画面インターフェイス２５０で再生する処理、等の処理を特定の順序によらず実行することができる。各実施形態では、教示動画（図示せず）を再生する処理は、手書きパッドツール２９５に入力された内容を編集するために使用される、正しく実行された手動ジェスチャーの映像による指導を表示する処理を含む。
[0041]例示的実施形態では、オペレーティングシステム２２０は、処理コンポーネント２２５で実行され、手書きパッドツール２９５を含むアプリケーションの１つまたは複数の実行を支援する。他の実施形態では、オペレーティングシステム２２０および／または手書きパッドツール２９５は、一部または全体が、遠隔に位置するコンピューティングデバイス（例えば別のオペレーティングシステム、ウェブアドレスを介して位置するサーバー等）に常駐することができる。
[0042]オペレーティングシステム２２０のこのオペレーティングシステム構造は、処理コンポーネント２２５で実行されることが可能な適切な構造の一例に過ぎず、本発明の使用または機能の範囲に関して何らの限定を示唆するものではない。また、ここで例示するオペレーティングシステム２２０は、ここで説明されるような入力データ２６０の受け取りまたはタッチ画面インターフェイス２５０へのプレゼンテーションデータ２９０（例えば教示動画に関する情報）の提供の１つまたは組み合わせに関する依存性または必要性を有するものとも解釈すべきでない。さらに、手書きパッドツール２９５は、オペレーティングシステム２２０または処理コンポーネント２２５に組み込まれてもよく、性質および数において例示的であり、限定的なものと解釈すべきでない。
[0043]例示的実施形態では、オペレーティングシステム２２０は、入力コンポーネント２６５、監視コンポーネント２７０、選択コンポーネント２８０、起動コンポーネント２８５、レンダリングコンポーネント２７５、および手書きパッドツールの動作を円滑にすることにより、ユーザーによって開始された適切な入力２３０を受け取った時に教示動画を起動することを容易にする。オペレーティングシステム２７５のこの例示的なオペレーティングシステム構造は、処理コンポーネント２２５で実行されることが可能な適切な構造の一例に過ぎず、本発明の使用または機能の範囲に関する限定を示唆するものではない。また、例示されるオペレーティングシステム２２０は、例示されるコンポーネント２６５、２７０、２７５、２８０、２８５および２９５のいずれか１つまたは組み合わせに関連する依存性や必要性を有するものとも解釈すべきでない。実施形態によっては、コンポーネント２６５、２７０、２７５、２８０、２８５および２９５の１つまたは複数は、独立型のアプリケーションとして実施されることができる。他の実施形態では、コンポーネント２６５、２７０、２７５、２８０、２８５および２９５の１つまたは複数は、タッチ画面インターフェイス２５０またはコンピューティングデバイス２１５に直接組み込まれることができる。単なる例として、入力コンポーネント２６５の一部がタッチ画面インターフェイス２５０に存在してよく、それにより、物理的物体２０５によってタッチ画面インターフェイス２５０に適用された、ユーザーによって開始された入力２３０を取り込むのを助ける。当業者には、図２に示すコンポーネント２６５、２７０、２７５、２８０、２８５および２９５は、性質および数において例示的なものであり、限定的なものと解釈すべきでないことが理解されよう。
[0044]したがって、任意数のコンポーネントを用いて、本発明の実施形態の範囲内で所望の機能を実現することができる。図２の各種コンポーネントは分かりやすいように線で図示しているが、実際には、各種コンポーネント／要素を図で表すことはそれほど明瞭ではなく、比喩的に言えば、それらの線はより正確には曖昧で不明瞭である。さらに、図２の一部のコンポーネントおよび装置は、それぞれ単一のブロックとして図示するが、この図示は性質および数において例示的であり、限定的なものとは解釈すべきでない（例えば、図には１つのみのタッチ画面インターフェイス２５０が示されるが、より多くのタッチ画面インターフェイス２５０が動作的にコンピューティングデバイス２１５に結合され、それにより連携して機能してＵＩ表示２５１を提示することができる）。
[0045]初めに、監視コンポーネント２７０は、コンピューティングデバイス２１５のコンピューティング環境の状況を監視するように構成される。通例、監視は、手書きパッドツール２９５の現在の状態を取得し、カーソルツール２４５のフォーカス２５５を確認することを含む。各実施形態では、現在の状態を取得することは、手書きパッドツール２９５を調べて、手書きパッドツール２９５によって生成されたコンテンツ入力領域２３５内にコンテンツ２１０（例えばテキスト、英数文字、画像等）が提供されているかどうかに基づいて、手書きパッドツール２９５の現在の状態を認識することを伴う。各実施形態では、カーソルツール２４５のフォーカス２５５を確認することは、コンテンツ２１０の一部分が指示されているかどうかに基づいて、カーソルツール２４５のフォーカス２５５がコンテンツ入力領域２３５内にあるかどうかを判定することを伴う。いくつかの例では、フォーカス２５５は、挿入点、コンテンツの選択、タッチ画面インターフェイス２５０上でのカーソルツール２４５のホバー位置、または、関連分野で知られるＵＩ表示２５１上で指示を提供する他の方法等であり得る。例として、図２に示すように、フォーカス２５５は、コンテンツ２１０中の語「ＭＥ」の「Ｍ」と「Ｅ」の間の点灯するプレースホルダーである。
[0046]現在の状態とカーソルツール２４５のフォーカスに基づいて、手書きパッドツール２９５において呼び出し可能な動作が確定される。例えば、コンテンツ入力領域２３５にコンテンツ２１０がない場合は、他の供給源からコンテンツをインポートするために管理動作が有効にされることができる。別の例では、コンテンツ入力領域２３５にコンテンツ２１０が入力されると、コンテンツ２１０中のテキストや文字に編集を行うために編集動作が有効にされることができる。この編集動作については、上記でより詳しく説明した。したがって、特定の時に利用可能にされる動作は状況に依存し、それにより、関連しない動作など、現在行っている作業からユーザーの気を散らすものを最少に抑える。さらに、本明細書では明示的には論じないが、状況に依存する環境で各種の他の要素が監視されて関連する動作を識別することができ、それらの要素は、関連する分野で知られる任意の方式で上記の監視対象の要素と組み合わせられてよい。
[0047]選択コンポーネント２８０は、監視コンポーネント２７０によって確定された状況および／または呼び出しが可能になっている動作に基づいて、アクティブ状態に昇格する教示動作を判定するように構成される。一実施形態では、判定は、現在呼び出せる状態であると確定された動作を識別し、それらの有効になっている動作に対応付けられた教示動画をアクティブ状態に昇格することを含む。例えば、編集動作が有効になっている場合には、修正、削除、分割、結合、または他の編集コマンドのための手動ジェスチャーを実演する教示動画がアクティブ状態に昇格される。昇格された教示動画の表現を浮上させる様子が図３の参照符号３１０に示される。別の例では、監視コンポーネント２７０によって管理動作が有効にされている場合には、コンテンツを挿入する、ファイルを開く、他のファイル／文書の管理コマンド、またはそれらの組み合わせを行うための手動ジェスチャーを実演する教示動画がアクティブ状態に昇格される。
[0048]別の実施形態では、選択コンポーネント２８０は、コンピューティング環境の状況に応じて１つまたは複数の教示動画を識別するように構成される。すなわち、手書きパッドツール２７５の状態、またはオペレーティングシステム２２０で実行される他のアプリケーションの状態、および／または入力２３０の状態（例えばユーザーによって開始される入力の位置）に基づいて、関連する教示動画のリストが作成される。そのため、この教示動画のリストは状況に依存し、ユーザーが対話を行っている時の手書きパッドツール２９５の現在の状態で発生する可能性のある質問を直感的に絞り込むように編成される。例えば、コンピューティング環境の状況が、ユーザーが現在文章を作成および編集していることを示す場合（すなわちコンテンツ入力領域２３５内のコンテンツ２１０を検出することによる）は、想定される質問は、ジェスチャーを介して編集動作を呼び出すことに関する可能性がある。そのような想定される質問に答える、すなわち編集動作を呼び出すための正しい手動ジェスチャーのやり方を説明する教示動画が、アクティブ状態に昇格される。
[0049]したがって、手書きパッドツールまたはコンピューティング環境の状態に基づいて特定のジェスチャーが関連する場合は、それらのジェスチャーを説明する教示動画がアクティブ状態に昇格される。しかし、タッチ画面インターフェイス２５０の電源が切られている、あるいは他の理由でオフラインになっていて、ユーザーによって開始された入力の形での手動ジェスチャーがもはや期待されない場合は、アクティブ状態に昇格される教示動画がない場合もある。事前に決められた閾値（例えば浮上させた教示動画の表現に割り当てられた画面空間の限られた面積で決まる数）で許されるよりも多くの教示動画がアクティブ状態に昇格される場合は、フィルタリング処理が開始されて、より関連性が低い、または状況への依存度が低い教示動画を非アクティブ状態に降格することができる。
[0050]レンダリングコンポーネント２７５は、その一部が、アクティブ状態に昇格された教示動画の表現を提示するように構成される。ここで一時図３を参照して、アクティブな教示動画の表現を提示する実施形態を説明する。本明細書で説明されるすべての図では、実質的に同様の機能または要素は一貫して共通の参照符号で表されることに注意されたい。
[0051]初めに、図３は、ＵＩ表示２５１の模式図であり、本発明の一実施形態による、アクティブ状態にある教示動画３１５の表現に関連付けられた、浮上させた手書きパッドツール２９５を示す。図２のレンダリングコンポーネント２７５の一実施形態に従うと、アクティブ状態に昇格された教示動画３１５の表現を提示する処理は、浮上させた手書きパッドツール２９５の一部であるツールバー３２０上に、教示動画３３５を起動するための選択可能なコントロール３９５を配置することを含む。別の実施形態では、アクティブ状態に昇格された教示動画３１５の表現を提示する処理は、タッチ画面インターフェイス２２０上の浮上させた手書きパッドツール２９５の近傍に浮上した平行移動可能なジェスチャーパネル３１０の上に、教示動画３１５のアイコン表現３１１、３１２、３１３、３１４を配置することを含む。各実施形態では、各アイコン表現３１１、３１２、３１３、３１４は、作動されると、そのアイコンで表現される対応する教示動画３３５を開始するトグルボタン３４０を含む。各実施形態では、各トグルボタン３４０の中に記載された記述子が提供され、教示動画３１５の表現に対応付けられた動作を視覚的に示す。いくつかの例では、この記述子は、教示動画３３５を記述した記述テキスト３４２、教示動画３１５を表す静的な描写３４１（例えばジェスチャーの単純な図形グラフィック）、アイコン内で利用される他の知られる表示、またはそれらの組み合わせを含むことができる。
[0052]図３に示す実施形態では、教示動画３１５の表現は、修正動作（アイコン表現３１１）、削除動作（アイコン表現３１２）、分割動作（アイコン表現３１３）、および結合動作（アイコン表現３１４）等の編集動作のアイコン表現３１１、３１２、３１３、３１４を含む。教示動画３１５のこれらのアイコン表現３１１、３１２、３１３、３１４は、浮上させた手書きパッドツール２９５とは別個に移動させることが可能なジェスチャーパネル３１０に表示されることができる。すなわち、ジェスチャーパネル３１０は、浮上させた手書きパッドツール２９５から独立して、タッチ画面インターフェイス２２０上にフローティングする。別の実施形態では、編集動作３１５の表現は、選択可能コントロール３９５として構成されることができ、選択可能コントロール３９５は、ツールバー３２０に配置され、したがって浮上した手書きパッドツール２９５に付加される。典型的には、ツールバー３２０の選択可能コントロール３９５は、展開されて、ジェスチャーパネル３１０内のトグルボタン３４０として教示動画３１５のアイコン表現３１１、３１２、３１３、３１４を表すことができる。逆に、ジェスチャーパネル３１０内のトグルボタン３４０は、折りたたまれて、ツールバー３２０の選択可能コントロール３９５として教示動画３１５のアイコン表現３１１、３１２、３１３、３１４を表すことができる。展開および折りたたみの処理は、関連分野で知られる任意の知られたトリガー（例えばコントロールボタン）で実行されることができる。
[0053]さらに、教示動画３１５の表現は、図２のレンダリングコンポーネント２７５を利用した任意の方法で浮上させることができる。一般には、教示動画３１５の表現は、ユーザーにいくつかの手動ジェスチャーの正しいやり方を教えるために利用可能な教示動画を示す。利用可能な教示動画３１０の視覚的描写を提供することにより、ユーザーは、コンテンツ２１０の入力または編集に苦労する時にそれらの学習支援を利用するように促される。そのため、そのような学習支援は、ヘルプのサブメニューを見つけるための長く非効率的な検索を行わずに容易に発見することができ、ユーザーが適切な誘導を得ずに間違ったジェスチャーを入力してしまうことを防止する。
[0054]再度図２を参照すると、入力コンポーネント２６５は、コンピューティングデバイス２１５のタッチ画面インターフェイスに浮上させた手書きパッドツール２５０に関連して１つまたは複数のユーザーによって開始された入力２３０を、入力データ２６０を介して受け取るように構成される。上記のように、ユーザーによって開始される入力２３０は、タッチ画面インターフェイス２５０に対する物理的物体２０５のドラッグの動き、または、オペレーティングシステム２２０によって検出されることが可能な他の手動ジェスチャーやコマンドであり得る。例示的実施形態では、入力コンポーネント２６５は、ユーザーによって開始された入力２３０を解釈し、適切な応答を認識するように構成される。適切な応答を認識すると、入力コンポーネント２６５は、その応答を起動コンポーネント２８５に伝達することができる。
[0055]起動コンポーネント２８５は、入力コンポーネント２６５から提供される応答に基づいて、アクティブ状態にある教示動画の１つまたは複数の再生を開始するように構成される。詳細には、起動コンポーネント２８５は、選択コンポーネント２８０と通信して、コンピューティング環境の状況に基づいて、どの教示動画がアクティブ状態に昇格されているか、すなわち、どの教示動画が表示可能な状態であるかを理解することができる。受け取った応答に応じて、ゼロ個、１つ、または複数のアクティブな教示動画が起動される。
[0056]一般に、起動コンポーネント２８５は、入力コンポーネント２６５からの応答を処理して、ユーザーによって開始された入力２３０が、アクティブな教示動画が起動されるべきことを示すかどうかを判定する。一例では、ユーザーによって開始された入力２３０が、選択可能コントロール３９５（図３参照）の１つ、またはトグルボタン３４０（図３参照）の１つに適用された作動として認識される場合は、作動された選択可能コントロールまたは作動されたトグルボタンに対応する教示動画が起動される。例として、図３を参照すると、ユーザーによって開始されたタップ式の入力が、修正動作のアイコン表現３１１を有するトグルボタン３４０の作動すなわち押下を含む場合は、修正動作を呼び出すための正しく行われた手動ジェスチャー３４５を実演する教示動画３３５が起動される。
[0057]別の例では、ユーザーによって開始された動作が、ある手動ジェスチャーに対応する２次コマンドの実行を含む場合に、対応する手動ジェスチャーを実演する教示動画が起動されることができる。例えば、図３を参照すると、コンテンツ入力領域２３５に入力されたコンテンツ２１０中でテキストの一部が選択されることができる。上述のように、テキストの選択された部分がフォーカス２５５に指定される。コンテンツ２１０の選択された部分を修正する２次コマンドがトリガーされることができる。２次コマンドは、手動ジェスチャー以外の入力方法を用いる、ユーザーによって開始される入力であってよい。この例では、語「ＭＡＮＥ」が編集のために選択され、用いられる２次コマンドは、綴りの誤りを「ＭＡＮＹ」に修正するためのキーボードからのキーストローク入力（図示せず）である。この例では、２次コマンドを検出すると、起動コンポーネント２８５は、その２次コマンドに対応する動作を識別するように構成される。この場合は２次コマンドが使用されて、フォーカス２５５があるテキストの選択部分を修正するので、２次動作に対応する動作として修正動作が識別される。
[0058]次に、その修正動作に対応付けられた教示動画３３５が順に、または並行して起動され、選択されたテキスト部分に修正動作を行う。このように、教示動画３３５は、２次コマンドでトリガーされた動作を呼び出すための手動ジェスチャーが利用可能である、かつ／または有効にされていることを自動的にユーザーに教える。さらに、教示動画３３５は、２次コマンドで指示された動作を呼び出すための適切な手動ジェスチャーの正しいやり方を自動的にユーザーに示す。したがって、ユーザーには、ユーザーが慣れている従来の入力（例えば２次コマンド）とは対照的に、迅速な形の入力の提供（例えば手動ジェスチャー）を実演する、自動的に発見可能な学習支援が与えられる。このようにして、自動的に教示動画を起動することにより、タッチ画面インターフェイスに入力を提供するためのあらゆる種類の利用可能な方法をユーザーに紹介し、慣れさせ、またユーザーがそれらの方法を利用するように勧める。
[0059]本明細書で教示動画を起動する２つの異なる手法を説明したが、当業者には、教示動画を起動する他の種の適切な方法が用いられてよく、本発明の実施形態は、本明細書に記載されるように単にコントロール／トグルボタンを作動すること、または対応する２次コマンドを提供することに限定されないことが理解および認識されよう。例として、手動ジェスチャーまたは他の形態のユーザー開始入力を行うことで作業の実行を試みることが、教示動画を起動させてもよい。別の例では、認識された手動ジェスチャーに関連付けられた１つまたは複数の正しくないドラッグの動きが、そのジェスチャーの正しいやり方を実演する教示動画を起動させることもできる。上記の方法を介して教示動画を起動することにより、教示動画によって提供される支援指示が手書きパッドツール２９５（図２参照）との通常の対話の中に組み込まれ、容易に発見できる学習支援を提供する。
[0060]さらに、例示的実施形態では、ユーザーまたはオペレーティングシステム２２０（図２参照）がそれぞれ手動で、または自動的に、起動コンポーネント２８５における起動設定を調節することを可能にするトグルコントロールが提供されることができる。起動設定を調節することにより、ユーザーまたはオペレーティングシステム２２０は、対応する２次コマンドを受け取ると自動的に教示動画が起動されるどうか、および／または、コントロール／トグルボタンにおける作動を検出すると教示動画が起動されるどうかを決定することができる。すなわち、ユーザーまたはオペレーティングシステム２２０は、教示動画の起動を有効または無効にすることができる。
[0061]再度図２を参照して、レンダリングコンポーネント２７５を説明する。一般に、レンダリングコンポーネント２７５は、タッチ画面インターフェイス２５０に浮上させた表示領域３３０（図３参照）内で、１つまたは複数の起動された教示動画を再生モードで表示するように構成される。各実施形態では、表示領域３３０（図３参照）は、レンダリングコンポーネント２７５がタッチ画面インターフェイス２５０にプレゼンテーションデータ２９０を伝達すると、タッチ画面インターフェイス２５０に浮上させられる。
[0062]図２を参照すると、一般的には、再生モードでは、教示動画は、浮上した手書きパッドツール２９５に入力されたコンテンツ２１０の編集に使用される手動ジェスチャー３４５（図３参照）の映像による指導を提供する。再生モードの教示動画は、各種方式でユーザーに提示されることができる。一実施形態では、教示動画は、ポップアップウィンドウである表示領域内で再生されることができる。典型的には、ポップアップウィンドウは、浮上した手書きパッドツール２９５とは分離しており、コンテンツ入力領域２３５を覆わず、タッチ画面インターフェイス２５０の目立ちやすい領域に提示され、それによりユーザーの注意を教示動画に向ける。この実施形態では、教示動画によって実演される手動ジェスチャーは、一般的なコンテンツ、またはコンテンツ入力領域２３５内でユーザーに指示されたテキストの選択部分に関連しない非記述テキストに適用されることができる。あるいは、教示動画によって実演される手動ジェスチャーは、コンテンツ入力領域２３５内のテキストの選択部分と実質的に類似した語またはフレーズに適用されることができる。例として、図３を参照すると、テキストの選択部分「ＭＡＮＥ」がフォーカス２５５で指示されることができる。そのため、教示動画３３５は、同様の語「ＭＡＮＥ」を綴り「ＭＡＮＹ」に修正するための手動ジェスチャー３４５を行うモデルの手および／またはペンの映像とすることができる。
[0063]手動ジェスチャーを行うモデルの手および／またはペンの映像として説明したが、当業者は、教示動画は、手動ジェスチャーの芸術的な描写やそのような手動ジェスチャーのやり方についての指導の任意画像であってよいことを理解および認識されよう。したがって、手動ジェスチャーのやり方の理解を促進する、関連分野で知られる学習支援を教示動画と考えることができる。
[0064]別の実施形態では、引き続き図３を参照すると、教示動画３３５は、コンテンツ入力領域２３５で再生されることができる。この実施形態では、教示動画３３５で実演される手動ジェスチャー３４５は、コンテンツ入力領域２３５内のフォーカス２５５がある選択テキスト部分に直接適用されることができる。したがって、コンテンツ入力領域２３５内に指導フィードバックが組み込まれることができる。このように教示動画３３５を表示することにより、本発明の実施形態は、ユーザーが特定の文章作成／編集動作を行う際に手動ジェスチャー３４５を教授または強化する、下書きと同時に学習できる技術を実施する。
[0065]教示動画３３５を表示する２つの異なる構成を説明したが、当業者には、ＵＩ表示で教示動画３３５を再生する他の種の適切な位置が使用されてよく、また、本発明の実施形態は、本明細書に記載されるように表示領域３３０またはコンテンツ入力領域２３５で教示動画３３５を再生することに限定されないことが理解および認識されよう。
[0066]教示ジェスチャー３４５の１回目分の教示動画３３５を再生すると、教示ジェスチャー３４５は、繰り返される、またはループされることができる。一実施形態では、教示ジェスチャー３４５は、所定回数ループされることができる（例えば１回、５回、５０回等）。別の実施形態では、教示ジェスチャー３４５は、ループを止めるためのユーザーによって開始された指示で中断されるまで、継続的な再生モードでループすることができる。この実施形態の一例では、ループを停止するためのユーザーによって開始される指示は、起動された教示動画３３５が再生されている表示領域３３０の一部に適用される手動ジェスチャー等のキャンセル入力であり得る。この実施形態の別の例では、ループを停止するためのユーザーによって開始される指示は、手書きパッドツール２９５によって生成されたコンテンツ入力領域２３５に適用される手動ジェスチャー３４５等の下書きを行うための入力であり得る。上記または他の所定の手動ジェスチャーを検出するのに伴い、教示動画３４５のループが中断され、表示領域３３０が非表示にされることができる。
[0067]教示動画３３５に気づくと、ユーザーは、実演される手動ジェスチャー３４５を真似することを試みることができる。ユーザーが上手く手動ジェスチャー３４５を真似するか、教示動画３３５を正確に真似ると、ユーザーによって提供された手動ジェスチャーが正しく行われたと識別される。それに従って、正しく行われた手動ジェスチャーに対応付けられた動作（例えば編集動作や管理動作）が手書きパッドツール２９５で呼び出される。
[0068]次いで図４〜図７を参照すると、本発明の実施形態による、ユーザーによって開始された適切な入力を認識すると教示動画のフレームを表示する段階を示した、進行していくＵＩ表示が図示される。初めに図４を参照すると、浮上させた手書きパッドツール２９５を含む例示的ＵＩ表示４００が図示される。浮上させた手書きパッドツール２９５は、コンテンツ４１０が入力されたコンテンツ入力領域２３５を含む。コンテンツ４１０はコンテンツ入力領域２３５内にあるので、このコンテンツは、浮上させた手書きパッドツール２９５に、編集動作に対応付けられた教示動画４１５の表現を表示させる。他の実施形態では、教示動画４１５の表現は異なってよく、または浮上させた手書きパッドツール２９５によってサポートされる他の動作に対応付けられてよく、または、一般的には基礎となる動作の機能に基づいて互いに異なるアイコン表現を介してユーザーに伝達されてもよい。
[0069]図４〜図７に示すように、教示動画４１５の表現は、ツールバー３２０に配置された選択可能コントロール３９５である。選択可能コントロール３９５の形で図示するが、教示動画４１５の表現は、ジェスチャーパネルに配置されたトグルボタン等、上記の形態をとることも可能であり、または非表示にされることもできる。
[0070]いくつかの例では、フォーカス４２０で示すように、コンテンツ４１０の一部が選択、または強調表示される。削除動作に対応付けられた選択可能コントロール４２５を作動すると、テキスト４５５の選択部分に手動ジェスチャー４９５を行う教示動画４９５を表示する表示領域３３０が浮上する。したがって、教示動画４５０は、対象となる語、フレーズ、画像等に合わせて動的に指導内容を絞り込む、関連性のある学習支援である。さらに、選択可能コントロール４２５の作動は、カーソルツールで選択可能コントロール４２５を押すことにより、または、視覚的に描画されたボタン／トグル／コントロールに作動を適用する他の知られる方法により、行われることができる。
[0071]図５および図６はそれぞれＵＩ表示５００および６００を示し、教示動画４５０のフレームが進行した様子を示す。すなわち、テキスト４５５の選択部分に適用された手動ジェスチャー４９５を実演する画像の例示的な進行が図示されている。進行の一巡が完了すると、進行はループするか、または表示領域３３０が非表示にされることができる。
[0072]図７を参照すると、浮上させた手書きパッドツール２９５を示すＵＩ表示７００が図示され、コンテンツ入力領域２３５にコンテンツ４１０が提供されている。この実施形態では、教示動画４５０は、コンテンツ入力領域２３５内のテキスト４５５の選択部分の上で手動ジェスチャー４９５を実演するように構成される。上記のように、教示動画４５０は、ユーザーが選択可能コントロール４２５を作動すると起動されることができる。他の実施形態では、教示動画は、教示動画４５０に対応付けられた動作を呼び出す２次コマンドを受け取ると起動されることができる。
[0073]次いで図８および図９を参照すると、手動ジェスチャーを実演する教示動画を開始するプロセス８００を示す動作流れ図が示され、このプロセスは、本発明の一実施形態による適切な例示的システムアーキテクチャーで実施される。図８を参照すると、初めに、手順８１０で示されるように、処理コンポーネント２２５にインストールされたオペレーティングシステムが、コンピューティングデバイス２１５のコンピューティング環境の状況を動的に監視する。一実施形態では、監視は、コンピューティングデバイス２１５を調べて８０５、アクティブ状態に昇格する教示動画を判定することを含む。他の実施形態では、コンピューティング環境を監視することは、手書きパッドツールの現在の状態を認識するステップ（手順８１１参照）、手書きパッドツールによって生成されたコンテンツ入力領域内のカーソルのフォーカスを識別するステップ（手順８１２参照）、および、状況およびフォーカスに基づいて、どの動作が呼び出せる状態であるかを確定するステップ（手順８１３参照）を、特定の順序によらず含む。
[0074]どの動作が呼び出せる状態であるかを確定すると、それらの動作に対応付けられた教示動画が識別され、アクティブ状態に昇格される。手順８１５で示すように、昇格された教示動画は、アクティブ状態で一時的に記憶されることができる。また、手順８２０で示すように、それらの教示動画の表現をＵＩ表示に提示すると、どの教示動画がアクティブ状態であるか、すなわち起動できる状態であるかを知らせる指示がユーザーに提供されることができる。典型的には、ＵＩ表示は、タッチ画面インターフェイス２５０上に表示される。
[0075]参照符号８２５に示されるように、提示された教示動画の表現を対象とする、ユーザーによって開始された入力が、タッチ画面インターフェイス２５０に浮上した手書きパッドツールとのユーザー対話を介して受け取られることができる。入力を受け取ると、手順８３０が実行されて、アクティブ状態に昇格された１つまたは複数の教示動画を起動することができる。一例では、起動は、表示領域を浮上させ（手順８３２参照）、選択されたテキストに対して手動ジェスチャーを実行するモデルの手および／またはペンの映像を再生すること（手順８３５参照）を伴うことができる。さらに、各実施形態では、教示動画を起動することにより、それらの動画に対応付けられた動作を呼び出す場合も呼び出さない場合もある。
[0076]図９を参照すると、参照符号９３５で示されるように、教示画像を起動する旨の指示がタッチ画面インターフェイス２５０上に表示される。実施形態では、参照符号９４０で示すように、ユーザーによって開始されたコマンドが、手書きパッドツールとの関連で受け取られることができる。手順９４５で示すように、ユーザーによって開始されたコマンドは、表示された教示動画を真似た手動ジェスチャーとして識別されることができる。そのようなジェスチャーとして識別されると、受け取られた手動ジェスチャーに基づいて、動作（例えば編集動作、管理動作等）が呼び出される。
[0077]本発明について特定の実施形態との関連で説明したが、それらの実施形態はあらゆる点で限定的ではなく、例示的なものである。当業者には、本発明がその範囲から逸脱せずに関連する代替実施形態が明らかになろう。
[0078]前述から、本発明が、上記のすべての目標および目的を達成するために適合された発明であり、本システムおよび方法に自明で固有な他の利点を伴うことが理解されよう。特定の特徴とサブコンビネーションが有用であり、他の特徴およびサブコンビネーションを参照せずに用いられることが可能であることが理解されよう。これは、特許請求の範囲によって企図され、特許請求の範囲内にある。

Claims (18)

  1. 実行されると、手動ジェスチャー(manual gesture)を実演(demonstrating)する教示動画(teaching animation)を開始(initiating)する方法を行うコンピューター実行可能命令が実施された(embodied)１つまたは複数のコンピューター可読媒体であって、前記方法は、
    コンピューティングデバイスで動作している手書きパッドツールの現在の状態を決定するステップであって、当該決定することが、前記手書きパッドツールによって生成されたコンテンツ入力領域内で、コンテンツが提供されたか否かを認識することを含むものと、
    前記手書きパッドツールの前記現在の状態を用いて、どの動作が呼び出しが可能か、及び、どの動作が呼び出しが不可能か、を決定するステップと、
    を含み、
    前記現在の状態を用いることが、
    （ａ）前記手書きパッドツールの、前記コンテンツ入力領域内で、コンテンツが提供されるときに、１つ又は複数の編集動作をアクティブ状態であるとして指定する一方、１つ又は複数の管理動作が、非アクティブ状態として指定されること、及び、
    （ｂ）コンテンツが、前記手書きパッドツールのコンテンツ入力領域に存在しないときに、前記１つ又は複数の管理動作を、アクティブ状態であるとして指定する一方、前記１つ又は複数の編集動作が、非アクティブ状態であるとして指定されることであって、前記１つ又は複数の編集動作が、前記１つ又は複数の管理動作とは、機能的に異なること、
    を含み、更に、前記方法が、以下の、
    アクティブ状態であるとして指定された動作に関連付けられる教示動画の第１のグループを、有効にするステップと、
    非アクティブ状態であるとして指定された動作と関連付けられた、教示動画の第２のグループを無効にするステップと、
    コンピューティングデバイスのタッチ画面インターフェイス上に浮上させた(surfaced)手書き(writing)パッドツールとの関連で(in association with)、ユーザーによって開始された(user-initiated)入力を受け取るステップと、
    前記ユーザーによって開始された入力に基づいて、有効とされた前記教示動画の１つまたは複数を起動する(launching)ステップと、
    前記１つまたは複数の教示動画を起動する旨の指示(indication)を前記タッチ画面インターフェイスに表示する(rendering)ステップと、
    を含む、１つまたは複数のコンピューター可読媒体。
  2. 前記方法は、
    前記表示された１つまたは複数の教示動画を真似た(emulates)前記手動ジェスチャーを前記タッチ画面インターフェイスで受け取るステップと、
    前記受け取られた手動ジェスチャーにどの動作が関連付けられている(mapped to)かに基づいて、前記手書き(writing)パッドツールで編集動作(editing action)または管理動作(managing action)を呼び出す(invoking)ステップと
    をさらに含む、請求項１に記載の１つまたは複数のコンピューター可読媒体。
  3. 前記アクティブ状態に昇格された(promoted)前記教示動画(teaching animations)の表現(representation)を提示(presenting)するステップをさらに備え、前記アクティブ状態の前記教示動画はそれぞれ(each)、現在(presently)呼び出し(invocation)が可能(available)であると確定された(ascertained as)動作(actions)に関連付けられている(mapped)、請求項１に記載の１つまたは複数のコンピューター可読媒体。
  4. 前記アクティブ状態に昇格された前記教示動画の表現を提示するステップは、前記浮上させた(surfaced)手書きパッドツールの一部である(adjoining)ツールバーの上に、前記教示動画を起動する(launching)ための選択可能コントロール(selectable control)を配置する(arranging)ステップを含む、請求項３に記載の１つまたは複数のコンピューター可読媒体。
  5. 前記アクティブ状態に昇格された(promoted)前記教示動画の表現(representation)を提示する(presenting)ステップは、前記タッチ画面インターフェイス上の浮上した(surfaced)手書きパッドツールの近傍(adjacent)に浮上させた(surfaced on)平行移動可能な(translatable)ジェスチャーパネル上に、前記教示動画のアイコン表現(iconic representation)を編成する(organizing)ステップを含む、請求項３に記載の１つまたは複数のコンピューター可読媒体。
  6. 各前記アイコン表現は、作動される(actuated)と、そのアイコン表現で表される(represented)前記教示動画を開始する(initiates)トグルボタン(toggle-button)と、前記教示動画に関連付けられた(mapped to)前記動作(action)を視覚的に(visibly)示す(reveals)、前記トグルボタン中(within)に記入された(inscribed)記述子(descriptor)とを備える、請求項５に記載の１つまたは複数のコンピューター可読媒体。
  7. 手書きパッドツールとの関連(in association with)で、ユーザーによって開始された入力を受け取るステップは、物理的物体(physical object)と、前記タッチ画面インターフェイスの書き込み面(writing surface)との接触(contact)を検出(detecting)するステップを含み、前記接触は前記トグルボタンで発生する、請求項６に記載の１つまたは複数のコンピューター可読媒体。
  8. 前記１つまたは複数の教示動画は、非記述テキスト(nondescript text)に対して前記手動(manual)ジェスチャーを正しく(properly)実行するモデルの手(model hand)の映像を含む、請求項１に記載の１つまたは複数のコンピューター可読媒体。
  9. 前記方法は、
    前記教示動画の再生(play)を所定の繰り返し回数にわたってループさせる(looping)ステップと、
    前記１つまたは複数の起動された教示動画が再生されている前記表示領域の一部に適用された(applied to)前記手動ジェスチャーを検出するステップと、
    前記手動ジェスチャーの検出に伴い(incident to)、前記教示動画のループを中断し、前記表示領域を非表示にする(hiding)ステップと
    をさらに含む、請求項８に記載の１つまたは複数のコンピューター可読媒体。
  10. 前記方法は、
    前記教示動画の再生を所定の繰り返し回数にわたってループさせるステップと、
    前記手書きパッドツールによって生成された前記コンテンツ入力領域に適用された前記手動ジェスチャーを検出するステップと、
    前記手動ジェスチャーの検出に伴い、前記教示動画のループを中断し、前記表示領域を非表示にするステップと
    をさらに含む、請求項８に記載の１つまたは複数のコンピューター可読媒体。
  11. 前記方法は、
    前記手動ジェスチャーの検出に伴い、前記手動ジェスチャーが正しく行われ、それにより前記教示動画を正確に真似ている(emulating)かどうかを判定するステップと、
    前記手動ジェスチャーが正しく行われた場合、前記手書きパッドツールにおいて前記編集動作(editing action)を呼び出す(invoking)ステップであって、前記編集動作は前記手動ジェスチャーに関連付けられている(mapped to)ステップと、
    前記コンテンツ入力領域に入力された(submitted to)コンテンツ(content)を変更する(altering)ステップと
    をさらに含む、請求項１０に記載の１つまたは複数のコンピューター可読媒体。
  12. 前記管理動作は、単語の挿入、ファイルを開く、またはツールを閉じる、のコマンドの少なくとも１つを含み、
    前記編集動作は、単語の削除、単語の結合(join)、単語の分割(split)、もしくは単語の修正(correct)、またはスペースの追加、のコマンドの少なくとも１つを含む、請求項１に記載の１つまたは複数のコンピューター可読媒体。
  13. 有効とする教示動画を判定するためのコンピューター化された方法であって、
    手書きパッドツールを調べて、タッチ画面インターフェイスに関連付けられたコンピューティング環境の状況を判定するステップであって、判定するステップは、
    （ａ）前記手書きパッドツールによって生成されたコンテンツ入力領域内にコンテンツが提供されているかどうかの判定に、部分的に基づいて、前記手書きパッドツールの現在の状態を認識するステップと、
    （ｂ）コンテンツが、前記コンテンツ入力領域内で提供されるときに、編集動作と関連付けられた前記教示動画の第１のグループを有効とし、管理動作と関連付けられた前記教示動画の第２のグループを無効とするステップと、
    （ｃ）コンテンツが、前記コンテンツ入力領域に存在しないときに、管理動作と関連付けられた前記教示動画の前記第２のグループを有効とし、前記編集動作と関連付けられた前記教示動画の前記第１のグループを無効とするステップと、
    を含み、前記方法はさらに、
    前記教示動画の、前記第１のグループ又は前記第２のグループを、有効とされたものとして特定するステップと、
    前記特定された前記教示動画を、呼び出しが可能なものとして少なくとも一時的に記憶し、前記教示動画の残りを、呼び出しのために利用不可能なものとして記憶するステップと、
    を含む、コンピューター化された方法。
  14. 手動ジェスチャーに対応する、ユーザーによって開始されたコマンドを受け取るステップと、
    前記手動ジェスチャーに関連付けられた教示動画を識別するステップと、
    識別された教示ジェスチャーを自動的に(automatically)起動して、ユーザーによって開始されたコマンドに関連付けられた動作の呼び出しと同時に、前記手動ジェスチャーを行うようにユーザーを促すステップと
    をさらに含む、請求項１３に記載のコンピューター化された方法。
  15. 識別された教示ジェスチャーに関連付けられたユーザーによって開始されたコマンドを受け取った時の、前記識別された教示ジェスチャーの自動的な起動をユーザーが無効(disable)または有効(enable)にすることを可能にするトグルコントロールを提供するステップ
    をさらに含む、請求項１４に記載のコンピューター化された方法。
  16. 前記アクティブ状態で記憶された前記教示動画のうち１つまたは複数の表現を浮上させる(surfacing)ステップと、
    前記アクティブ状態で記憶された教示動画の表現(representation)を指示する(indicating)、ユーザーによって開始された入力を受け取るステップと、
    前記指示された教示動画を自動的に起動する(launching)ステップと
    をさらに含む、請求項１３に記載のコンピューター化された方法。
  17. 前記指示された教示ジェスチャーを起動するステップは、
    前記手書きパッドツールのコンテンツ入力領域内のコンテンツの一部を認識するステップであって、前記コンテンツの一部は、前記カーソルツールのフォーカスで区別されるステップと、
    前記指示された教示動画を前記コンテンツ入力領域内で起動するステップであって、起動するステップは、
    （ａ）前記教示動画で再現される手動ジェスチャーを前記コンテンツの区別された(distinguished)部分に適用するステップ、および
    （ｂ）ユーザーによって開始される停止(cease)の指示が受け取られるまで、前記コンテンツの一部への前記再現された(replicated)手動ジェスチャーの適用(application)をループさせるステップ
    を含むステップと、
    を含む、請求項１６に記載のコンピューター化された方法。
  18. 教示動画を起動するためのコンピューター実行可能命令を備える１つまたは複数のコンピューター記憶媒体に基づいて実施されたコンピューターシステムであって、
    手書きパッドツールの現在の状態を判定する監視コンポーネントであって、当該判定することは、コンテンツが、手書きパッドツールによって生成された、コンテンツ入力領域の中で提供されたか否かを認識することを含む、監視コンポーネントと、
    前記手書きパッドツールの前記現在の状態を用いて、どの教示動画を有効とするかを判定し、どの教示動画を無効とするか、を判定する選択コンポーネントであって、当該判定が、
    （ａ）コンテンツが、前記手書きパッドツールの前記コンテンツ入力領域内で提供されるときに、１つ又は複数の編集動作を、アクティブ状態であると指定し、１つ又は複数の管理動作を、非アクティブ状態であると指定することと；
    （ｂ）コンテンツが、前記手書きパッドツールの前記コンテンツ入力領域に存在しないときに、前記１つ又は複数の管理動作をアクティブ状態であると指定し、前記１つ又は複数の編集動作を、非アクティブ状態であると指定し、前記１つ又は複数の編集動作が、アクティブ状態であると指定されることに応じて、教示動画の第１のグループを呼出しが可能であるものと特定することと；
    （ｃ）前記教示動画の第２のグループを、前記１つ又は複数の管理動作が、アクティブ状態であると指定されることに応じて、呼出しが可能であるものと特定すること；
    を含むものと、
    前記コンピューティングデバイスのタッチ画面インターフェイス上に浮上させた手書きパッドツールとの関連で、ユーザーによって開始された入力を受け取る入力コンポーネントと、
    部分的に、前記ユーザーによって開始された入力に基づいて、呼び出しが可能であるものとして特定された前記教示動画の１つまたは複数の再生を開始する起動コンポーネントと、
    前記タッチ画面インターフェイスに浮上させた表示領域内に、前記１つまたは複数の再生される教示動画を表示するレンダリング(rendering)コンポーネントと
    を備えるコンピューターシステム。
JP2011514899A 2008-06-24 2009-06-24 ユーザーインターフェイス表示上での教示動画の表示 Active JP5442727B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/145,237 2008-06-24
US12/145,237 US8566717B2 (en) 2008-06-24 2008-06-24 Rendering teaching animations on a user-interface display
PCT/US2009/048527 WO2010008903A2 (en) 2008-06-24 2009-06-24 Rendering teaching animations on a user-interface display

Publications (2)

Publication Number Publication Date
JP2011525665A JP2011525665A (ja) 2011-09-22
JP5442727B2 true JP5442727B2 (ja) 2014-03-12

Family

ID=41432540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011514899A Active JP5442727B2 (ja) 2008-06-24 2009-06-24 ユーザーインターフェイス表示上での教示動画の表示

Country Status (9)

Country Link
US (1) US8566717B2 (ja)
EP (1) EP2288985B1 (ja)
JP (1) JP5442727B2 (ja)
KR (1) KR101548524B1 (ja)
CN (1) CN102067079B (ja)
BR (1) BRPI0912269B1 (ja)
RU (1) RU2506630C2 (ja)
TW (1) TWI459281B (ja)
WO (1) WO2010008903A2 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8196042B2 (en) * 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
CN102480926A (zh) * 2009-05-07 2012-05-30 阿博根公司 用于再生和转化树木的材料和方法
US9710097B2 (en) * 2009-07-10 2017-07-18 Adobe Systems Incorporated Methods and apparatus for natural media painting using touch-and-stylus combination gestures
US8335986B2 (en) * 2009-08-26 2012-12-18 Apple Inc. Previewing different types of documents
US8644354B2 (en) * 2009-10-14 2014-02-04 Verizon Patent And Licensing Inc. Methods and systems for automatically registering a mobile phone device with one or more media content access devices
US8634390B2 (en) * 2009-10-14 2014-01-21 Verizon Patent And Licensing Inc. Systems and methods for wireless local area network based control of a set-top box device
US9213480B2 (en) * 2010-04-08 2015-12-15 Nokia Technologies Oy Method, apparatus and computer program product for joining the displays of multiple devices
TWI438675B (zh) 2010-04-30 2014-05-21 Ibm 提供情境感知援助說明之方法、裝置及電腦程式產品
US8519971B1 (en) * 2010-08-30 2013-08-27 Amazon Technologies, Inc. Rendering content around obscuring objects
US9164542B2 (en) * 2010-08-31 2015-10-20 Symbol Technologies, Llc Automated controls for sensor enabled user interface
US9152436B2 (en) * 2010-10-05 2015-10-06 Citrix Systems, Inc. Gesture support for shared sessions
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
US9047005B2 (en) 2011-02-03 2015-06-02 Sony Corporation Substituting touch gestures for GUI or hardware keys to control audio video play
US8990689B2 (en) * 2011-02-03 2015-03-24 Sony Corporation Training for substituting touch gestures for GUI or hardware keys to control audio video play
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
CN102694942B (zh) * 2011-03-23 2015-07-15 株式会社东芝 图像处理装置、操作方法显示方法及画面显示方法
US8497942B2 (en) 2011-04-07 2013-07-30 Sony Corporation User interface for audio video display device such as TV
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
KR101457116B1 (ko) * 2011-11-07 2014-11-04 삼성전자주식회사 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
TW201328330A (zh) * 2011-12-27 2013-07-01 Hannstouch Solution Inc 可無線傳送畫面之手持式電子設備及其組成之多媒體系統
JP5200174B1 (ja) * 2012-01-31 2013-05-15 株式会社東芝 電子機器およびサーバー
TWI485669B (zh) * 2012-02-07 2015-05-21 Univ Nat Chiao Tung 演化學習遊戲裝置
CN102662664B (zh) * 2012-03-28 2015-06-17 北京奇虎科技有限公司 界面动画实现方法及系统
JP2013218592A (ja) * 2012-04-11 2013-10-24 Seiko Epson Corp 文字入力装置
TWI474295B (zh) * 2012-05-18 2015-02-21 Hanking Digital Tec Co Ltd 輔助教學系統
TW201409425A (zh) * 2012-08-22 2014-03-01 Fu Zhi Technology Co Ltd 教學系統
CN103632576A (zh) * 2012-08-29 2014-03-12 富志科技股份有限公司 教学系统
CN102981764B (zh) * 2012-11-19 2018-07-20 北京三星通信技术研究有限公司 触控操作的处理方法及设备
USD732076S1 (en) * 2013-01-04 2015-06-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated icon
DE102013001884A1 (de) * 2013-02-02 2014-08-07 Audi Ag Systeminitiierte Hilfefunktion für die Bedienung von einer, einem Fahrzeug zugeordneten Vorrichtung - Eingabe von Leerzeichen
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
KR101522395B1 (ko) * 2013-05-24 2015-05-26 테크빌닷컴 주식회사 자동차 정비 훈련 시스템
KR102292619B1 (ko) * 2014-01-23 2021-08-23 삼성전자주식회사 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
US10466876B2 (en) * 2014-04-17 2019-11-05 Facebook, Inc. Assisting a user of a software application
US9426203B2 (en) 2014-06-27 2016-08-23 Microsoft Technology Licensing, Llc Remote application control interface
US20140372844A1 (en) * 2014-08-14 2014-12-18 Amar Zumkhawala Interface for capturing a digital image with real-time text
CN104134428B (zh) * 2014-08-22 2019-01-25 管存忠 一种点阵钟背景动画的设置方法
CN106161181B (zh) * 2015-03-27 2020-04-03 腾讯科技（深圳）有限公司 一种消息处理方法、装置及终端
US10409443B2 (en) 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
DE102015214012A1 (de) 2015-07-24 2015-10-08 Carl Zeiss Smt Gmbh Kippspiegel-Monitoring
US10881713B2 (en) * 2015-10-28 2021-01-05 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
USD778941S1 (en) 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
DE102017219385A1 (de) * 2016-11-13 2018-05-17 Honda Motor Co., Ltd. System und Verfahren zum Bereitstellen von Absolut- und Zonenkoordinatenabbildung mit Grafikanimationen
USD844637S1 (en) 2018-01-17 2019-04-02 Apple Inc. Electronic device with animated graphical user interface
GB2578872B (en) * 2018-11-09 2021-04-14 Dyson Technology Ltd Vacuum cleaner
CN109933255A (zh) * 2019-03-21 2019-06-25 广州视源电子科技股份有限公司 一种页面元素突出显示方法、装置、设备及存储介质
JP7314624B2 (ja) * 2019-05-30 2023-07-26 大日本印刷株式会社 情報処理装置及びプログラム
CN112199925A (zh) * 2020-09-07 2021-01-08 杭州壹百分教育科技有限公司 内容遮盖方法、设备及介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347295A (en) 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5953735A (en) 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
US5347477A (en) 1992-01-28 1994-09-13 Jack Lee Pen-based form computer
JP2905013B2 (ja) * 1992-10-21 1999-06-14 シャープ株式会社 ジェスチャー処理装置、および、ジェスチャー処理方法
JPH10105325A (ja) * 1996-09-30 1998-04-24 Matsushita Electric Ind Co Ltd 手書きコマンド管理装置
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7840912B2 (en) 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
JPH11259199A (ja) * 1998-03-13 1999-09-24 Toshiba Corp 端末装置、入力画面表示方法及び入力画面表示プログラムを記録した記録媒体
ATE243862T1 (de) * 1998-04-24 2003-07-15 Natural Input Solutions Inc Verfahren zur verarbeitung und korrektur in einer griffelunterstützten benutzerschnittstelle
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US7039872B1 (en) 1999-06-01 2006-05-02 Mossman Associates Inc Method and system of creating floating windows for displaying sponsor information, messages or programs in non-obtrusive areas of the graphic user interface of a software application
US6664991B1 (en) 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
GB0017793D0 (en) 2000-07-21 2000-09-06 Secr Defence Human computer interface
US20030007018A1 (en) 2001-07-09 2003-01-09 Giovanni Seni Handwriting user interface for personal digital assistants and the like
US6938221B2 (en) * 2001-11-30 2005-08-30 Microsoft Corporation User interface for stylus-based user input
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
JP3906729B2 (ja) 2002-04-05 2007-04-18 株式会社日立製作所 手話教育用システム及び該システムを実現するためのプログラム
JP2003319211A (ja) * 2002-04-23 2003-11-07 Minolta Co Ltd 撮像装置およびプログラム
JP2004013836A (ja) * 2002-06-11 2004-01-15 Digital Soken:Kk 情報端末装置
JP4143344B2 (ja) * 2002-06-27 2008-09-03 大日本印刷株式会社 ヘアカラーシミュレーション方法
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
JP2006527439A (ja) 2003-06-13 2006-11-30 ユニヴァーシティ オブ ランカスター ユーザインタフェース
US7143213B2 (en) * 2003-11-18 2006-11-28 Microsoft Corporation Attaching services to commanding elements matching command binding if the matching binding is found in either the table of bindings or servicing bindings
US20050235208A1 (en) * 2004-04-15 2005-10-20 Udo Arend User interface for a guided activity window
US7346846B2 (en) 2004-05-28 2008-03-18 Microsoft Corporation Strategies for providing just-in-time user assistance
US7761814B2 (en) * 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
US8147248B2 (en) * 2005-03-21 2012-04-03 Microsoft Corporation Gesture training
JP4933056B2 (ja) * 2005-05-11 2012-05-16 キヤノン株式会社 画像表示装置及びそれを用いた撮像装置
US7676767B2 (en) * 2005-06-15 2010-03-09 Microsoft Corporation Peel back user interface to show hidden functions
JP2009042796A (ja) 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
US20080008387A1 (en) * 2006-07-06 2008-01-10 Cheng Yi-Hsun E Method and apparatus for recognition of handwritten symbols
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback

Also Published As

Publication number Publication date
US20090319894A1 (en) 2009-12-24
BRPI0912269B1 (pt) 2019-12-24
CN102067079A (zh) 2011-05-18
EP2288985B1 (en) 2020-08-19
TW201001272A (en) 2010-01-01
CN102067079B (zh) 2013-12-18
RU2506630C2 (ru) 2014-02-10
WO2010008903A2 (en) 2010-01-21
EP2288985A2 (en) 2011-03-02
KR101548524B1 (ko) 2015-09-01
JP2011525665A (ja) 2011-09-22
TWI459281B (zh) 2014-11-01
WO2010008903A3 (en) 2010-03-25
BRPI0912269A2 (pt) 2015-10-20
EP2288985A4 (en) 2013-04-10
RU2010152819A (ru) 2012-06-27
US8566717B2 (en) 2013-10-22
KR20110028290A (ko) 2011-03-17

Similar Documents

Publication Publication Date Title
JP5442727B2 (ja) ユーザーインターフェイス表示上での教示動画の表示
US11412012B2 (en) Method, apparatus, and computer-readable medium for desktop sharing over a web socket connection in a networked collaboration workspace
US11483376B2 (en) Method, apparatus, and computer-readable medium for transmission of files over a web socket connection in a networked collaboration workspace
JP5829996B2 (ja) ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース
US20190065012A1 (en) Method, apparatus, and computer-readable medium for propagating enriched note data objects over a web socket connection in a networked collaboration workspace
US20140354554A1 (en) Touch Optimized UI
WO2018052969A1 (en) Systems and methods for a touchscreen user interface for a collaborative editing tool
US11188209B2 (en) Progressive functionality access for content insertion and modification
US20200396315A1 (en) Delivery of apps in a media stream
BR112020003524A2 (pt) método, aparelho e meio legível por computador para implementação de uma interface universal de hardware-software
KR20200131881A (ko) 네트워킹된 협업 워크스페이스에서 웹 소켓 연결을 통해 파일을 전송하기 위한 방법, 기기, 및 컴퓨터 판독 가능 매체
Barsotti et al. A web framework for cross-device gestures between personal devices and public displays
KR20210018353A (ko) 네트워킹된 협업 워크스페이스(collaboration workspace) 내에서 웹 소켓 연결을 통해 데스크탑을 공유하기 위한 방법, 장치, 및 컴퓨터 판독 가능 매체
JP2021533456A (ja) ネットワーク化された共同ワークスペースにおいてウェブ・ソケット接続を介して拡充ノート・データ・オブジェクトを伝えるための方法、装置及びコンピュータ可読媒体
JP2017157057A (ja) 表示制御装置
US20230396854A1 (en) Multilingual captions
KR20210010567A (ko) 네트워킹된 협업 워크스페이스에서 웹 소켓 연결을 통해 크로핑된 이미지를 전파하기 위한 방법, 기기, 및 컴퓨터 판독 가능 매체
Kuisma Opportunities and challenges of touch interfaces: Analysing mobile usability with heuristic evaluation
Çalışkan et al. Mobile Accessibility in Touchscreen Devices: Implications from a Pilot Study with Blind Users on iOS Applications in iPhone and iPad

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131218

R150 Certificate of patent or registration of utility model

Ref document number: 5442727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250