JP4762070B2 - 手書き入力装置、手書き入力方法、及びコンピュータプログラム - Google Patents

手書き入力装置、手書き入力方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP4762070B2
JP4762070B2 JP2006197408A JP2006197408A JP4762070B2 JP 4762070 B2 JP4762070 B2 JP 4762070B2 JP 2006197408 A JP2006197408 A JP 2006197408A JP 2006197408 A JP2006197408 A JP 2006197408A JP 4762070 B2 JP4762070 B2 JP 4762070B2
Authority
JP
Japan
Prior art keywords
gesture
input
determined
handwriting
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006197408A
Other languages
English (en)
Other versions
JP2008027082A (ja
Inventor
尚美 岩山
勝彦 秋山
健次 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006197408A priority Critical patent/JP4762070B2/ja
Priority to CNB2006101446373A priority patent/CN100524184C/zh
Priority to US11/595,885 priority patent/US7796818B2/en
Publication of JP2008027082A publication Critical patent/JP2008027082A/ja
Application granted granted Critical
Publication of JP4762070B2 publication Critical patent/JP4762070B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Description

本発明は、スタイラスペン、ペン型タブレット等のペン型入力装置を用いて、コンピュータの表示画面上の入力領域に手書きで入力することが可能な手書き入力装置、手書き入力方法、及びコンピュータプログラムに関する。
スタイラスペン、ペン型タブレット等のペン型入力装置を用いて、コンピュータの表示画面上で手書き文字の筆跡の入力を行う手書き入力装置が多々開発されている。多くの手書き入力装置は、筆跡の入力であるのか、コマンドの入力であるのかを区別するために、ボタンの選択等により入力のモードを切り替える手段を備えている。例えば、表示画面上の筆跡を削除する場合には、削除モードに切り替えるコマンドを実行するためのボタンを選択し、その後に削除対象となる筆跡入力の上でペンを動かす等の操作を行う必要が有り、2段階の操作が必要となる。また、通常ボタン領域は画面の端部に設けられており、ボタン領域から離れた部分にて筆跡入力を行っていた場合、コマンド実行のためのボタンを選択するためには、ペンを大きく移動させる必要があるという不便さがあった。
所定の条件を具備する筆跡の入力を受け付けた場合には、筆跡の入力ではなくジェスチャの入力であると判断し、該ジェスチャと対応付けて記憶されているコマンドを実行するようにすることで、ユーザが入力のモード切り替えを行うことなく筆跡の入力とコマンドの入力とを区別する方法も開示されている。この方法では、ジェスチャの入力であると判定される所定の条件を具備する筆跡の入力を行いたい場合であっても、ユーザの意図に反してジェスチャの入力であると判定されるおそれがあり、その筆跡の入力ができないという問題点があった。そこで、筆跡の入力とジェスチャの入力との区別を、ユーザの意図を反映して行うことができる方法が開示されている。
例えば特許文献1では、ユーザが入力した筆跡入力が所定の条件を具備する場合、該筆跡入力を消去して、該ジェスチャに対応付けて記憶してある所定の記号を表示する。所定の記号がユーザにより選択された場合、消去された筆跡入力を復活させて再表示する。
特開平8−006706号公報
しかし、従来の手書き入力装置では、筆跡入力であるか否かを入力が完了した時点で行っていた。したがって、入力が完了するまで筆跡入力であるのかジェスチャ入力であるのか、ユーザが確認する手段が無く、ユーザの意に反してジェスチャであると判定されるおそれが残されているという問題点があった。例えば、塗りつぶし領域を検出した場合にジェスチャの入力であると判断する場合、手書き入力では十分に塗りつぶし領域とならない可能性がある。この場合、ジェスチャの入力であると判定されず、塗りつぶし途上の筆跡が筆跡入力として受け付けられてしまうという問題点があった。また、確実にジェスチャの入力であると判断されるために、必要以上に塗りつぶし入力を行う必要があり、ユーザの意図に合致した筆跡入力を行うことが困難であるという問題点が残されていた。
本発明は斯かる事情に鑑みてなされたものであり、筆跡入力であるか、ジェスチャの入力であるかを確実に判別することができ、ユーザの意図に沿った手書き入力をモード切り替え無しに行うことができる手書き入力装置、手書き入力方法、及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために発明に係る手書き入力装置は、ジェスチャの種類に対応付けた実行コマンドを記憶しておき、画面上で受け付けたジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示する手書き入力装置において、筆跡入力を受け付けているか否かを判断する第1の判断手段と、該第1の判断手段で筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新する筆跡表示更新手段と、筆跡入力の受付が完了したか否かを判断する第2の判断手段と、該第2の判断手段で受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断する第3の判断手段と、該第3の判断手段でジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別する手段と、該手段で判別したジェスチャの種類に対応する実行コマンドを読み出す手段と、ジェスチャの入力である旨を示す表示を行うジェスチャ判断表示手段と、ジェスチャの入力が完了したか否かを判断する第4の判断手段と、ジェスチャの画面上での座標値が一定であるか否かを判断する座標値判断手段と、前記第3の判断手段でジェスチャの入力であると判断し、前記座標値判断手段で座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断する第5の判断手段とを備え、該第5の判断手段で所定の時間が経過したと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更し、前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新するようにしてあり、前記第4の判断手段でジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行するようにしてあることを特徴とする。
発明に係る手書き入力装置は、前記第3の判断手段でジェスチャの入力であると判断した場合、前記第4の判断手段でジェスチャの入力が完了したと判断したときに、ポインティングデバイスが指示している画面上の近傍にて所定のアイコンを表示する手段と、該手段で表示されたアイコンが選択されたか否かを判断する第6の判断手段とを備え、該第6の判断手段で選択されたと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更し、前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新するようにしてあることを特徴とする。
発明に係る手書き入力装置は、前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させるようにしてあることを特徴とする。
発明に係る手書き入力装置は、前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させる時間間隔を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする。
発明に係る手書き入力装置は、前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データの色を変更するようにしてあることを特徴とする。
発明に係る手書き入力装置は、前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データの色を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする。
発明に係る手書き入力装置は、前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すテキストデータを表示するようにしてあることを特徴とする。
発明に係る手書き入力方法は、ジェスチャの種類に対応付けた実行コマンドを記憶し、画面上で受け付けたジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示する手書き入力方法において、筆跡入力を受け付けているか否かを判断し、筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新し、筆跡入力の受付が完了したか否かを判断し、受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断し、ジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別し、判別したジェスチャの種類に対応する実行コマンドを読み出し、ジェスチャの入力である旨を示す表示を行い、ジェスチャの入力が完了したか否かを判断し、ジェスチャの入力が完了していないと判断した場合、ジェスチャの画面上での座標値が一定であるか否かを判断し、ジェスチャの入力であると判断し、前記座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断し、所定の時間が経過したと判断した場合、ジェスチャの入力であるか否かの判断結果を、ジェスチャの入力でないと変更し、前記表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新し、ジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行することを特徴とする。
発明に係るコンピュータプログラムは、ジェスチャの種類に対応付けた実行コマンドを記憶しておき、画面上で受け付けたジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、筆跡入力を受け付けているか否かを判断する第1の判断手段、該第1の判断手段で筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新する筆跡表示更新手段、筆跡入力の受付が完了したか否かを判断する第2の判断手段、該第2の判断手段で受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断する第3の判断手段、該第3の判断手段でジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別する手段、該手段で判別したジェスチャの種類に対応する実行コマンドを読み出す手段、ジェスチャの入力である旨を示す表示を行うジェスチャ判断表示手段、ジェスチャの入力が完了したか否かを判断する第4の判断手段、ジェスチャの画面上での座標値が一定であるか否かを判断する座標値判断手段と、前記第3の判断手段でジェスチャの入力であると判断し、前記座標値判断手段で座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断する第5の判断手段、該第5の判断手段で所定の時間が経過したと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更する手段、前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新する手段、及び該第の判断手段でジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行する手段として機能させることを特徴とする。
発明では、ジェスチャの種類に対応付けた実行コマンドを記憶し、画面上で受け付けた該ジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示する。筆跡入力を受け付けているか否かを判断し、筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新する。筆跡入力の受付が完了したか否かを判断し、受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断する。ジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別し、判別したジェスチャの種類に対応する実行コマンドを読み出し、ジェスチャの入力である旨を示す表示を行う。ジェスチャの入力が完了したか否かを判断し、ジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行する。これにより、ジェスチャの入力が完了する前の時点であっても、ジェスチャの入力であると判断されている旨を表示することにより、ユーザがジェスチャの入力であると判断されたか否かを確認することができ、不要なジェスチャの入力を継続することなくジェスチャに対応付けて記憶されているコマンドを実行することが可能となる。
発明では、ジェスチャの入力であると判断した場合、ジェスチャ入力の画面上の座標値が一定であると判断したとき、ジェスチャの入力が完了したと判断するまでに所定の時間が経過したか否かを判断する。所定の時間が経過したと判断した場合、ジェスチャの入力でないと判断結果を変更し、ジェスチャの入力でないと判断された旨を示す表示へ更新する。これにより、ジェスチャに割当てられている筆跡入力を行う場合には、ジェスチャであると判断され、ジェスチャの入力である旨を示す表示を確認してから所定時間以上筆跡入力を更新せずに放置することで、コマンドが実行されないよう動作を制御することができる。例えば既に筆跡入力されている文字に重ねて「×」印をジェスチャとして入力した場合、更新された表示、「×」の筆跡と交差している筆跡入力の表示データがコマンドにより削除されるよう設定されているときには、「×」印の色表示が更新された状態で一定時間放置する。このようにすることで、筆跡入力が削除されることなく「×」印の筆跡入力を受け付けることが可能となる。
発明では、ジェスチャの入力であると判断された場合、ジェスチャの入力が完了したと判断されたときに、ポインティングデバイスが指示している画面上の近傍にて所定のアイコンを表示する。表示されたアイコンが選択された場合、ジェスチャの入力でないと判断結果を変更し、ジェスチャの入力でないと判断された旨を示す表示へ更新する。これにより、アイコンを選択することで、ジェスチャの入力が完了した後であってもジェスチャであるとの判断を容易にキャンセルすることができ、ジェスチャに対応付けられているコマンドを実行することなく筆跡入力を画面に再表示することが可能となる。
発明では、ジェスチャの入力であると判断した場合、ジェスチャの入力であると判断された筆跡入力に係る表示データを点滅表示させる。また、ジェスチャの入力であると判断された筆跡入力に係る表示データを点滅表示させる時間間隔は、判別されたジェスチャの種類に応じて変更することが好ましい。
発明では、ジェスチャの入力であると判断した場合、ジェスチャの入力であると判断された筆跡入力に係る表示データの色を変更する。また、ジェスチャの入力であると判断された筆跡入力に係る表示データの色は、判別されたジェスチャの種類に応じて変更することが好ましい。
発明では、ジェスチャの入力であると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すテキストデータを表示する。もちろん表示するテキストデータは、判別されたジェスチャの種類に応じて変更することが好ましい。
これらの他、ジェスチャの入力であると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すアイコンを表示しても良いし、ジェスチャの入力であると判断された筆跡入力に係る表示データを指示するカーソルの形状を変更して表示しても良い。いずれも判別されたジェスチャの種類に応じて表示を変更することが好ましいことは言うまでもない。
このように、ジェスチャの入力であると判断された旨を、視覚により確実に判断することができ、ユーザの意図に応じて継続して筆跡入力する、又はジェスチャの入力を完了することにより、モード切替ボタンを用いることなく、ユーザの意図に沿った筆跡入力を行うことが可能となる。
発明によれば、ジェスチャの入力が完了する前の時点であっても、ジェスチャの入力であると判断された時点でその旨が表示されることにより、ユーザが視覚によりジェスチャの入力であると判断された旨を確認することができ、不要なジェスチャの入力を継続することなくジェスチャに対応付けて記憶されているコマンドを実行することが可能となる。
発明によれば、ジェスチャに割当てられている筆跡入力を行う場合には、ジェスチャであると判断され、ジェスチャの入力であると判断された旨が表示されたのを確認してから所定時間以上筆跡入力を更新せずに放置することで、コマンドが実行されないよう動作を制御することができる。例えば既に筆跡入力されている文字に重ねて「×」印をジェスチャとして入力した場合、更新された表示、「×」の筆跡と交差している筆跡入力の表示データがコマンドにより削除されるよう設定されているときには、「×」印の色表示が更新された状態で一定時間放置する。このようにすることで、筆跡入力が削除されることなく「×」印の筆跡入力を受け付けることが可能となる。
発明によれば、アイコンを選択することで、ジェスチャの入力が完了した後であってもジェスチャであるとの判断を容易にキャンセルすることができ、ジェスチャに対応付けられているコマンドを実行することなく筆跡入力を画面に表示することが可能となる。
発明によれば、ジェスチャの入力であると判断された旨を、視覚により確実に判断することができ、ユーザの意図に応じて継続して筆跡入力する、又はジェスチャの入力を完了することにより、モード切替ボタンを用いることなく、ユーザの意図に沿った筆跡入力を行うことが可能となる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図1は、本発明の実施の形態に係る手書き入力装置1の構成を示すブロック図である。手書き入力装置1は、装置全体を制御するCPU等の制御手段11、本発明の実施の形態に係る手書き入力装置1で実行可能なコンピュータプログラム101及びデータ等の各種情報を記録したCD−ROM等の記録媒体102から各種情報を読み取るCD−ROMドライブ等の補助記憶手段12、補助記憶手段12により読み取った各種情報を記録するハードディスク等の記録手段13を備えている。そして記録手段13から本発明に係るコンピュータプログラム101及びデータ等の各種情報を読み取り、情報を一時的に記憶するRAM等の記憶手段14に記憶させてコンピュータプログラム101に含まれる各種手順を制御手段11により実行することで、コンピュータは、本発明に係る手書き入力装置1として動作する。
手書き入力装置1は、さらに外部とデータ通信する通信手段15、スタイラスペン、ペン型タブレット等の手書き入力手段16、及びモニタ等の表示手段17を備えている。手書き入力手段16は表示手段17と一体化されており、表示手段17に表示されている画像に対して筆跡、ジェスチャ等の入力を受け付け、受け付けた入力は、内部バス18を介して制御手段11へ送られる。
図2は、本発明の実施の形態に係る手書き入力装置1の制御手段11の手書き入力処理の手順を示すフローチャートである。手書き入力装置1の制御手段11は、筆跡の入力を受け付けたか否かを判断し(ステップS201)、制御手段11は筆跡の入力を受け付けるまで待ち状態となる(ステップS201:NO)。制御手段11が、筆跡の入力を受け付けたと判断した場合(ステップS201:YES)、制御手段11は、受け付けた筆跡入力の画面上での座標値を取得する(ステップS202)。制御手段11は、取得した座標値を記憶手段14に1ストローク単位で記憶する(ステップS203)。なお、1ストロークの座標値とは、画面上にペンダウンしてからペンアップするまでの連続した座標群を意味しており、以下、筆跡入力情報という。制御手段11は、取得した座標値に基づいて表示手段17の筆跡表示を更新する(ステップS204)。
図3は、本発明の実施の形態に係る手書き入力装置1の記憶手段14に記憶される筆跡入力情報の一例を示す図である。本実施の形態では、入力される筆跡ごとに筆跡を識別する情報である筆跡IDを付与し、筆跡IDごとにペンダウンした画面上の座標値、ペンダウンしてから一定のサンプリング時間ごとに取得した画面上の座標値、ペンアップした画面上の座標値として記憶手段14に記憶する。画面上に表示する場合には、サンプリングされた座標値に基づいて例えばスプライン補間等により補間して表示する。もちろん、サンプリング時間間隔を短くし、隣接する座標間を一次近似して表示しても良い。これにより、ペンダウンしてからペンアップするまでの筆跡を画面に表示することができる。
制御手段11は、該筆跡入力がジェスチャの入力であるか否かを判断する(ステップS205)。筆跡入力がジェスチャの入力であるか否かを判断する手段は特に限定されるものではない。本実施の形態では、筆跡入力が一定数以上の鋭角部分を有するか否かでジェスチャの入力であるか否かを判断する。もちろん、判断するための条件はこれに限定されるものではなく、略閉曲線を所定数以上繰り返す、閉領域を塗りつぶす等、筆跡が特定可能な条件であれば何でも良い。
図4は、手書き文字「あいえ」を入力した表示画面の例示図である。図4の例では、ユーザが、手書き文字「え」を削除する目的で、ジグザグ線31を入力している。ジグザグ線31は、鋭角に折れ曲がる折部を複数箇所有することから、ペンダウンしてからの筆跡の座標値に基づいて、折部の数を計数する。
記憶手段14には、ジェスチャの入力として判断される条件が記憶されている。図5は、本発明の実施の形態に係る手書き入力装置1の記憶手段14に記憶されているジェスチャ情報記憶部のデータ構成の例示図である。
ジェスチャ情報記憶部には、ジェスチャの種類を識別する情報であるジェスチャIDに対応付けて、該ジェスチャと判断されるために必要な一又は複数の条件、及び該ジェスチャに対応付けた実行コマンドが記憶されている。制御手段11が、筆跡入力がジェスチャの入力ではないと判断した場合(ステップS205:NO)、筆跡の入力の受け付けが完了したか否かを判断する(ステップS206)。制御手段11が、筆跡の入力の受け付けが完了していないと判断した場合(ステップS206:NO)、制御手段11は、処理をステップS201へ戻し、上述した処理を繰り返す。制御手段11が、筆跡の入力の受け付けが完了したと判断した場合(ステップS206:YES)、制御手段11は、通常の筆跡入力として処理する(ステップS207)。
制御手段11が、筆跡入力がジェスチャの入力であると判断した場合(ステップS205:YES)、制御手段11は、ジェスチャ情報記憶部から、該条件に合致するジェスチャの種類を示すジェスチャIDを特定して、特定されたジェスチャIDに対応する実行コマンドを読み出す(ステップS208)。続いて制御手段11は、表示部17にジェスチャの判定結果の表示を行う(ステップS209)。制御手段11は、ジェスチャの入力が完了したか否か、すなわちペンアップしたか否かを判断する(ステップS210)。
制御手段11が、ジェスチャの入力が完了していないと判断した場合(ステップS210:NO)、制御手段11は、処理をステップS201へ戻し、上述した処理を繰り返す。図6は、手書き文字「あいえ」を入力した表示画面上で入力された実線のジグザグ線31が、ジェスチャの入力であると判断された旨を示す表示として破線のジグザグ線32へ更新された場合の例示図である。
このようにジェスチャの入力途上であっても、ジャスチャの入力であると判断された時点でジェスチャの入力である旨を示す表示がなされることにより、ユーザは視覚的にジェスチャの入力であると認識された旨を知ることができる。したがって、ユーザが該ジェスチャの入力により何らかのコマンドを実行したい場合には、これ以上筆跡の入力を継続する必要が無く、筆跡の入力を完了する、すなわちペンアップすることで、無駄な筆跡入力を行うことなく所望のコマンドを実行することができる。
図7は、手書き文字「あいえ」を入力した表示画面上でペンアップによりコマンドが実行された場合の表示例を示す図である。図7の例では、ジェスチャの入力により実行するコマンドが、入力されたジェスチャと交差している、既に入力された筆跡データの削除である場合を示している。図7に示すように、ペンアップすることによりジェスチャの入力が完了し、該ジェスチャに対応するコマンドが実行され、ジェスチャと交差している手書き文字「え」が削除されている。
なお、ジェスチャの入力である旨を表示する手段は、実線を破線に更新することに限定されるものではない。例えば、筆跡の表示データを点滅表示させても良い。この場合、点滅表示させる時間間隔を、ジェスチャの種類に応じて変更することにより、どのコマンドが実行されるのかユーザが視覚的に把握することが可能となる。
また、筆跡の表示データの表示色を変更しても良い。例えば通常の筆跡入力は‘黒’で表示するのに対し、ジェスチャの入力であると判断された筆跡は‘赤’等で表示する。また、表示色をジェスチャの種類に応じて変更することにより、どのコマンドが実行されるのかユーザが視覚的に把握することが可能となる。
さらに、筆跡が表示されている画面上の位置の近傍に、ジェスチャの入力であると判断された旨を示すテキストデータを表示しても良い。この場合、表示するテキストデータを、ジェスチャの種類に応じて変更することにより、どのコマンドが実行されるのかユーザが視覚的に把握することが可能となる。
また、筆跡が表示されている画面上の位置の近傍に、ジェスチャの入力であると判断された旨を示すアイコンを表示しても良い。この場合も、表示するアイコンを、ジェスチャの種類に応じて変更することにより、どのコマンドが実行されるのかユーザが視覚的に把握することが可能となる。
さらに、画面上に表示されている筆跡(ジェスチャ)の表示データを指示するカーソルの形状を変更して表示しても良い。例えばジェスチャの入力であると判断されるまではペン型のカーソルを表示し、ジェスチャの入力であると判断された後は、消しゴム型のカーソルを表示する。もちろん、表示するカーソルを、ジェスチャの種類に応じて変更することにより、どのコマンドが実行されるのかユーザが視覚的に把握することが可能となる。
制御手段11が、ジェスチャの入力が完了したと判断した場合(ステップS210:YES)、制御手段11は、読み出した実行コマンドを実行する(ステップS211)。これにより、ユーザが意識したタイミング、すなわちジェスチャの入力を停止したタイミングでジェスチャに対応付けられたコマンドを実行することが可能となる。
以上のように本実施の形態によれば、ジェスチャの入力が完了する前の時点であっても、入力された筆跡がジェスチャの入力であると判断された時点でジェスチャの入力である旨を示す表示がなされることにより、ユーザが視覚的にジェスチャの入力であると認識された事実を確認することができ、不要なジェスチャの入力を継続することなくジェスチャに対応付けて記憶されているコマンドを実行することが可能となる。
なお、入力された筆跡がジェスチャの入力であると判断された場合に、一定時間ジェスチャの筆跡の入力が継続されなかった場合には、ジェスチャの入力ではないと判断されることが好ましい。すなわちユーザはジェスチャを入力していると意図していないのに、手書き入力装置1の制御手段11はジェスチャであると誤認識した事実を、ジェスチャの入力であると判断された旨を示す表示がなされたことによりユーザが把握した場合、斯かる制御手段11の判断をキャンセルする方法を準備しておくべきだからである。図8は、本発明の実施の形態に係る手書き入力装置1の制御手段11のジェスチャの入力である場合の処理手順を示すフローチャートである。
手書き入力装置1の制御手段11が、入力された筆跡はジェスチャの入力であると判断した場合(ステップS205:YES)、制御手段11は、ジェスチャ情報記憶部から、該条件に合致するジェスチャの種類を示すジェスチャIDを特定して、特定されたジェスチャIDに対応する実行コマンドを読み出す(ステップS801)。制御手段11は、表示部17にジェスチャの判定結果の表示を行い(ステップS802)、ジェスチャの入力が完了したか否か、すなわちペンアップしたか否かを判断する(ステップS803)。
制御手段11が、ジェスチャの入力が完了していないと判断した場合(ステップS803:NO)、制御手段11は、ジェスチャの入力が停止したか否かを判断する(ステップS804)。ジェスチャの入力が停止したか否かは、ペンアップされずに筆跡入力が更新されているか否かにより判断する。
制御手段11が、ジェスチャの入力が停止していないと判断した場合(ステップS804:NO)、制御手段11は、ユーザがジェスチャを意識して入力しているものと判断し、処理をステップS201へ戻す。制御手段11が、ジェスチャの入力が停止したと判断した場合(ステップS804:YES)、制御手段11は、内蔵しているタイマ等を用いて計時をリセット・開始し(ステップS805)、所定時間が経過したか否かを判断する(ステップS806)。制御手段11が、所定時間経過していないと判断した場合(ステップS806:NO)、制御手段11は、ジェスチャの入力停止が継続しているか否かを判断する(ステップS807)。
制御手段11が、ジェスチャの入力停止が継続していると判断した場合(ステップS807:YES)、制御手段11は、処理をステップS806へ戻す。制御手段11が、ジェスチャの入力停止が継続していないと判断した場合(ステップS807:NO)、制御手段11は、処理をステップS201へ戻す。
制御手段11が、所定時間経過したと判断した場合(ステップS806:YES)、制御手段11は、ユーザが意図していないジェスチャの入力であると判断し、表示手段17に表示されているジェスチャの入力であるか否かの判定結果を、ジェスチャの入力ではない旨の表示へ更新する(ステップS808)。図9は、手書き文字「あいえ」を入力した表示画面上でジェスチャと判定された旨を示す破線のジグザグ線32が、ジェスチャと判定される前のジグザグ線31と同様の実線のジグザグ線33へ更新された例示図である。このように、一定時間ペンアップせずに待機することにより、ユーザはジェスチャではないという意思表示をすることができ、ジェスチャに対応付けられた実行コマンドの実行を未然に防止することが可能となる。
制御手段11が、ジェスチャの入力が完了したと判断した場合(ステップS803:YES)、制御手段11は、読み出した実行コマンドを実行する(ステップS809)。これにより、ユーザが意識したタイミング、すなわちジェスチャの入力を停止したタイミングでジェスチャに対応付けられたコマンドを実行することが可能となる。
また、入力された筆跡がジェスチャの入力であると判断された場合に、ジェスチャの入力が完了したと判断された時点で、ポインティングデバイスが指示している画面上の近傍にて実行コマンドのキャンセルを指示するためのアイコンを一定時間表示しても良い。この場合、ジェスチャであると意識していないユーザが誤ってペンアップしたことにより、実行コマンドが実行され、例えば本来は削除する意思のない筆跡入力が削除された場合であっても、一定時間表示されているアイコンを選択することにより、復元することが可能となる。
図10は、本発明の実施の形態に係る手書き入力装置1の制御手段11のジェスチャの入力を完了した場合の復元処理の手順を示すフローチャートである。手書き入力装置1の制御手段11が、ジェスチャの入力が完了したと判断した場合(ステップS803:YES)、制御手段11は、読み出した実行コマンドを実行する(ステップS1001)。制御手段11は、実行されたコマンドのキャンセルを指示するアイコンを画面上に表示し(ステップS1002)、内蔵しているタイマ等により計時を開始する(ステップS1003)。
制御手段11は、表示されたアイコンが選択されたか否かを判断する(ステップS1004)。制御手段11が、アイコンが選択されていないと判断した場合(ステップS1004:NO)、制御手段11は、所定の時間が経過したか否かを判断する(ステップS1005)。
制御手段11が、所定の時間経過していないと判断した場合(ステップS1005:NO)、制御手段11は、処理をステップS1004へ戻し、上述の処理を繰り返す。制御手段11が、所定の時間経過したと判断した場合(ステップS1005:YES)、制御手段11は、ユーザがジェスチャにより実行された実行コマンドをキャンセルする意思がないものと判断し、表示されているアイコンを削除する(ステップS1006)。
制御手段11が、アイコンが選択されたと判断した場合(ステップS1004:YES)、制御手段11は、該ジェスチャにより実行された実行コマンドが、ユーザの意図する処理ではないと判断し、実行された実行コマンドをキャンセルする(ステップS1007)。例えば実行コマンドが、ジェスチャと交差している筆跡の削除であった場合には、筆跡及びジェスチャが画面上に復元して表示される。
このようにすることで、アイコンを選択することにより、ジェスチャの入力が完了した後であってもジェスチャであるとの判断を容易にキャンセルすることができ、ジェスチャに対応付けられているコマンドを実行することなく筆跡入力を画面に再表示することが可能となる。
以上の実施の形態に関し、さらに以下の付記を開示する。
(付記1)
ジェスチャの種類に対応付けた実行コマンドを記憶しておき、画面上で受け付けた該ジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示する手書き入力装置において、
筆跡入力を受け付けているか否かを判断する第1の判断手段と、
該第1の判断手段で筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新する筆跡表示更新手段と、
筆跡入力の受付が完了したか否かを判断する第2の判断手段と、
該第2の判断手段で受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断する第3の判断手段と、
該第3の判断手段でジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別する手段と、
該手段で判別したジェスチャの種類に対応する実行コマンドを読み出す手段と、
ジェスチャの入力である旨を示す表示を行うジェスチャ判断表示手段と、
ジェスチャの入力が完了したか否かを判断する第4の判断手段と
を備え、
該第3の判断手段でジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行するようにしてあることを特徴とする手書き入力装置。
(付記2)
ジェスチャの画面上での座標値が一定であるか否かを判断する座標値判断手段と、
前記第3の判断手段でジェスチャの入力であると判断した場合、前記座標値判断手段で座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断する第5の判断手段を備え、
該第5の判断手段で所定の時間が経過したと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更し、
前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新するようにしてあることを特徴とする付記1記載の手書き入力装置。
(付記3)
前記第3の判断手段でジェスチャの入力であると判断した場合、前記第4の判断手段でジェスチャの入力が完了したと判断したときに、ポインティングデバイスが指示している画面上の近傍にて所定のアイコンを表示する手段と、
該手段で表示されたアイコンが選択されたか否かを判断する第6の判断手段と
を備え、
該第6の判断手段で選択されたと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更し、
前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新するようにしてあることを特徴とする付記1記載の手書き入力装置。
(付記4)
前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させるようにしてあることを特徴とする付記1乃至3のいずれか1つに記載の手書き入力装置。
(付記5)
前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させる時間間隔を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記4記載の手書き入力装置。
(付記6)
前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データの色を変更するようにしてあることを特徴とする付記1乃至3のいずれか1つに記載の手書き入力装置。
(付記7)
前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データの色を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記6記載の手書き入力装置。
(付記8)
前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すテキストデータを表示するようにしてあることを特徴とする付記1乃至3のいずれか1つに記載の手書き入力装置。
(付記9)
前記ジェスチャ判断表示手段は、前記テキストデータを、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記8記載の手書き入力装置。
(付記10)
前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すアイコンを表示するようにしてあることを特徴とする付記1乃至3のいずれか1つに記載の手書き入力装置。
(付記11)
前記ジェスチャ判断表示手段は、前記アイコンを、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記10記載の手書き入力装置。
(付記12)
前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを指示するカーソルの形状を変更して表示するようにしてあることを特徴とする付記1乃至3のいずれか1つに記載の手書き入力装置。
(付記13)
前記ジェスチャ判断表示手段は、前記カーソルの形状を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記12記載の手書き入力装置。
(付記14)
ジェスチャの種類に対応付けた実行コマンドを記憶し、画面上で受け付けた該ジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示する手書き入力方法において、
筆跡入力を受け付けているか否かを判断し、
筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新し、
筆跡入力の受付が完了したか否かを判断し、
受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断し、
ジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別し、
判別したジェスチャの種類に対応する実行コマンドを読み出し、
ジェスチャの入力である旨を示す表示を行い、
ジェスチャの入力が完了したか否かを判断し、
ジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行することを特徴とする手書き入力方法。
(付記15)
ジェスチャの画面上での座標値が一定であるか否かを判断し、
ジェスチャの入力であると判断した場合、座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断し、
所定の時間が経過したと判断した場合、ジェスチャの入力でないと判断結果を変更し、
ジェスチャの入力でないと判断された旨を示す表示へ更新することを特徴とする付記14記載の手書き入力方法。
(付記16)
ジェスチャの入力であると判断した場合、ジェスチャの入力が完了したと判断したときに、ポインティングデバイスが指示している画面上の近傍にて所定のアイコンを表示し、
表示されたアイコンが選択されたか否かを判断し、
選択されたと判断した場合、ジェスチャの入力でないと判断結果を変更し、
ジェスチャの入力でないと判断された旨を示す表示へ更新することを特徴とする付記14記載の手書き入力方法。
(付記17)
ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させることを特徴とする付記14乃至16のいずれか1つに記載の手書き入力方法。
(付記18)
ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させる時間間隔を、判別したジェスチャの種類に応じて変更することを特徴とする付記17記載の手書き入力方法。
(付記19)
ジェスチャであると判断された筆跡入力に係る表示データの色を変更することを特徴とする付記14乃至16のいずれか1つに記載の手書き入力方法。
(付記20)
ジェスチャであると判断された筆跡入力に係る表示データの色を、判別したジェスチャの種類に応じて変更することを特徴とする付記19記載の手書き入力方法。
(付記21)
ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すテキストデータを表示することを特徴とする付記14乃至16のいずれか1つに記載の手書き入力方法。
(付記22)
前記テキストデータを、判別したジェスチャの種類に応じて変更することを特徴とする付記21記載の手書き入力方法。
(付記23)
ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すアイコンを表示することを特徴とする付記14乃至16のいずれか1つに記載の手書き入力方法。
(付記24)
前記アイコンを、判別したジェスチャの種類に応じて変更することを特徴とする付記23記載の手書き入力方法。
(付記25)
ジェスチャであると判断された筆跡入力に係る表示データを指示するカーソルの形状を変更して表示することを特徴とする付記14乃至16のいずれか1つに記載の手書き入力方法。
(付記26)
前記カーソルの形状を、判別したジェスチャの種類に応じて変更することを特徴とする付記25記載の手書き入力方法。
(付記27)
ジェスチャの種類に対応付けた実行コマンドを記憶しておき、画面上で受け付けた該ジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
筆跡入力を受け付けているか否かを判断する第1の判断手段、
該第1の判断手段で筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新する筆跡表示更新手段、
筆跡入力の受付が完了したか否かを判断する第2の判断手段、
該第2の判断手段で受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断する第3の判断手段、
該第3の判断手段でジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別する手段、
該手段で判別したジェスチャの種類に対応する実行コマンドを読み出す手段、
ジェスチャの入力である旨を示す表示を行うジェスチャ判断表示手段、
ジェスチャの入力が完了したか否かを判断する第4の判断手段、及び
該第3の判断手段でジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行する手段
として機能させることを特徴とするコンピュータプログラム。
(付記28)
前記コンピュータを、
ジェスチャの画面上での座標値が一定であるか否かを判断する座標値判断手段、
前記第3の判断手段でジェスチャの入力であると判断した場合、前記座標値判断手段で座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断する第5の判断手段、
該第5の判断手段で所定の時間が経過したと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更する手段、及び
前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新する手段
として機能させることを特徴とする付記27記載のコンピュータプログラム。
(付記29)
前記コンピュータを、
前記第3の判断手段でジェスチャの入力であると判断した場合、前記第4の判断手段でジェスチャの入力が完了したと判断したときに、ポインティングデバイスが指示している画面上の近傍にて所定のアイコンを表示する手段、
該手段で表示されたアイコンが選択されたか否かを判断する第6の判断手段、
該第6の判断手段で選択されたと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更する手段、及び
前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新する手段
として機能させることを特徴とする付記27記載のコンピュータプログラム。
(付記30)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させるようにしてあることを特徴とする付記27乃至29のいずれか1つに記載のコンピュータプログラム。
(付記31)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させる時間間隔を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記30記載のコンピュータプログラム。
(付記32)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、ジェスチャであると判断された筆跡入力に係る表示データの色を変更するようにしてあることを特徴とする付記27乃至29のいずれか1つに記載のコンピュータプログラム。
(付記33)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、ジェスチャであると判断された筆跡入力に係る表示データの色を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記32記載のコンピュータプログラム。
(付記34)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すテキストデータを表示するようにしてあることを特徴とする付記27乃至29のいずれか1つに記載のコンピュータプログラム。
(付記35)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、前記テキストデータを、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記34記載のコンピュータプログラム。
(付記36)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すアイコンを表示するようにしてあることを特徴とする付記27乃至29のいずれか1つに記載のコンピュータプログラム。
(付記37)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、前記アイコンを、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記36記載のコンピュータプログラム。
(付記38)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、ジェスチャであると判断された筆跡入力に係る表示データを指示するカーソルの形状を変更して表示するようにしてあることを特徴とする付記27乃至29のいずれか1つに記載のコンピュータプログラム。
(付記39)
前記コンピュータを、
前記ジェスチャ判断表示手段にて、前記カーソルの形状を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする付記38記載のコンピュータプログラム。
本発明の実施の形態に係る手書き入力装置の構成を示すブロック図である。 本発明の実施の形態に係る手書き入力装置の制御手段の手書き入力処理の手順を示すフローチャートである。 本発明の実施の形態に係る手書き入力装置の記憶手段に記憶される筆跡入力情報の一例を示す図である。 手書き文字を入力した表示画面の例示図である。 本発明の実施の形態に係る手書き入力装置の記憶手段に記憶されているジェスチャ情報記憶部のデータ構成の例示図である。 手書き文字を入力した表示画面上で入力された実線のジグザグ線が、ジェスチャの入力であると判断された旨を示す表示として破線のジグザグ線へ更新された場合の例示図である。 手書き文字を入力した表示画面上でペンアップによりコマンドが実行された場合の表示例を示す図である。 本発明の実施の形態に係る手書き入力装置の制御手段のジェスチャの入力である場合の処理手順を示すフローチャートである。 手書き文字を入力した表示画面上でジェスチャと判定された旨を示す破線のジグザグ線が、実線のジグザグ線へ更新された例示図である。 本発明の実施の形態に係る手書き入力装置の制御手段のジェスチャの入力を完了した場合の復元処理の手順を示すフローチャートである。
符号の説明
1 手書き入力装置
11 制御手段
14 記憶手段
17 手書き入力手段
101 コンピュータプログラム
102 記録媒体

Claims (9)

  1. ジェスチャの種類に対応付けた実行コマンドを記憶しておき、画面上で受け付けたジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示する手書き入力装置において、
    筆跡入力を受け付けているか否かを判断する第1の判断手段と、
    該第1の判断手段で筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新する筆跡表示更新手段と、
    筆跡入力の受付が完了したか否かを判断する第2の判断手段と、
    該第2の判断手段で受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断する第3の判断手段と、
    該第3の判断手段でジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別する手段と、
    該手段で判別したジェスチャの種類に対応する実行コマンドを読み出す手段と、
    ジェスチャの入力である旨を示す表示を行うジェスチャ判断表示手段と、
    ジェスチャの入力が完了したか否かを判断する第4の判断手段と
    ジェスチャの画面上での座標値が一定であるか否かを判断する座標値判断手段と、
    前記第3の判断手段でジェスチャの入力であると判断し、前記座標値判断手段で座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断する第5の判断手段と
    を備え、
    該第5の判断手段で所定の時間が経過したと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更し、
    前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新するようにしてあり、
    前記第4の判断手段でジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行するようにしてあることを特徴とする手書き入力装置。
  2. 前記第3の判断手段でジェスチャの入力であると判断した場合、前記第4の判断手段でジェスチャの入力が完了したと判断したときに、ポインティングデバイスが指示している画面上の近傍にて所定のアイコンを表示する手段と、
    該手段で表示されたアイコンが選択されたか否かを判断する第6の判断手段と
    を備え、
    該第6の判断手段で選択されたと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更し、
    前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新するようにしてあることを特徴とする請求項1記載の手書き入力装置。
  3. 前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させるようにしてあることを特徴とする請求項1又は2に記載の手書き入力装置。
  4. 前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを点滅表示させる時間間隔を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする請求項記載の手書き入力装置。
  5. 前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データの色を変更するようにしてあることを特徴とする請求項1又は2に記載の手書き入力装置。
  6. 前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データの色を、判別したジェスチャの種類に応じて変更するようにしてあることを特徴とする請求項記載の手書き入力装置。
  7. 前記ジェスチャ判断表示手段は、ジェスチャであると判断された筆跡入力に係る表示データを表示する位置の近傍に、ジェスチャの入力であると判断された旨を示すテキストデータを表示するようにしてあることを特徴とする請求項1又は2に記載の手書き入力装置。
  8. ジェスチャの種類に対応付けた実行コマンドを記憶し、画面上で受け付けたジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示する手書き入力方法において、
    筆跡入力を受け付けているか否かを判断し、
    筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新し、
    筆跡入力の受付が完了したか否かを判断し、
    受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断し、
    ジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別し、
    判別したジェスチャの種類に対応する実行コマンドを読み出し、
    ジェスチャの入力である旨を示す表示を行い、
    ジェスチャの入力が完了したか否かを判断し、
    ジェスチャの入力が完了していないと判断した場合、ジェスチャの画面上での座標値が一定であるか否かを判断し、
    ジェスチャの入力であると判断し、前記座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断し、
    所定の時間が経過したと判断した場合、ジェスチャの入力であるか否かの判断結果を、ジェスチャの入力でないと変更し、
    前記表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新し、
    ジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行することを特徴とする手書き入力方法。
  9. ジェスチャの種類に対応付けた実行コマンドを記憶しておき、画面上で受け付けたジェスチャを含む筆跡入力の画面上での座標値を取得して筆跡を表示するコンピュータで実行することが可能なコンピュータプログラムにおいて、
    前記コンピュータを、
    筆跡入力を受け付けているか否かを判断する第1の判断手段、
    該第1の判断手段で筆跡入力を受け付けていると判断した場合、筆跡の表示データを更新する筆跡表示更新手段、
    筆跡入力の受付が完了したか否かを判断する第2の判断手段、
    該第2の判断手段で受付が完了していないと判断した場合、該筆跡入力がジェスチャの入力であるか否かを判断する第3の判断手段、
    該第3の判断手段でジェスチャの入力であると判断した場合、該ジェスチャの画面上での座標値に基づいてジェスチャの種類を判別する手段、
    該手段で判別したジェスチャの種類に対応する実行コマンドを読み出す手段、
    ジェスチャの入力である旨を示す表示を行うジェスチャ判断表示手段、
    ジェスチャの入力が完了したか否かを判断する第4の判断手段、
    ジェスチャの画面上での座標値が一定であるか否かを判断する座標値判断手段と、
    前記第3の判断手段でジェスチャの入力であると判断し、前記座標値判断手段で座標値が一定であると判断したとき、座標値が一定である状態で所定の時間が経過したか否かを判断する第5の判断手段、
    該第5の判断手段で所定の時間が経過したと判断した場合、前記第3の判断手段の判断結果を、ジェスチャの入力でないと変更する手段、
    前記ジェスチャ判断表示手段での表示を、ジェスチャの入力でないと判断された旨を示す表示へ更新する手段、及び
    該第の判断手段でジェスチャの入力が完了したと判断した場合、該ジェスチャの入力に対応した実行コマンドを実行する手段
    として機能させることを特徴とするコンピュータプログラム。
JP2006197408A 2006-07-19 2006-07-19 手書き入力装置、手書き入力方法、及びコンピュータプログラム Expired - Fee Related JP4762070B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006197408A JP4762070B2 (ja) 2006-07-19 2006-07-19 手書き入力装置、手書き入力方法、及びコンピュータプログラム
CNB2006101446373A CN100524184C (zh) 2006-07-19 2006-11-09 手写输入方法
US11/595,885 US7796818B2 (en) 2006-07-19 2006-11-13 Freehand input method, freehand input device, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006197408A JP4762070B2 (ja) 2006-07-19 2006-07-19 手書き入力装置、手書き入力方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2008027082A JP2008027082A (ja) 2008-02-07
JP4762070B2 true JP4762070B2 (ja) 2011-08-31

Family

ID=38971486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006197408A Expired - Fee Related JP4762070B2 (ja) 2006-07-19 2006-07-19 手書き入力装置、手書き入力方法、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US7796818B2 (ja)
JP (1) JP4762070B2 (ja)
CN (1) CN100524184C (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7884805B2 (en) * 2007-04-17 2011-02-08 Sony Ericsson Mobile Communications Ab Using touches to transfer information between devices
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8416196B2 (en) * 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
CN101551723B (zh) * 2008-04-02 2011-03-23 华硕电脑股份有限公司 电子装置以及相关的控制方法
US20090300554A1 (en) * 2008-06-03 2009-12-03 Nokia Corporation Gesture Recognition for Display Zoom Feature
CN101377856B (zh) * 2008-10-07 2011-06-29 广东威创视讯科技股份有限公司 笔迹书写的方法及装置
JP2010139685A (ja) * 2008-12-11 2010-06-24 Seiko Epson Corp プロジェクター、プログラムおよび情報記憶媒体
JP2010145596A (ja) * 2008-12-17 2010-07-01 Seiko Epson Corp プロジェクター、プログラムおよび情報記憶媒体
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9123341B2 (en) * 2009-03-18 2015-09-01 Robert Bosch Gmbh System and method for multi-modal input synchronization and disambiguation
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8519960B2 (en) * 2009-09-17 2013-08-27 Aten International Co., Ltd. Method and apparatus for switching of KVM switch ports using gestures on a touch panel
EP3260969B1 (en) 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US20110125733A1 (en) * 2009-11-25 2011-05-26 Fish Nathan J Quick access utility
JP2011123833A (ja) * 2009-12-14 2011-06-23 Sony Corp 情報処理システムおよび電子ペン
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US20110148786A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated Method and apparatus for changing operating modes
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
CN101943947A (zh) * 2010-09-27 2011-01-12 鸿富锦精密工业(深圳)有限公司 交互显示系统
KR20120075845A (ko) * 2010-12-29 2012-07-09 삼성전자주식회사 터치스크린 단말기에서 메모 방법 및 장치
JP5519546B2 (ja) * 2011-01-31 2014-06-11 パナソニック株式会社 手書き文字入力装置
JP5589909B2 (ja) * 2011-03-14 2014-09-17 株式会社リコー 表示装置、表示装置のイベント切替え制御方法及びプログラム
CN102169413A (zh) * 2011-03-30 2011-08-31 黄冬明 基于视频流图像获得字符笔划线条的装置及方法
JP5723697B2 (ja) * 2011-06-30 2015-05-27 シャープ株式会社 手書き入力機能付表示装置
KR101859100B1 (ko) * 2011-07-19 2018-05-17 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
JP5695999B2 (ja) * 2011-07-26 2015-04-08 京セラ株式会社 電子機器、文章編集方法及び制御プログラム
CN102279709B (zh) * 2011-08-26 2013-01-02 中国科学院合肥物质科学研究院 一种手写笔迹信息获取方法
US9026950B2 (en) 2011-09-08 2015-05-05 Google Technology Holdings LLC Gesture-enabled settings
JP5848946B2 (ja) * 2011-10-21 2016-01-27 シャープ株式会社 入出力システム、入出力システムの制御方法、制御プログラム、および記録媒体
JP2013127692A (ja) * 2011-12-19 2013-06-27 Kyocera Corp 電子機器、削除プログラムおよび削除制御方法
CN102546643A (zh) * 2012-01-16 2012-07-04 唐桥科技(杭州)有限公司 网络会议系统中流畅实时地广播书写到异地的方法
US9052819B2 (en) 2012-01-25 2015-06-09 Honeywell International Inc. Intelligent gesture-based user's instantaneous interaction and task requirements recognition system and method
EP2631747B1 (en) 2012-02-24 2016-03-30 BlackBerry Limited Method and apparatus for providing a user interface on a device that indicates content operators
CN103294375A (zh) * 2012-02-24 2013-09-11 宇龙计算机通信科技(深圳)有限公司 终端和触屏操作处理方法
EP2631760A1 (en) 2012-02-24 2013-08-28 Research In Motion Limited Method and apparatus for providing a user interface on a device enabling selection of operations to be performed in relation to content
JP2013246665A (ja) * 2012-05-25 2013-12-09 Sharp Corp 情報端末装置、情報端末装置の制御方法及び情報端末装置用のコンピュータプログラム
DE102012020610A1 (de) * 2012-10-19 2014-04-24 Audi Ag Kraftwagen mit einem Handschrifterkennungssystem
KR102056249B1 (ko) * 2013-01-21 2019-12-16 엘지전자 주식회사 단말기 및 그 동작 방법
JP5495406B2 (ja) * 2013-01-25 2014-05-21 パナソニック株式会社 入力装置および入力方法
JP5712232B2 (ja) * 2013-01-25 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 入力装置
KR102057647B1 (ko) * 2013-02-15 2019-12-19 삼성전자주식회사 데이터 입력 방법 및 그 방법을 처리하는 전자 장치
EP2770443B1 (en) 2013-02-22 2023-10-18 Samsung Electronics Co., Ltd. Method and apparatus for making contents through writing input on touch screen
KR102206373B1 (ko) * 2013-02-22 2021-01-22 삼성전자주식회사 터치스크린에서 필기 입력을 통한 컨텐츠 작성 방법 및 장치
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US10403238B2 (en) 2014-06-03 2019-09-03 Lenovo (Singapore) Pte. Ltd. Presentation of representations of input with contours having a width based on the size of the input
US10437461B2 (en) * 2015-01-21 2019-10-08 Lenovo (Singapore) Pte. Ltd. Presentation of representation of handwriting input on display
JP6001703B2 (ja) * 2015-02-06 2016-10-05 京セラ株式会社 電子機器、文章編集方法及び制御プログラム
JP2015122114A (ja) * 2015-03-04 2015-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 入力装置
US11402991B2 (en) * 2015-12-01 2022-08-02 Myscript System and method for note taking with gestures
JPWO2017134732A1 (ja) * 2016-02-01 2018-09-27 富士通株式会社 入力装置、入力支援方法および入力支援プログラム
US20170285931A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
EP3279792A1 (en) * 2016-08-03 2018-02-07 Nagravision SA Performing a context-dependent task in a program
JP6888465B2 (ja) * 2017-07-31 2021-06-16 富士通株式会社 判定プログラム、判定方法および判定装置
JP6977408B2 (ja) * 2017-09-05 2021-12-08 株式会社リコー 情報処理システム、端末装置、情報処理方法及び情報処理プログラム
JP7102996B2 (ja) * 2018-07-10 2022-07-20 富士通株式会社 プログラム、情報処理装置及び筆跡入力判定方法
JP6678791B2 (ja) * 2019-02-28 2020-04-08 シャープ株式会社 描画像消去方法及び表示装置
CN110007787A (zh) * 2019-03-21 2019-07-12 深圳点猫科技有限公司 一种基于人工智能的网络坐标系下的插值方法,存储介质以及系统
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
CN110956674B (zh) * 2019-10-23 2022-01-21 广州视源电子科技股份有限公司 图形调整方法、装置、设备及存储介质
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
CN112132050B (zh) * 2020-09-24 2024-03-29 北京计算机技术及应用研究所 联机手写汉字识别算法及可视化关键笔画评估方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3398981B2 (ja) * 1992-07-31 2003-04-21 ソニー株式会社 手書き入力情報処理装置
US5481278A (en) * 1992-10-21 1996-01-02 Sharp Kabushiki Kaisha Information processing apparatus
JPH06242885A (ja) * 1993-02-16 1994-09-02 Hitachi Ltd 文書編集方法
JP3486459B2 (ja) * 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
JPH08212299A (ja) 1995-02-08 1996-08-20 Nippon Telegr & Teleph Corp <Ntt> 手書き入力制御方法及びその装置
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
JP3427050B2 (ja) * 2000-10-20 2003-07-14 シャープ株式会社 文書情報処理装置および文書情報処理方法
JP4050055B2 (ja) * 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
JP3986836B2 (ja) * 2002-01-31 2007-10-03 シャープ株式会社 情報端末装置、プログラム、記憶媒体、ネットワークシステム
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7886236B2 (en) 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures

Also Published As

Publication number Publication date
US7796818B2 (en) 2010-09-14
JP2008027082A (ja) 2008-02-07
CN101110006A (zh) 2008-01-23
US20080019591A1 (en) 2008-01-24
CN100524184C (zh) 2009-08-05

Similar Documents

Publication Publication Date Title
JP4762070B2 (ja) 手書き入力装置、手書き入力方法、及びコンピュータプログラム
JP2648558B2 (ja) 情報選択装置及び情報選択方法
JP4742132B2 (ja) 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP5506375B2 (ja) 情報処理装置及びその制御方法
JPH0814822B2 (ja) 命令入力装置
JP2005044026A (ja) 命令実行方法、命令実行プログラムおよび命令実行装置
KR20060118811A (ko) 문자 입력판을 디스플레이하는 장치 및 방법
JP5181896B2 (ja) 表示情報管理システム及びプログラム
JP4995056B2 (ja) 画像表示装置、その制御方法、及びプログラム
US10453425B2 (en) Information displaying apparatus and information displaying method
US10684772B2 (en) Document viewing apparatus and program
JP5888423B2 (ja) 文字入力装置、文字入力方法、文字入力制御プログラム
JP3075882B2 (ja) 文書作成編集装置
JP3855696B2 (ja) 手書き文字入力装置及びそれを実現するプログラム
JPH11305896A (ja) 文字入力装置、文字入力方法、記憶媒体
JP2007122286A (ja) 情報処理装置、情報処理装置の制御方法及びその制御方法を実行させるプログラム
JP2003140791A (ja) 情報処理装置及び情報処理装置の制御方法
JP3634686B2 (ja) 文字修正装置および文字修正方法
JP5165624B2 (ja) 情報入力装置、オブジェクト表示方法、およびコンピュータが実行可能なプログラム
JP2015176270A (ja) コンピュータの操作方法およびコンピュータ
JP4430910B2 (ja) 文字認識装置、文字認識方法、および文字認識プログラム
JP4381873B2 (ja) 情報処理装置
JPH0744308A (ja) ワードプロセッサ
JP4738777B2 (ja) 文字認識装置、文字認識方法および文字認識プログラム
WO2013176019A1 (ja) 情報入力装置、情報入力方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4762070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees