JP6427559B2 - 手書き入力のための永久同期システム - Google Patents

手書き入力のための永久同期システム Download PDF

Info

Publication number
JP6427559B2
JP6427559B2 JP2016509531A JP2016509531A JP6427559B2 JP 6427559 B2 JP6427559 B2 JP 6427559B2 JP 2016509531 A JP2016509531 A JP 2016509531A JP 2016509531 A JP2016509531 A JP 2016509531A JP 6427559 B2 JP6427559 B2 JP 6427559B2
Authority
JP
Japan
Prior art keywords
input
graphics
graphics object
column
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016509531A
Other languages
English (en)
Other versions
JP6427559B6 (ja
JP2016524205A (ja
Inventor
ボードリー,エドガール
マンソー,ドゥニ
メリナン,ロバン
ボエクホールン,アルノー
トルネリ,ニコラ
Original Assignee
マイスクリプト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイスクリプト filed Critical マイスクリプト
Publication of JP2016524205A publication Critical patent/JP2016524205A/ja
Publication of JP6427559B2 publication Critical patent/JP6427559B2/ja
Application granted granted Critical
Publication of JP6427559B6 publication Critical patent/JP6427559B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate

Description

本発明は、ユーザがグラフィックスオブジェクトをタッチスクリーンデバイスに入力することに関する。より詳細には、本発明は、永久同期(「持久性」同期とも呼ぶ)のためのシステムを使用することによってグラフィックスオブジェクトを記号列に変換することに関する。
さらに詳細には、本発明は、ユーザによって手入力されたグラフィックスオブジェクト(例えば、手書きされたもの)を認識し、そして認識されたグラフィックスオブジェクトを、例えば英数字記号などの対応する記号列に変換するためのデバイスおよび方法に関する。
スマートフォンがここ数年で大きく成長した背景にある主な要因の一つは、静電容量方式タッチスクリーンが開発されたことである。抵抗膜方式スクリーンとは異なり、静電容量方式スクリーンは、スタイラスの使用および指の使用の両方を可能にする。また、スタイラスが使用できることによって、タッチスクリーン上の手書き用システムの分野に様々な可能性が広がってきた。
手書きは、人間にとっては自然な知的行動であるが、機械から見ると困難を生じさせる。というのも、正確に言うと、機械は、読むことを学習することができないからである。機械は、ユーザがスタイラスまたは指を通過させたタッチスクリーンの部分を検出し、そして複雑な処理によって、それらの部分からユーザの入力に対応する可能性が最も高いデジタル記号を推定する必要がある。
公知のように、手書き入力システムは、現在、タッチスクリーンデバイス上で、手書きを「デジタル」と呼ばれる筆記、すなわちデバイスによって生成される文字列(または記号列)からなる筆記に変換するために使用することができる。この目的のために、システムは、ユーザによって手入力(例えば、スタイラスまたは指を使用して)されたグラフィックスオブジェクトを認識し、そしてそのグラフィックスオブジェクトをデジタル記号に書き換える必要がある。
しかし、手書きをデジタル筆記に書き換えることについては、未だに解決されていない多くの課題がなおも存在する。特に、この種の変換を行うことが可能なタッチ機器(携帯電話など)がますます小型化されているので、現在の入力および認識方法を適合させる必要がある。なぜなら、現在の入力および認識方法を大型のタッチスクリーン(例えば、大型のタブレットまたはラップトップコンピュータ)に適用するのと同じやり方ではもはや適用できないからである。さらに、現在のシステムは、特にユーザによってすでに入力されたテキスト内をナビゲートする点において、または実際には、そのようなテキストを編集するという点において、満足な機能を提供していない。
したがって、グラフィックスオブジェクトをデジタル記号に変換する目的でグラフィックスオブジェクトが入力されることを可能にする解決方法、より詳細には、デバイス上で実行しているアプリケーションの入力フィールドに記号列を入力するためにグラフィックスオブジェクトを入力すること、および可能であれば編集することも可能にするデバイスおよび方法が求められている。
この目的のために、本発明は、入力デバイスであって、ユーザによって使用され、前記デバイス上で実行可能なアプリケーションの入力フィールド内に記号を入力するのに適したデバイスであり、前記デバイスは、
・タッチスクリーンを有するインタフェース部であって、グラフィックスオブジェクトが前記スクリーンの入力ゾーン内に手入力および表示されることを可能にするインタフェース部と、
・グラフィックスオブジェクトプロセッサモジュールであって、現在のグラフィックスオブジェクトのそれぞれを処理するために
・前記入力ゾーン内の前記現在のグラフィックスオブジェクトの入力開始および入力終了を検出するための検出部と、
・前記現在のグラフィックスオブジェクトの入力開始を検出すると、前記現在のグラフィックスオブジェクトが入力されている期間を通して前記現在のグラフィックスオブジェクトに対応するグラフィックスデータを記憶するのに適当した記憶部と、
・前記グラフィックスデータから、それぞれ少なくとも1つの記号を有する列候補のリストを生成するように構成される認識部であって、前記列候補のそれぞれは、前記グラフィックスデータに対する前記列候補の適切性を表す適切性値に関連付けられる、認識部と、
・ユーザによって前記リストから選択された列、またはデフォルトで前記列候補からそれらの適切性値に応じて選択された列を、前記入力フィールドに挿入するように構成される挿入部と、
を備えるグラフィックスオブジェクトプロセッサモジュールと、
を備える。
特定の実施形態において、前記記憶手段は、前記グラフィックスデータに関連付けて、前記列候補およびそれらに関連付けられた適切性値を、前記選択された列の識別子とともに記憶するように構成され、前記関連付けは、第1のデータ群を形成し、前記記憶手段は、前記第1のデータ群をメモリ内に第1の所定の期間にわたり保存するように構成される。
特定の実施形態において、前記第1のデータ群は、メモリ内に、少なくとも後続のグラフィックスオブジェクトの入力がある限り続く前記第1の所定の期間中、または特定の実施形態において、後続のグラフィックスオブジェクトの入力の終了まで、保存される。
特定の実施形態において、前記第1のデータ群は、メモリ内に、少なくとも前記プロセッサ部が後続のグラフィックスオブジェクトの処理を開始するまで保存される。
特定の実施形態において、前記第1のデータ群は、前記プロセッサモジュールが入力されているグラフィックスオブジェクトの終了を示す信号を検出するまで保存される。
この記憶は、各データ群を構成する前記種々のデータ間の永久の結びつきを維持するのに役立つ。すなわち、前記種々のデータは、前記グラフィックスデータ、前記列候補、前記関連付けられた適切性値、および前記選択された列(または、少なくともその識別子)である。例えば後続のグラフィックスオブジェクトの入力中において、この結びつき(関連付け)を維持することによって、首尾一貫して、前記入力の前記適切性データのすべてを保存することができる。このため、例えば、後で前記適切性データが使用されることが可能となる。特に、より詳細な定義は後述するが、ナビゲートまたは編集において使用されることが可能となる。
特定の実施形態において、前記第1のデータ群は、前記グラフィックスデータの変更に応答して、前記認識部が前記第1のデータ群内に記憶された前記列候補および前記関連付けられた適切性値を変更し、前記挿入部が前記第1のデータ群内に記憶された前記挿入列を変更するように、前記グラフィックスデータと、前記列候補と、前記関連付けられた適切性値と、前記選択された列との間の永久の結びつきを維持するように構成される。
特定の実施形態において、前記挿入部は、前記入力フィールド内の前記選択された列を、前記選択された列が前記入力フィールド内に入力された後に、前記列候補のリストから前記ユーザによって選択された別の列候補によって置き換えることによって、所定のコマンドに応答するように構成される。
前記第1のデータ群をメモリ内に前記第1の所定の期間にわたって保存することによって、前記入力フィールド内の前記選択された列を後で訂正できるので優れている。例えば、前記ユーザは、前記入力フィールド内に最初に挿入された列候補(自動またはユーザによる選択によって挿入される)が適切でないと気付いた場合、第1のデータ群において、前記最初に選択された列をメモリ内に保存された列候補のリストから前記ユーザ(またはシステム)によって選択された別の列候補によって置き換えることによって、前記入力フィールド内でそのエラーを後で訂正できる。
特定の実施形態において、前記プロセッサモジュールは、前記タッチスクリーンが前記列候補のリストを前記適切性値から決定されるような適切性の降順で表示するように構成される。
特定の実施形態において、前記挿入部は、前記最も適切な列を前記入力フィールド内に挿入するように構成され、前記挿入部は、適用可能な場合、前記入力フィールド内の前記最も適切な列を前記ユーザによって前記インタフェース部を用いて選択されるような別の列候補によって置き換えるように構成される。
特定の実施形態において、前記インタフェース部は、前記現在のグラフィックスオブジェクトの入力終了が検出され、かつ前記入力終了の検出から始まる所定の長さの時間内にその後のグラフィックスオブジェクトの入力開始が検出されなかった場合に、後続のグラフィックスオブジェクトを入力するために前記入力ゾーン内にスペースを入れるように、前記現在のグラフィックスオブジェクトの表示を前記入力ゾーン内でシフトするように構成される。
特定の実施形態において、前記所定の長さの時間は、前記入力ゾーン内の前記現在のグラフィックスオブジェクトの位置の関数である。
特定の実施形態において、前記所定の長さの時間は、前記入力ゾーン内で表示されている前記グラフィックスオブジェクトの主入力軸に沿った筆記軌跡の全長の関数である。
特定の実施形態において、前記インタフェース部は、一旦前記シフトが行われると、グラフィックスインジケータを前記入力ゾーン内に表示して、前記現在のグラフィックスオブジェクトに隣接する前記入力ゾーンの領域を規定するように構成される。前記記憶部は、前記検出部が前記領域において後続のグラフィックスオブジェクトの入力開始を検出すると、前記後続のグラフィックスオブジェクトが入力されている期間を通して、前記後続のグラフィックスオブジェクトのグラフィックスデータを前記第1のデータ群のグラフィックスデータに関連付けて記憶するように構成される。
特定の実施形態において、前記インタフェース部は、一旦前記シフトが行われると、グラフィックスインジケータを前記入力ゾーン内に表示して、前記現在のグラフィックスオブジェクトに隣接する前記入力ゾーンの領域を規定するように構成される。前記記憶部は、前記検出部が前記領域の外側で後続のグラフィックスオブジェクトの入力開始を検出すると、前記後続のグラフィックスオブジェクトが入力されている期間を通して、前記後続のグラフィックスオブジェクトのグラフィックスデータを前記第1のデータ群から独立した第2のデータ群において記憶するように構成される。
特定の実施形態において、前記インタフェース部が前記入力ゾーンの前記領域の外側で入力されている前記後続のグラフィックスオブジェクトの開始を検出すると、前記挿入部は、前記選択された列を確定する。
特定の実施形態において、前記プロセッサモジュールは、前記確定から測定される第2の所定の期間の後、前記現在のグラフィックスオブジェクトがブロック文字で表示されるように構成され、前記記憶手段は、前記第1の所定の期間中に前記第1のデータ群をメモリに保存する。
例としては、前記グラフィックスインジケータは、前記入力ゾーン内の、前記現在のグラフィックスオブジェクトと前記入力ゾーンの未使用部分との間の空のスペースを表す。
特定の実施形態において、前記文字列のそれぞれにおける前記記号は、ユニコード規格に従う。
特定の実施形態において、前記グラフィックスオブジェクトのそれぞれは、手書き記号を表す。
特定の実施形態において、前記プロセッサモジュールは、前記ユーザと前記デバイスとの第1の所定の相互作用に応答して、前記入力フィールド内に、前記第1の相互作用の時点でもはや前記入力フィールド内に表示されていない前記先に挿入された列のうちの少なくともいずれかを表示するように構成される。
また、前記プロセッサモジュールは、前記入力ゾーン内に、前記第1の所定の相互作用によって前記入力フィールド内に表示された前記列のうちの1つに対応するグラフィックスオブジェクトの少なくとも一部を表示するように構成される。
本発明の特定の局面において、前記プロセッサモジュールは、前記列を所望の列が表示されるまで前記入力フィールド内でスクロールさせることを引き起こすように、前記ユーザが接触点を前記入力フィールド内で前記タッチスクリーンに押し付け、そして前記接触点を移動させることによって前記第1の所定の相互作用が行われるように構成される。
本発明の特定の局面において、前記プロセッサモジュールは、前記接触点を移動させることによって与えられる前記スクロールに対応して、グラフィックスオブジェクトが前記入力ゾーン内にリアルタイムで表示されるように構成される。
本発明の特定の局面において、前記プロセッサモジュールは、前記列を所望の列が表示されるまで前記入力フィールド内でリアルタイムにスクロールさせるために、前記ユーザが接触点を前記タッチスクリーン上に表示されたスクロールバー内で前記タッチスクリーンに押し付け、そして前記接触点を前記スクロールバーに沿って移動させることによって前記第1の所定の相互作用が行われるように構成される。
特定の実施形態において、前記プロセッサモジュールは、前記ユーザと前記デバイスとの第2の所定の相互作用に応答して、前記入力ゾーン内に、前記第2の相互作用の時点でもはや前記入力フィールド内に表示されていない前記先に入力されたグラフィックスオブジェクトのうちの少なくともいずれかを表示するように構成される。
また、前記プロセッサモジュールは、前記入力フィールド内に、前記第2の所定の相互作用によって前記入力ゾーン内に表示された前記グラフィックスオブジェクトのうちの1つに対応する前記選択された列の少なくとも一部を表示するように構成される。
本発明の特定の局面において、前記プロセッサモジュールは、グラフィックスオブジェクトを所望のグラフィックスオブジェクトが表示されるまで前記入力ゾーン内でリアルタイムにスクロールさせるために、前記ユーザが接触点を前記入力ゾーン内で前記タッチスクリーンに押し付け、そして前記接触点を移動させることによって前記第2の所定の相互作用が行われるように構成される。
本発明の特定の局面において、前記プロセッサモジュールは、前記接触点を移動させることによって与えられるスクロールに対応して、前記選択された列が前記入力フィールド内にリアルタイムで表示されるように構成される。
特定の実施形態において、前記プロセッサモジュールは、前記入力フィールド内の前記スクロール中に、マーカを表示させて、前記ユーザによって編集可能な「アクティブ」列を特定するように構成される。
特定の実施形態において、前記プロセッサモジュールは、前記ユーザが前記入力ゾーン内に表示されている先に入力されたグラフィックスオブジェクトを上書きする新たなグラフィックスオブジェクトを入力した場合に、前記先に入力されたグラフィックスオブジェクトの記憶されたデータ群を以下の:前記新たなグラフィックスオブジェクトのグラフィックスデータ;前記新たなグラフィックスオブジェクトに対する、列候補のリストおよびそれに伴う前記認識部によって生成された前記関連付けられた適切性値;ならびに前記新たなグラフィックスオブジェクトに対して前記挿入部によって選択された前記列、で更新する。
特定の実施形態において、前記プロセッサモジュールは、前記入力フィールド内に表示されている列を前記ユーザが前記インタフェース部を使用して編集できるように構成され、前記編集される列のデータ群は、前記プロセッサモジュールによる前記編集に応答して変更され、前記記憶手段によって記憶される。
本発明の特定の局面において、前記プロセッサモジュールは、グラフィックスオブジェクトを編集するために、前記ユーザが前記タッチスクリーンを使用して編集のために前記グラフィックスオブジェクトを選択することを可能にする。
例としては、この選択は、接触点を編集対象の前記グラフィックスオブジェクト上で前記タッチスクリーンに押し付けることによって行われてもよい。前記選択によって、前記入力フィールド内に挿入された前記対応の列が前記アクティブな列として選択されてもよい。
特定の実施形態において、前記プロセッサモジュールは、前記入力ゾーン内に表示されている2つのグラフィックスオブジェクト間にスペースを挿入することによって、ユーザと前記デバイスとの第3の所定の相互作用に応答するように構成される。
特定の実施形態において、前記認識部は、前記入力されている現在のグラフィックスオブジェクトの開始の検出から、前記少なくとも1つの記号の列候補のリストの生成を開始するように構成される。
変形実施形態において、前記認識部は、前記入力されている現在のグラフィックスオブジェクトの終了時に、前記少なくとも1つの記号の列候補のリストを生成するように構成される。
また、本発明は、入力デバイスであって、ユーザによって使用され、前記デバイス上で実行可能なアプリケーションの入力フィールド内に記号を入力するのに適したデバイスによって行われる入力方法を提供する。前記デバイスは、タッチスクリーンを有するインタフェースであって、グラフィックスオブジェクトが入力ゾーン内に手入力および表示されることを可能にするインタフェースを備える。前記方法は、グラフィックスオブジェクトの処理を含み、前記処理は、各現在のグラフィックスオブジェクトに対して、
・前記入力ゾーン内に入力されている前記現在のグラフィックスオブジェクトの開始および終了を検出するステップと、
・前記入力されている現在のグラフィックスオブジェクトの開始を検出すると、前記現在のグラフィックスオブジェクトが入力されている期間を通して前記現在のグラフィックスオブジェクトに対応するグラフィックスデータを記憶するステップと、
・前記グラフィックスデータから少なくとも1つの記号の列候補のリストを生成するステップであって、前記列候補のそれぞれは、前記グラフィックスデータに対する前記列候補の適切性を表す適切性値に関連付けられる、ステップと、
・前記ユーザによって前記リストから選択された前記列、またはデフォルトで前記列候補からその適切性値に応じて選択された前記列を前記入力フィールドに挿入するステップと、
を含む。
特定の実施例において、前記方法は、メモリ内に、前記グラフィックスデータに関連付けて、前記列候補およびそれらに関連付けられた適切性値を、前記選択された列の識別子とともに記憶し、前記関連付けは、第1のデータ群を形成し、前記第1のデータ群をメモリ内に第1の所定の期間中に保存するステップを含む。
また、本発明の範囲において、本発明の入力デバイスを参照して上述した実施形態および変形例に類似した上記入力方法の変形例を想起することができる。
特定の実施例において、前記入力方法の前記種々のステップは、コンピュータプログラムの命令によって決定される。
したがって、また、本発明は、データ媒体(または、記憶媒体)上のコンピュータプログラムを提供する。前記プログラムは、入力デバイスまたはより一般にはコンピュータにおいて行われるのに適する。前記プログラムは、上に定義されるような入力方法のステップを行うように適合される命令を含む。
前記プログラムは、任意のプログラミング言語を使用してもよく、ソースコード、オブジェクトコード、または部分的にコンパイルされた形態などのソースコードとオブジェクトコードとの間の中間コードの形態でもよく、あるいは任意の所望な形態であってもよい。
また、本発明は、入力デバイスによって、さらに一般にはコンピュータによって、読み取り可能なデータ媒体(または、記憶媒体)を提供する。前記媒体は、上述のようなコンピュータプログラムの命令を含む。
前記データ媒体は、前記プログラムを記憶可能な任意のエンティティまたはデバイスであってもよい。例えば、前記媒体は、コンパクトディスク(CD)もしくは超小型電子回路ROMなどの読み出し専用メモリ(ROM)、または実際にはフロッピー(登録商標)ディスクもしくはハードディスクなどの磁気記録手段などの記憶手段を備える。
さらに、前記データ媒体は、電気または光ケーブルを介して無線または他の手段によって伝送されるのに適した電気または光信号などの伝達可能な媒体であってもよい。本発明のプログラムは、特にインターネット型ネットワークからダウンロードされてもよい。
あるいは、前記データ媒体は、前記プログラムが含まれる集積回路であってもよい。前記回路は、対象となる前記方法を実行するように、または対象となる前記方法の実行において使用されるように適合される。
本発明の他の特徴および利点は、本発明を限定しない実施形態を示す添付の図面を参照してなされる以下の説明から明らかである。
図1Aおよび1Bは、本発明の特定の実施形態における入力デバイスの図である。 図2は、本発明の特定の実施形態にかかる入力デバイスのハードウエアアーキテクチャの図である。 図3A〜3Fは、本発明の第1の実施例にかかる入力方法の実行における種々のステップにおける入力デバイスを示す図である。 図4A〜4Cは、図3A〜3Fに示す入力方法の実行の異なる段階において入力デバイスによって記憶されるデータ群を示すテーブルの形態である。 図5は、本発明の第1の実施例にかかる入力方法の主要なステップを示すフローチャートである。 図6A〜6Fは、本発明の第2の実施例にかかる入力方法の実行における種々のステップにおける入力デバイスを示す図である。 図7Aおよび7Bは、図6A〜6Fに示す入力方法の実行の異なる段階において入力デバイスによって記憶されるデータ群を示すテーブルである。 図8は、本発明の第2の実施例にかかる入力方法の主要なステップを示すフローチャートである。 図9Aおよび9Bは、本発明の第3の実施例において動作する入力デバイスの例を示す図である。図9Cは、本発明の第3の実施例において入力デバイス上で実行されているアプリケーションの入力フィールドを示す。図9Dは、スクリーンに表示されたスクロールバーによってユーザが入力フィールド内のスクロールを制御する変形実施形態を示す。 図10は、テーブルの形態であり、図9Aおよび9Bの入力デバイスに記憶されたデータ群を示す。 図11Aは、本発明の第3の実施例において動作する入力デバイスの例を示す図である。図11B〜11Gは、編集機能が本発明の入力デバイスによってどのように実現されるかの例を示す図である。
本発明は、ユーザによって入力されるグラフィックスオブジェクトを記号列に変換することに関し、より詳細には、ユーザによって手入力されるようなグラフィックスオブジェクト(例えば、手書き)を認識し、そしてこの認識に基づいて、グラフィックスオブジェクトを、例えば英数字記号などの対応の記号列に変換するためのデバイスおよび方法に関する。
本明細書において、手書きをユニコードの記号列に変換する場合における本発明の実施例を説明する。しかし、本発明は、任意の形式の記号(または文字)を得るという目的で、ユーザによって入力される他のタイプのグラフィックスオブジェクトを変換することに適用されてもよい。
図1Aおよび1Bは、本発明の第1の特定の実施形態における入力デバイス2を示す図である。実質的には、本例に説明されるデバイス2は、タッチスクリーン18を有する携帯電話である。ユーザは、スタイラス20(または、例えば、指)を使用して、グラフィックスオブジェクトOGをタッチスクリーン18の底部に入力する。本例において、グラフィックスオブジェクトは、手書き(単語「hello」)に対応する。
入力デバイス2は、ユーザによって手入力されるようなグラフィックスオブジェクトOGを認識し、そして対応する記号列24を入力フィールド22に挿入するように構成される。記号列24は、上記認識によって得られる。本例において、入力フィールド22は、デバイス2によって実行されているアプリケーションのフィールドを構成する。例として、入力フィールド22は、インターネットブラウザにおけるアプリケーション(検索エンジンなど)の入力フィールドであってもよく、または実際には、メッセージングアプリケーション(例えば、ショートメッセージサービス(SMS)を送信するためのアプリケーション)の入力フィールドであってもよい。
入力デバイス2は、タッチスクリーンを有し、上記のようなグラフィックスオブジェクトをデジタル記号に変換するのに適した任意の(携帯型またはその他の)機器(タブレット、情報携帯端末(PDA)など)の形態であってもよいことが理解できる。
さらに、上記記号列(または、文字列)は、1つ以上の記号からなってもよい。その記号は、ユーザによって入力された1つ以上のグラフィックスオブジェクトを表す。
図2は、本発明の第1の実施形態における入力デバイス2のハードウエアアーキテクチャを示す。より詳細には、デバイス2は、特にプロセッサ4、インタフェース部6、無線アンテナ10に接続された無線システム8、ROM12、書き換え可能な揮発性メモリまたは「ランダムアクセスメモリ」(RAM)14、および書き換え可能な不揮発性メモリ16を備える。バスは、これらの構成要素間の通信を提供する。
デバイス2は、本発明の説明に関係なく、したがって本明細書において説明されない特性および動作を与えるポートおよび他の従来の構成要素を有してもよい。
現在想起される例において、書き換え可能な不揮発性メモリ16は、フラッシュ型メモリである。しかし、例えばNANDフラッシュ型メモリなどの他のタイプの書き換え可能な不揮発性メモリが当業者によって想起され得ることを理解されたい。
本例において、書き換え可能な不揮発性メモリ16は、プロセッサ4によって読み取り可能であり、本発明の第1の実施形態にかかるコンピュータプログラムPを記憶する、本発明にかかるデータ媒体を構成する。このプログラムPは、本発明の入力方法のステップを実行するための命令を含む。本発明の好適な実施形態における、方法の主なステップE2〜E18を、後述の図5に示す。
メモリ16は、より詳細は後述される目的のためにメモリ部M1を備える。
インタフェース部6は、ユーザがグラフィックスオブジェクトを手入力することを可能にし、またそれらのグラフィックスオブジェクトをデバイス2上に表示するように機能する人間/機械インタフェースを構成する。より一般には、インタフェース部6は、ユーザがデバイス2を制御することを可能にする。このインタフェース部6は、タッチスクリーン18を有し、またスピーカ、機械式キー、および/または任意の人間/機械相互作用を行うための任意の他の手段を有してもよい。
RAM14は、特に、本発明の入力方法の実行中に、データをバッファメモリBFに記憶してもよい。このバッファメモリBFの使用の詳細については、後述する。
変形例の実施形態において、デバイスにおいて使用されるすべてのメモリは、フラッシュ型である。
本例において、無線システム8は、携帯電話2が従来の方法で、例えば第3世代または第4世代(3Gまたは4G)規格を使用して、通信することを可能にする。しかし、無線部分は、本発明を実施するために必要ではないので、その詳細な説明は本明細書の以下において省略する。
以下に、本発明の第1の実施形態を図2〜5を参照してより詳細に説明する。より正確には、入力デバイス2は、プログラムPを実行することによって本発明の入力方法を行う。
この第1の実施形態において、デバイス2のタッチスクリーン18は、
・ユーザが例えばスタイラス20および/または指を使用してグラフィックスオブジェクトを手入力できる入力ゾーン26と、
・デバイス2によって生成されるような記号列候補を表示するのに適した表示ゾーン28と、
・デバイス2がユーザによって入力ゾーン26に入力されたグラフィックスオブジェクトに対応する記号を挿入する、上記のような入力フィールド30と、
を備える(図3A)。
本例において、入力ゾーン26は、タッチスクリーン18上の書き込み場所をユーザに通知するオプションのベースライン32を含む。
実施形態において、プロセッサ4は、
・検出部と、
・記憶部と、
・認識部と、
・挿入部と、
を備える。
本例において、本発明の第1の実施例において入力方法を行うために、各部は、同じプロセッサ4がデバイス2の他の構成要素と協働することによって実現される。しかし、本発明の他の実施例も想起できる。
本例におけるプロセッサ4は、本発明でいうプロセッサモジュールを構成する。
図3Bにおいて、ユーザは、スタイラス20を使用することによってテキストを入力ゾーン26に入力することを開始する。デバイス2の検出部は、入力ゾーン26に入力されているグラフィックスオブジェクトの開始および終了を検出するのに適している。
ステップE2中、デバイス2(すなわち、その検出部)は、タッチスクリーン18の入力ゾーン26内で、スタイラス20によってユーザが印加した接触点PC1を検出する。タッチスクリーンの部分26に接触するスタイラスを検出したというイベント(このイベントを本明細書中の以下にて「ペンダウン」と称す)は、デバイス2による参照符号OG1で示す第1の現在のグラフィックスオブジェクトの処理を引き起こす。
本例において、ユーザは、入力ゾーン26内で、ベースライン32上でスタイラス20の先をスライドさせることによって、単語「hello」を手書きする(図3C)。デバイス2の検出部は、入力ゾーン26内でスライドする接触点PC1を検出する(E4)。
入力中を通して、デバイス2(すなわち、その記憶部)は、入力されているグラフィックスオブジェクトOG1に対応するグラフィックスデータDG1を記憶する(E4)。
一般に、入力方法の実行中にデバイス2(すなわち、プロセッサモジュール4)によって生成できるグラフィックスデータは、典型的には、ユーザによって入力ゾーン26内に配置される「デジタルインク」である。例として、グラフィックスデータDG1は、入力中を通して、スライドする接触点PC1の種々の物理的座標に対応する。これらのグラフィックス座標は、例えばユーザがタッチスクリーン18を押す力などの他の情報を考慮してもよい。グラフィックスデータに対して使用される言語およびフォーマットは、任意であってもよい。
本例において、オブジェクトOG1のグラフィックスデータDG1は、リアルタイムでバッファメモリBFに記憶される。このデータの記憶は、「ペンアップ」イベントが検出部によって検出される(E6)まで続く(図3D)。「ペンアップ」イベントは、入力されている現在のグラフィックスオブジェクト(本例におけるOG1)の終了をデバイス2が検出した場合に生じる。この入力の終了は、典型的には、入力ゾーン26からの接触点(本例におけるPC1)の消失である。本例において、この入力の終了は、ユーザがスタイラス20を持ち上げたことの結果である。
入力されているグラフィックスオブジェクトOG1の終了を検出すると、デバイス2(すなわち、認識部)は、グラフィックスデータDG1(本例において、バッファメモリBFに記憶される)に対して認識処理(E8)を行い、そして上記グラフィックスデータDG1から記号列候補C11〜C14のリストLC1を生成する(E10)。
より詳細については後述するが、上記ステップE8およびE10が引き起こされるのは、入力されている現在のグラフィックスオブジェクトの開始(終了は含まない)を検出した時、すなわち、本例においてグラフィックスオブジェクトOG1の入力開始時に接触点PC1を検出した時であるという別の実施例が想起できる。
ステップE10中に、各列候補C11〜C14(それぞれ少なくとも1つの記号を含む)は、ユーザによって手入力されたグラフィックスオブジェクトOG1に対する一致の度合いが大きいので、デバイス2によって選択される。そのような認識技術は、現在すでに公知であるので、その詳細は本明細書において省略する。
認識部によって生成される列候補C11〜C14は、典型的には列候補のグラフィックスデータDG1に対する適切性である適切性値PN11〜PN14(PN1と総称される)にそれぞれ関連付けられる。認識部によって生成されるこれらの適切性値によって、最も適切な列候補を特定することができ、適宜、列候補C11〜C14を適切性の順に分類できる。
本例において、デバイス2は、列候補C11〜C14のリストLC1を表示ゾーン28に表示する(E12)。必須ではないが、表示は、好ましくはゾーン28内に適切性の降順となるようになされる(例えば、左から右;本例において、C11が最も適切な列であり、C14が適切性の最も低い列である)(図3D)。適切性の降順となる分類は、適切性値PN11〜PN14に基づいて行われ、分類の他の例も当然ながら想起可能である。
列候補の数は、検出されるグラフィックスオブジェクトおよび使用される認識技術に応じて変化してもよい。各列候補のリストは、少なくとも1つの列候補を含む。
デバイス2(すなわち、その挿入部)は、ユーザがリストLC1の列候補から選択した列、またはデフォルトで列候補C11〜C14からそれらの適切性に応じて自動で選択された列(図3D)を入力フィールド30内に挿入する(E14)ように構成される。実施形態において、ユーザが選択をしない場合、デバイス2は、最も適切な列候補(例えば、関連する適切性値が最大である列候補)を自動で選択する。
特定の実施形態において、また、デバイス2は、適宜、入力フィールド30内で、最も適切性の高い列(デバイス2によってデフォルトで選択されるような列)を、ユーザがインタフェース部6を利用することによってリストLC1から後で選択されるようないくつかの他の列によって置き換えるように構成される。
本例において、選択および挿入E14は、入力されている現在のグラフィックスオブジェクトの終了(ペンアップ)を検出した後で行われる。しかし、入力されている現在のグラフィックスオブジェクトの終了を検出する前(すなわち、ペンアップを検出する前)に認識処理および列候補の生成が引き起こされるという別の可能性がある場合は、入力の終了を検出する前に選択および挿入E14を引き起こすことが想起できる。
本例において、デバイス2は、ユーザによって入力される手書き形態のグラフィックスオブジェクトOG1に対応する文字「h」、「e」、「l」、「l」、「o」の列を自動で挿入する。
また、デバイス2(すなわち、記憶部)は、グラフィックスデータDG1を以下のものと関連付けて記憶する(E16)ように構成される。
・列候補C11〜C14のリストLC1と、
・列候補C11〜C14にそれぞれ関連付けられた適切性値PN11〜PN14のリストPN1と、
・入力フィールド30内で選択および挿入されるような列CS1の識別子ID1
識別子ID1は、任意の形式であってもよい。一つの特定の実施例において、選択された列の識別子(本例において、ID1)は、選択された列自体である(本例において、SC1)。あるいは、識別子ID1は、選択された列SC1を特定する、決定されたコードであってもよい。例としては、この識別子は、選択されたコードのリストLC1内の位置を特定してもよい(本例において、1番目、2番目、3番目、または4番目の位置)。識別子をデータ群内で使用することは、記憶部によって記憶される必要のあるデータの量を制限するのに役立つ。
データ関連付け[DG1;LC1;PN1;ID1]は、第1のデータ群GD1(または、データベクトル)を構成することに留意されたい。このデータ関連付けGD1は、図4AにおいてはテーブルTB1の形態で表される。
特定の実施形態において、デバイス2は、この第1のデータ群GD1をメモリ内に第1の所定の期間DP1にわたり保存する(E16)ように構成される。例えば、この第1の所定の期間DP1は、ユーザまたはデバイスの設計者によって予め設定されてもよい。適宜、期間DP1は、例えば使用言語のタイプまたはユーザのアイデンティティなどのあるパラメータに応じて変化するように選択されてもよい。期間DP1は、好ましくは、後で使用可能(例えば、参照、編集のため)な程度に十分長い間データ群をメモリ内に保持しつつ、本発明を実現するために必要なメモリ資源を制限するようなやり方で選択される。
特定の例において、所定の期間DP1は、無限であるように選択される(すなわち、記憶は、デバイス内で永久である)。
本例において、記憶E16は、メモリM1内で生じる。この記憶は、まずメモリ14(例えば、バッファメモリBF)内で行われ、次いでデータ群GD1は、メモリM1内に転送されてもよい。
一旦現在のグラフィックスオブジェクトOG1の処理が完了すると、デバイスは、ユーザが新たなグラフィックスオブジェクトの入力を開始しているか否かを判断する(E18)。こうするために、検出部は、「ペンダウン」イベントが入力ゾーン26内で生じているか否かを判断する。「ペンダウン」イベントが生じている場合、デバイス2は、ステップE4で処理を再開する。「ペンダウン」イベントが生じていない場合、処理は、終了する。
GD1を記憶することにより、データ群GD1を構成するデータ(すなわち、グラフィックスデータ、列候補、関連付けられた適切性値、および選択された列(または少なくともその識別子)間の永久の結びつきを維持することが可能となる。後続のグラフィックスオブジェクトが入力されている期間も含めて、この結びつき(または関連付け)を維持することによって、入力される適切性データのすべてを一貫したやり方で保存することが可能となる。
この永久の結びつきにより、認識部は、例えばグラフィックスデータGD1のその後の変更に応答して、列候補のリストLC1および関連付けられた適切性値のリストPN1をそれに応じて変更でき、挿入部は、それに応じて列CS1を変更できる。このように、グラフィックスデータGD1が変更されることに応答して、記憶部によって記憶されるデータ群GD1を適切なやり方で更新できる。より詳細については後述するが、この永久の結びつきによって、ユーザによる過去の入力を編集することが可能となる。
このように第1の所定の期間DP1は、好ましくは現在のグラフィックスオブジェクトに対するデータ群が1つ以上の後続のグラフィックスオブジェクト(グラフィックスオブジェクトが入力され続けると仮定する)の入力中(または入力の終了まで)にメモリ内に保存されることを確実にするように選択される。
特定の例において、第1の所定の期間DP1は、現在のグラフィックスオブジェクトのデータ群が少なくとも後続のグラフィックスオブジェクトが入力されるまで、より正確には後続のグラフィックスオブジェクトの入力の終了まで、メモリ内に保存されるように選択される。
特定の例において、第1の所定の期間DP1は、現在のグラフィックスオブジェクトのデータ群が少なくともプロセッサ部が後続のグラフィックスオブジェクトの処理を開始するまでメモリ内に保存されるように選択される。
特定の実施形態において、第1のデータ群は、プロセッサモジュール4がグラフィックスオブジェクト入力の終了を示す信号を検出するまで保存される。
このように、ユーザによるすべてのグラフィックスオブジェクトの入力が終了まで(すなわち、ユーザが入力を最終的に確定するまで、または入力フィールド30を有するアプリケーションが閉じられるまで)データ群をメモリ内に保存することが可能である。
やはり後述するが、この永久の結びつきによって、ユーザの過去の入力を参照(または編集であってもよい)するために入力フィールド内および入力ゾーン内でインテリジェントなやり方でナビゲートすることが可能となる。
特定の実施形態において、挿入部は、上記のように選択された列CS1が入力フィールド30内に挿入された後、入力フィールド30内の選択されたフィールドCS1を、上記列候補C11〜C14のリストLC1からユーザによって選択された別の列候補によって置き換えることによって所定のコマンドに応答するように構成される。
このように第1の所定の期間DP1にわたり第1のデータ群GD1をメモリ内に保存することは、入力フィールド30内の選択された列CS1を後で訂正できるようにするので、優れている。例えば、ユーザは、入力フィールド30内に最初に挿入された列候補(自動またはユーザによる選択によって挿入される)が適切でないと気付いた場合、第1のデータ群DG1において、最初に選択された列CS1をユーザ(またはシステム)によってメモリ内のリストLC1から選択された別の列候補によって置き換えることによって、入力フィールド30上でそのエラーを後で訂正できる。
図3E、3F、4Bおよび4Cを参照して、この実施形態の説明を続ける。ユーザは、文字「m」に対応する新たなグラフィックスオブジェクトOG2を入力(すなわち、書き込み)することを開始する(図3E)。次いで、デバイス2は、グラフィックスオブジェクトOG2が先行するグラフィックスオブジェクトOG1とは異なる新たな単語に属することを検出する(例えば、OG2がOG1から間隔をあけて離れているため)。グラフィックスオブジェクトOG2は、グラフィックスオブジェクトOG1について上述したやり方と同じやり方でステップE2〜E18を実行することによって処理される。
一旦文字「m」が入力ゾーン26内に形成されると、デバイス2は、ユーザがスタイラスを持ち上げたことを検出する(E6)(「ペンアップ」イベントを検出する)。
このように列候補C21〜C23のリストLC2が、現在のグラフィックスオブジェクトOG2について収集されたグラフィックスデータDG2から生成される(E8およびE10)。デバイス2は、このリストLC2を表示ゾーン28内に表示し(E12)、そして列CS2を入力フィールド30内に挿入する(E14)(本例において、列CS2は、デバイス2によってデフォルトで選択された列候補C21に対応する)。また、適切性値PN21〜PN23のリストPN2が列候補C21〜C23にそれぞれ対応付けられて生成される(E10)。
また、デバイス2(すなわち、記憶部)は、グラフィックスオブジェクトOG2のグラフィックスデータDG2を、第2のデータ群GD2として、リストLC2およびPN2ならびに選択された列CS2の識別子ID2に関連付けて記憶する(E16)。本例において、図4BのテーブルTB1は、記憶部よってメモリM1内に記憶されたデータ群GD1およびGD2を表す。上述のように、識別子ID2は、選択された列自体(例えば、C21)または選択された列を識別するコード(例えば、リストLC2内のその位置)であってもよい。
ここで、ユーザが第3のグラフィックスオブジェクトOG3を構成する文字「y」の入力を開始すると仮定する。デバイス2は、スタイラス20とタッチスクリーン18の入力ゾーン26との間の新たな接触点から生じる新たな「ペンダウン」イベントの発生を検出する。
本例において、デバイスは、文字「y」が先行するグラフィックスオブジェクトOG2に付けられる必要があること(例えば、OG3がOG2に接近しているため)を検出する。現在のグラフィックスオブジェクトOG3は、先行するグラフィックスオブジェクトOG1およびOG2の処理に類似するやり方でステップE2〜E18を実行することによって処理される。
しかし、OG3の処理は、デバイス2(すなわち、記憶部)が入力中を通してグラフィックスオブジェクトOG3のグラフィックスデータDG3を第2のデータ群GD2のグラフィックスデータDG2に関連付けて記憶するように構成される点で異なる。データ群GD2は、このように変更され、明確となるように名前をGD3に変更される(図4C)。
より正確には、列候補のリストLC2は、GD3において、認識部によって生成される列候補C31〜C33の新たなリストLC3によって置き換えられる。列候補C31〜C33は、グラフィックスオブジェクトOG2およびOG3(本例において、これら2つのグラフィックスオブジェクトが一緒になって単語「my」を形成する)によって構成されるグラフィックスセットOG2+3を表すようにグラフィックスデータDG2およびDG3から生成される。
リストLC3は、図3Fに示すように表示ゾーン28内に表示される。また、適切性値PN2は、GD3において、列候補C31〜C33にそれぞれ関連付けられた適切性値PN31〜PN33の新たなリストPN3によって置き換えられる。
また、挿入部は、OG2を参照して予め選択されるような列CS2を、セットOG2+3を参照して選択されるような列CS3によって置き換えるように構成される。このように、識別子ID2は、データ群GD3において、選択された列CS3の識別子ID3によって置き換えられる。上述のように、識別子ID3は、選択された列自体(例えば、C31)であってもよく、または選択された列を識別するコードであってもよい(例えば、リストLC3におけるその位置)。
この入力例の終了時に、記号「h」、「e」、「l」、「l」、「o」、「m」および「y」が入力フィールド30内に含まれる。
上述のように、ステップE8およびE10が引き起こされるのは、入力されている現在のグラフィックスオブジェクトの開始(終了は含まない)が検出された時(例えば、グラフィックスオブジェクトOG1の入力開始時に接触点PC1が検出された時)であるという別の実施例が想起できる。この変形実施例において、認識部は、例えば、入力されている現在のグラフィックスオブジェクトの開始が検出された時に上記記号列候補のリストを生成するように構成されてもよい。例としては、該認識部は、入力されているグラフィックスオブジェクトOG1の開始が検出された時に認識処理を開始し、次いで列候補のリストを生成するように構成されてもよい。次いで、このリスト生成は、グラフィックスオブジェクトOG1の入力の終了が検出されるまで続くことができる。そのような状況において、生成されている列候補のリストは、現在のグラフィックスオブジェクトの入力中を通して、変化可能である。このように、認識および生成処理は、入力されている現在のグラフィックスオブジェクトの開始の検出時から入力されている現在のグラフィックスオブジェクトの終了の検出時まで連続して稼働可能である。
上述のように、また、選択および挿入E14は、入力されている現在のグラフィックスオブジェクトの終了が検出される前に行われることが可能である。そのような状況において、入力フィールド内で選択および挿入される列は、現在のグラフィックスオブジェクトの入力中に適宜変更されてもよい。
以下に本発明の第2の実施例を図6A、6B、7Aおよび8を参照して説明する。
なお、本明細書において、特に断らない場合、2つの異なる実施例に共通する要素は、同じ参照符号で示され、同一の特性を有するので、簡単のために説明を繰り返さない。
この第2の実施例において、デバイス2は、図5を参照して説明した第1の実施例と同様のやり方で動作するが、後述のようにさらなる機能、すなわち自動スクロール機能(または、自動スクロール)、およびおそらくはまた、スペーススイッチ機能、が行われる点で異なる。
ここで、ユーザは、入力ゾーン26内で第1の現在のグラフィックスオブジェクトOG4(本例において、文字「W」に対応する)の入力を開始すると仮定する(図6A)。
デバイス2は、それぞれステップE2〜E16と同一のやり方でステップE32〜E46を実行することによって現在のグラフィックスオブジェクトOG4を処理する。実質的には、入力されているグラフィックスオブジェクトOG4の開始(「ペンダウン」イベント)の検出時に、記憶部は、対応するグラフィックスデータDG4を記憶する(E34)。認識部は、列候補C41〜C42のリストLC4を生成する(E40)。挿入部によって選択された列CS4は、入力フィールド30内に挿入される(E44)。本例において、最も適切な列候補C41(文字「W」に対応する)は、デフォルトで入力フィールド30内に挿入される。また、認識部は、それぞれ列候補C41〜C42に関連付けられた適切性値PN4A〜PN42のリストPN4を生成する。
また、記憶部は、グラフィックスデータDG4を、リストLC4、リストPN4、および入力フィールド30内に含まれる列CS4の識別子ID4(図7AのテーブルTB2を参照)に関連付けて記憶する(E46)。このデータ群は、本例においてGD4と示される。例としては、記憶部は、上述のように、第1の所定の期間DP1にわたりこのデータ群GD4をメモリ内に保存するように構成される。しかし、上述のように全データ群DG4を所定の期間DP1にわたりメモリ内に保存する必要なく、後述のような自動スクロール機能が実現可能であることに留意されたい。
しかし、グラフィックスオブジェクトOG4の処理は、E36で「ペンアップ」イベントが検出された時、デバイス2がまたタイマTMの開始を引き起こす(E48)という点で異なる。このタイマを稼働させることによって、グラフィックスオブジェクトを入力ゾーン26内で自動にスクロールさせる機能を行うことが可能となる。
より正確には、本例において、デバイス2は、後続のグラフィックスオブジェクトOG5の入力の開始が入力ゾーン26内でOG4の入力の終了の検出から始まる所定の長さT内に生じたか否かを検出する(E50)ように構成される。言い換えると、デバイス2は、「ペンダウン」イベントが入力ゾーン26内にOG4の入力の終了の検出から測定される所定の長さの時間T内に生じるか否かを判断する。
生じる場合は、デバイス2は、入力ゾーン26内で自動スクロールを引き起こすことなく、後続のグラフィックスオブジェクトの処理を続ける(E52)。この可能性についてのさらなる詳細は省略する。
これに対して、ステップE50における検出結果が否定の場合(すなわち、所定の長さの時間T内に「ペンダウン」が検出されない場合)、デバイス2は、入力ゾーン26内に表示されているグラフィックスオブジェクト(すなわち、本例において、グラフィックスオブジェクトOG4)の自動スクロールを引き起こす(E54)。
この自動スクロールは、現在のグラフィックスオブジェクト(すなわち、OG4)および入力ゾーン26に表示され得るその他すべてのグラフィックスオブジェクトが、後続のグラフィックスオブジェクトを入力するための入力ゾーン26内のスペースを入れるようなやり方で、入力ゾーン26内をスクロールすることによって顕在化される。
本例において、このスクロールによって、文字Wは、入力ゾーンの左へシフトし、その文字の端だけがスクリーン上に見えたままとなる(図6B)。他の種類のシフト(特に、方向または大きさの点)が想起され得る。
特定の例において、入力ゾーン自体の表示は、自動スクロール機能が行われている間、変化しない。後続のグラフィックスオブジェクトを入力するためにスペースを入れるために該入力ゾーンを通って移動するのはグラフィックスオブジェクトである。特定の例において、自動スクロールの前に入力ゾーン内に表示されていた少なくとも1つのグラフィックスオブジェクトは、自動スクロール中に生じるシフトの結果、その全部または一部が入力ゾーンから除かれる。
自動スクロール機能は、ユーザが特定のボタンまたはスイッチを作動させる必要なく、グラフィックスオブジェクトが入力ゾーンを通ってスクロールすることを直感的なやり方で可能にするという点で優れている。所定の長さの時間Tは、自動スクロールを各ユーザの書き方に適応させるために、任意に個人向けに設定されてもよい。
自動スクロールは、スタイラスが持ち上げられたという最後のイベントから始まる経過時間に基づいて行われ、これにより書き込みがユーザにとってより滑らかとなることを可能にする。この時間機能は、ユーザ側に追加の行為(ユーザの使用感を劣化させ得る)を必要とさせずに、スクロールが入力ゾーン内で引き起こされることを可能にするような、引き起こし機能を有する。
第1の変形例において、所定の長さの時間Tは、現在のグラフィックスオブジェクト(すなわち、本例におけるOG4)の入力ゾーン26内における位置の関数である(例としては、所定の長さの時間Tは、OG4の入力ゾーン内の主入力軸(すなわち、本例における水平軸)に沿った位置の関数である。例としては、現在のグラフィックスオブジェクトが入力ゾーン26の端部(すなわち、本例における右方向)に近い場合、所定の長さの時間Tが短くなることが想起できる。
また、自動スクロール機能は、現在のグラフィックスオブジェクトが入力ゾーン26(例えば、右手側の後半部分)の所定の部分(例えば、主入力軸に沿った部分)にある場合に、単独で引き起こされ得る。
第2の変形例において、所定の長さの時間Tは、入力ゾーン内で主入力軸(すなわち、本例における水平軸)に沿って表示されているグラフィックスオブジェクトの総筆記軌跡(trace)長の関数である。例えば、主入力軸に沿った総筆記軌跡長が閾値を超えると、所定の長さの時間Tは、より短くなる。
上記第1および第2の変形例は、状況に応じて任意に組み合わされ得る。これらの変形例によって、ユーザに対して入力エルゴノミクスを向上することができる。
このように、入力方法は、各後続のグラフィックスオブジェクトに対して同じやり方で継続して実行されることが可能である。
引き続き、以下にこの実施例を図6B〜6Fおよび7Bを参照して説明する。本例において、また、デバイス2は、自動スクロールが行われた場合、最後のグラフィックスオブジェクトの後にスペースインジケータを挿入しようとするオプションの機能(「スペーススイッチ」と称す)を実現する。しかし、自動スクロール機能がこの追加のスペーススイッチ機能なしに行われてもよいことが理解され得る。
本例において、一旦グラフィックスオブジェクトOG4が入力ゾーン26内でシフトされると、デバイス2は、入力ゾーン26内に、現在のグラフィックスオブジェクト(すなわち、本例におけるOG4)に隣接する入力ゾーン26の領域36を規定するグラフィックスインジケータ34を表示する(E56)(図6Bおよび6C)。現在説明している例において、グラフィックスインジケータ34は、ベースライン32の局所変形の形態である。この変形34(本例における窪みの形態)は、ユーザに対して、グラフィックスオブジェクトOG4に隣接し、ユーザが新たなグラフィックスオブジェクトOG5を入力することができる領域36を示す。
この例は、あくまで一実施例であり、グラフィックスインジケータ32が必要に応じていくつかの他の形態をとり得ることが理解できる。
次いで、ステップE58中に、デバイス(すなわち、検出部)は、ユーザがグラフィックスインジケータ34上(より正確には、入力ゾーン26の領域36内)に後続のグラフィックスオブジェクトOG5を入力しているか否かを検出する。こうするために、検出部は、ユーザがスタイラス20を使用してタッチスクリーン18のゾーン26内に印加する接触点PC2の位置を決定する。この位置に基づいて、検出部は、PC2が領域36内にあるか否かを検出する。
PC2が領域36内にない場合、デバイス2は、新たな現在のグラフィックスオブジェクトOG5が先行のグラフィックスオブジェクトOG4から独立していると推定する。したがって、デバイス2は、グラフィックスオブジェクトOG5をグラフィックスオブジェクトOG4とは独立に処理する(E60)(上記のように、OG2がOG1とは独立に処理される場合と同様)。そのような状況において、記憶部は、後続のグラフィックスオブジェクトOG5のグラフィックスデータDG5を、その入力中を通して、グラフィックスデータDG4から独立したデータ群に記憶するように構成される(E60)。
これに対して、デバイス2は、グラフィックスオブジェクトOG5が領域36内で入力されていることを検出すると、この新たな現在のグラフィックスオブジェクトOG5が先行するグラフィックスオブジェクトOG4と同じ単語(またはグラフィックスセット)に属すると推定する。したがって、デバイス2は、グラフィックスオブジェクトOG5をグラフィックスオブジェクトOG4に関連付けるようなやり方でグラフィックスオブジェクトOG5を処理する(E62)(上記のように、OG3がOG2に関連付けられる場合と同様のやり方)。言い換えると、記憶部は、検出部が領域36内に入力されている後続のグラフィックスオブジェクトOG5の開始を検出すると、後続のグラフィックスオブジェクトOG5のグラフィックスデータDG5の入力中を通して、後続のグラフィックスオブジェクトOG5のグラフィックスデータDG5をデータ群GD4内にグラフィックスデータDG4に関連付けて記憶する(E62)ように構成される(明確となるように参照符号をGD5に付け直す。図7B)。
図6Cおよび6Dに示す例において、ユーザは、単語「What」を形成するために文字「W」の直後に単語の断片「hat」を連続して(スタイラスを持ち上げずに)書き込む。簡単のため、本例において、実際には文字「t」の横棒を形成するために一般に少なくとも1回持ち上げることが望ましいが、グラフィックスオブジェクトOG5の「hat」を書き込むために途中でスタイラスを持ち上げる必要がないと仮定する。
別の例において、グラフィックスオブジェクトOG5は、同じ文字または同じ記号を形成するように、先行するグラフィックスオブジェクトの追加の部分に対応し得る(例えば、OG5は、ストローク(筆画)がOG4によって形成される場合の「i」の点(dot)に対応し得る。
この現在考察中の例において、デバイス2は、スタイラスが次いで持ち上げられ、グラフィックスオブジェクトOG5の入力が終了となることを検出する(E62)。OG5の処理は、OG5をグラフィックスオブジェクトOG4に関連付けるように継続する。デバイス2は、特に、列候補C51〜C54のリストLC5をグラフィックスデータDG4およびDG5に基づいて生成するように機能する。また、列候補C51〜C54にそれぞれ関連付けられた適切性値PN51〜PN54のリストPN5が認識部によって生成される。挿入部は、上記のように列CS5を選択し、この記号列を入力フィールド30内に挿入する。
さらに、記憶部は、グラフィックスデータGD4およびGD5を、データ群GD4を置き換える単一のデータ群GD5内に、リストLC5およびPN5と関連付けて、選択された列CS5の識別子とともに、記憶する(テーブルTB2、図7B)。
さらにこの実施例において、デバイス2が入力ゾーン26内のグラフィックスオブジェクトOG4およびOG5の自動スクロールを続行し(図6E)、図6Bを参照して上記したようにグラフィックスインジケータ34が現れるようにする場合について考える。
この場合、ユーザは、入力ゾーン26内に単語「are」を形成するように、スタイラスを持ち上げずにグラフィックスオブジェクトOG6を書き込む。このとき、グラフィックスオブジェクトOG6は、領域36の外側に入力されるので、デバイス2は、OG6を先行するグラフィックスオブジェクトから独立する新たなグラフィックスオブジェクトとしてOG6の処理を継続する。特に、デバイス2は、グラフィックスオブジェクトOG6のグラフィックスデータDG6から列候補C61〜C63のリストLC6を生成し、そしてこのリストを表示ゾーン28内に表示する。列C6Sは、列候補C61〜C63から選択され、そして入力フィールド30内に挿入される。また、列候補C61〜C63にそれぞれ関連付けられた適切性値PN61〜PN63のリストPN6は、認識部によって生成される。
加えて、記憶部は、新たなデータ群GD6を形成するために、グラフィックスデータDG6を、リストLC6およびPN6に関連付けて、選択された列CS6の識別子ID6とともに記憶する(テーブル2、図7B)。
本発明の特定の実施例において、デバイス2(すなわち、その検出部)が、後続のグラフィックスオブジェクト(OG6)が領域36の外側にあることを検出すると、挿入部は、入力フィールド30内にデフォルトで挿入された列CS6を最終的に確定する。このとき、ユーザは、入力フィールド30に入力するためにゾーン28内の他の列候補を選択することはもはやできない(しかし、ユーザがこの選択を後で訂正することができるようにする手続きを想起することができる)。言い換えると、入力フィールド30内に含まれる列CS6は、一旦確定されるともはや「アクティブ」ではない。
特定の実施例において、プロセッサモジュール4は、上記確定から第2の所定の期間DP2が経過した後に、現在のグラフィックスオブジェクトがブロック文字として表示されるように構成され(「フォント変化(fontification)」として知られる操作)、記憶手段は、関連付けられたデータ群をメモリ内で上記において定義した第1の所定の期間DP1にわたり保存する。ブロック文字は、例えばユニコード文字であってもよい。こうするために、プロセッサモジュールは、例えば上記確定から開始するように引き起こされるタイマ機能を行ってもよい。所定の期間DP2は、特にユーザの要求に適合させてもよい。
変形例において、プロセッサモジュール4は、グラフィックスオブジェクトの入力中に「ペンアップ」イベントが起きた時から測定される所定の期間DP2の後に「フォント変化」動作を引き起こすように構成される。
上記第2の実施形態およびその変形例から、自動スクロール機能および実際にはスペーススイッチ機能が、入力管理を直感的に制御するように機能する自然な書き込み処理におけるトリガを含むことによってユーザ入力エルゴノミクスを向上させるのに役立つことが理解できる。これらの機能によって、ユーザは、入力しながらそれぞれのスイッチを操作する(例えば、テキストをシフトさせるためにボタンを押すことによって)(書き込みの滑らかさを著しく低減し得る)必要がなくなる。
以下に、第3の実施例を図9A、9B、10および11A〜11Dを参照して説明する。本例において、ユーザが語句「hello how are you」を入力ゾーン26内に入力した場合を考える。これら4つの単語を入力すると、図10(テーブルTB3)に示すように、データ群GD7、GD9、GD10、GD11およびGD16内にそれぞれ記憶されるグラフィックスデータDG7〜DG16をそれぞれ有するグラフィックスオブジェクトOG7〜OG16が生じる。これらのデータ群のそれぞれは、それぞれの列候補のリストLC7〜LC16、それぞれの関連付けられた適切性値のリストPN7〜PN16、およびそれぞれの入力フィールド30内に挿入された列に対する識別子ID7〜ID16を有する。
データ群GD7〜GD15の内容は、図10のテーブルTB3に明示されているので、さらなる説明は本明細書中にて省略する。
この第3の実施例において、「ナビゲーション」機能がデバイス2によって、より正確にはプロセッサモジュール4によって、行われる。列CS10およびCS15だけが列CS9の部分とともに入力フィールド30内で表示されている(すなわち、可視状態)場合を考える(図9A)。列CS16に関連付けられたグラフィックスオブジェクトOG12〜OG16だけが入力ゾーン26内に表示される。
プロセッサモジュール4は、ユーザと入力デバイス(例えば、タッチスクリーン18などのインタフェース手段)との第1の所定の相互作用に応答して、先に入力され、該コマンド時には入力フィールド内にもはや表示されていない記号列のうちの少なくともいずれか1つが入力フィールド30内に表示されるように構成される。
図9Bの例において、ユーザは、例えばグラフィックスオブジェクトCS9(「how」)およびCS10(「are」)が入力フィールド30内に表示されるように操作する。この表示コマンドは、例えばユーザと入力デバイスとの第1の所定の相互作用の形態であってもよい。プロセッサモジュール4は、例えば該列を所望の列が表示されるまで入力フィールド30内でスクロールさせるように、ユーザがタッチスクリーン18上にて入力フィールド30内で接触点PC3を押し、そして該接触点PC3を移動することによって、第1の所定の相互作用が行われるように構成されてもよい。
図9Bの例において、このようにユーザは、スタイラス20の先端を左から右へ、タッチスクリーン18上にて入力フィールド30内で、スライドさせる。入力フィールド30内をスライドする接触点PC3を検出すると、デバイス2(すなわち、そのプロセッサモジュール4)は、本例における列CS9、CS10およびSC11が現れるように、入力フィールド30内に含まれる記号列をスクロールさせる。
デバイス2(すなわち、そのプロセッサモジュール4)は、好ましくはユーザが入力フィールド30内に表示されるようにした列のうちの1つに対応する少なくとも1つのグラフィックスオブジェクトを入力ゾーン30内に表示するように構成される。本例において、デバイス2は、グラフィックスオブジェクトをスクロールさせ、ともに列CS9に関連付けられたグラフィックスオブジェクトOG8およびOG9を、列SC10に関連付けられたグラフィックスオブジェクトOG10とともに、入力ゾーン26内に表示する。さらに、ここで、入力ゾーン26の大きさには制限があるので、列CS11に関連付けられたグラフィックスオブジェクトOG11の一部だけが表示される。
このように、ユーザは、入力フィールド30内に先に挿入された種々の記号列を参照するために、入力フィールド30内をナビゲートすることができる。
一つの特定の状況において、プロセッサモジュール4は、接触点を移動させることによって入力フィールド30に与えられるスクロールに合うように、グラフィックスオブジェクトが入力ゾーン26内にリアルタイムで表示されるように構成される。このように、ユーザは、入力フィールド30内に表示されている記号列に対応するグラフィックスオブジェクトを連続して参照できる。
変形例において、プロセッサモジュール4は、入力フィールド内の列を所望の列が表示されるまでリアルタイムでスクロールするように、この目的のためにユーザがタッチスクリーン上に表示されるスクロールバー42上(例えば、ベースライン32の下)でタッチスクリーンに接触点を押し付け、そして該接触点を該スクロールバーに沿って移動させることによって、第1の所定の相互作用が行われるように構成される(図9D)。このスクロールバー42は、例えばラック、またはタッチスクリーン18内の任意のゾーンであって、それに沿ってユーザが指またはスタイラスを移動させて入力フィールド30内をナビゲートできるゾーンの形態であってもよい。
特定の実施形態において、プロセッサモジュール4は、ユーザと入力デバイスとの第2の所定の相互作用に応答し、先に入力されたグラフィックスオブジェクトのうちで該第2の相互作用の時点ではもはや入力ゾーン26内に表示されていない少なくとも1つのグラフィックスオブジェクトを入力ゾーン26内に表示するように構成される。
また、プロセッサモジュール4は、好ましくは上記第2の所定の相互作用によって入力ゾーン内に表示されたグラフィックスオブジェクトのうちの1つに対応する選択された列の少なくとも一部を入力フィールド30内に表示するように構成される。
例としては、プロセッサモジュール4は、上記グラフィックスオブジェクトが所望のグラフィックスオブジェクトが表示されるまで入力ゾーン26内をリアルタイムでスクロールされるように、ユーザが接触点を入力ゾーン26上でタッチスクリーン18に押し付け、そして該接触点を移動させることによって、第2の所定の相互作用が行われるように構成される。
例としては、ユーザは、スタイラス20の先端を入力ゾーン26内のタッチスクリーン18上で左から右へスライドさせることができる。適切なゾーン内をスライドする接触点を検出すると、デバイス2(すなわち、そのプロセッサモジュール4)は、先に入力された種々のグラフィックスオブジェクトが入力ゾーン26内に現れるように、入力ゾーン26内に含まれるグラフィックスオブジェクトをスクロールさせる。
プロセッサモジュール4は、好ましくはリアルタイムで動作して、接触点を移動することによって与えられるスクロールに合うように選択された列を入力フィールド30に表示させる。
スクロールを制御するための上記変形例のすべてを任意のやり方で組み合わせて、入力フィールドおよび/または入力ゾーン内のスクロールの制御を、ユーザの必要に応じて、適合させてもよい。
好適には、グラフィックスオブジェクトを入力ゾーン内でスクロールさせる場合、対応のスクロール動作が入力フィールド内でリアルタイムに行われる。その反対であってもよく、記号列を入力フィールド内でスクロールさせる場合、対応のスクロール動作が入力ゾーン内でリアルタイムに行われる。このように、ユーザは、入力フィールド内および入力ゾーン内をナビゲートでき、グラフィックスオブジェクトおよびその適切な対応の記号列を連続して見ることができる。
特定の実施例において、デバイス2(すなわち、そのプロセッサモジュール4)は、入力フィールド30内での記号列のスクロール中に、ユーザが編集することができる「アクティブ」な列を識別するためのマーカを表示するように構成される。
図9Cは、単語「are」(列CS9に対応する)がアクティブであることを印し、それによりこの単語が必要に応じて編集可能であることをユーザに通知するマーカ(参照符号40)の例を示す。
種々の編集機能が入力デバイス2によって行われてもよい。プロセッサモジュール4は、ユーザがインタフェース部を使用して入力フィールド30内で表示中の列を編集することを可能にするように構成され、該編集された列のデータ群は、プロセッサモジュール4によってこの編集に応答して変更され、記憶手段によって記憶される。編集された列のデータ群は、入力中を通してデバイス2によって種々のデータ間に連続した結びつきが提供されるので、更新可能である。
特定の実施例において、プロセッサモジュール4は、ユーザが入力ゾーン30内に表示されている先に入力されたグラフィックスオブジェクトの上に新たなグラフィックスオブジェクトを上書きする場合に、先に入力されたグラフィックスオブジェクトの記憶されたデータ群を以下の:新たなグラフィックスオブジェクトのグラフィックスオブジェクト;新たなグラフィックスオブジェクトに対する、列候補および認識部によって生成された関連の適切性値のリスト;ならびに新たなグラフィックスオブジェクトに対して挿入部によって選択された列、で更新するように構成される。
実際には、このようにユーザは、入力ゾーン26内に表示されているグラフィックスオブジェクトを上書きでき、それにより新たなグラフィックスオブジェクトが処理され、そしてこのように編集されているグラフィックスオブジェクトに対応するデータ群がそれに応じて変更される。
グラフィックスオブジェクトを編集するために、プロセッサモジュール4は、ユーザがタッチスクリーン18を使用して編集のためにグラフィックスオブジェクトを選択することを可能にするように構成されてもよい。この選択は、種々のやり方で行われてもよい。特定の例において、この選択は、接触点をタッチスクリーン18の編集対象のグラフィックスオブジェクト(すなわち、入力ゾーン26内)に印加することによって行われ、選択により、次いで入力フィールド内に挿入された対応の列がアクティブな列として選択される。
例としては、図11Aは、ユーザがタッチスクリーン18を、スタイラスを用いてオブジェクトOG7の位置でタップして入力ゾーン26内のグラフィックスオブジェクトOG7(すなわち、単語「how」)を選択することを示す。この選択により、入力フィールド30内にある列CS7がアクティブな列として選択される。
特定の実施例において、プロセッサモジュール4は、ユーザと入力デバイスとの第3の所定の相互作用に応答して、入力ゾーン26内に表示されている2つのグラフィックスオブジェクトの間にスペースを挿入するように構成される。この機能が種々のやり方で行われることが想起できる。
特定の実施例において、第3の所定の相互作用は、接触点をタッチスクリーンに押し付けるステップと、スペースを挿入させたい記号間に下向きの垂直なストロークを「描く」ために接触点をタッチスクリーン18の下方へスライドさせるステップからなる(例えば、図11Bを参照)。第1の下向きのストロークは、2つの記号の間にスペースを入れるように機能する。適宜、同じ2つの記号間の第2の下向きのストロークは、第1のストロークによって先に挿入されたスペースの大きさを増加するように機能する。
特定の変形例において、図11C、11Dならびに11E、11Fおよび11Gは、すでに入力されたものを編集するために、ユーザがタッチスクリーン18(例えば、入力ゾーン26内)に描いた他のストロークを示す。例えば、接触点を削除対象のグラフィックスオブジェクト上で右から左へスライドさせることによって1つ以上のグラフィックスオブジェクトを削除してもよい(図11C)。
また、ユーザは、互いに間隔をあけて離れた2つのグラフィックスオブジェクトの間のスペースを、垂直のストロークを描くことによって削除できる。この場合のストロークは、対象となっている2つのグラフィックスオブジェクトの間を上向きに描かれる(図11D)。図11Dに示されるように、スペースを削除(縮小)するための他のストロークを想起してもよい。そのようなストロークは、描かれるたびに、2つのグラフィックスオブジェクト間のスペースが完全に削除されるまでこのスペースを低減するように適宜機能する。
また、ユーザは、グラフィックスオブジェクトが選択されるように、接触点をそのオブジェクトに対して所定の長さの時間(例えば、2秒)にわたり押し付けることができる(図11E)。そのような選択によって、次いでそのオブジェクトが特定のやり方で編集されることが可能となる。
図11Fは、2つのステップで編集する機能を示す。まず、ユーザは、入力ゾーン内で上下に配置される2つのグラフィックスオブジェクトの間に接触点を押し付ける。そのような接触点を所定の長さの時間にわたり検出すると、2つのオブジェクトの間に破線が現れる。その後、ユーザは、対象のグラフィックスオブジェクト間に垂直方向にスペースを挿入するために、この破線またはこの目的のために提供されるカーソルを利用できる。
図11Gは、ユーザがグラフィックスオブジェクトの大きさを容易に変更できるようにする編集機能を示す。こうするために、ユーザは、接触点をオブジェクト近傍に押し付け、オブジェクトを少なくとも実質的に囲むストロークを描いて、その後の編集のためにそのオブジェクトを選択する。オブジェクトが選択されると、オブジェクトの周りにフレームが現れる。これにより、その後に、ユーザがタッチスクリーン上のドットのうちの1つを移動させることによって、選択されたグラフィックスオブジェクトの大きさを変更することができる。
要約すると、本発明によって、グラフィックスオブジェクトを入力デバイス内に入力でき、グラフィックスオブジェクトを対応する記号列に変換でき、その記号列は、入力デバイス上で実行されているアプリケーションの入力フィールド内に挿入される。デバイスは、必要に応じて、あるグラフィックスオブジェクトをグループにまとめることができ、1つ(または複数の)グラフィックスオブジェクトのグラフィックスデータを、列候補、適切性値、および入力フィールド内に挿入された列の識別子に関連付けて記憶できる。例としては、この記憶は、少なくとも所定の期間にわたり、特にユーザがすべてのグラフィックスオブジェクトを入力するまで(例えば、ユーザがメッセージに対して最終確定を与えるまで、または入力フィールド30のアプリケーションが閉じられるまで)維持される。
例としては、本発明は、上記のように、特にナビゲーションおよび/または編集のための機能を行ってもよい。
自然な書き込み処理に含まれる、自動で引き起こされる動作を含む種々の機能(自動スクロール、スペーススイッチなど)は、ユーザの観点からは、そのような入力のエルゴノミクスを著しく向上させるように機能する。
本発明は、アルファベット型のテキストまたは文字(または、より一般には、ユニコード規格に従う文字)の入力に特に適用される。
上記の実施例および変形例が本発明の構成例にすぎず、本発明を限定しないことが当業者には理解され得る。特に、当業者は、ある特定の要求を満たすために、上記変形例および実施例を任意に組み合わせることを想起できる。

Claims (17)

  1. 入力デバイス(2)であって、ユーザによって使用され、前記入力デバイス上で実行可能なアプリケーションの入力フィールド(30)内に記号を入力するのに適した前記入力デバイスであり、前記入力デバイスは、
    ・タッチスクリーン(18)を有するインタフェース部であって、グラフィックスオブジェクト(OG1〜OG16)が前記タッチスクリーンの入力ゾーン(26)内に手入力および表示されることを可能にするインタフェース部と、
    ・グラフィックスオブジェクトプロセッサモジュール(4)であって、現在のグラフィックスオブジェクトのそれぞれを処理するために
    ・前記入力ゾーン(26)内の前記現在のグラフィックスオブジェクト(OG1)の入力開始および入力終了を検出するための検出部と、
    ・前記現在のグラフィックスオブジェクトの入力開始を検出すると、前記現在のグラフィックスオブジェクトが入力されている期間を通して前記現在のグラフィックスオブジェクト(OG1)に対応するグラフィックスデータ(DG1)を記憶するのに適した記憶部と、
    ・前記グラフィックスデータから、それぞれ少なくとも1つの記号を有する列候補(C11〜C14)を生成するように構成される認識部であって、前記列候補のそれぞれは、前記グラフィックスデータに対する前記列候補の適切性を表す適切性値(PN11〜PN14)に関連付けられる、認識部と、
    ・前記列候補からそれらの適切性値に応じて選択された列(CS1)を、前記入力フィールド(30)に挿入するように構成される挿入部と、
    を備えるグラフィックスオブジェクトプロセッサモジュール(4)と、
    を備え、
    前記記憶部は、前記グラフィックスデータ(DG1)に関連付けて、前記列候補(C11〜C14)およびそれらに関連付けられた適切性値(PN11〜PN14)を、前記選択された列の識別子(ID1)とともに記憶するように構成され、前記関連付けは、第1のデータ群(GD1)を形成し、前記記憶部は、前記第1のデータ群をメモリ内に第1の所定の期間にわたり保存するように構成され、
    前記プロセッサモジュールは、前記入力フィールド(30)内に表示されている列(CS7)を前記ユーザが前記インタフェース部を使用して編集できるように構成され、前記編集される列のデータ群は、前記プロセッサモジュールによる前記編集に応答して変更され、前記記憶部によって記憶される、入力デバイス。
  2. 前記インタフェース部は、前記現在のグラフィックスオブジェクトの入力終了が検出され、かつ前記入力終了の検出から始まる所定の長さの時間内にその後のグラフィックスオブジェクトの入力開始が検出されなかった場合に、後続のグラフィックスオブジェクト(OG5)を入力するために前記入力ゾーン(26)内にスペースを入れるように、前記現在のグラフィックスオブジェクト(OG4)の表示を前記入力ゾーン内でシフトするように構成される、請求項1に記載の入力デバイス。
  3. 前記所定の長さの時間は、前記入力ゾーン内の前記現在のグラフィックスオブジェクト(OG4)の位置の関数である、請求項2に記載の入力デバイス。
  4. 前記所定の長さの時間は、前記入力ゾーン(26)内で表示されている前記グラフィックスオブジェクトの主入力軸に沿った筆記軌跡の全長の関数である、請求項2または請求項3に記載の入力デバイス。
  5. 前記インタフェース部は、一旦前記シフトが行われると、グラフィックスインジケータ(34)を前記入力ゾーン(26)内に表示して、前記現在のグラフィックスオブジェクト(OG4)に隣接する前記入力ゾーン(26)の領域(36)を規定するように構成され、
    前記記憶部は、前記検出部が前記領域において後続のグラフィックスオブジェクトの入力開始を検出すると、前記後続のグラフィックスオブジェクト(OG5)が入力されている期間を通して、前記後続のグラフィックスオブジェクト(OG5)のグラフィックスデータ(DG5)を前記第1のデータ群(DG4)のグラフィックスデータ(OG4)に関連付けて記憶するように構成される、請求項2〜4のいずれか1つに記載の入力デバイス。
  6. 前記インタフェース部は、一旦前記シフトが行われると、グラフィックスインジケータ(34)を前記入力ゾーン(26)内に表示して、前記現在のグラフィックスオブジェクト(OG5)に隣接する前記入力ゾーン(26)の領域(36)を規定するように構成され、
    前記記憶部は、前記検出部が前記領域の外側で後続のグラフィックスオブジェクトの入力開始を検出すると、前記後続のグラフィックスオブジェクト(OG6)が入力されている期間を通して、前記後続のグラフィックスオブジェクト(OG6)のグラフィックスデータ(DG6)を前記第1のデータ群(GD5)から独立した第2のデータ群(GD6)において記憶するように構成される、請求項2〜5のいずれか1つに記載の入力デバイス。
  7. 前記インタフェース部が前記入力ゾーン(26)の前記領域(36)の外側で入力されている前記後続のグラフィックスオブジェクトの開始を検出すると、前記挿入部は、前記選択された列を確定する、請求項5または請求項6に記載の入力デバイス。
  8. 前記プロセッサモジュールは、前記確定から測定される第2の所定の期間の後、前記現在のグラフィックスオブジェクト(OG1〜OG16)がブロック文字で表示されるように構成され、前記記憶部は、前記第1の所定の期間中に前記第1のデータ群をメモリに保存する、請求項7に記載の入力デバイス。
  9. 前記グラフィックスインジケータ(34)は、前記入力ゾーン(26)内の、前記現在のグラフィックスオブジェクトと前記入力ゾーンの未使用部分との間の空のスペースを表す、請求項5〜8のいずれか1つに記載の入力デバイス。
  10. 前記グラフィックスオブジェクトのそれぞれは、手書き記号を表す、請求項1〜9のいずれか1つに記載の入力デバイス。
  11. 前記プロセッサモジュールは、グラフィックスオブジェクト(OG7)を編集するために、前記ユーザが前記タッチスクリーンを使用して編集のために前記グラフィックスオブジェクトを選択することを可能にする、請求項1〜10のいずれか1つに記載の入力デバイス。
  12. 前記選択は、接触点を編集対象の前記グラフィックスオブジェクト上で前記タッチスクリーンに押し付けることによって行われ、前記選択によって、前記入力フィールド内に挿入された前記対応の列(CS7)がアクティブな列として選択される、請求項11に記載の入力デバイス。
  13. 前記挿入部は、所定のコマンドに応答して、前記入力フィールド内の前記選択された列を、前記列候補の中から選ばれた別の列候補によって置き換えるように構成される、請求項1に記載の入力デバイス。
  14. 請求項1〜13のいずれか1つに記載の入力デバイス(2)によって行われる入力方法であって、前記入力デバイスは、ユーザによって使用され、前記入力デバイス上で実行可能なアプリケーションの入力フィールド(30)内に記号を入力するのに適しており、前記入力デバイスは、タッチスクリーン(18)を有するインタフェースであって、グラフィックスオブジェクト(OG1〜OG16)が前記タッチスクリーンの入力ゾーン(26)内に手入力および表示されることを可能にするインタフェースを備え、前記入力方法は、グラフィックスオブジェクトの処理を含み、前記処理は、各現在のグラフィックスオブジェクト(OG1)に対して、
    ・前記入力ゾーン(26)内に入力されている前記現在のグラフィックスオブジェクト(OG1)の開始および終了を検出するステップと、
    ・前記入力されている現在のグラフィックスオブジェクトの開始を検出すると、前記現在のグラフィックスオブジェクトが入力されている期間を通して前記現在のグラフィックスオブジェクトに対応するグラフィックスデータ(DG1)を記憶するステップと、
    ・前記グラフィックスデータ(DG1)から少なくとも1つの記号の列候補(C11〜C14)を生成するステップであって、前記列候補のそれぞれは、前記グラフィックスデータに対する前記列候補の適切性を表す適切性値(PN11〜PN14)に関連付けられる、ステップと、
    ・前記列候補(C11〜C14)からその適切性値に応じて選択された列(CS1)を前記入力フィールド(30)に挿入するステップと、
    ・メモリ内に、前記グラフィックスデータ(DG1)に関連付けて、前記列候補(C11〜C14)およびそれらに関連付けられた適切性値(PN11〜PN14)を、前記選択された列の識別子(ID1)とともに記憶し、前記関連付けは、第1のデータ群(GD1)を形成し、前記第1のデータ群をメモリ内に第1の所定の期間中に保存するステップと、
    ・前記入力フィールド(30)内に表示されている列(CS7)を編集するステップであって、前記編集された列のデータ群は、前記編集に応答して変更され、記憶される、ステップと、
    を含む入力方法。
  15. 前記挿入するステップの実行後に、所定のコマンドに応答して、前記入力フィールド内の前記選択された列を、前記列候補の中から選ばれた別の列候補によって置き換える、請求項14に記載の入力方法。
  16. コンピュータプログラム(P)であって、前記プログラムがコンピュータによって実行される場合に、請求項14に記載の入力方法のステップを実行するための命令を含むコンピュータプログラム。
  17. 請求項14に記載の入力方法のステップを実行するための命令を含むコンピュータプログラム(P)を記憶するコンピュータ読み取り可能なデータ媒体(16)。
JP2016509531A 2013-04-24 2014-04-24 手書き入力のための永久同期システム Active JP6427559B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1353746 2013-04-24
FR1353746A FR3005175B1 (fr) 2013-04-24 2013-04-24 Systeme de synchronisation permanente pour la saisie manuscrite
PCT/FR2014/050991 WO2014174219A1 (fr) 2013-04-24 2014-04-24 Systeme de synchronisation permanente pour la saisie manuscrite

Publications (3)

Publication Number Publication Date
JP2016524205A JP2016524205A (ja) 2016-08-12
JP6427559B2 true JP6427559B2 (ja) 2018-11-21
JP6427559B6 JP6427559B6 (ja) 2019-01-30

Family

ID=49003848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016509531A Active JP6427559B6 (ja) 2013-04-24 2014-04-24 手書き入力のための永久同期システム

Country Status (7)

Country Link
US (1) US11157165B2 (ja)
EP (1) EP2989593B1 (ja)
JP (1) JP6427559B6 (ja)
KR (1) KR102235472B1 (ja)
CN (1) CN105378753B (ja)
FR (1) FR3005175B1 (ja)
WO (1) WO2014174219A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3005175B1 (fr) 2013-04-24 2018-07-27 Myscript Systeme de synchronisation permanente pour la saisie manuscrite
CN104360809B (zh) * 2014-10-10 2017-08-11 北京智谷睿拓技术服务有限公司 控制方法、装置和系统
WO2016170690A1 (ja) * 2015-04-24 2016-10-27 富士通株式会社 入力制御プログラム、入力制御装置、入力制御方法、文字修正プログラム、文字修正装置、及び文字修正方法
JPWO2016170691A1 (ja) 2015-04-24 2018-02-01 富士通株式会社 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
US10346510B2 (en) * 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
US10755029B1 (en) 2016-01-05 2020-08-25 Quirklogic, Inc. Evaluating and formatting handwritten input in a cell of a virtual canvas
US10324618B1 (en) * 2016-01-05 2019-06-18 Quirklogic, Inc. System and method for formatting and manipulating digital ink
US10416868B2 (en) 2016-02-29 2019-09-17 Myscript Method and system for character insertion in a character string
US10248635B2 (en) 2016-02-29 2019-04-02 Myscript Method for inserting characters in a character string and the corresponding digital service
US11209976B2 (en) 2016-04-29 2021-12-28 Myscript System and method for editing input management
US10614607B2 (en) * 2016-06-12 2020-04-07 Apple Inc. Playback of handwritten message
CN107196956B (zh) * 2017-06-15 2020-07-07 广州视源电子科技股份有限公司 笔迹数据同步的方法和装置、存储介质以及终端设备
CN111459378A (zh) * 2020-03-23 2020-07-28 广州视源电子科技股份有限公司 笔迹的处理方法和装置
KR102241480B1 (ko) 2020-10-22 2021-04-19 주식회사 아이텍솔루션 수학식의 OCR(Optical Character Recognition) 및 스트로크 인식에 있어서 판독 오류를 수정하는 방법 및 이를 위한 장치
KR102508200B1 (ko) 2021-03-22 2023-03-09 주식회사 아이텍솔루션 지우개 기능 및 후보자 리스트를 이용하여 인식율 개선에 필요한 인공지능 학습 데이터 수집 방법

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550930A (en) 1991-06-17 1996-08-27 Microsoft Corporation Method and system for training a handwriting recognizer at the time of misrecognition
US5596350A (en) 1993-08-02 1997-01-21 Apple Computer, Inc. System and method of reflowing ink objects
JP3353954B2 (ja) * 1993-08-13 2002-12-09 ソニー株式会社 手書き入力表示方法および手書き入力表示装置
JP2939119B2 (ja) 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
JPH0816313A (ja) 1994-07-04 1996-01-19 Sanyo Electric Co Ltd 手書き入力方法及び装置
US5838302A (en) 1995-02-24 1998-11-17 Casio Computer Co., Ltd. Data inputting devices for inputting typed and handwritten data in a mixed manner
JP3427692B2 (ja) 1996-11-20 2003-07-22 松下電器産業株式会社 文字認識方法および文字認識装置
US6507678B2 (en) 1998-06-19 2003-01-14 Fujitsu Limited Apparatus and method for retrieving character string based on classification of character
US6408092B1 (en) 1998-08-31 2002-06-18 Adobe Systems Incorporated Handwritten input in a restricted area
US6256009B1 (en) 1999-02-24 2001-07-03 Microsoft Corporation Method for automatically and intelligently scrolling handwritten input
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6577296B2 (en) 2000-11-14 2003-06-10 Vega Vista, Inc. Fixed cursor
US7571384B1 (en) 2001-05-31 2009-08-04 Palmsource, Inc. Method and system for handwriting recognition with scrolling input history and in-place editing
US20030007018A1 (en) 2001-07-09 2003-01-09 Giovanni Seni Handwriting user interface for personal digital assistants and the like
US7158678B2 (en) 2001-07-19 2007-01-02 Motorola, Inc. Text input method for personal digital assistants and the like
US6661409B2 (en) 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US7804489B1 (en) 2001-08-29 2010-09-28 Palmsource Inc. Method and apparatus for displaying information in a display screen region identified by permanent printing
US7380203B2 (en) 2002-05-14 2008-05-27 Microsoft Corporation Natural input recognition tool
US7174042B1 (en) 2002-06-28 2007-02-06 Microsoft Corporation System and method for automatically recognizing electronic handwriting in an electronic document and converting to text
US7251367B2 (en) 2002-12-20 2007-07-31 International Business Machines Corporation System and method for recognizing word patterns based on a virtual keyboard layout
US7639844B2 (en) * 2002-12-30 2009-12-29 Haddad Michael A Airport vehicular gate entry access system
US7638841B2 (en) * 2003-05-20 2009-12-29 Fairchild Semiconductor Corporation Power semiconductor devices and methods of manufacture
US7193616B2 (en) 2003-05-30 2007-03-20 Hewlett-Packard Development Company, L.P. Systems and methods for facilitating composition of handwritten documents
US7567239B2 (en) 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
WO2005096217A1 (en) 2004-04-02 2005-10-13 Nokia Corporation Apparatus and method for handwriting recognition
WO2005119628A1 (en) 2004-06-01 2005-12-15 Mattel, Inc. An electronic learning device with a graphic user interface for interactive writing
WO2007027610A2 (en) * 2005-08-30 2007-03-08 Bruce Reiner Multi-functional navigational device and method
US20070094024A1 (en) * 2005-10-22 2007-04-26 International Business Machines Corporation System and method for improving text input in a shorthand-on-keyboard interface
CN101436247B (zh) * 2007-11-12 2012-04-11 中国长城计算机深圳股份有限公司 一种基于uefi的生物身份识别方法及系统
US8116569B2 (en) 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
EP2088536B1 (en) * 2008-02-08 2021-08-11 Nokia Technologies Oy Text input system and method involving finger-based handwriting recognition and word prediction
US9355090B2 (en) 2008-05-30 2016-05-31 Apple Inc. Identification of candidate characters for text input
US9996259B2 (en) 2008-09-26 2018-06-12 General Algorithms Ltd. Methods for inputting text at a touchscreen
CN101685497B (zh) * 2008-09-28 2011-10-12 汉王科技股份有限公司 手写信息处理方法和装置
US20100295799A1 (en) 2009-05-21 2010-11-25 Sony Computer Entertainment America Inc. Touch screen disambiguation based on prior ancillary touch input
JP5484799B2 (ja) * 2009-06-24 2014-05-07 シャープ株式会社 検索装置および検索装置の制御方法
JP2011065623A (ja) * 2009-08-21 2011-03-31 Sharp Corp 情報検索装置、情報検索装置の制御方法
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
CN101770572B (zh) * 2010-01-21 2015-07-22 华为终端有限公司 一种认证的方法和装置
US20110320978A1 (en) 2010-06-29 2011-12-29 Horodezky Samuel J Method and apparatus for touchscreen gesture recognition overlay
US20120032877A1 (en) 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
CN102446055B (zh) * 2010-09-30 2016-05-04 阿尔派株式会社 手写文字输入方法及装置
WO2012054062A1 (en) 2010-10-22 2012-04-26 Hewlett-Packard Development Company, L.P. User interface for facilitating character input
US8648823B2 (en) 2010-11-05 2014-02-11 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US20120216113A1 (en) 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
CN103547983B (zh) * 2011-05-20 2016-04-06 微软技术许可有限责任公司 用于手写输入的用户界面
US8094941B1 (en) 2011-06-13 2012-01-10 Google Inc. Character recognition for overlapping textual user input
KR20130034747A (ko) * 2011-09-29 2013-04-08 삼성전자주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
KR101976177B1 (ko) 2012-07-09 2019-05-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US10838513B2 (en) 2012-08-06 2020-11-17 Nokia Technologies Oy Responding to selection of a displayed character string
US9846536B2 (en) 2012-12-17 2017-12-19 Microsoft Technology Licensing, Llc Composition of handwritten messages on mobile computing devices
CN103970467A (zh) 2013-02-04 2014-08-06 英华达(上海)科技有限公司 多重输入法手写辨识系统及其方法
FR3005175B1 (fr) 2013-04-24 2018-07-27 Myscript Systeme de synchronisation permanente pour la saisie manuscrite
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9201592B2 (en) 2013-08-09 2015-12-01 Blackberry Limited Methods and devices for providing intelligent predictive input for handwritten text
KR102162836B1 (ko) 2013-08-30 2020-10-07 삼성전자주식회사 필드 속성을 이용한 컨텐트를 제공하는 전자 장치 및 방법
US9411508B2 (en) 2014-01-03 2016-08-09 Apple Inc. Continuous handwriting UI
US10248635B2 (en) 2016-02-29 2019-04-02 Myscript Method for inserting characters in a character string and the corresponding digital service
US10416868B2 (en) 2016-02-29 2019-09-17 Myscript Method and system for character insertion in a character string
US10228839B2 (en) 2016-11-10 2019-03-12 Dell Products L.P. Auto-scrolling input in a dual-display computing device

Also Published As

Publication number Publication date
CN105378753A (zh) 2016-03-02
CN105378753B (zh) 2019-12-10
WO2014174219A1 (fr) 2014-10-30
KR102235472B1 (ko) 2021-04-02
US20160070462A1 (en) 2016-03-10
FR3005175A1 (fr) 2014-10-31
KR20160018495A (ko) 2016-02-17
EP2989593B1 (fr) 2023-11-15
JP6427559B6 (ja) 2019-01-30
US11157165B2 (en) 2021-10-26
FR3005175B1 (fr) 2018-07-27
EP2989593A1 (fr) 2016-03-02
JP2016524205A (ja) 2016-08-12

Similar Documents

Publication Publication Date Title
JP6427559B2 (ja) 手書き入力のための永久同期システム
CN106648434B (zh) 通过拖拽手势控制应用界面的方法和装置
JP6180888B2 (ja) 電子機器、方法およびプログラム
EP3002664A1 (en) Text processing method and touchscreen device
CN102968206A (zh) 用于具有触摸模块的终端设备的输入装置和方法
CN104756060A (zh) 基于手势的光标控制
CN101923425A (zh) 基于滑动终端屏幕实现窗口切换的方法及其装置
CN104571832A (zh) 移动终端、及其操控系统和方法
KR101394874B1 (ko) 필기 기반으로 특정 기능을 실행하는 방법 및 그에 따른 디바이스
US9001055B2 (en) Portable device and method for operating portable device
KR20130093672A (ko) 중첩 수기를 위한 방법, 장치 및 컴퓨터 프로그램 제품
CN104272322A (zh) 显示控制装置、控制程序、以及显示装置的控制方法
WO2014082303A1 (zh) 终端和屏幕背光的控制方法
CN102141886A (zh) 文本编辑方法和设备及计算机程序产品和计算机可读介质
CN105630369B (zh) 单手操作移动终端的实现方法及移动终端
CN105739781A (zh) 通过压力触控技术快速精准定位文字光标的方法及系统
CN112506415A (zh) 电子设备和用于电子设备的方法
CN105744062A (zh) 精准定位文字光标的方法及系统
US11132104B1 (en) Managing user interface items in a visual user interface (VUI)
KR20150143989A (ko) 간편한 이모티콘 입력 방법 및 이 방법을 구현한 장치
JP6430198B2 (ja) 電子機器、方法及びプログラム
CN106990900A (zh) 一种书写实现方法和装置
EP3336712A1 (en) Data editing method and device
US20190056840A1 (en) Proximal menu generation
KR20190063853A (ko) 입력 필드의 이동 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6427559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250