JP6270565B2 - 電子機器および方法 - Google Patents

電子機器および方法 Download PDF

Info

Publication number
JP6270565B2
JP6270565B2 JP2014055578A JP2014055578A JP6270565B2 JP 6270565 B2 JP6270565 B2 JP 6270565B2 JP 2014055578 A JP2014055578 A JP 2014055578A JP 2014055578 A JP2014055578 A JP 2014055578A JP 6270565 B2 JP6270565 B2 JP 6270565B2
Authority
JP
Japan
Prior art keywords
stroke
candidate
handwritten
character string
handwriting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014055578A
Other languages
English (en)
Other versions
JP2015179329A (ja
Inventor
滋 本井
滋 本井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014055578A priority Critical patent/JP6270565B2/ja
Priority to US14/497,190 priority patent/US9390341B2/en
Publication of JP2015179329A publication Critical patent/JP2015179329A/ja
Application granted granted Critical
Publication of JP6270565B2 publication Critical patent/JP6270565B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Description

実施形態は、手書き文書情報を処理する技術に関する。
近年、タブレット、PDA、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備え、手書きするための機能を有するものもある。そのためユーザは、この電子機器を用いて、テキストや画像だけでなく、手書きの文字や図形も含む文書を作成することができる。
特開2007−265171号公報
ところで、ユーザが単語のような文字列を入力するときに、これまでに入力された文字列の履歴を用いてユーザによる入力を補助する方法がある。例えば直前に入力されていた手書き文字列の大きさに応じて、補助により入力された手書き文字列の大きさを調整して表示することが考えられる。大きさが調整された手書き文字列が汚く表示されることがある。
本発明の一形態の目的は、大きさが調整された手書き文字列が汚く表示されないようにすることが可能な電子機器および方法を提供することである。
実施形態によれば、電子機器は、手書き入力機能を有するタッチスクリーンディスプレイと、過去の手書き文書情報に基づいて、一つの文字列に対し複数のストロークデータ群を格納することが可能な候補ストロークデータベースと、少なくとも手書き文書の作成、表示、編集、およびストロークの補完を行う手書きアプリケーションを実行する処理手段と、を具備する。
前記処理手段は、
手書き入力されるストロークを前記タッチスクリーンディスプレイの画面上に表示すると共に、前記ストロークが示す文字又は文字列を文字認識し、前記ストロークの前記文字認識の認識結果に前方一致する前記ストロークデータ群を前記候補ストロークデータベースから取得し、
取得された前記ストロークデータ群を前記手書き入力されるストロークの候補ストロークリストとして前記タッチスクリーンディスプレイの画面上に表示し、
前記候補ストロークリスト中の1つの候補ストロークが選択された場合であって、前記候補ストロークデータベースに前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていると判定する場合、描画サイズが最も大きい手書き文字列のストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する。
は実施形態に係る電子機器の外観の一例を示す斜視図。 図1の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 図1の電子機器によって生成される、図2の手書き文書に対応する時系列情報を説明するための例示的な図。 図1の電子機器のシステム構成の一例を示すブロック図。 図1の電子機器によって実行される手書きノートアプリケーションプログラムの機能構成の一例を示すブロック図。 候補ストロークデータベースの一構成例を示す図。 図1の電子機器によって表示される候補ストロークの例を説明するための図。 図7の状態においてさらにストロークが入力された場合に図1の電子機器によって新たに表示される候補ストロークの例を説明するための図。 図1の電子機器によって実行される手書きストローク補完動作を説明するための図。 登録されている手書き文字列の一例を示す図。 図10に示す手書き文字列を拡大表示した状態を示す図。 登録されている手書き文字列の一例を示す図。 図12に示す手書き文字列を拡大表示した状態を示す図。 登録されている手書き文字列の一例を示す図。 図14に示す手書き文字列を拡大表示した状態を示す図。 登録されている手書き文字列の一例を示す図。 登録されている手書き文字列の一例を示す図。 ユーザが手書き文字を登録するための登録画面の一例を示す図。 それぞれが同一の文字列を示す複数の手書き文字列の内から手書き文字列を選択するための処理の手順の一例を示すフローチャート。
以下、実施の形態について図面を参照して説明する。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペン(スタイラス)または指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、この電子機器がタブレットコンピュータ10として実現されている場合を想定する。タブレットコンピュータ10は、タブレットまたはスレートコンピュータとも称される携帯型電子機器である。タブレットコンピュータ10は、図1に示すように、本体11とタッチスクリーンディスプレイ17とを備える。本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17は、本体11の上面に重ね合わさるように取り付けられている。
タッチスクリーンディスプレイ17には、フラットパネルディスプレイと、センサとが組み込まれている。センサは、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されている。フラットパネルディスプレイは、例えば、液晶表示装置(LCD)であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの2種類のセンサの双方がタッチスクリーンディスプレイ17に組み込まれている場合を想定する。
デジタイザは、例えば、フラットパネルディスプレイの画面の下側に配置される。タッチパネルは、例えば、フラットパネルディスプレイの画面上に配置される。このタッチスクリーンディスプレイ17は、指を使用した画面に対するタッチ操作のみならず、ペン100を使用した画面に対するタッチ操作も検出することができる。ペン100は例えばデジタイザペン(電磁誘導ペン)であってもよい。ユーザは、外部オブジェクト(ペン100又は指)を使用してタッチスクリーンディスプレイ17上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト(ペン100又は指)の動きの軌跡、つまり手書きによって入力されるストロークの軌跡がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が1ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡(筆跡)の集合が手書き文書を構成する。
本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係とを示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図3を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
タブレットコンピュータ10は、記憶媒体から既存の任意の時系列情報(手書き文書情報)を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ10は編集機能を有している。この編集機能は、「消しゴム」ツール、「範囲指定」ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。
さらに、タブレットコンピュータ10は、筆跡補完(ストローク推薦)機能も有している。この筆跡補完機能は、多くの文字列を手書きによって容易に入力できるようにするために、ユーザの手書き入力操作を補助するための機能である。
次に、図2および図3を参照して、ユーザによって手書きされたストローク(文字、マーク、図形(線図)、表など)と手書き文書との関係について説明する。図3は、ペン100などを使用してタッチスクリーンディスプレイ17上に手書きされる手書き文字列の例を示している。
手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図2においては、「ABC」の手書き文字列が「A」、「B」、「C」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「A」のすぐ近くに手書きされた場合が想定されている。
手書き文字「A」は、ペン100などを使用して手書きされる2つのストローク(「∧」形状の軌跡、「−」形状の軌跡)によって、つまり2つの軌跡によって表現される。最初に手書きされる「∧」形状のペン100の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標SD11、SD12、…SD1nが得られる。同様に、次に手書きされる「−」形状のペン100の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標SD21、SD22、…SD2nが得られる。
手書き文字「B」は、ペン100などを使用して手書きされた2つのストローク、つまり2つの軌跡によって表現される。手書き文字「C」は、ペン100などを使用して手書きされた1つのストローク、つまり1つの軌跡によって表現される。手書きの「矢印」は、ペン100などを使用して手書きされた手書きされた2つのストローク、つまり2つの軌跡によって表現される。
図3は、図2の手書き文字列に対応する時系列情報200を示している。時系列情報200は、複数のストロークデータSD1、SD2、…、SD7を含む。時系列情報200内においては、これらストロークデータSD1、SD2、…、SD7は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べられている。
時系列情報200において、先頭の2つのストロークデータSD1、SD2は、手書き文字「A」の2つのストロークをそれぞれ示している。3番目と4番目のストロークデータSD3、SD4は、手書き文字「B」を構成する2つのストロークをそれぞれ示している。5番目のストロークデータSD5は、手書き文字「C」を構成する1つのストロークを示している。6番目と7番目のストロークデータSD6、SD7は、手書き「矢印」を構成する2つのストロークをそれぞれ示している。
各ストロークデータは、一つのストロークに対応する座標データ系列(時系列座標)、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「A」に関しては、ストロークデータSD1は、手書き文字「A」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)、つまりn個の座標データSD11、SD12、…SD1nを含む。ストロークデータSD2は、手書き文字「A」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりn個の座標データSD21、SD22、…SD2nを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。すなわち、ペン100の軌跡は等時間間隔でリアルタイムにサンプリングされるので、ストロークの長さが長いほど、あるいはストロークの手書き速度が遅いほど、座標データの数は増加する。
各座標データは、対応する軌跡内のある1点に対応するX座標およびY座標を示す。例えば、座標データSD11は、「∧」形状のストロークの始点のX座標(X11)およびY座標(Y11)を示す。SD1nは、「∧」形状のストロークの終点のX座標(X1n)およびY座標(Y1n)を示す。
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Tを含んでいてもよい。手書きされた時点は、絶対時間(例えば、年月日時分秒)またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間(例えば、年月日時分秒)をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Tとして付加してもよい。
このように、各座標データにタイムスタンプ情報Tが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
さらに、各座標データには、筆圧を示す情報(Z)を追加してもよい。
図3で説明したような構造を有する時系列情報200は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報200を使用することにより、図2に示すようにたとえ手書き「矢印」の先端部が手書き文字「A」上に重ねてまたは手書き文字「A」に近接して書かれたとしても、手書き文字「A」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。なお、タイムスタンプ情報Tはオプション情報として使用してもよく、各々がタイムスタンプ情報Tを有さない複数のストロークデータを上述の時系列情報として使用しても良い。
さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報200の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
図4は、タブレットコンピュータ10のシステム構成を示す。
タブレットコンピュータ10は、図4に示されるように、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ104、BIOS−ROM105、不揮発性メモリ106、無線通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
CPU101は、タブレットコンピュータ10内の各種モジュールの動作を制御するプロセッサである。CPU101は、ストレージデバイスである不揮発性メモリ106から主メモリ103にロードされる各種コンピュータプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)201、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム202が含まれている。この手書きノートアプリケーションプログラム202は、上述の手書き文書を作成および表示する機能、手書き文書を編集する機能、および筆跡補完機能等を有している。
また、CPU101は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ102は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスコントローラ104との通信を実行する機能も有している。
グラフィクスコントローラ104は、タブレットコンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。このグラフィクスコントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。このLCD17A上にはタッチパネル17Bおよびデジタイザ17Cが配置されている。タッチパネル17Bは、LCD17Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル17Bによって検出される。デジタイザ17CはLCD17Aの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン100が接触される画面上の接触位置および接触位置の動き等はデジタイザ17Cによって検出される。
無線通信デバイス107は、無線LANまたは3G移動通信などの無線通信を実行するように構成されたデバイスである。EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ10を電源オンまたは電源オフする機能を有している。
次に、図5を参照して、手書きノートアプリケーションプログラム202の機能構成について説明する。
手書きノートアプリケーションプログラム202は、ペン軌跡表示処理部301、時系列情報生成部302、編集処理部303、ページ保存処理部304、ページ取得処理部305、手書き文書表示処理部306、および筆跡補完処理部308等を備える。
手書きノートアプリケーションプログラム202は、タッチスクリーンディスプレイ17を用いて入力されるストロークデータを使用することによって、手書き文書(手書きデータ)の作成、表示、編集等を行う。タッチスクリーンディスプレイ17は、「タッチ」、「移動(スライド)」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動(スライド)」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
ペン軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17によって発生される「タッチ」または「移動(スライド)」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動(スライド)」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17から、接触位置の動きの軌跡に対応する座標列を受信することができる。
ペン軌跡表示処理部301は、手書きによって入力されるストロークをタッチスクリーンディスプレイ17の画面上に表示するように構成された表示処理部として機能する。ペン軌跡表示処理部301は、タッチスクリーンディスプレイ17から座標列を受信する。そして、この座標列に基づいて、ペン軌跡表示処理部301は、ペン100等を使用した手書き入力操作によって入力される複数のストロークをタッチスクリーンディスプレイ17内のLCD17Aの画面上に表示する。
時系列情報生成部302は、タッチスクリーンディスプレイ17から出力される上述の座標列を受信する。この座標列に基づいて、時系列情報生成部302は、上述の複数のストロークに対応する複数のストロークデータ(時系列情報)を生成する。これらストロークデータ、つまり各ストロークの各点に対応する座標および各ストロークのタイムスタンプ情報は作業メモリ401に一時保存してもよい。
ページ保存処理部304は、複数のストロークに対応する複数のストロークデータを含む手書き文書情報を記憶媒体402内の手書きノートデータベース402Aに保存する。記憶媒体402は、上述したように、タブレットコンピュータ10内のストレージデバイス、パーソナルコンピュータ1内のストレージデバイス、サーバ2のストレージデバイスのいずれであってもよい。
ページ取得処理部305は、記憶媒体402から任意の手書き文書情報を読み出す。読み出された手書き文書情報は手書き文書表示処理部306に送られる。手書き文書表示処理部306は、手書き文書情報を解析し、この解析結果に基づいて、手書き文書情報内の複数のストロークデータによって示される複数のストロークの軌跡を画面上に手書きページとして表示する。
編集処理部303は現在表示中の手書き文書(手書きページ)を編集するための処理を実行する。すなわち、編集処理部303は、タッチスクリーンディスプレイ17上でユーザによって行われる編集操作に応じて、表示されている複数のストローク内の1以上のストロークを削除または移動等するための編集処理を実行する。さらに、編集処理部303は、編集処理の結果を表示中の手書き文書に反映するためにこの手書き文書を更新する。
ユーザは、「消しゴム」ツール等を使用して、表示されている複数のストローク内の任意のストロークを削除することができる。また、ユーザは、画面上の任意の部分を丸または四角によって囲むための「範囲指定」ツールを使用して、表示されている手書きページ内の任意の部分を範囲指定することができる。
筆跡補完処理部308は、上述の筆跡補完機能を実行するように構成された処理部である。筆跡補完処理においては、筆跡補完処理部308は、手書きによって入力されるストロークに対応する1以上のストローク群(1以上の第1ストローク)を、過去に入力されたストロークの集合(手書き文書情報)から取得する。そして、筆跡補完処理部308は、取得された1以上のストローク群を、入力可能なストロークの候補(候補ストローク)(第2ストローク群)として画面上に表示するための処理を実行する。
換言すれば、筆跡補完処理部308は、入力されるストロークと手書き文書情報とに基づいて、ユーザが手書きしようとしているストローク群(手書き文字列)を予測する。そして、筆跡補完処理部308は、予測によって得られる幾つかのストローク群(手書き文字列)を候補ストローク(候補手書き文字列)としてユーザに提示する。
例えば、ストローク(手書き文字列)「a」が手書きによって入力された場合には、手書きの語「add」または「access」のような候補がユーザに提示されてもよい。もしユーザによって手書きの語「access」が選択されたならば、この手書きの語「access」が、入力された手書き文字列となる。よって、ユーザは、手書きの語「access」のストローク群を容易に入力することが出来る。
手書き文書情報に格納される手書き文字列の言語はどのような言語であってもよい。利用可能な言語の例は、英語、日本語、中国語、および他の様々な言語を含む。英語の文字列に関しては、ストローク群(手書き文字列)は、ブロック体の文字列に対応するストローク群であってもよいし、筆記体の文字列に対応するストローク群であってもよい。筆記体で手書きされた単語は1つのストロークから構成される場合がある。したがって、筆跡補完処理において手書き文書情報から取得されるストローク群は、必ずしも複数のストロークを含んでいる必要は無く、一つのストロークであってもよい。
入力されたストロークに対応するストローク群の例には、入力されたストロークに類似するストロークを含む複数のストロークや、入力されたストロークに類似するストローク部分を含む1つのストロークがある。例えば、先頭のストローク(または先頭のストローク部分)が、入力されたストロークに類似しているストローク群が手書き文書情報から取得される。
入力されたストロークに対応するストローク群を手書き文書情報から容易に取得できるようにするために、筆跡補完処理部308は、手書きノートデータベース402Aに格納されているストロークの集合(手書き文書情報)に基づいて、複数のストローク群を有する候補ストロークデータベース402Bを作成しても良い。
この候補ストロークデータベース402Bにおいては、例えば、単語のような意味のある文字列単位で、ストローク群(ストロークデータ群)と、このストロークデータ群に対応する文字認識結果(文字列)とが格納されていても良い。
この場合、筆跡補完処理部308は、まず、ユーザによって入力されたストロークを文字認識してもよい。そして、筆跡補完処理部308は、候補ストロークデータベース402Bを参照し、この入力されたストロークの文字認識結果(文字列)に前方一致する文字列を見つけ出す。筆跡補完処理部308は、見つけ出した文字列に対応するストローク群(ストロークデータ群)を、入力されたストロークに対応するストローク群として候補ストロークデータベース402Bから取得する。
あるいは、候補ストロークデータベース402Bにおいては、例えば、単語のような意味のある文字列単位で、ストローク群(ストロークデータ群)と、このストロークデータ群に対応する各ストロークの特徴量とが格納されていても良い。あるストロークの特徴量としては、このストロークの手書き特徴を表すことができる任意の特徴を使用することができる。例えば、特徴量としては、ストロークの形状、ストロークの筆画方向、ストロークの傾斜、等を表す特徴量データを使用しても良い。この場合、筆跡補完処理部308は、入力されたストロークの特徴量に類似する特徴量を有するストローク群を候補ストロークデータベース402Bから取得してもよい。
あるいは、候補ストロークデータベース402Bにおいては、例えば、単語のような意味のある文字列単位で、ストローク群(ストロークデータ群)と、このストロークデータ群に対応する文字認識結果(文字列)と、このストロークデータ群に対応する各ストロークの特徴量とが格納されていても良い。
筆跡補完処理部308は、入力されたストロークと、候補ストロークデータベース402Bとに基づいて、ユーザが入力しようとしているストローク群を予測する。この予測の処理では、筆跡補完処理部308は、入力されたストロークに対応する幾つかのストローク群(手書き文字列等)を候補ストロークデータベース402Bから取得する。そして、筆跡補完処理部308は、これらストローク群を、入力が予測される手書き文字列の候補(候補ストローク)として画面上に表示するための処理を実行する。
図6は、候補ストロークデータベース402Bの一構成例を示す図である。この候補ストロークデータベース402Bは、例えば、手書きされたストロークに対応するストロークデータや、手書きノートデータベース402Aを解析することによって生成される。また、手書きノートデータベース402Aは、例えばユーザ毎に生成される。
候補ストロークデータベース402は、複数の手書き文字列に対応する複数のエントリを含む。各エントリは、例えば、文字列、特徴量及びストロークデータを含む。ある手書き文字列に対応するエントリにおいて、「文字列」は、その手書き文字列に対応するテキスト(文字コード列)を示す。「特徴量」は、その手書き文字列を構成する1以上のストロークに対応する特徴量を示す。「ストロークデータ」は、その手書き文字列を構成する1以上のストロークに対応するストロークデータ(時系列情報)を示す。
「文字列」には、例えば、「ストロークデータ」に示されるストロークデータに文字認識処理を施すことによって得られたテキスト(文字コード列)が設定される。また、「特徴量」には、例えば、「ストロークデータ」に示されるストロークデータを用いて算出された、ストロークの形状やストロークが手書きされた向きに基づく特徴量が設定される。
図7は、入力されるストロークに対応する候補ストロークの例を示す。
ここでは、編集画面600上で行われる手書き入力操作によって、手書き文字「a」に対応するストローク611が入力された場合が想定されている。編集画面600は、手書き文書(手書きページ)を作成および編集するための画面である。
ストローク611が手書きによって入力された場合、筆跡補完処理部308は、この入力されたストローク611(ここでは手書き文字「a」)に対応する幾つかのストローク群(候補ストローク)を候補ストロークデータベース402Bから取得する。そして、筆跡補完処理部308は、これらストローク群それぞれを編集画面600上の候補ストロークリスト501上に表示する。
入力されたストローク611は「未確定ストローク(または仮ストローク)」として扱われる。「未確定ストローク」は手書きページにまだ反映されていないストロークを意味する。「未確定ストローク」は筆跡補完対象のストロークであり、このストロークに基づき予測される候補ストロークがユーザに提示される。入力されたストローク611が「未確定ストローク(仮ストローク)」であることがユーザに分かるように、ストローク611は、現在選択されているペン色とは異なる色、例えば赤色、で表示されるようにしても良い。図7では、赤色のストロークは破線で図示されている。
図7においては、候補ストロークリスト501上に、4つのストローク群が候補ストロークとして提示された場合が想定されている。ここでは、4つのストローク群は、手書き文字列「ability」、手書き文字列「access」、手書き文字列「adaptor」、手書き文字列「add」を含む。
このように、先頭の手書き文字が「a」で始まる幾つかのストローク群(手書き文字列)がユーザに提示される。これらストローク群は、過去にユーザによって手書き入力されたストローク群(手書き文字列)である。
さらに、筆跡補完処理部308は、候補ストロークリスト501の近くに、「キャンセル」ボタン502を表示しても良い。「キャンセル」ボタン502は、入力されたストローク(仮ストローク)を「確定ストローク」にするための確定ボタンとして機能する。「確定ストローク」は、手書きページに反映されたストロークを意味する。「確定ストローク」になったストロークは、筆跡補完の対象から除外される。
図8は、入力されるストロークに対応する候補ストロークの別の例を示す。
ここでは、編集画面600上の手書き入力操作によって、手書き文字「a」に対応するストローク611が入力された後に、手書き文字「p」に対応するストローク612、613がさらに入力された場合が想定されている。この場合、候補ストロークリスト501の内容が更新される。
すなわち、筆跡補完処理部308は、入力されたストローク611、612、613(手書き文字列「ap」)に対応する幾つかのストローク群(候補ストローク)を候補ストロークデータベース402Bから取得する。そして、筆跡補完処理部308は、これらストローク群それぞれを編集画面600上の候補ストロークリスト501上に表示する。
図8では、候補ストロークリスト501上に、4つの手書きストローク群、つまり手書き文字列「application」、手書き文字列「aperture」、手書き文字列「apex」、手書き文字列「apology」が、候補ストロークとして提示された場合が想定されている。
このように、「ap」で始まる幾つかの手書き文字列がユーザに提示される。
ユーザによって候補ストロークリスト501上のある候補ストロークが選択された場合、筆跡補完処理部308は、選択された候補ストロークに対応するストローク群(第2ストローク群)を編集画面600上に表示する。換言すれば、筆跡補完処理部308は、入力された手書きストロークを、選択された候補ストロークに対応するストローク群で補完する。これにより、ユーザは目的の単語の一部を手書きによって入力するだけで、目的の単語を容易に入力することができる。
また、漢字のように複数のストロークから構成される文字に関しては、ユーザは、これら複数のストロークの一部を手書きによって入力するだけで、この文字を入力することができる。
また筆記体の文字列に関しては、ユーザは、この文字列を構成する一つのストロークの先頭の一部分を手書きによって入力するだけで、この筆記体の文字列を入力することができる。
図9は、入力された手書きストロークを補完する動作を示している。
ここでは、候補ストロークリスト501上の手書き文字列「application」が選択された場合が想定されている。手書き文字列「application」がペン100または指によってタップされと、筆跡補完処理部308は、表示処理部(ペン軌跡表示処理部301または手書き文書表示処理部306)と協同して、選択された手書き文字列「application」を編集画面600上に表示するための処理を実行する。この場合、入力されたストローク(図8のストローク611、612、613)は選択された手書き文字列「application」で補完される。換言すれば、表示処理部は、入力されたストローク(図8のストローク611、612、613)の代わりに、選択された手書き文字列「application」を編集画面600上に表示する。
そして、選択された手書き文字列「application」は確定ストロークとなり、編集中の手書きページに反映される。つまり、候補ストロークデータベース402Bから取得された「application」のストロークデータ群が手書きページに加えられる。なお、もし手書き文字列「application」が筆記体で記述されたストローク群である場合には、手書き文字列「application」に対応する1個のストロークデータが手書きページに加えられる。
このように、筆跡補完処理においては、手書きによって入力されたストローク(仮ストローク)に対応する幾つかの手書き文字列が候補ストロークとしてユーザに提示される。そして、選択された候補ストローク(手書き文字列)が仮ストロークに代えて編集画面600上に表示される。
しかし、各候補ストロークは過去に手書きによって入力されたストローク群(手書き文字列)であるので、各候補ストローク(手書き文字列)のサイズや文字間隔は、ユーザが書こうとしている文字列のサイズや文字間隔と異なる場合がある。したがって、選択された候補ストロークを編集画面600上に単純に表示したならば、ユーザにとって違和感のあるサイズまたは文字間隔を有する候補ストローク(手書き文字列)が入力されてしまう可能性がある。
選択された候補ストローク(手書き文字列)のサイズを仮ストロークのサイズに応じて変更(リサイズ)するという方法を採用することも考えられる。しかし、仮ストロークは選択された候補ストローク(手書き文字列)によって置き換えられる。このため、筆跡補完処理が実行された場合には、選択された候補ストロークに先行する手書き文字列は、仮ストロークではなく、この仮ストロークよりも前に既に入力されている手書き文字列となる。さらに、仮ストロークのサイズは、この仮ストロークよりも前に既に入力されている手書き文字列のサイズ、例えば、仮ストロークの直前の手書き文字列のサイズと一致するとは限らない。したがって、選択された候補ストローク(手書き文字列)のサイズを仮ストロークのサイズに応じて変更するという方法では、選択された候補ストロークを適正なサイズにすることは難しい。
そこで、本実施形態では、筆跡補完処理部308は、選択された候補ストローク(手書き文字列)のサイズを、仮ストロークのサイズではなく、仮ストロークが入力される前に手書きによって入力された手書き文字列のサイズ、例えば、仮ストロークの直前の手書き文字列のサイズ、に基づいて調整するように構成されている。すなわち、筆跡補完処理部308は、上述の表示処理部と協同して、選択された候補ストローク(手書き文字列)を、仮ストロークの代わりに、第1のサイズで編集画面600上に表示するための処理を実行する。この第1のサイズは、仮ストロークのサイズではなく、仮ストロークが入力される前に手書きによって入力された手書き文字列のサイズに応じて定められる。
仮ストロークの直前の手書き文字列は、仮ストロークが入力された行(ライン)と同じ行に既に入力されている手書き文字列であってもよい。また、もし仮ストロークが行の先頭に位置する場合には、仮ストロークが入力された行の1つ前の行に既に入力されている手書き文字列を仮ストロークの直前の手書き文字列として使用しても良い。
ところで、登録時の手書き文字列が図10に示すように小さい場合、登録された手書き文字列を単純に拡大表示すると、図11に示すようにノイズが目立ち文字が汚くなってしまう。
図13は、図12に示す手書き文字列を拡大表示したものである。図12に示す手書き文字列の座標点数が少ないために、図13に示す手書き文字列には、破線で囲んだ部分に角が出てしまう。
そのため、一つの文字列に対して、複数のストロークデータ群が登録されている場合、筆跡補完処理部308は、複数のストロークデータ群の内で描画サイズ(ストローク群に対応する文字列のサイズ)の大きいストロークデータ群を選択する。そして、表示する。ここで、描画サイズとは、手書き文字列の外接矩形の大きさのことである。
図15は、図14に示す手書き文字列を拡大表示したものである。図15に示すように、手書き文字列には、ノイズが目立ったり、角が出たりすることがない。
なお、同じ描画サイズでも、ゆっくり書かれると座標点が密になる。拡大されたときに、図13に示す手書き文字列「book」のように角が目立つか目立たないかは登録時の文字サイズのほかに、座標点の多さにも依存する。
例えば、図16に示す手書きストロークの軌跡の外接矩形と、図17に示す手書きストロークの軌跡の外接矩形とは同じ際である。しかし、図17に示す手書きストロークを表示するための座標点数は、図16に示す手書きストロークを表示するための座標点数より多い。図17に示すストロークを拡大しても、滑らかに表示される。従って、描画サイズが同じ手書き文字列が手書きノートデータベース402Aに登録されている場合、座標点数が多いものを選択する。
また、各座標データが、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Tを含んでいる場合、タイムスタンプ情報に基づいて入力するのに要した時間が最大の手書き文字列を選択しても良い。
なお、一つの文字列に対して、複数のストロークデータ群が登録されている場合、筆跡補完処理部308は、描画サイズが最大の手書き文字列、手書き文字列を表示するためのデータに含まれる座標の数が最大の手書き文字列、および手書き文字列を入力するのに要した時間が最大の手書き文字列の何れかの手書き文字列を選択するようにしても良い。
また、筆跡補完処理部308は、ストローク群に対応する文字列のサイズ、又は、ストローク群に対応する文字列を表示するための座標の数、又は、ストローク群に対応する文字列を入力するのに要した時間のいずれか1つが大きい第2ストローク群を優先的に前記画面上に選択しても良い。
また、候補ストロークデータベース402Bのうちの複数のストローク群のうちに文字登録画面からユーザにより登録処理された手書き文字列(第3ストローク群)がある場合、筆跡補完処理部308は、手書き文書から取得された手書き文字列(第2ストローク群)よりも、文字登録画面からユーザにより登録処理された手書き文字列を、優先的に選択する。その結果、筆跡補完処理部308は、手書き文書から取得された手書き文字列よりも、文字登録画面からユーザにより登録処理された手書き文字列を優先して表示する。登録画面の描画領域を大きめにすることで、手書き文字列の入力描画サイズを大きくする。
なお、候補ストロークデータベース402Bのうちの複数のストローク群のうちに文字登録画面からユーザにより登録処理された手書き文字列(第3ストローク群)がある場合、筆跡補完処理部308は、登録処理された手書き文字列よりも、前記第3ストローク群よりも、ストローク群に対応する文字列のサイズ、又は、ストローク群に対応する文字列を表示するための座標の数、又は、ストローク群に対応する文字列を入力するのに要した時間のいずれか1つが大きい手書き文字列(第2ストローク群)を優先的に選択しても良い。その結果、筆跡補完処理部308は、登録処理された手書き文字列よりも、前記第3ストローク群よりも、ストローク群に対応する文字列のサイズ、又は、ストローク群に対応する文字列を表示するための座標の数、又は、ストローク群に対応する文字列を入力するのに要した時間のいずれか1つが大きい手書き文字列(第2ストローク群)を優先的にLCD17Aに表示しても良い。
なお、同一の文字列を示す複数の手書き文字列が、ユーザにより登録処理された手書き文字列の描画サイズより大きい描画サイズを有する第4手書き文字列を有する場合、筆跡補完処理部308は、登録処理された手書き文字列の代わりに第4手書き文字列を選択しても良い。また、同一の文字列を示す複数の手書き文字列が、ユーザにより登録処理された手書き文字列を描画するためのデータに含まれる座標点数より多い座標点数を含むデータに対応する第5手書き文字列を含む場合、筆跡補完処理部308は、登録処理された手書き文字列の代わりに第5手書き文字列を選択しても良い。また、同一の文字列を示す複数の手書き文字列が、ユ入力するのに要した時間がユーザにより登録処理された手書き文字列をより長い第6手書き文字列を含む場合、筆跡補完処理部308は、登録処理された手書き文字列の代わりに第6手書き文字列を選択しても良い。
図18は、ユーザが手書き文字を登録するための登録画面の一例を示す図である。
手書き文字列を入力するための欄701は、単語を入力するための欄702および読みを入力するための欄70より大きく、手書き文字列が大きく入力されるようになっている。
図19は、それぞれが同一の文字列を示す複数の手書き文字列の内から手書き文字列を選択するための処理の手順を示すフローチャートである。
先ず、筆跡補完処理部308は、入力された仮ストロークを表示する(ステップB11)。入力された仮ストロークに対応するストロークを候補ストロークデータベース402Bから取得する(ステップB12)。このステップS12の処理は、入力された仮ストロークと候補ストロークデータベース402Bとに基づいて、ユーザが入力しようとしている手書きストローク群(手書き文字列)を予測する処理に相当する。そして、筆跡補完処理部308は、上述の表示処理部と協同して、候補ストロークの一覧、つまり上述の候補ストロークリスト501を画面上に表示する。候補ストロークリスト501には、幾つかの手書き文字列が表示される。さらに新たな仮ストロークが入力された場合は(ステップS13のYES)、筆跡補完処理部308は、最初に入力された仮ストロークと新たな仮ストロークとの組に対応する手書き文字列(候補ストローク)を候補ストロークデータベース402Bから取得する。
筆跡補完処理部308は、ユーザによってある手書き文字列(候補ストローク)が選択されたか否かを判定する(ステップS14)。ユーザによってどの手書き文字列(候補ストローク)も選択されずに「キャンセル」ボタン502がユーザによってタップされたならば(ステップS14のNO)、筆跡補完処理部308は、入力された仮ストロークを「確定ストローク群」にする(ステップS15)。ステップS15では、筆跡補完処理部308は、候補ストロークリスト501を画面から消す。
ある手書き文字列(候補ストローク)が選択されたならば(ステップS16のYES)、筆跡補完処理部308は、選択された手書き文字列に対応する手書き文字列が複数個あるかを判定する(ステップB16)。即ち、筆跡補完処理部308は、選択された手書き文字列が示す文字列と同一の文字列を示す手書き文字列が複数個あるかを判定する。複数個ないと判定した場合(ステップB16のNo)、筆跡補完処理部308は、上述の表示処理部と協同して、選択された手書き文字列を、仮ストロークの代わりに編集画面上に表示する(ステップS17)。ステップS17では、入力された仮ストロークが、選択された手書き文字列のストローク群に置換される。さらに、選択された手書き文字列のストローク群は確定ストロークとなり、現在作成または編集されている手書きページに反映される。
複数個あると判定した場合(ステップB16のYes)、筆跡補完処理部308は、それぞれが同一の文字列を示す複数の手書き文字列の内から描画サイズが最も大きい手書き文字列が複数個あるかを判定する(ステップB18)。複数個ないと判定した場合(ステップB18のNo)、筆跡補完処理部308は、複数の手書き文字列の内から描画サイズが最も大きい手書き文字列を選択する(ステップB19)。筆跡補完処理部308は、上述の表示処理部と協同して、ステップB18において選択された手書き文字列を、仮ストロークの代わりに編集画面上に表示する(ステップS17)。
複数個あると判定した場合(ステップB19のYes)、筆跡補完処理部308は、複数個ある手書き文字列の内から座標点数が最も多い手書き文字列を選択する(ステップB20)。筆跡補完処理部308は、上述の表示処理部と協同して、ステップB19において選択された手書き文字列を、仮ストロークの代わりに編集画面上に表示する(ステップS17)。
手書き文字列を表示する際の倍率が設定倍率より大きくなるような手書き文字列は、候補ストロークリスト501内に表示されないようにしてしても良い。手書き文字列を表示する際の拡大倍率が設定倍率より大きくなるような手書き文字列を表示するとノイズが目立ったり、角が出てしまったりするが、そのような手書き文字列を候補ストロークリスト501内に表示しないようにすることで、ノイズが目立ったり、角が出てしまったりする手書き文字列を表示しないようにすることができる。
以上説明したように、本実施形態においては、あるストローク(第1ストローク)が手書きによって入力された場合、第1ストロークに対応し、それぞれが同一の文字列を示す複数の第1手書き文字列の内から第2手書き文字列が選択され、第2手書き文字列が前記第1ストロークの代わりに画面上に表示される。複数の第1手書き文字列の内から、描画サイズが最大の手書き文字列、手書き文字列を表示するためのデータに含まれる座標の数が最大の手書き文字列、または手書き文字列を入力するのに要した時間が最大の手書き文字列が、第2手書き文字列として選択される。
なお、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
このコンピュータプログラムがインストールされたコンピュータ内のCPUは上述の筆跡補完処理を実行するように構成されたプロセッサとして機能し得る。このコンピュータ内のGPUはストロークそれぞれを画面上に表示するように構成された表示プロセッサとして機能し得る。
また、本実施形態では、タブレットコンピュータを使用する場合を例示して説明したが、本実施形態の手書き文書処理機能は、通常のデスクトップパーソナルコンピュータに適用することもできる。この場合、手書き入力のための入力デバイスであるタブレット等をデスクトップパーソナルコンピュータに接続すれば良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…タブレットコンピュータ、17…タッチスクリーンディスプレイ、100…ペン、101…CPU、103…主メモリ、202…手書きノートアプリケーションプログラム、301…ペン軌跡表示処理部、306…手書き文書表示処理部、308…筆跡補完処理部、402B…候補ストロークデータベース

Claims (15)

  1. 手書き入力機能を有するタッチスクリーンディスプレイと、
    過去の手書き文書情報に基づいて、一つの文字列に対し複数のストロークデータ群を格納することが可能な候補ストロークデータベースと、
    少なくとも手書き文書の作成、表示、編集、およびストロークの補完を行う手書きアプリケーションを実行する処理手段と、
    を具備し、
    前記処理手段は
    手書き入力されるストロークを前記タッチスクリーンディスプレイの画面上に表示すると共に、前記ストロークが示す文字又は文字列を文字認識し、前記ストロークの前記文字認識の認識結果に前方一致する前記ストロークデータ群を前記候補ストロークデータベースから取得し、
    取得された前記ストロークデータ群を前記手書き入力されるストロークの候補ストロークリストとして前記タッチスクリーンディスプレイの画面上に表示し、
    前記候補ストロークリスト中の1つの候補ストロークが選択された場合であって、前記候補ストロークデータベースに前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていると判定する場合、描画サイズが最も大きい手書き文字列のストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する
    電子機器。
  2. 前記候補ストロークデータベースには、前記複数のストロークデータ群の文字列毎に座標点数を示す時系列情報も格納されており、
    前記処理手段は、前記候補ストロークデータベースに前記描画サイズが最も大きい手書き文字列が複数格納されていると判定した場合、前記複数の手書き文字列の内から前記座標点数が最も多い文字列のストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する
    請求項1に記載の電子機器。
  3. 前記処理手段は、前記候補ストロークリスト中の1つの候補ストロークが選択された場合であって、前記候補ストロークデータベースに前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていないと判定する場合、前記選択した候補ストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示し、
    前記選択した候補ストロークを確定ストロークとして、作成中又は編集中の手書き文書に反映する
    請求項1に記載の電子機器。
  4. 前記処理手段は、前記候補ストロークデータベースの前記複数のストロークデータ群にユーザによって登録処理された手書き文字列が登録される場合であって、前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていると判定する場合、前記ユーザによって登録処理された前記手書き文字列の候補ストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する
    請求項1に記載の電子機器。
  5. 前記処理手段は、
    前記タッチスクリーンディスプレイの前記候補ストロークリストとともに第1ボタンを表示し、
    前記候補ストロークデータリスト中の1つの候補ストロークも選択されず、前記第1ボタンがタップされた場合、前記手書き入力されるストロークを確定ストロークとすると共に、前記候補ストロークリストを前記タッチスクリーンディスプレイの画面から消す
    請求項1に記載の電子機器。
  6. 手書き入力機能を有するタッチスクリーンディスプレイと、過去の手書き文書情報に基づいて、一つの文字列に対し複数のストロークデータ群を格納することが可能な候補ストロークデータベースと、少なくとも手書き文書の作成、表示、編集、およびストロークの補完を行う手書きアプリケーションを実行する処理手段と、を具備する電子機器の方法であって、
    手書き入力されるストロークを前記タッチスクリーンディスプレイの画面上に表示すると共に、前記ストロークが示す文字又は文字列を文字認識し、前記ストロークの前記文字認識の認識結果に前方一致する前記ストロークデータ群を前記候補ストロークデータベースから取得し、
    取得された前記ストロークデータ群を前記手書き入力されるストロークの候補ストロークリストとして前記タッチスクリーンディスプレイの画面上に表示し、
    前記候補ストロークリスト中の1つの候補ストロークが選択された場合であって、前記候補ストロークデータベースに前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていると判定する場合、描画サイズが最も大きい手書き文字列のストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する
    方法。
  7. 前記候補ストロークデータベースに前記描画サイズが最も大きい手書き文字列が複数格納されていると判定した場合、前記複数の手書き文字列の内から、前記候補ストロークデータベースに格納される時系列情報が示す前記複数のストロークデータ群の文字列中で座標点数が最も多い文字列のストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する
    請求項6に記載の方法。
  8. 前記候補ストロークリスト中の1つの候補ストロークが選択された場合であって、前記候補ストロークデータベースに前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていないと判定する場合、前記選択した候補ストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示し、
    前記選択した候補ストロークを確定ストロークとして、作成中又は編集中の手書き文書に反映する
    請求項6に記載の方法。
  9. 前記候補ストロークデータベースの前記複数のストロークデータ群にユーザによって登録処理された手書き文字列が登録される場合であって、前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていると判定する場合、前記ユーザによって登録処理された前記手書き文字列の候補ストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する
    請求項6に記載の方法。
  10. 前記タッチスクリーンディスプレイの前記候補ストロークリストとともに第1ボタンを表示し、
    前記候補ストロークデータリスト中の1つの候補ストロークも選択されず、前記第1ボタンがタップされた場合、前記手書き入力されるストロークを確定ストロークとすると共に、前記候補ストロークリストを前記タッチスクリーンディスプレイの画面から消す
    請求項6に記載の方法。
  11. 手書き入力機能を有するタッチスクリーンディスプレイと、過去の手書き文書情報に基づいて、一つの文字列に対し複数のストロークデータ群を格納することが可能な候補ストロークデータベースと、少なくとも手書き文書の作成、表示、編集、およびストロークの補完を行う手書きアプリケーションを実行する処理手段と、を具備する電子機器のコンピュータによって実行されるプログラムであって、
    手書き入力されるストロークを前記タッチスクリーンディスプレイの画面上に表示すると共に、前記ストロークが示す文字又は文字列を文字認識し、前記ストロークの前記文字認識の認識結果に前方一致する前記ストロークデータ群を前記候補ストロークデータベースから取得する手順と、
    取得された前記ストロークデータ群を前記手書き入力されるストロークの候補ストロークリストとして前記タッチスクリーンディスプレイの画面上に表示する手順と、
    前記候補ストロークデータリスト中の1つの候補ストロークが選択された場合であって、前記候補ストロークデータベースに前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていると判定する場合、描画サイズが最も大きい手書き文字列のストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する手順を
    前記コンピュータに実行させるプログラム。
  12. 前記候補ストロークデータベースに前記描画サイズが最も大きい手書き文字列が複数格納されていると判定した場合、前記複数の手書き文字列の内から、前記候補ストロークデータベースに格納される時系列情報が示す前記複数のストロークデータ群の文字列中で座標点数が最も多い文字列のストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する手順を更に有する
    請求項11に記載のプログラム。
  13. 前記候補ストロークリスト中の1つの候補ストロークが選択された場合であって、前記候補ストロークデータベースに前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていないと判定する場合、前記選択した候補ストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する手順と、
    前記選択した候補ストロークを確定ストロークとして、作成中又は編集中の手書き文書に反映するする手順を更に有する
    請求項11に記載のプログラム。
  14. 前記候補ストロークデータベースの前記複数のストロークデータ群にユーザによって登録処理された手書き文字列が登録される場合であって、前記選択した候補ストロークが示す文字列と同じ文字列が複数格納されていると判定する場合、前記ユーザによって登録処理された前記手書き文字列の候補ストロークを前記手書き入力されるストロークに代えて前記タッチスクリーンディスプレイの画面上に表示する手順を更に有する
    請求項11に記載のプログラム。
  15. 前記タッチスクリーンディスプレイの前記候補ストロークリストともに第1ボタンを表示する手順と、
    前記候補ストロークデータリスト中の1つの候補ストロークも選択されず、前記第1ボタンがタップされた場合、前記手書き入力されるストロークを確定ストロークとすると共に、前記候補ストロークリストを前記タッチスクリーンディスプレイの画面から消す手順を更に有する
    請求項11に記載のプログラム。
JP2014055578A 2014-03-18 2014-03-18 電子機器および方法 Active JP6270565B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014055578A JP6270565B2 (ja) 2014-03-18 2014-03-18 電子機器および方法
US14/497,190 US9390341B2 (en) 2014-03-18 2014-09-25 Electronic device and method for manufacturing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014055578A JP6270565B2 (ja) 2014-03-18 2014-03-18 電子機器および方法

Publications (2)

Publication Number Publication Date
JP2015179329A JP2015179329A (ja) 2015-10-08
JP6270565B2 true JP6270565B2 (ja) 2018-01-31

Family

ID=54142426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014055578A Active JP6270565B2 (ja) 2014-03-18 2014-03-18 電子機器および方法

Country Status (2)

Country Link
US (1) US9390341B2 (ja)
JP (1) JP6270565B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
CN104504411B (zh) * 2014-12-24 2018-04-20 英华达(上海)科技有限公司 一种手写文字的三维打印建模装置及方法
US10255267B2 (en) 2014-05-30 2019-04-09 Apple Inc. Device, method, and graphical user interface for a predictive keyboard
JP6430198B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器、方法及びプログラム
US10489051B2 (en) * 2014-11-28 2019-11-26 Samsung Electronics Co., Ltd. Handwriting input apparatus and control method thereof
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
US10325018B2 (en) 2016-10-17 2019-06-18 Google Llc Techniques for scheduling language models and character recognition models for handwriting inputs
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
CN109325483B (zh) * 2018-09-11 2021-05-07 北京语言大学 内部短笔段的处理方法和装置
CN110045840B (zh) * 2019-04-15 2023-07-18 广州视源电子科技股份有限公司 一种书写轨迹关联的方法、装置、终端设备和存储介质
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255159A (ja) * 1995-03-15 1996-10-01 Toshiba Corp 文字列予測方法,文字列予測装置,仮名漢字変換方法,仮名漢字変換装置及び文書作成装置
JP4214164B2 (ja) 1995-11-22 2009-01-28 富士通株式会社 文書作成装置及び記憶媒体
US6317762B1 (en) 1995-11-22 2001-11-13 Fujitsu Limited Document creating apparatus creates free format document from handwritten data converting into normalized size
US6256410B1 (en) * 1998-07-30 2001-07-03 International Business Machines Corp. Methods and apparatus for customizing handwriting models to individual writers
US7679534B2 (en) * 1998-12-04 2010-03-16 Tegic Communications, Inc. Contextual prediction of user words and user actions
US20100122164A1 (en) * 1999-12-03 2010-05-13 Tegic Communications, Inc. Contextual prediction of user words and user actions
AUPR824301A0 (en) * 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and systems (npw001)
SG125895A1 (en) * 2002-04-04 2006-10-30 Xrgomics Pte Ltd Reduced keyboard system that emulates qwerty-type mapping and typing
JP2004192431A (ja) 2002-12-12 2004-07-08 Toshiba Corp 文字入力装置、文字入力方法、および、これを用いた証明用媒体発行装置、証明用媒体発行方法
JP2005025566A (ja) * 2003-07-03 2005-01-27 Sharp Corp 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体
US7848573B2 (en) * 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US7561740B2 (en) * 2004-12-10 2009-07-14 Fuji Xerox Co., Ltd. Systems and methods for automatic graphical sequence completion
US7630980B2 (en) * 2005-01-21 2009-12-08 Prashant Parikh Automatic dynamic contextual data entry completion system
EP2393204A3 (en) * 2005-06-16 2013-03-06 Systems Ltd Keyless Data entry system
JP2007265171A (ja) * 2006-03-29 2007-10-11 Toshiba Corp 入力装置およびその方法
JP2007317022A (ja) * 2006-05-26 2007-12-06 Canon Inc 手書文字処理装置及び手書文字処理方法
US8165398B2 (en) * 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
US20110184736A1 (en) * 2010-01-26 2011-07-28 Benjamin Slotznick Automated method of recognizing inputted information items and selecting information items
JP2013025390A (ja) * 2011-07-15 2013-02-04 Metamoji Corp 手書き入力方法
US20140160032A1 (en) * 2012-12-07 2014-06-12 Microsoft Corporation Swipe Stroke Input and Continuous Handwriting
US9201592B2 (en) * 2013-08-09 2015-12-01 Blackberry Limited Methods and devices for providing intelligent predictive input for handwritten text

Also Published As

Publication number Publication date
US20150269432A1 (en) 2015-09-24
US9390341B2 (en) 2016-07-12
JP2015179329A (ja) 2015-10-08

Similar Documents

Publication Publication Date Title
JP6270565B2 (ja) 電子機器および方法
JP6189451B2 (ja) 手書き文書情報を処理するための電子機器および方法
JP5458161B1 (ja) 電子機器および方法
JP6392036B2 (ja) 電子機器および方法
US9025879B2 (en) Electronic apparatus and handwritten document processing method
JP6180888B2 (ja) 電子機器、方法およびプログラム
US9606981B2 (en) Electronic apparatus and method
JP6010253B2 (ja) 電子機器、方法およびプログラム
JP6430197B2 (ja) 電子機器および方法
JP2015162088A (ja) 電子機器、方法及びプログラム
JP2016071819A (ja) 電子機器および方法
JP6301736B2 (ja) 電子機器及び方法
JP6092418B2 (ja) 電子機器、方法及びプログラム
JP6426417B2 (ja) 電子機器、方法及びプログラム
JP6054547B2 (ja) 手書き文書情報を処理するための電子機器および方法
JPWO2014147716A1 (ja) 電子機器および手書き文書処理方法
JP2015114976A (ja) 電子機器及び方法
JPWO2014147712A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6430198B2 (ja) 電子機器、方法及びプログラム
JP6342194B2 (ja) 電子機器、方法及びプログラム
WO2015107692A1 (ja) 手書きのための電子機器および方法
JP2014106799A (ja) 電子機器および方法
JP5717831B2 (ja) 電子機器および手書き文書処理方法
JP6202997B2 (ja) 電子機器、方法及びプログラム
JP5355770B1 (ja) 電子機器および手書き文書処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171226

R151 Written notification of patent or utility model registration

Ref document number: 6270565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350