JP5832980B2 - 手書き入力支援装置、方法およびプログラム - Google Patents

手書き入力支援装置、方法およびプログラム Download PDF

Info

Publication number
JP5832980B2
JP5832980B2 JP2012210873A JP2012210873A JP5832980B2 JP 5832980 B2 JP5832980 B2 JP 5832980B2 JP 2012210873 A JP2012210873 A JP 2012210873A JP 2012210873 A JP2012210873 A JP 2012210873A JP 5832980 B2 JP5832980 B2 JP 5832980B2
Authority
JP
Japan
Prior art keywords
handwriting
character
prediction
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012210873A
Other languages
English (en)
Other versions
JP2014067147A (ja
Inventor
豪 田崎
豪 田崎
雄土 山地
雄土 山地
大介 平川
大介 平川
和範 井本
和範 井本
洋次郎 登内
洋次郎 登内
山内 康晋
康晋 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012210873A priority Critical patent/JP5832980B2/ja
Priority to CN201380040593.8A priority patent/CN104508683A/zh
Priority to PCT/JP2013/076457 priority patent/WO2014051134A1/en
Publication of JP2014067147A publication Critical patent/JP2014067147A/ja
Priority to US14/616,615 priority patent/US20150154176A1/en
Application granted granted Critical
Publication of JP5832980B2 publication Critical patent/JP5832980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)

Description

本発明の実施形態は、手書き入力支援装置、方法およびプログラムに関する。
手書き入力の負担を軽減するために、手書き文字列の入力予測を行う技術がある。
特開2005−251222号公報
手書き入力予測候補に対する確定選択の操作性を改善することが望まれる。
実施形態によれば、手書き入力予測を行う手書き入力支援装置が提供される。該装置の筆跡入力部は、1つの文字又は記号が1つの筆跡集合に対応する第1筆跡を入力する。筆跡記憶部は、前記1つの文字又は記号が前記1つの筆跡集合に対応する第2筆跡を記憶する。筆跡予測部は、前記第1筆跡を用いて前記第2筆跡を検索することにより、前記1つの文字又は記号が前記1つの筆跡集合に対応する第3筆跡を予測する。予測結果表示部は、前記第3筆跡を表示する。確定結果表示部は、前記第3筆跡の前記筆跡集合に対する指示により第4筆跡を確定し、前記第1筆跡とともに表示する。
第1の実施形態に係る手書き入力支援装置を示すブロック図 第1の実施形態に係る手書き入力予測の処理の例を示すフローチャート 筆跡集合の二値画像を示す図 手書き入力中に入力予測候補の一覧を表示する例を示す図 筆跡集合の単位で予測候補を確定する例を示す図 第2の実施形態に係る手書き入力支援装置を示すブロック図 第2の実施形態に係る手書き入力予測の処理の例を示すフローチャート 予測データベースの作成段階および予測段階を示す図 第3の実施形態に係る手書き入力支援装置を示すブロック図 第3の実施形態に係る手書き入力予測の処理の例を示すフローチャート 手書き入力支援装置を実現するハードウェアの構成例を示す図 ネットワークを利用して手書き入力支援装置を実現する構成例を示す図
以下、実施の形態について、図面を参照して説明する。
本実施形態に係る手書き文書処理装置は、例えばペン入力インタフェースを備えたノートアプリケーションに適用される。同アプリケーションにおいては、ユーザーがノートの内容を手書き入力することができる。本実施形態は、手書き入力予測を行う手書き入力支援に関する。ユーザーは、手書き入力中に提示される1つまたは複数の入力予測候補から所望の筆跡(テキストフォントが混在してもよい)を選択することができる。この選択により確定した筆跡は手書き入力位置に挿入され、ユーザーが実際に手書き入力したものと同等に扱われる。
(第1の実施形態)
図1は、第1の実施形態に係る手書き入力支援装置を示すブロック図である。該装置は、筆跡入力部1、記憶部2、筆跡予測部3、表示部4、指示入力部7で構成される。表示部4は、予測結果表示部5、入力筆跡表示部6、確定結果表示部8で構成される。
筆跡入力部1は、ペン入力インタフェースを通じて筆跡データを入力する。例えば、タッチパネルにペンが触れてから離れるまでの期間に1つの筆跡データを対応づける。筆跡データは、筆跡を識別するための筆跡番号と、ペンがタッチパネルに触れて移動した軌跡における複数の点の時系列座標とで構成される。筆跡番号は筆跡データの発生順にインクリメントされる。入力された筆跡データは、1つの文字又は記号の単位で集合化される。これを「筆跡集合」と呼ぶことにする。筆跡集合には、これを識別するための集合番号が付与される。集合番号は筆跡集合の作成順にインクリメントされる。
筆跡集合は、具体的には次のように生成される。
例えば、1つの筆跡集合は、筆跡データkの始点座標と、筆跡データk−1の終点座標との間の距離が閾値以下である筆跡データk,k−1を含む。もしくは、手書き入力を補助するための入力枠を表示する。1つの筆跡集合は、同一の入力枠内に入力された1つ又は複数の筆跡データを含む。あるいは、1つの筆跡集合は、文字認識の技術を利用して文字又は記号の単位でセグメント化された1つ又は複数の筆跡データを含む。
したがって、筆跡入力部1により入力された筆跡(第1筆跡)は、1つの文字又は記号が1つの筆跡集合に対応する1つ又は複数の筆跡集合であり、記憶部2に格納される。
記憶部2は、過去に入力された筆跡(第2筆跡)を記憶する。第2筆跡は、第1筆跡と同様のデータ構造を有し、予測候補の抽出に用いられる。第2筆跡は、入力された第1筆跡について予測候補となる筆跡(第3筆跡)を含む。
筆跡予測部3は、第1筆跡を用いて記憶部2の第2筆跡を検索することにより1つ又は複数の予測候補(第3筆跡)を求める。第1の実施形態は、筆跡画像の特徴量に基づく類似判定に基づいて予測候補を求める。後述する第2及び第3の実施形態は、筆跡集合の文字認識結果に基づいて予測候補を求める。
予測結果表示部5は、予測候補である第3筆跡を手書き入力中に一覧表示する。手書き入力時には、筆跡入力部1により入力された第1筆跡が入力筆跡表示部6により表示されており、第3筆跡はその近傍に一覧表示される。確定結果表示部8は、指示入力部7を通じて与えられる第3筆跡の筆跡集合に対する指示により第4筆跡を確定し、第1筆跡とともに表示する。
図2は、第1の実施形態に係る手書き入力予測の処理の例を示すフローチャートである。この処理では、筆跡画像の特徴量に基づく類似判定に基づいて予測候補を求める。
ユーザーがタッチパネル上でペンを操作して筆跡を入力すると(ステップS1)、入力筆跡表示部6によりタッチパネルに表示される(ステップS2)。上述したように入力筆跡は集合化される(ステップS3)。これにより新たな集合番号が追加され、ステップS4を経てステップS5乃至S7の予測処理が実行される。
ステップS5において、筆跡予測部3は、第1筆跡の筆跡集合について画像特徴量を計算する。第1の実施形態では、図3に示すように筆跡集合を画像として扱う。筆跡集合20を囲む外接矩形21において、筆跡データ20のグローバル座標系23の座標を、矩形中心Cを原点とするローカル座標系22の座標に変換する。このローカル座標で示される画素を例えば黒とし、それ以外の領域を白とする二値画像として筆跡集合20を示すことができる。筆跡集合20の二値画像を例えばフーリエ変換することにより画像特徴量を得ることができる。このような画像特徴量としては、フーリエ変換に基づくもののほか、エッジベースのHOG(Histgram of Oriented Gradient)などを用いてもよい。
ステップS6においては、画像特徴量に基づいて、第1筆跡の筆跡集合に類似する第2筆跡の筆跡集合(集合番号)を記憶部2から検索する。第2筆跡は、予測候補を抽出する対象であり、その筆跡集合の画像特徴量は既に計算されており、記憶部2に記憶されているものとする。具体的には、集合番号、当該筆跡集合の画像特徴量、筆跡データが関連付けられたデータベースとして確保される。
類似する筆跡集合は、例えば、画像特徴量同士のユークリッド距離が閾値以下であるか否かで判定することができる。なお、類似判定はフーリエ変換などの静的な特徴を利用することに限定されない。例えば、筆跡データ時系列の動的性質を利用し、音声認識で用いられるDP(Dynamic Programming)マッチングや隠れマルコフモデル(Hidden Markov Model)によって類似性を判定してもよい。
ステップS7においては、1つ又は複数の予測候補(第3筆跡)を抽出する。具体的には、第1筆跡の筆跡集合に類似する第2筆跡の集合番号mについて、あらかじめ設定された抽出候補数n個の筆跡集合m+1、m+2、…、m+nを予測候補とする。
なお、ステップS6において、第1筆跡の筆跡集合に類似する第2筆跡の筆跡集合を複数抽出してもよい。例えば、類似する筆跡集合を2つ抽出する場合、第2筆跡の筆跡番号mについて、筆跡集合m+1、m+2、…、m+nを第1の予測候補群とし、第2筆跡の筆跡番号mについて、筆跡集合m+1、m+2、…、m+nを第2の予測候補群とする。
図4は、手書き入力中に入力予測候補の一覧を表示する例を示す図である。同図には、タッチパネルに表示されるノートアプリケーションの入力画面30が示される。同図には、編集中のノートの行罫線31も示される。ユーザーは、ペン入力インタフェース等を通じて手書き入力をすることができる。同図は、「Int」という筆跡32が手書き入力された状態を示している。筆跡32は、上述した第1筆跡であり、この例では3文字に相当する3つの筆跡集合で構成される。ここで、本実施形態に従い抽出された例えば2つの予測候補33が表示される。最初の予測候補は「ernet」であり、次の予測候補は「eractive」である。ユーザーが例えば最初の予測候補「ernet」を指示すると、確定結果表示部8はこれを確定し、入力中の第1筆跡である「Int」とともに第4筆跡である「ernet」を表示する。すなわち、「Internet」という筆跡34の入力が確定される。
特に本実施形態では、筆跡集合の単位で処理を行うよう構成されることから、図5に示すように筆跡集合の単位で予測文字(または文字列)を簡単に選択して確定することができる。図5の例は、ユーザーが「t」という筆跡集合35をペンでクリックした場合である。矢印36は、ペンでクリックされた位置を表している。このクリック操作により、「eract」という第4筆跡が確定する。この筆跡は、「e」、「r」、「a」、「c」、「t」という5つの筆跡集合で構成される。結果として、「Interact」という筆跡37の入力が確定される。
また本実施形態では、予測候補において確定した第4筆跡を入力中の第1筆跡の行に表示するために、第1筆跡の行構造を計算する計算部を備える。確定結果表示部8は、計算された行構造に基づいて第4筆跡を第1筆跡の行に表示する。また、筆跡の予測候補33の一覧表示についても、第1筆跡の行構造に基づいて行う。即ち、予測結果表示部8は、計算された第1筆跡の行構造に基づいて、予測候補である第3筆跡を第1筆跡の行に並行な行に表示する。
筆跡の行構造については次のように計算することができる。例えば、筆跡集合を構成する筆跡データの座標集合から当該筆跡集合の重心を求めることにより、複数の筆跡集合について複数の重心を求める。該複数の重心から最小二乗法により行方向を推定することができる。なお、筆跡集合ごとではなく所定の筆跡データ数ごとに重心を求めてもよい。
また、複数の筆跡集合の各々において基準となる点を結ぶ直線として行を判定することもできる。具体的には、複数の基準位置のうち、最初に決定された基準位置を始点とし、その後に特定された基準位置を通る直線、またはできるだけ近くを通る近似線を算出する。近似線の算出方法は、基準位置に対応する座標情報に基づいて、一般的な1次関数またはn次関数の計算法を用いれば良い。
本実施形態に従い抽出された予測候補33を表示する際には、手書き入力を行うユーザーの利き手に応じて、ユーザーの手の指等によって表示内容が隠れないように表示することが好ましい。具体的には、ユーザーの利き手を特定する情報を取得する取得部を設ける。予測結果表示部5は、第1筆跡の位置を基準として、利き手とは反対側の位置に予測結果(第3筆跡)の一覧を表示する。ユーザーの利き手の情報については、例えば右利き、左利きをユーザーが設定してもよい。あるいは、ペン位置とお手付き位置とから利き手を自動的に推定してもよい。
以上説明したように、第1の実施形態によれば、筆跡集合の単位で予測筆跡を簡単に選択して確定することができ、手書き入力予測候補に対する確定選択の操作性を改善することができる。
具体的には、文字列の前後方向に移動するハンドルを用いて所望の手書き文字列を切り出すようなユーザー操作が不要になり、ワンクリックで切り出しを行えるようになる。例えば、(1)筆跡を直接的に選択することで所望の筆跡集合(切り出しの基準)を選択したり、(2)各筆跡集合の外接矩形やその内部の非ストローク部分を選択することにより所望の筆跡集合(切り出しの基準)を間接的に選択することができる。
なお、記憶部2が手書き入力者を区別して筆跡を記憶し、第1の手書き入力者の筆跡(実際に手書き入力した筆跡および予測した筆跡を含む)を第2の手書き入力者の筆跡に変換できるようにすれば、手書き入力のユーザーインタフェースをさらに高機能化することができ、好ましい。
(第2の実施形態)
第2の実施形態において、第1の実施形態と同様の構成要素については同一の参照符号を付して説明を省略する。
図6は、第2の実施形態に係る手書き入力支援装置を示すブロック図である。該装置は、第1の実施形態の構成において、筆跡集合を文字認識する文字認識部9が追加されている。第2の実施形態において、記憶部2は、文字認識部9による文字認識結果を検索キーとして検索される文字又は文字列を記憶している。筆跡予測部3は、検索された文字又は文字列に対応する筆跡を予測候補の第3筆跡として出力する。
図7は、第2の実施形態に係る手書き入力予測の処理の例を示すフローチャートである。ユーザーがタッチパネル上でペンを操作して筆跡を入力すると(ステップS1)、入力筆跡表示部6によりタッチパネルに表示される(ステップS2)。上述したように入力筆跡は集合化される(ステップS3)。これにより新たな集合番号が追加され、ステップS4を経てステップS20乃至S22の予測処理が実行される。この処理では、筆跡集合の文字認識結果に基づいて予測候補を求める。
ステップS20において、文字認識部9は、筆跡集合を文字認識する。
ステップS21では、文字認識に基づく予測データベースが記憶部2に作成される。図8を参照して、この予測データベースを作成する段階について説明する。同図に示すように、例えば「India」に相当する第1筆跡40が入力されたとする。この第1筆跡40は5文字に相当する5つの筆跡集合で構成される。文字認識部9はこの第1筆跡40を文字認識し、その結果として「1ndia」が得られたとする。ここで、認識された「1」という文字に続く文字列「ndia」と、筆跡集合のデータ(「I」の筆跡およびその筆跡番号)とが予測データベースに登録される。これにより、「I」の筆跡番号またはその認識結果「1」を検索キーとして、文字列「ndia」を予測データベースから検索することが可能になる。同様に、認識された「n」という文字に続く文字列「dia」と、筆跡集合のデータ(「n」の筆跡およびその筆跡番号)とが予測データベースに登録される。これにより、「n」の筆跡番号またはその認識結果「n」を検索キーとして、文字列「dia」を予測データベースから検索することが可能になる。このようにして、入力された第1筆跡40の認識結果を1文字ずつ全て登録する。予測データベースに登録される筆跡のデータは、上述した第2筆跡に相当する。
ステップS22では、筆跡ベースの予測候補抽出が行われる。これは、図8に示す予測段階である。
例えば、「India」という筆跡はすでに予測データベースに登録されている。ここで、「I」という筆跡42が手書き入力されたとする。この「I」という筆跡42は文字認識されて「1」という認識結果43が得られる。ここで、筆跡予測部3は、「1」という認識結果43を検索キーとして予測データベースを検索する。図8に示したように、予測データベースから「ndia」という予測文字列が得られる。この予測文字列の各文字の筆跡のデータは、当該予測データベースから抽出することができる。したがって、同図に示すような「ndia」という予測候補の筆跡44(第3筆跡)が得られる。なお、第1の実施形態と同様に、第1筆跡の筆跡集合の文字認識結果が一致する第2筆跡の集合番号mについて、あらかじめ設定された抽出候補数n個の筆跡集合m+1、m+2、…、m+nを予測候補としてもよい。また、第1筆跡の筆跡集合の文字認識結果が一致する第2筆跡の集合番号を複数抽出してもよい。
ステップS23においては、文字認識に基づいて抽出された予測候補が表示される。
以上説明した第2の実施形態によれば、文字認識に基づいて予測候補を求め、第1の実施形態と同様の効果を奏することができる。
(第3の実施形態)
第3の実施形態において、第1及び第2の実施形態と同様の構成要素については同一の参照符号を付して説明を省略する。第3の実施形態は、第2の実施形態と同様に、筆跡集合の文字認識結果に基づいて予測候補を求めるものである。また第3の実施形態は、文字認識結果の尤度が高い場合にテキストベースの単語予測技術を利用する。
図9は、第3の実施形態に係る手書き入力支援装置を示すブロック図である。該装置は、第2の実施形態の構成において、単語予測部10およびテキストベースの予測データベース(DB)11が追加されている。
図10は、第3の実施形態に係る手書き入力予測の処理の例を示すフローチャートである。ユーザーがタッチパネル上でペンを操作して筆跡を入力すると(ステップS1)、入力筆跡表示部6によりタッチパネルに表示される(ステップS2)。上述したように入力筆跡は集合化される(ステップS3)。これにより新たな集合番号が追加され、ステップS4を経てステップS20乃至S22の予測処理が実行される。この処理では、筆跡集合の文字認識結果に基づいて予測候補(第3筆跡)を求める。
図8に示したように、予測データベースから「ndia」という予測文字列が得られたとする。この予測文字列を文字認識した際の尤度が第1閾値を超える場合(ステップS30:yes)、単語予測部10は、テキストベースの予測DB11を検索し、この予測文字列に対する単語予測を得る(ステップS40)。
本実施形態の筆跡予測部3は、単語予測部10から得られた単語予測を利用する。ここで、単語予測のテキストそれ自体を最終的な予測候補としてもよい。あるいは、この単語予測に対して第2閾値を超える尤度を持つ筆跡を予測候補の第3筆跡としてもよい(ステップS41:yes,ステップS42)。
あるいは、単語予測のテキスト(文字列)に対応する筆跡が存在しない場合に、この単語予測のテキストのフォントを手書きフォントに変換し、これを予測候補の第3筆跡としてもよい。
ステップS23においては、文字認識に基づいて抽出された予測候補が表示される。
以上説明した第3の実施形態によれば、文字認識に基づいて第1及び第2の実施形態と同様の効果を奏することができる。さらに第3の実施形態によれば、テキストベースの単語予測に基づいて、予測候補の精度を向上することができる。
図11に、第1乃至第3の実施形態の手書き入力支援装置を実現するハードウェアの構成例を示す。図中、201はCPU、202は所定の入力デバイス、203は所定の出力デバイス、204はRAM、205はROM、206は外部メモリ・インタフェース、207は通信インタフェースである。例えば、タッチパネルを使用する場合には、例えば液晶パネルとペンと液晶パネル上に設けられたストローク検出装置等が利用される(図中、208参照)。
また、例えば、図1、図6、図9の構成の一部分をクライアント上に設け、図1、図6、図9の構成の残りの部分をサーバ上に設けることも可能である。
例えば、図12は、イントラネット及び/又はインターネット等のネットワーク300上にサーバ303が存在し、各クライアント301,302がネットワーク300を介してそれぞれサーバ303と通信することによって、本実施形態の手書き入力支援装置が実現する様子を例示している。
なお、クライアント301は、無線通信を介してネットワーク300に接続され、クライアント302は、有線通信を介してネットワーク302に接続される場合を例示している。
クライアント301,302は、通常、ユーザー装置である。サーバ303は、例えば、企業内LAN等のLAN上に設けられたものであっても良いし、インターネット・サービス・プロバイダ等が運営するものであっても良い。また、サーバ303がユーザー装置であって、あるユーザーが他のユーザーに機能を提供するものであっても良い。
図1、図6、図9の構成を、クライアントとサーバに分散する方法として、種々の方法が考えられる。
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の手書き入力支援装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の手書き入力支援装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…筆跡入力部、
2…記憶部、
3…筆跡予測部、
4…表示部、
5…予測結果表示部、
6…入力筆跡表示部、
7…指示入力部、
8…確定結果表示部

Claims (9)

  1. 1つの文字又は記号が1つの筆跡集合に対応する第1筆跡を入力する筆跡入力部と、
    前記1つの文字又は記号が前記1つの筆跡集合に対応する第2筆跡を記憶する筆跡記憶部と、
    前記第1筆跡を用いて前記第2筆跡を検索することにより、前記1つの文字又は記号が前記1つの筆跡集合に対応する第3筆跡を予測する筆跡予測部と、
    前記第3筆跡を表示する予測結果表示部と、
    前記第3筆跡の前記筆跡集合に対して与えられた指示により第4筆跡を確定し、前記第1筆跡とともに表示する確定結果表示部と、
    前記筆跡集合を文字認識する文字認識部をさらに具備し、
    を具備し、
    前記記憶部は、前記文字認識結果を検索キーとして検索される文字列を記憶し、
    前記筆跡予測部は、前記文字列に対応する筆跡を前記第3筆跡として出力する手書き入力支援装置。
  2. 前記第1筆跡の行構造を計算する計算部をさらに具備し、
    前記確定結果表示部は、前記行構造に基づいて、前記第4筆跡を前記第1筆跡の行に表示する請求項1記載の装置。
  3. 前記第1筆跡の行構造を計算する計算部をさらに具備し、
    前記予測結果表示部は、前記行構造に基づいて、前記第3筆跡を前記第1筆跡の行と並行な行に表示する請求項1または2記載の装置。
  4. 入力者の利き手を特定する情報を取得する取得部をさらに具備し、
    前記予測結果表示部は、前記第1筆跡の位置を基準として前記利き手とは反対側の位置に前記第3筆跡を表示する請求項1乃至3のいずれかに記載の装置。
  5. 前記第3筆跡の文字認識結果が第1閾値を超える尤度を持つ場合に、該文字認識結果に対する単語予測を与えるテキストベースの単語予測部をさらに具備し、
    前記筆跡予測部は、前記単語予測を利用して前記第3筆跡を得る請求項1乃至4のいずれかに記載の装置。
  6. 前記筆跡予測部は、前記単語予測に対して第2閾値を超える尤度を持つ筆跡を前記第3筆跡とするか、前記単語予測に対応する手書きフォントの文字列を前記第3筆跡とする請求項記載の装置。
  7. 1つの文字又は記号が1つの筆跡集合に対応する第1筆跡を入力すること、
    前記1つの文字又は記号が前記1つの筆跡集合に対応する第2筆跡を記憶すること、
    前記第1筆跡を用いて前記第2筆跡を検索することにより、前記1つの文字又は記号が前記1つの筆跡集合に対応する第3筆跡を予測すること、
    前記第3筆跡を表示すること、
    前記第3筆跡の前記筆跡集合に対して与えられた指示により第4筆跡を確定し、前記第1筆跡とともに表示すること、
    前記筆跡集合を文字認識すること、
    を含み、
    前記第2筆跡を記憶することは、前記文字認識結果を検索キーとして検索される文字列を記憶し、
    前記第3筆跡を予測することは、前記文字列に対応する筆跡を前記第3筆跡として出力する手書き入力支援方法。
  8. コンピュータを、
    1つの文字又は記号が1つの筆跡集合に対応する第1筆跡を入力する筆跡入力部、
    前記1つの文字又は記号が前記1つの筆跡集合に対応する第2筆跡を記憶する筆跡記憶部、
    前記第1筆跡を用いて前記第2筆跡を検索することにより、前記1つの文字又は記号が前記1つの筆跡集合に対応する第3筆跡を予測する筆跡予測部、
    前記第3筆跡を表示する予測結果表示部、
    前記第3筆跡の前記筆跡集合に対して与えられた指示により第4筆跡を確定し、前記第1筆跡とともに表示する確定結果表示部、
    前記筆跡集合を文字認識する文字認識部、
    として機能させるためのプログラムであって、
    前記記憶部は、前記文字認識結果を検索キーとして検索される文字列を記憶し、
    前記筆跡予測部は、前記文字列に対応する筆跡を前記第3筆跡として出力するためのプログラム。
  9. 1つの文字又は記号が1つの筆跡集合に対応する第1筆跡を入力し、前記1つの文字又は記号が前記1つの筆跡集合に対応する第2筆跡を前記第1筆跡を用いて検索することにより前記1つの文字又は記号が前記1つの筆跡集合に対応する第3筆跡を予測し、前記第3筆跡を表示し、前記第3筆跡の前記筆跡集合に対して与えられた指示により第4筆跡を確定して前記第1筆跡とともに表示し、前記筆跡集合を文字認識するように構成されたプロセッサと、
    前記プロセッサに接続されたメモリと、
    を備え
    前記メモリは、前記文字認識結果を検索キーとして検索される文字列を記憶し、
    前記第3筆跡を予測することは、前記文字列に対応する筆跡を前記第3筆跡として出力する手書き入力支援装置。
JP2012210873A 2012-09-25 2012-09-25 手書き入力支援装置、方法およびプログラム Active JP5832980B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012210873A JP5832980B2 (ja) 2012-09-25 2012-09-25 手書き入力支援装置、方法およびプログラム
CN201380040593.8A CN104508683A (zh) 2012-09-25 2013-09-24 手写输入支持设备和方法
PCT/JP2013/076457 WO2014051134A1 (en) 2012-09-25 2013-09-24 Handwriting input support apparatus and method
US14/616,615 US20150154176A1 (en) 2012-09-25 2015-02-06 Handwriting input support apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012210873A JP5832980B2 (ja) 2012-09-25 2012-09-25 手書き入力支援装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014067147A JP2014067147A (ja) 2014-04-17
JP5832980B2 true JP5832980B2 (ja) 2015-12-16

Family

ID=49486624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012210873A Active JP5832980B2 (ja) 2012-09-25 2012-09-25 手書き入力支援装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20150154176A1 (ja)
JP (1) JP5832980B2 (ja)
CN (1) CN104508683A (ja)
WO (1) WO2014051134A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201592B2 (en) * 2013-08-09 2015-12-01 Blackberry Limited Methods and devices for providing intelligent predictive input for handwritten text
KR102221223B1 (ko) * 2013-08-26 2021-03-03 삼성전자주식회사 필기 컨텐츠를 작성하는 사용자 기기 및 방법
WO2015030461A1 (en) 2013-08-26 2015-03-05 Samsung Electronics Co., Ltd. User device and method for creating handwriting content
JP6392036B2 (ja) * 2014-09-03 2018-09-19 株式会社東芝 電子機器および方法
JP6426417B2 (ja) * 2014-09-26 2018-11-21 株式会社東芝 電子機器、方法及びプログラム
JP6430198B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器、方法及びプログラム
JP6430199B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器、方法及びプログラム
JP6055065B1 (ja) * 2015-11-04 2016-12-27 アイサンテクノロジー株式会社 文字認識プログラム、文字認識装置
US20170289337A1 (en) * 2016-04-05 2017-10-05 Google Inc. Faster Text Entry on Mobile Devices Through User-Defined Stroke Patterns
US20220237936A1 (en) * 2021-01-28 2022-07-28 Samsung Electronics Co., Ltd. Electronic device and method for shape recognition based on stroke analysis in electronic device
WO2024111081A1 (ja) * 2022-11-24 2024-05-30 レノボ・シンガポ-ル・プライベ-ト・リミテッド 情報処理装置、及び制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW490643B (en) * 1996-05-21 2002-06-11 Hitachi Ltd Estimated recognition device for input character string
JPH10307675A (ja) * 1997-05-01 1998-11-17 Hitachi Ltd 手書き文字認識方法及び装置
US6970599B2 (en) * 2002-07-25 2005-11-29 America Online, Inc. Chinese character handwriting recognition system
JP2005025566A (ja) * 2003-07-03 2005-01-27 Sharp Corp 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体
JP4393415B2 (ja) * 2005-04-01 2010-01-06 シャープ株式会社 手書き入力装置、手書き入力プログラム、および、プログラム記録媒体
US7715629B2 (en) * 2005-08-29 2010-05-11 Microsoft Corporation Style aware use of writing input
KR100801224B1 (ko) * 2006-08-16 2008-02-05 장경호 사용자 필적 구현 시스템 및 방법
CN101354749B (zh) * 2007-07-24 2013-01-09 夏普株式会社 字典制作方法、手写输入方法和设备
EP2088536B1 (en) * 2008-02-08 2021-08-11 Nokia Technologies Oy Text input system and method involving finger-based handwriting recognition and word prediction
JP5482522B2 (ja) * 2010-07-12 2014-05-07 沖電気工業株式会社 表示制御装置、表示制御方法及びプログラム
CN102236799A (zh) * 2011-06-20 2011-11-09 北京捷通华声语音技术有限公司 一种多字手写识别的方法及装置

Also Published As

Publication number Publication date
US20150154176A1 (en) 2015-06-04
WO2014051134A1 (en) 2014-04-03
JP2014067147A (ja) 2014-04-17
CN104508683A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
JP5832980B2 (ja) 手書き入力支援装置、方法およびプログラム
JP5599662B2 (ja) 統計的な方法を用いて漢字を自国語の発音列に変換するシステムおよび方法
JP6526608B2 (ja) 辞書更新装置およびプログラム
JP5270027B1 (ja) 情報処理装置および手書き文書検索方法
JP5349645B1 (ja) 電子機器および手書き文書処理方法
JP6506770B2 (ja) 音楽記号を認識するための方法および装置
JP5694234B2 (ja) 電子機器、手書き文書表示方法、及び表示プログラム
US20140289632A1 (en) Picture drawing support apparatus and method
JP5395927B2 (ja) 電子機器および手書き文書検索方法
US10210141B2 (en) Stylizing text by replacing glyph with alternate glyph
EP2806336A1 (en) Text prediction in a text input associated with an image
KR20220038477A (ko) 텍스트 라인 추출
JP5694236B2 (ja) 文書検索装置、方法およびプログラム
JP5735126B2 (ja) システムおよび筆跡検索方法
JP6342194B2 (ja) 電子機器、方法及びプログラム
JP6223687B2 (ja) 電子機器および手書き文書検索方法
US9910846B2 (en) Conversion device and conversion method
JP6655331B2 (ja) 電子機器及び方法
JP2013239203A (ja) 電子機器、方法、及びプログラム
JPWO2014147922A1 (ja) 入力支援システム、入力支援方法および入力支援プログラム
JP6039066B2 (ja) 電子機器、手書き文書検索方法およびプログラム
WO2016031016A1 (ja) 電子機器、方法及びプログラム
JP5666011B1 (ja) 方法及び電子機器
JP5911981B2 (ja) 文書検索装置、方法およびプログラム
US10474886B2 (en) Motion input system, motion input method and program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151028

R151 Written notification of patent or utility model registration

Ref document number: 5832980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350