JPWO2016170691A1 - 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法 - Google Patents

入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法 Download PDF

Info

Publication number
JPWO2016170691A1
JPWO2016170691A1 JP2017513943A JP2017513943A JPWO2016170691A1 JP WO2016170691 A1 JPWO2016170691 A1 JP WO2016170691A1 JP 2017513943 A JP2017513943 A JP 2017513943A JP 2017513943 A JP2017513943 A JP 2017513943A JP WO2016170691 A1 JPWO2016170691 A1 JP WO2016170691A1
Authority
JP
Japan
Prior art keywords
character
input
display
displayed
handwriting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017513943A
Other languages
English (en)
Inventor
悠吾 松田
悠吾 松田
康弘 露木
康弘 露木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2016170691A1 publication Critical patent/JPWO2016170691A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/127—Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/147—Determination of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

コンピュータに、文字が表示された表示画面上における手書き入力を受け付け、前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記特定の文字を前記手書き入力について認識した文字に変更する処理を実行する、処理を実行させる。

Description

本発明は、入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法に関する。
ユーザによる手書き入力を受け付け、手書き入力について文字認識して得られた認識文字を入力文字として処理するツールが知られている。
特開２００５−２３５１１６号公報
しかし、従来のツールでは、手書き入力に先立って、ユーザが手書き入力による文字入力を希望する項目または位置を指定する操作が、手書き入力と別個に必要となり、手書きによるスムーズな文字の入力が阻害されてしまう。
１つの側面では、手書きによるスムーズな文字の入力を可能とすることを目的とする。
一態様によれば、コンピュータに、文字が表示された表示画面上における手書き入力を受け付け、前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記特定の文字を前記手書き入力について認識した文字に変更する処理を実行する、処理を実行させる。
１つの側面では、手書きによるスムーズな文字の入力を可能となる。
第一の実施形態の主なプログラム構成を説明する図である。 文字特定装置による手書き修正入力を説明する図である。 文字特定装置のハードウェア構成の一例を示す図である。 第一の実施形態の文字特定装置の機能構成を説明する図である。 第一の実施形態の手書き修正処理の一例を説明するフローチャートである。 第一の実施形態の手書き修正の具体例を説明する図である。 表示テキストの保護について説明する図である。 入力欄が表示される手書き修正について説明する図である。 複数のアプリケーションの表示テキストについて説明する図である。 第二の実施形態の文字特定装置の機能構成を説明する図である。 第二の実施形態の手書き修正処理の一例を説明するフローチャートである。 第二の実施形態の手書き修正処理における文字削除の具体例を説明する図である。 第三の実施形態の文字特定システムの一例を示す図である。 第四の実施形態の文字特定システムの一例を示す図である。
（第一の実施形態）
以下に図面を参照して第一の実施形態について説明する。図１は、第一の実施形態の主なプログラム構成を説明する図である。
第一の実施形態は、主なプログラムとして、第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０を有する。
第１のアプリケーション１０は、例えば伝票作成アプリケーションやメール作成アプリケーション等の入力された文字群（テキスト）を表示するプログラムである。第１のアプリケーションにより表示されたテキストを、以降では、「表示テキスト」と表す。なお、表示テキストは、手書き入力による文字に限られず、例えばキーボード等により入力された文字が含まれても良い。
文字特定プログラム２０は、表示テキストに対して手書き入力による文字の修正（手書き修正入力）がされた場合に、入力されたストロークから、表示テキストにおける修正対象の位置及び範囲を特定する。例えば、文字特定プログラム２０は、表示テキストにおいて手書き修正入力がされた文字で置換する位置及び範囲を特定する。同様に、例えば、文字特定プログラム２０は、表示テキストにおいて手書き修正入力された文字を挿入する位置及び範囲を特定する。なお、手書き入力及び手書き修正入力は、指によりストロークを入力する場合に限られず、例えばスタイラス（stylus）等を用いてストロークを入力しても良い。
認識プログラム３０は、手書き入力及び手書き修正入力により入力されたストロークから文字を認識する。すなわち、認識プログラム３０は、手書き入力及び手書き修正入力により入力されたストロークに対応する文字を認識結果として取得する。
第一の実施形態の第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０は、それぞれが独立した装置に実装されていても良いし、それぞれが１つの装置に実装されていても良い。以降の第一の実施形態の説明では、第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０が１つの装置に実装された場合について説明する。以降の説明では、第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０が実装された装置を「文字特定装置」と表す。
次に、第一の実施形態の文字特定装置において、表示テキストを手書き修正入力について説明する。図２は、文字特定装置による手書き修正入力を説明する図である。
文字特定装置１には画面２が表示されているものとする。画面２には、表示テキスト「ＡＢＣＤＥ」及び「１２３４」が表示されている。このとき、文字特定装置１のユーザが表示テキストに含まれる文字「Ｃ」を文字「Ａ」に手書きにより修正する場合について説明する。なお、画面２の表示テキストは、第１のアプリケーション１０により表示されている。
本実施形態の手書きによる修正では、画面３に示すように、ユーザは文字特定装置１のタッチパネル等により、表示テキストに含まれる文字「Ｃ」が表示されている位置に、直接、文字「Ａ」を手書き入力する。
すると、文字特定装置１は、文字特定プログラム２０により、手書き入力された文字「Ａ」のストロークを示す情報から、表示テキストのうち、手書きにより修正が加えられた文字群と、文字群における修正対象の文字「Ｃ」の位置を特定する。
図２の例では、文字特定プログラム２０は、表示テキスト「ＡＢＣＤＥ」を修正が加えられた文字群と特定する。また、文字特定プログラム２０は、表示テキスト「ＡＢＣＤＥ」のうちの文字「Ｃ」を修正対象の文字と特定する。
続いて、文字特定プログラム２０は、文字「Ａ」のストロークを示す情報を認識プログラム３０に渡す。認識プログラム３０は、ストロークを示す情報から文字「Ａ」を認識し、修正を反映させた文字群を第１のアプリケーション１０に渡す。
第１のアプリケーション１０は、修正が反映された文字群を表示させる。図２の例では、画面４に示すように、表示テキスト「ＡＢＣＤＥ」は、文字「Ｃ」が文字「Ａ」に修正された表示テキスト「ＡＢＡＤＥ」となる。
このように、第一の実施形態の文字特定装置１は、第１のアプリケーションにより表示された表示テキストに対して、直接手書き修正入力を行うことができる。
なお、図２の手書き修正入力では、表示テキストに含まれる文字「Ｃ」を文字「Ａ」に置換する修正について説明したが、表示テキストに含まれる文字「Ｃ」の前又は後ろに文字「Ａ」を挿入する修正であっても良い。
また、図２の例では、表示テキスト「ＡＢＣＤＥ」及び「１２３４」のうち、手書き修正入力が行われる文字群（第１の文字群）は、複数の文字を含むものとしたが、これに限定されない。第１のアプリケーション１０により表示された表示テキストのうち、手書き修正入力が行われる文字群は、１文字であっても良い。
また、手書き修正入力で修正する文字の文字数は、２以上であっても良い（すなわち、文字群を置換又は挿入しても良い。）。
なお、図２の手書き修正入力において、手書き入力される文字「Ａ」のストロークを表示テキスト「ＡＢＣＤＥ」と異なる色で表示させても良い。例えば、表示テキスト「ＡＢＣＤＥ」が黒色で表示されている場合に、手書き入力される文字「Ａ」のストロークを赤色又は青色で表示させても良い。これにより、表示テキストに対して手書き入力される文字のストロークが見え易くなり、ユーザが手書き修正入力を行い易くなる。以降では、手書き修正について、詳細に説明する。
まず、文字特定装置１のハードウェア構成について説明する。図３は、文字特定装置のハードウェア構成の一例を示す図である。本実施形態の文字特定装置１は、それぞれバスＢで相互に接続されている表示操作装置１０１、ドライブ装置１０２、補助記憶装置１０３、メモリ装置１０４、演算処理装置１０５、インターフェース装置１０６を有する。
表示操作装置１０１は、例えばタッチパネル等であり、各種信号の入力と、各種信号の表示（出力）に用いられる。インターフェース装置１０６は、モデル、ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。
第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０は、文字特定装置１を制御する各種プログラムの少なくとも一部である。これらのプログラムは、例えば記録媒体１０７による配布やネットワークからのダウンロード等によって提供される。第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０を記録した記録媒体１０７は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
また、第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０を記録した記録媒体１０７がドライブ装置１０２にセットされると、各プログラムは記録媒体１０７からドライブ装置１０２を介して補助記憶装置１０３にインストールされる。ネットワークからダウンロードされた各プログラムは、インターフェース装置１０６を介して補助記憶装置１０３にインストールされる。
補助記憶装置１０３は、インストールされた第１のアプリケーション１０、文字特定プログラム２０、及び認識プログラム３０を格納すると共に、基本ソフトウェアであるＯＳ（Operating System）、必要なファイル、データ等を格納する。メモリ装置１０４は、各プログラムの起動時に補助記憶装置１０３にそれぞれのプログラムを読み出して格納する。そして、演算処理装置１０５は、メモリ装置１０４に格納された各プログラムに従って、後述するような各種処理を実現している。
次に、文字特定装置１の機能構成について説明する。図４は、第一の実施形態の文字特定装置の機能構成を説明する図である。本実施形態の文字特定装置１は、第１のアプリ実行部１１、文字特定処理部２１、認識部３１、記憶部４１を有する。
本実施形態の第１のアプリ実行部１１は、演算処理装置１０５が第１のアプリケーション１０を実行することで実現される。本実施形態の文字特定処理部２１は、演算処理装置１０５が文字特定プログラム２０を実行することで実現される。本実施形態の認識部３１は、演算処理装置１０５が認識プログラム３０を実行することで実現される。本実施形態の記憶部４１は、補助記憶装置１０３やメモリ装置１０４により実現される。
記憶部４１は、第１の座標情報４２、第２の座標情報４３、入力ストローク情報４４を有する。
第１の座標情報４２は、表示テキストに含まれる各文字の外接枠を特定する座標情報である。ここで、外接枠とは、文字に外接する四角形の枠のことである。したがって、第１の座標情報４２は、外接枠の上辺を特定する第１のｔｏｐ座標情報、底辺を特定する第１のｂｏｔｔｏｍ座標情報、左辺を特定する第１のｌｅｆｔ座標情報、右辺を特定する第１のｒｉｇｈｔ座標情報が含まれる。
第２の座標情報４３は、ユーザにより手書き修正入力において入力されたストロークが形成する文字の外接枠を特定する座標情報である。第２の座標情報４３も第１の座標情報４２と同様に、外接枠のそれぞれの辺を特定する第２のｔｏｐ座標情報、第２のｂｏｔｔｏｍ座標情報、第２のｌｅｆｔ座標情報、第２のｒｉｇｈｔ座標情報が含まれる。
なお、外接枠は、四角形に限られず、多角形であっても良い。この場合には、第１の座標情報４２及び第２の座標情報４３は、多角形のそれぞれの辺を特定する座標情報を有する。
入力ストローク情報４４は、ユーザにより手書き修正入力において入力されたストローク情報である。なお、ストローク情報とは、手書きにより行われた１画分のストローク（筆跡）を示す情報であり、２以上の座標情報が含まれる。すなわち、本実施形態では、ストローク情報に含まれる２以上の座標情報が示す座標を結ぶことにより、１画分のストロークが特定される。したがって、後述する認識部３１は、ストローク情報により示されるストロークで形成される１文字を認識する。
ここで、第１の座標情報４２、第２の座標情報４３、及び入力ストローク情報４４に含まれる各座標情報は、例えば、文字特定装置１により表示された画面において予め設定された基準点を原点としたＸＹ座標値である。基準点としては、例えば、文字特定装置１により表示される１画面におい左上端の画素の位置とすれば良い。このとき、例えば、基準点を原点として、Ｘ軸を基準点から右方向に正、Ｙ軸を基準点から下方向に正とすれば良い。
第１のアプリ実行部１１は、表示テキストに含まれる文字の第１の座標情報４２を取得する。また、第１のアプリ実行部１１は、認識部３１より取得した文字で表示テキストに含まれる文字を置換、又は認識部３１より取得した文字を表示テキストに挿入して、表示テキストを修正する。
文字特定処理部２１は、第１のアプリ実行部１１により表示された表示テキストにおいて、手書きによる修正の対象となっている位置及び範囲を特定する。文字特定処理部２１の詳細は後述する。
認識部３１は、入力ストローク情報４４から文字を認識し、認識結果として文字を取得する。
以下に、文字特定処理部２１の詳細を説明する。本実施形態の文字特定処理部２１は、ストローク情報取得部２２、領域特定部２３、重なり判定部２４、文字特定部２５を有する。
ストローク情報取得部２２は、ユーザからの手書き修正入力において入力されたストロークを示す入力ストローク情報４４を取得する。
領域特定部２３は、ストローク情報取得部２２が取得した入力ストローク情報４４から第２の座標情報４３を取得する。また、領域特定部２３は、第２の座標情報４３により特定される外接枠で囲まれる領域（入力文字領域）と、第１の座標情報４２により特定される外接枠で囲まれる領域（テキスト領域）とを特定する。なお、第１の座標情報４２は、第１のアプリ実行部１１により領域特定部２３に渡されても良い。また、第１の座標情報４２は、ストローク情報取得部２２が入力ストローク情報４４を取得した際に、領域特定部２３により記憶部４１から取得されても良い。
重なり判定部２４は、領域特定部２３により特定された入力文字領域及びテキスト領域について、入力文字領域において、テキスト領域と重なっている領域の割合が、予め設定された第１の閾値以上であるか否かを判定する。
文字特定部２５は、重なり判定部２４の判定結果に応じて、表示テキストにおいて修正対象となる位置及び範囲を特定する。すなわち、文字特定部２５は、例えば、表示テキストにおける置換対象となる文字又は文字群を特定する。同様に、文字特定部２５は、例えば、表示テキストにおける挿入対象となる文字又は文字群を特定する。
次に、本実施形態の文字特定装置１の動作について説明する。図５は、第一の実施形態の手書き修正処理の一例を説明するフローチャートである。図５では、文字特定装置１の表示操作装置１０１に表示されている表示テキストを手書き修正入力により修正（文字の置換又は挿入）する処理について説明する。
本実施形態の文字特定装置１は、文字特定処理部２１のストローク情報取得部２２により、手書き修正入力において入力されたストロークを示す入力ストローク情報４４を取得する（ステップＳ５０１）。次に、文字特定装置１は、文字特定処理部２１のストローク情報取得部２２により、手書き修正入力が終了したか否かを判定する（ステップＳ５０２）。ここで、ストローク情報取得部２２は、所定の時間、入力ストローク情報４４を取得しなかった場合、手書き修正入力が終了したと判定すれば良い。
ステップＳ５０２において、手書き修正入力が終了していないと判定された場合、文字特定装置１は、ステップＳ５０１に戻る。
ステップＳ５０２において、手書き修正入力が終了したと判定された場合、文字特定装置１は、文字特定処理部２１の領域特定部２３により、テキスト領域及び入力文字領域を特定する（ステップＳ５０３）。すなわち、領域特定部２３は、第１のアプリ実行部１１を介して、第１の座標情報４２を取得する。そして、領域特定部２３は、第１の座標情報４２に基づきテキスト領域を特定する。また、領域特定部２３は、入力ストローク情報４４から第２の座標情報４３を取得する。そして、領域特定部２３は、第２の座標情報４３に基づき入力文字領域を特定する。なお、本実施形態では、領域特定部２３によりテキスト領域が特定されることで、修正が加えられる対象となる文字群が特定される。
続いて、文字特定装置１は、文字特定処理部２１の重なり判定部２４により、入力文字領域において、テキスト領域と重なっている領域の割合が、第１の閾値以上であるか否かを判定する（ステップＳ５０４）。なお、第１の閾値としては、例えば、１／２とすれば良い。この場合、重なり判定部２４は、入力文字領域がテキスト領域と半分（１／２）以上重なっているか否かを判定する。
ステップＳ５０４において、入力文字領域において、テキスト領域と重なっている領域の割合が、第１の閾値以上であると判定された場合、文字特定装置１は、文字特定処理部２１の文字特定部２５により、表示テキストにおける置換対象となる文字又は文字群を特定する（ステップＳ５０５）。すなわち、文字特定部２５は、表示テキストにおいて、手書き修正入力で入力された文字で置換する位置及び範囲を特定する。
ステップＳ５０４において、入力文字領域において、テキスト領域と重なっている領域の割合が、第１の閾値以上でないと判定された場合、文字特定装置１は、文字特定処理部２１の文字特定部２５により、表示テキストにおける挿入対象となる文字又は文字群を特定する（ステップＳ５０６）。すなわち、文字特定部２５は、表示テキストにおいて、手書き修正入力で入力された文字を挿入する位置及び範囲を特定する。
続いて、文字特定装置１は、認識部３１により、ストローク情報取得部２２が取得した入力ストローク情報４４に対応する文字を認識し、認識結果として文字を取得する（ステップＳ５０７）。そして、認識部３１は、取得した文字を第１のアプリ実行部１１に渡す。なお、認識部３１は、ストローク情報取得部２２が取得した入力ストローク情報４４が複数の文字に対応する場合、複数の文字（すなわち、文字群）を取得する。
最後に、文字特定装置１は、ステップＳ５０４の判定結果に応じて、第１のアプリ実行部１１により、ステップＳ５０５又はステップＳ５０６で特定された位置及び範囲で表示テキストを、ステップＳ５０７で取得した文字又は文字群で修正する（ステップＳ５０８）。
すなわち、第１のアプリ実行部１１は、ステップＳ５０４からステップＳ５０５に進んだ場合は、表示テキストにおいて特定された位置及び範囲の文字又は文字群を、取得した文字又は文字群で置換する。また、第１のアプリ実行部１１は、ステップＳ５０４からステップＳ５０６に進んだ場合は、表示テキストにおいて特定された位置及び範囲の文字又は文字群の前又は後ろに、取得された文字又は文字群を挿入する。これにより、本実施形態の手書き修正の一連の処理が完了する。
次に、図６を参照して、図５で説明した手書き修正処理により手書き修正を行う場合を具体的に説明する。図６は、第一の実施形態の手書き修正の具体例を説明する図である。
まず、文字特定装置１において表示テキスト「ＡＢＣ」が表示されているものとする（状態Ｓ１１）。
状態Ｓ１１において、文字特定装置１は、ユーザが表示テキストの文字「Ｃ」を文字「Ａ」に修正するために行った手書き修正を受け付ける（状態Ｓ１２）。すると、ストローク情報取得部２２は、手書き修正入力されたストロークを示す入力ストローク情報４４を取得する。図６の例では、ストローク情報取得部２２は、文字「Ａ」の１画目の入力ストローク情報４４１、文字「Ａ」の２画目の入力ストローク情報４４２、及び文字「Ａ」の３画目の入力ストローク情報４４３を取得する。
次に、領域特定部２３は、テキスト領域及び入力文字領域を特定する。そして、重なり判定部２４は、入力文字領域がテキスト領域に第１の閾値以上重なっているか否かを判定する（状態Ｓ１３）。
具体的には、領域特定部２３は、次のようにしてテキスト領域及び入力文字領域を特定する。まず、領域特定部２３は、第１のアプリ実行部１１を介して、ＯＳが保持している表示テキスト「ＡＢＣ」の各文字の座標情報を取得する。そして、各文字について、例えば、Ｙ座標が最小である座標情報を第１のｔｏｐ座標情報、Ｙ座標が最大である座標情報を第１のｂｏｔｔｏｍ座標情報、Ｘ座標が最小である座標情報を第１のｌｅｆｔ座標情報、Ｘ座標が最大である座標情報を第１のｒｉｇｈｔ座標情報として、第１の座標情報４２を取得する。
次に、本実施形態の領域特定部２３は、各文字の第１の座標情報４２から、表示テキストに含まれる各文字のテキスト領域を特定する。
図６の例では、領域特定部２３は、各文字の第１の座標情報４２に基づき、表示テキストの文字「Ａ」のテキスト領域３０１、表示テキストの文字「Ｂ」のテキスト領域３０２、及び表示テキストの文字「Ｃ」のテキスト領域３０３を特定する。本実施形態では、各文字のテキスト領域が特定されると、表示テキストの各文字について、表示位置及びサイズに関する情報が特定される。
また、領域特定部２３は、入力ストローク情報４４１、入力ストローク情報４４２、及び入力ストローク情報４４３から手書き入力された文字「Ａ」の第２の座標情報４３を取得する。すなわち、領域特定部２３は、入力ストローク情報４４１、入力ストローク情報４４２、及び入力ストローク情報４４３に含まれる座標情報のうち、例えば、Ｙ座標が最小である座標情報を第２のｔｏｐ座標情報、Ｙ座標が最大である座標情報を第２のｂｏｔｔｏｍ座標情報、Ｘ座標が最小である座標情報を第２のｌｅｆｔ座標情報、Ｘ座標が最大である座標情報を第２のｒｉｇｈｔ座標情報として、第２の座標情報４３を取得する。
次に、領域特定部２３は、第２の座標情報４３に基づき、手書き修正入力された文字「Ａ」の入力文字領域４０１を特定する。
続いて、重なり判定部２４は、入力文字領域４０１が、テキスト領域３０１、テキスト領域３０２、及びテキスト領域３０２のそれぞれと第１の閾値以上重なっているか否かを判定する。そして、文字特定部２５は、重なり判定部２４の判定結果に応じて、修正対象の位置及び範囲を特定する。本実施形態の修正とは、文字の置換と挿入である。
始めに、文字の置換について説明する。図６の状態Ｓ１３では、入力文字領域４０１は、テキスト領域３０３と重なっている。また、図６の状態Ｓ１３では、入力文字領域４０１において、テキスト領域３０３と重なっている領域の割合は、１／２以上である。したがって、重なり判定部２４は、入力文字領域４０１がテキスト領域３０３と第１の閾値以上重なっていると判定する。
文字特定部２５は、この判定結果から、テキスト領域３０３の文字「Ｃ」を修正された文字と置換する置換対象（修正対象）として特定する。
表示テキストにおいて、置換対象の文字が特定されると、第１のアプリ実行部１１は、テキスト領域３０３に対応する文字「Ｃ」を、手書き修正入力されたストロークに対応する文字「Ａ」で置換する（状態Ｓ１４−１）。
次に、文字の挿入について説明する。図６の状態Ｓ１３において、例えば領域特定部２３により特定された入力文字領域が、入力文字領域４０１'であったとする。この場合、入力文字領域４０１'は、テキスト領域３０２及びテキスト領域３０３の両方に一部が重なっている。
しかし、入力文字領域４０１'において、テキスト領域３０２及びテキスト領域３０３のそれぞれに重なっている領域の割合は、どちらも１／２より小さい。
したがって、重なり判定部２４は、入力文字領域４０１'がテキスト領域３０２及びテキスト領域３０３と第１の閾値以上重なっていないと判定する。また、文字特定部２５は、テキスト領域３０２及びテキスト領域３０３の間を修正入力された文字「Ｃ」の挿入位置と特定する。
表示テキストにおいて、修正文字の挿入位置が特定されると、第１のアプリ実行部１１は、テキスト領域３０２及びテキスト領域３０３の間に、手書き修正入力されたストロークに対応する文字「Ａ」を挿入する（状態Ｓ１４−２）。
このように、本実施形態の文字特定装置１では、第１のアプリケーション１０により表示された表示テキストに対して、カーソル等で修正対象の位置及び範囲を指定することなく、手書き修正入力を行うことができる。
ここで、文字特定装置１の表示操作装置１０１に表示された表示テキストにおいて、手書き修正による修正対象の文字又は文字群以外は、修正対象とならず、表示された文字が保護される。
以下に、図７を参照して、表示テキストの保護について説明する。図７は、表示テキストの保護について説明する図である。図７では、文字数が制限されている表示テキストにおいて、手書き修正により文字が挿入された場合を示している。
図７において、第１のアプリ実行部１１が表示させた表示テキストは、表示欄６１内に表示されており、表示欄６１内に表示できる文字数は５文字である。
この場合において、例えば文字「Ｃ」の上に手書き修正により文字群「ＡＡＡ」（第１の文字群）が入力されたとき、第１のアプリ実行部１１は、文字「Ｃ」を文字群「ＡＡＡ」に置換せずに、例えば文字数が規定された文字数を超えたことを示すメッセージ７２等を表示させても良い。
このようにすれば、例えば文字「Ｃ」を文字群「ＡＡＡ」に置換したことにより、修正前に入力されていた文字群「ＤＥ」（第２の文字群）が、手書き修正を行ったユーザの意図に反して表示欄６１から消去されることを防止できる。よって、本実施形態によれば、表示テキストにおける修正対象以外の文字が手書き修正入力により影響を受けることなく、手書き修正入力により特定された位置及び範囲以外の文字は、保護される。
また、図７の例では、表示欄６１の表示テキストの文字数に制限がある場合について説明したが、これに限定されない。本実施形態において、第１のアプリ実行部１１は、例えば表示テキストにおいて、手書き修正が入力された場合、修正が終了するまでは、入力されたストロークと重ならない文字に対する修正の受け付けを行わないようにしても良い。
また、図７の例では、修正対象以外の文字は、第１のアプリ実行部１１の処理により保護されるものとしたが、この処理は、文字特定処理部２１により行われても良い。この場合、本実施形態の文字特定処理部２１は、第１のアプリ実行部１１から保護に必要となる表示テキストの文字数や、表示欄に表示できる文字数等の情報を予め取得しておけば良い。
また、本実施形態の文字特定装置１では、表示テキストを直接、手書き修正を行うため、例えば手書き入力のための入力欄により修正対象以外の表示テキストが隠れてしまうことがない。したがって、本実施形態の文字特定装置１では、修正対象以外の表示テキストを参照しながら手書き修正を行うことができる。
以下に、図８を参照して、入力欄が表示される手書き入力との比較について説明する。図８は、入力欄が表示される手書き修正について説明する図である。図８では、手書き修正により文字を修正する場合に、ユーザがストロークを入力する入力欄が表示される場合を示している。
図８において、画面５に表示テキスト「ＡＢＣＤＥ」、「１２３４５」、「ａｂｃｄｅ」が表示されているとする。画面５において、手書き修正により文字「Ｃ」を文字「Ａ」に修正するために、ユーザがカーソル等で修正対象及び範囲６ａを指定すると、画面６に示すように、手書き修正を行うための手書き入力欄６ｂが表示される。
したがって、手書き入力欄６ｂにより表示テキスト「ａｂｃｄｅ」が隠れてしまい、ユーザが、手書き入力欄６ｂに文字を手書きにより入力する際には、表示テキスト「ａｂｃｄｅ」を参照することができない。このため、ユーザが、修正対象の表示テキスト以外の表示テキストを参照しながら修正を行いたい場合、不便である。例えば、ユーザが文字「Ｃ」を文字「Ａ」に修正する際に、文字「ｃ」の文字色を確認したい場合等において、文字「ｃ」を参照することができないため、一度、入力欄６ｂを非表示にして確認する必要があり、不便である。
これに対し、本実施形態の文字特定装置１では、表示テキストに対して直接手書き入力で修正を行うことができ、入力欄を表示させる必要がない。したがって、本実施形態によれば、表示テキストに対して手書き入力で修正する際に、修正対象の前後の文字や文脈等を参照しながら修正を行うことができる。
さらに、本実施形態の文字特定装置１では、他のアプリケーションにより表示された表示テキストを参照しながら手書き修正を行うことができる。
図９は、複数のアプリケーションの表示テキストについて説明する図である。以下に、図９を参照して、他のアプリケーションにより表示された表示テキストを参照しながら手書き修正を行う場合について説明する。
図９に示す画面７では、第１のアプリケーション１０により表示されるアプリ画面７ａと、第２のアプリケーションにより表示されるアプリ画面７ｂとが表示されている。
画面７は、例えばアプリ画面７ｂの表示テキストの内容を参照しながら、アプリ画面７ａの表示テキストを修正する場合等に、表示操作装置１０１に表示される。
具体的には、例えばアプリ画面７ｂに正しいスペルの単語が表示されており、ユーザがアプリ画面７ｂを参照しながら、アプリ画面７ａの表示テキストである単語のスペルを修正する場合等である。
本実施形態の文字特定装置１では、アプリ画面７ａに表示された表示テキストの文字「Ｃ」を手書き修正により文字「Ａ」に修正する場合、アプリ画面７ｂに表示されている表示テキスト「ａｂｃｄｅ」を参照しながら修正することができる。すなわち、ユーザは、修正対象の表示テキスト以外の表示テキストを参照しながら修正を行うことができる。
（第二の実施形態）
次に、第二の実施形態について説明する。第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
本実施形態の文字特定装置１Ａは、手書き修正入力により表示テキストの文字の削除を行うことができるものである。
図１０は、第二の実施形態の文字特定装置の機能構成を説明する図である。本実施形態の文字特定装置１Ａは、文字特定処理部２１Ａ、認識部３１Ａ、及び記憶部４１Ａを有する。また、本実施形態の文字特定処理部２１Ａは、削除判定部２６を有する。さらに、本実施形態の記憶部４１Ａは、評価値情報４５を有する。
認識部３１Ａは、入力ストローク情報４４から文字を認識して、認識結果として認識された文字及び文字の評価値を含む評価値情報４５を認識結果として取得する。
評価値情報４５は、認識部３１Ａにより認識結果として取得される情報であり、入力ストローク情報４４から認識された文字及び文字の評価値を含む情報である。ここで、評価値とは、入力ストローク情報４４から認識された文字の確からしさを示す値である。なお、評価値情報４５には、複数の文字及びこれらの文字の評価値であっても良い。
削除判定部２６は、重なり判定部２４による判定結果と評価値情報４５とに基づき、手書き修正入力が表示テキストの文字の削除であるか否かを判定する。すなわち、削除判定部２６は、重なり判定部２４により入力文字領域において、テキスト領域と重なっている領域の割合が第１の閾値以上であると判定された場合、かつ、評価値情報４５における削除を示す文字の評価値が予め設定された第２の閾値以上である場合、文字の削除であると判定する。ここで、削除を示す文字とは、例えば、「−」により表せる削除記号である。
次に、本実施形態の文字特定装置１Ａの動作について説明する。図１１は、第二の実施形態の手書き修正処理の一例を説明するフローチャートである。図１１では、主に、文字特定装置１Ａの表示操作装置１０１に表示されている表示テキストを手書き修正入力により削除する処理について説明する。なお、文字の置換又は挿入については、第一の実施形態において、図５で説明した通りであるため、説明を省略する。
本実施形態の文字特定装置１Ａは、認識部３１Ａにより、ストローク情報取得部２２が取得した入力ストローク情報４４に対応する文字を認識し、認識結果として評価値情報４５を取得する（ステップＳ１１０１）。
次に、本実施形態の文字特定装置１Ａは、文字特定処理部２１Ａの削除判定部２６により、重なり判定部２４による判定結果と評価値情報４５とに基づき、手書き修正入力が表示テキストの文字の削除であるか否かを判定する（ステップＳ１１０２）。すなわち、削除判定部２６は、重なり判定部２４により入力文字領域において、テキスト領域と重なっている領域の割合が第１の閾値以上である（つまり、修正対象の置換）と判定され、かつ、評価値情報４５における削除を示す文字の評価値が第２の閾値以上であるか否かを判定する。
ステップＳ１１０２において、修正対象が置換、かつ、削除を示す文字の評価値が第２の閾値以上である場合、文字特定装置１Ａは、第１のアプリ実行部１１により、表示テキストにおける修正対象及び範囲の文字又は文字群を削除する（ステップＳ１１０３）。これにより、本実施形態の手書き修正の一連の処理が完了する。
次に、図１２を参照して、図１１で説明した手書き修正処理により、特に、文字の削除の手書き修正を行う場合を具体的に説明する。図１２は、第二の実施形態の手書き修正処理における文字削除の具体例を説明する図である。
図１２では、文字特定装置１Ａの表示操作装置１０１において表示テキスト「ＡＢＣ」が表示された状態（状態Ｓ２１）において、ユーザが表示テキストの文字「Ｂ」を削除するための手書き入力による修正を行った場合を示している。
文字特定装置１Ａは、状態２１において、文字「Ｂ」の削除を示す文字「−」が入力されると（状態２２）、ストローク情報取得部２２により、手書き入力されたストロークを示す入力ストローク情報４４を取得する。図１２の例では、ストローク情報取得部２２は、削除を示す文字「−」の入力ストローク情報４４を取得する。
次に、領域特定部２３は、テキスト領域及び入力文字領域を特定する。そして、重なり判定部２４は、入力文字領域のうち、テキスト領域と重なっている領域の割合が第１の閾値以上であるか否かを判定する（状態Ｓ２３）。
図１２の状態Ｓ２３では、入力文字領域７０１は、テキスト領域６０１、６０２、６０３のうち、テキスト領域６０２と重なっている。また、図１２の状態Ｓ２３では、入力文字領域７０１において、テキスト領域６０２と重なっている領域の割合は、１／２以上である。したがって、重なり判定部２４は、入力文字領域７０１が、テキスト領域６０２と第１の閾値以上重なっていると判定する。
また、削除判定部２６は、評価値情報４５に含まれる削除を示す文字の評価値が第２の閾値以上であるか否かを判定する。例えば、評価値情報４５に、文字「一」（漢数字）及び評価値「５０」、文字「−」（ハイフン）及び評価値「４０」、削除を示す文字「−」及び評価値「３５」等の文字及び評価値が含まれており、第２の閾値が「３０」であるとする。この場合、削除判定部２６は、評価値情報４５に含まれる削除を示す文字の評価値が第２の閾値以上であると判定する。
第１のアプリ実行部１１は、この判定結果から、削除を示す文字「−」は文字「Ｂ」の削除を示すものとし、文字特定部２５により特定された位置及び範囲にあるテキスト領域６０２の文字「Ｂ」を削除する（状態Ｓ２４）。
このように、本実施形態の文字特定装置１では、さらに、第１のアプリケーション１０により表示された表示テキストに対して、カーソル等で削除対象の位置及び範囲を指定することなく、手書き修正入力による文字の削除を行うことができる。
（第三の実施形態）
次に、第三の実施形態について説明する。第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
本実施形態では、認識プログラム３０が文字特定装置１とは異なる装置にインストールされている場合について説明する。図１３は、第三の実施形態の文字特定システムの一例を示す図である。
本実施形態の文字特定装置１Ｂは、第１のアプリケーション１０及び文字特定プログラム２０を有する。また、文字特定装置１ＢとネットワークＮを介して接続されるサーバ装置５０は、認識プログラム３０を有する。
本実施形態においては、文字特定装置１Ｂは、文字特定プログラム２０により、手書き修正入力により入力されたストロークを示す入力ストローク情報４４をサーバ装置５０に送信する。そして、サーバ装置５０は、認識プログラム３０により、入力ストローク情報４４から文字を認識し、認識結果を文字特定装置１Ｂに返信する。
また、文字特定装置１Ｂは、文字特定プログラム２０により、表示テキストにおける修正対象及び範囲の特定を行う。そして、文字特定装置１Ｂは、第１のアプリケーション１０により、サーバ装置５０から認識結果として返信された文字又は文字群で表示テキストの修正を行う。
このような構成により、例えば、認識プログラム３０が文字の認識に用いる情報をサーバ装置５０において管理することができる。したがって、サーバ装置５０において、認識プログラム３０が参照するデータベース等が更新されて、認識プログラム３０による文字認識の精度が向上した場合等には、手書き修正により入力されたストロークの認識においても、その恩恵を受けることができる。
（第四の実施形態）
次に、第四の実施形態について説明する。第四の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
本実施形態では、文字特定プログラム２０及び認識プログラム３０が文字特定装置１とは異なる装置にインストールされている場合について説明する。図１４は、第四の実施形態の文字特定システムの一例を示す図である。
本実施形態の文字特定装置１Ｃは、第１のアプリケーション１０を有する。また、文字特定装置１ＣとネットワークＮを介して接続されるサーバ装置５０Ａは、文字特定プログラム２０及び認識プログラム３０を有する。
本実施形態においては、文字特定装置１Ｃは、第１のアプリケーション１０により、ユーザにより入力されたストローク情報及び表示テキストの各文字の座標情報をサーバ装置５０Ａに送信する。サーバ装置５０Ａでは、文字特定プログラム２０により、入力ストローク情報４４及び表示テキストの各文字の座標情報を取得して、修正対象及び範囲を特定する。また、サーバ装置５０Ａでは、入力ストローク情報４４から文字を認識して、認識結果として文字を取得する。
次に、サーバ装置５０Ａは、特定された修正対象及び範囲、並びに認識結果として取得された文字又は文字群を文字特定装置１Ｃに返信する。
そして、文字特定装置１は、第１のアプリケーション１０により、返信された修正対象及び範囲と、認識結果として取得された文字又は文字群とに基づき、表示テキストの修正を行う。
このような構成により、文字特定装置１Ｃは、第１のアプリケーション１０がインストールされていれば、第一の実施形態及び第二の実施形態で説明した手書き修正を行うことができるようになる。
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１ 文字特定装置
１０ 第１のアプリケーション
２０ 文字特定プログラム
２１ 文字特定処理部
２２ ストローク情報取得部
２３ 領域特定部
２４ 重なり判定部
２５ 文字特定部
３０ 認識プログラム

Claims (20)

  1. コンピュータに、
    文字が表示された表示画面上における手書き入力を受け付け、
    前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記特定の文字を前記手書き入力について認識した文字に変更する処理を実行する、
    処理を実行させることを特徴とする入力処理プログラム。
  2. 前記手書き入力のストロークを赤、青、又は、前記特定の文字の表示色と異なる表示色で表示する、ことを特徴とする請求項１記載の入力処理プログラム。
  3. コンピュータに、
    文字が表示された表示画面上における手書き入力を受け付け、
    前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記手書き入力について認識した文字の入力位置を前記特定の文字の位置として処理を実行する、
    処理を実行させることを特徴とする入力処理プログラム。
  4. 前記手書き入力のストロークを赤、青、又は、前記特定の文字の表示色と異なる表示色で表示する、ことを特徴とする請求項３記載の入力処理プログラム。
  5. 前記手書き入力は、スタイラスにより入力される、ことを特徴とする請求項１乃至４の何れか１項に記載の入力処理プログラム。
  6. 文字が表示された表示画面上における手書き入力を受け付ける受付部と、
    前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記特定の文字を前記手書き入力について認識した文字に変更する処理を実行する実行部と
    を有することを特徴とする入力処理装置。
  7. 文字が表示された表示画面上における手書き入力を受け付ける受付部と、
    前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記手書き入力について認識した文字の入力位置を前記特定の文字の位置として処理を実行する実行部と
    を有することを特徴とする入力処理装置。
  8. コンピュータによる入力処理方法であって、該コンピュータが、
    文字が表示された表示画面上における手書き入力を受け付け、
    前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記特定の文字を前記手書き入力について認識した文字に変更する処理を実行する、
    ことを特徴とする入力処理方法。
  9. コンピュータによる入力処理方法であって、該コンピュータが、
    文字が表示された表示画面上における手書き入力を受け付け、
    前記表示画面に表示された特定の文字の表示位置に対応する位置に前記手書き入力が行われたことを検出すると、前記手書き入力について認識した文字の入力位置を前記特定の文字の位置として処理を実行する、
    ことを特徴とする入力処理方法。
  10. コンピュータに、
    第１のアプリケーションが表示するテキストの文字それぞれの、表示位置およびサイズに関する表示情報を取得し、
    前記第１のアプリケーションの表示テキストに含まれる第１の文字群の表示に対する手書き修正入力に応じ、前記表示情報に基づき、前記第１の文字群を特定する、
    処理を実行させることを特徴とする文字特定プログラム。
  11. 前記第１の文字群に、前記手書き修正入力の認識結果を適用した結果を、前記第１のアプリケーションの前記表示テキストに反映させる、
    処理を実行させることを特徴とする請求項１０に記載の文字特定プログラム。
  12. 前記反映させる処理は、
    前記表示テキストのうちの、前記第１の文字群以外の第２の文字群を保護する、ことを特徴とする請求項１１記載の文字特定プログラム。
  13. 前記反映させる処理は、
    前記第１の文字群を前記手書き修正入力された文字に置換する処理、前記第１の文字群に前記手書き修正入力された文字を挿入する処理、前記第１の文字群から前記手書き修正が行われた文字を削除する処理の何れかである、ことを特徴とする請求項１２記載の文字特定プログラム。
  14. 前記第１の文字群は、手書き入力により認識されたテキストである、ことを特徴とする請求項１０乃至１３の何れか１項に記載の文字特定プログラム。
  15. 前記第１の文字群は、手書き入力以外の入力方法により生成されたテキストである、ことを特徴とする請求項１０乃至１３の何れか１項に記載の文字特定プログラム。
  16. 第１の文字群は、１文字である、ことを特徴とする請求項１０乃至１５の何れか１項に記載の文字特定プログラム。
  17. 前記第１の文字群は、複数の文字を含む、ことを特徴とする請求項１０乃至１５の何れか１項に記載の文字特定プログラム。
  18. 前記第１のアプリケーションの表示テキストは、第２のアプリケーションにより表示された表示テキストと同一の画面に表示される、ことを特徴とする請求項１０乃至１７の何れか一項に記載の文字特定プログラム。
  19. 第１のアプリケーションが表示するテキストの文字それぞれの、表示位置およびサイズに関する表示情報を取得する取得部と、
    前記第１のアプリケーションの表示テキストに含まれる第１の文字群の表示に対する手書き修正入力に応じ、前記表示情報に基づき、前記第１の文字群を特定する特定部と
    を有することを特徴とする文字特定装置。
  20. コンピュータによる文字特定方法であって、該コンピュータが、
    第１のアプリケーションが表示するテキストの文字それぞれの、表示位置およびサイズに関する表示情報を取得し、
    前記第１のアプリケーションの表示テキストに含まれる第１の文字群の表示に対する手書き修正入力に応じ、前記表示情報に基づき、前記第１の文字群を特定する、
    ことを特徴とする文字特定方法。
JP2017513943A 2015-04-24 2015-04-24 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法 Pending JPWO2016170691A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/062610 WO2016170691A1 (ja) 2015-04-24 2015-04-24 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法

Publications (1)

Publication Number Publication Date
JPWO2016170691A1 true JPWO2016170691A1 (ja) 2018-02-01

Family

ID=57143486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017513943A Pending JPWO2016170691A1 (ja) 2015-04-24 2015-04-24 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法

Country Status (5)

Country Link
US (1) US11080472B2 (ja)
EP (1) EP3287953A4 (ja)
JP (1) JPWO2016170691A1 (ja)
CN (1) CN107533646A (ja)
WO (1) WO2016170691A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804003B (zh) * 2018-04-26 2021-05-07 广州视源电子科技股份有限公司 智能交互设备的手写识别方法、装置及智能交互设备
JP7247496B2 (ja) * 2018-09-14 2023-03-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
KR20210017063A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 전자 장치 및 그의 필기 입력을 처리하는 방법
CN115480659A (zh) * 2021-05-31 2022-12-16 华为技术有限公司 一种手写笔编辑笔势识别方法、介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212197A (ja) * 1995-02-01 1996-08-20 Nec Corp 文書編集装置
JP2003178257A (ja) * 2001-12-07 2003-06-27 Sharp Corp 文字入力装置、文字入力方法および文字を入力するためのプログラム
US20030189603A1 (en) * 2002-04-09 2003-10-09 Microsoft Corporation Assignment and use of confidence levels for recognized text
JP2007511003A (ja) * 2003-11-10 2007-04-26 マイクロソフト コーポレーション 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法
JP2008242541A (ja) * 2007-03-26 2008-10-09 Dainippon Printing Co Ltd 電子フォーム入力システム
JP2013012084A (ja) * 2011-06-29 2013-01-17 Konica Minolta Business Technologies Inc 文書処理装置、文書処理システムおよびプログラム
JP2013246633A (ja) * 2012-05-25 2013-12-09 Toshiba Corp 電子機器、手書き文書作成方法、及び手書き文書作成プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3353954B2 (ja) 1993-08-13 2002-12-09 ソニー株式会社 手書き入力表示方法および手書き入力表示装置
US6021218A (en) * 1993-09-07 2000-02-01 Apple Computer, Inc. System and method for organizing recognized and unrecognized objects on a computer display
JP3917349B2 (ja) 2000-05-30 2007-05-23 富士通株式会社 文字認識結果を利用して情報を検索する検索装置および方法
US6690364B1 (en) * 2001-05-31 2004-02-10 Palm Source, Inc. Method and system for on screen text correction via pen interface
JP4574188B2 (ja) 2004-02-23 2010-11-04 富士通株式会社 情報処理装置
US7551779B2 (en) * 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
JP4733415B2 (ja) 2005-04-05 2011-07-27 シャープ株式会社 電子文書の表示装置及び方法、並びにコンピュータプログラム
US20090007014A1 (en) 2007-06-27 2009-01-01 Microsoft Corporation Center locked lists
US8116569B2 (en) * 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
JP2011111061A (ja) 2009-11-27 2011-06-09 Fujitsu Ten Ltd 車載表示システム
CN102156608B (zh) 2010-12-10 2013-07-24 上海合合信息科技发展有限公司 多字符连续书写的手写输入方法
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
US20120238295A1 (en) * 2011-03-14 2012-09-20 Nokia Corporation Method and apparatus for recommending content based on content provision models associated with spatial regions
JP2012238295A (ja) * 2011-04-27 2012-12-06 Panasonic Corp 手書き文字入力装置及び手書き文字入力方法
CN102214043B (zh) 2011-06-15 2013-12-11 安徽科大讯飞信息科技股份有限公司 一种手写输入识别方法及系统
JP5787843B2 (ja) 2012-08-10 2015-09-30 株式会社東芝 手書き描画装置、方法及びプログラム
FR3005175B1 (fr) 2013-04-24 2018-07-27 Myscript Systeme de synchronisation permanente pour la saisie manuscrite
CN103824072B (zh) 2014-03-05 2017-02-08 广东小天才科技有限公司 对手写字符的字体结构进行检测的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212197A (ja) * 1995-02-01 1996-08-20 Nec Corp 文書編集装置
JP2003178257A (ja) * 2001-12-07 2003-06-27 Sharp Corp 文字入力装置、文字入力方法および文字を入力するためのプログラム
US20030189603A1 (en) * 2002-04-09 2003-10-09 Microsoft Corporation Assignment and use of confidence levels for recognized text
JP2007511003A (ja) * 2003-11-10 2007-04-26 マイクロソフト コーポレーション 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法
JP2008242541A (ja) * 2007-03-26 2008-10-09 Dainippon Printing Co Ltd 電子フォーム入力システム
JP2013012084A (ja) * 2011-06-29 2013-01-17 Konica Minolta Business Technologies Inc 文書処理装置、文書処理システムおよびプログラム
JP2013246633A (ja) * 2012-05-25 2013-12-09 Toshiba Corp 電子機器、手書き文書作成方法、及び手書き文書作成プログラム

Also Published As

Publication number Publication date
US11080472B2 (en) 2021-08-03
WO2016170691A1 (ja) 2016-10-27
EP3287953A4 (en) 2018-04-11
US20180032495A1 (en) 2018-02-01
EP3287953A1 (en) 2018-02-28
CN107533646A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
JP4742132B2 (ja) 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
WO2016181565A1 (ja) 文字入力受付方法、文字入力受付装置及び文字入力受付プログラム
US11080472B2 (en) Input processing method and input processing device
WO2014147722A1 (ja) 電子機器、方法及びプログラム
CN107977155B (zh) 一种手写识别方法、装置、设备和存储介质
US20140297276A1 (en) Editing apparatus, editing method, and computer program product
JP2015158900A (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20170132484A1 (en) Two Step Mathematical Expression Search
JP5118609B2 (ja) オブジェクト処理装置、その処理方法及びプログラム
US10067926B2 (en) Image processing system and methods for identifying table captions for an electronic fillable form
JP5597441B2 (ja) 手書き文字入力装置
EP3125089B1 (en) Terminal device, display control method, and program
JP2018067298A (ja) 手書き内容編集装置および手書き内容編集方法
US20180032244A1 (en) Input control device, input control method, character correction device, and character correction method
JP2018505483A (ja) 手書き文字を入力するための方法および装置
JP2010267083A (ja) 帳票検索装置、帳票検索プログラムおよび帳票検索方法
JP7035474B2 (ja) 文書処理装置およびプログラム
CN114663902B (zh) 文档图像处理方法、装置、设备和介质
KR20150031953A (ko) 데이터 처리 방법 및 그 전자 장치
JP6476732B2 (ja) 文書処理装置、その制御方法、およびプログラム
JP6373664B2 (ja) 電子機器、方法及びプログラム
JP6244676B2 (ja) 操作支援プログラム及び操作支援方法並びに情報処理装置
JP2013182459A (ja) 情報処理装置、情報処理方法及びプログラム
US11030473B2 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
JP6772629B2 (ja) 情報処理装置、文字入力プログラムおよび文字入力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180703