JP4050055B2 - 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム - Google Patents
手書き文字一括変換装置、手書き文字一括変換方法およびプログラム Download PDFInfo
- Publication number
- JP4050055B2 JP4050055B2 JP2002002946A JP2002002946A JP4050055B2 JP 4050055 B2 JP4050055 B2 JP 4050055B2 JP 2002002946 A JP2002002946 A JP 2002002946A JP 2002002946 A JP2002002946 A JP 2002002946A JP 4050055 B2 JP4050055 B2 JP 4050055B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate value
- line
- coordinate
- information
- handwritten
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Character Discrimination (AREA)
- Document Processing Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手書き文字一括変換装置、手書き文字一括変換方法およびプログラムに関する。
【０００２】
【従来の技術】
手書き文字を認識する手段を備えた手書き文字変換装置に関する従来技術として、例えば、以下のような発明がある。
（１）特開２０００−０９９２２３号公報には、固定型の手書き入力枠をもつインターフェースであり、誤認識の修正が簡単に行なえるインターフェースを備えたことを特徴とするデータ処置装置（手書き文字変換装置）が記載されている。このデータ処理装置においては、アプリケーションへ手書き文字に対応した文字コードを送る。
（２）特開２００１−０１４１０３号公報には、（１）の発明と同様に固定入力枠をもつインターフェースを備えた文字入力装置（手書き文字変換装置）において、入力方法の切替を効率的に行なう文字入力装置（手書き文字変換装置）が記載されている。
【０００３】
（３）特開２０００−０７６３８０号公報には、タッチパネル上に手書きで文字入力する際に、入力枠等や文書書式の設定を意識することなく、任意の入力方向で手書き文字を自由に入力することを可能にする手書き文字入力装置（手書き文字変換装置）が記載されている。
（４）特開平０９−３１９５０３号公報には、手書き入力された文字に対して文字認識を行わず筆跡をストローク（筆跡の始点と終点とをつなぐ複数の点の列）のデータとして取り扱う筆記文字列入力方式と手書き入力された文字に対して文字認識を行ない、文字コードに変換する認識文字列入力方式とを併用または混用した文書入力や文書編集を簡単な操作で自由に行なう文書処理装置（手書き文字変換装置）が記載されている。
【０００４】
以上の従来技術は、手書き文字認識装置、特にそのためのユーザインタフェースに関する発明の一部を抜粋したものである。手書き文字認識のユーザインタフェースには大きく分けて２種類が存在する。一つは、上記（１）および（２）の発明のように、ある固定の枠を設け、ユーザに一文字単位でその枠内に文字を記入させるユーザインタフェースであり、現在最も一般的なユーザインタフェースである。一文字単位の切り出し処理が不要であり、切り出しミスによる誤認識がないが、ユーザ負担が多く、使い辛いユーザインタフェースである（以下、このようなユーザインタフェースにおける文字認識を固定枠手書き文字認識という。）。もう一つは、上記（３）および（４）の発明のように、入力枠がなく、手書き領域内に自由に文字を書き、一文字切り出し処理を行なって文字認識をするユーザインタフェースである。一文字単位の切り出し処理による誤認識はあるものの、ユーザにとっては普通に鉛筆を走らせる動作と同じ操作で文字入力ができるメリットがある（以下、このようなユーザインタフェースにおける文字認識を自由手書き認識という。）。
【０００５】
手書き文字認識の従来手法としては、以上述べたような固定枠手書き文字認識および自由手書き認識が存在する。これらの手法は、一文字単位、あるいは、ある程度の文字列が入力された時点で認識処理を行ない、認識された文字列を表示してユーザの欲する文字を確定するという、随時変換を実現している手法である。このような手法を会議中に用いた場合を考えると、議論の最中に認識結果の見直しをするという面倒な作業が発生してしまったり、思考の分断が生じてしまったりする。会議中に手書き入力された情報を活字化するには、手書き情報を座標値として記憶しておき、議論が落ち着いた時点で、あるいは、会議が終了してから活字化することが望ましい。また、従来手法では、活字化は行うが、文字が書かれた位置については何の処理も行われない。会議中に書かれた文字列は、その上下の文字列と深い関連があり、例えば箇条書きやインデント構造などのアウトラインを書かれた通りに表現することが望ましい。さらに、アウトライン清書された文字列をファイルに保存したり、メールとして任意の人物へ簡単に送信したりできれば、会議で生まれた情報を有効に活用できる。
【０００６】
さらに、従来手法では、ひらがな入力した手書き文字を漢字変換する際、漢字変換ボタンを押すなどの操作をユーザが行わなければならなかった。その場合、Ｗｉｎｄｏｗｓ（登録商標）のＩＭＥ（Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）は漢字を含む文字列を漢字変換しても、漢字部は変換されず、漢字変換されていないひらがな部のみ漢字変換されるので、手書き文字を活字化する際に同時に漢字変換を行うのが望ましい。
【０００７】
【発明が解決しようとする課題】
本発明は、上述のような実情に鑑みてなされたものであり、手書き文字一括変換装置において、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する。また、清書したアウトラインを簡単に修正することを目的としたものである。
【０００８】
また、アウトライン清書した文字列を、任意の記憶媒体に記憶したり、メールアドレスおよび表題を入力して任意の人物にメール送信したりすることを目的としたものである。
【０００９】
更には、手書き文字一括変換方法において、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する処理、および、清書したアウトラインを簡単に修正する処理からなる手書き文字一括変換方法を提供することを目的としたものである。
【００１０】
更には、手書き文字一括変換方法を実行するプログラムにおいて、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する処理、および、清書したアウトラインを簡単に修正する処理からなる手書き文字一括変換方法を実行するプログラムを提供することを目的としたものである。
【００１１】
【課題を解決するための手段】
請求項１に係る発明は、操作者が手書き入力する手書き入力画面と、前記手書き入力画面を表示装置として用いることが可能な座標入力装置とが接続される手書き文字一括変換装置において、前記座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手段と、前記判定手段において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手段と、前記判定手段において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手段に記憶された全ての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手段と、前記座標値記憶手段に記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手段と、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手段と、前記結果記憶手段に記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手段と、を有するものである。
【００１２】
請求項２に係る発明は、座標値記憶処理手段を備え、前記座標値記憶処理手段は、前記座標値入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理部と、前記座標値入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理部と、を有し、前記座標入力手段から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶することを特徴とする請求項１に記載の手書き文字一括変換装置である。
【００１３】
請求項３に係る発明は、前記表示処理手段は、行単位にテキストボックスを作成するテキストボックス作成処理部と、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理部と、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理部と、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理部とからなることを特徴とする請求項１または２に記載の手書き文字一括変換装置である。
【００１４】
請求項４に係る発明は、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、前記ユーザ操作判別手段によって判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手段と、を備えることを特徴とする請求項１乃至３のいずれか１つに記載の手書き文字一括変換装置である。
【００１５】
請求項５に係る発明は、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手段と、を備えることを特徴とする請求項４に記載の手書き情報一括変換装置である。
【００１６】
請求項６に係る発明は、前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手段と、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手段と、を備えることを特徴とする請求項４または５に記載の手書き文字一括変換装置である。
【００１７】
請求項７に係る発明は、前記データ実行処理手段は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力することを特徴とする請求項６に記載の手書き文字一括変換装置である。
【００１８】
請求項８に係る発明は、コンピュータに、前記コンピュータが判定手段として、操作者が手書き入力する手書き入力画面を表示装置として用いることが可能な座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手順と、前記コンピュータが座標値記憶手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手順と、前記コンピュータが手書き文字認識手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手順により記憶されたすべての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手順と、前記コンピュータがアウトライン清書手段として、前記座標値記憶手順により記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手順と、前記コンピュータが結果記憶手段として、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手順と、前記コンピュータが表示処理手段として、前記結果記憶手順により記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手順と、を実行させることを特徴とする手書き文字一括変換方法である。
【００１９】
請求項９に係る発明は、前記座標値記憶手段のストローク切り分け処理部により、前記座標入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理手順と、前記座標値記憶手段の行単位切り分け処理部により、前記座標入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理手順とを有し、前記座標値記憶手順は、前記座標入力装置から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶することを特徴とする請求項８に記載の手書き文字一括変換方法である。
【００２０】
請求項１０に係る発明は、前記表示処理手順は、前記表示処理手段のテキストボックス作成処理部により、行単位にテキストボックスを作成するテキストボックス作成処理手順と、前記表示処理手段のテキスト設定処理部により、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理手順と、前記表示処理手段のテキストボックス表示位置算出処理部により、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理手順と、前記表示処理手段の表示処理部により、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理手順とからなることを特徴とする請求項８または９に記載の手書き情報一括変換方法である。
【００２１】
請求項１１に係る発明は、前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、前記コンピュータが編集処理手段として、前記ユーザ操作判別手段により判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手順と、を備えることを特徴とする請求項８乃至１０のいずれか１つに記載の手書き文字一括変換方法である。
【００２２】
請求項１２に係る発明は、前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、前記コンピュータが編集処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手順と、を備えることを特徴とする請求項１１に記載の手書き文字一括変換方法である。
請求項１３に係る発明は、前記コンピュータがフォーマット変換処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手順と、前記コンピュータがデータ実行処理手段として、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手順と、を備えることを特徴とする請求項１１または１２に記載の手書き文字一括変換方法である。
請求項１４に係る発明は、前記データ実行処理手順は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力することを特徴とする請求項１３に記載の手書き文字一括変換方法である。
請求項１５に係る発明は、請求項８に記載のコンピュータに、請求項８に記載の手書き文字一括変換方法における、前記判定手順と、前記座標値記憶手順と、前記手書き文字認識手順と、前記アウトライン清書手順と、前記結果記憶手順と、前記表示処理手順とを実行させるためのプログラムである。
【００２３】
【発明の実施の形態】
以下、本発明の実施例について、添付の図面を参照しながら順に説明する。
図１は、本発明の手書き文字一括変換装置が適用される会議システムを説明するための構成図であり、図２は、本発明の手書き文字変換装置で用いる座標入力装置を有する表示装置の仕様の例を示した図である。
手書き文字一括変換装置が適用される会議システムは、手書き文字一括変換装置としてのパーソナルコンピュータ（以下、ＰＣという。）１と、例えば、図２に示す仕様のリコー製メディアサイトのような、座標入力装置を有する表示装置２で構成される。以下、この座標入力装置を有する表示装置２を手書き入力装置といい、そのうちの画面を手書き入力画面２という。この手書き入力画面２を特に座標入力装置として用いる場合には座標入力装置２1といい、表示装置として用いる場合には表示装置２2という。なお、座標入力装置としてマウスやタブレット、表示装置としてＣＲＴやプロジェクタなどを用いても構わない。また、Ｖｉｒｔｕａｌ Ｉｎｃ社製ｍｉｍｉｏやＥＦＩ社製ｅＢｅａｍのようにすでに市販されている座標入力装置とプロジェクタの組み合わせでも構わない。
【００２４】
座標入力装置２1は、図１に示すように、操作者３が指あるいはペンなどの指示部３1を使って座標入力装置２1へ入力した信号を座標値として検出し、ＰＣ１へ送り込む装置である。ＰＣ１は、送り込まれた座標値の集合（以下、ストロークという。）をすべて記憶しておき、ユーザ（操作者）３からの手書き文字認識の命令を受け取った際に、一括で手書き文字認識を行ない、得られた処理内容を表示装置２2に表示する。
【００２５】
図３は、本発明の手書き文字一括変換装置の概略の処理ブロック図である。
座標入力装置２1および表示装置２2が図１に示した手書き入力装置２であり、その中間の処理をＰＣ１内で行なう構成である。
まず、座標入力装置２1から出力される座標値について、認識命令判別処理によってユーザ（操作者）が認識を命令したのか否かを調べる（ステップ１０）。認識命令でない場合は（ステップ１０―Ｎｏ）、手書き入力領域内に入力される座標値を座標値記憶処理によって座標値メモリ１０１に記憶し（ステップ２０）、ステップ１０に戻りユーザからの認識命令の監視を続ける。認識命令である場合は（ステップ１０―Ｙｅｓ）、座標値メモリ１０１を参照して手書き文字認識処理を実行し、得られた文字列を結果メモリ１０２へ記憶する（ステップ３０）。
【００２６】
そして、結果メモリ１０２を参照してＩＭＥ漢字変換処理を行ない、手書き文字認識処理で得られた文字列を漢字へ変換し、結果メモリ１０２に記憶する（ステップ４０）。
さらに、座標値メモリ１０１を参照して文字列が書かれた位置を求め、文字列の位置からインデント位置を算出し、結果を結果メモリ１０２へ記憶する（ステップ５０）。
次に、結果メモリ１０２を参照して表示処理により表示装置２2に結果を出力するとともに（ステップ６０）、ユーザ操作判別処理を開始する（ステップ７０）。ステップ７０のユーザ操作判別処理は、ステップ６０の表示処理によって表示装置２2に表示された結果に対して、ユーザがどのような処理を実行するか否かを判別する処理である。ステップ７０のユーザ操作判別処理によって処理は二手に分岐する。一つは、ユーザが結果に対して編集を行なう場合である（ステップ７０−編集）。例えば、ステップ５０のアウトライン清書処理で求めたインデント位置を修正するような作業である。結果メモリ１０２を参照して修正作業を編集処理内で行ない、結果をステップ６０の表示処理に出力する（ステップ８０）。他の一つは、結果の出力を行なう場合である（ステップ７０−出力）。結果の出力は結果メモリ１０２を参照して出力処理内で行ない、ハードディスクや光ディスクなどの記憶媒体４に所定のフォーマットで出力したり、メールアドレスと表題を入力し、メールとして送信したりするためにネットワーク５にデータを出力する（ステップ９０）。ステップ９０の出力処理が終了すると、ステップ１０の認識命令判別処理に処理を渡し、新たな手書き文字の入力を可能とする。
【００２７】
以下に、図３に示した各ステップの詳しい処理について述べる。
まず、認識命令判別処理について述べる。
図４は、認識命令判別処理が実行されるときの表示装置２2の手書き入力画面の例を示した図である。
例えば、図４に示すような手書き入力画面２を用意する。手書き入力画面２の破線で囲んだ部分が手書き入力を行なう領域（手書き入力領域）２ａであり、手書き入力領域２ａの上部に認識ボタン２ｂを設ける。そして、ユーザが手書き入力画面２のどの位置に操作をしたかを監視することで、ユーザが認識を命令したか否か判別する。ステップ１０の認識命令判別処理の出力は２つに分岐する。一つは、ユーザが手書き入力領域２ａに手書き文字を入力した場合で、ステップ２０の座標値記憶処理に処理を渡す。もう一つは、ユーザが任意のタイミングで認識ボタン２ｂを押下した場合で、ステップ３０の手書き文字認識処理に処理を渡す。
【００２８】
次いで、認識命令判別処理の一つ目の出力先である座標値記憶処理について説明する。
図５は、座標値記憶処理を説明するための図である。
まず、図５に示すように、ストローク切り分け処理によって、ユーザが手書き入力領域に入力した手書き文字の座標値をストローク単位に切り分けて座標値メモリ１０１に記憶する（ステップ２１）。例えば、手書き入力装置２の座標入力装置２1にユーザが触れるということは、マウスの左クリックに対応している。Ｗｉｎｄｏｗｓ（登録商標）のようなオペレーティングシステムでは、マウスの左クリックに対して、ＭｏｕｓｅＤｏｗｎ，ＭｏｕｓｅＭｏｖｅ，ＭｏｕｓｅＵｐというメッセージが割り当てられているが、手書き入力装置２の座標入力装置２1は、座標を検知するごとにオペレーティングシステムに対してこれらのメッセージを生成するように命令する。なお、上述したストロークとは、ＭｏｕｓｅＤｏｗｎからＭｏｕｓｅＵｐまでに検出された座標値の集合のことである。
【００２９】
次に、行単位切り分け処理によって、ストロークの何番目から何番目までが一行単位であるかを調査し、結果を座標値メモリ１０１に記憶する（ステップ２２）。
最後に、処理をステップ１０の認識命令判別処理に渡す。よって、ユーザが認識命令を発するまで、ステップ２０の座標値記憶処理はループすることになる。
【００３０】
図６は、ストローク切り分け処理を説明するための図である。
上述したステップ２０の座標値記憶処理を構成するステップ２１のストローク切り分け処理は、図６に示すように、ユーザが指示部で手書き入力領域２ａに触れ、手書き入力領域２ａ上を移動し、手書き入力領域２ａから離れるまでに検出された座標値を一つのストロークとして座標値メモリ１０１に記憶する処理である。
【００３１】
図７は、行単位切り分け処理を説明するための図である。
例えば、図７のように、手書き入力領域２ａの一行目に文字列“あいう”、二行目に文字列“かきく”が書かれているとする。これらの文字列を行単位に切り分けると、一行目の文字列“あいう”はストロークの１番目から７番目まで、二行目の文字列“かきく”はストロークの８番目から１５番目ということになる。
【００３２】
図８は、行単位切り分け処理の動作を説明するための図である。
上述のステップ２２の行単位の切り分け処理は、以下のような過程を経て行なう。図８（Ａ）のように手書き入力領域２ａにストローク１が書かれたら、ストローク１に属する座標値のｙ座標について最大値ｙｍａｘと最小値ｙｍｉｎを求める。図８（Ｂ）のように、ストローク２に属する座標点の少なくとも１点以上のｙ座標値が最大値ｙｍａｘと最小値ｙｍｉｎの間にあった場合、ストローク２はストローク１と同じ行であるとみなし、図８（Ｂ′）のように最大値ｙｍａｘと最小値ｙｍｉｎを算出し直すとともに、座標値メモリ１０１に行の情報を記憶する。また、図８（Ｃ）のように、ストローク２に属する座標点のいずれのｙ座標値も最大値ｙｍａｘと最小値ｙｍｉｎの間にない場合、ストローク２は新たな行の始まりであるとみなし、図８（Ｃ′）のようにストローク２について最大値ｙｍａｘと最小値ｙｍｉｎを算出し直すとともに、座標値メモリ１０１に新たな行番号を記憶する。
【００３３】
図９は、座標値記憶処理の結果、座標値メモリに記憶される座標値，ストローク情報、および行情報の例を示した図である。
上述したステップ２１からステップ２２の処理によって座標値メモリ１０１に記憶される情報は、図９に示すように、座標点単位で、座標値（ｘ，ｙ）、ストローク番号、行番号の３種である。
【００３４】
次いで、認識命令判別処理の二つ目の出力先である手書き文字認識処理について説明する。
図１０は、手書き文字認識処理を説明するための図である。
まず、図１０に示すように、座標値メモリ１０１を参照し、一行分の座標値を呼び出す（ステップ３１）。そして、呼び出した座標値に対して、一文字切り出し処理を行なう（ステップ３２）。一文字切り出し処理の方法は従来よりさまざまな方法が提案されており、いずれの方法を使用しても構わない。ステップ３２の一文字切り出し処理を行なうことによって、ストロークの何番目から何番目までが一文字に相当するかを認知することができる。
【００３５】
次に、認識すべき文字の有無を判断し（ステップ３３）、認識すべき文字が存在する場合は（ステップ３３−Ｙｅｓ）、一文字に切り出した座標値を認識エンジンに送る。認識エンジンにて認識された文字コードを行番号ごとに結果メモリ１０２に記憶する（ステップ３４）。認識エンジンについても従来より様々な認識エンジンがあり、いずれの認識エンジンを使用しても構わない。
そして、ステップ３３へ戻り、認識すべき文字がまだ存在するか否かを調べ、存在する場合は（ステップ３３−Ｙｅｓ）、認識エンジンへ送り、存在しない場合は（ステップ３３−Ｎｏ）、認識すべき行がまだ存在するか否かを調べる（ステップ３５）。行が存在する場合は（ステップ３５−Ｙｅｓ）、ステップ３１の一行分の座標値呼び出し処理に処理を渡し、上述したステップ３１〜ステップ３５の処理を繰り返す。行が存在しない場合は（ステップ３５−Ｎｏ）、ステップ４０のＩＭＥ漢字変換処理へ処理を渡す。
【００３６】
図１１は、手書き文字認識処理の結果、結果メモリに記憶される情報の例を示した図である。
上述したステップ３１からステップ３５の処理によって結果メモリ１０２に記憶される情報は、図１１に示すように、行単位の認識文字列である。結果メモリにはインデント情報である行開始位置、インデント番号、親行番号および子行番号も記憶されるが、これについてはアウトライン清書処理にて述べる。
【００３７】
次いで、手書き文字認識処理から処理を渡されるＩＭＥ漢字変換処理について、説明する。
図１２は、ＩＭＥ漢字変換処理を説明するための図である。
上述したステップ３０の手書き文字認識処理のステップ３５の次の行の有無判断する処理から処理を受け取ると、まず、結果メモリ１０２を参照して一行分の認識文字列呼び出し処理を行なう（ステップ４１）。図１１に示したように、結果メモリ１０２には行単位で認識文字列が記録されているので、簡単に呼び出しを実行することができる。
呼び出した認識文字列を、例えば、ＭＳ−ＩＭＥやＡＴＯＫなどのようなＩＭＥ（Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）に送る。するとＩＭＥは認識文字列を漢字変換した結果を返すので、結果メモリ１０２の認識文字列に上書きする（ステップ４２）。また、結果メモリ１０２内にＩＭＥ漢字変換文字列用の領域を確保し、記憶してもよい。
【００３８】
そして、結果メモリ１０２内に次の行が存在するか否かを調べ（ステップ４３）、次の行が存在する場合は（ステップ４３―Ｙｅｓ）、ステップ４１の一行分の認識文字列呼び出し処理へ処理を渡し、存在しない場合は（ステップ４３―Ｎｏ）、ステップ５０のアウトライン清書処理に処理を渡す。
これにより、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括認識を実行するとともに、ＩＭＥへ認識文字列を送り、漢字変換することで、漢字変換の煩雑さを無くすことができる。
【００３９】
次いで、ＩＭＥ漢字変換処理から処理を渡されるアウトライン清書処理について説明する。
図１３は、アウトライン清書処理を説明するための図である。
まず、行開始位置算出処理において、座標値メモリ１０１を参照して１行づつ行開始位置算出処理（ステップ５１）を行ない、結果を結果メモリ１０２に記憶し、次の行が存在するか否かを判断し（ステップ５２）、次の行が存在する場合には（ステップ５２−Ｙｅｓ）、ステップ５１へ戻り行開始位置算出処理を行なうことで、各行の開始位置の座標値を求める。具体的には、各々の行に属する座標点のｘ座標およびｙ座標の最小値を求めることで、行の左上座標が求まり、これを行開始位置とする。次の行がない場合には（ステップ５２−Ｎｏ）、次のステップに進む。
【００４０】
次に、行開始位置算出処理によって求められた各行の開始位置について、ｙ座標の小さい順に上の行とのｘ座標の比較し、インデント付け処理を行ない、結果を結果メモリ１０２へ記憶する（ステップ５３）。このように、ｙ座標の小さい順に処理を行なうのは、ユーザがｙ座標の小さい順に文字列を入力していくとは限らないからである。例えば、行１と行２と行３が書かれた後に、行１と行２の間に行４が追加された場合、行番号順に処理をすると正しくインデントが求まらないからである。また、上の行とは、すべての行のうち、処理対象行の開始位置のｙ座標値の次に小さいｙ座標値を開始位置として有する行である。
次に、次の行が存在するか否かを判断し（ステップ５４）、上述のインデント付け処理を行なうべき次の行がある場合は（ステップ５４−Ｙｅｓ）、ステップ５３へ戻りインデント付け処理を繰り返す。次の行がない場合は（ステップ５４−Ｎｏ）、ステップ６０の表示処理へ処理を渡す。
【００４１】
次いで、行開始位置算出処理について説明する。
図１４は、行開始位置算出処理を説明するための図である。
例えば、図１４に示すように、手書き入力領域２ａに４行の文字列が入力された場合、上述の行開始位置算出処理を行なうと、行１は（ｘ１，ｙ１），行２は（ｘ２，ｙ２），行３は（ｘ３，ｙ３），行４は（ｘ４，ｙ４）の座標値が行の開始位置として得られる。これらの行開始位置は、結果メモリ１０２内の各行の行開始位置に記憶される。
【００４２】
次いで、インデント付け処理について説明する。
図１５は、インデント付け処理を説明するための図である。
インデント付け処理とは、各行の結果メモリ１０２が有するインデント番号、親行番号および子行番号の項目に対応する行番号を設定する処理である。インデント番号および親番号は一つの値しか持たないが、子番号は複数の値を持つことが可能である。
まず、手書き入力領域２ａ内の処理対象行“かきくけこ”のｘ座標値をｘｐ、上の行“あいうえお”のｘ座標値をｘｑとし、ｘｐからｘｑを減算した値Ｓを求める。
図１５（Ａ）に示すように、ＳがＷ以上ならば上の行は上位（親）、処理対象行は下位（子）である。図１５（Ｂ）に示すように、Ｓが−Ｗ以上かつＷ未満ならば上の行と処理対象行は同位である。図１５（Ｃ）に示すように、Ｓが−Ｗ未満であれば、Ｓを−Ｗで除算した商の値Ｑ分、上の行の親行番号を基準として順に親行番号を辿る。ここで、Ｗはインデント幅であり、これはユーザがあらかじめ設定しておくことができる。
【００４３】
具体例として、前述の図１４についてステップ５３のインデント付け処理を行なう例を説明する。
ｙ座標の最も小さい行を探索すると、行１のｙ１が最も小さいので、行１を処理対象行とする。行１には上の行がないので、インデント番号を“０”、親行番号を“０”とし、子行番号には何も設定しない。次にｙ座標が小さい行を探索すると、行４が処理対象行となり、上の行は行１となる。行４のｘ４から行１のｘ１を減算した値Ｓ４を求めると、Ｓ４はインデント幅Ｗよりも大きいので、行１は親、行４は子ということになる。よって、行１の子行番号に“４”を追加し、行４のインデント番号に行１のインデント番号に１を足した値“１”を、親番号に“１”を設定する。次にｙ座標が小さい行を探索すると、行２が処理対象行となり、上の行は行４となる。同様にＳ２＝ｘ２−ｘ４を求めると、Ｓ２は−Ｗ以上かつＷ未満なので、行２と行４は同位である。よって、行２のインデント番号に行４のインデント番号を、行２の親番号に行４の親番号“１”を設定する。
【００４４】
次にｙ座標が小さい行を探索すると、行３が処理対象行となり、上の行は行２となる。同様にＳ３＝ｘ３−ｘ２を求めると、Ｓ３は−Ｗ未満なので、行３は行２よりも上位である。Ｓ３を−Ｗで除算した商Ｑは“１”であるので、行２の親番号をＱの値分、つまり１つ上へ辿る。行２の親番号は“１”であるから、行１の親番号を参照する。行１のインデント番号は“０”、親番号は“０”であるので、行３のインデント番号を“０”、親番号を“０”に設定する。次の行は存在しないので、以上の結果を結果メモリ１０２に記憶し、ステップ６０の表示処理へ処理を渡す。
【００４５】
次いで、アウトライン清書処理から処理を渡された表示処理について説明する。
図１６は、表示処理を説明するための図である。
ステップ６０の表示処理では、結果メモリ１０２に記憶されたデータを表示装置２2に表示する。
まず、テキストボックス作成処理において、行単位のテキストボックスを作成する（ステップ６１）。テキストボックスは、Ｖｉｓｕａｌ Ｃ＋＋やＶｉｓｕａｌ Ｂａｓｉｃのようなプログラミングツールを使用することで簡単に作成できる。そして、テキスト設定処理において、テキストとして結果メモリ内の認識文字列を設定する（ステップ６２）。さらに、テキストボックス表示位置算出処理において、行ｎの行開始位置のｙ座標をｙｎ、インデント番号をＩｎとすると、行ｎのテキストボックスの表示位置を（Ｗ×Ｉｎ，ｙｎ）とする（ステップ６３）。
次に、以上の処理をすべき次の行が存在するか否かを判断し（ステップ６４）、次の行がある場合（ステップ６４−Ｙｅｓ）、ステップ６１に戻ることで以上の処理を結果メモリ１０２に記憶されたすべての行に対して実行し、表示装置２2に表示する。次の行がない場合（ステップ６４−Ｎｏ）、ステップ７０のユーザ操作判別処理に処理を渡す。
【００４６】
次いで、表示処理から処理を渡されたユーザ操作判別処理について説明する。
図１７は、ユーザ操作判別処理を説明するための図で、図１８は、ユーザ操作判別処理時の手書き入力画面の例を示した図である。
ユーザの操作としては、アウトライン情報の修正を行なう編集処理、記憶媒体への保存やメール送信を行なう出力処理を用意する。まず、ユーザ操作判別処理が処理を開始すると、ボタン変更処理において、前述の図４に示すような“認識”ボタン２ｂを削除し、図１８に示すように“出力”ボタン２ｃを作成し、表示装置２2に表示する（ステップ７１）。そして、ユーザが、手書き入力領域２ａに入力をしたか、あるいは、“出力”ボタン２ｃを押したかを監視する（ステップ７２）。手書き入力領域２ａに入力が行なわれた場合は（ステップ７２−編集）ステップ８０の編集処理へ、“出力”ボタン２ｃが押された場合は（ステップ７２−出力）ステップ９０出力処理へ処理を渡す。以上のように、ステップ７０のユーザ操作判別処理の出力先は２つに分岐する。
【００４７】
次いで、ユーザ操作判別処理からの一つ目の出力先である編集処理について説明する。
図１９は、編集処理を説明するための図である。
ステップ８０の編集処理では、アウトライン清書処理で求められた各行のインデント等のアウトライン情報をユーザの指示する通りに修正する。ＶｉｓｕａｌＣ＋＋やＶｉｓｕａｌ Ｂａｓｉｃのようなプログラミングツールを使用してテキストボックスを作成すると、テキストボックス上でのＭｏｕｓｅＤｏｗｎ，ＭｏｕｓｅＭｏｖｅ，ＭｏｕｓｅＵｐメッセージを監視できる。まず、それぞれのテキストボックスは、結果メモリ１０２内の各行に対応しているので、ユーザがテキストボックスに指示部で触れると、ＭｏｕｓｅＤｏｗｎメッセージを受け取ることにより、どの行を選択したかが分かることを利用して、選択行確定処理を行なう（ステップ８１）。
【００４８】
続いて、ユーザはテキストボックスに触れたまま移動を行なう。この時、ＭｏｕｓｅＭｏｖｅメッセージを受け取ることで、移動量を取得できる。この移動量に基いて、テキストボックスの表示位置を変更することで、ユーザがテキストボックスを移動させる操作が実現できる。そして、ユーザは任意の場所でテキストボックスを離す。この時、ＭｏｕｓｅＵｐメッセージを受け取ることで、テキストボックスの移動先がを決定できることを利用して、移動先確定処理を行ない、移動先確定処理で移動先が確定すると、移動先のグリッドラインのｘ座標および移動先のｙ座標を、移動した行（選択行確定処理で確定した行）の結果メモリ１０２内の行開始位置に書きこむ（ステップ８２）。次に、移動先でのインデント修正処理を行ない、結果を結果メモリ１０２に記憶して、ステップ６０の表示処理に処理を戻す（ステップ８３）。
【００４９】
図２０は、編集処理時の手書き入力領域の例を示した図である。
上のようにステップ８０の編集処理においてユーザによりテキストボックスの移動処理が行なわれるが、図２０に示すように、手書き入力領域２ａにインデント幅Ｗのグリッドラインを設けておき、グリッドライン上にしか移動できないようにすることで、正確に所望のインデント位置へテキストボックスを移動できる。なお、グリッドラインは表示／非表示をユーザが選択できる。
【００５０】
図２１は、インデント修正処理を説明するための図である。
例えば、前述の図２０の行３を図２１（Ａ）に示すように行１と行２の間に移動する場合を例に説明する。
結果メモリのインデント番号、親行番号および子行番号の変更は、アウトライン清書処理で説明した方法と同じである。行３の上の行は行１であり、行１の下位（子）の位置に移動されたので、行１の子行番号に“３”を追加し、行３のインデント番号を行１のインデント番号＋１、つまり“１”に、行３の親行番号に“１”を設定する。アウトライン清書処理と異なる点は、以下の３点である。一つには、行３の移動により、行２の子行番号を変更しなければならないことである。これは、行３の移動の際に、行３の親行番号を参照し、行２が親であることが分かると、行２の子行番号から“３”を削除することで実現できる。二つには行３の子行番号に“４”が存在することである。行３を移動する場合は、行３の下位に位置するすべての行も同時に移動する。よって、行３の移動量をもとに、結果メモリ内の行４の行開始位置を変更するとともに、行４のインデント番号を行３のインデント番号＋１、つまり“２”に設定する。行４が下位の行を持っていれば、同様の処理を行なう。
【００５１】
三つには、行３および行４の移動によって、行２の行開始位置を変更しなければならないことである。これは、行４の行開始位置のｙ座標をｙ４、行４のテキストボックスの高さをｈ４、行２の行開始位置のｙ座標をｙ２とすると、ｙ２＝ｙ４＋ｈ４＋αで求めることができる。ここで、αは行間距離であり、ユーザが任意に決定可能な値である。行２の下にさらに行があった場合は、上記の処理を繰り返す。結果はすべて結果メモリに記憶されるので、処理を表示処理に渡せば、表示装置に表示される。以上の処理を行なうことで、図２１（Ｂ）のように、インデントを修正できる。
【００５２】
次いで、ユーザ操作判別処理からの二つ目の出力先である出力処理について説明する。
図２２は、出力処理を説明するための図である。
ステップ９０の出力処理は、結果メモリ１０２に記憶された認識文字列およびアウトライン情報をハードディスクや光ディスクなどの記憶媒体に保存したり、メールとして指定した人物に送信したりする処理を行なう。
まず、図２２に示すように、フォーマット変換処理によって、結果メモリ内の情報を文書化する（ステップ９１）。結果メモリ１０２に記憶されている行開始位置のｙ座標が小さい順にデータを呼び出し、インデント番号をもとに、ｈｔｍｌ文書やＴＡＢテキストのようなファイルフォーマットに変換する。次に、出力するための情報をユーザが入力する。記憶媒体に記憶する場合はファイル名を、メール送信する場合はメールアドレスおよび表題をユーザが入力する。上述のようにして文書化したデータを記憶媒体４あるいはネットワーク５に出力し、出力を行なうと、新たに手書き文字入力を行なうために、ステップ１０の認識命令判別処理に処理を渡す（ステップ９２）。なお、ネットワーク５に出力するためのアプリケーションはＯｕｔｌｏｏｋなどのメールソフトを用いる。
【００５３】
【発明の効果】
本発明は、効果手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書することができ、また、清書したアウトラインを簡単に修正することができる。
【００５４】
本発明は、効果アウトライン清書した文字列を、任意の記憶媒体に記憶したり、メールアドレスおよび表題を入力して任意の人物にメール送信したりすることができる。
【図面の簡単な説明】
【図１】 本発明の手書き文字一括変換装置が適用される会議システムを説明するための構成図である。
【図２】 本発明の手書き文字変換装置で用いる座標入力装置を有する表示装置の仕様の例を示した図である。
【図３】 本発明の手書き文字一括変換装置の概略の処理ブロック図である。
【図４】 認識命令判別処理が実行されるときの表示装置の手書き入力画面の例を示した図である。
【図５】 座標値記憶処理を説明するための図である。
【図６】 ストローク切り分け処理を説明するための図である。
【図７】 行単位切り分け処理を説明するための図である。
【図８】 行単位切り分け処理の動作を説明するための図である。
【図９】 座標値記憶処理の結果、座標値メモリに記憶される座標値，ストローク情報、および行情報の例を示した図である。
【図１０】 手書き文字認識処理を説明するための図である。
【図１１】 手書き文字認識処理の結果、結果メモリに記憶される情報の例を示した図である。
【図１２】 ＩＭＥ漢字変換処理を説明するための図である。
【図１３】 アウトライン清書処理を説明するための図である。
【図１４】 行開始位置算出処理を説明するための図である。
【図１５】 インデント付け処理を説明するための図である。
【図１６】 表示処理を説明するための図である。
【図１７】 ユーザ操作判別処理を説明するための図である。
【図１８】 ユーザ操作判別処理時の手書き入力画面の例を示した図である。
【図１９】 編集処理を説明するための図である。
【図２０】 編集処理時の手書き入力領域の例を示した図である。
【図２１】 インデント修正処理を説明するための図である。
【図２２】 出力処理を説明するための図である。
【符号の説明】
１…パーソナルコンピュータ（ＰＣ）、２…手書き入力画面、２1…座標入力装置、２2…表示装置、２ａ…手書き入力領域、２ｂ…“認識”ボタン、２ｃ…“出力”ボタン、３…操作者（ユーザ）、４…記憶媒体、５…ネットワーク。
【発明の属する技術分野】
本発明は、手書き文字一括変換装置、手書き文字一括変換方法およびプログラムに関する。
【０００２】
【従来の技術】
手書き文字を認識する手段を備えた手書き文字変換装置に関する従来技術として、例えば、以下のような発明がある。
（１）特開２０００−０９９２２３号公報には、固定型の手書き入力枠をもつインターフェースであり、誤認識の修正が簡単に行なえるインターフェースを備えたことを特徴とするデータ処置装置（手書き文字変換装置）が記載されている。このデータ処理装置においては、アプリケーションへ手書き文字に対応した文字コードを送る。
（２）特開２００１−０１４１０３号公報には、（１）の発明と同様に固定入力枠をもつインターフェースを備えた文字入力装置（手書き文字変換装置）において、入力方法の切替を効率的に行なう文字入力装置（手書き文字変換装置）が記載されている。
【０００３】
（３）特開２０００−０７６３８０号公報には、タッチパネル上に手書きで文字入力する際に、入力枠等や文書書式の設定を意識することなく、任意の入力方向で手書き文字を自由に入力することを可能にする手書き文字入力装置（手書き文字変換装置）が記載されている。
（４）特開平０９−３１９５０３号公報には、手書き入力された文字に対して文字認識を行わず筆跡をストローク（筆跡の始点と終点とをつなぐ複数の点の列）のデータとして取り扱う筆記文字列入力方式と手書き入力された文字に対して文字認識を行ない、文字コードに変換する認識文字列入力方式とを併用または混用した文書入力や文書編集を簡単な操作で自由に行なう文書処理装置（手書き文字変換装置）が記載されている。
【０００４】
以上の従来技術は、手書き文字認識装置、特にそのためのユーザインタフェースに関する発明の一部を抜粋したものである。手書き文字認識のユーザインタフェースには大きく分けて２種類が存在する。一つは、上記（１）および（２）の発明のように、ある固定の枠を設け、ユーザに一文字単位でその枠内に文字を記入させるユーザインタフェースであり、現在最も一般的なユーザインタフェースである。一文字単位の切り出し処理が不要であり、切り出しミスによる誤認識がないが、ユーザ負担が多く、使い辛いユーザインタフェースである（以下、このようなユーザインタフェースにおける文字認識を固定枠手書き文字認識という。）。もう一つは、上記（３）および（４）の発明のように、入力枠がなく、手書き領域内に自由に文字を書き、一文字切り出し処理を行なって文字認識をするユーザインタフェースである。一文字単位の切り出し処理による誤認識はあるものの、ユーザにとっては普通に鉛筆を走らせる動作と同じ操作で文字入力ができるメリットがある（以下、このようなユーザインタフェースにおける文字認識を自由手書き認識という。）。
【０００５】
手書き文字認識の従来手法としては、以上述べたような固定枠手書き文字認識および自由手書き認識が存在する。これらの手法は、一文字単位、あるいは、ある程度の文字列が入力された時点で認識処理を行ない、認識された文字列を表示してユーザの欲する文字を確定するという、随時変換を実現している手法である。このような手法を会議中に用いた場合を考えると、議論の最中に認識結果の見直しをするという面倒な作業が発生してしまったり、思考の分断が生じてしまったりする。会議中に手書き入力された情報を活字化するには、手書き情報を座標値として記憶しておき、議論が落ち着いた時点で、あるいは、会議が終了してから活字化することが望ましい。また、従来手法では、活字化は行うが、文字が書かれた位置については何の処理も行われない。会議中に書かれた文字列は、その上下の文字列と深い関連があり、例えば箇条書きやインデント構造などのアウトラインを書かれた通りに表現することが望ましい。さらに、アウトライン清書された文字列をファイルに保存したり、メールとして任意の人物へ簡単に送信したりできれば、会議で生まれた情報を有効に活用できる。
【０００６】
さらに、従来手法では、ひらがな入力した手書き文字を漢字変換する際、漢字変換ボタンを押すなどの操作をユーザが行わなければならなかった。その場合、Ｗｉｎｄｏｗｓ（登録商標）のＩＭＥ（Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）は漢字を含む文字列を漢字変換しても、漢字部は変換されず、漢字変換されていないひらがな部のみ漢字変換されるので、手書き文字を活字化する際に同時に漢字変換を行うのが望ましい。
【０００７】
【発明が解決しようとする課題】
本発明は、上述のような実情に鑑みてなされたものであり、手書き文字一括変換装置において、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する。また、清書したアウトラインを簡単に修正することを目的としたものである。
【０００８】
また、アウトライン清書した文字列を、任意の記憶媒体に記憶したり、メールアドレスおよび表題を入力して任意の人物にメール送信したりすることを目的としたものである。
【０００９】
更には、手書き文字一括変換方法において、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する処理、および、清書したアウトラインを簡単に修正する処理からなる手書き文字一括変換方法を提供することを目的としたものである。
【００１０】
更には、手書き文字一括変換方法を実行するプログラムにおいて、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する処理、および、清書したアウトラインを簡単に修正する処理からなる手書き文字一括変換方法を実行するプログラムを提供することを目的としたものである。
【００１１】
【課題を解決するための手段】
請求項１に係る発明は、操作者が手書き入力する手書き入力画面と、前記手書き入力画面を表示装置として用いることが可能な座標入力装置とが接続される手書き文字一括変換装置において、前記座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手段と、前記判定手段において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手段と、前記判定手段において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手段に記憶された全ての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手段と、前記座標値記憶手段に記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手段と、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手段と、前記結果記憶手段に記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手段と、を有するものである。
【００１２】
請求項２に係る発明は、座標値記憶処理手段を備え、前記座標値記憶処理手段は、前記座標値入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理部と、前記座標値入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理部と、を有し、前記座標入力手段から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶することを特徴とする請求項１に記載の手書き文字一括変換装置である。
【００１３】
請求項３に係る発明は、前記表示処理手段は、行単位にテキストボックスを作成するテキストボックス作成処理部と、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理部と、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理部と、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理部とからなることを特徴とする請求項１または２に記載の手書き文字一括変換装置である。
【００１４】
請求項４に係る発明は、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、前記ユーザ操作判別手段によって判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手段と、を備えることを特徴とする請求項１乃至３のいずれか１つに記載の手書き文字一括変換装置である。
【００１５】
請求項５に係る発明は、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手段と、を備えることを特徴とする請求項４に記載の手書き情報一括変換装置である。
【００１６】
請求項６に係る発明は、前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手段と、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手段と、を備えることを特徴とする請求項４または５に記載の手書き文字一括変換装置である。
【００１７】
請求項７に係る発明は、前記データ実行処理手段は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力することを特徴とする請求項６に記載の手書き文字一括変換装置である。
【００１８】
請求項８に係る発明は、コンピュータに、前記コンピュータが判定手段として、操作者が手書き入力する手書き入力画面を表示装置として用いることが可能な座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手順と、前記コンピュータが座標値記憶手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手順と、前記コンピュータが手書き文字認識手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手順により記憶されたすべての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手順と、前記コンピュータがアウトライン清書手段として、前記座標値記憶手順により記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手順と、前記コンピュータが結果記憶手段として、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手順と、前記コンピュータが表示処理手段として、前記結果記憶手順により記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手順と、を実行させることを特徴とする手書き文字一括変換方法である。
【００１９】
請求項９に係る発明は、前記座標値記憶手段のストローク切り分け処理部により、前記座標入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理手順と、前記座標値記憶手段の行単位切り分け処理部により、前記座標入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理手順とを有し、前記座標値記憶手順は、前記座標入力装置から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶することを特徴とする請求項８に記載の手書き文字一括変換方法である。
【００２０】
請求項１０に係る発明は、前記表示処理手順は、前記表示処理手段のテキストボックス作成処理部により、行単位にテキストボックスを作成するテキストボックス作成処理手順と、前記表示処理手段のテキスト設定処理部により、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理手順と、前記表示処理手段のテキストボックス表示位置算出処理部により、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理手順と、前記表示処理手段の表示処理部により、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理手順とからなることを特徴とする請求項８または９に記載の手書き情報一括変換方法である。
【００２１】
請求項１１に係る発明は、前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、前記コンピュータが編集処理手段として、前記ユーザ操作判別手段により判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手順と、を備えることを特徴とする請求項８乃至１０のいずれか１つに記載の手書き文字一括変換方法である。
【００２２】
請求項１２に係る発明は、前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、前記コンピュータが編集処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手順と、を備えることを特徴とする請求項１１に記載の手書き文字一括変換方法である。
請求項１３に係る発明は、前記コンピュータがフォーマット変換処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手順と、前記コンピュータがデータ実行処理手段として、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手順と、を備えることを特徴とする請求項１１または１２に記載の手書き文字一括変換方法である。
請求項１４に係る発明は、前記データ実行処理手順は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力することを特徴とする請求項１３に記載の手書き文字一括変換方法である。
請求項１５に係る発明は、請求項８に記載のコンピュータに、請求項８に記載の手書き文字一括変換方法における、前記判定手順と、前記座標値記憶手順と、前記手書き文字認識手順と、前記アウトライン清書手順と、前記結果記憶手順と、前記表示処理手順とを実行させるためのプログラムである。
【００２３】
【発明の実施の形態】
以下、本発明の実施例について、添付の図面を参照しながら順に説明する。
図１は、本発明の手書き文字一括変換装置が適用される会議システムを説明するための構成図であり、図２は、本発明の手書き文字変換装置で用いる座標入力装置を有する表示装置の仕様の例を示した図である。
手書き文字一括変換装置が適用される会議システムは、手書き文字一括変換装置としてのパーソナルコンピュータ（以下、ＰＣという。）１と、例えば、図２に示す仕様のリコー製メディアサイトのような、座標入力装置を有する表示装置２で構成される。以下、この座標入力装置を有する表示装置２を手書き入力装置といい、そのうちの画面を手書き入力画面２という。この手書き入力画面２を特に座標入力装置として用いる場合には座標入力装置２1といい、表示装置として用いる場合には表示装置２2という。なお、座標入力装置としてマウスやタブレット、表示装置としてＣＲＴやプロジェクタなどを用いても構わない。また、Ｖｉｒｔｕａｌ Ｉｎｃ社製ｍｉｍｉｏやＥＦＩ社製ｅＢｅａｍのようにすでに市販されている座標入力装置とプロジェクタの組み合わせでも構わない。
【００２４】
座標入力装置２1は、図１に示すように、操作者３が指あるいはペンなどの指示部３1を使って座標入力装置２1へ入力した信号を座標値として検出し、ＰＣ１へ送り込む装置である。ＰＣ１は、送り込まれた座標値の集合（以下、ストロークという。）をすべて記憶しておき、ユーザ（操作者）３からの手書き文字認識の命令を受け取った際に、一括で手書き文字認識を行ない、得られた処理内容を表示装置２2に表示する。
【００２５】
図３は、本発明の手書き文字一括変換装置の概略の処理ブロック図である。
座標入力装置２1および表示装置２2が図１に示した手書き入力装置２であり、その中間の処理をＰＣ１内で行なう構成である。
まず、座標入力装置２1から出力される座標値について、認識命令判別処理によってユーザ（操作者）が認識を命令したのか否かを調べる（ステップ１０）。認識命令でない場合は（ステップ１０―Ｎｏ）、手書き入力領域内に入力される座標値を座標値記憶処理によって座標値メモリ１０１に記憶し（ステップ２０）、ステップ１０に戻りユーザからの認識命令の監視を続ける。認識命令である場合は（ステップ１０―Ｙｅｓ）、座標値メモリ１０１を参照して手書き文字認識処理を実行し、得られた文字列を結果メモリ１０２へ記憶する（ステップ３０）。
【００２６】
そして、結果メモリ１０２を参照してＩＭＥ漢字変換処理を行ない、手書き文字認識処理で得られた文字列を漢字へ変換し、結果メモリ１０２に記憶する（ステップ４０）。
さらに、座標値メモリ１０１を参照して文字列が書かれた位置を求め、文字列の位置からインデント位置を算出し、結果を結果メモリ１０２へ記憶する（ステップ５０）。
次に、結果メモリ１０２を参照して表示処理により表示装置２2に結果を出力するとともに（ステップ６０）、ユーザ操作判別処理を開始する（ステップ７０）。ステップ７０のユーザ操作判別処理は、ステップ６０の表示処理によって表示装置２2に表示された結果に対して、ユーザがどのような処理を実行するか否かを判別する処理である。ステップ７０のユーザ操作判別処理によって処理は二手に分岐する。一つは、ユーザが結果に対して編集を行なう場合である（ステップ７０−編集）。例えば、ステップ５０のアウトライン清書処理で求めたインデント位置を修正するような作業である。結果メモリ１０２を参照して修正作業を編集処理内で行ない、結果をステップ６０の表示処理に出力する（ステップ８０）。他の一つは、結果の出力を行なう場合である（ステップ７０−出力）。結果の出力は結果メモリ１０２を参照して出力処理内で行ない、ハードディスクや光ディスクなどの記憶媒体４に所定のフォーマットで出力したり、メールアドレスと表題を入力し、メールとして送信したりするためにネットワーク５にデータを出力する（ステップ９０）。ステップ９０の出力処理が終了すると、ステップ１０の認識命令判別処理に処理を渡し、新たな手書き文字の入力を可能とする。
【００２７】
以下に、図３に示した各ステップの詳しい処理について述べる。
まず、認識命令判別処理について述べる。
図４は、認識命令判別処理が実行されるときの表示装置２2の手書き入力画面の例を示した図である。
例えば、図４に示すような手書き入力画面２を用意する。手書き入力画面２の破線で囲んだ部分が手書き入力を行なう領域（手書き入力領域）２ａであり、手書き入力領域２ａの上部に認識ボタン２ｂを設ける。そして、ユーザが手書き入力画面２のどの位置に操作をしたかを監視することで、ユーザが認識を命令したか否か判別する。ステップ１０の認識命令判別処理の出力は２つに分岐する。一つは、ユーザが手書き入力領域２ａに手書き文字を入力した場合で、ステップ２０の座標値記憶処理に処理を渡す。もう一つは、ユーザが任意のタイミングで認識ボタン２ｂを押下した場合で、ステップ３０の手書き文字認識処理に処理を渡す。
【００２８】
次いで、認識命令判別処理の一つ目の出力先である座標値記憶処理について説明する。
図５は、座標値記憶処理を説明するための図である。
まず、図５に示すように、ストローク切り分け処理によって、ユーザが手書き入力領域に入力した手書き文字の座標値をストローク単位に切り分けて座標値メモリ１０１に記憶する（ステップ２１）。例えば、手書き入力装置２の座標入力装置２1にユーザが触れるということは、マウスの左クリックに対応している。Ｗｉｎｄｏｗｓ（登録商標）のようなオペレーティングシステムでは、マウスの左クリックに対して、ＭｏｕｓｅＤｏｗｎ，ＭｏｕｓｅＭｏｖｅ，ＭｏｕｓｅＵｐというメッセージが割り当てられているが、手書き入力装置２の座標入力装置２1は、座標を検知するごとにオペレーティングシステムに対してこれらのメッセージを生成するように命令する。なお、上述したストロークとは、ＭｏｕｓｅＤｏｗｎからＭｏｕｓｅＵｐまでに検出された座標値の集合のことである。
【００２９】
次に、行単位切り分け処理によって、ストロークの何番目から何番目までが一行単位であるかを調査し、結果を座標値メモリ１０１に記憶する（ステップ２２）。
最後に、処理をステップ１０の認識命令判別処理に渡す。よって、ユーザが認識命令を発するまで、ステップ２０の座標値記憶処理はループすることになる。
【００３０】
図６は、ストローク切り分け処理を説明するための図である。
上述したステップ２０の座標値記憶処理を構成するステップ２１のストローク切り分け処理は、図６に示すように、ユーザが指示部で手書き入力領域２ａに触れ、手書き入力領域２ａ上を移動し、手書き入力領域２ａから離れるまでに検出された座標値を一つのストロークとして座標値メモリ１０１に記憶する処理である。
【００３１】
図７は、行単位切り分け処理を説明するための図である。
例えば、図７のように、手書き入力領域２ａの一行目に文字列“あいう”、二行目に文字列“かきく”が書かれているとする。これらの文字列を行単位に切り分けると、一行目の文字列“あいう”はストロークの１番目から７番目まで、二行目の文字列“かきく”はストロークの８番目から１５番目ということになる。
【００３２】
図８は、行単位切り分け処理の動作を説明するための図である。
上述のステップ２２の行単位の切り分け処理は、以下のような過程を経て行なう。図８（Ａ）のように手書き入力領域２ａにストローク１が書かれたら、ストローク１に属する座標値のｙ座標について最大値ｙｍａｘと最小値ｙｍｉｎを求める。図８（Ｂ）のように、ストローク２に属する座標点の少なくとも１点以上のｙ座標値が最大値ｙｍａｘと最小値ｙｍｉｎの間にあった場合、ストローク２はストローク１と同じ行であるとみなし、図８（Ｂ′）のように最大値ｙｍａｘと最小値ｙｍｉｎを算出し直すとともに、座標値メモリ１０１に行の情報を記憶する。また、図８（Ｃ）のように、ストローク２に属する座標点のいずれのｙ座標値も最大値ｙｍａｘと最小値ｙｍｉｎの間にない場合、ストローク２は新たな行の始まりであるとみなし、図８（Ｃ′）のようにストローク２について最大値ｙｍａｘと最小値ｙｍｉｎを算出し直すとともに、座標値メモリ１０１に新たな行番号を記憶する。
【００３３】
図９は、座標値記憶処理の結果、座標値メモリに記憶される座標値，ストローク情報、および行情報の例を示した図である。
上述したステップ２１からステップ２２の処理によって座標値メモリ１０１に記憶される情報は、図９に示すように、座標点単位で、座標値（ｘ，ｙ）、ストローク番号、行番号の３種である。
【００３４】
次いで、認識命令判別処理の二つ目の出力先である手書き文字認識処理について説明する。
図１０は、手書き文字認識処理を説明するための図である。
まず、図１０に示すように、座標値メモリ１０１を参照し、一行分の座標値を呼び出す（ステップ３１）。そして、呼び出した座標値に対して、一文字切り出し処理を行なう（ステップ３２）。一文字切り出し処理の方法は従来よりさまざまな方法が提案されており、いずれの方法を使用しても構わない。ステップ３２の一文字切り出し処理を行なうことによって、ストロークの何番目から何番目までが一文字に相当するかを認知することができる。
【００３５】
次に、認識すべき文字の有無を判断し（ステップ３３）、認識すべき文字が存在する場合は（ステップ３３−Ｙｅｓ）、一文字に切り出した座標値を認識エンジンに送る。認識エンジンにて認識された文字コードを行番号ごとに結果メモリ１０２に記憶する（ステップ３４）。認識エンジンについても従来より様々な認識エンジンがあり、いずれの認識エンジンを使用しても構わない。
そして、ステップ３３へ戻り、認識すべき文字がまだ存在するか否かを調べ、存在する場合は（ステップ３３−Ｙｅｓ）、認識エンジンへ送り、存在しない場合は（ステップ３３−Ｎｏ）、認識すべき行がまだ存在するか否かを調べる（ステップ３５）。行が存在する場合は（ステップ３５−Ｙｅｓ）、ステップ３１の一行分の座標値呼び出し処理に処理を渡し、上述したステップ３１〜ステップ３５の処理を繰り返す。行が存在しない場合は（ステップ３５−Ｎｏ）、ステップ４０のＩＭＥ漢字変換処理へ処理を渡す。
【００３６】
図１１は、手書き文字認識処理の結果、結果メモリに記憶される情報の例を示した図である。
上述したステップ３１からステップ３５の処理によって結果メモリ１０２に記憶される情報は、図１１に示すように、行単位の認識文字列である。結果メモリにはインデント情報である行開始位置、インデント番号、親行番号および子行番号も記憶されるが、これについてはアウトライン清書処理にて述べる。
【００３７】
次いで、手書き文字認識処理から処理を渡されるＩＭＥ漢字変換処理について、説明する。
図１２は、ＩＭＥ漢字変換処理を説明するための図である。
上述したステップ３０の手書き文字認識処理のステップ３５の次の行の有無判断する処理から処理を受け取ると、まず、結果メモリ１０２を参照して一行分の認識文字列呼び出し処理を行なう（ステップ４１）。図１１に示したように、結果メモリ１０２には行単位で認識文字列が記録されているので、簡単に呼び出しを実行することができる。
呼び出した認識文字列を、例えば、ＭＳ−ＩＭＥやＡＴＯＫなどのようなＩＭＥ（Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）に送る。するとＩＭＥは認識文字列を漢字変換した結果を返すので、結果メモリ１０２の認識文字列に上書きする（ステップ４２）。また、結果メモリ１０２内にＩＭＥ漢字変換文字列用の領域を確保し、記憶してもよい。
【００３８】
そして、結果メモリ１０２内に次の行が存在するか否かを調べ（ステップ４３）、次の行が存在する場合は（ステップ４３―Ｙｅｓ）、ステップ４１の一行分の認識文字列呼び出し処理へ処理を渡し、存在しない場合は（ステップ４３―Ｎｏ）、ステップ５０のアウトライン清書処理に処理を渡す。
これにより、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括認識を実行するとともに、ＩＭＥへ認識文字列を送り、漢字変換することで、漢字変換の煩雑さを無くすことができる。
【００３９】
次いで、ＩＭＥ漢字変換処理から処理を渡されるアウトライン清書処理について説明する。
図１３は、アウトライン清書処理を説明するための図である。
まず、行開始位置算出処理において、座標値メモリ１０１を参照して１行づつ行開始位置算出処理（ステップ５１）を行ない、結果を結果メモリ１０２に記憶し、次の行が存在するか否かを判断し（ステップ５２）、次の行が存在する場合には（ステップ５２−Ｙｅｓ）、ステップ５１へ戻り行開始位置算出処理を行なうことで、各行の開始位置の座標値を求める。具体的には、各々の行に属する座標点のｘ座標およびｙ座標の最小値を求めることで、行の左上座標が求まり、これを行開始位置とする。次の行がない場合には（ステップ５２−Ｎｏ）、次のステップに進む。
【００４０】
次に、行開始位置算出処理によって求められた各行の開始位置について、ｙ座標の小さい順に上の行とのｘ座標の比較し、インデント付け処理を行ない、結果を結果メモリ１０２へ記憶する（ステップ５３）。このように、ｙ座標の小さい順に処理を行なうのは、ユーザがｙ座標の小さい順に文字列を入力していくとは限らないからである。例えば、行１と行２と行３が書かれた後に、行１と行２の間に行４が追加された場合、行番号順に処理をすると正しくインデントが求まらないからである。また、上の行とは、すべての行のうち、処理対象行の開始位置のｙ座標値の次に小さいｙ座標値を開始位置として有する行である。
次に、次の行が存在するか否かを判断し（ステップ５４）、上述のインデント付け処理を行なうべき次の行がある場合は（ステップ５４−Ｙｅｓ）、ステップ５３へ戻りインデント付け処理を繰り返す。次の行がない場合は（ステップ５４−Ｎｏ）、ステップ６０の表示処理へ処理を渡す。
【００４１】
次いで、行開始位置算出処理について説明する。
図１４は、行開始位置算出処理を説明するための図である。
例えば、図１４に示すように、手書き入力領域２ａに４行の文字列が入力された場合、上述の行開始位置算出処理を行なうと、行１は（ｘ１，ｙ１），行２は（ｘ２，ｙ２），行３は（ｘ３，ｙ３），行４は（ｘ４，ｙ４）の座標値が行の開始位置として得られる。これらの行開始位置は、結果メモリ１０２内の各行の行開始位置に記憶される。
【００４２】
次いで、インデント付け処理について説明する。
図１５は、インデント付け処理を説明するための図である。
インデント付け処理とは、各行の結果メモリ１０２が有するインデント番号、親行番号および子行番号の項目に対応する行番号を設定する処理である。インデント番号および親番号は一つの値しか持たないが、子番号は複数の値を持つことが可能である。
まず、手書き入力領域２ａ内の処理対象行“かきくけこ”のｘ座標値をｘｐ、上の行“あいうえお”のｘ座標値をｘｑとし、ｘｐからｘｑを減算した値Ｓを求める。
図１５（Ａ）に示すように、ＳがＷ以上ならば上の行は上位（親）、処理対象行は下位（子）である。図１５（Ｂ）に示すように、Ｓが−Ｗ以上かつＷ未満ならば上の行と処理対象行は同位である。図１５（Ｃ）に示すように、Ｓが−Ｗ未満であれば、Ｓを−Ｗで除算した商の値Ｑ分、上の行の親行番号を基準として順に親行番号を辿る。ここで、Ｗはインデント幅であり、これはユーザがあらかじめ設定しておくことができる。
【００４３】
具体例として、前述の図１４についてステップ５３のインデント付け処理を行なう例を説明する。
ｙ座標の最も小さい行を探索すると、行１のｙ１が最も小さいので、行１を処理対象行とする。行１には上の行がないので、インデント番号を“０”、親行番号を“０”とし、子行番号には何も設定しない。次にｙ座標が小さい行を探索すると、行４が処理対象行となり、上の行は行１となる。行４のｘ４から行１のｘ１を減算した値Ｓ４を求めると、Ｓ４はインデント幅Ｗよりも大きいので、行１は親、行４は子ということになる。よって、行１の子行番号に“４”を追加し、行４のインデント番号に行１のインデント番号に１を足した値“１”を、親番号に“１”を設定する。次にｙ座標が小さい行を探索すると、行２が処理対象行となり、上の行は行４となる。同様にＳ２＝ｘ２−ｘ４を求めると、Ｓ２は−Ｗ以上かつＷ未満なので、行２と行４は同位である。よって、行２のインデント番号に行４のインデント番号を、行２の親番号に行４の親番号“１”を設定する。
【００４４】
次にｙ座標が小さい行を探索すると、行３が処理対象行となり、上の行は行２となる。同様にＳ３＝ｘ３−ｘ２を求めると、Ｓ３は−Ｗ未満なので、行３は行２よりも上位である。Ｓ３を−Ｗで除算した商Ｑは“１”であるので、行２の親番号をＱの値分、つまり１つ上へ辿る。行２の親番号は“１”であるから、行１の親番号を参照する。行１のインデント番号は“０”、親番号は“０”であるので、行３のインデント番号を“０”、親番号を“０”に設定する。次の行は存在しないので、以上の結果を結果メモリ１０２に記憶し、ステップ６０の表示処理へ処理を渡す。
【００４５】
次いで、アウトライン清書処理から処理を渡された表示処理について説明する。
図１６は、表示処理を説明するための図である。
ステップ６０の表示処理では、結果メモリ１０２に記憶されたデータを表示装置２2に表示する。
まず、テキストボックス作成処理において、行単位のテキストボックスを作成する（ステップ６１）。テキストボックスは、Ｖｉｓｕａｌ Ｃ＋＋やＶｉｓｕａｌ Ｂａｓｉｃのようなプログラミングツールを使用することで簡単に作成できる。そして、テキスト設定処理において、テキストとして結果メモリ内の認識文字列を設定する（ステップ６２）。さらに、テキストボックス表示位置算出処理において、行ｎの行開始位置のｙ座標をｙｎ、インデント番号をＩｎとすると、行ｎのテキストボックスの表示位置を（Ｗ×Ｉｎ，ｙｎ）とする（ステップ６３）。
次に、以上の処理をすべき次の行が存在するか否かを判断し（ステップ６４）、次の行がある場合（ステップ６４−Ｙｅｓ）、ステップ６１に戻ることで以上の処理を結果メモリ１０２に記憶されたすべての行に対して実行し、表示装置２2に表示する。次の行がない場合（ステップ６４−Ｎｏ）、ステップ７０のユーザ操作判別処理に処理を渡す。
【００４６】
次いで、表示処理から処理を渡されたユーザ操作判別処理について説明する。
図１７は、ユーザ操作判別処理を説明するための図で、図１８は、ユーザ操作判別処理時の手書き入力画面の例を示した図である。
ユーザの操作としては、アウトライン情報の修正を行なう編集処理、記憶媒体への保存やメール送信を行なう出力処理を用意する。まず、ユーザ操作判別処理が処理を開始すると、ボタン変更処理において、前述の図４に示すような“認識”ボタン２ｂを削除し、図１８に示すように“出力”ボタン２ｃを作成し、表示装置２2に表示する（ステップ７１）。そして、ユーザが、手書き入力領域２ａに入力をしたか、あるいは、“出力”ボタン２ｃを押したかを監視する（ステップ７２）。手書き入力領域２ａに入力が行なわれた場合は（ステップ７２−編集）ステップ８０の編集処理へ、“出力”ボタン２ｃが押された場合は（ステップ７２−出力）ステップ９０出力処理へ処理を渡す。以上のように、ステップ７０のユーザ操作判別処理の出力先は２つに分岐する。
【００４７】
次いで、ユーザ操作判別処理からの一つ目の出力先である編集処理について説明する。
図１９は、編集処理を説明するための図である。
ステップ８０の編集処理では、アウトライン清書処理で求められた各行のインデント等のアウトライン情報をユーザの指示する通りに修正する。ＶｉｓｕａｌＣ＋＋やＶｉｓｕａｌ Ｂａｓｉｃのようなプログラミングツールを使用してテキストボックスを作成すると、テキストボックス上でのＭｏｕｓｅＤｏｗｎ，ＭｏｕｓｅＭｏｖｅ，ＭｏｕｓｅＵｐメッセージを監視できる。まず、それぞれのテキストボックスは、結果メモリ１０２内の各行に対応しているので、ユーザがテキストボックスに指示部で触れると、ＭｏｕｓｅＤｏｗｎメッセージを受け取ることにより、どの行を選択したかが分かることを利用して、選択行確定処理を行なう（ステップ８１）。
【００４８】
続いて、ユーザはテキストボックスに触れたまま移動を行なう。この時、ＭｏｕｓｅＭｏｖｅメッセージを受け取ることで、移動量を取得できる。この移動量に基いて、テキストボックスの表示位置を変更することで、ユーザがテキストボックスを移動させる操作が実現できる。そして、ユーザは任意の場所でテキストボックスを離す。この時、ＭｏｕｓｅＵｐメッセージを受け取ることで、テキストボックスの移動先がを決定できることを利用して、移動先確定処理を行ない、移動先確定処理で移動先が確定すると、移動先のグリッドラインのｘ座標および移動先のｙ座標を、移動した行（選択行確定処理で確定した行）の結果メモリ１０２内の行開始位置に書きこむ（ステップ８２）。次に、移動先でのインデント修正処理を行ない、結果を結果メモリ１０２に記憶して、ステップ６０の表示処理に処理を戻す（ステップ８３）。
【００４９】
図２０は、編集処理時の手書き入力領域の例を示した図である。
上のようにステップ８０の編集処理においてユーザによりテキストボックスの移動処理が行なわれるが、図２０に示すように、手書き入力領域２ａにインデント幅Ｗのグリッドラインを設けておき、グリッドライン上にしか移動できないようにすることで、正確に所望のインデント位置へテキストボックスを移動できる。なお、グリッドラインは表示／非表示をユーザが選択できる。
【００５０】
図２１は、インデント修正処理を説明するための図である。
例えば、前述の図２０の行３を図２１（Ａ）に示すように行１と行２の間に移動する場合を例に説明する。
結果メモリのインデント番号、親行番号および子行番号の変更は、アウトライン清書処理で説明した方法と同じである。行３の上の行は行１であり、行１の下位（子）の位置に移動されたので、行１の子行番号に“３”を追加し、行３のインデント番号を行１のインデント番号＋１、つまり“１”に、行３の親行番号に“１”を設定する。アウトライン清書処理と異なる点は、以下の３点である。一つには、行３の移動により、行２の子行番号を変更しなければならないことである。これは、行３の移動の際に、行３の親行番号を参照し、行２が親であることが分かると、行２の子行番号から“３”を削除することで実現できる。二つには行３の子行番号に“４”が存在することである。行３を移動する場合は、行３の下位に位置するすべての行も同時に移動する。よって、行３の移動量をもとに、結果メモリ内の行４の行開始位置を変更するとともに、行４のインデント番号を行３のインデント番号＋１、つまり“２”に設定する。行４が下位の行を持っていれば、同様の処理を行なう。
【００５１】
三つには、行３および行４の移動によって、行２の行開始位置を変更しなければならないことである。これは、行４の行開始位置のｙ座標をｙ４、行４のテキストボックスの高さをｈ４、行２の行開始位置のｙ座標をｙ２とすると、ｙ２＝ｙ４＋ｈ４＋αで求めることができる。ここで、αは行間距離であり、ユーザが任意に決定可能な値である。行２の下にさらに行があった場合は、上記の処理を繰り返す。結果はすべて結果メモリに記憶されるので、処理を表示処理に渡せば、表示装置に表示される。以上の処理を行なうことで、図２１（Ｂ）のように、インデントを修正できる。
【００５２】
次いで、ユーザ操作判別処理からの二つ目の出力先である出力処理について説明する。
図２２は、出力処理を説明するための図である。
ステップ９０の出力処理は、結果メモリ１０２に記憶された認識文字列およびアウトライン情報をハードディスクや光ディスクなどの記憶媒体に保存したり、メールとして指定した人物に送信したりする処理を行なう。
まず、図２２に示すように、フォーマット変換処理によって、結果メモリ内の情報を文書化する（ステップ９１）。結果メモリ１０２に記憶されている行開始位置のｙ座標が小さい順にデータを呼び出し、インデント番号をもとに、ｈｔｍｌ文書やＴＡＢテキストのようなファイルフォーマットに変換する。次に、出力するための情報をユーザが入力する。記憶媒体に記憶する場合はファイル名を、メール送信する場合はメールアドレスおよび表題をユーザが入力する。上述のようにして文書化したデータを記憶媒体４あるいはネットワーク５に出力し、出力を行なうと、新たに手書き文字入力を行なうために、ステップ１０の認識命令判別処理に処理を渡す（ステップ９２）。なお、ネットワーク５に出力するためのアプリケーションはＯｕｔｌｏｏｋなどのメールソフトを用いる。
【００５３】
【発明の効果】
本発明は、効果手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書することができ、また、清書したアウトラインを簡単に修正することができる。
【００５４】
本発明は、効果アウトライン清書した文字列を、任意の記憶媒体に記憶したり、メールアドレスおよび表題を入力して任意の人物にメール送信したりすることができる。
【図面の簡単な説明】
【図１】 本発明の手書き文字一括変換装置が適用される会議システムを説明するための構成図である。
【図２】 本発明の手書き文字変換装置で用いる座標入力装置を有する表示装置の仕様の例を示した図である。
【図３】 本発明の手書き文字一括変換装置の概略の処理ブロック図である。
【図４】 認識命令判別処理が実行されるときの表示装置の手書き入力画面の例を示した図である。
【図５】 座標値記憶処理を説明するための図である。
【図６】 ストローク切り分け処理を説明するための図である。
【図７】 行単位切り分け処理を説明するための図である。
【図８】 行単位切り分け処理の動作を説明するための図である。
【図９】 座標値記憶処理の結果、座標値メモリに記憶される座標値，ストローク情報、および行情報の例を示した図である。
【図１０】 手書き文字認識処理を説明するための図である。
【図１１】 手書き文字認識処理の結果、結果メモリに記憶される情報の例を示した図である。
【図１２】 ＩＭＥ漢字変換処理を説明するための図である。
【図１３】 アウトライン清書処理を説明するための図である。
【図１４】 行開始位置算出処理を説明するための図である。
【図１５】 インデント付け処理を説明するための図である。
【図１６】 表示処理を説明するための図である。
【図１７】 ユーザ操作判別処理を説明するための図である。
【図１８】 ユーザ操作判別処理時の手書き入力画面の例を示した図である。
【図１９】 編集処理を説明するための図である。
【図２０】 編集処理時の手書き入力領域の例を示した図である。
【図２１】 インデント修正処理を説明するための図である。
【図２２】 出力処理を説明するための図である。
【符号の説明】
１…パーソナルコンピュータ（ＰＣ）、２…手書き入力画面、２1…座標入力装置、２2…表示装置、２ａ…手書き入力領域、２ｂ…“認識”ボタン、２ｃ…“出力”ボタン、３…操作者（ユーザ）、４…記憶媒体、５…ネットワーク。
Claims (15)
- 操作者が手書き入力する手書き入力画面と、前記手書き入力画面を表示装置として用いることが可能な座標入力装置とが接続される手書き文字一括変換装置において、
前記座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手段と、
前記判定手段において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手段と、
前記判定手段において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手段に記憶された全ての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手段と、
前記座標値記憶手段に記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手段と、
前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手段と、
前記結果記憶手段に記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手段と、
を有することを特徴とする手書き文字一括変換装置。 - 座標値記憶処理手段を備え、
前記座標値記憶処理手段は、
前記座標値入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理部と、
前記座標値入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理部と、
を有し、前記座標入力手段から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶すること
を特徴とする請求項１に記載の手書き文字一括変換装置。 - 前記表示処理手段は、
行単位にテキストボックスを作成するテキストボックス作成処理部と、
前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理部と、
前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理部と、
前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理部とからなること
を特徴とする請求項１または２に記載の手書き情報一括変換装置。 - 前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、
前記ユーザ操作判別手段によって判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手段と、
を備えることを特徴とする請求項１乃至３のいずれか１つに記載の手書き文字一括変換装置。 - 前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、
前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手段と、
を備えることを特徴とする請求項４に記載の手書き文字一括変換装置。 - 前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手段と、
前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手段と、
を備えることを特徴とする請求項４または５に記載の手書き文字一括変換装置。 - 前記データ実行処理手段は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力すること
を特徴とする請求項６に記載の手書き文字一括変換装置。 - コンピュータに、
前記コンピュータが判定手段として、操作者が手書き入力する手書き入力画面を表示装置として用いることが可能な座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手順と、
前記コンピュータが座標値記憶手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手順と、
前記コンピュータが手書き文字認識手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手順により記憶されたすべての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手順と、
前記コンピュータがアウトライン清書手段として、前記座標値記憶手順により記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手順と、
前記コンピュータが結果記憶手段として、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手順と、
前記コンピュータが表示処理手段として、前記結果記憶手順により記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手順と、
を実行させることを特徴とする手書き文字一括変換方法。 - 前記座標値記憶手段のストローク切り分け処理部により、前記座標入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理手順と、
前記座標値記憶手段の行単位切り分け処理部により、前記座標入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理手順と
を有し、
前記座標値記憶手順は、前記座標入力装置から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶すること
を特徴とする請求項８に記載の手書き文字一括変換方法。 - 前記表示処理手順は、
前記表示処理手段のテキストボックス作成処理部により、行単位にテキストボックスを作成するテキストボックス作成処理手順と、
前記表示処理手段のテキスト設定処理部により、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理手順と、
前記表示処理手段のテキストボックス表示位置算出処理部により、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理手順と、
前記表示処理手段の表示処理部により、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理手順とからなること
を特徴とする請求項８または９に記載の手書き情報一括変換方法。 - 前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、
前記コンピュータが編集処理手段として、前記ユーザ操作判別手段により判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手順と、
を備えることを特徴とする請求項８乃至１０のいずれか１つに記載の手書き文字一括変換方法。 - 前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、
前記コンピュータが編集処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手順と、
を備えることを特徴とする請求項１１に記載の手書き文字一括変換方法。 - 前記コンピュータがフォーマット変換処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手順と、
前記コンピュータがデータ実行処理手段として、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手順と、
を備えることを特徴とする請求項１１または１２に記載の手書き文字一括変換方法。 - 前記データ実行処理手順は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力すること
を特徴とする請求項１３に記載の手書き文字一括変換方法。 - 請求項８に記載のコンピュータに、請求項８に記載の手書き文字一括変換方法における、前記判定手順と、前記座標値記憶手順と、前記手書き文字認識手順と、前記アウトライン清書手順と、前記結果記憶手順と、前記表示処理手順とを実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002002946A JP4050055B2 (ja) | 2002-01-10 | 2002-01-10 | 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム |
| US10/338,831 US7215815B2 (en) | 2002-01-10 | 2003-01-09 | Handwriting information processing apparatus, handwriting information processing method, and storage medium having program stored therein for handwriting information processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002002946A JP4050055B2 (ja) | 2002-01-10 | 2002-01-10 | 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208416A JP2003208416A (ja) | 2003-07-25 |
| JP4050055B2 true JP4050055B2 (ja) | 2008-02-20 |
Family
ID=27642663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002002946A Expired - Fee Related JP4050055B2 (ja) | 2002-01-10 | 2002-01-10 | 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7215815B2 (ja) |
| JP (1) | JP4050055B2 (ja) |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1302891A1 (de) * | 2001-10-12 | 2003-04-16 | Siemens Aktiengesellschaft | Vorrichtung zum Erfassen und Darstellen von Bewegungen |
| KR100472429B1 (ko) * | 2002-10-18 | 2005-03-10 | 삼성전자주식회사 | 휴대용 무선단말기의 키패드 어셈블리 및 그 제어방법 |
| JP4393161B2 (ja) * | 2003-11-20 | 2010-01-06 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP4738777B2 (ja) * | 2004-09-02 | 2011-08-03 | 株式会社リコー | 文字認識装置、文字認識方法および文字認識プログラム |
| US8102383B2 (en) * | 2005-03-18 | 2012-01-24 | The Invention Science Fund I, Llc | Performing an action with respect to a hand-formed expression |
| US7791593B2 (en) | 2005-03-18 | 2010-09-07 | The Invention Science Fund I, Llc | Machine-differentiatable identifiers having a commonly accepted meaning |
| US8340476B2 (en) | 2005-03-18 | 2012-12-25 | The Invention Science Fund I, Llc | Electronic acquisition of a hand formed expression and a context of the expression |
| US8823636B2 (en) | 2005-03-18 | 2014-09-02 | The Invention Science Fund I, Llc | Including environmental information in a manual expression |
| US7813597B2 (en) | 2005-03-18 | 2010-10-12 | The Invention Science Fund I, Llc | Information encoded in an expression |
| US8787706B2 (en) | 2005-03-18 | 2014-07-22 | The Invention Science Fund I, Llc | Acquisition of a user expression and an environment of the expression |
| US7961943B1 (en) * | 2005-06-02 | 2011-06-14 | Zeevi Eli I | Integrated document editor |
| JP5230901B2 (ja) * | 2005-11-14 | 2013-07-10 | 株式会社ハル研究所 | ゲームプログラム、ゲーム装置、ゲーム制御方法およびゲームシステム |
| US20070130547A1 (en) * | 2005-12-01 | 2007-06-07 | Navisense, Llc | Method and system for touchless user interface control |
| US8578282B2 (en) * | 2006-03-15 | 2013-11-05 | Navisense | Visual toolkit for a virtual user interface |
| JP5167248B2 (ja) * | 2006-05-11 | 2013-03-21 | プライムセンス リミテッド | 深度マップによるヒューマノイド形状のモデル化 |
| JP4762070B2 (ja) * | 2006-07-19 | 2011-08-31 | 富士通株式会社 | 手書き入力装置、手書き入力方法、及びコンピュータプログラム |
| JP4855965B2 (ja) * | 2007-02-14 | 2012-01-18 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム |
| JP4850746B2 (ja) * | 2007-02-15 | 2012-01-11 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム |
| JP4828448B2 (ja) * | 2007-02-16 | 2011-11-30 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP4909760B2 (ja) * | 2007-02-19 | 2012-04-04 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP4870599B2 (ja) | 2007-03-16 | 2012-02-08 | 株式会社リコー | 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム |
| US8255822B2 (en) * | 2007-12-21 | 2012-08-28 | Microsoft Corporation | Incorporated handwriting input experience for textboxes |
| US8064702B2 (en) * | 2007-12-21 | 2011-11-22 | Microsoft Corporation | Handwriting templates |
| US8116569B2 (en) * | 2007-12-21 | 2012-02-14 | Microsoft Corporation | Inline handwriting recognition and correction |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| CN101510138B (zh) * | 2008-02-16 | 2012-07-11 | 旭丽电子(广州)有限公司 | 显示装置及应用其处理或操作影像对象的方法 |
| JP4661924B2 (ja) | 2008-09-12 | 2011-03-30 | カシオ計算機株式会社 | 辞書機能を備えた電子機器およびプログラム |
| US20100235786A1 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
| US8565479B2 (en) * | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
| US20110164032A1 (en) * | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
| US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| KR101658239B1 (ko) * | 2010-04-15 | 2016-09-30 | 삼성전자주식회사 | 애니메이션 메시지 생성 방법 및 장치 |
| US20110254765A1 (en) * | 2010-04-18 | 2011-10-20 | Primesense Ltd. | Remote text input using handwriting |
| US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
| WO2012011044A1 (en) | 2010-07-20 | 2012-01-26 | Primesense Ltd. | Interactive reality augmentation for natural interaction |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| US9104306B2 (en) * | 2010-10-29 | 2015-08-11 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Translation of directional input to gesture |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| WO2012107892A2 (en) | 2011-02-09 | 2012-08-16 | Primesense Ltd. | Gaze detection in a 3d mapping environment |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| WO2013144807A1 (en) | 2012-03-26 | 2013-10-03 | Primesense Ltd. | Enhanced virtual touchpad and touchscreen |
| US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
| KR20130128681A (ko) * | 2012-05-17 | 2013-11-27 | 삼성전자주식회사 | 서체 보정을 수행하도록 하기 위한 방법 및 그 전자 장치 |
| KR102040851B1 (ko) * | 2012-08-06 | 2019-11-06 | 삼성전자주식회사 | 휴대단말기의 키 입력 방법 |
| CN102866856B (zh) * | 2012-09-05 | 2015-01-07 | 鸿富锦精密工业（深圳）有限公司 | 手写输入笔迹的处理方法及装置 |
| US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
| JP5712232B2 (ja) * | 2013-01-25 | 2015-05-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 入力装置 |
| US9465985B2 (en) | 2013-06-09 | 2016-10-11 | Apple Inc. | Managing real-time handwriting recognition |
| KR20150018127A (ko) | 2013-08-09 | 2015-02-23 | 삼성전자주식회사 | 디스플레이 장치 및 그 방법 |
| US9418281B2 (en) * | 2013-12-30 | 2016-08-16 | Google Inc. | Segmentation of overwritten online handwriting input |
| US9411508B2 (en) * | 2014-01-03 | 2016-08-09 | Apple Inc. | Continuous handwriting UI |
| JP2015148946A (ja) * | 2014-02-06 | 2015-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2015141260A1 (ja) * | 2014-03-17 | 2015-09-24 | 株式会社河合楽器製作所 | 手書き音楽記号認識装置およびプログラム |
| WO2016067417A1 (ja) | 2014-10-30 | 2016-05-06 | 株式会社 東芝 | 電子機器、方法及びプログラム |
| CN105868590B (zh) | 2015-01-19 | 2019-09-10 | 阿里巴巴集团控股有限公司 | 一种笔迹数据处理方法和装置 |
| JP2015122114A (ja) * | 2015-03-04 | 2015-07-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 入力装置 |
| US11157166B2 (en) * | 2015-11-20 | 2021-10-26 | Felt, Inc. | Automove smart transcription |
| US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
| JP2017215833A (ja) * | 2016-06-01 | 2017-12-07 | 株式会社リコー | 情報処理システム、情報処理方法、情報処理装置およびプログラム |
| DK179329B1 (en) | 2016-06-12 | 2018-05-07 | Apple Inc | Handwriting keyboard for monitors |
| US20180033175A1 (en) * | 2016-07-28 | 2018-02-01 | Sharp Kabushiki Kaisha | Image display device and image display system |
| US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
| CN107967479B (zh) * | 2016-10-19 | 2021-11-12 | 深圳怡化电脑股份有限公司 | 一种带污损票据的字符识别方法及系统 |
| US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
| KR102149105B1 (ko) * | 2019-09-18 | 2020-08-27 | 세종대학교산학협력단 | 혼합현실 기반 3차원 스케치 장치 및 방법 |
| KR20220017290A (ko) * | 2020-08-04 | 2022-02-11 | 삼성전자주식회사 | 손글씨 정렬 방법 및 장치 |
| CN115413335A (zh) * | 2021-02-01 | 2022-11-29 | 京东方科技集团股份有限公司 | 手写体识别方法及装置、手写体识别系统和交互平板 |
| CN113723065A (zh) * | 2021-09-02 | 2021-11-30 | 掌阅科技股份有限公司 | 手写批注的展示方法、阅读设备以及计算机存储介质 |
| JP2023137822A (ja) | 2022-03-18 | 2023-09-29 | 株式会社リコー | 表示装置、清書方法、プログラム、情報共有システム |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4935634A (en) * | 1989-03-13 | 1990-06-19 | The Regents Of The University Of California | Atomic force microscope with optional replaceable fluid cell |
| US5537372A (en) * | 1991-11-15 | 1996-07-16 | International Business Machines Corporation | High density data storage system with topographic contact sensor |
| DE69309318T2 (de) * | 1992-01-10 | 1997-10-30 | Hitachi, Ltd., Tokio/Tokyo | Verfahren und Vorrichtung zum Beobachten einer Fläche |
| US5367373A (en) * | 1992-11-19 | 1994-11-22 | Board Of Regents, The University Of Texas System | Noncontact position measurement systems using optical sensors |
| US5481908A (en) * | 1993-04-28 | 1996-01-09 | Topometrix Corporation | Resonance contact scanning force microscope |
| US5356218A (en) * | 1993-05-04 | 1994-10-18 | Motorola, Inc. | Probe for providing surface images |
| US5517578A (en) | 1993-05-20 | 1996-05-14 | Aha! Software Corporation | Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings |
| US5463897A (en) * | 1993-08-17 | 1995-11-07 | Digital Instruments, Inc. | Scanning stylus atomic force microscope with cantilever tracking and optical access |
| US5440920A (en) * | 1994-02-03 | 1995-08-15 | Molecular Imaging Systems | Scanning force microscope with beam tracking lens |
| US5880743A (en) * | 1995-01-24 | 1999-03-09 | Xerox Corporation | Apparatus and method for implementing visual animation illustrating results of interactive editing operations |
| JPH0946370A (ja) | 1995-07-28 | 1997-02-14 | Oki Electric Ind Co Ltd | 電子黒板上に記載されたイメージデータの配布方法 |
| JPH09319503A (ja) | 1996-05-31 | 1997-12-12 | Sanyo Electric Co Ltd | 文書処理装置、文書処理方法、記憶媒体 |
| JP3216800B2 (ja) | 1997-08-22 | 2001-10-09 | 日立ソフトウエアエンジニアリング株式会社 | 手書き文字認識方法 |
| JP2000105671A (ja) | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP2000043485A (ja) | 1998-07-31 | 2000-02-15 | Ricoh Co Ltd | 電子黒板システム |
| JP2000076380A (ja) | 1998-08-31 | 2000-03-14 | Casio Comput Co Ltd | 手書き文字入力装置及び記憶媒体 |
| JP2000099223A (ja) | 1998-09-17 | 2000-04-07 | Fujitsu Ltd | 手書き文字入力インタフェースを有するデータ処理装置及び記録媒体 |
| US6356866B1 (en) * | 1998-10-07 | 2002-03-12 | Microsoft Corporation | Method for converting a phonetic character string into the text of an Asian language |
| US6393395B1 (en) * | 1999-01-07 | 2002-05-21 | Microsoft Corporation | Handwriting and speech recognizer using neural network with separate start and continuation output scores |
| CN1173247C (zh) * | 1999-01-13 | 2004-10-27 | 国际商业机器公司 | 具有文字分割用户接口的手写信息处理系统 |
| JP2001014103A (ja) | 1999-06-30 | 2001-01-19 | Toshiba Corp | 文字入力装置及び文字入力方法 |
| US6931153B2 (en) * | 2000-04-20 | 2005-08-16 | Matsushita Electric Industrial Co., Ltd. | Handwritten character recognition apparatus |
| US7006711B2 (en) * | 2000-06-21 | 2006-02-28 | Microsoft Corporation | Transform table for ink sizing and compression |
| US7039234B2 (en) * | 2001-07-19 | 2006-05-02 | Microsoft Corporation | Electronic ink as a software object |
-
2002
- 2002-01-10 JP JP2002002946A patent/JP4050055B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-09 US US10/338,831 patent/US7215815B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7215815B2 (en) | 2007-05-08 |
| US20030185444A1 (en) | 2003-10-02 |
| JP2003208416A (ja) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4050055B2 (ja) | 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム | |
| JP2845149B2 (ja) | 手書文字入力装置および手書文字入力方法 | |
| JP2001005599A (ja) | 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体 | |
| JP2004152040A (ja) | 手書き入力装置、プログラムおよび手書き入力方法システム | |
| JP2000122768A (ja) | 文字入力装置、方法および記録媒体 | |
| JPS60136890A (ja) | 実時間手書き軌跡認識装置 | |
| JP4698308B2 (ja) | 文字入力装置、文字入力プログラム、および文字入力プログラムを記録する記録媒体 | |
| JP3422634B2 (ja) | 手書き文字認識方法及び装置 | |
| JP3167800B2 (ja) | オンライン文字入力装置 | |
| JPH07200723A (ja) | 文字認識方法及び装置 | |
| JP2004272377A (ja) | 文字編集装置、文字入力・表示装置、文字編集方法、文字編集プログラム及び記憶媒体 | |
| JPH0744308A (ja) | ワードプロセッサ | |
| JP2013218592A (ja) | 文字入力装置 | |
| JPH0973515A (ja) | 文字認識装置 | |
| JPH0728801A (ja) | イメージデータ処理方法及びその装置 | |
| JPH07113951B2 (ja) | 図面認識処理における文字認識結果確認修正処理方式 | |
| JP2876630B2 (ja) | ワードプロセッサシステム | |
| JP2504471B2 (ja) | 文章編集装置 | |
| JP3093366B2 (ja) | 画像処理方法及び装置 | |
| JPH11345071A (ja) | ジェスチャ―処理装置及びジェスチャ―処理方法 | |
| JPH1097531A (ja) | 文書編集装置 | |
| JP2005092257A (ja) | 文字認識装置、文字認識方法、および文字認識プログラム | |
| JPH09230992A (ja) | 情報処理装置 | |
| JP2003308317A (ja) | 文字列変換方法および文字認識方法および文字認識装置および文字認識プログラム | |
| JP2001312261A (ja) | 手書き入力データ表示システム，座標データ入力装置及び表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041213 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071128 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |