JPH0573725A

JPH0573725A - 手書き文字・図形認識装置

Info

Publication number: JPH0573725A
Application number: JP26527891A
Authority: JP
Inventors: Kimiyuki Chatani; 公之茶谷; Hirobumi Tamori; 寛文田守; Akio Sakano; 秋夫坂野; Kimiyoshi Yoshida; 公義吉田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-09-17
Filing date: 1991-09-17
Publication date: 1993-03-26

Abstract

(57)【要約】【目的】視点の移動の煩わしさをなくし、表示を見や
すくし、使用者が結果を認知する速度を向上させ、操作
誤りを低減させ、操作疲労を低減させる。【構成】入力用ペン１００で手書き入力し、既に文字
認識が完了した文字（Ａｌｌｙｏｕｃａｎ）は黒色
で表示し、まだ文字認識が完了していない文字（ｅａ
ｔ）は青色で表示し、両者を色で識別できるようにす
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばカラー表示機能
を持つコンピュータの入力装置として用いて好適な手書
き文字・図形認識装置に関する。

【０００２】

【従来の技術】従来においては、具体例として、図１６
に示すようなシステム構成よりなる手書き文字・図形認
識装置がある。図において、表示制御部１４は認識結果
を加工するためのブロック、入力用ペン１０は入力する
ためのペン、タブレット制御部１１は筆跡を量子化する
ためのブロック、ＣＰＵ部１２は量子化されたデータを
処理するためのブロック、制御部１３はタブレット一体
型の平面表示部である。入力用ペン１０より表示部１３
に入力された筆跡は、タブレット制御部１１において量
子化され、量子化されたデータはＣＰＵ部１２にて処理
され、処理された認識結果は表示制御部１４で加工され
て表示部１３上に表示される。

【０００３】図１７は、従来例の表示、入力画面であ
る。図において、領域２１は入力状態を選択するための
ボタン領域、領域２２は編集状態を選択するためのボタ
ン領域である。領域２１を押すと筆跡入力モードにな
り、領域２２を押すと画面編集モードになる。筆跡２３
は入力された文字筆跡、表示２４は文字認識された結
果、図形２５は図形筆跡、図形２６は図形認識された結
果である。書き込まれた情報が文字であるか図形である
かは、その筆跡がどの領域内に描かれたかで判定する。
図１７の例では、枠２７内は図形を描くための領域、枠
２８内はサインなど、筆跡のままで表示したいものを書
くための領域（無変更領域）、それ以外の領域は文字で
書くための領域である。

【０００４】尚、このシステムは筆跡中に連続的に文字
・図形認識を行うのではなく、例えばペン１０が表示部
１３上から１０cm以上離れた場合にその距離を検出する
ことによって、入力された筆跡２３および図形２５の認
識を開始する。つまり図１７では、表示２４、図形２６
は既に文字または図形としての認識結果が表示され、筆
跡２３、図形２５は表示部１３からペン１０を遠ざけず
に追記している状態を示している。

【０００５】また、図１８は入力情報だけを表示した画
面を示している。このように、入力内容以外の部分を表
示画面から消すこともできる。

【０００６】また、図１９は編集モードの画面表示例を
示している。図において、記号２９は筆跡による編集記
号である。編集モードを選択してからペン１０により記
号２９を手書き入力すると、それが編集コマンドとして
認識され、編集作業が行える。

【０００７】また、図１４は文字種を表示した画面例で
ある。図において、表示３０は漢字の「一」、「カン
ジ」は文字種の表示である。このように表示３０の下に
文字種を区別するため、「カンジ」の表示をする。

【０００８】また、図１５は他の認識候補の存在と、そ
れらの表示を示した画面例である。図において、「東」
は認識結果、網かけは他の認識候補の存在を意味する情
報、「車」、「束」は他の認識候補の表示である。この
ように、認識結果（「東」）の下に他の認識候補
（「車」、「束」）を表示できるようになっている。

【０００９】

【発明が解決しようとする課題】従来の手書き・図形認
識機能を有するコンピュータは、認識結果を使用者にフ
ィードバックする場合、図１４に示すように「一」（漢
数字）の文字種の表示に「カンジ」の文字を用いたり、
図１５に示すように「東」の認識結果に対して他の認識
候補（「車」、「束」）の存在を表示するために領域３
１を網掛け表示にしていた。その結果、これらを確認す
るには、視点を移動させなければならない、結果の認知
に時間がかかる、表示が見にくくなるなどの欠点があっ
た。

【００１０】本発明は以上のような課題を解決するため
に、認識結果のフィードバック情報に色情報を付加する
ことにより、使用者が結果を認知する速度を向上させ、
操作誤りや操作疲労を低減させることを目的とする。

【００１１】

【課題を解決するための手段】請求項１に記載の手書き
文字・図形認識装置は、カラー表示部９を備え、筆跡お
よびカラー表示部９に表現しうる認識結果に対して、色
情報を付加し、この色情報をカラー表示部９に表示する
ものである。

【００１２】請求項２に記載の手書き文字・図形認識装
置は、色情報を、筆跡と認識結果の区別、文字種の区
別、認識信頼度の表示、複数の認識結果の存在の表示、
筆跡の意味の表示、アラインメントの表示のうち、少な
くとも１つについての情報としたものである。

【００１３】

【作用】請求項１に記載の手書き文字・図形認識装置に
おいては、筆跡およびカラー表示部９に表現しうる認識
結果に対して、色情報が付加され、この色情報がカラー
表示部９に表示される。

【００１４】請求項２に記載の手書き文字・図形認識装
置においては、入力データに色情報が付加されることに
よって、筆跡と認識結果の区別、文字種の区別、認識信
頼度の表示、複数の認識結果の存在の表示、筆跡の意味
の表示、アラインメントの表示のうち、少なくとも１つ
が行われる。

【００１５】

【実施例】本発明は、例えば以下に述べるような色情報
を用いて操作性を向上させる。

【００１６】筆跡と認識結果の区別図１は、筆跡と認識結果との区別を表現した表示例を示
している。図において、「ｅａｔ」は入力筆跡、「Ａｌ
ｌｙｏｕｃａｎ」は入力筆跡を認識し終って表示さ
れた文字である。このように、例えば筆跡を青、文字を
黒などのように情報によって色を変える。これにより、
入力内容以外を消去した状態でも、その筆跡が認識され
たものかどうかを明確にすることができる。

【００１７】文字種の区別図２は、文字種の区別を表現した表示例を表している。
図においては漢字が黒、平仮名が黄色、カタカナが赤、
アルファベットが青、数字が緑で示されている。このよ
うに、認識後表示された文字の種別（漢字、平仮名、カ
タカナ、アルファベット、数字など）に応じて、表示色
を変える。これは図１４に示した従来例に対する改善策
である。

【００１８】認識信頼度の表示図３は、認識信頼度の表示を表現した例を示している。
図においては、入力筆跡を認識結果の信頼度に応じて
（明度を信頼度比例させて）表示している。ここで、信
頼度とは、文字認識を行う際に、文字認識装置が持って
いる標準的な文字パターンにどれくらい近かったかを示
す値で、例えば５乃至１の５段階の明度に対応して、
５：非常に一致している、４：かなり一致している、・
・・１：殆んど一致していない、といった意味を持つ。
図３においては「ｎ」が明度２、「ｅｗ」が明度４、
「ｓ」が明度５で表示されている。あるいは信頼度の低
い文字は赤、中くらいのは黄色、高い文字は青の背景で
表示することもできる。このようにすれば誤認識された
文字を後で修正する場合には、明度１のもの、あるいは
赤い背景のもの（認識の信頼度の低いもの）から順に見
ていけば、能率的に認識文字の修正ができる。

【００１９】複数の認識結果の存在の表示図４は、複数の認識結果の存在を示す表示例である。例
えば図において「東」は反転文字で表示されている。こ
こで反転文字は、表示されている他にも候補文字を持つ
ことを示す。これは前述の図１５に示した表示例の改良
策である。

【００２０】筆跡、その他の意味の表示図５は、筆跡の意味を表示する例を示している。例えば
図においては、サイン（「田中一郎」）の筆跡は青で、
編集モードで用いる編集記号（図中の曲線）等は赤で、
編集の対象となる文字（「先にお知らせ・・・会合
を」）や図形は黒で、現在編集中の個所（「３Ａ会議室
・・・４時より」）は黄色で表示する。このように表示
されている筆跡などの意味に色情報を与える。

【００２１】アラインメント表示図６は、アラインメント表示を表現した例を示してい
る。図において、アラインメント機能の格子は点線で、
アラインメントを受けて格子上に配置された図形は赤
で、そうでない図形は黒で表示されている。従来、ＣＡ
Ｄは入力図形の位置がずれても、例えば１cm単位の格子
上の正確な位置に自動的に配置し直すアラインメント機
能を有する。特に手書きの場合は正確に位置を入力する
のが難しいので、この機能を頻繁に利用する。しかし、
表示の分解能が粗いと、図形がアラインメントを受けた
のかどうか判別しにくい場合がある。そこで図６に示す
ように、図形認識の際にアラインメントを受けたのかど
うかを色情報を与えることによって視認性が高まる。

【００２２】また、これらの色情報の付加に関しては、
モノクロディスプレイの手書き文字・認識装置などで用
いられてきた白黒反転、点滅、対象領域の網掛け処理、
線分の破線化などと組合せることも許容するようにする
こともできる。これにより、従来より操作性の良いイン
ターフェースの提供が実現できる。

【００２３】図７に上記機能を実現するための機能ブロ
ック図を示す。図において、タブレット１０１はペン１
００からの筆跡入力を量子化する。筆跡保存部１０２は
タブレット１０１から供給された筆跡入力を保存する。
筆跡意味解析部１０３は、ルールベース１０４に記憶さ
れている位置、状態、機能等の参照データを参照して筆
跡入力を解析する。文字認識部１０５と図形認識部１０
６は、ディマルチプレクサ１１０を会して筆跡保存部１
０２より供給されたデータを、それぞれ文字または図形
として認識する。表示制御部７は、ルールベース１０４
に記憶されている表示内容のデータを参照して、ディマ
ルチプレクサ１１０より供給されるデータを処理し、カ
ラー表示部１０９に表示させる。

【００２４】以上の構成により、基本的にはユーザが入
力用ペン１００により文字、数字、図形あるいは編集記
号などを入力し、その筆跡および認識結果に対して色情
報を付加し、この色情報をユーザへフィードバックす
る。

【００２５】ペン１００を通してタブレット１０１から
入力された筆跡は、ノイズ除去等の処理をした後、一
旦、筆跡保存部１０２に蓄えられる。次に筆跡意味解析
部１０３がその筆跡がどういう意味を持つか（例えば、
装置のモードは何か、筆跡の位置はどこか、文字、図
形、編集記号のうちどれかなど）をルールベース１０４
のデータを参照して判定する。筆跡保存部１０２に保存
された筆跡データは文字と認識された時、ディマルチプ
レクサ１１０を介して文字認識部１０５に送られ、図形
と認識された時、ディマルチプレクサ１１０を介して図
形認識部１０６に送られ、処理される。また、そのまま
の筆跡がディマルチプレクサ１１０を介して表示制御部
１０７に送られる。表示制御部１０７は、認識部１０
５，１０６や筆跡保存部１０２からの情報や筆跡の意味
をもとに、表示内容を記述したルールベース１０８を参
照して、表示部１０９に目的に合った色や状態で表示を
行う。

【００２６】次に、図８乃至図１１のフローチャートに
従って、各部のより詳細な処理動作について説明する。
図８は、筆跡保存部１０２における筆跡入力の蓄積処理
を説明するフローチャートである。まず、入力用ペン１
００より筆跡を入力すると、ステップ４０で筆跡データ
をタブレット１０１から読み込む。ステップ４１では、
読み込んだデータに対してノイズ除去などの前処理を行
う。その後、ステップ４２でそのデータを筆跡保存部１
０２に保存する。ステップ４０乃至４２は単純な無限ル
ープとして行われる。

【００２７】図９は、筆跡意味解析部１０３における筆
跡の意味を解析する処理を説明するフローチャートであ
る。まずステップ５１で筆跡保存部１０２から筆跡デー
タを取り出す。ステップ５２でモードの判定が行われ
る。ここで、入力モードと判定されればステップ５３へ
進み、編集モードと判定されればステップ５７へ進む。

【００２８】ステップ５３では筆跡がどの領域に書かれ
たかを判定する。図形を描くための領域（図形認識領
域）と判定されれば、ステップ５４で図形認識に関する
筆跡を入力中であると判定し、筆跡保存部１０２のデー
タが図形認識部１０６に送られるようにディマルチプレ
クサ１１０を制御する。また無変更領域と判定されれ
ば、ステップ５５でサインなどの筆跡を入力中であると
判定して、データを表示制御部１０７を介して表示部１
０９に送出する。また、その他の領域と判定されれば、
ステップ５６で文字認識に関する筆跡を入力中であると
して、データを文字認識部１０５に送出する。

【００２９】一方、ステップ５７でもステップ５３と同
様の判定を行なう。ここで、図形認識領域と判定されれ
ば、ステップ５８で図形認識の対象とされる図形編集操
作を入力中であることの信号を表示制御部１０７に送出
する。また、無変更領域と判定されれば、ステップ５９
でサインなどの編集操作を入力中であることの信号を表
示制御部１０７に送出する。また、その他の領域と判定
されれば、ステップ６０で文字認識の対象とされる文字
編集操作を入力中であることの信号を表示制御部１０７
に送出する。

【００３０】図１０は、入力筆跡の表示処理過程を説明
するフローチャートである。ステップ７１では上記の図
９に示したステップ５１乃至６０に従って、筆跡保存部
１０２の筆跡の位置、装置の状態や機能などから筆跡の
意味を判定する。ステップ７２で文字または図形の筆跡
入力であると判定されればステップ７３に進み、編集入
力であると判定されれば、ステップ７４へ進む。ステッ
プ７３では筆跡を表示制御部１０７へ送り、ルールベー
ス１０８内の参照データを参照して筆跡に色情報を付加
し、表示部１０９上に筆跡を「文字または図形筆跡」色
（この点については後述する）で表示する。また、ステ
ップ７４では筆跡を表示制御部１０７へ送り、ルールベ
ース１０８内の参照データを参照して筆跡に色情報を付
加し、表示部１０９上に筆跡を「編集操作筆跡」色で表
示する。

【００３１】図１１は、認識結果の表示処理過程を説明
するフローチャートである。ステップ８１では、文字認
識部１０５および図形認識部１０６によって筆跡の認識
結果を判定する。文字認識結果であればステップ８２へ
進む。ステップ８２では表示制御部１０７によって、文
字認識結果についての表示ルールをルールベース１０８
内の参照データを参照して調べ、認識結果に色情報を付
加し、それを表示部１０９上に表示させる。またステッ
プ８１で結果が認識されていない筆跡であると判定され
ればステップ８３へ進む。ステップ８３では表示制御部
１０７によって、認識されていない筆跡についての表示
ルールをルールベース１０８内の参照データを参照して
調べ、認識結果に色情報を付加し、それを表示部１０９
上に表示させる。またステップ８１で結果が図形認識結
果であると判定されればステップ８４へ進む。ステップ
８４では表示制御部１０７によって、図形認識結果につ
いての表示ルールをルールベース１０８内の参照データ
を参照して調べ、認識結果に色情報を付加し、それを表
示部１０９上に表示させる。

【００３２】ルールベースの記述例について説明する。
図１２は、位置、状態、機能ルールベース１０４内の記
述例を示している。例えば装置の状態が「入力」状態で
あり、筆跡の位置情報が「図形入力領域」であれば、色
は「青」で表示は「通常」とされる。また、位置の状態
が「編集」状態であり、筆跡の位置情報が「文字入力領
域」であれば、色は「赤」で表示は「通常」とされる。

【００３３】図１３は、表示内容ルールベース１０８内
の記述例である。例えば認識結果が「文字認識結果」
で、他候補が「あり」で、信頼度が「低い」場合、色は
「赤」で表示は「網掛け」とされる。また、認識結果が
「図形認識結果」であり、アラインメントが「格子上」
（つまり、認識結果がアラインメントを受けているとい
うこと）であり、他候補が「なし」であれば、色は
「橙」で表示は「通常」とされる。また、認識結果が
「認識していない筆跡」で「サイン」であれば、色は
「黒」で表示は「通常」とされる。

【００３４】

【発明の効果】以上のように本発明によれば、筆跡およ
び認識結果に対して色情報を付加し、この色情報をカラ
ー表示部に表示するようにしたので、視点の移動の必要
がなくなり、表示が見やすくなる。また、使用者が結果
を認知する速度が向上し、操作誤りが低減し、操作疲労
を低減することができる効果がある。

【図面の簡単な説明】

【図１】本発明の手書き文字・図形認識装置の一実施例
における筆跡と認識結果の区別の表示例を示す図であ
る。

【図２】本発明の手書き文字・図形認識装置の一実施例
における文字種の区別の表示例を示す図である。

【図３】本発明の手書き文字・図形認識装置の一実施例
における認識信頼度の表示例を示す図である。

【図４】本発明の手書き文字・図形認識装置の一実施例
における複数の認識結果の存在を示す表示例の図であ
る。

【図５】本発明の手書き文字・図形認識装置の一実施例
における筆跡の意味の表示例を示す図である。

【図６】本発明の手書き文字・図形認識装置の一実施例
におけるアラインメント表示の例を示す図である。

【図７】本発明の手書き文字・図形認識装置の一実施例
の構成を示すブロック図である。

【図８】図７の実施例における筆跡入力の蓄積処理を説
明するフローチャートである。

【図９】図７の実施例における筆跡の意味を解析する処
理過程を説明するフローチャートである。

【図１０】図７の実施例における筆跡入力の表示処理過
程を説明するフローチャートである。

【図１１】図７の実施例における認識結果の表示処理過
程を説明するフローチャートである。

【図１２】図７のルールベース１０４の記述例を示す図
である。

【図１３】図７のルールベース１０８の記述例を示す図
である。

【図１４】従来例による手書き文字・図形認識装置にお
ける文字種の表示例を示す図である。

【図１５】従来例による手書き文字・図形認識装置にお
ける他の認識候補の存在とそれらの表示の例を示す図で
ある。

【図１６】従来例による手書き文字・図形認識装置の構
成を示すブロック図である。

【図１７】従来例による手書き文字・図形認識装置の入
力画面の表示例を示す図である。

【図１８】従来例による手書き文字・図形認識装置にお
いて入力情報だけを表示した表示画面の図である。

【図１９】従来例による手書き文字・図形認識装置にお
ける編集モード時の表示画面の図である。

【符号の説明】

１００入力用ペン１０１タブレット１０３筆跡意味解析部１０５文字認識部１０６図形認識部１０７表示制御部１０９カラー表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者吉田公義東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】入力用ペンにより筆跡を入力する手書き
文字・図形認識装置において、カラー表示部を備え、上
記筆跡および上記カラー表示部に表現しうる認識結果に
対して、色情報を付加し、この色情報を上記カラー表示
部上に表示するようにしたことを特徴とする手書き文字
・図形認識装置。
【請求項２】上記色情報は、上記筆跡と上記認識結果
との区別、文字種の区別、認識信頼度の表示、複数の認
識結果の存在の表示、上記筆跡の意味の表示、アライン
メントの表示のうち、少なくとも１つについての情報で
あることを特徴とする請求項１に記載の手書き文字・図
形認識装置。