JPH06295223A

JPH06295223A - 情報認識装置

Info

Publication number: JPH06295223A
Application number: JP10511693A
Authority: JP
Inventors: Toru Yamakita; 徹山北
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1993-04-06
Filing date: 1993-04-06
Publication date: 1994-10-21
Anticipated expiration: 2016-08-20
Also published as: JP3200642B2

Abstract

(57)【要約】【目的】本発明は、手軽に利用可能で、かつ使用環境
を拡大可能な記入情報を認識する情報認識装置を提供す
ることを目的とする。【構成】画像検出部３は、カメラ２により撮影される
画像に基づいて筆記具軌跡サンプリングフロー及び筆記
文字サンプリングフローを実行し、記入される記入面の
原点座標を検出して検出用ＲＡＭ５に書込み、紙面上で
記入される際の筆記具３０の先端軌跡に基づく位置座標
を逐次検出して検出用ＲＡＭ５に書込む。画像認識部４
は、画像検出部３により検出されて検出用ＲＡＭ５に書
込まれる原点座標データ、逐次書込まれる位置座標デー
タ及び近傍領域変化データに基づいて筆記文字認識フロ
ーを実行し、記入中のデータを認識用ＲＡＭ６内に展開
して文字データを認識し、認識した文字データをメイン
メモリ７に格納し、また、文字座標、文字サイズ補正フ
ローを実行し、認識した隣接文字データ間の座標及びサ
イズを補正する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報認識装置に係り、
詳細には、筆記具により記入される情報もしくは筆記具
の軌跡を検出して記入情報を認識する情報認識装置に関
する。

【０００２】

【従来の技術】従来、手書きにより記入された文書書類
等の紙面上の文字等の情報を認識する情報認識装置とし
ては、例えば、紙面上の文字等の記入情報を画像として
読み取るスキャナと、所定の文字認識プログラムを利用
してスキャナにより読み取られる文字画像を文字データ
として認識処理するパーソナルコンピュータとから構成
されており、パーソナルコンピュータを持つ個人でもス
キャナと文字認識ソフトを用意することにより利用可能
である。

【０００３】また、高速な文字認識を必要とする場合に
は、より高速の文字認識処理を行う専用装置として構成
されるため、パーソナルコンピュータで構成するものよ
りも高価になる。

【０００４】また、筆記具の軌跡をタッチパネル等でコ
ンピュータに入力して筆記文字を入力認識させるための
装置として文字入力用のタブレットも実用化されてい
る。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の情報認識装置にあっては、個人で利用可能な
構成のものであってもスキャナ、文字認識ソフト及びパ
ーソナルコンピュータといった大掛かりなものが必要で
あるとともに、頁単位でスキャナに読み取らせるように
なっているため、文章への記入工程とは別の読取工程が
必要になり、使用環境が限られ、誰でも手軽に利用でき
ないという問題点があった。

【０００６】また、文字入力タブレットを利用する場合
は、専用のタブレットに記入された文字以外は認識でき
ず、やはり使用環境が限られてしまう。

【０００７】本発明の課題は、手軽に利用可能で、かつ
使用環境を拡大可能な記入情報を認識する情報認識装置
を提供することである。

【０００８】

【課題を解決するための手段】本発明の手段は次の通り
である。

【０００９】請求項１記載の発明は、筆記具により文字
等の情報が記入される記入面を撮影する撮影手段と、こ
の撮影手段により撮影される記入面の原点座標を検出す
るとともに、この原点座標からの筆記具により記入され
る記入情報の位置座標を検出する座標検出手段と、この
座標検出手段により検出される原点座標及び記入情報の
位置座標に基づいて描画データを展開するデータ展開手
段と、このデータ展開手段に展開された描画データに基
づいて記入情報を認識する認識手段と、この認識手段に
より認識された前回と今回の記入情報の位置座標に基づ
いて各記入情報の位置座標を補正する補正手段と、を具
備したことを特徴としている。

【００１０】請求項２記載の発明は、筆記具により文字
等の情報が記入される記入面を撮影する撮影手段と、こ
の撮影手段により撮影される記入面の原点座標を検出す
るとともに、この原点座標からの筆記具により記入され
る記入情報の位置座標を検出する座標検出手段と、この
座標検出手段により検出される原点座標及び記入情報の
位置座標に基づいて描画データを展開するデータ展開手
段と、このデータ展開手段に展開された描画データに基
づいて記入情報を認識する認識手段と、この認識手段に
より認識された前回と今回の記入情報のサイズに基づい
て各記入情報のサイズを補正する補正手段と、を具備し
たことを特徴としている。

【００１１】請求項３記載の発明は、筆記具により文字
等の情報が記入される記入面を撮影する撮影手段と、こ
の撮影手段により撮影される記入面の原点座標を検出す
るとともに、この原点座標からの筆記具により記入され
る記入情報の位置座標を検出する座標検出手段と、この
座標検出手段により検出される原点座標及び記入情報の
位置座標に基づいて描画データを展開するデータ展開手
段と、このデータ展開手段に展開された描画データに基
づいて記入情報が文字情報か否かを認識し、文字情報と
して認識不可のときは、図形情報として認識する認識手
段と、を具備したことを特徴としている。

【００１２】請求項４記載の発明は、筆記具により文字
等の情報が記入される記入面を撮影する撮影手段と、上
記撮影手段により撮影される記入面の原点座標を検出す
るとともに、この原点座標からの筆記具の位置座標を検
出する座標検出手段と、この検出される原点座標及び記
入情報の位置座標に基づいて筆記具の軌跡を示す描画デ
ータを展開するデータ展開手段と、このデータ展開手段
に展開された描画データに基づいて記入情報が文字情報
か否かを認識し、文字情報として認識不可のときは、図
形情報として認識する認識手段と、を具備したことを特
徴としている。

【００１３】

【作用】本発明の手段の作用は次の通りである。

【００１４】請求項１記載の発明によれば、撮影手段に
より筆記具により文字等の情報が記入される記入面が撮
影されると、その記入面の原点座標が座標検出手段によ
り検出されるとともに、この原点座標からの筆記具によ
り記入される記入情報の位置座標が検出され、この座標
検出手段により検出される原点座標及び記入情報の位置
座標に基づいて描画データがデータ展開手段により展開
され、このデータ展開手段に展開された描画データに基
づいて記入情報が認識手段により認識され、この認識手
段により認識された前回と今回の記入情報の位置座標に
基づいて補正手段により各記入情報の位置座標が補正さ
れる。例えば、各記入情報が隣接情報のときは各記入情
報の配列がそろうように補正手段により各記入情報の位
置座標が補正される。

【００１５】請求項２記載の発明によれば、撮影手段に
より筆記具により文字等の情報が記入される記入面が撮
影されると、その記入面の原点座標が座標検出手段によ
り検出されるとともに、この原点座標からの筆記具によ
り記入される記入情報の位置座標が検出され、この座標
検出手段により検出される原点座標及び記入情報の位置
座標に基づいて描画データがデータ展開手段により展開
され、このデータ展開手段に展開された描画データに基
づいて記入情報が認識手段により認識され、この認識手
段により認識された前回と今回の記入情報のサイズに基
づいて、記入情報のサイズを補正手段により補正する。
例えば、各記入情報が隣接情報のときは各記入情報のサ
イズがそろうように補正手段により各記入情報のサイズ
が補正される。

【００１６】請求項３記載の発明によれば、撮影手段に
より筆記具により文字等の情報が記入される記入面が撮
影されると、その記入面の原点座標が座標検出手段によ
り検出されるとともに、この原点座標からの筆記具によ
り記入される記入情報の位置座標が検出され、この座標
検出手段により検出される原点座標及び記入情報の位置
座標に基づいて描画データがデータ展開手段により展開
され、このデータ展開手段に展開された描画データに基
づいて認識手段により記入情報が文字情報か否かが認識
され、文字情報として認識不可のときは、図形情報とし
て認識される。請求項４記載の発明によれば、撮影手段
により筆記具により文字等の情報が記入される記入面が
撮影されると、その記入面の原点座標が座標検出手段に
より検出され、また、座標検出手段により原点座標から
の筆記具の記入情報の位置座標が検出され、この検出さ
れる原点座標及び記入情報の位置座標に基づいて筆記具
の軌跡を示す描画データがデータ展開手段により展開さ
れ、このデータ展開手段に展開された描画データに基づ
いて認識手段により記入情報が文字情報か否かが認識さ
れ、文字情報として認識不可のときは、図形情報として
認識される。

【００１７】したがって、リアルタイムに記入中の文字
等の記入情報の軌跡を検出して、記入情報を認識するこ
とができ、ノートや伝票等に記入される情報を必要に応
じてデータとして入力利用することができる。また、認
識した記入情報は、見やすく配列して出力することがで
きるとともに、文字情報と図形情報も認識することがで
きる。その結果、情報認識装置の使用環境を大幅に拡大
することができる。

【００１８】

【実施例】以下、図１〜図１２を参照して実施例を説明
する。

【００１９】図１〜図１２は、本発明の情報認識装置の
一実施例を示す図である。

【００２０】まず、構成を説明する。図１は、情報認識
装置１のブロック構成図である。

【００２１】この図において、情報認識装置１は、カメ
ラ２、画像検出部３、画像認識部４、検出用ＲＡＭ５、
認識用ＲＡＭ６、メインメモリ７、処理装置８、表示メ
モリ９、表示部１０及びＩ／Ｏ１１により構成される。
また、情報認識装置１の外観及び使用状態を図２に示
す。

【００２２】カメラ２は、ＣＣＤ（Charge Coupled Dev
ice ）カメラ等により構成され、図２に示すように、情
報認識装置１がユーザーの腕に装着され、紙面２０に対
向して設置された時、筆記具３０もしくは筆記具３０に
より紙面２０に記入されたデータを所定撮影範囲で走査
して撮影し、その撮影した画像を逐次画像検出部３に出
力する。

【００２３】画像検出部３は、カメラ２により撮影され
る画像に基づいて後述する筆記文字サンプリングフロー
もしくは筆記具軌跡サンプリングフローを実行し、記入
される記入面の原点座標を検出して検出用ＲＡＭ５に書
込むとともに、紙面２０上で記入される際の筆記具３０
の先端軌跡に基づく位置座標もしくは紙面に記入された
データの位置座標を逐次検出して検出用ＲＡＭ５に書込
む処理を行う。

【００２４】画像認識部４は、画像検出部３により検出
されて検出用ＲＡＭ５に書込まれる原点座標データ及び
逐次書込まれる位置座標データ及び近傍領域変化データ
に基づいて後述する筆記文字認識フローを実行し、記入
中のデータを認識用ＲＡＭ６内に展開して、展開したデ
ータに基づいて文字データの認識処理を実行し、認識し
た文字データをメインメモリ７に格納する。また、画像
認識部４は、後述する文字座標、文字サイズ補正フロー
を実行し、認識した隣接する各文字データの座標及びサ
イズを補正する。

【００２５】検出用ＲＡＭ（Random Accesss Memory ）
５は、画像検出部３により検出される上記紙面２０上の
原点座標データ及び記入中の位置座標データを書込むた
めのデータメモリエリアとして、位置座標データを書込
むスタックメモリＳ、筆記具先端位置座標データを書込
む座標メモリＺ、この座標メモリＺに書込まれた位置座
標データと相関して逐次変化する筆記用具先端位置近傍
領域の変化データを書込むデータメモリＤを形成する。

【００２６】認識用ＲＡＭ６は、画像認識部４が上記文
字認識処理を実行する際に原点座標データ及び記入中の
位置座標データに基づいて記入中の文字データを展開す
るメモリエリアを形成し、例えば、図３に示すように、
ブロックメモリＢを形成し、その各ブロックメモリＢ
１、Ｂ２、Ｂ３毎に各々記入中のデータを展開する。な
お、図３に示す各ブロックメモリＢ１、Ｂ２、Ｂ３に
は、各々文字データの展開エリアＢ１ａ、Ｂ２ａ、Ｂ３
ａの他に、文字座標（Ｘi，Ｙi）と文字サイズ（Ｆi ）
を各々書込むエリアＢ１ｂ、Ｂ２ｂ、Ｂ３ｂ及び認識フ
ラグと文字コードを各々書込むエリアＢ１ｃ、Ｂ２ｃ、
Ｂ３ｃも用意されている。また、認識用ＲＡＭ６内に
は、上記検出用ＲＡＭ５内のスタックメモリＳに書込ま
れる位置座標データを一時的に格納するメモリエリアＴ
も形成する。

【００２７】メインメモリ７は、処理装置８が実行する
各種処理プログラムを格納するとともに、画像認識部４
により認識された文字データを格納するメモリエリアを
形成する。

【００２８】処理装置８は、画像認識部４により認識さ
れてメインメモリ７に格納された文字データを順次読み
出して表示メモリ９に書込み、表示部１０に表示させる
表示処理やＩ／Ｏ１１を介して外部のコンピュータに対
する文字データの転送処理等を実行する。

【００２９】表示メモリ９は、表示部１０の表示領域に
対応するメモリエリアを形成し、処理装置８によりメイ
ンメモリ７から読み出される文字データが順次書込まれ
ると、その文字データを表示部１０に順次転送する。

【００３０】表示部１０は、液晶表示パネルにより構成
され、表示メモリ９に順次書込まれて転送される文字デ
ータを表示する。なお、表示部１０は、液晶表示パネル
及び光源を有し、光源によって液晶表示パネルを照射
し、これを壁面、紙面等へ投影するように構成してもよ
い。

【００３１】Ｉ／Ｏ１１は、処理装置８と外部のコンピ
ュータとの間のデータの授受を制御し、処理装置８から
入力される文字コードデータを外部のコンピュータ等へ
出力する。

【００３２】次に、本実施例の動作を説明する。

【００３３】まず、上記画像検出部３により実行される
筆記文字サンプリングフローについて図４に示すフロー
チャートに基づいて説明する。なお、本処理は、一定の
サンプリングタイミングで繰り返し実行される。

【００３４】図４において、まず、図５に示す紙面２０
左端上の原点座標及び上端の基準Ｘ軸を検出する（ステ
ップＳ１）。次いで、この検出した原点座標及び基準Ｘ
軸のデータに基づいて筆記具３０の先端位置の座標を検
出して検出用ＲＡＭ５内の座標メモリＺに記憶する（ス
テップＳ２）。

【００３５】なお、原点座標及び基準Ｘ軸は、紙面２０
の紙端を用いたが、紙面上に原点座標及び基準Ｘ軸もし
くはＹ軸を記入し、これを検出するようにしてもよい。

【００３６】この時、筆記具３０の先端形状を予め記憶
することにより先端位置を検出し、検出した位置座標デ
ータ（Ｘi，Ｙi）は、検出用ＲＡＭ５内の座標メモリＺ
に前回記憶したデータ分をシフトして記憶する。

【００３７】次いで、検出した座標近傍位置のデータを
認識用ＲＡＭ６内のデータメモリＤに前回記憶したデー
タ分をシフトして記憶する（ステップＳ３）。すなわ
ち、筆記具３０の先端の近傍領域のデータを記憶する。
次いで、今回のサンプリングで記憶した座標データと前
回のサンプリングで記憶した座標データの差分（変化
分）が所定値以上か否かを判別し（ステップＳ４）、所
定値以上の時は、前回の筆記位置とは全く別の位置に筆
記された新たなデータと判断され、また、等しい時は、
前回のサンプリング時点と変化が無いので、本処理を終
了する。所定値の範囲にある時は、前回記憶した線の太
さ等のデータを比較する（ステップＳ５）。そして、そ
のデータに変化が無い時は、本処理を終了し、変化が有
る時は、その変化データを求め座標データとともに検出
用ＲＡＭ５内のスタックメモリＳに格納して本処理を終
了する。

【００３８】したがって、本筆記文字軌跡サンプリング
フローを繰り返し実行し、図６に示すように、今回と前
回に記憶した筆記具３０の先端位置座標データ及び先端
近傍の変化データとの差分を取ることにより、記入中の
筆記具３０先端の紙面２０上の軌跡を示すデータをスタ
ックメモリＳに順次格納することができる。

【００３９】次に、上記画像認識部４により実行される
筆記文字認識フローについて図７、図８に示すフローチ
ャートに基づいて説明する。なお、本処理は適宜繰り返
し実行される。

【００４０】図７において、まず、上記画像検出部３に
より検出用ＲＡＭ５内のスタックメモリＳに記憶された
全データを読み出し、認識用ＲＡＭ６内のメモリエリア
Ｔに格納し（ステップＳ１１）、スタックメモリＳをク
リアする（ステップＳ１２）。次いで、ステップＳ１１
でメモリエリアＴに格納したデータを読み出し（ステッ
プＳ１３）、全データの読み出しが終了したか否かをチ
ェックし（ステップＳ１４）、全データの読み出しが終
了した時は、本処理を終了し、全データの読み出しが終
了していない時は、読み出したデータの座標領域が上記
図３に示したブロックメモリＢの新ブロックか否かを、
前回の認識処理によりブロックＢ１とブロックＢ２内に
展開した記入データの座標を比較して判別する（ステッ
プＳ１５）。

【００４１】なお、ブロックメモリＢの内の各ブロック
Ｂ１、Ｂ２、Ｂ３は、１文字分のデータを記憶する容量
を備えている。

【００４２】すなわち、このステップＳ１５の処理で
は、記入中のデータが前回ブロックメモリＢに展開した
記入データから全く離れた紙面２０上に記入されている
データか否かを判別している。

【００４３】新ブロックの時は、図８のステップＳ１６
において、前回の筆記文字認識フローによりブロックメ
モリＢに展開した記入データが全て認識済みか否かを、
ブロックメモリＢ内の各ブロックＢ１〜Ｂ３のエリアＢ
１ｃ〜Ｂ３ｃに格納される認識フラグの有無により判別
する。全ての記入データが認識済みでない時は、認識不
可ブロックの記入データを図形データとしてメインメモ
リ７に格納し（ステップＳ１７）、ブロックメモリＢ内
の全記入データをクリアする（ステップＳ１８）。ま
た、全ブロックＢ１〜Ｂ３の記入データが認識済みの時
は、直ちにブロックメモリＢ内の全記入データをクリア
する（ステップＳ１８）。

【００４４】なお、ステップＳ１７で文字データとして
認識できない図形データの場合、その記入データをブロ
ックメモリＢのブロックＢ１〜Ｂ３内の展開エリアＢ１
ａ〜Ｂ３ａに連続的に描画していく時、予め設定した展
開エリアＢ１ａ〜Ｂ３ａに収らない場合が考えられる
が、この場合は、各展開エリアＢ１ａ〜Ｂ３ａを記入デ
ータに応じて拡大して対処する。また、各展開エリアＢ
１ａ〜Ｂ３ａを拡大して展開した図形データは、その展
開したサイズでメインメモリ７に格納される。

【００４５】次いで、今回認識する記入データ及びその
記入データの座標データをブロックＢ１内の展開エリア
Ｂ１ａに展開するとともに、エリアＢ１ｂに記憶した後
（ステップＳ１９）、図７のステップＳ２５以降の処理
を実行する。

【００４６】また、図７のステップＳ１４において、新
ブロックでない時は、先に記入データを展開したブロッ
クＢ１あるいはブロックＢ２に隣接する次のブロックか
否か、すなわち、複数文字からなる文字列の記入におけ
る隣接文字か否かを、そのブロックＢ１あるいはブロッ
クＢ２に記憶した座標データに基づいて判別する（ステ
ップＳ２０）。隣接する次のブロックの時は、ステップ
Ｓ２１の処理に移行し、隣接する次のブロックでない時
は、ステップＳ２４の処理に移行する。

【００４７】隣接する次ブロックの時は、ステップＳ２
１において、ブロックＢ３内の展開エリア３ａに先に展
開した記入データが、認識済みか否かをエリアＢ３ｃに
格納されている認識フラグの有無により判別する。ブロ
ックＢ３内の記入データが認識済みでない時は、その座
標データに対応付けて図形データとしてメインメモリ７
に格納し（ステップＳ２２）、ブロックメモリＢ内のデ
ータをシフトする（ステップＳ２３）。また、ブロック
Ｂ３内の記入データが認識済みの時は、直ちにブロック
メモリＢ内のデータをシフトする（ステップＳ２３）。

【００４８】すなわち、隣接するブロックの時は、その
先に記入データを展開したブロックＢ３のデータをブロ
ックＢ１にシフトする。

【００４９】なお、ステップＳ２２では、上記ステップ
Ｓ１７と同様に各ブロックＢ１〜Ｂ３の展開エリアＢ１
ａ〜Ｂ３ａに収りきらない図形データに対しては、各展
開エリアＢ１ａ〜Ｂ３ａを図形データに応じて拡大して
展開し、その展開したサイズで図形データをメインメモ
リ７に格納する。

【００５０】次いで、今回の記入データを座標データに
応じてブロックメモリＢ内のブロックＢ１あるいはブロ
ックＢ２に展開し（ステップＳ２４）、その展開した記
入データの文字認識処理を行う（ステップＳ２５）。次
いで、認識した記入データに対して後述する文字座標、
文字サイズの補正フローを実行する（ステップＳ２
６）。この文字座標、文字サイズの補正フローを終了し
た後、ステップＳ２５の処理で認識した各ブロックＢ１
〜Ｂ３の記入データに対応する文字コードデータをメイ
ンメモリ７に書込む（ステップＳ２７）。

【００５１】次いで、次に上記メモリＴから読み出した
データを指定して（ステップＳ２８）、上記ステップＳ
１４の処理に戻り、そのデータが終了するまで上記ステ
ップＳ１５〜ステップＳ２７の文字認識処理を繰り返し
実行する。

【００５２】次に、上記図７のステップＳ２６で実行さ
れる文字座標、文字サイズの補正フローについて図９に
示すフローチャートに基づいて説明する。

【００５３】図９において、まず、ブロックメモリＢの
ブロックＢ２内のエリアＢ２ｃにおける認識フラグの有
無をチェックし（ステップＳ３１）、認識フラグが無い
時は、本処理を終了し、認識フラグが有る時は、ブロッ
クＢ２の展開エリアＢ２ａに展開した記入データの文字
サイズに対してブロックＢ１の展開エリアＢ１ａに展開
した記入データの文字サイズの差が、所定範囲内にある
か否かをエリアＢ１ｂ及びエリアＢ２ｂに格納されてい
る文字サイズデータＦ１及びＦ２により比較（Ｆ１≒Ｆ
２）する（ステップＳ３２）。所定範囲内にない時は、
ステップＳ３４のＹ座標の比較処理に移行し、所定範囲
内にある時は、ブロックＢ１の文字サイズデータＦ１を
ブロックＢ２の文字サイズデータＦ２に変更した後（ス
テップＳ３３）、ステップＳ３４のＹ座標の比較処理に
移行する。

【００５４】すなわち、ブロックＢ１の展開エリアＢ１
ａに展開した記入データの文字サイズＦ１をブロックＢ
２の展開エリアＢ２ａに展開した記入データの文字サイ
ズＦ２に合せる。

【００５５】次いで、ステップＳ３４において、ブロッ
クＢ２のエリアＢ２ｂに格納しているＹ軸の座標データ
Ｙ2 とブロックＢ１のエリアＢ１ｂに格納しているＹ軸
の座標データＹ1 との差の絶対値（｜Ｙ2 −Ｙ1 ｜）
が、所定値（ｙ0 ）の範囲内か否かを判別する（ステッ
プＳ３４）。Ｙ2 とＹ1 の差の絶対値が所定値（ｙ0 ）
以上の時は（｜Ｙ2 −Ｙ1 ｜≧ｙ0 ）、ブロックＢ２の
エリアＢ２ｂに格納しているＸ軸の座標データＸ2 とブ
ロックＢ１のエリアＢ１ｂに格納しているＸ軸の座標デ
ータＸ1 との差の絶対値（｜Ｘ2 −Ｘ1 ｜）が、所定値
（ｘ0 ）の範囲内か否かを判別する（ステップＳ３
５）。Ｘ2 とＸ1 の差の絶対値が所定値（ｘ0）以上の
時は（｜Ｘ2 −Ｘ1 ｜≧ｘ0 ）、本処理を終了する。ま
た、Ｘ2 とＸ1の差の絶対値が所定値（ｘ0 ）より小さ
い時は（｜Ｘ2 −Ｘ1 ｜＜ｘ0 ）、ブロックＢ１のＸ軸
の座標データＸ1 をブロックＢ２のＸ軸の座標データＸ
2 に変更した後（ステップＳ３６）、各文字データの文
字サイズに応じた行間補正、例えば、各文字が重なる場
合は、重ならないように行間を空ける補正を行って本処
理を終了する（ステップＳ３７）。

【００５６】すなわち、縦方向（Ｙ軸方向）に隣接して
配置される文字データが縦方向にそろうように補正す
る。

【００５７】一方、上記ステップＳ３４でＹ2 とＹ1 の
差の絶対値が所定値（ｙ0 ）より小さい時は（｜Ｙ2 −
Ｙ1 ｜＜ｙ0 ）、ブロックＢ１のＹ軸の座標データＹ1
をブロックＢ２のＹ軸の座標データＹ2 に変更した後
（ステップＳ３８）、各文字データの文字サイズに応じ
た文字間補正、例えば、文字と文字が互いに重ならない
ように補正を行って本処理を終了する（ステップＳ３
９）。

【００５８】すなわち、横方向（Ｘ軸方向）に隣接する
文字データが横方向にそろうように補正する。

【００５９】以上の文字認識処理により認識されてメイ
ンメモリ７に格納された文字コードは、処理装置８によ
りその文字コードに対応する文字データがメインメモリ
７から読み出されて表示メモリ９に出力され、表示部１
０に表示される。また、Ｉ／Ｏ１１を介して外部に接続
されるコンピュータ等に文字コードデータが転送され
る。

【００６０】したがって、本実施例の情報認識装置１を
利用することにより紙面等に対する文字記号等の筆記文
字で文字を認識し、その手書きの文字情報をパーソナル
コンピュータ等へ直接入力することができ、メモ用紙、
ノート、伝票等への記入と同時にパーソナルコンピュー
タ等への情報入力が可能となり、手書き文字情報の入力
が容易になり、マンマシンインターフェイスを向上させ
ることができるとともに、情報認識装置の使用環境の自
由度を大幅に拡大することができる。

【００６１】また、本実施例の情報認識装置１では、認
識した隣接する文字データ相互間の文字サイズ及び文字
座標が所定範囲内に収るように補正しているため、認識
した手書き文字列を読み易く配置して表示部１０に表示
することができる。また、文字データとして認識できな
い図形データに対しては、その記入位置座標とともにブ
ロックメモリＢのブロックＢ１〜Ｂ３内の各展開エリア
Ｂ１ａ〜Ｂ３ａを図形データに対応して拡大して展開
し、図形データとしてメインメモリ７に格納するため、
文字情報以外の図形情報を取込んで表示部１０に表示す
ることができるとともに、外部のパーソナルコンピュー
タに対して図形データを伝送することができる。その結
果、情報認識装置の機能を一層向上させることができ
る。

【００６２】なお、上記実施例では、図９の文字座標、
文字サイズの補正フローにおいて、文字情報の座標デー
タ及びサイズデータをブロックメモリＢ内のブロックＢ
１とブロックＢ２の間で比較して補正するようにしてい
たが、ブロックＢ１〜Ｂ３における座標データ及びサイ
ズデータの平均値を計算して補正するようにしてもよ
い。

【００６３】次に他の実施例として、画像検出部３は、
筆記具３０の先端に設けられた発光素子の発光をカメラ
２で検出することにより、筆記具３０先端の軌跡を検出
する例を説明する。

【００６４】なお、本実施例では、上記カメラ２により
撮影される紙面上の筆記具３０先端の軌跡を画像検出部
３で検出するが、筆記具３０が紙面に接触しているか否
かの判断を行わせるため、筆記具３０の先端にＬＥＤ等
の発光素子を取り付け、先端が紙面に接触している時、
筆記具３０内に設けられている接触検出スイッチが作動
して、先端の発光素子が発光する。これをカメラ２で検
出することにより筆記具３０の先端軌跡を検出可能とす
る。また、筆記具３０の構成の図示及び説明は省略す
る。

【００６５】その他筆記具３０が紙面に接触しているか
否かを検出する手段として、紙面２０上に加えられる圧
力等を検出してもよく、その検出結果の記入信号は電気
的もしくは光学的に情報認識装置１へ送出する。

【００６６】以下、上記画像検出部３により実行される
筆記具軌跡サンプリングフローを図１０に示すフローチ
ャートに基づいて説明する。なお、本処理は、一定のサ
ンプリングタイミングで繰り返し実行される。

【００６７】図１０において、まず、筆記具３０による
記入が開始されたか否かを記入信号出力装置からの記入
信号の有無を検出することにより判断し（ステップＳ４
１）、記入信号出力装置からの記入信号の入力が有る場
合には、上記図２に示した紙面２０上の基準位置となる
原点座標及びＸ軸をカメラ２により検出する（ステップ
Ｓ４２）。

【００６８】この紙面２０上の基準位置となる原点座標
及びＸ軸は、上記図５に示した紙面２０の左上端の座標
データ（Ｘo，Ｙo）を原点とし、紙面２０の上端の線を
基準Ｘ軸として検出する。

【００６９】次いで、ステップＳ３２で検出した原点座
標及び基準Ｘ軸のデータを基準座標として記入が開始さ
れた座標データ（Ｘi，Ｙi）を記入信号により検出し
（ステップＳ４３）、この座標データ（Ｘi，Ｙi）が前
回のサンプリングタイミングで検出して検出用ＲＡＭ５
に格納した座標データと同一か否かを比較する（ステッ
プＳ４４）。同一の時は、本処理を終了し、同一でない
時は、今回の座標データ（Ｘi，Ｙi）を検出用ＲＡＭ５
内のスタックメモリＳへ書込んで本処理を終了する（ス
テップＳ４５）。

【００７０】したがって、この筆記具軌跡サンプリング
フローを繰り返し実行することにより、筆記具３０が紙
面に接触して文字が記入されている状態で、すなわち、
記入情報の記入軌跡を座標データとして順次検出してス
タックメモリＳに順次格納することができる。

【００７１】この筆記具軌跡サンプリングフローに続い
て画像認識部４による筆記文字認識フローが実行され
て、記入中の文字データが認識される。

【００７２】この筆記文字認識フローについて図１１、
１２に示すフローチャートに基づいて説明する。なお、
この図１１に示すフローチャートは、上記図７、図８に
示したフローチャートと同一ステップ部分には、同一符
号を付して説明するとともに、本フローの特徴となるス
テップ部分は、図１１に破線で囲んで示す。また、本処
理は適宜繰り返し実行される。

【００７３】図１１において、まず、上記画像検出部３
により検出用ＲＡＭ５内のスタックメモリＳに記憶され
た全データを読み出し、認識用ＲＡＭ６内のメモリエリ
アＴに格納し（ステップＳ１１）、スタックメモリＳを
クリアする（ステップＳ１２）。次いで、ステップＳ１
１でメモリエリアＴに格納したデータを読み出し（ステ
ップＳ１３）、全データの読み出しが終了したか否かを
チェックし（ステップＳ１４）、全データの読み出しが
終了した時は、本処理を終了し、全データの読み出しが
終了していない時は、読み出したデータの座標領域が上
記図３に示したブロックメモリＢの新ブロックか否かを
前回の認識処理によりブロックＢ１とブロックＢ２内に
展開した記入データの座標を比較して判別する（ステッ
プＳ１５）。

【００７４】すなわち、このステップＳ１５の処理で
は、記入中のデータが前回ブロックメモリＢに展開した
記入データから全く離れた紙面２０上に記入されている
データか否かを判別している。

【００７５】新ブロックの時は、図１２のステップＳ１
６において、前回の筆記文字認識フローによりブロック
メモリＢに展開した記入データが全て認識済みか否か
を、ブロックメモリＢ内の各ブロックＢ１〜Ｂ３のエリ
アＢ１ｃ〜Ｂ３ｃに格納される認識フラグの有無により
判別する。全ての記入データが認識済みでない時は、認
識不可ブロックの記入データを図形データとしてメイン
メモリ７に格納し（ステップＳ１７）、ブロックメモリ
Ｂ内の全記入データをクリアする（ステップＳ１８）。
また、全ブロックＢ１〜Ｂ３の記入データが認識済みの
時は、直ちにブロックメモリＢ内の全記入データをクリ
アする（ステップＳ１８）。

【００７６】なお、ステップＳ１７で文字データとして
認識できない図形データの場合、その記入データをブロ
ックメモリＢ内のブロックＢ１〜Ｂ３の展開エリアＢ１
ａ〜Ｂ３ａに連続的に描画していく時、予め設定した展
開エリアＢ１ａ〜Ｂ３ａに収らない場合が考えられる
が、この場合は、後述するステップＳ５１〜ステップＳ
５３の処理により記入データが予め設定した展開エリア
Ｂ１ａ〜Ｂ３ａに収まるように、記入データを所定の縮
小率で縮小して、各展開エリアＢ１ａ〜Ｂ３ａに展開す
る。また、各展開エリアＢ１ａ〜Ｂ３ａに縮小して展開
した図形データは、元のサイズに拡大してメインメモリ
７に格納される。

【００７７】次いで、今回認識する記入データ及びその
記入データの座標データをブロックＢ１内の展開エリア
Ｂ１ａに展開するとともに、エリアＢ１ｂに記憶した後
（ステップＳ１９）、図１１のステップＳ２５以降の処
理を実行する。

【００７８】また、図１１のステップＳ１４において、
新ブロックでない時は、先に記入データを展開したブロ
ックＢ１あるいはブロックＢ２に隣接する次のブロック
か否か、すなわち、複数文字からなる文字列の記入にお
ける隣接文字か否かを、そのブロックＢ１あるいはブロ
ックＢ２に記憶した座標データに基づいて判別する（ス
テップＳ２０）。隣接する次のブロックの時は、ステッ
プＳ２１の処理に移行し、隣接する次ブロックでない時
は、ステップＳ２４の処理に移行する。

【００７９】隣接する次のブロックの時は、ステップＳ
２１において、ブロックＢ３内の展開エリア３ａに先に
展開した記入データが、認識済みか否かをエリアＢ３ｃ
に格納されている認識フラグの有無により判別する。ブ
ロックＢ３内の記入データが認識済みでない時は、その
座標データに対応付けて図形データとしてメインメモリ
７に格納し（ステップＳ２２）、ブロックメモリＢ内の
データをシフトする（ステップＳ２３）。また、ブロッ
クＢ３内の記入データが認識済みの時は、直ちにブロッ
クメモリＢ内のデータをシフトする（ステップＳ２
３）。

【００８０】すなわち、隣接するブロックの時は、その
先に記入データを展開したブロックＢ３のデータをブロ
ックＢ１にシフトする。

【００８１】なお、ステップＳ２２では、上記ステップ
Ｓ１７と同様に各ブロックＢ１〜Ｂ３の展開エリアＢ１
ａ〜Ｂ３ａに収りきらない図形データに対しては、各展
開エリアＢ１ａ〜Ｂ３ａに記入データを縮小して展開
し、その縮小して展開した図形データを元のサイズに拡
大してメインメモリ７に格納する。

【００８２】次いで、ステップＳ２０において、今回の
記入データが隣接する次のブロックでない時は、その記
入データのサイズがブロックメモリＢの各ブロックＢ１
〜Ｂ３の展開エリアＢ１ａ〜Ｂ３ａに収りきらずにオー
バーするか否かを判別する（ステップＳ５１）。オーバ
ーしない時は、ステップＳ２４以降の処理に移行し、オ
ーバーする時は、その記入データが展開エリアＢ１ａ〜
Ｂ３ａに収るように縮小処理を実行し、所定の縮小率を
設定して記入データを縮小し、展開エリアＢ１ａ〜Ｂ３
ａに展開するとともに、その縮小率データを展開したブ
ロックＢ１〜Ｂ３のエリアＢ１ｃ〜Ｂ３ｃに記憶する
（ステップＳ５２、Ｓ５３）。

【００８３】次いで、今回の記入データを座標データに
応じてブロックメモリＢ内のブロックＢ１あるいはブロ
ックＢ２に展開し（ステップＳ２４）、その展開した各
ブロックの文字認識処理を行う（ステップＳ２５）。次
いで、認識した記入データに対して上記図９に示した文
字座標、文字サイズの補正フローを実行する（ステップ
Ｓ２６）。この文字座標、文字サイズの補正フローを終
了した後、ステップＳ２５の処理で認識した各ブロック
Ｂ１〜Ｂ３の記入データに対応する文字コードデータを
メインメモリ７に書込む（ステップＳ２７）。

【００８４】次いで、次に上記メモリＴから読み出した
データを指定して（ステップＳ２８）、上記ステップＳ
１４の処理に戻り、そのデータが終了するまで上記ステ
ップＳ１５〜ステップＳ２７の文字認識処理を繰り返し
実行する。

【００８５】したがって、筆記具３０の軌跡を検出する
方法を利用した場合でも、手書き文字情報を認識するこ
とができ、手書き文字情報の入力が容易になり、マンマ
シンインターフェイスを向上させることができるととも
に、情報認識装置の使用環境の自由度を大幅に拡大する
ことができる。

【００８６】また、文字認識の際に、ブロックメモリＢ
に予め設定した展開エリアＢ１ａ〜Ｂ３ａに認識する記
入データが収るように縮小して展開することにより、展
開エリアＢ１ａ〜Ｂ３ａを拡大することなく図形データ
を展開することができ、展開した図形データをメインメ
モリ７に格納する際には元のサイズに拡大しているた
め、文字情報以外の図形情報を取込んで表示部１０に表
示することができるとともに、外部のパーソナルコンピ
ュータに対して図形データを伝送することができる。そ
の結果、情報認識装置の機能を一層向上させることがで
きる。

【００８７】なお、マルチメディアでは手書き入力が重
要な機能の一つとなっているが、マルチメディア装置の
手書き入力用に本発明の情報認識装置を利用すれば、タ
ッチパネル等の特別なパネル面に記入される場合に限定
されず、利用範囲を大幅に拡大することができる。

【００８８】また、本発明の情報認識装置１の表示部１
０を利用して小型投影器等で手書き文字を投影する場合
は、筆記している紙面等に対して直接行われるため、認
識結果を記入位置でリアルタイムに識別することができ
る。

【００８９】

【発明の効果】本発明によれば、リアルタイムに記入情
報を検出して、記入中の情報を認識することができ、手
軽に情報認識装置を利用することができる。また、認識
した記入情報は、見やすく配列して出力することができ
るとともに、文字情報と図形情報も認識することができ
る。その結果、情報認識装置の使用環境を大幅に拡大す
ることができる。

【図面の簡単な説明】

【図１】本発明の情報認識装置の一実施例のブロック構
成図。

【図２】本発明の情報認識装置の外観図。

【図３】認識用ＲＡＭ６内に形成されるブロックメモリ
の構成図。

【図４】画像検出部３により実行される筆記文字サンプ
リング処理のフローチャート。

【図５】画像検出部３により検出される紙面上の座標デ
ータの一例を示す図。

【図６】画像検出部３により検出される紙面上の文字軌
跡の変化を示す図。

【図７】画像認識部４により実行される文字認識処理の
一部のフローチャート。

【図８】図７の文字認識処理の続きを示すフローチャー
ト。

【図９】画像認識部４により実行される文字座標、文字
サイズ補正処理のフローチャート。

【図１０】画像検出部３により実行される筆記具軌跡サ
ンプリング処理のフローチャート。

【図１１】画像認識部４により実行されるその他の文字
認識処理の一部のフローチャート。

【図１２】図１１の文字認識処理の続きを示すフローチ
ャート。

【符号の説明】

１情報認識装置２カメラ３画像検出部４画像認識部５検出用ＲＡＭ６認識用ＲＡＭ７メインメモリ８処理装置９表示メモリ１０表示部１１Ｉ／Ｏ

Claims

【特許請求の範囲】

【請求項１】筆記具により文字等の情報が記入される
記入面を撮影する撮影手段と、この撮影手段により撮影される記入面の原点座標を検出
するとともに、この原点座標からの筆記具により記入さ
れる記入情報の位置座標を検出する座標検出手段と、この座標検出手段により検出される原点座標及び記入情
報の位置座標に基づいて描画データを展開するデータ展
開手段と、このデータ展開手段に展開された描画データに基づいて
記入情報を認識する認識手段と、この認識手段により認識された前回と今回の記入情報の
位置座標に基づいて各記入情報の位置座標を補正する補
正手段と、を具備したことを特徴とする情報認識装置。
【請求項２】筆記具により文字等の情報が記入される
記入面を撮影する撮影手段と、この撮影手段により撮影される記入面の原点座標を検出
するとともに、この原点座標からの筆記具により記入さ
れる記入情報の位置座標を検出する座標検出手段と、この座標検出手段により検出される原点座標及び記入情
報の位置座標に基づいて描画データを展開するデータ展
開手段と、このデータ展開手段に展開された描画データに基づいて
記入情報を認識する認識手段と、この認識手段により認識された前回と今回の記入情報の
サイズに基づいて各記入情報のサイズを補正する補正手
段と、を具備したことを特徴とする情報認識装置。
【請求項３】筆記具により文字等の情報が記入される
記入面を撮影する撮影手段と、この撮影手段により撮影される記入面の原点座標を検出
するとともに、この原点座標からの筆記具により記入さ
れる記入情報の位置座標を検出する座標検出手段と、この座標検出手段により検出される原点座標及び記入情
報の位置座標に基づいて描画データを展開するデータ展
開手段と、このデータ展開手段に展開された描画データに基づいて
記入情報が文字情報か否かを認識し、文字情報として認
識不可のときは、図形情報として認識する認識手段と、を具備したことを特徴とする情報認識装置。
【請求項４】筆記具により文字等の情報が記入される
記入面を撮影する撮影手段と、上記撮影手段により撮影される記入面の原点座標を検出
するとともに、この原点座標からの筆記具の位置座標を
検出する座標検出手段と、この検出される原点座標及び記入情報の位置座標に基づ
いて筆記具の軌跡を示す描画データを展開するデータ展
開手段と、このデータ展開手段に展開された描画データに基づいて
記入情報が文字情報か否かを認識し、文字情報として認
識不可のときは、図形情報として認識する認識手段と、を具備したことを特徴とする情報認識装置。