JPH06289989A - 情報認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、手軽に利用可能で、かつ使用環境
を拡大可能な記入情報を認識する情報認識装置を提供す
ることを目的とする。 【構成】 画像検出部３は、カメラ２により撮影される
画像に基づいて筆記具軌跡サンプリングフロー及び筆記
文字サンプリングフローを実行し、記入される記入面の
原点座標を検出して検出用ＲＡＭ５に書込むとともに、
紙面上で記入される際の筆記具３０の先端軌跡に基づく
位置座標を逐次検出して検出用ＲＡＭ５に書込む処理を
行う。画像認識部４は、画像検出部３により検出されて
検出用ＲＡＭ５に書込まれる原点座標データ及び逐次書
込まれる位置座標データ及び近傍領域変化データに基づ
いて筆記文字認識フローを実行し、記入中のデータを認
識用ＲＡＭ６内に展開して文字データの認識処理を実行
し、認識した文字データをメインメモリ７に格納する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報認識装置に係り、
詳細には、筆記具により記入される情報もしくは筆記具
の軌跡を検出して記入情報を認識する情報認識装置に関
する。

【０００２】

【従来の技術】従来、手書きにより記入された文書書類
等の紙面上の文字等の情報を認識する情報認識装置とし
ては、例えば、紙面上の文字等の記入情報を画像として
読み取るスキャナと、所定の文字認識プログラムを利用
して前記スキャナにより読み取られる文字画像を文字デ
ータとして認識処理するパーソナルコンピュータとから
構成されており、パーソナルコンピュータを持つ個人で
もスキャナと文字認識ソフトを用意することにより利用
可能である。

【０００３】また、高速な文字認識を必要とする場合に
は、より高速の文字認識処理を行う専用装置として構成
されるため、パーソナルコンピュータで構成するものよ
りも高価になる。

【０００４】また、筆記具の軌跡をタッチパネル等でコ
ンピュータに入力して筆記文字を入力認識させるための
装置として文字入力用のタブレットも実用化されてい
る。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の情報認識装置にあっては、個人で利用可能な
構成のものであってもスキャナ、文字認識ソフト及びパ
ーソナルコンピュータといった大掛かりなものが必要で
あるとともに、頁単位でスキャナに読み取らせるように
なっているため、文章への記入工程とは別の読取工程が
必要になり、使用環境が限られ、誰でも手軽に利用でき
ないという問題点があった。

【０００６】また、文字入力タブレットを利用する場合
は、専用のタブレットに記入された文字以外は認識でき
ず、やはり使用環境が限られてしまう。

【０００７】本発明の課題は、手軽に利用可能で、かつ
使用環境を拡大可能な記入情報を認識する情報認識装置
を提供することである。

【０００８】

【課題を解決するための手段】本発明の手段は次の通り
である。

【０００９】請求項１記載の発明は、筆記具により文字
等の情報が記入される記入面を撮影する撮影手段と、こ
の撮影手段により撮影される記入面の原点座標を検出す
るとともに、この原点座標からの筆記具により記入され
る記入情報の位置座標を検出する座標検出手段と、この
座標検出手段により検出される原点座標及び記入情報の
位置座標に基づいて描画データを展開するデータ展開手
段と、このデータ展開手段に展開された描画データに基
づいて記入情報を認識する認識手段と、を具備したこと
を特徴としている。

【００１０】請求項２記載の発明は、筆記具により文字
等の情報が記入される記入面を撮影する撮影手段と、上
記撮影手段により撮影される記入面の原点座標を検出す
るとともに、この原点座標からの筆記具の位置座標を検
出する座標検出手段と、この検出される原点座標及び筆
記具の位置座標に基づいて筆記具の軌跡を示す描画デー
タを展開するデータ展開手段と、このデータ展開手段に
展開された描画データに基づいて記入情報を認識する認
識手段と、を具備したことを特徴としている。

【００１１】

【作用】本発明の手段の作用は次の通りである。

【００１２】請求項１記載の発明によれば、撮影手段に
より筆記具により文字等の情報が記入される記入面が撮
影されると、その記入面の原点座標が座標検出手段によ
り検出されるとともに、この原点座標からの筆記具によ
り記入される記入情報の位置座標が検出され、この座標
検出手段により検出される原点座標及び記入情報の位置
座標に基づいて描画データがデータ展開手段により展開
され、このデータ展開手段に展開された描画データに基
づいて記入情報が認識手段により認識される。請求項２
記載の発明によれば、撮影手段により筆記具により文字
等の情報が記入される記入面が撮影されると、その記入
面の原点座標が座標検出手段により検出され、また、座
標検出手段により原点座標からの筆記具の位置座標が検
出され、この検出される原点座標及び筆記具の位置座標
に基づいて描画データがデータ展開手段により展開さ
れ、このデータ展開手段に展開された描画データに基づ
いて認識手段により記入情報が認識される。

【００１３】したがって、リアルタイムに記入中の文字
等の記入情報の軌跡を検出して、記入情報を認識するこ
とができ、ノートや伝票等に記入される情報を必要に応
じてデータとして入力利用することができる。その結
果、情報認識装置の使用環境を大幅に拡大することがで
きる。

【００１４】

【実施例】以下、図１〜図８を参照して実施例を説明す
る。

【００１５】図１〜図８は、本発明の情報認識装置の一
実施例を示す図である。

【００１６】まず、構成を説明する。図１は、情報認識
装置１のブロック構成図である。この図において、情報
認識装置１は、カメラ２、画像検出部３、画像認識部
４、検出用ＲＡＭ５、認識用ＲＡＭ６、メインメモリ
７、処理装置８、表示メモリ９、表示部１０及びＩ／Ｏ
１１により構成される。また、情報認識装置１の外観及
び使用状態を図２に示す。

【００１７】カメラ２は、ＣＣＤ（Charge Coupled Dev
ice ）カメラ等により構成され、図２に示すように、情
報認識装置１がユーザーの腕に装着され、紙面２０に対
向して設置された時、筆記具３０もしくは筆記具３０に
より紙面２０に記入されたデータを所定撮影範囲で走査
して撮影し、その撮影した画像を逐次画像検出部３に出
力する。

【００１８】画像検出部３は、カメラ２により撮影され
る画像に基づいて後述する筆記文字サンプリングフロー
もしくは筆記具軌跡サンプリングフローを実行し、記入
される記入面の原点座標を検出して検出用ＲＡＭ５に書
込むとともに、紙面２０上で記入される際の筆記具３０
の先端軌跡に基づく位置座標もしくは紙面に記入された
データの位置座標を逐次検出して検出用ＲＡＭ５に書込
む処理を行う。

【００１９】画像認識部４は、画像検出部３により検出
されて検出用ＲＡＭ５に書込まれる原点座標データ及び
逐次書込まれる位置座標データ及び近傍領域変化データ
に基づいて後述する筆記文字認識フローを実行し、記入
中のデータを認識用ＲＡＭ６内に展開して、展開したデ
ータに基づいて文字データの認識処理を実行し、認識し
た文字データをメインメモリ７に格納する。

【００２０】検出用ＲＡＭ（Random Accesss Memory ）
５は、画像検出部３により検出される上記紙面２０上の
原点座標データ及び記入中の位置座標データを書込むた
めのデータメモリエリアとして、位置座標データを書込
むスタックメモリＳ、筆記具先端位置座標データを書込
む座標メモリＺ、この座標メモリＺに書込まれた位置座
標データと相関して逐次変化する筆記用具先端位置近傍
領域の変化データを書込むデータメモリＤを形成する。

【００２１】認識用ＲＡＭ６は、画像認識部４が上記文
字認識処理を実行する際に原点座標データ及び記入中の
位置座標データに基づいて記入中の文字データを展開す
るメモリエリアを形成し、例えば、図３に示すように、
ブロックメモリＢを形成し、その各ブロックメモリＢ
１、Ｂ２毎に各々記入中のデータを展開する。なお、図
３に示す各ブロックメモリＢ１、Ｂ２には、各々文字デ
ータの展開エリアＢ１ａ、Ｂ２ａの他に、文字座標（Ｘ
i，Ｙi）と文字サイズ（Ｆi ）を各々書込むエリアＢ１
ｂ、Ｂ２ｂ及び認識フラグと文字コードを各々書込むエ
リアＢ１ｃ、Ｂ２ｃも用意されている。また、認識用Ｒ
ＡＭ６内には、上記検出用ＲＡＭ５内のスタックメモリ
Ｓに書込まれる位置座標データを一時的に格納するメモ
リエリアＴも形成する。

【００２２】メインメモリ７は、処理装置８が実行する
各種処理プログラムを格納するとともに、画像認識部４
により認識された文字データを格納するメモリエリアを
形成する。

【００２３】処理装置８は、画像認識部４により認識さ
れてメインメモリ７に格納された文字データを順次読み
出して表示メモリ９に書込み、表示部１０に表示させる
表示処理やＩ／Ｏ１１を介して外部のコンピュータに対
する文字データの転送処理等を実行する。

【００２４】表示メモリ９は、表示部１０の表示領域に
対応するメモリエリアを形成し、処理装置８によりメイ
ンメモリ７から読み出される文字データが順次書込まれ
ると、その文字データを表示部１０に順次転送する。

【００２５】表示部１０は、液晶表示パネルにより構成
され、表示メモリ９に順次書込まれて転送される文字デ
ータを表示する。なお、表示部１０は、液晶表示パネル
及び光源を有し、光源によって液晶表示パネルを照射
し、これを壁面、紙面等へ投影するように構成してもよ
い。

【００２６】Ｉ／Ｏ１１は、処理装置８と外部のコンピ
ュータとの間のデータの授受を制御し、処理装置８から
入力される文字コードデータを外部のコンピュータ等へ
出力する。

【００２７】次に、本実施例の動作を説明する。

【００２８】まず、上記画像検出部３により実行される
筆記文字サンプリングフローについて図４に示すフロー
チャートに基づいて説明する。なお、本処理は、一定の
サンプリングタイミングで繰り返し実行される。

【００２９】図４において、まず、図５に示す紙面２０
左端上の原点座標及び上端の基準Ｘ軸を検出する（ステ
ップＳ１）。次いで、この検出した原点座標及び基準Ｘ
軸のデータに基づいて筆記具３０の先端位置の座標を検
出して検出用ＲＡＭ５内の座標メモリＺに記憶する（ス
テップＳ２）。

【００３０】なお、原点座標及び基準Ｘ軸は、紙面２０
の紙端を用いたが、紙面上に原点座標及び基準Ｘ軸もし
くはＹ軸を記入し、これを検出するようにしてもよい。

【００３１】この時、筆記具３０の先端形状を予め記憶
することにより先端位置を検出し、検出した位置座標デ
ータ（Ｘi，Ｙi）は、検出用ＲＡＭ５内の座標メモリＺ
に前回記憶したデータ分をシフトして記憶する。

【００３２】次いで、検出した座標近傍位置のデータを
認識用ＲＡＭ６内のデータメモリＤに前回記憶したデー
タ分をシフトして記憶する（ステップＳ３）。すなわ
ち、筆記具３０の先端の近傍領域のデータを記憶する。
次いで、今回のサンプリングで記憶した座標データと前
回のサンプリングで記憶した座標データの差分（変化
分）が所定値以上か否かを判別し（ステップＳ４）、所
定値以上の時は、前回の筆記位置とは全く別の位置に筆
記された新たなデータと判断され、また、等しい時は、
前回のサンプリング時点と変化が無いので、本処理を終
了する。所定値の範囲にある時は、前回記憶した線の太
さ等のデータを比較する（ステップＳ５）。そして、そ
のデータに変化が無い時は、本処理を終了し、変化が有
る時は、その変化データを求め座標データとともに検出
用ＲＡＭ５内のスタックメモリＳに格納して（ステップ
Ｓ６）本処理を終了する。

【００３３】したがって、本筆記文字軌跡サンプリング
フローを繰り返し実行し、図６に示すように、今回と前
回に記憶した筆記具３０の先端位置座標データ及び先端
近傍の変化データとの差分αを取ることにより、記入中
の筆記具３０先端の紙面２０上のデータをスタックメモ
リＳに順次格納することができる。

【００３４】次に、上記画像認識部４により実行される
筆記文字認識フローについて図７に示すフローチャート
に基づいて説明する。なお、本処理は、適宜繰り返し実
行される。

【００３５】図７において、まず、上記画像検出部３に
より検出用ＲＡＭ５内のスタックメモリＳに記憶された
全データを読み出し、認識用ＲＡＭ６内のメモリエリア
Ｔに格納し（ステップＳ１１）、スタックメモリＳ内の
全データをクリアする（ステップＳ１２）。次いで、ス
テップＳ１１でメモリエリアＴに格納したデータを順次
読み出し（ステップＳ１３）、全データの読み出しが終
了をチェックし（ステップＳ１４）、全データの読み出
しが終了した時は、本処理を終了し、全データの読み出
しが終了していない時は、読み出したデータの座標デー
タが上記図３に示したブロックメモリＢの新ブロックか
否かを前回の認識処理によりブロックＢ１とブロックＢ
２内に展開した記入データの座標を比較して判別する
（ステップＳ１５）。

【００３６】なお、ブロックメモリＢの内の各ブロック
Ｂ１、Ｂ２は、１文字分のデータを記憶する容量を備え
ている。

【００３７】すなわち、このステップＳ１５の処理で
は、記入中のデータが前回ブロックメモリＢに展開した
記入データから全く離れた紙面２０上に記入されている
データか否かを判別している。

【００３８】新ブロックの時は、その該当するブロック
Ｂ１あるいはブロックＢ２に展開している記入データを
クリアし（ステップＳ１６）、ステップＳ１９以降の処
理に移行し、新ブロックでない時は、前回の記入ブロッ
クに隣接するブロックか否か、すなわち、複数文字から
なる文字列の記入における隣接文字か否かを判別する
（ステップＳ１７）。隣接するブロックでない時は、ス
テップＳ１９以降の処理に移行し、隣接する次のブロッ
クの時は、ブロックメモリＢ内のデータをシフトする
（ステップＳ１８）。すなわち、先にデータを展開した
ブロックＢ１のデータをブロックＢ２にシフトする。

【００３９】次いで、読み出したデータを座標データに
応じてブロックメモリＢ内のブロックＢ１あるいはブロ
ックＢ２に展開し（ステップＳ１９）、その展開した記
入データの文字認識処理を行う（ステップＳ２０）。こ
の処理で認識が行われた文字について、次いで、その認
識した文字データの文字座標（Ｘi：最小座標，Ｙi：最
大座標；文字の左下の座標）データ及び文字サイズデー
タを、先に認識した隣接する文字データの文字座標デー
タ及び文字サイズデータに基づいて補正して各ブロック
Ｂ１あるいはブロックＢ２に展開し（ステップＳ２
１）、認識した各ブロックＢ１あるいはブロックＢ２の
文字データに対応する文字コードをメインメモリ７に書
込む（ステップＳ２２）。

【００４０】次いで、次の上記メモリＴから読み出した
次のデータを指定して（ステップＳ２３）、上記ステッ
プＳ１４の処理に戻り、そのデータが終了するまで上記
ステップＳ１５〜ステップＳ２３の文字認識処理を繰り
返し実行する。

【００４１】以上の文字認識処理により認識されてメイ
ンメモリ７に格納された文字コードは、処理装置８によ
りその文字コードに対応する文字データがメインメモリ
７から読み出されて表示メモリ９に出力され、表示部１
０に表示される。また、Ｉ／Ｏ１１を介して外部に接続
されるコンピュータ等に文字コードデータが転送され
る。

【００４２】したがって、本実施例の情報認識装置１を
利用することにより紙面等に対する文字記号等の筆記文
字で文字を認識し、その手書きの文字情報をパーソナル
コンピュータ等へ直接入力することができ、メモ用紙、
ノート、伝票等への記入と同時にパーソナルコンピュー
タ等への情報入力が可能となり、手書き文字情報の入力
が容易になり、マンマシンインターフェイスを向上させ
ることができるとともに、情報認識装置の使用環境の自
由度を大幅に拡大することができる。

【００４３】次に他の実施例として、画像検出部３は、
筆記具３０の先端に設けられた発光素子の発光をカメラ
２で検出することにより、筆記具３０先端の軌跡を検出
する例を説明する。

【００４４】なお、本実施例では、上記カメラ２により
撮影される紙面上の筆記具３０先端の軌跡を画像検出部
３で検出するが、筆記具３０が紙面に接触しているか否
かの判断を行わせるため、筆記具３０の先端にＬＥＤ等
の発光素子を取り付け、先端が紙面に接触している時、
筆記具３０内に設けられている接触検出スイッチが作動
して、先端の発光素子が発光する。これをカメラ２で検
出することにより筆記具３０の先端軌跡を検出可能とす
る。また、筆記具３０の構成の図示及び説明は省略す
る。

【００４５】その他筆記具３０が紙面に接触しているか
否かを検出する手段として、紙面２０上に加えられる圧
力等を検出してもよく、その検出結果の記入信号は電気
的もしくは光学的に情報認識装置１へ送出する。

【００４６】以下、上記画像検出部３により実行される
筆記具軌跡サンプリングフローを図８に示すフローチャ
ートに基づいて説明する。なお、本処理は、一定のサン
プリングタイミングで繰り返し実行される。

【００４７】図８において、まず、筆記具３０による記
入が開始されたか否かを記入信号出力装置からの記入信
号の有無を検出することにより判断し（ステップＳ３
１）、記入信号出力装置からの記入信号の入力が有る場
合には、上記図２に示した紙面２０上の基準位置となる
原点座標及びＸ軸をカメラ２により検出する（ステップ
Ｓ３２）。

【００４８】この紙面２０上の基準位置となる原点座標
及びＸ軸は、上記図５に示した紙面２０の左上端の座標
データ（Ｘo，Ｙo）を原点とし、紙面２０の上端の線を
基準Ｘ軸として検出する。

【００４９】次いで、ステップＳ３２で検出した原点座
標及び基準Ｘ軸のデータを基準座標として記入が開始さ
れた座標データ（Ｘi，Ｙi）を記入信号により検出し
（ステップＳ３３）、この座標データ（Ｘi，Ｙi）が前
回のサンプリングタイミングで検出して検出用ＲＡＭ５
に格納した座標データと同一か否かを比較する（ステッ
プＳ３４）。同一の時は、本処理を終了し、同一でない
時は、今回の座標データ（Ｘi，Ｙi）を検出用ＲＡＭ５
内のスタックメモリＳへ書込んで本処理を終了する（ス
テップＳ３５）。

【００５０】したがって、この筆記具軌跡サンプリング
フローを繰り返し実行することにより、筆記具３０が紙
面に接触して文字が記入されている状態で、すなわち、
記入情報の記入軌跡を座標データとして順次検出してス
タックメモリＳに順次格納することができる。

【００５１】この筆記具軌跡サンプリングフローに続い
て上記図７に示した画像認識部４による筆記文字認識フ
ローが実行されて、記入中の文字データが認識される。

【００５２】したがって、筆記具３０の軌跡を検出する
方法を利用した場合でも、手書き文字情報を認識するこ
とができ、手書き文字情報の入力が容易になり、マンマ
シンインターフェイスを向上させることができるととも
に、情報認識装置の使用環境の自由度を大幅に拡大する
ことができる。

【００５３】なお、マルチメディアでは手書き入力が重
要な機能の一つとなっているが、マルチメディア装置の
手書き入力用に本発明の情報認識装置を利用すれば、タ
ッチパネル等の特別なパネル面に記入される場合に限定
されず、利用範囲を大幅に拡大することができる。

【００５４】また、本発明の情報認識装置１の表示部１
０を利用して小型投影器等で手書き文字を投影する場合
は、筆記している紙面等に対して直接行われるため、認
識結果を記入位置でリアルタイムに識別することができ
る。

【００５５】

【発明の効果】本発明によれば、リアルタイムに記入情
報を検出して、記入中の情報を認識することができ、手
軽に情報認識装置を利用することができる。その結果、
情報認識装置の使用環境を大幅に拡大することができ
る。

【図面の簡単な説明】

【図１】本発明の情報認識装置の一実施例のブロック構
成図。

【図２】本発明の情報認識装置の外観図。

【図３】認識用ＲＡＭ６内に形成されるブロックメモリ
の構成図。

【図４】画像検出部３により実行される筆記文字サンプ
リング処理のフローチャート。

【図５】画像検出部３により検出される紙面上の座標デ
ータの一例を示す図。

【図６】画像検出部３により検出される紙面上の文字デ
ータの変化を示す図。

【図７】画像認識部４により実行される文字認識処理の
フローチャート。

【図８】画像検出部３により実行される筆記具軌跡サン
プリング処理のフローチャート。

【符号の説明】

１ 情報認識装置 ２ カメラ ３ 画像検出部 ４ 画像認識部 ５ 検出用ＲＡＭ ６ 認識用ＲＡＭ ７ メインメモリ ８ 処理装置 ９ 表示メモリ １０ 表示部 １１ Ｉ／Ｏ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 筆記具により文字等の情報が記入される
   記入面を撮影する撮影手段と、 この撮影手段により撮影される記入面の原点座標を検出
   するとともに、この原点座標からの筆記具により記入さ
   れる記入情報の位置座標を検出する座標検出手段と、 この座標検出手段により検出される原点座標及び記入情
   報の位置座標に基づいて描画データを展開するデータ展
   開手段と、 このデータ展開手段に展開された描画データに基づいて
   記入情報を認識する認識手段と、 を具備したことを特徴とする情報認識装置。
2. 【請求項２】 筆記具により文字等の情報が記入される
   記入面を撮影する撮影手段と、 上記撮影手段により撮影される記入面の原点座標を検出
   するとともに、この原点座標からの筆記具の位置座標を
   検出する座標検出手段と、 この検出される原点座標及び筆記具の位置座標に基づい
   て筆記具の軌跡を示す描画データを展開するデータ展開
   手段と、 このデータ展開手段に展開された描画データに基づいて
   記入情報を認識する認識手段と、 を具備したことを特徴とする情報認識装置。