JPH11110412A - カメラが捕捉した画像に関する情報を処理し、表示するシステム - Google Patents

Abstract

(57)【要約】 【課題】 印刷された単語の画像を捕捉することがで
き、電子化辞書の使用者がキーボードまたはライティン
グ・パッドから単語を入力しなくてもすむ画像捕捉装置
を提供する。 【解決手段】 画像捕捉装置がオブジェクトのスナップ
ショット静止画像を撮影し、オブジェクトの画像を表す
信号を生成する。この信号を、通信手段を介してホスト
・コンピュータに送信する。ホスト・コンピュータは、
この信号を連続的に受信し、受信した信号によって表さ
れる画像をリアルタイムで表示し、また、ホスト・コン
ピュータは、スイッチが活性化されて、選択されている
オブジェクトの静止画像が撮影されると、この静止画像
を、コンピュータ・システムが認識可能なコードを有す
る特定のオブジェクトとして認識し、これに関する情報
を読み出す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的には画像処
理システムに関し、具体的には、オブジェクトの画像を
捕捉し、捕捉した画像をオブジェクトとして認識し、認
識したオブジェクトに関する情報を取り出し、取り出し
た情報をビデオ・ディスプレイ上に表示するカメラなど
の画像捕捉装置を有するコンピュータ・システムに関す
る。

【０００２】

【従来の技術】現代社会は、人が吸収する大量の情報お
よび知識を有する環境であり、これらの情報は多くの形
式で提供される。例えば情報は、テレビ番組、ラジオ放
送、インターネットなどからも得られる。それでも、最
も普及している情報源はやはり、印刷媒体、すなわち新
聞や雑誌、書籍である。新聞や書籍を他の媒体とは異な
るものとしているのは、これらが、将来の参照が確実に
できる印刷された形式で情報を提供するということであ
る。インターネットから得た情報でさえ、将来の参照に
備えてしばしばハードコピーに印刷される。

【０００３】学生たちは通常、教師が提供する教科書お
よびその他の印刷物を読むことによって知識を得てい
る。職業人は、それぞれの職業分野の進歩に遅れないよ
うに各自の職業分野の雑誌やニュースレターを読む。エ
ンジニアや科学者は、データブックや、技術雑誌、業界
誌を読んで、それぞれの職業分野の最新の展開に遅れな
いようにしている。セールスマンやマーケティング担当
者は、扱う製品のトレンドを知るために業界紙を読む。
大量の情報が、印刷物の形式で入手できるために、本質
的に人々は、日常生活のかなりの部分をこれらの文書を
読むために費やさなければならない。文書を読むときに
は、辞書で語句を調べる必要が生じる場合がある。しか
し、文書を読んでいるときに、単語の意味が分からなく
て、これらの単語の意味を辞書を引いて調べなければな
らないのは面倒である。単語の意味を辞書を引いて調べ
なくてはならないことは、読むことの妨げとなり、学習
能力を阻害することもある。

【０００４】電子化辞書は、辞書の機能を提供する道具
であるが、従来の辞書とは違って、ページをめくらなく
ても単語の意味を調べることができる。さらに、最近の
技術開発により、単語の発音を音声化することのできる
音声機能を有する電子化辞書の製造が可能となった。し
かし、従来技術の電子化辞書の大きな不利益の１つは、
調べたい単語をキー入力しなければならないことであ
る。さらに最近では、手書き文字認識技術によって、特
別なライティング・パッド上に手書きすることによって
単語を入力することが可能となった。このキー入力や手
書き入力操作は時間がかかり、読取りプロセスをさらに
低速化する入力ミスを生じる傾向がある。入力ミスによ
り、電子化辞書が誤った単語を検索した場合には、使用
者が、文の意味を誤って解釈することもあり得る。これ
は、入力ミスをしたことに使用者が気付かない場合には
なおさらである。よって、電子化辞書が、従来のキー入
力や手書き入力による方法以外の入力を受け付けること
が望ましい。

【０００５】従来技術のスキャナーの大部分は、文書の
ページ全体または一つの行を走査するものである。これ
らは、電子化辞書に使用することはできない。電子化辞
書は通常、一つの単語の定義を提供するだけなので、１
つの行、ましてや文書のページ全体を走査するのは面倒
だし、経済的でない。よって、電子化辞書が、１つまた
は複数の単語の画像を一度に捕捉することができる携帯
可能で軽量な装置を有することが望ましい。

【０００６】さらに、画像捕捉装置が、数字、写真など
の単語以外のオブジェクト、あるいは二次元または三次
元オブジェクトの画像も捕捉でき、これらのオブジェク
トの画像を他の用途のために文書中に記憶することがで
きることが望ましい。

【０００７】

【発明が解決しようとする課題】よって、本発明は、従
来のキーボードまたはライティング・パッド以外の手段
からの入力、すなわち問い合わせを受け付けることがで
きるシステムを提供することを目的とする。

【０００８】本発明の他の目的は、印刷された単語の画
像を捕捉することができ、電子化辞書の使用者がキーボ
ードまたはライティング・パッドから単語を入力しなく
てもすむ画像捕捉装置を提供することにある。

【０００９】本発明の他の目的は、オブジェクト認識ま
たは単語認識動作の成功率を高める方法を提供すること
にある。

【００１０】本発明の他の目的は、二次元および三次元
オブジェクトの両方の画像を捕捉する画像捕捉装置を提
供することにある。

【００１１】

【課題を解決するための手段】本発明の具体的な実施態
様において、１つまたは複数の選択したオブジェクトの
１つまたは複数の画像を捕捉して、これを表示し、選択
した画像を処理して、コンピュータ・システムが認識可
能なコードを有する特定のオブジェクトとして選択した
画像を識別し、これに関する情報を読み出し、表示する
システムを説明する。このシステムは、ホスト・コンピ
ュータ・システム、画像捕捉装置、ホスト・コンピュー
タ・システムと画像捕捉装置の間に通信経路を提供する
通信手段を含む。ホスト・コンピュータ・システムは、
ディスプレイ、および複数の識別可能なオブジェクトに
関する情報を含む記憶装置を有する。画像捕捉装置は、
オブジェクトのスナップショット静止画像を撮影し、オ
ブジェクトの画像を表す信号を生成するためのスイッチ
を有する。通信手段は、ホスト・コンピュータ・システ
ムと画像捕捉装置の間に通信経路を提供する。画像捕捉
装置は、使用者が選択したオブジェクトの画像を表す信
号を連続的に生成し、この信号を、通信手段を介してホ
スト・コンピュータに送信する。ホスト・コンピュータ
・システムは、この信号を連続的に受信し、受信した信
号によって表される画像をリアルタイムで表示し、ま
た、ホスト・コンピュータは、スイッチが活性化され
て、選択されているオブジェクトの静止画像が撮影され
ると、この静止画像を、特定のオブジェクトとして認識
し、これに関する情報を読み出す。

【００１２】本発明の利点は、従来のキーボードまたは
ライティング・パッド以外の手段からの問い合わせを受
け付けることができる電子化辞書を提供することにあ
る。

【００１３】本発明の他の利点は、印刷された単語の画
像を捕捉することができ、電子化辞書の使用者がキーボ
ードまたはライティング・パッドから単語を入力しなく
てもすむ画像捕捉装置を提供することにある。

【００１４】本発明の他の利点は、単語認識動作の成功
率を高める方法を提供することにある。

【００１５】本発明の他の利点は、二次元および三次元
オブジェクトの両方の画像を捕捉する画像捕捉装置を提
供することにある。

【００１６】本発明の前記およびその他の目的、特徴、
利点は、いくつかの図面に参照した好ましい実施形態の
詳細な以下の説明を当業者が読むことにより明らかとな
ろう。

【００１７】

【発明の実施の形態】本発明は、多くの形態で実施する
ことができるが、好ましい実施形態の詳細を図１ないし
図１０に概略的に示す。本開示は、図示の実施形態に本
発明を限定することを意図したものではないことを理解
されたい。

【００１８】本発明は、ホスト・コンピュータ・システ
ムに通信ケーブルを介して結合された画像捕捉装置を開
示する。この画像捕捉装置は、オブジェクトの光画像を
捕捉する。オブジェクトは、二次元フォーマットの印刷
物中の単語、写真、グラフ、または、時計、犬、乗り物
のような三次元オブジェクトのいずれでもよい。電子化
辞書では、オブジェクトは、いくつかの文字で構成され
た単語でよい。単語を文字サブパーツに分離する画像捕
捉装置は、各文字の光画像信号をデジタル信号に変換
し、ホスト・コンピュータにこのデジタル信号を伝送す
る。ホスト・コンピュータは、文字のディジタル画像信
号を受け取ると、各文字のディジタル画像信号から単語
を再構成する。ホスト・コンピュータは次いで、単語の
認識プロセスを実行し、ホスト・コンピュータ・システ
ムのデータベース内の単語に関する情報を探索し、ホス
ト・コンピュータ・システムのビデオ・モニタ上にこの
情報を表示する。

【００１９】図１は、本発明の現時点で好ましい実施形
態を示すシステム図である。画像捕捉装置１０が、通信
ケーブル１４を介してホスト・コンピュータ１２に接続
される。画像捕捉装置１０は、単語、数字またはその他
の形態のオブジェクトの画像を捕捉して、画像信号を生
成することができ、この画像信号を、通信ケーブル１４
を介してホスト・コンピュータ１２に送信する。ホスト
・コンピュータ１２は次いで、ホスト・コンピュータ１
２のディスプレイ・モニタ上にオブジェクトに関する情
報を表示する。電子化辞書の場合には、画像捕捉装置１
０が単語の画像を捕捉し、ホスト・コンピュータ１２が
その単語に関する定義およびその他の情報を探し出し、
ビデオ・ディスプレイがこの定義および情報を使用者に
提示する。現時点で好ましい実施形態では、ホスト・コ
ンピュータ１２には、パーソナル・コンピュータ、電子
化辞書、またはＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔ
ａｌ ａｓｓｉｓｔａｎｔ）を使用することができる。

【００２０】ホスト・コンピュータは、パーソナル・コ
ンピュータまたはポータブル・コンピュータのいずれで
もよい。ポータブル・コンピュータは、ラップトップ・
コンピュータ、ノートブック・コンピュータ、ハンドヘ
ルド・コンピュータ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉ
ｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、個人情報管理（Ｐ
ＩＭ）システム、電子化辞書、パームトップ・コンピュ
ータなどの持ち運びが容易にできるコンピュータ・シス
テムである。このようなシステムでは、オブジェクト
は、人名、顧客名、カレンダーの日付などである。画像
捕捉装置が個人名を捕捉すると、電話番号、住所、誕生
日などの個人、顧客に関する情報を読み出し、ビデオ・
ディスプレイ上に表示することができる。カレンダーの
日付を捕捉することによって、暦行事やアポイントを読
み出すことができる。同様に、名刺上の情報を画像捕捉
装置で捕捉して、データベースに保存することもでき
る。名刺上の見出し要素を識別し、画像捕捉装置を介し
てこの要素の静止画像を捕捉することによって、データ
ベースに保存した情報を読み出すことができる。

【００２１】図２は、画像捕捉装置１０の現時点で好ま
しい実施形態のブロック図である。画像捕捉装置１０
は、オブジェクトの光画像を検出するためのレンズ１６
および二次元イメージ・センサ２０、アナログ−ディジ
タル（Ａ／Ｄ）変換器２２、ディジタル信号処理装置
（ＤＳＰ）２４、メモリ・デバイス２６を有するカメラ
である。レンズ１６は、二次元イメージ・センサ２０に
隣接して置かれる。二次元イメージ・センサ２０は、レ
ンズ１６を通して検出したオブジェクトの光画像信号を
受け取り、この光信号をアナログ画像信号に変換し、そ
のアナログ画像信号をアナログ−ディジタル（Ａ／Ｄ）
変換器２２に伝送する。アナログ−ディジタル変換器２
２は、アナログ画像信号からディジタル画像信号を生成
し、このディジタル画像信号を、ディジタル信号処理装
置（ＤＳＰ）２４に送信する。スイッチ１８がＤＳＰ２
４に結合され、画像捕捉装置１０によってイメージ・セ
ンサ２０に捕捉されているオブジェクトのスナップショ
ット静止画像を撮影するために使用者によって制御され
る。ＤＳＰ２４には、リード・オンリー・メモリ（ＲＯ
Ｍ）およびランダム・アクセス・メモリ（ＲＡＭ）を含
むメモリ・デバイス２６が結合される。ＲＯＭには、Ｄ
ＳＰ２４の動作を制御する命令が含まれる。ＲＡＭは、
ＤＳＰ２４およびイメージ・センサ２０の動作一般に使
用される。ＤＳＰ２４は、二次元イメージ・センサ２０
に電気的に結合され、二次元イメージ・センサ２０の動
作を制御する。ディジタル画像信号は、画像捕捉装置１
０から、通信ケーブル１４、およびコンピュータ・シス
テム１２に取り付けられるか、または組み込まれた通信
用インタフェース３０を介してホスト・コンピュータ１
２に伝送される。

【００２２】好ましい実施形態では、画像捕捉装置１０
は、印刷物２８からの画像を捕捉することができる。画
像捕捉装置１０のレンズ１６は印刷物２８から距離３２
の位置に置かれる。使用者が、ペンを持つように画像捕
捉装置を保持したときの印刷物と画像捕捉装置の距離と
ほぼ等しい焦点距離を有するレンズが理想的である。画
像捕捉装置の輪郭に応じて、画像捕捉装置の輪郭に基づ
いた理想的なレンズを選択することができる。例えば、
コンピュータ・マウスの都合のよい場所に取り付けられ
るようにレンズを選択することができる。自動焦点機能
を有するレンズ機構をこの目的に使用することができ
る。

【００２３】印刷物２８は、文書中の単語などのテキス
ト・フォーマットのものでよい。画像捕捉装置１０は、
単語全体の画像を捕捉する。例えば、電子化辞書では、
現時点で好ましい実施形態の画像捕捉装置１０は、ちょ
うどカメラで写真を撮るように単一の操作で単語の画像
を捕捉する。従来技術では、単語の画像は通常、文書の
ページまたは行の一部として走査されコンピュータに送
られる。従来技術のスキャナは、文書の同じ行の他の単
語から単語を区別して選択的に走査することができな
い。したがって、電子化辞書使用者がスキャナを入力装
置として使用して、単語の定義を検索することはできな
い。同様に、ＰＩＭの使用者は、従来のスキャナでカレ
ンダーの日付を走査して特定の日時のスケジュールを問
い合わせることができない。

【００２４】画像捕捉装置１０は、オブジェクトの光信
号を検出すると、この光信号を二次元イメージ・センサ
２０に送信する。好ましい実施形態では、二次元イメー
ジ・センサ２０は、オブジェクトの光画像信号を二次元
的に並ぶアナログ画像信号に変換する、例えば、電荷結
合デバイス（ＣＣＤ）光イメージ・センサ・モジュール
を含む。この変換プロセスは当技術分野で周知である。

【００２５】現時点で好ましい実施形態では、レンズの
有効範囲内のオブジェクトの画像はリアルタイムで、ホ
スト・コンピュータのビデオ・ディスプレイ上に表示さ
れる。使用者は、画像捕捉装置が捕捉しているオブジェ
クトの画像をビデオ・ディスプレイ上で見ることができ
る。使用者が、もっと多くの情報を得たいオブジェクト
をビデオ・ディスプレイ上で見つけたときには、スイッ
チを押すことによって表示されているオブジェクトのス
ナップ−ショット静止画像を撮影することができる。Ｄ
ＳＰ２４は、スイッチ１８が押されたことを検出し、表
示されている画像が選択されたことを指摘する信号をホ
スト・コンピュータに送信する。

【００２６】他の実施形態では、使用者が、スイッチ１
８を「オン」位置にすることによって、画像捕捉動作を
活性化することができる。画像捕捉動作を活性化するこ
とによって、画像捕捉装置は、レンズの有効範囲内のオ
ブジェクトの画像を捕捉する。この画像捕捉装置の使用
者は、画像捕捉装置によって捕捉されているオブジェク
トの画像をホスト・コンピュータのビデオ・ディスプレ
イ上で見ることができる。スイッチをリリースすると、
オブジェクトのスナップショット静止画像が撮影され
る。

【００２７】好ましい実施形態では、通信ケーブル１４
は、ホスト・コンピュータ・システムのパラレルポート
に接続されたパラレル通信ケーブルでよい。また、ホス
ト・コンピュータ・システム１２のシリアルポートに接
続されたシリアル通信ケーブル１４でもよい。さらに、
ユニバーサル・シリアル・バス（ＵＳＢ）プロトコルに
準拠した通信を、画像捕捉装置１０からホスト・コンピ
ュータ・システム１２への画像信号の伝送に使用するこ
ともできる。ＰＣＭＣＩＡ、すなわちＰＣカード・スタ
ンダードに準拠した通信カードおよび通信ケーブルをこ
の目的に使用することもできる。また、赤外線通信また
は無線通信による方法を使用することもできる。赤外線
通信または無線通信による方法をこの目的に使用するこ
との利点は、ホスト・コンピュータおよび画像捕捉装置
１０に接続するケーブルを使用する負担を排除すること
である。

【００２８】二次元イメージ・センサ２０は、メモリ・
デバイス２６のＲＯＭに組み込まれたイメージ・センサ
・ドライバを使用する。好ましい実施形態では、イメー
ジ・センサ・ドライバは、ＤＳＰ２４の動作を制御する
命令シーケンスを含むコンピュータ・プログラムの形態
をとる。二次元イメージ・センサ２０は、イメージ・セ
ンサ・ドライバの命令に従ってオブジェクトの光画像信
号をアナログ画像信号に変換する。

【００２９】好ましい実施形態のＤＳＰ２４は、マイク
ロコンピュータ、マイクロコントローラ、ＣＩＳＣプロ
セッサ、ＲＩＳＣプロセッサでもよい。プロセッサの種
類は、画像捕捉装置１０の動作結果に影響を及ぼさな
い。しかし、性能に影響を及ぼすことがある。ＤＳＰ
は、大きな数を操作できることで知られている。信号処
理技術では、多くの計算を要する多項式が多用されるの
で、ＤＳＰは、この用途での使用に最良のプロセッサで
あると考えられる。

【００３０】図３は、画像検出回路３４、およびシフト
・ゲート４２を介してこれに接続されたＣＣＤアナログ
・シフト・レジスタ４４を含む二次元イメージ・センサ
２０の概略図である。画像検出回路３４は、二次元マト
リクス・フォーマットに配置された複数の光検出素子
（フォトサイト（ｐｈｏｔｏｓｉｔｅ）として知られ
る）を含み、各素子は、並列に結合されたフォトダイオ
ード３６およびキャパシタ３８を含む。画像検出回路３
４の一端は画像捕捉装置１０のシャシ・グラウンド４０
に接続され、画像検出回路３４のもう一方の末端は、シ
フト・ゲート４２の一方の側に結合される。シフト・ゲ
ート４２のもう一方の側は、ＣＣＤアナログ・シフト・
レジスタ４４に結合される。シフト・ゲート４２を閉じ
ることによって、対象オブジェクトから反射した光がフ
ォトダイオード３６の状態を変化させ、光信号シーケン
スが生成される。光信号シーケンスは、ＣＣＤアナログ
・シフト・レジスタ４４に記録される。ＣＣＤアナログ
・シフト・レジスタ４４を通じてアナログ画像信号が生
成される。

【００３１】画像検出回路３４の動作では、印刷物から
の光信号は、フォトダイオード３６によって検出され
る。光電動作を介して、光画像信号は、キャパシタ３８
に蓄積された信号電荷に変換される。シフト・ゲート４
２を介して電気的な接触を実施することによって、画像
信号は、シフト・レジスタ４４に記録される。シフト・
レジスタ４４は光画像信号を、アナログ画像信号に変換
する。

【００３２】また、ＣＣＤアナログ・シフト・レジスタ
をＣＭＯＳベースのアナログ・シフト・レジスタで代用
することができ、フォトダイオード３６をフォトレジス
タで代用することができる。このように置き換えると、
ＣＣＤベースの二次元イメージ・センサ２０は、ＣＭＯ
Ｓベースのイメージ・センサとなる。

【００３３】図４は、ホスト・コンピュータ１２の主要
構成部分を示すブロック図である。ホスト・コンピュー
タ１２は、通常はＣＩＳＣまたはＲＩＳＣプロセッサで
ある演算処理装置４６を含む。演算処理装置４６は、使
用者に情報を表示するためのディスプレイ・モニタ４８
に結合される。演算処理装置４６はバス５０にも接続さ
れる。バス５０を介して、演算処理装置４６は、１つま
たは複数のメモリ・デバイス５２、１つまたは複数の記
憶デバイス５４および複数の通信用インタフェース５
６、５８に結合される。ディスプレイ・モニタ４８は、
液晶ディスプレイの形態をとってもよい。

【００３４】メモリ・デバイス５２は、ＲＯＭおよびＲ
ＡＭを含む。ＲＯＭおよびＲＡＭの使用は当技術分野で
は周知である。コンピュータ・システムの種類に応じ
て、記憶デバイス５４は、ハード・ディスク、ＣＤ−Ｒ
ＯＭ、フロッピー・ディスク、フラッシュ・メモリ、Ｐ
ＣＭＣＩＡメモリー・カードなどの大容量記憶装置を含
むことができる。例えば、電子化辞書では、単語の定義
およびこれに関する情報を含んでいるデータベースがこ
のような大容量記憶装置に記憶される。光学的画像認識
および突合せプロセスのためのアプリケーション・プロ
グラムもまた、この記憶デバイスに記憶される。通信用
インタフェース５６、５８には、シリアルまたはパラレ
ルの通信用インタフェース、あるいはこの用途に使用可
能なその他の通信用インタフェースが使用できる。

【００３５】図５に参照して、好ましい実施形態の画像
捕捉装置１０によって実行される画像捕捉動作を示す。
好ましい実施形態では、使用者は、まず画像捕捉動作を
活性化しなければならない。画像捕捉動作を活性化する
ためには、使用者がスイッチを押す必要がある（ステッ
プ６０）。レンズ１６およびイメージ・センサ２０がオ
ブジェクト、すなわち印刷物２８の光信号を検出する。
光信号は、二次元アナログ画像信号に変換される（ステ
ップ６２）。次に、アナログ画像信号は、アナログ−デ
ジタル変換器によってディジタル画像信号に変換される
（ステップ６４）。前処理動作として、ＤＳＰは、受け
取ったディジタル画像信号中のノイズをフィルタリング
・サブプロセスによって消去し（ステップ６６）、フィ
ルタリングした画像信号を生成する。ＤＳＰは次に、フ
ィルタリングした画像信号をホスト・コンピュータに伝
送する（ステップ６８）。

【００３６】図６に、ホスト・コンピュータ１２の動作
を説明するフロー・チャートを示す。ホスト・コンピュ
ータ１２は画像捕捉装置から、フィルタリングされた画
像信号を受け取っているかどうかをまずチェックする
（ステップ７０）。受け取っている場合には、受け取っ
たフィルタリングされた信号は、コンピュータ・システ
ム１２のバッファ・メモリに記憶される。コンピュータ
・システム１２の演算処理装置４６は次に、光学的画像
認識サブプロセスを実行する。電子化辞書の場合には、
この認識動作は、新規な光学式文字認識サブプロセスで
あり（ステップ７２）、これは図７に示されている。次
に、ホスト・コンピュータ１２は認識された文字または
単語をメモリ内の第２のバッファに記憶する。次に、演
算処理装置が、認識された単語をデータベース中の単語
と突き合わせることによって、文字または単語の突合せ
サブプロセスを実行する（ステップ７４）。好ましい実
施形態のこの突合せサブプロセスは、図１０に示されて
いる。演算処理装置４６は、データベース中で一致した
単語を探し出した後、その単語に関する情報をデータベ
ースから読み出す（ステップ７６）。次いで、読み出さ
れた情報およびデータベースで探し出された単語が、ホ
スト・コンピュータ・システム１２のモニタ、すなわち
ディスプレイ４８上に表示される（ステップ７８）。

【００３７】当業者には周知のとおり、好ましい実施形
態を、印刷物２８に対して楽な角度でカメラを保持でき
るように、角度の許容範囲を広くして実施することがで
きる。さらに、画像の座標を回転させることができるよ
うな新規なカメラ校正機能を好ましい実施形態に実装す
ることができ、この機能により、印刷物に対するカメラ
の角度をさらに自由に変えることができるようになる。

【００３８】図７は、好ましい実施形態の光学式文字認
識サブプロセスを示すフロー図である。このサブプロセ
スは、フィルタリングされたディジタル画像信号のマト
リクスを受け取ることから始まる。このマトリクスは、
ＸおよびＹ座標に関してマトリクスに配列された光信号
を表すデータ点を含む（ステップ８０）。マトリクスの
各要素は、画素Ｐｘｙ（ｘ，ｙ）のグレースケール値を
示す。ただし、（ｘ，ｙ）はマトリクス中の画素Ｐｘｙ
の位置である。

【００３９】次に、フィルタリングされたグレースケー
ル・ディジタル画像信号から２値グレー・フォーマット
の画像データが生成される（ステップ８２）。このプロ
セスの基本動作は、グレースケール・フォーマットまた
はカラー・スケールの画像信号を２値グレー・フォーマ
ットに変換することである。この動作により、各種濃淡
レベルの画素が白または黒（すなわち０または１）の画
素に変えられる。つまり画素は、黒いドットのある画素
または、黒いドットのない画素のいずれかになる。各種
アルゴリズムを使用して、グレースケール・データをど
のように２値データに変換するかを決定することができ
る。２値データを生成した後に、フィルタリング・プロ
セスを実行して、画像中のドット・ノイズを消去する
（ステップ８４）。フィルタリング・サブプロセスの結
果として、より明瞭で良好な画像データ・マトリクスが
得られる。

【００４０】次のステップは、オブジェクトの画像ブロ
ックを生成することである。画像ブロックを生成する前
にまず、オブジェクトの画像をサブパーツに分離しなけ
ればならない。電子化辞書では、単語フレーム化サブプ
ロセスを捕捉された各単語の画像に実行する。単語フレ
ーム化サブプロセスは、単語の前後の空間を検出するこ
とによって実行される。単語の各文字もまた、単語フレ
ーム化プロセスによってフレーム化される。各文字は、
文字の不連続を認識することによってフレーム化され
る。これらのプロセスは、フィルタリングされた画像信
号から、単語フレーム化プロセスまたは文字フレーム化
プロセスを通じて、単語画像ブロックまたは文字画像ブ
ロックを生成する（ステップ８６）。このステップは、
画像データ・マトリクスからこれらの点密度に従って複
数の画像ブロックを生成するものである。電子化辞書で
は、このステップで、単語中の各文字を分離する必要が
ある。これは文字間の空間を検出することによって実施
することができる。このプロセスの目的は、次のプロセ
スで認識しやすい文字を得ることである。文字画像ブロ
ックから、ループ認識サブプロセス（ステップ８８）を
通じて文字を認識することができる。本質的に、このル
ープ認識サブプロセスは、先行するサブプロセスを通じ
て再生成されたそれぞれの文字を認識し、これらの文字
を正しい順序に配置して、画像捕捉装置が捕捉した単語
を復元するするために実行される。このステップのある
態様が、図８および図９にさらに示されている。以前の
サブプロセス（ステップ８６および８８）は、単語の全
ての文字が文字画像ブロック（ステップ９０）に入れら
れるまで継続される。

【００４１】ループ認識サブプロセスを通じて文字を突
き合わせる前述の動作を、文字「Ｚ」を例として使用し
て図８にさらに示す。第１のステップは、いくつかの特
徴のある画素を識別することである。この例では、４つ
の特徴画素、ＣＰ−１ ９２、ＣＰ−２ ９４、ＣＰ−
３ ９６、ＣＰ−４ ９８が識別された。次に、他の特
徴画素に対する各特徴画素の相対的な位置を判定する。
例えば、ＣＰ−２ ９４はＣＰ−１ ９２の右に、ＣＰ
−３ ９６はＣＰ−１ ９２の下に、ＣＰ−４９８はＣ
Ｐ−１ ９２の右下にある。次のステップは、文字中の
各特徴画素のところに形成された角を識別することであ
る。例えば、ＣＰ−３ ９６の角は、ＣＰ−２ ９４と
ＣＰ−３ ９６を結ぶ線と、ＣＰ−３ ９６とＣＰ−４
９８を結ぶ線の間の角である。この例では、この角は
約６０度である。次のステップは、２つの特徴画素の間
の距離を判定することである。この距離は、予め決めら
れた距離に対する比率で表すことができる。この比率
は、文字の各種フォント・サイズに対応するために好ま
しいものである。特徴画素の相対的な関係を見つけ出し
た後、この文字の特徴を、ホスト・システムのテンプレ
ート・ライブラリーに事前に記憶された文字の特徴と比
較することによって突合せプロセスが実行される。テン
プレート・ライブラリーは、データベースの別の形態で
ある。

【００４２】図９に、図７のステップ８８で説明した文
字ループ認識サブプロセスを示すフロー図を示す。電子
化辞書のループ認識サブプロセスでは、まず捕捉された
文字画像のストロークを識別する（ステップ１００）。
例として図８の文字「Ｚ」を使用すると、３つのストロ
ークを識別することができる。第１のストロークはＣＰ
−１ ９２からＣＰ−２ ９４、第２のストロークはＣ
Ｐ−２ ９４からＣＰ−３ ９６、第３のストロークは
ＣＰ−３ ９６からＣＰ−４ ９８である。次のステッ
プは、各ストロークの相対的な長さを判定することであ
る（ステップ１０２）。文字「Ｚ」では、このステップ
は、各ストロークの相対的な長さ、すなわち、ＣＰ−１
９２とＣＰ−２ ９４の間の距離である第１のストロ
ークの相対的な長さ、ＣＰ−２ ９４とＣＰ−３ ９６
の間の距離である第２のストロークの相対的な長さ、Ｃ
Ｐ−３ ９６とＣＰ−４ ９８の間の距離である第３の
ストロークの相対的な長さを判定する。次のステップ
は、画像捕捉装置によって捕捉された文字画像のストロ
ーク数を判定することである（ステップ１０４）。文字
「Ｚ」では、ストローク数は、第１、第２、第３のスト
ロークとして識別された前述の３ストロークである。次
のステップは、２つの連結したストロークの間の角を判
定することである（ステップ１０６）。前述のとおり、
特徴画素ＣＰ−３における角は、第２のストロークと第
３のストロークの間の角である。この例では、第２のス
トロークと第３のストロークが、２つの連結ストローク
である。同様に、前に識別された第１のストロークと第
２のストロークも、文字「Ｚ」の２つの連結ストローク
である。この２つの連結ストローク、すなわち、第１の
ストロークと第２のストロークが特徴画素ＣＰ−２にお
ける角を形成し、この角もこのステップで判定される。
次のステップは、各ストロークの方向を判定することで
ある（ステップ１０８）。文字「Ｚ」を例として再び使
用すると、第１のストロークは概略、左から右に描か
れ、第２のストロークは概略、右上から左下に描かれ、
第３のストロークは概略、左から右に描かれている。次
に、捕捉された文字画像の特徴情報が前記のステップで
判定された情報を含むストローク特性から集約される
（ステップ１１２）。特徴情報は、各ストロークの相対
的な長さ、文字画像のストローク数、２つの連結ストロ
ークの間に形成された角および各ストロークの方向を含
む。次いで、捕捉された文字画像の特徴情報は、テンプ
レート・ライブラリ中の文字の特徴と比較される（ステ
ップ１１４）。テンプレート・ライブラリーは、認識す
べきそれぞれ異なったグラフィック・シンボルに対する
プロトタイプ画像を含んでいるコンピュータ内部のデー
タベースである。捕捉された文字画像の特徴情報をテン
プレート・ライブラリー中の文字の特徴と比較した後
に、完全に一致したものが見つけ出せたかどうかを判定
する必要がある（ステップ１１６）。完全に一致したも
のが見つけ出せた場合には、突合せサブプロセスの結果
として見つけ出された文字が参照文字として使用される
（ステップ１１８）。一致したものを見つけ出せなかっ
た場合には、捕捉された文字画像の特徴情報に最も近い
特徴を有する文字が参照文字として選択される（ステッ
プ１２０）。

【００４３】画像捕捉装置によって捕捉された単語の中
の文字画像が全て識別された後の次のサブプロセスは、
その単語に関する情報をデータベースから読み出すこと
である。識別された単語の情報を読み出すこのサブプロ
セスを図１０のフロー図に示す。この単語突合せサブプ
ロセスは、認識された単語をメモリから読み出すことか
ら開始される（ステップ１２４）。認識された単語を読
み出した後の次の手順は、認識された単語に一致する単
語をデータベース中から見つけ出すことである（ステッ
プ１２６）。次いで、データベース中で一致した単語を
見つけ出すことができたかどうかの判定を実施する（ス
テップ１２８）。捕捉された単語がデータベースで見つ
け出すことができたかどうかに関わらず何らかの情報が
提供されなければならない。一致した単語がデータベー
スで見つけ出せた場合には、一致した単語に関する定義
および情報がデータベースから読み出される（ステップ
１３０）。見つけ出だせなかった場合には、捕捉された
単語に最も近いデータベース中の単語が選択され、その
定義および情報がデータベースから読み出される（ステ
ップ１３２）。データベースから情報が読み出される
と、単語、およびその定義、関連情報が、ホスト・コン
ピュータ・システムのモニタ上に表示される（ステップ
１３４）。

【００４４】特定の実施形態に関連して本発明を具体的
に示し、説明してきたが、形態および詳細のさまざまな
変更および修正を実施することができることを当業者は
理解するであろう。よって、このような全ての変更およ
び修正を本発明の真の趣旨および範囲に入るものとして
前記請求項は包含するものである。

【図面の簡単な説明】

【図１】画像捕捉装置を有するコンピュータ・システム
を含む本発明の現時点で好ましい実施形態を示すシステ
ム図である。

【図２】画像捕捉装置および画像捕捉装置からホスト・
コンピュータ・システムへの接続の好ましい実施形態を
示すブロック図である。

【図３】ＣＣＤベースの好ましい実施形態のイメージ・
センサの概略図である。

【図４】好ましい実施形態のホスト・コンピュータ・シ
ステムを示すブロック図である。

【図５】オブジェクトの画像を捕捉する好ましい実施形
態の画像捕捉装置が実施する画像捕捉動作を示すフロー
図である。

【図６】捕捉した画像を処理し、捕捉したオブジェクト
に関する情報を表示するホスト・コンピュータ・システ
ムの動作を示すフロー図である。

【図７】好ましい実施形態のホスト・コンピュータ・シ
ステムの画像認識プロセスを示すフロー図である。

【図８】好ましい実施形態の突合せ動作におけるオブジ
ェクトの特徴画素の選択の例を示す図である。

【図９】好ましい実施形態のループ認識サブプロセスの
突合せ動作を示すフロー図である。

【図１０】情報探索操作を示すフロー図である。

【符号の説明】

１０ 画像捕捉装置 １２ ホスト・コンピュータ １４ 通信ケーブル １６ レンズ １８ スイッチ ２０ イメージ・センサ ２２ アナログ−ディジタル変換器 ２４ ディジタル信号処理装置（ＤＳＰ） ２６ メモリ・デバイス ２８ 印刷物

───────────────────────────────────────────────────── フロントページの続き (72)発明者 フレッド・エイチ・ワイ・チェン 台湾・タイペイ カウンティ・チャン ホ シティ・バオ−シエン ロード・レーン 106・38番・４ティエイチ エフエル (72)発明者 サムソン・エックス・エス・ワン 中華人民共和国・シャンハイ・ギ−ドン ロード・ラン 557・11番・ルーム 202 (72)発明者 リン・リー 中華人民共和国・サンシ プロヴィンス・ クシアン・イェンター ディストリクト・ チンソン ロード・７

Claims (23)

【特許請求の範囲】
1. 【請求項１】 １つまたは複数の選択したオブジェクト
   の１つまたは複数の画像を捕捉して、これを表示し、選
   択した画像を処理して、システムが認識可能なコードを
   有する特定のオブジェクトとして前記選択した画像を識
   別し、これに関する情報を読み出し、表示するシステム
   において、 ディスプレイ、および複数の識別可能なオブジェクトに
   関する情報を含むメモリ記憶装置を有するホスト・コン
   ピュータ・システムと、 オブジェクトのスナップショット静止画像を撮影し、オ
   ブジェクトの静止画像を表す信号を生成するためのスイ
   ッチを有する画像捕捉装置と、 前記ホスト・コンピュータ・システムと前記画像捕捉装
   置の間に通信経路を提供する通信手段を有し、 使用者が選択したオブジェクトの画像を表す信号を前記
   画像捕捉装置が連続的に生成し、前記通信手段を介して
   その信号を前記ホスト・コンピュータに送信し、前記ホ
   スト・コンピュータが、その信号を連続的に受信し、受
   信した信号によって表される画像をリアルタイムで表示
   し、また、前記スイッチが活性化されて、選択されてい
   るオブジェクトのスナップショット静止画像が撮影され
   ると、前記ホスト・コンピュータが、前記静止画像を特
   定のオブジェクトとして認識し、これに関する情報を読
   み出すことを特徴とするシステム。
2. 【請求項２】 画像捕捉装置がさらに、 １つまたは複数の選択されたオブジェクトの光画像を検
   出するレンズと、 オブジェクトの光画像信号をレンズを通して受け取り、
   オブジェクトのアナログ画像信号を生成するイメージ・
   センサと、 イメージ・センサからのオブジェクトのアナログ画像信
   号に応答して、オブジェクトのディジタル画像信号を生
   成するアナログ−ディジタル変換器と、 アナログ−ディジタル変換器によって生成されたオブジ
   ェクトのディジタル画像信号に応答して、このディジタ
   ル画像信号をコンピュータ・システムに伝送する処理装
   置とを含むことを特徴とする請求項１に記載のシステ
   ム。
3. 【請求項３】 イメージ・センサがＣＣＤベースのイメ
   ージ・センサであることを特徴とする請求項２に記載の
   システム。
4. 【請求項４】 イメージ・センサがＣＭＯＳベースのイ
   メージ・センサであることを特徴とする請求項２に記載
   のシステム。
5. 【請求項５】 コンピュータ・システムがパーソナル・
   コンピュータであることを特徴とする請求項１に記載の
   システム。
6. 【請求項６】 コンピュータ・システムが、ハンドヘル
   ド・パーソナル・コンピュータであることを特徴とする
   請求項１に記載のシステム。
7. 【請求項７】 コンピュータ・システムが電子化辞書で
   あることを特徴とする請求項１に記載のシステム。
8. 【請求項８】 ディスプレイ装置が液晶ディスプレイで
   あることを特徴とする請求項１に記載のシステム。
9. 【請求項９】 オブジェクトの画像を捕捉し、前記画像
   を、特定のオブジェクトとして表示し、これを識別し、
   これに関する情報を読み出し、表示する方法において、 オブジェクトの画像を連続的に捕捉し、前記オブジェク
   トの画像を表す信号を生成する段階と、 前記信号を、ホスト・コンピュータに伝送する段階と、 前記信号を処理して、この信号によって表される画像を
   生成し、前記画像を表示する段階と、 使用者が制御可能なスイッチを活性化したときに静止画
   像を生成する段階と、 前記静止画像を、コンピュータ・システムが認識可能な
   コードを有する特定のオブジェクトとして識別する段階
   と、 前記特定のオブジェクトに関する情報を前記ホスト・コ
   ンピュータのメモリ記憶装置から読み出す段階と、 前記情報を表示する段階とを含むことを特徴とする方
   法。
10. 【請求項１０】 １つまたは複数の選択した単語の１つ
    または複数の画像を捕捉して、これを表示し、選択した
    画像を処理して、電子化辞書システムが認識可能なコー
    ドを有する特定の単語として前記選択した画像を識別
    し、これに関する情報を読み出し、表示する電子化辞書
    システムにおいて、 ディスプレイ、および複数の識別可能な単語に対応する
    定義を含むメモリ記憶装置を有するホスト・コンピュー
    タ・システムと、 画像捕捉装置を活性化し、単語の画像を表す信号を生成
    するスイッチを有する画像捕捉装置と、 前記ホスト・コンピュータ・システムと前記画像捕捉装
    置の間に通信経路を提供する通信手段とを有し、 使用者が選択した単語の画像を表す信号を連続的に前記
    画像捕捉装置が生成し、前記通信手段を介してその信号
    を前記ホスト・コンピュータに送信し、前記ホスト・コ
    ンピュータが、この信号を連続的に受信し、受信した信
    号によって表される画像をリアルタイムで表示し、ま
    た、前記スイッチが活性化されて、選択されている単語
    のスナップショット静止画像が撮影されると、前記ホス
    ト・コンピュータが前記静止画像を特定の単語として認
    識し、これに関する情報を読み出すことを特徴とする電
    子化辞書システム。
11. 【請求項１１】 画像捕捉装置がさらに、 １つまたは複数の選択されたオブジェクトの光画像を検
    出するレンズと、 オブジェクトの光画像信号をレンズを通して受け取り、
    オブジェクトのアナログ画像信号を生成するイメージ・
    センサと、 イメージ・センサからのオブジェクトのアナログ画像信
    号に応答して、オブジェクトのディジタル画像信号を生
    成するアナログ−ディジタル変換器と、 アナログ−ディジタル変換器によって生成されたオブジ
    ェクトのディジタル画像信号に応答して、このディジタ
    ル画像信号をコンピュータ・システムに伝送する処理装
    置とを含むことを特徴とする請求項１０に記載の電子化
    辞書システム。
12. 【請求項１２】 イメージ・センサがＣＣＤベースのイ
    メージ・センサであることを特徴とする請求項１１に記
    載の電子化辞書システム。
13. 【請求項１３】 イメージ・センサがＣＭＯＳベースの
    イメージ・センサであることを特徴とする請求項１１に
    記載の電子化辞書システム。
14. 【請求項１４】 単語の画像を捕捉し、前記画像を表示
    し、これを特定の単語として識別し、これに関する定義
    を読み出し、表示する方法において、 単語の画像を連続的に捕捉し、前記単語の画像を表す信
    号を生成する段階と、 前記信号を、ホスト・コンピュータに伝送する段階と、 前記信号を処理して、この信号によって表される画像を
    生成し、前記画像を表示する段階と、 使用者が制御可能なスイッチを活性化したときに静止画
    像を生成する段階と、 前記静止画像を特定の単語として識別する段階と、 前記特定の単語に関する定義を前記ホスト・コンピュー
    タのメモリ記憶装置から読み出す段階と、 前記定義を、ホスト・コンピュータのディスプレイ上に
    表示する段階を含むことを特徴とする方法。
15. 【請求項１５】 単語の画像を捕捉し、前記画像を表示
    し、これを特定の単語として識別し、これに関する定義
    を読み出し、表示する電子化辞書システムにおいて、 使用者が制御可能なスイッチを活性化すると、単語の画
    像を連続的に捕捉し、前記単語の画像を表す信号を生成
    する手段と、 前記信号を、ホスト・コンピュータに伝送する手段と、 前記信号を処理して、この信号によって表される画像を
    生成し、前記画像を表示する手段と、 使用者が制御可能なスイッチを不活性化したときに静止
    画像を生成する手段と、 前記静止画像を特定の単語として識別する手段と、 前記特定の単語に関する定義を前記ホスト・コンピュー
    タのメモリ記憶装置から読み出す手段と、 前記定義を表示する手段を含むことを特徴とする、電子
    化辞書システム。
16. 【請求項１６】 オブジェクトの画像を捕捉し、オブジ
    ェクトに関する情報をコンピュータ・システムのビデオ
    ・ディスプレイ上に表示する方法であって、画像捕捉装
    置が、通信ケーブルを介してコンピュータ・システムに
    結合され、コンピュータ・システムが、オブジェクトに
    関する情報を含むデータベースを有する方法において、 オブジェクトの光画像信号を画像捕捉装置で捕捉するサ
    ブプロセスと、 光画像信号からオブジェクトのアナログ画像信号を生成
    するサブプロセスと、 オブジェクトのアナログ画像信号をオブジェクトのディ
    ジタル画像信号に変換するサブプロセスと、 オブジェクトのディジタル画像信号を通信ケーブルを介
    してコンピュータ・システムに伝送するサブプロセスと
    を含む、画像捕捉装置が、オブジェクトのディジタル画
    像信号を生成し、このディジタル画像信号をコンピュー
    タシステムに伝送する段階と、 画像認識サブプロセスを通じてオブジェクトを認識する
    サブプロセスと、 認識されたオブジェクトを、データベースのオブジェク
    トと突き合わせ、一致するオブジェクトを識別するサブ
    プロセスと、 一致したオブジェクトに関する情報を読み出し、ビデオ
    ・ディスプレイ上に表示するサブプロセスとを含む、コ
    ンピュータ・システムが、オブジェクトのディジタル画
    像信号を画像捕捉装置から受け取り、オブジェクトに関
    する情報を表示する段階とを含むことを特徴とする方
    法。
17. 【請求項１７】 認識サブプロセスがさらに、 オブジェクトのディジタル画像信号からグレースケール
    ・ディジタル画像データ・マトリクスを生成する段階
    と、 グレースケール・ディジタル画像信号から、２値グレー
    ・フォーマットのオブジェクトのディジタル画像信号を
    生成する段階と、 オブジェクトの２値グレー・フォーマット・ディジタル
    画像信号からオブジェクトをフレーム化し、オブジェク
    トのフレームを生成する段階と、 オブジェクトのフレームから、オブジェクトの画像ブロ
    ックを生成する段階を含むことを特徴とする請求項１６
    に記載の方法。
18. 【請求項１８】 認識されたオブジェクトを、データベ
    ースのオブジェクトと突き合わせ、一致するオブジェク
    トを識別するサブプロセスがさらに、 オブジェクトを、複数のサブパーツに分離する段階と、 サブパーツの他の特徴画素に対する各特徴画素の相対的
    な位置を判定するサブプロセスと、 サブパーツの各特徴画素のところに形成された角を判定
    するサブプロセスと、 サブパーツの２つの特徴画素の間の距離を判定するサブ
    プロセスとを含み、その特徴が、サブパーツの特徴を決
    定する各サブパーツの複数の特徴画素を識別する段階
    と、 前記サブパーツの特徴を、データベースの他のサブパー
    ツと比較する段階と、 オブジェクトのサブパートと特徴が一致するサブパー
    ト、または、オブジェクトのサブパートの特徴に特徴が
    最も近いサブパートを、データベースから選択する段階
    とを含むことを特徴とする請求項１６に記載の方法。
19. 【請求項１９】 認識サブプロセスが、光学式文字認識
    プロセスであることを特徴とする請求項１６に記載の方
    法。
20. 【請求項２０】 単語の画像を捕捉し、単語に関する情
    報をコンピュータ・システムのビデオ・ディスプレイ上
    に表示する方法であって、画像捕捉装置が、通信ケーブ
    ルを介してコンピュータ・システムに結合され、コンピ
    ュータ・システムが、単語に関する情報を含むデータベ
    ースを有する方法において、 単語の光画像信号を画像捕捉装置で捕捉するサブプロセ
    スと、 光画像信号から単語のアナログ画像信号を生成するサブ
    プロセスと、 単語のアナログ画像信号を単語のディジタル画像信号に
    変換するサブプロセスと、 単語のディジタル画像信号を通信ケーブルを介してコン
    ピュータ・システムに伝送するサブプロセスとを含む、
    画像捕捉装置が、単語のディジタル画像信号を生成し、
    このディジタル信号をコンピュータシステムに伝送する
    段階と、 画像認識サブプロセスを通じて単語を認識するサブプロ
    セスと、 認識された単語を、データベースの単語と突き合わせ、
    一致する単語を識別するサブプロセスと、 一致した単語に関する情報を読み出し、ビデオ・ディス
    プレイ上に表示するサブプロセスとを含む、コンピュー
    タ・システムが、単語のディジタル画像信号を画像捕捉
    装置から受け取り、単語に関する情報を表示する段階を
    含むことを特徴とする方法。
21. 【請求項２１】 認識サブプロセスがさらに、 単語のディジタル画像信号からグレースケール・ディジ
    タル画像データ・マトリクスを生成する段階と、 グレースケール・ディジタル画像信号から、２値グレー
    ・フォーマットの単語のディジタル画像信号を生成する
    段階と、 単語の２値グレー・フォーマット・ディジタル画像信号
    から単語をフレーム化し、単語のフレームを生成する段
    階と、 単語のフレームから、オブジェクトの画像ブロックを生
    成する段階とを含むことを特徴とする請求項２０に記載
    の方法。
22. 【請求項２２】 認識された単語を、テンプレート・ラ
    イブラリの単語と突き合わせ、一致するオブジェクトを
    識別するサブプロセスがさらに、 単語を、複数の文字画像に分離する段階と、 文字画像の各ストロークの相対的な長さを判定するサブ
    プロセスと、 文字画像の各ストロークの描画方向を判定するサブプロ
    セスと、 文字画像のストローク数を判定するサブプロセスと、 文字画像の２つの隣接するストロークの間の角を判定す
    るサブプロセスとを含み、その特徴が、文字画像の特徴
    を決定する各文字画像の複数のストロークを識別する段
    階と、 各ストロークの相対的長さ、各ストロークの描画方向、
    文字画像のストローク数、および文字画像の隣接するス
    トロークの間に形成された角から、文字画像の特徴情報
    を集約する段階と、 各文字画像の特徴情報を、テンプレート・ライブラリの
    文字特徴と比較する段階と、 文字画像の特徴と特徴が一致する文字をデータベースか
    ら、または、単語の文字の特徴に最も近い文字を、テン
    プレート・ライブラリから選択する段階とを含むことを
    特徴とする請求項２０に記載の方法。
23. 【請求項２３】 認識サブプロセスが、光学式文字認識
    サブプロセスであることを特徴とする請求項２０に記載
    の方法。