JP4932554B2 - 文字入力システム、文字入力装置、文字入力方法、及びプログラム - Google Patents

Description

本発明は、情報処理端末に文字を入力する技術に関し、特に空間上に描かれた文字を認識して入力する技術に関する。

携帯電話機、ＰＨＳ（Personal Handy phone System）、ＰＤＡ（Personal Data Assistance，Personal Digital Assistants：個人向け携帯型情報通信機器）等の携帯端末装置の多くは、電子メールの送受信を行うことができる。

近年の携帯端末装置は携帯に便利なように小型にしたものが多く、電子メールで送信する内容を入力して送信するに当たっては、入力するための操作部が小さいために、通常のデスクトップ型のコンピュータに使用されるキーボードから入力する場合と比べると、かなりの困難性を伴う場合が多い。ましてや身体障害者等の手指が不自由な人はなおさらである。

また、タッチペンを用いてタッチパネルに文字を描いて入力する技術は、比較的容易に操作可能だがタッチパネル自体のサイズを確保する必要があるため装置の小型化には不向きである。

上記問題点を解決する方法として、赤外光を発光するペンを使用して文字を空間上に描き、描かれた文字をカメラで撮影し文字情報として認識する方法が従来からある（例えば特許文献１）。

一方、発光しないペンを使用して文字を空間上に描き、描かれた文字をカメラで撮影して描かれた文字を入力する技術が公開されている（例えば特許文献２）。
特開２００１−００５６００号公報 特開２００２−１９６８７３号公報

上記特許文献１に記載の技術によると、赤外光を発光する為にペン側にも電源部と赤外発光素子およびそれらを接続する回路とが必要となり、端末全体のコストアップになる。また赤外光の発光、非発光をペンに備わるスイッチを操作して行う為、ユーザの操作によっては入力する文字が一筆書きのように繋がったものになり、画数の多い文字は文字がつぶれてしまい認識できなかったり、また繋がった部分により誤って認識されてしまったりと、様々な問題点があった。

また、特許文献２に記載の技術では入力する文字が一筆書きのように繋がったものになるため、個人認証装置としては活用できるが、一筆書きのように繋がった文字を認識してその文字を入力に使用することができない。また、画数の多い文字は文字がつぶれてしまって文字認識できなかったり、繋がった部分により誤って認識されてしまったりと、様々な問題点があげられる。

そこで、本発明は上記問題点を解決するためになされたものであって、本発明が解決しようとする課題は、情報処理端末装置への文字の入力操作をより簡単にして使用者の負担を軽減し、情報処理端末装置の小型化により携帯性を向上させる技術を提供することにある。

また、本発明が解決しようとする課題は、空間上に描かれた文字の認識確度を向上させる技術を提供することにある。

上記課題を解決するための本発明は、文字入力システムであって、光を放射する発光手段と、前記放射された光を反射させる反射手段と認識マークとを有する物体と、前記認識マークがカメラの固定焦点エリアに挿入されると前記発光手段から光を放射させ、前記認識マークが前記固定焦点エリアから外れると前記発光手段からの光の放射を終了させる発光制御部と、前記反射手段による反射光の軌跡に基づいて文字を認識する認識手段と、前記認識した文字を入力文字として処理する入力処理手段とを有し、前記認識手段は、前記反射手段が認識エリア内に連続して位置している間の反射光の軌跡を文字の一画として区切って、文字を認識していくことを特徴とする。

上記課題を解決するための本発明は、文字入力装置であって、光を放射する発光手段と、認識マークがカメラの固定焦点エリアに挿入されると前記発光手段から光を放射させ、前記認識マークが前記固定焦点エリアから外れると前記発光手段からの光の放射を終了させる発光制御部と、前記認識マークを有する物体に設けられている反射手段による前記光の反射光の軌跡に基づいて文字を認識する認識手段と、前記認識した文字を入力文字として処理する入力処理手段とを有し、前記認識手段は、前記光を反射させる反射体が認識エリア内に連続して位置している間の反射光の軌跡を文字の一画として区切って、文字を認識していくことを特徴とする。

上記課題を解決するための本発明は、文字入力方法であって、認識マークがカメラの固定焦点エリアに挿入されると発光部から光を放射させる発光ステップと、前記認識マークが前記固定焦点エリアから外れると前記発光部からの光の放射を終了させる発光終了ステップと、前記光の反射光が認識エリア内に連続して位置している間の反射光の軌跡を文字の１画として認識し、認識した少なくとも１以上の画数に基づいて文字を認識する認識ステップと、前記認識した文字を入力文字として処理する入力処理ステップとを有することを特徴とする。

上記課題を解決するための本発明は、文字入力装置のプログラムであって、前記プログラムは前記文字入力装置に、認識マークがカメラの固定焦点エリアに挿入されると発光部から光を放射させる発光ステップと、前記認識マークが前記固定焦点エリアから外れると前記発光部からの光の放射を終了させる発光終了ステップと、前記光の反射光が認識エリア内に連続して位置している間の反射光の軌跡を文字の１画として認識し、認識した少なくとも１以上の画数に基づいて文字を認識する認識ステップと、前記認識した文字を入力文字として処理する入力処理ステップとを処理させることを特徴とする。

本発明は、光を出力可能な光発光部と、光発光部の発光／非発光を制御する光発光制御部と、ペンのように保持が可能で先端に光反射部及び光反射部の位置を認識する為の認識マークを有する光反射手段と、CCDまたはCMOS等のセンサ素子を使用して撮像し、この撮像した画像を画像データとして出力するカメラ画像入力手段と、画像データの複数フレームを合成する画像合成手段と、前記カメラ画像入力手段から入力される画像データの中から前記光反射手段の先端に設けられた認識マークを認識すると前記光発光制御部により光を発光させ、画像合成手段で合成された合成データとあらかじめ登録されている文字認識パターンとを比較し最も近似した結果を出力する画像認識手段と、画像合成手段で合成された合成データと画像認識手段から出力した結果から表示データを出力する表示制御手段と、表示制御手段から出力した表示データを表示可能な表示手段と、操作者が表示手段で表示した画像がカメラから入力したデータと同じと判断した場合に入力データとして確定する入力処理手段と文字認識パターンを格納するメモリからなるデータベースを具備する。

本発明によると、従来の小型化された端末に見られる煩わしいボタン操作による文字入力をタッチペン感覚で入力することが可能となる。

また、本発明によると、上述したようにタッチパネルが不要となる為、端末のサイズの小型化が可能となり、携帯性を向上させることができる。

また、本発明によると、文字入力手段としてペン内部に赤外光発光デバイスのように光を発光するデバイス等を設ける必要がなく、ペン側に電源を設ける必要もなくなるという効果がある。

空間上に入力したい文字を描く構成の場合には、文字の１画毎の切れ目を区別することができないが、光の発光、非発光を制御することで１画毎の区別が可能となり文字のパターンマッチングが容易となる。

本発明の文字入力システムは、図８に示すように、空間上に描かれた文字を携帯端末が取り込み、さらに認識して文字を入力するシステムであり、携帯端末から光を放射させ、この光を反射する反射体が認識エリア内に連続して位置している間の反射光の軌跡を文字の１画として区切って文字を認識していき、この認識した文字を入力文字として処理するものである。尚、本発明での文字の認識は、文字を推定することも含む。

本発明の特徴を説明するために、以下において、図面を参照して具体的に述べる。

本発明を実施するための第１の実施の形態について図面を参照して詳細に説明する。

図１は本発明に係わる文字入力システムの構成の要部を表したものである。

本実施の形態の文字入力システムは、携帯端末装置と、赤外光反射ペンとを有する。尚、本明細書では携帯端末装置を用いて説明するが、空間上に描かれた文字を認識して入力する装置であれば、携帯端末装置以外の装置であっても良い。また、携帯端末装置と赤外光反射ペンとは、一体であっても一体でなくても良いが、赤外光反射ペンが携帯端末装置に格納できる構成の方が実用性の点から考えると好ましい。

赤外光反射ペンは、文字を入力する際に用いられるものであり、図１０の（ａ）に示すように、赤外光反射部３と認識マーク４とを有する。尚、本明細書ではペンとして説明するが、例えば図１０の（ｂ）に示されているように、必ずしもペンの形状を取っていなくても良い。

赤外光反射部３は、赤外光を反射させるものである。

認識マーク４は、赤外光反射部３の近辺に設けられており、多重円で構成されている。尚、本明細書では、認識マーク４は多重円を用いて説明するが、携帯端末のカメラが認識できるものであれば他のものでも良く、赤外光反射部３そのものであっても良い。

携帯端末装置は、赤外光発光部１と、赤外光発光制御部２と、カメラ５と、画像合成部６と、画像認識処理部７と、文字認識パターン８と、データベース９と、表示制御部１０と、入力処理部１１と、表示部１２とを有する。

赤外光発光部１は、赤外光を発光する。尚、本明細書では赤外光を発光する構成を用いて説明するがこれに限らず、光を発光する構成であれば良い。

赤外光発光制御部２は、赤外光発光部１の発光／非発光を制御する。赤外光発光制御部２は、認識マーク４がカメラ５の固定焦点エリア内に位置すると赤外発光部１を発光させ、逆に、認識マーク４が固定焦点エリア外に位置すると赤外発光部１を非発光させる。

カメラ５は、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）叉はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等により被写体を撮像し、撮像信号をディジタル信号に変換して出力する。

画像合成部６は、カメラ５から出力されるディジタル信号（画像データ）を一定期間、フレーム単位で記憶する。画像合成部６はタイマーを有し、タイムアウトするまでの間であり、赤外光発光部１が発光している間にカメラ５から出力される画像データを蓄積し、合成する。また、画像合成部６は、タイムアウトするまでの間であり、赤外光発光部１が発光していない間にカメラ５から出力される画像データを出力する。

データベース９は、メモリであり、文字認識パターンが格納されている。

画像認識処理部７は、画像合成部６で合成された合成データと、あらかじめデータベース９に格納されている文字認識パターン８とを比較し、最も近似している文字を候補データとして出力する。また、赤外光発光部１が発光していない間に画像合成部６から出力される画像データとあらかじめデータベース９に格納されている文字認識パターン８とを比較し、最も近似している文字が認識マークであると認識すると、すなわち、画像データの中から認識マークを検出すると、赤外光発光制御部２に検出したことを通知する。さらに、画像データの中から認識マークがなくなると、認識マークを検出していないことを通知する。尚、画像認識処理部７は、文字のみならず、図形等の情報を認識しても良い。

表示制御部１０は、画像合成部６で合成された合成データと画像認識処理部７から出力された文字候補データとを表示データとして出力させる。

表示部１２は、例えばＬＣＤ（liquid crystal monitor）等の表示装置であり、画面表示制御部１０から出力された表示データを表示する。表示部１２には、撮像画像表示領域と、文字表示領域とを設けてある。撮像画像表示領域はカメラ５が現在撮像している画像が表示される。一方、文字表示領域には認識した文字の候補が表示される。

入力処理部１１は、表示部１２が表示している文字をカメラから入力した文字データと一致しているかの操作者の判断結果を、あらかじめ決められた制御用コードを文字と同様に入力することで確定し、入力文字として処理する。

上記の構成は機能に注目して説明したものであり、これらの機能はＣＰＵおよびメモリからなるハードウェア上でソフトウェアプログラムを実行することで実現される。

続いて、動作の説明をする。

図２は、本実施の形態で使用されている赤外光発光制御の流れを表わしたものである。

操作者は、文字入力の開始準備として赤外光反射ペンをカメラの固定焦点エリアに保持する（ステップＳ０）。

カメラ５は赤外光反射ペンの先端部の認識マーク４に合わせてフォーカスするように制御する（ステップＳ１）。

フォーカスロックすると画像認識処理部７はカメラ５から赤外光反射ペンの先端部の認識マーク４の撮像データを取り込み認識マークの検出を開始する（ステップＳ２、Ｓ３）。

画像認識処理部７の認識マーク検出完了で赤外光発光制御部２は赤外光発光部１を発光制御する（ステップＳ４）。

操作者はカメラ５の固定焦点エリアを文字入力面に見立てて赤外光反射ペンを空間上で固定焦点エリアに挿入するようにしながら入力する文字を描く。図９を参照すると、カメラ５の固定焦点エリアと赤外光の照射イメージを示している。このとき画像認識処理部７は連続的に認識マークの検出動作し、（ステップＳ５）固定焦点エリアから認識マークが外れると赤外光発光制御部２は赤外光の発光を停止する。

次に図３を用いて文字入力の流れを説明する。

まず操作者は、赤外光反射ペンをカメラの撮像エリアで保持する（ステップＳ１０）。

赤外光反射ペンの認識マーク４が固定焦点エリアに挿入されると赤外光の発光が開始される。赤外光は赤外光反射部３によって反射してカメラ５に入力される。操作者は表示部１２に、図８に示すような１文字目の１画の書き始めの照準点（照準マーク）が撮像画像表示領域に表示されることで文字入力が有効になっていることを判断し、続けて空間上に文字を描いていく（ステップＳ１１）。尚、赤外光反射ペンの軌跡は、表示部１２の撮像画像表示領域に表示されてもされなくても良いが、以下の説明では表示される場合を用いて説明する。

この時、赤外光反射ペンが固定焦点エリアから外れると赤外光が非発光となる為、表示部１２には照準点が表示されなくなり、これが１画毎の区切りとなる（ステップＳ１２）。赤外光反射ペンが再び固定焦点エリアに挿入され認識マークが検出された場合は、赤外光反射ペンが固定焦点エリアに入っていると認識され、赤外光発光制御部２は赤外光発光を開始し、画像認識処理部７はカメラ画像データを文字認識用画像として取り込む。

操作者は１文字分描き終わった場合、空間に描いた文字が正しく認識されたか表示部１２の文字表示領域を確認する（ステップＳ１３）。

認識結果が間違っていた場合は、キャンセルの為に、あらかじめ決められたキャンセル用のコードを文字と同様に赤外光反射ペンで入力する。キャンセル用のコードの例としては、「×」や「△」などの図形を割り当ててデータベース９に記憶させておくなどが考えられる（ステップＳ１４）。

認識結果が正しい場合は、確定する為に、あらかじめ決められた確定用のコードを文字と同様に赤外光反射ペンで入力する。確定用のコードの例としては、キャンセルと同様に「○」や「レ」などの図形を予め確定用として割り当ててデータベース９に記憶させておくなどが考えられる（ステップＳ１５）。

これらの動作を繰り返しながら所望の文字を入力していく（ステップＳ１６）。

続いて、携帯端末側の動作について説明する。

図４及び図５は携帯端末側の文字入力動作を表したものである。

携帯端末側は文字入力が選択されると、カメラ５を起動する（ステップＲ１）。

１文字入力最大期間を決める為のタイマーを起動する（ステップＲ２）。尚、タイムアウトの時間は、予め任意の時間が設定されているものとする。

カメラ５が撮像した画像データを画像合成部６へ転送する（ステップＲ３）。

画像合成部６では撮像データを１フレーム毎に格納する（ステップＲ４）。

ステップＲ２で起動したタイマーがタイムアップするまで、１フレームごとに格納した撮像データの画像合成を継続する（ステップＲ５）。カメラ５による撮像データのうち赤外光反射部３の高コントラスト部分の軌跡を認識して、合成データとしてメモリへ格納し続ける。ここで、画像合成部６は、例えばアルファベットの“Ａ”を入力する例として１文字を入力する間に、図６に示すように、６フレーム取り込めるものとする。１フレーム内で文字が線状となるのは赤外光の反射光が残像となる為である。６フレームの画像データを記憶し合成すると赤外光反射部３のコントラストの高い部分が文字となって現れる。合成データは逐次表示制御部１０に送られ、表示部１２の撮像画像表示領域に表示される。操作者はこの表示を確認することで文字の入力状況を確認できる。このようにして生成した合成データを文字認識パターンと比較し近似した文字データを候補データとして表示制御部１０へ転送する（ステップＲ６）。

表示制御部１０は、候補データに該当する文字を携帯端末の表示部１２の文字表示領域に表示させる（ステップＲ７）。

表示後に操作者から確定コードが入力されるまで（ステップＲ８）又はキャンセルコードが入力されるまで（ステップＲ９）表示を継続する。キャンセルコードを認識した場合は新たにカメラ５の撮像データの取り込みを開始する（ステップＲ１０）。

確定コードを受信した場合は候補データを入力処理部１１へその文字のデータを転送する（ステップＲ１１）。

文字入力を終了する場合（ステップＲ１２）は文字入力タイマーを終了し（ステップＲ１３）、カメラを停止させる（ステップＲ１４）。

以上説明したように本発明によれば、情報端末装置の文字入力手段として赤外光発光部および赤外光反射ペンとカメラによる画像認識を組み合わせることで従来の小型端末に見られる煩わしいボタン操作による文字入力をタッチペン間隔で入力する方法に変えることが可能となる。

また、本発明によると、従来のタッチペン方式では必要であったタッチパネルが不要となり、近年の携帯電話には搭載されることが多いカメラと赤外線発光モジュールとを使用することにより新規に専用デバイスを追加搭載する必要がなくなる。また、タッチパネルが不要となる為、端末のサイズの小型化が可能となる。

さらに赤外線を使用した場合、周囲の人間には入力している内容を見られることがないという効果がある。

また光を使用しているため、カメラ周囲が暗い場所でもその暗さに影響されることなく入力することができる効果がある。

文字を描く手段としてペン内部に赤外光発光デバイスを設けている構成に比べて、本発明はペン側に電源が不要となるため、ペン側の電池残量等の心配をすることなく入力することが出来るという効果がある。

空間上に入力文字を描く構成の場合、文字の１画毎の切れ目を区別することができないが、赤外光の発光、非発光を制御することで１画毎の区別が可能となり文字のパターンマッチングが容易となり、文字認識の確度があがるという効果がある。

さらに、入力デバイスに赤外線を使用することで周囲の人間には入力している内容を見られることがなく、また、カメラ周囲が暗い場所でも影響されずに入力を行うことができる効果がある。

尚、本発明では、上記実施の形態に加えて、カメラに向けて赤外光反射ペンを向けて文字を描く際に、カメラの撮像範囲を正確に捉えるために図７又は図８に示すように表示部１２の撮像画像表示領域に撮像画像と撮像範囲を示す枠とをリアルタイムで表示しながら入力する方法が考えられる。操作者は、撮像範囲を示す枠内に赤外光反射ペンが入っているかをリアルタイムに表示画像にて確認できる為、より確実に入力を行うことが可能となる。

また本発明は、文字の１画が描かれるごとに候補となる文字を表示させていく構成であっても良い。

また本発明は、赤外光発光部はペン型ではなく操作者の利用状況に適した形態、例えば図１０の（ｂ）に示すようなリストタイプの形態とすることで手指の不自由な人など利用範囲を拡げることができる。

さらに、上述した本発明の端末は、上記説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。このような構成の場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。尚、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。

図１は、本発明の入力システムのブロック図である。 図２は、本発明の赤外光発光制御の流れを表わしたものである。 図３は、本発明における文字入力の流れを説明するための図である。 図４は、携帯端末側の文字入力動作を表したものである。 図５は、携帯端末側の文字入力動作を表したものである。 図６は、１文字を入力する間に記憶される画像フレームを説明するための図である。 図７は、文字入力時の様子を説明するための図である。 図８は、表示部を説明するための図である。 図９は、カメラ５固定焦点エリアと赤外光の照射エリアを説明するための図である。 図１０は、赤外光反射ペンの一例を表したものである。

符号の説明

１ 赤外光発光部
２ 赤外光発光制御部
３ 赤外光反射部
４ 認識マーク
５ カメラ
６ 画像合成部
７ 画像認識処理部
８ 文字認識パターン
９ データベース
１０ 表示制御部
１１ 入力処理部
１２ 表示部

Claims (10)

1. 文字入力システムであって、
   光を放射する発光手段と、
   前記放射された光を反射させる反射手段と認識マークとを有する物体と、
   前記認識マークがカメラの固定焦点エリアに挿入されると前記発光手段から光を放射させ、前記認識マークが前記固定焦点エリアから外れると前記発光手段からの光の放射を終了させる発光制御部と、
   前記反射手段による反射光の軌跡に基づいて文字を認識する認識手段と、
   前記認識した文字を入力文字として処理する入力処理手段と
   を有し、
   前記認識手段は、前記反射手段が認識エリア内に連続して位置している間の反射光の軌跡を文字の一画として区切って、文字を認識していくことを特徴とする文字入力システム。
2. 前記認識手段は、前記反射光の軌跡を画像として取り込み、この取り込んだ画像を合成して文字を認識することを特徴とする請求項１に記載の文字入力システム。
3. 前記認識エリアを表示させる表示部を有することを特徴とする請求項１又は請求項２に記載の文字入力システム。
4. 文字入力装置であって、
   光を放射する発光手段と、
   認識マークがカメラの固定焦点エリアに挿入されると前記発光手段から光を放射させ、前記認識マークが前記固定焦点エリアから外れると前記発光手段からの光の放射を終了させる発光制御部と、
   前記認識マークを有する物体に設けられている反射手段による前記光の反射光の軌跡に基づいて文字を認識する認識手段と、
   前記認識した文字を入力文字として処理する入力処理手段と
   を有し、
   前記認識手段は、前記光を反射させる反射体が認識エリア内に連続して位置している間の反射光の軌跡を文字の一画として区切って、文字を認識していくことを特徴とする文字入力装置。
5. 前記認識手段は、前記反射光の軌跡を画像として取り込み、この取り込んだ画像を合成して文字を認識することを特徴とする請求項４に記載の文字入力装置。
6. 前記認識エリアを表示させる表示部を有することを特徴とする請求項４又は請求項５に記載の文字入力装置。
7. 文字入力方法であって、
   認識マークがカメラの固定焦点エリアに挿入されると発光部から光を放射させる発光ステップと、
   前記認識マークが前記固定焦点エリアから外れると前記発光部からの光の放射を終了させる発光終了ステップと、
   前記光の反射光が認識エリア内に連続して位置している間の反射光の軌跡を文字の１画として認識し、認識した少なくとも１以上の画数に基づいて文字を認識する認識ステップと、
   前記認識した文字を入力文字として処理する入力処理ステップと
   を有することを特徴とする文字入力方法。
8. 前記認識ステップは、前記反射光の軌跡を画像として取り込み、この取り込んだ画像を合成して文字を認識することを特徴とする請求項７に記載の文字入力方法。
9. 前記認識エリアを表示部に表示する表示ステップを有することを特徴とする請求項７又は請求項８に記載の文字入力方法。
10. 文字入力装置のプログラムであって、前記プログラムは前記文字入力装置に、
    認識マークがカメラの固定焦点エリアに挿入されると発光部から光を放射させる発光ステップと、
    前記認識マークが前記固定焦点エリアから外れると前記発光部からの光の放射を終了させる発光終了ステップと、
    前記光の反射光が認識エリア内に連続して位置している間の反射光の軌跡を文字の１画として認識し、認識した少なくとも１以上の画数に基づいて文字を認識する認識ステップと、
    前記認識した文字を入力文字として処理する入力処理ステップと
    を処理させることを特徴とするプログラム。

Images