JPH1078844A - カメラによる情報入力装置及びそのためのプログラムを記録した媒体 - Google Patents

Abstract

(57)【要約】 【課題】 発光素子や圧力センサー等のハードや、それ
らを動かす電源等の付属ハードをがなくても記入面に接
触したペンの軌跡をカメラより入力出来る。 【解決手段】 画像検出部（７）でのペン先と、ペン先
影の両軌跡に基づく位置座標の検出及び、画像認識部
（９）での両位置座標の一致検出と、ペン先の上下動作
の検出を行う。ペン先及び該ペン先によるデータ記入面
に映るペン先の影が一致することにより、ペン先が記入
面に接触していることを判断し、前記ペン先の軌跡をカ
メラで入力する情報入力装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータをはじめワードプロセッサ、携帯情報端末、家庭
用民生機器など手書きによる入力が利用できる情報入力
装置全般のカメラによる情報入力装置及びそのためのプ
ログラムを記録した媒体に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】特開平
０４ー２３８０２３号公報、特開平０５ー１００２２１号
公報、特開平０５ー１０５１１６号公報、特開平０５ー１
０５１１７号公報、特開平０５ー２０８４５６号公報に
は、記入面を画面情報入力部（カメラ等）で撮影し、そ
の記入面上のペンの軌跡を画面情報入力部より入力し、
入力した情報を認識部で認識する技術が記載されてい
る。

【０００３】例えば特開平０５−２０８４５６号公報で
は、図１０に示すように、記入用紙（３７）上の、ペン
（３８）をカメラ（３５）で撮影する事により、その軌
跡を情報として入力している。この場合図１１のように
ペン先が記入用紙の紙面に接触したか否かを検出するた
めに、圧力センサー（４２）がペン内部に設けられてい
る。またこの場合表示には、プロジェクター（３４）が
使われているものが開示されている。

【０００４】

【従来の技術及び発明が解決しようとする課題】本発明
の請求項１に関連した課題として、従来、特開平０４ー
２３８０２３号公報、特開平０５ー１００２２１号公
報、特開平０５ー１０５１１６号公報、特開平０５ー１０
５１１７号公報、特開平０５ー２０８４５６号公報にお
いては、ペン先が記入面に接触しているかどうかを判断
する方法として、発光素子や圧力センサーを使用してい
た。

【０００５】しかし、これらの方法では、発光素子や圧
力センサー等のハードや、それらを動かす電源等の付属
ハードを筆記用具側に持つ必要がある。

【０００６】本発明は、これらのハードがなくても記入
面に接触したペンの軌跡をカメラより入力出来る装置を
提供することを目的とする。本発明の請求項２に関連し
た課題として、更に、光源を設けた事により、より確実
に入力できる。

【０００７】本発明の請求項３に関連した課題として、
更に、光源及び、カメラを可視光線以外の光線対応にす
る事により、より確実に入力できる。

【０００８】本発明の請求項５に関連した課題として、
更に、これらのハードがなくても記入面に接触したペン
の軌跡をカメラより入力出来き、また同時にその筆圧も
入力出来る。

【０００９】

【課題を解決するための手段】請求項１記載のカメラに
よる情報入力装置によれば、ペン先及び該ペン先による
データ記入面に映る前記ペン先の影が一致することによ
り、前記ペン先が前記記入面に接触していることを判断
し、前記ペン先の軌跡をカメラで入力することを特徴と
するカメラによる情報入力装置である。

【００１０】請求項１の装置は、記入面とペンを撮影す
る画像情報入力手段（カメラ）と、画像情報入力手段よ
り得られた、ペン先の画像とペン先影の画像を検出する
手段と、検出した両画像の一致を認識する手段により認
識した一致時のペン先の軌跡により文字等を認識する手
段を用いる。

【００１１】請求項２記載のカメラによる情報入力装置
によれば、前記ペン先をカメラに付属した光源で照らす
事により、影のコントラストをはっきり出し、前記ペン
先と前記ペン先の影を認識するカメラによる情報入力装
置である。

【００１２】請求項２の装置は、請求項１において、ペ
ン先の画像とペン先影の画像の入力をより確実にするた
めに、外来の光源よりの光の影響を除去する手段を追加
する。

【００１３】請求項３記載のカメラによる情報入力装置
によれば、前記ペン先を照らす光源を、外来光による影
響を受けにくい可視光線以外の光線種とし、また前記ペ
ン先の軌跡を撮影するカメラを、その光線種に反応する
ものとしたカメラによる情報入力装置。

【００１４】請求項３の装置は、請求項１において、ペ
ン先の画像とペン先影の画像の入力をより確実にするた
めに、外来の光源よりの光の影響を受けない手段を追加
する。

【００１５】請求項４記載のカメラによる情報入力装置
によれば、ペン先の上下方向の動き（上下方向のストロ
ーク）をカメラにより撮影することにより、記入面とペ
ン先の接触及び非接触を認識するカメラによる情報入力
装置である。

【００１６】請求項４の装置は、記入面とペンを撮影す
る画像情報入力手段と、画像情報入力手段より得られ
た、ペン先の画像とペン先の上下画像を検出する手段
と、検出したペン先の上下の動きを認識する手段により
認識したペン先が記入面に接触している時の、検出した
ペン先の軌跡により文字等を認識する手段を用いる。

【００１７】請求項５記載のカメラによる情報入力装置
によれば、ペン先の上下の移動量により、該ペン先の筆
圧を認識する請求項４記載のカメラによる情報入力装置
である。

【００１８】請求項５の装置は、記入面とペン先を撮影
する画像情報入力手段と、画像情報入力手段より得られ
た、ペン先の画像とペン先の上下画像を検出する手段
と、検出したペン先の上下の動きよりペン先の筆圧を認
識する手段を用いる。

【００１９】請求項６によれば、カメラによる情報入力
装置を、ペン先及び該ペン先によるデータ記入面に映る
前記ペン先の影が一致することにより、前記ペン先が前
記記入面に接触していることを判断する機能と、前記ペ
ン先の軌跡をカメラで入力する機能として実現させるた
めのプログラムを記録した媒体である。

【００２０】請求項１記載の手段により、ペン先と、ペ
ン先影の一致を判断でき、それによりペン先と記入面と
の一致が判断できる。請求項２記載の手段により、ペン
先と、ペン先影の一致をより確実に判断でき、それによ
りペン先と記入面との一致が判断できる。

【００２１】請求項３記載の手段により、ペン先と、ペ
ン先影の一致を確実に判断でき、それによりペン先と記
入面との一致が判断できる。請求項４記載の手段によ
り、ペン先と、記入面の一致が判断できる。請求項５の
手段により、ペン先の筆圧を判断できる。

【００２２】

【発明の実施の形態】以下、本発明の一実施の形態のカ
メラによる情報入力装置及びそのためのプログラムを記
録した媒体について図面を参照しながら説明する。

【００２３】［本発明の機能を実施する装置のハード構
成及び説明］図１は、本発明の一実施の形態の機能が搭
載される情報入力装置の構成図である。

【００２４】情報入力装置（１）では、記入面（２）を
カメラ（６）で撮影し、撮影した情報により画像検出部
（７）は、ペン（３）先やペン先影（４）の軌跡に基づ
く位置座標等を逐次検出して、検出用メモリ（８）に書
き込む処理を行う。画像認識部（９）は、検出用メモリ
（８）に逐次書き込まれるペン（３）先や、ペン先影
（４）の位置座標に基づいて筆記認識フローを実行し、
記入中のデータを認識用メモリ（１０）内に展開してデ
ータの認識処理を実行し、認識したデータをメインメモ
リ（１５）に格納する。

【００２５】ＣＰＵを含んだ処理装置（１３）はメイン
メモリ（１５）に格納されたデータを、表示メモリ（１
２）に書き込んだり、そのデータを使いＩ／Ｏ（１６）
の処理等各種の処理を行う。ＲＯＭ（１４）はこの処理
部の動作プログラム等を格納している。表示部（１１）
には、表示メモリ（１２）に書き込まれたデータが表示
される。記憶装置（１７）には各種データが格納され
る。

【００２６】ＣＰＵを含んだ処理装置（１３）や、動作
プログラム等を格納したＲＯＭ（１４）は着脱自在な、
ＣＤ−ＲＯＭ、フロッピーディスク（ＦＤ）、ＩＣカー
ド等のいかなる記録媒体に構成されている。これらペン
（３）先及び、ペン先影（４）の軌跡情報より、文字認
識までの動きは、例えば特開平０４ー２３８０２３号公
報、特開平０５ー１００２２１号公報、特開平０５ー１０
５１１６号公報、特開平０５ー１０５１１７号公報、又
は、特開平０５ー２０８４５６号公報に記載されてい
る。

【００２７】図９にペン（３）先のサンプリングのフロ
ーチャートを示す。フローチャート中において、（ステ
ップ１。以下単に「ｓ１」）で記入面の基準位置の座標
及び、ペン先・ペン先影の画像を検出部に記憶する。こ
の記憶された座標は今後のペン先及びペン先影の検出座
標の基準となり、両画像は軌跡の検出に用いられる。

【００２８】（ｓ２）で座標検出部は、ペン先の座標を
検出する。（ｓ３）で座標検出部はペン先影の座標を検
出する。座標検出部は、（ｓ４）にて上記２点の座標の
一致を検出する、この一致かどうかの２点間の距離は、
０又はある程度の誤差を設定できるようにする。（ｓ
４）にて一致していない時は、ペン先が記入面に接触し
ていないとして、（ｓ２）へ戻り、再度座標のサンプリ
ングを行う。一致している時には、（ｓ５）に進みペン
先の座標を座標比較部に記憶する。この座標記憶部は、
検出用メモリ内にありペン先座標のサンプリング毎の座
標データの比較をこの記憶部のデータにより（ｓ６）に
て行い、ペン先の移動を検出する。

【００２９】（ｓ６）にて、座標が一致している時に
は、ペン先は移動していないと見なし（ｓ２）へ戻り、
再びペン先及び、ペン先影のサンプリングを行う。座標
が一致していない時は、ペン先が移動していると見なし
（ｓ７）にて、座標データを検出用メモリ内の座標記録
部へ座標を記録する。検出メモリ内の座標記録部のデー
タは、ペン先の軌跡データとして画像認識部がリード
し、画像の認識を行う。この後の動作は上記の公開特許
公報の通りである。

【００３０】［本発明技術の説明］本発明では、画像検
出部（７）でのペン先と、ペン先影の両軌跡に基づく位
置座標の検出及び、画像認識部（９）での両位置座標の
一致検出と、ペン先の上下動作の検出を特徴とする。

【００３１】［請求項１］図２は、ペンの影が１つの場
合であって、図２の（２）においては、ペン先が記入面
に接触していない場合である。この場合カメラから画像
検出部を経て、検出用メモリに取り入られるペン先（１
８）の座標と、ペン先影（１９）の座標は一致していな
い、画像認識部は、両座標が一致していない事を認識
し、現在ペンの先が記入面に接触していない事を認識す
る。画像認識部（９）は、この認識に基づいて筆記認識
フローを実行せず、待機状態になる。

【００３２】図２の（１）はペン先が記入面に接触して
いる場合である。この場合カメラから画像検出部を経
て、検出用メモリに取り入られるペン（１８）先の座標
と、ペン先影（１９）の座標は一致している、画像認識
部は、両座標が一致している事を認識し、現在ペンの先
が記入面に接触している事を認識する。画像認識部は、
この認識に基づいて筆記認識フローを実行し、記入中の
データを認識用メモリに展開してデータの認識処理を実
行し、認識したデータをメインメモリに格納する。

【００３３】ペン先及び、ペン先影の座標の検出の方法
は、両画像を画像検出部に記憶しておき、カメラより送
られてくる画像の内の記憶した画像と、同じ画像を検出
するようにする。

【００３４】また図３は、ペンの影が複数ある場合であ
る。つまり、記入面にペン先が接触していない時の影は
複数であるが、接触時のペン先の影は１つのみである
（従って、認識可能である）場合の図である。

【００３５】図３の（２）はペン先が記入面に接触して
いない場合である、この場合ペン先影（２１）も複数あ
り、上記方法では、どの影の座標を検出して良いか判ら
ないが、この場合にはペン先（２０）が記入面に接触し
ている画像（２２）を画像検出部（７）にて記憶してお
き、入力画像がこの記憶している画像に一致した時にペ
ン先が記入面に接触していると認識するようにする。こ
の方法は、影が一つの場合でも適用できる。

【００３６】［請求項２］図４は上記請求項１の図３に
おいて、ペン先を照らす光源（２３）を筆記面（２４）
の近くに付加した場合である。この場合付加した光源
（２３）により出来たペンの影（２５）は、他の光源に
より出来た影（２６）より濃くなるので、画像検出部は
複数の影の中より一番濃い影を検出するようにする。

【００３７】このような操作をする事により、ペンの影
が複数ある場合にも、上記請求項１のように、影ペン先
が記入面に接触しているか否かを判断できる。図５は、
ペンの影が複数ある場合である。つまり、記入面にペン
先が接触していない時の影は複数であるが、接触時のペ
ン先の影は１つのみである（従って、認識可能である）
場合の図である。

【００３８】図５は上記専用の光源を用意した時の記入
面の様子である。図５の（２）はペン先と記入面が一致
していない場合である。この場合カメラから画像検出部
を経て、検出用メモリに取り入られるペン先（２７）の
座標と、一番濃いペン先影（２８）の座標は一致してい
ない。画像認識部（９）は、両座標が一致していない事
を認識し、現在ペンの先が記入面に接触していない事を
認識する。画像認識部（９）は、この認識に基づいて筆
記認識フローを実行せず、待機状態になる。

【００３９】図５の（１）はペン先が記入面に接触して
いる場合である。この場合カメラから画像検出部を経
て、検出用メモリに取り入られるペン先（２７）の座標
と、ペン先影（２８）の座標は一致している、画像認識
部は、両座標が一致している事を認識し、現在ペンの先
が記入面に接触している事を認識する。画像認識部
（９）は、この認識に基づいて筆記認識フローを実行
し、記入中のデータを認識用メモリに展開してデータの
認識処理を実行し、認識したデータをメインメモリに格
納する。

【００４０】付加する光源は、図６の（１）のように、
光源の照射軸（２９）とカメラの撮影軸（３０）が重な
った場合に、ペン先が記入面に接触していないにも係わ
らず、ペン先とペン先影が撮影上重なったように見える
ため、図６の（２）のように両軸をずらし、ペン先が記
入面に接触している時のみ重なるようにする。

【００４１】［請求項３］請求項３は、請求項２におい
て、ペン先の画像とペン先影の画像の入力をより確実に
するために、外来の光源よりの光の影響を受けないよう
に、付属の光源を赤外線や、紫外線のような可視光線以
外の光線とし、撮影するカメラもそれらの光線に対応し
たものとするものである。

【００４２】［請求項４］請求項１の装置で、ペン先
と、ペン先影を使う代わりに、図７のようにペン先の上
下方向の動作（上下方向のストローク）を検出すること
により、紙表面との接触・非接触を認識する。図７の
（１）は接触していない、この時のペン先（３１）のス
トロークは大きく、図７の（２）の接触しているとき
の、ペン先（３１）のストロークは小さい。

【００４３】［請求項５］請求項４の装置で、ペン先の
上下の移動量により、筆圧を認識するようにする。図８
のように、ペン先に複数本のラインの印を入れ、この印
の本数が筆圧により変ることを、カメラより入力する事
により、筆圧を知る事が出来る。図８の（１）は、筆圧
小の場合で、図８の（２）は、筆圧大の場合である。

【００４４】その他、本発明は上記しかつ図面に示した
実施の形態のみに限定されるものではなく、要旨を逸脱
しない範囲内で適宜変形して実施できることは勿論であ
る。

【００４５】

【発明の効果】請求項１記載の情報入力装置によれば、
従来のペン付き情報認識装置にあっては、文字入力タブ
レットにより手書き文字等を入力するが、この場合専用
のタブレットに記入された文字以外は認識できず、使用
環境が限られてしまう。また、現在のパーソナルコンピ
ュータにはカメラを標準または、オプションとして備え
ている物が多く、本発明はそれらを有効に活用できる可
能性がある。請求項２記載の情報入力装置によれば、筆
記用具の影を利用するため、室内のような外部光源が多
数ある場所では、多くの影が発生し、画像検出部にて特
定の影を検出し辛かった。しかし検出影発生用の光源を
専用に用意することにより、画像検出部が特定の影を認
識し易いようにできる。

【００４６】請求項３記載の情報入力装置によれば、筆
記用具の影を利用するため室内のような外部光源が多数
ある場所で、多くの影が発生する場合に、赤外線や紫外
線等の可視光線以外の影発生用の光源を専用に用意し、
また画像情報入装置をその種類の光に対応させることに
より、画像検出部が特定の影を認識し易いようにでき
る。

【００４７】請求項４記載の情報入力装置によれば、従
来の情報認識装置にあっては、文字入力タブレットによ
り手書き文字等を入力するが、この場合専用のタブレッ
トに記入された文字以外は認識できず、使用環境が限ら
れてしまう。また、現在のパーソナルコンピュータには
（カメラ）を標準または、オプションとして備えている
物が多く、本発明はそれらを有効に活用できる可能性が
ある。

【００４８】請求項５記載の情報入力装置によれば、従
来の情報認識装置にあっては、文字入力タブレットによ
り手書き文字等を入力する、またその筆圧を検出するの
に、ペン内に圧力センサー等を持つような物がある、こ
の場合専用のタブレットに記入された文字以外は認識で
きず、使用環境が限られてしまう。また、現在のパーソ
ナルコンピュータには（カメラ）を標準または、オプシ
ョンとして備えている物が多く、本発明はそれらを有効
に活用できる可能性がある。

【図面の簡単な説明】

【図１】本発明の一実施の形態の情報入力装置の構成を
示すシステムブロック図である。

【図２】本発明のペン先の記入面への接触・非接触の検
出の説明図である。

【図３】ペン先の記入面への接触・非接触検出の説明図
である。

【図４】専用光源によるペン先影の説明図である。

【図５】専用光源によるペン先の記入面への接触・非接
触の検出の説明図である。

【図６】専用光源位置の説明図である。

【図７】ペン先の記入面への接触・非接触検出の説明図
である。

【図８】ペン先の筆圧検出の説明図である。

【図９】本発明のペン先サンプリングのフローチャート
である。

【図１０】従来技術の図である。

【図１１】従来技術の図である。

【符号の説明】

（１）・・・情報入力装置 （３）・・・ペン （６）・・・カメラ （７）・・・画像検出部 （９）・・・画像認識部 （８）・・・検出用メモリ （１０）・・・認識用メモリ （１４）・・・ＲＯＭ （１５）・・・メインメモリ （１３）・・・処理装置 （１２）・・・表示メモリ （１１）・・・表示部 （１６）・・・Ｉ／Ｏ （１７）・・・記憶装置

Claims (6)

【特許請求の範囲】
1. 【請求項１】 ペン先及び該ペン先によるデータ記入面
   に映る前記ペン先の影が一致することにより、前記ペン
   先が前記記入面に接触していることを判断し、 前記ペン先の軌跡をカメラで入力することを特徴とする
   カメラによる情報入力装置。
2. 【請求項２】 前記ペン先をカメラに付属した光源で照
   らす事により、影のコントラストをはっきり出し、前記
   ペン先と前記ペン先の影を認識する請求項１記載のカメ
   ラによる情報入力装置。
3. 【請求項３】 前記ペン先を照らす光源を、外来光によ
   る影響を受けにくい可視光線以外の光線種とし、また前
   記ペン先の軌跡を撮影するカメラを、その光線種に反応
   するものとした請求項２記載のカメラによる情報入力装
   置。
4. 【請求項４】 ペン先の上下方向の動き（上下方向のス
   トローク）をカメラにより撮影することにより、記入面
   とペン先の接触及び非接触を認識するカメラによる情報
   入力装置。
5. 【請求項５】 ペン先の上下の移動量により、該ペン先
   の筆圧を認識する請求項４記載のカメラによる情報入力
   装置。
6. 【請求項６】 カメラによる情報入力装置を、 ペン先及び該ペン先によるデータ記入面に映る前記ペン
   先の影が一致することにより、前記ペン先が前記記入面
   に接触していることを判断する機能と、 前記ペン先の軌跡をカメラで入力する機能として実現さ
   せるためのプログラムを記録した媒体。