JP4838694B2 - 電子的手書入力装置 - Google Patents

Description

この発明は、投影部から被投影体に投影された手書入力面を含む被写界像を複眼撮像部により撮像し、先端をペン先等に対応する指示点（ポインタ）とするペン等の指示手段による前記手書入力面に対する入力の確定を判別する電子的手書入力装置に関する。

従来から、特許文献１に示すように、操作面画像を投影する画像投影手段と、画像投影手段の表示制御を行う表示制御手段と、投影された前記操作面画像上におけるユーザ操作位置を検知する操作位置検知手段と、検知したユーザ操作位置に対応するデータ処理を実行する検出データ処理手段を備え、前記表示制御手段が、前記操作位置検知手段により検知したユーザ操作位置に応じて、前記操作面画像の一部を変更する電子機器が提案されている。

この電子機器においては、操作位置検知手段として、レーザ光源を用い、扇状にスキャンしたレーザ光の反射光を受光センサで受光することで、ユーザ操作位置を検出するようにしている。

また、特許文献２に示すように、ステージ上の撮像領域を撮像する撮像手段と、撮像された画像情報から前記撮像領域内において指示された指示位置を検出する画像処理手段とを有し、撮像領域内の任意位置を指示部材で直接指示することで、指示部分を入力する入力システムが開示されている。

この入力システムにおいては、ステージ上に光を照射して、撮像領域の範囲を規定する発光部を有し、撮像領域の範囲を視認させる。また、撮像領域内に画像を投影表示することで、入力位置を判別する。さらに、ステージ上にメニュー画像を照射し、そのメニュー画像上の所望の表示位置を所定時間指示したときに入力を確定する。あるいは、ステージにマトリクス状に配置された発光部を有する専用のパレット機能を備え、確定用スイッチとする。あるいは、インキを用いたペンで撮像領域に書いた画像を撮像することで情報を入力している。

さらに、特許文献３に示すように、複数台のカメラから入力した画像からステレオ法により距離画像を生成し、距離画像と、操作者の体の予め定めた部位２箇所（始点、終点）とから、実空間上における始点、終点の３次元座標を算出し、操作者の前記部位２箇所により指し示される方向を算出し、その方向の延長線上と予め登録された物体の情報とから、交点を検出するインターフェース装置が開示されている。

特開２００５−２４２７２５号公報（図７） 特開２０００−２５９３３８号公報（図１７） 特開２００４−２６５２２２号公報（図３）

しかしながら、上記特許文献１に係る技術においては、操作位置検出手段としてレーザ光源を用いているため、レーザ光が目に入射する可能性があり好ましくない。また、この技術では、レーザ光を照射する面が電子機器の設置面に限定されているため、例えば投影面が湾曲している場合には位置を正確に検知することができないという欠点がある。

また、上記特許文献２に係る技術においては、発光部がマトリクス状に配列されたパレット等の位置指示手段が、投射表示手段とは別に必要となりシステムが高価になるという欠点がある。

さらに、上記特許文献３に係る技術においては、空間上における始点、終点を検知し、操作者が指し示す方向を検出するようにしているため、手元のわずかな検出誤差が投影面上では大きな誤差となり、操作が不安定で精度に欠けるという欠点がある。

この発明は、上記の欠点を考慮してなされたものであり、手書入力面の制限が少なく、パレット等の位置指示手段を必要としないで、かつ先端を指示点とする指示手段による前記手書入力面に対する入力の確定を確実に判別することを可能とする電子的手書入力装置を提供することを目的とする。

この発明に係る電子的手書入力装置は、被投影体に手書入力面を投影する投影部と、先端を指示点とし手書入力を行うための指示手段と、投影された前記手書入力面を含む被写界像を撮像する複眼撮像部と、撮像された前記手書入力面の画素毎に前記複眼撮像部からの距離を求め投影された前記手書入力面の座標を求める距離算出部と、前記被写界像から前記指示手段の前記指示点を認識する指示手段認識部とを備える電子的手書入力装置であって、以下の特徴（１）〜（４）を有する。

（１）前記複眼撮像部は、前記投影部と一体的に角度変更が自由に構成され、前記指示手段の前記指示点による前記手書入力面に対する入力の確定を、前記指示点の位置と前記手書入力面との間の距離に応じて確定する手書入力確定部を備えることを特徴とする。

この特徴（１）を有する発明によれば、複眼撮像部と投影部とが一体的に角度変更が自由に構成されているので、手書入力面の投影面がテーブルあるいは机の他、壁等とすることが可能となって手書入力面の制限が少なくなり、また、指示手段の指示点による前記手書入力面に対する入力の確定を、手書入力確定部により、前記指示点の位置と前記手書入力面との間の距離に応じて確定するようにしているので、パレット等を必要としないで確実に入力の確定を判別することができる。

（２）上記の特徴（１）を有する発明において、前記投影部は、さらに、前記手書入力面に応じて複数位置に第１マーカを投影する第１マーカ投影機能部を備え、前記距離算出部は、投影された複数の前記第１マーカまでの距離をそれぞれ算出し、算出結果に基づいて、前記手書入力面の３次元座標を算出することを特徴とする。

この特徴（２）を有する発明によれば、手書入力面の位置座標をより精度よく検知することができる。

（３）上記の特徴（１）を有する発明において、前記投影部は、さらに、前記手書入力面中の複数位置に第２マーカを投影する第２マーカ投影機能部を備え、前記距離算出部は、投影された複数の前記第２マーカまでの距離をそれぞれ算出し、算出結果に基づいて、前記手書入力面を３次元曲面に近似させることで、前記手書入力面の３次元座標を算出することを特徴とする。

この特徴（３）を有する発明によれば、距離算出部は、手書入力面中に投影された複数の第２マーカまでの距離をそれぞれ算出し、算出結果に基づいて、前記手書入力面を３次元曲面に近似させることで、前記手書入力面の３次元座標を算出するようにしているので、湾曲している手書入力面の３次元座標を精度よく算出することができる。結果として手書入力面が湾曲していても電子的手書き入力を行うことができる。

（４）上記特徴（１）を有する発明において、前記手書入力確定部は、前記手書入力面と前記指示点との間の距離を、手書入力を確定とする前記手書入力面に最も近い手書入力確定距離範囲と、前記手書入力確定距離範囲の最大距離から一定距離範囲の境界領域距離範囲を設け、前記指示点の位置が、一旦、前記手書入力確定距離範囲に入ったことを判別した後は、前記境界領域距離範囲の最大距離より遠い距離に外れたと判別したときのみ、手書入力の確定を解除することを特徴とする。

この特徴（４）を有する発明によれば、境界領域距離範囲を設けているので、入力確定のゆらぎの影響が低減され、意図しないノイズの混入（意図しない手書きの確定）が防止される。

（５）上記特徴（１）を有する発明において、前記投影部を複数備え、前記手書入力面での立体画像の表示を可能としたことを特徴とする。

この特徴（５）を有する発明によれば、ユーザが偏光立体視メガネを使用することにより、立体映像等を見ながら手書入力面に手書き等の入力を行うことができる。

この発明によれば、複眼撮像部と投影部とを一体的かつ角度変更を自由に構成したので、投影される手書入力面の制限が少なくなる結果、手書入力装置の配置の制限が緩やかになり、かつ手書入力面と指示手段の指示点との間の距離に応じて手書入力を確定するようにしているので、パレット等の位置指示手段を必要としないで、手書入力面に対する入力の確定を確実に判別することができる。

以下、この発明の実施形態について図面を参照して説明する。

図１は、この発明の一実施形態に係る電子的手書入力装置１０のシステムブロック図を示している。

書画装置としての電子的手書入力装置１０は、基本的には、プロジェクタ等の投影部（画像投影部）１１と、第１カメラ２１と第２カメラ２２からなる複眼カメラ等の複眼撮像部１４と、投影部１１と複眼撮像部１４とを駆動制御する画像処理部１６とから構成される。

画像処理部１６は、投影する画像や文書などのデータ等を保存する格納手段である記録メディア４０を装着・脱着することが可能（装着自由）に構成されている。なお、投影する画像や文書などのデータは、外部機器等から通信インタフェース４２を通じて取り込むことも可能である。

さらに、画像処理部１６は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含み、ＲＯＭに記憶されたプログラムをＣＰＵが実行することで、後述する各種機能実現部（手段）として機能する。

図２は、電子的手書入力装置１０の外観と使用状態を示す説明図である。図２に示すように、電子的手書入力装置１０は、テーブル等の被投影体１８上に配置されスタンドを兼ねる画像処理部１６と、この画像処理部１６に対して自在継手３４ａを介して支持ロッド３２の一端部が係合され、支持ロッド３２の他端部に自在継手３４ｂ（後述する図１１も参照）を介して取り付けられた基部１３に投影部１１と複眼撮像部１４が一体的に固定されている。

したがって、投影部１１と複眼撮像部１４とは、基部１３、自在継手３４（３４ａ、３４ｂ）、支持ロッド３２を介し、画像処理部１６に対して一体的に角度変更が自由に構成されている。

投影部１１は、被投影体１８上に手書入力面３６を投影する。投影された手書入力面３６をカバーする大きさの紙等のシートを、被投影体１８の投影面に配置してもよい。

手書入力面３６には、先端を指示点（先端点、ポインタ）１１２とする指示手段１１０が対向する。なお、指示手段１１０は、被投影体１８上に実際に文字や図形の書画を書き込むことが可能なペン、あるいは書き込めないペン状の物（模擬ペン）又は、人差し指等、手指に代替することもできる。

図１において、複眼撮像部１４を構成する第１及び第２カメラ２１、２２は、それぞれ、レンズ系４４、ＣＣＤ等の撮像素子４６、Ａ／Ｄ変換部４８、画像信号Ｓａ、Ｓｂを出力する信号処理部５０と、レンズ系４４と撮像素子４６の露出と焦点の自動制御部（ＡＥ・ＡＦ制御部）５１とを備えている。

ここで、第１及び第２カメラ２１、２２は、箱状の基部１３上に、所定の間隔、方向で配置されており、複眼カメラとしての補正（キャリブレーション）が、予め、基準となるチャートなどを用いて実施されている。

投影部１１により被投影体１８上に投影された手書入力面３６を含む被写界像が複眼撮像部１４により撮像され、対応する画像信号Ｓａ、Ｓｂが画像処理部１６に供給される。

画像処理部１６は、複眼撮像部１４から取り込んだ被写界像に対応する画像信号Ｓａ、Ｓｂの各画像上の対応点を検出するブロックマッチング部５３と、実際の対応点（手書入力面３６上の対応点）等までの距離を求める距離算出部５４と、撮像された前記被写界像から指示手段１１０の指示点１１２を認識する指示手段認識部６２等を含む判別処理部６０とを備える。

ブロックマッチング部５２は、例えば、一方の画像信号Ｓａの画像上に適当なサイズのブロック（ウインドウ）を設定し、他方の画像信号Ｓｂの画像において前記ブロックに対応する領域を求めるために、他方の画像に前記ブロックと同一サイズの領域を設定する。そして、両画像上の各ブロック内の画像を構成する対応する各画素（対応点）についての画素値を引き算して差を得、さらに差の絶対値を採る。次いで、各画素についての差の絶対値の前記ブロック内の和、いわゆる総和を求める。このように、ブロック内の各画素値の差の絶対値の総和を求める計算を他方の画像上のブロック位置を変えて順次行い、前記総和が最小になる他方の画像のブロックを、前記一方の画像のブロックに対応する領域であると決定する、いわゆるステレオマッチング処理を行う。

距離算出部５４は、撮像された手書入力面３６中、対応する領域の各画素毎に、第１及び第２カメラ２１、２２の各撮像素子４６からの距離（３次元座標）を、上述したステレオマッチング処理に対応する三角測量の原理による距離測定により求め、投影された手書入力面３６を構成する手書入力面３６を２次元面とみたときの各画素の座標を求めて距離データ格納部５６に格納する。

判別処理部６０は、画像信号Ｓａ、Ｓｂから指示手段１１０の指示点１１２などの特定のパターンを認識する上記した指示手段認識部６２の他、指示手段１１０の指示点１１２による手書入力面３６への手書入力の確定を指示点１１２の座標位置と手書入力面３６との間の法線距離（後述する図９等に示す法線距離ｂ）に応じて判別する手書入力確定部６４とを備える。

判別処理部６０からのデータ及び指令は、システム制御部６６に供給される。システム制御部６６は、判別処理部６０と、複眼撮像部１４と、画像処理部１６と、投影部１１とを含む電子的手書入力装置１０を全体的に制御する。

このシステム制御部６６には、判別処理部６０の他、液晶表示装置等のモニタ６８、画像処理部７０、通信インタフェース（通信Ｉ／Ｆ）４２、メディアインタフェース（メディアＩ／Ｆ）７２、メモリバッファ７４及び投影部１１が接続される。

投影部１１は、例えば、ＬＥＤドライバ８０を通じて駆動される赤、青、緑の各アレイ状に配置されたＬＥＤ８１、８２、８３からなる光源８５のＬＥＤ８１、８２、８３が、それぞれダイクロイックブリズム８４の各面上に配置され、この合成光がレンズ８６を通じ偏光ビームスプリッタ８８により反射され、反射型液晶デバイスであるＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）９０の画素電極上で偏光面に応じて選択的に反射された光が、偏光ビームスプリッタ８８及び投影レンズ９２を介して被投影体１８に投影される。

なお、ＬＣＯＳ９０の画素電極を駆動するＬＣＯＳ駆動部９４には、画像処理部７０からの画像データ、及びシステム制御部６６を通じてのパターン発生部９６からの所定の画像データ（パターンデータ）が供給される。この場合、システム制御部６６のＲＯＭ（又はＥＥＰＲＯＭ）には、後述する第１マーカの画像データＩｍ１及び第２マーカの画像データＩｍ２が格納され、これら第１及び第２マーカの画像データＩｍ１、Ｉｍ２がパターン発生部９６に設定される。パターン発生部９６に、第１又は第２マーカの画像データＩｍ１、Ｉｍ２が設定されたとき、投影部１１は、それぞれ第１マーカ投影機能部又は第２マーカ投影機能部として動作する。第１及び第２マーカの画像データＩｍ１、Ｉｍ２は、記録メディア４０に記憶しておくこともできる。

そして、図２に示すように、投影部１１から投影された映像（画像やパターン等）が、テーブル上、机上等の平面である被投影体１８に投影され、投影された画像やパターン等を含む手書入力面３６が複眼撮像部１４により撮影される。

基本的には以上のように構成され、かつ動作する電子的手書入力装置１０のより詳細な動作について、図３のフローチャートを参照しながら説明する。なお、このフローチャートに対応するプログラムは、基本的には、画像処理部１６により実行される。

電子的手書入力装置１０に電源が投入されると、システム制御部６６の制御下に、パターン発生部９６を通じて、投影部１１から手書入力面（画像投影面）３６の輪郭以上の大きさとなっている図４に示す長方形状の台形歪補正用パターン１００が照射される（長方形状の内側に光が照射されており、外側に光が照射されないことで長方形状と認識される）。

一般に、投影部１１と被投影体１８の投影面は正対していないことが多いため、被投影体１８上には、投影部１１から投影される長方形の画像が、被投影体１８の面上では、台形等の四角形の画像として投影される。

次いで、ステップＳ２において、システム制御部６６は、投影された四角形の画像を、複眼撮像部１４を構成する第１カメラ２１又は第２カメラ２２のいずれか一方のカメラで撮影し、システム制御部６６で、撮影した台形等の四角形を、長方形とするために、台形歪補正用パターン１００を変形した画像データをパターン発生部９６に供給するか、あるいは投影部１１の光学系を駆動することで調整する。このようにして台形歪補正用パターン１００が被投影体１８上で長方形状に投影されるように調整した後、投影された長方形状の台形歪補正用パターン全体の輝度が均一となるよう、光源８５又はＬＣＯＳ９０の各素電極を駆動制御して輝度を調整する。

ここで、被投影体１８上に表示される表示画像のサイズは、投影部１１の光学系、光源輝度が許容する範囲で拡大可能である。通常はＡ４版サイズを表示し、必要なら Ａ３サイズ、横置き、マルチ画像表示なども可能である。いずれも、表示画像サイズと形状に応じて、上述した台形歪補正用パターン１００や後述するマーカの照射位置を変更する。

次いで、ステップＳ３において、台形歪の調整後（歪補正後）に、投影されて撮像された台形歪補正用パターン１００の長方形形状に含まれる形状の歪が、所定の閾値を超えているかどうかを判別する。

閾値以内である場合には、被投影体１８の投影面が平面であるとみなし、次のステップＳ４において、後述する手書入力面３６の画素毎の座標を算出するために、後述する手書入力面３６の大きさの投影面の輪郭の外側に、図５Ａに示すように、８点以上の所定の形状（最小限、前記長方形の４隅の４点と、各辺の中点の合計８点）をもつ平面用マーカである第１マーカ１０２を投影し複眼撮像部１４で撮影する。

次いで、ステップＳ５において、距離算出部５４は、第１マーカ１０２を対応点としてブロックマッチングし、ブロックマッチング後に、第１マーカ１０２を三角測量して３次元座標を算出し、図５Ａに示すように、長方形を長方形格子に分割し、後述する手書入力面３６に対応する投影面の各画素の複眼撮像部１４からの３次元座標を補間により算出し、距離データ格納部５６に手書入力面３６を平面的に見た場合の各画素の座標（２次元データ）を格納する。このようにして、複眼撮像部１４と後述する手書入力面３６との位置関係が確定する。

なお、第１マーカ１０２は、使用中に定期的に表示するか、後述する手書入力面３６の外側に常時投影することで、電子的手書入力装置１０と被投影体１８との相対位置関係の変更に対応して投影位置が途中で変更された場合にも測定精度を保持することができる。

一方、ステップＳ３において、歪補正後の台形歪補正用パターン１００の長方形形状の歪が、所定の閾値を超えていると判別された場合には、ステップＳ６において、図６に示すように、曲面用マーカである第２マーカ１０４を後述する手書入力面３６に対応する投影面の中に投影する。第２マーカ１０４は、第１マーカ１０２により形成される長方形を区分けする格子点にマーカが配置されている。

次いで、ステップＳ７において、距離算出部５４は、後述する手書入力面３６に対応する投影面上の複数の全ての第１及び第２マーカ１０２、１０４までの距離をそれぞれ算出し、算出結果に基づいて、前記投影面を３次元曲面に近似させることで、後述する手書入力面３６に対応する投影面の３次元座標を算出し、距離データ格納部５６に後述する手書入力面３６を平面的に見た場合の各画素の座標（２次元データ）として格納する。

次いで、ステップＳ８において、システム制御部６６は、記録メディア４０から手書入力面３６に対応する文書や画像からなる複数の画像ファイルを読み出し、メモリバッファ７４上に表示用データとして展開する。この表示用データに対応する画像ファイルの名称がモニタ６８に表示されるとともに、投影部１１を通じて手書入力面３６として投影表示される。ここで、例えば、図示しないマウス等の外部機器を通じて所定の名称が選択されると、あるいは指示手段１１０の指示点１１２により後述するように選択されると、ステップＳ９において、この名称に対応する表示用データ（手書入力面３６）がメモリバッファ７４上に展開され、この表示用データ（手書入力面３６）に対応する画像がモニタ６８に表示されるとともに、画像処理部７０及び投影部１１を通じて前記投影面上に手書入力面３６として表示される。

図７は、前記表示用データに対応して手書入力面３６として表示された画像（投影画像）１０６の例を示している。投影画像１０６上には、ビルディング等のオブジェクト（画像）や罫線の他、メニューボタン１０８が表示される。また、図７中、「Ｔｈｅ ｏｆｆｉｃｅ ｂｕｉｌｄｉｎｇｓ ａｒｅ …」の文章や太く描いた波線状の自由曲線は、後述する手書入力によりなされるものである。

メニューボタン１０８には、「消去」、「保存」、「表示映像選択」、「キーボード表示」、「画像編集」等の各種モード（処理モード）のメニューが表示される。「画像編集」モードが選択されると、さらに、「拡大」モード、「縮小」モード、「シャープネス強調」モード等の画像編集の具体的な処理モードが表示される。

次いで、ステップＳ１０において、手書入力面３６を撮像した複眼撮像部１４の画像が指示手段認識部６２に入力され、指示手段認識部６２において、ベン先や指先など特定の形状・画像パターンを有する指示手段１１０を識別する。指示手段認識部６２は、いわゆるパターン認識部として機能する。

ここで、指示手段１１０がペン先の場合には鋭角の頂点を、指先の場合は基本指先形状や爪の形状から判別し、先端を指示点（ポインタ）１１２とする。ここで、指示手段１１０を認識する際に、映像が投影されている投影面である手書入力面３６を撮影していることを原因として指示点１１２の認識精度（識別精度）が低下する場合には、指示手段１１０が存在しない場合の手書入力面３６の投影画像１０６を先に撮影して記憶しておき、指示手段１１０を合わせて撮影したときの入力画像の差分を検出するようにすれば、指示点１１２をより確実に検出することができる。

このステップＳ１０において、指示点１１２が認識されたとき、ステップＳ１１において、指示点１１２の手書入力面３０（を構成する画素）からの法線距離ｂを算出し、その法線距離ｂが、図８及び図９に示す手書入力確定距離範囲の最大距離ｘ１以内かどうかが判別される。最大距離ｘ１は、例えばｘ１＝２［ｍｍ］に設定される。

最大距離ｘ１以内である場合（ｂ＜ｘ１）、ステップＳ１２において、「消去」又は「保存」モード以外の処理モード（ここでは、上述した「表示映像選択」、「キーボード表示」、「画像編集」等処理モード）のメニューボタン１０８上に指示点１１２が存在するかどうかが判別される。

ステップＳ１２の判別が否定的である場合には、ステップＳ１３において、当該メニューでの処理モードが実行され、あるいは処理モードが変更される。例えば、「画像編集」モードの「拡大」モードが選択されているとき、図１０に示すように、画像を指している指示点１１２を斜め方向に移動することで画像が拡大画像にされる。

その一方、ステップＳ１２の判別が肯定的である場合には、ステップＳ１４において、「消去」モードのメニューボタン１０８上に指示点１１２が存在するかどうかが判別される。

ステップＳ１４の判別が肯定的である場合には、ステップＳ１５において、「消去」モードの入力が確定されて、指示点１１２に対応する画素上の表示ドットが消去される。

その一方、ステップＳ１４の判別が否定的である場合には、ステップＳ１６において、指示点１１２による筆記の入力が確定されて、指示点１１２に対応する画素上に表示ドットが追記され（書画され）メモリバッファ７４に格納される。

次いで、ステップＳ１７において、「保存」モードのメニューボタン１０８上に指示点１１２が存在するかどうかが判別される。

ステップＳ１７の判別が肯定的である場合には、ステップＳ１８において、表示ドットの状態を元の表示用データ（画像データ）のファイルに反映させ、メモリバッファ７４上に展開されている表示用データのファイルを更新する。この場合、記録メディア４０に格納されている表示用データも、合わせて更新（変更）するようにすることもできる。

ステップＳ１８の更新処理の後、又はステップＳ１７の判別が否定的であるとき、ステップＳ１９において、指示点１１２の法線距離ｂが、図８、図９に示す境界領域距離範囲の最大距離ｘ２以内かどうかが判別される。最大距離ｘ２は、例えばｘ２＝４［ｍｍ］とされる。

法線距離ｂが最大距離ｘ２以内である場合（ｂ＜ｘ２）、ステップＳ１４以降の表示ドットの確定処理（更新処理）、すなわち書画処理の実行が継続される。その一方、最大距離ｘ２を超える場合には（ｂ≧ｘ２）、ユーザの意思により指示手段３８の指示点１１２が手書入力面３６から離れたものと判別して、入力を解除して、ステップＳ１０の指示手段識別処理にもどる。

実際上、ステップＳ１６にて確定された手書入力面３６の表示ドットは、あらかじめ設定された色（赤など）に変更される。

手書入力確定距離範囲の最大距離ｘ１の近傍で指示点１１２の距離が細かく変動すると表示ドットにノイズが乗るため、境界領域距離範囲の最大距離ｘ２が設けられ、最大距離ｘ１と最大距離ｘ２の間は境界領域距離範囲としてヒステリシス特性を持たせ、入力確定後は、指示点１１２が境界領域距離範囲の最大距離ｘ２より距離が離れない場合は入力を継続する。

上述したように、入力確定した箇所は表示データが変更されるため、手書入力面３６において、投影画像１０６に手書き画像が反映された投影画像１０６に更新される。更新された画像（変更された画像）を保存するときは、「保存」モードのメニューボタン１０８に指示点１１２を持っていくことで、元の文書の画像ファイルに変更が反映されたものがメモリバッファ７４及び記録メディア４０に保存される。

なお、「キーボード表示」を選択したとき、手書入力面３６内に映像としてキーボードが表示され、キーを指示点１１２で入力確定することにより、いわゆるキーボード入力も可能である。ただし、キーボード入力の場合には、上記したヒステリシス特性を持たせると連続してキーが押されたと判別されることが多くなるため、この判別は行わず、非入力状態（ｂ≧ｘ２）から入力確定のｘ１への変化のみを検出する。

上述した図２では、被投影体１８としてテーブル上に手書入力面３６を投影した例を示しているが、図１１、図１２に示すように、壁やホワイトボード等の被投影体１８ａに手書入力面３６を投影して電子的手書入力装置１０を利用に供することができる。この図１１、図１２例では、指示手段１１０として手指を描いている。指示点（ポインタ）１１２を指先形状や爪の形状から判別することができる。

以上説明したように、上述した実施形態に係る電子的手書入力装置１０によれば、被投影体１８に手書入力面３６を投影する投影部１１と、先端を指示点１１２とし手書入力を行うための指示手段１１０と、投影された手書入力面３６を含む被写界像を撮像する複眼撮像部１４と、撮像された手書入力面３６の画素毎に複眼撮像部１４からの距離を求め投影された前記手書入力面の座標を求める距離算出部５４と、前記被写界像から指示手段１１０の指示点１１２を認識する指示手段認識部６２とを備える。

この場合、複眼撮像部１４は、投影部１１と一体的に構成されかつ自在継手３４（３４ａ、３４ｂ）により角度変更が自由に構成されている。そして、指示手段１１０の指示点１１２による手書入力面３６に対する入力の確定を、指示点１１２の位置と手書入力面３６との間の距離ｂに応じて確定する手書入力確定部６４を備える。

このように、複眼撮像部１４と投影部１１とが一体的に角度変更が自由に構成されているので、手書入力面３６が投影される被投影体１８の投影面がテーブルあるいは机の他、壁等とすることが可能となって手書入力面３６の制限が少なくなる。また、指示手段１１０の指示点１１２による手書入力面３６に対する入力の確定を、手書入力確定部６４により、指示点１１２の位置と手書入力面３６との間の距離ｂに応じて確定するようにしているので、パレット等を必要としないでも確実に入力の確定を判別することができる。

ここで、投影部１１は、手書入力面３６に応じて複数位置に第１マーカ１０２を投影する第１マーカの投影機能部を備え、距離算出部５４は、投影された複数の第１マーカ１０２までの距離をそれぞれ算出し、算出結果に基づいて、手書入力面３６の３次元座標を算出し、手書入力面３６の各画素の座標を距離データ格納部５６に格納するようにしているので、手書入力面３６の位置座標をより精度よく検知することができる。

なお、投影部１１は、さらに、手書入力面３６中の複数位置に第２マーカ１０４を投影する第２マーカ投影機能部を備え、距離算出部５４は、投影された複数の第２マーカ１０４までの距離をそれぞれ算出し、算出結果に基づいて、手書入力面３６を３次元曲面に近似させることで、手書入力面３６の３次元座標を算出し、手書入力面３６の各画素の座標を距離データ格納部５６に格納するようにしているので、湾曲している手書入力面３６の３次元座標を精度よく算出することができる。

ここで、手書入力確定部６４は、手書入力面３６と指示点１１２の位置との間の距離を、手書入力面３６に最も近い手書入力確定距離範囲と、手書入力確定距離範囲の最大距離ｘ１から一定距離範囲（ｘ２−ｘ１）の境界領域距離範囲を設け、指示点１１２の位置が、一旦、手書入力確定距離範囲に入ったことを判別した後は、境界領域距離範囲の最大距離ｘ２より遠い距離に外れたと判別したときのみ入力の確定を解除する。このように、境界領域距離範囲を設けることで、入力の確定のゆらぎの影響が低減され、意図しないノイズの混入が防止される。

図１３は、この発明の他の実施形態に係る電子的手書入力装置２１０のシステムブロック図を示している。

図１４は、図１３例の電子的手書入力装置２１０の使用状態を示す説明図である。

なお、図１３、図１４に示す電子的手書入力装置２１０において、図１、図２に示す電子的手書入力装置１０と同一の構成要素又は対応する構成要素には同一の符号を付け、その詳細な説明は省略する。

電子的手書入力装置２１０は、手書入力面３６の文書等の二次元映像の画像（投影画像）１０６とともに、立体映像の画像（立体画像、投影画像）２０６を表示可能である。

この場合、それぞれがいわゆるプロジェクタである２つの投影部１１、１２が準備される。投影部１１、１２の前面には、立体視を行うための右回転の円偏光フィルタ２１１と、左回転の円偏光フィルタ２１２とがそれぞれ一体的に取り付けられている。

この電子的手書入力装置２１０は、自在継手３４（３４ａ、３４ｂ）及び基部１３を介して機械的に取り付けられている投影部１１、１２と、この投影部１１、１２に対して基部１３を介して一体的に取り付けられている（固着されている）第１カメラ２１と第２カメラ２２からなる複眼撮像部１４とを備える。したがって、投影部１１、１２と複眼撮像部１４とは、自在継手３４（３４ａ、３４ｂ）を介して一体的に角度変更が自由に構成されている。

電子的手書入力装置２１０において、投影部１１、１２より偏光方向の異なる２つの映像が同時に投影される。これを、左右で異なる偏光方向をもつ偏光フィルタを装着したメガネを通してユーザが見ることにより、視差画像の立体画像２０６を見ることができる。

文書等の画像１０６については、投影部１１、１２ともに同じ映像を出力することで、通常の映像として表示され、特定の画像は左右の視差を含んだ映像として投影することにより、１つの投影面で通常に投影された画像（平面画像）１０６と立体画像２０６を同時に表示することができる。

この図１３、図１４例では、例えば、指示手段１１０の指示点１１２がこの立体画像２０６のうち、手書入力面３６から所定の距離として、例えば被写体である立体画像２０６の中心部近くにあると検知されたとき、あらかじめ選択したメニューにより、指示点１１２の動きに応じて画像処理部７０に信号を送り、立体画像２０６を平行移動させたり回転させたりすることができる。

電子的手書入力装置２１０の動作は、図３に示したフローチャートにおいて、手書入力確定距離範囲の最大距離ｘ１と、境界領域距離範囲の最大距離ｘ２とを以下に説明するように設定する以外は、同様である。

つまり、投影部１１、１２から投影される左右それぞれの画像で類似パターンをもつ部分の水平方向の距離を積算することで、手書入力確定部６４（図１）により視差量αを算出する。ｋ１、ｋ２（ｋ１＜ｋ２）を予め定められた固定値（定数）とし、一般的に、視差量αが大きい場合は、ユーザに近づいた立体画像２０６が表示されるため、手書入力確定距離範囲の最大距離ｘ１はｘ１＝α×ｋ１と設定し、境界領域距離範囲の最大距離ｘ２はｘ２＝α×ｋ２と設定する。

図１３、図１４に示した他の実施形態によれば、異なる回転の円偏光フィルタ２１１、２１２を有する投影部１１、１２を備えて、手書入力面３６での立体画像２０６の表示を可能としている。この場合、ユーザが偏光立体視メガネを使用することにより、立体画像２０６等を見ながら手書入力面３６に手書き等の入力を行うことができる。

なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

この発明の一実施形態に係る電子的手書入力装置のシステムブロック図である。 電子的手書入力装置の外観と使用状態を示す説明図である。 電子的手書入力装置の動作説明に供されるフローチャートである。 歪補正用の台形歪補正用パターンの説明図である。 図５Ａは平面用マーカの説明図であり、図５Ｂは座標決定の説明図である。 曲面用マーカの説明図である。 手書入力面に表示された画像の例を示す説明図である。 指示点の法線距離に対する入力確定判別基準の説明図である。 指示点の法線距離に対する入力確定判別基準の他の説明図である。 画像編集（拡大）の説明図である。 ホワイトボード等の被投影体に手書入力面を投影して電子的手書入力装置を利用に供する際の説明図である。 図１１例の利用形態における指示点の法線距離に対する入力確定判別基準の説明図である。 この発明の他の実施形態に係る電子的手書入力装置のシステムブロック図である。 図１３例の電子的手書入力装置の使用状態を示す説明図である。

符号の説明

１０、２１０…電子的手書入力装置 １１、１２…投影部
１４…複眼撮像部 １８…被投影体
２１…第１カメラ ２２…第２カメラ
３４、３４ａ、３４ｂ…自在継手 ３６…手書入力面
５４…距離算出部 ６２…指示手段認識部
６４…手書入力確定部 １０２…第１マーカ
１０４…第２マーカ １０６…投影画像
１１０…指示手段 １１２…指示点
２０６…立体画像

Claims (5)

1. 被投影体に手書入力面を投影する投影部と、先端を指示点とし手書入力を行うための指示手段と、投影された前記手書入力面を含む被写界像を撮像する複眼撮像部と、撮像された前記手書入力面の画素毎に前記複眼撮像部からの距離を求め投影された前記手書入力面の座標を求める距離算出部と、前記被写界像から前記指示手段の前記指示点を認識する指示手段認識部とを備える電子的手書入力装置であって、
   前記指示手段の前記指示点による前記手書入力面に対する入力の確定を、前記指示点の位置と前記手書入力面との間の距離に応じて確定する手書入力確定部を備え、
   前記手書入力確定部は、入力の確定が継続する状態下での入力確定状態から非入力状態に遷移させる前記距離の閾値を、非入力状態から入力確定状態に遷移させる前記距離の閾値よりも大きくして、入力を確定する
   ことを特徴とする電子的手書入力装置。
2. 請求項１記載の電子的手書入力装置において、
   前記投影部は、さらに、前記手書入力面中の複数位置に曲面用マーカを投影し、
   前記距離算出部は、投影された複数の前記曲面用マーカまでの距離をそれぞれ算出し、算出結果に基づいて、前記手書入力面を３次元曲面に近似させることで、前記手書入力面の３次元座標を算出する
   ことを特徴とする電子的手書入力装置。
3. 請求項２記載の電子的手書入力装置において、
   前記投影部は、さらに、前記手書入力面に応じて複数位置に平面用マーカを投影し、
   前記距離算出部は、投影された複数の前記平面用マーカまでの距離をそれぞれ算出し、算出結果に基づいて、前記手書入力面の３次元座標を算出する
   ことを特徴とする電子的手書入力装置。
4. 請求項１〜３のいずれか１項に記載の電子的手書入力装置において、
   前記複眼撮像部は、前記投影部と一体的に角度変更が自由に構成されていることを特徴とする電子的手書入力装置。
5. 請求項１〜４のいずれか１項に記載の電子的手書入力装置において、
   前記投影部を複数備え、前記手書入力面での立体画像の表示を可能としたことを特徴とする電子的手書入力装置。

Images