JP3977018B2 - 情報入力システム - Google Patents

情報入力システム Download PDF

Info

Publication number
JP3977018B2
JP3977018B2 JP2001031017A JP2001031017A JP3977018B2 JP 3977018 B2 JP3977018 B2 JP 3977018B2 JP 2001031017 A JP2001031017 A JP 2001031017A JP 2001031017 A JP2001031017 A JP 2001031017A JP 3977018 B2 JP3977018 B2 JP 3977018B2
Authority
JP
Japan
Prior art keywords
position
imaging device
display
means
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001031017A
Other languages
English (en)
Other versions
JP2002236547A (ja
Inventor
進 藤岡
Original Assignee
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー filed Critical 株式会社リコー
Priority to JP2001031017A priority Critical patent/JP3977018B2/ja
Publication of JP2002236547A publication Critical patent/JP2002236547A/ja
Application granted granted Critical
Publication of JP3977018B2 publication Critical patent/JP3977018B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、情報の入力や選択をするためにペン等の指示手段によって指示された位置座標を検出する情報入力システムに関する。
【0002】
【従来の技術】
近年にあっては、書き込み面に手書きで書き込んだ筆記情報をリアルタイムでパーソナルコンピュータ等のコンピュータに入力することを可能にした筆記情報入力システムが提供されている。このような筆記情報入力システムとしては、特開平6−289989号公報に記載された情報認識装置や特開平11−85376号公報に記載された光学式位置検出装置付き情報表示装置等がある。
【0003】
特開平6−289989号公報に記載された情報認識装置は、筆記具により記入される記入面を撮影し、記入情報の位置座標を検出して、この位置座標に基づいて描画データを展開するものである。実施例では、記入面の一辺にカメラが取り付けられ、記入面全体を撮影している。
【0004】
また、特開平11−85376号公報に記載された光学式位置検出装置付き情報表示装置は、光再帰性反射シートを利用して、光が遮断された部分を検出することで入力座標を求めるものである。
【0005】
【発明が解決しようとする課題】
ところが、特開平6−289989号公報に記載された情報認識装置においては、筆記具により記入される記入面を撮影し、筆記具により記入される記入情報(紙に書かれた筆記文字等の軌跡)の位置座標を検出する手段、および筆記具の位置座標(筆記具の先端位置の座標)を検出する手段に加え、記入面における原点座標を検出する手段も必要であった。なお、この原点座標は記入面として用いられる用紙の角や紙面上に記入されたX軸(直線)、Y軸(直線)の起点である。すなわち、特開平6−289989号公報に記載された情報認識装置においては、筆記座標検出動作を行う前段階の処理として、筆記用紙の角を検出したり、あるいは筆記用紙に記入された情報から座標の原点を検出しなければならないという問題があった。したがって、このような原点座標の検出処理は、筆記用紙が交換される毎に必要となる。
【0006】
加えて、特開平6−289989号公報に記載された情報認識装置においては、筆記位置の座標は上記の原点座標に基づいて求められるため、筆記中に筆記用紙がずれた場合のように、撮像している画像中における筆記用紙の角の位置が変わると、原点座標の再設定を行わない限り筆記位置の座標は用紙ずれの前の状態に対してずれた値として検出されてしまうので、筆記者の意図しない筆記入力が行われてしまうという問題もあった。
【0007】
さらに、特開平6−289989号公報に記載された情報認識装置においては、カメラが筆記用紙の斜め上方から撮像する場合、筆記位置がカメラから遠ざかるほど、撮像素子の1画素あたりの筆記用紙上の検出範囲が大きくなることにより、検出座標と実際の座標との誤差が大きくなってしまい、筆記入力画像が縦方向に縮んだものになってしまうという問題もある。より具体的には、図35に示すように、筆記用紙102上の筆記位置がカメラ100から遠ざかるほど、撮像素子101の縦方向の所定個数の画素が光検出する角度θで検出できる筆記用紙102上の筆記検出範囲Lが大きくなっている(図35においては、L1<L2)ことが解かる。
【0008】
一方、特開平11−85376号公報に記載された光学式位置検出装置付き情報表示装置においては、座標入力領域の周囲に取り付けられた光再帰性反射シートを利用して、光が遮断された部分を検出することで入力座標を求める方法を示しているが、この場合、座標入力する領域の周囲に光再帰性反射シートを取り付ける必要があり、予め光再帰性反射シートが取り付けられた専用の座標入力装置以外の任意の装置に光再帰性反射シートを取り付けて座標入力を行うには、システムを構成する各構成要素の組み付けと調整作業が非常に煩わしいという問題があった。
【0009】
本発明の目的は、可搬性に優れた情報入力システムを提供することである。
【0010】
本発明の目的は、撮像装置を小型軽量化し、また、消費電力を低減させることである。
【0011】
本発明の目的は、情報入力システムの利便性を向上させることである。
【0012】
本発明の目的は、表示座標と入力座標とのズレを最小とするためのユーザの作業負担を軽減させることである。
【0013】
【課題を解決するための手段】
請求項1記載の発明の情報入力システムは、所定の距離を隔てて設けられ、平面をなす二次元の情報入力領域を指示した指示手段を撮像する撮像素子をそれぞれ有する一対の撮像装置と、前記各撮像装置にそれぞれ設けられ、装置間でのデータの授受を無線で行う無線通信手段と、前記各撮像装置にそれぞれ設けられ、前記情報入力領域内を指示した前記指示手段の画像を認識する画像認識手段と、前記各撮像装置にそれぞれ設けられ、前記画像認識手段により認識された前記指示手段の前記各撮像素子上における結像位置に基づいて前記指示手段による指示位置に係る位置情報を算出する位置情報算出手段と、前記各撮像装置の内、一の前記撮像装置に設けられ、他の前記撮像装置の前記位置情報算出手段により算出した前記指示位置に係る位置情報を前記無線通信手段を介して受信する位置情報受信手段と、一の前記撮像装置に設けられ、前記位置情報算出手段により算出した前記指示位置に係る位置情報と前記位置情報受信手段により取得した他の前記撮像装置の前記指示位置に係る位置情報とに基づいて前記指示手段により指示された二次元位置座標を算出する座標算出手段と、を備える。
【0014】
したがって、無線通信手段を備えた一対の撮像装置の撮像素子における結像位置に基づいて、平面をなす二次元の情報入力領域に挿入された指示手段によって指示された二次元座標位置が検出される。これにより、入力座標を求めるための複数の撮像装置がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システムを提供することが可能になる。
【0015】
請求項2記載の発明の情報入力システムは、制御装置と、所定の距離を隔てて設けられ、平面をなす二次元の情報入力領域を指示した指示手段を撮像する撮像素子をそれぞれ有する一対の撮像装置と、前記各撮像装置及び前記制御装置にそれぞれ設けられ、装置間でのデータの授受を無線で行う無線通信手段と、前記各撮像装置にそれぞれ設けられ、前記情報入力領域内を指示した前記指示手段の画像を認識する画像認識手段と、前記各撮像装置にそれぞれ設けられ、前記画像認識手段により認識された前記指示手段の前記各撮像素子上における結像位置に基づいて前記指示手段による指示位置に係る位置情報を算出する位置情報算出手段と、前記制御装置に設けられ、前記各撮像装置の前記位置情報算出手段により算出した前記指示位置に係る位置情報を前記無線通信手段を介して受信する位置情報受信手段と、前記制御装置に設けられ、前記位置情報受信手段により取得した前記指示位置に係る位置情報に基づいて前記指示手段により指示された二次元位置座標を算出する座標算出手段と、を備える。
【0016】
したがって、無線通信手段を備えた一対の撮像装置の撮像素子における結像位置に基づいて、平面をなす二次元の情報入力領域に挿入された指示手段によって指示された二次元座標位置が検出される。これにより、入力座標を求めるための複数の撮像装置がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システムを提供することが可能になる。また、各種処理手段を撮像装置とは別の制御装置に持たせることで、撮像装置を小型軽量化し、また、消費電力を低減させることが可能になる。
【0017】
請求項3記載の発明は、請求項1または2記載の情報入力システムにおいて、前記各撮像装置の何れか一方に、前記各撮像装置間の距離を測定する距離測定手段を備える。
【0018】
したがって、各撮像装置を任意の位置に設置した場合であっても、撮像装置間の距離が自動的に測定されることにより、入力座標を三角測量の原理を用いて求めることが可能になる。これにより、情報入力システムの利便性を向上させることが可能になる。
【0019】
請求項4記載の発明は、請求項1ないし3のいずれか一記載の情報入力システムにおいて、前記撮像素子を回転自在に支持する素子回転手段と、前記各撮像装置の方向をそれぞれ検出する方向検出手段と、前記方向検出手段により検出された方向に基づいて前記素子回転手段を制御して前記撮像素子の向きを調節する撮像方向調節手段と、を前記各撮像装置にそれぞれ備える。
【0020】
したがって、各撮像装置を任意の位置に設置した場合であっても、各撮像装置の光学系の向きを撮像装置同士の位置関係に基づいて所定の方向になるように自動的に調整することが可能になることにより、入力座標を三角測量の原理を用いて求めることが可能になる。これにより、情報入力システムの利便性を一層向上させることが可能になる。
【0021】
請求項5記載の発明は、請求項1ないし4のいずれか一記載の情報入力システムにおいて、表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における表示座標と入力座標とのズレを検出する位置ズレ検出手段と、表示座標と入力座標とにズレが検出された場合、そのズレを最小とすべく前記各撮像装置の内、何れか一方の前記撮像装置の配置位置の移動を指示する配置位置移動指示手段と、を備える。
【0022】
したがって、情報入力領域が表示装置の表示面である場合は、表示座標と入力座標とのズレが最小となるように撮像装置の配置位置の移動が指示されることにより、表示座標と入力座標とのズレを最小とするためのユーザの作業負担を軽減させることが可能になる。
【0023】
請求項6記載の発明は、請求項1ないし4のいずれか一記載の情報入力システムにおいて、表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における表示座標と入力座標とのズレを検出する位置ズレ検出手段と、表示座標と入力座標とにズレが検出された場合、入力座標を補正して表示座標に変換するとともに補正された入力座標を記憶するズレ補正手段と、を備える。
【0024】
したがって、情報入力領域が表示装置の表示面であり、撮像装置間を結ぶ直線が表示座標に対して斜めとなるように取り付けられた場合、表示座標と入力座標とのズレが補正されることにより、情報入力システムの利便性を一層向上させることが可能になる。
【0025】
請求項7記載の発明は、請求項1ないし6のいずれか一記載の情報入力システムにおいて、表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における入力座標を算出して表示座標に変換するとともに、その表示座標位置に位置合わせマークを表示する位置合わせマーク表示手段と、前記基準位置マークと前記位置合わせマークとの距離を最小とすべく、前記距離測定手段により測定された前記各撮像装置間の距離のデータを修正する距離データ修正手段と、を備える。
【0026】
したがって、入力座標を求めるときに必要とされる撮像装置間の距離の測定誤差が補正されることにより、表示座標と入力座標とのズレを最小とし、情報入力システムの利便性を一層向上させることが可能になる。
【0027】
【発明の実施の形態】
本発明の第一の実施の形態を図1ないし図19に基づいて説明する。本実施の形態の情報入力システムは、ホワイトボードに取り付けられて使用される筆記情報入力システムに適用されている。
【0028】
ここで、図1は筆記情報入力システム1をホワイトボード4に取り付けた状態を概略的に示す外観正面図である。図1に示すように、本実施の形態の筆記情報入力システム1は、マスター撮像装置2及びスレーブ撮像装置3を主体に構成されている。マスター撮像装置2はホワイトボード4の筆記面4aの右側上部に取り付けられおり、スレーブ撮像装置3はホワイトボード4の筆記面4aの左側上部に取り付けられている。なお、図1中の点線で囲まれた領域1aは、二つの撮像装置2,3による筆記情報入力の可能な筆記情報入力領域である。なお、筆記情報入力領域1aに挿入される指示手段である筆記部材(図示せず)には、ペン、棒、指等が適用される。また、後述する画像認識手段により筆記用の物体であると認識されれば良く、筆記部材は特定しない。
【0029】
まず、マスター撮像装置2について説明する。ここで、図2はマスター撮像装置2をスレーブ撮像装置3の方向(図中のAの方向)から見た外観を示す正面図である。図2に示すように、マスター撮像装置2には、透明板で形成された撮像窓5が設けられている。この撮像窓5は、後述する撮像光学系の一部を構成する撮像素子であるCMOSイメージセンサ6(図4参照)へ照射する光を取り込むためのものである。また、マスター撮像装置2には、赤外線通信窓7も設けられている。この赤外線通信窓7は、マスター撮像装置2の内部に設けられた赤外線発光ダイオード27及びフォトダイオード28を備える赤外線受発光モジュール18(いずれも図6参照)を用いてスレーブ撮像装置3との間で赤外線通信する際に用いられ、赤外線を透過する板により形成されている。さらに、マスター撮像装置2には、超音波送受信部8も設けられている。この超音波送受信部8は、送信用の超音波振動子である送波用超音波マイクロフォン8aと受信用の超音波振動子である受波用超音波マイクロフォン8bとを備えている。加えて、マスター撮像装置2には、マスター撮像装置2をホワイトボード4の筆記面4aに付着させるための吸盤9が設けられている。なお、この吸盤9は、ホワイトボード4の筆記面4aに対して平行に回転する回転機構10を介して設けられている。
【0030】
続いて、スレーブ撮像装置3について説明する。ここで、図3はスレーブ撮像装置3をマスター撮像装置2の方向(図中のBの方向)から見た外観を示す正面図である。図3に示すように、スレーブ撮像装置3の外観は、図2に示したマスター撮像装置2の外観と比較すると左右対称としたものであるが、マスター撮像装置2に設けられていた超音波送受信部8が設けられていない点で異なるものである。つまり、スレーブ撮像装置3には、マスター撮像装置2と同様の撮像窓5、赤外線通信窓7、吸盤9、素子回転手段として機能する回転機構10が設けられている。
【0031】
次に、マスター撮像装置2及びスレーブ撮像装置3の内部に設けられる撮像光学系について説明する。ここで、図4は撮像装置2,3内の撮像光学系を概略的に示す構成図であって、マスター撮像装置2を図1中のCの方向から、また、スレーブ撮像装置3を図1中のDの方向から見た図である。撮像装置2,3内の撮像光学系は、概略的には、光軸の向きのみを変えるミラー11、広角レンズ12、画像処理回路13が接続されたCMOSイメージセンサ6により構成されている。このような構成により、ホワイトボード4の筆記面4aに対して平行であって撮像窓5を通過した光は、ミラー11で上方に反射され、広角レンズ12を通ってCMOSイメージセンサ6に達する。光を受光したCMOSイメージセンサ6は、画素単位で配置されたフォトダイオードで光電変換した信号を所定の周期毎に画素毎のアンプ(セルアンプ)で増幅して画像処理回路13へ出力する。
【0032】
ここで、筆記情報入力システム1が備える二つの撮像装置2,3によって筆記情報入力の可能な筆記情報入力領域1aについて図5を参照して説明する。図5中、筆記情報入力領域1aは斜線で示された部分である。詳細は後述するが、筆記情報入力位置(ホワイトボード4の筆記面4aに接触した筆記部材の位置)は、二つの撮像装置2,3によって撮像された画像から三角測量の原理を用いて求められるため、筆記情報入力領域1aは各撮像装置2,3の撮像領域の重複した部分となる。図5では、各撮像装置2,3の撮像領域は点線の内側である。また、図5では、撮像装置2,3に内蔵されたミラー11も図示している。ミラー11は、撮像窓5から入射される90°近い角度範囲の光を反射して、その反射光を広角レンズ12を通してCMOSイメージセンサ6に照射するように取り付けられている。
【0033】
次に、マスター撮像装置2に内蔵される各部の電気的接続について図6を参照して説明する。図6に示すように、マスター撮像装置2には、CPU(Central Processing Unit)14が備えられており、このCPU14がマスター撮像装置2に内蔵される各部を集中的に制御する。このCPU14には、マスター撮像装置2を制御するための制御プログラムが予め書き込まれたROM(Read Only Memory)15、DRAM(Dynamic Random Access Memory)により構成されておりCPU14のワークエリアとして使用されるメインメモリ16がバス接続されている。ここに、マイクロコンピュータが構成されている。
【0034】
また、CPU14には、フラッシュメモリ17、画像処理回路13、赤外線受発光モジュール18が接続された直−並列変換回路19、送波用超音波マイクロフォン8a及び受波用超音波マイクロフォン8bが接続された超音波送受信制御部20、USB(Universal Serial Bus) I/F21が接続されたUSBドライバ22、回転機構10がバス接続されている。
【0035】
フラッシュメモリ17は、CPU14の制御によって筆記入力された座標データを記憶する。
【0036】
画像処理回路13は、A/D(Analog/Digital)変換回路を含んでおり、CPU14の制御によってCMOSイメージセンサ6から入力されるアナログ信号をデジタル信号に変換した後、その画像データから被写体画像の輪郭線を抽出する処理、その抽出された形状よりその被写体が筆記部材であるか否かを判断する画像認識処理、筆記部材と認識された物体がホワイトボード4の筆記面4aに接触したときの接触位置の情報を出力する処理等を実行する。
【0037】
直−並列変換回路19は、赤外線データ通信において使用され、CPU14の制御によって送信データはパラレルからシリアルへと変換され、受信データはシリアルからパラレルへと変換される。この直−並列変換回路19に接続された赤外線受発光モジュール18は、IrDA(Infrared Data Association)方式の赤外線通信を実行するために必要な回路で、その内部の構成を図7に示す。赤外線受発光モジュール18は、非同期送受信回路23、変復調回路24、アンプ25,26、赤外線発光ダイオード27、フォトダイオード28から構成されている。非同期送受信回路23は、直−並列変換回路19と変復調回路24との間に位置し、変復調回路24に対してデータを非同期に送受信する。変復調回路24は、送信データをRZ(Return to Zero)符号を用いて変調し、変調されたアナログ信号をアンプ25へ出力するとともに、アンプ26から受信したアナログ信号を復調して、シリアルデータを非同期送受信回路23へ出力する。なお、RZ符号は、伝送するデータが“0”のときに赤外光を放射し、“1”のときには放射しない方式である。赤外線発光ダイオード27は、電流のオン・オフに従い、ピーク波長が850nm〜900nm、放射角度±15度〜±30度の赤外線を発光または消光する。フォトダイオード28は、赤外光を受光すると電流を出力する。なお、このような赤外線受発光モジュール18は、赤外線通信窓7の内側において、赤外線発光ダイオード27とフォトダイオード28とを赤外線通信窓7の外側に向けて取り付けられている。
【0038】
超音波送受信制御部20は、CPU14の制御によって送波用超音波マイクロフォン8aに所定の周期毎にトリガパルス信号を供給し、またトリガパルス信号を出力してから受波用超音波マイクロフォン8bから超音波の受信信号が入力されるまでの時間Tを測定する。この時間Tは、発信した超音波が物体に当たり、反射して戻って来るまでの時間に相当する。送波用超音波マイクロフォン8aと受波用超音波マイクロフォン8bは、赤外線通信窓7と同じ面に隣接して取り付けられている。ここで、室温(20℃)での超音波の音速Cは343(m/s)であるため、超音波マイクロフォン8a,8bと反射物体(スレーブ撮像装置3)までの距離L'は、
L'=C×T/2 ・・・・(1)
により求まる。
【0039】
USBドライバ22は、CPU14の制御によってUSB規格に準拠した動作処理を実行して、USBケーブルに接続されたパソコン等とデータ転送を行う。なお、USBドライバ22は、フラッシュメモリ17に記憶された座標データをパソコン等の外部機器に転送する場合のみに使用されるため、通常の筆記入力動作中は、USBケーブルを接続する必要はない。
【0040】
回転機構10は、CPU14の制御によって回転し、超音波及び赤外線通信を使用することにより、スレーブ撮像装置3との間の位置(向き)を調整する。
【0041】
また、マスター撮像装置2に設けられるバッテリ29は例えばニッケル水素電池やリチウム電池等であり、電流はAC−DCコンバータ30を介してマスター撮像装置2に供給される。
【0042】
次に、スレーブ撮像装置3に内蔵される各部の電気的接続について図8を参照して説明する。図8に示すように、スレーブ撮像装置3のシステム構成は、マスター撮像装置2からフラッシュメモリ17、超音波送受信制御部20、送波用超音波マイクロフォン8a、受波用超音波マイクロフォン8b、USBドライバ22、USB I/F21を省いた構成であり、個々の構成要素はマスター撮像装置2の構成要素と同じであるため、詳細な説明は省略する。
【0043】
次に、筆記情報入力領域1aにおいて筆記部材がホワイトボード4の筆記面4aに接触したとき(筆記部材による筆記入力時)の接触位置を求める方法を説明する。なお、筆記入力の検出判断は、CMOSイメージセンサ6から1フレーム分の画素信号が画像処理回路13へ入力される毎に行われる。
【0044】
マスター撮像装置2及びスレーブ撮像装置3のCMOSイメージセンサ6は、図4に示したように下向きに取り付けられているが、説明の便宜上、ミラー11が無く、各撮像装置2,3の広角レンズ12とCMOSイメージセンサ6とが、図9に示すように、ホワイトボード4の筆記面4aに対して入射光の光軸が平行となるように配置された場合を想定する。なお、マスター撮像装置2の広角レンズ12とスレーブ撮像装置3の広角レンズ12との距離をL、ホワイトボード4の筆記面4aにおける筆記部材の接触点をP、点Pの位置座標を(x,y)、マスター撮像装置2の広角レンズ12とスレーブ撮像装置3の広角レンズ12とを結ぶ直線をX−Line、スレーブ撮像装置3の広角レンズ12における接触点Pの方向とX−Lineとのなす角度をβ1、マスター撮像装置2の広角レンズ12における接触点Pの方向とX−Lineとのなす角度をβ2とする。また、スレーブ撮像装置3の広角レンズ12及びCMOSイメージセンサ6付近の拡大図を図10に示す。図10において、fは広角レンズ12とCMOSイメージセンサ6との間の距離、hはCMOSイメージセンサ6における広角レンズ12の光軸の結像位置と接触点Pの結像位置との間の距離、αは広角レンズ12の光軸とX−Lineとのなす角度、θは接触点Pとその結像点とを結ぶ線と広角レンズ12の光軸とのなす角度である。
【0045】
上記の各成分を用いることにより、以下の2式が成り立つ。
θ=arctan(h/f) ・・・・(2)
β1=α−θ ・・・・(3)
ここで、マスター撮像装置2とスレーブ撮像装置3との位置関係が定まる(マスター撮像装置2の広角レンズ12とスレーブ撮像装置3の広角レンズ12とを結ぶ直線をX−Lineが確定する)と、角度αはスレーブ撮像装置3における広角レンズ12の組み付け仕様として予め判っている値であるため、これら2式より角度β1を求めることができる。また、マスター撮像装置2についても同様にして角度β2を求めることができる。
【0046】
このようにして角度β1と角度β2が求まると、接触点Pの位置座標(x,y)は、三角測量の原理により、
x=L・tanβ2/(tanβ1+tanβ2) ・・・・(4)
y=x・tanβ1 ・・・・(5)
として算出される。
【0047】
なお、スレーブ撮像装置3で求めた角度β1はIrDA方式の赤外線通信によりマスター撮像装置2へ送信され、マスター撮像装置2が受信したスレーブ撮像装置3で求めた角度β1とマスター撮像装置2で求めた角度β2を使用して、式(4)と式(5)とにより接触点Pの位置座標を算出する。
【0048】
ここで、IrDA方式の赤外線通信プロトコルについて説明する。IrDA方式のプロトコル構成を図11に示す。図11中、アプリケーション50は、本実施の形態においては、スレーブ撮像装置3からマスター撮像装置2へ角度β1を伝送するアプリケーションである。TP Entities51は、OSI(Open Systems Interconnection)参照モデルのトランスポートプロトコル(レイヤ4)を実行するエンティティであり、このエンティティはオプションである。なお、TPは“transport”の略である。LM−IAS52は、Link Management Information Access Service であり、通信している機器が何であるかを示す情報をやり取りする。LM−IAS52とTP Entities51は同じレイヤに位置しており、1つのアプリケーション間コネクションでは、いずれか1つが選択されて使用される。本実施の形態では、LM−IAS52を使用し、TP Entities51は使用しない。LM−MUX53は、Link Management Multiplexer であり、複数のサービスアクセスポイントを持つことができ、複数のアプリケーションのデータ伝送を同時に処理する。IrLAP54は、Infrared Link Access Protocol であり、HDLC(High level Data Link Control procedures)の不平衡型手順クラスを基にして規定されている。不平衡型手順クラスとは、一方の局が制御に関して全責任を持つものであり、一次局と二次局の接続により構成される。この場合、一次局は単一であるが、二次局は複数存在することができる。本実施の形態においては、マスター撮像装置2が一次局であり、スレーブ撮像装置3が二次局である。IrDA−SIR55は、IrDA Serial Infrared Physical Layer であり、変調方式など赤外線通信の物理的な仕様を規定しており、IrDA−SIR55を除いた全てのプロトコルはソフトウェアにより実行される。ここに、無線通信手段が実現されている。
【0049】
続いて、赤外線通信の手順を図12に示したシーケンス例に基づいて説明する。IrDA方式の赤外線通信では、コネクション確立フェーズの前に、一次局が二次局のアドレスを認知するディスカバリのフェーズがある。まず、コネクションの確立までのマスター撮像装置2の動作について説明する。電源がオンにされると、赤外線通信アプリケーション50は、まずLM−IAS52へディスカバリ要求を出し、このメッセージはLM−MUX53を介してIrLAP54に通知される。IrLAP54はディスカバリ要求(IrLAP_DISCOVERY.req)を受けると、タイムスロットの総数1とタイムスロット番号0を含めたディスカバリ用のXID(exchange station identification)コマンドを送出し、スレーブ撮像装置3より装置のアドレスと能力情報を含んだXIDレスポンスを受信する。そして、次のタイムスロットでディスカバリの終了を意味する、タイムスロット番号FFHを含めたディスカバリ用のXIDコマンドを送出するとともに、スレーブ撮像装置3から受信したアドレスと能力情報を含めたディスカバリ確認(IrLAP_DISCOVERY.cnf)をLM−MUX53へ渡す。LM−MUX53は、これを受けると、ディスカバリ確認をLM−IAS52を介して赤外線通信アプリケーション50へ渡す。赤外線通信アプリケーション50は、このメッセージを受けると、LM−IAS52へスレーブ撮像装置3とのコネクション確立要求(スレーブ撮像装置3のアドレスを含んでいる)を出し、このメッセージはLM−MUX53を介してIrLAP54に通知される。IrLAP54はコネクション確立要求(IrLAP_CON.req)を受けると、スレーブ撮像装置3のアドレスを含めたSNRM(Set Normal Response Mode)コマンドを送信する。そして、相手からUA(Unnumbered Acknowledgment)レスポンスを受信すると、LM−MUX53へデータリンクコネクション確立確認(IrLAP_CON.cnf)を出す。LM−MUX53はこのメッセージを受けると、CR LM-PDU(Connect Request Link Management-Protocol Data Unit)をデータ要求(IrLAP_DT.req)メッセージに含めて、IrLAP54へ渡す。IrLAP54は、この情報をI(Information)フレームに含めてスレーブ撮像装置3に送信する。その後、スレーブ撮像装置3よりCC LM-PDU(Connect Confirm Link Management-Protocol Data Unit)を含んだIフレームを受信すると、LM−MUX53へデータ指示(IrLAP_DT.ind)を出す。LM−MUX53は、これを受けると、コネクション確立確認をLM−IAS52を介して赤外線通信アプリケーション50へ渡す。
【0050】
次に、コネクションの確立までのスレーブ撮像装置3の動作について説明する。電源がオンにされると、ディスカバリ用のXIDコマンドの受信待ちとなる。そして、IrLAP54が相手からディスカバリ用のXIDコマンドを受信すると、タイムスロットの総数が1であるため、自装置のアドレスと能力情報を含んだXIDレスポンスを送信する。そして、ディスカバリの終了を意味する、タイムスロット番号FFHを含んだディスカバリ用のXIDコマンドを受信すると、LM−MUX53へディスカバリ指示(IrLAP_DISCOVERY.ind)を出す。LM−MUX53は、これを受けると、ディスカバリ指示メッセージをLM−IAS52を介して赤外線通信アプリケーション50へ渡す。その後、IrLAP54が相手からSNRMコマンドを受信すると、LM−MUX53へデータリンクコネクション確立指示(IrLAP_CON.ind)を出す。LM−MUX53は、このメッセージを受けると、応答(IrLAP_CON.rsp)をIrLAP54へ返す。IrLAP54は、このメッセージを受けると、UAレスポンスを相手に送信する。その後、相手からCR LM-PDUを含んだIフレームを受信すると、IrLAP54は、LM−MUX53へデータ指示(IrLAP_DT.ind)を出す。LM−MUX53は、このメッセージを受けると、コネクション確立指示をLM−IAS52を介して赤外線通信アプリケーション50へ渡す。赤外線通信アプリケーション50は、この応答メッセージをLM−IAS52を介してLM−MUX53へ渡す。LM−MUX53は、これを受けると、CC LM-PDUをデータ要求(IrLAP_DT.req)メッセージに含めて、IrLAP54へ渡す。IrLAP54は、この情報をI(Information)フレームに含めて相手に送信する。
【0051】
以上により、マスター撮像装置2とスレーブ撮像装置3との赤外線通信アプリケーション間のコネクションが確立される。
【0052】
また、図12に示すように、マスター撮像装置2とスレーブ撮像装置3との間の位置(向き)調整の際での赤外線通信では、回転指示コマンドと回転指示応答コマンドが、DT LM-PDU(Data Link Management-Protocol Data Unit)に含めて送受信される。
【0053】
そして、スレーブ撮像装置3は、ユーザによる筆記入力を検出すると、前述した式(2)と式(3)とを用いて求めた角度β1の値を、DT LM-PDUに含めてマスター撮像装置2に送信する。
【0054】
次に、マスター撮像装置2とスレーブ撮像装置3とにそれぞれ備えられたCPU14が、制御プログラムに基づいて実行する機能について説明する。ここでは、本実施の形態の筆記情報入力システム1が備える特長的な機能を実現する処理動作について図13ないし図19を参照しつつ以下において具体的に説明する。
【0055】
なお、図5に示したように、マスター撮像装置2は撮像窓5が左下方向を向くようにしてホワイトボード4の右上に吸盤9にて付着され、また、スレーブ撮像装置3は撮像窓5が右下方向を向くようにしてホワイトボード4の左上に吸盤9にて付着される。この付着位置は、ホワイトボード4に予めマークをしておき、その位置に付着するようにしても良いが、ホワイトボード4の筆記面4a上であれば任意の場所に付着させることができる。このように筆記情報入力システム1のマスター撮像装置2とスレーブ撮像装置3とがホワイトボード4に取り付けられた状態で電源が投入されると、マスター撮像装置2及びスレーブ撮像装置3の各ROM15に格納された制御プログラムがメインメモリ16に書き込まれ、制御プログラムが実行されることになる。
【0056】
ここで、図13はマスター撮像装置2における処理動作の流れを概略的に示すフローチャート、図14はスレーブ撮像装置3における処理動作の流れを概略的に示すフローチャートである。なお、以下においては、マスター撮像装置2側の処理を示す図13のフローチャートを主体に説明する。
【0057】
図13に示すように、マスター撮像装置2における処理動作としては、まず、赤外線受発光モジュール18を使用してIrDA方式の赤外線通信を開始する。そして、ディスカバリフェーズにてスレーブ撮像装置3を検出すると、図12に示した通信シーケンスを実行してマスター撮像装置2とスレーブ撮像装置3との赤外線通信アプリケーション間のコネクションを確立する(ステップS1,図14中のステップS31)。
【0058】
赤外線通信のコネクションが確立されると、マスター撮像装置2は、送波用超音波マイクロフォン8aを介して超音波を発信し、その超音波がスレーブ撮像装置3に当たって反射して戻って来たところを受波用超音波マイクロフォン8bを介して検出して、その超音波の受信レベル(超音波の受信強度)を測定する(ステップS2)。
【0059】
続いて、回転機構10を回転させることによりマスター撮像装置2を所定の角度(第1の角度:図15参照)だけ回転させ(ステップS3)、超音波を発信してその反射波の受信レベルを測定する(ステップS4)。これらステップS3〜S4の処理は、回転角が第1の角度より大きい所定の角度(第2の角度:図15参照)に達する迄(ステップS5のY)、繰り返される。
【0060】
そして、回転角が所定の角度(第2の角度:図15参照)に達した場合には(ステップS5のY)、回転機構10を回転させることにより、測定された受信レベルが最大であった角度(図15参照)にマスター撮像装置2を回転させる(ステップS6)。
【0061】
次に、マスター撮像装置2のCPU14は、回転角度の情報を含めた回転指示コマンドを赤外線通信によりスレーブ撮像装置3へ送信する(ステップS7)。一方、スレーブ撮像装置3のCPU14は、この回転指示コマンドを受信すると(図14中のステップS32)、回転機構10を回転させることによりスレーブ撮像装置3を指示された角度だけ回転させた後、回転指示レスポンスを赤外線通信によりマスター撮像装置2へ送信する(図14中のステップS33)。
【0062】
マスター撮像装置2のCPU14は、スレーブ撮像装置3からの回転指示レスポンスを受信した場合(ステップS8のY)、超音波を発信してその反射波の受信レベルを測定する(ステップS9)。
【0063】
これらステップS7〜S9の処理は、スレーブ撮像装置3の回転機構10の回転角が所定の角度に達する迄(ステップS10のY)、繰り返される。
【0064】
スレーブ撮像装置3の回転機構10の回転角が所定の角度に達した場合(ステップS10のY)、マスター撮像装置2のCPU14は、スレーブ撮像装置3の回転に伴って測定した受信レベルが最大であった角度を回転指示コマンドに含めてスレーブ撮像装置3へ送信する(ステップS11)。一方、スレーブ撮像装置3のCPU14は、この回転指示コマンドを受信すると(図14中のステップS32)、回転機構10を回転させることによりスレーブ撮像装置3を指示された角度だけ回転させた後、回転指示レスポンスを赤外線通信によりマスター撮像装置2へ送信する(図14中のステップS33)。これにより、マスター撮像装置2及びスレーブ撮像装置3の回転位置(向き)が定まることになる。
【0065】
以上のステップS2〜S11及びステップS32〜S33により、方向検出手段及び撮像方向調節手段の機能が実行される。これにより、各撮像装置2,3を任意の位置に設置した場合であっても、各撮像装置2,3の光学系の向きを撮像装置2,3同士の位置関係に基づいて所定の方向になるように自動的に調整することが可能になることにより、入力座標を三角測量の原理を用いて求めることが可能になる。
【0066】
なお、このとき、マスター撮像装置2の赤外線通信窓7のある面とスレーブ撮像装置3の赤外線通信窓7のある面とは平行に近づくが、さらに平行の精度を上げるために、上記のマスター撮像装置2及びスレーブ撮像装置3の回転位置(向き)を調整する動作を繰り返し実行するようにしても良い。
【0067】
続いて、マスター撮像装置2のCPU14は、超音波送受信制御部20を制御してマスター撮像装置2からスレーブ撮像装置3までの距離L'を測定する(ステップS12)。ここに、距離測定手段の機能が実行される。この距離L'は、超音波送受信制御部20が送波用超音波マイクロフォン8aに所定の周期毎にトリガパルス信号を供給し、また、トリガパルス信号を出力してから受波用超音波マイクロフォン8bから超音波の受信信号が入力されるまでの伝搬時間Tを測定し、この伝搬時間Tと超音波の音速Cとを式(1)に代入することにより求めることができる。なお、超音波の音速Cは、室温(20℃)での値である343(m/s)を用いるが、マスター撮像装置2に気温測定手段を付加して、測定した気温に対応した音速値を使用するようにしても良い。これにより、各撮像装置2,3を任意の位置に設置した場合であっても、撮像装置2,3間の距離が自動的に測定されることにより、入力座標を三角測量の原理を用いて求めることが可能になる。
【0068】
ここで、図16はマスター撮像装置2からスレーブ撮像装置3までの距離L'とマスター撮像装置2及びスレーブ撮像装置3の広角レンズ12間の距離Lとの関係を示す説明図である。図16中、λ1はマスター撮像装置2の広角レンズ12の中心と送波用超音波マイクロフォン8aの振動面までの距離、λ2はスレーブ撮像装置3の広角レンズ12の中心と赤外線通信窓7のある面との距離であり、
L=L'+λ1+λ2 ・・・・(6)
である。なお、λ1及びλ2は、装置の組み付け仕様として予め知られた値である。
【0069】
マスター撮像装置2のCPU14は、スレーブ撮像装置3までの距離L'の測定が終了すると、座標入力開始コマンドを赤外線通信によりスレーブ撮像装置3へ送信し(ステップS13)、CMOSイメージセンサ6から入力した画像情報から筆記部材とホワイトボード4の筆記面4aとの接触判断処理を開始する。一方、スレーブ撮像装置3のCPU14は、この座標入力開始コマンドを受信すると(図14中のステップS34のY)、同様にCMOSイメージセンサ6から入力した画像情報から筆記部材とホワイトボード4の筆記面4aとの接触判断処理を開始する。
【0070】
続いて、CMOSイメージセンサ6から入力した画像情報に基づいて筆記部材とホワイトボード4の筆記面4aとの接触判断を行う接触判断処理について説明する。
【0071】
マスター撮像装置2及びスレーブ撮像装置3のCPU14は、画像処理回路13を制御して、CMOSイメージセンサ6から出力される画像信号をA/D変換し、得られた1フレーム分の画像データから物体の輪郭線を抽出する処理を行う(ステップS14,図14中のステップS35)。物体の輪郭線の抽出は、例えば微分により画素間の濃度勾配を求め、その方向と大きさから輪郭線を判定する方法がある。この方法は、例えば特公平8−16931号公報において開示されているため、詳細な説明は省略する。ここで、CMOSイメージセンサ6の垂直方向(ホワイトボード4の筆記面4a上の高さ方向に該当)の画素数が大きい場合には、画像処理回路13は、ホワイトボード4の筆記面4aから所定の高さまでの領域の像を形成するCMOSイメージセンサ6の画素についてのみ画像信号を出力するように制御する。
【0072】
マスター撮像装置2及びスレーブ撮像装置3のCPU14は、輪郭線を抽出すると、その輪郭線の形状よりその物体が筆記部材であるか否かを判断する。この形状判断は、画像認識技術を用いて行う。より詳細には、物体の重心を求めた後、この重心から輪郭線までの距離を重心の回り(360°)について順次求め、この角度と距離の関係から輪郭線の形状を特定する。なお、この形状判断手法は、特開平8−315152号公報に開示されている。こうして得られた輪郭線の形状に関するデータを筆記部材の形状としてROM15又はフラッシュメモリ17に予め記憶されたデータと比較することで(ステップS15,図14中のステップS36)、その形状の物体が筆記部材であるか否かを判断する(ステップS16,図14中のステップS37)。以上のステップS14〜S16及びステップS35〜S37により、画像認識手段の機能が実行される。
【0073】
なお、筆記動作時は、筆記部材のホワイトボード4の筆記面4aに対する傾きが一定でないため、物体の重心と輪郭線とを結ぶ基準線(0°の位置)をある角度の範囲内で回転させて予め記憶されたデータと比較する。この筆記部材の画像および基準線の回転の例を図17に示す。また、筆記部材の形状に関するデータをROM15又はフラッシュメモリ17に複数種類用意しておき、形状の判断処理時にこれらを全て利用しても良い。さらに、筆記部材の形状に関するデータを予め記憶せずに、図18に示すように、輪郭線が抽出された物体が左右対称であるか否かをチェックして、対称と判断した場合にその物体を筆記部材とする方法もある。この対称性は、上述した重心から輪郭線までの距離を重心の回りについて順次求めることで判断することができる。
【0074】
マスター撮像装置2及びスレーブ撮像装置3のCPU14は、上記の判断処理によりホワイトボード4の筆記面4a上の物体が筆記部材であると判断した場合には(ステップS16のY,図14中のステップS37のY)、その筆記部材がホワイトボード4の筆記面4aに接触したか否かを判断する(ステップS17,図14中のステップS38)。ここで、ホワイトボード4の筆記面4aは、図17に示したようにCMOSイメージセンサ6の撮像領域の1つの辺に相当している。そこで、筆記部材がホワイトボード4の筆記面4aに接触したか否かの判断は、筆記部材の像がホワイトボード4の筆記面4aに相当した辺に接触したか否かを判断すれば良いことになる。
【0075】
筆記部材がホワイトボード4の筆記面4aに接触したと判断した場合(ステップS17のY,図14中のステップS38のY)、マスター撮像装置2及びスレーブ撮像装置3のCPU14は、この接触点の結像位置と広角レンズ12の光軸の結像位置との距離hを求める(ステップS18,図14中のステップS39)。ここで、図19は接触点の結像位置と広角レンズ12の光軸の結像位置との関係を示す説明図である。図19に示すように、広角レンズ12の光軸の結像位置をh0、接触点の結像位置をh1とした場合、接触点の結像位置と広角レンズ12の光軸の結像位置との距離hは、
h=h0−h1
で求められる。なお、h0とh1とは、CMOSイメージセンサ6の縦方向の基準となる辺からの画素数と画素間の距離(画素ピッチ)より求められる。
【0076】
スレーブ撮像装置3のCPU14は、接触点の結像位置と広角レンズ12の光軸の結像位置との距離hが求まると、前述した式(2)と式(3)に距離h及び既知の値であるf,αを用い、指示手段による指示位置に係る位置情報である角度β1を求め(図14中のステップS40)、求めた角度β1の値を赤外線通信を用いてマスター撮像装置2へ送信する(図14中のステップS41)。以上のステップS38〜S40により、位置情報算出手段の機能が実行される。
【0077】
一方、マスター撮像装置2のCPU14は、接触点の結像位置と広角レンズ12の光軸の結像位置との距離hが求まると、前述した式(2)と式(3)に距離h及び既知の値であるf,αを用い、指示手段による指示位置に係る位置情報である角度β2を求める(ステップS19)。以上のステップS17〜S19により、位置情報算出手段の機能が実行される。
【0078】
そして、前述した式(2)と式(3)とにより求めた角度β2とスレーブ撮像装置3から受信した角度β1と距離Lとを用いて式(4)と式(5)とによりホワイトボード4の筆記面4aにおける接触点の位置座標(x,y)を求め(ステップS20:位置情報受信手段、座標算出手段)、求めた座標値列をフラッシュメモリ17に記憶する(ステップS21)。
【0079】
なお、本実施の形態においては、式(2)〜式(5)を使用した上述の計算をCPU14に実行させるようにしたが、これに限るものではなく、式(2)及び式(3)の計算を画像処理回路13で実行し、式(4)及び式(5)の計算をCPU14に実行させるようにしても良い。
【0080】
また、筆記入力動作を行う前段階の処理として、筆記領域の原点を設定しなければならない。そこで、ユーザは、筆記領域をシステムに認識させるために、筆記領域設定スイッチ(図示せず)をオンにして図5に示す点Oのようにスレーブ撮像装置3の下付近をポイントする。マスター撮像装置2は、このポイントされた座標を求め、求めた座標を筆記領域の原点に設定する。なお、筆記領域は、この原点から右方向をX軸の正の方向、下方向をY軸の正の方向とする。そして、ユーザが筆記領域設定スイッチをオフにすると、その後は、筆記入力動作を認識すると上記のようにして求めた座標値列をフラッシュメモリ17に記憶する。この筆記領域の原点を設定する処理は、図13及び図14のフローチャートでは省略してある。
【0081】
ここに、赤外線受発光モジュール18を備えた一対の撮像装置2,3の各CMOSイメージセンサ6における結像位置に基づいて、平面をなす二次元の情報入力領域1aに挿入された筆記部材によって指示された二次元座標位置が検出される。これにより、入力座標を求めるための複数の撮像装置2,3がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システム1を提供することが可能になる。
【0082】
なお、本実施の形態においては、筆記情報入力システム1をホワイトボード4に取り付けたが、これに限るものではなく、黒板、大型ディスプレイ、机、壁等の平面をなす二次元の領域を有するものであれば良い。
【0083】
本発明の第二の実施の形態を図20ないし図23に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。第一の実施の形態の筆記情報入力システム1はホワイトボード4に取り付けられて使用されるものであったが、本実施の形態の筆記情報入力システム60は、プラズマディスプレイパネル(PDP:Plasma Display Panel)等の表示装置を備えているものである。
【0084】
ここで、図20は筆記情報入力システム60を概略的に示す外観正面図である。図20に示すように、本実施の形態の筆記情報入力システム60は、前述した第一の実施の形態の筆記情報入力システム1のマスター撮像装置2及びスレーブ撮像装置3と概略同様なマスター撮像装置62及びスレーブ撮像装置63を備えている。また、筆記情報入力システム60はPDP61を有しており、マスター撮像装置62はPDP61の表示面61aの右側上部に取り付けられおり、スレーブ撮像装置63はPDP61の表示面61aの左側上部に取り付けられている。PDP61の表示面61aとその周りの枠61bは同一平面になるように取り付けられており、筆記情報入力システム60は電子黒板として機能する。なお、図20中の点線で囲まれた領域60aは、二つの撮像装置62,63による筆記情報入力の可能な筆記情報入力領域である。
【0085】
マスター撮像装置62は、前述した第一の実施の形態のマスター撮像装置2に対し、表示制御部64(図21参照)とビデオケーブル65を接続するための接続コネクタ(図示せず)とが付加されたものである。また、スレーブ撮像装置63は、前述した第一の実施の形態のスレーブ撮像装置3と何ら変わるものではない。
【0086】
次に、マスター撮像装置62に内蔵される各部の電気的接続について図21を参照して説明する。図21に示すように、マスター撮像装置62のシステム構成は、前述した第一の実施の形態のマスター撮像装置2に表示制御部64が付加され、CPU14にバス接続された構成となっている。
【0087】
表示制御部64は、VRAM(Video RAM)を内蔵しており、CPU14の制御によって、筆記により得られた座標値列から表示用の描画データを生成して、これをPDP61に表示させたり、後述する表示座標と筆記入力座標との対応付けを行うための基準位置マークM(図23参照)をPDP61に表示させるための制御を行う。
【0088】
なお、後述する表示座標と筆記入力座標との対応付けを行うキャリブレーション処理の実行を宣言するためのキャリブレーションモードをオン、オフするスイッチ(キャリブレーションモード1スイッチ,キャリブレーションモード2スイッチ)は図示していない。
【0089】
次に、マスター撮像装置62に備えられたCPU14が、制御プログラムに基づいて実行する機能について説明する。ここでは、本実施の形態の筆記情報入力システム60が備える特長的な機能を実現する処理動作について図22または図23を参照しつつ以下において具体的に説明する。
【0090】
なお、図20に示したように、マスター撮像装置62は撮像窓5が左下方向を向くようにしてPDP61の表示面61aの右上に吸盤9にて付着され、また、スレーブ撮像装置63は撮像窓5が右下方向を向くようにしてPDP61の表示面61aの左上に吸盤9にて付着される。この付着位置は、PDP61の表示面61aの周りの枠61bに予めマークをしておき、その位置に付着するようにしても良いが、PDP61(表示面61aおよび表示面61aの周りの枠61b)上であれば任意の場所に付着させることができる。このように筆記情報入力システム60のマスター撮像装置62とスレーブ撮像装置63とがPDP61に取り付けられた状態で電源が投入されると、マスター撮像装置62及びスレーブ撮像装置63の各ROM15に格納された制御プログラムがメインメモリ16に書き込まれ、制御プログラムが実行されることになる。
【0091】
ここで、図22はマスター撮像装置62における処理動作の流れを概略的に示すフローチャートである。図22に示すように、マスター撮像装置62における処理動作としては、まず、赤外線受発光モジュール18を使用してIrDA方式の赤外線通信を開始する。そして、ディスカバリフェーズにてスレーブ撮像装置63を検出すると、図12に示した通信シーケンスを実行してマスター撮像装置62とスレーブ撮像装置63の赤外線通信アプリケーション間のコネクションを確立する(ステップS51,図14中のステップS31)。
【0092】
赤外線通信のコネクションが確立されると、マスター撮像装置62は、超音波を使用してマスター撮像装置62及びスレーブ撮像装置63の回転位置(向き)を定める(ステップS52)。この処理は、図13中のステップS2〜S11及び図14中のステップS32〜S33により実現される。
【0093】
続いて、マスター撮像装置62のCPU14は、超音波送受信制御部20を制御してマスター撮像装置62からスレーブ撮像装置63までの距離L'を測定する(ステップS53)。
【0094】
マスター撮像装置62のCPU14は、スレーブ撮像装置63までの距離L'の測定が終了すると、座標入力開始コマンドを赤外線通信によりスレーブ撮像装置63へ送信する(ステップS54)。
【0095】
この状態で、マスター撮像装置62のCPU14は、キャリブレーションモード1スイッチの操作(ステップS55のY)、または、筆記情報入力(ステップS69のY)に待機する。
【0096】
マスター撮像装置62のCPU14は、キャリブレーションモード1スイッチが操作されてオンになったことを検知すると(ステップS55のY)、表示制御部64を制御して表示座標と筆記入力座標との対応付けを行うための基準位置マークM(M1,M2)をPDP61の表示面61aの所定位置にそれぞれ表示する(ステップS56)。ここに、基準位置表示手段の機能が実行される。ここで、図23は表示面61aの所定位置に基準位置マークM(M1,M2)が表示されたPDP61を示す正面図である。図23に示すように、2つの基準位置マークM(M1,M2)の表示座標におけるY座標(縦方向)値は同じである。
【0097】
このように基準位置マークM(M1,M2)が表示された状態において、ユーザは基準位置マークM1及び基準位置マークM2を順に筆記部材でポイント(指示)することになる。
【0098】
まず、ユーザが基準位置マークM1の中心位置を筆記部材でポイントした場合について説明する。ここで、マスター撮像装置62のCPU14は、PDP61の表示面61aへの筆記部材の接触検知に待機している(ステップS57)。この処理は、図13中のステップS14〜S17と同様の処理により実現される。
【0099】
筆記部材がPDP61の表示面61aに接触したと判断した場合(ステップS57のY)、マスター撮像装置62のCPU14は、マスター撮像装置62の広角レンズ12における筆記部材の接触位置の方向とX−Lineとのなす角度β2を求め、この角度β2とスレーブ撮像装置63から受信した角度β1(図14中のステップS39〜S41参照)とを用いてPDP61の表示面61aにおける接触点の位置座標(x1_i,y1_i)を求める(ステップS58)。なお、筆記入力座標の原点は,筆記情報入力領域60a(図20参照)の左上の頂点であり、右方向をX軸の正の方向、下方向をY軸の正の方向としている。
【0100】
その後、マスター撮像装置62のCPU14は、PDP61の表示面61aへの筆記部材の接触検知に再び待機し(ステップS59)、ユーザが基準位置マークM2の中心位置を筆記部材でポイントした場合には(ステップS59のY)、PDP61の表示面61aにおける接触点の位置座標(x2_i,y2_i)をステップS58で位置座標(x1_i,y1_i)を求めたのと同様の手法で求める(ステップS60)。
【0101】
ここで、“y1_i”と“y2_i”とが同じでない場合には、マスター撮像装置62とスレーブ撮像装置63とを結ぶ直線(X−Line)と表示座標のX軸(横方向)とが平行でないことを意味している。そこで、“y1_i”>“y2_i”の場合には(ステップS61のN,ステップS62のY:位置ズレ検出手段)、マスター撮像装置62よりスレーブ撮像装置63の方が上方に位置していることになるため、“y1_i”−“y2_i”の距離だけ、スレーブ撮像装置63の配置位置を下げるようPDP61の表示面61aにメッセージを表示する(ステップS63:配置位置移動指示手段)。
【0102】
また、“y1_i”<“y2_i”の場合には(ステップS61のN,ステップS62のN:位置ズレ検出手段)、マスター撮像装置62よりスレーブ撮像装置63の方が下方に位置していることになるため、“y2_i”−“y1_i”の距離だけ、スレーブ撮像装置63の配置位置を上げるようPDP61の表示面61aにメッセージを表示する(ステップS64:配置位置移動指示手段)。
【0103】
ここで、マスター撮像装置62とスレーブ撮像装置63との距離Lの単位をmmとすると、式(4)と式(5)より接触点の入力座標の単位もmmとなる。そこで、上記メッセージ中のスレーブ撮像装置63の移動距離は単位をmmで表示する。
【0104】
その後、マスター撮像装置62のCPU14は、キャリブレーションモード1スイッチが操作されてオフになったことを検知すると(ステップS65のY)、キャリブレーションモード2スイッチが操作されてオンになるまで待機する(ステップS66)。ユーザは、このようにキャリブレーションモード1スイッチをオフにした状態で、スレーブ撮像装置63をPDP61の表示面61aに表示されたメッセージに従って移動する。なお、ユーザは、再びキャリブレーションモード1スイッチをオンにして、上記と同様の動作を繰り返し、検出精度を高めるようにしても良い。
【0105】
表示座標は表示画素の個数に基づく座標であるため、この座標値に表示画素間の距離(単位はmm)を乗算することで、表示用実寸座標(単位はmm)とすることができる。上記のキャリブレーション操作により、表示用実寸座標を使用して求めた基準位置マークM1と基準位置マークM2との間の距離と、上述した処理により求まった接触点の位置座標(x1_i,y1_i)と(x2_i,y2_i)との間の距離はほぼ同じとなる。すなわち、画像処理手段により求まった接触点の座標を表示座標に変換してPDP61の表示面61aに表示する場合、接触位置とその表示位置が筆記情報入力領域60a全体についてほぼ同じとなる。
【0106】
その後、マスター撮像装置62のCPU14は、キャリブレーションモード2スイッチが操作されてオンになったことを検知すると(ステップS66のY)、ユーザによるPDP61の表示面61aの四隅(頂点)への筆記部材でのポイントに従って、そのポイントされた4ヶ所の位置座標を順次求め、これらを頂点とする矩形領域を筆記情報入力を有効領域とする筆記情報入力領域60aの認識を行う(ステップS67)。そして、PDP61の表示面61aの左上の頂点を表示座標および筆記情報入力領域60aにおける筆記入力座標の原点とする。
【0107】
そして、マスター撮像装置62のCPU14は、キャリブレーションモード2スイッチが操作されてオフになったことを検知すると(ステップS68のY)、キャリブレーションモード1スイッチの操作、または、筆記情報入力の待機状態に戻る。
【0108】
ステップS69〜S71の筆記情報入力処理は、図13で説明したステップS14〜S21における処理とほぼ同様の処理であるが、ステップS71はステップS21とは異なり、マスター撮像装置62のCPU14は、求めた座標値列をフラッシュメモリ17に記憶するとともに、表示制御部64を制御して座標値列から表示用の描画データを生成して、これをPDP61に表示させている。
【0109】
ここに、赤外線受発光モジュール18を備えた一対の撮像装置62,63の各CMOSイメージセンサ6における結像位置に基づいて、平面をなす二次元の情報入力領域60aに挿入された筆記部材によって指示された二次元座標位置が検出される。これにより、入力座標を求めるための複数の撮像装置62,63がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システム60を提供することが可能になる。
【0110】
また、情報入力領域60aが表示装置61の表示面61aである場合は、表示座標と入力座標とのズレが最小となるように撮像装置62,63の配置位置の移動が指示されることにより、表示座標と入力座標とのズレを最小とするためのユーザの作業負担を軽減させることが可能になる。
【0111】
本発明の第三の実施の形態を図24ないし図26に基づいて説明する。なお、前述した第一の実施の形態または第二の実施の形態と同一部分は同一符号で示し説明も省略する。第二の実施の形態の筆記情報入力システム60は、表示座標と筆記入力座標とを一致させるために、スレーブ撮像装置63の配置位置をユーザに移動させるようにしていたが、本実施の形態の筆記情報入力システム70は、表示座標と筆記入力座標とにズレが生じている場合(マスター撮像装置72とスレーブ撮像装置73とを結ぶ直線(X−Line)と表示座標のX軸(横方向)とが平行でない場合)であっても、スレーブ撮像装置73の配置位置を移動することなく表示座標と筆記入力座標とを一致させるようにしたものである。
【0112】
ここで、図24は筆記情報入力システム70を概略的に示す外観正面図である。図24に示すように、本実施の形態の筆記情報入力システム70は、前述した第二の実施の形態の筆記情報入力システム60のマスター撮像装置62及びスレーブ撮像装置63と概略同様なマスター撮像装置72及びスレーブ撮像装置73を備えている。筆記情報入力システム70はPDP71を有しており、マスター撮像装置72はPDP71の表示面71aの右側上部に取り付けられおり、スレーブ撮像装置73はPDP71の表示面71aの左側上部に取り付けられている。PDP71の表示面71aとその周りの枠71bは同一平面になるように取り付けられており、筆記情報入力システム70は電子黒板として機能する。なお、図24中の点線で囲まれた領域70aは、二つの撮像装置72,73による筆記情報入力の可能な筆記情報入力領域である。また、PDP71とマスター撮像装置72とは、ビデオケーブル75により接続されている。また、マスター撮像装置72及びスレーブ撮像装置73に内蔵される各部の電気的接続については、筆記情報入力システム60のマスター撮像装置62及びスレーブ撮像装置63と何ら変わるものではないため、その説明は省略する。
【0113】
次に、マスター撮像装置72に備えられたCPU14が、制御プログラムに基づいて実行する機能について説明する。ここでは、本実施の形態の筆記情報入力システム70が備える特長的な機能を実現する処理動作について図25または図26を参照しつつ以下において具体的に説明する。
【0114】
なお、図24に示すように、マスター撮像装置72は撮像窓5が左下方向を向くようにしてPDP71の表示面71aの右上に吸盤9にて付着され、また、スレーブ撮像装置73は撮像窓5が右下方向を向くようにしてPDP71の表示面71aの左上に吸盤9にて付着される。この付着位置は、PDP71の表示面71aの周りの枠71bに予めマークをしておき、その位置に付着するようにしても良いが、PDP71(表示面71aおよび表示面71aの周りの枠71b)上であれば任意の場所に付着させることができる。このように筆記情報入力システム70のマスター撮像装置72とスレーブ撮像装置73とがPDP71に取り付けられた状態で電源が投入されると、マスター撮像装置72及びスレーブ撮像装置73の各ROM15に格納された制御プログラムがメインメモリ16に書き込まれ、制御プログラムが実行されることになる。
【0115】
ここで、図25はマスター撮像装置72における処理動作の流れを概略的に示すフローチャートである。図25に示すように、マスター撮像装置72における処理動作としては、まず、赤外線受発光モジュール18を使用してIrDA方式の赤外線通信を開始する。そして、ディスカバリフェーズにてスレーブ撮像装置73を検出すると、図12に示した通信シーケンスを実行してマスター撮像装置72とスレーブ撮像装置73の赤外線通信アプリケーション間のコネクションを確立する(ステップS81,図14中のステップS31)。
【0116】
赤外線通信のコネクションが確立されると、マスター撮像装置72は、超音波を使用してマスター撮像装置72及びスレーブ撮像装置73の回転位置(向き)を定める(ステップS82)。この処理は、図13中のステップS2〜S11及び図14中のステップS32〜S33により実現される。
【0117】
続いて、マスター撮像装置72のCPU14は、超音波送受信制御部20を制御してマスター撮像装置72からスレーブ撮像装置73までの距離L'を測定する(ステップS83)。
【0118】
マスター撮像装置72のCPU14は、スレーブ撮像装置73までの距離L'の測定が終了すると、座標入力開始コマンドを赤外線通信によりスレーブ撮像装置73へ送信する(ステップS84)。
【0119】
この状態で、マスター撮像装置72のCPU14は、キャリブレーションモード1スイッチの操作(ステップS85のY)、または、筆記情報入力(ステップS100のY)に待機する。
【0120】
マスター撮像装置72のCPU14は、キャリブレーションモード1スイッチが操作されてオンになったことを検知すると(ステップS85のY)、表示制御部64を制御して表示座標と筆記入力座標との対応付けを行うための基準位置マークM(M1,M2)を図24に示すようにPDP71の表示面71aの所定位置にそれぞれ表示する(ステップS86)。ここに、基準位置表示手段の機能が実行される。図24に示すように、2つの基準位置マークM(M1,M2)の表示座標におけるY座標(縦方向)値は同じである。
【0121】
このように基準位置マークM(M1,M2)が表示された状態において、ユーザは基準位置マークM1及び基準位置マークM2を順に筆記部材でポイントすることになる。
【0122】
まず、ユーザが基準位置マークM1の中心位置を筆記部材でポイントした場合について説明する。ここで、マスター撮像装置72のCPU14は、PDP71の表示面71aへの筆記部材の接触検知に待機している(ステップS87)。この処理は、図13中のステップS14〜S17により実現される。
【0123】
筆記部材がPDP71の表示面71aに接触したと判断した場合(ステップS87のY)、マスター撮像装置72のCPU14は、マスター撮像装置72の広角レンズ12における筆記部材の接触位置の方向とX−Lineとのなす角度β2を求め、この角度β2とスレーブ撮像装置73から受信した角度β1(図14中のステップS39〜S41参照)とを用いてPDP71の表示面71aにおける接触点の位置座標(x1_i,y1_i)を求める(ステップS88)。なお、筆記入力座標の原点は,筆記情報入力領域70a(図24参照)の左上の頂点であり、右方向をX軸の正の方向、下方向をY軸の正の方向としている。
【0124】
その後、マスター撮像装置72のCPU14は、PDP71の表示面71aへの筆記部材の接触検知に再び待機し(ステップS89)、ユーザが基準位置マークM2の中心位置を筆記部材でポイントした場合には(ステップS89のY)、PDP71の表示面71aにおける接触点の位置座標(x2_i,y2_i)をステップS88で位置座標(x1_i,y1_i)を求めたのと同様の手法で求める(ステップS90)。
【0125】
ここで、“y1_i”と“y2_i”とが同じでない場合には、マスター撮像装置72とスレーブ撮像装置73とを結ぶ直線(X−Line)と表示座標のX軸(横方向)とが平行でないことを意味している。そこで、“y1_i”=“y2_i”ではない場合には(ステップS91のN:位置ズレ検出手段)、補正処理が必要となる。
【0126】
今、“y1_i”<“y2_i”、すなわちスレーブ撮像装置73がマスター撮像装置72より下方に位置しているものとする。このような場合の基準位置マークM1を通るX−Lineと平行な線X−Line_M1と基準位置マークM1を通る表示座標のX軸と平行な線X_Disp_M1との関係を図26に示す。図26中、点M1は、基準位置マークM1の入力座標(x1_i,y1_i)、点M2は基準位置マークM2の入力座標(x2_i,y2_i)、点M3はX座標値が点M2の入力座標のX座標値でY座標値が点M1の入力座標のY座標値である点(x2_i,y1_i)であり、点M1と点M3は直線X−Line_M1上にあり、点M1と点M2は直線X_Disp_M1上にある。また、θ_diffは、直線X−Line_M1と直線X_Disp_M1とのなす角度であり、線分M1M3と線分M2M3は直交している。図26に示した関係より、θ_diffは、
θ_diff=arctan((y2_i−y1_i)/(x2_i−x1_i))・・・・(7)
により求まる(ステップS92)。
【0127】
線分M1M2は、表示座標では表示座標のX軸と平行であるが、この両端点である点M1と点M2の入力座標を表示座標に変換してPDP71の表示面71aに表示する場合、点M1の位置に変化がないと仮定すると、点M2は基準位置マークM2よりも下に表示される。すなわち、筆記情報入力領域70aの左上の角を上記の点M1に該当する基準点とすると、直線X−Line_M1が直線X_Disp_M1に対して傾いたまま筆記入力が行われる場合、得られた入力座標を単純に表示座標に変換して表示すると、常に角度θ_diffに依存した距離だけ実際の接触位置よりも下側に表示されることになる。したがって、得られた入力座標を筆記情報入力領域70aの左上の角を原点として角度θ_diffだけ左方向に回転した後に表示座標に変換してPDP71の表示面71aに表示した場合には、実際の接触位置とほぼ同じ位置にその描画データが表示されることとなる。
【0128】
そこで、“y1_i”<“y2_i”である場合には(ステップS93のN)、ステップS94に進み、得られた入力座標を筆記情報入力領域70aの左上の角を原点として角度θ_diffだけ左方向に回転させる。ここに、ズレ補正手段の機能が実行される。
【0129】
詳細には、座標(x,y)を原点に対して角度θだけ回転した座標(x',y')は、
x'=x・cosθ−y・sinθ ・・・・(8)
y'=x・sinθ+y・cosθ ・・・・(9)
により得られる。なお、θが正の値の場合は右回り、負の値の場合は左回りに回転する。
【0130】
その後、マスター撮像装置72のCPU14は、キャリブレーションモード1スイッチが操作されてオフになったことを検知すると(ステップS96のY)、キャリブレーションモード2スイッチが操作されてオンになるまで待機する(ステップS97)。
【0131】
マスター撮像装置72のCPU14は、キャリブレーションモード2スイッチが操作されてオンになったことを検知すると(ステップS97のY)、ユーザによるPDP71の表示面71aの四隅(頂点)への筆記部材でのポイントに従って、そのポイントされた4ヶ所の位置座標を順次求め、これらを頂点とする矩形領域を筆記情報入力を有効領域とする筆記情報入力領域70aの認識を行う(ステップS98)。そして、PDP71の表示面71aの左上の頂点を表示座標および筆記情報入力領域70aにおける筆記入力座標の原点とする。
【0132】
そして、マスター撮像装置72のCPU14は、キャリブレーションモード2スイッチが操作されてオフになったことを検知すると(ステップS99のY)、キャリブレーションモード1スイッチの操作、または、筆記情報入力の待機状態に戻る。
【0133】
ステップS100〜S104の筆記情報入力処理は、図22で説明したステップS69〜S71における処理とほぼ同様の処理であるが、マスター撮像装置72のCPU14は、上記のようにスレーブ撮像装置73がマスター撮像装置72より下方に位置している場合には、求めた座標を角度θ_diffだけ左方向に回転した座標に補正した後(ステップS102〜S103)、回転後の座標値列をフラッシュメモリ17に記憶するとともに、表示制御部64を制御して座標値列から表示用の描画データを生成して、これをPDP71に表示する(ステップS104)。
【0134】
以上においては、“y1_i”<“y2_i”、すなわちスレーブ撮像装置73がマスター撮像装置72より下方に位置している場合について説明したが、マスター撮像装置72がスレーブ撮像装置73より下方に位置している場合、即ち“y1_i”>“y2_i”である場合には(ステップS93のY:位置ズレ検出手段)、得られた入力座標を筆記情報入力領域70aの左上の角を原点として角度θ_diffだけ右方向に回転させることになる(ステップS95)。ここに、ズレ補正手段の機能が実行される。
【0135】
また、ステップS100〜S104の筆記情報入力処理においては、求めた座標を角度θ_diffだけ右方向に回転した座標に補正した後(ステップS102〜S103)、回転後の座標値列をフラッシュメモリ17に記憶するとともに、表示制御部64を制御して座標値列から表示用の描画データを生成して、これをPDP71に表示する(ステップS104)。
【0136】
ここに、赤外線受発光モジュール18を備えた一対の撮像装置72,73の各CMOSイメージセンサ6における結像位置に基づいて、平面をなす二次元の情報入力領域70aに挿入された筆記部材によって指示された二次元座標位置が検出される。これにより、入力座標を求めるための複数の撮像装置72,73がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システム70を提供することが可能になる。
【0137】
また、情報入力領域70aが表示装置71の表示面71aであり、撮像装置72,73間を結ぶ直線が表示座標に対して斜めとなるように取り付けられた場合、表示座標と入力座標とのズレが補正されることにより、情報入力システム70の利便性を一層向上させることが可能になる。
【0138】
本発明の第四の実施の形態を図27および図28に基づいて説明する。なお、前述した第一の実施の形態または第二の実施の形態と同一部分は同一符号で示し説明も省略する。
【0139】
マスター撮像装置とスレーブ撮像装置との間の距離を測定するときに、マスター撮像装置の送波用超音波マイクロフォンから発信される超音波の周波数が40KHzであるとすると、室温(20℃)での超音波の音速は343(m/s)であるため、超音波の波長は8.6mmとなる。すなわち、距離の測定精度は8.6mmとなり、この距離に基づいて算出される入力座標値は、この距離の誤差に依存した誤差が生じる。すなわち、第二の実施の形態で示した方法により撮像装置62,63の配置位置を調整しても基準位置において表示座標と入力座標とが一致しない場合がある。そこで、基準位置において表示座標と入力座標とのズレが最小となるように、本実施の形態においては、測定された撮像装置間の距離を補正する方法について説明する。
【0140】
本実施の形態の筆記情報入力システムは、ハード構成としては、前述した第二の実施の形態の筆記情報入力システム60のハード構成に、測定された撮像装置間の距離の補正処理の実行を宣言するためのキャリブレーションモード3スイッチ(図示せず)を備えるのみであるため、その説明は省略する。
【0141】
次に、マスター撮像装置62に備えられたCPU14が、制御プログラムに基づいて実行する機能について説明する。ここでは、本実施の形態の筆記情報入力システム60が備える特長的な機能を実現する距離補正処理について図27または図28を参照しつつ以下において具体的に説明する。
【0142】
ここで、図27はマスター撮像装置62における距離補正処理の流れを概略的に示すフローチャートである。なお、マスター撮像装置62とスレーブ撮像装置63がPDP61の表示面61a上に付着され、各撮像装置62,63の電源がオンにされてからキャリブレーションモード2スイッチがオフにされるまでの動作は、図22に示したステップS51〜S68の処理と同様であるため、説明を省略している。
【0143】
図27に示すように、マスター撮像装置62のCPU14は、キャリブレーションモード2スイッチがオフにされた後、キャリブレーションモード3スイッチが操作されてオンになったことを検知すると(ステップS111のY)、キャリブレーションモード1スイッチが操作されてオンになった場合と同様に、表示制御部64を制御して表示座標と筆記入力座標との対応付けを行うための基準位置マークM(M1,M2)をPDP61の表示面61aの所定位置にそれぞれ表示する(ステップS112)。ここに、基準位置表示手段の機能が実行される。
【0144】
そして、マスター撮像装置62のCPU14は、ユーザにより基準位置マークM1及び基準位置マークM2の中心位置を筆記部材で順次ポイントされると、基準位置マークM1における接触点の位置座標(x1_i,y1_i)と基準位置マークM2における接触点の位置座標(x2_i,y2_i)を求める(ステップS113〜S114)。これらの処理は、図22に示したステップS57〜S60の処理と同様である。
【0145】
その後、マスター撮像装置62のCPU14は、各位置座標(x1_i,y1_i),(x2_i,y2_i)に基づき、表示制御部64を制御して表示用の描画データを生成して、これを位置合わせマークmとしてPDP61に表示させる(ステップS115〜S116)。ここに、位置合わせマーク表示手段の機能が実行される。
【0146】
加えて、マスター撮像装置62のCPU14は、位置合わせマークmの表示に併せて、撮像装置62,63間の距離Lの値を調整するための距離調整表示dも表示制御部64を制御してPDP61に表示させる(ステップS117)。
【0147】
ここで、図28は位置合わせマークm及び距離調整表示dが表示されたPDP61を例示的に示す正面図である。図28に示すように、距離調整表示dは、例えば、距離Lの値を小さくする方向(−方向)及び大きくする方向(+方向)にそれぞれ5段階に区分されている。前述したように距離の測定精度は8.6mmであるため、この5段階の距離は、
(8.6/5)×n(nは1〜5の整数)(mm)
となる。
【0148】
ここで、位置合わせマークmが基準位置マークM(M1,M2)の中心にない場合は、ユーザは距離Lの値を調整するために、±5段階の中の1つを選択することができる(ステップS118のY)。例えば+1が選択されると、マスター撮像装置62のCPU14は、先に求めた撮像装置62,63間の距離Lの値(単位はmm)に8.6/5を加算してLの値を更新し(ステップS119)、表示されている位置合わせマークmを消去する(ステップS120)。
【0149】
そして、マスター撮像装置62のCPU14は、先に算出した角度β1及び角度β2の値と更新されたLの値を使用して式(4)と式(5)とから基準位置マークM1における接触点の位置座標(x1_i,y1_i)と基準位置マークM2における接触点の位置座標(x2_i,y2_i)を再度求め、各位置座標(x1_i,y1_i),(x2_i,y2_i)に基づき、表示制御部64を制御して表示用の描画データを生成して、これをPDP61に表示させる(ステップS121)。なお、このとき、各撮像装置62,63の位置と基準位置マークM(M1,M2)に変化はないため、角度β1と角度β2は変化しない。
【0150】
ユーザがこれ以上の調整を必要としない場合にはキャリブレーションモード3スイッチをオフにすることにより、マスター撮像装置62のCPU14は処理を終了する(ステップS122のY)。
【0151】
以上のステップS117〜S122により、距離データ修正手段の機能が実行される。
【0152】
ここに、入力座標を求めるときに必要とされる撮像装置62,63間の距離の測定誤差が補正されることにより、表示座標と入力座標とのズレを最小とし、情報入力システム60の利便性を一層向上させることが可能になる。
【0153】
本発明の第五の実施の形態を図29ないし図34に基づいて説明する。なお、前述した第一の実施の形態ないし第四の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態の筆記情報入力システム80は、第二の実施の形態ないし第四の実施の形態で説明した筆記情報入力システム60,70の変形例である。
【0154】
ここで、図29は筆記情報入力システム80を概略的に示す外観正面図である。図29に示すように、本実施の形態の筆記情報入力システム80は、前述した第一の実施の形態の筆記情報入力システム1のマスター撮像装置2及びスレーブ撮像装置3と概略同様なマスター撮像装置82及びスレーブ撮像装置83を備えている。また、筆記情報入力システム80はPDP81を有しており、マスター撮像装置82はPDP81の表示面81aの右側上部に取り付けられおり、スレーブ撮像装置83はPDP81の表示面81aの左側上部に取り付けられている。加えて、筆記情報入力システム80に備えられたPDP81の右下部分には、表示制御装置84が設けられており、この表示制御装置84は、マスター撮像装置82と赤外線通信ができるように取り付けられている。PDP81の表示面81aとその周りの枠81bは同一平面になるように取り付けられており、筆記情報入力システム80は電子黒板として機能する。なお、図29中の点線で囲まれた領域80aは、二つの撮像装置82,83による筆記情報入力の可能な筆記情報入力領域である。
【0155】
マスター撮像装置82は、前述した第一の実施の形態のマスター撮像装置2では一つのみであった赤外線受発光モジュール18を二つ備えている。一つは、スレーブ撮像装置83との赤外線通信に用い、残りの一つは、表示制御装置84との赤外線通信に用いられる。より詳細には、表示制御装置84との赤外線通信に用いられる赤外線受発光モジュール18は、図29において、下から、すなわちEの方向から見た面にある赤外線通信窓7を通して赤外線通信ができるように取り付けられている。なお、スレーブ撮像装置83は、前述した第一の実施の形態のスレーブ撮像装置3と何ら変わるものではない。
【0156】
次に、マスター撮像装置82に内蔵される各部の電気的接続について図30を参照して説明する。図30に示すように、マスター撮像装置82のシステム構成は、前述した第一の実施の形態のマスター撮像装置2に対し、赤外線受発光モジュール18が一つ追加され、直−並列変換回路19を介してCPU14にバス接続された構成となっているとともに、フラッシュメモリ17、USB I/F21、USBドライバ22が省かれたものである。
【0157】
続いて、表示制御装置84に内蔵される各部の電気的接続について図31を参照して説明する。図31に示すように、表示制御装置84には、CPU85が備えられており、このCPU85が表示制御装置84に内蔵される各部を集中的に制御する。このCPU85には、制御プログラム等の固定データが予め書き込まれたROM86、DRAMにより構成されておりCPU85のワークエリアとして使用されるメインメモリ87がバス接続されている。ここに、マイクロコンピュータが構成されている。
【0158】
また、CPU85には、赤外線受発光モジュール88が接続された直−並列変換回路89、USB I/F90が接続されたUSBドライバ91、LAN(Local Area Network) I/F92が接続されたLAN制御部93、ハードディスク94が接続されたHD I/F95、表示制御部96がバス接続されている。
【0159】
HD I/F95はIDE(Integrated Device Electronics)であり、ハードディスク94は、CPU85の制御によって筆記入力された座標データやPDP81の表示面81aに表示する各種メニューアイコンのビットマップデータ等を記憶する。
【0160】
直−並列変換回路89は、赤外線データ通信において使用され、CPU85の制御によって送信データはパラレルからシリアルへと変換され、受信データはシリアルからパラレルへと変換される。この直−並列変換回路89に接続された赤外線受発光モジュール88は、IrDA方式の赤外線通信を実行するために必要な回路で、その内部の構成は、図7に示したものと同様である。なお、このような赤外線受発光モジュール88は、図29中のFの方向から見た面にある赤外線通信窓(図示せず)を通してマスター撮像装置82と赤外線通信ができるように取り付けられている。
【0161】
ここで、マスター撮像装置82と表示制御装置84との間における赤外線通信の手順を図32に示したシーケンス例に基づいて説明する。なお、IrDA方式の赤外線通信では、コネクション確立フェーズの前に、一次局が二次局のアドレスを認知するディスカバリのフェーズがある。まず、コネクションの確立までのマスター撮像装置82の動作について説明する。電源がオンにされると、赤外線通信アプリケーション50は、まずLM−IAS52へディスカバリ要求を出し、このメッセージはLM−MUX53を介してIrLAP54に通知される。IrLAP54はディスカバリ要求(IrLAP_DISCOVERY.req)を受けると、タイムスロットの総数1とタイムスロット番号0を含めたディスカバリ用のXID(exchange station identification)コマンドを送出し、表示制御装置84より装置のアドレスと能力情報を含んだXIDレスポンスを受信する。そして、次のタイムスロットでディスカバリの終了を意味する、タイムスロット番号FFHを含めたディスカバリ用のXIDコマンドを送出するとともに、表示制御装置84から受信したアドレスと能力情報を含めたディスカバリ確認(IrLAP_DISCOVERY.cnf)をLM−MUX53へ渡す。LM−MUX53は、これを受けると、ディスカバリ確認をLM−IAS52を介して赤外線通信アプリケーション50へ渡す。赤外線通信アプリケーション50は、このメッセージを受けると、LM−IAS52へ表示制御装置84とのコネクション確立要求(表示制御装置84のアドレスを含んでいる)を出し、このメッセージはLM−MUX53を介してIrLAP54に通知される。IrLAP54はコネクション確立要求(IrLAP_CON.req)を受けると、表示制御装置84のアドレスを含めたSNRM(Set Normal Response Mode)コマンドを送信する。そして、相手からUA(Unnumbered Acknowledgment)レスポンスを受信すると、LM−MUX53へデータリンクコネクション確立確認(IrLAP_CON.cnf)を出す。LM−MUX53はこのメッセージを受けると、CR LM-PDU(Connect Request Link Management-Protocol Data Unit)をデータ要求(IrLAP_DT.req)メッセージに含めて、IrLAP54へ渡す。IrLAP54は、この情報をI(Information)フレームに含めて表示制御装置84に送信する。その後、表示制御装置84よりCC LM-PDU(Connect Confirm Link Management-Protocol Data Unit)を含んだIフレームを受信すると、LM−MUX53へデータ指示(IrLAP_DT.ind)を出す。LM−MUX53は、これを受けると、コネクション確立確認をLM−IAS52を介して赤外線通信アプリケーション50へ渡す。
【0162】
次に、コネクションの確立までの表示制御装置84の動作について説明する。電源がオンにされると、ディスカバリ用のXIDコマンドの受信待ちとなる。そして、IrLAP54が相手からディスカバリ用のXIDコマンドを受信すると、タイムスロットの総数が1であるため、自装置のアドレスと能力情報を含んだXIDレスポンスを送信する。そして、ディスカバリの終了を意味する、タイムスロット番号FFHを含んだディスカバリ用のXIDコマンドを受信すると、LM−MUX53へディスカバリ指示(IrLAP_DISCOVERY.ind)を出す。LM−MUX53は、これを受けると、ディスカバリ指示メッセージをLM−IAS52を介して赤外線通信アプリケーション50へ渡す。その後、IrLAP54が相手からSNRMコマンドを受信すると、LM−MUX53へデータリンクコネクション確立指示(IrLAP_CON.ind)を出す。LM−MUX53は、このメッセージを受けると、応答(IrLAP_CON.rsp)をIrLAP54へ返す。IrLAP54は、このメッセージを受けると、UAレスポンスを相手に送信する。その後、相手からCR LM-PDUを含んだIフレームを受信すると、IrLAP54は、LM−MUX53へデータ指示(IrLAP_DT.ind)を出す。LM−MUX53は、このメッセージを受けると、コネクション確立指示をLM−IAS52を介して赤外線通信アプリケーション50へ渡す。赤外線通信アプリケーション50は、この応答メッセージをLM−IAS52を介してLM−MUX53へ渡す。LM−MUX53は、これを受けると、CC LM-PDUをデータ要求(IrLAP_DT.req)メッセージに含めて、IrLAP54へ渡す。IrLAP54は、この情報をI(Information)フレームに含めて相手に送信する。
【0163】
以上により、マスター撮像装置82と表示制御装置84との赤外線通信アプリケーション間のコネクションが確立される。
【0164】
そして、マスター撮像装置82は、ユーザによる筆記入力を検出すると、マスター撮像装置82で求めた角度β2の値、スレーブ撮像装置83から送信された角度β1の値、距離Lの値を、DT LM-PDUに含めて表示制御装置84に送信する。
【0165】
USBドライバ91は、CPU85の制御によってUSB規格に準拠した動作処理を実行して、USBケーブルに接続されたパソコン等とデータ転送を行う。なお、USBドライバ91は、ハードディスク94に記憶された座標データをパソコン等の外部機器に転送する場合のみに使用されるため、通常の筆記入力動作中は、USBケーブルを接続する必要はない。
【0166】
LAN制御部93は、CPU85の制御によってIEEE(Institute of Electrical and Electronics Engineers)802.3規格に準拠した通信プロトコルを実行、制御する。
【0167】
表示制御部96は、VRAM(Video RAM)を内蔵しており、CPU85の制御によって、筆記により得られた座標値列から表示用の描画データを生成して、これをPDP81に表示させたり、画面操作のための各種メニューアイコンの表示制御等を行う。
【0168】
なお、表示座標と筆記入力座標との対応付けを行うキャリブレーション処理の実行を宣言するためのキャリブレーションモードをオン、オフするスイッチは図示していない。
【0169】
次に、マスター撮像装置82に備えられたCPU14と表示制御装置84に備えられたCPU85とが、制御プログラムに基づいて実行する機能について説明する。ここでは、本実施の形態の筆記情報入力システム80が備える特長的な機能を実現する処理動作について図33または図34を参照しつつ以下において具体的に説明する。
【0170】
なお、図29に示したように、マスター撮像装置82は撮像窓5が左下方向を向くようにしてPDP81の表示面81aの右上に吸盤9にて付着され、また、スレーブ撮像装置83は撮像窓5が右下方向を向くようにしてPDP81の表示面81aの左上に吸盤9にて付着される。この付着位置は、PDP81の表示面81aの周りの枠81bに予めマークをしておき、その位置に付着するようにしても良いが、PDP81(表示面81aおよび表示面81aの周りの枠81b)上であれば任意の場所に付着させることができる。このように筆記情報入力システム80のマスター撮像装置82とスレーブ撮像装置83とがPDP81に取り付けられた状態で撮像装置82,83及び表示制御装置84に電源が投入されると、マスター撮像装置82及びスレーブ撮像装置83の各ROM15に格納された制御プログラムがメインメモリ16に書き込まれるとともに、表示制御装置84のROM86に格納された制御プログラムがメインメモリ87に書き込まれ、制御プログラムが実行されることになる。
【0171】
ここで、図33はマスター撮像装置82における処理動作の流れを概略的に示すフローチャート、図34は表示制御装置84における処理動作の流れを概略的に示すフローチャートである。なお、スレーブ撮像装置83における処理は図14に示した処理と何ら変わるものではないためその説明は省略する。また、以下においては、マスター撮像装置82側の処理を示す図33のフローチャートを主体に説明する。図33に示すように、マスター撮像装置82における処理動作としては、まず、赤外線受発光モジュール18を使用して表示制御装置84との間でIrDA方式の赤外線通信を開始する。そして、ディスカバリフェーズにて表示制御装置84を検出すると、図32に示した通信シーケンスを実行してマスター撮像装置82と表示制御装置84の赤外線通信アプリケーション間のコネクションを確立する(ステップS131,図34中のステップS141)。なお、マスター撮像装置82と表示制御装置84との間の通信では、マスター撮像装置82が一次局、表示制御装置84が二次局として動作する。
【0172】
次に、赤外線受発光モジュール18を使用してスレーブ撮像装置83との間でIrDA方式の赤外線通信を開始する。そして、ディスカバリフェーズにてスレーブ撮像装置83を検出すると、図12に示した通信シーケンスを実行してマスター撮像装置82とスレーブ撮像装置83の赤外線通信アプリケーション間のコネクションを確立する(ステップS132,図14中のステップS31)。なお、マスター撮像装置82とスレーブ撮像装置83との間の通信では、マスター撮像装置82が一次局、スレーブ撮像装置83が二次局として動作する。
【0173】
赤外線通信のコネクションが確立されると、マスター撮像装置82は、超音波を使用してマスター撮像装置82及びスレーブ撮像装置83の回転位置(向き)を定める(ステップS133:方向検出手段及び撮像方向調節手段)。この処理は、図13中のステップS2〜S11及び図14中のステップS32〜S33により実現される。
【0174】
続いて、マスター撮像装置82のCPU14は、超音波送受信制御部20を制御してマスター撮像装置82からスレーブ撮像装置83までの距離L'を測定する(ステップS134:距離測定手段)。
【0175】
マスター撮像装置82のCPU14は、スレーブ撮像装置83までの距離L'の測定が終了すると、座標入力開始コマンドを赤外線通信によりスレーブ撮像装置83へ送信するとともに(ステップS135)、測定した距離L'から式(6)により距離Lを求め、この距離Lの値を赤外線通信により表示制御装置84へ送信する(ステップS136)。一方、表示制御装置84のCPU85は、距離Lの値を受信すると(図34中のステップS142のY)、この距離Lの値をメインメモリ87に記憶させた後(図34中のステップS143)、マスター撮像装置82からの座標検出に伴う角度β1,β2の受信に待機する(図34中のステップS144)。
【0176】
このような状態で、マスター撮像装置82のCPU14は、PDP81の表示面81aへの筆記部材の接触検知に待機する(ステップS137)。この処理は、図13中のステップS14〜S17により実現される。
【0177】
筆記部材がPDP81の表示面81aに接触したと判断した場合(ステップS137のY)、マスター撮像装置82のCPU14は、マスター撮像装置82の広角レンズ12における筆記部材の接触位置の方向とX−Lineとのなす角度β2を求めるとともに、スレーブ撮像装置83から角度β1を受信し(スレーブ撮像装置83の動作は図14中のステップS35〜S41参照:位置情報算出手段)、これらの角度β1,β2を赤外線通信により表示制御装置84へ送信する(ステップS138)。一方、表示制御装置84のCPU85は、角度β1,β2を受信すると(図34中のステップS144のY:位置情報受信手段)、受信した角度β1、β2及び先に受信した距離Lを用いて式(4)と式(5)とによりPDP81の表示面81aにおける接触点の位置座標(x,y)を求める(ステップS145:座標算出手段)。
【0178】
その後、表示制御装置84のCPU85は、表示制御部96を制御して求めた座標値列から表示用の描画データを生成して、これをPDP81に表示させるとともに(ステップS146)、求めた座標値列をハードディスク94に記憶する(ステップS147)。
【0179】
なお、本実施の形態においては、座標の算出処理を表示制御装置84で行う場合を示したが、この処理をマスター撮像装置82で行い、求まった座標値を表示制御装置84に送信するようにしても良い。
【0180】
また、マスター撮像装置82と表示制御装置84との間をUSBケーブルで接続して、赤外線通信の代わりに、このUSBを使用してデータ通信を行うとともに、マスター撮像装置82が表示制御装置84から電力供給を受けることでマスター撮像装置82のバッテリを不要とする構成にしても良い。
【0181】
さらに、無線通信として、赤外線通信の代わりにBluetooth等の他の通信方式を使用することもできる。
【0182】
ここに、赤外線受発光モジュール18を備えた一対の撮像装置82,83の各CMOSイメージセンサ6における結像位置に基づいて、平面をなす二次元の情報入力領域80aに挿入された筆記部材によって指示された二次元座標位置が検出される。これにより、入力座標を求めるための複数の撮像装置82,83がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システム80を提供することが可能になる。また、各種処理手段を撮像装置82,83とは別の制御装置84に持たせることで、撮像装置82,83を小型軽量化し、また、消費電力を低減させることが可能になる。
【0183】
なお、各実施の形態では、制御プログラムがROM15やROM86に格納されていたが、これに限るものではなく、フロッピーディスク、ハードディスク、光ディスク(CD−ROM,CD−R,CD−R/W,DVD−ROM,DVD−RAMなど)、光磁気ディスク(MO)、半導体メモリ等の記憶媒体に制御プログラムを格納しても良い。なお、フロッピーディスク、光ディスク、光磁気ディスク等は、筆記情報入力システムに固定的に設けられておらず、単体で取り扱える交換自在な記憶媒体としての形態を備え、各種ドライブを用いることによって制御プログラムを読み出すことでCPUによる各処理が可能になる。
【0184】
【発明の効果】
請求項1記載の発明の情報入力システムによれば、所定の距離を隔てて設けられ、平面をなす二次元の情報入力領域を指示した指示手段を撮像する撮像素子をそれぞれ有する一対の撮像装置と、前記各撮像装置にそれぞれ設けられ、装置間でのデータの授受を無線で行う無線通信手段と、前記各撮像装置にそれぞれ設けられ、前記情報入力領域内を指示した前記指示手段の画像を認識する画像認識手段と、前記各撮像装置にそれぞれ設けられ、前記画像認識手段により認識された前記指示手段の前記各撮像素子上における結像位置に基づいて前記指示手段による指示位置に係る位置情報を算出する位置情報算出手段と、前記各撮像装置の内、一の前記撮像装置に設けられ、他の前記撮像装置の前記位置情報算出手段により算出した前記指示位置に係る位置情報を前記無線通信手段を介して受信する位置情報受信手段と、一の前記撮像装置に設けられ、前記位置情報算出手段により算出した前記指示位置に係る位置情報と前記位置情報受信手段により取得した他の前記撮像装置の前記指示位置に係る位置情報とに基づいて前記指示手段により指示された二次元位置座標を算出する座標算出手段と、を備え、無線通信手段を備えた一対の撮像装置の撮像素子における結像位置に基づいて、平面をなす二次元の情報入力領域に挿入された指示手段によって指示された二次元座標位置を検出することにより、入力座標を求めるための複数の撮像装置がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システムを提供することができる。
【0185】
請求項2記載の発明の情報入力システムによれば、制御装置と、所定の距離を隔てて設けられ、平面をなす二次元の情報入力領域を指示した指示手段を撮像する撮像素子をそれぞれ有する一対の撮像装置と、前記各撮像装置及び前記制御装置にそれぞれ設けられ、装置間でのデータの授受を無線で行う無線通信手段と、前記各撮像装置にそれぞれ設けられ、前記情報入力領域内を指示した前記指示手段の画像を認識する画像認識手段と、前記各撮像装置にそれぞれ設けられ、前記画像認識手段により認識された前記指示手段の前記各撮像素子上における結像位置に基づいて前記指示手段による指示位置に係る位置情報を算出する位置情報算出手段と、前記制御装置に設けられ、前記各撮像装置の前記位置情報算出手段により算出した前記指示位置に係る位置情報を前記無線通信手段を介して受信する位置情報受信手段と、前記制御装置に設けられ、前記位置情報受信手段により取得した前記指示位置に係る位置情報に基づいて前記指示手段により指示された二次元位置座標を算出する座標算出手段と、を備え、無線通信手段を備えた一対の撮像装置の撮像素子における結像位置に基づいて、平面をなす二次元の情報入力領域に挿入された指示手段によって指示された二次元座標位置を検出することにより、入力座標を求めるための複数の撮像装置がそれぞれ別体で設けられるとともに相互に無線により通信可能とされているので、可搬性に優れた情報入力システムを提供することができる。また、各種処理手段を撮像装置とは別の制御装置に持たせることで、撮像装置を小型軽量化し、また、消費電力を低減させることができる。
【0186】
請求項3記載の発明によれば、請求項1または2記載の情報入力システムにおいて、前記各撮像装置の何れか一方に、前記各撮像装置間の距離を測定する距離測定手段を備えることにより、各撮像装置を任意の位置に設置した場合であっても、撮像装置間の距離を自動的に測定することができるので、入力座標を三角測量の原理を用いて求めることができ、情報入力システムの利便性を向上させることができる。
【0187】
請求項4記載の発明によれば、請求項1ないし3のいずれか一記載の情報入力システムにおいて、前記撮像素子を回転自在に支持する素子回転手段と、前記各撮像装置の方向をそれぞれ検出する方向検出手段と、前記方向検出手段により検出された方向に基づいて前記素子回転手段を制御して前記撮像素子の向きを調節する撮像方向調節手段と、を前記各撮像装置にそれぞれ備え、各撮像装置を任意の位置に設置した場合であっても、各撮像装置の光学系の向きを撮像装置同士の位置関係に基づいて所定の方向になるように自動的に調整することができるようにしたことにより、入力座標を三角測量の原理を用いて求めることができるので、情報入力システムの利便性を一層向上させることができる。
【0188】
請求項5記載の発明によれば、請求項1ないし4のいずれか一記載の情報入力システムにおいて、表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における表示座標と入力座標とのズレを検出する位置ズレ検出手段と、表示座標と入力座標とにズレが検出された場合、そのズレを最小とすべく前記各撮像装置の内、何れか一方の前記撮像装置の配置位置の移動を指示する配置位置移動指示手段と、を備え、情報入力領域が表示装置の表示面である場合は、表示座標と入力座標とのズレが最小となるように撮像装置の配置位置の移動を指示するようにしたことにより、表示座標と入力座標とのズレを最小とするためのユーザの作業負担を軽減させることができる。
【0189】
請求項6記載の発明によれば、請求項1ないし4のいずれか一記載の情報入力システムにおいて、表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における表示座標と入力座標とのズレを検出する位置ズレ検出手段と、表示座標と入力座標とにズレが検出された場合、入力座標を補正して表示座標に変換するとともに補正された入力座標を記憶するズレ補正手段と、を備え、情報入力領域が表示装置の表示面であり、撮像装置間を結ぶ直線が表示座標に対して斜めとなるように取り付けられた場合、表示座標と入力座標とのズレを補正するようにしたことにより、情報入力システムの利便性を一層向上させることができる。
【0190】
請求項7記載の発明によれば、請求項1ないし6のいずれか一記載の情報入力システムにおいて、表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における入力座標を算出して表示座標に変換するとともに、その表示座標位置に位置合わせマークを表示する位置合わせマーク表示手段と、前記基準位置マークと前記位置合わせマークとの距離を最小とすべく、前記距離測定手段により測定された前記各撮像装置間の距離のデータを修正する距離データ修正手段と、を備え、入力座標を求めるときに必要とされる撮像装置間の距離の測定誤差を補正するようにしたことにより、表示座標と入力座標とのズレを最小とし、情報入力システムの利便性を一層向上させることができる。
【図面の簡単な説明】
【図1】本発明の第一の実施の形態の筆記情報入力システムをホワイトボードに取り付けた状態を概略的に示す外観正面図である。
【図2】マスター撮像装置をスレーブ撮像装置の方向から見た外観を示す正面図である。
【図3】スレーブ撮像装置をマスター撮像装置の方向から見た外観を示す正面図である。
【図4】撮像装置内の撮像光学系を概略的に示す構成図である。
【図5】筆記情報入力の可能な筆記情報入力領域を示す説明図である。
【図6】マスター撮像装置に内蔵される各部の電気的接続を示すブロック図である。
【図7】赤外線受発光モジュールの内部の構成を示すブロック図である。
【図8】スレーブ撮像装置に内蔵される各部の電気的接続を示すブロック図である。
【図9】筆記部材がホワイトボードの筆記面に接触したときの接触位置座標の算出方法を示す説明図である。
【図10】スレーブ撮像装置の広角レンズ及びCMOSイメージセンサ付近を拡大して示す説明図である。
【図11】IrDA方式のプロトコル構成を示す説明図である。
【図12】赤外線通信のシーケンス例を示す説明図である。
【図13】マスター撮像装置における処理動作の流れを概略的に示すフローチャートである。
【図14】スレーブ撮像装置における処理動作の流れを概略的に示すフローチャートである。
【図15】マスター撮像装置の回転角度を示す説明図である。
【図16】マスター撮像装置からスレーブ撮像装置までの距離L'とマスター撮像装置及びスレーブ撮像装置の広角レンズ間の距離Lとの関係を示す説明図である。
【図17】筆記部材の画像および基準線の回転の例を示す説明図である。
【図18】筆記部材の画像および対称線の例を示す説明図である。
【図19】接触点の結像位置と広角レンズの光軸の結像位置との関係を示す説明図である。
【図20】本発明の第二の実施の形態の筆記情報入力システムを概略的に示す外観正面図である。
【図21】マスター撮像装置に内蔵される各部の電気的接続を示すブロック図である。
【図22】マスター撮像装置における処理動作の流れを概略的に示すフローチャートである。
【図23】表示面の所定位置に基準位置マークが表示されたPDPを示す正面図である。
【図24】本発明の第三の実施の形態の筆記情報入力システムを概略的に示す外観正面図である。
【図25】マスター撮像装置における処理動作の流れを概略的に示すフローチャートである。
【図26】基準位置マークを通るX−Lineと平行な線X−Lineと基準位置マークを通る表示座標のX軸と平行な線X_Dispとの関係を示す説明図である。
【図27】本発明の第四の実施の形態のマスター撮像装置における距離補正処理の流れを概略的に示すフローチャートである。
【図28】位置合わせマーク及び距離調整表示が表示されたPDPを例示的に示す正面図である。
【図29】本発明の第五の実施の形態の筆記情報入力システムを概略的に示す外観正面図である。
【図30】マスター撮像装置に内蔵される各部の電気的接続を示すブロック図である。
【図31】表示制御装置に内蔵される各部の電気的接続を示すブロック図である。
【図32】赤外線通信のシーケンス例を示す説明図である。
【図33】マスター撮像装置における処理動作の流れを概略的に示すフローチャートである。
【図34】表示制御装置における処理動作の流れを概略的に示すフローチャートである。
【図35】筆記位置がカメラから遠ざかるほど、撮像素子の1画素あたりの筆記用紙上の検出範囲が大きくなる状態を示す説明図である。
【符号の説明】
1,60,70,80 情報入力システム
1a,60a,70a,80a 情報入力領域
2,3,62,63,72,73,82,83 撮像装置
6 撮像素子
10 素子回転手段
61,71,81 表示装置
61a,71a,81a 表示面
84 制御装置
M1,M2 基準位置マーク
m 位置合わせマーク

Claims (7)

  1. 所定の距離を隔てて設けられ、平面をなす二次元の情報入力領域を指示した指示手段を撮像する撮像素子をそれぞれ有する一対の撮像装置と、
    前記各撮像装置にそれぞれ設けられ、装置間でのデータの授受を無線で行う無線通信手段と、
    前記各撮像装置にそれぞれ設けられ、前記情報入力領域内を指示した前記指示手段の画像を認識する画像認識手段と、
    前記各撮像装置にそれぞれ設けられ、前記画像認識手段により認識された前記指示手段の前記各撮像素子上における結像位置に基づいて前記指示手段による指示位置に係る位置情報を算出する位置情報算出手段と、
    前記各撮像装置の内、一の前記撮像装置に設けられ、他の前記撮像装置の前記位置情報算出手段により算出した前記指示位置に係る位置情報を前記無線通信手段を介して受信する位置情報受信手段と、
    一の前記撮像装置に設けられ、前記位置情報算出手段により算出した前記指示位置に係る位置情報と前記位置情報受信手段により取得した他の前記撮像装置の前記指示位置に係る位置情報とに基づいて前記指示手段により指示された二次元位置座標を算出する座標算出手段と、
    を備える情報入力システム。
  2. 制御装置と、
    所定の距離を隔てて設けられ、平面をなす二次元の情報入力領域を指示した指示手段を撮像する撮像素子をそれぞれ有する一対の撮像装置と、
    前記各撮像装置及び前記制御装置にそれぞれ設けられ、装置間でのデータの授受を無線で行う無線通信手段と、
    前記各撮像装置にそれぞれ設けられ、前記情報入力領域内を指示した前記指示手段の画像を認識する画像認識手段と、
    前記各撮像装置にそれぞれ設けられ、前記画像認識手段により認識された前記指示手段の前記各撮像素子上における結像位置に基づいて前記指示手段による指示位置に係る位置情報を算出する位置情報算出手段と、
    前記制御装置に設けられ、前記各撮像装置の前記位置情報算出手段により算出した前記指示位置に係る位置情報を前記無線通信手段を介して受信する位置情報受信手段と、
    前記制御装置に設けられ、前記位置情報受信手段により取得した前記指示位置に係る位置情報に基づいて前記指示手段により指示された二次元位置座標を算出する座標算出手段と、
    を備える情報入力システム。
  3. 前記各撮像装置の何れか一方に、前記各撮像装置間の距離を測定する距離測定手段を備える請求項1または2記載の情報入力システム。
  4. 前記撮像素子を回転自在に支持する素子回転手段と、
    前記各撮像装置の方向をそれぞれ検出する方向検出手段と、
    前記方向検出手段により検出された方向に基づいて前記素子回転手段を制御して前記撮像素子の向きを調節する撮像方向調節手段と、
    を前記各撮像装置にそれぞれ備える請求項1ないし3のいずれか一記載の情報入力システム。
  5. 表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、
    この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、
    前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における表示座標と入力座標とのズレを検出する位置ズレ検出手段と、
    表示座標と入力座標とにズレが検出された場合、そのズレを最小とすべく前記各撮像装置の内、何れか一方の前記撮像装置の配置位置の移動を指示する配置位置移動指示手段と、
    を備える請求項1ないし4のいずれか一記載の情報入力システム。
  6. 表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、
    この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、
    前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における表示座標と入力座標とのズレを検出する位置ズレ検出手段と、
    表示座標と入力座標とにズレが検出された場合、入力座標を補正して表示座標に変換するとともに補正された入力座標を記憶するズレ補正手段と、
    を備える請求項1ないし4のいずれか一記載の情報入力システム。
  7. 表示面上に前記情報入力領域が位置するように前記各撮像装置を配置した表示装置を設け、
    この表示装置の表示面の所定位置に表示座標と入力座標との対応付けを行うための複数の基準位置マークを表示する基準位置表示手段と、
    前記情報入力領域を介して前記基準位置マークが指示された場合、その指示位置における入力座標を算出して表示座標に変換するとともに、その表示座標位置に位置合わせマークを表示する位置合わせマーク表示手段と、
    前記基準位置マークと前記位置合わせマークとの距離を最小とすべく、前記距離測定手段により測定された前記各撮像装置間の距離のデータを修正する距離データ修正手段と、
    を備える請求項1ないし6のいずれか一記載の情報入力システム。
JP2001031017A 2001-02-07 2001-02-07 情報入力システム Expired - Fee Related JP3977018B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001031017A JP3977018B2 (ja) 2001-02-07 2001-02-07 情報入力システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001031017A JP3977018B2 (ja) 2001-02-07 2001-02-07 情報入力システム

Publications (2)

Publication Number Publication Date
JP2002236547A JP2002236547A (ja) 2002-08-23
JP3977018B2 true JP3977018B2 (ja) 2007-09-19

Family

ID=18895157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001031017A Expired - Fee Related JP3977018B2 (ja) 2001-02-07 2001-02-07 情報入力システム

Country Status (1)

Country Link
JP (1) JP3977018B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7256772B2 (en) * 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
KR20100055516A (ko) 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린
AU2008280952A1 (en) 2007-08-30 2009-03-19 Next Holdings Ltd Low profile touch panel systems
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
JP5467005B2 (ja) * 2010-06-28 2014-04-09 京セラ株式会社 タッチ位置検出装置及び携帯電話機
JP6342832B2 (ja) * 2015-03-13 2018-06-13 シャープ株式会社 入力装置

Also Published As

Publication number Publication date
JP2002236547A (ja) 2002-08-23

Similar Documents

Publication Publication Date Title
US7634336B2 (en) Localization system and method of mobile robot based on camera and landmarks
US9401050B2 (en) Recalibration of a flexible mixed reality device
EP1510896B1 (en) Remotely-operated robot, and robot self position identifying method
CN1896684B (zh) 地理数据收集装置
US8355816B2 (en) Action teaching system and action teaching method
NL1024426C2 (nl) Werkwijze voor het detecteren van een merkteken voor plaatsbepaling voor een robotreiniger en een robotreiniger die de werkwijze gebruikt.
EP1936323A2 (en) Surveying instrument and method of providing survey data using a surveying instrument
US20030193572A1 (en) System and process for selecting objects in a ubiquitous computing environment
CN100369487C (zh) 物体检测装置、物体检测服务器以及物体检测方法
DE112011101407T5 (de) Verfahren und Apparatur zur Verwendung von Gesten zur Steuerung eines Lasernachführgeräts
US20060152711A1 (en) Non-contact vehicle measurement method and system
EP2254325A1 (en) Image processing for handheld scanner
KR100590528B1 (ko) 착용형 손가락 움직임 감지장치 및 이를 이용한 손가락의움직임 감지방법
US20040001620A1 (en) Apparatus and method for point cloud assembly
JP2004110479A (ja) 画像キャリブレーション方法、画像キャリブレーション処理装置、画像キャリブレーション処理端末
EP1427199A2 (en) Image processing system, projector, portable device, and image processing method
US7452084B2 (en) Projector with a device for measuring angle of inclination
US20050110778A1 (en) Wireless handwriting input device using grafitis and bluetooth
US7733404B2 (en) Fast imaging system calibration
US7742840B2 (en) Autonomous mobile robot
US6031941A (en) Three-dimensional model data forming apparatus
US7991194B2 (en) Apparatus and method for recognizing position using camera
US20170276472A1 (en) Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
CN101435981B (zh) 投影仪以及投影图像的方法
JP2006166295A (ja) 制御システム及びこのシステムに適合する被制御装置並びに遠隔制御装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050406

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20060925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070620

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees