JP5647070B2

JP5647070B2 - ポインティングシステム

Info

Publication number: JP5647070B2
Application number: JP2011115178A
Authority: JP
Inventors: 伸也高山; 堀内　俊治; 俊治堀内
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2011-05-23
Filing date: 2011-05-23
Publication date: 2014-12-24
Anticipated expiration: 2031-05-23
Also published as: JP2012243221A

Description

本発明は、ポインティングデバイスが指し示すスクリーン上の位置を推定し、その推定した位置情報を表示装置に送信して、指示点を表示するポインティングシステムに関する。

従来から、プレゼンテーションにおいてオブジェクトを指示するために、指示棒やレーザポインタが用いられる。また、指示棒やレーザポインタ自体を赤外線カメラで撮影し、画像処理により指し示す向きを算出して、指示点を表示するシステムもある。

特許文献１に開示されている技術では、指示棒の先端と画面上の複数の位置との間で超音波の送受信を行なわせ、その送受信に要する時間に基づいて距離を求め、指示棒の平面位置座標を推定し、指示点を表示する。また、特許文献２に開示されている技術では、ポインティングデバイスから赤外線および超音波を同時に出力し、赤外線を画面上のフォトダイオードで受光すると共に、超音波を画面上の２つのマイクでそれぞれ受信する。そして、赤外線が受光されてから超音波が受信されるまでの間の時間差に基づいて、マイクからデバイスまで距離を求め、その指示点を表示する。

また、特許文献３に出願されている技術では、ポインティングデバイス上の複数位置とスクリーン上の複数位置との間で音波の送受信を行わせ、その送受信に要する時間に基づいて距離を求め、ポインティングデバイスの３次元位置座標及び向きを推定し、指示点を表示する。

特開２００１−１２５７４０号公報特開２００５−１２２５３４号公報特開２０１１−００８７２２号公報

しかしながら、特許文献１に開示されている技術では、指示棒の先端が接する画面上の平面位置座標を推定し、指示点を表示するため、利用シーンが指示棒とスクリーンとが近い場合に限られてしまう。このため、利用者がスクリーンに接近しなければならず、利用者がスクリーンから離れている場合は、この技術を使うことができない。また、特許文献２に開示されている技術では、送受信における時刻同期を取るために赤外線を用いるが、ポインティングシステムに赤外線送受信機を装着する必要がある。このため、ポインティングデバイスが大型になると共に、ポインティングシステムが高価なものになってしまう。さらに、ポインティングデバイスと受光部との間に遮蔽物などがあると、推定精度が劣化しやすい。

また、複数の発信装置から同時時刻に音波を発信させる手法も考えられるが、異なる発信装置から発生された音波を受信装置で区別することができず、発信装置と受信装置との距離が正確に算出できない。一方、複数の発信装置から異なる時刻に音波を発信させると、その間にデバイスが移動することは大いに考えられ、その場合、指示点の推定精度が低下してしまう。さらに、変調を施していない音波は周囲の環境によって変化を生じやすく、とりわけ雑音環境下では、音波の到達時刻差を算出する精度に問題がある。

本発明は、このような事情に鑑みてなされたものであり、ポインティングデバイスの姿勢（方向）を求めることにより、ポインティングデバイスがスクリーンから離れている場合であってもポインタ機能を実現することができるポインティングシステムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか一つの音波発信装置から、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が受信した変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置までの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各音波発信装置と前記各組み合わせの音波受信装置との成す角度を算出する角度算出部と、前記算出した各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。

このように、いずれか一つの音波発信装置から、いずれか２つの音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が受信した変調音波に相関処理を施して、音波発信装置毎に、各組み合わせの音波受信装置までの変調音波の到達時間差を算出し、その各到達時間差に基づいて、各音波発信装置と各組み合わせの音波受信装置との成す角度を算出し、各音波受信装置の空間上の位置を推定し、その推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、その推定した音波受信装置の各座標の任意の一点と推定した音波受信装置の各座標の重心とを結ぶ直線と、既知であるポインティングデバイスの方向を示すベクトルとの角度差に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定し、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、ポインティングデバイスがスクリーンから離れている場合でもポインタ機能を実現することが可能となる。また、赤外線を利用せず、音波を利用するので、小型、安価かつ利便性が高く、省電力のポインティングシステムを提供することが可能となる。さらに、受光素子の敷き詰めやカメラの設置をすることなく、指示点としてコンピュータへ入力する位置座標を検出することができる。

また、遮蔽物があってもポインタ機能を発揮できる。また、変調音波を利用することによって、雑音環境下やポインティングデバイスが移動している状況下であっても測定精度を向上し、変調音波を複数の発信装置から同時に発信することが可能となり、高精度かつ高速な指示点の表示が可能となる。さらに、音波の到達時間差を利用することで、発信装置と受信装置との間で時刻の同期を取らない場合であっても、発信装置または受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、複数の音波発信装置または音波受信装置間の距離を考慮することにより、複数の位置推定演算を従属して行うことが可能となり、ポインティングデバイスの向きを正確に推定できる。また、音波発信装置をスクリーンに装着すれば、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機を接続する必要がなくなるので、可搬性を向上させることが可能となる。

（２）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか一つの音波発信装置から、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が受信した変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置までの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各音波発信装置と前記各組み合わせの音波受信装置との成す角度を算出する角度算出部と、前記算出した各角度および前記各音波受信装置の位置関係を用いて前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。

（３）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置から、いずれか一つの前記音波受信装置が受信した変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する角度算出部と、前記算出した各角度および前記音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。

このように、いずれか２つの音波発信装置を組み合わせた、全ての組み合わせの音波発信装置から、いずれか一つの音波受信装置が受信した変調音波に相関処理を施して、音波受信装置毎に、各組み合わせの音波発信装置からの変調音波の到達時間差を算出し、その各到達時間差に基づいて、各組み合わせの音波発信装置と各音波受信装置との成す角度を算出し、各音波発信装置の空間上の位置を推定し、その推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、その推定した音波発信装置の各座標の任意の一点と推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定し、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、ポインティングデバイスがスクリーンから離れている場合でもポインタ機能を実現することが可能となる。また、赤外線を利用せず、音波を利用するので、小型、安価かつ利便性が高く、省電力のポインティングシステムを提供することが可能となる。さらに、受光素子の敷き詰めやカメラの設置をすることなく、指示点としてコンピュータへ入力する位置座標を検出することができる。

また、遮蔽物があってもポインタ機能を発揮できる。また、変調音波を利用することによって、雑音環境下やポインティングデバイスが移動している状況下であっても測定精度を向上し、変調音波を複数の発信装置から同時に発信することが可能となり、高精度かつ高速な指示点の表示が可能となる。さらに、音波の到達時間差を利用することで、発信装置と受信装置との間で時刻の同期を取らない場合であっても、発信装置または受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、複数の音波発信装置または音波受信装置間の距離を考慮することにより、複数の位置推定演算を従属して行うことが可能となり、ポインティングデバイスの向きを正確に推定できる。

（４）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置から、いずれか一つの前記音波受信装置が受信した変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する角度算出部と、前記算出した各角度および前記音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。

（５）また、本発明のポインティングシステムにおいて、前記各音波発信装置は、同時時刻または異なる時刻のいずれか一方に前記音波を発信することを特徴とする。

このように、各音波発信装置が、同時時刻に前記音波を発信することにより、処理速度を向上させ、レスポンスの早いポインティングシステムを実現することが可能となる。一方、各音波発信装置が、異なる時刻前記音波を発信することによって、音波受信装置側では、どの音波発信装置から発信された音波であるのかを認識しやすくなるため、認識精度を向上させることが可能となる。

（６）また、本発明のポインティングシステムは、前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴とする。

このように、交点を前記ポインティングデバイスが指示する指示点として画面に表示するので、ユーザが指示点を容易に把握することができる。

（７）また、本発明のポインティングシステムは、前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴とする。

このように、表示部に表示されている画面を、前記スクリーンに投影するので、プレゼンテーションでの利便性の向上を図ることができる。

本発明によれば、超音波を擬似ランダム信号で変調させ、各音波発信装置から発信させた変調音波を各音波受信装置が受信し、その受信した変調音波に相関処理を施して、任意の２つの音波受信装置の各組合せが受信した変調音波の到達時間差を求め、その求めた各到達時間差に基づいて、その音波受信装置の各組合せと音波発信装置の成す角度を算出し、その算出した各角度及び制約条件として各音波受信装置の位置関係を反映した方程式を従属して解くことにより、全ての音波発信装置の空間上の位置を一意に推定し、その推定した各音波発信装置の空間上の位置に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスがスクリーンから離れている場合でも指示する点を正確に把握することが可能となる。

また、ポインティングデバイス側に音波受信装置を設けることによって、ポインティングデバイスの小型化を図ることが可能となる。さらに、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別するシステムを構築することができる。また、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。

さらに、変調超音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、変調超音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示を可能する。また、複数の位置推定演算を従属して行うことが可能となり、ポインティングデバイスの向きを正確に推定できる。さらに、音波受信装置をポインティングデバイスに装着することによって、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機を接続する必要がなくなるので、可搬性を向上させることが可能となる。

第１の実施形態に係るポインティングシステムの概略構成を示す図である。第１の実施形態に係るポインティングシステム１の機能を示すブロック図である。第１の実施形態に係るポインティングシステム１の動作を示すフローチャートである。相互相関値を示す図である。いずれか一つのスピーカが、いずれか２つのマイクの位置の中点と成す角φの平面上にあることを示す図である。第２の実施形態に係るポインティングシステムの概略構成を示す図である。

本発明の実施形態に係るポインティングシステムは、既知の位置に設置された複数のスピーカと、ユーザが使用するポインティングデバイスに装着されたマイクとの間で変調を施した超音波を送受信し、受信した超音波に対して相関処理を行い、任意の２つのマイクの各組合せが受信した超音波の到達時間差を求めて、そのマイクの各組合せと各スピーカの成す角度を算出し、ポインティングデバイスに装着された全てのマイクの空間上の位置を一意に推定する。また、ポインティングデバイスに複数のマイクを装着することにより、ポインティングデバイス上の複数の位置座標を求めることが可能となると共に、ポインティングデバイスの向き（指し示す方法）を推定し、これらの情報に基づいて、ＰＣ（Personal Computer）の画面またはスクリーンに指示点を表示するポインタ機能を実現する。その結果、ポインティングデバイスがスクリーンから離れている場合であっても、ポインティング機能を発揮させることが可能となる。

また、本実施形態では、赤外線等の他の無線手段を使用せず、超音波のみを用いる。その結果、ポインティングデバイスに赤外線送受信機等を装着する必要が無いため、ポインティングデバイスの小型化が可能となる。さらに、本実施形態では、超音波を擬似ランダム信号で変調して送受信を行う。擬似ランダム信号はある規則に従って人工的に発生させた周期信号であり、再現性があり、その規則を知っていればその値が完全に確定する。そのため、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。なお、スピーカとマイクとは、相互に入れ替わったとしても、発明の本質は変わらない。

また、本発明の実施形態に係るポインティングシステムでは、赤外線等の光（電磁波）ではなく、音波を利用する。音波とは、いずれの音域も含む概念であるが、好ましくは、１８ｋＨｚ以上の帯域を利用する。本提案書では、一例として、いわゆる超音波を用いたポインティングデバイスを示すが、本発明の技術的思想は、超音波に限定されるわけではない。

さらに、本発明の実施形態に係るポインティングシステムでは、超音波の変調に擬似ランダム信号の一つであるＭ系列を利用する。本明細書では、一例として、Ｍ系列変調を示すが、本発明の技術的思想は、Ｍ系列変調に限定されるわけではない。

［第１の実施形態］
図１は、第１の実施形態に係るポインティングシステムの概略構成を示す図である。図１に示すように、ポインティングシステム１は、ポインティングデバイス１０と、スクリーン２０と、ＰＣ（Personal Computer）３０と、プロジェクタ４０と、から構成されている。ポインティングデバイス１０には、任意の位置に音波受信装置としての複数のマイクが設けられている。具体的には、図１では、ポインティングデバイス１０の先端部に３つのマイク１０ａ、１０ｂ、１０ｃが設けられている。スクリーン２０の近傍には、発信装置毎に異なるＭ系列で変調を施した超音波を断続的に発信する音波発信装置としてのスピーカが複数設けられている。具体的には、図１では、３つのスピーカ２０ａ、２０ｂ、２０ｃが、スクリーン２０の３つの頂点部に設けられている。そして、マイク１０ａ、１０ｂ、１０ｃは、３つのスピーカ２０ａ、２０ｂ、２０ｃが発信するＭ系列変調超音波を受信する。なお、図１では、ポインティングデバイス１が矢印の形状となっているが、本発明は、この形状に限定されるわけではない。

ポインティングデバイス１０とＰＣ３０とは、無線インタフェースまたは有線インタフェースで接続されており、ポインティングデバイス１０のマイク１０ａ、１０ｂ、１０ｃでＭ系列変調超音波を受信したときに、受信波を示すデータがＰＣ３０に発信されるように構成されている。ＰＣ３０では、受信波に相関処理を行って、任意の２つのマイクの各組合せが受信したＭ系列変調超音波の到達時間差を求め、そのマイクの各組合せとスピーカ２０ａ、２０ｂ、２０ｃの成す角度をそれぞれ算出すると共に、ポインティングデバイス１０の位置、およびその指し示す方向（図１においてＰで示す）、スクリーン２０上のポインティングデバイス１０の指示点の位置を推定する。ゆえに、第１の実施形態では、変調超音波を発信するタイミングが任意時刻であっても、到達時間差が算出できる。

従って、予め変調を施した超音波を発信するのであれば、３つのスピーカ２０ａ、２０ｂ、２０ｃはＰＣ３０と切り離すことが可能である。そして、推定した指示点（Ａ１）は、ＰＣ３０の画面上に表示される。

ＰＣ３０は、ケーブル３０ａを介して投影装置としてのプロジェクタ４０に接続されている。ＰＣ３０の画面に表示される画像は、プロジェクタ４０を介して、スクリーン２０に投影される。その際、ＰＣ３０において推定されたポインティングデバイス１０の指示点Ａ１は、スクリーン２０上に指示点Ａ２として表示される。

図２は、第１の実施形態に係るポインティングシステム１の機能を示すブロック図である。ＰＣ３０の角度算出部３０−０は、ポインティングデバイス１０のマイク１０ａ、１０ｂ、１０ｃが、スピーカ２０ａ、２０ｂ、２０ｃから受信したＭ系列変調超音波に対して相関処理を行い、任意の２つのマイクの各組合せが発信したＭ系列変調超音波の到達時間差を求め、そのマイクの各組合せスピーカ２０ａ、２０ｂ、２０ｃの成す角度をそれぞれ算出する。また、ＰＣ３０の位置推定部３０−１は、角度算出部３０−０が算出した各角度及び制約条件として各マイク１０ａ、１０ｂ、１０ｃの位置関係を反映した方程式を従属して解くことにより、ポインティングデバイスに装着されたマイク１０ａ、１０ｂ、１０ｃの空間上の位置を一意に推定する。

さらに、指示点推定部３０−２は、位置推定部３０−１が推定した各マイク１０ａ、１０ｂ、１０ｃの空間上の位置に基づいて、ポインティングデバイス１０の指示方向（Ｐの方向）を特定する方向ベクトルを推定する。また、指示点推定部３０−２は、ポインティングデバイス１０上の任意の一点を通り、方向ベクトルと平行な直線（Ｐ）と、平面としてのスクリーン２０との交点Ａ２を推定する。その他の構成については、図１で説明したとおりであるため、説明を省略する。

図３は、第１の実施形態に係るポインティングシステム１の動作を示すフローチャートである。まず、ＰＣ３０において、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信させる超音波を変調するためのＭ系列をそれぞれ生成する（ステップＳ１）。ｊ＝１，２，３を３つのスピーカ２０ａ、２０ｂ、２０ｃの識別子とすると、Ｍ系列：Ｍ_ｊは、式（１）で表される。

一方、ｍ_ｊ（ｍ）を生成させる漸化式は、式（２）で与えられる。

ここで、ｇ_ｊ（ｌ）をフィードバック係数と呼び、その値は、０または１である。フィードバック係数は、原始多項式：Ｇ_ｊ（ｘ）として、式（３）で与えられる。

ここで、ｎをＭ系列の次数と呼ぶ。Ｍ系列の周期は２^ｎ−１で表せるから、生成するＭ系列の要素数Ｎとは、式（４）で示される関係が成り立つ。

本実施形態では、式（４）の関係を満せば、任意の原始多項式を与えても十分である。ただし、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信させる変調超音波は全て異なる信号である必要があるから、式（５）で示される全条件を同時に満たさなければならない。

次に、ＰＣ３０において、生成したＭ系列：Ｍ_ｊを用い、搬送波である超音波を変調する（ステップＳ２）。本明細書では、一例として、振幅変調法を示すが、本発明の技術的思想は、振幅変調に限定されるわけではない。

本実施形態で使用する搬送波の波形をＵ（ｔ）、搬送波のサンプリング周波数をＱ、搬送波の時間長をＬとする。ここで、搬送波：Ｕ（ｔ）のθサンプルごとに、Ｍ系列の１要素を用いて振幅変調を施す。ゆえに、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信する変調超音波：Ｆ_ｊ（ｔ）は、式（６）で表される。

ただし、式（７）は、ａを超える最大の整数を表す。

従って、式（４）より、式（８）が成り立つように、Ｍ系列の次数ｎを決定し、原始多項式を与える。

次に、周波数帯域が１８ｋＨｚ以上になるように、Ｆ_ｊ（ｔ）に帯域制限を施した変調超音波を３つのスピーカ２０ａ、２０ｂ、２０ｃから断続的にそれぞれ発信する（ステップＳ３）。さらに、２つのマイク１０ａ、１０ｂで、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信された変調超音波をそれぞれ受信する（ステップＳ４）。ここで、ｉ＝１，２、３を３つのマイク１０ａ、１０ｂ、１０ｃの識別子として、受信された変調超音波の波形をＰ_ｉ（ｘ）で表す。そして、ポインティングデバイス１０からＰＣ３０に対して、受信波形Ｐ_ｉ（ｘ）を送信する（ステップＳ５）。

次に、ＰＣ３０において、ポインティングデバイス１０から送信された受信波形Ｐ_ｉ（ｘ）に相関処理を施して、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信された変調超音波が３つのマイク１０ａ、１０ｂ、１０ｃで受信されるまでの到達時間Ｔ_ｉｊを算出する（ステップＳ６）。ここで、相互相関値：Ｄ_ｉｊ（τ）を、式（９）を用いて求める。

ただし、τは任意時刻から経過した時間とする。また、相関処理に用いるＭ系列：ｍ_ｊ（ｍ）の値は、その直流成分をほぼ０にするため、０または１のかわりに−１または１を用いる。そして、Ｄ_ｉｊ（τ）を最大とするτを算出し、その値を到達時間Ａ_ｉｊとする。

ここで、Ｍ系列は再現性があり、その規則を知っていればその値が完全に復元するという特徴がある。例として、異なる２つの原始多項式である式（１０）から生成した５次のＭ系列：Ｍ_１、Ｍ_２を考える。

このとき、Ｍ_１、Ｍ_２を結合した搬送波：Ｕ（ｔ）を式（１１）で表わす。

式（１１）に対し、Ｍ系列：Ｍ_１、Ｍ_２をそれぞれ用いて相互相関値：Ｄ_ｉｊ（τ）を求めた結果を図４に示す。

図４に示すように、相互相関値：Ｄ_ｉｊ（τ）は、Ｍ系列：Ｍ_ｊが受信された時のみ、ピークが鋭く立つことが分かる。ゆえに、雑音や他の音波が存在する環境であったとしても、到達時間Ａ_ｉｊが高精度で算出できる。従って、３つのスピーカ２０ａ、２０ｂ、２０ｃから変調超音波Ｆ_ｊ（ｔ）が同時に発信しても、スピーカ毎に異なるＭ系列で変調した超音波であれば、発明の本質は変わらない。

次に、ＰＣ３０において、任意の２つのスピーカのすべての組合せ（ｈ，ｉ）に対して、到達時間差Ａ_ｉｊ−Ａ_ｈｊを求め、そのスピーカ各組合せとマイク１０ａ、１０ｂとの距離差ｒ_ｈｉ（ｊ）を算出する。ここで、音速をＣとすると、ｒ_ｈｉ（ｊ）は、式（１２）で求められる。

ここで、マイク１０ａ、１０ｂ、１０ｃがスピーカ２０ａ、２０ｂ、２０ｃから十分に離れているとき、同じスピーカから発信された音波は、マイク１０ａ、１０ｂ、１０ｃに平行波として到達すると考えて良い。ゆえに、ポインティングデバイス装着された任意の２つのマイクの各組合せ（ｈ，ｉ）間距離を２Ｌ_ｈｉとすると、任意の２つのマイクの各組合せ（ｈ，ｉ）を結ぶ直線と各スピーカ２０ａ、２０ｂ、２０ｃの成す角φ_ｈｉ（ｊ）は、式（１３）で求められる。

ここで、図５に示すように、スピーカ２０ａ、２０ｂ、２０ｃは、任意の２つのマイクの各組合せ（ｈ，ｉ）の中点と成す角φの平面上にあると考えることができる。マイクの３次元空間座標をそれぞれ（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）（ｈ，ｉ＝１，…，ｎ）、スピーカの３次元空間座標を（ｕ_ｊ，ｖ_ｊ，ｗ_ｓ）（ｊ＝１，…，ｍ）とすると、余弦定理より、式（１４）が与えられる。ここで、スクリーン２０は、ｚ＝ｗ_ｓにあるとする。また、式（１３）は、スピーカ及びマイクの数が一般的な場合を示しており、スピーカの数をｍ、マイクの数をｎとする。

ここで、既知の位置に設置されたスピーカの数が３つ以上あれば、式（１４）の式数が未知数を満たし、連立方程式を解くことができる。

既知の位置に設置されたスピーカ２０ａ、２０ｂ、２０ｃの３次元空間座標をそれぞれ（ｕ_ｊ，ｖ_ｊ，ｗ_ｓ）（ｊ＝１，２，３）とし、ポインティングデバイス１０に装着されたマイク１０ａ、１０ｂ、１０ｃの３次元空間座標をそれぞれ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）（ｉ＝１，２，３）として、式（１４）に基づき、φ_ｈｉ（ｊ）を用いた連立方程式を立てる。ここで、式（１４）は、制約条件として、３つのマイクの位置関係が反映された方程式である。ゆえに、式（１４）の非線形連立方程式を従属して解くことにより、ポインティングデバイス１０に装着されたマイク１０ａ、１０ｂ、１０ｃの３次元空間座標を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）を一意に算出することができる（ステップＳ７）。

ここで、既知の位置に設置されたスピーカの数が４つ以上ある場合、式（１４）で示した連立方程式において、式数が未知数を上回り、方程式の解として複数の候補（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）が得られるが、任意に抽出した（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）＝（α_ｋ，β_ｋ，γ_ｋ）（ｋ＝１，…，ｎ）に対して、式（１５）で示した誤差δが小さくなる（α_ｋ，β_ｋ，γ_ｋ）を、ポインティングデバイス１０に装着された各マイクの３次元空間座標（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）として採用する。

次に、ポインティングデバイス１０に装着された複数のマイク１０ａ、１０ｂ、１０ｃの３次元空間座標より、ポインティングデバイス１０の向きを表す方向ベクトルを求めて、ポインティングデバイス１０の向きを推定する（ステップＳ８）。例えば、図１に示したように、３つマイクのうち２つのマイク１０ａ、１０ｂがポインティングデバイス１０の両先端に装着されている場合、方向ベクトルは式（１６）で与えられる。

ここで、ポインティングデバイス１０に装着されているマイクの数が４つ以上の場合や、ポインティングデバイス１０の両先端以外に装着されている場合であっても、ポインティングデバイス１０上でのそれらの相対的位置関係は既知であるため、それらを考慮して方向ベクトルを求めれば十分である。

そして、式（１７）で示すように、空間上の任意の１点（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を通り、式（１６）で与えた方向ベクトルに平行な直線の方程式を立てる。

ここで、（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）は、指示点を得るために算出する方向ベクトルに平行な直線の起点である。例えば、ポインティングデバイス１０の利用者側の端にマイク１０ａがある場合は、（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）＝（ｘ_１，ｙ_１，ｚ_１）とすれば良い。なお、ポインティングデバイス１０から外れた点を（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）としても、発明の本質は変わらない。

最後に、式（１７）で与えられる直線の方程式と、指示画面平面（スクリーン２０）との交点を求めることにより、ポインティングデバイス１０の指示点（Ｘ，Ｙ）を推定する（ステップＳ９）。例えば、（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）＝（ｘ_１，ｙ_１，ｚ_１）で、ｚ_ｓ＝０である場合、式（１８）で交点を求めることが可能である。

そして、推定された指示点（Ｘ，Ｙ）をＰＣ３０の画面上に表示すると共に、スクリーン２０上に表示する（ステップＳ１０）。

このように、第１の実施形態によれば、ＰＣ２０において超音波をＭ系列で変調し、スピーカ２０ａ、２０ｂ、２０ｃでその変調超音波を発信し、マイク１０ａ、１０ｂ、１０ｃでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、任意の２つのマイクの各組合せが受信した変調超音波の到達時間差を求め、その求めた各到達時間差に基づいてそのマイクの各組合せとスピーカ２０ａ、２０ｂ、２０ｃとの成す角度を算出し、その算出した各角度及び制約条件として各マイク１０ａ、１０ｂ、１０ｃの位置関係を反映した方程式を従属して解くことによりマイク１０ａ、１０ｂ、１０ｃの空間上の位置を一意に推定し、その推定したマイク１０ａ、１０ｂ、１０ｃの空間上の位置に基づいてポインティングデバイス１０の指示方向を特定する方向ベクトルを推定すると共に、ポインティングデバイス１０上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス１０が指示する点を正確に把握することが可能となる。また、ポインティングデバイス１０側にマイク１０ａ、１０ｂ、１０ｃが設けられているため、ポインティングデバイス１０の小型化を図ることが可能となる。さらに、変調超音波を利用して到達時間差を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、変調超音波をスピーカ２０ａ、２０ｂ、２０ｃから同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、スピーカ２０ａ、２０ｂ、２０ｃとマイク１０ａ、１０ｂ、１０ｃとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示を可能する。また、複数の位置推定演算を従属して行うことが可能となり、ポインティングデバイスの向きを正確に推定できる。さらに、音波を任意の時刻に発信することが可能となり、スピーカ２０ａ、２０ｂ、２０ｃとＰＣ３０を接続する必要がなくなるので、可搬性が向上する。

［第２の実施形態］
図６は、第２の実施形態に係るポインティングシステムの概略構成を示す図である。図６に示すように、第２の実施形態に係るポインティングシステム２は、第１の実施形態とは異なり、マイクとスピーカとが相互に交換されている。すなわち、ポインティングデバイス５０には、任意の位置に音波発信装置としての複数のスピーカが設けられている。具体的には、図６では、ポインティングデバイス５０の先端部に２つのスピーカ５０ａ、５０ｂが、中間部にスピーカ５０ｃが設けられている。スクリーン２０の近傍には、変調超音波を受信する音波受信装置としてのマイクが複数設けられている。具体的には、図６では、３つのマイク６０ａ、６０ｂ、６０ｃが、スクリーン２０の３つの頂点部に設けられている。３つのスピーカ５０ａ、５０ｂ、５０ｃが発信する変調超音波の生成は第１の実施形態と同様の動作を行う。そして、３つのマイク６０ａ、６０ｂ、６０ｃは、３つのスピーカ５０ａ、５０ｂ、５０ｃが発信する変調超音波を受信する。なお、図６では、ポインティングデバイス１が矢印の形状となっているが、本発明は、この形状に限定されるわけではない。

ここで、図示しないが、マイク６０ａ、６０ｂ、６０ｃでスピーカ５０ａ、５０ｂ、５０ｃが発信した変調超音波を受信したときに、変調超音波の受信波形を示すデータがＰＣ３０に送信されるように構成されている。第１の実施形態と同様に、ＰＣ３０に入力された受信波に相関処理を行って、任意の２つのスピーカの各組合せが発信したＭ系列変調超音波の到達時間差を求め、そのスピーカの各組合せとマイク５０ａ、５０ｂ、５０ｃの成す角度を算出する。その後は、第１の実施形態と同様の動作を行う。

また、超音波を発信するタイミングは同時または一定の時間間隔である必要があるため、スピーカ２０ａ、２０ｂ、２０ｃは無線インタフェースまたは有線インタフェースでＰＣ３０と接続されており、そのタイミングは、ＰＣ３０により指示する。

このように、第２の実施形態によれば、超音波を発信装置毎に異なるＭ系列で変調させ、スピーカ５０ａ、５０ｂ、５０ｃでその変調超音波を断続的に発信し、マイク６０ａ、６０ｂ、６０ｃでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、任意の２つのスピーカの各組合せが発信した変調超音波の到達時間差を求め、その求めた各到達時間差に基づいてそのスピーカの各組合せとマイク６０ａ、６０ｂ、６０ｃの角度を算出し、その算出した各角度及び制約条件として各スピーカ５０ａ、５０ｂ、５０ｃの位置関係を反映した方程式を従属して解くことによりスピーカ５０ａ、５０ｂ、５０ｃの空間上の位置を一意に推定し、その推定したスピーカ５０ａ、５０ｂ、５０ｃの空間上の位置に基づいて、ポインティングデバイス５０の指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルに平行な直線とスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス５０が指示する点を正確に把握することが可能となる。また、変調超音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、変調超音波をスピーカ５０ａ、５０ｂから同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、スピーカ５０ａ、５０ｂ、５０ｃとマイク６０ａ、６０ｂ、６０ｃとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示を可能する。また、複数の位置推定演算を従属して行うことが可能となり、ポインティングデバイスの向きを正確に推定できる。

なお、以上の説明では、既知の位置に設置されたスピーカまたはマイクが３つの場合、およびポインティングデバイスに装着されたスピーカまたはマイクが３つの場合を示したが、本発明は、この数に限定されるわけではない。スピーカおよびマイクが本説明の数以上あれば、いずれの態様を採ることも可能である。

なお、以上説明した内容の他、本発明は、ポインティングデバイスの一定の動作を検出し、またはポインティングデバイスを一定の方向に移動させることにより、コンピュータシステムに対するクリック操作として検出することも可能である。

また、本発明は、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別することも可能である。

また、本発明では、ポインティングデバイスを、ポインティングデバイス、携帯電話機、電話機、カメラ、マイク、定規、ペン、眼鏡、ヘッドフォン、指輪、ネックレス、イヤリング、ピアス、モーション測定デバイスのいずれかで構成することが可能である。

また、本発明では、スクリーンを、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡のいずれかで構成することが可能である。

１、２ポインティングシステム
１０、１０−１ポインティングデバイス
１０ａ、１０ｂ、１０ｃ、１０−１ａ、１０−１ｂ、１０−１ｃマイク（音波受信装置）
２０スクリーン
２０ａ、２０ｂ、２０ｃスピーカ（音波発信装置）
３０ＰＣ
３０−０角度算出部
３０−１位置推定部
３０−２指示点推定部
４０プロジェクタ
５０ポインティングデバイス
５０ａ、５０ｂ、５０ｃスピーカ（音波発信装置）
６０ａ、６０ｂ、６０ｃマイク（音波受信装置）

Claims

ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか一つの音波発信装置から、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が受信した変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置までの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各音波発信装置と前記各組み合わせの音波受信装置との成す角度を算出する角度算出部と、
前記算出した各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか一つの音波発信装置から、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が受信した変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置までの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各音波発信装置と前記各組み合わせの音波受信装置との成す角度を算出する角度算出部と、
前記算出した各角度および前記各音波受信装置の位置関係を用いて前記各音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置から、いずれか一つの前記音波受信装置が受信した変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する角度算出部と、
前記算出した各角度および前記音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置から、いずれか一つの前記音波受信装置が受信した変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する角度算出部と、
前記算出した各角度および前記音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
前記各音波発信装置は、同時時刻または異なる時刻のいずれか一方に前記音波を発信することを特徴とする請求項１から請求項４のいずれかに記載のポインティングシステム。
前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴とする請求項１から請求項５のいずれかに記載のポインティングシステム。
前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴とする請求項６記載のポインティングシステム。