JP6261038B2

JP6261038B2 - 空間認識システム及び空間認識方法

Info

Publication number: JP6261038B2
Application number: JP2014036376A
Authority: JP
Inventors: 翔清野
Original assignee: NEC Communication Systems Ltd
Current assignee: NEC Communication Systems Ltd
Priority date: 2014-02-27
Filing date: 2014-02-27
Publication date: 2018-01-17
Anticipated expiration: 2034-02-27
Also published as: JP2015162047A

Description

本発明は空間認識システム及び空間認識方法に関し、特に空間内に設定した基準位置との相対的な位置により自デバイスの位置を特定する空間認識システム及びその空間認識方法に関する。

近年、タブレットデバイス、スマートフォン等の携帯端末の利用が拡大している。そして、このような携帯端末の利用形態の一形態として、携帯端末から同じ空間内のテレビ、オーディオ機器等の他のデバイスを操作することが考えられている。このような利用形態では、いずれの機器に対して指示を行っているかを互いのデバイス間で認識する必要があるため、デバイス同士の位置関係を特定する必要がある。そこで、ユーザーの動きを仮想空間での位置に反映させる方法が特許文献１〜４に開示されている。

特許文献１では、三次元立体画像を表示する装置において、撮影部等を用いて取得した利用者の視点情報を利用して、より精度の高い三次元立体画像を表示する技術が開示されている。特許文献２では、三次元仮想空間において、仮想空間上の物体及びユーザーの相対的位置を操作する操作方法が開示されている。特許文献３では、ペンマウスの移動量により決定される実空間での位置に基づきヘッドマウントディスプレイ上での座標を決定する技術が開示されている。特許文献４では、加速度センサ及びジャイロセンサにより検出した操作デバイスの移動方向により空間画像内のカーソルを操作する技術が開示されている。

しかしながら、特許文献１〜４に記載の技術では、実空間上に存在するデバイスの位置関係が特定できないため、利用者が操作する携帯端末により特定の装置を指示対象とすることができない問題がある。携帯端末から操作対象の装置を特定するためには、デバイス間の相対位置を特定する必要があるためである。そこで、特許文献５〜７に実空間内における物体の認識、或いは、指示方向の認識に関する技術が開示されている。

特許文献５には、入力画像から背景差分法で入力画像中に含まれる図形を抽出する背景差分処理部と、背景差分処理部が抽出した図形の画像データを二値化する二値化部と、二値化部が二値化した図形の画像データから輪郭データを抽出する輪郭抽出部と、輪郭抽出部が抽出した輪郭データの重心位置を算出する重心算出部と、重心算出部が算出した重心位置から輪郭抽出部が抽出した輪郭データの最外周部までの距離を所定の角度毎に算出して、輪郭データを極座標表現に変換して極座標値を生成する極座標値生成部と、識別対象となる図形の輪郭データの極座標値を記憶する極座標値記憶部と、を備え、極座標値記憶部に記憶されている極座標値と、極座標値生成部が生成した極座標表現値とを所定の角度ずつずらしながら比較し、入力画像中に含まれる図形の識別を行う物体識別装置が開示されている。

特許文献６に開示されている技術では、２つのビデオカメラにより互いに異なる複数の方向から利用者を撮像し、制御部により、撮像画像に基づいて、利用者が特定の位置又は方向を指し示す動作を行っている際の指示位置又は指示方向の変化に応じて位置が変化する特徴点の三次元座標を認識し、この三次元座標に基づいて、利用者による指示位置又は指示方向を判断する。また、特許文献６の制御部は、特徴点の三次元座標のうち大画面ディスプレイと平行な二次元平面における二次元座標に基づいて、特徴点が停止状態か否かを判定する。そして、二次元平面における移動量が所定閾値以下の場合には停止状態であると判定してクリックモードへ切り替え、停止状態でない場合にはポインティングモードへ切り替える。

特許文献７では、物体認識装置に関する技術が開示されている。この物体認識装置は、２点の座標から幾何的に一意に決定される座標集合上の画像のパターン分布を獲得し、それを距離について正規化した明度分布ベクトルを獲得する明度分布ベクトル獲得部と、予め認識対象の画像に対して明度分布ベクトル獲得部を適用して得られた複数の明度分布ベクトルから照合情報を作成する照合情報作成部と、入力した画像から明度分布ベクトル及び照合情報を用いて明度分布ベクトルの照合を行って対象物を認識する認識部を備える。

特開２００９−２７８４５６号公報特開平９−６５７７号公報特開２０１１−１８０８６７号公報特開２００７−３０４６６７号公報特開２０１１−１３４０６５号公報特開２００４−２４６８１４号公報特開平１１−２８３０３１号公報

しかしながら、特許文献５〜７に記載の技術では、物体の認識、或いは、物体の動きの認識に画像処理を行わなければならない。このような処理では、認識する対象を画像として取り込まなければならず、外部に状況が漏れることを防ぐ必要がある、オフィス、私的空間等の空間内の状況を秘匿したい場合での利用が難しい問題がある。

本発明にかかる空間認識システムの一態様は、少なくとも１つの指示対象装置と、自デバイス上に設けられたタッチセンサに対するなぞり動作と自デバイスの位置変化との少なく一方の動作に基づき前記指示対象装置のうち制御対象となる制御対象装置を指示するなぞり軌跡情報と、内蔵された受信部と外部に設けられる送信部との相対的な位置及び向きを示すデバイス位置情報と、を出力する指示デバイスと、前記なぞり軌跡情報に基づき前記制御対象装置を特定する対象特定装置と、を有し、前記対象特定装置は、前記なぞり軌跡情報と前記デバイス位置情報との少なくとも一方により示されるなぞり軌跡座標情報を前記送信部の位置を基準とする基準座標系の座標情報に変換して指示方向ベクトルを算出し、前記指示方向ベクトルを延長した半直線と前記基準座標系上で定義された前記指示対象装置の位置座標との距離に基づき前記制御対象装置を特定する。

本発明にかかる空間認識方法の一態様は、少なくとも１つの指示対象装置と、自デバイス上に設けられたタッチセンサに対するなぞり動作と自デバイスの位置変化との少なく一方の動作に基づき前記指示対象装置のうち制御対象となる制御対象装置を指示するなぞり軌跡情報と、内蔵された受信部と外部に設けられる送信部との相対的な位置及び向きを示すデバイス位置情報と、を出力する指示デバイスと、前記なぞり軌跡情報及び前記デバイス位置情報に基づき前記制御対象装置を特定する対象特定装置と、を有する空間認識システムにおける空間認識方法であって、前記対象特定装置が、前記なぞり軌跡情報と前記デバイス位置情報との少なくとも一方により示されるなぞり軌跡座標情報を前記送信部の位置を基準とする基準座標系の座標情報に変換して指示方向ベクトルを算出し、前記指示方向ベクトルを延長した半直線を算出し、前記基準座標系上で定義された前記指示対象装置の位置座標との距離に基づき前記制御対象装置を特定する。

本発明にかかる空間認識システム及びその空間認識方法によれば、空間内で秘匿したい情報を秘匿しながら、指示デバイスと指示対象装置との相対的な位置関係及び指示方向を認識することができる。

実施の形態１にかかる空間認識システムのブロック図である。実施の形態１にかかる空間認識システムにおいて利用する座標系を説明する図である。実施の形態１にかかる空間認識システムにおいて認識する座標の関係を説明する図である。実施の形態１にかかる指示デバイスにおけるなぞり軌跡情報の生成処理を示すフローチャートである。実施の形態１にかかる指示デバイスにおけるデバイス位置情報の生成処理を示すフローチャートである。実施の形態１にかかる対象特定装置の動作を示すフローチャートである。実施の形態２にかかる空間認識システムにおいて利用する座標系を説明する図である。実施の形態２にかかる空間認識システムにおいて認識する座標の関係を説明する図である。実施の形態２にかかる対象特定装置の動作を示すフローチャートである。実施の形態３にかかる空間認識システムにおいて認識する座標の関係を説明する図である。実施の形態３にかかる指示デバイスにおけるなぞり軌跡情報の生成処理を示すフローチャートである。実施の形態３にかかる対象特定装置の動作を示すフローチャートである。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。まず、図１に実施の形態１にかかる空間認識システム１のブロック図を示す。図１に示すように、実施の形態１にかかる空間認識システム１は、指示デバイス１０、対象特定装置３０、指示対象装置４１〜４３を有する。また、空間認識システム１では、指示デバイス１０の空間内での位置及び方向を認識するために、三次元位置計測装置２０を用いる。また、実施の形態１にかかる空間認識システム１では、指示デバイス１０、対象特定装置３０、指示対象装置４１〜４３は、例えば、無線通信により互いに通信可能な状態となっているものとする。つまり、空間認識システム１では、デバイス間の各種情報を無線信号により送受信する。

指示デバイス１０は、デバイス上に設けられたタッチセンサに対するなぞり動作と自デバイスの位置変化との少なく一方の動作に基づき指示対象装置４１〜４３のうち制御対象となる制御対象装置を指示するなぞり軌跡情報を出力する。また、指示デバイス１０は、内蔵された受信部（例えば、レシーバ部１３〜１５）と外部に設けられる送信部（例えば、トランスミッタ部１２）との相対的な位置及び向きを示すデバイス位置情報を出力する。

より具体的には、指示デバイス１０は、指示方向計測部１１、レシーバ部１３〜１５、位置センサ制御部１６を有する。指示方向計測部１１は、指示デバイス１０に設けられるタッチセンサ（不図示）に対して利用者が行うなぞり動作により得られる軌跡情報をなそり軌跡情報として出力する。

レシーバ部１３〜１５、位置センサ制御部１６は、三次元位置計測装置２０の一部にも含まれるものである。三次元位置計測装置２０には、トランスミッタ部１２、レシーバ部１３〜１５及び位置センサ制御部１６を有する。実施の形態１では、三次元位置計測装置２０として、例えば、磁気式センサを用いる。トランスミッタ部１２は、磁気を出力する。また、トランスミッタ部１２は、認識する空間内の基準位置を示すものであり、実施の形態１にかかる空間認識システム１では、対象特定装置３０内に設けられる。レシーバ部１３〜１５は、トランスミッタ部１２が出力した磁気を受け、自身の位置及び傾きの変化に応じて変化する磁気の強さ及び磁界の方向に対応した情報を出力する。以下の説明では、レシーバ部１３〜１５が出力する情報を相対的位置情報と称す。

ここで、レシーバ部１３は第１の受信部に相当するものであり、レシーバ部１４は第２の受信部に相当するものであり、レシーバ部１５は第３の受信部に相当するものである。レシーバ部１４及びレシーバ部１５は、指示デバイス１０内において、レシーバ部１３を交点として直交する直線上に配置される。位置センサ制御部１６は、レシーバ部１３〜１５が出力する相対的位置情報をデバイス位置情報として出力する。

対象特定装置３０は、位置データベース登録処理部３１、位置データベース３２、指示対象決定部３３を有する。位置データベース登録処理部３１は、指示対象装置４１〜４３とトランスミッタ部１２との相対的な位置を示す情報を入力するユーザーインタフェースを利用者に提供する。また、位置データベース登録処理部３１は、入力された情報をトランスミッタ部１２の位置を基準とする基準座標系の位置座表情報に変換して位置データベース３２に登録する。なお、指示対象装置４１〜４３の位置情報の登録方法の一態様は、例えば、指示対象装置４１等に指示デバイス１０に内蔵されるレシーバ部とは異なる装置登録用レシーバ部を一時的に設置して、装置登録用レシーバ部から得られた位置情報に基づき位置情報を登録するものである。

指示対象決定部３３は、なぞり軌跡情報及びデバイス位置情報に基づき制御対象装置を特定し、特定した制御対象装置に制御対象であることを通知する。具体的には、指示対象決定部３３は、なぞり軌跡情報とデバイス位置情報とにより示されるなぞり軌跡座標情報をトランスミッタ部１２の位置を基準とする基準座標系の座標情報に変換して指示方向ベクトルを算出し、指示方向ベクトルを延長した半直線と基準座標系上で定義された指示対象装置の位置座標との距離に基づき制御対象装置を特定する。

続いて、実施の形態１にかかる空間認識システム１において利用する座標系について説明する。そこで、図２に実施の形態１にかかる空間認識システム１において利用する座標系を説明する図を示す。なお、図２では、指示デバイス１０及び対象特定装置３０が共に水平に置かれている状態を示している。

図２に示すように、実施の形態１にかかる空間認識システム１では、トランスミッタ部１２が対象特定装置３０内に設けられている。そして、トランスミッタ部１２の位置を原点として基準座標系Σｓｔａｎｄａｒｄが定義される。

また、指示デバイス１０では、内蔵されるレシーバ部１３を原点としてデバイス座標系Σｄｅｖｉｃｅが定義される。また、デバイス座標系Σｄｅｖｉｃｅでは、レシーバ部１３からレシーバ部１４に向かってＸ座標Ｘｄが定義され、レシーバ部１３からレシーバ部１５に向かってＹ座標Ｙｄが定義される。また、デバイス座標系Σｄｅｖｉｃｅでは、指示デバイス１０が水平に置かれている状態で、Ｘ−Ｙ座標面と直交する方向にＺ座標Ｚｄが定義される。また、指示デバイス１０は、表示部と同じ面積でタッチセンサ１７が設けられる。そして、タッチセンサ１７上でのタッチの位置を示す二次元座標として入力座標系Σｉｎｐｕｔが定義される。なお、図２では、始点Ｐｓ１から終点Ｐｓ２にいたる動作としてなぞり動作が行われた状態を示している。

続いて、実施の形態１にかかる空間認識システム１の指示対象決定部３３で行われる座標変換方法について説明する。そこで、図３に実施の形態１にかかる空間認識システム１において認識する座標の関係について説明する。図３に示すように、実施の形態１にかかる空間認識システム１では、デバイス座標系Σｄｅｖｉｃｅと入力座標系Σｉｎｐｕｔとの相対的な位置差はＶｄｉで定義される。この位置差Ｖｄｉは、タッチセンサ１７とレシーバ部１３との位置関係が指示デバイス１０上で決まっているものであるため、変動することはない。そのため、位置差Ｖｄｉは、予め位置データベース３２に登録されるものとする。指示対象決定部３３では、指示方向計測部１１から与えられるなぞり軌跡情報に含まれる始点Ｐｓ１の座標と終点Ｐｓ２の座標とに位置差Ｖｄｉを加えることで、入力座標系Σｉｎｐｕｔの座標をデバイス座標系Σｄｅｖｉｃｅの座標に変換する。

また、実施の形態１にかかる空間認識システム１では、レシーバ部１３とトランスミッタ部１２との相対的位置差がＶｓｄｏとしてレシーバ部１３で測定され、レシーバ部１４とトランスミッタ部１２との相対的位置差がＶｓｄｘとしてレシーバ部１４で測定され、レシーバ部１５とトランスミッタ部１２との相対的位置差がＶｓｄｙとしてレシーバ部１５で測定される。指示対象決定部３３では、相対的位置差Ｖｓｄｏ、Ｖｓｄｘ、Ｖｓｄｙに基づき、デバイス座標系の座標を基準座標系Σｓｔａｎｄａｒｄに変換する。

実施の形態１にかかる空間認識システム１では、上記のように座標系の間の相対的な位置差に基づき入力されたなぞり軌跡を基準座標系の座標情報に変換する。そして、指示対象決定部３３は、基準座標系の座標情報として表現されたなぞり軌跡から指示方向ベクトルを算出し、指示方向ベクトルを延長した半直線Ｌｓを算出する。その後、指示対象決定部３３は、位置データベース３２に登録された指示対象装置４１〜４３の座標情報から半直線Ｌｓへの垂線の距離Ｌ４１〜Ｌ４３を算出する。そして、指示対象決定部３３は、垂線の距離が最も短くなる指示対象装置４２を制御対象装置として特定し、指示対象装置４２に制御対象装置として指定されたことを指示する。なお、指示対象装置４２は、制御対象装置として指定されたことの通知に基づき指示デバイス１０との通信を開始する。

続いて、実施の形態１にかかる空間認識システム１の動作について更に詳細に説明する。実施の形態１にかかる空間認識システム１の動作は、指示デバイス１０の動作と、対象特定装置３０の動作とに分けて考えることができる。そこで、以下では、まず、指示デバイス１０の動作について説明し、その後に対象特定装置３０の動作について説明する。なお、以下では、特に空間認識システム１における制御対象装置の決定処理について説明するが、説明しない動作として、空間認識システム１では指示デバイス１０の指示に基づく制御対象装置の動作及び指示デバイス１０単体で行われる動作も行われる。

図４に、実施の形態１にかかる指示デバイス１０におけるなぞり軌跡情報の生成処理を示すフローチャートを示す。図４に示すように、指示デバイス１０は、動作を開始すると、なぞり指示に入力を待機する（ステップＳ１）。そして、指示デバイス１０のタッチセンサ１７に対してなぞり動作が行われたことに対応して（ステップＳ１のＹＥＳの枝）、指示デバイス１０は、指示方向計測部１１により入力座標系でのなぞり軌跡を計測する（ステップＳ２）。そして、指示デバイス１０の指示方向計測部１１は、なぞり軌跡情報を対象特定装置３０の指示対象決定部３３に送信する（ステップＳ３）。その後、指示デバイス１０は、再度なぞり指示の入力を待機する状態となる。

また、図５に、実施の形態１にかかる指示デバイス１０におけるデバイス位置情報の生成処理を示すフローチャートを示す。図５に示すように、指示デバイス１０は、指示対象決定部３３から自デバイスに対するデバイス位置情報の出力要求を待機する（ステップＳ１１）。そして、指示対象決定部３３からデバイス位置情報の出力要求があった場合（ステップＳ１１のＹＥＳの枝）、指示デバイス１０は、位置センサ制御部１６によりレシーバ部１３〜１５から相対的位置情報を取得することで自デバイスの位置情報を計測する（ステップＳ１２）。その後、指示デバイス１０は、取得した相対的位置情報をデバイス位置情報として指示対象決定部３３に送信する（ステップＳ１３）。

続いて、図６に、実施の形態１にかかる対象特定装置３０の動作を示すフローチャートを示す。図６に示すように、対象特定装置３０は、動作を開始すると、まず位置データベース登録処理部３１に対する未登録の指示対象装置の登録指示の有無を判断する（ステップＳ２１）。このステップＳ２１で登録指示があると判断された場合（ステップＳ２１のＹＥＳの枝）、位置データベース３２に基準座標系での指示対象装置の位置を登録する（ステップＳ２２）。一方、ステップＳ２１で登録指示がないと判断された場合（ステップＳ２１のＮＯの枝）、対象特定装置３０では、指示対象決定部３３が指示デバイス１０からのなぞり軌跡情報の入力を待つ（ステップＳ２３）。対象特定装置３０では、指示対象の登録指示がなく、なぞり軌跡情報の入力もない場合、ステップＳ２１とステップＳ２３の処理を繰り返し実行する。

そして、ステップＳ２３においてなぞり軌跡情報の入力があると判断された場合（ステップＳ２３のＹＥＳの枝）、指示対象決定部３３によりステップＳ２４〜Ｓ２８の動作が行われる。

ステップＳ２４では、指示対象決定部３３が指示デバイス１０にデバイス位置情報の出力を要求して、指示デバイス１０からデバイス位置情報を取得する。次いで、指示対象決定部３３は、取得したなぞり軌跡情報に入力座標系Σｉｎｐｕｔとデバイス座標系Σｄｅｖｉｃｅとの位置差Ｖｄｉを適用して、入力座標系Σｉｎｐｕｔのなぞり軌跡情報をデバイス座標系Σｄｅｖｉｃｅの座標情報に変換して第１の位置変化情報を生成する（ステップＳ２５）。次いで、指示対象決定部３３は、第１の位置変化情報として生成されたデバイス座標系の位置変化情報にデバイス位置情報として与えられた位置差Ｖｓｄｏ、Ｖｓｄｘ、Ｖｓｄｙを適用して、デバイス座標系Σｄｅｖｉｃｅの位置変化情報を基準座標系Σｓｔａｎｄａｒｄの座標情報に変換して第２の位置変化情報（例えば、基準座標系Σｓｔａｎｄａｒｄの位置変化情報）を生成する（ステップＳ２６）。これにより、基準座標系Σｓｔａｎｄａｒｄのなぞり軌跡情報が生成される。

次いで、指示対象決定部３３は、基準座標系Σｓｔａｎｄａｒｄのなぞり軌跡情報から指示方向ベクトルを算出し、指示方向ベクトルの方向になぞり軌跡の始点Ｐｓ１から延びる半直線Ｌｓを算出する（ステップＳ２７）。次いで、指示対象決定部３３は、半直線Ｌｓとの距離が最も近い指示対象装置を制御対象装置として特定し、制御対象装置の指示対象デバイスとの通信を開始させる（ステップＳ２８）。このステップＳ２８の処理が完了すると、対象特定装置３０は、再度ステップＳ２１とステップＳ２３の処理を繰り返す。

上記説明より、実施の形態１にかかる空間認識システム１では、指示デバイス１０に対して入力されたなぞり軌跡情報を、指示デバイス１０とトランスミッタ部１２との相対位置を示すデバイス位置情報を用いて、トランスミッタ部１２の位置を基準とする基準座標系Σｄｅｖｉｃｅに変換することで、なぞり軌跡の先にある指示対象装置を特定する。つまり、実施の形態１にかかる空間認識システム１では、指示デバイス１０と指示対象装置４１等の相対位置を画像処理を用いることなく特定することができる。これにより、実施の形態１にかかる空間認識システム１では、指示デバイス１０及び指示対象装置４１等が存在する実空間において指示デバイス１０と指示対象装置４１等の位置情報以外の情報を秘匿しながら、指示デバイス１０から指示対象装置４１に対する指示を行うことができる。近年、特に個人情報の保護に対する要求が高まっており、画像情報を利用した位置特定方法では、画像中に個人情報が含まれる可能性が高い問題がある。一方、実施の形態１にかかる空間認識システム１では、利用する情報に個人情報が含まれないため、位置情報を取得するために利用する情報から個人情報が漏れることがない。

また、画像処理を用いて指示デバイス１０と指示対象装置４１との相対的位置関係を特定しようとした場合、特徴点抽出、指示方向の追従等の処理に高い演算能力を要する。しかしながら、実施の形態１にかかる空間認識システム１では、画像処理を用いることなく指示デバイス１０と指示対象装置４１等の相対的な位置関係を特定できるため、対象特定装置３０の処理能力を抑制することができる。

また、実施の形態１にかかる空間認識システム１では、制御対象とする指示対象装置に向かってなぞり動作を行うのみであるため、指示デバイス１０上に表示される指示対象装置のリスト等から制御対象装置を選択するシステムに比べて制御対象装置の選択にかかる手間及び時間を削減することができる。また、実施の形態１にかかる空間認識システム１では、指示デバイス１０を制御対象装置に向けて通信を確立する必要もないため、制御対象装置の選択にかかる手間及び時間を削減することができる。

実施の形態２
実施の形態２では、指示対象決定部３３における制御対象装置の特定方法の別の形態について説明する。以下では、実施の形態２にかかる制御対象装置の特定方法を実行する空間認識システムを空間認識システム２と称す。なお、実施の形態２にかかる空間認識システム２の構成は、実施の形態１にかかる空間認識システム１とは指示対象決定部３３における処理に違いがあるのみであるため、ブロック図の説明は省略する。そこで、実施の形態２にかかる空間認識システム２が特に有効な指示対象装置４１〜４３の位置関係を説明する図を図７に示す。なお、図７は、実施の形態２にかかる空間認識システム２において利用する座標系を説明する図である。

図７に示すように、実施の形態２にかかる空間認識システム２においても、利用する座標系は、実施の形態１にかかる空間認識システム１と同じである。一方、実施の形態２にかかる空間認識システム２では、指示対象装置４１と指示対象装置４２がなぞり軌跡を延長した半直線Ｌｓ上に共に存在する。実施の形態１にかかる空間認識システム１では、指示対象装置４１〜４３から半直線Ｌｓに伸びる垂線の距離Ｌ４１〜Ｌ４３の大きさに基づき制御対象装置を特定しているため、このような状況では制御対象装置を特定できない。

実施の形態２にかかる空間認識システム２では、図７に示すような状況においても制御対象装置を特定するための方法を提供する。そこで、図８に、実施の形態２にかかる空間認識システムにおいて認識する座標の関係を説明する図を示す。図８に示すように、実施の形態２にかかる空間認識システム２においても、標準座標系Σｓｔａｎｄａｒｄ、デバイス座標系Σｄｅｖｉｃｅ、入力座標系Σｉｎｐｕｔは、実施の形態１にかかる空間認識システム１と同じように認識される。

一方、実施の形態２にかかる空間認識システム２では、指示対象装置４１、４２の座標については、指示対象装置４１、４２の位置を示す座標に対して、８つの頂点から構成される立方体形状のバウンディングボックスが設定される。図８に示す例では、指示対象装置４１に対して、頂点Ｐｔ１１〜Ｐｔ１８を有するバウンディングボックスが設定され、指示対象装置４２に対して、頂点Ｐｔ２１〜Ｐｔ２８を有するバウンディングボックスが設定される。そして、実施の形態２にかかる空間認識システム２では、半直線Ｌｓとバウンディングボックスの面との交点が算出される。図８に示す例では、指示対象装置４１のバウンディングボックスと半直線との交点として交点Ｐｎ１１、Ｐｎ１２が算出され、指示対象装置４２のバウンディングボックスと半直線との交点としてＰｎ２１、Ｐｎ２２が算出される。実施の形態２にかかる空間認識システム２では、上記交点のうちなぞり軌跡の始点Ｐｓ１に最も近い交点を有するバウンディングボックスに対応する指示対象装置４１を制御対象装置として特定する。

続いて、実施の形態２にかかる空間認識システム２の動作について更に詳細に説明する。実施の形態２にかかる空間認識システム２においても、指示デバイス１０の動作は、実施の形態１にかかる空間認識システム１と同じであるため、ここでは指示デバイス１０の動作の説明は省略する。一方、実施の形態２にかかる空間認識システム２では、指示対象決定部３３の動作が実施の形態１にかかる空間認識システム１とは異なるため、以下では、指示対象決定部３３の動作について詳細に説明する。

図９に、実施の形態２にかかる対象特定装置３０の動作を示すフローチャートを示す。図９に示すように、実施の形態２にかかる対象特定装置３０は、動作が開始されてから、なぞり軌跡を標準座標系Σｓｔａｎｄａｒｄで表されるなぞり軌跡情報に変換されるまでの処理（ステップＳ２１〜Ｓ２７の処理）は実施の形態１にかかる対象特定装置３０と同じである。一方、実施の形態２にかかる対象特定装置３０では、指示方向ベクトル算出後（ステップＳ２７）の後にステップＳ２８に代えてステップＳ３０、Ｓ３１を実行する。

ステップＳ３０では、指示対象決定部３３が位置データベースを参照して半直線上に位置する指示対象装置のバウンディングボックスを算出する。その後、指示対象決定部３３は、バウンディングボックス面と半直線Ｌｓとの交点を算出し、なぞり軌跡から最も近い位置の交点を有するバウンディングボックスに対応する指示対象装置を制御対象装置として特定し、制御対象装置に指示対象デバイスとの通信を開始させる（ステップＳ３１）。

上記説明より、実施の形態２にかかる空間認識システム２では、半直線と指示対象装置４との間の距離だけでは制御対象装置を特定できない場合であっても、指示対象装置に対応して算出されるバンディングボックスと半直線との交点の位置に基づき制御対象装置を特定することができる。

なお、上記説明では、バウンディングボックスと半直線線との交点となぞり軌跡の始点Ｐｓ１との距離が最も近いものを制御対象装置として特定した。しかし、この特定方法は特定方法の一形態であり、なぞり軌跡の終点Ｐｓ２とバウンディングボックスと半直線線との交点に基づき制御対象装置を特定しても良い。また、なぞり軌跡の始点Ｐｓ１からの距離が最も遠くなるバウンディングボックスと半直線線との交点に基づき制御対象装置を特定しても良い。また、バウンディングボックスを算出するか否かは、指示対象装置の位置座標が必ずしも半直線Ｌｓ上になくても良く、半直線Ｌｓとの距離が所定の範囲内となる指示対象装置が複数となった時点で、バウンディングボックスを作成するとしても良い。

実施の形態３
実施の形態３では、なぞり軌跡情報の生成方法の別の形態について説明する。以下では、実施の形態３にかかるなぞり軌跡情報の生成方法を実行する空間認識システムを空間認識システム３と称す。なお、実施の形態３にかかる空間認識システム３の構成は、実施の形態１にかかる空間認識システム３とは指示方向計測部１１及び位置センサ制御部１６における処理に違いがあるのみであるため、ブロック図の説明は省略する。そこで、実施の形態３にかかる空間認識システムにおいて認識する座標の関係を説明する図を図１０に示す。

図１０に示すように、実施の形態３にかかる空間認識システム３では、指示デバイス１０の実空間中での位置変位に基づきなぞり軌跡情報を生成する。そのため、実施の形態３にかかる空間認識システム３では、入力座標系Σｉｎｐｕｔは、デバイス座標系Σｄｅｖｉｃｅと同じになる。つまり、実施の形態３では、利用される座標系は、基準座標系Σｓｔａｎｄａｒｄとデバイス座標系Σｄｅｖｉｃｅとなる。なお、実施の形態３では、位置センサ制御部１６が出力するなぞり軌跡情報に、指示デバイス１０の位置変化前後のレシーバ部１４及び１５の位置情報も含まれる。また、実施の形態３では、なぞり軌跡情報をレシーバ部１３の位置変化に基づき生成するものとするが、レシーバ部１４、又は、レシーバ部１５の位置変化をなぞり軌跡情報とすることもできる。

続いて、実施の形態３にかかる空間認識システム３の動作について説明する。実施の形態３では、なぞり軌跡情報の生成に指示方向計測部１１を用いずに位置センサ制御部１６を用いる。そこで、まず、実施の形態３にかかる指示デバイスにおけるなぞり軌跡情報の生成処理を示すフローチャートを図１１に示す。

図１１に示すように、実施の形態３では、指示デバイス１０が動作を開始すると、指示デバイス１０は、位置センサ制御部１６において、予め設定された指示判断時間Ｔｊ中の指示デバイス１０の位置変化量が判断閾値以上となったか否かを監視する（ステップＳ４１）。そして、指示判断時間Ｔｊ中の指示デバイス１０の位置変化量が判断閾値以上となったことに応じて（ステップＳ４１のＹＥＳの枝）、指示デバイス１０の位置センサ制御部１６は、レシーバ部１３の位置変化情報からなぞり軌跡情報を生成する（ステップＳ４２）。続いて、位置センサ制御部１６は、生成したなぞり軌跡情報を指示対象決定部３３に送信する（ステップＳ４３）。

続いて、実施の形態３にかかる空間認識システム３の対象特定装置３０の動作について説明する。そこで、図１２に実施の形態３にかかる対象特定装置の動作を示すフローチャートを示す。実施の形態３にかかる対象特定装置３０においても、なぞり軌跡情報の入力があるまでの処理（ステップＳ２１〜Ｓ２３）の処理は実施の形態１にかかる対象特定装置３０と同じである。

一方、実施の形態３にかかる対象特定装置３０では、なぞり軌跡情報の入力が合った場合に、ステップＳ５１、５２の処理を行う。ステップＳ５１では、対象特定装置３０の指示対象決定部３３が、なぞり軌跡情報から指示方向ベクトルを算出し、指示方向ベクトルの方向になぞり軌跡の始点から延びる半直線を算出する。次いで、指示対象決定部３３は、半直線との距離が最も近い指示対象装置を制御対象装置として特定し、特定した制御対象装置に指示対象デバイスとの通信を開始させる（ステップＳ５２）。

上記説明より、実施の形態３にかかる空間認識システム３は、指示デバイス１０の位置変化からなぞり軌跡情報を生成するため、指示対象決定部３３が行う座標変換の処理を行うことなく指示方向ベクトルを算出することができる。つまり、実施の形態３にかかる空間認識システム３は、実施の形態１よりも少ない処理で制御対象装置を特定することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態３にかかる空間認識システム３の軌跡情報の生成方法と、実施の形態２にかかる空間認識システム２の制御対象装置の特定方法とを組み合わせることができる。

１〜３空間認識システム
１０指示デバイス
１１指示方向計測部
１２トランスミッタ部
１３〜１５レシーバ部
１６位置センサ制御部
１７タッチセンサ
２０三次元位置計測装置
３０対象特定装置
３１位置データベース登録処理部
３２位置データベース
３３指示対象決定部
４１〜４３指示対象装置

Claims

少なくとも１つの指示対象装置と、
自デバイス上に設けられたタッチセンサに対するなぞり動作と自デバイスの位置変化との少なく一方の動作に基づき前記指示対象装置のうち制御対象となる制御対象装置を指示するなぞり軌跡情報と、内蔵された受信部と外部に設けられる送信部との相対的な位置及び向きを示すデバイス位置情報と、を出力する指示デバイスと、
前記なぞり軌跡情報に基づき前記制御対象装置を特定する対象特定装置と、を有し、
前記対象特定装置は、前記なぞり軌跡情報と前記デバイス位置情報との少なくとも一方により示されるなぞり軌跡座標情報を前記送信部の位置を基準とする基準座標系の座標情報に変換して指示方向ベクトルを算出し、前記指示方向ベクトルを延長した半直線と前記基準座標系上で定義された前記指示対象装置の位置座標との距離に基づき前記制御対象装置を特定する空間認識システム。
前記対象特定装置は、
前記タッチセンサ上の位置を示す入力座標系の座標情報を含む前記なぞり軌跡情報を、前記指示デバイス上の位置を示すデバイス座標系の座標情報に変換して第１の位置変化情報を生成し、
前記第１の位置変化情報を、前記基準座標系の座標情報に変換して第２の位置変化情報を生成し、
前記第２の位置変化情報に含まれる前記なぞり軌跡情報に基づき前記指示方向ベクトルを算出する請求項１に記載の空間認識システム。
前記対象特定装置は、前記半直線と前記指示対象装置との距離を算出し、前記距離が最も小さい前記指示対象装置を前記制御対象装置として特定する請求項１又は２に記載の空間認識システム。
前記対象特定装置は、前記半直線上に複数の前記指示対象装置がある場合、前記半直線上に位置する指示対象装置毎にバウンディングボックスを定義し、前記バウンディングボックスの面と前記半直線との交点に算出される複数の交点座標のうち最も前記なぞり軌跡情報の始点に近い交点座標に対応する前記指示対象装置を前記制御対象装置として特定する請求項１乃至３のいずれか１項に記載の空間認識システム。
前記指示デバイスは、所定の時間内における自デバイスの位置変化が所定距離以上となった場合に自デバイスの位置変化情報を前記なぞり軌跡情報として出力し、
前記対象特定装置は、前記なぞり軌跡情報から前記指示方向ベクトルを算出する請求項１に記載の空間認識システム。
前記受信部は、
第１の受信部と、
前記第１の受信部を交点として直交する直線上に配置される第２の受信部及び第３の受信部と、
前記第１の受信部から前記第３の受信部と前記送信部との相対的位置関係を示す相対位置情報を前記デバイス位置情報として出力する位置センサ制御部と、
を更に有する請求項１乃至４のいずれか１項に記載の空間認識システム。
前記対象特定装置は、前記送信部の位置を認識する空間の基準位置として前記指示方向ベクトルを算出する請求項１乃至６のいずれか１項に記載の空間認識システム。
前記送信部は、前記対象特定装置内に設けられる請求項７に記載の空間認識システム。
前記送信部及び前記受信部は、磁気式センサであって、
前記送信部は基準となる磁気を出力し、
前記受信部は前記磁気の変化に応じて前記受信部との相対位置を示す相対位置情報を周力する請求項１乃至８のいずれか１項に記載の空間認識システム。
少なくとも１つの指示対象装置と、
自デバイス上に設けられたタッチセンサに対するなぞり動作と自デバイスの位置変化との少なく一方の動作に基づき前記指示対象装置のうち制御対象となる制御対象装置を指示するなぞり軌跡情報と、内蔵された受信部と外部に設けられる送信部との相対的な位置及び向きを示すデバイス位置情報と、を出力する指示デバイスと、
前記なぞり軌跡情報及び前記デバイス位置情報に基づき前記制御対象装置を特定する対象特定装置と、を有する空間認識システムにおける空間認識方法であって、
前記対象特定装置が、
前記なぞり軌跡情報と前記デバイス位置情報との少なくとも一方により示されるなぞり軌跡座標情報を前記送信部の位置を基準とする基準座標系の座標情報に変換して指示方向ベクトルを算出し、
前記指示方向ベクトルを延長した半直線を算出し、
前記基準座標系上で定義された前記指示対象装置の位置座標との距離に基づき前記制御対象装置を特定する空間認識方法。