JP6796506B2 - 入力システム - Google Patents

Description

本発明は、三次元空間における対象物体の位置に基づいて、二次元の入力領域における指定位置を示す情報を入力する入力システムに関する。

従来から、ユーザの指といった物体の三次元空間における位置に基づいて、二次元の入力領域における指定位置（タッチ位置）を入力する技術が提案されている。この技術によれば、空中投影像や遠く離れたディスプレイを直感的に操作することができる。例えば、非特許文献１に示される方法においては、基準となるユーザの箇所（例えば、頭）の位置が起点座標とされ、操作を行うためのユーザの箇所（例えば、手）の位置が操作点座標とされる。起点座標と操作点座標との延長線と、ディスプレイとの交点がポインタ座標とされ、当該ポインタ座標にカーソル等のポインタが表示される。特許文献１に示される方法においては、ユーザによって長方形の操作領域の対頂点が指定され、当該指定された操作領域上の位置を指等によってユーザが指定することで、指定位置の入力が行われる。

特開２０１６−１３４０２２号公報

中道上、「大画面インタラクションのためのリモートタッチポインティグ」、情報処理学会 インタラクション ２０１３、一般社団法人情報処理学会、２０１３年３月２日、ｐ．７６２−７６３

非特許文献１に示される方法においては、ユーザが操作できる操作領域が、ディスプレイとユーザとの位置関係によって定まる。特許文献１に示される方法においては、ユーザが操作領域の指定を行い得るものの、当該操作領域が指定位置の表示が行われるディスプレイと平行であるといった予めの設定が必要となると考えられる。上記のように上述の方法においては、操作領域をユーザが任意に決定することができない。よって、上述の方法においては、ユーザが入力しようとしている指定位置と実際に入力される指定位置との間にずれが生じることがある。従って、上述の方法は、必ずしもユーザの操作性がよい方法とは言えなかった。

本発明は、上記に鑑みてなされたものであり、ユーザが入力しようとしている指定位置と実際に入力される指定位置との間に生じるずれを低減させ、ユーザの操作性を向上させることができる入力システムを提供することを目的とする。

上記目的を達成するために、本発明に係る入力システムは、三次元空間における対象物体の位置に基づいて、二次元の入力領域における指定位置を示す情報を入力する入力システムであって、操作領域の設定に用いる、三次元空間における対象物体の３つ以上の設定用位置を示す情報を入力する設定用位置入力部と、設定用位置入力部によって入力された情報によって示される設定用位置に基づき、三次元空間における面を算出し、算出した面及び当該設定用位置から、入力領域に対応付けて三次元空間における操作領域を設定する操作領域設定部と、指定位置の算出に用いる、三次元空間における対象物体の指定位置用位置を示す情報を入力する指定位置用位置入力部と、操作領域設定部によって設定された操作領域、及び指定位置用位置入力部によって入力された情報によって示される指定位置用位置に基づき、入力領域における指定位置を算出する指定位置算出部と、を備える。設定用位置入力部は、４つ以上の設定用位置を示す情報を入力し、操作領域設定部は、算出する面と設定用位置との距離に基づいて、三次元空間における面を算出する。又は、操作領域設定部は、操作領域を、入力領域に応じた形状にすると共に前記設定用位置によって形作られる形状の大きさに応じた大きさとする。

本発明に係る入力システムでは、３つ以上の設定用位置から、指定位置を入力するための操作領域が設定される。この設定により、ユーザが自由に操作領域を決定することができる。従って、本発明に係る入力システムによれば、ユーザが入力しようとしている指定位置と実際に入力される指定位置との間に生じるずれを低減させ、ユーザの操作性を向上させることができる。

本発明によれば、ユーザが自由に操作領域を決定することができる。従って、本発明によれば、ユーザが入力しようとしている指定位置と実際に入力される指定位置との間に生じるずれを低減させ、ユーザの操作性を向上させることができる。

本発明の実施形態に係る入力システムの構成を示す図である。 操作領域を模式的に示す図である。 三次元空間の座標軸を模式的に示す図である。 設定用位置を模式的に示す図である。 操作領域の設定を説明するための図である。 設定用位置から決定される縦横の長さと入力領域のアスペクト比とを示すグラフである。 操作領域の設定を説明するための図である。 本発明の実施形態に係る入力システムにおいて、キャリブレーションが行われる際に実行される処理を示すフローチャートである。 本発明の実施形態に係る入力システムにおいて、指定位置の算出（入力）が行われる際に実行される処理を示すフローチャートである。 設定用位置を３点にした場合の処理を説明するための図である。 本発明の実施形態に係る入力システムに含まれるＰＣのハードウェア構成を示す図である。

以下、図面と共に本発明に係る入力システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る入力システム１を示す。入力システム１は、三次元空間における、ユーザの指等の対象物体の位置に基づいて、二次元の入力領域における指定位置（操作位置）を示す情報を入力するシステムである。即ち、入力システム１は、仮想タッチパネルを実現するシステムである。入力システム１によって入力された指定位置を示す情報は、通常のタッチパネルによって入力される指定位置を示す情報と同様に任意のアプリケーション等で利用される。

図１に示すように入力システム１は、センサ１０と、情報機器であるＰＣ（パーソナルコンピュータ）２０とを含んで構成される。但し、入力システム１は、ＰＣ２０のみから構成されていてもよい。なお、情報機器は、ＰＣ２０である必要はなく、スマートフォン又はタブレット等の情報処理装置であってもよい。また、ＰＣ２０には、表示装置３０が接続されていてもよい。表示装置３０も、入力システム１に含まれていてもよい。表示装置３０は、ＰＣ２０から表示対象となる表示情報を入力して表示する。表示情報には、入力領域に相当する情報及び入力された指定位置を示す情報が含まれ得る。表示装置３０は、例えば、空間（空中）に画像（映像）を投影して表示を行う装置であってもよいし、ディスプレイに表示を行う装置であってもよい。あるいは、表示装置３０は、プロジェクタ等の壁等に画像（映像）を投影して表示を行う装置であってもよい。

表示装置３０によって空間に画像が投影される場合には、例えば、図２（ａ）に示すように、空間の画像（空中像）Ｄ１が表示される領域（三次元空間）が、ユーザが操作を行うための操作領域Ｏｐ１として設定され得る。表示装置３０によってディスプレイに表示が行われる場合には、例えば、図２（ｂ）に示すように、ディスプレイの表示画面Ｄ２から離れた領域（三次元空間）が操作領域Ｏｐ２として設定され得る。三次元空間である、それぞれの操作領域Ｏｐ１，Ｏｐ２におけるユーザの指Ｆの位置に基づいて、指定位置を示す情報が入力される。

引き続いて、本実施形態に係る入力システム１に含まれるセンサ１０と、ＰＣ２０との機能を説明する。センサ１０は、指定位置を示す情報の入力に用いられる対象物体の三次元空間における位置を検出する装置である。対象物体は、例えば、上述したようにユーザの指である。但し、対象物体は、位置の指定に用いることが可能な物体であればどのような物体としてもよい。本実施形態では、対象物体をユーザの指として説明する。センサ１０としては、例えば、従来から位置検出に用いられている任意のセンサが用いられる。具体的には、センサ１０としては、Ｌｅａｐ Ｍｏｔｉｏｎで用いられている２基の赤外線カメラによって画像を撮像し、撮像した画像を解析してユーザの手及び指先の位置を割り出すセンサが用いられる。センサ１０は、ユーザの指を検出できる位置に配置される。図３に示すように、センサ１０は、ユーザの指の位置を、センサ１０が配置される位置を原点とした座標軸の三次元座標として検出する。

センサ１０とＰＣ２０とは、有線又は無線によって情報の送受信が行えるように構成されている。センサ１０は、検出したユーザの指の三次元座標を示す情報をＰＣ２０に送信する。センサ１０によるユーザの指の三次元座標の検出及び三次元座標を示す情報のＰＣ２０への送信はリアルタイムに行われる。

ＰＣ２０は、センサ１０からユーザの指の三次元座標を示す情報を受信し、当該情報によって示される三次元座標から指定位置を算出する装置である。ＰＣ２０は、装置としては従来のＰＣと同様の装置を用いることができる。

図１に示すように、ＰＣ２０は、設定用位置入力部２１と、操作領域設定部２２と、指定位置用位置入力部２３と、指定位置算出部２４とを備えて構成される。なお、ＰＣ２０は、これらの機能部２１〜２４以外にも、従来のＰＣが通常備えている機能、例えば、算出（入力）した指定位置を示す情報を利用する機能を備えていてもよい。但し、指定位置を示す情報は、必ずしもＰＣ２０において利用される必要はなく、ＰＣ２０から別の装置に出力されて別の装置で利用されてもよい。

設定用位置入力部２１は、操作領域の設定に用いる、三次元空間におけるユーザの指の４つの設定用位置を示す情報を入力する機能部である。本実施形態において入力システム１は、三次元空間におけるユーザが指定位置を入力するための領域である操作領域を設定する。本実施形態では、操作領域の設定をキャリブレーションと呼ぶ。

本実施形態では、指定位置が入力される入力領域は、表示装置３０によって表示される画面の領域に対応し、長方形等の矩形であるものとする。操作領域は、上述したように三次元空間上に設定される領域である。操作領域は、入力領域に対応する形状であり、例えば、矩形とされる。設定用位置は、当該矩形の操作領域の頂点に対応する（但し、後述するように、通常、設定用位置そのものは操作領域の頂点にはならない）。設定用位置は、ユーザの指の位置によって指定される。即ち、キャリブレーションにおいて、ユーザが、自分で操作領域としたい空間の位置を指で指すことで指定する。図４に示すように、本実施形態では、４つの設定用位置の指定は、左上の位置、右上の位置、左下の位置、右下の位置の順番で行われる（それぞれを設定用位置Ａ，Ｂ，Ｃ，Ｄとする）。

キャリブレーションは、例えば、ユーザによるＰＣ２０に対するキャリブレーション開始の操作（具体的には、当該操作のコマンドの入力）をトリガとして開始される。なお、ユーザによって当該操作が行われた際に、表示装置３０によって表示される画面にキャリブレーションを開始する旨の表示（例えば、キャリブレーションを行うために指差しを行わせる旨の表示）を行うこととしてもよい。

設定用位置入力部２１は、当該操作を受け付けて、キャリブレーションを開始する。キャリブレーションを開始すると、設定用位置入力部２１は、センサ１０から、ユーザの指の三次元座標を示す情報をリアルタイムに受信する。ここで、ユーザは、自身の指を設定用位置に移動させて、ＰＣ２０に対して設定用位置を指差した旨の操作（具体的には、指差しのコマンドの入力）を行う。設定用位置入力部２１は、当該操作を受け付けて、当該操作が行われたタイミングにおけるユーザの指の三次元座標を設定用位置とする。上記の処理を４回繰り返して、４つの設定用位置を示す情報を入力する。設定用位置入力部２１は、４つの設定用位置Ａ，Ｂ，Ｃ，Ｄを示す情報を入力すると、当該情報を操作領域設定部２２に出力する。

なお、設定用位置を示す情報の入力は、上記のように指差しのコマンドの入力をトリガとして行われるのではなく、自動化させることとしてもよい。例えば、設定用位置入力部２１は、センサ１０からの情報に基づき、指が一定時間静止したことを検出して、一定時間静止した三次元座標を設定用位置としてもよい。なお、機能部としての設定用位置入力部は、センサ１０を含んでいてもよい。

操作領域設定部２２は、設定用位置入力部２１によって入力された情報によって示される設定用位置に基づき、三次元空間における面を算出し、算出した面及び当該設定用位置から、入力領域に対応付けて三次元空間における操作領域を設定する機能部である。

操作領域設定部２２は、設定用位置入力部２１から４つの設定用位置Ａ、Ｂ，Ｃ，Ｄを示す情報を入力する。操作領域設定部２２は、当該情報によって示される４つの設定用位置Ａ、Ｂ，Ｃ，Ｄの三次元座標から、操作領域の設定に用いられる面である平面を算出する。操作領域設定部２２は、算出する平面と設定用位置Ａ、Ｂ，Ｃ，Ｄとの距離に基づいて、当該平面を算出する。具体的には、操作領域設定部２２は、４つの設定用位置Ａ、Ｂ，Ｃ，Ｄの三次元座標から、最小二乗法により、平面を求める。これにより、平面とそれぞれの設定用位置Ａ、Ｂ，Ｃ，Ｄとの距離の平方和が最小となる平面が算出される。

続いて、操作領域設定部２２は、算出した平面の法線ベクトルＮを算出する。操作領域設定部２２は、４つの設定用位置Ａ、Ｂ，Ｃ，Ｄそれぞれから、平面上に法線ベクトルＮを伸ばし、平面と交わった点をそれぞれ位置Ａ´，Ｂ´，Ｃ´，Ｄ´とする。操作領域設定部２２は、位置Ａ´，Ｂ´，Ｃ´，Ｄ´の中心点Ｐを算出する。例えば、中心点Ｐは、各位置Ａ´，Ｂ´，Ｃ´，Ｄ´の座標の和の平均値とする。

操作領域設定部２２は、センサ１０を原点とした座標系ｘ−ｙ−ｚを新たな座標系ｘ´−ｙ´−ｚ´に変換する。操作領域設定部２２は、新たな座標系の原点Ｏ´を、上記の中心点Ｐとする。操作領域設定部２２は、ｚ´軸を、法線ベクトルＮの方向とする。操作領域設定部２２は、ｘ´軸及びｙ´軸については、例えば、以下のように設定する。操作領域設定部２２は、位置Ａ´から位置Ｂ´へのベクトルと、位置Ｃ´から位置Ｄ´へのベクトルとの平均のベクトルを算出し、算出した平均のベクトルの方向をｘ´軸とする。操作領域設定部２２は、上記のｚ´軸及びｘ´軸と垂直な方向をｙ´軸とする。このようにして算出した、位置Ａ´，Ｂ´，Ｃ´，Ｄ´及び座標軸は、例えば、図５（ａ）に示すものとなる。あるいは、位置Ａ´から位置Ｃ´へのベクトルと、位置Ｂ´から位置Ｄ´へのベクトルとの平均のベクトルを算出し、算出した平均のベクトルの方向をｙ´軸とし、上記のｚ´軸及びｙ´軸と垂直な方向をｘ´軸とすることとしてもよい。

また、ユーザが一定の向きに設定用位置Ａ，Ｂ，Ｃ，Ｄを指定すると考えられる場合には、以下のように新たな座標系ｘ´−ｙ´−ｚ´を設定することとしてもよい。操作領域設定部２２は、新たな座標系の原点Ｏ´を上記の中心点Ｐとし、仮のｘ´軸、ｙ´軸及びｚ´軸をｘ軸、ｙ軸及びｚ軸と同じ方向とする。操作領域設定部２２は、ｙ´軸を中心として、ｘ´軸及びｚ´軸をθ°回転させて、ｘ´軸を算出した平面上に乗るようにする。また、操作領域設定部２２は、ｘ´軸を中心として、ｙ´軸及びｚ´軸をφ°回転させて、ｙ´軸を算出した平面上に乗るようにする。上記の軸の回転によって、ｘ´軸及びｙ´軸は、算出した平面に乗り（平面と平行になり）、ｚ´軸は、法線ベクトルＮの方向となる。上記のｘ´軸及びｙ´軸が、Ａ´，Ｂ´，Ｃ´，Ｄ´によって構成される四角形の横方向及び縦方向に（概ね）一致するように、ユーザが一定の向きに設定用位置Ａ，Ｂ，Ｃ，Ｄを指定する場合には、上記の方法のように新たな座標系ｘ´−ｙ´−ｚ´を設定してもよい。

続いて、操作領域設定部２２は、以下のように矩形の操作領域のサイズを決定する。図５（ｂ）に示す位置Ａ´´，Ｂ´´，Ｃ´´，Ｄ´´によって構成される矩形を操作領域（のサイズ）とする。操作領域設定部２２は、Ａ´´Ｃ´´の長さ（位置Ａ´´と位置Ｃ´´との間の長さ、以下同様）及びＢ´´Ｄ´´の長さ、即ち、操作領域の縦方向の長さ（サイズ）を、Ｏ´Ａ´、Ｏ´Ｂ´、Ｏ´Ｃ´、Ｏ´Ｄ´のそれぞれのｙ´軸方向の長さの平均値×２とする。操作領域設定部２２は、Ａ´´Ｂ´´及びＣ´´Ｄ´´の長さ、即ち、操作領域の横方向の長さ（サイズ）を、Ｏ´Ａ´、Ｏ´Ｂ´、Ｏ´Ｃ´、Ｏ´Ｄ´のそれぞれのｘ´軸方向の長さの平均値×２とする。

操作領域設定部２２は、上記のようにサイズを設定した矩形の操作領域を、中心を座標系の原点Ｏ´の位置とし、Ａ´´Ｃ´´及びＢ´´Ｄ´´の方向（操作領域の縦方向）がｙ´軸と平行、かつＡ´´Ｂ´´及びＣ´´Ｄ´´の方向（操作領域の横方向）がｘ´軸と平行にして、算出した平面上に設定する。

また、上記の方法によって設定された位置Ａ´´，Ｂ´´，Ｃ´´，Ｄ´´による領域が、位置Ａ´，Ｂ´，Ｃ´，Ｄ´によって構成される四角形とずれることを考慮して、操作領域設定部２２は、更に、位置Ａ´，Ｂ´，Ｃ´，Ｄ´によって構成される四角形と重複する領域が最も大きくなる位置（角度）に点Ｏ´を中心に位置Ａ´´，Ｂ´´，Ｃ´´，Ｄ´´による領域を回転させて、操作領域の位置を設定することとしてもよい。

操作領域のサイズは、上下左右のずれを考慮して、上記以外にも、以下のように算出してもよい。操作領域設定部２２は、Ｏ´Ａ´´及びＯ´Ｂ´´のｙ´軸方向の長さ（図５（ｂ）の長さｓ）を、Ｏ´Ａ´及びＯ´Ｂ´のそれぞれのｙ´軸方向の長さの平均値とする。操作領域設定部２２は、Ｏ´Ｃ´´及びＯ´Ｄ´´のｙ´軸方向の長さ（図５（ｂ）の長さｔ）を、Ｏ´Ｃ´及びＯ´Ｄ´のそれぞれのｙ´軸方向の長さの平均値とする。操作領域設定部２２は、Ｏ´Ａ´´及びＯ´Ｃ´´のｘ´軸方向の長さ（図５（ｂ）の長さｕ）を、Ｏ´Ａ´及びＯ´Ｃ´のそれぞれのｘ´軸方向の長さの平均値とする。操作領域設定部２２は、Ｏ´Ｂ´´及びＯ´Ｄ´´のｘ´軸方向の長さ（図５（ｂ）の長さｖ）を、Ｏ´Ｂ´及びＯ´Ｄ´のそれぞれのｘ´軸方向の長さの平均値とする。

また、操作領域設定部２２は、操作領域と入力領域との対応付けを行う。操作領域設定部２２は、予め入力領域の形状及び縦横の長さを記憶しており、記憶した入力領域に係る情報、及び上記のように設定した操作領域に係る情報に基づいて、対応付けを行う。対応付けは、例えば、操作領域における縦横の相対的な位置が、入力領域における縦横の相対的な位置に一致するように行われる。なお、入力領域の左上の点は、操作領域の左上の点（図５（ｂ）の点Ａ´´）に、入力領域の右上の点は、操作領域の右上の点（図５（ｂ）の点Ｂ´´）に、入力領域の左下の点は、操作領域の左下の点（図５（ｂ）の点Ｃ´´）に、入力領域の右下の点は、操作領域の右下の点（図５（ｂ）の点Ｄ´´）にそれぞれ対応させて、上記の対応付けが行われる。対応付けは、具体的には例えば、操作領域における三次元位置から、入力領域における位置を算出する関数（操作領域における三次元位置を、入力領域における位置に変換する関数）を算出することで行われる。

操作領域設定部２２は、設定した操作領域に係る情報、例えば、三次元空間における操作領域を示す情報、及び操作領域における三次元位置から、入力領域における位置を算出する関数等を指定位置算出部２４に出力する。設定用位置入力部２１及び操作領域設定部２２によって、操作領域の設定、即ち、キャリブレーションが完了する。

上記のように操作領域の設定を行った場合、それぞれが矩形である操作領域のアスペクト比と入力領域のアスペクト比とが互いに異なり得る。そこで、操作領域のアスペクト比を入力領域のアスペクト比と同じにする目的で、操作領域設定部２２は、以下のように操作領域を設定してもよい。

即ち、操作領域設定部２２は、操作領域を、入力領域に応じた形状にすると共に設定用位置Ａ、Ｂ，Ｃ，Ｄによって形作られる形状の大きさに応じた大きさとする。具体的には、操作領域設定部２２は、上記の位置Ａ´´，Ｂ´´，Ｃ´´，Ｄ´´から決定される矩形の縦横の長さから、入力領域のアスペクト比での操作領域の大きさを決定する。この際、位置Ａ´´，Ｂ´´，Ｃ´´，Ｄ´´から決定される矩形の縦の長さをＡ´´Ｃ´´及びＢ´´Ｄ´´の長さとし、当該矩形の横の長さをＡ´´Ｂ´´及びＣ´´Ｄ´´の長さとする。操作領域設定部２２は、当該矩形の縦横の長さと縦横の長さが最も近く、かつ入力領域のアスペクト比と同じ矩形を操作領域の形状とする。即ち、図６に示すように、操作領域設定部２２は、縦の長さを横軸とし、横の長さを縦軸としたグラフにおいて、入力領域のアスペクト比（画面アスペクト比）を示す直線のうち、位置Ａ´´，Ｂ´´，Ｃ´´，Ｄ´´から決定される矩形の縦横の長さを示す点（取得サイズ）と最短距離の点（切り出しサイズ）によって示される縦横の長さの矩形を操作領域の形状とする。

また、上記の説明では、操作領域は矩形であることとしたが、必ずしも矩形としなくてもよい。例えば、図７（ａ）に示す、上述した位置Ａ´，Ｂ´，Ｃ´，Ｄ´によって構成される四角形の領域を操作領域としてもよい。その場合、操作領域と入力領域との対応付けは以下のように行われる。図７（ａ）に示すように、操作領域設定部２２は、操作領域を、点Ｏ´点Ａ´点Ｂ´を結ぶ三角形、点Ｏ´点Ｂ´点Ｄ´を結ぶ三角形、点Ｏ´点Ｄ´点Ｃ´を結ぶ三角形、及び点Ｏ´点Ｃ´点Ａ´を結ぶ三角形の４つの領域に分割する。また、図７（ｂ）に示すように、操作領域設定部２２は、矩形の入力領域についても、入力領域の中心点を点Ｏ´とし、操作領域と同様に４つの領域に分割する。操作領域設定部２２は、分割した対応する三角形の領域毎に、操作領域と入力領域との対応付けを行う。例えば、点Ｏ´点Ａ´点Ｂ´を結ぶ三角形上の点（図中の（１）上の点）については、ベクトルＯ´Ａ´及びベクトルＯ´Ｂ´の重み付けされた和で表すことができる。

ＰＣ２０の以下の構成は、キャリブレーションの結果を用いて、指定位置を示す情報を入力するための構成である。指定位置用位置入力部２３は、指定位置の算出に用いる、三次元空間におけるユーザの指の指定位置用位置を示す情報を入力する機能部である。指定位置用位置を示す情報の入力は、ＰＣ２０が指定位置の入力が行われる状態である際に行われる。例えば、ＰＣ２０において、指定位置を用いるアプリケーションがユーザのＰＣ２０に対する操作によって起動された場合、ＰＣが当該状態となる。当該状態において、ユーザは、指定位置を示す情報を入力するために、自身の指を当該指定位置に対応する三次元空間における位置に動かす。

当該状態において、指定位置用位置入力部２３は、センサ１０から、ユーザの指の三次元座標を示す情報を、指定位置用位置を示す情報としてリアルタイムに受信する。指定位置用位置入力部２３は、受信した指定位置用位置を示す情報を指定位置算出部２４に出力する。

指定位置算出部２４は、操作領域設定部２２によって設定された操作領域、及び指定位置用位置入力部２３によって入力された情報によって示される指定位置用位置に基づき、入力領域における指定位置を算出する機能部である。設定用位置入力部２１及び操作領域設定部２２によって、操作領域の設定、即ち、キャリブレーションが完了した段階で、指定位置算出部２４は、操作領域設定部２２から操作領域に係る情報を入力して、記憶しておく。指定位置の算出には、当該情報が用いられる。

指定位置算出部２４は、指定位置用位置入力部２３から指定位置用位置を示す情報を入力する。当該情報を入力すると、指定位置算出部２４は、指定位置用位置から、操作領域の平面の法線ベクトルＮ（操作領域設定部２２によって算出された法線ベクトルＮ）を伸ばし、操作領域と交わるか否かを判断する。法線ベクトルが操作領域と交わらないと判断した場合、指定位置算出部２４は、指定位置用位置に対応する指定位置はないものと判断し、指定位置を算出しない。

法線ベクトルが操作領域と交わると判断した場合、指定位置算出部２４は、操作領域における交わった点を算出して、算出した点から指定位置を算出する。この算出は、操作領域設定部２２によって行われた操作領域と入力領域との対応付けを示す情報に基づいて行われる。即ち、指定位置算出部２４は、操作領域における交わった点、即ち、ユーザの指の三次元空間における位置に対応する操作領域における位置を、上記の対応付けに基づいて指定位置に変換する。

指定位置の算出は、指定位置用位置と操作領域との間の距離が、予め設定された閾値を超える場合には行わず、閾値以下の場合のみに行うこととしてもよい。操作領域とユーザの指とが互いに大きく離れている場合には、指定位置を算出（入力）することが妥当でないとも考えられるためである。

指定位置算出部２４は、算出した指定位置を示す情報を出力する。例えば、指定位置算出部２４は、当該情報を、指定位置を利用するアプリケーション等に出力する。指定位置は、出力先において適宜利用される。また、指定位置算出部２４は、表示装置３０に対して算出した指定位置にカーソルを表示させてもよい。以上が、本実施形態に係る入力システム１の機能構成である。

引き続いて、図８及び図９のフローチャートを用いて、本実施形態に係る入力システム１で実行される処理（入力システム１が行う動作方法）を説明する。まず、図８のフローチャートを用いて、キャリブレーションが行われる際の処理を説明する。上述したように、本処理は、例えば、ユーザによるＰＣ２０に対するキャリブレーション開始の操作をトリガとして開始される。

本処理では、センサ１０及び設定用位置入力部２１によって、三次元空間におけるユーザの指の位置である、４つの設定用位置を示す情報が入力される（Ｓ０１）。続いて、操作領域設定部２２によって、４つの設定用位置から平面が算出される（Ｓ０２）。続いて、操作領域設定部２２によって、設定される操作領域のサイズ、即ち、操作領域の縦横の長さが算出される（Ｓ０３）。続いて、操作領域設定部２２によって、平面における操作領域の位置が決定されて、操作領域が設定される（Ｓ０４）。続いて、操作領域設定部２２によって、操作領域と入力領域との対応付けが行われる（Ｓ０５）。操作領域設定部２２によって設定された操作領域に係る情報は、指定位置算出部２４に出力されて、指定位置算出部２４に記憶される。以上が、キャリブレーションが行われる際の処理である。

続いて、図９のフローチャートを用いて、指定位置の算出（入力）が行われる際の処理を説明する。上述したように、本処理は、ＰＣ２０が指定位置の入力が行われる状態である際に行われる。

本処理では、センサ１０及び指定位置用位置入力部２３によって、三次元空間におけるユーザの指の位置である指定位置用位置を示す情報が入力される（Ｓ１１）。続いて、指定位置算出部２４によって、操作領域設定部２２によって設定された操作領域、及び指定位置用位置入力部２３によって入力された情報によって示される指定位置用位置に基づき、入力領域における指定位置が算出される（Ｓ１２）。続いて、表示装置３０によって、指定位置にカーソルが表示される（Ｓ１３）。また、算出（入力）された指定位置を示す情報は、ＰＣ２０内のアプリケーション等で適宜利用される。上記の処理（Ｓ１１〜Ｓ１３）は、ＰＣ２０が指定位置の入力が行われる状態では繰り返し行われる。以上が、指定位置の算出（入力）が行われる際の処理である。

上述したように本実施形態では、４つの設定用位置から、指定位置を入力するための操作領域が設定される。この設定により、ユーザが自由に操作領域を決定することができる。従って、本実施形態によれば、ユーザが入力しようとしている指定位置と実際に入力される指定位置との間に生じるずれを低減させ、ユーザの操作性を向上させることができる。具体的には、ジェスチャによる操作を、ユーザにより適切に行わせることができる。なお、上記のずれは、ユーザ自身の指先位置と視覚での認識位置のずれ、指先のぶれによる認識位置のずれ、及びセンサの認識誤差等に起因して生じ得る。本実施形態では、ユーザが任意の操作領域を決定できることで、上記のずれを低減することができる。

また、本実施形態のように、最小二乗法によって平面を算出して、操作領域を算出することとしてもよい。この構成によれば、ユーザによって多くの点（４点以上の点）が指定されて、操作領域が決定される。従って、ユーザ自身が認識している操作領域と、実際に設定されている操作領域とのずれを低減させることができる。従って、ユーザに更に適切に入力を行わせることができる。

また、本実施形態のように、操作領域のアスペクト比を入力領域のアスペクト比に合わせることとしてもよい。この構成によれば、例えば、図２（ａ）に示すように、空中像に重ねて操作領域を設定する場合に上記のずれを更に低減することができ、ユーザに更に適切に入力を行わせることができる。

なお、上述した実施形態では、キャリブレーションにおいて、４つの設定用位置を示す情報を入力することとしていた。設定用位置は、必ずしも４つである必要はなく、５つ以上の設定用位置を示す情報を入力することとしてもよい。５つ以上の設定用位置を用いる場合であっても、上述した方法と同様に最小二乗法によって平面を求めて操作領域を設定することができる。この場合、例えば、上述のような矩形の頂点４点を設定用位置として必ず指定させ、精度を上げるため、設定用位置として頂点の指定を繰り返させたり、あるいは、平面上の任意の点を指定させたりすることとしてもよい。

また、操作領域は、平面を求めることができれば、設定することができるため、設定用位置は３つでもよい。この場合、最小二乗法ではなく、３つの設定用位置を通る平面を算出する。上記のように本発明では、３つ以上の設定用位置を示す情報を入力することとすればよい。この場合、例えば、四角形の左上の位置、右上の位置、左下の位置（図１０の点Ａ、Ｂ，Ｃ）の３点を設定用位置とし、そこから操作領域を決定するための４点目（図１０の点Ｄ）を求める。例えば、図１０に示すように、点Ａ、Ｂ，Ｃによって構成される三角形に対して、同じ形状及び大きさの三角形を点Ｂ，Ｃの辺を共通にして繋げ、当該繋げた三角形の点Ｂ，Ｃ以外の頂点（頂点Ａの対頂点）を点Ｄとする。上記の点Ａ，Ｂ，Ｃ，Ｄを、上述した点Ａ´，Ｂ´，Ｃ´，Ｄ´として操作領域を設定する。

また、本実施形態では、操作領域は、平面で矩形の形状の領域としたが、必ずしもそのような領域に限られない。例えば、平面以外の領域であってもよいし、矩形以外の形状の領域であってもよい。

なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

図１１は、本実施形態に係るＰＣ２０のハードウェア構成の一例を示す図である。上述のＰＣ２０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ＰＣ２０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

ＰＣ２０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、上述のＰＣ２０の各機能部２１〜２４は、プロセッサ１００１を含んで実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ＰＣ２０の各機能部２１〜２４は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。例えば、上述のＰＣ２０の各機能部２１〜２４は、通信装置１００４を含んで実現されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、ＰＣ２０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

また、上述したようにセンサ１０は、赤外線カメラ等のハードウェアを備えて構成されていてもよく、上記の各ハードウェアが備えられていてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

情報の通知は、本明細書で説明した態様／実施形態に限られず、他の方法で行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC ConnectionReconfiguration）メッセージなどであってもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１…入力システム、１０…センサ、２０…ＰＣ、２１…設定用位置入力部、２２…操作領域設定部、２３…指定位置用位置入力部、２４…指定位置算出部、３０…表示装置、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (2)

1. 三次元空間における対象物体の位置に基づいて、二次元の入力領域における指定位置を示す情報を入力する入力システムであって、
   操作領域の設定に用いる、三次元空間における前記対象物体の３つ以上の設定用位置を示す情報を入力する設定用位置入力部と、
   前記設定用位置入力部によって入力された情報によって示される設定用位置に基づき、三次元空間における面を算出し、算出した面及び当該設定用位置から、前記入力領域に対応付けて三次元空間における操作領域を設定する操作領域設定部と、
   指定位置の算出に用いる、三次元空間における前記対象物体の指定位置用位置を示す情報を入力する指定位置用位置入力部と、
   前記操作領域設定部によって設定された操作領域、及び前記指定位置用位置入力部によって入力された情報によって示される指定位置用位置に基づき、前記入力領域における指定位置を算出する指定位置算出部と、
   を備え、
   前記設定用位置入力部は、４つ以上の設定用位置を示す情報を入力し、
   前記操作領域設定部は、算出する面と設定用位置との距離に基づいて、三次元空間における面を算出する、入力システム。
2. 三次元空間における対象物体の位置に基づいて、二次元の入力領域における指定位置を示す情報を入力する入力システムであって、
   操作領域の設定に用いる、三次元空間における前記対象物体の３つ以上の設定用位置を示す情報を入力する設定用位置入力部と、
   前記設定用位置入力部によって入力された情報によって示される設定用位置に基づき、三次元空間における面を算出し、算出した面及び当該設定用位置から、前記入力領域に対応付けて三次元空間における操作領域を設定する操作領域設定部と、
   指定位置の算出に用いる、三次元空間における前記対象物体の指定位置用位置を示す情報を入力する指定位置用位置入力部と、
   前記操作領域設定部によって設定された操作領域、及び前記指定位置用位置入力部によって入力された情報によって示される指定位置用位置に基づき、前記入力領域における指定位置を算出する指定位置算出部と、
   を備え、
   前記操作領域設定部は、前記操作領域を、前記入力領域に応じた形状にすると共に前記設定用位置によって形作られる形状の大きさに応じた大きさとする入力システム。

Images