JPWO2016121708A1 - 入力システム、入力装置、入力方法、および、プログラム - Google Patents

Abstract

入力装置（１）は、テーブルの上面へのユーザの手の接触を検出する接触検出部（１２）、テーブルの上面に接触したユーザの手の、テーブルの上面に対する接触仰角および接触方位角を検出する角度検出部（１３）、角度検出部（１３）が検出した接触仰角および接触方位角に基づいて、テーブルの上面のユーザの手との接触位置を基準とする所定の位置に操作画面を表示させる指示情報を投影装置（３）に送信する表示制御部（１５）、を有する。投影装置（３）は、入力装置（１）から受信した指示情報にしたがって、操作画面をテーブルの上面に投影する。

Description

本発明は、入力システム、入力装置、入力方法、および、記録媒体に関する。

特許文献１には、操作者の前方に配置されたモニタ装置と操作者とモニタ装置の間に配置された仮想的な平面（操作面）へのユーザの操作に応じてデータ（数値、指示を含む）を入力する入力装置とを備える入力システムが開示されている。

特許文献２には、机の上面に操作画面の画像を表示し、検出対象物までの距離を示す画素値からなる距離画像を生成し、距離画像に基づいて、机の上面に物体が接触したことを判定し、接触位置に応じたデータを入力する情報処理装置が開示されている。

特許文献３には、仮想の操作面を立体的に表示し、仮想操作面とユーザの手や指との位置関係を特定し、特定した位置関係に基づいてデータを入力する入力装置が開示されている。この入力装置は、仮想操作面の配置が操作者の関節の位置等の予め設定された操作者の特定の部位の位置に基づいて決定する。

特開２０１１−０３９８４４号公報 特開２０１１−２５３２５５号公報 特開２０１４−０５６４６２号公報

特許文献１に記載された技術では、仮想的な操作面の配置がモニタの配置によって固定されている。また、特許文献２に記載された技術でも、操作画面の位置が机の上面に固定されている。従って、操作者が操作画面を操作しにくく感じる虞がある。

また、特許文献３に記載された技術は、操作者の特定の部位の位置だけで操作者の姿勢を特定するので、操作者の実際の姿勢を十分に特定できない場合がある。このため、操作面の配置が、操作者の姿勢に適さないものとなり操作者が操作しにくく感じる虞がある。

本発明は、上記事情に鑑みてなされたものであり、操作性の高い入力システムを提供することを目的とする。

本発明の第１の観点に係るにかかる入力システムは、
対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段と、前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段と、前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を投影装置に送信する表示制御手段と、を有する入力装置と、
前記入力装置から受信した前記指示情報にしたがって、前記操作画面を前記対象物に投影する前記投影装置と、
を備えることを特徴とする。

本発明の第２の観点に係るにかかる入力装置は、
投影装置と接続される入力装置であって、
対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段と、
前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段と、
前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を前記投影装置に送信する表示制御手段と、
を備えることを特徴とする。

本発明の第３の観点に係るにかかる入力方法は、
入力装置が実行する
対象物における操作画面の投影対象面への物体の接触を検出する接触検出ステップと、
前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出ステップと、
前記角度検出ステップで検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を投影装置に送信する表示制御ステップと、
前記投影装置が実行する
前記入力装置から受信した前記指示情報にしたがって、前記操作画面を前記対象物に投影するステップと、
を備えることを特徴とする。

本発明の第４の観点に係るにかかる記録媒体は、
投影装置と接続されるコンピュータを、
対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段、
前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段、
前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を前記投影装置に送信する表示制御手段、
として機能させることを特徴とするプログラムを格納する。

本発明によれば、接触仰角および接触方位角に基づいて、投影対象面の物体（例えば操作者の手）との接触位置を基準とする所定の位置に操作画面を表示する。従って、操作者が操作しやすい所定の位置に操作画面を表示することが可能となる。これにより、入力装置の操作性を高めることができる。

本発明の実施の形態に係る入力システムの構成を示すブロック図である。 実施の形態に係る入力装置の機能構成を示すブロック図である。 実施の形態に係る接触仰角および接触方位角を説明するための図である。 実施の形態に係る接触仰角および接触方位角を説明するための図である。 実施の形態に係る接触仰角および接触方位角を説明するための図である。 実施の形態に係る対象物に接触した物体の接触点、接触仰角および接触方位角を検出する方法の一例を示す図である。 実施の形態に係る対象物に接触した物体の接触領域、接触仰角および接触方位角を検出する方法の一例を示す図である。 図３における操作者の手の近傍部分を示す図である。 図３における操作者の手の近傍部分を示す図である。 実施の形態に係る選択された選択項目に対応する画面の表示例を示す図である。 実施の形態に係る入力処理の動作の一例を示すフローチャートである。 実施の形態に係る入力装置のハードウェア構成の一例を示すブロック図である。

以下、この発明の実施の形態について説明する。本実施の形態では、テーブルの上面に操作画面が投影され、ユーザがテーブルの上面に手を接触させることにより入力操作を行う場合について説明する。

入力システム１００は、図１に示すように、入力装置１と深度センサ２と投影装置３とで構成される。入力装置１は、深度センサ２および投影装置３と接続される。深度センサ２は、操作画面が投影されるテーブルの上面４１を含む物体の深度（深度センサ２からの距離）を検出し、検出した深度値の分布情報を生成し、入力装置１に送信する。

入力装置１は、深度センサ２から受信した深度値の分布情報を解析し、ユーザの手がテーブルの上面４１に接触したか否かを判別する。入力装置１は、手が上面４１に接触したことを検知すると、接触点、接触線または接触領域を検出する。入力装置１は、１本の指の先端が上面４１に接触したことを検知すると、指の先端を接触点として検出する。また、入力装置１は、手の側面が上面４１に接触したことを検知すると、手の側面を接触線として検出する。更に、入力装置１は、手のひらが上面４１に接触したことを検知すると、手のひらを接触領域として検出する。また、入力装置１は、手が上面４１に接触したことを検知すると、指、手のひらまたは腕の上面４１となす仰角、方位角（以下、接触仰度、接触方位角という）を検出する。入力装置１は、検出した接触仰角および接触方位角から、ユーザが指、手のひら、または腕を動かすのが容易な方向（以下、操作方向）を決定する。入力装置１は、決定した操作方向に適した操作画面を、接触点、接触線または接触領域の位置を基準とする所定の位置に表示するよう指示する指示情報を投影装置３に送信する。

操作画面は、例えば、入力装置１が備える機能に対応付けられた選択項目（メニュー項目）のリスト（メニュー）の画面である。投影装置３は、入力装置１から受信した指示情報にしたがって、テーブルの上面４１に操作画面（メニュー）を投影する。操作画面が投影されると、ユーザはテーブルの上面４１上で接触点、接触線または接触領域を移動させて選択項目を選択（指示）することができる。入力装置１は、深度センサ２から受け取った深度値の分布情報を解析し、指示された選択項目を特定する。

入力装置１は、選択された項目に対応する画面を、接触点、接触線または接触領域の位置を基準とする所定の位置に表示するよう指示する指示情報を投影装置３に送信する。投影装置３は、入力装置１から受信した指示情報にしたがって、テーブルの上面４１に、選択された項目に対応する画面を投影する。なお、図１では、入力システム１００は、深度センサ２および投影装置３を１台ずつ備える。この発明は、これに限らず、複数の深度センサ２と複数台の投影装置３を備えてもよい。また、複数のユーザの手がテーブルの上面に接触したことを検知してもよい。

入力装置１は、図２に示すように、深度取得部１１と、接触検出部１２と、角度検出部１３と、記憶部１４と、表示制御部１５とを備える。

深度取得部１１は、深度センサ２から深度値の分布情報を受信する。深度取得部１１は、受信した深度値の分布情報を接触検出部１２に送る。

接触検出部１２は、深度取得部１１から受け取った深度値の分布情報を解析し、ユーザの領域からユーザの骨格を抽出する。接触検出部１２は、ユーザの領域および骨格からテーブルの上面４１に手が接触したか否かを判定する。接触検出部１２は、テーブルの上面４１の深度値と手の輪郭の深度値との差が閾値以下である場合、手が上面４１に接触したと判定する。この閾値は、例えば、深度センサ２の分解能＋αに相当する値に設定される。接触検出部１２は、上面４１に手が接触したと判定した場合、ユーザの領域および骨格から、接触点、接触線または接触領域を検出する（なお、検出方法は後述する）。接触検出部１２は、検出した接触点、接触線または接触領域の位置を示す接触位置情報を表示制御部１５に送る。また、接触検出部１２は、深度値の分布情報の解析結果を示す解析結果情報を角度検出部１３に送る。

角度検出部１３は、接触検出部１２から受け取った解析結果情報から、以下のようにして、接触仰角および接触方位角を検出する。１本の指の先端（点）がテーブルに接触した場合、角度検出部１３は、図３Ａに示すように、その接触点Ｐ１を基点とした指に沿った方向Ｖ１の、テーブルの上面４１（投影対象面または接平面）に対する接触仰角φ１および接触方位角θ１を求める。ここで、接触仰角φ１および接触方位角θ１は、テーブルの上面４１に沿った基準方向Ｖ０に対する角度である。手の側面が線でテーブルに接触した場合、角度検出部１３は、図３Ｂに示すように、手の側面の接触線Ｌ１を基準としたユーザの手のひらに沿った平面ＰＬ２の法線Ｖ２の、接平面（テーブルの上面４１）に対する接触仰角φ２および接触方位角θ２を求める。手のひらが面でテーブルの上面４１に接触した場合、図３Ｃに示すように、角度検出部１３は、接触領域を基点としたユーザの前腕に沿った方向Ｖ３の、接平面（テーブルの上面４１）に対する接触仰角φ３および接触方位角θ３を求める。

角度検出部１３は、検出した接触仰角および接触方位角を示す角度情報を表示制御部１５に送る。表示制御部１５は、角度検出部１３から受け取った角度情報に基づいて、後述する手法により、操作方向を決定する。表示制御部１５は、決定した操作方向に適した操作画面を生成する。表示制御部１５は、決定した操作方向と予め設定された基準方向とのなす角度だけ基準方向から傾いた操作画面を生成する。

表示制御部１５は、接触検出部１２から接触位置情報を受け取り、その接触位置情報が示す接触点、接触線または接触領域の位置を基準とする所定の位置（ユーザが手を動かしやすい位置）に操作画面を表示させる指示情報を生成する。表示制御部１５は、操作画面の位置を、接触点、接触線または接触領域の高さから予め設定された距離だけ高い位置に設定する。そして、表示制御部１５は、生成した指示情報を投影装置３に送信する。投影装置３は、入力装置１から受信した指示情報にしたがって、操作画面（メニュー）をテーブルの上面４１に投影する。

接触検出部１２は、操作画面がテーブルの上面４１に投影されている状態で、テーブルの上面にユーザの手が接触したと判定した場合、検出した接触点、接触線または接触領域の位置を示す接触位置情報から、ユーザにより選択された選択項目を特定する。接触検出部１２は、選択された選択項目を示す選択情報を表示制御部１５に送る。

表示制御部１５は、接触検出部１２から受け取った選択情報が示す選択項目に対応する操作画面を表示するよう指示する指示情報を生成し、投影装置３に送信する。投影装置３は、入力装置１から受信した指示情報にしたがって、選択された選択項目に対応する画面をテーブルの上面４１に投影する。ここで、深度値の分布情報からテーブルの上面に接触したユーザの手を検出する方法について説明する。

図４は、実施の形態に係る対象物に接触した物体の接触点、接触仰角および接触方位角を検出する方法の一例を示す図である。図４の例では、ユーザがテーブルの上面４１に１本の指で接触するタッチ操作を行う。深度値の分布情報には、深度値がほぼ一定であるテーブル領域Ｔと床領域Ｆとが含まれる。

まず、接触検出部１２は、深度値の分布情報から、連続するテーブル領域Ｔまたは床領域Ｆのほぼ一定の深度値から所定値以上の差が現れる点を抽出する。接触検出部１２は、抽出した点をつないでユーザの輪郭を抽出する。接触検出部１２は、ユーザの輪郭で囲まれるユーザ領域Ｕを分離する。図４の例では、理解を容易にするためユーザの頭を破線で表している。

接触検出部１２は、ユーザ領域Ｕ内において、ユーザ領域Ｕの輪郭部分までの距離が近いほど小さく遠いほど大きい画素値に置き換える。画素値が極大となる点を抽出し、つなげるとユーザの骨格Ｓが抽出される。骨格Ｓの抽出方法は、これに限らず、画像処理において一般的に用いられる細線化や中心軸変換などを用いてもよい。

接触検出部１２は、骨格Ｓの端点Ｐ１〜Ｐ４を検出する。接触検出部１２は、端点Ｐ１〜Ｐ４の中に、テーブル領域Ｔの深度値との差が閾値以下である端点が１つある場合、その端点の位置を接触点として検出する。図４の例では、端点Ｐ１がテーブルの上面に接触したユーザの指先であり、端点Ｐ１の位置が接触点である。接触検出部１２は、これらの解析結果を示す解析結果情報を角度検出部１３に送る。

図４の例では、角度検出部１３は、接触検出部１２から受け取った解析結果情報が示す骨格Ｓの端点Ｐ１（指先）から指の基端部分へ向かう方向から、ユーザの指の接触仰角および接触方位角を検出する。角度検出部１３は、ユーザの指の接触仰角および接触方位角を示す角度情報を表示制御部１５に送る。表示制御部１５は、角度検出部１３から受け取った角度情報に基づいて、操作方向を決定する。

図５は、実施の形態に係る対象物に接触した物体の接触領域、接触仰角および接触方位角を検出する方法の一例を示す図である。図５の例では、ユーザの手と前腕以外の部分は省略する。接触検出部１２は、図４の場合と同様に、深度値の分布情報を用いてユーザ領域Ｕを決定し、骨格Ｓを抽出する。図５のように、ユーザがテーブルの上面に手のひらで接触するラップ操作を行った場合、接触検出部１２は、骨格Ｓから端点Ｐ５〜端点９を検出する。

例えば、テーブル領域Ｔの深度値との差が閾値以下である端点が５個であった場合、接触検出部１２は、ラップ操作であると判定する。図５の例では、端点Ｐ５〜端点９はテーブル領域Ｔの深度値との差が閾値以下であるので、接触検出部１２はラップ操作であると判定し、テーブル領域Ｔの深度値との差が閾値以下であるユーザの手のひらの領域を接触領域として検出する。接触検出部１２は、これらの解析結果を示す解析結果情報を角度検出部１３に送る。

角度検出部１３は、接触検出部１２から受け取った解析結果情報が示す骨格Ｓの手首から肘への方向から、ユーザの前腕の接触仰角および接触方位角を検出する。角度検出部１３は、ユーザの前腕の接触仰角および接触方位角を示す角度情報を表示制御部１５に送る。表示制御部１５は、角度検出部１３から受け取った角度情報に基づいて、操作方向を決定する。続いて、操作画面の表示について説明する。

図６Ａは、実施の形態に係る操作画面の表示例を示す図である。例えば、図５のように、ユーザがテーブルの上面でラップ操作をすると、表示制御部１５は、角度検出部１３から受け取った角度情報に基づいて、図６Ａに示すようにユーザの前腕の接平面に向かう方向を上とし、上下左右を決定する。表示制御部１５は、接触検出部１２から接触位置情報を受け取ると、その接触位置情報が示す接触領域（手のひらの領域）の位置を基準とする所定の位置に操作画面を表示するよう指示する指示情報を生成し、投影装置３に送信する。操作画面は、例えば、接触領域から上に１０ｃｍだけ離間した位置に表示される。

投影装置３は、入力装置１から受信した指示情報にしたがって、図６Ａのような操作画面をテーブルの上面４１の所定の位置に投影する。図６Ａの例では、ユーザは操作画面で、入力装置１が備える各機能に対応付けられた選択項目Ａ、Ｂ、ＣおよびＤを選択可能である。

図６Ｂに示すようにユーザが選択項目Ｂを選択した場合、入力装置１の接触検出部１２は、検出した接触点の位置を示す接触位置情報から選択項目Ｂが選択されたことを特定する。接触検出部１２は、選択された選択項目Ｂを示す選択情報を表示制御部１５に送る。表示制御部１５は、接触検出部１２から受け取った選択情報が示す選択項目Ｂに対応する画面を表示するよう指示する指示情報を生成し、投影装置３に送信する。投影装置３は、入力装置１から受信した指示情報にしたがって、選択された選択項目に対応する画面をテーブルの上面に投影する。

図７は、実施の形態に係る選択された選択項目に対応する画面の表示例を示す図である。例えば、図６Ｂでユーザが選択した選択項目Ｂに対応する機能が、空調機の温度を変更する機能であった場合、図７に示す画面は空調機の温度を変更する画面である。この場合、ユーザは、空調機の温度を変更する画面に表示された操作釦（図７の白抜き矢印）を操作することにより空調機の温度の上げ下げを行う。

入力装置１の接触検出部１２は、図４および図５の場合と同様に、深度値の分布情報を用いてユーザ領域Ｕを決定し、骨格Ｓを抽出する。ユーザの手の側面がテーブルの上面に接触すると、接触検出部１２は、ユーザの手の側面の接触線を検出する。例えば、接触検出部１２は、ユーザの輪郭のうち、テーブル領域Ｔの深度値との差が閾値以下である点をつないだ線を接触線として検出する。接触検出部１２は、これらの解析結果を示す解析結果情報を角度検出部１３に送る。

角度検出部１３は、接触検出部１２から受け取った解析結果情報が示す骨格Ｓまたはユーザ領域Ｕの手のひらの領域の深度値の分布情報から、ユーザの手のひらの接触仰角および接触方位角を検出する。角度検出部１３は、ユーザの手のひらの接触仰角および接触方位角を示す角度情報を表示制御部１５に送る。表示制御部１５は、角度検出部１３から受け取った角度情報に基づいて、操作方向を決定する。

ここでは、右手のひらを左に傾けてパット操作を行い、ユーザの右手のひらに沿った平面の法線の接平面とのなす角度が鈍角であるほうが左、鋭角であるほうが右とする。どちらの手を使って左右どちらに傾けてパット操作を行うかは予め決められているものとする。また、前述のラップ操作での操作方向の決定方法と同様に、パット操作においても、ユーザの前腕の接平面に向かう方向を上とし、上下左右を決定してもよい。あるいは、ユーザの手のひらを基準として、手首の方向を下（手前）とし、右を高（大）、左を低（小）の方向にしてもよい。

表示制御部１５は、決定した操作方向に合わせた操作画面を生成し、接触線の位置を基準とする所定の位置に表示するよう指示する指示情報を投影装置３に送信する。投影装置３は、指示情報にしたがって操作画面を投影する。操作画面は、例えば、接触線の位置から、ユーザの右手のひらに沿った平面の法線の接平面とのなす角度が鈍角である側に２０ｃｍ離れた位置と、ユーザの右手のひらに沿った平面の法線の接平面とのなす角度が鋭角である側に１０ｃｍ離れた位置と、に表示される。

図７の例では、左向きのパット操作が温度を下げる操作、右向きのパット操作が温度を上げる操作とし、接触線の左側に−が表示された左向きの矢印、接触線の右側に＋が表示された右向きの矢印を表示する操作画面を投影する。パット操作において、ユーザの右手のひらに沿った平面の法線の接平面とのなす角度が鈍角である側は手の影ができやすいので、手の影を考慮して接触線からの位置が遠くなるように操作画面を投影することで、操作画面が手の影となって見えなくなることを防ぐことができる。なお、パット操作による正負の方向は一意に決まるので、操作方向の表示は片方でもよい。

入力装置１が備える機能は、ユーザにより選択された選択項目に対応する画面の表示に限らず、例えば、電気機器を制御する機能など、どのような機能であってもよい。入力装置１は、選択された選択項目に対応する機能を実行すればよい。

図８は、実施の形態に係る入力処理の動作の一例を示すフローチャートである。図８の入力処理は、深度センサ２、入力装置１および投影装置３の電源がＯＮになると開始する。

深度センサ２は、物体の深度を検出し（ステップＳ１１）、検出した深度値の分布情報を生成し、入力装置１に送信する（ステップＳ１２）。深度センサ２は、電源がＯＦＦになっていなければ（ステップＳ１３；ＮＯ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ１３を繰り返す。深度センサ２は、電源がＯＦＦになると（ステップＳ１３；ＹＥＳ）、処理を終了する。

入力装置１の深度取得部１１は、深度センサ２から深度値の分布情報を受信し（ステップＳ２１）、接触検出部１２に送る。接触検出部１２は、深度取得部１１から受け取った深度値の分布情報を解析し、テーブルの上面にユーザの手が接触したか否かを判定する（ステップＳ２２）。

テーブルの上面にユーザの手が接触したと判定していない場合（ステップＳ２２；ＮＯ）、ステップＳ２１に戻り、ステップＳ２１およびステップＳ２２を繰り返す。テーブルの上面にユーザの手が接触したと判定した場合（ステップＳ２２；ＹＥＳ）、接触検出部１２は、接触点、接触線または接触領域を検出する（ステップＳ２３）。接触検出部１２は、検出した接触点、接触線または接触領域の位置を示す接触位置情報を表示制御部１５に送り、深度値の分布情報を角度検出部１３に送る。次に、角度検出部１３は、操作画面が表示中であるか否かを判定する（ステップＳ２４）。

操作画面がまだ表示されていない場合（ステップＳ２４；ＮＯ）、角度検出部１３は、接触検出部１２から受け取った深度値の分布情報を解析し、接平面に対する角度（接触仰角および接触方位角）を検出する（ステップＳ２５）。角度検出部１３は、接触仰角および接触方位角を示す角度情報を表示制御部１５に送る。表示制御部１５は、角度検出部１３から受け取った角度情報に基づいて、操作方向を決定する（ステップＳ２６）。

表示制御部１５は、決定した操作方向に合わせた操作画面を生成し、接触検出部１２から受け取った接触位置情報が示す接触点、接触線または接触領域の位置を基準とする所定の位置に操作画面を表示させる指示情報を生成し、投影装置３に送信する（ステップＳ２７）。処理はステップＳ３０に移行する。

一方、操作画面が表示中である場合（ステップＳ２４；ＹＥＳ）、接触検出部１２は、検出した接触点、接触線または接触領域の位置を示す接触位置情報から選択された選択項目を特定する（ステップＳ２８）。入力装置１は、選択された選択項目に対応する機能を実行する（ステップＳ２９）。このとき、選択された選択項目に対応する画面の表示である場合には、接触検出部１２は、選択された選択項目を示す選択情報を表示制御部１５に送る。表示制御部１５は、接触検出部１２から受け取った選択情報が示す選択項目に対応する画面を生成し、所定の位置に選択された選択項目に対応する画面を表示するよう指示する指示情報を生成して投影装置３に送信する。

入力装置１は、電源がＯＦＦになっていなければ（ステップＳ３０；ＮＯ）、ステップＳ２１に戻り、ステップＳ２１〜ステップＳ３０を繰り返す。入力装置１は、電源がＯＦＦになると（ステップＳ３０；ＹＥＳ）、処理を終了する。

投影装置３は、入力装置１から操作画面を表示させる指示情報を受信する（ステップＳ３１）。投影装置３は、入力装置１から受信した指示情報にしたがって、操作画面をテーブルの上面４１に投影する（ステップＳ３２）。選択された選択項目に対応する画面の表示である場合には、投影装置３は、入力装置１から選択された選択項目に対応する画面を表示するよう指示する指示情報を受信する。投影装置３は、入力装置１から受信した指示情報にしたがって、選択された選択項目に対応する画面をテーブルの上面に投影する。

投影装置３は、電源がＯＦＦになっていなければ（ステップＳ３３；ＮＯ）、ステップＳ３１に戻り、ステップＳ３１〜ステップＳ３３を繰り返す。投影装置３は、電源がＯＦＦになると（ステップＳ３３；ＹＥＳ）、処理を終了する。

本実施の形態の入力システム１００によれば、対象物の任意の場所に、ユーザ（操作者）の操作方向に合わせて操作画面を表示することを可能になり、操作性が向上する。

上記の実施の形態では、対象物はテーブルの上面であって、対象物に接触する物体はユーザの手であるが、これに限らない。対象物の形状はテーブルの上面のような水平な平面だけでなく、壁面のような垂直な平面、円柱、球、階段状など、操作画面を投影可能な形状であればなんでもよい。この場合、入力装置１の表示制御部１５は、対象物の形状に合わせた操作画面を生成するとよい。対象物に接触する物体は、例えば差し棒やペンなど、接平面から延びている方向が規定できる形状の物体であればなんでもよい。

上記の実施の形態では、深度センサ２および投影装置３を天井に備えるが、これに限らない。深度センサ２は、対象物に接触した物体の接触仰角および接触方位角が検出できる深度値の分布情報を生成可能な位置に備えればよい。投影装置３は、操作画面を対象物に投影できる位置に備えればよい。また、上記の実施の形態では、接触仰角と接触方位角に基づいて操作画面の表示位置を決定する例について説明したが、これに限らず、接触仰各と接触方位角以外の他のパラメータに基づいて操作画面の表示位置を決定するものであってもよい。例えば、操作画面の表示位置が肘の曲がり角や指の接触本数に基づいて決定されてもよい。

上記の実施の形態では、対象物の表示面（テーブルの上面など）に物体（ユーザの手など）が接触したと判定したときに操作画面を表示する。これだけでなく、操作画面を表示しておいて、物体（ユーザの手など）が対象物の表示面に近づくのを検知して、操作画面の向きと位置を変化させてもよい。例えば、手を表示面に近づけると、手と腕の伸びている方向に合わせて、操作画面の向きを変化させ、手の先に操作画面を近づける。この場合、操作画面が表示されているので、ユーザにとって操作がわかりやすく、操作を開始するのが容易である。

図９は、実施の形態に係る入力装置のハードウェア構成の一例を示すブロック図である。制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９にしたがって、接触検出部１２、角度検出部１３および表示制御部１５の各処理を実行する。

主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、入力装置１の処理を制御部３１に行わせるためのプログラムを予め記憶し、また、制御部３１の指示にしたがって、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。記憶部１４は、外部記憶部３３に構成される。

操作部３４はキーボードおよびマウスなどのポインティングデバイスなどと、キーボードおよびポインティングデバイスなどを内部バス３０に接続するインタフェース装置から構成されている。システム管理者が入力装置１に情報を入力する場合は、操作部３４を介して、入力された情報が制御部３１に供給される。

表示部３５は、ＣＲＴまたはＬＣＤなどから構成されている。システム管理者が入力装置１に情報を入力する場合は、表示部３５は、操作画面を表示する。

送受信部３６は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部３６は、深度取得部１１および表示制御部１５として機能する。

図３に示す深度取得部１１、接触検出部１２、角度検出部１３、記憶部１４および表示制御部１５の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５および送受信部３６を資源として用いて処理することによって実行する。

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。

制御部３１、主記憶部３２、外部記憶部３３、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する入力装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで入力装置１を構成してもよい。

また、入力装置１の機能を、ＯＳとアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態および変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内およびそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段と、前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段と、前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を投影装置に送信する表示制御手段と、を有する入力装置と、
前記入力装置から受信した前記指示情報にしたがって、前記操作画面を前記対象物に投影する前記投影装置と、
を備えることを特徴とする入力システム。

（付記２）
前記角度検出手段は、前記接触検出手段が接触点を検出した場合、前記対象物に接触した物体の、前記接触点を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記１に記載の入力システム。

（付記３）
前記角度検出手段は、前記接触検出手段が接触線を検出した場合、前記対象物に接触した物体の、前記接触線を基準として延びている二次元の方向の法線の接平面に対する仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記１または２に記載の入力システム。

（付記４）
前記角度検出手段は、前記接触検出手段が接触領域を検出した場合、前記対象物に接触した物体の、前記接触領域を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記１ないし３のいずれかに記載の入力システム。

（付記５）
前記接触検出手段は、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記対象物における前記操作画面の投影対象面への前記物体の接触を検出する、付記１から４のいずれかに記載の入力システム。

（付記６）
前記角度検出手段は、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記投影対象面に接触した前記物体の、前記投影対象面に対する前記接触仰角および前記接触方位角を検出する、付記１から５のいずれかに記載の入力システム。

（付記７）
投影装置と接続される入力装置であって、
対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段と、
前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段と、
前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を前記投影装置に送信する表示制御手段と、
を備えることを特徴とする入力装置。

（付記８）
前記角度検出手段は、前記接触検出手段が接触点を検出した場合、前記対象物に接触した物体の、前記接触点を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記７に記載の入力装置。

（付記９）
前記角度検出手段は、前記接触検出手段が接触線を検出した場合、前記対象物に接触した物体の、前記接触線を基準として延びている二次元の方向の法線の接平面に対する仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記７または８に記載の入力装置。

（付記１０）
前記角度検出手段は、前記接触検出手段が接触領域を検出した場合、前記対象物に接触した物体の、前記接触領域を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記７から９のいずれかに記載の入力装置。

（付記１１）
前記接触検出手段は、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記対象物における前記操作画面の投影対象面への前記物体の接触を検出する、付記７から１０のいずれかに記載の入力装置。

（付記１２）
前記角度検出手段は、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記投影対象面に接触した前記物体の、前記投影対象面に対する前記接触仰角および前記接触方位角を検出する、付記７から１１のいずれかに記載の入力装置。

（付記１３）
入力装置が実行する
対象物における操作画面の投影対象面への物体の接触を検出する接触検出ステップと、
前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出ステップと、
前記角度検出ステップで検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を投影装置に送信する表示制御ステップと、
前記投影装置が実行する
前記入力装置から受信した前記指示情報にしたがって、前記操作画面を前記対象物に投影するステップと、
を備えることを特徴とする入力方法。

（付記１４）
前記角度検出ステップでは、前記接触検出ステップで接触点を検出した場合、前記対象物に接触した物体の、前記接触点を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記１３に記載の入力方法。

（付記１５）
前記角度検出ステップでは、前記接触検出ステップで接触線を検出した場合、前記対象物に接触した物体の、前記接触線を基準として延びている二次元の方向の法線の接平面に対する仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記１３または１４に記載の入力方法。

（付記１６）
前記角度検出ステップでは、前記接触検出ステップで接触領域を検出した場合、前記対象物に接触した物体の、前記接触領域を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする付記１３から１５のいずれかに記載の入力方法。

（付記１７）
前記接触検出ステップでは、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記対象物における前記操作画面の投影対象面への前記物体の接触を検出する、付記１３から１６のいずれかに記載の入力方法。

（付記１８）
前記角度検出ステップでは、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記投影対象面に接触した前記物体の、前記投影対象面に対する前記接触仰角および前記接触方位角を検出する、付記１３から１７のいずれかに記載の入力方法。

（付記１９）
投影装置と接続されるコンピュータを、
対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段、
前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段、
前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を前記投影装置に送信する表示制御手段、
として機能させることを特徴とするプログラムを格納する記録媒体。

本発明は、２０１５年１月２６日に出願された日本国特許出願２０１５−０１２６８３号に基づく。本明細書中に日本国特許出願２０１５−０１２６８３号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

１ 入力装置
２ 深度センサ
３ 投影装置
１１ 深度取得部
１２ 接触検出部
１３ 角度検出部
１４ 記憶部
１５ 表示制御部
３０ 内部バス
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 操作部
３５ 表示部
３６ 送受信部
３９ 制御プログラム
４１ 上面
１００ 入力システム
Ｆ 床領域
Ｐ１〜Ｐ９ 端点
Ｓ 骨格
Ｔ テーブル領域
Ｕ ユーザ領域

本発明は、入力システム、入力装置、入力方法、および、プログラムに関する。

本発明の第４の観点に係るにかかるプログラムは、
投影装置と接続されるコンピュータを、
対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段、
前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段、
前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を前記投影装置に送信する表示制御手段、
として機能させることを特徴とする。

Claims (9)

1. 対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段と、前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段と、前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を投影装置に送信する表示制御手段と、を有する入力装置と、
   前記入力装置から受信した前記指示情報にしたがって、前記操作画面を前記対象物に投影する前記投影装置と、
   を備えることを特徴とする入力システム。
2. 前記角度検出手段は、前記接触検出手段が接触点を検出した場合、前記対象物に接触した物体の、前記接触点を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする請求項１に記載の入力システム。
3. 前記角度検出手段は、前記接触検出手段が接触線を検出した場合、前記対象物に接触した物体の、前記接触線を基準として延びている二次元の方向の法線の接平面に対する仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする請求項１または２に記載の入力システム。
4. 前記角度検出手段は、前記接触検出手段が接触領域を検出した場合、前記対象物に接触した物体の、前記接触領域を基準として延びている一次元の方向の仰角および方位角である前記接触仰角および前記接触方位角を検出することを特徴とする請求項１ないし３のいずれか１項に記載の入力システム。
5. 前記接触検出手段は、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記対象物における前記操作画面の投影対象面への前記物体の接触を検出する、
   請求項１から４のいずれか１項に記載の入力システム。
6. 前記角度検出手段は、前記対象物を含む領域の前記物体の深度を示す深度値の分布情報を解析することにより、前記投影対象面に接触した前記物体の、前記投影対象面に対する前記接触仰角および前記接触方位角を検出する、
   請求項１から５のいずれか１項に記載の入力システム。
7. 投影装置と接続される入力装置であって、
   対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段と、
   前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段と、
   前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を前記投影装置に送信する表示制御手段と、
   を備えることを特徴とする入力装置。
8. 入力装置が実行する
   対象物における操作画面の投影対象面への物体の接触を検出する接触検出ステップと、
   前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出ステップと、
   前記角度検出ステップで検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を投影装置に送信する表示制御ステップと、
   前記投影装置が実行する
   前記入力装置から受信した前記指示情報にしたがって、前記操作画面を前記対象物に投影するステップと、
   を備えることを特徴とする入力方法。
9. 投影装置と接続されるコンピュータを、
   対象物における操作画面の投影対象面への物体の接触を検出する接触検出手段、
   前記投影対象面に接触した前記物体の、前記投影対象面に対する接触仰角および接触方位角を検出する角度検出手段、
   前記角度検出手段が検出した前記接触仰角および前記接触方位角に基づいて、前記投影対象面の前記物体との接触位置を基準とする所定の位置に前記操作画面を表示させる指示情報を前記投影装置に送信する表示制御手段、
   として機能させることを特徴とするプログラムを格納する記録媒体。

Images