JP6898021B2 - 操作入力装置、操作入力方法、及びプログラム - Google Patents

Description

本発明は、空中に表示された画面へのタッチによる入力操作を可能にする、操作入力装置、及び操作入力方法に関し、更には、これらを実現するためのプログラムに関する。

近年、操作用の画面を空中に投影し、ユーザが空中に投影された画面（以下「空中投影面」と表記する）をタッチすることによって、操作入力を行えるようにする、操作装置が提案されている（例えば、特許文献１参照）。特許文献１によって提案されている操作装置は、表示装置と、表示装置の画面を空中に結像する画像結像プレートと、カメラと、距離センサと、制御ユニットとで構成されている。

このうち、画像結像プレートは、特定の位置にある画像の放つ光を、画像結像プレートから見て反対側の同じ距離の位置に集めて、同じ画像を形成する機能を備えている（例えば、特許文献２参照）。このため、表示装置に表示された画面から放たれた光が、画像結像プレートを通過すると、画面は空中に投影されることになる。

また、上記特許文献１に開示された操作装置では、カメラは、空中投影面とユーザの指とを撮影し、撮影画像を制御ユニットに入力する。距離センサは、それからユーザの指先までの距離を測定し、測定した距離を制御ユニットに入力する。

制御ユニットは、まず、撮影画像に映ったユーザの指先の画像上の位置と、距離センサで測定された距離とを、換算式に代入して、ユーザの指の空中投影面での座標を算出する。また、このときに用いられる換算式は、空中投影面の位置座標と、カメラの情報（位置、画角、焦点距離等）とから、予め定められている。

続いて、制御ユニットは、算出した座標に基づいて、ユーザの指と空中投影面に表示された操作用のアイコンとの重なりを判定し、判定結果に基づいて、ユーザによる入力操作を特定する。このような構成により、ユーザは、空中に表示された画面をタッチすることで、入力操作を行うことができる。

特開２０１７−６２７０９号公報 特開２０１２−１４１９４号公報

しかしながら、上記特許文献１に開示された操作装置には、ユーザの指先が空中の操作画面よりも奥に位置してしまうと、空中投影面におけるユーザの指の接触位置の座標を正確に検出できなくなるという問題がある。

具体的には、ユーザの指先が空中の空中投影面よりも奥に位置してしまうと、距離センサによって測定された距離は、ユーザが意図している接触位置での距離よりも短くなってしまう。この結果、例えば、空中投影面の中心位置での距離が最も短くなるように、距離センサが設置されているとすると、上述した換算式により、空中投影面におけるユーザの指の座標は、実際よりも画面の中央側に移動してしまう。

本発明の目的の一例は、上記問題を解消し、ユーザが、空中に表示された画面をタッチして、入力操作を行う場合において、ユーザの誤操作によるタッチ位置の検出精度の低下を抑制し得る、操作入力装置、操作入力方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における操作入力装置は、
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、制御装置と、を備え
前記センサ装置は、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力し、
前記制御装置は、
前記センサデータから、前記物体の前記空中投影面における位置を検出し、
更に、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定し、そして、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、
ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における操作入力方法は、
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を用い、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力方法であって、
（ａ）前記コンピュータによって、前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記コンピュータによって、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）前記コンピュータによって、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を有する、
ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を備え、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力装置において、
前記コンピュータに、
（ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を実行させる、
ことを特徴とする。

以上のように、本発明によれば、ユーザが、空中に表示された画面をタッチして、入力操作を行う場合において、ユーザの誤操作によるタッチ位置の検出精度の低下を抑制することができる。

図１は、本発明の実施の形態における操作入力装置の構成を示す構成図である。 図２は、本発明の実施の形態における操作入力装置に用いられるセンサ装置の機能を説明する図である。 図３は、本発明の実施の形態における操作入力装置に備えられたセンサ装置のセンシング結果の一例を示す図である。 図４は、本発明の実施の形態における操作入力装置の動作を示すフロー図である。 図５は、本発明の実施の形態における操作入力装置の制御装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、操作入力装置、操作入力方法、及びプログラムについて、図１〜図５を参照しながら説明する。

［装置構成］
最初に、本実施の形態における操作入力装置の構成について説明する。図１は、本発明の実施の形態における操作入力装置の構成を示す構成図である。

図１に示す、本実施の形態における操作入力装置１００は、空中に表示された画面へのタッチによる入力操作を可能にする装置である。図１に示すように、操作入力装置１００は、表示装置１０と、光学プレート２０と、センサ装置３０と、制御装置４０とを備えている。

表示装置１０は、入力用の操作画面を表示する。光学プレート２０は、操作画面を空中に投影して空中投影面２１を生成する。センサ装置３０は、空中投影面２１に接触する物体５０の３次元空間上での位置を検出するための装置である。図１の例では、物体５０は、操作入力を行うユーザの指である。

センサ装置３０は、空中投影面２１の背面側に配置されている。センサ装置３０は、センシングエリアにおける物体５０の２次元座標を特定するための情報と、センサ装置３０から物体５０までの深度とを含む、センサデータを出力する。

制御装置４０は、操作入力特定部４１と、図形設定部４２と、深度補正部４３とを備えている。操作入力特定部４１は、センサ装置３０が出力したセンサデータから、物体５０の、空中投影面２１における位置を検出する。そして、操作入力特定部４１は、検出した物体５０の位置に応じて、操作画面に対して行われた操作入力を特定する。

また、図形設定部４２は、センサデータから、物体５０の一部分が、空中投影面２１のセンサ装置３０側に位置していることを検出すると、センサデータにおいて、この物体の一部分を囲む図形を設定する。深度補正部４３は、図形設定部４２が設定した図形の外縁の深度を用いて、物体５０の空中投影面２１における位置を補正する。

このように、本実施の形態では、例えば、ユーザの指先が空中投影面よりも奥に位置してしまった場合に、指の位置が補正される。このため、本実施の形態によれば、ユーザが、空中に表示された操作画面をタッチして、入力操作を行う場合において、ユーザの誤操作によってタッチ位置の検出精度が低下してしまう事態が回避される。

続いて、図２及び図３を用いて、本実施の形態における操作入力装置１００の構成及び機能についてより詳細に説明する。図２は、本発明の実施の形態における操作入力装置に用いられるセンサ装置の機能を説明する図である。図３は、本発明の実施の形態における操作入力装置に備えられたセンサ装置のセンシング結果の一例を示す図である。

まず、本実施の形態において、表示装置１０は、液晶表示装置等である。光学プレート２０としては、上述した特許文献２に開示された画像結像プレートが用いられている。光学プレート２０は、表示装置１０の画面に表示された画像の放つ光を、画像結像プレートから見て反対側の同じ距離の位置に集めて、同じ画像を形成する機能を備えている。

センサ装置３０は、本実施の形態では、デプスセンサである。デプスセンサは、センシングを行うと、センシングによって得られた画像の画像データと、画像の画素毎に付加された深度（デプス）とを、センサデータとして出力する。また、本実施の形態においては、センサ装置３０として、カメラと距離センサとで構成された装置が用いられていても良い。

そして、センサデータに含まれる画像データによれば、センシングエリアにおける物体５０の２次元座標を特定することが可能となる。具体的には、図２に示すように、センサデータに含まれる画像データによれば、物体５０における、画像の垂直方向（Ｖ軸方向）の位置と、画像の水平方向（Ｈ軸方向）の位置とが特定可能となる。また、センサデータに含まれる深度によれば、物体５０とセンサ装置３０とのＺ軸方向における距離の特定が可能となる。Ｚ軸は、センサ装置３０のセンシング面の法線に沿った軸である。

制御装置４０において、操作入力特定部４１は、本実施の形態では、センサデータを受け取ると、画像データと、画像の画素毎に付加された各深度とから、物体５０の最も先端側（センサ装置３０側）の部分の３次元空間での位置を特定する。そして、操作入力特定部４１は、特定した位置を、空中投影面２１上の位置に換算する。

具体的には、操作入力特定部４１は、まず、物体の５０の最も先端側の部分を抽出する。そして、操作入力特定部４１は、センサデータから、抽出した部分の３次元空間での位置、即ち、Ｘ軸上の座標、Ｙ軸上の座標、及び深度を特定する。

そして、図２に示すように、空中投影面２１での垂直方向（Ｙ軸方向）及び水平方向（Ｘ軸方向）と、センサ装置３０におけるＶ軸方向、Ｈ軸方向及びＺ軸方向との位置関係は、予め決まっている。従って、操作入力特定部４１は、この位置関係から求められる換算式に、物体５０の最も先端側の部分の３次元空間での位置を代入することによって、物体５０の、空中投影面２１の垂直方向における位置と、空中投影面２１の水平方向における位置とを検出する。

図形設定部４２は、物体５０の一部分が、空中投影面２１のセンサ装置３０側に位置していると（図２において破線で示された状態）、センサデータから、そのことを検出する。具体的には、図形設定部４２は、センサデータから、物体５０の最も先端側の部分のＺ座標（深度）が閾値以上であるかどうかを判定する。判定の結果、閾値以上でない（閾値より小さい）場合は、図形設定部４２は、物体５０の一部分は、空中投影面２１のセンサ装置３０側に位置しいていると判定する。

また、閾値は、物体５０の位置に応じて設定される。例えば、図２において、物体５０が空中投影面２１の上側にあるときの閾値は、物体５０が空中投影面２１の下方側にあるときの閾値に比べて小さい値となる。

また、図４に示すように、図形設定部４２は、本実施の形態では、センサデータにおいて物体５０の最も先端側の部分を囲む矩形を設定する。このように矩形を設定するのは、空中投影面２１のＸ軸方向とセンサデータのＨ軸方向とは一致するが、空中投影面２１のＹ軸方向とセンサデータのＶ軸方向とは一致せず、物体５０の一部分が空中投影面２１のセンサ装置３０側に位置すると、Ｙ軸方向の位置に誤差が生じるからである。

深度補正部４３は、本実施の形態では、設定された矩形の、Ｖ軸方向側にある２辺のうちのいずれか一辺における深度を用いて、操作入力特定部４１が検出した、物体５０の、空中投影面２１の垂直方向における位置を補正する。

また、Ｖ軸方向側にある２辺のうちのいずれの辺の深度を用いるかは、物体５０の位置に応じて決定される。例えば、センサ装置３０のセンシング面の中央を通る法線と空中投影面２１との交点よりも、物体５０が垂直方向において下側にあるときは、Ｖ軸方向において上側の辺の深度によって補正が行われる。一方、物体５０が、この交点よりも垂直方向において上側にあるときは、Ｖ軸方向において下側の辺の深度によって補正が行われる。

更に、空中投影面２１とセンサ装置３０との位置関係に応じては、Ｈ軸方向側にある辺が用いられても良い。更に、これらの位置関係によっては、矩形以外の図形が設定されても良い。また、これらの位置関係に応じて、物体５０の空中投影面２１の水平方向における位置のみが補正される態様であっても良いし、垂直方向及び水平方向の両方向における位置が補正される態様であっても良い。

［装置動作］
次に、本実施の形態における操作入力装置１００の動作について図４を用いて説明する。図４は、本発明の実施の形態における操作入力装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図３を参酌する。また、本実施の形態では、操作入力装置１００を動作させることによって、操作入力方法が実施される。よって、本実施の形態における操作入力方法の説明は、以下の操作入力装置１００の動作説明に代える。

まず、センサ装置３０は、設定間隔をおいて、センサデータを連続して出力しているとする。制御装置４０は、センサデータが出力されてくると、その度に、これを受け取り、以下の処理を実行する。

図４に示すように、最初に、制御装置４０において、操作入力特定部４１は、センサデータに含まれる画像データと各深度とから、物体５０の最も先端側（センサ装置３０側）の部分を抽出する（ステップＡ１）。

次に、操作入力特定部４１は、ステップＡ１で特定した部分の３次元空間での位置を特定し、特定した位置から、物体５０の最も先端側の部分の空中投影面２１上の位置を検出する（ステップＡ２）。

具体的には、操作入力特定部４１は、センサデータから、抽出した部分の３次元空間での位置、即ち、Ｘ軸上の座標、Ｙ軸上の座標、及び深度を特定する。そして、操作入力特定部４１は、位置関係から求められる換算式に、特定した３次元空間での位置を代入し、物体５０の最も先端側の部分の、空中投影面２１の垂直方向における位置と、空中投影面２１の水平方向における位置とを検出する。

次に、図形設定部４２は、センサデータから、物体５０の最も先端側の部分のＺ座標（深度）が閾値以上であるかどうかを判定する（ステップＡ３）。

ステップＡ３の判定の結果、Ｚ座標が閾値以上である場合は、図形設定部４２は、そのことを操作入力特定部４１に通知する。これにより、操作入力特定部４１は、ステップＡ２で検出した位置に基づいて、ユーザの操作入力を特定する（ステップＡ４）。

一方、ステップＡ３の判定の結果、Ｚ座標が閾値以上でない（閾値より小さい）場合は、物体の最も先端側の部分は、空中投影面２１のセンサ装置３０側に位置している。従って、図３に示すように、図形設定部４２は、センサデータにおいて物体５０の最も先端側の部分を囲む矩形を設定する（ステップＡ５）。

次に、深度補正部４３は、物体５０の位置に応じて、設定された矩形の一辺を選択し、選択した一辺における深度を用いて、ステップＡ２で検出された、物体５０の最も先端側の部分の空中投影面２１上の位置を補正する（ステップＡ６）。

ステップＡ６が実行されると、深度補正部４３は、位置が補正されたことを操作入力特定部４１に通知する。これにより、操作入力特定部４１は、補正後の位置に基づいて、ユーザの操作入力を特定する（ステップＡ４）。

上述のステップＡ１からＡ４は、操作入力装置１００の起動が停止されるまで、繰り返し実行される。

以上のように本実施の形態では、ユーザの指先といった物体５０が、空中投影面２１よりも奥に位置してしまった場合は、物体５０の空中投影面２１上の位置が補正される。従って、本実施の形態によれば、ユーザが空中投影面２１上の操作画面をタッチして入力操作を行う場合において、ユーザが誤操作を行っても、タッチ位置の検出精度の低下が抑制される。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における操作入力装置１００の制御装置４０を実現することができる。この場合、コンピュータのプロセッサは、操作入力特定部４１、図形設定部４２、及び深度補正部４３として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、操作入力特定部４１、図形設定部４２、及び深度補正部４３のいずれかとして機能しても良い。

ここで、本実施の形態におけるプログラムを実行することによって、操作入力装置１００の制御装置４０を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における操作入力装置の制御装置を実現するコンピュータの一例を示すブロック図である。

図５に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における制御装置４０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、制御装置４０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、制御装置と、を備え
前記センサ装置は、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力し、
前記制御装置は、
前記センサデータから、前記物体の前記空中投影面における位置を検出し、
更に、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定し、そして、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、
ことを特徴とする操作入力装置。

（付記２）
付記１に記載の操作入力装置であって、
前記制御装置は、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とする操作入力装置。

（付記３）
付記２に記載の操作入力装置であって、
前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とする操作入力装置。

（付記４）
付記１〜３のいずれかに記載の操作入力装置であって、
前記制御装置は、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とする操作入力装置。

（付記５）
付記１〜４のいずれかに記載の操作入力装置であって、
前記センサ装置が、デプスセンサである、
ことを特徴とする操作入力装置。

（付記６）
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を用い、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力方法であって、
（ａ）前記コンピュータによって、前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記コンピュータによって、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）前記コンピュータによって、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を有する、
ことを特徴とする操作入力方法。

（付記７）
付記６に記載の操作入力方法であって、
前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とする操作入力方法。

（付記８）
付記７に記載の操作入力方法であって、
前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とする操作入力方法。

（付記９）
付記６〜８のいずれかに記載の操作入力方法であって、
前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とする操作入力方法。

（付記１０）
付記６〜９のいずれかに記載の操作入力方法であって、
前記センサ装置が、デプスセンサである、
ことを特徴とする操作入力方法。

（付記１１）
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を備え、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力装置において、
前記コンピュータに、
（ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、
を実行させる、プログラム。

（付記１２）
付記１１に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とするプログラム。

（付記１３）
付記１２に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とするプログラム。

（付記１４）
付記１１〜１３のいずれかに記載のプログラムであって、
前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とするプログラム。

（付記１５）
付記１１〜１４のいずれかに記載のプログラムであって、
前記センサ装置が、デプスセンサである、
ことを特徴とするプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年３月７日に出願された日本出願特願２０１８−４１１６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように、本発明によれば、ユーザが、空中に表示された画面をタッチして、入力操作を行う場合において、ユーザの誤操作によるタッチ位置の検出精度の低下を抑制することができる。本発明は、空中投影面での入力が行われる各種装置において有用である。

１０ 表示装置
２０ 光学プレート
２１ 空中投影面
３０ センサ装置
４０ 制御装置
４１ 操作入力特定部
４２ 図形設定部
４３ 深度補正部
５０ 物体
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (15)

1. 操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、制御装置と、を備え
   前記センサ装置は、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力し、
   前記制御装置は、
   前記センサデータから、前記物体の前記空中投影面における位置を検出し、
   更に、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定し、そして、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、
   ことを特徴とする操作入力装置。
2. 請求項１に記載の操作入力装置であって、
   前記制御装置は、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
   ことを特徴とする操作入力装置。
3. 請求項２に記載の操作入力装置であって、
   前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
   ことを特徴とする操作入力装置。
4. 請求項１〜３のいずれかに記載の操作入力装置であって、
   前記制御装置は、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
   ことを特徴とする操作入力装置。
5. 請求項１〜４のいずれかに記載の操作入力装置であって、
   前記センサ装置が、デプスセンサである、
   ことを特徴とする操作入力装置。
6. 操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を用い、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力方法であって、
   （ａ）前記コンピュータによって、前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
   （ｂ）前記コンピュータによって、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
   （ｃ）前記コンピュータによって、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を有する、
   ことを特徴とする操作入力方法。
7. 請求項６に記載の操作入力方法であって、
   前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
   ことを特徴とする操作入力方法。
8. 請求項７に記載の操作入力方法であって、
   前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
   ことを特徴とする操作入力方法。
9. 請求項６〜８のいずれかに記載の操作入力方法であって、
   前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
   ことを特徴とする操作入力方法。
10. 請求項６〜９のいずれかに記載の操作入力方法であって、
    前記センサ装置が、デプスセンサである、
    ことを特徴とする操作入力方法。
11. 操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を備え、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力装置において、
    前記コンピュータに、
    （ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
    （ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
    （ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、
    を実行させる、プログラム。
12. 請求項１１に記載のプログラムであって、
    前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
    ことを特徴とするプログラム。
13. 請求項１２に記載のプログラムであって、
    前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
    ことを特徴とするプログラム。
14. 請求項１１〜１３のいずれかに記載のプログラムであって、
    前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
    ことを特徴とするプログラム。
15. 請求項１１〜１４のいずれかに記載のプログラムであって、
    前記センサ装置が、デプスセンサである、
    ことを特徴とするプログラム。

Images