JP7534206B2 - 表示装置、表示方法、及び表示プログラム - Google Patents

Description

本発明は、表示画面に対してユーザーの非接触による入力操作を受け付ける表示装置、表示方法、及び表示プログラムに関する。

従来、表示パネルの表示画面に対して非接触で指示操作などの入力操作（画面操作）を行なうことが可能な表示装置が知られている。例えば、操作者を撮像した撮像画像に基づいて操作者の操作を受け付ける仮想操作面を形成し、操作者の動作を撮像画像から読み取って、操作者の一部と仮想操作面との位置関係に基づいて当該動作が操作であるか否かを判定するシステムが知られている（例えば特許文献１参照）。

特開２０１０－１５５５３号公報

しかし、従来の技術では、ユーザーが、設定された仮想操作面を視覚的に認識し難いため、仮想操作面に対する入力操作において位置ずれが生じる場合がある。例えば、ユーザーが表示画面に表示された選択ボタンを選択するために仮想操作面において指を奥行方向に移動させた場合に、指が奥行方向への移動に加えてユーザーの意図しない左右方向にも移動する場合がある。この場合、ユーザーが狙った位置からずれた位置に対する選択操作が受け付けられ、ユーザーの意図しない処理が実行されてしまう問題が生じる。

本発明の目的は、表示画面に対してユーザーの非接触による入力操作を受け付ける表示装置においてユーザーの仮想操作面に対する入力操作の位置ずれを抑制することが可能な表示装置、表示方法、及び表示プログラムを提供することにある。

本発明の一の態様に係る表示装置は、表示画面に対してユーザーの非接触による入力操作を受け付ける表示装置であって、前記表示画面に対応する仮想操作面に対する前記ユーザーの前記入力操作において、前記仮想操作面に対する前記ユーザーの操作指示部の垂直方向の移動量である第１移動量及び水平方向の移動量である第２移動量を取得する移動量取得部と、前記入力操作が所定の操作であるか否かを判定する入力操作判定部と、前記入力操作判定部により前記入力操作が前記所定の操作であると判定された場合に、前記第１移動量又は前記第２移動量を補正する補正処理を実行する移動量補正部と、前記補正処理後の前記第１移動量及び前記第２移動量に基づいて前記入力操作に応じた入力処理を実行する入力処理部と、を備え、前記移動量補正部は、前記入力操作判定部により前記入力操作が前記仮想操作面に対して前記ユーザーの操作指示部を垂直方向に移動させる第１操作であると判定された場合に、前記第２移動量を減少又は無視する前記補正処理を実行する。

本発明の他の態様に係る表示方法は、表示画面に対してユーザーの非接触による入力操作を受け付ける表示方法であって、一又は複数のプロセッサーが、前記表示画面に対応する仮想操作面に対する前記ユーザーの前記入力操作において、前記仮想操作面に対する前記ユーザーの操作指示部の垂直方向の移動量である第１移動量及び水平方向の移動量である第２移動量を取得する取得ステップと、前記入力操作が所定の操作であるか否かを判定する入力操作判定ステップと、前記入力操作判定ステップにおいて前記入力操作が前記所定の操作であると判定された場合に、前記第１移動量又は前記第２移動量を補正する補正処理を実行する補正ステップと、前記補正処理後の前記第１移動量及び前記第２移動量に基づいて前記入力操作に応じた入力処理を実行する入力ステップと、を実行し、前記補正ステップにおいて、前記入力操作判定ステップにおいて前記入力操作が前記仮想操作面に対して前記ユーザーの操作指示部を垂直方向に移動させる第１操作であると判定された場合に、前記第２移動量を減少又は無視する前記補正処理を実行する方法である。

本発明の他の態様に係る表示プログラムは、表示画面に対してユーザーの非接触による入力操作を受け付ける表示プログラムであって、前記表示画面に対応する仮想操作面に対する前記ユーザーの前記入力操作において、前記仮想操作面に対する前記ユーザーの操作指示部の垂直方向の移動量である第１移動量及び水平方向の移動量である第２移動量を取得する取得ステップと、前記入力操作が所定の操作であるか否かを判定する入力操作判定ステップと、前記入力操作判定ステップにおいて前記入力操作が前記所定の操作であると判定された場合に、前記第１移動量又は前記第２移動量を補正する補正処理を実行する補正ステップと、前記補正処理後の前記第１移動量及び前記第２移動量に基づいて前記入力操作に応じた入力処理を実行する入力ステップと、を一又は複数のプロセッサーに実行させ、前記補正ステップにおいて、前記入力操作判定ステップにおいて前記入力操作が前記仮想操作面に対して前記ユーザーの操作指示部を垂直方向に移動させる第１操作であると判定された場合に、前記第２移動量を減少又は無視する前記補正処理を実行させるプログラムである。

本発明によれば、表示画面に対してユーザーの非接触による入力操作を受け付ける表示装置においてユーザーの仮想操作面に対する入力操作の位置ずれを抑制することが可能である。

図１は、本発明の実施形態に係る表示装置の構成を示すブロック図である。 図２は、本発明の実施形態に係る表示装置における仮想操作面の一例を示す模式図である。 図３は、本発明の実施形態に係る表示装置における入力操作の一例を示す図である。 図４は、従来の表示装置における入力操作の一例を示す図である。 図５Ａは、本発明の実施形態に係る表示装置における入力操作の一例を示す図である。 図５Ｂは、本発明の実施形態に係る表示装置における入力操作の一例を示す図である。 図６は、本発明の実施形態に係る表示装置における入力操作の一例を示す図である。 図７は、本発明の実施形態に係る表示装置で実行される表示制御処理の手順の一例を説明するためのフローチャートである。 図８は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図９は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図１０は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図１１は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図１２は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図１３は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図１４は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図１５は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。 図１６は、本発明の実施形態に係る表示装置における仮想操作面の設定方法の一例を示す図である。

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

図１に示すように、本発明の実施形態に係る表示装置１は、制御部１１と、記憶部１２と、表示パネル１３と、操作部１４と、モーションセンサ１５とを備えている。図２には、表示装置１の模式図を示している。モーションセンサ１５は、表示パネル１３の上部に設置され、ユーザーの操作を検出する。

表示装置１は、表示画面１３Ａに対してユーザーの非接触による入力操作を受け付ける。例えば、表示装置１は、仮想操作面Ｒ２においてユーザーの前記入力操作を検出すると、表示画面１３Ａに対するユーザーの前記入力操作に応じた入力処理を実行する。例えば、ユーザーが仮想操作面Ｒ２の所定の位置をタッチ操作した場合に、表示装置１は、仮想操作面Ｒ２におけるタッチ位置に対応する表示画面１３Ａ上の位置を検出してタッチ入力を受け付ける。以下、表示装置１の具体的構成について説明する。

モーションセンサ１５は、例えば２個のカメラと３個の赤外線ＬＥＤとを備え、所定の検知範囲においてユーザーの前記入力操作を検知する。モーションセンサ１５は、検知情報を制御部１１に出力する。前記検知情報には、モーションセンサ１５を基準とした検出対象物（例えばユーザーの手、指先、スタイラスペン、支持棒など）の位置座標（Ｘ座標、Ｙ座標、Ｚ座標）が含まれる。モーションセンサ１５は、例えばユーザーの手（右手ＲＨ、左手ＬＨ）の甲（掌）、指の関節、指先などを検知することが可能である。モーションセンサ１５は、周知の技術を適用することができる。

表示パネル１３は、画像を表示するディスプレイであり、例えば液晶ディスプレイである。操作部１４は、マウス、キーボードなどの操作機器である。なお、操作部１４は、タッチパネルで構成されてもよい。

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。具体的には、記憶部１２には、操作領域情報Ｄ１、仮想操作面情報Ｄ２などのデータが記憶される。

操作領域情報Ｄ１は、表示パネル１３の表示画面１３Ａにおける操作領域Ｒ１を示す情報である。操作領域Ｒ１は、表示画面１３Ａのうちユーザーが仮想操作面Ｒ２を介して入力操作を行うことが可能な領域、すなわちユーザーの入力操作を受け付け可能な領域である。操作領域Ｒ１は、表示画面１３Ａの全領域に設定されてもよいし、表示画面１３Ａの一部の領域に設定されてもよい。例えば表示画面１３Ａの全領域が操作領域Ｒ１に設定される場合、操作領域情報Ｄ１には、操作領域Ｒ１を規定する座標情報として、表示画面１３Ａの四隅の座標Ｃ１１～Ｃ１４（図２参照）の情報が含まれる。操作領域情報Ｄ１は、操作領域Ｒ１が設定又は更新されるごとに記憶部１２に登録される。

仮想操作面情報Ｄ２は、表示画面１３Ａに対するユーザーの前記入力操作を受け付ける仮想操作面Ｒ２の領域を示す情報である。具体的には、仮想操作面Ｒ２は、操作領域Ｒ１に対応しており、仮想操作面Ｒ２を規定する四隅の座標Ｃ２１～Ｃ２４（図２参照）と操作領域Ｒ１を規定する座標Ｃ１１～Ｃ１４とが対応付けられる。仮想操作面情報Ｄ２には、仮想操作面Ｒ２を規定する四隅の座標Ｃ２１～Ｃ２４の情報が含まれる。仮想操作面情報Ｄ２は、仮想操作面Ｒ２が設定又は更新されるごとに記憶部１２に登録される。仮想操作面Ｒ２の大きさ及び位置は、予め設定されてもよいし、ユーザーの操作により設定されてもよい。

また、記憶部１２には、制御部１１に後述の表示制御処理（図７参照）を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、表示装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。なお、前記表示制御プログラムは、クラウドサーバーから配信されて記憶部１２に記憶されてもよい。

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより表示装置１を制御する。

具体的に、制御部１１は、図１に示すように、操作面設定部１１１、入力操作検出部１１２、入力処理部１１３、移動量取得部１１４、入力操作判定部１１５、及び移動量補正部１１６などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記表示制御プログラム及びに従った各種の処理を実行することによって、操作面設定部１１１、入力操作検出部１１２、入力処理部１１３、移動量取得部１１４、入力操作判定部１１５、及び移動量補正部１１６として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

操作面設定部１１１は、ユーザーの入力操作を受け付ける仮想操作面Ｒ２を設定する。例えば図２に示すように、操作面設定部１１１は、表示画面１３ＡからＺ方向に所定距離だけ離れた位置に仮想操作面Ｒ２を設定する。操作面設定部１１１は、予め設定された大きさの仮想操作面Ｒ２を予め設定された位置に設定してもよいし、ユーザーの操作に応じた大きさの仮想操作面Ｒ２をユーザーの指定した位置に設定してもよい。例えば、ユーザーは、所定のジェスチャー操作（詳細は後述）を行うことにより所望の大きさの仮想操作面Ｒ２を所望の位置に設定することができる。

入力操作検出部１１２は、ユーザーの入力操作を検出する。具体的には、入力操作検出部１１２は、操作面設定部１１１により設定された仮想操作面Ｒ２においてユーザーの前記入力操作を検出する。例えば、入力操作検出部１１２は、モーションセンサ１５から取得する検知情報に基づいて、仮想操作面Ｒ２における検知座標を検出し、当該検知座標から操作領域Ｒ１における入力座標を算出する。前記入力操作は、表示画面１３Ａに表示された画像に対するタッチ入力操作である。

ここで、仮想操作面Ｒ２と操作領域Ｒ１の比率を、「Ｗ２：Ｗ１＝Ｈ２：Ｈ１＝ａ：ｂ」とした場合（図２参照）、入力操作検出部１１２は、仮想操作面Ｒ２における検知座標［ｓｘ，ｓｙ］に基づいて、入力座標［ｄｘ、ｄｙ］をｄｘ＝ｓｘ×ｂ／ａ、ｄｙ＝ｓｙ×ｂ／ａの式で算出することができる。なお、表示解像度［ｒｘ，ｒｙ］は、Ｍｉｎ［ｄｘ、ｄｙ］＝［０，０］、Ｍａｘ［ｄｘ、ｄｙ］＝［ｄｘ、ｄｙ］である。

入力処理部１１３は、入力操作検出部１１２が仮想操作面Ｒ２においてユーザーの前記入力操作を検出した場合に、表示画面１３Ａに対するユーザーの前記入力操作に応じた入力処理を実行する。例えば、入力操作検出部１１２が仮想操作面Ｒ２において表示画面１３Ａに表示されたオブジェクト画像に対するユーザーのタッチ操作を検出した場合、入力処理部１１３は、タッチ位置に対応する表示画面１３Ａ上の位置を検出してタッチ入力を受け付ける。

例えば図３に示す商品注文画面に、前記オブジェクト画像として「注文」、「戻る」、「その他」の各選択ボタン画像が表示されている場合に、ユーザーが仮想操作面Ｒ２において右手ＲＨを上下左右方向（Ｘ方向及びＹ方向）に移動させると、入力処理部１１３は、当該移動操作に応じて表示画面１３Ａ上のカーソル画像を移動させる。ユーザーは所望の商品を注文する場合、表示画面１３Ａに表示された「注文」の選択ボタン画像を押下するために、前記カーソル画像が「注文」の選択ボタン画像に重なった状態で右手ＲＨの指を表示パネル１３側（Ｚ方向）に押し込む操作（選択操作）を行なう。入力操作検出部１１２が前記選択操作を検出すると、入力処理部１１３は、前記選択操作に対応する選択ボタン画像に割り当てられた処理を実行する。ここでは、入力処理部１１３は、「注文」の選択ボタン画像に割り当てられた注文処理を実行する。これにより、ユーザーは、表示画面１３Ａから離れた場所において、操作領域Ｒ１に対する入力操作を行うことができる。

ところで、従来の技術では、ユーザーが、設定された仮想操作面Ｒ２を視覚的に認識し難いため、仮想操作面Ｒ２に対する入力操作において位置ずれが生じる場合がある。例えば図４に示すように、ユーザーが表示画面１３Ａに表示された「注文」の選択ボタン画像を選択するために仮想操作面Ｒ２において指を表示パネル１３側（Ｚ方向）に移動させた場合に、指がＺ方向への移動に加えてユーザーの意図しない左右方向（Ｘ方向及びＹ方向）に移動してしまう場合がある。この場合、ユーザーが狙った位置からずれた位置に対する選択操作、例えば「戻る」の選択ボタン画像の選択操作が受け付けられ、ユーザーの意図しない処理が実行されてしまう問題が生じる。これに対して、本実施形態に係る表示装置１によれば、ユーザーの仮想操作面Ｒ２に対する入力操作の位置ずれを抑制することが可能である。以下、前記位置ずれを抑制するための具体的な構成について説明する。

移動量取得部１１４は、表示画面１３Ａに対応する仮想操作面Ｒ２に対するユーザーの前記入力操作において、仮想操作面Ｒ２に対するユーザーの操作指示部の垂直方向（Ｚ方向）の移動量である第１移動量Ｚ１及び水平方向（Ｘ方向及びＹ方向）の移動量である第２移動量を取得する。なお、前記操作指示部は、ユーザーの体の一部（手、指など）であってもよいし、ユーザーが把持した入力具（スライラスペン、支持棒など）であってもよい。

図５Ａには、ユーザーが右手ＲＨの指を表示画面１３Ａに対して垂直方向（Ｚ方向）に移動（押し込む）する操作（本発明の第１操作の一例）を行った場合のＺ方向の第１移動量Ｚ１と、Ｘ方向の第２移動量Ｘ１とを示している。また図５Ｂには、ユーザーが右手ＲＨの指を表示画面１３Ａに対して垂直方向（Ｚ方向）に移動（押し込む）する操作（第１操作）を行った場合のＺ方向の第１移動量Ｚ１と、Ｙ方向の第２移動量Ｙ１とを示している。このように、ユーザーが垂直方向に指を押し込む操作を意図して行った場合であっても、ユーザーが意図しないＸ方向及びＹ方向にも指が移動してしまうことがある。すなわち、図５Ａ及び図５Ｂでは、第１移動量Ｚ１はユーザーが意図した移動に対応する移動量であり、第２移動量Ｘ１、Ｙ１はユーザーが意図しない移動に対応する移動量である。

また図６には、ユーザーが右手ＲＨの指を表示画面１３Ａに対して水平方向（Ｘ方向）に移動する操作（第２操作）を行った場合のＸ方向の第２移動量Ｘ１と、Ｚ方向の第１移動量Ｚ１とを示している。このように、ユーザーが水平方向に指を移動する操作を意図して行った場合であっても、ユーザーが意図しないＺ方向にも指が移動してしまうことがある。すなわち、図６では、第２移動量Ｘ１はユーザーが意図した移動に対応する移動量であり、第１移動量Ｚ１はユーザーが意図しない移動に対応する移動量である。

移動量取得部１１４は、ユーザーの前記入力操作における第１移動量Ｚ１及び第２移動量Ｘ１、Ｙ１を取得する。移動量取得部１１４は、本発明の移動量取得部の一例である。

入力操作判定部１１５は、ユーザーの入力操作が所定の操作であるか否かを判定する。前記所定の操作は、例えばユーザーの手を表示画面１３Ａに対して垂直方向（Ｚ方向）に移動させる第１操作（本発明の第１操作の一例）、ユーザーの指を表示画面１３Ａに対して水平方向（Ｘ方向及びＹ方向）に移動させる第２操作（本発明の第２操作の一例）などである。前記所定の操作の情報は、記憶部１２に予め登録される。入力操作判定部１１５は、本発明の入力操作判定部の一例である。

具体的には、入力操作判定部１１５は、第１移動量Ｚ１が予め設定された第１設定値Ｓｔｈ１を超えた場合（Ｚ１＞Ｓｔｈ１の場合）に、前記入力操作が前記第１操作であると判定する。他の実施形態として、入力操作判定部１１５は、第１移動量Ｚ１の第２移動量Ｘ１、Ｙ１に対する比率が予め設定された第２設定値Ｓｔｈ２よりも大きい場合（（Ｚ１／Ｘ１）＞Ｓｔｈ２、又は、（Ｚ１／Ｙ１）＞Ｓｔｈ２の場合）に、前記入力操作が前記第１操作であると判定してもよい。

また、入力操作判定部１１５は、第２移動量Ｘ１、Ｙ１が予め設定された第３設定値Ｓｔｈ３を超えた場合（Ｘ１＞Ｓｔｈ３、又は、Ｙ１＞Ｓｔｈ３の場合）に、前記入力操作が前記第２操作であると判定する。他の実施形態として、入力操作判定部１１５は、第２移動量Ｘ１、Ｙ１の第１移動量Ｚ１に対するに比率が予め設定された第４設定値Ｓｔｈ４よりも大きい場合（（Ｘ１／Ｚ１）＞Ｓｔｈ４、又は、（Ｙ１／Ｚ１）＞Ｓｔｈ４の場合）に、前記入力操作が前記第２操作であると判定してもよい。

移動量補正部１１６は、入力操作判定部１１５により前記入力操作が前記所定の操作であると判定された場合に、第１移動量Ｚ１又は第２移動量Ｘ１、Ｙ１を補正する補正処理を実行する。具体的には、移動量補正部１１６は、入力操作判定部１１５により前記入力操作が仮想操作面Ｒ２に対してユーザーの指を垂直方向（Ｚ方向）に移動させる第１操作であると判定された場合に、第２移動量Ｘ１、Ｙ１を減少又は無視する補正処理を実行する。例えば、図５Ａ及び図５Ｂに示す例において、移動量補正部１１６は、前記入力操作が前記第１操作であると判定された場合に、第２移動量Ｘ１、Ｙ１を「０」に補正する。

また、移動量補正部１１６は、入力操作判定部１１５により前記入力操作が仮想操作面Ｒ２に対してユーザーの指を水平方向（Ｘ方向及びＹ１方向）に移動させる第２操作であると判定された場合に、第１移動量Ｚ１を減少又は無視する補正処理を実行する。例えば、図６に示す例において、移動量補正部１１６は、前記入力操作が前記第２操作であると判定された場合に、第１移動量Ｚ１を「０」に補正する。移動量補正部１１６は、本発明の移動量補正部の一例である。

入力処理部１１３は、第１移動量Ｚ１及び第２移動量Ｘ１、Ｙ１に基づいて前記入力操作に応じた入力処理を実行する。また、入力処理部１１３は、入力操作判定部１１５により前記入力操作が前記所定の操作であると判定された場合には、前記補正処理後の第１移動量Ｚ１´及び第２移動量Ｘ１´、Ｙ１´に基づいて前記入力操作に応じた入力処理を実行する。具体的には、入力処理部１１３は、第２移動量Ｘ１、Ｙ１と前記補正処理後の第１移動量Ｚ１´とに基づいて、表示画面１３Ａに表示されるカーソル画像（図３参照）を移動させる処理を行う。また、入力処理部１１３は、第１移動量Ｚ１と前記補正処理後の第２移動量Ｘ１´、Ｙ１´とに基づいて、表示画面１３Ａに表示される選択対象画像のうちカーソル画像（図３参照）が重なる選択対象画像（図３の「注文」の選択ボタン画像）を選択する処理を実行する。入力処理部１１３は、本発明の入力処理部の一例である。

例えば、図３に示すように、ユーザーが指を水平方向（左方向）に移動させる操作（第２操作）を行った場合に、入力処理部１１３は、第１移動量Ｚ１を無視して（Ｚ１´＝０）、第２移動量Ｘ１、Ｙ１に応じた位置にカーソル画像を移動させる。また例えば、図３に示すように、ユーザーが指を垂直方向（表示画面１３Ａ方向）に移動させる（押し込む）操作（第１操作）を行った場合に、入力処理部１１３は、第２移動量Ｘ１、Ｙ１を無視して（Ｘ１´＝０、Ｙ１´＝０）、第１移動量Ｚ１に応じて「注文」の選択ボタン画像の押下を受け付けて注文処理を実行する。

［表示制御処理］
以下、図７を参照しつつ、表示装置１の制御部１１によって実行される表示制御処理について説明する。

なお、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法（本発明の表示方法の一例）の発明として捉えることができ、ここで説明する表示制御処理に含まれる一又は複数のステップが適宜省略されてもよい。なお、前記表示制御処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記表示制御処理における各ステップを実行する場合を例に挙げて説明するが、複数のプロセッサーが当該表示制御処理における各ステップを分散して実行する表示制御方法も他の実施形態として考えられる。

先ずステップＳ１１において、制御部１１は、ユーザーの入力操作を検出したか否かを判定する。具体的には、制御部１１は、仮想操作面Ｒ２においてユーザーの前記入力操作を検出する。例えば、制御部１１は、モーションセンサ１５から取得する検知情報に基づいて、仮想操作面Ｒ２における検知座標を検出し、当該検知座標から表示画面１３Ａの操作領域Ｒ１における入力座標を算出する。制御部１１が前記入力操作を検出した場合（Ｓ１１：Ｙｅｓ）、処理はステップＳ１２に移行する。制御部１１が前記入力操作を検出しない場合（Ｓ１１：Ｎｏ）、処理はステップＳ１６に移行する。

ステップＳ１２において、制御部１１は、仮想操作面Ｒ２に対するユーザーの前記入力操作において、仮想操作面Ｒ２に対するユーザーの指の垂直方向（Ｚ方向）の移動量である第１移動量Ｚ１及び水平方向の移動量である第２移動量Ｘ１、Ｙ１を取得する。ステップＳ１２は、本発明の移動量取得ステップの一例である。

次にステップＳ１３において、制御部１１は、ユーザーの前記入力操作が仮想操作面Ｒ２に対してユーザーの指を垂直方向（Ｚ方向）に移動させる第１操作であるか否かを判定する。前記入力操作が前記第１操作である場合（Ｓ１３：Ｙｅｓ）、処理はステップＳ１４に移行する。前記入力操作が前記第１操作でない場合（Ｓ１３：Ｎｏ）、処理はステップＳ１３１に移行する。ステップＳ１３は、本発明の入力操作判定ステップの一例である。

ステップＳ１４では、制御部１１は、第２移動量Ｘ１、Ｙ１を減少又は無視する補正処理を実行する。図５Ａ及び図５Ｂに示す例において、制御部１１は、前記入力操作が前記第１操作であると判定した場合に、第２移動量Ｘ１、Ｙ１を「０」に補正する。その後、処理はステップＳ１５に移行する。ステップＳ１４は、本発明の移動量補正ステップの一例である。

ステップＳ１３１では、制御部１１は、ユーザーの前記入力操作が仮想操作面Ｒ２に対してユーザーの指を水平方向（Ｘ方向及びＹ方向）に移動させる第２操作であるか否かを判定する。前記入力操作が前記第２操作である場合（Ｓ１３１：Ｙｅｓ）、処理はステップＳ１３２に移行する。前記入力操作が前記第２操作でない場合（Ｓ１３１：Ｎｏ）、処理はステップＳ１５に移行する。ステップＳ１３１は、本発明の入力操作判定ステップの一例である。

ステップＳ１３２では、制御部１１は、第１移動量Ｚ１を減少又は無視する補正処理を実行する。図６に示す例において、制御部１１は、前記入力操作が前記第２操作であると判定した場合に、第１移動量Ｚ１を「０」に補正する。ステップＳ１３２は、本発明の移動量補正ステップの一例である。その後、処理はステップＳ１５に移行する。

ステップＳ１５において、制御部１１は、ユーザーの前記入力操作に応じた入力処理を実行する。

具体的には、制御部１１は、前記入力操作が前記第１操作であると判定して第２移動量Ｘ１、Ｙ１を「０」に補正した場合（Ｓ１４）、第１移動量Ｚ１と前記補正処理後の第２移動量Ｘ１´、Ｙ１´（Ｘ１´＝０、Ｙ１´＝０）とに基づいて、表示画面１３Ａに表示される選択対象画像のうちカーソル画像（図３参照）が重なる選択対象画像を選択する処理を実行する。

また、制御部１１は、前記入力操作が前記第２操作であると判定して第１移動量Ｚ１を「０」に補正した場合（Ｓ１３２）、第２移動量Ｘ１、Ｙ１と前記補正処理後の第１移動量Ｚ１´（Ｚ１´＝０）とに基づいて、表示画面１３Ａに表示されるカーソル画像（図３参照）を水平方向に移動させる処理を行う。

なお、制御部１１は、前記入力操作が前記第１操作及び前記第２操作のいずれでもない場合（Ｓ１３１：Ｎｏ）、第１移動量Ｚ１と第２移動量Ｘ１、Ｙ１とに基づいて、表示画面１３Ａに表示されるカーソル画像を移動させる処理又は選択対象画像を選択する処理を行う。ステップＳ１５は、本発明の入力ステップの一例である。

ステップＳ１６において、制御部１１は、前記入力操作が終了したか否かを判定する。前記入力操作が終了した場合（Ｓ１６：Ｙｅｓ）、制御部１１は前記表示制御処理を終了する。前記入力操作が終了しない場合（Ｓ１６：Ｎｏ）、制御部１１はステップＳ１１に戻り上述の処理を繰り返す。

以上説明したように、本実施形態に係る表示装置１は、表示画面１３Ａに対してユーザーの非接触による入力操作を受け付ける表示装置である。また、表示装置１は、表示画面１３Ａに対応する仮想操作面Ｒ２に対するユーザーの前記入力操作において、仮想操作面Ｒ２に対するユーザーの操作指示部（例えば、指）の垂直方向（Ｚ方向）の移動量である第１移動量Ｚ１及び水平方向（Ｘ方向及びＹ方向）の移動量である第２移動量Ｘ１、Ｙ１を取得する。また、表示装置１は、前記入力操作が所定の操作であると判定した場合に、第１移動量Ｚ１又は第２移動量Ｘ１、Ｙ１を補正する補正処理を実行し、補正処理後の第１移動量Ｚ１´又は第２移動量Ｘ１´、Ｙ１´に基づいて前記入力操作に応じた入力処理を実行する。

具体的には、表示装置１は、前記入力操作が仮想操作面Ｒ２に対してユーザーの手を垂直方向（Ｚ方向）に移動させる第１操作であると判定した場合に、第２移動量Ｘ１、Ｙ１を減少又は無視する補正処理を実行する。また、表示装置１は、前記入力操作が仮想操作面Ｒ２に対してユーザーの手を水平方向（Ｘ方向及びＹ方向）に移動させる第２操作であると判定した場合に、第１移動量Ｚ１を減少又は無視する補正処理を実行する。

この構成によれば、ユーザーの意図しない方向への移動量を抑制することができるため、ユーザーの意図した操作に応じた入力処理を実行することができる。よって、ユーザーの仮想操作面Ｒ２に対する入力操作の位置ずれを抑制することが可能になる。

本発明は上述の実施形態に限定されない。他の実施形態として、移動量補正部１１６は、入力操作判定部１１５により前記入力操作が前記第１操作であると判定された場合において、前記カーソル画像が前記選択対象画像に重ならない場合に、第２移動量Ｘ１、Ｙ１を減少又は無視する補正処理を実行せず、前記カーソル画像が前記選択対象画像に重なる場合に、第２移動量Ｘ１、Ｙ１を減少又は無視する補正処理を実行する構成であってもよい。

例えば図３に示すように、ユーザーが手を左方向に動かして前記カーソル画像が「注文」の選択ボタン画像に重なった場合、ユーザーは「注文」を押下（選択）する操作を意図していると考えられる。そこで、制御部１１は、前記カーソル画像が「注文」の選択ボタン画像に重なった場合に、第２移動量Ｘ１、Ｙ１を減少又は無視する補正処理を実行する。これにより、ユーザーの意図した操作を確実に受け付けることができる。これに対して、前記カーソル画像が「注文」の選択ボタン画像に重なっていない場合にはユーザーが手をさらに左右方向へ動かすことが考えられるため、制御部１１は、第２移動量Ｘ１、Ｙ１を減少又は無視する補正処理を実行しない。

［仮想操作面設定方法］
操作面設定部１１１は、ユーザーの所定のジェスチャー操作に基づいて所望の大きさの仮想操作面Ｒ２を所望の位置に設定してもよい。

具体的には、操作面設定部１１１は、ユーザーのジェスチャー操作を検出する。具体的には、操作面設定部１１１は、モーションセンサ１５から取得する検知情報に基づいて、前記ジェスチャー操作を検出する。例えば、操作面設定部１１１は、前記検知情報に含まれる座標情報に基づいてユーザーの手の形状を特定して、記憶部１２に予め登録された複数のジェスチャー操作のうち該当するジェスチャー操作を特定する。

操作面設定部１１１は、ユーザーの所定の第１ジェスチャー操作を検出した場合に、当該第１ジェスチャー操作に応じた領域を表示画面１３Ａに対するユーザーの入力操作を受け付ける仮想操作面Ｒ２として設定する。なお、操作面設定部１１１は、前記第１ジェスチャー操作が所定時間継続して行われた場合に仮想操作面Ｒ２を設定してもよい。前記第１ジェスチャー操作は、例えば左手ＬＨ及び右手ＲＨのそれぞれの掌を表示画面１３Ａに向けて翳す操作である。すなわち、前記第１ジェスチャー操作は、ユーザーが仮想操作面Ｒ２を設定するための設定操作である。

例えば図８に示すように、ユーザーが左手ＬＨの掌を左上の任意の位置で表示画面１３Ａに翳し、右手ＲＨの掌を右下の任意の位置で表示画面１３Ａに翳すと、操作面設定部１１１は、モーションセンサ１５から取得する検知情報に基づいて、左手ＬＨの座標Ｐ１と、右手ＲＨの座標Ｐ２と、左手ＬＨ及び右手ＲＨを翳す第１ジェスチャー操作とを検出する。操作面設定部１１１は、第１ジェスチャー操作を検出すると、左手ＬＨの座標Ｐ１と右手ＲＨの座標Ｐ２とに基づいて仮想操作面Ｒ２を設定する。

例えば図８に示すように、操作面設定部１１１は、左手ＬＨの位置（座標Ｐ１）と右手ＲＨの位置（座標Ｐ２）とを結ぶ線を対角線とする矩形の仮想操作面Ｒ２を設定する。具体的には、操作面設定部１１１は、左手ＬＨの座標Ｐ１及び右手ＲＨの座標Ｐ２に基づいて矩形の角部の座標Ｃ２１～Ｃ２４（図２参照）を算出して仮想操作面Ｒ２を設定する。

また、例えば、操作面設定部１１１は、表示画面１３Ａから所定距離Ｌ１だけ離れた位置に仮想操作面Ｒ２を設定する。なお、所定距離Ｌ１は、左手ＬＨの座標Ｐ１（Ｚ座標）及び右手ＲＨの座標Ｐ２（Ｚ座標）に対応する距離である。

また、例えば、操作面設定部１１１は、縦横比が表示画面１３Ａの縦横比と同一比率の仮想操作面Ｒ２を設定してもよい。具体的には、図９に示すように、操作面設定部１１１は、表示画面１３Ａの縦横比（Ｈ１：Ｗ１）と仮想操作面Ｒ２の縦横比（Ｈ２：Ｗ２）とが同一（Ｈ１：Ｗ１＝Ｈ２：Ｗ２）となる仮想操作面Ｒ２を設定する。

このように、表示画面１３Ａ（操作領域Ｒ１）の大きさと仮想操作面Ｒ２の大きさは、同一であってもよいし異なってもよい。ここで、仮想操作面Ｒ２が操作領域Ｒ１よりも小さい場合は、大型の表示パネル１３をユーザーの手元で操作する用途に好適である。これに対して、仮想操作面Ｒ２が操作領域Ｒ１よりも大きい場合は、小型の表示パネル１３を離れた位置で操作する用途に好適である。

また、図１０に示すように、操作面設定部１１１は、表示画面１３Ａに対して平行でない所定角度ｄ１を有する仮想操作面Ｒ２を設定してもよい。すなわち、仮想操作面Ｒ２は、表示画面１３Ａに対して斜め方向に設定されてもよい。例えば、操作面設定部１１１は、左手ＬＨの座標Ｐ１（Ｚ座標）と、右手ＲＨの座標Ｐ２（Ｚ座標）とに基づいて所定角度ｄ１を設定する。これにより、ユーザーは表示画面１３Ａに対して斜め方向から入力操作を行うことが可能になる。なお、操作面設定部１１１は、所定角度ｄ１の情報を表示画面１３Ａに表示させてもよい。これにより、ユーザーは表示画面１３Ａに対する仮想操作面Ｒ２の角度（傾き度合い）を把握することができる。

また、操作面設定部１１１は、表示画面１３Ａの一部の領域に対応する仮想操作面Ｒ２を設定してもよい。例えば図１１に示すように、操作面設定部１１１は、表示画面１３Ａの一部（左側領域）の操作領域Ｒ１に対応する仮想操作面Ｒ２を設定する。操作領域Ｒ１の位置及び大きさは、ユーザーの設定操作により設定することが可能である。なお、仮想操作面Ｒ２を設定するユーザーが操作領域Ｒ１を把握し易いように、操作面設定部１１１は、仮想操作面Ｒ２を設定する際に、図１２に示すように、操作領域Ｒ１を示すオブジェクト画像Ｔ１を表示画面１３Ａに表示させてもよい。

なお、操作面設定部１１１は、周知の座標変換（射影変換、アフィン変換など）を利用して、第１ジェスチャー操作に対応する座標に基づいて表示画面１３Ａの操作領域Ｒ１に関連付けられた仮想操作面Ｒ２を設定することができる。

また、操作面設定部１１１は、設定した仮想操作面Ｒ２を調整する処理を実行してもよい。具体的には、操作面設定部１１１は、仮想操作面Ｒ２が設定された後にユーザーの所定の第２ジェスチャー操作を検出した場合に、第２ジェスチャー操作に基づいて仮想操作面Ｒ２の大きさ及び位置の少なくともいずれかを変更する。前記第２ジェスチャー操作は、例えば右手ＲＨによる指差し操作（図１３参照）である。

例えば図１３に示すように、仮想操作面Ｒ２が設定された後にユーザーが右手ＲＨで表示画面１３Ａを指差し操作した場合に、操作面設定部１１１は、モーションセンサ１５から取得する検知情報に基づいて、右手ＲＨの座標Ｐ３と、右手ＲＨによる指差し操作の第２ジェスチャー操作とを検出する。操作面設定部１１１は、前記第２ジェスチャー操作を検出すると、右手ＲＨの座標Ｐ３に基づいて仮想操作面Ｒ２を移動可能に設定し、ユーザーによる仮想操作面Ｒ２の移動操作を受け付ける。例えばユーザーが右手ＲＨを指差しの状態のまま左方向に動かすと、操作面設定部１１１は、仮想操作面Ｒ２を右手ＲＨの移動量に応じた分だけ左方向に移動させる。すなわち、操作面設定部１１１は、移動後の右手ＲＨの座標Ｐ３に仮想操作面Ｒ２を設定する。

また、例えば図１４に示すように、仮想操作面Ｒ２が設定された後にユーザーが左手ＬＨを翳したまま右手ＲＨの拳を握る操作をした場合に、操作面設定部１１１は、モーションセンサ１５から取得する検知情報に基づいて、左手ＬＨの座標Ｐ１と、右手ＲＨの座標Ｐ２と、左手ＬＨを翳し右手ＲＨを握る第２ジェスチャー操作とを検出する。操作面設定部１１１は、前記第２ジェスチャー操作を検出すると、右手ＲＨの座標Ｐ２に基づいて仮想操作面Ｒ２の大きさを変更可能に設定し、ユーザーによる仮想操作面Ｒ２の大きさの変更操作を受け付ける。例えばユーザーが右手ＲＨを拳を握ったまま右下方向に動かすと、操作面設定部１１１は、仮想操作面Ｒ２を右手ＲＨの移動量に応じた分だけ大きさ（面積）を拡大する。すなわち、操作面設定部１１１は、左手ＬＨの座標Ｐ１と移動後の右手ＲＨの座標Ｐ２により規定される仮想操作面Ｒ２を設定する。

図１５に示す例では、仮想操作面Ｒ２が設定された後にユーザーが右手ＲＨを翳したまま左手ＬＨの拳を握る操作をした場合の例を示している。この場合、操作面設定部１１１は、モーションセンサ１５から取得する検知情報に基づいて、左手ＬＨの座標Ｐ１と、右手ＲＨの座標Ｐ２と、右手ＲＨを翳し左手ＬＨを握る第２ジェスチャー操作とを検出する。操作面設定部１１１は、前記第２ジェスチャー操作を検出すると、左手ＬＨの座標Ｐ１に基づいて仮想操作面Ｒ２の大きさを変更可能に設定し、ユーザーによる仮想操作面Ｒ２の大きさの変更操作を受け付ける。例えばユーザーが左手ＬＨを拳を握ったまま右下方向に動かすと、操作面設定部１１１は、仮想操作面Ｒ２を左手ＬＨの移動量に応じた分だけ大きさ（面積）を縮小する。すなわち、操作面設定部１１１は、右手ＲＨの座標Ｐ２と移動後の左手ＬＨの座標Ｐ１により規定される仮想操作面Ｒ２を設定する。

なお、操作面設定部１１１は、仮想操作面Ｒ２が設定された後に前記第２ジェスチャー操作を検出した場合に、仮想操作面Ｒ２を示すオブジェクト画像Ｔ２を前記第２ジェスチャー操作に応じて表示画面１３Ａに表示させてもよい。図１６には、大きさが変更された後の仮想操作面Ｒ２を示すオブジェクト画像Ｔ２の一例を示している。この構成によれば、ユーザーは、仮想操作面Ｒ２の変更後の大きさ、位置などを視覚的に把握することが可能になる。

なお、本発明の表示装置は、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。

１ ：表示装置
１１ ：制御部
１２ ：記憶部
１３ ：表示パネル
１３Ａ ：表示画面
１４ ：操作部
１５ ：モーションセンサ
１１１ ：操作面設定部
１１２ ：入力操作検出部
１１３ ：入力処理部
１１４ ：移動量取得部
１１５ ：入力操作判定部
１１６ ：移動量補正部
ＬＨ ：左手
ＲＨ ：右手
Ｐ１ ：座標
Ｐ２ ：座標
Ｒ１ ：操作領域
Ｒ２ ：仮想操作面

Claims (8)

1. 表示画面に対してユーザーの非接触による入力操作を受け付ける表示装置であって、
   前記表示画面に対応する仮想操作面に対する前記ユーザーの前記入力操作において、前記仮想操作面に対する前記ユーザーの操作指示部の垂直方向の移動量である第１移動量及び水平方向の移動量である第２移動量を取得する移動量取得部と、
   前記入力操作が所定の操作であるか否かを判定する入力操作判定部と、
   前記入力操作判定部により前記入力操作が前記所定の操作であると判定された場合に、前記第１移動量又は前記第２移動量を補正する補正処理を実行する移動量補正部と、
   前記補正処理後の前記第１移動量及び前記第２移動量に基づいて前記入力操作に応じた入力処理を実行する入力処理部と、
   を備え、
   前記入力処理部は、前記補正処理後の前記第１移動量に基づいて、前記表示画面に表示されるカーソル画像を移動させる処理を行い、前記補正処理後の前記第２移動量に基づいて、前記表示画面に表示される選択対象画像のうち前記カーソル画像が重なる選択対象画像を選択する処理を実行し、
   前記移動量補正部は、
   前記入力操作判定部により前記入力操作が前記仮想操作面に対して前記ユーザーの操作指示部を垂直方向に移動させる第１操作であると判定された場合において、
   前記カーソル画像が前記選択対象画像に重ならない場合に、前記第２移動量を減少又は無視する前記補正処理を実行せず、
   前記カーソル画像が前記選択対象画像に重なる場合に、前記第２移動量を減少又は無視する前記補正処理を実行する、表示装置。
2. 前記入力操作判定部は、前記第１移動量が予め設定された第１設定値を超えた場合に、前記入力操作が前記第１操作であると判定する、
   請求項１に記載の表示装置。
3. 前記入力操作判定部は、前記第１移動量の前記第２移動量に対する比率が予め設定された第２設定値よりも大きい場合に、前記入力操作が前記第１操作であると判定する、
   請求項１に記載の表示装置。
4. 前記移動量補正部は、前記入力操作判定部により前記入力操作が前記仮想操作面に対して前記ユーザーの操作指示部を水平方向に移動させる第２操作であると判定された場合に、前記第１移動量を減少又は無視する前記補正処理を実行する、
   請求項１から請求項３のいずれか１項に記載の表示装置。
5. 前記入力操作判定部は、前記第２移動量が予め設定された第３設定値を超えた場合に、前記入力操作が前記第２操作であると判定する、
   請求項４に記載の表示装置。
6. 前記入力操作判定部は、前記第２移動量の前記第１移動量に対する比率が予め設定された第４設定値よりも大きい場合に、前記入力操作が前記第２操作であると判定する、
   請求項４に記載の表示装置。
7. 表示画面に対してユーザーの非接触による入力操作を受け付ける表示方法であって、
   一又は複数のプロセッサーが、
   前記表示画面に対応する仮想操作面に対する前記ユーザーの前記入力操作において、前記仮想操作面に対する前記ユーザーの操作指示部の垂直方向の移動量である第１移動量及び水平方向の移動量である第２移動量を取得する取得ステップと、
   前記入力操作が所定の操作であるか否かを判定する入力操作判定ステップと、
   前記入力操作判定ステップにおいて前記入力操作が前記所定の操作であると判定された場合に、前記第１移動量又は前記第２移動量を補正する補正処理を実行する補正ステップと、
   前記補正処理後の前記第１移動量及び前記第２移動量に基づいて前記入力操作に応じた入力処理を実行する入力ステップと、
   を実行し、
   前記入力ステップにおいて、前記補正処理後の前記第１移動量に基づいて、前記表示画面に表示されるカーソル画像を移動させる処理を行い、前記補正処理後の前記第２移動量に基づいて、前記表示画面に表示される選択対象画像のうち前記カーソル画像が重なる選択対象画像を選択する処理を実行し、
   前記補正ステップにおいて、
   前記入力操作判定ステップにおいて前記入力操作が前記仮想操作面に対して前記ユーザーの操作指示部を垂直方向に移動させる第１操作であると判定された場合において、
   前記カーソル画像が前記選択対象画像に重ならない場合に、前記第２移動量を減少又は無視する前記補正処理を実行せず、
   前記カーソル画像が前記選択対象画像に重なる場合に、前記第２移動量を減少又は無視する前記補正処理を実行する、表示方法。
8. 表示画面に対してユーザーの非接触による入力操作を受け付ける表示プログラムであって、
   前記表示画面に対応する仮想操作面に対する前記ユーザーの前記入力操作において、前記仮想操作面に対する前記ユーザーの操作指示部の垂直方向の移動量である第１移動量及び水平方向の移動量である第２移動量を取得する取得ステップと、
   前記入力操作が所定の操作であるか否かを判定する入力操作判定ステップと、
   前記入力操作判定ステップにおいて前記入力操作が前記所定の操作であると判定された場合に、前記第１移動量又は前記第２移動量を補正する補正処理を実行する補正ステップと、
   前記補正処理後の前記第１移動量及び前記第２移動量に基づいて前記入力操作に応じた入力処理を実行する入力ステップと、
   を一又は複数のプロセッサーに実行させ、
   前記入力ステップにおいて、前記補正処理後の前記第１移動量に基づいて、前記表示画面に表示されるカーソル画像を移動させる処理を行い、前記補正処理後の前記第２移動量に基づいて、前記表示画面に表示される選択対象画像のうち前記カーソル画像が重なる選択対象画像を選択する処理を実行し、
   前記補正ステップにおいて、
   前記入力操作判定ステップにおいて前記入力操作が前記仮想操作面に対して前記ユーザーの操作指示部を垂直方向に移動させる第１操作であると判定された場合において、
   前記カーソル画像が前記選択対象画像に重ならない場合に、前記第２移動量を減少又は無視する前記補正処理を実行せず、
   前記カーソル画像が前記選択対象画像に重なる場合に、前記第２移動量を減少又は無視する前記補正処理を実行する、表示プログラム。