JP2024004508A - 空中操作装置 - Google Patents

Abstract

【課題】操作性を向上させることができる空中操作装置を提供する。【解決手段】一実施形態に係る空中操作装置は、センサによって検出された対象物Ｆの位置に基づいて、ボタン１１が押されたか否かを判定する判定部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備え、通知部は、センサによって検出された対象物Ｆの位置が第１位置Ｓ１であると判定部が判定したときに、表示装置を制御してボタン１１の表示態様を第１モードに変更し、センサによって検出された対象物Ｆの位置が第１位置よりもセンサ寄りの第２位置Ｓ２であると判定部が判定したときに、信号出力部が機器に制御信号を出力する。【選択図】図５

Description

本開示は、空中に虚像として表示された表示面に対する操作が行われる空中操作装置に関する。

特開２０１８－２０６１４９号公報には、空間に結像された画像に対してユーザが指等の指示体を近づけていることを認識し、その旨をユーザに通知する入力装置が記載されている。入力装置は、立体画像表示部と、指示体の位置を検出する位置検出センサと、発光部と、拡散板と、音出力部と、制御部とを備える。立体画像表示部は、ユーザにより視認される立体画像をスクリーンがない空間に結像する。

制御部は、距離算出部と、報知制御部とを備える。距離算出部は、位置検出センサによって検出された指示体の位置と位置検出センサとの距離を算出する。報知制御部は、距離算出部によって算出された指示体と位置検出センサとの距離に応じて発光部及び音出力部によるユーザに対する報知方法を変化させる制御を行う。発光部は、立体画像表示部によって表示される立体画像の下部に配置される。よって、発光部の発光に伴って立体画像が明るく表示される。

報知制御部は、指示体と立体画像表示部によって表示される立体画像との距離が短いほど、より輝度が高い光を投射するように発光部に対して指示を出力する。また、報知制御部は、指示体と当該立体画像との距離が短いほどより大きな音量の音を出力するように音出力部に対して指示を出力する。発光部から投射された光、又は音出力部から出力された音を用いて、指示体が立体画像に近づいていることをユーザに報知することが可能となっている。その結果、指示体を介した入力操作を入力装置が認識していることをユーザが認識することが可能となる。

特開２０１８－２０６１４９号公報

前述した入力装置では、指示体と立体画像との距離が短いほど出力される光又は音が大きくなる。しかしながら、光又は音は当該距離に応じて徐々に変化するものであるため、使用者は、立体画像を正しく押せているかどうかを把握しづらいという問題が生じうる。また、発光部の発光が強くなると、当該発光部からの光を受ける立体画像がより明るく表示されるため、周囲から操作入力を見られないようにする必要がある場合がある。その結果、使用者による操作が煩雑となりうるため、操作性の点で改善の余地がある。

本開示は、操作性を向上させることができる空中操作装置を提供することを目的とする。

本開示の一側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを判定する判定部と、空中操作装置の外部の機器に制御信号を出力して機器の動作を制御する信号出力部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備え、通知部は、センサによって検出された対象物の位置が第１位置であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードに変更し、センサによって検出された対象物の位置が第１位置よりもセンサ寄りの第２位置であると判定部が判定したときに、信号出力部が機器に制御信号を出力する。

この空中操作装置では、空中結像デバイスが空中に虚像としてボタン付きの表示面を表示し、センサがボタンに接近する指等の対象物の位置を検出する。判定部はセンサによって検出された対象物の位置に基づいてボタンが押されたか否かを判定し、通知部は判定部の判定結果を空中操作装置の使用者に通知する。従って、使用者は、ボタンが押されたか否かを把握することができるので、ボタンの操作性を向上させることができる。通知部は、センサによって検出された対象物の位置が第１位置であると判定部が判定したときにボタンの表示態様を第１モードに変更する。従って、ボタンの表示態様が変更されることによって対象物の位置が第１位置に到達したことを使用者が把握できるので、ボタンを正しく押せているという安心感を使用者に与えることができる。更に、センサによって検出された対象物の位置が第１位置よりもセンサ寄りの第２位置にあるときに信号出力部が機器に制御信号を出力する。よって、使用者が第１位置よりも対象物を第２位置に押し込んだときに機器を動作させることができる。このように、対象物が第１位置にあるときにボタンの表示態様を変更することでボタンが押された安心感を使用者に与えることができ、対象物が第２位置にあるときに機器を動作させることができる。従って、ボタンの操作性を向上させることができる。

通知部は、センサによって検出された対象物の位置が第２位置であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードとは異なる第２モードに変更してもよい。この場合、対象物が第１位置から第２位置まで押し込まれたときに、機器を動作させると共に、ボタンの表示態様を第１モードから第２モードに変更することができる。従って、機器を動作させると共にボタンの表示態様が変わるので、使用者はボタンが正しく押されており機器が動作していることを把握できる。

本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、空中操作装置を操作する使用者の位置が予め定められており、空中結像デバイスは、予め定められた位置に位置する使用者に正対するように表示面を表示し、表示面は、表示面の中心を通り且つ表示面に直交する仮想直線に対する角度である視野角以下である位置からのみ視認可能とされている。

この空中操作装置では、表示面が予め定められた位置にいる使用者に正対するように空中結像デバイスが表示面を表示する。従って、視認しやすい態様でボタン付きの表示面を使用者に向けて表示できるので、ボタンの操作性を向上させることができる。また、表示面は、表示面の中心を通り且つ表示面に直交する仮想直線に対する角度である視野角以下である位置からのみ視認可能とされている。従って、視野角を超える角度の位置からは表示面を視認することができないので、使用者以外の人が周囲から表示面を視認することを抑制することができる。よって、周囲から操作入力を見られないという安心感を使用者に与えることができるので、操作性を向上させることができる。

前述した視野角が２０°以下であってもよい。この場合、周囲から表示面が視認される可能性をより低減できるので、使用者に更なる安心感を与えることができる。

前述した空中操作装置は、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを判定する判定部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備え、通知部は、センサによって検出された対象物の位置がボタンの位置であると判定部が判定したときに、表示装置を制御してボタンの表示態様を変更してもよい。この場合、対象物の位置がボタンの位置であると判定されたときにボタンの表示態様が変更される。従って、ボタンが正しく押されていることを使用者に通知することができるので、ボタンの操作性を向上させることができる。

前述した空中操作装置は、使用者の位置を検出する位置検出部と、空中結像デバイスによって表示される表示面が使用者に正対するように空中結像デバイスを回転させる回転部と、を備えてもよい。この場合、仮に予め定められた位置に使用者がいなかった場合であっても、位置検出部が使用者の位置を検出し回転部が空中結像デバイスを回転させることにより、表示面を使用者に正対させることが可能となる。従って、更なる操作性の向上に寄与する。

本開示の別の側面に係る空中操作装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、ボタンに接近する対象物の位置を検出するセンサと、を備えた空中操作装置であって、センサによって検出された対象物の位置に基づいて、ボタンが押されたか否かを判定する判定部と、判定部の判定結果を空中操作装置の使用者に通知する通知部と、を備え、通知部は、センサによって検出された対象物の位置がボタンの外縁よりも内側であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードに変更し、センサによって検出された対象物の位置がボタンの外縁又は外縁よりも外側であると判定部が判定したときに、表示装置を制御してボタンの表示態様を第１モードとは異なる第２モードに変更する。

この空中操作装置では、ボタンが押されたか否かを判定部が判定し、判定部による判定結果を通知部が空中操作装置の使用者に通知する。通知部は、センサによって検出された対象物の位置がボタンの外縁よりも内側であるときにボタンの表示態様を第１モードに変更する。従って、使用者は、ボタンの表示態様が第１モードに変更されたことを見てボタンが正しく押されたことを把握することができるので、ボタンの操作性を向上させることができる。また、通知部は、センサによって検出された対象物の位置がボタンの外縁又は外縁よりも外側であるときにボタンの表示態様を第２モードに変更する。よって、ボタンの外縁又は外縁よりも外側が押されたときにボタンの表示態様が第２モードに変更されることにより、ボタンが正しく押されていないことを使用者に通知することができる。従って、ボタンを正しく押すよう使用者に促すことができるので、更なる操作性の向上に寄与する。

本開示によれば、操作性を向上させることができる。

実施形態に係る空中操作装置の適用例を模式的に示す平面図である。 実施形態に係る空中操作装置を示す斜視図である。 実施形態に係る空中操作装置の内部構造を模式的に示す縦断面図である。 実施形態に係る空中操作装置の機能を示すブロック図である。 対象物が第１位置にある場合、及び対象物が第２位置にある場合、のそれぞれのボタンの表示態様を模式的に示す図である。 ボタンの外縁の内側、外縁、及び外縁の外側の例を説明する図である。 ボタンの外縁の内側、外縁、及び外縁の外側の別の例を説明する図である。 変形例に係る空中操作装置の適用例を示す斜視図である。 変形例に係る空中操作装置がボタン付きの表示面を表示している状態を示す斜視図である。 変形例に係る空中操作装置の縦断面図である。

以下では、本開示に係る空中操作装置の種々の実施形態について図面を参照しながら説明する。図面の説明において同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易化のため、一部を簡略化又は誇張して描いている場合があり、寸法比率及び角度等は図面に記載のものに限定されない。

図１は、実施形態に係る一例としての空中操作装置１の適用例を示す平面図である。図２は、空中操作装置１を示す斜視図である。図１及び図２に示されるように、一例としての空中操作装置１は、現金自動預け払い機Ａ（ＡＴＭ：Automated teller Machine）に付属して設けられる。

本実施形態では、予め空中操作装置１の使用者Ｍの位置Ｐが定められており、空中操作装置１は位置Ｐに向けて配置されている。例えば、空中操作装置１は、位置Ｐに位置する使用者Ｍから見て右斜め前に配置される。これにより、右手で簡単に空中操作装置１を操作できるので更なる操作性の向上に寄与する。

空中操作装置１は、虚像である表示面１０を使用者Ｍに向けて表示する。表示面１０は、表示面１０の中心Ｏから使用者Ｍの正面方向（表示面１０に直交する方向）に延びる仮想直線Ｌに対する角度である視野角θを有する。表示面１０は、視野角θ以下である位置からのみ視認可能とされている。すなわち、視野角θを超える位置からは表示面１０を視認することができない。従って、使用者Ｍの後方にいる人Ｎからの表示面１０ののぞき見を防止することができる。視野角θは、例えば、２０°である。

図２は、空中操作装置１を示す斜視図である。図３は、空中操作装置１の内部構造を模式的に示す縦断面図である。図２及び図３に示されるように、一例としての空中操作装置１は、柱状を呈する。空中操作装置１は、第１方向Ｄ１、第２方向Ｄ２及び第３方向Ｄ３に延在する。

第１方向Ｄ１は空中操作装置１の奥行方向（前後方向）に相当し、第２方向Ｄ２は空中操作装置１の幅方向に相当し、第３方向Ｄ３は空中操作装置１の高さ方向に相当する。一例として、空中操作装置１の第３方向Ｄ３の長さ（高さ）は、空中操作装置１の第１方向Ｄ１の長さ（奥行）、及び空中操作装置１の第２方向Ｄ２の長さ（幅）よりも長い。これにより使用者Ｍに対する表示面１０の視認性を一層高めることが可能となる。しかしながら、空中操作装置１の第１方向Ｄ１の長さ、空中操作装置１の第２方向Ｄ２の長さ、及び空中操作装置１の第３方向Ｄ３の長さ、の関係は上記の例に限られず特に限定されない。

以降では、説明の便宜のため、空中操作装置１から見て使用者Ｍ側に向けられる方向を前又は前側、空中操作装置１から見て使用者Ｍの反対側に向けられる方向を後又は後側と称することがある。しかしながら、これらの方向は、説明の便宜上のものであり、部品の配置等を限定するものではない。

空中操作装置１は、空中操作装置１の外面を構成する筐体２を備える。筐体２は、例えば、鉛直上方を向く上面２ｂと、第２方向Ｄ２に沿って並ぶ一対の側面２ｃと、第１方向Ｄ１の一方側を向く前面２ｄと、第１方向Ｄ１の他方側を向く背面２ｆと、鉛直下方を向く下面２ｇとを有する。更に、筐体２は、前面２ｄの上側に位置する傾斜面２ｈを有する。

傾斜面２ｈには、例えば、後に詳述する空中結像デバイス１４が露出する矩形状の開口が形成されている。傾斜面２ｈは、例えば、斜め上方に向けられている。空中結像デバイス１４によって結像される表示面１０は、傾斜面２ｈよりも使用者Ｍ寄りの位置に表示されるので、表示面１０の視認性を高めることができる。

空中操作装置１は、空中にボタン１１付きの表示面１０を表示する。例えば、表示面１０のボタン１１は、現金自動預け払い機Ａを操作するためのボタンである。ボタン１１付きの表示面１０は、空中に浮き出るように表示される空中浮遊像である。すなわち、ボタン１１付きの表示面１０は、空中に虚像として表示される。よって、空中操作装置１の使用者Ｍは、直接タッチパネル等に触れなくて済むため衛生的に現金自動預け払い機Ａを操作することが可能である。

例えば、表示面１０は、複数のボタン１１を備えており、使用者Ｍが複数のボタン１１を操作することによって現金自動預け払い機Ａを操作することが可能である。筐体２には、例えば、ボタン１１に接近する対象物Ｆを検出するセンサ３が埋め込まれている。本開示において、「対象物」とは、ボタン１１を操作して現金自動預け払い機Ａ等の機器を動作させるものを示しており、例えば、使用者Ｍの指を示している。

空中操作装置１は、例えば、複数のセンサ３を備える。センサ３は、例えば、ボタン１１に対応して設けられており、各ボタン１１はセンサ３の斜め上方に表示される。一例として、ボタン１１及びセンサ３の数は１２である。表示面１０は、空中結像デバイス１４よりも使用者Ｍ寄りの位置に表示され、且つ空中結像デバイス１４の斜め上方に表示される。これにより、使用者Ｍにとって表示面１０を視認しやすく表示することができる。

例えば、表示面１０は光って表示されてもよく、この場合、周囲の明るさにかかわらず容易に表示面１０を視認することができる。表示面１０は、例えば、縦に長く延びる形状を呈する。一例として、表示面１０は矩形状に表示され、表示面１０の縦方向の長さは表示面１０の横方向の長さよりも長い。しかしながら、表示面１０の形状及び大きさは上記の例に限られず特に限定されない。表示面１０は、ボタン１１以外のものを表示してもよい。例えば、表示面１０は，複数のボタン１１と文字情報とを含んでもよい。文字情報は、一例として、日付情報及び時刻情報の少なくともいずれかを含んでもよい。

表示面１０では、例えば、複数のボタン１１が格子状に配列されるように表示される。一例として、複数のボタン１１は、テンキーとして表示される。この場合、空中操作装置１のボタン１１を押すことによって、現金自動預け払い機Ａに対して引き落としの金額、預け入れの金額、振込金額又は暗証番号を指定することが可能となる。

ボタン１１の形状は、例えば、四角形状（一例として隅丸長方形状）である。しかしながら、ボタン１１の形状は、円形状、長円形状、又は多角形状であってもよく、特に限定されない。例えば、ボタン１１として、決定ボタン及び戻るボタンの少なくともいずれかが含まれていてもよい。この場合、決定ボタンは操作を決定させるボタンに相当し、戻るボタンは操作の前に戻るボタンに相当する。しかしながら、ボタン１１の種類は、上記の各例に限られず特に限定されない。

空中操作装置１は、ボタン１１付きの表示面１０を表示する空中結像デバイス１４と、筐体２の内部に配置された表示装置１５と、制御部２０とを備える。空中結像デバイス１４及び表示装置１５は、表示面１０を虚像として空中に表示する虚像表示部に相当する。空中結像デバイス１４は、例えば、筐体２の傾斜面２ｈに形成された開口に固定されている再帰反射部材（再帰反射鏡）である。

表示装置１５は、空中結像デバイス１４に対して斜めに配置されている。一例として、表示装置１５は液晶ディスプレイ（ＬＣＤ）である。表示装置１５は、筐体２の内部における空中結像デバイス１４の後方位置に配置されている。表示装置１５は、画像を表示するスクリーンを有する。表示装置１５のスクリーンは、例えば、空中結像デバイス１４に向けて斜め下方に画像としての光Ｃを照射する。空中結像デバイス１４は、表示装置１５からの光Ｃを空中結像デバイス１４の内部において複数回（例えば２回）反射し、使用者Ｍから見て空中結像デバイス１４よりも手前側の空間に表示面１０を結像する。

センサ３は、例えば、筐体２の傾斜面２ｈにおいて斜め上方を向くように露出していてもよい。一例として、センサ３は、深度センサである。例えば、センサ３は、ボタン１１から延びる仮想直線上、すなわち、虚像であるボタン１１に対して正面位置に設けられる。センサ３は、当該仮想直線に対して垂直な面における対象物Ｆの位置（２次元位置）の情報と、センサ３から対象物Ｆまでの距離Ｋの情報とを含む距離画像データを取得する。

センサ３は、例えば、距離画像データを取得する。センサ３は、例えば、取得した距離画像データを所定の周期（例えば１／３０秒）で制御部２０に出力する。具体例として、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点に光線（又は赤外線）を照射し、物体上の各点から反射した光線を受光する。そして、センサ３は、受光した光線に基づいてセンサ３と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。センサ３と物体上の各点との距離は、例えばＬｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定されてもよい。

Ｌｉｇｈｔ Ｃｏｄｉｎｇ方式では、センサ３は、対象物Ｆを含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、センサ３は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサ３と物体上の各点との距離を測定する。センサ３は、物体上の各点の２次元位置の情報と、センサ３から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部２０に出力する。

制御部２０は、センサ３及び表示装置１５のそれぞれと通信可能とされている。制御部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶部と、入出力部と、ドライバとを含む。制御部２０の各機能は、ＣＰＵの制御の下で入出力部を動作させ、記憶部におけるデータの読み出し又は書き込みを行うことによって実現される。制御部２０の形態及び配置場所については特に限定されない。

図４は、制御部２０の機能ブロック図である。図３及び図４に示されるように、制御部２０は、機能的構成要素として、画像出力部２１と、対象物検出部２２と、位置検出部２３と、判定部２４と、信号出力部２５と、回転部２６と、通知部２７とを有する。画像出力部２１は、表示装置１５に表示させる画像の画像データの制御信号を表示装置１５に出力する。表示装置１５は、画像出力部２１からの画像データの制御信号に基づいて、様々な種類の画像を表示することが可能である。

対象物検出部２２は、センサ３から出力される距離画像データに基づいて対象物Ｆを検出する。位置検出部２３は、対象物検出部２２によって検出された対象物Ｆの位置を示す位置データを生成する。例えば、位置検出部２３はボタン１１に接近する対象物Ｆの位置を検出することによって使用者Ｍの位置を検出する。位置検出部２３は、生成した位置データを判定部２４に出力する。

判定部２４は、対象物検出部２２によって検出された対象物Ｆの位置に基づいて、対象物Ｆによってボタン１１が押されたかどうかを判定する。具体的には、判定部２４は、センサ３と対象物Ｆとの距離Ｋが閾値Ｙ以下であるか否かを判定する。そして、判定部２４は、距離Ｋが閾値Ｙ以下であると判定したときに、対象物Ｆが仮想の押下判定面Ｚに到達し、ボタン１１が押されたと判定する。

押下判定面Ｚは、センサ３からの距離が一定である部位に形成された仮想の面である。例えば、押下判定面Ｚは、ボタン１１の近接位置に設けられる。押下判定面Ｚの位置は、ボタン１１の位置と一致していてもよいし、ボタン１１から所定距離だけ離間した位置であってもよい。

信号出力部２５は、ボタン１１が押されたと判定部２４が判定したときに、ボタン１１の押下操作に基づく制御信号を生成する。信号出力部２５は、生成した制御信号を空中操作装置１の外部の機器に出力する。信号出力部２５は、制御信号を空中操作装置１の外部の機器（例えば現金自動預け払い機Ａ）に出力することによって当該機器を動作させる。

回転部２６は、空中操作装置１の外部に位置する回転装置３０に制御信号を出力して空中操作装置１を回転させる。例えば、回転装置３０は、筐体２の上面２ｂの中心Ｇを通ると共に第３方向Ｄ３に延びる軸線Ｘを中心として空中操作装置１を回転させる。回転部２６は、位置検出部２３が検出した使用者Ｍの位置に表示面１０が正対するように空中結像デバイス１４を回転させる。これにより、使用者Ｍが予め定められた位置Ｐとは異なる位置にいたとしても、表示面１０が使用者Ｍの方に向けられるので、表示面１０の更なる視認性の向上に寄与する。

通知部２７は、ボタン１１が押下されたと判定部２４が判定したときに判定部２４から操作信号を受信する。通知部２７は、ボタン１１が操作されたと判定部２４が判定したときに、ボタン１１が操作されたことを使用者Ｍに通知する通知手段である。通知部２７は、例えば、音声出力部２７ｂと、色彩変更部２７ｃとを有する。

一例として、音声出力部２７ｂは、スピーカであり、判定部２４から判定結果を受信したときに音声を出力する。音声出力部２７ｂからの音声を使用者Ｍが聞くことにより、使用者Ｍはボタン１１が操作されたことを把握可能となる。色彩変更部２７ｃは、例えば、判定部２４から操作信号を受信したときに色彩変更信号を生成し、色彩変更信号を表示装置１５に出力する。

表示装置１５は、色彩変更部２７ｃから色彩変更信号を受信すると、例えば、使用者Ｍが押したボタン１１の色彩を変更する。ボタン１１の色彩が変更されたことを使用者Ｍが視認することにより、使用者Ｍはボタン１１が押されたことを把握可能となる。なお、表示装置１５は、色彩変更部２７ｃから色彩変更信号を受信したときに、ボタン１１以外の箇所の色彩を変更してもよい。

以上の通知部２７を備えることにより、使用者Ｍはボタン１１が押されたことを把握できる。しかしながら、通知部２７では、音声出力部２７ｂ及び色彩変更部２７ｃの少なくともいずれかが省略されてもよい。また、通知部２７は、音声出力部２７ｂによる音声出力、又は色彩変更部２７ｃによる色彩変更、とは異なる態様でボタン１１が押されたことを使用者Ｍに通知してもよい。

図５に示されるように、前述した押下判定面Ｚは第１位置Ｓ１と第２位置Ｓ２とを含んでもよい。例えば、第１位置Ｓ１は表示面１０よりも使用者Ｍ寄りの位置に設けられた面であり、第２位置Ｓ２は表示面１０よりも使用者Ｍから離れた位置に設けられた面である。例えば、通知部２７は、センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１であると判定部２４が判定したときに、表示装置１５を制御して接近対象のボタン１１の表示態様を第１モードに変更する。

「ボタンの表示態様を（第１モード又は後述する第２モードに）変更」とは、例えば、対象物Ｆの接近対象のボタン１１を他のボタン１１とは異なる色彩に変更すること、対象物Ｆの接近対象のボタン１１を他のボタン１１とは異なる大きさに変更する（一例として大きくする）こと、及び、音声を出力すること、の少なくともいずれかを示している。このように接近対象のボタン１１の表示態様を通知部２７が変更することにより、使用者Ｍは自分が押そうとしているボタン１１を把握でき、安心してボタン１１の操作を行うことができる。

センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１よりもセンサ３寄りの第２位置Ｓ２であると判定部２４が判定したときに信号出力部２５が空中操作装置１の外部の機器に制御信号を出力する。これにより、空中操作装置１の外部の機器が動作する。また、センサ３によって検出された対象物Ｆの位置が第２位置Ｓ２であると判定部２４が判定したときに、例えば、通知部２７は、表示装置１５を制御して接近対象のボタン１１の表示態様を上記第１モードとは異なる第２モードに変更する。

「ボタンの表示態様を第２モードに変更」とは、例えば、接近対象のボタン１１の色彩を第１モードとは異なる色彩に変更すること、接近対象のボタン１１の大きさを第１モードとは異なる大きさに変更すること、及び、第１モードとは異なる音声を出力すること、の少なくともいずれを示している。このように接近対象のボタン１１の表示態様を第２モードに変更することにより、狙いのボタン１１を確実に押せていることを使用者Ｍが把握できると共に機器を操作することができる。

図６は、図５とは別の例を説明するための図である。図６に示されるように、通知部２７は、対象物Ｆが接近する表示面１０の位置に応じて使用者Ｍへの通知の内容を変更してもよい。通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁よりも内側であると判定部２４が判定したときに、表示装置１５を制御して接近対象のボタン１１の表示態様を第１モードに変更する。

一例として、対象物Ｆの位置がボタン１１の外縁よりも内側であると判定部２４が判定したときに、通知部２７は接近対象のボタン１１の色彩を青系色に変更してもよい。具体例として、対象物Ｆの位置が位置ａ、位置ｃ又は位置ｅであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を青系色に変更してもよい。この場合、使用者Ｍは正しく狙いのボタン１１を押せていることを把握することができる。

通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁又は当該外縁よりも外側であると判定部２４が判定したときに、表示装置１５を制御してボタン１１の表示態様を第１モードとは異なる第２モードに変更する。例えば、対象物Ｆの位置がボタン１１の外縁上又は当該外縁よりも外側であると判定部２４が判定したときに、通知部２７は接近対象のボタン１１の色彩を赤系色又は黄系色に変更してもよい。具体例として、対象物Ｆの位置が位置ｂ、位置ｄ又は位置ｆであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を赤系色又は黄系色に変更してもよい。この場合、使用者Ｍは狙いのボタン１１を正しく押せていないことを把握することができ、使用者Ｍに正しくボタン１１を押すように警告することができる。

図７は、図６とは異なる配置とされたボタン１１を示している。図７では、複数のボタン１１が互いに接触するように配置されている。この図７の場合でも、対象物Ｆの位置が位置ａ、位置ｃ又は位置ｅであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を青系色に変更し、対象物Ｆの位置が位置ｂ、位置ｄ又は位置ｆであると判定されたときに、通知部２７は対象物Ｆの位置のボタン１１を赤系色又は黄系色に変更する。これにより、図６の場合と同様の作用効果が得られる。

次に、本実施形態に係る空中操作装置１から得られる作用効果について詳細に説明する。
図１～図３に示されるように、空中操作装置１では、空中結像デバイス１４が空中に虚像としてボタン１１付きの表示面１０を表示し、センサ３がボタン１１に接近する指等の対象物Ｆの位置を検出する。判定部２４はセンサ３によって検出された対象物Ｆの位置に基づいてボタン１１が押されたか否かを判定し、通知部２７は判定部２４の判定結果を空中操作装置１の使用者Ｍに通知する。従って、使用者Ｍは、ボタン１１が押されたか否かを把握することができるので、ボタン１１の操作性を向上させることができる。

図５に示されるように、通知部２７は、センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１であると判定部２４が判定したときにボタン１１の表示態様を第１モードに変更する。従って、ボタン１１の表示態様が変更されることによって対象物Ｆの位置が第１位置Ｓ１に到達したことを使用者Ｍが把握できるので、ボタン１１を正しく押せているという安心感を使用者に与えることができる。

更に、センサ３によって検出された対象物Ｆの位置が第１位置Ｓ１よりもセンサ３寄りの第２位置Ｓ２にあるときに信号出力部２５が機器に制御信号を出力する。よって、使用者Ｍが第１位置Ｓ１よりも対象物Ｆを第２位置Ｓ２に押し込んだときに機器を動作させることができる。このように、対象物Ｆが第１位置Ｓ１にあるときにボタン１１の表示態様を変更することでボタン１１が押された安心感を使用者Ｍに与えることができ、対象物Ｆが第２位置Ｓ２にあるときに機器を動作させることができる。従って、ボタン１１の操作性を向上させることができる。

通知部２７は、センサ３によって検出された対象物Ｆの位置が第２位置Ｓ２であると判定部２４が判定したときに、表示装置１５を制御してボタン１１の表示態様を第１モードとは異なる第２モードに変更してもよい。この場合、対象物Ｆが第１位置Ｓ１から第２位置Ｓ２まで押し込まれたときに、機器を動作させると共に、ボタン１１の表示態様を第１モードから第２モードに変更することができる。従って、機器を動作させると共にボタン１１の表示態様が変わるので、使用者Ｍはボタン１１が正しく押されており機器が動作していることを把握できる。

図１及び図２に示されるように、空中操作装置１では、表示面１０が予め定められた位置Ｐにいる使用者Ｍに正対するように空中結像デバイス１４が表示面１０を表示する。従って、視認しやすい態様でボタン１１付きの表示面１０を使用者Ｍに向けて表示できるので、ボタン１１の操作性を向上させることができる。また、表示面１０は、表示面１０の中心Ｏを通り且つ表示面１０に直交する仮想直線Ｌに対する角度である視野角θ以下である位置からのみ視認可能とされている。従って、視野角θを超える角度の位置からは表示面１０を視認することができないので、使用者Ｍ以外の人Ｎが周囲から表示面１０を視認することを抑制することができる。よって、周囲から操作入力を見られないという安心感を使用者Ｍに与えることができるので、操作性を向上させることができる。

視野角θは２０°以下であってもよい。この場合、周囲から表示面１０が視認される可能性をより低減できるので、使用者Ｍに更なる安心感を与えることができる。

空中操作装置１は、センサ３によって検出された対象物Ｆの位置に基づいて、ボタン１１が押されたか否かを判定する判定部２４と、判定部２４の判定結果を空中操作装置１の使用者Ｍに通知する通知部２７と、を備え、通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の位置であると判定部２４が判定したときに、表示装置１５を制御してボタン１１の表示態様を変更してもよい。この場合、対象物Ｆの位置がボタン１１の位置であると判定されたときにボタン１１の表示態様が変更される。従って、ボタン１１が正しく押されていることを使用者Ｍに通知することができるので、ボタン１１の操作性を向上させることができる。

空中操作装置１は、使用者Ｍの位置を検出する位置検出部２３と、空中結像デバイス１４によって表示される表示面１０が使用者Ｍに正対するように空中結像デバイス１４を回転させる回転部２６と、を備えてもよい。この場合、仮に予め定められた位置Ｐに使用者Ｍがいなかった場合であっても、位置検出部２３が使用者Ｍの位置を検出し回転部２６が空中結像デバイス１４を回転させることにより、表示面１０を使用者Ｍに正対させることが可能となる。従って、更なる操作性の向上に寄与する。

図６及び図７に示されるように、空中操作装置１では、ボタン１１が押されたか否かを判定部２４が判定し、判定部２４による判定結果を通知部２７が空中操作装置１の使用者Ｍに通知する。通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁よりも内側であるときにボタン１１の表示態様を第１モードに変更する。従って、使用者Ｍは、ボタン１１の表示態様が第１モードに変更されたことを見てボタン１１が正しく押されたことを把握することができるので、ボタン１１の操作性を向上させることができる。

また、通知部２７は、センサ３によって検出された対象物Ｆの位置がボタン１１の外縁又は外縁よりも外側であるときにボタン１１の表示態様を第２モードに変更する。よって、ボタン１１の外縁又は外縁よりも外側が押されたときにボタン１１の表示態様が第２モードに変更されることにより、ボタン１１が正しく押されていないことを使用者Ｍに通知することができる。従って、ボタン１１を正しく押すよう使用者Ｍに促すことができるので、更なる操作性の向上に寄与する。

以上、本開示に係る空中操作装置の実施形態について説明した。しかしながら、本開示に係る空中操作装置は、前述した実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。すなわち、空中操作装置の各部の構成、形状、大きさ、数、材料及び配置態様は、前述した要旨を変更しない範囲において適宜変更可能である。

例えば、前述の実施形態では、センサ３は、センサ３と物体上の各点との距離をＬｉｇｈｔ Ｃｏｄｉｎｇ方式によって測定する例について説明したが、この方式に限定されない。例えば、センサ３は、センサ３と物体上の各点との距離を、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式によって測定してもよい。ＴＯＦ方式では、センサ３は、光線が物体上の各点で反射してセンサ３に到達するまでの光線の飛行時間（遅れ時間）を算出し、算出した飛行時間と光の速度とから、センサ３と物体上の各点との距離を測定する。このような形態であっても、前述した実施形態と同様の効果を奏する。

更に、センサの種類は深度センサに限定されない。すなわち、深度センサであるセンサ３に代えて、赤外線センサ又は超音波センサ等を備えていてもよく、センサの種類は適宜変更可能である。また、前述の実施形態では、テンキーを構成する複数のボタン１１を備えた表示面１０を表示装置１５及び空中結像デバイス１４が表示する例について説明した。しかしながら、表示面のボタン等のレイアウトは、上記の例に限られず適宜変更可能である。

次に、変形例に係る空中操作装置４１について図８～図１０を参照しながら説明する。図８は、変形例に係る空中操作装置４１を示す斜視図である。図９は、空中操作装置４１が空中にボタン５１付きの表示面５０を表示している状態を示す斜視図である。空中操作装置４１はトイレＴに設けられ、表示面５０のボタン５１はトイレＴの各部を動作させるボタンである。

ボタン５１付きの表示面５０は、前述した表示面１０と同様、空中に浮き出るように表示される空中浮遊像である。よって、空中操作装置４１の使用者は直接ボタン等に触れなくて済むため衛生的にトイレＴの各部を操作することが可能である。例えば、トイレＴは、便器Ｂと、便器Ｂに隣接する壁部Ｗとを備える。例えば、壁部Ｗは、便器Ｂに着座した使用者から見て右側に設けられる。例示的な壁部Ｗには、空中操作装置４１及びトイレットペーパーＥが固定されており、洗面台Ｒが設けられていてもよい。便器Ｂは、例えば、ウォシュレット（登録商標）付きであって、表示面５０のボタン５１からトイレＴのウォシュレットを操作可能とされている。例えば、表示面５０は、複数のボタン５１を備えており、使用者が複数のボタン５１を操作することによってウォシュレットの各部を動作させることが可能である。

空中操作装置４１は、例えば、壁部Ｗに固定されている。空中操作装置４１は、壁部Ｗに埋め込まれていてもよいし、壁部Ｗに対して着脱可能であってもよい。空中操作装置４１は、筐体４２と、筐体４２の下部から突出する突出部４３とを備える。突出部４３には、ボタン５１に接近する対象物Ｆを検出する複数のセンサ５２が埋め込まれている。センサ５２はボタン５１に対応して設けられており、各ボタン５１は各センサ５２の斜め上方に表示される。ボタン５１及びセンサ３の数は７である。

表示面５０は、空中操作装置４１の上下方向Ａ１、及び壁部Ｗからの突出方向Ａ３の双方に対して斜め上方に向けられるように表示される。これにより、使用者に表示面５０を視認しやすくすることができる。表示面５０は、例えば、左右方向Ａ２に長く延びる形状を呈する。一例として、表示面５０は、矩形状に表示され、表示面５０の縦方向の長さＺ１は表示面５０の横方向の長さＺ２よりも短い。長さＺ１と長さＺ２のアスペクト比を１：Ｘ（Ｘを実数）とすると、例えば、Ｘの値は２以上且つ１０以下である。Ｘの値の下限は３であってもよいし、Ｘの値の上限は５、６、７、８又は９であってもよい。

一例として、上記のＸの値は４であり、長さＺ１と長さＺ２のアスペクト比は１：４であってもよい。ボタン５１は、例えば、矩形状を呈する。一例として、ボタン５１は正方形状であってもよい。ボタン５１の一辺の長さは、例えば、１８ｍｍ以上且つ２４ｍｍ以下である。しかしながら、ボタン５１の形状及び大きさは適宜変更可能である。

表示面５０は、複数のボタン５１以外のものを表示してもよい。例えば、表示面５０は、複数のボタン５１と、文字情報５３とを含んでもよい。文字情報５３は、一例として、日付情報、時刻情報、気温情報、温度情報及び気圧情報の少なくともいずれかを含んでいてもよい。表示面５０では、例えば、表示面５０の下側において複数のボタン５１が横方向に並ぶように表示され、複数のボタン５１の上方に文字情報５３が表示されてもよい。ボタン５１は、表示面５０の中心５０ｂからずれた位置に中心５１ｂが位置するように配置されてもよい。一例として、複数のボタン５１のそれぞれは、中心５０ｂを通ると共に表示面５０の長手方向（横方向）に延びる基準線Ｖからオフセットした位置に表示される。

図１０は、筐体４２及び突出部４３を示す縦断面図である。図９及び図１０に示されるように、例えば、筐体４２は、横長に延びる箱状を呈する。一例として、筐体４２は、壁部Ｗに取り付けられた状態において上下方向Ａ１及び左右方向Ａ２に延びる前面４２ｂと、上下方向Ａ１及び壁部Ｗからの突出方向Ａ３に延びる左右一対の側面４２ｃと、左右方向Ａ２及び突出方向Ａ３に延びる上面４２ｄと、上面４２ｄの反対側を向く下面４２ｆとを有する。

突出部４３は、例えば、矩形板状を呈する。一例として、突出部４３は、前面４２ｂの下側から突出すると共に上方に向けられる主面４３ｂと、左右方向Ａ２又は突出方向Ａ３を向く端面４３ｃと、主面４３ｂの反対側を向く裏面４３ｄとを有する。前述したように突出部４３にはセンサ５２が内蔵されている。これにより、センサ５２によって対象物Ｆを検出しやすくすることができる。

空中操作装置４１は、ボタン５１付きの表示面５０を表示する空中結像デバイス５４と、筐体４２の内部に配置された表示装置５５と、制御部６０とを備える。空中結像デバイス５４、表示装置５５及び制御部６０のそれぞれは、例えば、前述した空中結像デバイス１４、表示装置１５及び制御部２０のそれぞれと同一である。空中結像デバイス５４は、例えば、筐体４２の前面４２ｂの内側に位置する開口４２ｇに固定されている再帰反射鏡である。

開口４２ｇは、例えば、筐体４２の前面４２ｂを構成する一対の第１板部４２ｈと、第１板部４２ｈの筐体４２の内側に固定された一対の第２板部４２ｊとによって画成される。一例として、第１板部４２ｈ及び第２板部４２ｊは、上下一対に設けられる。空中結像デバイス５４は、第１板部４２ｈと第２板部４２ｊの間に挟まれた状態で筐体４２に固定されている。

空中結像デバイス５４は、例えば、左右方向Ａ２に延びる長辺と、上下方向Ａ１に延びる短辺とを有する長方形状とされている。空中結像デバイス５４の一方の長辺及び他方の長辺のそれぞれが、第１板部４２ｈと第２板部４２ｊの間に挟まれている。表示装置５５は、空中結像デバイス５４に対して斜めに配置されている。表示装置５５は、筐体４２の内部において空中結像デバイス５４の斜め上方に配置されている。表示装置５５のスクリーンは、例えば、空中結像デバイス５４に向けて斜め下方に画像としての光Ｃを照射する。空中結像デバイス５４は、表示装置５５からの光Ｃを内部において複数回（例えば２回）反射し、操作者から見て空中結像デバイス５４よりも手前側の空間に表示面５０を結像する。

センサ５２は、例えば、突出部４３の主面４３ｂに露出していてもよい。例えば、センサ５２は、ボタン５１から延びる仮想直線上、すなわち、虚像であるボタン５１に対して正面位置に設けられる。例えば、センサ５２の構成及び機能は、前述したセンサ３の構成及び機能と同一である。

以上、トイレＴに設けられる変形例の空中操作装置４１について説明したが、空中操作装置４１からも空中操作装置１と同様の作用効果が得られる。また、変形例に係る空中操作装置４１に対して、本開示に係る操作入力装置は、更に変形させることが可能である。例えば、前述の変形例では、トイレＴに設けられる空中操作装置４１について説明した。しかしながら、本開示に係る空中操作装置は、キッチン、水回り、病院、公共機関、駅又は空港等に設けられていてもよい。

例えば、キッチンに設けられる空中操作装置では、ボタン付きの表示面が空中に虚像として表示されることにより、食材が付着した指等でディスプレイに直接触れなくても、料理アプリを操作可能となる。すなわち、従来は携帯端末等のディスプレイを触るために、わざわざ手を洗ってからディスプレイに表示される料理アプリを操作していたが、本開示に係る空中操作装置では、ボタン付きの表示面が空中に虚像として表示されるので、空中のボタンを操作することによって料理アプリを操作できる。従って、わざわざ手を洗わなくても料理アプリを操作できるので、操作性が高い操作入力装置とすることができる。

例えば、ＡＴＭ、病院、公共機関、駅又は空港に設けられる操作入力装置では、ボタン付きの表示面が空中に虚像として表示されることにより、共用のディスプレイを直接触らなくても、ＡＴＭ、又は、病院若しくは空港の受付機等の操作を行うことが可能である。従って、共用のディスプレイへの指の接触を不要とすることができるので、衛生的に操作を行うことができる。

１，４１…空中操作装置、２，４２…筐体、２ｂ…上面、２ｃ…側面、２ｄ…前面、２ｆ…背面、２ｇ…下面、２ｈ…傾斜面、３，５２…センサ、１０，５０…表示面、１１，５１…ボタン、１４，５４…空中結像デバイス、１５，５５…表示装置、２０，６０…制御部、２１…画像出力部、２２…対象物検出部、２３…位置検出部、２４…判定部、２５…信号出力部、２６…回転部、２７…通知部、２７ｂ…音声出力部、２７ｃ…色彩変更部、３０…回転装置、４２ｂ…前面、４２ｃ…側面、４２ｄ…上面、４２ｆ…下面、４２ｇ…開口、４２ｈ…第１板部、４２ｊ…第２板部、４３…突出部、４３ｂ…主面、４３ｃ…端面、４３ｄ…裏面、５０…表示面、５０ｂ，５１ｂ…中心、５３…文字情報、Ａ…現金自動預け払い機、Ａ１…上下方向、Ａ２…左右方向、Ａ３…突出方向、Ｂ…便器、Ｃ…光、Ｄ１…第１方向、Ｄ２…第２方向、Ｄ３…第３方向、Ｅ…トイレットペーパー、Ｆ…対象物、Ｋ…距離、Ｌ…仮想直線、Ｍ…使用者、Ｎ…人、Ｏ…中心、Ｐ…位置、Ｒ…洗面台、Ｓ１…第１位置、Ｓ２…第２位置、Ｔ…トイレ、Ｖ…基準線、Ｗ…壁部、Ｘ…軸線、Ｙ…閾値、Ｚ…押下判定面、θ…視野角。

Claims (7)

1. 光を照射して情報を表示する表示装置と、
   前記表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、
   前記ボタンに接近する対象物の位置を検出するセンサと、
   を備えた空中操作装置であって、
   前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを判定する判定部と、
   前記空中操作装置の外部の機器に制御信号を出力して前記機器の動作を制御する信号出力部と、
   前記判定部の判定結果を前記空中操作装置の使用者に通知する通知部と、
   を備え、
   前記通知部は、前記センサによって検出された対象物の位置が第１位置であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を第１モードに変更し、
   前記センサによって検出された対象物の位置が前記第１位置よりも前記センサ寄りの第２位置であると前記判定部が判定したときに、前記信号出力部が前記機器に制御信号を出力する、
   空中操作装置。
2. 前記通知部は、前記センサによって検出された対象物の位置が前記第２位置であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を前記第１モードとは異なる第２モードに変更する、
   請求項１に記載の空中操作装置。
3. 光を照射して情報を表示する表示装置と、
   前記表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、
   前記ボタンに接近する対象物の位置を検出するセンサと、
   を備えた空中操作装置であって、
   前記空中操作装置を操作する使用者の位置が予め定められており、
   前記空中結像デバイスは、予め定められた前記位置に位置する使用者に正対するように前記表示面を表示し、
   前記表示面は、前記表示面の中心を通り且つ前記表示面に直交する仮想直線に対する角度である視野角以下である位置からのみ視認可能とされている、
   空中操作装置。
4. 前記視野角が２０°以下である、
   請求項３に記載の空中操作装置。
5. 前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを判定する判定部と、
   前記判定部の判定結果を前記空中操作装置の使用者に通知する通知部と、
   を備え、
   前記通知部は、前記センサによって検出された対象物の位置が前記ボタンの位置であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を変更する、
   請求項３又は４に記載の空中操作装置。
6. 前記使用者の位置を検出する位置検出部と、
   前記空中結像デバイスによって表示される表示面が前記使用者に正対するように前記空中結像デバイスを回転させる回転部と、を備える、
   請求項３～５のいずれか一項に記載の空中操作装置。
7. 光を照射して情報を表示する表示装置と、
   前記表示装置からの光を複数回反射させて空中に虚像としてボタン付きの表示面を表示する空中結像デバイスと、
   前記ボタンに接近する対象物の位置を検出するセンサと、
   を備えた空中操作装置であって、
   前記センサによって検出された対象物の位置に基づいて、前記ボタンが押されたか否かを判定する判定部と、
   前記判定部の判定結果を前記空中操作装置の使用者に通知する通知部と、
   を備え、
   前記通知部は、
   前記センサによって検出された対象物の位置が前記ボタンの外縁よりも内側であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を第１モードに変更し、
   前記センサによって検出された対象物の位置が前記ボタンの外縁又は前記外縁よりも外側であると前記判定部が判定したときに、前記表示装置を制御して前記ボタンの表示態様を前記第１モードとは異なる第２モードに変更する、
   空中操作装置。
   
   

Images