JPWO2019159760A1

JPWO2019159760A1 - 操作検出装置及び操作検出方法

Info

Publication number: JPWO2019159760A1
Application number: JP2020500416A
Authority: JP
Inventors: 隆義望月
Original assignee: Murakami Corp
Current assignee: Murakami Corp
Priority date: 2018-02-19
Filing date: 2019-02-05
Publication date: 2021-01-28
Anticipated expiration: 2039-02-05
Also published as: WO2019159760A1; DE112019000858T5; US11237673B2; US20200401271A1; JP7286613B2; CN111727417A

Abstract

一実施形態の操作検出装置は、操作部を虚像として表示する表示部と、操作部に接近する対象物の位置を検出するセンサと、センサによって検出された対象物の位置に基づいて、操作部が押下されたか否かを判定する判定部と、を備える。判定部は、対象物が操作部に到達する前に、操作部が押下されたと判定する。

Description

本開示は、操作検出装置及び操作検出方法に関する。

特許文献１は、ホログラフィックイメージとして表示される入力デバイスに対するオペレータの操作を検出するホログラフィックヒューマンマシンインタフェース（ＨＭＩ：Human Machine Interface）を開示する。このＨＭＩは、オペレータから見てホログラフィックイメージの後ろ側に配置されたエミッタ／ディテクタを有する。エミッタ／ディテクタは、ホログラフィックイメージに向けて波を放射する。このＨＭＩでは、物体（例えばオペレータの指）が、ホログラフィックイメージが現れている位置に存在すると、エミッタ／ディテクタからの波が当該物体で反射して反射波としてエミッタ／ディテクタに入射する。この反射により、エミッタ／ディテクタは、ホログラフィックイメージに対するオペレータの操作を検出する。

このＨＭＩでは、ホログラフィックイメージとして表示される入力デバイスに対するオペレータの押下操作を検出できる。ＨＭＩは、物体が入力デバイスの位置に実際に到達したときに入力デバイスが押下されたと判定することによって、入力デバイスに対するオペレータの押下操作を検出し得る。

特許第４７４１４８８号公報

しかしながら、ホログラフィックイメージ等の虚像が結像される位置は、ユーザ（オペレータ）にとって認識し難いことがある。このため、ユーザが認識した操作部（入力デバイス）の位置と、実際に虚像として結像される操作部の位置との間でずれが生じうる。その結果、ユーザが指等によって操作部を押下したつもりでも、実際には指等が操作部の位置に到達していないことがある。この場合、前述したＨＭＩでは、ユーザが指等によって操作部を押下したと思っているにもかかわらず、操作部が押下されたと判定されない。よって、このＨＭＩでは、ユーザの意図通りに操作部の押下操作がなされないとユーザに感じさせる可能性がある。

前述したＨＭＩでは、対象物が操作部に実際に到達したときにユーザの押下操作を認識しうる。このＨＭＩでは、対象物が操作部に到達したときに初めて機器の動作が開始されるので、ユーザは押下操作の反応を遅く感じる可能性がある。従って、前述したＨＭＩでは、操作部の操作性が良くないとユーザに感じさせる可能性がある。

本開示は、虚像として表示される操作部の操作性が良いとユーザに感じさせることができる操作検出装置及び操作検出方法を提供することを目的とする。

一実施形態の操作検出方法は、虚像として表示される操作部に接近する対象物の位置を検出する工程と、対象物が操作部に到達する前に、操作部が押下されたと判定する工程と、を備える。

前述した操作検出装置及び操作検出方法では、操作部が虚像として表示されるので、操作部を浮き出たように表示できる。このように操作部を浮き出たように表示することにより、操作部の視認性を高めることができる。更に、前述した操作検出装置及び操作検出方法では、対象物が操作部に到達する前に操作部が押下されたと判定される。すなわち、対象物が操作部に到達するときよりも前に、操作部が押下されたとの押下判定がなされる。これにより、対象物が実際に操作部に到達するよりも前に押下判定がなされ、操作部の押下操作による機器の動作を早期に行わせることが可能になるので、押下操作の反応が良いとユーザに感じさせることができる。対象物が操作部に到達する前に押下判定を行うことにより、ユーザが操作部を押下したと思っているにもかかわらず押下判定がなされないという現象の発生を抑制できる。従って、ユーザが操作部を押下したと思ったときに押下判定を行うことができるので、ユーザの意図通りに押下操作がなされたとユーザに感じさせることができる。従って、前述した操作検出装置及び操作検出方法によれば、操作部の操作性が良いとユーザに感じさせることができる。

判定部は、対象物から見て操作部の手前に設けられる押下判定面に対象物が到達したときに、操作部が押下されたと判定してもよい。これにより、対象物による押下がなされた旨の押下判定を簡易な構成で実現できる。

判定部は、操作部に接近する対象物の速度を検出し、検出した速度と、対象物の位置とから、操作部が押下されるか否かを判定してもよい。例えば、ユーザがゆっくりと指等の対象物を動かして対象物を操作部に近づけるときに、ユーザが、思ったよりも早く押下判定がなされたと認識する可能性がある。これに対して、前述したように、対象物の速度と位置とから押下判定を行う場合、対象物の位置の時系列変化に基づいて押下判定を行うことができる。よって、対象物の操作の進行度合いを把握した上で押下判定を行うことができる。従って、対象物の速度と位置とから操作部に対する押下判定を行うことにより、対象物の位置予測を加味した判定を行うことができるので、操作部への押下判定をより正確に行うことができる。

センサは、操作部を挟んで対象物とは反対側に設けられる深度センサであってもよい。ところで、対象物が操作部に接近する接近方向と、深度センサの座標軸が示す各方向との間にずれが生じている場合、対象物の位置を正しく検出するために、深度センサの座標系に対して座標変換処理を行う必要がありうる。これに対し、操作部を挟んで対象物の反対側に深度センサが設けられる場合、操作部から見て深度センサを対象物の反対側に配置することによって、前述した座標変換処理の負荷を軽減できる。これにより、操作検出装置の処理負荷を軽減できる。

本開示によれば、虚像として表示される操作部の操作性が良いとユーザに感じさせることができる。

図１は、一実施形態の操作検出装置を示す構成図である。図２は、図１の操作検出装置の表示部によって表示される虚像を示す概念図である。図３は、虚像として表示される操作部の一例を示す図である。図４は、図１の操作検出装置の制御部の機能ブロック図である。図５は、図１の操作検出装置のセンサによって出力される距離画像データの一例を示す図である。図６は、操作検出装置の動作の一例を示すフローチャートである。図７は、センサの変形例を示す図である。

以下、添付図面を参照しながら、本開示に係る操作検出装置及び操作検出方法の実施の形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。

（第１実施形態）
図１は、第１実施形態の操作検出装置１を示す構成図である。操作検出装置１は、例えば、車両と車両の搭乗者（ユーザ）との間においてＨＭＩ（Human Machine Interface）を構築する操作検出装置である。操作検出装置１は、ユーザから見て手前側に操作部２を虚像３として空中に表示すると共に、操作部２に接近する対象物４を検出する。操作部２は、例えば、車両に搭載された各機器（例えば車載用バックカメラ又はエアコン等）を動作させることが可能な部位であり、一例として、虚像３として表示されるスイッチ等のボタンである。対象物４は、操作部２を操作して機器を動作させるものであり、例えばユーザの指又はペン等の棒状物である。

操作検出装置１は、検出した対象物４の位置に基づいて、対象物４による操作部２への押下操作を検出し、検出した操作に基づいて各機器を動作させる。押下操作には、操作部２を押し下げる操作、及び操作部２を押し上げる操作の両方の操作が含まれる。操作検出装置１は、図１に示されるように、表示部１０と、深度センサ２０（センサ）と、制御部３０とを備える。表示部１０は、操作部２を虚像３として空中に表示する。表示部１０は、空中結像素子であるＡＩ（Aerial Imaging）プレート１１（登録商標）と、液晶パネル１２とを備えている。ＡＩプレート１１は、例えば、特許第４８６５０８８号に記載された技術を用いて作製されている。

液晶パネル１２は、例えば、ＰＣ（パーソナルコンピュータ）、タブレット端末、又は携帯電話等の携帯端末のディスプレイである。液晶パネル１２は、例えば、その表示面が略水平となるように配置されている。ＡＩプレート１１は、液晶パネル１２（水平方向）に対して斜めに傾斜している。液晶パネル１２に対するＡＩプレート１１の傾斜角度は、可変とされていてもよい。液晶パネル１２は、制御部３０から出力される信号に基づいて画像を表示する。

図２は、表示部１０によって表示される虚像３を示す概念図である。図２に示されるように、液晶パネル１２が表示する画像は、ＡＩプレート１１によって、ＡＩプレート１１及び液晶パネル１２に対してユーザＵ側の位置に虚像３として表示される。例えば、液晶パネル１２から上方に出射してＡＩプレート１１に入射した光Ｌ１は、ＡＩプレート１１において２回反射し、ユーザＵから見て表示部１０よりも手前側の空間に虚像３を結像する。

図３は、虚像３として表示される操作部２の一例である。図３に示されるように、操作部２は、例えば、車載用バックカメラを操作可能な操作画面であり、操作部２の各ボタンの押下によって車載用バックカメラの撮影の位置を切り替えることができる。一例として、操作部２は、車両の左方を撮影する第１虚像ボタン２Ａと、車両の後方を撮影する第２虚像ボタン２Ｂと、車両の右方を撮影する第３虚像ボタン２Ｃとを含む。

再び図１を参照する。深度センサ２０は、操作部２を挟んで対象物４とは反対側に設けられる。一例では、深度センサ２０は、操作部２と対象物４とを結ぶ仮想直線上に設けられる。深度センサ２０は、当該仮想直線に対して垂直な面における対象物４の位置（２次元位置）の情報と、深度センサ２０から対象物４までの距離Ｄ１の情報とを含む距離画像データを取得する。距離画像データは、例えば、６４０×４８０画素として取得される。深度センサ２０は、取得した距離画像データを所定の周期（例えば１／３０秒）で制御部３０に出力する。

具体的には、深度センサ２０は、対象物４を含む撮影領域内に存在する物体上の各点に光線（例えば赤外線）を照射し、物体上の各点から反射した光線を受光する。そして、深度センサ２０は、受光した光線に基づいて深度センサ２０と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。

深度センサ２０と物体上の各点との距離は、例えばＬｉｇｈｔＣｏｄｉｎｇ方式によって測定される。この方式では、深度センサ２０は、対象物４を含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、深度センサ２０は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪を検出することによって、深度センサ２０と物体上の各点との距離を測定する。深度センサ２０は、物体上の各点の２次元位置の情報と、深度センサ２０から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部３０に出力する。

制御部３０は、深度センサ２０及び液晶パネル１２と通信可能である。制御部３０は、例えば、プログラムを実行するＣＰＵ３１（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶部３２と、入出力部３３と、ドライバ３４とを備えている。制御部３０の各機能的構成要素が奏する機能は、ＣＰＵ３１の制御の下で、入出力部３３を動作させ、記憶部３２におけるデータの読み出し及び書き込みを行うことによって実現される。制御部３０の形態及び配置場所については特に限定されない。

図４は、制御部３０の機能ブロック図である。図４に示されるように、制御部３０は、機能的構成要素として、画像出力部４０と、対象物検出部４１と、操作判定部４２（判定部）と、信号出力部４３とを有する。画像出力部４０は、液晶パネル１２に表示する画像の画像データを液晶パネル１２に出力する。液晶パネル１２が表示する画像は、図３に示される操作画面に限られない。液晶パネル１２は、画像出力部４０からの画像データに基づいて、様々な種類の画像を表示できる。

対象物検出部４１は、深度センサ２０から出力される距離画像データに基づいて対象物４を検出する。図５は、深度センサ２０から出力される距離画像データＤを模式的に示す図である。対象物検出部４１は、深度センサ２０から距離画像データＤが入力されると、距離画像データＤに対して走査領域Ｒを設定する。走査領域Ｒは、例えば、距離画像データＤのうちの走査対象となる領域である。対象物検出部４１は、例えば、距離画像データＤの中央を含む領域（すなわち、距離画像データＤの端部を除く領域）を走査領域Ｒとして設定する。このように、対象物検出部４１が距離画像データＤの中央を含む領域を走査領域Ｒとして設定することにより、対象物４の検出の速度を速めることができる。対象物検出部４１は、距離画像データＤの全体を走査領域Ｒとして設定してもよい。

対象物検出部４１は、例えば、走査領域Ｒ内における複数の画素Ｅのうち、矩形状とされた走査領域Ｒの対角線上における一方の隅部にある画素ＥＡの位置を走査開始位置とし、他方の隅部にある画素ＥＢの位置を走査終了位置として、走査領域Ｒ内の各画素Ｅについて画素ＥＡから画素ＥＢまで順次走査する。各画素Ｅには、深度センサ２０と物体上の各点との距離の情報が対応付けられている。対象物検出部４１は、走査領域Ｒ内における各画素Ｅを走査し、例えば、各画素Ｅに対応付けられた距離が所定値以下であるか否かに応じて、対象物４の有無を検出する。対象物検出部４１は、対象物４を検出すると、対象物４の位置を示す位置データを操作判定部４２に出力する。

再び図４を参照する。操作判定部４２は、対象物検出部４１から出力された位置データに基づいて、対象物４によって操作部２が押下されたか否かを判定する。操作判定部４２は、具体的には、図１に示されるように、深度センサ２０と対象物４との距離Ｄ１が閾値Ｔ以下であるか否かを判定する。そして、対象物４が仮想の押下判定面Ｓに到達したときに、操作判定部４２は、距離Ｄ１が閾値Ｔ以下であると判定し、操作部２が押下されたと判定する。押下判定面Ｓは、深度センサ２０からの距離が一定である領域に形成された仮想の面である。

操作判定部４２は、対象物４が操作部２に到達するよりも前に、対象物４によって操作部２が押下されたと判定する。深度センサ２０と操作部２との距離Ｄ２よりも大きい閾値Ｔを設定することによって、対象物４から見て操作部２の手前に押下判定面Ｓが設けられる。例えば、距離Ｄ２は１００ｍｍであり、閾値Ｔは１２０ｍｍであるが、これらの値は適宜変更可能である。操作判定部４２は、押下判定面Ｓに対象物４が到達して距離Ｄ１が閾値Ｔ以下であると判定したときに、操作部２が押下されたと判定する。

押下判定面Ｓは、具体的には、操作部２よりも対象物４側に距離ｄ１だけ離間した位置に設けられる。距離ｄ１は、操作部２と押下判定面Ｓとの距離であり、閾値Ｔと、深度センサ２０から操作部２までの距離Ｄ２との差分に相当する。距離ｄ１は、例えば、虚像３として円形状のボタンが表示される場合、円形状のボタンの半径の半分である。距離ｄ１は、例えば、１０ｍｍ〜３０ｍｍであり、好ましくは１５ｍｍ〜２５ｍｍであるが、距離ｄ１の値は、適宜変更可能である。本実施形態では、距離ｄ１の値は、２０ｍｍである。

信号出力部４３は、操作部２の押下操作がなされたと操作判定部４２が判定した場合に、操作部２の押下操作に基づく制御信号を生成する。信号出力部４３は、生成した制御信号を前述した車載用バックカメラ等の機器に出力し、当該機器は、信号出力部４３から制御信号を受けて動作する。図３に示される例では、第１虚像ボタン２Ａ、第２虚像ボタン２Ｂ、又は第３虚像ボタン２Ｃの押下操作がなされたと操作判定部４２が判定した場合に、信号出力部４３は、車載用バックカメラに制御信号を出力する。車載用バックカメラは、入力された制御信号に基づいて、車両の左方の画像、車両の後方の画像、及び車両の右方の画像のいずれかを表示する。

続いて、操作検出装置１の動作を説明する。併せて、本実施形態の操作検出方法について説明する。操作検出装置１の動作は、例えば記憶部３２に記憶されたプログラムをＣＰＵ３１が読み出し実行することによって実行される。図６は、操作検出装置１の動作の一例を示すフローチャートである。まず、深度センサ２０は、対象物４の２次元位置の情報と、深度センサ２０から対象物４までの距離Ｄ１の情報とを含む距離画像データＤを取得し、取得した距離画像データＤを制御部３０に出力する。対象物検出部４１は、入力された距離画像データＤに基づいて対象物４を検出する（工程Ｐ１）。このとき、対象物検出部４１は、距離画像データＤの複数の画素Ｅの中から深度センサ２０と対象物４との距離が近いことを示す画素Ｅを特定することによって、対象物４を検出してもよい。対象物検出部４１は、対象物４を検出すると、対象物４の位置を示す位置データを操作判定部４２に出力する。

次に、操作判定部４２は、対象物検出部４１から出力される位置データに基づいて、対象物４によって操作部２が押下されたか否かを判定する（工程Ｐ２）。操作判定部４２は、対象物４から見て操作部２の手前に設けられる押下判定面Ｓに対象物４が到達して距離Ｄ１が閾値Ｔ以下であると判定したときに（工程Ｐ２においてＹＥＳ）、操作部２が押下されたと判定する。一方、操作判定部４２は、対象物４が押下判定面Ｓに到達しておらず距離Ｄ１が閾値Ｔ以下でないと判定したときには（工程Ｐ２においてＮＯ）、操作部２が押下されていないと判定する。操作部２が押下されていないと判定された場合には、工程Ｐ１に戻り、引き続き対象物４を検出する工程Ｐ１が実行される。

操作部２の押下操作がなされたと操作判定部４２が判定した場合（工程Ｐ２においてＹＥＳ）、操作部２の押下操作に基づく制御信号を信号出力部４３が生成する。信号出力部４３は、生成した制御信号を前述した車載用バックカメラ等の機器に出力し、当該機器は、信号出力部４３から制御信号を受けて動作する（工程Ｐ３）。そして、一連の工程が終了する。

続いて、本実施形態の操作検出装置１及び操作検出方法によって得られる効果を説明する。本実施形態では、操作部２が虚像３として表示されるので、操作部２を浮き出たように表示できる。このように操作部２を浮き出たように表示することにより、操作部２の視認性を高めることができる。更に、本実施形態の操作検出装置１及び操作検出方法では、対象物４が操作部２に到達する前に操作部２が押下されたと判定される。すなわち、対象物４が操作部２に到達するときよりも前に、操作部２が押下されたとの押下判定がなされる。これにより、対象物４が実際に操作部２に到達するときよりも前に押下判定がなされ、押下操作による機器の動作を早期に行わせることが可能になるので、押下操作の反応が良いとユーザＵに感じさせることができる。

対象物４が操作部２に到達する前に押下判定を行うことにより、ユーザＵが操作部２を押下したと思っているにもかかわらず押下判定がなされないという現象の発生を抑制できる。従って、ユーザＵが操作部２を押下したと思ったときに押下判定を行うことができるので、ユーザＵの意図通りに押下操作がなされたとユーザＵに感じさせることができる。従って、前述した操作検出装置１及び操作検出方法によれば、操作部２の操作性が良いとユーザＵに感じさせることができる。

操作判定部４２は、図１に示されるように、対象物４から見て操作部２の手前に設けられる押下判定面Ｓに対象物４が到達したときに、操作部２が押下されたと判定する。これにより、対象物４による押下がなされた旨の押下判定を簡易な構成で実現できる。

深度センサ２０は、操作部２を挟んで対象物４とは反対側に設けられる。ところで、対象物４が操作部２に接近する接近方向と、深度センサ２０の座標軸が示す各方向との間にずれが生じている場合、対象物４の位置を正しく検出するために、深度センサ２０の座標系に対して座標変換処理を行う必要がありうる。これに対し、操作部２を挟んで対象物４の反対側に深度センサ２０が設けられる場合、操作部２から見て深度センサ２０を対象物４の反対側に配置することによって、前述した座標変換処理の負荷を軽減できる。これにより、操作検出装置１の処理負荷を軽減できる。

（第２実施形態）
次に、第２実施形態の操作検出装置及び操作検出方法について説明する。第２実施形態では、操作判定部（判定部）が、操作部２に接近する対象物４の速度を検出し、検出した速度と対象物４の位置とから、操作部２が押下されるか否かを判定する点が第１実施形態と異なっている。以下の説明では、第１実施形態と重複する説明を適宜省略する。

第２実施形態では、例えば、深度センサ２０から時刻ｔ１，ｔ２，ｔ３…［ｓ］に距離画像データＤが所定の周期で制御部３０に順次出力される。そして、例えば、時刻ｔ１における対象物４と操作部２との距離Ｄ１が１５ｍｍであり、次の時刻ｔ２における距離Ｄ１が５ｍｍであったとする。この場合、対象物４の速度は１０／（ｔ２−ｔ１）［ｍｍ／ｓ］であることから、次の時刻ｔ３までに対象物４は操作部２に達すると予測される。例えば、深度センサ２０から距離画像データＤが出力される周期（すなわちｔ２−ｔ１）が１／３０秒程度であっても、時刻ｔ３の１周期又は２周期前に（時刻ｔ１又は時刻ｔ２の時点で）操作部２が押下されたと判定できる。

以上のように、第２実施形態において、操作判定部は、操作部２に接近する対象物４の速度を検出し、検出した速度と対象物４の位置とから、操作部２が押下されるか否かを判定する。ところで、対象物４が押下判定面Ｓに到達したときに押下判定を行う場合には、例えばユーザＵがゆっくりと対象物４を動かして対象物４を操作部２に近づけるときに、対象物４が思ったよりも早く押下判定面Ｓに到達することにより、ユーザＵが、思ったよりも早く押下判定がなされたと認識する可能性がある。これに対し、第２実施形態のように、操作判定部が対象物４の速度と位置とから押下判定を行う場合、対象物４の位置の時系列変化に基づいて押下判定を行うことができる。よって、対象物４の進行度合いを把握した上で押下判定を行うことができる。従って、対象物４の速度と位置とから操作部２に対する押下判定を行うことにより、対象物４の位置予測を加味した判定を行うことができるので、操作部２への押下判定をより正確に行うことができる。

以上、本開示に係る操作検出装置及び操作検出方法の各実施形態について説明した。しかしながら、本開示は、前述の各実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。すなわち、操作検出方法の各工程の内容及び順序、並びに、操作検出装置の各部の構成は、各請求項の要旨を変更しない範囲において適宜変更可能である。

例えば、前述した実施形態では、深度センサ２０は、深度センサ２０と物体上の各点との距離をＬｉｇｈｔＣｏｄｉｎｇ方式によって測定したが、この方式に限定されない。例えば、深度センサ２０は、深度センサ２０と物体上の各点との距離をＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）方式によって測定してもよい。ＴＯＦ方式では、深度センサ２０は、光線が物体上の各点で反射して深度センサ２０に到達するまでの光線の飛行時間（すなわち遅れ時間）を算出し、算出した飛行時間と光の速度とから、深度センサ２０と物体上の各点との距離を測定する。このような形態であっても、前述した各実施形態と同様の効果を奏する。

前述した各実施形態では、対象物４を検出するセンサとして、対象物４との距離Ｄ１の情報を取得する深度センサ２０が用いられたが、深度センサ２０以外のセンサが用いられてもよい。すなわち、深度センサ２０に代えて、例えば赤外線センサ又は超音波センサ等が用いられてもよく、センサの種類は適宜変更可能である。

図７は、変形例に係るセンサ２０Ａを備えた操作検出装置を示している。センサ２０Ａは、対象物４が操作部２に接近する接近方向と交差する方向に光線（例えば赤外線）ＬＡを照射し、照射した光線ＬＡに対象物４が接触したときに、対象物４を検出する反射型フォトセンサである。センサ２０Ａは、対象物４及び操作部２に対して、対象物４が操作部２に接近する接近方向と交差する方向に配置されている。すなわち、センサ２０Ａは、押下判定面Ｓの延長面上に設けられる。

センサ２０Ａによる光線ＬＡの照射位置（すなわち押下判定面Ｓの位置）は、対象物４から見て操作部２の手前に設けられる。よって、操作判定部４２は、対象物４が操作部２に到達するよりも前に操作部２が押下されたと判定する。従って、このセンサ２０Ａを用いた場合であっても、前述した各実施形態と同様の効果を奏する。

前述した各実施形態では、操作部２が第１虚像ボタン２Ａ、第２虚像ボタン２Ｂ、及び第３虚像ボタン２Ｃを備える例について説明したが、操作部のレイアウト及び種類は適宜変更可能である。操作検出装置は、車両以外の各機器を動作させる操作部の操作を検出する装置であってもよく、操作検出装置及び操作検出方法は、車両以外の種々の機器にも適用させることが可能である。

１…操作検出装置、２…操作部、３…虚像、４…対象物、１０…表示部、２０…深度センサ、３０…制御部、４１…対象物検出部、４２…操作判定部、Ｓ…押下判定面。

Claims

操作部を虚像として表示する表示部と、
前記操作部に接近する対象物の位置を検出するセンサと、
前記センサによって検出された前記対象物の位置に基づいて、前記操作部が押下されたか否かを判定する判定部と、
を備え、
前記判定部は、前記対象物が前記操作部に到達する前に、前記操作部が押下されたと判定する、操作検出装置。
前記判定部は、前記対象物から見て前記操作部の手前に設けられる押下判定面に前記対象物が到達したときに、前記操作部が押下されたと判定する、請求項１に記載の操作検出装置。
前記判定部は、前記操作部に接近する前記対象物の速度を検出し、検出した前記速度と前記対象物の位置とから、前記操作部が押下されるか否かを判定する、請求項１又は２に記載の操作検出装置。
前記センサは、前記操作部を挟んで前記対象物とは反対側に設けられる深度センサである、請求項１〜３のいずれか一項に記載の操作検出装置。
虚像として表示される操作部に接近する対象物の位置を検出する工程と、
前記対象物が前記操作部に到達する前に、前記操作部が押下されたと判定する工程と、
を備える、操作検出方法。