JPWO2019159759A1

JPWO2019159759A1 - 操作検出装置及び操作検出方法

Info

Publication number: JPWO2019159759A1
Application number: JP2020500415A
Authority: JP
Inventors: 隆義望月
Original assignee: Murakami Corp
Current assignee: Murakami Corp
Priority date: 2018-02-19
Filing date: 2019-02-05
Publication date: 2021-01-28
Anticipated expiration: 2039-02-05
Also published as: JP7286612B2; CN111788544A; US20210035311A1; DE112019000869T5; WO2019159759A1; US11380000B2

Abstract

一実施形態の操作検出装置は、操作部に接近する対象物を検出する操作検出装置である。この操作検出装置は、対象物との距離を複数の画素として検出するセンサと、対象物を検出する対象物検出部と、を備える。対象物検出部は、複数の画素のうち距離が最も短い最短距離に対応する第１画素を特定し、第１画素の周囲に位置する複数の第２画素を走査し、複数の第２画素のうち、各第２画素に対応する距離と最短距離との差が一定値以下である第２画素の数が所定数以上ある場合に、対象物を検出する。

Description

本開示は、操作検出装置及び操作検出方法に関する。

特許文献１は、距離画像センサを用いたユーザインタフェース装置を開示する。このユーザインタフェース装置は、画像を表示する透明ディスプレイと、物体との距離を計測する為の距離画像を取得する距離画像センサと、距離画像を解析してユーザの入力操作を検出する距離画像解析部とを備える。このユーザインタフェース装置では、距離画像センサは、ある程度近い距離にある物体の重心をポイント位置として認識し、距離画像解析部は、認識されたポイント位置に基づいてユーザの入力操作を検出する。

特開２０１２−３５８５号公報

ところで、前述したような距離画像を取得して物体（対象物）を検出する操作検出装置において、センサは、対象物との距離を複数の画素として検出する。このセンサによって取得される各画素は、対象物の表面上の各点とセンサとの距離に対応付けられている。この操作検出装置は、センサにより取得された複数の画素のいずれかを、対象物との距離が近いことを示す画素として特定することによって、対象物を検出する。

しかしながら、この種の操作検出装置は、対象物が存在しないにもかかわらず、対象物との距離が近いことを示す画素を誤って検出することがあり、この画素がノイズとなることがある。すなわち、センサが検出する画素にノイズが含まれることにより、対象物が存在しないにもかかわらず、誤って対象物を検出する可能性がある。従って、対象物の検出の精度において改善の余地がある。また、前述したユーザインタフェース装置のように対象物の重心を算出する場合、対象物の形状の取得が必要になると考えられる。この場合、計算処理等の負荷が大きくなり、対象物の検出に時間が掛かるという問題が生じうる。

本開示は、対象物を精度良く且つ高速に検出できる操作検出装置及び操作検出方法を提供することを目的とする。

一実施形態の操作検出方法は、操作部に接近する対象物をセンサによって検出する操作検出方法である。この操作検出方法は、対象物からセンサまでの距離を複数の画素として検出する工程と、複数の画素のうち距離が最も短い最短距離に対応する第１画素を特定する工程と、第１画素の周囲に位置する複数の第２画素を走査し、複数の第２画素のうち、各第２画素に対応する距離と最短距離との差が一定値以下である第２画素の数が所定数以上ある場合に、対象物を検出する工程と、を備える。

前述した操作検出装置及び操作検出方法では、センサが対象物との距離を複数の画素として検出し、対象物検出部は、対象物からの距離が最も短い最短距離に対応する第１画素を特定する。対象物検出部は、特定した第１画素の周囲に位置する複数の第２画素を走査し、走査した複数の第２画素のうち、最短距離との差が一定値以下である距離に対応する第２画素の数が所定数以上ある場合に対象物を検出する。一方、対象物検出部は、走査した複数の第２画素のうち、最短距離との差が一定値以下である距離に対応する第２画素の数が所定数未満である場合には、対象物を検出しない。このように第２画素の数が所定数未満であるときに対象物を検出しないことにより、特定した第１画素がノイズであると判断できる。その結果、ノイズの影響を排除でき、対象物の誤検出を抑制できるので、対象物を精度良く検出できる。更に、この操作検出装置及び操作検出方法では、対象物を検出する際に対象物の形状を取得する処理が不要であるため、処理負荷を軽減して処理速度を速めることができる。これにより、対象物を高速に検出できる。

前述した操作検出装置は、対象物検出部により検出された対象物の操作部に対する操作がなされたか否かを判定する判定部を更に備えてもよい。前述した操作検出装置が判定部を備えることにより、操作部に対する操作がなされたか否かを判定できる。

操作部は、虚像として表示されてもよい。操作部が虚像として表示される場合、操作部を浮き出たように表示できるので、操作部の視認性を高めることができる。操作部が虚像として表示される場合、ユーザが認識する操作部の位置にばらつきが生じることがあり、操作部に対する操作が適切に行われないことが想定される。このような場合であっても、この操作検出装置及び操作検出方法では、対象物の誤検出を抑制できる。従って、この操作検出装置及び操作検出方法によれば、対象物を精度良く検出できる。

本開示によれば、対象物を精度良く且つ高速に検出できる。

図１は、一実施形態の操作検出装置を示す構成図である。図２は、図１の操作検出装置の表示部によって表示される虚像を示す概念図である。図３は、虚像として表示される操作部の一例を示す図である。図４は、図１の操作検出装置の制御部の機能ブロック図である。図５は、図１の操作検出装置のセンサによって出力される距離画像データの一例を示す図である。図６は、距離画像データの第１画素、及び第１画素の周囲に位置する第２画素の一例を示す図である。図７は、図１の操作検出装置の動作の一例を示すフローチャートである。図８は、図７のフローチャートの工程の一部を詳細に示すフローチャートである。

以下、添付図面を参照しながら、本開示に係る操作検出装置及び操作検出方法の実施の形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。

図１は、本実施形態の操作検出装置１を示す構成図である。操作検出装置１は、例えば、車両と車両の搭乗者（ユーザ）との間においてＨＭＩ（Human Machine Interface）を構築する操作検出装置である。操作検出装置１は、ユーザから見て手前側に操作部２を虚像３として空中に表示すると共に、操作部２に接近する対象物４を検出する。操作部２は、例えば、車両に搭載された各機器（例えば車載用バックカメラ又はエアコン等）を動作させることが可能な部位であり、一例として、虚像３として表示されるスイッチ等のボタンである。対象物４は、操作部２を操作して機器を動作させるものであり、例えばユーザの指又はペン等の棒状物である。

操作検出装置１は、検出した対象物４の位置に基づいて、対象物４による操作部２への操作を検出し、検出した操作に基づいて各機器を動作させる。操作の例としては、対象物４による操作部２の押下操作、タップ操作、又はスライド操作等が挙げられるが、操作の種類については特に限定されない。本実施形態では、操作部２の操作として押下操作を例示する。押下操作には、操作部２を押し下げる操作、及び操作部２を押し上げる操作の両方の操作が含まれる。

操作検出装置１は、図１に示されるように、表示部１０と、深度センサ２０（センサ）と、制御部３０とを備える。表示部１０は、操作部２を虚像３として空中に表示する。表示部１０は、空中結像素子であるＡＩ（Aerial Imaging）プレート１１（登録商標）と、液晶パネル１２とを備えている。ＡＩプレート１１は、例えば、特許第４８６５０８８号に記載された技術を用いて作製されている。

液晶パネル１２は、例えば、ＰＣ（パーソナルコンピュータ）、タブレット端末、又は携帯電話等の携帯端末のディスプレイである。液晶パネル１２は、例えば、その表示面が略水平となるように配置されている。ＡＩプレート１１は、液晶パネル１２（水平方向）に対して斜めに傾斜している。液晶パネル１２に対するＡＩプレート１１の傾斜角度は、可変とされていてもよい。液晶パネル１２は、制御部３０から出力される信号に基づいて画像を表示する。

図２は、表示部１０によって表示される虚像３を示す概念図である。図２に示されるように、液晶パネル１２が表示する画像は、ＡＩプレート１１によって、ＡＩプレート１１及び液晶パネル１２に対してユーザＵ側の位置に虚像３として表示される。例えば、液晶パネル１２から上方に出射してＡＩプレート１１に入射した光Ｌ１は、ＡＩプレート１１において２回反射し、ユーザＵから見て表示部１０よりも手前側の空間に虚像３を結像する。

図３は、虚像３として表示される操作部２の一例である。図３に示されるように、操作部２は、例えば、車載用バックカメラを操作可能な操作画面であり、操作部２の各ボタンの押下によって車載用バックカメラの撮影の位置を切り替えることができる。一例として、操作部２は、車両の左方を撮影する第１虚像ボタン２Ａと、車両の後方を撮影する第２虚像ボタン２Ｂと、車両の右方を撮影する第３虚像ボタン２Ｃとを含む。

再び図１を参照する。深度センサ２０は、操作部２を挟んで対象物４とは反対側に設けられる。一例では、深度センサ２０は、操作部２と対象物４とを結ぶ仮想直線上に設けられる。深度センサ２０は、当該仮想直線に対して垂直な面における対象物４の位置（２次元位置）の情報と、深度センサ２０から対象物４までの距離Ｄ１の情報とを含む距離画像データを取得する。距離画像データは、例えば、６４０×４８０画素として取得される。深度センサ２０は、取得した距離画像データを所定の周期（例えば１／３０秒）で制御部３０に出力する。

具体的には、深度センサ２０は、対象物４を含む撮影領域内に存在する物体上の各点に光線（例えば赤外線）を照射し、物体上の各点から反射した光線を受光する。そして、深度センサ２０は、受光した光線に基づいて深度センサ２０と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。

深度センサ２０と物体上の各点との距離は、例えばＬｉｇｈｔＣｏｄｉｎｇ方式によって測定される。この方式では、深度センサ２０は、対象物４を含む撮影領域内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、深度センサ２０は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪を検出することによって、深度センサ２０と物体上の各点との距離を測定する。深度センサ２０は、物体上の各点の２次元位置の情報と、深度センサ２０から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を制御部３０に出力する。

制御部３０は、深度センサ２０及び液晶パネル１２と通信可能である。制御部３０は、例えば、プログラムを実行するＣＰＵ３１（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶部３２と、入出力部３３と、ドライバ３４とを備えている。制御部３０の各機能的構成要素が奏する機能は、ＣＰＵ３１の制御の下で、入出力部３３を動作させ、記憶部３２におけるデータの読み出し及び書き込みを行うことによって実現される。制御部３０の形態及び配置場所については特に限定されない。

図４は、制御部３０の機能ブロック図である。図４に示されるように、制御部３０は、機能的構成要素として、画像出力部４０と、対象物検出部４１と、操作判定部４２と、信号出力部４３とを有する。画像出力部４０は、液晶パネル１２に表示する画像の画像データを液晶パネル１２に出力する。液晶パネル１２が表示する画像は、図３に示される操作画面に限られない。液晶パネル１２は、画像出力部４０からの画像データに基づいて、様々な種類の画像を表示できる。

対象物検出部４１は、深度センサ２０から出力される距離画像データに含まれる複数の画素の中から、深度センサ２０と対象物４との距離が近いことを示す画素を特定することによって、対象物４を検出する。図５は、深度センサ２０から出力される距離画像データＤを模式的に示す図である。対象物検出部４１は、深度センサ２０から距離画像データＤが入力されると、距離画像データＤに対して走査領域Ｒ１を設定する。

走査領域Ｒ１は、例えば、距離画像データＤのうちの走査対象となる領域である。対象物検出部４１は、例えば、距離画像データＤの中央を含む領域を走査領域Ｒ１として設定する。このように、対象物検出部４１が距離画像データＤの中央を含む領域（すなわち、距離画像データＤの端部を除く領域）を走査領域Ｒ１として設定することにより、対象物４の検出の速度を速めることができる。対象物検出部４１は、距離画像データＤの全体を走査領域Ｒ１として設定してもよい。対象物検出部４１は、深度センサ２０と対象物４上の各点との距離のうち、最も短い最短距離を示す値として仮の基準値Ｔ１を設定する。仮の基準値Ｔ１は、例えば３００ｍｍであるが、適宜変更可能である。

対象物検出部４１は、例えば、走査領域Ｒ１内における複数の画素Ｅのうち、矩形状とされた走査領域Ｒ１の対角線上における一方の隅部にある画素ＥＡの位置を走査開始位置とし、他方の隅部にある画素ＥＢの位置を走査終了位置として、走査領域Ｒ１内の各画素Ｅについて画素ＥＡから画素ＥＢまで順次走査する。各画素Ｅには、深度センサ２０と物体上の各点との距離の情報が対応付けられている。対象物検出部４１は、画素Ｅに対応する距離が仮の基準値Ｔ１よりも小さいか否かを画素Ｅ毎に判定する。対象物検出部４１は、当該距離が仮の基準値Ｔ１よりも小さいと判定した場合には、当該距離に対応する画素Ｅを第１画素として特定する。第１画素は、走査領域Ｒ１内における複数の画素Ｅのうち、対象物４上の各点と深度センサ２０との距離が最も短い距離に対応する画素Ｅである。

図６に示される例では、対象物４と深度センサ２０との距離が近い画素Ｅを濃い色で示し、対象物４と深度センサ２０との距離が遠い画素Ｅを淡い色で示している。対象物検出部４１は、画素Ｅが仮の基準値Ｔ１よりも小さい距離に対応する第１画素Ｅ１であると判定した場合には、第１画素Ｅ１を中心とした周囲領域Ｒ２を設定し、周囲領域Ｒ２内の複数の第２画素Ｅ２を走査する。周囲領域Ｒ２は、例えば、対象物４の大きさに対応する大きさ（範囲）を有する領域である。本実施形態では、周囲領域Ｒ２は、例えば、第１画素Ｅ１を中心とした７×７画素からなる矩形領域である。第２画素Ｅ２は、例えば、周囲領域Ｒ２内において、第１画素Ｅ１を除く全ての画素Ｅである。図６に示される例では、第２画素Ｅ２は、第１画素Ｅ１の周囲に位置する４８個の画素Ｅである。

対象物検出部４１は、周囲領域Ｒ２内における複数の第２画素Ｅ２のうち、各第２画素Ｅ２に対応する距離と第１画素Ｅ１に対応する距離との差が一定値（例えば１０ｍｍ）以下である第２画素Ｅ２１の数が所定数以上あるか否かを判定する。「所定数」は、例えば、第２画素Ｅ２の総数の半数、或いは、第２画素Ｅ２の総数の７割であるが、適宜変更可能である。

本実施形態では、対象物検出部４１は、第２画素Ｅ２の総数である４８個のうち、各第２画素Ｅ２に対応する距離と第１画素Ｅ１に対応する距離との差が１０ｍｍ以下である第２画素Ｅ２１の数が３５個以上あるか否かを判定する。図６に示される例では、第２画素Ｅ２１が第１画素Ｅ１よりも淡い色で示されており、上記の距離との差が１０ｍｍ以下でない第２画素Ｅ２２は第２画素Ｅ２１よりも更に淡い色で示されている。

対象物検出部４１は、第２画素Ｅ２１の数が３５個以上あると判定した場合には、第１画素Ｅ１に対応する距離で仮の基準値Ｔ１を更新すると共に、対象物４の２次元位置を記録する。一方、対象物検出部４１は、第２画素Ｅ２１の数が３５個以上ないと判定した場合には、第１画素Ｅ１がノイズであると判断し、仮の基準値Ｔ１の更新を行わない。

対象物検出部４１は、走査領域Ｒ１内の全ての画素Ｅを走査した後に、仮の基準値Ｔ１として記録されている最短距離に対応する第１画素Ｅ１を、深度センサ２０と対象物４との距離が近いことを示す画素として特定する。対象物検出部４１は、深度センサ２０と対象物４との距離が近いことを示す画素として第１画素Ｅ１を特定することによって、対象物４を検出する。対象物検出部４１は、対象物４を検出すると、対象物４の位置を示す位置データを操作判定部４２に出力する。

再び図４を参照する。操作判定部４２は、対象物検出部４１から出力された位置データに基づいて、対象物４によって操作部２の押下操作がなされたか否かを判定する。操作判定部４２は、図１に示されるように、深度センサ２０と対象物４との距離Ｄ１、すなわち対象物検出部４１が特定した第１画素Ｅ１に対応する最短距離が、予め定められた閾値Ｔ２以下であるか否かを判定する。閾値Ｔ２は、例えば１００ｍｍであるが、適宜変更可能である。そして、操作判定部４２は、距離Ｄ１が閾値Ｔ２以下であると判定した場合には、対象物４が仮想の押下判定面Ｓに到達し、操作部２の押下操作がなされたと判定する。

押下判定面Ｓは、深度センサ２０からの距離が一定である部位に形成された仮想の面であり、操作部２の近接位置に設けられる。押下判定面Ｓの位置は、操作部２の位置と一致していてもよいし、操作部２から所定距離だけ離間した位置であってもよい。本実施形態では、押下判定面Ｓの位置は、操作部２の位置と一致している。

信号出力部４３は、操作部２の押下操作がなされたと操作判定部４２が判定した場合に、操作部２の押下操作に基づく制御信号を生成する。信号出力部４３は、生成した制御信号を前述した車載用バックカメラ等の機器に出力し、当該機器は、信号出力部４３から制御信号を受けて動作する。図３に示される例では、第１虚像ボタン２Ａ、第２虚像ボタン２Ｂ、又は第３虚像ボタン２Ｃの押下操作がなされたと操作判定部４２が判定した場合に、信号出力部４３は、車載用バックカメラに制御信号を出力する。車載用バックカメラは、入力された制御信号に基づいて、車両の左方の画像、車両の後方の画像、及び車両の右方の画像のいずれかを表示する。

次に、操作検出装置１の動作を説明する。操作検出装置１の動作は、例えば記憶部３２に記憶されたプログラムをＣＰＵ３１が読み出し実行することによって実行される。図７は、操作検出装置１の動作の一例を示すフローチャートである。まず、深度センサ２０は、対象物４の２次元位置の情報と、深度センサ２０から対象物４までの距離Ｄ１の情報とを含む距離画像データＤを取得し、取得した距離画像データＤを制御部３０に出力する。対象物検出部４１は、入力された距離画像データＤに基づいて対象物４を検出する（工程Ｐ１）。工程Ｐ１の詳細については後述する。対象物検出部４１は、対象物４を検出すると、対象物４の位置を示す位置データを操作判定部４２に出力する。

次に、操作判定部４２は、対象物検出部４１から出力された位置データに基づいて、操作部２の押下操作がなされたか否かを判定する（工程Ｐ２）。具体的には、操作判定部４２は、図１に示されるように、深度センサ２０と対象物４との距離Ｄ１が閾値Ｔ２以下であるか否かを判定する。操作判定部４２は、距離Ｄ１が閾値Ｔ２以下であると判定した場合には（工程Ｐ２においてＹＥＳ）、対象物４が仮想の押下判定面Ｓに到達し、操作部２の押下操作がなされたと判定する。一方、操作判定部４２は、距離Ｄ１が閾値Ｔ２以下ではないと判定した場合には（工程Ｐ２においてＮＯ）、対象物４が押下判定面Ｓに到達しておらず、操作部２の押下操作がなされていないと判定する。操作部２の押下操作がなされていないと判定された場合には、工程Ｐ１に戻り、引き続き対象物４を検出する工程Ｐ１が実行される。

操作部２の押下操作がなされたと操作判定部４２が判定した場合（工程Ｐ２においてＹＥＳ）、操作部２の押下操作に基づく制御信号を信号出力部４３が生成する。信号出力部４３は、生成した制御信号を前述した車載用バックカメラ等の機器に出力し、当該機器は、信号出力部４３から制御信号を受けて動作する（工程Ｐ３）。そして、一連の工程が終了する。

ここで、対象物検出部４１が対象物４を検出する工程Ｐ１について詳細に説明する。併せて、本実施形態の操作検出方法について説明する。図８は、図７に示されるフローチャートの工程Ｐ１を詳細に示すフローチャートである。まず、深度センサ２０は、物体上の各点の２次元位置の情報と、深度センサ２０から物体上の各点までの距離の情報とを含む距離画像データＤを複数の画素Ｅとして検出し、検出した複数の画素Ｅを制御部３０に出力する（工程Ｐ１１）。

次に、対象物検出部４１は、深度センサ２０から入力された距離画像データＤに対して走査領域Ｒ１を設定する（工程Ｐ１２）。例えば、対象物検出部４１は、矩形状とされた走査領域Ｒ１の対角線上における一方の隅部にある画素ＥＡの位置を走査開始位置とする。その後、対象物検出部４１は、深度センサ２０と対象物４上の各点との距離が最も短い最短距離を示す値として仮の基準値Ｔ１を設定する（工程Ｐ１３）。

次に、対象物検出部４１は、走査領域Ｒ１内の各画素Ｅについて画素ＥＡから順次走査を行い、画素Ｅに対応する距離が仮の基準値Ｔ１よりも小さいか否かを判定する（工程Ｐ１４）。対象物検出部４１は、当該距離が仮の基準値Ｔ１よりも小さいと判定した場合には（工程Ｐ１４においてＹＥＳ）、当該距離に対応する画素Ｅを第１画素Ｅ１として特定する（工程Ｐ１５）。一方、対象物検出部４１は、画素Ｅに対応する距離が仮の基準値Ｔ１よりも小さくないと判定した場合（工程Ｐ１４においてＮＯ）には、当該距離に対応する画素Ｅを第１画素Ｅ１として特定せずに、走査領域Ｒ１内の次の画素Ｅを走査する（工程Ｐ１９）。

対象物検出部４１は、画素Ｅに対応する距離が仮の基準値Ｔ１よりも小さいと判定して第１画素Ｅ１の特定を行った後に、特定した第１画素Ｅ１を中心として周囲領域Ｒ２を設定し、周囲領域Ｒ２内における複数の第２画素Ｅ２を走査する（工程Ｐ１６）。その後、対象物検出部４１は、周囲領域Ｒ２内における複数の第２画素Ｅ２のうち、各第２画素Ｅ２に対応する距離と第１画素Ｅ１に対応する距離との差が一定値以下である第２画素Ｅ２１の数が所定数以上あるか否かを判定する（工程Ｐ１７）。本実施形態では、対象物検出部４１は、各第２画素Ｅ２に対応する距離と第１画素Ｅ１に対応する距離との差が１０ｍｍ以下である第２画素Ｅ２１の数が３５個以上あるか否かを判定する。

対象物検出部４１は、第２画素Ｅ２１の数が３５個以上あると判定した場合には（工程Ｐ１７においてＹＥＳ）、第１画素Ｅ１に対応する距離で仮の基準値Ｔ１を更新する（工程Ｐ１８）。このとき、対象物検出部４１は、対象物４の２次元位置を記録する。その後、対象物検出部４１は、走査領域Ｒ１内の次の画素Ｅを走査する（工程Ｐ１９）。一方、対象物検出部４１は、第２画素Ｅ２１の数が３５個以上ないと判定した場合には（工程Ｐ１７においてＮＯ）、第１画素Ｅ１がノイズであると判断し、仮の基準値Ｔ１の更新を行わない。そして、工程Ｐ１９が実行される。

対象物検出部４１は、走査領域Ｒ１内の次の画素Ｅを走査した後に、画素Ｅが走査終了位置に対応する画素ＥＢであるか否かを判定する（工程Ｐ２０）。対象物検出部４１は、画素Ｅが画素ＥＢであると判定した場合には（工程Ｐ２０においてＹＥＳ）、仮の基準値Ｔ１として記録されている最短距離に対応する第１画素Ｅ１を、深度センサ２０と対象物４との距離が近いことを示す画素として特定することによって、対象物４を検出する（工程Ｐ２１）。対象物検出部４１は、対象物４を検出すると、対象物４の位置の情報を含む位置データを操作判定部４２に出力し、その後、工程Ｐ２が実行される。一方、対象物検出部４１は、画素Ｅが画素ＥＢではないと判定した場合には（工程Ｐ２０においてＮＯ）、工程Ｐ１４に戻る。

次に、本実施形態の操作検出装置１及び操作検出方法によって得られる効果を説明する。本実施形態では、図６に示されるように、深度センサ２０が、対象物４との距離を複数の画素Ｅとして検出し、対象物検出部４１が、対象物４からの距離が最も短い最短距離に対応する第１画素Ｅ１を特定する。そして、対象物検出部４１は、特定した第１画素Ｅ１の周囲に位置する複数の第２画素Ｅ２を走査し、走査した複数の第２画素Ｅ２のうち、最短距離との差が一定値以下である距離に対応する第２画素Ｅ２１の数が所定数以上ある場合に対象物４を検出する。一方、対象物検出部４１は、走査した複数の第２画素Ｅ２のうち、最短距離との差が一定値以下である距離に対応する第２画素Ｅ２１の数が所定数未満である場合には、対象物４を検出しない。このように第２画素Ｅ２１の数が所定数未満であるときに対象物４を検出しないことにより、特定した第１画素Ｅ１がノイズであると判断できる。その結果、ノイズの影響を排除でき、対象物４の誤検出を抑制できるので、対象物４を精度良く検出できる。更に、この操作検出装置１及び操作検出方法では、対象物４を検出する際に対象物４の形状を取得する処理が不要であるため、処理負荷を軽減して処理速度を速めることができる。これにより、対象物４を高速に検出できる。

対象物検出部４１は、周囲領域Ｒ２内における複数の第２画素Ｅ２のうち、最短距離との差が一定値以下である距離に対応する第２画素Ｅ２１の数が、第２画素Ｅ２の総数の半数以上或いは７割以上ある場合に、対象物４を検出する。これにより、ノイズによる対象物４の誤検出をより確実に抑制でき、対象物４を更に精度良く検出できる。更に、対象物検出部４１により設定される周囲領域Ｒ２は、対象物４の大きさに対応する大きさを有する。これにより、例えば対象物４よりも小さい非対象物の誤検出を抑制でき、対象物４を更に精度良く検出できる。

操作検出装置１は操作判定部４２を備える。これにより、操作部２に対する押下操作がなされたか否かを判定できる。

操作部２は、虚像３として表示される。操作部２が虚像３として表示される場合、操作部２を浮き出たように表示できるので、操作部２の視認性を高めることができる。操作部２が虚像３として表示される場合、ユーザＵが認識する操作部２の位置にばらつきが生じることがあり、操作部２に対する押下操作が適切に行われないことが想定される。このような場合であっても、本実施形態の操作検出装置１及び操作検出方法では、対象物４の誤検出を抑制できる。従って、本実施形態の操作検出装置１及び操作検出方法によれば、対象物４を精度良く検出できる。

以上、本開示に係る操作検出装置及び操作検出方法の実施形態について説明した。しかしながら、本開示は、前述した実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し、又は他のものに適用したものであってもよい。すなわち、操作検出方法の各工程の内容及び順序、並びに、操作検出装置の各部の構成は、各請求項の要旨を変更しない範囲において適宜変更可能である。

例えば、前述した実施形態では、深度センサ２０は、深度センサ２０と物体上の各点との距離をＬｉｇｈｔＣｏｄｉｎｇ方式によって測定したが、この方式に限定されない。例えば、深度センサ２０は、深度センサ２０と物体上の各点との距離を、ＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）方式によって測定してもよい。ＴＯＦ方式では、深度センサ２０は、光線が物体上の各点で反射して深度センサ２０に到達するまでの光線の飛行時間（すなわち遅れ時間）を算出し、算出した飛行時間と光の速度とから、深度センサ２０と物体上の各点との距離を測定する。このような形態であっても、前述した実施形態と同様の効果を奏する。

前述した実施形態では、対象物検出部４１は、第２画素Ｅ２の総数である４８個のうち第２画素Ｅ２１の数が３５個以上あるか否かを判定した。しかしながら、第２画素Ｅ２の総数は、４８個に限られず適宜変更可能である。判定基準となる第２画素Ｅ２１の数は、３５個に限られず適宜変更可能である。各画素Ｅの形状及び表示態様については、特に限定されず、適宜変更可能である。前述した実施形態では、矩形状の走査領域Ｒ１及び周囲領域Ｒ２について説明したが、これらの領域の形状及び表示態様は特に限定されない。

前述した実施形態では、操作部２が第１虚像ボタン２Ａ、第２虚像ボタン２Ｂ、及び第３虚像ボタン２Ｃを備える例について説明したが、操作部のレイアウト及び種類は適宜変更可能である。操作検出装置は、車両以外の各機器を動作させる操作を検出する装置であってもよく、操作検出装置及び操作検出方法は、車両以外の種々の機器にも適用させることが可能である。

１…操作検出装置、２…操作部、３…虚像、４…対象物、１０…表示部、２０…深度センサ、３０…制御部、４１…対象物検出部、４２…操作判定部、Ｅ…画素、Ｅ１…第１画素、Ｅ２，Ｅ２１，Ｅ２２…第２画素。

Claims

操作部に接近する対象物を検出する操作検出装置であって、
前記対象物との距離を複数の画素として検出するセンサと、
前記対象物を検出する対象物検出部と、
を備え、
前記対象物検出部は、前記複数の画素のうち前記距離が最も短い最短距離に対応する第１画素を特定し、前記第１画素の周囲に位置する複数の第２画素を走査し、前記複数の第２画素のうち、各前記第２画素に対応する距離と前記最短距離との差が一定値以下である前記第２画素の数が所定数以上ある場合に、前記対象物を検出する、操作検出装置。
前記対象物検出部により検出された前記対象物の前記操作部に対する操作がなされたか否かを判定する判定部を更に備える、請求項１に記載の操作検出装置。
前記操作部は、虚像として表示される、請求項１又は２に記載の操作検出装置。
操作部に接近する対象物をセンサによって検出する操作検出方法であって、
前記対象物から前記センサまでの距離を複数の画素として検出する工程と、
前記複数の画素のうち前記距離が最も短い最短距離に対応する第１画素を特定する工程と、
前記第１画素の周囲に位置する複数の第２画素を走査し、前記複数の第２画素のうち、各前記第２画素に対応する距離と前記最短距離との差が一定値以下である前記第２画素の数が所定数以上ある場合に、前記対象物を検出する工程と、
を備える、操作検出方法。