JP6712609B2 - 非接触入力装置 - Google Patents

非接触入力装置 Download PDF

Info

Publication number
JP6712609B2
JP6712609B2 JP2018034085A JP2018034085A JP6712609B2 JP 6712609 B2 JP6712609 B2 JP 6712609B2 JP 2018034085 A JP2018034085 A JP 2018034085A JP 2018034085 A JP2018034085 A JP 2018034085A JP 6712609 B2 JP6712609 B2 JP 6712609B2
Authority
JP
Japan
Prior art keywords
image
real image
input device
mirror
distance sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018034085A
Other languages
English (en)
Other versions
JP2019149065A (ja
Inventor
英俊 中居
英俊 中居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Electric IndustriesLtd
Original Assignee
Koito Electric IndustriesLtd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Electric IndustriesLtd filed Critical Koito Electric IndustriesLtd
Priority to JP2018034085A priority Critical patent/JP6712609B2/ja
Priority to CN201980014006.5A priority patent/CN111758083A/zh
Priority to US16/976,180 priority patent/US20200409507A1/en
Priority to PCT/JP2019/007495 priority patent/WO2019168006A1/ja
Publication of JP2019149065A publication Critical patent/JP2019149065A/ja
Application granted granted Critical
Publication of JP6712609B2 publication Critical patent/JP6712609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、空間投影した像に対する操作を検出する非接触入力装置に関する。
特許文献１には、空間投影器を用いてディスプレイの画像を空中に像として形成し、像に対する指等の操作を検出する非接触入力装置が記載されている。特許文献１に記載された非接触入力装置３００は、図３に示すように、ディスプレイ３１０の表面に赤外線を検知するシート状の光センサ３１１が設けられ、また、空間投影器３２０による像形成範囲３３０を照らす赤外線の照明器３４０が設けられている。ディスプレイ３１０にキーボード等の画像を表示すると、空間投影器３２０によって像形成範囲３３０にキーボード等の実像が形成される。
像形成範囲３３０内で操作する指等からの赤外線反射光は、空間投影器３２０により、ディスプレイ３１０上に結像する。この位置を光センサ３１１で検出することによりキーボード等のどの位置が操作されたかを認識することができるとされている。
特許第５９５７６１１号公報
特許文献１に記載された非接触入力装置３００は、ディスプレイ３１０上に結像した反射光を検出するため、検出可能な操作は、像形成範囲３３０面上でのタッチ操作に限られる。このため、非接触操作の多様性が十分とはいえず、検出可能な非接触操作の一層の多様性が望まれる。
そこで、本発明は、空間投影した像に対する操作を検出する非接触入力装置において、検出可能な非接触操作の多様性を高めることを目的とする。
上記課題を解決するため、本発明の１態様である非接触入力装置は、画像を表示する表示部と、前記画像の実像を空間投影する空間投影器と、前記実像が形成される領域を含むように測定範囲が設定され、前記測定範囲内に存在する物体との距離を測定する距離センサと、鏡と、を備え、前記表示部と、前記空間投影器と、前記距離センサとが、前記鏡の裏面側に配置され、前記鏡の表面側に前記実像を形成することを特徴とする。
ここで、前記距離センサの測定結果に応じた応答制御を行なう操作応答部をさらに備えていてもよい。
このとき、前記操作応答部は、照明のオンオフ制御を行なうことができる。
また、前記鏡は、前記空間投影器と前記実像との間および前記距離センサと前記実像との間を含む領域がハーフミラー加工されていることが好ましい。
本発明によれば、空間投影した像に対する操作を検出する非接触入力装置において、検出可能な非接触操作の多様性を高めることができる。
本実施形態に係る非接触入力装置の構成を示す図である。 本実施形態に係る非接触入力装置の変形例を示す図である。 従来の非接触入力装置の構成を示す図である。
図１は、本実施形態に係る非接触入力装置１００の構成を示す図である。本図に示すように、非接触入力装置１００は、表示部１１０、発光部１２０、空間投影器１３０、距離センサ１４０、操作応答部１５０を備えている。
表示部１１０は、像として形成する画像を表示する。表示部１１０は、スライドのように静的表示を行なうものであってもよいし、液晶表示装置のように動的表示を行なうものであってもよい。発光部１２０は、表示部１１０の画像を投影するための光源であり、ＬＥＤ等を用いることができる。なお、表示部１１０に照射する外光等が十分であったり、表示部１１０自体が発光する場合等には発光部１２０は省いてもよい。
空間投影器１３０は、入射した画像を空中に結象する装置である。例えば、特許文献１に記載されているような、平面視して交差する第１、第２の微小反射面がそれぞれ同一平面上に多数立設して配置され、各第１の微小反射面からの第１の反射光を、対応する第２の微小反射面で受けて第２の反射光とする装置を用いることができる。また、マイクロレンズアレイ等を利用したものであってもよい。
表示部１１０に表示された画像が放つ光線は、空間投影器１３０により、反対側の同じ距離の同じ位置に結象し、実像１８０が形成される。このため、表示部１１０および空間投影器１３０の位置と傾きとが定まることで、実像１８０の結像位置が一意に定まることになる。
距離センサ１４０は、実像１８０が形成される領域を含むように測定範囲が設定されており、測定範囲内に存在する物体との距離を測定する。本実施形態では、距離センサ１４０は、測定範囲が水平方向に延びるように設定されている。ただし、測定範囲が斜め方向に延びるようにしてもよい。距離センサ１４０の測定方式は問わず、例えば、赤外線方式を用いることができる。
操作応答部１５０は、距離センサ１４０の測定結果に応じた応答動作を行なう。操作応答部１５０は、例えば、照明装置とすることができる。この場合、距離センサ１４０の測定結果に応じて照明のオンオフを切り換えることができる。操作応答部１５０は、距離センサ１４０の測定結果に応じて表示部１１０の表示内容を変更するようにしてもよい。
距離センサ１４０と実像１８０との距離Ｌは既知であり、距離センサ１４０の測定範囲が、実像１８０が形成される領域を含むため、測定された物体までの距離が、距離Ｌに近ければ、実像１８０に対する操作であると検知することができる。この場合、検出対象は、実像１８０面上でのタッチ操作に限られないため、検出可能な非接触操作の多様性を複雑な構成を用いることなく高めることができる。
例えば、表示部１１０にスイッチボタンの画像を表示することで、実像１８０としてスイッチボタンが空間投影される。このとき、操作者の実像１８０に対する押下操作等を検出することで、操作応答部１５０は、スイッチボタンのオンオフを切り換える応答動作を行なうことができるようになる。
また、距離センサ１４０を用いていることから、実像１８０に対する奥行方向の操作を検出することができ、例えば、スイッチボタンの押し加減を複数段階で識別することができる。そこで、操作応答部１５０は、スイッチボタンが深く押された場合と、浅く押された場合とで応答制御を変えるようにしてもよい。例えば、スイッチボタンを照明のスイッチボタンとして用い、深く押された場合は明るい照明とし、浅く押された場合は薄暗い照明とすることができる。これにより、検出可能な非接触操作の多様性を一層高めることができる。
あるいは、実像１８０に手を近づけるに従って照明が明るくなるようにし、実像１８０から手が離れるに従って照明が暗くなるようにするような応答動作も可能である。
また、距離センサ１４０の測定範囲を遠距離まで広げることで、操作者が遠くから近づいていることを検知し、所定の距離まで近づいた場合に、表示部１１０に実像１８０を表示させて、実像１８０に対する操作を検出するようにしてもよい。
さらに、ある画像の実像１８０に対する操作を受け付けた後に、次の操作を受け付けるための別の画像の表示部１１０に表示させるようにしてもよいし、操作を受け付けたことを示すために、表示させる画像を変更するようにしてもよい。例えば、オフ状態を示す画像の実像１８０が操作を受け付けると、オン状態を示す画像の実像１８０に切り換える等である。
ところで、本実施形態の非接触入力装置１００は、本図に示すように、鏡２００の裏面側に配置している。ここで、鏡２００は、ガラス等の透明板２０１の一方の面に反射膜２０２を形成し、さらに、不透明保護膜２０３を形成して構成されており、透明板２０１側、すなわち、鏡像を見ることができる側を表面とする。そして、鏡２００の表面側に実像１８０が結象するようにしている。
このとき、空間投影器１３０からの光、距離センサ１４０の出射信号、物体からの反射信号を透過させるために、鏡２００の一部の領域を、不透明保護膜２０３を欠いたハーフミラー２１０としている。ハーフミラー２１０の領域は、空間投影器１３０からの光、距離センサ１４０の出射信号、物体からの反射信号を透過させるために必要最小限の大きさとすることが好ましい。不透明保護膜２０３を欠いた領域に透明保護膜を形成してもよい。
また、反射膜２０２によって距離センサ１４０の測定精度が低下することを防ぐために、距離センサ１４０と反射膜２０２とを密着させるとともに、距離センサ１４０の出射光口と受光口とを仕切り等で分離することが好ましい。
また、図２に示すように、空間投影器１３０からの光、距離センサ１４０の出射信号、物体からの反射信号を透過させるため鏡２００の一部の領域を、反射膜２０２および不透明保護膜２０３を欠いた透明面領域２１１としてもよい。これにより、距離センサ１４０の出射信号、物体からの反射信号を一層透過させることが可能となる。
このように、非接触入力装置１００を鏡２００の裏面側に配置することで、鏡２００を見る者から非接触入力装置１００を認識することなく、実像１８０が鏡２００から浮き上がって見えることになり、実像表示における演出効果やデザイン性を高めることができる。
１００ 非接触入力装置
１１０ 表示部
１２０ 発光部
１３０ 空間投影器
１４０ 距離センサ
１５０ 操作応答部
１８０ 実像
２００ 鏡
２０１ 透明板
２０２ 反射膜
２０３ 不透明保護膜
２１０ ハーフミラー

Claims (4)

  1. 画像を表示する表示部と、
    前記画像の実像を空間投影する空間投影器と、
    前記実像が形成される領域を含むように測定範囲が設定され、前記測定範囲内に存在する物体との距離を測定する距離センサと、
    鏡と、を備え、
    前記表示部と、前記空間投影器と、前記距離センサとが、前記鏡の裏面側に配置され、
    前記鏡の表面側に前記実像を形成する
    ことを特徴とする非接触入力装置。
  2. 前記距離センサの測定結果に応じた応答動作を行なう操作応答部をさらに備える
    ことを特徴とする請求項１に記載の非接触入力装置。
  3. 前記操作応答部は、照明のオンオフを切り換える応答動作を行なう
    ことを特徴とする請求項２に記載の非接触入力装置。
  4. 前記鏡は、前記空間投影器と前記実像との間および前記距離センサと前記実像との間を含む領域がハーフミラー加工されている
    ことを特徴とする請求項１〜３の何れか１項に記載の非接触入力装置。
JP2018034085A 2018-02-28 2018-02-28 非接触入力装置 Active JP6712609B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018034085A JP6712609B2 (ja) 2018-02-28 2018-02-28 非接触入力装置
CN201980014006.5A CN111758083A (zh) 2018-02-28 2019-02-27 非接触输入装置
US16/976,180 US20200409507A1 (en) 2018-02-28 2019-02-27 Non-Contact Input Device
PCT/JP2019/007495 WO2019168006A1 (ja) 2018-02-28 2019-02-27 非接触入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018034085A JP6712609B2 (ja) 2018-02-28 2018-02-28 非接触入力装置

Publications (2)

Publication Number Publication Date
JP2019149065A JP2019149065A (ja) 2019-09-05
JP6712609B2 true JP6712609B2 (ja) 2020-06-24

Family

ID=67805970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018034085A Active JP6712609B2 (ja) 2018-02-28 2018-02-28 非接触入力装置

Country Status (4)

Country Link
US (1) US20200409507A1 (ja)
JP (1) JP6712609B2 (ja)
CN (1) CN111758083A (ja)
WO (1) WO2019168006A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11852963B2 (en) * 2020-04-24 2023-12-26 Kohler Co. Systems and methods for controlling a plumbing fixture, smart mirror, and the like using projected images
CN112723064B (zh) * 2020-12-31 2023-03-14 广东伟邦科技股份有限公司 一种空中成像设备的操作方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2144448B1 (en) * 2007-03-30 2019-01-09 National Institute of Information and Communications Technology Floating Image Interaction Device
JP2013242850A (ja) * 2012-04-27 2013-12-05 Nitto Denko Corp 表示入力装置
JP2014127056A (ja) * 2012-12-27 2014-07-07 Funai Electric Co Ltd 入力装置及び画像表示装置
CN105247414B (zh) * 2013-09-27 2017-07-18 日立麦克赛尔株式会社 影像投射装置
JP2015158882A (ja) * 2014-02-25 2015-09-03 パナソニックＩｐマネジメント株式会社 情報表示装置
JP6364994B2 (ja) * 2014-06-20 2018-08-01 船井電機株式会社 入力装置
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
JP2017062709A (ja) * 2015-09-25 2017-03-30 新光商事株式会社 ジェスチャー操作装置

Also Published As

Publication number Publication date
US20200409507A1 (en) 2020-12-31
WO2019168006A1 (ja) 2019-09-06
JP2019149065A (ja) 2019-09-05
CN111758083A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
TWI571769B (zh) 非接觸輸入裝置及方法
US9658765B2 (en) Image magnification system for computer interface
US8847924B2 (en) Reflecting light
CN101836180B (zh) 检测视觉系统中的环境光级别
US8619061B2 (en) Optical touch apparatus and operating method thereof
TWI582661B (zh) 非接觸輸入裝置及方法
JPH113170A (ja) 光デジタイザ
KR20110123257A (ko) 능동 디스플레이 피드백에 의한 터치 포인터 명확화
US9383864B2 (en) Illumination structure for an interactive input system
JP6721875B2 (ja) 非接触入力装置
TW201214245A (en) Touch system using optical components to image multiple fields of view on an image sensor
JP6712609B2 (ja) 非接触入力装置
JP2018088027A (ja) センサシステム
US8654103B2 (en) Interactive display
KR20170123028A (ko) 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
TW201126397A (en) Optical touch control display and method thereof
US20230033280A1 (en) Operation input device
CN109558002A (zh) 位置检测装置、位置检测系统和位置检测装置的控制方法
KR20120120697A (ko) 멀티터치 및 근접한 오브젝트 센싱 장치, 그리고, 디스플레이 장치
JP7097335B2 (ja) 非接触入力装置
JP2020024281A (ja) 空間投影装置、及び、それを備えた非接触入力装置
US20120293462A1 (en) Optical display and control element and method of optically determining a position
KR101646562B1 (ko) 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
JP3782983B2 (ja) ポインティングデバイス
JP2020024545A (ja) 非接触入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200601

R150 Certificate of patent or registration of utility model

Ref document number: 6712609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250