JP6315127B2 - 入力装置、空中像インタラクションシステム、及び入力方法 - Google Patents
入力装置、空中像インタラクションシステム、及び入力方法 Download PDFInfo
- Publication number
- JP6315127B2 JP6315127B2 JP2017077423A JP2017077423A JP6315127B2 JP 6315127 B2 JP6315127 B2 JP 6315127B2 JP 2017077423 A JP2017077423 A JP 2017077423A JP 2017077423 A JP2017077423 A JP 2017077423A JP 6315127 B2 JP6315127 B2 JP 6315127B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- contact surface
- aerial image
- indicator
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
本発明は、入力装置に関し、特に、空間に結像される空中像に対してユーザが行う仮想的な接触動作を検出する技術に関する。
従来、光線の光路が屈曲することとなる1つの平面を構成する光線屈曲面の一方側に配置される被投影物から発せられる光をその光線屈曲面の反対面側に前後を反転させて結像させて空中映像として観察可能とする結像光学系と、空中映像に近接させた物体の位置を特定する物体特定手段とを備えた空中映像インタラクション装置が知られている(例えば、特許文献1)。当該物体特定手段は、例えば、当該物体を撮影する1台以上のカメラと、当該カメラで撮影された映像から当該物体の位置を解析する画像解析装置とで構成される。ここで、当該物体は、ユーザの指やペンといった、ユーザによって動かされかつ前記空中映像に近づけられる指示体である。
このような空中映像インタラクション装置によれば、装置の簡素化を実現しつつ、映像に対するユーザのアクセスを的確に把握することができ、映像とユーザとの好適なインタラクションをもたらすことができる。
本発明者らは、従来の空中映像インタラクション装置と類似の装置として、空間に投影される空中像に対するユーザの仮想的な接触動作を検出する入力装置を検討している。
当該入力装置では、ユーザが空中像に近づけた指示体の位置を、検出光を出射する光源と、当該検出光の指示体からの反射光を検出する光検出器とを用いて検出する。このような構成では、カメラや、画像解析のための高度なソフトウェアを用いることなく指示体の位置を検出できる反面、特許文献1で指摘されているように、ユーザのアクセス(つまり、指示体の位置)を3次元的に検知することが困難である。そのため、例えば、奥行きのある立体的な空間像への仮想的な接触動作において、ユーザが意図したとおりの接触感が得られず違和感があるといった問題が起こり得る。
本発明は、かかる事情に鑑みてなされたものであり、光源と光検出器とを用いて指示体の位置を検出する入力装置及び入力方法において、ユーザが行う仮想的な接触動作を従来よりも正確に検出できる入力装置及び入力方法を提供することを目的とする。
上記目的を達成するために、開示される入力装置の1つの態様は、所定の検出領域を走査する検出光を出射する光源と、指示体によって反射された反射光を検出する光センサと、前記指示体によって仮想的に接触される接触面の、検出境界面を基準にした位置を表す接触面定義情報を保持し、前記反射光の検出結果から、前記指示体の前記検出領域への進入量と、前記指示体と前記検出境界面との交点から前記接触面定義情報によって表される前記接触面までの距離と、を比較することに基づき、前記接触面上の位置を、接触位置として特定する、コントローラと、を備える。
この構成によると、入力装置は、接触面の形状を任意に定義する接触面定義情報を参照して、接触面定義情報で表される接触面への指示体の到達を検出し、接触した位置を特定する。そのため、曲面形状を含む任意の形状の接触面を、入力装置の単一の構成で統一的に取り扱うことができる。また、空中像の表面形状と同じ形状の接触面を自在に定義することができるので、ユーザは、あらゆる形状の空中像に対する仮想的な接触感を違和感なく得ることができる。
また、例えば、前記光源は、前記検出光によって前記検出境界面を既知のタイミングで走査し、前記コントローラは、前記検出光が前記検出境界面を1回走査する間に前記光センサから1つ以上の検出パルスが得られた場合に、前記検出パルスのうち最初又は最後の検出パルスのタイミングから前記交点の位置を特定し、前記検出パルスの個数から前記進入量を特定してもよい。
この構成によると、光源、光センサ、及びコントローラによる簡素なソフトウェア処理のみによって、前述した効果が得られる。
また、例えば、前記コントローラは、前記接触面定義情報として、前記検出境界面上の複数の点のそれぞれに対応する前記接触面上の点の位置を示す数表を保持してもよい。
この構成によると、数表を用いるので、あらゆる形状の接触面を正確に定義できる。
また、例えば、前記コントローラは、前記接触面定義情報として、前記検出境界面上の任意の点に対応する前記接触面上の点の位置を示す数式を保持してもよい。
この構成によると、数表のデータ量が嵩む場合や、接触面の形状が比較的低い次数の数式で良好に近似できる場合において、接触面定義情報のデータ量を削減するために適している。
上記目的を達成するために、開示される空中像インタラクションシステムの1つの態様は、前述した入力装置と、前記検出領域内に空中像を投影する空中像投影装置と、を備え、前記コントローラは、前記接触面定義情報として、前記空中像の表面形状を表す情報を保持する。
この構成によると、ユーザは、空中像に対する仮想的な接触感を得ることができる。
また、例えば、前記コントローラは、前記空中像の表面形状が変化したとき、前記空中像の変化後の表面形状を表すように、前記接触面定義情報を変更してもよい。
この構成によると、空中像の変化に追従して、ユーザは、変化後の空中像に対する仮想的な接触感を得ることができる。
また、例えば、前記コントローラは、前記空中像投影装置を用いて既知の校正点に校正用アイコンを表示させ、前記指示体が前記校正用アイコンに仮想的に接触したときの、前記指示体と前記検出境界面との交点である校正用境界点の位置と前記指示体の前記検出領域への進入量である校正用進入量とを特定し、前記校正用境界点の位置と前記校正用進入量とを用いて前記接触面定義情報を補正してもよい。
この構成によると、ユーザの検出境界面に対する位置や指示体の形状など、様々な要因で生じ得る接触面定義情報の誤差が補正されるので、ユーザは、あらゆる形状の空中像に対する仮想的な接触感を違和感なく得ることができる。
また、例えば、前記空中像投影装置は、映像を表示する映像表示パネルと、前記映像表示パネルに表示された前記映像を前記空中像として前記検出領域に投影する反射素子集合基板と、有し、前記空中像インタラクションシステムは、さらに、前記反射素子集合基板に対して前記映像表示パネルと対称な位置に前記検出境界面が来るように、前記映像表示パネルと前記光センサとを、前記反射素子集合基板を含む平面上に設けられる回転軸周りに互いに逆方向に回転させる回転機構を備え、前記コントローラは、前記校正用境界点の位置と前記校正点との位置との差分を用いて前記指示体の前記検出領域への進入方向を検出し、検出された進入方向に応じて、前記映像表示パネルと前記光センサとを回転させてもよい。
この構成によると、空中像や接触面を、ユーザにとってより見やすくかつより操作しやすい方向に向け直すことができるので、ユーザの操作性が向上する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
本発明の構成によると、光源と光検出器とを用いて指示体を検出する入力装置及び入力方法において、ユーザが行う仮想的な接触動作を従来よりも正確に検出できる入力装置及び入力方法が得られる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(第1の実施の形態)
第1の実施の形態では、空間に投影された空中像に対するユーザの仮想的な接触動作を検出する空中像インタラクションシステムについて説明する。
第1の実施の形態では、空間に投影された空中像に対するユーザの仮想的な接触動作を検出する空中像インタラクションシステムについて説明する。
図1は、空中像インタラクションシステム100の構成の一例を示す模式図である。
図1に示されるように、空中像インタラクションシステム100は、光源10、光センサ20、コントローラ30、映像表示パネル50、及び反射素子集合基板60を備える。光源10、光センサ20、及びコントローラ30は、入力装置1を構成する。映像表示パネル50、及び反射素子集合基板60は、空中像投影装置を構成する。
光源10は、空間中に定められる検出境界面41を走査する検出光17を出射する。検出光17は、例えば、赤外レーザのコリメート光であってもよい。
光センサ20は、検出境界面41から光源10に向かって定められる検出領域40に指示体80が進入した際に、検出光17の指示体80からの反射光18を検出する。指示体80は、例えば、ユーザの指、又はユーザが手に持って動かすペンなどである。検出領域40内には、指示体80によって仮想的に接触される対象である接触面42が定義される。
コントローラ30は、指示体80の接触面42に対する仮想的な接触動作を検出して接触面42上での接触位置を特定する。
映像表示パネル50は、映像61を表示するパネルである。映像表示パネル50は、例えば、液晶表示パネルであってもよい。映像61は、例えば、高度に陰影処理され、正確な立体感が与えられた映像オブジェクトであってもよい。本明細書では、説明及び図示の簡明のため、映像61として鉢状の映像オブジェクトを例示する。
反射素子集合基板60は、映像表示パネル50に表示された映像61を空中像62として検出領域40内に投影する光学素子である。反射素子集合基板60は、例えば、特許文献1に開示される、2面コーナーリフレクタアレイであってもよい。反射素子集合基板60によって、映像61の奥行きが反転した実像が空中像62として検出領域40内に結像される。コントローラ30において、空中像62の表面形状と同じ形状の接触面42を定義することで、ユーザは、空中像62に対する仮想的な接触感を得ることができる。
次に、入力装置1の構成について説明する。
図2は、入力装置1の機能的な構成の一例を示すブロック図である。
図2に示されるように、光源10は、レーザドライバ11、赤外レーザ素子12、コリメートレンズ13、走査ドライバ14、アクチュエータ15、及びミラー16を有する。
レーザドライバ11は、コントローラ30の制御下で、赤外レーザ素子12を駆動する。赤外レーザ素子12は、検出光17としての赤外レーザ光を出射する。コリメートレンズ13は、赤外レーザ素子12から入射された赤外レーザ光を平行光に変換する。
走査ドライバ14は、コントローラ30の制御下で、アクチュエータ15を駆動する。アクチュエータ15は、ミラー16の方向を変更することにより、ミラー16で反射した検出光17で検出境界面41をラスタ走査する。検出境界面41のラスタ走査は、図1に示されるように、検出光17で検出境界面41をX方向に走査する主走査とY方向に走査する副走査とで構成されてもよい。
光センサ20は、集光レンズ21、及び光電変換素子22を有する。
集光レンズ21は、検出光17の指示体80からの反射光18を光電変換素子22に集光し、光電変換素子22は、集光レンズ21を介して入射した反射光18を検出信号に変換する。
コントローラ30は、接触面42の検出境界面41を基準にした位置を表す接触面定義情報34を保持し、指示体80による接触面42への仮想的な接触動作を検出し、接触面42上での接触位置を特定するコントローラである。
コントローラ30は、具体的には、CPU(Central Processing Unit)31、RAM(Random Access Memory)32、ROM(Read Only Memory)33などからなるコンピュータシステムとして構成されてもよい。コントローラ30の一部又は全部の機能は、CPU31がRAM32を作業用のメモリとして用いてROM33に記録されたプログラム(図示せず)を実行することによって達成されてもよい。また、コントローラ30の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。接触面定義情報34は、ROM33に保持されてもよい。
次に、入力装置1による空間座標検出の原理について説明する。
図3は、入力装置1による空間座標検出の原理を説明する模式図である。図3は、図1の模式図をX方向に見た図に対応する。
図4は、入力装置1による空間座標検出で用いられる主要な信号の一例を示す波形図である。
図3に示されるように、光センサ20は、検出境界面41から光源10に向かって定められる検出領域40に指示体80が進入した際に、検出光17の指示体80からの反射光18を検出する。光センサ20は、検出領域40以外の不感領域で指示体80に反射した反射光18を検出しない。
図4に示されるように、コントローラ30は、走査ドライバ14に、Y方向の走査位置をレベルによって指定するY走査信号、及びX方向の走査位置をレベルによって指定するX走査信号を供給する。一例として、Y走査信号は増加する階段波であり、X走査信号は三角波であってもよい。
このようなY走査信号及びX走査信号に従って、アクチュエータ15がミラー16の方向を調整することによって、検出光17は、図1に示されるように検出境界面41をジグザグにラスタ走査する。
検出光17が検出境界面41を1回ラスタ走査する間に、例えば、図3に示されるように、検出領域40内の指示体80からの反射光18が光センサ20で検出された場合、図4に示されるように、光センサ出力として4つの検出パルスが出力される。
図3から理解されるように、4つの検出パルスのうちの最後の検出パルスが、指示体80と検出境界面41との交点である境界点43からの反射光18に対応し、検出パルスの個数が指示体80の検出領域40への進入量に対応する。
コントローラ30は、最後の検出パルスが得られたときのY走査信号のレベル及びX走査信号のレベルをそれぞれ境界点43のY座標値及びX座標値として特定し、検出パルスの個数を指示体80の検出領域40への進入量として特定する。
なお、Y走査信号として減少する階段波を用いてラスタ走査を行う場合は、最初の検出パルスが境界点43からの反射光18に対応する。この場合、コントローラ30は、最初の検出パルスが得られたときのY走査信号のレベル及びX走査信号のレベルをそれぞれ境界点43のY座標値及びX座標値として特定する。
次に、入力装置1による接触検出動作について説明する。
図5は、接触面定義情報34の一例を示す図である。図5に示されるように、接触面定義情報34は、例えば、検出境界面41上の複数の点のそれぞれに対応する接触面42上の点の位置を示す数表34aであってもよい。数表34aにおいて、x、yは、ユーザから検出境界面41上の点(X,Y)に対応して見える接触面42上の点のX、Y座標を表し、zは、検出境界面41上の点(X,Y)から接触面42までの距離を表す。
図6は、入力装置1による接触検出動作の一例を示すフローチャートである。
コントローラ30は、図3及び図4で説明したように、光源10を制御して検出光17で検出境界面41を走査する。
検出光17が検出境界面41を1回走査する間に光センサ20から1つ以上の検出パルスが得られた場合(S11でYES)、コントローラ30は、前記検出パルスのうち最初又は最後の検出パルスが得られたときのX走査信号のレベル及びY走査信号のレベルから境界点43の位置X、Yを特定し、前記検出パルスの個数から進入量Zを特定し(S12)、接触面定義情報34を参照して、境界点43から接触面42までの距離zを特定する(S13)。
距離z≦進入量Zであれば(S14でYES)、コントローラ30は、指示体80が接触面42に到達していると判定し、接触面定義情報34を参照して、境界点43に対応する接触面42の点のXY座標(x,y)を、接触位置として特定する(S15)。
他方、距離z>進入量Zであれば(S14でNO)、コントローラ30は、指示体80が接触面42に到達していないと判定する(S16)。
このような構成によれば、入力装置1は、接触面42の形状を任意に定義する接触面定義情報34を参照して、接触面定義情報34で表される接触面42への指示体80の到達を検出し、接触位置を特定する。
そのため、曲面形状を含む任意の形状の接触面を、入力装置1の単一の構成で統一的に取り扱うことができる。また、空中像62の表面形状と同じ形状の接触面42を自在に定義することができるので、ユーザは、あらゆる形状の空中像62に対する仮想的な接触感を違和感なく得ることができる。
なお、コントローラ30は、それぞれ異なる立体像に対応する複数の接触面定義情報34を保持してもよく、また、立体像が動く場合は、立体像の動きに追従して接触面定義情報34を変更してもよい。
(第2の実施の形態)
上記では、接触面定義情報34が数表34aで表される例を説明したが、接触面定義情報34は数表34aに限定されない。
上記では、接触面定義情報34が数表34aで表される例を説明したが、接触面定義情報34は数表34aに限定されない。
図7は、接触面定義情報34の他の一例を示す図である。図7に示されるように、接触面定義情報34は、例えば、検出境界面41上の任意の点に対応する接触面42上の点の位置を示す数式34bであってもよい。
数式34bにおいて、xk、ykは、ユーザから検出境界面41上の点(X,Y)に対応して見える接触面42上の点のX、Y座標の近似値を表し、zkは、検出境界面41上の点(X,Y)から接触面42までの距離の近似値を表す。ここで、xk、yk、zkは、複数の立体像kのそれぞれに対応して定義されてもよい。
このような構成によれば、例えば、数表34aのデータ量が嵩む場合や、接触面42の形状が比較的低い次数の数式34bで良好に近似できる場合において、接触面定義情報34のデータ量を削減するために適している。
(第3の実施の形態)
上記では、接触面定義情報34によって、ユーザから検出境界面41上の点に対応して見える接触面42上の点が定義されることを説明した。ユーザから検出境界面41上の点に対応して見える接触面42上の点は、例えば、ユーザの検出境界面41に対する位置や指示体80の形状など、様々な要因で変化し得る。そこで、接触面定義情報34を補正してもよい。
上記では、接触面定義情報34によって、ユーザから検出境界面41上の点に対応して見える接触面42上の点が定義されることを説明した。ユーザから検出境界面41上の点に対応して見える接触面42上の点は、例えば、ユーザの検出境界面41に対する位置や指示体80の形状など、様々な要因で変化し得る。そこで、接触面定義情報34を補正してもよい。
以下では、接触面定義情報34の補正について説明する。
図8は、接触面定義情報34の補正に用いられる校正用アイコンの一例を示す図である。
入力装置1のコントローラ30は、映像表示パネル50を制御することにより、既知の校正点46に校正用アイコン63を表示し、表示された校正用アイコン63に対して指示体80で仮想的な接触を行うようユーザを促す。
コントローラ30は、指示体80が校正用アイコン63に仮想的に接触したときの、指示体80と検出境界面41との交点である校正用境界点45の位置と、指示体80の検出領域40への進入量である校正用進入量とを特定する。
図9A、図9Bは、指示体80が校正用アイコン63に仮想的に接触したときに、指示体80、検出境界面41、校正用境界点45a、45b、及び校正点46が取り得る配置の一例を示す図である。
図9Aには、ユーザが、検出境界面41にほぼ正対する位置から、指示体80を検出境界面41に進入させた場合の例が示される。図9Aに示される例では、校正用境界点45aのY座標は校正点46のY座標よりもΔYa大きく、かつ校正用進入量は校正点46のZ座標とほぼ一致する(ΔZaがほぼ0)。
図9Bには、ユーザが、検出境界面41を見下ろす位置から、指示体80を検出境界面41に進入させた場合の例が示される。図9Bに示される例では、校正用境界点45bのY座標は校正点46のY座標とほぼ一致し(ΔYbがほぼ0)、かつ校正用進入量Zbは校正点46のZ座標よりもΔZb小さい。
ここで、コントローラ30が、例えば、図9Aに示される配置を想定した接触面定義情報34を保持しているものとする。このとき、指示体80による校正用アイコン63への仮想的な接触において図9Aの配置が特定された場合、ユーザは、接触面定義情報34の想定どおりの位置で、指示体80を接触面42に接触させると考えられる。そのため、接触面定義情報34は補正なしでそのまま用いられる。
他方、図9Bの配置が特定された場合は、ユーザは、同一の境界点に対応して、図9Aの場合よりもΔYa大きなY座標とΔZb小さなZ座標で示される点を見ていることが分かる。そのため、接触面定義情報34は、Y座標でΔYa大きく、Z座標でΔZb小さい座標値を表すように補正して用いられる。
図10は、接触面定義情報34を補正しない場合と補正した場合とで異なる接触面42a、42bが定義されることを概念的に示す図である。
なお、図示及び説明は省略したが、X座標についてもY座標と同様にして、校正用境界点45と校正点46とのずれが特定され、接触面定義情報34の補正が行われる。校正用境界点45と校正点46とのX座標及びY座標でのずれを統合して、立体角で表してもよい。検出境界面41に直交する方向から、X座標のずれとY座標のずれに対応する立体角ずれた方向を、指示体80の進入角度として定義してもよい。
このように、校正用アイコンを用いて校正用境界点45の位置と校正用進入量とを特定することによって現在の配置を特定することにより、特定された現在の配置と接触面定義情報34が想定している配置とのずれに応じて接触面定義情報34を補正できる。
その結果、ユーザは、空中像62に対する仮想的な接触感を、指示体80の進入角度によらず違和感なく得ることができる。このような接触面定義情報34の補正処理は、例えば、ユーザが空間像へのインタラクション動作を開始するときに行ってもよい。
(第4の実施の形態)
空中像インタラクションシステム100では、空中像62や接触面42に対するユーザの位置によって、空中像62の見易さや、接触面42に対する仮想的な接触操作のやり易さが異なる。そこで、校正用境界点45と校正点46とのずれ(指示体80の進入角度として定義される)に基づいて、空中像62や接触面42を、ユーザにとってより見やすくかつより操作しやすい方向に向け直してもよい。
空中像インタラクションシステム100では、空中像62や接触面42に対するユーザの位置によって、空中像62の見易さや、接触面42に対する仮想的な接触操作のやり易さが異なる。そこで、校正用境界点45と校正点46とのずれ(指示体80の進入角度として定義される)に基づいて、空中像62や接触面42を、ユーザにとってより見やすくかつより操作しやすい方向に向け直してもよい。
以下では、校正用アイコン63を用いて特定された指示体80の進入角度を基に、映像表示パネル50及び検出境界面41の配置を変更することができる空中像インタラクションシステム101について説明する。検出境界面41の配置は、光センサ20の配置を変更することによって、変更される。
図11は、空中像インタラクションシステム101の要部の構成の一例を示す模式図である。空中像インタラクションシステム101では、空中像インタラクションシステム100に対し、さらに、映像表示パネル50と光センサ20とを、反射素子集合基板60を含む平面上に設けられる回転軸周りに互いに逆方向に回転させる回転機構70が追加される。回転機構70は、コントローラ30からの制御下で、検出境界面41が反射素子集合基板60に対して映像表示パネル50と対称な位置に来るように、映像表示パネル50と光センサ20とを回転させる。
例えば、図9Aに示される配置が、ユーザにとって空中像62が見易くかつ接触面42に対する仮想的な接触操作がやり易い配置である場合、コントローラ30は、図9Aの配置において特定される指示体80の進入角度を、あらかじめ保持しておく。
指示体80による校正用アイコン63への仮想的な接触において図9Aの配置に対応する指示体80の進入角度が特定された場合、映像表示パネル50と光センサ20とは、既に好ましい方向を向いているので、コントローラ30は、回転機構70を駆動せず、映像表示パネル50と光センサ20との現状の向きを維持する。
他方、図9Bの配置に対応する指示体80の進入角度が特定された場合、映像表示パネル50と光センサ20とは、好ましい方向からずれていることが分かるので、コントローラ30は、回転機構70を駆動することにより、映像表示パネル50と光センサ20とを、指示体80の進入角度のずれが縮小する方向に回転させる。
空中像インタラクションシステム101によれば、校正用境界点45と校正点46とのずれ(つまり、指示体80の進入角度)に基づいて、空中像62や接触面42を、ユーザにとってより見やすくかつより操作しやすい方向に向け直すので、ユーザの操作性が向上する。
以上、本発明の入力装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施した形態や、異なる実施の形態における構成要素を組み合わせて構築される形態が、本発明の1つまたは複数の態様の範囲内に含まれてもよい。
本発明は、空中像への仮想的な接触動作に基づいて情報機器とインタラクションするためのユーザインターフェースとして、広範な分野で利用できる。
1 入力装置
10 光源
11 レーザドライバ
12 赤外レーザ素子
13 コリメートレンズ
14 走査ドライバ
15 アクチュエータ
16 ミラー
17 検出光
18 反射光
20 光センサ
21 集光レンズ
22 光電変換素子
30 コントローラ
31 CPU
32 RAM
33 ROM
34 接触面定義情報
34a 数表
34b 数式
40 検出領域
41 検出境界面
42、42a、42b 接触面
43 境界点
45、45a、45b 校正用境界点
46 校正点
50 映像表示パネル
60 反射素子集合基板
61 映像
62 空中像
63 校正用アイコン
70 回転機構
80 指示体
100、101 空中像インタラクションシステム
10 光源
11 レーザドライバ
12 赤外レーザ素子
13 コリメートレンズ
14 走査ドライバ
15 アクチュエータ
16 ミラー
17 検出光
18 反射光
20 光センサ
21 集光レンズ
22 光電変換素子
30 コントローラ
31 CPU
32 RAM
33 ROM
34 接触面定義情報
34a 数表
34b 数式
40 検出領域
41 検出境界面
42、42a、42b 接触面
43 境界点
45、45a、45b 校正用境界点
46 校正点
50 映像表示パネル
60 反射素子集合基板
61 映像
62 空中像
63 校正用アイコン
70 回転機構
80 指示体
100、101 空中像インタラクションシステム
Claims (9)
- 所定の検出領域を走査する検出光を出射する光源と、
指示体によって反射された反射光を検出する光センサと、
前記指示体によって仮想的に接触される接触面の、検出境界面を基準にした位置を表す接触面定義情報を保持し、前記反射光の検出結果に基づく前記指示体の前記検出領域への進入量と、前記指示体と前記検出境界面との交点から前記接触面定義情報によって表される前記接触面までの距離と、を比較することに基づき、前記接触面上の位置を、接触位置として特定する、コントローラと、
を備える入力装置。 - 前記光源は、前記検出光によって前記検出境界面を既知のタイミングで走査し、
前記コントローラは、前記検出光が前記検出境界面を1回走査する間に前記光センサから1つ以上の検出パルスが得られた場合に、前記検出パルスのうち最初又は最後の検出パルスのタイミングから前記交点の位置を特定し、前記検出パルスの個数から前記進入量を特定する、
請求項1に記載の入力装置。 - 前記コントローラは、前記接触面定義情報として、前記検出境界面上の複数の点のそれぞれに対応する前記接触面上の点の位置を示す数表を保持する、
請求項1又は2に記載の入力装置。 - 前記コントローラは、前記接触面定義情報として、前記検出境界面上の任意の点に対応する前記接触面上の点の位置を示す数式を保持する、
請求項1又は2に記載の入力装置。 - 請求項1から4の何れか1項に記載の入力装置と、
前記検出領域内に空中像を投影する空中像投影装置と、を備え、
前記コントローラは、前記接触面定義情報として、前記空中像の表面形状を表す情報を保持する、
空中像インタラクションシステム。 - 前記コントローラは、前記空中像の表面形状が変化したとき、前記空中像の変化後の表面形状を表すように、前記接触面定義情報を変更する、
請求項5に記載の空中像インタラクションシステム。 - 前記コントローラは、
前記空中像投影装置を用いて既知の校正点に校正用アイコンを表示させ、
前記指示体が前記校正用アイコンに仮想的に接触したときの、前記指示体と前記検出境界面との交点である校正用境界点の位置と前記指示体の前記検出領域への進入量である校正用進入量とを特定し、
前記校正用境界点の位置と前記校正用進入量とを用いて前記接触面定義情報を補正する、
請求項5に記載の空中像インタラクションシステム。 - 前記空中像投影装置は、
映像を表示する映像表示パネルと、
前記映像表示パネルに表示された前記映像を前記空中像として前記検出領域に投影する反射素子集合基板と、有し、
前記空中像インタラクションシステムは、さらに、
前記反射素子集合基板に対して前記映像表示パネルと対称な位置に前記検出境界面が来るように、前記映像表示パネルと前記光センサとを、前記反射素子集合基板を含む平面上に設けられる回転軸周りに互いに逆方向に回転させる回転機構を備え、
前記コントローラは、
前記校正用境界点の位置と前記校正点との位置との差分を用いて前記指示体の前記検出領域への進入方向を検出し、
検出された進入方向に応じて、前記映像表示パネルと前記光センサとを回転させる、
請求項7に記載の空中像インタラクションシステム。 - 所定の検出領域を走査する検出光を出射し、
指示体によって反射された反射光を検出し、
前記指示体によって仮想的に接触される接触面の、検出境界面を基準にした位置を表す接触面定義情報を参照し、前記反射光の検出結果に基づく前記指示体の前記検出領域への進入量と、前記指示体と前記検出境界面との交点から前記接触面定義情報によって表される前記接触面までの距離と、を比較することに基づき、前記接触面上の位置を、接触位置として特定する、
入力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017077423A JP6315127B2 (ja) | 2017-04-10 | 2017-04-10 | 入力装置、空中像インタラクションシステム、及び入力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017077423A JP6315127B2 (ja) | 2017-04-10 | 2017-04-10 | 入力装置、空中像インタラクションシステム、及び入力方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013192073A Division JP2015060296A (ja) | 2013-09-17 | 2013-09-17 | 空間座標特定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017139012A JP2017139012A (ja) | 2017-08-10 |
JP6315127B2 true JP6315127B2 (ja) | 2018-04-25 |
Family
ID=59565952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017077423A Active JP6315127B2 (ja) | 2017-04-10 | 2017-04-10 | 入力装置、空中像インタラクションシステム、及び入力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6315127B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6987341B2 (ja) | 2017-10-24 | 2021-12-22 | マクセル株式会社 | 情報表示装置およびその空間センシング装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005023598A1 (ja) * | 2003-09-02 | 2005-03-17 | Matsushita Electric Industrial Co., Ltd. | 入力装置 |
JP5212991B2 (ja) * | 2007-03-30 | 2013-06-19 | 独立行政法人情報通信研究機構 | 空中映像インタラクション装置及びそのプログラム |
JP4318056B1 (ja) * | 2008-06-03 | 2009-08-19 | 島根県 | 画像認識装置および操作判定方法 |
JP2012208705A (ja) * | 2011-03-29 | 2012-10-25 | Nec Casio Mobile Communications Ltd | 画像操作装置、画像操作方法およびプログラム |
-
2017
- 2017-04-10 JP JP2017077423A patent/JP6315127B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017139012A (ja) | 2017-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015060296A (ja) | 空間座標特定装置 | |
JP3827450B2 (ja) | 光走査型タッチパネル | |
US10303305B2 (en) | Scanning touch systems | |
US20080291179A1 (en) | Light Pen Input System and Method, Particularly for Use with Large Area Non-Crt Displays | |
US11048363B2 (en) | Floating display device and method for a floating display device to indicate touch position | |
JP6721875B2 (ja) | 非接触入力装置 | |
JP2000293311A (ja) | 光走査型タッチパネル | |
JP2005107607A (ja) | 光学式位置検出装置 | |
US8405639B1 (en) | Scanning mirror touch screen with minimum bezel height | |
US8780084B2 (en) | Apparatus for detecting a touching position on a flat panel display and a method thereof | |
JP2019074933A (ja) | 非接触入力装置 | |
JP6315127B2 (ja) | 入力装置、空中像インタラクションシステム、及び入力方法 | |
US20150185321A1 (en) | Image Display Device | |
US20120127129A1 (en) | Optical Touch Screen System and Computing Method Thereof | |
JP2013210956A (ja) | ディスプレイ装置 | |
JPH1185376A (ja) | 光学式位置検出装置付き情報表示装置 | |
JP4454667B2 (ja) | 光走査型タッチパネル | |
US8912482B2 (en) | Position determining device and method for objects on a touch device having a stripped L-shaped reflecting mirror and a stripped retroreflector | |
JP2011122867A (ja) | 光学式位置検出装置および位置検出機能付き表示装置 | |
US8723837B1 (en) | Scanning mirror touch screen | |
JP2003337658A (ja) | 光走査型タッチパネル | |
Jeon et al. | A MEMS-based interactive laser scanning display with a collocated laser range finder | |
JP2002268807A (ja) | 座標入力装置、座標入力機能を実行するプログラムおよび該プログラムを記録した記録媒体 | |
JPH11184618A (ja) | 光走査型タッチパネル | |
WO2024079832A1 (ja) | インタフェース装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6315127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |