WO2014076992A1 - インターフェース装置、表示システム及び入力受付方法 - Google Patents

Abstract

ビーム（１０２）を発するビーム照射装置（１０１）と、イメージセンサ（１０６）と、ビーム（１０２）をイメージセンサ（１０６）に導くとともに、その他の光の少なくとも一部がイメージセンサ（１０６）に到達するのを妨げる遮光ガード（１０４）と、イメージセンサ（１０６）によって読み取られる信号を受信する認識部（１１２）と、を備え、認識部（１１２）は、ビーム照射装置（１０１）とイメージセンサ（１０６）の間に位置するオブジェクトによりビーム（１０２）の少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付けるインターフェース装置。

Description

インターフェース装置、表示システム及び入力受付方法

　本発明は、インターフェース装置、表示システム及び入力受付方法に関する。

　近年、ジェスチャーを利用して入力を行う空間操作型インターフェース装置が開発されている。当該インターフェース装置は、人が行うジェスチャーを認識し、あらかじめ決められたジェスチャーに対応した入力を受付ける。

　例えば、特許文献１（特開２００５－１３８７５５公報）には、手の動きをカメラでとらえ、そのジェスチャーを認識してヘッドアップディスプレイに表示されるものを操作する虚偽表示装置が記述されている。当該虚偽表示装置は、半透明な反射手段に向けて映像情報を光で投射する光学ユニットを備え、映像情報を反射手段による虚像として表示する。そして、虚偽表示装置を操作する操作者の視線を特定する視線特定手段と、虚偽表示装置により表示されている虚像のうち、視線特定手段により特定された操作者視線上或いはその近傍にある虚像を、操作者が注視している注視虚像と特定する虚像特定手段と、虚像表示装置による表示を制御するための表示制御指令を検出する表示指令検出手段と、表示指令検出手段により検出された表示制御指令が、注視虚像の表示についての指令である場合には、表示制御指令に基づいて、注視虚像の表示を制御する第１表示制御手段と、を備える。

　特許文献２（特許第３９７９００２号公報）には、検知領域を限定した入力装置が示されている。当該入力装置は、操作者の動作によって該動作に対応する出力信号を電子装置に供給する入力装置であって、移動体を操舵するためのステアリングホイールのクロスバーとリムとで定まる開放空間内に検知領域を予め定め、動作に対応して光波の反射により動作指示点が検知領域に発生するように光波を当該光波の出射方向を含む面状に出射する発生手段と、光波が出射された検知領域とは異なる領域に設置され、検知領域をモニタすることによって検知領域に発生した動作指示点を監視するイメージセンサを用いた監視手段と、監視手段により監視した動作指示点に基づいて、操作者の動作を解析する解析手段と、解析手段の解析結果により定まる動作に対応する出力信号を電子機器へ供給する供給手段とを有する。

　特許文献３（特開平７－１８２１０１号公報）には、グラフィック入力装置が開示されている。当該グラフィック入力装置は、対話型のコンピュータシステムのためのグラフィック入力装置であって、半透明の光拡散体パネルを含む不透明の筺体と、パネルに加えられる力に応答して信号を供給する力検出手段と、筺体内に装着され、パネルの画像と当該画像の変化に応じた画像信号を供給する画像検出装置とを備える。

　特許文献４（特開平９－３４６３５号公報）には、表示装置が開示されている。当該表示装置は、２次元的に画素が配列された画像表示領域を含む表示パネルと、表示パネルの画像表示領域の外の周縁部の少なくとも縦横１つずつの辺に、受光センサ素子が配列されており、当該受光センサ素子の受光／非受光の位置に対応して位置情報が入力される入力装置とを有する。

　また、特許文献５（特表２０００－５１３５３０号公報）には、ビームを用いて情報を読み取る読み出し装置が開示されている。特許文献６（特表２０１０－５３７２８８号公報）には、自動車における情報表示方法が開示されている。

特開２００５－１３８７５５公報 特許第３９７９００２号公報 特開平７－１８２１０１号公報 特開平９－３４６３５号公報 特表２０００－５１３５３０号公報 特表２０１０－５３７２８８号公報

　特許文献１（特開２００５－１３８７５５号公報）に記載の技術においては、運転者の視線と手の位置、ジェスチャーを正確に認識しなければならない。視線は非常に困難な認識対象である。対象とする物と目の位置に関して、姿勢が変わるたびにキャリブレーションを行って確認していく必要がある。また、手の位置、形の認識も同様な難しさがある。双方とも２次元のカメラを用いた認識が一般的であるが、技術的に成熟しているとは言い難い。また、目や手の動作は速く、通常の３０ｆｐｓ程度のカメラでは速度不足となる可能性があり、その場合には高価な高速度カメラが必要になる。この方式は、誤動作の可能性が非常に大きいこと、高コストが課題となる。

　特許文献２（特許第３９７９００２号公報）に記載の技術においては、外光の影響が大きいと言う課題がある。検知領域には太陽光も降り注ぐ。特にオープンカーなどの場合に顕著となる。強い外光が入った場合、全体の光量のレベルが上がるために、検知するものに対するＳＮ比が低下する。また、検知領域の外にある手からも反射画像はカメラに届き、誤動作をさせる可能性がある。これを防ぐためには光源の強度を上げ、強い強度の反射画像のみに反応するようにするしかない。このために、光源のアレイ化、大電力化が必要となり、コスト、電力の問題が生じる。実施例では大出力のＬＥＤをアレイ化して用いている。アレイにすることで装置が大型化するという課題が出てくる。また、太陽光強度は非常に強く、このようにしてもＳＮ比の低下は免れない。

　また、読み取りは従来通りカメラであり、特許文献１（特開２００５－１３８７５５号公報）に記載の技術と同様に高度な画像認識技術が必要である。

　特許文献３（特開平７－１８２１０１号公報）に記載の技術の場合、操作者はパネルをタッチして操作する必要がある。このため、操作の自由度は制限される。

　特許文献４（特開平９－３４６３５号公報）に記載の技術の場合、光源は外光であると考えられる。このため、ある受光センサ素子を非受光な状態とするためには、操作者は、その受光センサ素子に手で触れるなどして、当該受光センサ素子を完全に覆う必要がある。受光センサ素子と手との間に隙間があると、そこから光が進入し、受光センサ素子は光を受光してしまう。すなわち、当該技術においても、操作者は受光センサ素子をタッチして操作する必要がある。このため、操作の自由度は制限される。

　なお、当該特許文献には、受光センサ素子に指をかざすことで所定の入力を行う操作が例示されているが、このような場合、指と受光センサ素子との間から光が進入し、受光センサ素子が光を受光してしまうので、使用環境によっては、ＳＮ比低下の問題が発生し、誤動作の原因となる。

　本発明は、技術に比べて誤認識の程度が低く、かつ、操作の自由度が高いインターフェース技術を提供することを課題とする。

　本発明によれば、
　ビームを発する光源と、
　イメージセンサと、
　前記光源が発した前記ビームを前記イメージセンサに導くとともに、その他の光の少なくとも一部が前記イメージセンサに到達するのを妨げる遮光部と、
　前記イメージセンサによって読み取られる信号を受信する認識部と、
を備え、
　前記認識部は、前記光源と前記イメージセンサの間に位置するオブジェクトにより前記ビームの少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付けるインターフェース装置が提供される。

　また、本発明によれば、
　画像を投射する投射装置を有し、移動体に設置されたヘッドアップディスプレイと、
　前記移動体に設置された前記インターフェース装置と、
を有し、
　前記インターフェース装置は、前記ヘッドアップディスプレイにより得られる画像を操作するユーザ操作を受付ける表示システムが提供される。

　また、本発明によれば、
　光源から発せられたビームを検知したイメージセンサから信号を受信した認識部が、前記光源と前記イメージセンサの間に位置するオブジェクトにより前記ビームの少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付け、
　遮光部が、前記光源が発した前記ビームを前記イメージセンサに導くとともに、その他の光の少なくとも一部が前記イメージセンサに到達するのを妨げる入力受付方法が提供される。

　本発明によれば、誤認識の程度が低く、かつ、操作の自由度が高いインターフェース技術が実現される。

　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態のインターフェース装置の適用例を示す図である。 本実施形態のインターフェース装置の光学的位置関係を示した図である。 本実施形態の遮光部の一例を示す図である。 図３のＡ部の一例を示す図である。 図３のＡ部の一例を示す図である。 図３のＡ部の一例を示す図である。 本実施形態のインターフェース装置の適用例を示す図である。 本実施形態のインターフェース装置の適用例を示す図である。 図３のＡ部の一例を示す図である。 本実施形態のビーム照射装置とルーバーとの位置関係を示す図である。 本実施形態の遮光部の一例を示す図である。 本実施形態の遮光部の一例を示す図である。 本実施形態の遮光部の一例を示す図である。 本実施形態のビーム照射装置の一例を示す図である。 本実施形態のビーム形状の一例を示す図である。 本実施形態のユーザ操作例を示す図である。 本実施形態のユーザ操作例を示す図である。 本実施形態のユーザ操作例を示す図である。 本実施形態のユーザ操作例を示す図である。 本実施形態のインターフェース装置の適用例を示す図である。 本実施形態のインターフェース装置の適用例を示す図である。 本実施形態のインターフェース装置の適用例を示す図である。 本実施形態のインターフェース装置の適用例を示す図である。

　以下、本発明の実施の形態について図面を用いて説明する。なお、複数の図面に共通して現れる構成要素については共通の符号を付し、適宜説明を省略する。

　なお、本実施形態のシステム、装置は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

　また、本実施形態の説明において利用する機能ブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各システム、装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。

＜第１の実施形態＞
　本実施形態のインターフェース装置は、ビームを発する光源と、イメージセンサと、光源が発したビームをイメージセンサに導くとともに、その他の光の少なくとも一部がイメージセンサに到達するのを妨げる遮光部と、イメージセンサによって読み取られる信号を受信する認識部と、を備える。そして、認識部は、光源とイメージセンサの間に位置するオブジェクトによりビームの少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付ける。

　図１及び図２に本実施形態のインターフェース装置の適用場面の一例を示す。当該例では、本実施形態のインターフェース装置を自動車に適用している。なお、本実施形態のインターフェース装置はその他の移動体（飛行機、電車、バス、バイク、船等）に適用することもできるし、また、屋内、屋外におけるその他の使用場面において適用することもできる。当該前提は、以下の全ての実施形態において同様である。

　図１は車両内の位置関係を表した図、図２はインターフェース装置の光学的位置関係を示した図である。図において、１０１はビーム照射装置（光源）、１０２はビーム照射装置１０１から発せられたビーム、１０３は操作者が自身の指等で操作する操作領域、１０４はウインドシールドから入ってくる外光を遮光する遮光ガード（遮光部）、１０５はビーム１０２が照射されるスクリーン、１０７はスクリーン１０５に形成されたビームの像、１０６はビームの像１０７を読み取るイメージセンサ、１０８は指がビームと交わる部分、１０９は指の影、１１０はレンズ、１１１はイメージセンサ素子である。

　本実施形態においては、光源となるビーム照射装置１０１は車両の天井部に設置され、そこからカーテン状に下方に向けてビーム１０２を放出する。ビーム１０２はビーム照射装置１０１よりも下方に設置されたスクリーン１０５に到達する。

　なお、ビーム照射装置１０１の設置位置はこれに限定されず、その他、ウインドシールドのリムやバックミラー等に設置することもできる。

　また、本実施形態では、上方から下方に向けてビーム１０２を放出しているが、これに限定されない。すなわち、下方から上方に向けてビーム１０２を放出してもよいし、左右方向にビーム１０２を放出してもよいし、斜め方向等のその他の方向にビーム１０２を放出してもよい。

　スクリーン１０５上に形成されるビームの像１０７は、イメージセンサ１０６によって読み取られる。そして、イメージセンサ１０６によって読み取られた信号は認識部１１２に入力される。

　信号は操作領域１０３に指もしくは手などの障害物が入った時の影、例えばこの例では影１０９によって与えられる。ユーザ操作が何もない場合には、ビーム照射装置１０１から発せられたビーム１０２がそのままスクリーン１０５に到達し、発せられた状態のビーム１０２の形状の像がスクリーン１０５上に形成されることとなる。これに対し、図２に示すように操作領域１０３に指や手等のオブジェクトを挿入して行う所定のユーザ操作が行われると、ビーム照射装置１０１から発せられたビーム１０２の少なくとも一部の進行が当該オブジェクトにより妨げられ、妨げられた部分が影１０９となった形状のビーム１０２の像がスクリーン１０５上に形成されることとなる。認識部１１２は、このような影１０９の大きさ、数及び動きの中の少なくとも１つを認識し、認識結果に応じた入力を受付ける。

　この構造であれば、指や手等のオブジェクトがビーム１０２を横切らない限り、インターフェース装置に対して何らかの入力がされることはない。特開２００５－１３８７５５のようにカメラで認識する場合、意図しない動作で信号が入力される可能性があるが、本実施形態によればこのような不都合を効果的に避けることができる。

　ビーム照射装置の光源としては赤外ＬＥＤを用いることも可能であるが、人の目には不可視である赤外レーザが好適である。ＬＥＤと異なり、エネルギーの集中した線状のビーム１０２が形成できるからである。なお、線状のビーム１０２とは、ビーム１０２の進行方向に向かって線状の広がりを持つビームを意味する。このような線状のビーム１０２を用いれば、ビーム１０２が通過する領域（操作者の動作を検知する領域）を略面上の薄い領域とすることができるので、操作者の意図しない動作で信号が入力される不都合をより軽減することができる。また、後述するように、高感度に信号検出できるため、光源としては単体の低出力のレーザで済み、小型、低コストである。また、ビーム信号が線状であるため、イメージセンサは従来のような２次元のカメラである必要はなく、安価な１次元イメージセンサでよい。

　また、図１に示すように、イメージセンサ１０６は外界から隔離して設置することができ、スクリーン１０５上の光以外は検知しないように構成することができる。また、遮光ガード１０４は、ビーム１０２が入ってくる方向以外の光の少なくとも一部、特にウインドシールドから入ってくる光がスクリーン１０５に到達することを効果的に妨げる。このため、スクリーン１０５は外光の影響を軽減することができる。従来の反射光を読む方式と異なり、読み取るのはビーム照射装置１０１からのビームと指、手などの影であり、非常に高いコントラストが得られる。反射光を読む場合、光はあらゆる方向に反射されるため、一つの方向の光は非常に弱くなってしまい、雑音に埋もれやすい。しかし、直進するビーム光の影は信号レベルが大きく下がり、高いＳＮ比が得られる。このため、本実施形態のビーム照射装置１０１の出力は非常に低く抑えることが可能である。このようにしても十分なＳＮ比が得られる。レーザを使用したとしても、常時点灯が可能なクラス１程度の光で済む。

　本実施形態の場合、１次元イメージセンサの使用が可能ということも大きな利点である。２次元のカメラに比べ、画素数が少ないため、１０倍以上高速に読み取ることが可能である。例えば、カメラの場合３０ｆｐｓ、６０ｆｐｓが一般的であるが、この場合、１画面の処理は３３ｍｓ、１６ｍｓ程度となる。これに対し、スキャナ等に使われる１次元のイメージセンサは１ｍｓ程度で動作している。画素数が少なくてよければ更なる高速化が可能である。これは指の早い動きへの追随が可能であることを意味する。１次元であるため、またＳＮ比が高いため、中間調ではなく２値的な画像の扱いができることなどから、認識のための処理が非常に軽く、より簡単な処理系での処理が可能である。

　本実施形態の場合、操作領域１０３は図に示すようにステアリングホイールの上部付近の空間とすることができる。なお、操作領域１０３は、ビーム１０２が通過する領域（操作者の動作を検知する領域）の中のいずれかであれば良いが、操作者の操作性を考えると、ステアリングホイールの上部付近であるのが好ましい。本実施形態によれば、所定の物体にタッチして操作を行うタッチ操作等のように操作が制限されないので、ユーザの操作の自由度は高くなる。

　以上説明した本実施形態によれば、誤認識の程度が低く、かつ、操作の自由度が高いインターフェース技術が実現される。

　また、本実施形態によれば、認識に１次元イメージセンサ素子を用いることで、低コストかつ読み取りも認識も高速で行えること、読み取りをビーム光とその影で行う構造を持ち、遮光により外光の影響をほとんど受けないため認識率が非常に高いこと、光源は小型かつ低電力で動作すること、しかも操作対象の画像に対して、直感的な操作を行うことができるという効果が得られる。

＜第２の実施形態＞
　図３乃至図６に本実施形態のインターフェース装置の遮光部の一例を示す。その他の構成は、第１の実施形態と同様とすることができる。なお、これらの図においては、本実施形態において特徴的な部分のみを抽出して表示しており、本実施形態のインターフェース装置が備えるその他の構成部分（例：認識部１１２等）は省略してある。当該前提は、以下で説明する図７乃至２３においても同様である。

　図３は遮光部の断面図、図４乃至図６は図３のＡ部のバリエーションを示している。図４に示す２０１は一部の光をカットするフィルタ、図５に示す２０２は偏光板、図６に示す２０３はビーム１０２をイメージセンサ１０６に結像させるためのレンズである。

　図３に示すように、遮光部は、遮光材で構成され、光源が発したビーム１０２をイメージセンサ１０６に導く形状に構成されるとともに、光源が発したビーム１０２をイメージセンサ１０６に導くよう設置されたビーム誘導管を有する。ビーム誘導管は筒状に形成され、一方の端部からビーム１０２が進入し、他方の端部付近にスクリーン１０５が設置されている。そして、断面形状は、ビーム１０２の形状に即した形状となっている。ビーム誘導管の外周は遮光材で構成されている。

　イメージセンサ１０６は、ビーム誘導管を通ってきた光のみをセンシングする。

　図３に示すように、ビーム誘導管の端部付近に位置するスクリーン１０５は、奥まった場所に位置する。ビーム１０２は極めて細くすることが可能である。幅１ｍｍ以下でも十分形成可能であり、ビーム１０２が通る領域のギャップは系の揺らぎを考えても数ｍｍあれば十分である。ビーム１０２の通る空間（ビーム誘導管の内部）の壁をビーム１０２の波長以外の光を吸収するものとしておけば、ビーム１０２と異なる角度から入ってくるほとんどの光をカットできる。

　更に遮光性を高め、高ＳＮ比化できる構造を図４乃至６に示す。

　図４の例の場合、遮光部は、ビーム１０２の波長を除く少なくとも一部の波長の光の透過を防止するフィルタ２０１を有し、イメージセンサ１０６は、フィルタ２０１を通ってきた光のみをセンシングする。

　例えば、赤外光（ビーム照射装置１０１が発する光）以外の光をカットするフィルタ２０１を設ければ、より高ＳＮ比で信号を読み取ることが可能である。

　図５の例の場合、ビーム照射装置１０１は、偏光したビーム１０２を発し、遮光部は、このようなビーム１０２を透過するよう構成された偏光板２０２を備える。そして、イメージセンサ１０６は、偏光板２０２を通ってきた光のみをセンシングする。

　例えば、ビーム照射装置１０１は赤外レーザによりビーム１０２を形成する構成とすれば、偏光を１方向に決めることができる。このようなビーム照射装置１０１を用い、かつ、このようなビーム１０２の偏光に合わせた偏光板２０２を用いることにより、その他の光をカットしてＳＮ比を向上することができる。

　図６の例のレンズ２０３は、これまで説明してきたスクリーン１０５に代えて用いることができる。レンズ２０３は、ビーム１０２の像を直接イメージセンサ１０６に結像させる。スクリーン１０５のように光が一旦拡散せず、大部分のビーム１０２をイメージセンサ１０６に到達させることができるため、高感度化が可能である。かかる例の場合、イメージセンサ１０６は、図２を用いて説明したレンズ１１０を有さなくてもよい。

　なお、図４及び図５に示す例において、スクリーン１０５をレンズ２０３に置き換えることも可能である。

　本実施形態によれば、上述した作用効果に加えて、第１の実施形態で説明した作用効果も実現される。

＜第３の実施形態＞
　図７及び図８に本実施形態のインターフェース装置のビーム照射装置１０１の設置位置のバリエーションを示す。その他の構成は第１及び第２の実施形態と同様とすることができる。

　本実施形態ではビーム照射装置１０１がバックミラー付近や、ウインドシールドのリムの部分に設置されている。ビーム照射装置１０１が小型であるためにこのようなバリエーションが可能となる。本実施形態の場合、オープンカーのように天井が無い場合や可動式天井の場合にも適用可能である。図７は図１に相当する図であり、図８は運転席後方より見た図である。このように、バックミラーにビーム照射装置１０１を設け、又は、ウインドシールドのリムにビーム照射装置１０１を設け、斜めにビーム１０２を放出しても、十分な検知領域（ビーム１０２が通過する領域）を確保すること可能である。

　本実施形態によれば、上述した作用効果に加えて、第１及び第２の実施形態で説明した作用効果も実現される。

＜第４の実施形態＞
　図９及び図１０に本実施形態のインターフェース装置の遮光部の一例を示す。その他の構成は第１乃至第３の実施形態と同様とすることができる。

　図９は図３のＡ部のバリエーションを示す断面図、図１０はビーム照射装置１０１と遮光部との位置関係を示したものである。この例では図に示すように、遮光部はルーバー４０１を有する。そして、イメージセンサ１０６は、ルーバー４０１を通ってきた光のみをセンシングする。

　ルーバーとは、パーソナルコンピュータや携帯電話の覗き見防止を目的としたシート状の光学部品である。図１０に示すように、ルーバー４０１の開口部がビーム照射装置１０１のビーム照射部に向くことにより、ビーム１０２と異なる方向から入ってくる光がスクリーン１０５に到達する確率をさらに低くすることができる。

　なお、図９に示す例では、図５に示す例においてルーバー４０１を採用しているが、図３、図４及び図６の例においてルーバー４０１を採用することもできるし、図４及び図５の例においてスクリーン１０５をレンズ２０３に置き換えた例においてルーバー４０１を採用することもできる。

　ところで、オープンカーのように上から太陽光が降り注ぐ場合など、外光とビーム１０２の進行方向が同じになる場合がある。このような場合であっても、ビーム１０２の元にはビーム照射装置１０１があるため、このような外光の少なくとも一部はビーム照射装置１０１により進行が妨げられる。この構造により、更に外光に対する遮光性が増し、ＳＮ比向上、ひいては光源の低出力、小型化、認識率の向上が図られる。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第３の実施形態で説明した作用効果も実現される。

＜第５の実施形態＞
　図１１に本実施形態のインターフェース装置の遮光部の一例を示す。その他の構成は第１乃至第４の実施形態と同様とすることができる。

　この例においては、イメージセンサ１０６はビーム１０２の延長線上にない。スクリーン１０５上の画像をイメージセンサ１０６が読み取りさえすればよいので、このような構造が可能である。この構造は、ダッシュボード下の領域の構造物のじゃまをしにくいということで有効である。例えば、分離してダッシュボードの上に置くことも可能である。また、この構造ではイメージセンサ１０６（レンズ１１０及びイメージセンサ素子１１１）は完全に壁で覆われており、迷光が入らない構造になっている。このため、更に外光に対する遮光性が増し、ＳＮ比向上、ひいては光源の低出力、小型化、認識率の向上が図られる。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第４の実施形態で説明した作用効果も実現される。

＜第６の実施形態＞
　図１２及び図１３に本実施形態のインターフェース装置の遮光部の一例を示す。その他の構成は第１乃至第４の実施形態と同様とすることができる。

　図１２は断面図、図１３は上面図である。図において、６０１はウインドシールド、６０２はダッシュボード、６０３はイメージセンサ１０６（レンズ１１０及びイメージセンサ素子１１１）を内包する筐体、６０４、６０５は鏡（例：凹面鏡）である。ビーム１０２は２つの鏡６０４、６０５によってイメージセンサ素子１１１上に導かれる。鏡６０４、６０５に凹面鏡を用い、凹面鏡で折り返すことにより、全長を短くすることができる。

　図示しないが、ビーム１０２の進路の途中、例えば、筺体６０３内や筺体６０３内にビーム１０２が進入するための入り口等に、上記実施形態で説明したフィルタ２０１や偏光板２０２やルーバー４０１を設けることも可能である。このように薄型に形成することにより、第５の実施形態同様ダッシュボード６０２の上に置くことができ、既存の車両に後からインターフェース装置を組み込むことが容易である。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第４の実施形態で説明した作用効果も実現される。

＜第７の実施形態＞
　図１４に本実施形態のインターフェース装置のビーム照射装置１０１の一例を示す。その他の構成は第１乃至第６の実施形態と同様とすることができる。

　図に示すように、ビーム照射装置１０１は赤外レーザ素子７０１、コリメートレンズ７０２、回折光学素子７０３を有する。回折光学素子７０３は回折によりパターンを形成する光学素子であり、任意の形状のパターンを形成できる。すなわち、任意の形状のビームの像１０７を形成できる。

　図１５に本実施形態のインターフェース装置に適用可能な画像パターンの例を示す。図１５（ａ）のように直線状のパターンを形成できることはもちろんのこと、図１５（ｂ）のように、指、手の影よりも十分小さなドットのパターンとすること、図１５（ｃ）のように曲線にすること、図１５（ｄ）のように二重線とすること、図１５（ｅ）のように一部を不規則な形状に変形させること、あるいは場所によって光の強度をかえることなど、いかような形にもパターンを形成できる。これにより、必要な領域に、必要なパターンのビーム１０２を形成することが可能である。このように、ビーム照射装置１０１は非常に簡単な構造となっており、小型かつ低コストで製造が可能である。

　以上の説明は像を形成する光学素子に回折光学素子７０３を用いた例であったが、基本的に１本の線が引ければよいので、簡単なレンズ系を用いても形成できる。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第６の実施形態で説明した作用効果も実現される。

＜第８の実施形態＞
　図１６にユーザ操作の一例を示す。なお、その他の構成は第１乃至第７の実施形態と同様とすることができる。

　図１６（ａ）には、ビーム１０２と交わる（ビーム１０２を横切る）ように指を操作領域に挿入し、当該状態で指を左から右に動かすユーザ操作を示している。このようなユーザ操作を行うと、スクリーン１０５上に形成されたビームの像１０７に現れる影１０９は、図１６（ｂ）に示すように、時間の経過とともに左から右に動く。認識部１１２は、このような時間の経過に伴う影１０９の動きを認識し、認識結果に応じた入力を受付けることができる。なお、認識部１１２は、さらに、影１０９の移動速度を算出し、算出結果に応じた入力を受付けることもできる。

　図１７にユーザ操作の他の一例を示す。図１７（ａ）には複数の指がビーム１０２と交わる（ビーム１０２を横切る）ユーザ操作を示している。このようなユーザ操作を行うと、図１７（ｂ）に示すように、スクリーン１０５上に形成されたビームの像１０７には、互いに分離した複数の影１０９が現れる。認識部１１２は、このような互いに分離した影１０９の数を認識し、認識結果に応じた入力を受付けることができる。なお、当該ユーザ操作に、さらに、図１６を用いて説明した移動を伴うユーザ操作を組み合わせることもできる。

　図１８にユーザ操作の他の一例を示す。図１８（ａ）には、握りこぶしがビーム１０２と交わる（ビーム１０２を横切る）ユーザ操作を示している。このようなユーザ操作を行うと、図１８（ｂ）に示すように、スクリーン１０５上に形成されたビームの像１０７には、指の場合と比べて（図１６、図１７参照）大きな（幅が広い）影１０９が現れる。認識部１１２は、このような影１０９の大きさの違いを認識し、認識結果に応じた入力を受付けることができる。なお、当該ユーザ操作に、さらに、図１６を用いて説明した影１０９の移動を利用したユーザ操作や、図１７を用いて説明した影１０９の数を利用したユーザ操作を組み合わせることもできる。

　なお、ここでの例示はあくまで一例であり、ユーザ操作はこれらに限定されない。

　機器の操作としては、「状態を選択する」、「スイッチを押す」、「ボリュームを操作する」などが考えられる。例えば、本実施形態のインターフェース装置を自動車に適用した場合、エアコン、オーディオ、ラジオ、ナビなど、どの機能を操作するかの選択や、それぞれの機能の中で、例えばオーディオであれば曲の選択、ラジオであれば局の選択、エアコンであれば、デフロスタなの機能の選択などがそれに当たる。スイッチを押すことはそれぞれの要素で必要である。ボリュームの操作ということでは、例えばエアコンの温度、風量の制御、オーディオ、ラジオのボリューム制御などがそれに相当する。ナビの場合は機種によって色々な機能があるために一概には言えないが、ほぼこの３種類の動作で実現可能である。

　このような操作をジェスチャーで行う場合、例えば握り拳を示すことによって、操作をするという意思表示のためのスイッチを入れ、出てくる選択肢を図１６に示したような指の動きで選択し、それを確定するために図１７に示すように複数の指を示すなどが考えられる。ボリューム操作も選択と同様な動作で行うことが可能である。指で行うか手全体で行うかなどの差をつけて、選択とボリューム制御を区別してもよい。このようにほとんどの動作が１次元の画像を読み取ることで実現されることが理解されるであろう。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第７の実施形態で説明した作用効果も実現される。

＜第９の実施形態＞
　図１９にビーム１０２を複数にした場合の例を示す。本実施形態のインターフェース装置においては、ビーム照射装置１０１は互いに平行に延在した複数の線状のビーム１０２を発する。図１９では、２本のビーム１０２が発せられている。認識部１１２は、オブジェクト（指等）が第１の線状のビーム１０２の少なくとも一部の進行を妨げたタイミングと、当該オブジェクト（指等）が第２の線状のビーム１０２の少なくとも一部の進行を妨げたタイミングとの時間差を利用して、オブジェクト（指等）の移動速度、具体的には、ビーム１０２の通過領域（通過軌跡）を示す面（ビーム１０２による光のカーテン）への進入速度を算出し、算出結果に応じた入力を受付ける。なお、その他の構成は第１乃至第８の実施形態と同様とすることができる。

　図１９には、２本のビーム１０２が示されている。このビーム１０２は、例えば図１５（ｄ）に示したものに相当する。この例では２重になったビーム１０２に対応するためにイメージセンサ素子１１１は２個設置されている。このように、イメージセンサ素子１１１の数は、ビーム１０２の数に相当するものとすることができる。図中、１１０１はアクションを行う手の指が一つ目のビームを横切った状態を、１１０２は手の指が両方のビームを横切った状態を示している。

　この実施形態の最大の特長は指等のオブジェクトがビーム１０２による光のカーテンを突き抜ける速度が測定できることにある。最初のビーム１０２を横切ったタイミングと２つ目のビーム１０２を横切ったタイミングの時間差を計測すれば、予め分かっているビーム１０２間の距離を利用して、指の動く速度が計測できるわけである。これまで説明してきた１本のビーム１０２だけだと、図１６に示したような方向の動作速度は検出できるが、ビーム１０２による光のカーテンを突き抜ける方向の速度は検出できない。

　ビーム１０２による光のカーテンを突き抜ける方向の動作速度が分かることにより、新たに速度の違いで何らかのアクションの違いを設定できることになる。例えば、全てのジェスチャーにおいて、動作が速い場合にしか入力ジェスチャーとみなさないとか、この速度の差を上述したボリュームの上げ下げに応用する等である。

　この実施形態の場合、イメージセンサ素子１１１に２次元の画像を読み取るカメラを用いることも可能であるが、この構成の最大の特徴である動作速度の検出には不向きである。また、ここでは２重のビームについて説明したが、３重でも４重でも同様であり、数を増やせばよりきめ細かな速度計測が可能となる。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第８の実施形態で説明した作用効果も実現される。

＜第１０の実施形態＞
　図２０に本実施形態のインターフェース装置を用いてヘッドアップディスプレイを操作する例を示す。その他の構成は第１乃至第９の実施形態と同様とすることができる。

　図において、ヘッドアップディスプレイ部はＬＣＤ等の画像表示装置１２０１と凹面鏡１２０２を含んで構成される。画像表示装置１２０１に表示される画像を凹面鏡１２０２で集光しながら投射することにより、運転者（操作者）１２０３は離れた場所に虚像１２０４を認識することになる。これに加え、ビーム照射装置１０１、遮光ガード１０４（遮光部）、スクリーン１０５、イメージセンサ１０６を含む本実施形態のインターフェース装置が図中に示されている。

　この図で示されているように、本実施形態のインターフェース装置の場合、虚像１２０４とユーザの目との間を操作領域１０３とすることができる。従って、運転者１２０３は、あたかも虚像１２０４を指等で操作しているような感覚で、ユーザ操作を行うことができる。すなわち、運転者１２０３は違和感なくヘッドアップディスプレイで表示される虚像１２０４に対する操作を行うことができる。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第９の実施形態で説明した作用効果も実現される。

＜第１１の実施形態＞
　図２１に、ヘッドアップディスプレイの機能の一部をインターフェース装置において利用する本実施形態を示す。すなわち、本実施形態のインターフェース装置の一部の機能は、ヘッドアップディスプレイにより実現される。その他の構成は第１乃至第１０の実施形態と同様とすることができる。

　図において、１３０１は投射装置、１３０２は投射装置用（ヘッドアップディスプレイ用）スクリーンである。この例においては、投射装置１３０１で投射した画像をスクリーン１３０２上に結像させ、その画像を凹面鏡１２０２で反射、集光して、運転者１２０３に虚像１２０４を見せるようなヘッドアップディスプレイを実現している。また、図に示すように、投射装置１３０１の一部の画像をインターフェース用のビーム１０２として用いている。投射装置１３０１はどのような画像も形成可能であるため、プリズムシートと同様なことが可能である。ただし、投射装置１３０１の光源は通常の可視光だけでなく、赤外線も含まれる構成となっている。このように、ヘッドアップディスプレイと兼用することで、別途ビーム照射装置を設ける必要がなくなる。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第１０の実施形態で説明した作用効果も実現される。

＜第１２の実施形態＞
　図２２及び２３に本実施形態のインターフェース装置をヘッドアップディスプレイに応用した別の例を示す。この実施形態においては、ヘッドアップディスプレイが有する投射装置は、画像を投射する方向を変えることができる方向可変投射装置１４０１である。図２３の１４０２は現在、虚像が表示されている位置を示している。方向可変投射装置の投射方向を変えることにより、１４０２の他、１４０３、１４０４、１４０５の位置に虚像を見せることができるように設計されている。

　このように、複数の虚像を選択的に表示可能にする理由は２つある。１つは、同時に多数の虚像がでていると情報過多となり、運転に支障をきたすという問題があること。もう一つは１つの表示の大きさを小さくすることで、投射装置の出力を低く抑えることができ、電力、コストの面で有利であるということである。同様なことは図２０に示したようなＬＣＤを複数もしくは大画面のＬＣＤを設置することで可能であるが、コスト的、電力的には劣ることになる。

　本実施形態の場合、図２１に示すように、方向可変投射装置１４０１がビーム１０２を発するようにもできるし、また、図２２に示すように、方向可変投射装置１４０１とは別にビーム照射装置１０１を設けることもできる。なお、図２２のように構成した場合、常時動作はきわめて電力の小さいビーム照射装置１０１のみとし、必要な時のみヘッドアップディスプレイの方向可変投射装置１４０１を動作させることができるということと、図２３に示したように、広い検出領域で入力を待つ（ビーム１０２による光のカーテンの面積を大きくすることができる）という利点がある。例えば、１４０５の位置に虚像を表示させたいユーザは、１４０５の付近で所定のユーザ操作を行うのが自然な操作である。また、１４０２の位置に虚像を表示させたいユーザは、１４０２の付近で所定のユーザ操作を行うのが自然な操作である。この構成であれば広い領域でユーザ操作を検知できるので、どこでジェスチャーを行っても入力を受付けることが可能である。

　なお、本実施形態の場合、認識部１１２は、ビームの像１０７に現れる影１０９の位置を認識し、その位置を入力として受付けることができる。そして、ヘッドアップディスプレイはこの位置情報を入力されると、その位置（ユーザが操作を行っている位置、図２３中の左右方向の位置）を特定し、その位置に対応した位置に虚像を表示させることができる。

　以上説明したように、本実施形態によれば認識に１次元イメージセンサ素子を用いることで、低コストかつ読み取りも認識も高速で行えること、読み取りをビーム光とその影で行う構造を持ち、遮光により外光の影響をほとんど受けないため認識率が非常に高いこと、光源は小型かつ低電力で動作すること、しかも操作対象の画像に対して、直感的な操作を行うことができるという効果があり、従来の課題を同時に解決することが可能である。

　本実施形態によれば、上述した作用効果に加えて、第１乃至第１１の実施形態で説明した作用効果も実現される。

＜＜付記＞＞
　上記説明によれば、以下の発明の説明がなされている。
＜発明１＞
　ビームを発する光源と、
　イメージセンサと、
　前記光源が発した前記ビームを前記イメージセンサに導くとともに、その他の光の少なくとも一部が前記イメージセンサに到達するのを妨げる遮光部と、
　前記イメージセンサによって読み取られる信号を受信する認識部と、
を備え、
　前記認識部は、前記光源と前記イメージセンサの間に位置するオブジェクトにより前記ビームの少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付けるインターフェース装置。
＜発明２＞
　発明１に記載のインターフェース装置において、
　前記光源は赤外レーザであり、進行方向に向かって線状の広がりを持つ前記ビームを発するインターフェース装置。
＜発明３＞
　発明１又は２に記載のインターフェース装置において、
　前記遮光部は、遮光材で構成され、前記光源が発した前記ビームを前記イメージセンサに導く形状に構成されるとともに、前記光源が発した前記ビームを前記イメージセンサに導くよう設置されたビーム誘導管を有し、
　前記イメージセンサは、前記ビーム誘導管を通ってきた光のみをセンシングするインターフェース装置。
＜発明４＞
　発明１から３のいずれかに記載のインターフェース装置において、
　前記遮光部は、前記ビームの波長を除く少なくとも一部の波長の光の透過を防止するフィルタを有し、
　前記イメージセンサは、前記フィルタを通ってきた光のみをセンシングするインターフェース装置。
＜発明５＞
　発明１から４のいずれかに記載のインターフェース装置において、
　前記光源は、偏光した前記ビームを発し、
　前記遮光部は、偏光した前記ビームを透過するよう構成された偏光板を備え、
　前記イメージセンサは、前記偏光板を通ってきた光のみをセンシングするインターフェース装置。
＜発明６＞
　発明１から５のいずれかに記載のインターフェース装置において、
　前記遮光部は、ルーバーを備え、
　前記イメージセンサは、前記ルーバーを通ってきた光のみをセンシングするインターフェース装置。
＜発明７＞
　発明１から６のいずれかに記載のインターフェース装置において、
　前記遮光部は、スクリーン、レンズ及びミラーの中の少なくとも１つを含むビーム誘導部材を有し、
　前記ビーム誘導部材により、前記ビームを前記イメージセンサに導くインターフェース装置。
＜発明８＞
　発明１から７のいずれかに記載のインターフェース装置において、
　前記イメージセンサは、前記ビームの像の数に相当する１次元イメージセンサを含むインターフェース装置。
＜発明９＞
　発明１から８のいずれかに記載のインターフェース装置において、
　前記認識部は、前記オブジェクトにより前記ビームの少なくとも一部の進行が妨げられることで形成される影の大きさ、数、動き及び位置の中の少なくとも１つを認識し、認識結果に応じた入力を受付けるインターフェース装置。
＜発明１０＞
　発明１から９のいずれかに記載のインターフェース装置において、
　前記光源は、互いに平行に延在した複数の線状の前記ビームを発し、
　前記認識部は、前記オブジェクトが第１の前記線状のビームの少なくとも一部の進行を妨げたタイミングと、前記オブジェクトが第２の前記線状のビームの少なくとも一部の進行を妨げたタイミングとの時間差を利用して、前記オブジェクトの移動速度を算出し、算出結果に応じた入力を受付けるインターフェース装置。
＜発明１１＞
　画像を投射する投射装置を有し、移動体に設置されたヘッドアップディスプレイと、
　前記移動体に設置された発明１から１０のいずれかに記載のインターフェース装置と、
を有し、
　前記インターフェース装置は、前記ヘッドアップディスプレイにより得られる画像を操作するユーザ操作を受付ける表示システム。
＜発明１２＞
　発明１１に記載の表示システムにおいて、
　前記投射装置が前記ビームを発する表示システム。
＜発明１３＞
　発明１１又は１２に記載の表示システムにおいて、
　前記投射装置は、画像を投射する方向を変えることができる方向可変投射装置である表示システム。
＜発明１４＞
　光源から発せられたビームを検知したイメージセンサから信号を受信した認識部が、前記光源と前記イメージセンサの間に位置するオブジェクトにより前記ビームの少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付け、
　遮光部が、前記光源が発した前記ビームを前記イメージセンサに導くとともに、その他の光の少なくとも一部が前記イメージセンサに到達するのを妨げる入力受付方法。
＜発明１４－２＞
　発明１４に記載の入力受付方法において、
　前記光源は赤外レーザであり、進行方向に向かって線状の広がりを持つ前記ビームを発する入力受付方法。
＜発明１４－３＞
　発明１４又は１４－２に記載の入力受付方法において、
　前記遮光部は、遮光材で構成され、前記光源が発した前記ビームを前記イメージセンサに導く形状に構成されるとともに、前記光源が発した前記ビームを前記イメージセンサに導くよう設置されたビーム誘導管を有し、
　前記イメージセンサは、前記ビーム誘導管を通ってきた光のみをセンシングする入力受付方法。
＜発明１４－４＞
　発明１４から１４－３のいずれかに記載の入力受付方法において、
　前記遮光部は、前記ビームの波長を除く少なくとも一部の波長の光の透過を防止するフィルタを有し、
　前記イメージセンサは、前記フィルタを通ってきた光のみをセンシングする入力受付方法。
＜発明１４－５＞
　発明１４から１４－４のいずれかに記載の入力受付方法において、
　前記光源は、偏光した前記ビームを発し、
　前記遮光部は、偏光した前記ビームを透過するよう構成された偏光板を備え、
　前記イメージセンサは、前記偏光板を通ってきた光のみをセンシングする入力受付方法。
＜発明１４－６＞
　発明１４から１４－５のいずれかに記載の入力受付方法において、
　前記遮光部は、ルーバーを備え、
　前記イメージセンサは、前記ルーバーを通ってきた光のみをセンシングする入力受付方法。
＜発明１４－７＞
　発明１４から１４－６のいずれかに記載の入力受付方法において、
　前記遮光部は、スクリーン、レンズ及びミラーの中の少なくとも１つを含むビーム誘導部材を有し、
　前記ビーム誘導部材により、前記ビームを前記イメージセンサに導く入力受付方法。
＜発明１４－８＞
　発明１４から１４－７のいずれかに記載の入力受付方法において、
　前記イメージセンサは、前記ビームの像の数に相当する１次元イメージセンサを含む入力受付方法。
＜発明１４－９＞
　発明１４から１４－８のいずれかに記載の入力受付方法において、
　前記認識部は、前記オブジェクトにより前記ビームの少なくとも一部の進行が妨げられることで形成される影の大きさ、数、動き及び位置の中の少なくとも１つを認識し、認識結果に応じた入力を受付ける入力受付方法。
＜発明１４－１０＞
　発明１４から１４－９のいずれかに記載の入力受付方法において、
　前記光源は、互いに平行に延在した複数の線状の前記ビームを発し、
　前記認識部は、前記オブジェクトが第１の前記線状のビームの少なくとも一部の進行を妨げたタイミングと、前記オブジェクトが第２の前記線状のビームの少なくとも一部の進行を妨げたタイミングとの時間差を利用して、前記オブジェクトの移動速度を算出し、算出結果に応じた入力を受付ける入力受付方法。

　この出願は、２０１２年１１月１３日に出願された日本特許出願特願２０１２－２４９４６０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 　ビームを発する光源と、
   　イメージセンサと、
   　前記光源が発した前記ビームを前記イメージセンサに導くとともに、その他の光の少なくとも一部が前記イメージセンサに到達するのを妨げる遮光部と、
   　前記イメージセンサによって読み取られる信号を受信する認識部と、
   を備え、
   　前記認識部は、前記光源と前記イメージセンサの間に位置するオブジェクトにより前記ビームの少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付けるインターフェース装置。
2. 　請求項１に記載のインターフェース装置において、
   　前記光源は赤外レーザであり、進行方向に向かって線状の広がりを持つ前記ビームを発するインターフェース装置。
3. 　請求項１又は２に記載のインターフェース装置において、
   　前記遮光部は、遮光材で構成され、前記光源が発した前記ビームを前記イメージセンサに導く形状に構成されるとともに、前記光源が発した前記ビームを前記イメージセンサに導くよう設置されたビーム誘導管を有し、
   　前記イメージセンサは、前記ビーム誘導管を通ってきた光のみをセンシングするインターフェース装置。
4. 　請求項１から３のいずれか１項に記載のインターフェース装置において、
   　前記遮光部は、前記ビームの波長を除く少なくとも一部の波長の光の透過を防止するフィルタを有し、
   　前記イメージセンサは、前記フィルタを通ってきた光のみをセンシングするインターフェース装置。
5. 　請求項１から４のいずれか１項に記載のインターフェース装置において、
   　前記光源は、偏光した前記ビームを発し、
   　前記遮光部は、偏光した前記ビームを透過するよう構成された偏光板を備え、
   　前記イメージセンサは、前記偏光板を通ってきた光のみをセンシングするインターフェース装置。
6. 　請求項１から５のいずれか１項に記載のインターフェース装置において、
   　前記遮光部は、ルーバーを備え、
   　前記イメージセンサは、前記ルーバーを通ってきた光のみをセンシングするインターフェース装置。
7. 　請求項１から６のいずれか１項に記載のインターフェース装置において、
   　前記光源は、互いに平行に延在した複数の線状の前記ビームを発し、
   　前記認識部は、前記オブジェクトが第１の前記線状のビームの少なくとも一部の進行を妨げたタイミングと、前記オブジェクトが第２の前記線状のビームの少なくとも一部の進行を妨げたタイミングとの時間差を利用して、前記オブジェクトの移動速度を算出し、算出結果に応じた入力を受付けるインターフェース装置。
8. 　画像を投射する投射装置を有し、移動体に設置されたヘッドアップディスプレイと、
   　前記移動体に設置された請求項１から７のいずれか１項に記載のインターフェース装置と、
   を有し、
   　前記インターフェース装置は、前記ヘッドアップディスプレイにより得られる画像を操作するユーザ操作を受付ける表示システム。
9. 　請求項８に記載の表示システムにおいて、
   　前記投射装置は、画像を投射する方向を変えることができる方向可変投射装置である表示システム。
10. 　光源から発せられたビームを検知したイメージセンサから信号を受信した認識部が、前記光源と前記イメージセンサの間に位置するオブジェクトにより前記ビームの少なくとも一部の進行が妨げられたことを検知するとともに、その態様に応じた入力を受付け、
    　遮光部が、前記光源が発した前記ビームを前記イメージセンサに導くとともに、その他の光の少なくとも一部が前記イメージセンサに到達するのを妨げる入力受付方法。

Images