JP6571785B2 - 光学近接センサ及び関連するユーザインターフェイス - Google Patents

Description

〔関連出願との相互参照〕
本出願は、以下の文献に基づく優先権を主張する。
・発明者：Ｓｔｅｆａｎ Ｈｏｌｍｇｒｅｎ、Ｏｓｃａｒ Ｓｖｅｒｕｄ、Ｓａｉｒａｍ Ｉｙｅｒ、Ｒｉｃｈａｒｄ Ｂｅｒｇｌｉｎｄ、Ｋａｒｌ Ｅｒｉｋ Ｐａｔｒｉｋ Ｎｏｒｄｓｔｒｏｍ、Ｌａｒｓ Ｓｐａｒｆ、Ｐｅｒ Ｒｏｓｅｎｇｒｅｎ、Ｅｒｉｋ Ｒｏｓｅｎｇｒｅｎ、Ｊｏｈｎ Ｋａｒｌｓｓｏｎ、Ｔｈｏｍａｓ Ｅｒｉｋｓｓｏｎ、Ａｌｅｘａｎｄｅｒ Ｊｕｂｎｅｒ、Ｒｅｍｏ Ｂｅｈｄａｓｈｔ、Ｓｉｍｏｎ Ｆｅｌｌｉｎ、Ｒｏｂｉｎ Ｋｊｅｌｌ Ａｍａｎ及びＪｏｓｅｐｈ Ｓｈａｉｎによる、２０１５年１月２６日に出願された「光学近接センサ（ＯＰＴＩＣＡＬ ＰＲＯＸＩＭＩＴＹ ＳＥＮＳＯＲＳ）」という名称の米国仮特許出願第６２／１０７，５３６号、
・発明者：Ｒｏｚｉｔａ Ｔｅｙｍｏｕｒｚａｄｅｈ、Ｈａｋａｎ Ｓｖｅｎ Ｅｒｉｋ Ａｎｄｅｒｓｓｏｎ、Ｐｅｒ Ｒｏｓｅｎｇｒｅｎ、Ｘｉａｔａｏ Ｗａｎｇ、Ｓｔｅｆａｎ Ｈｏｌｍｇｒｅｎ、Ｇｕｎｎａｒ Ｍａｒｔｉｎ Ｆｒｏｊｄｈ及びＳｉｍｏｎ Ｆｅｌｌｉｎによる、２０１５年７月２８日に出願された「光学近接センサ（ＯＰＴＩＣＡＬ ＰＲＯＸＩＭＩＴＹ ＳＥＮＳＯＲＳ）」という名称の米国仮特許出願第６２／１９７，８１３号、及び、
・発明者：Ｔｈｏｍａｓ Ｅｒｉｋｓｓｏｎ、Ａｌｅｘａｎｄｅｒ Ｊｕｂｎｅｒ、Ｒｏｚｉｔａ Ｔｅｙｍｏｕｒｚａｄｅｈ、Ｈａｋａｎ Ｓｖｅｎ Ｅｒｉｋ Ａｎｄｅｒｓｓｏｎ、Ｐｅｒ Ｒｏｓｅｎｇｒｅｎ、Ｘｉａｔａｏ Ｗａｎｇ、Ｓｔｅｆａｎ Ｈｏｌｍｇｒｅｎ、Ｇｕｎｎａｒ Ｍａｒｔｉｎ Ｆｒｏｊｄｈ、Ｓｉｍｏｎ Ｆｅｌｌｉｎ及びＪａｎ Ｔｏｍａｓ Ｈａｒｔｍａｎによる、２０１５年１２月１１日に出願された「光学近接センサ（ＯＰＴＩＣＡＬ ＰＲＯＸＩＭＩＴＹ ＳＥＮＳＯＲＳ）」という名称の米国仮特許出願第６２／２６６，０１１号。

これらの出願の内容は、その全体が引用により本明細書に組み入れられる。

本発明の分野は、光ベースのタッチ画面、近接センサ、並びに、ジェスチャを利用してドアのロック及びロック解除を行うドアロックシステム、タッチジェスチャを検出しないディスプレイ上のタッチ入力を可能にするようにラップトップディスプレイに磁気的に取り付けられた近接センサバー、車載インフォテインメントシステムのためのユーザインターフェイス、及びＰＣのためのユーザインターフェイスを含むこれらの用途である。

先行技術における１次元配列の近接センサは、その配列から広がる２次元平面内のポインタの２次元位置を特定できるほど正確ではない。

先行技術のドアロックシステムでは、人の手に握られたポータブル無線送信機が、ドアロック機構に接続された無線受信機に符号化信号を送信してドアのロック及びロック解除を行う。先行技術の送信機ユニットには、ロック及びロック解除機能を有効にするためのスイッチを含むものもあれば、電子トランスポンダカードの形を取ることによって、ウェイクアップ信号の検出時に、ロックに接続された送信機ユニットがトランスポンダに問い合わせを行うものもある。

システムによっては、追加レベルのセキュリティをもたらす目的で、許可された人物が車両のドアをロック解除しようと試みていることを確認するために、ユーザによる所定の認証ジェスチャの入力を必要とするものもある。従って、例えばユーザは、キーフォブ送信機上のスイッチを押す時に、ドアをロック解除するためにタッチセンサ上で所定の認証ジェスチャを入力しなければならない。別の例では、所定の認証ジェスチャが検出されると送信機ユニットが作動して、ハンズフリーカード型のトランスポンダに問い合わせを行う。

通常、ラップトップコンピュータには、タッチ画面バージョンと非タッチ画面バージョンとがある。非タッチ画面式ラップトップの消費者が、必要時にタッチ画面機能を有効にできれば有利と思われる。例えば、画像の閲覧、ニュースフィードのチェック、又は画像の回転時に、スワイプ、ピンチ及び回転のジェスチャを有効にできれば有利と思われる。別の例は、ラップトップの内蔵トラックパッドを使用するよりも画面上で人の指を使用する方が快適な飛行機での移動中にタッチ画面機能を有効にすることである。

多くの車載インフォテインメントシステムは、携帯電話機などのハンドヘルド装置のために設計されたタッチ画面型ユーザインターフェイスを使用する。ユーザの手に保持されていないディスプレイを使用する場合のために設計されたユーザインターフェイスを提供することが有利と思われる。ハンドヘルド装置、デスクトップ装置及び車載装置を含む電子装置のための、機能にアクセスするための異なるスキームを同時に提供するユーザインターフェイスを提供することはさらに有利であると思われる。

ロボット計測では、相対的信号強度に、３つの隣接する信号によって結ばれた三角形内で繰り返すパターンが存在することが示される。ロボット計測を用いてこのパターンを学習し、三角形内の３つの信号の相対的信号強度からこの三角形内の障害物の反射位置及び反射強度へのマッピングが行われるようにする。隣接する三角形が個々の検出候補をもたらし、これらを１つに統合する。

米国特許出願公開第１４／３１２，７８７号明細書（米国特許第９，１６４，６２５明細書） 米国特許第９，０６３，６１４号明細書 米国特許第８，７７５，０２３号明細書 米国特許出願公開第２０１５／０２４８７９６号明細書

従って、本発明の実施形態によれば、近位物体を識別する近接センサであって、ハウジングと、ハウジング内に取り付けられて、ハウジングから外に光を投影する複数の光エミッタと、ハウジング内に取り付けられて、作動時に到達する光の量を検出する複数の光検出器と、ハウジング内に取り付けられた複数のレンズと、エミッタ及び検出器に接続されたプロセッサとを含み、Ｌで示す各レンズは、検出器のうちのＤ１及びＤ２で示す２つのレンズに対し、レンズＬに光が鋭角の入射角θ１で入射する時には、レンズＬに入射する光が検出器Ｄ１において最大限に検出され、レンズＬに光が鈍角の入射角θ２で入射する時には、レンズＬに入射する光が検出器Ｄ２において最大限に検出されるように位置付けられ、プロセッサは、エミッタ−検出器ペアを同期して作動させるとともに、ハウジングの外側の、作動したエミッタによって投影された光をレンズに向けて逆反射する物体の部分的輪郭を、作動した検出器によって検出された光の量に基づいて計算するように構成される、近接センサが提供される。

本発明の実施形態によれば、近位物体を検知する方法であって、検出器Ｄと、それぞれが異なる検出器間に位置する複数のエミッタＥとを含むストリップを準備するステップと、各エミッタ−検出器ペア（Ｅ、Ｄ）について、ペア（Ｅ、Ｄ）に対応する目標位置ｐ（Ｅ、Ｄ）に物体が位置する時に、エミッタＥによって放出された光が物体によって散乱されて検出器Ｄによって最大限に検出されるようにエミッタ及び検出器が配置されたエミッタ−検出器ペア（Ｅ、Ｄ）を同期して協働的に作動させるステップと、各エミッタ−検出器ペア（Ｅ、Ｄ）について、同期して協働的に作動させるステップによってペア（Ｅ、Ｄ）が作動した時に検出器Ｄによって検出された反射光の量に基づいて反射値Ｒ（Ｅ、Ｄ）を求め、反射値Ｒ（Ｅ、Ｄ）を、ペア（Ｅ、Ｄ）に対応する共通平面内の目標位置ｐ（Ｅ、Ｄ）に関連付けるステップと、求められた反射値Ｒ（Ｅ、Ｄ）及び目標位置ｐ（Ｅ、Ｄ）に対応する、画素位置ｐにおける反射値Ｒ_pの２次元ピクセルイメージを生成するステップと、ピクセルイメージに基づいて物体の部分的外周を推定するステップとを含む方法がさらに提供される。

本発明の実施形態によれば、モニタであって、ハウジングと、ハウジング内に取り付けられたディスプレイと、ハウジング内に取り付けられて、２つの直交検出面に沿ってハウジングから外に光を投影する複数の光エミッタと、ハウジング内に取り付けられて、エミッタによって投影された光の反射物体による反射を検出面のうちの１つにおいて検出する複数の光検出器と、ハウジング内に取り付けられた複数のレンズと、ディスプレイ、エミッタ及び検出器に接続されたプロセッサとを含み、複数のレンズは、各エミッタ−検出器ペアについて、このエミッタ−検出器ペアに対応する目標位置に物体が位置する時に、このペアのエミッタによって放出された光がレンズのうちの１つを通過し、物体によってレンズの１つを通じてこのペアの検出器に逆反射されるようにエミッタ及び検出器に対して配向され、プロセッサは、ディスプレイ上にグラフィカルユーザインターフェイス（ＧＵＩ）を表示し、２つの直交検出面にわたって行われる物体の異なる指向性運動をＧＵＩへの異なる入力コマンドとして解釈し、エミッタ−検出器ペアを同期して協働的に作動させ、協働的に作動したエミッタ−検出器ペアのうちの、検出器が一定の時間間隔にわたって最大光量を検出する一連のエミッタ−検出器ペアを決定し、最大光量に対応する目標位置を識別し、このように識別された目標位置に基づいて動きの方向を計算することによって、２つの直交検出面内の物体の指向性運動を計算する、モニタがさらに提供される。

本発明の実施形態によれば、モニタであって、ハウジングと、ディスプレイと、ハウジング内に取り付けられて、ディスプレイと平行な検出面に沿ってハウジングから外に光を投影する複数の光エミッタと、ハウジング内に取り付けられて、エミッタによって投影された光の反射物体による反射を検出面において検出する複数の光検出器と、ハウジング内に取り付けられた複数のレンズと、ディスプレイ、エミッタ及び検出器に接続されたプロセッサとを含み、複数のレンズは、各エミッタ−検出器ペアについて、このエミッタ−検出器ペアに対応する目標位置に物体が位置する時に、このペアのエミッタによって放出された光がレンズのうちの１つを通過し、物体によってレンズの１つを通じてこのペアの検出器に逆反射されるようにエミッタ及び検出器に対して配向され、プロセッサは、ディスプレイのパラメータを調整するためのグラフィカルユーザインターフェイスをディスプレイ上に表示し、エミッタ−検出器ペアを同期して協働的に作動させ、協働的に作動したエミッタ−検出器ペアのうちの、検出器が一定の時間間隔にわたって最大光量を検出するエミッタ−検出器ペアを決定し、最大光量に対応する目標位置を識別し、このように識別された目標位置に隣接する協働的に作動したエミッタ−検出器ペアに対応するさらなる目標位置を特定し、目標位置及びさらなる目標位置の加重平均を計算することによって検出面内の物体の位置を計算し、平均における各目標位置の重みは、この目標位置が対応するエミッタ−検出器ペアの反射光ビームの検出度に対応する、モニタがさらに提供される。

本発明の実施形態によれば、複数のエミッタＥと検出器Ｄとを含む近接センサストリップのパラメータを較正する較正ツールであって、エミッタ及び検出器は、エミッタが検出面に沿ってストリップから外に光を投影し、検出器が検出面に沿ってストリップに入射する光を検出し、各エミッタ−検出器ペア（Ｅ、Ｄ）について、ペア（Ｅ、Ｄ）に対応する検出面内の目標位置ｐ（Ｅ、Ｄ）に物体が位置する時に、エミッタＥによって放出された光が物体によって散乱し、検出器Ｄによって最大限に検出されると予想されるように配置され、較正ツールは、検出面内に近接センサストリップと平行に配置されて近接センサの全長に及ぶ反射物体と、反射物体を検出面に沿って近接センサに向けて又は近接センサから離して増分的に移動させる機構と、近接センサストリップ及び機構に結合されて、（ｉ）反射物体の各増分的移動時に複数のエミッタ−検出器ペア（Ｅ、Ｄ）を作動させ、（ｉｉ）各作動したペアの検出器Ｄによって検出された検出を測定し、（ｉｉｉ）センサストリップと反射物体との間の最大検出が測定された距離に従って検出面内の目標位置ｐ（Ｅ、Ｄ）を較正するプロセッサとを含む、較正ツールがさらに提供される。

本発明の実施形態によれば、複数のエミッタＥと検出器Ｄとを含む近接センサストリップのパラメータを較正する方法であって、エミッタ及び検出器は、エミッタが検出面に沿ってストリップから外に光を投影し、検出器が検出面に沿ってストリップに入射する光を検出し、各エミッタ−検出器ペア（Ｅ、Ｄ）について、ペア（Ｅ、Ｄ）に対応する検出面内の目標位置ｐ（Ｅ、Ｄ）に物体が位置する時に、エミッタＥによって放出された光が物体によって散乱し、検出器Ｄによって最大限に検出されると予想されるように配置され、この方法は、近接センサの全長に及ぶ反射物体を近接センサストリップと平行に検出面内に提供するステップと、反射物体を検出面に沿って近接センサに向けて又は近接センサから離して増分的に移動させるステップと、物体の各増分的移動時に複数のエミッタ−検出器ペア（Ｅ、Ｄ）を作動させて検出器Ｄにおける検出を測定するステップと、センサストリップと反射物体との間の最大検出が測定された距離に従って検出面内の目標位置ｐ（Ｅ、Ｄ）を較正するステップと、含む方法がさらに提供される。

本発明の実施形態によれば、近位物体の位置を識別する近接センサであって、ハウジングと、ハウジング内に取り付けられて、検出面に沿ってハウジングから外に光を投影する、Ｅで示す複数の光エミッタと、ハウジング内に取り付けられて、作動時に、各エミッタ−検出器ペア（Ｅ、Ｄ）について、ペア（Ｅ、Ｄ）に対応する検出面内の目標位置ｐ（Ｅ、Ｄ）に物体が位置する時に、エミッタＥによって放出された光が物体によって散乱し、検出器Ｄによって最大限に検出されると予想される、検出面に沿ってハウジングに入射する光の量を検出する、Ｄで示す複数の光検出器と、エミッタ及び検出器に接続されて、エミッタ−検出器ペアを同期して作動させ、検出された光の量を検出器から読み取り、エミッタ−検出器ペアからの検出を検出面内の隣接する目標位置間の物体の位置に関連付けるＤ→Ｌで示す検出−位置関係に従って、検出された光の量から検出面内の物体の位置を計算するプロセッサとを含む近接センサがさらに提供される。

本発明の実施形態によれば、第１の予め定められていないジェスチャを検出したことに応答してロックが作動し、その後にこの同じジェスチャが再び検出されたことに応答してロックが解除される作動可能状態に入るドアロックシステムがさらに提供される。

本発明の実施形態によれば、ユーザがラップトップコンピュータ画面の縁部に取り付けてラップトップにタッチ画面検出を提供する、細長いハウジング内の近接センサアレイがさらに提供される。いくつかの実施形態では、細長いハウジングからユニバーサルシリアルバス（ＵＳＢ）コネクタが延びてラップトップのＵＳＢソケットに挿入されることにより、ＵＳＢ通信プロトコルを用いて近接センサがラップトップと通信できるようになるとともに、近接センサがラップトップから電流を受け取れるようになる。いくつかの実施形態では、近接センサが、例えば近距離無線接続規格を用いてラップトップと無線で通信する。いくつかの実施形態では、細長いハウジングが、ラップトップ画面の底縁部などの縁部に沿って近接センサアレイを取り付けるための１又は２以上の磁気ファスナを含む。

本発明の実施形態によれば、プリント回路基板上に取り付けられた光エミッタとフォトダイオード検出器との組み合わせの線形配列を含む単一の真っ直ぐなバーであって、バーは、プロセッサを含むラップトップコンピュータの外部ハウジングに繰り返し着脱されるように構成され、バーは、このように取り付けられてラップトッププロセッサに通信可能に結合された時に、バーの一方の側から外に生じる投影面の空域内で物体によって行われる複数の異なるジェスチャをプロセッサが認識できるようにする検出信号をプロセッサに提供し、検出信号は、光エミッタによって放出され、物体によってバーに逆反射され、フォトダイオードによって検出された光によって生成される、バーがさらに提供される。

本発明の実施形態によれば、プリント回路基板上に取り付けられた光エミッタとフォトダイオード検出器との組み合わせの線形配列を含む単一の真っ直ぐなバーであって、バーは、プロセッサを含むラップトップコンピュータの外部ハウジングに繰り返し着脱されるように構成され、バーは、ラップトッププロセッサに通信可能に結合されてラップトップハウジングの平坦な矩形表面の１つの側面に位置付けられた時に、表面の正面の空域内で物体によって行われる複数の異なるジェスチャをプロセッサが認識できるようにする検出信号をプロセッサに提供し、検出信号は、光エミッタによって放出され、物体によってバーに逆反射され、フォトダイオードによって検出された光によって生成される、バーがさらに提供される。

本発明の実施形態は、光エミッタと検出器とが交互になった１次元配列を用いた２次元（２Ｄ）タッチ検出を提供する。本発明は、３次元（３Ｄ）タッチ、又は２Ｄ検出器と同じ原理に基づくホバー検出器も提供する。

本発明の実施形態によれば、ＧＵＩの文脈駆動型ナビゲーションと、ＧＵＩの階層メニュー駆動型ナビゲーションとを単一のディスプレイ内で同時に提供する車載インフォテインメントシステムのためのＧＵＩがさらに提供される。

本発明は、以下の詳細な説明を図面と共に解釈することによってさらに完全に理解され認識されるであろう。

本発明の実施形態による、光源から実線に沿って放出され、破線に沿って光センサに反射される光の簡略図である。 本発明の実施形態による、逆方向及び順方向ホットスポット信号値を示す図である。 発明の実施形態による、上部真ん中のホットスポットと中心ホットスポットとの間の信号値関係を示す図である。 本発明の実施形態による、右側真ん中のホットスポットと中心ホットスポットとの間の信号値関係を示す図である。 本発明の実施形態による、上部右側の逆方向ホットスポットと中心の逆方向ホットスポットとの間の信号値関係、及び上部真ん中の順方向ホットスポットと右側真ん中の順方向ホットスポットとの間の信号値関係を示す図である。 本発明の実施形態による、２つの信号値ｖ０及びｖ１（実線）間の関係がｒ＝ｌｏｇ（ｖ１）−ｌｏｇ（ｖ０）（破線）として表されることを示す図である。 本発明の実施形態による、全てが比較的強いホットスポット信号値にわたる領域に三角形を用いてマーキングした図である。 本発明の実施形態による、１００×６４ｍｍのタッチ画面にわたる検出誤差を示す図である。 本発明の実施形態による、サンプルエラーベクトルの２Ｄヒストグラムを示す図である。 本発明の実施形態による近接センサの簡略図である。 本発明の実施形態による近接センサの簡略図である。 本発明の実施形態による近接センサの簡略図である。 本発明の実施形態による近接センサの簡略図である。 本発明の実施形態による、図１０〜図１３の近接センサの較正ツールの簡略図である。 本発明の実施形態による、図１０〜図１３の近接センサの較正ツールの簡略図である。 本発明の実施形態による、近接センサのエミッタ及び検出器が近接センサ内にどのように取り付けられているかを図１５の較正ツールがいかにして識別するかを示す簡略図である。 本発明の実施形態による、近接センサのエミッタ及び検出器が近接センサ内にどのように取り付けられているかを図１５の較正ツールがいかにして識別するかを示す簡略図である。 本発明の実施形態による、近位物体を検出する近接センサの簡略図である。 本発明の実施形態による検出値の２次元画像の簡略図である。 本発明の実施形態による、あるエミッタ−受信機ペアの、このペアのホットスポット位置に関連しない検出された反射値の簡略図である。 本発明の実施形態による、あるエミッタ−受信機ペアの、このペアのホットスポット位置に関連しない検出された反射値の簡略図である。 本発明の実施形態による、検出値の２次元画像における物体の検出された部分的外周の簡略図である。 本発明の実施形態による、物体の部分的外周を推定する方法の簡略図である。 本発明の実施形態による、３−Ｄ近接センサのエミッタの光路及び反射光路に対応する切妻屋根又は双曲放物面を示す図である。 本発明の実施形態による、３−Ｄ双曲面に沿って３０個のホットスポット位置を提供する、円形基部に沿って交互に配置された６つのエミッタ及び６つの受信機の円形配置の簡略図である。 本発明の実施形態による、３−Ｄ双曲面に沿って１７６個のホットスポット位置を提供する、円形基部に沿って交互に配置された１６個のエミッタ及び１６個の受信機の円形配置から放出され反射された光ビームを表すグリッドの簡略図である。 本発明の実施形態による、ドアのロック及びロック解除方法の概略的なフローチャートである。 本発明の実施形態による、図２７のロック及びロック解除方法を実施する自動車の簡略図である。 本発明の実施形態による、図２８の自動車の室内の簡略図である。 本発明の実施形態による、ラップトップ用アクセサリとして構成された近接センサバーの簡略図である。 本発明の実施形態による、ラップトップ用アクセサリとして構成された近接センサバーの簡略図である。 本発明の実施形態による、ラップトップディスプレイの縁部に沿って位置する図３０及び図３１のラップトップ用アクセサリの簡略図である。 本発明の実施形態による、ラップトップディスプレイの縁部に沿って位置する図３０及び図３１のラップトップ用アクセサリの簡略図である。 本発明の実施形態による、ラップトップディスプレイの縁部に沿って位置する図３０及び図３１のラップトップ用アクセサリの簡略図である。 本発明の実施形態による、ラップトップディスプレイの縁部に沿って位置する図３０及び図３１のラップトップ用アクセサリの簡略図である。 本発明の実施形態による、ラップトップディスプレイの縁部に沿って位置する図３０及び図３１のラップトップ用アクセサリの簡略図である。 本発明の実施形態による、ラップトップディスプレイの縁部に沿って位置し、ディスプレイから離れて回転してディスプレイとキーボードとの間の空域内に検出面を提供する図３０及び図３１のラップトップ用アクセサリの簡略図である。 本発明の実施形態による、ラップトップディスプレイの縁部にそって位置し、ディスプレイから離れて回転してラップトップキーボードの表面に沿った検出面を提供する図３０及び図３１のラップトップ用アクセサリの簡略図である。 本発明の実施形態による、近接センサの組み立て工程の簡略フローチャートである。 図３９の工程に従って組み立てられた近接センサの簡略図である。 本発明の実施形態による、物体を検出する近接センサの光ビームの簡略図である。 本発明の実施形態による、物体を検出する近接センサの光ビームの簡略図である。 本発明の実施形態による、近接センサと、そこから投影される光ビームとの簡略側面図である。 本発明の実施形態による、上方から見た近接センサレンズ及び関連する光学部品と、このレンズを通じて投影される光ビームとの簡略図である。 本発明の実施形態による、図４４のレンズ３２５及び部品と、このレンズを通じて投影される光ビームとの簡略側面図である。 本発明の実施形態による、画面の隅部に位置するＬ字形光学近接センサの簡略図である。 本発明の実施形態によるジェスチャ識別方法の簡略フロー図である。 本発明の実施形態によるユーザインターフェイスの簡略図である。 本発明の実施形態による、ディスプレイ縁部の小区画に沿って位置する、表示パラメータを調整する光学近接センサの簡略図である。 本発明の実施形態による、車載インフォテインメントシステムＧＵＩのフローチャートである。 本発明の実施形態による、図５０、図５３、図５４及び図５７の車載インフォテインメントシステムＧＵＩのスクリーンショットである。 本発明の実施形態による、図５０、図５１及び図５３〜図５８の車載インフォテインメントシステムＧＵＩで使用される通知カードを示す図である。 本発明の実施形態による、車載インフォテインメントシステムＧＵＩのフローチャートである。 本発明の実施形態による、車載インフォテインメントシステムＧＵＩのフローチャートである。 本発明の実施形態による、図５０、図５３、図５４及び図５７の車載インフォテインメントシステムＧＵＩのスクリーンショットである。 本発明の実施形態による、図５０、図５３、図５４及び図５７の車載インフォテインメントシステムＧＵＩのスクリーンショットである。 本発明の実施形態による、車載インフォテインメントシステムＧＵＩのフローチャートである。 本発明の実施形態による、図５０、図５３、図５４及び図５７の車載インフォテインメントシステムＧＵＩのスクリーンショットである。

以下の表に付番要素を列挙し、各付番要素が出現する図をリストする。類似する番号が付いた要素は同じタイプの要素を表すが、これらの要素が同一要素である必要はない。

本明細書全体を通じて、「光源」及び「エミッタ」という用語は、同じ発光素子、とりわけＬＥＤ、ＶＣＳＥＬ及びレーザを示すために使用しており、「センサ」及び「検出器」という用語は、同じ光検出素子、とりわけフォトダイオードを示すために使用している。

図１は、本発明の実施形態による、光源から実線に沿って放出され、破線に沿って光センサに反射される光の簡略図である。図１には、光が光源から平行ビームの形でどのように真っ直ぐ放出されるかを示す。障害物にぶつかった光は、拡散的に反射される。センサは、センサから２つの一定方向に延びる２つの狭い回廊（ｃｏｒｒｉｄｏｒｓ）内で反射からの入射光を検出し、これらの反射は、光ビームの両側から同じ角度で離れるが、各ビームの両側では、例えばエミッタのビームから３０°及び−３０°である。

１つの光源からセンサに伝わる光の量は、障害物がどれほど光源のビームの中心に近いか、及び障害物がどれほどセンサの回廊の一方の中心に近いかに依存する。このような光源／センサペアは、「ホットスポット」と呼ばれる。ホットスポットに最も多くの光量をもたらす障害物の位置は、この光源／センサペアの「ホットスポット位置」又は「目標位置」と呼ばれる。本発明による近接センサは、各ホットスポットに伝わる光の量を測定し、このような各測定値は、「ホットスポット信号値」と呼ばれる。この測定は、全てのホットスポット信号値を同じ範囲になるように正規化する。

障害物にぶつかった光は拡散的に反射され、反射光は、光ビームの両側の２つの狭い回廊内で最大限に検出されるので、本明細書で言及する順方向検出は、第１の方向における全ての狭い検出回廊に基づき、逆方向検出は、第２の方向における全ての狭い検出回廊に基づく。換言すれば、順方向は、検出器の位置インデックスの方がエミッタの位置インデックスよりも大きなエミッタ−検出器ペアの全ての検出を含み、逆方向は、検出器の位置インデックスの方がエミッタの位置インデックスよりも小さなエミッタ−検出器ペアの全ての検出を含む。順方向は、装置の配向に応じて左又は右とすることができる。センサが逆方向を向くホットスポットは「逆方向ホットスポット」と呼ばれ、センサが順方向を向く逆の場合についても同様である。

図２は、本発明の実施形態による、逆方向及び順方向ホットスポット信号値、すなわちエミッタ−検出器ペアの信号値を示す図である。ホットスポット信号値は、全てのホットスポット位置、すなわちエミッタ−検出器ペアが反射値を検出するように物体を配置できる全ての位置にわたる高密度グリッド内の位置に配置された障害物を用いてサンプリングされる。図２には、３×３のホットスポット位置又は目標位置にわたる領域内の障害物位置における全てのホットスポット信号値のうちの最大値を、逆方向ホットスポット及び順方向ホットスポットについて別個に示す。図２〜図５では、逆方向ホットスポット信号値の図のみにホットスポット位置を付番要素９６１〜９６９として示す。図２〜図５では、図の煩雑性を避けるために、順方向ホットスポット信号値の図にはホットスポット位置を付番要素として示していない。

図３は、本発明の実施形態による、順方向ホットスポットの３×３グリッド内の上部真ん中のホットスポットと中心のホットスポットとの間の、すなわち３×３グリッド内の位置（２、１）におけるホットスポットと位置（２、２）におけるホットスポットとの間の信号値関係を示す図である。図４は、本発明の実施形態による、順方向ホットスポットの３×３グリッド内の右側真ん中のホットスポットと中心のホットスポットとの間の、すなわち３×３グリッド内の位置（３、２）におけるホットスポットと位置（２、２）におけるホットスポットとの間の信号値関係を示す図である。図５は、本発明の実施形態による、それぞれホットスポットの３×３グリッド内の、上部右側の逆方向ホットスポットと中心の逆方向ホットスポットとの間の信号値関係、及び上部真ん中の順方向ホットスポットと右側真ん中の順方向ホットスポットとの間の信号値関係を示す図である。図３〜図５は、２つの隣接するホットスポット信号値間の関係を示すものである。各曲線は、位相マップと同様の固定関係値に従う。また、図６は、本発明の実施形態による、２つの信号値ｖ０及びｖ１（実線）間の関係が、これらの値の対数の差分（破線）として表されることを示す図である。図６は、ｒ＝ｌｏｇ（ｖ１）−ｌｏｇ（ｖ０）として表される関係を示すものである。この関係は、これらの信号値のいずれかの信号対ノイズ比（ＳＮＲ）が低い時にはノイズにかき消される。

２つの垂直に隣接するホットスポット間の信号値関係は、図３の曲線に対応する。信号値が一定の標準偏差で正規分布すると仮定した場合、この仮定を用いて、図６によるホットスポット位置間の「交点」と呼ばれる内挿位置を発見することができる。第１の交点の隣のホットスポットとそのいずれかの側のホットスポットである２つの垂直に隣接するホットスポットにも同じことを行って第２の交点を形成する。その論理的根拠は、２つの交点間のどこかに障害物位置が存在することである。図３の曲線が全て直線であって平行であれば、この位置は正確になる。しかしながら、曲率によって不正確性が生じる。

このような曲率に対処するために、同じ方法を用いて、ただし水平に隣接するホットスポットの関係から交点間の位置を発見する。この場合の曲線が図４におけるものである。水平の交点を発見して両方の交点ペア間の位置を選択する代わりに近道を利用する。垂直の交点を垂直ホットスポットと考え、実際のホットスポット信号値と、各ホットスポットまでの相対的距離とに基づいて各信号値を推定する。交点の仮想ホットスポットの信号値関係は、直接的に障害物の位置をもたらす。

全ての障害物位置のホットスポット信号値は、ロボットによって記録されているので、障害物によって生じた信号と一致する信号を有するサンプルを見つけ出すことによって新たな障害物位置の発見が達成される。しかしながら、この処理は、高メモリ量及び高時間コストに起因して効率的でない場合がある。最も大きな信号値と隣接するホットスポットの信号値との間の関係を比較すれば十分とすべきである。

図７は、本発明の実施形態による、全てが比較的強いホットスポット信号値にわたる領域に三角形を用いてマーキングした図である。２次元信号関係から３次元位置及び反射率へのマッピングは、全ての三角形において同様であり、同じ水平帯における同じ配向の三角形では特にそうである。このことは、ほんのわずかな三角形群のみについてマッピングを学習して記憶すればよいことを意味する。図２では、３つのホットスポットによって結ばれる三角形領域が存在し、この領域内ではこれらの３つのホットスポット信号値が全て比較的大きいことを観察することができる。図７には、これらの領域のいくつかを描いている。このことは、これらの信号間の３つの対関係が領域内のノイズを上回ることを意味する。これらの３つの関係のうちの１つは、他の２つから導出されるので冗長である。このような三角形内では、２つの信号関係がその三角形内の位置にマッピングされる。この信号関係は、観察されるホットスポット信号値に対する障害物の反射率にもマッピングされる。これらの三角形領域は画面全体を覆い、従って障害物の位置及び反射率は、最も大きな信号値を有するホットスポットによって結ばれた三角形を見つけ出し、その信号関係を位置及び反射率にマッピングすることによって取得される。

このマッピング変換は、垂直信号関係（図３）及び対角線信号関係（図５）を入力とする。各次元で観察される最小から最大までの入力２Ｄ空間は、９×９グリッドのノードによって覆われる。各ノードは、三角形の辺によって結ばれた座標系で表される位置を含む。この位置は、三角形のわずかに外側に存在することができる。各ノードは、最も大きな信号値で乗算した時に障害物の反射率をもたらす補償因子も含む。入力に最も近い４つのノードは、共一次内挿法を用いて内挿される。

一定の閾値を上回る信号値を有し、その８つの隣接するホットスポット全てよりも強力な全てのホットスポットを、可能な検出のために評価する。最大ホットスポットを使用する６つの三角形全てを、検出に寄与する可能性のあるものとして選別する。各三角形に、その全てのホットスポット信号値の積として計算された重みを与える。最も大きなもの３つを維持し、これらの重みを４番目に大きな重みによって減少させる。残った三角形を評価し、選別に使用した重みを用いてこれらの結果を加重平均にまとめる。

周囲の三角形を評価すべき強力な信号の発見及び追跡は、２０１４年６月２４日に出願された「光学近接センサ（ＯＰＴＩＣＡＬ ＰＲＯＸＩＭＩＴＹ ＳＥＮＳＯＲＳ）」という名称の本出願人の同時係属中の米国特許出願公開第１４／３１２，７８７号、現在の米国特許第９，１６４，６２５に記載されるように行うことができる。

ロボットを用いてセンサの向かい側の既知の位置にスタイラスを配置し、結果として得られた検出信号を記録することにより、アルゴリズムの精度の定量化が可能になる。記録されたサンプル信号値を入力としてランダム順でアルゴリズムに送り、これらの入力に基づいて計算された検出位置を実際のサンプル位置と比較する。

図８は、本発明の実施形態による、１００×６４ｍｍのタッチ画面にわたる検出誤差を示す図である。図８の右側の凡例に従って２Ｄエラーベクトルを色分けしている。凡例の円の半径は、５ｍｍである。図８は、画面全体のサンプルについて誤差がどれほど大きいか、及びどの方向であるかを示すものである。

図９は、本発明の実施形態による、サンプルエラーベクトルの２Ｄヒストグラムを示す図である。軸の単位はｍｍである。図９には、誤差の分布を示す。以下の表Ｉに、定量化した精度値を示す。

図１０〜図１３は、本発明の実施形態による近接センサの簡略図である。図１０〜図１３には、本発明の教示による近接センサ５０１を示す。近接センサ５０１は、光源１０１〜１１０及び光センサ２０１〜２１１を含み、これらのセンサのうちの２つのセンサ間に各光源が存在する。近接センサ５０１は、レンズ３０１〜３０４などの複数のレンズも含み、各レンズは、これらのセンサのうちの２つの隣接するそれぞれのセンサに対し、そのレンズに光が鋭角の入射角θ１で入射した時には、その光が２つのセンサのうちの第１のセンサにおいて最大限に検出され、そのレンズに光が鈍角の入射角θ２で入射した時には、その光が２つのセンサのうちの他方のセンサにおいて最大限に検出されるように位置付けられる。レンズは、これらの２つのセンサ間に位置する光源に対し、光源からの光が近接センサ５０１から出射した時に平行になるように位置付けられる。この配列は、図１に関して上述した、投影光ビームの両側から離れて各センサから２つの一定方向に延びる２つの狭い回廊をもたらす。

図１０には、物体８０１によって反射された光源１０４からの光がセンサ２０７によって最大限に検出される、光源／センサペア１０４／２０７によって生成されたホットスポット９１３の最大検出順方向反射経路を示しており、図１１には、物体８０１によって反射された光源１０９からの光がセンサ２０７によって最大限に検出される、光源／センサペア１０９／２０７によって生成されたホットスポット９１４の最大検出逆方向反射経路を示している。図１０及び図１１は、センサ２０７が、レンズ３０３を介して最大順方向反射値を受け取り、レンズ３０４を介して最大逆方向反射値を受け取るように、隣接するレンズ３０３及び３０４に対してどのように存在するかを示すものである。

図１に関して上述したように、投影光ビームと最大検出回廊との間の近接センサ５０１の外側の交点は、ホットスポットのマップを提供する。図１２及び図１３には、４つのホットスポットを示しており、これらのうちの２つに９４０及び９４１の番号を付している。図１２では、物体８０１をホットスポット９４０の最も近くに示している。従って、物体８０１の最大検出は、光源／センサペア１０４／２０２及び１０４／２０７によって生じる。上述したように、光源／センサペア１０４／２０２は逆方向検出を提供し、光源／センサペア１０４／２０７は順方向検出を提供する。光源１０５からの光ビームは散乱し、その一部はセンサ２０８に到達するので、例えば順方向検出光源／センサペア１０５／２０８などの他の光源／センサペアによってさらなる検出も生じるが、センサ２０８に到達する散乱光は、最大検出の回廊上を移動しないので、センサ２０８において検出される光の量は、光源／センサペア１０４／２０７によって生成されるものよりも大幅に少ない。

図１３には、図１２の近接センサを示しているが、物体８０１が距離ｄだけ右側に移動している。この場合、順方向光源／センサペア１０４／２０７及び１０５／２０８によって同様の量の検出が生じる。これらの各検出は、図３〜図７を参照しながら上述したように、図１２の光源／センサペア１０４／２０７によって生じる検出よりも小さく、図１２の光源／センサペア１０５／２０８によって生じる検出よりも大きい。ホットスポット９４０及び９４１間の物体８０１の位置は、光源／センサペア１０４／２０７及び１０５／２０８によって検出された光の量を内挿することによって計算される。図７を参照しながら上述したように、物体８０１の位置は、検出空間内の三角形の頂点である３つの隣接するホットスポットに対応する光源／センサペアによって検出された光量間に少なくとも２回の内挿を行うことによって計算される。

検出された光量の内挿方法を決定するために、既知の反射特性を有する較正物体を近接センサ５０１の外側の検出ゾーン内の既知の位置に配置する較正ツールを用いて、ホットスポット近傍の検出感度を計算する。各既知の位置では、複数の光源／センサペアを同期して作動させ、隣接する作動したセンサによって検出された光の量を測定する。物体が既知の位置間を移動した時に隣接する作動したセンサによって検出された相対的光量の反復パターンを識別する。これらのパターンを用いて、ホットスポット近傍にける近接センサ５０１の検出感度を定め、近位物体の位置を計算するために、この検出感度を用いて、検出された光量の内挿方法を決定する。

図１４及び図１５図は、本発明の実施形態による、図１０〜図１３の近接センサの較正ツールの簡略図である。図１４に示す第１の較正ツールは、モータ８０３と、反射性較正物体８０６を近接センサバー５０１に対して矢印６０１及び６０２で示すように水平及び垂直に動かすシャフト８０４及び８０５とを含む。物体８０６が配置された各位置において、その位置の近くのホットスポットに対応する複数の光源／センサペアを作動させ、検出された光の量を使用してこれらのホットスポット近傍の検出感度を求める。共通光源を共有する複数の光源／センサペアを同時に作動させる。

いくつかの実施形態では、近接センサ５０１のいくつかの代表的なユニット上で図１４又は図１５のいずれかに示す較正ツールを使用し、この較正ツールから導出される内挿方法を他の同様のユニットに適用する。しかしながら、他の実施形態では、各個々の近接センサに合わせた内挿を行うために、近接センサ５０１の各ユニット上でいずれかの較正ツールを使用する。

図１５には、反射性較正物体のサイズ及び形状が図１４のものとは異なる第２の較正ツールを示す。図１４では、較正物体８０６を、通常は近接センサバー５０１と共に使用される指又はスタイラスとしてモデル化しているが、図１５では、較正物体８０７が、近接センサバー５０１の全長にわたるロッドである。このロッドは、通常は近接センサバー５０１と共に使用される皮膚又はスタイラスの反射特性と同様の反射特性を有する材料で覆われる。図１５の較正ツールでは、シャフト８０５がシャフト８０４上の固定位置に留まり、物体８０７のみが、矢印６０２で示すように近接センサバー５０１に向かって、及び近接センサバー５０１から離れて移動する。この場合、物体８０７の各位置において光源が順に作動し、各光源の作動中、物体８０７からの有意な反射を検出することが合理的に予想できる光センサ２０１〜２１１のいずれかが作動する。いくつかの実施形態では、各光源が作動すると同時に光センサ２０１〜２１１が全て作動する。

較正ツールは、内挿方法の決定に加えて、光源／センサペアに対応するホットスポットの位置をマッピングするためにも使用される。多くの場合、ホットスポットの位置は、近接センサ５０１内の光源又は光検出器の不正確な配置又は位置合わせなどの機械的問題に起因して、予想されるホットスポットの位置からずれている。この目的で使用する場合、非常に多くの近接センサユニットを較正する必要があり、図１５の較正ツールの方が図１４の較正ツールよりも効率的である。

図１６及び図１７は、本発明の実施形態による、近接センサのエミッタ及び検出器が近接センサ内にどのように取り付けられているかを図１５の較正ツールがいかにして識別するかを示す簡略図である。図１６及び図１７は、図１５の較正ツールが光センサ（図１６）又は光源（図１７）の不正確な配置をどのように識別するかを示すものである。図１６には、ホットスポット９１０、９１２、９１９、９２９及び９３９を含む３行のホットスポットを示す。これらは予想ホットスポット位置であり、すなわち近接センサ５０１は、これらの位置に物体が配置された時にそれぞれの作動中の光源／センサペアについて反射光の最大検出をもたらすように設計される。このことは、較正ロッド８０７が近接センサ５０１に近付いて動いた時に検証される。ホットスポットの各行は、近接センサ５０１から一定距離に位置する。Ｈ１、Ｈ２及びＨ３という３つの距離を示している。

図１６には、近接センサ５０１内で光センサ２０７がその正しい位置よりもわずかに左側に配置されている時に、この光センサにおいて測定された最大検出がホットスポット位置９１９’、９２９’及び９３９’にどのように対応するかを示す。較正ロッド８０７は、予想距離とは異なる距離においてこれらの位置に入る。図１６には、ホットスポット位置９１９’が近接センサ５０１から距離Ｈ３’に存在する時に、較正ロッド８０７がどのようにホットスポット位置９１９’に到達するかを示す。較正システムは、共通の光センサを共有して予想距離とは異なる距離で生じる一連の局所的最大検出を分析することによって、光センサの予想位置からのオフセットを検出する。いくつかの実施形態では、プロセッサ７０１がモータ８０３を制御し、又はモータ８０３からの入力を受け取り、実際の局所的最大検出に従ってそのホットスポットマップを更新する。

図１７には、近接センサ５０１内で光源１０４がその正しい位置よりもわずかに左側に配置されている時に、光源１０４を含む光源／センサペアについて測定される最大検出が、予想ホットスポット位置９１６、９２６及び９３６から位置９１６’、９２６’及び９３６’にどのようにずれているかを示す。図１７には、ホットスポット位置９１６’が近接センサ５０１から距離Ｈ３’に存在する時に、較正ロッド８０７がどのようにホットスポット位置９１６’に到達するかを示す。較正システムは、共通の光源を共有して予想距離とは異なる距離で生じる一連の局所的最大検出を分析することによって、光源の予想位置からのオフセットを検出する。

本発明による近接センサは、近位物体の部分的外周を推定するために使用される。図１８は、本発明の実施形態による、近位物体を検出する近接センサの簡略図である。図１８には、近接センサストリップ５０１と、近位物体８０２とを示す。物体８０２の縁部に沿った、センサに面する４つのホットスポット位置９３９〜９４２も示す。これらのホットスポット位置に関連する反射値を用いて、この縁部の輪郭を推定する。

上述したように、各ホットスポット位置は、１つ又は２つの光源／センサペアに関連する。図１８では、ホットスポット位置９４０が、光源／センサペア１０４／２０２及び１０４／２０７に関連する。

反射値を用いて、反射面がどこに位置するかを示す反射値の２次元ピクセルイメージを生成する。例えば、近接センサ５０１内の全ての光源／センサペアの全てのホットスポット位置にそれぞれの正規化した反射値を割り当てた結果、２次元画像が得られる。異なる実施形態では、例えば８ビット画素値では０〜２５５、１０ビット画素値では０〜１０２３などの、２次元画像内の各画素に与えられるビット数によって決定される範囲内で反射値を正規化する。

図１９は、本発明の実施形態による検出値の２次元画像の簡略図である。図１９には、検出面が下を向いた近接センサ５０１と、結果として得られた、この検出面内に位置する物体によって生成された反射値の２次元画像９９０とを示す。画像９９０の画素値は、８ビット値である。

各ホットスポット位置には複数の光源／センサペアが対応するので、２次元画像内のこの位置の反射値は異なる方法で得ることもできる。すなわち、順方向光源／センサペアを使用することも、或いは逆方向光源／センサペアを使用することもできる。いくつかの実施形態ではこれらの２つの値の平均を使用し、他の実施形態ではこれらの２つの値の最大値を使用して、いくつかの画素が順方向光源／センサペアから画素値を導出し、他の画素が逆方向光源／センサペアから画素値を導出するようにする。

光源／センサペアのいくつかの反射値は、対応するホットスポットにおける反射物体によるものではなく、むしろ完全に異なる位置における漂遊反射によるものである。図２０及び図２１に、これらの事例をどのように識別するかを示す。２次元画像内の対応する画素値は、識別されるとゼロにリセットされる。

図２０及び図２１は、本発明の実施形態による、あるエミッタ−受信機ペアの、このペアのホットスポット位置に関連しない検出された反射値の簡略図である。図２０には、共通のエミッタビーム経路４０１に沿って整列したホットスポット位置９４０及び９４４を示す。ホットスポット位置９４０は、光源／センサペア１０４／２０２及び１０４／２０７に対応し、ホットスポット位置９４４は、光源／センサペア１０４／２０１及び１０４／２０８に対応する。図２０からは、エミッタ１０４からのあらゆる光が、ホットスポット位置９４４に到達するかなり前に物体８０２によって遮断され、従って光源１０４の作動中にセンサ２０１及び２０８において検出されたあらゆる光はホットスポット位置９４４において反射物体によって生成されたものではなく、むしろ他の位置において物体から離れた漂遊反射であることが明らかである。従って、ホットスポット位置９４４にふさわしい反射値はゼロである。

この状態は、光源／センサペア１０４／２０２の検出された反射値が有意なものであることによって対応する位置９４０に反射物体が存在することが示され、従って光ビーム４０１が位置９４４に到達しないという事実によって特定される。さらに、レンズ及びセンサは、角度θ１で反射された時にセンサに最大検出が到達するように構成されているので、共通の光源を共有する全ての光源／センサペアの中で最大の反射を検出する光源／センサペアは、対応するホットスポット位置又はその近くの物体からの反射を検出するペアであることが明らかである。実際に、図２０に示す例では、光源／センサペア１０４／２０１の検出値よりも光源／センサペア１０４／２０２の検出値の方がはるかに大きい。同じ理由で、光源／センサペア１０４／２０８の検出値よりも光源／センサペア１０４／２０７の検出値の方がはるかに大きい。図２１に同様の状況を示しているが、この例では、共通の検出経路に沿って２つのホットスポット位置が存在する。

図２１には、共通の最大検出反射経路４０３に沿って整列したホットスポット位置９４０及び９４５を示す。ホットスポット位置９４０は、光源／センサペア１０４／２０２に対応し、ホットスポット位置９４５は、光源／センサペア１０５／２０２に対応する。図２１からは、１カ所からの光のみを経路４０３に沿って受信機２０２上に反射できることが明らかである。また、光源／センサペア１０４／２０２の検出される反射値は、光源／センサペア１０５／２０２の検出値よりも大きいので、ホットスポット位置９４０又はその近くに反射物体が存在し、光源／センサペア１０５／２０２の検出値は、ホットスポット位置９４５の反射物体によるものではないと仮定することが安全である。従って、ホットスポット位置９４５にふさわしい反射値はゼロである。

一般に、図１７の経路４０１などの放出光路ＬＰ上には、近接センサ５０１からの異なる距離に、図１７のホットスポット位置９１６、９２６及び９３６などの、Ｐ₁、Ｐ₂、．．．、Ｐ_Nで示す複数のホットスポット位置が存在する。これらの位置のうちのＰ_iで示す１つの位置に物体が存在する場合、他のホットスポット位置Ｐ_i+j及びＰ_i-kも、対応する検出値を有する。このような場合には、ＬＰ沿いのホットスポット位置の中で最大の検出値が検出されるホットスポット位置Ｐ_maxを物体に対応するものと見なし、近接センサ５０１から離れたホットスポット位置の全ての検出値をゼロにリセットする。Ｐ_maxと近接センサ５０１との間のホットスポット位置の検出値を維持する。多くの場合、上述したように物体位置の計算には２つのホットスポット位置Ｐ_max及びＰ_max+1を使用し、このような場合、Ｐ_max+1はゼロにリセットしない。

同様に、図１６の経路４０２などの反射光路ＲＰ上には、近接センサ５０１からの異なる距離に、図１６のホットスポット位置９１９、９２９及び９３９などの、Ｐ₁、Ｐ₂、．．．、Ｐ_Nで示す複数のホットスポット位置が存在する。これらの位置のうちのＰ_iで示す１つの位置に物体が存在する場合、他のホットスポット位置Ｐ_i+j及びＰ_i-kも、対応する検出値を有する。このような場合には、ＲＰ沿いのホットスポット位置の中で最大の検出値が検出されるホットスポット位置Ｐ_maxを物体に対応するものと見なし、近接センサ５０１から離れたホットスポット位置の全ての検出値をゼロにリセットする。Ｐ_maxと近接センサ５０１との間のホットスポット位置の検出値を維持する。多くの場合、上述したように物体位置の計算には２つのホットスポット位置Ｐ_max及びＰ_max+1を使用し、このような場合、Ｐ_max+1はゼロにリセットしない。

このようにして、２次元ピクセルイメージが精細化され、センサに面した物体の輪郭を表し始める。図２２は、本発明の実施形態による、検出値の２次元画像における物体の検出された部分的外周の簡略図である。図２２には、図１９の検出画像９９０における検出された部分的外周９８９と、上述したような非ゼロの検出値を有するが適切な反射値はゼロである画素例９１５を示す。

次のステップは、この画像内の画素をフィルタ処理して、ホットスポット位置間の物体の輪郭の位置のサブピクセル精度を得ることである。サブピクセル値を計算した後に、２次元ピクセルイメージに様々なエッジ検出フィルタを適用して、センサに面する物体の縁部を識別し、漂遊反射を廃棄する。既知のエッジ検出フィルタとしては、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｌａｐｌａｃｅ、ｇｒａｄｉｅｎｔが挙げられる。このエッジ情報を用いて、物体のこの部分の長さ、すなわち物体の部分的外周及びその位置を特定する。

本発明の異なる実施形態によれば、物体の検出部分の長さが、異なる方法を用いて計算される。いくつかの実施形態では、物体の検出部分に沿った画素又はサブピクセルの数を求める。他の実施形態では、物体の検出部分に沿った各隣接する画素ペア又はサブピクセルペア間の距離の和を計算する。さらに他の実施形態では、物体の検出部分に沿った画素又はサブピクセルの各々を通る曲線の方程式を求め、この方程式に従って物体の部分的外周の長さを計算する。

いくつかの実施形態では、プロセッサの複雑性を緩和するために、最大検出値が存在する物体上の地点と、部分的外周沿いの２つの最も外側の地点という３つの地点に基づいて部分的外周の推定値を計算する。

図２３は、本発明の実施形態による、物体の部分的外周を推定する方法の簡略図である。図２３には、最大検出値が存在する地点９４０と、物体８０２の部分的外周に沿った２つの最も外側の地点９３９及び９４１とを示す。部分的外周の推定値は、地点９３９から地点９４０までの距離と、地点９４１から地点９４０までの距離との和である。システムは、この計算にあまり複雑性を加えずに計算を精密化するために、それぞれのホットスポット位置９３９〜９４１の直近のホットスポット位置を用いてこれら３つの位置のサブピクセル座標を計算するが、２次元ピクセルイメージ内の他のあらゆる画素のサブピクセル位置を計算しない。最大検出値が存在する地点９４０又はそれぞれのサブピクセル位置を物体の座標として使用する。

本発明の他の実施形態では、近接センサの形状が、２−Ｄ検出面ではなく３−Ｄ検出量を提供するように直線ではなく円形又は波形である。このような代替の実施形態では、エミッタ及び受信機が、近接センサ５０１内に存在する時に依然として交互になっており、各エミッタは、近接センサの上方の３Ｄ体積内に対応するホットスポットを有する光源／センサペアとして各受信機とペアになる。

図２４は、本発明の実施形態による、３−Ｄ近接センサのエミッタの光路及び反射光路に対応する切妻屋根又は双曲放物面を示す図である。

図２５は、本発明の実施形態による、３−Ｄ双曲面に沿って３０個のホットスポット位置を提供する、円形基部に沿って交互に配置された６つのエミッタ及び６つの受信機の円形配置の簡略図である。図２５には、本発明の実施形態による、３−Ｄ双曲面に沿って３０個のホットスポット位置を提供するエミッタ１０１及び１０２と受信機２０１及び２０２とを示す。図２５には、双曲面の高さに沿ったホットスポット位置の５つのリング９９１〜９９５も示す。

図２６は、本発明の実施形態による、３−Ｄ双曲面に沿って１７６個のホットスポット位置を提供する、円形基部に沿って交互に配置された１６個のエミッタ及び１６個の受信機の円形配置から放出され反射された光ビームを表すグリッドの簡略図である。代替の構成は、必要最低限の双曲面では４つのエミッタ及び４つの受信機を含み、正８面体では３つのエミッタ及び３つの受信機を含み、正４面体では２つのエミッタ及び２つの受信機を含む。これらの３−Ｄ近接センサは、とりわけ空中で手を振るジェスチャを検出するために使用される。

本発明による近接センサは、タッチ画面、制御パネル及び新たなユーザインターフェイス面に数多くの用途がある。近接センサは、壁、窓などのあらゆる場所に取り付け、ノートブックに搭載し、そのアイテム上でタッチ及びジェスチャ検出を行うことができる。そして、これらの検出されたジェスチャを電子システムへの入力として使用する。例えば、壁の縁部沿いにセンサを取り付け、検出されたジェスチャを照明システムに伝えることにより、壁に沿ったジェスチャによって部屋の明かりを落とすことができる。近接センサを検出領域の１つの縁部のみに沿って取り付けて部品コストを抑え、タッチ画面及びタッチセンサ式制御パネルの工業設計にさらなる柔軟性をもたらすことも意義深い。

本発明によるドアロックシステムは、２つの動作モードを有する。第１のモードでは、トランスポンダ信号、キーフォブスイッチを押すこと、又は鍵穴に物理的な鍵を挿入して回転させることなどによる先行技術の方法を用いてドアのロック及びロック解除が行われる。第２のモードでは、ユーザがジェスチャセンサにジェスチャを入力することによってドアをロックする。その後、ユーザは、この同じジェスチャをジェスチャセンサに入力することによってドアをロック解除する。しかしながら、先行技術のジェスチャベースのロックシステムとは異なり、このロック解除ジェスチャは、ユーザがこのジェスチャを入力してドアをロックするまでロック解除ジェスチャとして定義されない。

図２７図は、本発明の実施形態による、自動車のドアなどのドアのロック及びロック解除方法の概略的フローチャートである。この方法は、ステップ１００１において、ドアを閉じた時に開始する。ステップ１００２において、ドアロックシステムによってドアの閉鎖が検出され、これによってシステムが起動して、ロックシステムに接続された送信機ユニットを作動させてポータブルトランスポンダの位置を特定し、具体的には、このトランスポンダが自動車の内部などの閉じたドアの裏側の閉鎖された室内に存在するかどうかを識別する。このトランスポンダが閉鎖された室内に存在する場合、システムは、ドア、ドア近く又はドア外部でのジェスチャの検出を目的とするジェスチャ検出装置を作動させる。ステップ１００３において、ジェスチャ検出装置がジェスチャを検出した場合、ステップ１００４においてドアロックが作動し、検出されたジェスチャをメモリに記憶する。ステップ１００５において、記憶されたジェスチャがジェスチャ検出装置によって再び検出されると、ステップ１００６においてドアがロック解除される。

自動車などの複数のドアを通じて共通室内空間にアクセスできるいくつかの実施形態では、ドアの閉鎖が検出された時に、ステップ１００１ａにおいて共通室内への他の全てのドアが閉じている場合にのみ、ロックシステムがステップ１００１から進む。

いくつかの実施形態では、ドアが閉じた時に、ステップ１００１ｂにおいて閉鎖空間内に誰も残っていないことが確認された場合にのみジェスチャ検出装置が作動する。この確認は、モーションセンサ、カメラ、又は当業者に周知の他の手段を用いて行われる。

いくつかの実施形態では、ドアが閉じた時に、閉鎖された室内にトランスポンダが存在するかどうかを識別せずにジェスチャ検出装置が作動する。これにより、トランスポンダを含まないシステムにおいても本発明によるジェスチャロック及びロック解除方法を使用できるとともに、ユーザがドアを閉じる前に閉鎖空間からトランスポンダを取り出した時にもジェスチャロック及びロック解除方法を使用できるようになる。

いくつかの実施形態では、ジェスチャ検出装置が、運転席側ウィンドウの縁部沿いに取り付けられてウィンドウ外部で行われたジェスチャを検出する、上述した近接センサストリップである。他の実施形態では、他のタイプのジェスチャ検出装置、とりわけカメラ、光の遮断に基づく光学タッチ画面、漏れ全反射（ＦＴＩＲ）に基づく光学タッチ画面、光学近接センサ、容量式タッチ画面及び抵抗式タッチ画面が設けられる。他の実施形態では、ジェスチャ検出装置が、ドアの隣の壁におけるジェスチャ、ドアハンドル又はドアノブ上でのジェスチャ、或いはドアの正面の開放空間内のジェスチャを検出する。

異なるシステムでは、異なるタイプのジェスチャを検出することができる。ジェスチャ例としては、表面上の１又は２以上の箇所へのタッチ、表面上に１又は２以上の２次元線又はねじれた線を指で描くこと、例えば複数の指によるピンチ、拡大又は回転のジェスチャなどの、表面上に１又は２以上の２次元線又はねじれた線を複数の指で描くこと、手を振るジェスチャ、指を何本か立てること、手話ジェスチャ、全身の動きが挙げられる。

図２８は、本発明の実施形態による、図２７のロック及びロック解除方法を実施する自動車の簡略図である。図２８には、ドア８１１及びサイドウィンドウ８１２を有する自動車を示す。ウィンドウ８１２の下方には近接センサストリップ５０１が取り付けられ、ウィンドウ８１２の外面に沿って光ビーム４１０を投影して、例えばこのウィンドウ上で指を滑走させることによって描かれる形状などのウィンドウ上のジェスチャを検出する。

いくつかの実施形態では、記憶されるジェスチャが、指で描かれた形状を含むが、この形状が最初に描かれたウィンドウ８１２上の位置は含まない。他の実施形態では、形状が最初に描かれたウィンドウ８１２上の位置も記憶され、ユーザは、ドアをロック解除するために同じ位置でジェスチャを再現しなければならない。

図２９は、本発明の実施形態による自動車８１０の車内の簡略図である。図２９には、運転席８１５、助手席８１６、グローブボックス８１３、運転席側ドア８１１及び運転席側ウィンドウ８１２を示す。グローブボックス８１３内には、ポータブル電子トランスポンダ５０３を示す。図では、ドア８１１内に送信機ユニット５０４が取り付けられ、ドアが閉じた時にトランスポンダ５０３に問い合わせを行って、トランスポンダが車内に存在するか、それとも車外に存在するかを判断する。トランスポンダが車内に存在する場合、送信機ユニット５０４は、この旨をキーレスエントリシステム８２０に通信し、このキーレスエントリシステムがジェスチャ検出装置（図２９には図示せず）を作動させる。

図２９は、自動車のダッシュボード内に取り付けられて、ドア８１１が閉じた後にいずれかの人々が車内に残っているかどうかを検出するモーションセンサ５０２も示す。センサ５０２は、キーレスエントリシステム８２０とも通信する。キーレスエントリシステム８２０は、車内に誰も存在しない場合にのみジェスチャ検出装置がロックを作動できるようにする。

本発明の実施形態によれば、非タッチ画面式ラップトップをタッチ画面式ラップトップに変換できるラップトップ用アクセサリが提供される。このアクセサリは、細長い近接センサアレイを特徴とする近接センサバーである。この近接センサバーは、ラップトップコンピュータ用のアクセサリとして説明するが、他のコンピュータディスプレイ、とりわけオールインワンコンピュータ、デスクトップコンピュータ、タブレット及びテレビにも有用である。この近接センサバーは、テーブル、壁又は窓などの非表示面を含むいずれかの表面を、電子装置を制御するジェスチャを行うタッチセンサ式表面に変換するのにも有用である。この近接センサバーは、別個の電子装置にユーザインターフェイスコマンドを通信するタッチセンサ用アクセサリに組み込まれた、上述の、とりわけ図１０〜図２６を参照しながら説明した近接センサのうちのいずれかを含む。

図３０及び図３１は、本発明の実施形態による、ラップトップ用アクセサリとして構成された近接センサバーの簡略図である。図３０及び図３１には、ワイヤ８３３を介してラップトップコンピュータ８３０に接続された近接センサバー５１０を示す。典型的には、ワイヤ８３３の端部に存在するＵＳＢコネクタをラップトップ８３０のＵＳＢソケットに挿入する。ラップトップコンピュータ８３０は、ディスプレイ８３１及びキーボード８３２を含む。ラップトップ８３０上で動作するオペレーティングシステムは、ラップトップコンピュータ８３０と、これに接続された近接センサバー５１０との間の、ＵＳＢ−ＨＩＤデジタイザを用いた通信を可能にするタッチ画面ユーザインターフェイスコマンドをサポートする。これにより、近接センサバーは、複数のタッチ座標を画面にマッピングし、これらの座標をラップトップに送信して１又は２以上のジェスチャとして解釈させることができる。いくつかの実施形態では、近接センサバー５１０が、検出された物体の座標を１本指トラックパッドとしてレポートすることによってマウス又はトラックパッド機能を提供するように構成される。ある実施形態では、近接センサバー５１０が、ジェスチャを回転、スクロール、ズーム、コピー、カット、ペーストなどのコマンドとして解釈し、タッチ座標又はジェスチャをレポートする代わりにこれらのコマンドをオペレーティングシステムに送信するように構成される。

近接センサバー５１０は、ハウジング５１１と、図３２及び図３５〜図３８に示す光ビームを上述のような検出面内に投影するレンズ３１０とを含む。物体に反射されて検出面に挿入された光ビームは、レンズ３１０を通じて近接センサバー５１０に再入射する。

図３２〜図３６は、本発明の実施形態による、非タッチ画面式ディスプレイをタッチ画面式ディスプレイに変換する、ラップトップディスプレイの縁部に沿って位置する図３０及び図３１のラップトップ用アクセサリの簡略図である。図３２〜図３６には、ラップトップディスプレイ画面８３１の底縁部に取り付けられた近接センサバー５１０を示す。近接センサバー５１０によって検出される検出面は、近接センサバー５１０から投影された光ビーム４０１によって示すように、ラップトップディスプレイ画面８３１の表面と平行である。近接センサバー５１０は、ディスプレイ全体にタッチ感度をもたらすために、画面８３１の底縁部と同程度の長さである。近接センサバー５１０の異なるモデルは、異なる画面サイズをサポートするように異なるサイズで製造される。いくつかの実施形態では、ハウジング５１１が、ラップトップ８３０の画面８３１の底縁部の下方に磁気的に取り付けられる。検出面は、画面８３１に対する近接センサバー５１０の予想位置に従って画面の表面にマッピングされる。例えば、近接センサバー５１０は、４つの画面縁部のいずれかに沿って配置することができ、各配置は、画面に対して検出面を転置する。いくつかの実施形態では、ラップトップハウジング内に、近接センサバー５１０を受け取るソケットが設けられる。場合によっては、上述したワイヤ８３３、ＵＳＢソケット及びプラグの代わりに、ソケット内に設けられたコネクタ、及び近接センサバー５１０上に設けられた対応する接続パッドを用いて近接センサバー５１０をラップトップ８３０に接続する。

図３７は、本発明の実施形態による、ラップトップディスプレイの縁部に沿って位置し、ディスプレイから離れて回転してディスプレイとキーボードとの間の空域内に検出面を提供する図３０及び図３１のラップトップ用アクセサリの簡略図である。図３７には、投影光ビーム４０１及び対応する検出面がディスプレイ８３１とキーボード８３２との間の空域内に向けられるようにディスプレイ画面８３１から離れて回転した近接センサバー５１０を示す。この構成は、写真及びプレゼンテーションの閲覧に有用であり、ユーザは、画面にタッチすることなく空中で検出面を横切ってユーザの手又は指をスワイプすることによってプレゼンテーションを前後に進める。図３７に示す角度θは４５°であるが、いずれの角度とすることもできる。いくつかの実施形態では、近接センサバー５１０が、検出面が画面の表面と平行であるか、それともディスプレイから離れた空域を向いているかに関わらず、ラップトップ８３０に同じ座標、ジェスチャ又はコマンドをレポートする。他の実施形態では、近接センサバー５１０が、検出面が画面の表面と平行である時と、検出面がディスプレイから離れた空域を向いている時とで、異なる座標、ジェスチャ又はコマンドをレポートする。他の実施形態では、検出面がディスプレイから離れた空域を向いている場合、近接センサバー５１０が、検出面が画面の表面と平行である時に近接センサバー５１０が使用する座標、ジェスチャ又はコマンドのサブセットを使用する。例えば、検出面がディスプレイから離れた空域を向いている時には、スィープジェスチャ及びピンチジェスチャなどの相対移動ジェスチャはサポートされるが、検出された物体の位置は特定の画面位置にマッピングされない。

図３８は、本発明の実施形態による、ラップトップディスプレイの縁部にそって位置し、ディスプレイから離れて回転してラップトップキーボードの表面に沿った検出面を提供する図３０及び図３１のラップトップ用アクセサリの簡略図である。図３８には、投影光ビーム４０１及び対応する検出面がキーボード８３２の表面と平行になるようにディスプレイ画面８３１から離れて回転した近接センサバー５１０を示す。この構成は、キーボード８３２の上面にタッチ機能を提供する。この構成では、近接センサバー５１０を、検出された物体の座標を１本指トラックパッドとしてレポートすることによってマウス又はトラックパッド機能を提供するように構成した場合、ラップトップ８３０が、通常は今日のラップトップのキーボードの下方に設けられているトラックパッドを排除することができる。むしろ、ユーザは、キーパッドの上面をトラックパッドとして使用することができる。いくつかの実施形態では、キーボード入力とトラックパッド入力の両方を可能にするために、キーを押した時にトラックパッド機能が一時停止し、キーを横切って指を動かし、動かした最後にいずれのキーも押さなかった時にトラックパッド機能が有効になる。図３８に示す角度θは、９０°よりも大きい。

２−ｉｎ−１ラップトップとして知られている一部のラップトップは、ディスプレイの正面にキーボードを有するラップトップモードと、ディスプレイの正面に何も有していないタブレットモードの両方で構成することができる。タブレットモードの時には、例えばディスプレイが位置するテーブルトップと検出面とが平行になるように、近接センサバー５１０をディスプレイから離れた方に向けてディスプレイ画面の底縁部に沿って配置することができる。この時、ユーザは、テーブル表面上で行うジェスチャを用いてディスプレイ上のプレゼンテーション又はビデオを制御することができる。例えば、先送り又は後戻しを行うにはテーブル表面に沿って近接センサバー５１０と平行にスワイプし、ズームするにはテーブル表面上でピンチを行い、ディスプレイ上の画像を回転させるにはテーブル表面上で複数の指の回転ジェスチャを行う。

いくつかの実施形態では、近接センサバー５１０内の光エミッタが、垂直キャビティ面発光レーザ（ＶＣＳＥＬ）などの半導体レーザダイオードである。これとは別に、他の光エミッタを使用することもできる。いくつかの実施形態では、近接センサバー５１０が、裸の半導体レーザダイオード、すなわちレンズのないベア半導体と、やはりレンズのない裸のフォトダイオードとをＰＣＢ上に配置することによって製造される。これらのレーザダイオード及びフォトダイオードに設けられる唯一のレンズは、図１０に示すレンズ３０３及び３０４を含む細長い導光体などの導光ユニットである。この導光ユニットは、生産量の多い自動生産ラインによって、ＶＣＳＥＬダイオードに対して非常に精度高く位置付けられる。

先行技術では、自動生産ラインにおいて部品支持体（ＰＣＢ）上の孔パターンと配置すべき素子上のガイド（ピン）とを一致させることによって光学部品を位置合わせする。或いは、ＰＣＢ上の基準マーカを用いて、ＰＣＢパターンに従う素子を配置する。

対照的に、本発明は、ダイオード自体を基準マーカとして用いて、この導光体をダイオードに関連付ける必要がある場所に正確に配置する。

いくつかの実施形態では、ダイオード素子を取り付ける前に、例えばＵＶ光に曝すことによって素早く活性化できる接着剤をＰＣＢに取り付けて、自動ピッキングユニットが解放する前に部品を固定する。従って、導光体をＰＣＢに取り付ける前に、ＰＣＢ上の適所に部品を取り付けて固定する。その後、自動生産ラインによって導光体をピックアップし、固定されたダイオードを基準マーカとして使用するビジョン技術によってＰＣＢ上に位置付けることにより、ダイオードとの正確な関係で導光体をＰＣＢ上に配置する。この正確な位置決め方法は、競争コストでの進化した高分解能用途の機会を高める。

図１０に示す細長い導光体は、レンズ３０３及び３０４を含み、具体的にはそれぞれのエミッタ及び光検出器に対応する複数のレンズを含む。いくつかの実施形態では、各レンズが、その対応するエミッタに対して、このエミッタを基準マーカとして用いてＰＣＢ上で別個に組み立てられる。

図３９は、本発明の実施形態による、近接センサの組み立て工程の簡略フローチャートである。この工程では、マシンビジョンを用いて光学部品を取り出してＰＣＢ上に配置するロボットを使用する。ステップ１００７において、ロボットは、ＶＣＳＥＬ半導体ダイオード又は半導体フォトダイオードなどの光学部品を配置すべき位置においてＰＣＢに接着剤を塗布する。ステップ１００８において、ロボットは、接着剤上に光学部品を配置し、ステップ１０９において、ロボットが光学部品を解放することなくＵＶ光への露光によって接着剤を硬化させる。ステップ１０１０において、ロボットは、接着された光学部品のためのレンズを取り出す。光学部品は、パッケージを使用せずにＰＣＢに取り付けられるので、小型サイズの部品は、レンズを配置するための基準マーカとして容易に使用される。従って、ロボットは、レンズを配置するための基準マーカとして光学部品を使用して、ＰＣＢ上でレンズをその光学部品と位置合わせする。ステップ１０１１において、ロボットは、次の光学部品及びその対応するレンズに対してもステップ１００７〜１０１０を繰り返して進む。

図４０は、図３９の工程に従って組み立てられた近接センサの簡略図である。各ステップにおいて、ＰＣＢ上に１つのエミッタと１つのレンズとが組み立てられる。図４０には、６つのエミッタレンズペアを取り付けた後の近接センサＰＣＢ５１２を示す。各エミッタ１１１〜１１６は、自動ピッキングユニットによってＰＣＢ５１２上に配置され、例えば上述したようなＵＶ光への露光によってＰＣＢに取り付けられる。次に、自動ピッキングユニットは、それぞれのレンズ３１１〜３１６を取り出し、対応するエミッタを基準マーカとして用いてＰＣＢ５１２上に取り付ける。この正確な配置を、エミッタ１１１とレンズ３１１との位置合わせを示す拡大挿入図に示す。その後は、残りのエミッタ及びそのそれぞれのレンズに対してこの工程を繰り返して、近接センサバー全体を組み立てる。

図４１及び図４２は、本発明の実施形態による、物体を検出する近接センサの光ビームの簡略図である。図４１及び図４２には、物体を検出するために使用される光路と、個々のレンズ構造３２１〜３２５とを示す。各レンズ構造は、それぞれの反対側のエミッタと、エミッタの左側及び右側に１つずつ存在する２つの検出器とに対応する。従って、例えばレンズ構造３２５は、エミッタ１０５と、検出器２０５及び２０６とに対応する。また、各検出器には２つのレンズ構造が対応し、例えば検出器２０５は、レンズ構造３２４及び３２５からの反射光を受け取る。図４１及び図４２に示す例では、エミッタ１０５からの光が物体（図示せず）によってレンズ構造３２３内に反射され、検出器２０３上に至る。図４１及び図４２には、３つの検出光セグメント、すなわちレンズ構造３２５から外に向かって近接センサの半径方向外向きに投影される光ビーム４１２と、物体によってレンズ構造３２３内に反射される光ビーム４１３と、レンズ構造３２３によって検出器２０３上に向けられる光ビーム４１４とを示す。

図４３は、本発明の実施形態による、近接センサと、そこから投影される光ビームとの簡略側面図である。図４３には、近接センサから半径方向外向きに投影される光ビームと、図４１及び図４２に示す光路の側面断面図とを示す。エミッタ１０５からの光ビーム４１１はレンズ構造３２５に入射し、ここで光ビーム４１２として外向きに方向を変える。

図４４は、本発明の実施形態による、上方から見た近接センサレンズ及び関連する光学部品と、このレンズを通じて投影される光ビームとの簡略図である。図４４には、エミッタ１０５からの光線４１１を平行にして、光線４１４をＰＤ２０５上に集光するように構成されたレンズ３２５の平面図を示す。入射面／出射面３２６の異なる部分が、面３２６を通じて入射するエミッタ１０５からの光線４１１を平行にし、面３２６を通じてＰＤ２０５上に出射する光線４１４を集光するように最適化される。実際には、このエミッタ１０５の反対側の面３２６の部分は凸形であるのに対し、ＰＤ２０５上への集光のために最適化された面３２６の部分は凹形である。従って、面３２６は、凹面と凸面が交互になっている。しかしながら、導光体３２５の残りの面は、入射する光ビーム４１１及び出射する光ビーム４１４の両方に対応し、これらの２組の光ビームは、面３２６のみにおいて異なる表面によって屈折する。

図４５は、本発明の実施形態による、図４４のレンズ３２５及び部品と、このレンズを通じて投影される光ビームとの簡略側面図である。図４５には、エミッタビーム４１１を平行にして入射ビーム４１４をＰＤ２０５上に集光するレンズ３２５を示す。レンズ３２５は、２つの内部平行反射面を形成する折り畳みレンズ構造を有する。折り畳みレンズ構造は、「光学タッチ画面（ＯＰＴＩＣＡＬ ＴＯＵＣＨ ＳＣＲＥＥＮＳ）」という名称の米国特許第９，０６３，６１４号に記載されており、その全体が引用により本明細書に組み入れられる。図４１〜図４５を参照して上述したレンズは、様々な近接センサに、とりわけ図１〜図３９を参照して上述した近接センサ、全体が引用により本明細書に組み入れられる「ハンドル及びダッシュボードの光ベースタッチ制御（ＬＩＧＨＴ−ＢＡＳＥＤ ＴＯＵＣＨ ＣＯＮＴＲＯＬＳ ＯＮ Ａ ＳＴＥＥＲＩＮＧ ＷＨＥＥＬ ＡＮＤ ＤＡＳＨＢＯＡＲＤ）」という名称の米国特許第８，７７５，０２３号に記載されているタッチセンサ式ハンドル、及び全体が引用により本明細書に組み入れられる「光学近接センサを有するドアハンドル（ＤＯＯＲ ＨＡＮＤＬＥ ＷＩＴＨ ＯＰＴＩＣＡＬ ＰＲＯＸＩＭＩＴＹ ＳＥＮＳＯＲＳ）」という名称の米国特許出願公開第２０１５／０２４８７９６号に記載されている自動車ドア用近接センサに使用することができる。

図４６は、本発明の実施形態による、画面の隅部に位置するＬ字形光学近接センサの簡略図である。この実施形態で使用する近接センサは、上述した近接センサのいずれかである。図４６に示す実施形態は、標準的なトラックパッドに適した空間が存在しない場合、又は様々な理由でユーザが表面にタッチしたいと望まない場合、或いは画面の一部にタッチ感度を提供するための非常に安価な代替手段として、ディスプレイ装置上に、とりわけコンピュータモニタ、テレビ、タブレットコンピュータ又はラップトップコンピュータ上にマウストラッキング又はトラックパッド機能を提供する。図４６には、ディスプレイモニタの隅部と、タッチ感知部分の拡大図とを示す。光学近接センサ５１９は、「Ｌ」字形に形成され、画面８３１の隣接する縁部の小区画に沿って位置する。光学近接センサ５１９は、検出面９７１及び９７２によって示すように画面の表面に対して垂直に、すなわち画面に顔を向けたユーザの方に光ビームを投影することにより、光学近接センサ５１９に隣接する画面８３１の２次元部分の上方の空域におけるＸ方向及びＹ方向の動きを追跡する。この空域は、空域内のＸ方向及びＹ方向の動きによって画面上のカーソルの動きの制御、又はスクロール及びズームなどの表示画像の操作を行う仮想トラックパッドとして機能する。いくつかの実施形態では、光学近接センサ５１９が、画面の表面に非垂直な角度で光ビームを投影する。

本発明のいくつかの実施形態では、センサ５１９が、掌又は指などの追跡される手の不均一な表面に基づいてセンサの上方の空域内の手の動きを追跡する。例えば、掌を追跡する際には、掌の表面の異なる部分が投影光を異なる形で反射することによって、センサが掌の異なる部分の動きの方向を識別し、これらの動きを単一方向のジェスチャに組み合わせることができる。

図４７は、本発明の実施形態によるジェスチャ識別方法の簡略フロー図である。本発明の実施形態によれば、図４７の方法は、物体の指向性運動を計算する。近接センサ５１９は、各サンプリング時点ｔにおいて、協働して作動するエミッタ−検出器ペアのうちの複数の局所的最大値を識別する。図４７には、時点ｔ₁、ｔ₂〜ｔ_mにおいてそれぞれ追跡される複数の局所的最大値、ａ、ｂ〜ｎを示す。近接センサ５１９は、一定の時間間隔にわたって各局所的最大値ａ、ｂ〜ｎの同時移動をそれぞれ特定する。近接センサ５１９は、この時間間隔の最後に、これらの同時追跡した動きを単一の全体的な指向性運動に組み合わせ、この全体的な指向性運動をユーザ入力ジェスチャとして解釈する。近接センサ５１９がこれらの動作を行うことに言及しているが、本発明の範囲から逸脱することなく別個のプロセッサが工程の様々な動作を実行することもできる。また、最大値以外の反射値を追跡することもでき、例えば個々の最大値の代わりに、パターンを形成する一群の隣接する反射値を追跡することもできる。これらの複数の追跡パターンを組み合わせて全体的な動きを識別することができる。或いは、追跡した隣接する反射値のパターンを、識別された全体的な物体の動きとして使用する。

ユーザは、画面の上方の２次元スィープジェスチャを用いてカーソル又は画像を２次元で操作することに加え、Ｌ字形近接センサ５１９のＸ軸部分に沿って指をスライドさせることによって、カーソル又は画像をｘ軸に沿って移動させる。同様に、ユーザは、Ｌ字形近接センサのＹ軸部分に沿って指をスライドさせることによってカーソル又は画像をｙ軸に沿って移動させる。ユーザは、画面上のカーソル位置の項目を選択するには、近接センサ５１９上のいずれかの位置で近接センサ５１９をタップするが、このタップは、以前にタッチした位置で行う必要はない。

図４８は、本発明の実施形態によるユーザインターフェイスの簡略図である。図４８には、複数のアイコン又はボタン９７５〜９７７を表示するユーザインターフェイスを示しており、ここでは網掛けによって示すように１つのアイコン又はボタンが選択されている。どのアイコンが選択されるかはユーザの入力によって変化し、例えば網掛けがアイコン９７５からアイコン９７６に動くが、カーソル画像は示していない。この場合、上述したカーソルを動かすためのジェスチャによって、１つのアイコン又はボタンから別のアイコン又はボタンに選択が移動する。従って、図４８では、近接センサ５１９によって左から右へのスィープジェスチャが検出され、これに応答して選択がアイコン９７５からアイコン９７６に移動する。上述したように、センサ５１９は、斜めのスィープジェスチャなどの２次元ジェスチャも検出し、ユーザの手などの物体が画面に向かって動いているか、それとも画面から離れて動いているかに基づいて接近ジェスチャもさらに検出する。これによって３次元のジェスチャが検出される。

図４９は、本発明の実施形態による、ディスプレイ縁部の小区画に沿って位置する、表示パラメータを調整する光学近接センサの簡略図である。この実施形態で使用する近接センサは、上述した近接センサのうちのいずれかである。図４９に示すモニタ８３１は、その底縁部の小区画に沿って位置する近接センサバー５２０を有する。近接センサバー５２０からの光ビームは、画面の表面と平行に向けられて検出領域９７３を形成する一方で、画面８３１の残りの部分は、非タッチ感知部分９７４を形成する。画面８３１上の検出領域９７３内には、輝度及びコントラストなどのモニタパラメータを調整するためのコントロール９８１及び９８２が提供される。例えば、ユーザは、メインメニュー９８１において、輝度、コントラスト、色及び音量の中から調整すべきパラメータを選択することができる。図４９では、ユーザがメニューオプション９８３をタップして輝度を選択している。このタップに応答して、メインメニュー９８１は、検出領域９７３内でスライダコントロール９８２に置き換わり、ユーザは、スクロールノブ９８４をスライダバーに沿って右にドラッグして輝度を高め、左にドラッグして輝度を下げることができる。

別のユーザインターフェイスには、図５０〜図５８によって説明する、車両内に取り付けられたディスプレイ又はＨＵＤのためのＧＵＩがある。このＧＵＩは、（ｉ）アプリケーションカードを通じた文脈的ナビゲーション、並びに（ｉｉ）ネストレベルのメニュー及びリストを用いた階層的ナビゲーションという、ＧＵＩオプションを通じた２つの異なるナビゲーションモードを提供する。

図５０、図５３、図５４及び図５７は、本発明の実施形態による、車載インフォテインメントシステムＧＵＩのフローチャートである。また、図５１、図５５、図５６及び図５８は、本発明の実施形態による、図５０、図５３、図５４及び図５７の車載インフォテインメントシステムＧＵＩのスクリーンショットである。図５０に示すように、ステップ１０２０において、使用頻度の高いメディア、電話、ナビゲーション、及びユーザに関するその他の文脈的イベントを表す複数のアプリケーションカードがディスプレイ上に配置される。いくつかの実施形態では、これらのカードが、ディスプレイを越えて延びる行内に配置され、ユーザは、ステップ１０２１〜１０２４に示すように、カードの行をパンして、カードをディスプレイの内外に動かす。ユーザは、あるアプリケーションカードをタップして、ＧＵＩ内のアクティブなアプリケーションとして選択する。

図５１に、ディスプレイ８３１を横切って水平行内に配置されたアプリケーションカード９８６〜９８８を示す。

再び図５０を参照すると、ステップ１０２５〜１０２７において、ＧＵＩは、アプリケーションカードの行内でディスプレイの中央に挿入されたカードの形で通知を示し、行内の他のカードを左又は右に動かす。図５２は、本発明の実施形態による、図５０、図５１及び図５３〜図５８の車載インフォテインメントシステムＧＵＩで使用される通知カードを示す図である。図５２には、着信の通知カード９８５を示す。ユーザは、着信の拒否などの通知の却下を行うには、図５３のステップ１０４１〜１０４３のようにディスプレイ上で上向きスワイプを行う。ユーザは、着信の受け入れなどの通知の受け入れを行うには、図５３のステップ１０４４及び１０４５のようにディスプレイ上でタップを行う。

再び図５０を参照すると、ステップ１０２８〜１０３０において、ユーザがディスプレイの方に手を伸ばしたことなどの、ディスプレイに近付いたことに応答して、現在アクティブなアプリケーションカードの文脈的オプションのリストが表示される。図５１のリスト項目９００〜９０２は、現在アクティブなアプリケーション９８７のこのような文脈的リストを示すものである。

図５４に、ＧＵＩ内で文脈的リストが開かれた時の挙動を示す。ユーザは、ステップ１０５２〜１０５５のように左右にスワイプすることにより、引き続き文脈的アプリケーションカードの行をナビゲートすることができる。ステップ１０５１において、このようなナビゲーション中、文脈的オプションのリストは、どのアプリケーションカードがディスプレイの中心に存在するかによって変化する。ステップ１０５６及び１０５７において、リスト項目をタップすることによってその項目がアクティブになる。

再び図５０を参照すると、ステップ１０３１〜１０３３において、ＧＵＩは、ディスプレイの下部がタップされたことに応答して、ネストレベルのメニュー及びリストを用いた階層的ナビゲーションを提供する。このタップ時には、アプリケーションカードの文脈的ナビゲーションと、ネストレベルのメニュー及びリストを用いた階層的ナビゲーションとが同時に提供される。従って、ユーザは、アプリケーションカードを通じていずれかのアプリケーションにアクセスして有効にするとともに、一連の階層的メニューを通じて同じアプリケーションを有効にする。

図５５に、ディスプレイ８３１の下部がタップされたことに応答して開く、カテゴリ項目９０４〜９０８を含む主要メニューバー９０３を示す。いずれかのカテゴリ項目９０４〜９０８をタップすると、選択されたカテゴリ内のサブカテゴリを提示してディスプレイを上側部分と下側部分とに分割する二次メニューバーがディスプレイ８３１内に開く。

図５６に、主要メニューバー９０３と、選択された主要カテゴリ９０６に関連する二次カテゴリ９９７〜９９９を含む二次メニューバー９９６とを示す。文脈的アプリケーションカード９８６〜９８８は、二次メニューバー９９６の上方でサイズが縮小し、依然としてこれまで通りにナビゲートして選択することができる。このことを図５７のステップ１０８０〜１０８７に示す。図５６、並びに図５７のステップ１０７５及び１０７６に示すように、二次メニューバー９９６内のいずれかの二次カテゴリをタップすると、二次メニューバー９９６の下方の関連オプション、とりわけ９７８〜９８０のリストが開く。図５７のステップ１０７７及び１０７８に示すように、いずれかのリスト項目をタップすると、その項目が有効になる。

図５８に、アプリケーションカードの文脈的ナビゲーションと、ネストレベルのメニュー及びリストを用いた階層的ナビゲーションとが同時に示されている時の着信通知を示す。二次メニューバー９９６の上方のアプリケーションカード内に通知カード９８５が挿入される。ユーザは、着信の拒否などの通知の却下を行うには、二次メニューバー９９６上で上向きスワイプを行う。ユーザは、着信の受け入れなどの通知の受け入れを行うには、通知９８５をタップする。

上記の明細書では、特定の例示的な実施形態を参照しながら本発明を説明した。しかしながら、これらの特定の例示的な実施形態には、本発明の幅広い趣旨及び範囲から逸脱することなく様々な修正及び変更を行えることが明らかであろう。従って、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮すべきである。

１０５ 光源
２０５ 検出器
３２５ レンズ
３２６ 入射面／出射面
４１１ 光線
４１４ 光線

Claims (13)

1. 近位物体を識別する近接センサであって、
   ハウジングと、
   前記ハウジング内に取り付けられて、前記ハウジングから外に光を検出ゾーンの中に投影する複数の光エミッタと、
   前記ハウジング内に取り付けられて、作動時に到達する光の量を検出する複数の光検出器と、
   前記ハウジングの第１のエッジに沿って、取り付けられた複数のレンズであって、
   Ｌで示す各レンズは、前記検出器のうちのＤ１及びＤ２で示す２つのレンズに対し、前記レンズＬに光が鋭角の入射角θ１で入射する時には、前記レンズＬに入射する前記光が光検出器Ｄ１において最大限に検出され、前記レンズＬに光が鈍角の入射角θ２で入射する時には、前記レンズＬに入射する前記光が光検出器Ｄ２において最大限に検出されるように位置付けられるレンズ、と、
   エミッタ−検出器ペアを同期して作動させるとともに、前記光エミッタ及び前記光検出器に接続されたプロセッサと、を備え、
   前記プロセッサは、
   各エミッタ−検出器ペア（Ｅ、Ｄ）について、前記ペア（Ｅ、Ｄ）が作動した時に検出器Ｄによって検出された反射光の量に基づいて反射値Ｒ（Ｅ、Ｄ）を求め、前記ペア（Ｅ、Ｄ）に対応する前記検出ゾーンにある目標位置ｐ（Ｅ、Ｄ）に前記反射値Ｒ（Ｅ、Ｄ）を関連付け、
   前記求められた反射値Ｒ（Ｅ、Ｄ）と前記目標位置ｐ（Ｅ、Ｄ）に対応する、画素位置ｐにおける反射値Ｒｐのピクセルイメージを生成し、
   前記ハウジングの前記第１のエッジの方向に対して最も外側に存在する、前記反射値Ｒ _p が指定閾値を上回る２つの画素位置ｐ ₁ 及びｐ ₂ を識別し、
   対応する画素位置ｐ＊における最大反射値Ｒ＿ｍａｘ _p* をさらに識別し、
   ｐ ₁ からｐ＊までの距離と、ｐ ₂ からｐ＊までの距離とを合計することによって、
   前記検出ゾーンにある物体の部分的輪郭のサイズを計算するように構成される、
   ことを特徴とする近接センサ。
2. 露出したタッチ面の縁部に隣接して位置し、これによって前記検出ゾーンが前記タッチ面上で該タッチ面を横切っており、前記光検出器によって検出された光の量に基づいて、前記タッチ面と相互作用する物体を検出するようになっている、請求項１に記載の近接センサ。
3. 前記光検出器間に、光検出器Ｄ１に到達するθ１とは異なる角度でレンズＬに入射する光を遮断するバッフルをさらに備える、
   請求項１に記載の近接センサ。
4. 前記光検出器間に、光検出器Ｄ２に到達するθ２とは異なる角度でレンズＬに入射する光を遮断するバッフルをさらに備える、
   請求項１に記載の近接センサ。
5. 前記光検出器間に、レンズＬに入射して光検出器Ｄ１及びＤ２に到達し、前記光検出器以外のいずれの光検出器にも到達しない光を制限するバッフルをさらに備える、
   請求項１に記載の近接センサ。
6. 各光検出器Ｄは、第１のレンズＬ１についてＤ＝Ｄ１であるとともに、レンズＬ１に隣接する第２のレンズＬ２についてＤ＝Ｄ２であるように位置付けられる、
   請求項１に記載の近接センサ。
7. 前記光エミッタ、前記光検出器及び前記レンズは、各エミッタＥにつき、前記物体がＥに対応する目標位置ｐ（Ｅ）に位置する時に、エミッタＥによって放出された前記光が前記物体によって前記レンズに向かって逆反射され、２つの検出器によって最大限に検出されるように配置される、
   請求項１に記載の近接センサ。
8. 近位物体を検知する方法であって、
   検出器Ｄと、それぞれが異なる検出器間に位置する複数のエミッタＥとを含むストリップを準備するステップと、
   各エミッタ−検出器ペア（Ｅ、Ｄ）について、該ペア（Ｅ、Ｄ）に対応する目標位置ｐ（Ｅ、Ｄ）に物体が位置する時に、エミッタＥによって放出された光が前記物体によって散乱されて検出器Ｄによって最大限に検出されるように前記エミッタ及び検出器が配置されたエミッタ−検出器ペア（Ｅ、Ｄ）を同期して協働的に作動させるステップと、
   各エミッタ−検出器ペア（Ｅ、Ｄ）について、前記同期して協働的に作動させるステップによって前記ペア（Ｅ、Ｄ）が作動した時に検出器Ｄによって検出された反射光の量に基づいて反射値Ｒ（Ｅ、Ｄ）を求め、該反射値Ｒ（Ｅ、Ｄ）を、前記ペア（Ｅ、Ｄ）に対応する前記目標位置ｐ（Ｅ、Ｄ）に関連付けるステップと、
   前記求められた反射値Ｒ（Ｅ、Ｄ）及び前記目標位置ｐ（Ｅ、Ｄ）に対応する、画素位置ｐにおける反射値Ｒｐの２次元ピクセルイメージを生成するステップと、及び、
   前記ピクセルイメージに基づいて前記物体の部分的外周を推定するステップと、
   を含み、
   前記物体の部分的外周を推定するステップは、
   前記ストリップの方向に対して最も外側に存在する、前記反射値Ｒ _p が指定閾値を上回る２つの画素位置ｐ ₁ 及びｐ ₂ を識別するステップと、
   対応する画素位置ｐ＊における最大反射値Ｒ＿ｍａｘ _p* をさらに識別するステップと、 ｐ ₁ からｐ＊までの距離と、ｐ ₂ からｐ＊までの距離とを合計するステップと、
   を含むことを特徴とする方法。
9. １又は２以上の目標位置ｐの各々は、それぞれの複数の反射値Ｒ（Ｅ、Ｄ）を有する複数のエミッタ−検出器ペア（Ｅ、Ｄ）に対応し、前記求めるステップは、前記反射値のうちの最大値をＲ_pに割り当てるステップを含む、
   請求項８に記載の方法。
10. １又は２以上の目標位置ｐの各々は、それぞれの複数の反射値Ｒ（Ｅ、Ｄ）を有する複数のエミッタ−検出器ペア（Ｅ、Ｄ）に対応し、前記求めるステップは、前記反射値の平均値をＲ_pに割り当てるステップを含む、
    請求項８に記載の方法。
11. 前記物体の部分的外周を推定するステップは、前記合計するステップの前に、
    ｐ₁、ｐ₂及びｐ＊に隣接する画素位置におけるそれぞれの目標位置に対応するさらなる反射値を識別するステップと、
    前記目標位置における前記反射値に基づく各目標位置の重みを用いて、ｐ₁、ｐ₂及びｐ＊に隣接する画素位置における目標位置のそれぞれの加重平均ｐ＿ａｖｇ₁、ｐ＿ａｖｇ₂及びｐ＿ａｖｇ＊を計算するステップと、
    をさらに含み、前記合計するステップは、ｐ＿ａｖｇ₁からｐ＿ａｖｇ＊までの距離と、ｐ＿ａｖｇ₂からｐ＿ａｖｇ＊までの距離と、を合計する、
    請求項８に記載の方法。
12. 前記ピクセルイメージを生成するステップの後であって前記識別するステップの前に、各エミッタＥについて、
    前記エミッタＥが光を放出する方向における画素位置の線に沿った前記反射値Ｒ_pを分析するステップと、
    前記線に沿った対応する画素位置ｐ＊における最大反射値Ｒ＿ｍａｘを識別するステップと、
    前記画素位置の線に沿って前記ストリップからｐ＊よりもさらに離れた画素位置ｐにおいてＲ_p＝０を設定するステップと、
    をさらに含む請求項８に記載の方法。
13. 前記２次元ピクセルイメージを生成するステップの後であって前記識別するステップの前に、各検出器Ｄについて、
    前記検出器Ｄが反射光を最大限に検出する方向における画素の線に沿った反射値Ｒ_pを分析するステップと、
    前記線に沿った位置ｐ＊における最大反射値Ｒ＿ｍａｘを識別するステップと、
    前記画素の線に沿って前記ストリップからｐ＊よりもさらに離れた画素位置ｐにおいてＲ_p＝０を設定するステップと、
    をさらに含む請求項８に記載の方法。