JP5608242B2 - 液晶ディスプレイ・デバイスによる赤外線視覚 - Google Patents

Description

従来技術

[0001] ディスプレイ・デバイスは、陰極線管（ＣＲＴ）技術、投射ベースの技術、液晶表示（ＬＣＤ）ベースの技術等のように、画像を表示するために種々の技術を利用することができる。また、一部のディスプレイ・デバイスには、容量検出、抵抗検出、光検出等のような技術を使用して、当ディスプレイの表面における物理的物体のタッチを検出するように構成できるものもある。場合によっては、光検出技術が、更に、ディスプレイの表面付近に置かれた物理的物体の「ほぼタッチ」を検出するように構成することもできる。

[0002] ディスプレイ・デバイスの機能を、赤外線視覚サブシステムのような光検出と組み合わせる計算システムでは、これら２つの技術を統合した結果、１つ以上の機構に障害が起こることもある。一例として、このようなディスプレイ・システムは、投射ベースのディスプレイ・システムを、標準的な赤外線視覚サブシステムと組み合わせることもできる。

しかしながら、投射ベースのディスプレイの使用が、このようなシステムのコストを著しく高くする可能性がある。ＬＣＤディスプレイを使用する方がコスト効率的になり得るが、赤外線視覚を提供するために採用される標準的な構成がＬＣＤバックライトと干渉する可能性がある。その結果、このような干渉を回避するためには、全体的な形状係数を変更することが必要となることもあり、および／またはＬＣＤディスプレイに対する影響を最小限に抑えるためには、種々の光学系(optics)を採用する必要があることもある。このような光学系には、ディスプレイに対してより大きな形状係数を要求する制約（例えば、焦点距離、光路長、被写体深度、焦点深度等）がある可能性がある。更に、このような光学系は、得られる画像の歪み、収差等を増やすかもしれず、高品質撮像用途には向いていないかもしれない。

[0003] 本明細書では、ＬＣＤディスプレイ用赤外線視覚に関する種々の実施形態について開示する。例えば、１つの開示される実施形態は、ディスプレイ・システムを提供する。このディスプレイ・システムは、液晶ディスプレイ・デバイスと、可視光を液晶ディスプレイ・デバイスの内面に向けて送ることによって液晶ディスプレイを照明するように構成されているディスプレイ・バックライトとを含む。更に、ディスプレイ・システムは、波長選択反射器を含む。この波長選択反射器は、ディスプレイ・バックライトと液晶ディスプレイ・デバイスとの間に配置され、液晶ディスプレイ・デバイスの内面に向いた円滑面を有する。波長選択反射器は、ディスプレイ・バックライトからの入射可視光に波長選択反射器を透過させて液晶ディスプレイ・デバイスに到達させるように構成され、更に、液晶ディスプレイ・デバイスの外面上またはその付近にある物体から反射された入射赤外光を、波長選択反射器から反射させて赤外線視覚サブシステムに向かわせるように構成されている。

[0004] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。更に、特許請求する主題は、本開示の任意の部分に記されている任意の欠点または全ての欠点を解決する実施態様に限定されるのでもない。

図１は、ディスプレイ・システム例の一実施形態のブロック図を示す。 図２は、ディスプレイ・システム例の一実施形態を模式的に示す。 図３は、本開示の一実施形態によるタイル状フレネル・レンズ例を模式的に示す。 図４は、オフセット撮像システム例を模式的に示す。 図５は、オフセット撮像システムを有するディスプレイ・デバイス例を模式的に示す。 図６は、オフセット撮像およびタイル状面撮像双方を有する撮像システム例を模式的に示す。 図７は、２つの歪み補正視覚領域を使用する１×２レイアウト例を模式的に示す。 図８は、焦点を補正するが歪んだ２つの視覚領域を使用する１×２レイアウト例を模式的に示す。

[0013] テキスト、画像、写真、ムービー等のようなコンテンツを視覚的に表示するために、ディスプレイ・システムはＬＣＤベースの技術を利用することができる。前述のように、ＬＣＤベースのディスプレイ・システムを、光学タッチ検出に使用されるまたはそれ以外でＬＣＤデバイス上またはその近くにある物体を光学的に検出するための視覚サブシステムと組み合わせると、ある種の設計課題が発生する可能性がある。本開示は、ＬＣＤデバイスと、このＬＣＤデバイスとディスプレイ・バックライトとの間に位置付けられた円滑な波長選択反射器とを採用するディスプレイ・システムを提供する。波長選択反射器および種々の他のコンポーネントは、赤外線視覚サブシステムが、ディスプレイ・バックライトによるＬＣＤ照明と干渉することなく、ＬＣＤパネルの外側またはその付近にある物体を「見る」（検出する）または撮像することを可能にするように配置されている。このようなシステムの種々の実施形態について、以下のように更に詳細に説明する。

[0014] 図１は、ディスプレイ・システム例１００の一実施形態のブロック図を示す。このようなディスプレイ・システムは、例えば、大きなフォーマットの横向きディスプレイ（例えば、テーブル型形状係数）を有するインタラクティブ計算機において利用することができる。他の非限定的な例には、タブレット・コンピューター、壁ディスプレイ、テレビ会議ディスプレイ等が含まれる。ディスプレイ・システム１００は、ＬＣＤデバイス１０２を含む。ＬＣＤデバイス１０２は、ＬＣＤデバイスの外面を見ているユーザー、そしてインタラクティブ・ディスプレイの場合には、対話しているユーザーに、画像を視覚的に表示するように構成されている。インタラクティブ・システムでは、ＬＣＤデバイスの外面は、タッチ入力および／またはジェスチャー入力によって、および／またはＬＣＤデバイスの外面上またはその付近に置かれている物体に基づいて、他の光学的に検出される入力によって、対話処理を可能にするように構成することができる。尚、このような表面は、更に、本開示の範囲から逸脱することなく、基板、膜、皮膜、ディフューザー、ガラス等と共に以前から使用されている追加の層も含むことを認めることができる。

[0015] 加えて、ＬＣＤディスプレイ１０２は、内面、即ち、外面とは反対側の表面を有する。一般に、本明細書で使用される場合、ＬＣＤデバイスの外面とは、ユーザーが見たり対話処理する側を指し、内面とは、見ることができる画像を提供するためにバックライトによって照明される側を指す。これらの画像は、デバイスの外側からユーザーによって見ることができる。したがって、ＬＣＤデバイス１０２の直下に位置付けられたディスプレイ・バックライト１０４は、可視光をＬＣＤデバイス１０２の内面に向けて送ることによって、ＬＣＤデバイス１０２を照明する。このような構成に一例について、図２を参照して更に詳しく説明する。実施態様の中には、ディスプレイ・システム１００においてＬＣＤデバイスを使用することによって、投射ベースのディスプレイ・デバイスを有するディスプレイ・システムと比較して、生産コスト削減が可能になる場合もある。

[0016] 更に、ディスプレイ・システム１００は、赤外線照明源１０６と、赤外光をＬＣＤデバイス１０２の外面上またはその付近にある物体に向けて送るように構成されているサポート・コンポーネントを含むことができる。物体から反射した赤外光は、次いで、物体の画像を得るため、またはそれ以外で処理用入力を受けるために、赤外線視覚サブシステムによって取り込むことができる。以前のシステムでは、共通して、視覚サブシステムの一部を、ディスプレイ・バックライト１０４とＬＣＤデバイス１０２との間に位置付ける必要があった。しかしながら、このような配置では、視覚サブシステムが表示機能を阻害するという状況を生む可能性がある。特に、視覚サブシステムのコンポーネントが、ディスプレイ・バックライト１０４からＬＣＤデバイス１０２に送られる可視光を遮る虞れがある。したがって、ディスプレイ・システム１００は、入射赤外光（例えば、ＬＣＤデバイスの外面上またはその付近にある物体から反射された）を赤外線視覚サブシステム１１０に送るために、ディスプレイ・バックライト１０４とＬＣＤデバイス１０２との間に配置された波長選択反射器１０８を含む。波長選択反射器１０８は、ＬＣＤデバイス１０２の内面に面する円滑な表面と、ディスプレイ・バックライト１０４からの入射可視光に波長選択反射器１０８を透過させてＬＣＤデバイス１０２に到達させるように構成されている波長選択コーティングとを有する。したがって、波長選択反射器１０８は、ＬＣＤデバイス１０２に入射するバックライト量を減らさない。これによって、ディスプレイ・システム１００が、表示機能に対する障害を最小限に抑えつつ、ＬＣＤデバイス１０２と効率的に共存する赤外線視覚サブシステム１１０を設けることができる。

[0017] 加えて、波長選択コーティングは、更に、ＬＣＤデバイス１０２の外面上またはその付近にある物体から反射された入射赤外光を、波長選択反射器１０８から反射させて、赤外線視覚サブシステム１１０に向かわせるように構成されている。一例として、波長選択反射器１０８は、可視光を光学的に透過し赤外光を反射するように構成されているダイクロイック・ミラーを含むことができる。

[0018] 赤外線視覚サブシステム１１０は、そのコンポーネントが、ディスプレイ・バックライト１０４およびＬＣＤデバイス１０２の対応する動作部分の間に現れる全直線光路の外側に位置するように配置されるとよい。何故なら、波長選択反射器１０８は、可視透過光に対しては限られた影響しか及ぼさないからである。ある種の実施態様では、このような配置によって、ディスプレイ・バックライトによるＬＣＤデバイス１０２の照明との干渉を最小限に抑えるという、先に論じた利点が得られる。適した赤外線視覚サブシステムの例には、オフセット撮像システム、傾斜面撮像システム、および屈曲テレセントリック・システムが含まれるが、これらに限定されるのではない。

[0019] ディスプレイ・システム１００に対する可能な使用シナリオには、ＬＣＤデバイス１０２の外面上またはその付近に置かれた物体を検出することが含まれる。赤外線照明源１０６によって赤外光で物体を照明すると、物体に入射した赤外光が、次に、物体から反射されて、ディスプレイ・システム１００を通過して逆方向に波長選択反射器１０８に向かって送られる。物体から反射された入射赤外光を受光すると、波長選択反射器１０８は赤外光を反射し、それを赤外線視覚サブシステム１１０に送る。したがって、赤外線視覚サブシステム１１０は物体の画像を得るか、またそうでなければ、例えば、受光した入射赤外光を画像センサーに送ることによって、入力を光学的に受け取る。このような視覚サブシステムは、オフセット撮像、傾斜面撮像、および／または屈曲光学系(folded optics)を利用することができる。これについては、以下で更に詳しく説明する。

[0020] この使用シナリオでは、表示光の光路は、視覚光とは逆に、ディスプレイ・バックライト１０４から、波長選択反射器１０８を通過し、ＬＣＤデバイス１０２を通過し、見る人の目に向かう。視覚光（例えば、赤外光）の経路は、赤外線照明源１０６からＬＣＤデバイス１０２の外面上またはその付近にある物体に向かう。あるいは、赤外線バックライト・ガイドの代替実施形態では、このような経路は、ＬＣＤデバイス１０２を通過して物体に達することを含むことができる。次いで、物体から反射された赤外光は、逆方向に進んでＬＣＤデバイス１０２を通過し、次いで波長選択反射器１０８で反射され、赤外線視覚サブシステム１１０の視覚光学系によって送られる。実施形態の中には、赤外線視覚サブシステム１１０が、更に、ポスト・プロセッサー１１２を含むとよい場合もある。ポスト・プロセッサー１１２は、画像センサーによって得られた画像を、歪み補正、スティッチング(stitching：貼り合わせ)、および必要に応じた他の処理のために後処理するソフトウェアおよび／またはハードウェアを含むことができる。実施形態の中には、ポスト・プロセッサー１１２が赤外線視覚サブシステム（例えば、傾斜面撮像システムを含む赤外線視覚サブシステム）に結合されているとよい場合もある。

[0021] どのように実施されるかに依存して、ディスプレイ・システム１００の実施形態は、視覚機能を組み込んだ従来のシステムに伴う種々の欠点を克服することができる。例えば、本開示における波長選択反射器および関連のある視覚サブシステムは、光学ウェッジ型導光部（即ち、「スルー・ウェッジ」赤外線視覚システム）に伴う問題を回避または低減することができる。このようなスルー・ウェッジ・システムは、多くの場合、表面粗さや表面リップルのような、光学ウェッジを製造するときに直面する困難さに加えて、材料の均質性および分光(dispersion)の劣化、格子および／またはプリズム状方向変換膜、ダイクロイック・コート格子および／またはプリズム状方向転換膜、屈折効果、ならびにフレネル反射器の使用による追加の屈折によって制限される。本システムの実施形態は、表面上および／またはその付近にある物体を撮像できるだけでなく、ＬＣＤの表面上またはその付近にある電子デバイスの写真を撮るというような、詳細な高解像度撮像を行う能力も有する。更に、ＬＣＤパネル上または直下に配置されたディフューザーを、ポリマー分散液晶（ＰＤＬＣ）ディフューザーのような切り替え可能なディフューザーと交換することにより、非拡散状態の間に撮像するときに、表面から大きく離れた物体およびジェスチャーの撮像を実現することができる。視覚側で更に高い解像度が得られることに加えて、開示される視覚機能の例は、場合によっては、光学ウェッジを採用するシステムよりも低コストで実現することもできる。

[0022] ＬＣＤデバイス１０２に関して、相応しく構成された任意のＬＣＤパネルを利用することができる。例えば、実施形態の中には、ＬＣＤデバイス１０２が偏光ディスプレイを設けるとよい場合もある。一例として、ＬＣＤデバイス１０２上に収色遅延層を積層することができる。他の例として、ＬＣＤデバイス１０２の直後にディフューザーを置くと、偏光をランダム化しやすくするために使用することができ、ディフューザー層の前に収色遅延層と共に使用すると、偏光サングラスとの共用可能というような、追加の利点を得ることができる。

[0023] ディスプレイ・バックライト１０４に関して、ＬＣＤデバイスの均一な照明を維持することは、特にディスプレイのエッジ付近において、課題となることがある。このような非均一性は、ｚ−分離距離による（即ち、ＬＣＤデバイスに垂直なｚ−軸に沿った分離距離）ものと考えられる。したがって、照明の均一性を高めるために、種々のバックライト構成を採用することができる。実施形態の中には、バックライトを拡大し広げてディスプレイのエッジ付近におけるロールオフ(roll-off：減衰)の補充(fill-in)を可能にできる場合がある。実施形態の中には、反射側壁をバックライトのエッジにおいてディスプレイ・パネルまで広げて、無駄な光を反射させてディスプレイ・パネルに戻るように方向を変え、ロールオフを防止し、均一性を維持できる場合がある。このような拡張は、バックライト反射材料の拡張とし、視覚サブシステムの光学系に合わせてしかるべく切除することができる。他の例として、反射側壁が、視覚サブシステムの光学系を収容するように、しかるべき切り欠きを有するのであってもよい。更に他の例として、赤外光を透過し可視光を反射するようにダイクロイック・ミラーを配した側壁を構成することもできるが、これはシステムに追加のコストがかかる場合もある。更に他の例として、ロールオフ効果を大幅に低減するために、ディスプレイ・パネルの外側または内側において、ＬＣＤパネル上ディフューザーを積層することもできる。

[0024] 赤外線照明源１０６に関して、任意の適した赤外線照明システムを利用することができる。このような適したシステムは、フロント・ライト照明、バックライト照明、またはその任意の組み合わせを与えることができる。一例として、２つの逆方向の赤外線ストリップ・ライトを有する積層ディフューザーを使用すると、赤外線照明を与えることができる。ディフューザーの例には、限定ではなく、標準的な光量(volume)のディフューザー、一面ディフューザー、および低パワー・レンズレットの周期的アレイ（ギャップありまたはギャップなし）が含まれる。実施形態の中には、ＬＣＤパネル上において、導波および拡散環境反射によるコントラスト損失を低減するために反射防止（ＡＲ）コーティングをＬＣＤ上におけるフロント・ライトの底面および／またはディフューザーの上面に追加するとよい場合がある。これらは例に過ぎず、赤外線照明をあたえこのような照明をＬＣＤの外面上またはその付近にある物体に送るための広範囲の可能性が存在する。

[0025] 図２は、ディスプレイ・システム例２００の一実施形態を模式的に示し、赤外線照明源２０２は、物体例２０５のような、外面２０４上および／またはその付近にある１つ以上の物体を、赤外線導光部２０６を介して照明する。赤外線照明システムのタイプに依存して、前述のように、ディスプレイは種々の導光部結合方法を含むことができ、これらの方法は、プリズム、プリズム状格子、直接結合、誘導結合などを利用することができる。更に、ディスプレイ・システム２００は、導波路内において赤外光の全内反射を途絶させるために、周期的離間、または不規則的な窪みがある表面のような、赤外光を表面に逃がして物体を照明させる種々の表面構造を利用することができる。

[0026] 表示は、バックライト２１０からの可視光によって照明されるＬＣＤパネル２０８によって与えられる。前述のように、ディフューザー２１２を、物体の照明および／またはバックライトの均一性のために、任意に利用することができる。更に、ＡＲコーティングをフロント・ライトの底面および／またはディフューザーの上面に被着して表示コントラストを改善することもできる。更に、ディスプレイ・システムのタッチ面は、１つ以上の撮像セクションを含むことができ、各撮像セクションはそれ自体の中で連続しており、局在する周期的バンディング(localized periodic banding)によって撮像が損なわれないようにしている。これについては、以下のように、更に詳細に説明する。局在するバンディングとは、二重経路を有するブレード型ウェッジを使用するときに典型的に見られる効果である。サブバンディングは、ウェッジの厚い端部に置かれたフレネル反射器の使用によって発生することがあり、交互のファセットを照明する光のあるパリティだけが、ウェッジに、つまり視覚システムのカメラに受け入れられるようになっている。したがって、交互のファセットを照明する光が受け入れられる場合、その間に光のバンドが消失すると考えられる。ディスプレイ・システム１００はこのようなフレネル反射器を必要としないので、つまりパリティの問題が生じないので、フレネル・レンズの透過を考慮するときであっても、ディスプレイ・システム１００によって撮像される全ての光が実質的に連続的になることができる。

[0027] 更に、フレネル・レンズ・アレイの傾斜を使用しないディスプレイ・システム１００の実施形態は、各タイル状セクション画像の領域が明確に定められているので、自動較正方法、または自己較正方法に対処することができる。したがって、ソフトウェアで画像のスティッチングを行う容易さを改善することができる。

[0028] バックライト２１０とＬＣＤパネル２０８の間に、波長選択コーティングを有する反射シート、即ち、ダイクロイック・ミラー２１４が配置される。ダイクロイック・ミラー２１４は、ＬＣＤパネルへの、次いで視聴者へのバックライトの透過を可能にしつつ、外面上および／またはその付近にある物体から反射する赤外光を反射する。つまり、物体から反射された赤外光がＬＣＤパネル２０８を逆方向に透過して（ＬＣＤパネルの外面からＬＣＤパネルの内面に向かう方向に）ダイクロイック・ミラー２１４に向かう。次いで、ダイクロイック・ミラー２１４は、赤外線視覚サブシステム２１８の視覚光学系２１６が集光するように、受けた入射赤外光を反射する。したがって、ディスプレイ・システム２００は、ＬＣＤパネル２０８と効率的に共存する赤外線視覚サブシステム２１８を設ける。

[0029] つまり、表示のために、可視光の光路がバックライト２１０から、ダイクロイック・ミラー２１４を通り、ＬＣＤパネル２０８を通り、視聴者の目に向かう。赤外線視覚の経路は、赤外線照明源２０２から物体２０５に向かう。次いで、物体２０５から反射された赤外光は、逆に進んでＬＣＤパネル２０８を通り、次いでダイクロイック・ミラー２１４で反射され、赤外線視覚サブシステム２１８の視覚光学系２１６を通過する。次いで、赤外光は画像センサー２２０に送られ、画像センサー２２０から、必要に応じて歪み補正用の後処理ソフトウェア／ハードウェアによる後処理、スティッチング等を行うために、しかるべき電子部品が物体の画像取り込みを可能にする。

[0030] 赤外線視覚サブシステム２１８は、そのコンポーネントが、図２に示すように、バックライト２１０およびＬＣＤパネル２０８の対応する動作部分間に現れる全直線光路の外側に配置されるように位置付けることができる。したがって、赤外線視覚サブシステム２１８は、ＬＣＤパネル２０８の照明を途絶しないように位置付けられている。つまり、赤外線視覚サブシステム２１８をディスプレイ・システム２００に組み込むことによって、ＬＣＤパネル２０８の明るさが低下することはない。以下で、赤外線視覚サブシステム２１８の種々の実施形態について、更に詳しく説明する。

[0031] 実施形態の中には、ディスプレイ・システム２００が、オフセット撮像システムを有する赤外線視覚サブシステムを利用するとよいものもある。このようなシステムでは、画像センサー２２０を「オフセット」して、画像センサー２２０に入射する赤外光の光軸から横方向にずらせて位置付けることができる。センサーを横方向にずらすことによって、画像の共役を合焦するとき、そして歪みを制御するときに役立つことができる。オフセット撮像システム４００の一例を図４に示す。典型的な撮像システムでは、矩形のタッチ領域のような、撮像システムの光軸を中心にして置かれた物体が、この物体の画像共役に撮像される。画像共役は、システムの倍率によって決められるサイズを有するが、なおも撮像システムの光軸を中心にして置かれていることに変わりはない。４０２に示すように、軸からずれた矩形セクションが物体であり、光学システム４０４（包括的な「ブラック・ボックス」として描かれている）によって撮像されるとき、画像共役は、システムの光学倍率によって決定されるサイズを有し続けるが、物体の画像も、４０８に示すように、光軸４０６に対してずらされる。画像共役面は実質的に平行であるので、画像の歪みを最小限に抑えることができる。したがって、オフセット撮像システムでは、画像共役は、双方の画像の焦点を維持し、視座全体（ＦＯＶ）にわたって歪みを制限するように、しかるべきオフセットを有することによって、タッチ面エリアとセンサー領域との間におけるマッピングを維持する。他の例として、図５は、屈曲光学系があるオフセット撮像システムを有するディスプレイ・デバイス例５００を示す。５０２において、赤外線視覚サブシステムを拡大した図が示されている。更に、オフセット撮像システムは、オフセット画像センサー５０４を含む。

[0032] オフセット撮像システムの一例を図２に示す。視覚光学系２１６が、受光した赤外光を画像センサー２２０に送る。矢印２２２で示すように、画像センサー２２０は、画像センサー２２０に入射する赤外光の光軸２２４からずらされている。前述のように、オフセット撮像の使用によって、視覚光学系をバックライトの光路から外すことができ、波長選択コーティングが、可視バックライトと赤外線視覚との組み合わせおよび共存を可能にする。つまり、このような構成は、ディスプレイ・システムが低コスト・ディスプレイを有することを可能にし、更にスリムな形状係数で高品質の低歪み撮像を得ることを可能にする。レンズの複雑さに伴うコストが、単純なレンズの場合に対して、オフセット撮像のために上昇すると考えられるが、このコストは通例たいしたことはない。更に、オフセット撮像の使用により、システムへの歪みの混入を減らすことができる。したがって、追加の後処理内挿補間を減らすことができ、このような後処理において発生する解像度低下の可能性を低下することができる。

[0033] 尚、このようなオフセット視覚システムは、透過性有機発光ダイオード（ＯＬＥＤ）ディスプレイのような、他の二次元パネル・ディスプレイ・デバイスと共に使用してもよいことは、認めることができる。このような透過性ＯＬＥＤは、トランジスタおよび／またはトレース間に開口するスリットを有することができ、これによって約２０％の透過率が可能となり、屈曲光学系を透過性ＯＬＥＤまたはＬＣＤと組み合わせることが可能になる。

[0034] 先に紹介したように、赤外線視覚サブシステムの代替実施形態は、傾斜面撮像システムを含むことができる。このようなシステムでは、画像センサーの面は、物体の面に対して傾けることができる。このようなシステムは、オフセット撮像の場合と比較して、必要とされる視野（ＦＯＶ）の縮小に対処することができるが、歪みを増大させる可能性がある。このようなトレードオフのために、傾斜撮像の使用を可能にするために、ある量の画像歪みをソフトウェアによって補正すること、または光学サブシステムのコストの更なる削減を可能にするためにオフセット撮像と共にある制限された程度の傾斜撮像を受け入れることが現実的であると考えられる。実施形態の中には、傾斜面撮像システムが、画像センサーに入射する赤外光の光束の重心の視野の主軸に整合させたレンズを含むとよい場合がある。更に、傾斜面撮像システムは、光学サブシステムの複雑さおよびコストを多少削減しつつ、容認可能なレベルの歪みを可能とするように、オフセット撮像と傾斜面撮像との組み合わせを含むこともできる。一例として、図６は、オフセット撮像および傾斜面撮像の双方を組み合わせた撮像システム例６００を示す。このようなシステムでは、物体位置６０２が、撮像システム６０６の光軸６０４からずらされており（纏めて「ブラック・ボックス」として描かれている）、物体の画像も、６０８において示すように、光軸６０４に対してずらされている。撮像システム６００は、６１０に示す表面物体面に対する法線に対してずらされている。したがって、６０２における物体面および６０８における画像面は、光軸６０４に対して垂直ではなく、それぞれ、６１２および６１４で示すように、傾けられている。したがって、６０２における物体面および６０８における画像面は、互いに平行ではなく、互いに対して傾けられている。

[0035] 傾斜面撮像システムの場合、赤外線視覚サブシステムは、屈曲光学系によって既に縮小されている形状係数を、更に縮小するように、タイル状に分割することができる（例えば、１×２、２×２、２×３等）。尚、撮像光学系には複数の適した選択肢があることは、認めることができる。傾斜撮像は、歪みと光学系の簡素さとの間に容認可能なトレードオフがある使用シナリオに利用することができる。例えば、傾斜光学系の場合、画像センサー面のしかるべき傾斜を利用することによって、対象エリアから光束の重心に向かってレンズが傾けられているが、表面全体において焦点を維持することができる。しかしながら、このために画像形状に歪みが生じる可能性がある。このような歪みは、後処理において、視覚サブシステムのソフトウェア／ハードウェアによって補正することができる。したがって、傾斜面撮像システムは、更に、画像の歪みを低減するために、画像センサーによって取り込まれた画像を後処理するポスト・プロセッサーも含むことができる。つまり、傾斜面撮像システムの可能な使用シナリオは、レンズ・コストの懸念が、後処理用ソフトウェア／ハードウェアに伴うコストよりも重要である場合であると考えられる。

[0036] 一例として、図７は、オフセット画像システムによってタッチ領域７００を撮像するために、２つの歪み補正視覚領域を使用する１×２レイアウト例を示す。７０２に示すように、視覚システムによって撮像される領域は低歪みを呈する。一例として、図８は、傾斜面撮像システムによってタッチ領域８００を撮像するために、２つの焦点を補正するが、歪んだ視覚領域を使用する１×２レイアウト例を示す。８０２に示すように、視覚システムによって撮像された領域は歪みを呈する。

[0037] 赤外線視覚サブシステムの更に他の代替実施形態では、傾斜画像面を有する屈曲２ｆ_１／２ｆ_２テレセントリック・システムを利用することもできる。しかしながら、このようなシステムは、折り曲げるのが困難なこともある。

[0038] 前述の特徴および実施形態に加えて、バックライトＬＣＤデバイスおよび波長選択反射器を含むディスプレイ・システムには、異なる使用シナリオに対処するために、追加のおよび／または異なる特徴を設けることもできる。以下に種々の例について更に詳しく説明する。

[0039] 場合によっては、前述したディスプレイ・システムのミラーを交互に構成してもよい。例えば、波長選択ミラー（例えば、ダイクロイック・ミラー）を平坦にしてもよく、または図２において２２６および２２８で示すように湾曲させてもよい。湾曲ミラーの場合、このミラーの断面は凹状とし、赤外線視覚システムにおける撮像セクションと同じミラー・セクションを有するとよい。尚、上面のみにダイクロイック・コーティング、または干渉ベース型のコーティングを被覆するので、湾曲の場合を示す線２２６および２２８は、ミラーの本体を示すことだけを意図していることは、認めることができよう。

[0040] 他の例として、ディスプレイ・システムは第２の上位ミラーを含むこともできる。このような副ミラーは、先に論じた（主）ミラーとは別個である。実施形態の中には、この副ミラーが非球面であるとよい場合もある。一例として、このような副ミラーは、図２に示した視覚光学系２１６の一部として設けることができる。このような第２の、上位ミラーは、低い画像歪みも維持しつつ、高いＦＯＶ撮像角度を与えることができる。これはバックライトの光路を外れて位置付けられるので、波長感度を有する必要がなく、最良の光効率のために赤外光に対して高い反射率があればよい。この小さな方のミラーは、金属で作ることができ、またはコスト低減のためには、成形プラスチックで作ることができる。コスト削減および性能向上のためには、代わりにミラーを成形ガラスで作るとよい。このミラーは、メタライズ・コーティング、ダイクロイック・コーティング、または赤外光に対して比較的高い反射率を有する他の光学コーティングを含む光学コーティングを有するとよいが、光学コーティングはこれらに限定されるのではない。尚、凸型または凹型のいずれかである第２の上位ミラーを利用するように、サブシステムを設計することが可能であることは認められてしかるべきであろう。しかしながら、凸型ミラーは、システム・サイズおよび性能におけるトレードオフのために、実施形態によっては望ましい場合がある。

[0041] 赤外線照明システムに関して、赤外線照明は、赤外線フロント・ライト・ガイド照明装置、あるいは赤外線リング・ライト照明装置または側面光照明装置によって設けることができる。この照明装置は、第２ミラー付近というような、サブシステムの光軸に近接して配置され、主ミラー、または赤外線ＬＥＤのアレイによって形成されるような、赤外線バックライトに向けられている。赤外線バックライトを使用する後者の場合、ダイクロイック・コーティングの応答曲線は、高いＡＯＩにおいて赤外光の高い反射を可能にしつつ、同時に低いＡＯＩにおいて赤外光の高い透過を可能にするような角度遷移を有するように選択し、赤外線ＬＥＤアレイからの光が主ミラーを透過してタッチ面において物体を照明することを可能にするとよい。視覚光学サブシステムの受入に一致するのに適した高いＡＯＩの光のみが視覚システムを通過してセンサーに達することができるので、高ＡＯＩを反射し低ＡＯＩを透過するように設計された反射ダイクロイック・コーティングを、赤外線ＬＥＤアレイ・バックライトを使用するような場合には使用するとよい。サブシステムの光軸に近接して置かれた照明装置を使用する場合、赤外線照明装置は、赤外線照明光を一層効率的にタッチ面に送って物体を照明するために、パネルの下においてプリズム状またはタイル状フレネル・アレイのテレセントリック補正を使用するとよい。幾何学的フットプリントおよびフレネル・ファセットを通過する光路のために逆方向ではそれほど効率的ではないが、テレセントリック撮像を行うためにフレネルを使用する場合、ある程度のテレセントリック補正のためにフレネル・レンズを使用しない場合と比較すると、視覚サブシステムに対する効率を高めることができる。構成の中には、視覚収集のときとは逆の方向にバイアスを加えることによって、ライト・ガイド赤外線照明装置から出る赤外光の高いＡＯＩを維持して、視覚システムへの直接照明または後方散乱によるコントラスト損失を回避するというように、性能を改善するおよび／または高い性能を維持することもできる。

[0042] 加えてまたは代わりに、プリズム状またはタイル状フレネル・アレイを使用して、視覚光学系への効率および均一性を高めることができる。タイル状フレネル・アレイの一例が図３に示されており、タイル状フレネル・アレイ２３０の一実施形態が、ディスプレイ・システム２００に含まれている。しかしながら、実施形態の中には、ＬＣＤパネルの付近でディフューザーを使用して、プリズム状またはタイル状フレネル・レンズの使用を減らすまたは避けつつディスプレイ・バックライトの均一性を改善できる場合がある。更に、波長選択、角度感応コーティングを、任意の導光部赤外線照明装置の底面側で使用することもでき、これによって、場合によっては、赤外光の効率およびパワーを増大させることができる。更に、実施形態の中には、ディフューザーが切り替え可能なディフューザーを含み、バックライト・ユニットが「オン」である時間中表示の均一性を維持し、赤外線視覚が表面を検知しているときには光を拡散しないようにすることもできる。この場合、表面よりも上を見て、タッチ面と接触していない物体を検出することができる。第３フェーズまたは状態は、タッチの検出を可能にするように赤外線視覚を検知している拡散状態（ゼロ電圧印加）にあるディフューザーを含むことができる。つまり、ビデオ・レートにおける１フレーム中にある３つの可能なフェーズは、（１）表示のためにディスプレイＬＥＤバックライトがオンになっている拡散状態、（２）ｚ−位置測定のためにディスプレイ・バックライトおよび赤外線視覚取り込みがオンになっている拡散状態静止(diffuse state still)、および（３）表面よりも上を見るために赤外線視覚取り込みがオンになっている非拡散状態。尚、イメージャ／センサーの前に置かれた赤外線通過フィルタを使用することによって、システムは２つのフェーズで、即ち、（１）ディスプレイ・バックライトが「オン」で、タッチ検出のための赤外線視覚を取り込む拡散状態、および（２）ディスプレイ・バックライトが「オフ」で表面よりも上にある物体に対する赤外線視覚を取り込む非拡散状態で、動作できるようになることを認めることができる。このような切り替え可能なディフューザーの使用によって、ジェスチャーの検出が可能になり、テレセントリック・フレネル・レンズまたはフレネル・レンズ・アレイが、赤外線視覚システムまたは赤外線視覚システムのアレイと共に使用される場合に、テレプレゼンスを与えることができる。

[0043] 波長選択反射器（例えば、ダイクロイック・ミラー）に関して、波長選択コーティングは、通例、任意に可視光を透過し、入射する赤外光を反射するように構成されている。したがって、波長シフト対赤外光の入力角度（例えば、８６６ｎｍの波長を有する光）の関係は、通例、赤外線反射領域との重複を回避する可視光透過領域を示すはずである。更に、波長選択コーティングは、応答のシフト対角度の関係を表すように構成することもできる。

[0044] 尚、本明細書において記載した構成および／または手法はその性質上例示であること、そして、多数の変形が可能であることから、これらの具体的な実施形態や例は、限定的な意味で解釈してはならないことは言うまでもない。本明細書において記載した具体的なルーチンまたは方法は、あらゆる数の処理方策の内１つ以上を代表することができる。したがって、図示した種々の動作は、図示した順に行うことができ、他の順で行うことができ、並列して行うこともでき、また場合によっては省略することもできる。同様に、前述のプロセスの順序も変更することができる。

[0045] 本開示の主題は、種々のプロセス、システムおよび構成、ならびにその他の機構、機能、動作、および／または本明細書において開示した特性の全ての新規で非自明のコンビネーションおよびサブコンビネーション、更にはそのあらゆる均等物および全ての均等物を含むものとする。

Claims (14)

1. ディスプレイ・システムであって、
   液晶ディスプレイ・デバイスと、
   前記液晶ディスプレイ・デバイスの内面に向けて可視光を送ることによって、前記液晶ディスプレイ・デバイスを照明するように構成されたディスプレイ・バックライトと、
   前記ディスプレイ・バックライトと前記液晶ディスプレイ・デバイスとの間に配置され、前記液晶ディスプレイ・デバイスの内面に面する円滑表面を有する波長選択反射器と、
   を含み、前記波長選択反射器が、前記ディスプレイ・バックライトからの入射可視光を前記波長選択反射器を透過させて前記液晶ディスプレイ・デバイスに到達させ、前記液晶ディスプレイ・デバイスの外面上またはその付近にある物体から反射した入射赤外光を、前記波長選択反射器から反射させ赤外線視覚サブシステムに向かわせるように構成された波長選択コーティングを有する、ディスプレイ・システム。
2. 請求項１記載のディスプレイ・システムにおいて、前記赤外線視覚サブシステムが、前記ディスプレイ・バックライトおよび前記液晶ディスプレイ・デバイスの対応する動作部分間に現れる全直線光路の外側に配置される、ディスプレイ・システム。
3. 請求項２記載のディスプレイ・システムにおいて、前記赤外線視覚サブシステムが、前記波長選択反射器から送られる赤外光を受光するように構成された画像センサーを有するオフセット撮像システムを含み、前記画像センサーが、前記画像センサー上に入射する赤外光の光軸から横方向にずれて位置付けられた、ディスプレイ・システム。
4. 請求項２記載のディスプレイ・システムにおいて、前記赤外線視覚サブシステムが、前記波長選択反射器から送られる赤外光を受光するように構成された画像センサーを有する傾斜平面撮像システムを含み、前記画像センサーの面に対して垂直な表面、および前記液晶ディスプレイ・デバイスの外面上またはその付近にある前記物体の面に対して垂直な表面の双方が、撮像システムの光軸に対して傾けられた、ディスプレイ・システム。
5. 請求項２記載のディスプレイ・システムにおいて、前記赤外線視覚サブシステムが、オフセット撮像システムと傾斜面撮像システムとを含み、前記赤外線視覚サブシステムが、更に、前記波長選択反射器から送られた赤外光を受光するように構成された画像センサーを含み、この画像センサーが、当該画像センサー上に入射する赤外光の光軸から横方向にずれて位置付けられ、前記画像センサーの面に対して垂直な表面、および前記液晶ディスプレイ・デバイスの外面上またはその付近にある前記物体の面に対して垂直な表面の双方が、撮像システムの光軸に対して傾けられた、ディスプレイ・システム。
6. 請求項５記載のディスプレイ・システムにおいて、前記傾斜面撮像システムが、更に、画像の歪みを低減するために、前記画像センサーによって得られた画像を後処理するポスト・プロセッサーを含む、ディスプレイ・システム。
7. 請求項２記載のディスプレイ・システムであって、更に、前記赤外線視覚サブシステムが、前記ディスプレイ・システムの非拡散状態の間前記液晶ディスプレイ・デバイスの外面よりも実質的に上に位置する物理的物体および手のジェスチャーの内１つ以上を検出することを可能にする切り替え可能ディフューザーを含む、ディスプレイ・システム。
8. 請求項２記載のディスプレイ・システムにおいて、前記ディスプレイ・システムのタッチ面が、１つ以上の撮像セクションを含み、撮像が、前記液晶ディスプレイ・デバイスの外面上、および前記液晶ディスプレイ・デバイスの外面よりも上の内１つ以上に対して実質的にテレセントリックとなり得るように、各撮像セクションが、それ自体の中で連続である、ディスプレイ・システム。
9. 請求項２記載のディスプレイ・システムにおいて、前記赤外線視覚サブシステムが、更に、前記波長選択反射器から送られる赤外光を受光するように構成された画像センサーと、前記画像センサーによって得られた画像を後処理するポスト・プロセッサーとを含む、ディスプレイ・システム。
10. 請求項１記載のディスプレイ・システムにおいて、前記波長選択反射器が、ダイクロイック・ミラーを含む、ディスプレイ・システム。
11. 請求項１記載のディスプレイ・システムであって、更に、前記液晶ディスプレイ・デバイスの外面上またはその付近にある前記物体に向けて赤外光を送るように構成された赤外線照明システムを含む、ディスプレイ・システム。
12. ディスプレイ・システムであって、
    液晶ディスプレイ・デバイスと、
    前記液晶ディスプレイ・デバイスの内面に向けて可視光を送ることによって、前記液晶ディスプレイ・デバイスを照明するように構成されたディスプレイ・バックライトと、
    前記ディスプレイ・バックライトと前記液晶ディスプレイ・デバイスとの間に配置され、前記液晶ディスプレイ・デバイスの内面に面する円滑表面を有するダイクロイック・ミラーであって、このダイクロイック・ミラーが、前記ディスプレイ・バックライトからの入射可視光を前記ダイクロイック・ミラーを透過させて前記液晶ディスプレイ・デバイスに到達させ、前記液晶ディスプレイ・デバイスの外面上またはその付近にある物体から反射した入射赤外光を、前記ダイクロイック・ミラーから反射させるように構成された波長選択コーティングを有する、ダイクロイック・ミラーと、
    前記ディスプレイ・バックライトおよび前記液晶ディスプレイ・デバイスの対応する動作部分間に現れる全直線光路の外側に配置されたオフセット赤外線視覚サブシステムであって、前記ダイクロイック・ミラーから送られる赤外光を受光するように構成された画像センサーを含み、この画像センサーが、前記画像センサー上に入射する赤外光の光軸から横方向にずれて位置付けられた、オフセット赤外線視覚サブシステムと、
    を含む、ディスプレイ・システム。
13. 請求項１２記載のディスプレイ・システムであって、更に、前記液晶ディスプレイ・デバイスの外面上またはその付近にある前記物体に向けて赤外光を送るように構成された赤外線照明システムを含む、ディスプレイ・システム。
14. 請求項１３記載のディスプレイ・システムであって、更に、前記液晶ディスプレイ・デバイスの外面よりも上に配置されており、前記物体およびバックライトの赤外線照明の内１つ以上の均一性を補助するように構成されたディフューザーを含む、ディスプレイ・システム。

Images