JP5432911B2 - 視覚システムにおける周囲光レベルの検出 - Google Patents

Description

本発明は、視覚システムにおける周囲光レベルの検出に関する。

タッチセンサー式装置は、光学的機構、抵抗性機構及び容量性機構を含むがこれらに限定されない、いくつかの異なる機構によって接触を検出できる。いくつかの光学的タッチセンサー式装置は、画像センサーによってタッチ・スクリーンの背面（backside）の画像を捕捉し、次に、スクリーンに配置されたオブジェクト（物体）を検出するために画像を処理することにより、接触を検出する。そのような装置は、スクリーン上のオブジェクトが画像センサーへの入射光を反射することにより当該オブジェクトを検出することができるように、表示画面の背面を照射するための装置内の光源を含み得る。

光学的タッチ・スクリーン装置で見られる１つの困難は、外部（周囲）光と装置内の光源から反射された光とを区別することを含んでいる。一般に、周囲光のレベルが高くなるほど、関心のあるオブジェクトを検出することがより困難になる。周囲光は、コントラストを低減し、オブジェクトから信号を分離することを困難にする背景ノイズ・フロアを形成する。カメラに基づいた周囲光検出は、周囲光源、サイズ、カメラからの距離、入射角、スペクトル分布などの要因に依存して相当に複雑な機能となり得るので、周囲光について画像を補正することは困難をもたらし得る。さらに、そのようなシステムに対する周囲光の影響の測定は、多くの場合において光度計や他のそのような露出計によって行うのは困難となり得る。

従って、光学的タッチセンサー式装置において周囲光を検出する様々な方法が詳細な説明において以下に開示される。例えば、１つの開示される実施例は、表示装置内に配置されたカメラにより表示画面の少なくとも一部の画像を捕捉し、画像中の周囲光が表示画面の動作にとって許容できるレベルにあるか否かを判断することを含む。その後、周囲光レベルが表示画面の動作にとって許容可能か否かを表す視覚表現（visual representation）が表示される。

この概要は、詳細な説明においてさらに以下に述べられている概念のうち選択されたものを単純化された形式で紹介するために提供される。この概要は、特許請求された主題の主要な特徴又は不可欠な特徴を識別するようには意図されず、特許請求された主題の範囲を限定するために使用されるようにも意図されない。更に、特許請求された主題は、本明細書のいずれの箇所に記載されている任意の又はすべての欠点を解決する実施例に限定されない。

光学的タッチセンサー式装置の実施例を示す。 光学的タッチセンサー式装置の実施例上で光る周囲光源の一例を示す。 光学的タッチセンサー式装置の実施例上で光る周囲光源の別の例を示す。 光学的タッチセンサー式装置に入射する周囲光に関する視覚的なフィードバックを提供する視覚的指示（visual indicator）の実施例を示す。 光学的タッチセンサー式装置に入射する周囲光に関するフィードバックを提供する視覚的指示の別の実施例を示す。 周囲光条件に関連する視覚システムの性能を測定する方法の実施例を説明するフロー図を示す。 周囲光条件に関係する視覚システムの性能を測定する方法の別の実施例を説明するフロー図を示す。

光学的タッチセンサー式装置における周囲光許容性（ambient light acceptability）の検出について議論する前に、適切な使用環境の実施例が説明される。図１は、光学的タッチセンサー式装置の実施例の概略的な描写を対話型の（インタラクティブな）表示装置１００の形式で示す。光学的タッチセンサー式表示装置１００は、画像源１０２を有する投影表示システム、及び画像が投影される表示画面１０６を含む。投影表示システムのコンテキストにおいて示されたが、本明細書に記載された実施例はまた、ＬＣＤパネルシステムを含むがこれに限定されない他の適切な表示システムによって実施されてもよいことが認識されよう。

画像源１０２は、ランプ（図示される）、ＬＥＤアレイ又は他の適切な光源などの光源１０８を含む。画像源１０２はまた、図示されたＬＣＤ（液晶ディスプレイ）、ＬＣＯＳ（シリコン上の液晶、liquid crystal on silicon）ディスプレイ、ＤＬＰ（デジタル光処理）ディスプレイ又は他の適切な画像生成要素などの、画像生成要素１１０を含む。

表示画面１０６は、ガラスのシートなどのクリアで透明な部分１１２、及びクリアで透明な部分１１２の上に配置された拡散器（ディフューザー）スクリーン層１１４を含む。図示されるように、ディフューザー・スクリーン層１１４は接触表面として作用する。他の実施例では、表示面に対して滑らかな外観及び感触を与えるために、追加の透明層（図示せず）がディフューザー・スクリーン層１１４上に接触表面として配置されてもよい。さらに、表示画面１０６上に画像を表示するために投影画像源ではなくＬＣＤパネルを利用する実施例では、ディフューザー・スクリーン層１１４は省略されてもよい。

続けて図１を参照すると、表示装置１００は、メモリー１１８及びマイクロプロセッサー１２０を含む電子制御装置１１６をさらに含んでいる。制御装置１１６は、下記に述べられるように、１つ以上の許容可能な周囲光検出又はフィードバック動作を行うように構成された、特定用途向け集積回路（ＡＳＩＣ）（図示せず）、デジタル信号プロセッサー（ＤＳＰ）（図示せず）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを含む、任意の他の適切な電子的構成要素をさらに含んでもよい。メモリー１１８は、本明細書に記載された方法及びプロセスを達成するために装置１００の様々な部分を制御するための、プロセッサー１２０によって実行可能な、メモリー１１８上に格納された命令を含んでもよいことがさらに理解されよう。

表示画面１０６に配置されたオブジェクトを検知するために、表示装置１００は、表示画面１０６の背面全体の画像を得て、かつ画像に現れるオブジェクトの検出のために電子制御装置１１６に画像を提供するように構成された画像センサー１２４を含む。ディフューザー・スクリーン層１１４は、表示画面１０６に接触していないか又は表示画面１０６の数ミリメートル内に位置しないオブジェクトの画像化を回避するのに役立ち、したがって、表示画面１０６に接触しているか又は近接しているオブジェクトのみが画像センサー１２４によって検出されることを保証する助けとなる。

画像センサー１２４は、任意の適切な画像検知機構を含んでもよい。適切な画像検知機構の例は、ＣＣＤ及びＣＭＯＳ画像センサーを含むがこれらに限定されない。さらに、表示画面１０６にわたるオブジェクトの動作を検出するために、画像検知機構は、十分な頻度で表示画面１０６の画像を捕らえてもよい。図１の実施例は１つの画像センサーを示すが、表示画面１０６の画像を得るために１つより多くの画像センサーが使用されてもよいことが理解されよう。

画像センサー１２４は、赤外及び可視の波長を含むがこれらに限定されない任意の適切な波長の光を検出するように構成されてもよい。表示画面１０６に配置されたオブジェクトを検出するのを支援するために、画像センサー１２４は、さらに、表示画面１０６の背面を照射するための赤外光又は可視光を生成するように構成された１つ以上の発光ダイオード（ＬＥＤ）１２６などの光源１２６を含んでもよい。光源１２６からの光は、表示画面１０６に配置されたオブジェクトにより反射され、次に画像センサー１２４によって検出される。可視のＬＥＤとは対照的に、赤外ＬＥＤの使用は、表示画面１０６上に投影された画像の外観を除去するのを回避するのに役立つ。さらに、赤外線バンドパスフィルター１２７は、光源１２６によって放射された周波数の光を通過させ、バンドパス周波数の外の周波数の光が画像センサー１２４に到達するのを防ぎ、それによって、画像センサー１２４に到達する周囲光の量を低減させるために利用されてもよい。

図１はまた、表示画面１０６に配置されたオブジェクト１３０を示している。オブジェクト１３０によって反射された光源１２６からの光は画像センサー１２４によって検出され、それによって、オブジェクト１３０が画面上で検出されることを可能にする。オブジェクト１３０は、指、ブラシ、光学的に可読のタグなどを含むがこれらに限定されない、表示画面１０６に接し得る任意のオブジェクトを表す。

いくつかの使用環境では、周囲光源は、バンドパスフィルター１２７によって通過させられる帯域中の光を放射し得る。「周囲光」という語は、光源１２６からの光以外の光について表すように本明細書において使用される。そのような周囲光源の例は、日光、白熱灯光、ハロゲンランプ光などの広帯域スペクトルの光源を含むがこれらに限定されない。そのような光はバンドパス周波数において十分な強度を有していることがあり、周囲光を光源１２６からの反射光から区別することが困難になる。したがって、そのような周囲光は、表示装置１００に、周囲光を表示画面１０６上のオブジェクトであると誤って識別させることがある。

例えば、図２に示された例示的な環境２００などのいくつかの使用環境は、頭上の白熱灯又はハロゲン電球２１０からの周囲光２２０を含み得る。そのような環境では、表示装置１００の性能は、電球２１０に対する表示装置１００の位置によって影響され得る。そのため、表示装置１００の性能は、矢印２３０によって示されるように、電球２１０からより少ない周囲光２２０が表示画面に達するような位置に表示装置１００を移動させることにより改善され得る。

同様に、図３に示す例示的な使用環境３００などの他の使用環境において、太陽又は他の外部源からの周囲光３２０が表示装置１００上で光ってもよい。この図の中で描かれるように、そのような周囲光は、窓３２５、ドアなどを介して通過することにより表示装置１００に到達し得る。図２に関して上述したように、環境３００中の表示装置の性能は、周囲光３２０を回避するために表示装置１００が移動され得る１つの方向を表す矢印３３０によって示されるように、より少ない外部の周囲光３２０が表示装置に達するような位置に表示装置を移動させることにより改善することができる。

特定の使用環境における過剰な周囲光を回避するように表示装置１００を配置するのに適切な位置をユーザー又はインストーラーが決定するのを支援するために、表示装置１００は、周囲光のレベルを決定して、その後、決定された周囲光のレベルが不満足なものか否かに関して、及び／又はより低い周囲光レベルを備えた使用環境内の位置に表示装置１００を移動させる方法に関して、ユーザーへフィードバックを提供するように構成されてもよい。図４は、周囲光レベル及び周囲光露光を低減するために表示装置を移動させる方向に関してフィードバックを提供するために表示装置１００に表示されてもよい、視覚的指示４０５の１つの実施例を示す。視覚的指示４０５は４つの方向指示矢印を含み、矢印のうちの１つは、他の矢印とは異なる外観を備えた強調された矢印４３０となっている。強調された矢印４３０は、表示装置１００のユーザーに対して、許容できないレベルであると決定された周囲光を回避するために表示装置１００が移動され得る方向を示す。

視覚的指示４０５はまた、複数の強度バー（intensity bar）を含み、うち２つは４１２及び４１４に示されており、検出された周囲光の強さに関連するフィードバックを提供するように構成される。例えば、図４は、検出された周囲光のレベルを示す、バー（棒）４１２までの照らされた３本のより短いバーと、周囲光の潜在的なより高いレベルを示す、バー４１４までのより長い２本の照らされていないバーとを備えるように図示されている。バーの高さはまた、表示画面１０６にわたる周囲光レベルの変化率（すなわち、勾配（グラディエント））の強度を表してもよい。表示装置１００が移動されると、当該装置が移動されるにつれて周囲光レベルのフィードバックを提供するために、照らされた強度バーの数はリアル・タイムで更新される。強度バーは、表示画面１０６にわたる平均の周囲光レベル、検出された最も高い周囲光レベル又は周囲光強度についての任意の他の適切な測定を表してもよい。他の実施例が、周囲光露光を低減するためにとり得る許容可能な光及び作用のレベルを示すために、音などを含むがこれに限定されない他のシンボル又は視覚フィードバック方法を使用してもよいことが認識されよう。

図５は、表示装置１００に入射する周囲光のレベルに関してフィードバックを提供する視覚的指示５５５の第２の実施例を示す。図示された視覚的指示５５５は、表示画面１０６の図的表現５６０を含む。表示画面１０６の図的表現５６０は、表示装置１００にわたる周囲光強度の描写を、等高線５６５及び５８５によって分離された周囲光強度領域５７０、５８０及び５９０の単純な表現として示している。周囲光強度の領域５７０、５８０及び５９０は、許容可能な周囲光のレベル、許容できない周囲光のレベル、又は好ましくないが許容できる（又はしきい値）周囲光のレベルに露出される表示装置１００の領域を表す。このように、ユーザー又はインストーラーは、装置に達する周囲光の量を低減するように表示装置１００を移動させる方向を決定することができる。光強度の３つの領域が図５に示されるが、より多くの又はより少ない光強度の領域が示されてもよいことが認識されよう。

図６は、周囲光条件に関連する視覚システムの性能を測定する方法６００の実施例を説明するフロー図を示す。本明細書に示された方法６００及び他の方法は、方法６００を実施するためのプロセッサー１２０によって実行可能なメモリー１１８又は他の適切な機械可読媒体に格納された命令を含むソフトウェアによって、例えば行れてもよいことが認識されよう。

方法６００は、まず、ブロック６１０に示されるように、表示画面の少なくとも一部を照射する周囲光の画像を得るために表示装置内で少なくとも１つのカメラを使用することを含む。次に、ブロック６２０に示されるように、周囲光が表示画面の動作にとって許容できるレベルにあるか否か決定がなされる。その後、ブロック６３０に示されるように、決定された周囲光レベルの許容性に関連する視覚表示が表示装置に表示される。視覚表示は、例えば、検出された周囲光レベルが、適切な表示装置の性能にとって高すぎるかあるいは適切な程度に低いかについて視覚的に表すことができる。さらに、視覚表示は、表示装置に入射する周囲光の量を低減するために表示装置が移動されてもよい方向を示してもよい。このように、表示装置１００は、適切に低い周囲光レベルをもつ位置に移動させることができる。代替的に又は追加的に、周囲光源はより適切なレベルにまで暗くされてもよい。

図７は、周囲光条件に関連する視覚システムの性能を測定する方法７００の別の実施例を説明するフロー図を示す。方法７００は、例えば、使用環境において表示装置１００を設定（インストール）する際に使用されてもよい。ブロック７１０に示されるように、方法７００は、まず、光源１２６によって表示画面１０６を照射し、表示画面１０６上に配置されたブラック・スクリーンによって第１のグレーレベル値を測定し、表示画面１０６上に配置されたホワイト・スクリーンによって第２のグレーレベル値を測定することにより、表示装置１００を較正することを含む。

次に、ブロック７２０に示されるように、しきい値周囲光レベルは、第１及び第２のグレーレベル値を使用して決定される。これは任意の適切な方法で行れてもよい。例えば、しきい値は、ダイナミック・レンジを適切に分割することにより、決定されたブラック・レベル（black level）値より上の、１５−２５パーセントの範囲内の値を含むがこれに限定されない設定量であるように選択されてもよい。さらに、１つより多くのしきい値は、表示画面１０６にわたる周囲光レベルの等高線図表示を生成するために使用されてもよい。しきい値周囲光レベルを決定するこの方法は、しきい値レベルを決定する１つの適切な方法の一例にすぎず、他の方法が他の実施例において使用されてもよいことが認識されよう。例えば、いくつかの実施例では、視覚システムは、能動的な周囲光取り消しスキーム（cancellation scheme）を有していてもよい。これらの能動的な周囲光取り消しスキームの実施例は、システムにおいて使用される画像センサーを飽和させない周囲光レベルで正確に動作するが、画像センサーを飽和させるのに十分な周囲光レベルで正確に動作しなくてもよい。したがって、いくつかの実施例では、しきい値は、画像センサーの飽和における又はその付近における周囲光レベルに対して設定されてもよい。

続けて図７を参照すると、方法７００は、次に、ブロック７３０に示されるように、周囲光のレベルを決定するために、関心のあるオブジェクトが表示画面１０６上に配置されていない間に、表示装置１００内の画像センサーによって表示画面の１つ以上の画像を得ることを含む。ディスプレイの画像を捕捉した後、ブロック７４０に示されるように、方法７００は、次にスクリーン上の周囲光のレベルをしきい値と比較することを含む。その後、ブロック７５０において、当該方法は、しきい値との比較に基づいて、周囲光レベルが許容可能か否かについての視覚表示を提供する。例えば、図４に示されるように、測定された最も高い周囲光レベル又は平均の周囲光レベルが、周囲光レベルがしきい値レベルよりも上にあるか下にあるかを示す単純な棒グラフ、円グラフ（pie-graph）、温度計スタイルのグラフなどに表示されてもよいし、あるいは、図５に示されるように、マップで表示されてもよい。そのような強度表示は任意の適切な方法で生成されてもよい。例えば、１つの実施例では、複数の勾配（グラディエント）が計算されるように、周囲光レベルのグラディエントは、各ピクセルや、ピクセルのグループなどについて計算される。その後、結果として得られる指向性のベクトルはグラディエントから生成される。指向性ベクトルの一般的な方向は、（図４の矢印４３０などの）強調された矢印で示されてもよいし、指向性ベクトルの大きさは、矢印の長さによって、あるいは画面に表示された１つ以上のグラフィカルなバーの高さによるなどして生成されてもよい。代替的に、グラディエント又は相対的な周囲光レベルは、図５に示されるようなマップに表示されてもよい。さらに、いくつかの実施例は、視覚システムが移動されている間、例えば設定の間に、フィードバックを提供するためにリアル・タイムで視覚表示を提供してもよい。

別の実施例では、スクリーン上の周囲光のレベルをしきい値と比較することは、周囲光レベルがしきい値より上の選択された量を越えるものであるか又はしきい値より下の選択された量を越えるものであるかを決定することを含んでもよい。選択された量は、＋／−５〜１５パーセントの範囲内の割合を含むがこれに限定されない任意の値を有し得る。１つの特定の実施例では、周囲光レベルの第１の視覚表示は、しきい値より１０パーセントを超えて大きいレベルに対して提供され、第２の視覚表示は、しきい値より１０パーセントを超えて小さい周囲光レベルに対して提供され、第３の視覚表示は、しきい値の１０パーセント以内の周囲光レベルに対して提供される。そのような表示の一例は図５に示され、領域５７０はしきい値より１０パーセントを超えて小さい周囲光強度を表し、領域５８０はしきい値の上下１０パーセント以内の周囲光強度を表し、領域５９０はしきい値より１０パーセントを超えて大きい周囲光強度を表してもよい。そのような計算は、効率化のために、個々のピクセルに対して実行されてもよいし、又は（１６×１６又は３２×３２のピクセルブロックのような）ピクセルのブロックに対して実行されてもよい。

本実施例の別の変更においては、第１の視覚表示は赤色であり、第２の視覚表示は緑色であり、第３の視覚表示は黄色であってもよい。他の実施例は、検出された周囲光の異なるレベルを反映するために異なる色を使用してもよい。いくつかの実施例では、色は他の周知の色分けされた強度範囲又は強度等級に対応してもよい。

本明細書においては光学的タッチセンサー式表示装置のコンテキストにおいて開示がなされてきたが、開示された実施例は、任意の他の適切な光学的タッチセンサー式装置のほか、装置の性能を改善するために背景信号補正が実行され得る任意の他の機械視覚装置（machine vision device）においても使用され得ることが認識されよう。

本明細書に記載された構成及び／又は手法は本来例示的なものであり、多数の変更が可能であるので、これらの特定の実施例又は例は、限定的な意味で考慮されるべきものではないことがさらに理解されよう。本明細書に記載された特定のルーチン又は方法は、任意の数の処理戦略の１つ又は複数を表してもよい。そのため、例示された様々な動作は、説明されたシーケンスで実行され得るものであり、同時に、他のシーケンスにおいて、又は幾つかの場合には省略され得るものである。同様に、上述されたプロセスのうちのいずれかの順序は、本明細書に記載された実施例の特徴及び／又は結果を達成するためには必ずしも要求されないが、説明と描写を容易にするために提供されたものである。

本開示の主題は、本明細書に開示された様々なプロセス、システム及び構成、並びに他の特徴、機能、動作、及び／又は特性のすべての新規で非自明な組み合わせ及びサブコンビネーションのほか、それらの任意の及びすべての均等物を含む。

Claims (14)

1. 表示画面、前記表示画面の背面の画像を得るように構成される画像センサー、及び、光源であって該光源からの光が前記表示画面上のオブジェクトによって前記画像センサーに向かって反射されるように前記表示画面の背面を照射するように構成される光源を含む光学的タッチセンサー式表示装置において周囲光を検出する方法であって、
   前記画像センサーによって、前記表示画面の背面の少なくとも一部の画像を得るステップと、
   前記画像中の周囲光レベルが前記画像センサーを介して接触を検知するのに許容できるレベルであるか否かを決定するステップと、
   前記周囲光レベルが前記画像センサーを介して接触を検知するのに許容できるか否かについての視覚表示を表示するステップであって、前記視覚表示は、前記周囲光レベルが許容できない周囲光レベルである場合、前記表示装置を移動させる方向を更に示す、ステップと
   を含む方法。
2. 前記周囲光レベルが前記画像センサーを介して接触を検知するのに許容できるか否かについての視覚表示はリアル・タイムで更新される請求項１に記載の方法。
3. 前記視覚表示は前記表示画面にわたる相対的な周囲光強度のマップを含む請求項１に記載の方法。
4. 前記視覚表示は色分けされ、前記視覚表示における色は相対的な周囲光レベルを表す請求項３に記載の方法。
5. 前記表示装置を移動させる方向は、前記表示画面上の周囲光強度の複数の勾配を決定し、前記勾配から指向性のベクトルを生成することにより決定される請求項１に記載の方法。
6. 表示画面、前記表示画面の背面を照射するように構成された光源及び前記表示画面の背面の画像を得るように構成された画像センサーを含む光学的タッチセンサー式装置を設定する方法であって、
   前記表示画面上に配置したブラック・スクリーンにより第１のグレーレベル値を測定する間に、及び前記表示画面上に配置したホワイト・スクリーンにより第２のグレーレベル値を測定する間に、前記光源によって前記表示画面を照射するステップと、
   前記第１及び第２のグレーレベル値を使用してしきい値レベルを計算するステップと、
   前記画像センサーが前記表示画面の背面の画像を得るステップと、
   前記画像中の周囲光のレベルを決定するステップと、
   前記画面上の前記周囲光のレベルを前記しきい値レベルと比較するステップと、
   前記しきい値レベルとの比較に基づいて、前記周囲光レベルが前記画像センサーを介して接触を検知するのに許容できるか否かについての視覚表示を提供するステップと
   を含む方法。
7. 前記表示画面において前記画面にオブジェクトが配置されていない間に前記表示画面の画像が得られる請求項６に記載の方法。
8. 画面上の周囲光のレベルをしきい値レベルと比較する前記ステップは、
   前記周囲光レベルが前記しきい値レベルより上の選択された量を超えるものであるか又は前記しきい値レベルより下の選択された量を超えるものであるかを比較するステップと、
   前記しきい値レベルより上の前記選択された量を超える周囲光レベルの第１の視覚表示、前記しきい値レベルより下の前記選択された量を超える周囲光レベルの第２の視覚表示、及び前記周囲光レベルが前記しきい値レベルより上の前記選択された量以下であり且つ前記しきい値レベルより下の前記選択された量以上である場合の第３の視覚表示を表示するステップと
   をさらに含む請求項６に記載の方法。
9. 前記しきい値レベルより上の前記選択された量は５〜１５パーセントの範囲内の割合を含む請求項８に記載の方法。
10. 表示画面の画像を得る前記ステップは、前記光源が前記表示画面を照射している間に前記表示画面の画像を得るステップを含む請求項６に記載の方法。
11. 前記視覚表示は前記表示画面上の周囲光レベルのマップ又は前記表示画面上の周囲光レベルの棒グラフによって表示される請求項６に記載の方法。
12. 前記視覚表示はリアル・タイムで更新するように構成される請求項６に記載の方法。
13. 前記しきい値レベルは、前記ブラック・スクリーンにより測定された前記グレーレベル値より上の１５〜２５パーセントの範囲内の値を含む請求項６に記載の方法。
14. 表示画面及び前記表示画面の背面の画像を得るように構成された画像センサーを含む光学的タッチセンサー式装置を設定する方法であって、
    前記画像センサーについての飽和周囲光レベルにしきい値レベルを設定するステップと、
    前記画像センサーが前記表示画面の背面の画像を得るステップと、
    前記画像中の周囲光のレベルを決定するステップと、
    前記画面上の前記周囲光のレベルを前記しきい値レベルと比較するステップと、
    前記しきい値レベルとの比較に基づいて、前記周囲光レベルが前記画像センサーを介して接触を検知するのに許容できるか否かについての視覚表示を提供するステップとを含む方法。

Images