JP5331887B2

JP5331887B2 - 複数のカメラを有するタッチスクリーンディスプレイ

Info

Publication number: JP5331887B2
Application number: JP2011526843A
Authority: JP
Inventors: サッグズ・ブラッドレイ
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2008-09-15
Filing date: 2008-09-15
Publication date: 2013-10-30
Anticipated expiration: 2028-09-15
Also published as: GB201104407D0; WO2010030296A1; GB2475212A; DE112008003983T5; US8593434B2; GB2475212B; BRPI0822675B1; BRPI0822675A2; JP2012503230A; TW201011616A; CN102160018A; CN102160018B; US20110134036A1

Description

本発明は、複数のカメラを有するタッチスクリーンディスプレイに関する。

「タッチスクリーン」は、ディスプレイであり、ディスプレイ領域内において、例えば、指による接触の存在および位置を検出することができる。
タッチスクリーンの能力は、抵抗、弾性表面波、容量性、赤外線、歪みゲージ、拡散レーザイメージング、光学イメージング、分散信号技術および音響パルス認識を含む技術範囲により可能にされる。
タッチスクリーンは、マウスまたはトラックパッドのような別のデバイスを必要とすることなくユーザ入力を可能にする。
これらのデバイスとは異なり、タッチスクリーンは、ユーザが、間接的よりむしろ、スクリーン上に直接表示されるものと、それが表示されている場所でやりとりすることを可能にする。

タッチスクリーンは、携帯電話、ＰＤＡ（複数可）、デジタルオーディオプレーヤーおよびナビゲーションユニットのような小さなデバイスに急速に組み込まれている。
大きなタッチスクリーンディスプレイもまた、キオスクおよび他の商業環境において急速に普及している。
しかしながら、デスクトップコンピュータ用のディスプレイは、通常タッチスクリーンの能力を提供していない。

ヒューレッド・パッカード社から入手できるタッチスマート（登録商標）コンピュータは、明らかな例外である。
タッチスマートコンピュータは、タッチスクリーンディスプレイを含み、タッチスクリーンディスプレイにより、視覚的に特徴付けられている。
ディスプレイの上方角の赤外線エミッターは、反対方向のディスプレイベゼルにより通常反射される光を放射する。
線形検出器アレイ（Linear detector arrays）は、その反射およびあらゆる影を検出し、接触を三角法的に（trigonometrically）位置付ける。
タッチスクリーンの能力は、コンピュータのコストを著しく増大させる。

本発明は、複数のカメラを有するタッチスクリーンディスプレイを提供する。

本発明の一形態は、２次元に拡張する平面ディスプレイスクリーンと、末端部のオブジェクトを見るための前記ディスプレイスクリーンに対して平行よりも、より直角に拡張する視界を有する複数のカメラと、タッチスクリーンの光を、前記ディスプレイスクリーンに沿った方向から、前記カメラに向かう方向へリダイレクトするための反射器と、前記タッチスクリーンの光に応答して、前記カメラによって生成された画像の機能として前記ディスプレイスクリーンに最も近いオブジェクトの前記ディスプレイスクリーンに関連する２Ｄ位置を位置付けるビデオプロセッサとを備えるディスプレイシステムを提供する。

本発明の特徴および利点だけでなく、それについての追加の特徴および利点についても、次の図面と併用される本発明の好ましい実施形態の以下の詳細な記載の結果としてより明確に理解される。

本発明の一実施形態に応じたタッチスクリーンディスプレイを組み込んでいるコンピュータシステムの概略図である。センサーがステレオウェブカメラとして使用されることを許可する「ウェブカメラモード」ポジションにおける反射器を備える図１のディスプレイの概略の上面図である。センサーがタッチスクリーンの能力を生じさせるために使用されることを許可する「タッチスクリーンモード」ポジションにおける反射器を備える図１のディスプレイの概略の上面図である。本発明の一実施形態に応じた方法のフローチャートである。

これらの図面は、本発明の実装／実施形態を表現し、本発明そのものを表現するのではない。

本発明は、１組のウェブカメラ（例えば、１組の線形アレイセンサーの代わりに）を使用することを提供し、タッチスクリーンの機能性を提供する。
コスト削減は、規模の経済（economies of scale）によって達成される。ウェブカメラセンサーは、例えば、いくつかのタッチスクリーンの実装に用いられる線形アレイセンサーよりも費用が少なくてすむ。
カメラもまた、ウェブカメラとして利用されることができ、ステレオイメージング（stereo imaging）および３Ｄジェスチャーコントロール（3D gesture control）を提供するので、コストパフォーマンスはさらに向上される。

本発明の一実施形態に応じたオールインワンコンピュータＡＰ１が、図１に示される。
コンピュータＡＰ１は、ステレオカメラ１１Ｌおよび１１Ｒを有し、ステレオカメラ１１Ｌおよび１１Ｒは、１）タッチスクリーンの機能性、および、２）ウェブカメラの機能性、言い換えれば、イメージング、および、ディスプレイ上の指またはスタイラスペン（stylus）の位置の追跡のために用いられる。
例示の実施形態は、オールインワンコンピュータ（モノリシック（monolithic）なユニットとしてのコンピュータおよびディスプレイ）に関連する一方、他の実施形態は、コンピュータそのものとは分離したディスプレイに関連する。

オールインワンコンピュータＡＰ１は、筺体１３、プロセッサ１５、コンピュータ可読の記憶媒体１７（メインメモリ、ディスクおよびフラッシュベースの記憶装置を含む）、マルチイメージビデオプロセッサ１９およびディスプレイスクリーン２１を含む通信（Ｉ／Ｏを含む）デバイスを含む。
筺体１３は、ディスプレイスクリーン２１のためのフレーム２３を提供し、フレーム２３は、図２および図３で示されるガラス板２５を含む。
フレーム２３およびディスプレイスクリーン２１は、逆反射のベゼル２７により架橋される。

カメラ１１Ｌおよび１１Ｒは、ディスプレイスクリーン２１のそれぞれの上方角２９Ｌおよび２９Ｒの近くのガラス板２５の下に位置する。
カメラ１１Ｌおよび１１Ｒ（図１）は、それぞれ視界３１Ｌおよび３１Ｒ（図２）を有する。
視界３１Ｌおよび３１Ｒは、通常外側に向いていて、ステレオウェブカメラとしての使用および３Ｄジェスチャーコントロールに要求されるような予期されたユーザの位置に向かって視界が集中するように、視界の共通の中心に向かう傾斜を伴う。
たとえ傾斜していても、視界３１Ｌおよび３１Ｒは、ディスプレイスクリーン２１（の２Ｄ表面）に対して平行よりも、より直角である。
これは、カメラ１１Ｌおよび１１Ｒが、オブジェクトが撮像され得るようにディスプレイスクリーン２１に対して中心にあり、ディスプレイスクリーン２１から少なくとも１歩離れたオブジェクトから「オブジェクトの光」を検出することを可能にする。

カメラ１１Ｌおよび１１Ｒがタッチスクリーンとしての機能のために用いられることができるように、アイリッド（eyelid）反射器３３Ｌおよび３３Ｒが視界３１Ｌおよび３１Ｒを遮蔽する位置にそれぞれ移動し得る。
これらの位置において、反射器３３Ｌおよび３３Ｒは、ディスプレイスクリーン２１（そして、視界３１Ｌおよび３１Ｒの範囲内ではない）に沿ったベゼル２７から到着する「タッチスクリーン」の光を引き起こし、カメラ１１Ｌおよび１１Ｒそれぞれに向かってリダイレクトされる。
一実施形態において、この光は、放射性（emissive）のベゼル表面により与えられる。
例示の実施形態において、この光は、カメラ１１Ｌおよび１１Ｒそれぞれとおおむね共同設置された点光源の赤外線エミッター３５Ｌおよび３５Ｒにより与えられる。
この場合、ベゼル２７は、エミッター３５Ｌ，３５Ｒからの入射光３４が、最小の散乱でベゼルによりエミッターに向かって戻るタッチスクリーンの光３６として反射するという点において、逆反射である。
アイリッド反射器３３Ｌおよび３３Ｒは、それぞれ装置３７Ｌおよび３７Ｒ（図３）を有し、装置３７Ｌおよび３７Ｒを介して、エミッター３５Ｌおよび３５Ｒからの光が、逆反射のベゼル２７の反対側に向かってリダイレクトされる。

各エミッター３５Ｌ，３５Ｒは、赤外光３５を放射し、ベゼル３７の２つの向かい側に赤外光を向かわせる。
より具体的には、エミッター３５Ｌは、逆反射のベゼル２７の下側３８Ｂ（図１）および右側３９Ｒに赤外光を向かわせる一方、エミッター３５Ｒは、ベゼル２７の下側３９Ｂおよび左側３９Ｌに赤外光を向かわせる。
エミッター３５Ｌおよび３５Ｒおよびベゼル２７は、視界３１Ｌおよび３１Ｒの中ではない（図２）。
したがって、図２に示されるようなウェブカメラモードポジションにおける反射器３３Ｌおよび３３Ｒで、エミッター３５Ｌおよび３５Ｒにより放射された赤外光３４も、ベゼル２７により反射された赤外光３６も、カメラ１１Ｌおよび１１Ｒに影響を与えることはない。
赤外線カットフィルタ４１Ｌおよび４１Ｒ（図２）は、カメラ１１Ｌおよび１１Ｒに到着している光を、カメラ１１Ｌおよび１１Ｒが、人間が見るものおよび赤外光によりつぶされていないものにより近い画像を供給するような可視光に制限する。

カメラ１１Ｌおよび１１Ｒは、ビデオプロセッサ１９に接続され、ビデオプロセッサ１９は、カメラからのデジタル信号処理を行う。
ビデオプロセッサ１９は、反射器３３Ｌおよび３３Ｒの位置を検出し、タッチスクリーンモードおよびウェブカメラモードを区別する。
ビデオプロセッサ１９は、内部ＵＳＢ接続を使用して、他のコンピュータコンポーネントと通信する。
代替の実施形態において、ＩＥＥＥ１３９４（ファイアワイヤー）または他のプロトコル接続が用いられる。
３Ｄジェスチャーサブモードにおいて、処理は、ステレオイメージを、コンピュータＡＰ１が、そのときに、命令として解釈し、命令として対応し得る変位マップ（a displacement map）（距離情報）に削減する。

ディスプレイスクリーン２１に沿って伝送している光は、接触している、または、そうでなければディスプレイスクリーン２１に十分に近いオブジェクトによりブロックされ得る。
コンピュータＡＰ１が、タッチスクリーンモード（視界３１Ｌおよび３１Ｒを遮蔽している反射器３３Ｌおよび３３Ｒを備えた）であるときに、ビデオプロセッサ１９は、現れた影を検出し、位置付けることができる。
ビデオプロセッサ１９は、カメラ１１Ｌおよび１１Ｒにより見られる変わり目（breaks）（影）の位置を比較することにより、オブジェクトの２Ｄディスプレイスクリーンの位置を三角法的に決定する。

媒体１７は、コンピュータ可読のデータ、および、メディア上でエンコードされたコンピュータが実行可能な命令のプログラムを有する。
このようなプログラムの１つは、タッチスクリーン／ウェブカメラモードのコントローラ４３であり、コントローラ４３は、ユーザがコンピュータＡＰ１に対するウェブカメラモードと、タッチスクリーンモードとの間を切り換えるインタフェースを提供する。
ユーザがタッチスクリーンモードに切り替えるときに、反射器３３Ｌおよび３３Ｒは、１１Ｒとなるよう視界３１Ｌおよび３１Ｒに移動し、そして、視界３１Ｌおよび３１Ｒを遮蔽する。
ユーザは、反射器３３Ｌおよび３３Ｒを、ウェブカメラ位置（図２）、視界３１Ｌおよび３１Ｒの外に移動させることにより、ウェブカメラモードを選択することができる。
例示された実施形態において、反射器３３Ｌおよび３３Ｒは、ユーザにより手動で移動し、その移動は、モードコントローラ（mode controller）４３により検出される。
代替の実施形態においては、反射器は、モードコントローラソフトウェアにより、モーター化（motorized）され、制御される。

ユーザは、ビデオプロセッサ１９により提供されるいくつかのモード間を選択することができ、１）タッチスクリーンモードにおいて、ビデオプロセッサ１９は、接触位置を判断する；２）ローモード（raw mode）において、ビデオプロセッサ１９は、１組の未加工のビデオ信号を提供する；２Ｄウェブカメラモードにおいて、１組の未加工のビデオ画像（多くはウェブカメラモードのため）；３）２Ｄウェブカメラモードにおいて、ビデオプロセッサ１９は、未加工の画像を組み合わせて、結合された２Ｄビデオ画像を提供する；４）３Ｄウェブカメラモードにおいて、ビデオプロセッサ１９は、未加工のビデオ画像を組み合わせて、３Ｄ画像を提供する；５）３Ｄ命令モードにおいて、ビデオプロセッサ１９は、未加工のビデオ画像を組み合わせて、どれが命令に変換され得るかをジェスチャーする。
後者のモードは、タッチスクリーンコントロールの代替としてコンピュータＡＰ１のジェスチャーベースのコントロールを提供する。
このジェスチャーベースのコントロールは、モードレス（反射器３３Ｌおよび３３Ｒを位置に移動させる必要がない）であることができ、タッチスクリーンコントロール（長期間タッチスクリーン操作のために腕を伸ばしているときに、不快に感じ始めている人々がいる）よりも快適であり得る。

本発明に応じた方法ＭＥ１が、図４においてフローチャートとされる。
ステップＭ１において、ユーザは、タッチスクリーンモードＭ１１と、ウェブカメラモードＭ２１との間でモードを切り替える（例えば、反射器３３Ｌおよび３３Ｒを手動で移動させることにより）。
タッチスクリーンモードＭ１１への切り替えの場合に、ステップＭ１２において、反射器３３Ｌおよび３３Ｒは、カメラ１１Ｌおよび１１Ｒの視界３１Ｌおよび３１Ｒそれぞれを遮蔽するように移動する。
加えて、赤外線エミッター３５Ｌおよび３５Ｒが作動し得る。
ステップＭ１３において、反射器３３Ｌおよび３３Ｒは、ディスプレイスクリーン２１に沿った経路、したがって、ディスプレイスクリーン２１に対して直角よりも、より平行な経路から、ディスプレイスクリーン２１に対して平行よりも、より直角な経路まで、光をリダイレクトする。
もし、指またはスタイラスペンまたは類似のオブジェクトが、ディスプレイスクリーンに接触する、または、少なくともディスプレイスクリーンに接近すると、指またはスタイラスペンまたは類似のオブジェクトは、ディスプレイスクリーンに直角よりも、より平行に伝送されている光を遮断する。
このような場合、ステップＭ１４において、影はビデオ画像の中で検出され得る。
ステップＭ１５において、それぞれのカメラ画像における影の位置は、ディスプレイスクリーンに対するオブジェクトの２Ｄ位置を位置付けるために用いられ得る。
ステップＭ１６において、この位置情報は、２次元ジェスチャー（タッチ、スライドなど）が命令に解釈（命令に変換）され得るように、ジェスチャーを解釈するために用いられ得る。

ステップＭ１において、ユーザがウェブカメラモードＭ２１に切り替える場合に、ステップＭ２２において、反射器３３Ｌおよび３３Ｒは、それぞれのカメラの視界３１Ｌおよび３１Ｒの外に移動する。
加えて、エミッター３５Ｌおよび３５Ｒが止められ得る。
反射器３３Ｌおよび３３Ｒを除去することは、ディスプレイスクリーンに平行よりも、より直角に伝送された光が、ステップＭ２３において、リダイレクトされることなくカメラ１１Ｌおよび１１Ｒに到達することを可能にする。
これは、ステップＭ２４において、末端部の（distal）オブジェクト、例えば、ユーザの頭の複数のビデオ画像が生成されることを可能にする。
ステップＭ２５において、複数の画像が組み合わせられ、統合された２Ｄまたは３Ｄのビデオ画像を生成し得る。
加えて、ステップＭ２６において、ビデオ画像において検出された３Ｄジェスチャーは、命令（"ｓｅｌｅｃｔ"，"ｍｏｖｅ"など）に変換され得る。

ここに記載された技術は、１）タッチスクリーン技術に対して広く利用可能で経済的な（ウェブカメラ）カメラを使用すること、および、２）他の目的（例えば、３Ｄジェスチャー入力を加えたウェブカメラの機能性）に対して用いられるべきタッチスクリーンコンポーネント（例えば、カメラ）を手配することによって、タッチスクリーン技術の限界費用の削減を提供する。
タッチスクリーンおよびジェスチャー機能性の両方を提供することによって、類似のタッチスクリーンコントロールと、新たなジェスチャーコントロール技術との間の架け橋が提供される。

前述の記載は、説明の目的で、特定の実施形態に関して記載されている。
しかしながら、例示の議論は、包括的であることも、発明を開示された厳密な形式に限定することも意図していない。
開示された教示を考えると、多くの変更およびバリエーションが可能である。
実施形態は、発明の本質およびその実用的応用の最善の説明のために選択され、記述され、それによって、他の当業者が、予定された特定の使用に適するような様々な変更を有する発明および様々な実施形態の最善な利用を可能にする。

ここで使用されているように、「タッチスクリーン」は、指、スタイラスペンまたは類似のオブジェクトによって接触されるディスプレイスクリーン上の位置を識別するために用いられる任意の技術に言及する。
いくつかのタッチスクリーン技術が、実際に接触を検出する一方、ここに記載された画像ベースの技術は、その意味で接触ベースではない。
代わりに、本発明は、イメージングにより位置を検出し、画像化されたオブジェクトが、実際にディスプレイスクリーンに接触しているか否かも、ディスプレイスクリーンに十分近いだけでディスプレイスクリーンに沿って伝送された光を遮断するか否かも問題ではない。

ここで、「末端部」は、タッチスクリーンモードにおいて、２Ｄ位置を位置付けるために用いられる光により検出されないディスプレイスクリーンから十分離れていることを意味し、実際には、これは、ディスプレイスクリーンから１センチメートルまたはそれ以上であり得る。
ここで、「近位部」は、タッチスクリーンモードにおいて、２Ｄ位置を位置付けるために用いられる光により検出されるべく接触または十分に近いことを意味する。
一般的には、近位部は、１センチメートル以下である。

本発明は、例示の実施形態に対する多くの代替を提供する。
本発明は、オールインワンおよび分離したコンピュータおよびディスプレイの実施形態を提供する。
本発明は、一般的にコンピュータ（これらはコンピュータコンポーネントを含めてもよいが）であるとみなされていない電化製品、例えば、テレビおよびプリンタのような他のデバイス上のディスプレイパネルに適用され得る。
カメラは、他の場所、例えば、ディスプレイの下方角またはディスプレイの両端に沿った場所に位置されてもよい。
２つ以上のカメラが用いられてもよい。例えば、中央上部または中央下部の第３のカメラが、ディスプレイに接触しているオブジェクトの位置を解決する助けとなり得る。
基準の中心ウェブカメラは、ステレオカメラと組み合わせることができ、タッチスクリーンモードおいて２つの接触の曖昧さを排除する、または、インタフェース論理回路および回路基板のコストを節約するだけでなく、変位マップを改良する。

反射器の形は、当業者により、ベゼルの反対側が反射器によって修正されたカメラの視界の範囲内でなければならないことを前提として決定され得る。
実施形態に依存して、反射器は位置間を平行移動または回転できる。
代替的に、移動不可能な反射器が用いられ得る。
例えば、反射器は、より反射し、より透過的であるように電気的に制御され得る物質であり得る。
他の実施形態において、反射器は、いくつかの光を通し（タッチスクリーンの使用に対して）、いくつかの光が伝送される（ウェブカメラの使用に対して）ことを許可する半透鏡またはビームスプリッターのように作用する。

例示の実施形態において、赤外線放射は、タッチスクリーンモードにおいて用いられ、可視光は、ウェブカメラモードにおいて用いられる。
他の実施形態は、分割スペクトルを活用して、モードレス動作を許可する、または、スペクトルを切り替えることによって、モード切り替えを提供する。
例示の実施形態において、反射器は赤外線カットフィルタとカメラとの間の位置に移動し得る。
代替の実施形態において、エミッターおよびタッチスクリーン機能性は、赤外線スペクトルよりも可視スペクトルを活用する。
このことは、赤外線カットフィルタが、反射器によってカメラから分離されるよりも、カメラと連結することを可能にする。
カメラと共同設置されたエミッターの代わりに、ベゼルが放射性（emissive）（赤外線スペクトルまたは可視スペクトルのいずれか一方）であり得る。
他の実施形態においては、カメラはモードに応じて回転される。この実施形態において、反射器は必要とされない。
例示の実施形態に対するこれらおよび他のバリエーションおよび改良は、本発明によって提供され、本発明の範囲は次の請求項により定義される。

１１Ｌ，１１Ｒ・・・ステレオカメラ，
１３・・・筺体，
１５・・・プロセッサ，
１７・・・媒体，
１９・・・マルチイメージビデオプロセッサ，
２１・・・ディスプレイスクリーン，
２３・・・フレーム，
２５・・・ガラス板，
２７・・・ベゼル，
２９Ｌ，２９Ｒ・・・上方角，
３３Ｌ，３３Ｒ・・・反射器，
３５Ｌ，３５Ｒ・・・赤外線エミッター，
３７Ｌ，３７Ｒ・・・装置，
４１Ｌ，４１Ｒ・・・赤外線カットフィルタ，
４３・・・タッチスクリーン／ウェブカメラモードコントローラ

Claims

２次元に拡張する平面ディスプレイスクリーンと、
末端部のオブジェクトを見るための前記ディスプレイスクリーンに対して平行よりも、より直角に拡張する視界を有する複数のカメラと、
タッチスクリーンの光を、前記ディスプレイスクリーンに沿った方向から、前記カメラに向かう方向へリダイレクトするための反射器と、
前記タッチスクリーンの光に応答して、前記カメラによって生成された画像の機能として前記ディスプレイスクリーンに最も近いオブジェクトの前記ディスプレイスクリーンに関連する２Ｄ位置を位置付けるビデオプロセッサと
を備え、
前記反射器は、
タッチスクリーン状態およびウェブカメラ状態を有し、
前記タッチスクリーン状態においてのみ、前記タッチスクリーンの光をリダイレクトし、
前記ウェブカメラ状態のときに、末端部のオブジェクトからのオブジェクトの光を検出する
ディスプレイシステム。
前記タッチスクリーン状態は、前記反射器のタッチスクリーンの位置に関与し、タッチスクリーンの位置において、反射器が前記視界を遮蔽し、
前記ウェブカメラ状態は、前記反射器のウェブカメラの位置に関与し、ウェブカメラの位置において、反射器が前記視界を遮蔽しない
請求項１に記載のディスプレイシステム。
前記反射器は、ユーザが、前記タッチスクリーンの位置と、前記ウェブカメラの位置との間を移動させるように移動可能である
請求項１に記載のディスプレイシステム。
前記ビデオプロセッサは、３Ｄジェスチャーを命令として解釈することを提供する
請求項１に記載のディスプレイシステム。
ウェブカメラモードと、タッチスクリーンモードのと間を切り換えることを含み、
前記ウェブカメラモードにおいて、
２つ以上のカメラを用いるディスプレイスクリーンからオブジェクトの末端部をイメージングし、
前記オブジェクトのビデオ画像を生成し、
前記タッチスクリーンモードにおいて、
前記ディスプレイスクリーンに対して直角よりも、より平行に移動している光を反射させ、前記光移動が前記ディスプレイスクリーンに対して平行よりも、より直角にリダイレクトされるようにし、光移動が前記カメラに影響を与えるようにし、
前記カメラに影響を与える前記光の機能として、オブジェクトによって接触された前記ディスプレイスクリーンの表面上の位置を決定する
方法。
前記切り替えることは、
ａ）反射器が、前記カメラのそれぞれの視界を遮蔽する位置と、
ｂ）反射器が、前記カメラのそれぞれの視界を遮蔽しない位置と
の間で反射器を移動させることを含む
請求項５に記載の方法。
前記ウェブカメラモードにおいて、前記オブジェクトによる３Ｄジェスチャーを、前記カメラによって取り込まれた複数のビデオ画像の機能として命令に変換すること
をさらに含む請求項５に記載の方法。
前記カメラモードから前記タッチスクリーンモードに切り替えるときに、赤外線エミッターを止めることと、
前記タッチスクリーンモードから前記カメラモードに切り替えるときに、前記エミッターを作動させることと
をさらに含む請求項５に記載の方法。
前記カメラは、前記ディスプレイスクリーンの向かい合う上方角に位置付けられる
請求項５に記載の方法。