JP4960606B2 - 対話式ディスプレイ・システムの較正 - Google Patents

Description

本発明は、一般的に言えば、画像が投影される対話式テーブルに関連して使用される対象感知システムの光学較正に関するものであり、より詳しく言えば、対話式テーブル上に置かれた対象を感知するために用いられる赤外（ＩＲ）光源およびカメラによって生成される光学ひずみを補償することと、対話式テーブルの表面に接触しているユーザの指先のＩＲ反射率に関する接触閾値を判定することとに、関するものである。

接触反応型ディスプレイは、パーソナル・データ・アシスタンツ（ＰＤＡ）、タブレット型パソコン（ＰＣ）上で、さらには、ＰＣにつなぐことのできるモニターとして、使用される。しかしながら、かかるディスプレイのほとんどは、単に圧力作動型であるか、または、ディスプレイ面の周辺まわりに光センサを採用する。ディスプレイ面に接触している対象を対話式に検出するために、光学視覚システムを用いた技術により、別種の接触反応型ディスプレイが開発された。これらの例には、「メタデスク：有形ユーザ・インターフェースのモデルと試作品」、ＵＩＳＴ会報第１０号、１９９７年、１４〜１７ページにおいてブリッグ・ウルマーおよびヒロシ・イシイによって報告された通りの、ＭＩＴメディア・ラボによって開発された「メタデスク」と、ソニー・コンピュータ・サイエンス・ラボラトリーのジュン・レキモトらの共著によって発表された幾つかの論文において開示された通りの、ディスプレイ面とがある。

既に開発済みのもののような対話式ディスプレイ・システムは、通常、表面に画像を投影するためのプロジェクタと、表面上の対象を検出するための視覚システムとを含む。これらの対話式ディスプレイ・システムに関する参考文献では、投影画像と視覚システムとの位置合わせに関する情報は、ほとんど提供されない。対話式ディスプレイ・システムを使用する際、望ましい対話体験であれば、ディスプレイ面上に表示された仮想制御ボタンのような仮想（投影）対象に、ユーザが接触したことに、システムが適切に反応することを保証するだろう。しかしながら、投影画像中の仮想制御ボタンの位置が、視覚システムによって感知されたユーザの指の位置と適切に位置合わせされていない場合、対話式ディスプレイ・システムは、正確に反応しない。視覚システムの光学エラーを補正して、対象がディスプレイ面に接触している位置の正確な判定を、視覚システムが提供できるようにしなければならない。例えば、視覚感知システムでの広角レンズの使用は、バレル歪曲を引き起こす可能性が高い。ディスプレイ面上の対象を検出するために用いられるセンサが表面の片側にずれて取り付けられた場合、センサのディスプレイ面視野は、台形ひずみを引き起こす。

ディスプレイ面上の対象を検出するために視覚システムによって用いられる照明が不均一な場合、さらなる問題が生じる可能性が高い。と言うのも、不均一な照明は、補償または補正されない場合、ディスプレイ面上の対象の不規則感知を引き起こす可能性が高いためである。視覚システムによって用いられる多数のパターン認識技術は、視覚システムによって絶対画素強度レベルが検出されることを前提としており、視覚システムでの対象の見え方が、表面上での対象の異なる様々な位置において、かかるレベルよりも明るいかまたは暗い場合には、うまく行かない。これらの種類のアルゴリズムの働きが、表面上での対象の位置と無関係であることが重要である。視覚システムは、また、対象がディスプレイ面に接触している場合と、ディスプレイ面に単に近い場合とを、区別することもできるべきである。異なるユーザの皮膚は反射力が異なる可能性が高いので、対話式システムのユーザの閾値レベルを判定して、ディスプレイ面に接触している各ユーザの誤判定を回避するようにすることが必要となる場合がある。

従って、ディスプレイ面に接触しているユーザに対話式ディスプレイ・システムが適切に反応するためには、システムの光学部品類を位置合わせして較正しなければならず、様々な種類のひずみを取り除かなければならず、ユーザ間のばらつきの補償を行わなければならない。明らかに、対話式システムの較正と位置合わせとを自動的に行った後で、対話式システムを工場から出荷することが好ましいだろう。しかしながら、プロジェクタおよび視覚システムの位置合わせは、長い間には変化するか、または、システムが出荷されている間に乱暴な取り扱いを受ける可能性が高い。従って、各対話式ディスプレイ・システムが、工場から出された後で、熟練ユーザまたは技術者によって容易に位置合わせできるようにすることが望ましいだろう。また、ディスプレイ面上へのユーザの接触の閾値を、さりげないやり方で調整して、その処理が実行されていることにユーザが通常気づかないようにすることも望ましいだろう。

同一設計で製造された各対話式ディスプレイ・システムは、名目上、同性能であるはずなので、かかる対話式ディスプレイ・システムの１つに関して判定されたものと同一の、光学ひずみのような影響の補償が、同一設計の残りすべてのシステムのために採用できると思われる。しかしながら、熱膨張変化などを発生する可能性の高い環境下での不可避的な製作公差および差により、特定の対話式ディスプレイ・システムの作動する方法には、必然的にばらつきが生じる。対話式ディスプレイ・システムの異なるユニット間のこれらのばらつきは、かかる対話式ディスプレイ・システムの各々の補償を微調整して対話式ディスプレイ・システムを随時較正するニーズを生む可能性が高い。

このようにして、本発明は、ディスプレイ面上に画像を投影するためのプロジェクタと、ディスプレイ面上の対象を照明するための光源と、ディスプレイ面に接触している対象によってディスプレイ面から反射されて戻った光を受け取るための画像センサを持つ視覚感知システムとを含む対話式ディスプレイ・システムの、エラーを較正して補償するための用途向けに開発された。ある方法を対象とする本発明の１形態では、ディスプレイ面に接触している対象から反射された光の強度に反応して変動する信号が、画像センサから受け取られる。その後、画像センサから受け取られた信号は、エラーを自動的に補償され、補償済み信号となる。その後、視覚感知システムとプロジェクタのうちの一方または両方が、他方およびディスプレイ面に対して位置合わせされる。このステップは重要であり、そのため、ディスプレイ面の画像中の各位置が、ディスプレイ面に向かって投影された画像の同一点に正確に対応する。このようにして、補償済み信号は、ディスプレイ面上に投影される画像を規定するソフトウェア・プログラムへの入力として採用され、そのため、ソフトウェア・プログラムは、プロジェクタによってディスプレイ面上に投影された画像に対する、ディスプレイ面上の対象の位置を正確に検出する。

視覚システムのエラーの１つは、画像センサのレンズによって引き起こされたバレル歪曲である。従って、自動的に補償するステップは、ディスプレイ面上の点を、画像センサによって生成されたバレル歪曲画像中の対応点にマッピングするステップを有する。もう１つのエラーは、ディスプレイ面に対して軸外位置に配置されている画像センサによって引き起こされた台形ひずみである可能性が高い。この場合、ディスプレイ面上の点は、画像センサによって生成された台形ひずみ画像中の対応点にマッピングされる。

対話式ディスプレイ・システムに自動的に適用される別の補償は、ディスプレイ面に接触している対象から反射された光の強度を正規化して、画像センサの地点での光の強度のばらつきを補償することである。これらのばらつきは、例えば、対象から反射された光が光源から異なる長さの経路をたどって画像センサに到達することによって引き起こされる可能性が高い。強度をどのように正規化するかを決めるために、この方法は、ディスプレイ面のおおむね全面にわたって反射シートを動かしながら、反射シートから反射される光の最大強度および最小強度を画像センサで自動的に検出することを規定する。その後、正規化機能は、ディスプレイ面に接触している対象から反射された光に反応する、画像センサからの信号に適用され、正規化機能は、検出された最大強度および最小強度に基づく。

好ましい対話式ディスプレイ・システムでは、光源は赤外（ＩＲ）光を発生させる。標準環境設定では、ディスプレイ面と画像センサとの間に、可動ＩＲフィルタを配置する。可動ＩＲフィルタは、画像センサに可視光が届くのを防止し、そのため、画像センサは、対象を検出する際、ディスプレイ面上の対象から反射されたＩＲ光のみにおおむね反応する。対話式ディスプレイ・システムを較正する際には、ディスプレイ面と画像センサとの間から該ＩＲフィルタを取り除き、視覚システムを較正用環境設定にし、かかる環境設定下で、画像センサは、ディスプレイ面から可視光を受け取りそれに反応する。その後、プロジェクタで様々な画像がディスプレイ面上に投影され、これらの画像は、事前定義パターン、例えば、方眼もしくは網点セット、であるか、または、各々の色成分（赤、緑および青−ＲＧＢ）に関する事前定義レベルを含むことができる。その後、対話式ディスプレイ・システムは、ディスプレイ面の画像に関する、画像センサからの信号が、色成分の期待値および強度または事前定義パターンに対応するかどうかを自動的に検出する。一致しない場合、プロジェクタまたは視覚システムにエラーが存在するという表示が提供される。

プロジェクタは、対話式ディスプレイ・テーブルの裏面に向かって完全白色画像を投影して、ディスプレイ面まわりの周辺領域を照明することができる。（プロジェクタの正面のＩＲフィルタ、または、画像センサの正面のＩＲ通過フィルタを、光／画像経路から取り除いて、画像センサによって生成された画像中で、周辺領域が明白に示すことを可能にすべきである。）その後、画像センサによって生成された、ディスプレイ面の周辺領域の画像を評価して、ディスプレイ面の有効ユーザ境界を判定する。と言うのも、周辺領域の裏面によって反射された光が画像中に明白であり、ディスプレイ面の範囲の表示を、画像センサによって知覚された通りに提供するためである（これによって、画像センサが、受け取った画像を「刈り込」んで有効ユーザ域と等しくすることが効率的に可能になる）。次に、プロジェクタは、複数の位置決め標的をディスプレイ面上に投影する。判定されたばかりの有効ユーザ域内での位置決め標的の位置に基づき、対話式ディスプレイ・テーブルは、画像センサによって生成された画像中の画像内容を移動させることによって、プロジェクタによって生成された投影画像を、有効ユーザ域に位置合わせし、そのため、その画像中の位置決め標的の位置は、判定されたばかりの有効ユーザ域に対して適切な位置に配置される。この技術は、画像センサを投影画像およびディスプレイ面と位置合わせするが、画像センサおよびプロジェクタが、それぞれ、有効ユーザ域よりも、広い範囲を画像化すること、および、広い範囲にわたって投影することを、前提とする。

さらなる代替手段として、間隔をあけた複数の反射マークを、対話式テーブルの裏面の、ディスプレイ面周辺の外側に設けることができる。その後、画像センサによって生成された、これらの反射マークの画像を用いて、画像センサがディスプレイ面と適切に位置合わせされているかどうかを判定することができ、同様に用いて、ディスプレイ面への画像センサの自動位置合わせを推進することもできる。しかしながら、このアプローチは、ディスプレイ面および画像センサとのプロジェクタの位置合わせを評価しないので、システム全体の位置合わせを確認または促進することはない。

事前定義パターンを生成するためには、プロジェクタでディスプレイ画面に向かってテンプレートを投影することが好ましい。適切なテンプレートの例には、位置合わせ方眼、同心円、同心正方形、グレースケールおよび純色が含まれる。その後、対話式ディスプレイ・システムは、ディスプレイ面上のテンプレートの画像がテンプレートとおおむね等しいことを、画像センサからの信号が示すかどうかを自動的に検出する。等しくない場合、システムは、エラーが存在することを表示し、プロジェクタと画像センサのうちの一方または両方に対して位置合わせ調整を行うことによって、エラーを軽減するべきことを表示することができる。これらの位置合わせ較正中には、ディスプレイ面と画像センサとの間に、異なるフィルタを配置することが好ましい。異なるフィルタは、テンプレートがディスプレイ面上に投影されている間、画像センサによって受け取られる、ディスプレイ面からの光を修正するものであり、例えばカラーフィルタであっても良く、または、ＩＲ光と可視光とを用いて画像化する際の画像センサの焦点の差を補償することができる。

別の較正ステップは、ディスプレイ面に接触しているユーザの外肢から反射された光の接触閾値を判定して、異なるユーザの光反射力のばらつきを吸収する。接触閾値を判定するためには、ディスプレイ面上に、ユーザがディスプレイ面に接触するべき領域が表示されることが好ましい。その後、この方法は、画像センサによって検出された領域内の点の強度の増大が、ユーザが領域に接触したことと一致するかどうかを判定することを規定する。一致する場合、接触閾値は、増大後に検出された光の強度と同値に設定される。毎回、ユーザが領域に接触したと思われるたびに、強度のかなりの増大後に反射された光の強度を繰り返し検出することによって、接触閾値を精緻化することが好ましい。その後、ユーザがディスプレイ面に接触したことに反応するソフトウェア・アプリケーションに、接触閾値を採用する。

接触閾値を較正する際、この方法は、領域内の強度がかなり増大した点によって表された形状が、領域に接触しているユーザの期待形状（すなわち、ユーザの指の形状）に一致するかどうかを判定した後で接触閾値を設定することができる。また、対話式ディスプレイ・システムの異なる複数のユーザの各々について、異なる接触閾値を設定することもできる。

本発明の別の形態は、上記で考察された方法のステップを実行するための、機械実行可能命令を記憶する記憶媒体を対象とする。本発明のさらに別の形態は、その上に画像が表示されその上の対象が検出されるディスプレイ面を含む、対話式ディスプレイ・システムを対象とする。ディスプレイ面上の対象を光で照明するための光源が設けられる。視覚感知システムが含まれ、かかるシステムは、ディスプレイ面に接触している対象を、対象から反射されて戻った光を感知することによって感知するための、画像センサを持つ。プロジェクタは、ディスプレイ面上に画像を投影する。また、プロジェクタおよび視覚感知システムにつながれたプロセッサと、複数の機能を実行することによって、対話式ディスプレイ・システムの少なくとも１つの前記エラーを較正して補償するための、ソフトウェア・アプリケーションおよび手順を含めた機械命令を記憶するメモリも、含まれる。これらの機能は、概して、上記で考察された方法のステップに一致する。

図１を参照して、本発明の様々な部分を実施するために適した模範的システムについて示す。システムには、処理装置２１、システム・メモリ２２およびシステム・バス２３を備えた従来型ＰＣ２０の形態で、汎用コンピューティング装置が含まれる。該システム・バスは、該システム・メモリを含めた様々なシステム・コンポーネントを、処理装置２１につなぎ、メモリ・バスまたはメモリ制御器、周辺バスおよびローカル・バスを含め、様々なバス・アーキテクチャのいずれかを使用する幾種類かのバス構造のいずれかであっても良い。該システム・メモリには、読み出し専用メモリ（ＲＯＭ）２４およびランダム・アクセス・メモリ（ＲＡＭ）２５が含まれる。基本入出力システム２６（ＢＩＯＳ）は、起動中に見られるような、ＰＣ２０内のエレメント間の情報転送を助ける基本ルーチンを含むものであるが、かかるシステムは、ＲＯＭ２４に記憶される。さらに、ＰＣ２０は、ハードディスク（図示せず）に対して読み取りおよび書き込みを行うためのハードディスク・ドライブ２７、取り外し可能磁気ディスク２９に対して読み取りまたは書き込みを行うための磁気ハードディスク・ドライブ２８、並びに、読み出し専用メモリ・コンパクトディスク（ＣＤ−ＲＯＭ）またはその他の光媒体のような、取り外し可能光ディスク３１に対して読み取りまたは書き込みを行うための光ディスク・ドライブ３０を含む。ハードディスク・ドライブ２７、磁気ハードディスク・ドライブ２８および光ディスク・ドライブ３０は、それぞれ、ハードディスク・ドライブ・インターフェース３２、磁気ディスク・ドライブ・インターフェース３３および光ディスク・ドライブ・インターフェース３４によって、システム・バス２３にそれぞれ接続される。該ドライブおよびそれらの関連コンピュータ可読媒体は、ＰＣ２０向けのコンピュータ可読機械命令、データ構造、プログラム・モジュールおよびその他のデータの不揮発性記憶を提供する。本願明細書に記載された模範的環境では、ハードディスク、取り外し可能磁気ディスク２９および取り外し可能光ディスク３１が使用されるが、磁気カセット、フラッシュメモリ・カード、デジタル・ビデオディスク（ＤＶＤ）、ベルヌーイ・カートリッジ、ＲＡＭ、ＲＯＭなどのような、コンピュータによってアクセス可能なデータおよび機械命令を記憶することのできるその他の種類のコンピュータ可読媒体もまた、模範的操作環境には使用できることが、当業者によって正しく認識されるだろう。

いくつかのプログラム・モジュールは、オペレーティング・システム３５、１つ以上のアプリケーション・プログラム３６、その他のプログラム・モジュール３７およびプログラム・データ３８を含め、該ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ２４またはＲＡＭ２５に記憶できる。ユーザは、キーボード４０および位置決め装置４２のような入力装置を通じて、ＰＣ２０にコマンドおよび情報を入力し、制御入力を提供することができる。位置決め装置４２には、マウス、スタイラス・ペン、ワイヤレス・リモコンまたはその他のポインタを含んでも良いが、本発明との関連では、かかる従来型の位置決め装置は割愛することができる。と言うのも、入力および制御用に、ユーザが対話式ディスプレイを使用することができるためである。以下で使用される場合、「マウス」という用語は、画面上のカーソルの位置を制御するために役立つ、すべての位置決め装置を実質上含むことが意図される。その他の入力装置（図示せず）には、マイクロホン、ジョイスティック、触覚ジョイスティック、ヨーク、フットペダル、ゲームパッド、衛星放送受信アンテナ、スキャナなどを含んでも良い。これらおよびその他の入出力（Ｉ／Ｏ）装置は、しばしば、システム・バス２３につながれたＩ／Ｏインターフェース４６を通じて、処理装置２１に接続される。Ｉ／Ｏインターフェースという用語は、シリアルポート、パラレルポート、ゲームポート、キーボード・ポートおよび／またはユニバーサル・シリアル・ポート（ＵＢＳ）専用の各インターフェースを含むことが意図される。システム・バス２３は、また、カメラ・インターフェース５９にも接続され、かかるインターフェースは、対話式ディスプレイ６０につながれて、下記で考察される通りに、該ディスプレイに含まれるデジタル・ビデオカメラから信号を受け取る。その代わりに、該デジタル・ビデオカメラは、ＵＢＳバージョン２．０ポートのような、適切なシリアルＩ／Ｏポートにつながれてもよい。任意に、モニタ４７を、ビデオ・アダプタ４８のような適切なインターフェースを介して、システム・バス２３に接続することができる。しかしながら、本発明の対話式ディスプレイ・テーブルの方が、大幅に豊富な表示を提供し、ユーザと対話して情報の入力およびソフトウェア・アプリケーションの制御を行うことができるので、こちらを該ビデオ・アダプタにつなぐことが好ましい。ＰＣがしばしば、スピーカ（音源カードまたはその他のオーディオ・インターフェース（図示せず）を通じて）およびプリンタのような、その他の周辺出力装置（図示せず）につながれることが、正しく認識されるだろう。

本発明は、単一のコンピューティング装置を使用して実行することができるが、ＰＣ２０は、また、リモート・コンピュータ４９のような、１つ以上のリモート・コンピュータへの論理的接続を用いたネットワーク環境でも作動することができる。リモート・コンピュータ４９は、別のＰＣ、サーバ（通常、ＰＣ２０と非常によく似た一般環境設定のもの）、ルータ、ネットワークＰＣ、ピア装置または衛星もしくはその他の共有ネットワーク・ノードであることができ、通常、ＰＣ２０に関連して上記に記載されたエレメントの多数または全部を含むが、図１には、外部メモリ記憶装置５０のみを示した。図１に示した論理的接続には、ローカル・エリア・ネットワーク（ＬＡＮ）５１と広域ネットワーク（ＷＡＮ）５２とが含まれる。かかるネットワーク環境は、オフィス、企業全域コンピュータ・ネットワーク、イントラネットおよびインターネットに共通する。

ＬＡＮネットワーク環境で使用される場合、ＰＣ２０は、ネットワーク・インターフェースまたはアダプタ５３を通じて、ＬＡＮ５１に接続される。ＷＡＮネットワーク環境で使用される場合、ＰＣ２０は、通常、ＷＡＮ５２、例えばインターネット、上に通信を確立するために、モデム５４か、または、ケーブルモデム、デジタル加入者線（ＤＳＬ）インターフェースもしくはデジタル総合サービス網（ＩＳＤＬ）インターフェースのようなその他の手段を含む。モデム５４は、内蔵または外付けであってもよいが、Ｉ／Ｏ装置インターフェース４６を介して、すなわち、シリアルポートを通じて、システム・バス２３に接続されるかまたは該バスにつながれる。ＰＣ２０によって使用されるネットワーク環境、プログラム・モジュールまたはそれらの一部は、該リモート・メモリ記憶装置に記憶することができる。示されたネットワーク接続が模範的なものであること、並びに、無線通信および広帯域ネットワーク回線のような、コンピュータ間に通信回線を確立するためのその他の手段も利用できることが、正しく認識されるだろう。

(模範的対話面)
図２には、フレーム６２内にＰＣ２０を含み、かつ、該コンピュータの光入力装置とビデオ・ディスプレイ装置との両方の機能を果たす、模範的対話式ディスプレイ・テーブル６０が示される。対話式ディスプレイ・テーブルのこの切り取り図では、テキストおよびグラフィック・イメージを表示するために使用される光線は、一様に、点線を用いて記載され、対話式ディスプレイ・テーブルのディスプレイ面６４ａ上またはそのすぐ上方の対象を感知するために使用される赤外（ＩＲ）光線は、破線を用いて記載される。ディスプレイ面６４ａは、対話式ディスプレイ・テーブルの上面６４内に設定される。該テーブル面の周辺は、ディスプレイ面６４ａ上に表示されているグラフィック・イメージまたは仮想環境と対話するために使用できる対象を含め、ユーザの腕またはその他の対象を支持するために役立つ。

ＩＲ光源６６は、複数のＩＲ光放射２極管（ＬＥＤ）からなり、かつ、フレーム６２の内側に取り付けられることが、好ましい。ＩＲ光源６６から発生するＩＲ光は、破線７８ａ、７８ｂおよび７８ｃによって示される通り、ディスプレイ面６４ａの裏面に向かって上向きに向けられる。ＩＲ光源６６からのＩＲ光は、光拡散性のある模造皮紙またはその他の適した半透明材シートからなる該テーブルの半透明層６４ｂを通過した後、該ディスプレイ面上またはその近似地点にある対象から反射される。ただ１つのＩＲ光源６６が示されているが、フレーム６２の内側まわりの間隔をあけた位置に、複数のかかるＩＲ光源を取り付けて、ディスプレイ面６４ａの均等照明を立証できることが、正しく認識されるだろう。該ＩＲ光源によって生成される赤外光は、
・ 破線７８ａによって示された通り、対象を照明することなく、該テーブル面を通過して外に出るか、
・ 破線７８ｂによって示された通り、該テーブル面上の対象を照明するか、または、
・ 破線７８ｃによって示された通り、該テーブル面の上方の近い距離にあるが、該テーブル面に接触してはいない対象を照明する場合がある。
ディスプレイ面６４ａの上方にある対象には、該ディスプレイ面上に載っている「接触」対象７６ａと、該ディスプレイ面に近いが実際に接触はしていない「空中停止」対象７６ｂとが、含まれる。該ディスプレイ面の下の半透明層６４ｂを使用して、該ディスプレイ面を通過するＩＲ光を拡散する結果として、対象がディスプレイ面６４ａ上に近づく時、対象によって反射されるＩＲ光の量は、対象が該ディスプレイ面に実際に接触している時に達成される最大レベルになるまで増加する。

デジタル・ビデオカメラ６８は、ディスプレイ面６４ａの下、フレーム６２内の、ディスプレイ面６４ａの上方に配置された接触対象または空中停止対象から反射されたＩＲ光を受け取るために適した位置に取り付けられる。デジタル・ビデオカメラ６８には、ＩＲ光のみを透過させ、点線８４ａに沿ってディスプレイ面６４ａを通過して入ってくる周辺可視光は遮断するＩＲ通過フィルタ８６ｂが装備されている。ＩＲ光源６６と該デジタル・ビデオカメラとの間には、邪魔板７９を配置して、該ＩＲ光源から直接放射されるＩＲ光が該デジタル・ビデオカメラに入るのを防止する。と言うのも、ディスプレイ面６４ａの上方の近い距離にあるかまたはそれに接触している対象から反射されたＩＲ光のみに反応し、かつ、該ディスプレイ面上またはその上方の対象から反射されたＩＲ光の画像に対応する出力信号を、このデジタル・ビデオカメラが生成することが好ましいためである。デジタル・ビデオカメラ６８はまた、ディスプレイ面６４ａを上から通過して対話式ディスプレイの内部に入る周辺光に含まれるＩＲ光にも、反応することは明らかだろう（例えば、点線８４ａによって示された経路に沿って同様に入ってくる周辺ＩＲ光）。

該テーブル面上またはその上方の対象から反射されたＩＲ光は、
・ 破線８０ａおよび８０ｂによって示された通り、半透明層６４ｂを通過し、ＩＲ通過フィルタ８６ａを通過し、デジタル・ビデオカメラ６８のレンズ中に反射されて戻るか、または、
・ 破線８０ｃによって示された通り、デジタル・ビデオカメラ６８のレンズに入ることなく、該対話式ディスプレイ内のその他の内部表面によって反射もしくは吸収される場合がある。

半透明層６４ｂは、入射ＩＲ光と反射ＩＲ光の両方を拡散する。よって、上記で説明された通り、ディスプレイ面６４ａに近い「空中停止」対象は、該ディスプレイ面から遠い、同一反射力の対象よりも、多くのＩＲ光をデジタル・ビデオカメラ６８に反射して戻す。デジタル・ビデオカメラ６８は、その画像化視野内の「接触」および「空中停止」対象から反射されたＩＲ光を感知し、反射ＩＲ光による画像に対応するデジタル信号を生成し、該信号は、各かかる対象の位置と、任意に、対象のサイズ、方向および形状とを、判定する処理のためのＰＣ２０への入力となる。対象の一部（ユーザの前腕のような）は該テーブルの上方にある一方、別の部分（ユーザの指のような）は該ディスプレイ面に接触している場合があることに注意するべきである。加えて、対象は、その表面下部に、その対象に特有か、または、その対象が属する関連対象分類に特有の、ＩＲ光反射パターンまたはコード化識別子（例えば、バーコード）を含むことができる。それに応じて、デジタル・ビデオカメラ６８からの画像信号は、また、本発明に従って、対象の反射パターンから反射されたＩＲ光に基づき、各かかる特定対象を検出するためにばかりでなく、対象の方向を判定するためにも、使用することができる。この機能を実行するために実施される論理的ステップについては、以下で説明する。

ＰＣ２０は、図２に示された通り、対話式ディスプレイ・テーブル６０と一体化しているか、あるいは、その代わりに、図３の実施形態に示された通り、対話式ディスプレイ・テーブルに外付けされている場合がある。図３では、対話式ディスプレイ・テーブル６０は、データ・ケーブル６３を通じて、外部ＰＣ２０（上記の通りの光学モニタ４７を含む）に接続される。この図にも示されている通り、１組の直交ＸおよびＹ軸だけでなく、「０」によって示された起点もまた、ディスプレイ面６４ａに関連づけられる。詳しくは示されていないものの、各直交軸に沿った複数の座標位置を用いて、ディスプレイ面６４ａ上の任意の位置を示し得ることが正しく認識されるだろう。

対話式ディスプレイ・テーブルが外部ＰＣ２０（図３の通り）か、または、セットトップ・ボックス、テレビゲーム、ラップトップ型コンピュータもしくはメディア・コンピュータ（いずれも図示せず）のようなその他の種類の外部コンピューティング装置かに、接続される場合、対話式ディスプレイ・テーブルは、入出力装置を有する。対話式ディスプレイ・テーブル用の電力は、従来型の交流（ＡＣ）線源（図示せず）につながれた電力導線６１を通じて提供される。対話式ディスプレイ・テーブル６０に接続されるデータ・ケーブル６３は、ＰＣ２０のＵＳＢ２．０ポート、電気電子技術者協会（ＩＥＥＥ）１３９４（またはファイアワイヤ）ポートまたはイーサネット・ポートにつなぐことができる。無線接続の速度が改善され続けているので、対話式ディスプレイ・テーブルはまた、かかる高速無線接続を介してか、または、その他の適切な有線もしくは無線データ通信回線を介して、ＰＣ２０のようなコンピューティング装置に接続できる可能性もあることが検討される。該対話式ディスプレイの一体部分として内部に含まれようと、外付けであろうと、ＰＣ２０は、デジタル・ビデオカメラ６８からのデジタル画像を処理するためのアルゴリズムを実行し、さらに、対話式ディスプレイ・テーブル６０のより直観的なユーザ・インターフェース機能の優れた長所を引き立てて使用するように設計されたソフトウェア・アプリケーションを実行するだけでなく、かかる機能を利用するように特に設計はされていないが、それでも対話式ディスプレイ・テーブルの入出力能力を有効利用することのできる、その他のソフトウェア・アプリケーションもまた実行する。一層さらなる代替手段として、該対話式ディスプレイは、外部コンピューティング装置につなぐことができるが、画像処理と、その時点で外部ＰＣによって行われていないようなその他のタスクとを行うための、内部コンピューティング装置を含む。

対話式ディスプレイ・テーブル（すなわち、上記で考察された実施形態のいずれか）の重要かつ高性能な特徴は、ゲームまたはその他のソフトウェア・アプリケーションのグラフィック・イメージまたは仮想環境を表示し、かつ、ディスプレイ面６４ａ上に見えるグラフィック・イメージまたは仮想環境と、接触対象７６ａのような、該ディスプレイ面上に載っているか、または、空中停止対象７６ｂのような、そのすぐ上方に空中停止している、対象と間の対話を可能にする能力である。対話式ディスプレイ・テーブルの能力は、かかる対象だけでなく、ユーザが動かしているユーザの指またはその他の対象もまた、視覚的に検出するが、かかるその他の対象は、この豊かな対話を大いに促進する。

再び図２に関して、対話式ディスプレイ・テーブル６０は、グラフィック・イメージ、仮想環境またはテキスト情報を、ディスプレイ面６４ａ上に表示するために使用されるビデオ・プロジェクタ７０を含む。該ビデオ・プロジェクタは、解像度が少なくとも６４０×４８０画素の、液晶ディスプレイ（ＬＣＤ）もしくはデジタル・ライト・プロセッサ（ＤＬＰ）型、または、反射型液晶（ＬＣｏＳ）ディスプレイ型であることが好ましい。ビデオ・プロジェクタ７０のプロジェクタ・レンズの正面に、ＩＲ遮断フィルタ８６ｂを取り付けて、該ビデオ・プロジェクタによって放射されたＩＲ光が、対話式ディスプレイ・テーブルの内部に入るのを防止する。入った場合、該ＩＲ光が、ディスプレイ面６４ａ上またはその上方の対象から反射されたＩＲ光に干渉する恐れがある。第１の鏡組立部品７２ａは、点線経路８２ａに沿って該プロジェクタ・レンズから出て来る投影光を導いて、フレーム６２の透明開口部９０ａを通過させ、そのため、投影光は、第２の鏡組立部品７２ｂに入射する。第２の鏡組立部品７２ｂは、経路８２ｂに沿って投影光を、該プロジェクタ・レンズの焦点である半透明層６４ｂに向かって反射し、そのため、見るためのディスプレイ面６４ａ上に投影画像の焦点が合って可視となる。

位置合わせ装置７４ａおよび７４ｂが設けられ、かかる装置には、第１および第２の鏡組立部品の角度調整用のねじ棒および回転式調整留めねじ７４ｃが含まれて、該ディスプレイ面上に投影された画像が該ディスプレイ面と位置合わせされることを保証する。投影画像を所期の方向へ導くことに加えて、これら２枚の鏡組立部品の使用は、プロジェクタ７０と半透明層６４ｂとの間の経路を引き延ばし、より重要なことには、対話式ディスプレイ・テーブルの所期のサイズおよび形状を実現するために役立ち、そのため、対話式ディスプレイ・テーブルは、大きくなり過ぎず、かつ、ユーザがその隣に快適に座ることが可能なサイズおよび形状となる。

(一般較正手順)
図４は、未加工の入力画像を使用可能な画像に変換するために、本発明で用いられる補償および較正ステップを示すフローチャート４００を表す。ステップ４０２において、該ビデオカメラは、該ディスプレイ面に接触しているかまたはその上方に空中停止している対象のＩＲ反射を感知し、該ディスプレイ面の未加工画像に対応する信号を生成する。この未加工画像は、ビデオカメラ・レンズのひずみと、該ディスプレイ面との関係における該ビデオカメラの軸外位置と、ＩＲ光源６６による該ディスプレイ面の不均一なＩＲ照明とによって、悪影響を受ける。加えて、ディスプレイ面６４ａに対するプロジェクタ７０および／またはビデオカメラ６８の位置合わせは、該ディスプレイ面に接触している対象が、該ディスプレイ面に向かって投影された画像に対して正確に位置づけられることを保証するために、調整を必要とする可能性がある。

ステップ４０４では、対話式ディスプレイ・テーブルは、ビデオカメラ６８での広角レンズの使用によって引き起こされた、バレル歪曲を補正する。この種のひずみは、結果として生じた画像の周辺付近の直線が外側に曲がって見えるようにする。このステップで補正されるもう１種類のひずみは、台形ひずみで、これは、該ビデオカメラが該ディスプレイ面の中心軸に配置されず、その代わりに片側にずれて配置され、そのため、該ディスプレイ面の１端が反対の端よりも該ビデオカメラに相対的に近くなるために発生する。この種のひずみは、結果として生じた該ディスプレイ面の画像を台形のような形状にする。対話式ディスプレイ・テーブルは、以下で非常に詳しく説明される通り、よく知られている技術を用いて、バレル歪曲および台形ひずみを補正する。両種のひずみを補償するためのパラメータを計算して使用し、該ディスプレイ面に接触しているかまたはそのそばに空中停止している対象を検出するために用いられる、無ひずみ画像中のすべての点の座標を、未加工画像中の対応点にマッピングする。処理効率を上げるために、補償済み無ひずみ画像中のすべて点を未加工入力画像中の対応点にマッピングするルックアップ表を、オフラインで計算し、その後、同一広角レンズを使用する、同一設計のすべての対話式ディスプレイ・テーブルのために使用することができる。このアプローチでは、リアルタイム画像処理コードは、無ひずみ画像中のすべての整数画素位置の画素強度を計算し、各整数画素位置が未加工画像中の（浮動小数点座標）にマッピングされる箇所を検索する。その後、その地点に双一次補間法を用いて、無ひずみ画像中の各画素位置の最終画素強度を計算する。

ステップ４０６は、該ディスプレイ面に対する該プロジェクタおよびビデオカメラの位置合わせを、補償済み画像を用いて試験して調整することを規定する。たる形および台形ひずみが補償済みの場合、該プロジェクタによって投影された画像中で用いられる座標系間での、カメラによる該ディスプレイ面の画像への変換は、線状である。以下で詳しく考察される通り、テンプレートを使用して、該ディスプレイ面に対する該プロジェクタおよび／または該ビデオカメラの物理的位置合わせの調整を検査して促進することができる。代替手段として、投影変換を用いて、投影画像中の座標を、該ビデオカメラの未加工出力から導き出された補償済み画像の座標に関連づけることができる。実際には、上記で考察された別個のマッピング・手順の代わりに、単に、この機能向けの単一投影変換を用いるだけでなく、また、台形ひずみおよびバレル歪曲を補償することも、好ましい場合がある。

好ましい実施形態では、投影画像と、該ビデオカメラによって生成された画像とは、異なる解像度を持つ。この投影変換のパラメータは、投影画像の各角に隣接した４点の位置を、該ビデオカメラからの補償済み画像中の対応点と比較して判定することによって、計算することができる。該４点は、対話式ディスプレイ・テーブルを用いた対話式ルーチンで判定される。較正ルーチンは、ユーザによって開始され、かかるルーチンでは、該プロジェクタは、該テーブルの１角付近の既知の位置に小さな目印を表示する。この目印をカメラ・システムにとって可視とするために、ユーザは、目印の上にシステムにとって可視の対象を置く。ユーザは、対話式ディスプレイ・テーブルに付属する別個のディスプレイを用いて、補償済み画像を見て、その後、別個のディスプレイ上に見える位置をマウスでクリックすることによって、置かれている対象の位置を指定する。このようにして、投影画像と補償済みビデオカメラ画像との両方の中での、対象の座標を判定する。この処理を、残り３つの角についても繰り返し、投影変換のパラメータを判定する。その後、投影変換および標準双一次補間法を用いて、投影画像に位置合わせされた較正および補償済み画像を作成することができる。

対話式ディスプレイ・テーブルを使用する際の効率的処理を実現するために、無ひずみ較正および補償済み画像のすべての点を未加工画像にマッピングするルックアップ表は、オフラインで計算することができる。さらに、レンズひずみ補償を投影変換と組み合わせ、両種の補償が、たった１つのルックアップ表を用いて同時に適用できるまでにすることができる。

ステップ４０８では、システムは、ＩＲ照明の不均一性を補正する。該ディスプレイ面に置かれた最小反射性の対象が０に近い反射ＩＲ光レベルを生成し、かつ、最大輝度の対象が最大許容値に近い反射ＩＲ光レベルを生成することが不可欠である。所定の反射力の対象が、該ディスプレイ面上のどこに置かれるかに関係なく、調整済み画像中に同一輝度で現れることもまた、不可欠である。ＩＲ光源が該ディスプレイ面上のすべての点から等距離にないので、かつ、対話式ディスプレイ・テーブル内の内部反射により、ＩＲ照明は、該ディスプレイ面全体にわたって均一とはならない。ゆえに、該ディスプレイ面全体のＩＲ光強度を正規化することが必要である。正規化のために用いられるステップの詳細は、以下で考察される。ひずみの補正、位置合わせ、および、ＩＲ強度の正規化の結果、正規化画像が得られ、かかる正規化画像は、その後、ステップ４１０に示された通り、対話式ディスプレイ・テーブルで実行されるソフトウェア・アプリケーションで役立つ。

(たる形および台形ひずみの補償)
図５Ａ、５Ｂおよび５Ｃは、ひずみと、図４に関連して上記で考察された、未加工画像のひずみの補償効果を、模範的なやり方で示す。図５Ａは、たる形と台形との両方のひずみを持つ模範的な未加工画像５０２ａである。ディスプレイ面６４ａ上の座標系を表す、直角に交差する２対の並行線もまた、記載される。図５Ｃに示された補償済み画像５０２ｃ中の各点を、未加工画像５０２ａ中の対応点にマッピングする。完全補償済み画像と未加工画像との間のマッピングは、好ましい実施形態において実際には１ステップで行われるが、図５Ａ〜５Ｃでは、補償が２つの別個のステップで行われるように示される。

図５Ｂでは、図５Ｂの各点を図５Ａの未加工画像中の対応点にマッピングすることによって、図５Ａのバレル歪曲は補正済みであり、台形ひずみ画像５０２ｂが残っている。完全補償済み画像５０２ｃ中の座標は整数値なので、２画像中の対応点間のマッピングには線形補間を用いる必要がある。

図５Ｃでは、完全補償済み画像５０２ｃと台形ひずみ画像５０２ｂとの間で、さらなるマッピングが済んでいる。再び、線形補間を適用して、２画像中の座標点間のマッピングを行う。たる形および台形ひずみに補償を適用した後、その結果として生じた完全補償済み画像が得られる。完全補償済み画像と未加工画像との中の各点間のマッピングは、通常、同一設計のすべての対話式ディスプレイ・テーブルについて、まったく同一である。従って、未加工画像の補償に用いられるマッピング機能は、生産される各かかる対話式ディスプレイ・テーブルに適用することができ、通例、所定の対話式ディスプレイ・テーブルについて再判定する必要はない。よって、該ビデオカメラからの出力信号を処理するために使用される対話式ディスプレイ・テーブル処理モジュールと共に、これらのマッピング機能も含まれる。

(自動位置合わせおよび試験)
図６Ａは、該プロジェクタおよび／またはビデオカメラを該ディスプレイ面と比較し、試験して位置あわせするための実施形態を、模範的なやり方で示す。可視光での投影画像と、該ビデオカメラによって提供された未加工ＩＲ画像から生成された完全補償済み画像とは、異なる波長であり、ゆえに、試験位置合わせと直接的には比較できない。しかしながら、対話式ディスプレイ・テーブルで使用される視覚システムを、標準環境設定から較正用環境設定に変更して、該ビデオカメラが可視光を感知するようにすることによって、該プロジェクタおよびビデオカメラの位置合わせを試験することができ、その結果を、位置合わせ処理を自動化または促進するために使用することができる。

図２に示すＩＲ通過フィルタ８６ａと、多エレメントを有する可動フィルタ６０４ａ（図６Ｂに詳しく示される）を交換する。該可動フィルタは、ＩＲ通過フィルタ６０６ａと焦点補正フィルタ６０６ｂとを含み、該焦点補正フィルタは、可視光がビデオカメラ６８に入ることを可能にし、かつ、該ビデオカメラのレンズの、ＩＲ光と可視光との焦点の差を補正する。標準環境設定では、ＩＲ通過フィルタ６０６ａが、レンズの正面に置かれて、ディスプレイ面６４ａとビデオカメラ６８との間に位置する。位置合わせ処理中、可動フィルタ６０４ａは、較正用環境設定に変更され、かかる環境設定では、補正フィルタ・エレメント６０６ｂが、ビデオカメラ・レンズの正面にスライドされて、可視光が該ビデオカメラに入ることが可能となり、レンズの焦点が変更されて、ＩＲ光のみがレンズに入ることが可能な時の焦点に対応する。プロジェクタ７０からの入射可視光８２を、ディスプレイ面６４ａに向かって投影する。該ディスプレイ面からの可視光６０２は、該可動フィルタの較正用環境設定の該補正フィルタを通過する。このようにして、該ビデオカメラは、該ディスプレイ面上の投影画像を直接見て、投影画像と、該ビデオカメラ出力から導き出された完全補償画像との比較が、対話式ディスプレイ・テーブルによって自動的に行われることを可能にし、自動位置合わせ試験を促進して、該プロジェクタと該ビデオカメラのうちの一方または両方の、該ディスプレイ面に対する位置合わせを調整する。

図６Ｃは、多エレメント回転フィルタ組立部品６０４ｂを示し、該フィルタ組立部品は、ＩＲ通過フィルタ６０６ａ、補正フィルタ６０６ｂ、並びに、色の異なるカラーフィルタ６０６ｃ、６０６および６０６ｅ（例えば、赤、青および緑）を含み、かかるフィルタのいずれもが、ＰＣ２０（図２）の制御下で、手動的または自動的に（該回転フィルタがモーターまたはその他の原動力（図示せず）によって駆動される場合）、該ビデオカメラのレンズの正面の位置へと選択的に回転される。該回転フィルタ組立部品は、該ビデオカメラに物理的には接続されていないので、回転時に不注意により該ビデオカメラにぶつかることはない。ぶつかると位置合わせに悪影響を及ぼす恐れがある。該回転フィルタ組立部品に含まれる該カラーフィルタは、該ビデオカメラのレンズの正面の位置へと回転されて、可視光分光の異なる色に対するカメラ感度を試験することができる。対話式ディスプレイ・テーブルの様々なパラメータを試験して正確に調整することに関連するその他の目的のために、該回転フィルタ組立部品には、その他の種類のフィルタが含まれても良い。

(自動位置合わせ、較正および試験プロセス)
図７は、自動位置合わせおよび試験プロセス７００を、模範的なやり方で示す。ステップ７０２では、該ビデオカメラを、較正モードにするようにユーザに指示するか、あるいは、自動的に、すなわち、該ＩＲ通過フィルタに代わって該補正フィルタ・エレメントを該ビデオカメラのレンズの正面に置くことによって、較正モードにするか、のいずれかである。

ステップ７０４では、ＰＣ２０が、該プロジェクタに事前定義出力を生成させる。例えば、該プロジェクタに命令して、事前定義パターンまたは出力、例えば完全黒色画像、を生成させることができるが、かかる出力では、赤、緑および青の色成分、ＲＧＢはすべて、事前定義レベルに等しく設定される。決定ステップ７０６では、システムは、ビデオカメラ出力を試験して、期待事前定義出力に対応するかどうかを判定する。期待値（すなわち、事前定義パターンまたは事前定義レベルに対応するもの）にすべてが等しいわけではない色成分ＲＧＢをカメラ出力が含む場合、システムは、ステップ７０８において、適用されるエラーメッセージを表示する。その後、プロセスは、７１０に続き、そこで、該プロジェクタまたは該ビデオカメラの手動調整または修理が開始される。

ビデオカメラ出力が期待通りの場合、プロセスは、決定ステップ７０６からステップ７１２ａへと続き、そこで、システムは、所期の各位置合わせ／較正／試験テンプレートを繰り返し処理し始める。これらのテンプレートは、位置合わせ方眼、同心正方形および円、グレー画面並びにその他の事前定義画像を含むことができ、それらは、対話式ディスプレイ・テーブル設定の位置合わせおよびその他のパラメータを試験するために役立つ。図８は、かかる２つのテンプレートを用いて生成された模範的な同心正方形画像８０２および模範的な同心円画像８０４を示す。

図７の任意ステップ７１４では、論理が、該ビデオカメラのレンズの正面に置かれるフィルタを手動的または自動的に変更することを規定する。このステップは、色の異なるカラーフィルタまたはその他の種類のフィルタを使用することによって、該プロジェクタおよび該カメラの較正および試験を促進する。画像位置合わせ、表示色彩度、色相、輝度、ひずみ、焦点、傷よび画像取り込みシステムひずみはすべて、様々なカラーおよび位置合わせテンプレートを表示し、かつ、選択フィルタを通して見た場合に該ビデオカメラによって感知された画像と投影画像との差を計算することによって、判定することができる。しかしながら、ほとんどの場合、該プロジェクタおよびビデオカメラの幾何学的ひずみを判定するために必要となる唯一のテンプレートは、単純方眼または整列網点であると思われる。

ステップ７１６では、システムは、該プロジェクタに命令して、ステップ７１２ａで選択されたテンプレートを投影させ、ステップ７１８では、該ビデオカメラによって知覚された画像に対応するビデオカメラ出力信号が、ＰＣ２０によって読み取られる。ステップ７２０は、該ビデオカメラによって検出されてカメラ出力信号に示された、該ディスプレイ面の画像と、テンプレートの画像を比較する。

決定ステップ７２２は、ビデオカメラ出力信号によって示された画像が、事前決定許容範囲内で、選択テンプレートと合致するかどうかを判定する。合致しない場合、プロセスは、反復ループから出てステップ７０８に続き、そこで、システムは、適用されるエラーメッセージを表示する。その後、プロセスは、ステップ７１０に続き、そこで、調整または修理が開始される。調整または修理は、自動または手動で行われることができる。事実上、該ディスプレイ・システムが工場から出荷された後で変更されると思われる唯一のひずみは、未加工画像から該ディスプレイ面へ、かつ、該ディスプレイ面から投影画像への、投影変換である。該ビデオカメラが十分に組み立てられており、かつ、投影変換と完全に無関係であることを前提として、レンズひずみは調整される。調整または修理のための自動処理（該プロジェクタが合理的に十分に位置合わせされている場合）は、位置合わせ標的１３１０（図１３に示される）を発見するというステップを含むことができる。該位置合わせ標的は、対話式ディスプレイ・テーブルの裏面の、該ディスプレイ面の周辺まわりに配置されているか、または、図１３に関して以下に詳しく記載される通りである。かかる発見ステップは、ＩＲフィルタを邪魔にならないところに移動させて（全変換が投影画像を通じて行われる場合）投影画像中の位置決め標的を発見し、かつ、対話式ディスプレイ面上の様々な既知の点にユーザがＩＲ反射対象を置くという技術とまったく同一のやり方で投影変換を解決することによって、行われる。このアプローチが望ましいものである理由は、同アプローチが、ＩＲフィルタを光の経路から取り除く能力に頼ることなく、全投影変換を取り込むためであるが、対話式ディスプレイ面上の既知の点にユーザがいかに正確にＩＲ反射対象を置くかによって、最終精度が決定されるという事実を欠点とする。

手動調整が必要な場合、ユーザに指示して、プロジェクタ７０によりディスプレイ面６４ａに向かって投影された画像の位置合わせを制御する１つ以上の位置合わせ調整装置７４ａ〜７４ｃ（図２参照）を調整させるか、または、取り付け台に載った該ビデオカメラの位置を変えて、投影されたテンプレートに位置合わせさせることもできる。反対に、ビデオカメラ出力によって示された画像が、事前決定許容範囲内で、選択テンプレートを用いて投影された画像と合致した場合、プロセスは、ステップ７１２ｂに続き、そこで、次のテンプレート（もしあれば）が選択されて、すべてのテンプレートが試験および位置合わせ処理に使用され終えるまで続く。すべてのテンプレートが使用され終えた時、自動位置合わせおよび試験手順は終了する。

(ＩＲ光照度の正規化)
最大輝度の反射ＩＲ光は、通常、該ディスプレイ面に置かれた白色対象（例えば白紙）から検出されるので、該ディスプレイ面上のすべての点を照らすＩＲ光の相対強度を判定して、すべての点の強度を１画素当たりベースで正規化できるようにすることは、比較的容易である。少なくとも工場から出される前に各対話式ディスプレイ・テーブルについて実行されると思われるが、その後、必要な場合にはいつでも繰り返すことのできる、対話式較正ルーチン中に、最小および最大ＩＲ光照度値を判定する。正規化済み画素値Ｉ＊（ｘ，ｙ）は、該ビデオカメラ信号中で示された入力画素値Ｉ（ｘ，ｙ）から、次の通りに計算される。
Ｉ＊（ｘ，ｙ）＝（Ｉ（ｘ，ｙ）−Ｉ＿最小（ｘ，ｙ））／（Ｉ＿最大（ｘ，ｙ）−Ｉ＿最小（ｘ，ｙ））
式中、Ｉ＿最大（ｘ，ｙ）は、入力画像中の位置（ｘ，ｙ）におけるＩＲ光の最大強度を表し、Ｉ＿最小（ｘ，ｙ）は、入力画像中の位置（ｘ，ｙ）におけるＩＲ光の最小強度を表す。正規化較正ルーチンが開始された場合、対話式ディスプレイ・テーブルは、該テーブル上のすべての点について、Ｉ＿最小（ｘ，ｙ）をＩＲ光強度の最大値（例えば２５５）に初期化し、Ｉ＿最大（ｘ，ｙ）を最小ＩＲ光強度値（例えば０）に初期化する。

較正の初めには、該ディスプレイ面上に、ＩＲ光を反射する対象が置かれていなかったことを前提として、較正処理が開始される。較正ルーチン中、Ｉ＿最小（ｘ，ｙ）およびＩ＿最大（ｘ，ｙ）の各値は、入力画像値Ｉ（ｘ，ｙ）と比較され、Ｉ（ｘ，ｙ）がＩ＿最小（ｘ，ｙ）よりも小さい場合、Ｉ＿最小（ｘ，ｙ）は、Ｉ（ｘ，ｙ）と同値に調整され、Ｉ（ｘ，ｙ）がＩ＿最大（ｘ，ｙ）よりも大きい場合、Ｉ＿最大（ｘ，ｙ）は、Ｉ（ｘ，ｙ）と同値に調整される。図９に示された通り、その後、ユーザは、１枚の共通白紙９００を該ディスプレイ面上に置き、該ディスプレイ面全体にわたって該白紙を動かし、該ディスプレイ面のすべての部分が、較正処理中のある時点で該白紙部分で覆われるようにする。該ディスプレイ面全体にわたって該白紙を動かすことは、Ｉ＿最大値が、該ディスプレイ面上のいずれかの地点で発見された最大（最大輝度）値で適切に更新されることを保証する。このようにして、該ディスプレイ面が、この較正中のある時点では該白紙によって覆い隠され（Ｉ＿最大値を収集するため）、ある時点では覆い隠されない（Ｉ＿最小値を収集するため）ことが必要である。Ｉ＿最小およびＩ＿最大は、その後、記憶され、上記等式を用いて、該ディスプレイ面上のすべての画素位置にわたるＩＲ光強度の正規化に使用される。

(さりげない接触閾値較正)
正規化済み画像中の位置（ｘ，ｙ）における、対象からの反射ＩＲ光の強度Ｉ（ｘ，ｙ）は、該ディスプレイ面上またはそのすぐ上方の対象が、該テーブルのＩＲ光源からＩＲ光を反射する程度と、該対象が該ディスプレイ面のどのくらい上方にあるかとによって、影響を受ける。対象が感知表面に接触している時の、対象から反射されたＩＲ光の正規化済み強度が分かっている場合、正規化済み画像は２値化されて、画像中のどの画素が、該ディスプレイ面に接触している対象の位置に対応するかを判定することができる。異なる閾値（すなわち、空中停止閾値）での２値化は、該ディスプレイ面に近いが接触はしていない対象の位置に対応する画像中の画素を判定する。

画像Ｉ＿接触（ｘ，ｙ）は、該ディスプレイ面に接触している指先のような対象の位置に対応するものであるが、正規化済み画像の値を次の通り、閾値と比較することによって形成される。

Ｉ＿接触（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＞ｔ＿接触
式中、ｔ＿接触は、接触閾値である。従って、指接触イベントの検出は、該ディスプレイ面に接触している指の形状の「上」にあり、かつ、（任意に）該形状と一致している、Ｉ＿接触中の画素の領域を発見することによって成し遂げられる。このステップは、該ディスプレイ面上の画像領域の走査を実行することによって行われるか、または、連結成分アルゴリズムの出力を評価することによって行われ、かかるアルゴリズムは、対象の離散的リストと、特定の判定基準を満たす画素の各領域に関する形状情報とを戻す。

ｔ＿接触値は、適切に設定しなければならない。さもなければ、システムは、接触イベントを正確に検出しない。ｔ＿接触値が低すぎる値に設定された場合、システムは、ユーザが該テーブルに実際に接触する前に、接触イベントを登録する。ｔ＿接触値が高すぎる値に設定された場合、システムは、ユーザが該テーブルに明らかに接触している時に、接触イベントを確実には検出しない。異なるユーザの皮膚のＩＲ反射力ばかりでなく、ユーザの指のサイズにも差があるので、ｔ＿接触値は、所定のユーザ向けに機能するように正確に設定されていても、別のユーザ向けには正確ではない場合がある。

従って、ｔ＿接触値の設定は、対話式ディスプレイ・テーブルを積極的に使用しているユーザ集合を試験して、そのユーザ集合に適切なｔ＿接触値を判定するという較正手順を必要とする。対話式ディスプレイ・テーブルにユーザの同一性が提供されるか、または、該テーブルが別途、該ディスプレイ面に接触してくる特定ユーザを判定する限り、対話式ディスプレイ・テーブルの各ユーザごとに異なる予想ｔ＿接触値を判定することもまた、可能である。

使い勝手を考えて、ｔ＿接触値は、テーブル使用の自然な過程中に入力画像の画素強度を観測することによって、明示的較正ルーチンを必要とせずに、設定することができる。このアプローチが取られた場合、較正が行われていることをユーザに気づかれることさえなく、ｔ＿接触値を判定することができる。ｔ＿接触値は、アプリケーション主導の期待行動を採用することによってか、もしくは、ユーザ対話を開始するように接触イベントに要求することによって、または、過去の接触イベントの形状認識からか、もしくは、対象のヒストグラム分析から、判定することができる。

図１１の例１１００に示された通り、アプリケーション主導の期待行動には、ユーザが指１１０２で画面上ボタン１１０４に接触することを含めることができる。アプリケーションが該テーブル上の所定領域内に１つ以上の画面上ボタンを含む場合、較正手順は、それらの領域のいずれか１つの範囲内の、合理的な画素強度値の存在を、ユーザがボタンに接触している証拠と解釈することができ、ｔ＿接触値を調整して観測画素ＩＲ強度値に合わせることができる。現行ｔ＿接触値の不確実性の個別表示によって、その値がどれだけ早く調整されるかが左右される場合がある。期待時間内にユーザがボタンに接触しなかった場合、不確実性は増す可能性があるが、毎回、ユーザによってボタンが押されるたびに、不確実性は低下すると思われる。

対話を開始するように接触イベントに要求することの中には、該ディスプレイ面の特定領域に接触して、該テーブルをスリープ状態から復帰させる、該ディスプレイ・システムのスイッチを入れる、ソフトウェア・アプリケーションを始動させる、最初の決定を行うなどによって、対話を開始するようにユーザに要求することを、含めることができる。ユーザにとって自然に見える特定の方法で接触を行うように要求することは、不注意により該テーブルをスリープ状態から復帰させる恐れのある偽陽性行動を避けることができる。重ねて、かかる領域内の合理的な画素強度値の存在は、ユーザが該ディスプレイ面に接触している証拠と解釈することができ、システムがｔ＿接触値を調整して観測画素強度値に合わせることを、可能にする。

特にボタン領域に接触している場合で、接触している対象の形状が同領域内での過去の接触イベントと一致する場合、システムは、接触イベントであると断定することができる。かかる場合には、より積極的にｔ＿接触値を調整することができる。

自然制約条件が存在する場合、システムは、使用されそうな対象のヒストグラムを分析することによって、接触と一致する画像画素強度値を推論することができる。一部のアプリケーションは、多かれ少なかれ、該テーブル上への様々な対象の配置に頼る。例えば、一部のアプリケーションは、もっぱら接触のみによって駆動され、他のアプリケーションは、接触と認識済み標識対象とを共に使用するものであり、さらに他のアプリケーションは、ユーザが該テーブル上に任意の対象を置くことを許可するか、または奨励しさえする場合がある。白紙から作られた標識対象は、指および手を含めた、該テーブル上のその他すべての対象よりも、顕著に高い輝度を持ち、期待対象集合の期待値域内に含まれる画素強度値は、該当する通りに、破棄されるか、または、ｔ＿接触値の調整に含まれることができる。

一部の事例において、ユーザの指のサイズとその相対的反射力のばらつきの値域次第では、多ユーザ向けに単一のｔ＿接触値で十分な場合がある。そうでない場合、該テーブルの多ユーザの各々向けに、別々のｔ＿接触値を維持することが必要になる。かかる場合には、許容可能ｔ＿接触値を、ヒストグラムまたはその他の確率分布図で表すことで十分であり、かかる分布図は、推定接触領域の平均画素強度値を、その値がユーザの値と合致する確度にマッピングする。所定のユーザが該ディスプレイ面に接触している間のアルゴリズムの混乱を最小限に抑えるために、推定接触領域の平均値が安定値に近づくのを待った後で、その値を接触として分類することが必要な場合がある。

図１０は、ユーザＡおよびユーザＢに関して、一定期間をかけてＩＲ反射率強度、Ｉを観測した際の、周波数について収集された統計データを表す。これら２人のユーザ向けに単一のｔ＿接触値を使用する場合には、ユーザＡのＩ平均値未満の値、例えば、ユーザＡのＩ平均値から標準偏差δの２乗を引いた数値を使用することが、通常好ましい。しかしながら、これらの統計データに基づきｔ＿接触値を精緻化するために、その他の適した数学的アプローチを使用することもできる。

図１２には、接触閾値を判定するための論理的ステップを示す、フローチャート１２００が記載される。ステップ１２０２は、該ディスプレイ面上の領域（制御ボタンのような）に接触するように、ユーザに指示する。ユーザが指示を受けた後、確定時間間隔内に、領域から反射されたＩＲ光輝度のかなりの増大が観測されなかった場合、接触閾値を判定するためのオプションは終了することができる。領域内の画素からの反射ＩＲ光の強度は、ステップ１２０４において、該ビデオカメラを用いて観測される。その後、決定ステップ１２０６は、領域内の画素強度が、ユーザが領域に接触したことと一致するかどうかを判定する。このステップは、領域内で反射光強度のかなりの増大があったことは判定できるが、強度レベルが高すぎる場合には、増大は、ユーザの接触と一致しないだろう。かかる事態は、ユーザが領域に１枚の紙を落とした場合に起こる可能性がある。一致しない場合、論理はステップ１２０４に戻る。一致した場合、論理は任意決定ステップ１２０８に移り、領域内でＩＲ反射率が増加した画素の形状が、指先の形状と一致するかどうかを判定する。一致しない場合、論理は同様にステップ１２０４に戻る。反対に、形状が期待形状と一致した場合（または、該任意決定ステップが用いられない場合）、論理はステップ１２１０に移り、Ｉ＿接触を、ｔ＿接触よりも大きいＩ（ｘ，ｙ）と同値に設定する。その後、ステップ１２１２は、ｔ＿接触値を判定するために用いられるデータを収集することによって、例えば図１０の例に示された通りに、ｔ＿接触値を一定期間をかけて統計的に精緻化する。このようにして判定されたｔ＿接触値は、その後、ステップ１２１４に示された通りに、該ビデオカメラによりユーザの接触を検出することを必要とするソフトウェア・アプリケーションに採用され、アプリケーションを制御するか、または、該ディスプレイ面に提示されたオプション間で選択を行う。

今度は図１３に関連して、平面図１３００は、該ビデオカメラによって生成された画像に対する、該ディスプレイ面の有効ユーザ域または境界の範囲および配置を、判定するためのアプローチを表す。このアプローチでは、該プロジェクタ・レンズの正面からＩＲフィルタ８６ｂが取り除かれている（または、該ビデオカメラの正面からＩＲ通過フィルタが取り除かれる）間に、プロジェクタ７０（図２）が、対話式ディスプレイ面６４ａの裏面に向かって単純白色光を投影し、そのため、該テーブルトップの裏面と該ディスプレイ面まわりに相当する周辺領域１３０２が、照明される。その後、ビデオカメラ６８（図２）は、該テーブル裏面を含む画像を生成するが、かかる画像中では、該ディスプレイ面の境界１３０４が、はっきりと明示され、該ビデオカメラによって生成された画像に対する該ディスプレイ面の範囲を限定する。次に、該プロジェクタは、該ディスプレイ面に向かって複数の位置決め標的１３０８を投影する（図１３に示された数よりも多いかまたは少ない数を使用することができる）。この図では、位置決め標的１３０８は、該ディスプレイ面のわきから離れて配置された黒っぽい円として示される。該ビデオカメラは、該位置決め標的を画像化し、示された例では、該位置決め標的は、白っぽい円１３０６によって表された通りの、該ディスプレイ面上の実際の位置に対して上方向に、わずかに左側にずれて配置されているように見える。該ビデオカメラによって生成された画像中の該位置決め標的の位置を、判定されたばかりの該ディスプレイ面の境界１３０４と比較して評価することによって、対話式ディスプレイ・テーブルは、該ビデオカメラによって生成されるその後のすべての画像をどのように動かして、該ディスプレイ面の有効ユーザ域と投影画像との間の誤位置合わせを、該ビデオカメラによって生成された画像と比較して補償するかを、自動的に判定する。

本発明について、本発明を実行するための好ましい形態に関連して記載してきたが、一般的な当業者であれば、添付の請求項の範囲内で多数の修正を加え得ることを理解するだろう。従って、本発明の範囲が、上記の記述によっていかなる点でも制限されることは意図されておらず、それどころか、もっぱら、添付の請求項を参照することによって決定されることが意図される。

本発明を実行するために使用される対話式ディスプレイ・テーブルの画像処理に適した、一般的な従来型コンピューティング装置またはパソコン（ＰＣ）の機能ブロック図である。 対話式ディスプレイ・テーブルの内部の図解であり、含まれるハードウェア・コンポーネントと、対話式ディスプレイ・テーブル内で光がたどる経路と、対話式ディスプレイ・テーブルの表面上およびその上方に配置される模範的対象とを示す。 外部ＰＣにつながれた対話式ディスプレイ・テーブルの等角図である。 対話式テーブルの様々な影響に関して、対話式テーブルを較正／補償するためのステップを示すフローチャートである。 ビデオカメラによって取り込まれた画像のひずみの補償ステップを示す図解である。 ビデオカメラによって取り込まれた画像のひずみの補償ステップを示す図解である。 ビデオカメラによって取り込まれた画像のひずみの補償ステップを示す図解である。 自動位置合わせおよび試験を可能にするための、スライド式フィルタ組立部品の使用法を示す、対話式ディスプレイ・テーブルトップの略図である。 スライド式フィルタ組立部品とそれに代わる回転フィルタ組立部品との平面図である。 スライド式フィルタ組立部品とそれに代わる回転フィルタ組立部品との平面図である。 対話式テーブルの自動位置合わせおよび試験のための、プロセスを示すフローチャートである。 対話式テーブルの自動位置合わせおよび試験のために使用される２つの模範的テンプレートを用いて生成された画像を表す。 ディスプレイ面全体にわたってＩＲ強度を正規化するための、１枚のシートのような白色反射材量の使用法を表す。 Ｉ＿接触閾値の精緻化に使用するための、２人の異なる人物の接触に関する周波数対反射ＩＲ強度を示すグラフである。 ディスプレイ面上の確定領域に接触するようにユーザに指示して、ディスプレイ面上へのユーザの接触に関連するＩＲ反射光強度のレベルを判定するための、１例を示す図解である。 Ｉ＿接触閾値を判定するための、論理を表すフローチャートである。 ビデオカメラによって生成された、ディスプレイ面の画像と、投影画像との間の誤位置合わせを自動的に補償するために、投影画像をどのように使用するかについて模式的に表す、対話式ディスプレイ・テーブルの平面図である。

符号の説明

６０ 対話式ディスプレイ
２２ システム・メモリ
２４ （ＲＯＭ）（読み取り専用メモリ）
２６ ＢＩＯＳ（基本入力システム）
２５ （ＲＡＭ）（ランダムアクセスメモリ）
３５ オペレーティング・システム
３６ アプリケーション・プログラム
３７ その他のプログラム・モジュール
３８ プログラム・データ
２１ 処理装置
４８ ビデオ・アダプタ
５９ カメラ・インターフェース
５３ ネットワーク・インターフェース
２３ システム・バス
３２ ハードディスク・ドライブ・インターフェース
３３ 磁気ディスク・ドライブ・インターフェース
３４ 光ディスク・ドライブ・インターフェース
４６ Ｉ／Ｏ装置インターフェース（例えば、シリアル）
４７ 光学モニタ
５１ ＬＡＮ
４９ リモート・コンピュータ
５２ ＷＡＮ（広域網）
５４ モデム
３６ アプリケーション・プログラム
３５ オペレーティング・システム
３６ アプリケーション・プログラム
３７ その他のプログラム・モジュール
３８ プログラム・データ
４０ キーボード

Claims (27)

1. ソフトウェア・プログラムによって規定された通りにディスプレイ面上に画像を投影するためのプロジェクタと、ディスプレイ面上の対象を光で照明するための光源と、ディスプレイ面に接触している対象によってディスプレイ面から反射されて戻った光を受け取るための画像センサを持つ視覚感知システムとを含む、対話式ディスプレイ・システムの少なくとも１つのエラーを較正して補償するための方法であって、
   （ａ）画像センサから信号を受け取り、前記信号がディスプレイ面に接触している対象から反射された光の強度に反応して変動し、
   （ｂ）画像センサから受け取られた信号を、画像センサによって生成された画像上の少なくとも１つのエラーについて、自動的に補償して補償済み信号にし、その後、視覚感知システムとプロジェクタのうちの少なくとも一方の、他方およびディスプレイ面に対する物理的位置合わせを調整するために、前記補償済み信号が使用され、
   （ｃ）補償済み信号を、ディスプレイ面上に投影された画像を規定するソフトウェア・プログラムに対する入力として採用し、そのために、ソフトウェア・プログラムが、プロジェクタによってディスプレイ面上に投影された画像に対するディスプレイ面上の対象の位置を正確に検出する
   ステップを含み、前記自動的に補償するステップが、
   ディスプレイ面まわりの周辺領域を照明し、
   周辺領域から反射された光に反応して画像センサによって生成された、ディスプレイ面の画像中の、ディスプレイ面の範囲を判定し、
   ディスプレイ面に対する事前定義位置で、複数の位置決め標的をプロジェクタでディスプレイ面上に投影し、
   ディスプレイ面上に投影された位置決め標的を、画像センサで画像化し、
   画像中のディスプレイ面の範囲に対する、画像センサによって生成された位置決め標的の画像に基づき、画像センサから受け取られた信号向けの較正を自動的に判定し、そのために、較正が適用された後、位置決め標的がディスプレイ面の範囲内の期待位置に配置される
   ステップを有することを特徴とする方法。
2. 少なくとも１つのエラーが、ディスプレイ面に接触している対象によって反射された光を画像化することに関する、画像センサのレンズによって引き起こされたバレル歪曲を含み、そのために、前記自動的に補償するステップが、ディスプレイ面上の点を画像センサによって生成されたバレル歪曲画像中の対応点にマッピングするステップを有することを特徴とする請求項１の方法。
3. 少なくとも１つのエラーが、ディスプレイ面に接触している対象によって反射された光を画像化することに関する、ディスプレイ面に対して軸外位置に配置されている画像センサによって引き起こされた台形ひずみを含み、そのために、前記補償するステップが、ディスプレイ面上の点を、画像センサによって生成された台形ひずみ画像中の対応点にマッピングするステップを有することを特徴とする請求項１の方法。
4. 前記自動的に補償するステップが、ディスプレイ面に接触している対象から反射された光の強度を正規化して、対象から反射されて光源から異なる長さの経路をたどって画像センサに到達した光によって引き起こされたばらつきを含め、画像センサの地点での光の強度のばらつきを補償するステップを有することを特徴とする請求項１の方法。
5. 前記正規化するステップが、
   （ａ）ディスプレイ面のおおむね全体にわたって反射シートを動かしている間に、反射シートから反射された光の最大強度および最小強度を画像センサで自動的に検出し、
   （ｂ）その後、ディスプレイ面に接触している対象から反射された光に反応した、画像センサからの信号に対して、正規化機能を適用し、正規化機能を、検出された最大強度および最小強度に基づき判定するステップ
   を有することを特徴とする請求項４の方法。
6. 光源が赤外（ＩＲ）光を発生させ、標準環境設定ではディスプレイ面と画像センサとの間に可動ＩＲフィルタが配置されて、該ＩＲ光フィルタが画像センサに可視光が届くのを防止し、そのために、画像センサが対象を検出する際、ディスプレイ面上の対象から反射されたＩＲ光のみにおおむね反応し、前記較正するステップが、
   （ａ）該ＩＲフィルタをディスプレイ面と画像センサとの間から取り除き、視覚システムを較正用環境設定にして、該環境設定では画像センサがディスプレイ面から可視光を受け取ってそれに反応し、
   （ｂ）画像中のすべての色成分を事前決定レベルに設定した状態で、プロジェクタでディスプレイ面に向かって画像を投影し、
   （ｃ）ディスプレイ面の画像に関する、画像センサからの信号が、事前決定レベルに対応する期待値とおおむね等しい画像のすべての色成分に対応するかどうかを自動的に検出し、一致しない場合、
   （ｄ）プロジェクタと視覚システムのうちの一方にエラーが存在することを表示する
   ステップを有することを特徴とする請求項１の方法。
7. さらに、
   （ａ）プロジェクタでディスプレイ画面に向かってテンプレートを投影し、
   （ｂ）画像センサからの信号が、ディスプレイ面上のテンプレートの画像がテンプレートとおおむね等しいことを示すかどうかを自動的に検出し、示さない場合、
   （ｃ）エラーが存在すること、および、プロジェクタと画像センサのうちの少なくとも一方に対して位置合わせ調整を行うことによってエラーを軽減するべきこと、を表示する
   ステップを有することを特徴とする請求項６に記載の方法。
8. さらに、ディスプレイ面と画像センサとの間に異なるフィルタを配置し、そのために、テンプレートがディスプレイ面に向かって投影されている間に、異なるフィルタが、画像センサによって受け取られたディスプレイ面からの光を修正するステップを有することを特徴とする請求項６の方法。
9. 異なるフィルタが、ＩＲ光と可視光とを用いて画像化する際の画像センサの焦点の差を補償することを特徴とする請求項８の方法。
10. さらに、ディスプレイ面に接触しているユーザの外肢から反射された光の接触閾値を判定して、異なるユーザの光反射力のばらつきを吸収するステップを有することを特徴とする請求項１の方法。
11. 前記接触閾値を判定するステップが、
    （ａ）ユーザによって接触されるべきディスプレイ面上の領域を表示し、
    （ｂ）画像センサによって検出された、領域内の点の強度の増大が、ユーザが領域に接触したこと一致するかどうかを判定し、一致した場合、
    （ｃ）接触閾値を、増大後に検出された光の強度と同値に設定し、
    （ｄ）毎回、ユーザが領域に接触したと思われるたびに、強度のかなりの増大後に反射された光の強度を繰り返し検出することによって接触閾値を精緻化し、前記接触閾値を、ユーザがディスプレイ面に接触することに反応するソフトウェア・アプリケーションに使用する
    ステップを有することを特徴とする請求項１０の方法。
12. さらに、前記接触閾値を設定するステップ前に、強度がかなり増大した領域中の点によって表された形状が、領域に接触しているユーザの期待形状と一致するどうかを判定するステップを有することを特徴とする請求項１１の方法。
13. 対話式ディスプレイ・システムの複数の異なるユーザの各々について、異なる接触閾値が判定されることを特徴とする請求項１１の方法。
14. 請求項１のステップを実行するための機械実行可能命令を記憶することを特徴とする記憶媒体。
15. 対話式ディスプレイ・システムであって、
    （ａ）その上に画像が表示され、その上の対象が検出されるディスプレイ面と、
    （ｂ）ディスプレイ面上の対象を光で照明するための光源と、
    （ｃ）対象から反射されて戻った光を感知することによって、ディスプレイ面に接触している対象を感知するための、画像センサを持つ視覚感知システムと、
    （ｄ）ディスプレイ面上に画像を投影するためのプロジェクタと、
    （ｅ）プロジェクタおよび視覚感知システムにつながれたプロセッサと、
    （ｆ）（ｉ）画像センサから信号を受け取り、前記信号が、ディスプレイ面に接触している対象から反射された光の強度に反応して変動し、
    （ｉｉ）画像センサから受け取られた信号を、画像センサによって生成された画像の少なくとも１つのエラーについて、自動的に補償して補償済み信号にし、その後、視覚感知システムとプロジェクタのうちの少なくとも一方の、他方およびディスプレイ面に対する物理的位置合わせを調整するために、前記補償済み信号が使用され、
    （ｉｉｉ）補償済み信号を、ディスプレイ面上に投影された画像を規定するソフトウェア・プログラムに対する入力として採用し、そのために、ソフトウェア・プログラムが、プロジェクタによってディスプレイ面上に投影された画像に対する、ディスプレイ面上の対象の位置を正確に検出することを含め、
    複数の機能を実行することによって、対話式ディスプレイ・システムの少なくとも１つの前記エラーを較正して補償するための、ソフトウェア・アプリケーションおよび手順を含めた機械命令を記憶するメモリと
    を有し、自動的に補償するために、前記機械命令が、さらに、
    プロジェクタと光源のうちの一方で、ディスプレイ面まわりの周辺領域を照明し、
    周辺領域から反射された光に反応して画像センサによって生成された、ディスプレイ面の画像中の、ディスプレイ面の範囲を判定し、
    複数の位置決め標的をプロジェクタでディスプレイ面上に投影し、
    ディスプレイ面上に投影された位置決め標的を、画像センサで画像化し、
    画像中のディスプレイ面の範囲に対する、画像センサによって生成された位置決め標的の画像に基づき、画像センサから受け取られた信号向けの較正を自動的に判定して、そのために、較正が適用された後、位置決め標的がディスプレイ面の範囲内の期待位置に配置される、
    ことをプロセッサに行わせることを特徴とする対話式ディスプレイ・システム。
16. 少なくとも１つのエラーが、ディスプレイ面に接触している対象によって反射された光を画像化することに関する、画像センサのレンズによって引き起こされたバレル歪曲を含み、そのために、前記自動的に補償するステップが、ディスプレイ面上の点を、画像センサによって生成されたバレル歪曲画像中の対応点にマッピングするステップを有することを特徴とする請求項１５の対話式ディスプレイ・システム。
17. 少なくとも１つのエラーが、ディスプレイ面に接触している対象によって反射された光を画像化することに関する、該ディスプレイ面に対して軸外位置に配置されている画像センサによって引き起こされた台形ひずみを含み、そのために、前記補償するステップが、ディスプレイ面上の点を、画像センサによって生成された台形ひずみ画像中の対応点にマッピングするステップを有することを特徴とする請求項１５の対話式ディスプレイ・システム。
18. 機械命令が、さらに、ディスプレイ面に接触している対象から反射された光の強度を正規化して、対象から反射されて光源から異なる長さの経路をたどって画像センサに到達した光によって引き起こされたばらつきを含め、画像センサの地点での光の強度のばらつきを補償することを、プロセッサに行わせる、請求項１５の対話式ディスプレイ・システム。
19. 強度を正規化するために、機械命令が、さらに、ディスプレイ面のおおむね全体にわたって反射シートを動かしている間に、反射シートから反射された光の最大強度および最小強度を画像センサで自動的に検出することを、プロセッサに行わせることを特徴とする請求項１８の対話式ディスプレイ・システム。
20. 光源が赤外（ＩＲ）光を発生させ、さらに、標準環境設定ではディスプレイ面と画像センサとの間に配置されている可動ＩＲフィルタからもなり、該ＩＲ光フィルタが画像センサに可視光が届くのを防止し、そのために、画像センサが、対象を検出する際、ディスプレイ面上の対象から反射されたＩＲ光のみにおおむね反応し、また、該ＩＲフィルタをディスプレイ面と画像センサとの間から取り除き、視覚システムを較正用環境設定にして、該環境設定では、画像センサがディスプレイ面から可視光を受け取ってそれに反応し、機械命令が、さらに、
    （ａ）画像中のすべての色成分を事前決定レベルに設定した状態で、プロジェクタでディスプレイ面に向かって画像を投影し、
    （ｂ）ディスプレイ面の画像に関する、画像センサからの信号が、事前決定レベルに対応する期待値とおおむね等しい、画像のすべての色成分に対応するかどうかを自動的に検出し、一致しない場合、
    （ｃ）プロジェクタと視覚システムのうちの一方にエラーが存在することを表示する
    ことをプロセッサに行わせることを特徴とする請求項１５の対話式ディスプレイ・システム。
21. 機械命令が、さらに、
    （ａ）プロジェクタでディスプレイ画面に向かってテンプレートを投影し、
    （ｂ）画像センサからの信号が、ディスプレイ面上のテンプレートの画像がテンプレートとおおむね等しいことを示すかどうかを自動的に検出し、示さない場合、
    （ｃ）エラーが存在すること、およびプロジェクタと画像センサのうちの少なくとも一方に対して位置合わせ調整を行うことによってエラーを軽減するべきこと、を表示する
    ことをプロセッサに行わせることを特徴とする請求項２０の対話式ディスプレイ・システム。
22. さらに、ディスプレイ面と画像センサとの間に選択的に配置可能な異なるフィルタからもなり、そのために、テンプレートがディスプレイ面に向かって投影されている間に、異なるフィルタが、画像センサによって受け取られた、ディスプレイ面からの光を修正することを特徴とする請求項２０の対話式ディスプレイ・システム。
23. 異なるフィルタが、ＩＲ光と可視光とを用いて画像化する際の画像センサの焦点の差を補償することを特徴とする請求項２２の対話式ディスプレイ・システム。
24. 機械命令が、さらに、ディスプレイ面に接触しているユーザの外肢から反射された光の接触閾値を判定して、異なるユーザの光反射力のばらつきを吸収することを、プロセッサに行わせることを特徴とする請求項１５の対話式ディスプレイ・システム。
25. 接触閾値を判定するために、機械命令が、さらに、
    （ａ）ユーザによって接触されるディスプレイ面上の領域を表示し、
    （ｂ）画像センサによって検出された領域内の点の強度の増大が、ユーザがその領域に接触したこと一致するかどうかを判定し、一致する場合、
    （ｃ）接触閾値を増大後に検出された光の強度と同値に設定し、
    （ｄ）毎回、ユーザが領域に接触したと思われるたびに、強度のかなりの増大後に反射された光の強度を繰り返し検出することによって接触閾値を精緻化し、前記接触閾値をユーザがディスプレイ面に接触することに反応するソフトウェア・アプリケーションに使用する
    ことをプロセッサに行わせることを特徴とする請求項２４の対話式ディスプレイ・システム。
26. 機械命令が、さらに、前記接触閾値を設定するステップが実行される前に、強度がかなり増大した領域中の点によって表された形状が、領域に接触しているユーザの期待形状と一致するどうかを判定するステップを、プロセッサに行わせることを特徴とする請求項２５の対話式ディスプレイ・システム。
27. 対話式ディスプレイ・システムの複数の異なるユーザの各々について、異なる接触閾値が判定されることを特徴とする請求項２５の対話式ディスプレイ・システム。

Images