JP4883970B2 - 光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム - Google Patents

光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム Download PDF

Info

Publication number
JP4883970B2
JP4883970B2 JP2005282026A JP2005282026A JP4883970B2 JP 4883970 B2 JP4883970 B2 JP 4883970B2 JP 2005282026 A JP2005282026 A JP 2005282026A JP 2005282026 A JP2005282026 A JP 2005282026A JP 4883970 B2 JP4883970 B2 JP 4883970B2
Authority
JP
Japan
Prior art keywords
light
filter
intensity
positions
frequency ranges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005282026A
Other languages
English (en)
Other versions
JP2006127494A (ja
Inventor
ディー.ウィルソン アンドリュー
エム.ギレット ドナルド
エス.キーム ナイジェル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2006127494A publication Critical patent/JP2006127494A/ja
Application granted granted Critical
Publication of JP4883970B2 publication Critical patent/JP4883970B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182Filtering of noise external to the device and not generated by digitiser components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Description

本発明は、一般にアクティブイメージング(active imaging)に関し、より詳細には、対象領域における意図的でなく、かつ望ましくない光源からの照明の影響を低下させてこのアクティブイメージングデータの精度を改善するようにした、光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステムに関する。
望ましくない信号の存在は、ほとんどすべての電磁信号の処理において問題になる。ラジオ受信器など比較的簡単なシステムにおいてさえ、スケルチコントロール(squelch control)が、しばしばある大きさより小さな信号を減衰させるように提供されて、対象となる信号が受信されていないときに聞こえる望ましくないバックグラウンド雑音(background static)を回避している。望ましくないバックグラウンド雑音を構成するものは、ユーザが判断するものであり、ユーザは、このスケルチコントロールレベルを設定して、このユーザの判断に基づいて受信される信号の可聴性を制限することができる。
コンピュータシステムが自律的に入力信号に応答する自動化信号処理システムは、さらに困難な問題を提示する。ユーザが経験及び判断に基づいてスケルチコントロールレベルを調整することができる、上述したスケルチコントロールの実施例とは違って、コンピュータシステムをプログラムして、望ましいある種の信号と、望ましくないある種の信号とを区別する制限を自動的に設定することは、より困難である。例えば、コンピュータは、キーボード、ポインティングデバイス、及び同様な入力デバイスからのあいまいではない入力に対してはうまく応答するが、ボイスコマンドには、あまり十分には応答しない。音声認識プログラムを使用したことのある者なら誰でも、このコンピュータが、ユーザが発言している何かを認識できないときに、何らかの困難を経験している。予想し得るように、このコンピュータがユーザの話し言葉を正確に認識できないことについては、このコンピュータが知覚する全体的な聴覚入力に影響を及ぼすバックグラウンドノイズ又は他の音声の存在するところではより頻繁に発生する。
Brygg Ullmer and Hiroshi Ishii, "The metaDESK: Models and Prototypes for Tangible User Interfaces," Proceedings of UIST 10/1997:14-17
オブジェクトのコンピュータビジョン認識は、別の困難な問題を再提示する。このコンピュータがあまりに多すぎる視覚データ又はあまりに広すぎる範囲の視覚信号を処理する必要がある場合、この入力は、このコンピュータによって読み間違えられ、間違って解釈される可能性がより高くなることになる。他方、このコンピュータが、適切にオブジェクトを知覚するために必要とされる視覚信号を不適切に抑制する場合には、このコンピュータはまた、視覚入力を読み間違えることもあり、また重要な視覚入力を完全に無視してしまうこともある。コンピュータビジョンは、コンピュータ及びこれらのコンピュータのインターフェースをさらにユーザフレンドリにする際に、さらにますます重要になりつつある。例えば、MITメディア研究所は、metaDESKについて報告されているようにコンピュータビジョンを使用する「キーボードのない」人間−マシンインターフェースの形態を開発している(例えば、非特許文献1参照)。このmetaDESKは、一般的に、コンピューティングシステムテキスト及びグラフィック出力を表示するだけでなく、このグラフィック表面上に置かれたオブジェクトを「見ること」により、またオブジェクトに応答することによりユーザ入力も受け取る平面のグラフィック表面を含んでいる。このmetaDESKのグラフィック表面のこの組み合わされたオブジェクトの応答機能及び表示機能は、このmetaDESKの表面の下に配置されたIR(infrared;赤外線)ランプ、ビデオカメラ又は他のイメージセンサ、ビデオプロジェクタ、及びミラーを使用して実行される。このミラーは、このグラフィックディスプレイ表面の下側の面上にこのプロジェクタによって投影されるグラフィックイメージを反射して、このグラフィックディスプレイ表面上からユーザにとって目に見えるイメージを提供する。IRカメラは、このグラフィック表面上に配置されたオブジェクトの裏面からのIR反射を検出することができる。特別の形状をしたオブジェクト、又はグラフィックディスプレイ表面上に配置されたオブジェクトからのIR−反射光を「見ること」及び検出することにより、このmetaDESKは、このディスプレイ表面上のオブジェクトの同時の配置及び移動に応答して、このmetaDESKの表面上に表示されるMITキャンパスの地図を表示や移動など、予め決められたファンクションを実行することができる。
他者も、同様なキーボードのないインターフェースを開発していたことがある。例えば、ソニーコンピュータサイエンス研究所のJun Rekimotoとその仲間が発表した論文は、表面上にイメージを表示し、IR光を使用してこの表面に近接して配置されたオブジェクトを検出する「HoloWall」及び「HoloTable」について説明している。
このmetaDESKも、HoloWall/HoloTableも共に、いくつかの理由からIR光を使用してオブジェクトを見ており、またオブジェクトの移動を検出する。このシステムが可視光に応答するものとした場合には、このインタラクティブな表面によって部分的に反射して返されるはずの、イメージを生成するシステムが投影する可視光が、このコンピュータビジョンシステムによる誤った読取りをもたらす可能性がある。さらに、たとえかかる反射を抑制することができたとしても、このシステムが、暗い部屋に配置されていない限り、このインタラクティブディスプレイ表面を通過する室内照明及び他の可視光が、このコンピュータビジョンシステムに悪影響を与えるはずである。さらに、かかるシステムが可視光に反応するように構成されるものとした場合には、オブジェクト及び移動を検出するための十分な可視光が存在しないはずであり、又はオブジェクト及び移動を検出するために使用される光が、このユーザが見ることを意図した暗いイメージ又はぼんやりしたイメージを覆い隠してしまうはずであるので、このシステムは、暗い画面又はぼんやりした画面を生成することはできないことになる。
IR光を、又はUV(ultraviolet;紫外)光など、可視光スペクトルの外側の他の非可視光を使用して、インタラクティブディスプレイ表面上に配置されたオブジェクトを検出することにより、可視光を用いてオブジェクトを認識しようとすることから生ずるはずの一部の問題を回避することができる。しかしながら、様々な可視光源もまたUV光及び/又はIR光を発生するので、かかる周囲光源からの光は、コンピュータビジョンシステムに悪影響を与える可能性もある。例えば、白熱電球、太陽光及び様々な他の一般光源は、IR光及び/又はUV光を発生する。意図的でない可視光信号と同様に、これらの意図的でないIR信号は、非可視光感受性を有するコンピュータビジョンシステムに対して望ましくない入力を提供する可能性がある。帯域通過型フィルタは、一般に望ましくない光帯域幅を抑制することができるが、オブジェクトから反射される制御光源からの光を、たまたま非可視光を含んでいる周囲光から分離する助けにはならない。
非制御光源の影響を抑制するための一方法は、制御光源からの照明を選択的に制御し、交互に点灯され、消灯されるこの制御光源を用いてイメージデータのフレームを取り込むことである。制御光源が消灯されて取り込まれるフレームは、非可視光を発生する任意の非制御光源からもたらされるデータを表す。したがって、この制御光源をオフにして取り込まれるフレームにおいて検出される光強度を差し引くことを使用して、非制御光源の影響について補償することができる。かかるプロセスは、2004年6月16日に出願の「Method And System For Reducing Effects Of Undesired Signals In An Infrared Imaging System」という名称の、本同一出願人による同時係属の米国特許出願第10/870,777号明細書中に説明されている。かかるシステムは、多数のコンテキストで動作可能とすることができる。
しかし、イメージングシステムが、移動している物体をイメージ化している状況においては、かかるタイムスライシングシステム(time−slicing system)は、あまり最適ではないこともある。かかるタイムスライシングシステムを使用することにより、データの取り込みのために実際に使用可能な実効フレームキャプチャサイクル数が低減される。したがって、例えば、システムが交互に点灯され、次いで消灯される制御光源を用いてフレームを取り込むように構成される場合には、ビジョンデータについてのイメージングシステムの実効キャプチャレートは、常にビジョンデータを取り込んでいるシステムのキャプチャレートの2分の1にすぎない。例えば、この制御光源を点灯し、次いで消灯してフレームキャプチャを交互に行うことにより、毎秒30フレームを取り込むことができるデジタルカメラの実効キャプチャレートは、事実上毎秒15フレームに低減される。さらに、イメージデータをより少ない頻度で取り込むことにより、このシステムは、この制御光源が消灯される時間間隔中にイメージ化されるオブジェクトが移動するときに生じ得る読取りエラーの影響をより受けやすくなる。したがって、イメージデータを低下されたレートでサンプリングして、使用可能なキャプチャサイクルの一部分を使用して周囲光について補償するイメージキャプチャシステムにおいては、結果イメージデータは、途切れ途切れになり、歪められ、かつ/又は重要なオブジェクトの動きを見失うこともあり得る。
したがって、意図的でなく望ましくない光信号の影響をフィルタリングし、マスキングし、それとも低下させて、このビジョンシステムが使用するのと同じ周波数帯の光を有する外部光信号にビジョンシステムが応答しないようにすることが望ましい。すべてのバックグラウンド光源からコンピュータビジョンシステムをシールドする環境中で、コンピュータビジョンシステムを動作させる必要なしに、望ましくないバックグラウンド光の影響は、オブジェクトを検出する際に回避されるべきである。さらに、イメージキャプチャサイクルを犠牲にすることなく、対象となるフィールド中を移動するオブジェクトからもたらされるデータを正確に取り込む機能を損なう可能性がある、意図的でなく望ましくない光源によって生成される光の影響を低下させることが望ましい。
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、対象領域における意図的でなく、かつ望ましくない光源からの照明の影響を低下させてアクティブイメージングデータの精度を改善するようにした、光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステムを提供することにある。
本発明のより重要なファンクションの1つは、制御光源が放射する周波数帯を含む光を発生する、太陽光、白熱電球、及び他の外部光源などの周囲光を含めて、イメージングシステムにおける望ましくない光源、又は非制御光源の影響を低下させることである。本発明においては、1つ又は複数のイメージ化されるオブジェクトによって反射される制御光源によって発生する光と、任意の非制御光源が発生する光を共に含むイメージングデータが、対象領域から取り込まれる。対象領域からの光は、イメージングデータを収集するために使用され、複数の周波数範囲の光に対して感受性のあるイメージセンサによって感知される。異なる周波数範囲における光に対するこのイメージセンサの感受性における変化を知り、この周波数範囲における制御光源の放射特性を知ることにより、この非制御光の光強度を決定し、このイメージングデータから除去することができる。
したがって、本発明の一実施形態は、イメージングデータ中の非制御光の影響を低下させる方法を対象としている。対象領域は、複数の周波数範囲において知られている強度の光を放射する制御光源によって発生される制御光で照明される。イメージセンシングシステムは、対象領域からの光を受光するように配置される。このイメージセンサは、この複数の周波数範囲の各々における光強度を検出するように構成され、この複数の周波数範囲の各々において受光される光に対するこのイメージセンシングシステムの異なる感度が確認されている。この複数の周波数範囲の各々における、対象領域から受光される光強度が検出され、この受光された光は、この非制御光と対象領域から反射されている制御光の一部分とを含んでいる。この受光された光に含まれる非制御光の光強度は、この制御光源の知られている光強度と、この複数の周波数範囲の各々において検出される光強度(the intensity of light)に基づいて計算される。このイメージングデータに対するこの非制御光の寄与(contribution)について補償が行われるように、このイメージングデータは、非制御光の計算された光強度のファンクションとして調整される。
この制御光源は、赤外線スペクトル、可視光スペクトル、又は紫外線スペクトルの制御光を放射する。本発明の一実施形態においては、この制御光源は、これらの周波数範囲の各々においてほぼ等しい強度の光を放射するように構成されている。
この受光された光強度を検出すること、この非制御光の光強度を計算すること、及びこのイメージングデータを調整することは、対象領域を構成する複数の部分のそれぞれについて実施される。本発明の一実施形態においては、対象領域のこれらの部分は、対象領域中の各ポイントを含んでいる。したがって、このイメージングデータを調整することは、対象領域内の各ポイントにおける受光された光強度からこの非制御光の計算された光強度を差し引くことにより、この非制御光の計算された光強度に基づいてこのイメージングデータを調整することを含んでいる。
このイメージセンシングシステムは、いくつかの異なるタイプのセンサを含むことができる。例えば、このイメージセンシングシステムは、モザイクフィルタが取り付けられたセンサを含むことができ、ここでは、このセンサは、それぞれがフィルタエレメントに関連している複数の位置を含んでいる。各フィルタエレメントは、選択された周波数範囲の光がこの複数の位置の各々において通過できるように構成される。代わりに、このイメージセンシングシステムは、複数のイメージセンサを含むこともでき、ここで、各センサは、異なる周波数範囲における光を受光するようになっている。さらに、このイメージセンシングシステムは、特定の周波数範囲が、サイクリングフィルタ(cycling filter)の各サイクル中に通過することができるようにする複数のフィルタエレメントを有するサイクリングフィルタが取り付けられたセンサを含むこともできる。このフィルタエレメントは、赤色、青色、又は緑色の周波数範囲中の光を通過させるように構成することもできる。また、このイメージセンシングシステムは、各検出セルが、特定の周波数範囲の光を検出するように構成されるように、複数の位置の各々に複数の検出セルを有する複合カラーイメージセンサを含むこともできる。
本発明の一実施形態においては、このイメージセンシングシステムは、デジタルカメラを備えており、また、複数の位置の各々がこのデジタルカメラのピクセルに対応する、複数の位置の各々において予め決められた光の周波数範囲を通過させるベイヤタイプ(Bayer−type)のモザイクフィルタを有する。
本発明の上述した実施形態及び多数の付随する利点は、これらが以下の詳細な説明を添付図面と併せ参照することによりさらに良く理解されるようになるので、より簡単に理解されるようになろう。
以下、図面を参照して本発明の実施の形態について説明する。
<本発明を実装するための例示のコンピューティングシステム>
図1は、インタラクティブなディスプレイ表面についてのイメージ処理に適した、本発明を実行する際に有用となる一般的な従来のコンピューティングデバイス又はパーソナルコンピュータ(PC)の機能ブロック図で、本発明の様々な部分を実装するために適した例示のシステムが示されている。このシステムは、処理装置21とシステムメモリ22及びシステムバス23が設けられた従来のPC20の形態の汎用コンピューティングデバイスを備えている。このシステムバス23は、このシステムメモリ22を含めて様々なシステムコンポーネントを処理装置21に結合し、メモリバス又はメモリコントローラとペリフェラルバス及び様々なバスアーキテクチャのうちのどれかを使用したローカルバスを含めて、いくつかのタイプのバス構造のうちのどれでも使用することができる。このシステムメモリ22は、ROM(read only memory;読取り専用メモリ)24及びRAM(random access memory;ランダムアクセスメモリ)25を備えている。起動中などにPC20内のエレメント間で情報を転送する助けをする基本ルーチンを含むBIOS(basic input/output system;基本入出力システム)26は、ROM24に記憶される。PC20は、ハードディスク(図示せず)から情報を読み取り、それに情報を書き込むハードディスクドライブ27と着脱可能な磁気ディスク29から情報を読み取り、又はそれに情報を書き込む磁気ディスクドライブ28及びCD−ROM(compact disk−read only memory;コンパクトディスク−読取り専用メモリ)や他の光媒体など着脱可能な光ディスク31から情報を読み取り、又はそれに情報を書き込む光ディスクドライブ30をさらに備えている。ハードディスクドライブ27と磁気ディスクドライブ28及び光ディスクドライブ30は、それぞれハードディスクドライブインターフェース32と磁気ディスクドライブインターフェース33及び光ディスクドライブインターフェース34によってシステムバス23に接続されている。これらのドライブ及びこれらに関連するコンピュータ読取り可能な媒体は、PC20のためのコンピュータ読取可能マシン命令とデータ構造とプログラムモジュール及び他のデータの不揮発性ストレージを実現する。本明細書中で説明しているこの例示の環境は、ハードディスクと着脱可能な磁気ディスク29及び着脱可能な光ディスク31を使用しているが、磁気カセット、フラッシュメモリカード、DVD(digital video disk;デジタルビデオディスク)、ベルヌーイカートリッジ(Bernoulli cartridge)、RAM、ROMなど、コンピュータによってアクセス可能なデータ及びマシン命令を記憶することができる他のタイプのコンピュータ読取り可能な媒体も、この例示の動作環境中で使用できる。
オペレーティングシステム35と、1つ又は複数のアプリケーションプログラム36と、他のプログラムモジュール37及びプログラムデータ38を含めて、いくつかのプログラムモジュールは、ハードディスク、磁気ディスク29、光ディスク31、ROM24、又はRAM25に記憶することができる。ユーザは、キーボード40やポインティングデバイス42などの入力デバイスを介してPC20中にコマンド及び情報を入力し、制御入力を提供することができる。ポインティングデバイス42は、マウス、スタイラス、無線リモートコントロール、又は他のポインタを備えることができるが、本発明に関連しては、ユーザが入力及び制御のためにこのインタラクティブディスプレイを使用することができるので、かかる従来のポインティングデバイスは、省略することもできる。以下で使用するように、用語「マウス」は、この画面上のカーソルの位置を制御するために有用な事実上任意のポインティングデバイスを包含するように意図している。他の入力デバイス(図示せず)は、マイクロフォン、ジョイスティック、触覚に基づくジョイスティック、ヨーク(yoke)、フットペダル、ゲームパッド、サテライトディッシュ、スキャナなどを備えてもよい。これら及び他のI/O(input/output;入出力)デバイスは、しばしばシステムバス23に結合されるI/Oインターフェース46を介して処理装置21に接続されている。用語I/Oインターフェースは、シリアルポート、パラレルポート、ゲームポート、キーボードポート、及び/又はUSB(universal serial bus;ユニバーサルシリアルバス)のために専用に使用される各インターフェースを包含することを意図している。システムバス23は、カメラインターフェース59にも接続され、このカメラインターフェース59は、インタラクティブディスプレイ60に結合されて、以下で説明するようにデジタルビデオカメラ又はそれに含まれる同等のイメージセンサからの信号を受け取る。このイメージセンサは、その代わりにUSBバージョン2.0ポートなどの適切なシリアルI/Oポートに結合することもできる。オプションモニタ47は、ビデオアダプタ48など適切なインターフェースを介してシステムバス23に接続することができる。しかし、本発明のインタラクティブディスプレイテーブルは、ずっと豪華なディスプレイを提供し、情報の入力及びソフトウェアアプリケーションの制御を行うためにこのユーザと対話することができ、したがって、このビデオアダプタに結合されることが好ましい。PCは、しばしば(サウンドカード又は他のオーディオインターフェース(図示せず)を介して)スピーカやプリンタなど他のペリフェラル出力デバイス(図示せず)に結合されることがある。
本発明は、単一のマシン上で実行することもできるが、PC20はまた、リモートコンピュータ49など1つ又は複数のリモートコンピュータへの論理接続を使用して、ネットワーク環境で動作することもできる。リモートコンピュータ49は、別のPC、(一般的に概してPC20そっくりに構成される)サーバ、ルータ、ネットワークPC、ピアデバイス、あるいは人工衛星又は他の共通ネットワークノードとすることもでき、一般的にPC20に関連して前述したエレメントの多く又はすべてを含んでいるが、外部メモリストレージデバイス50しか、図1には示していない。図1に示す論理接続は、LAN(local area network;ローカルエリアネットワーク)51及びWAN(wide area network;ワイドエリアネットワーク)52を備えている。かかるネットワーキング環境は、オフィスと、企業規模のコンピュータネットワークと、イントラネット及びインターネットにおいて一般的である。
LANネットワーキング環境中で使用されるときには、PC20は、ネットワークインターフェース又はアダプタ53を介してLAN51に接続されている。WANネットワーキング環境中で使用されるときには、PC20は、一般的にインターネットなどのWAN52上で通信を確立するためのモデム54や、ケーブルモデム、DSL(Digital Subscriber Line;デジタル加入者回線)インターフェース、又はISDN(Integrated Service Digital Network;統合デジタルサービス通信網)インターフェースなど他の手段を備えている。モデム54は、内蔵又は外付けとすることができるが、I/Oデバイスインターフェース46を経由して、すなわち、シリアルポートを介してシステムバス23に接続され、又はこのバスに結合されることができる。ネットワーク環境においては、PC20が使用するプログラムモジュール、又はその一部分は、このリモートメモリストレージデバイスに記憶することもできる。図に示すこれらのネットワーク接続は、例示的なものであり、無線通信ネットワークリンクや広帯域ネットワークリンクなど、コンピュータ間で通信リンクを確立する他の手段を使用することもできる。
<例示のインタラクティブ表面及びイメージングシステム>
図2は、内部コンポーネントを示している、インタラクティブディスプレイ表面の一実施形態の断面図で、フレーム62内にPC20を備え、このコンピュータのための光学入力デバイス及びビデオディスプレイデバイスの両方の役割を果たす例示のインタラクティブディスプレイテーブル60が示されている。このインタラクティブディスプレイテーブル60のこの切取り図において、テキストイメージ及びグラフィックイメージを表示するために使用される光線は、一般的に点線(dotted line)を使用して示されるが、このインタラクティブディスプレイ表面64a上の、又はすぐ上のオブジェクトを感知するために使用される赤外線(IR)光線は、破線(dash line)を使用して示される。ディスプレイ表面64aは、このインタラクティブディスプレイテーブル60の上面64内に配置される。このテーブル表面の周辺は、ディスプレイ表面64a上に表示されているグラフィックイメージ又は仮想環境と対話するために使用することができるオブジェクトを含めて、ユーザの腕又は他のオブジェクトを支えるために役に立つ。図2に示す本発明の実施形態においては、このシステムは、IR光を使用して水平に配置されたディスプレイ表面64aに近接したオブジェクトをイメージ化するように構成されている。しかし、本発明の実施形態は、他のコンテキストにおいてイメージ化すること、ならびにIR光に追加して、又はその代わりに可視光及び紫外線(UV)光を含めて他のスペクトルにおける制御光源を使用することにも適用可能である。
図2に示す実施形態において、IR光源66は、複数のIR発光ダイオード(LED)を備え、フレーム62の内側に取り付けられることが好ましい。IR光源66が発生するIR光は、破線78a、78b及び78cによって示されるように、ディスプレイ表面64aの裏面に向かって上方に向けられる。IR光源66からのIR光は、光の拡散特性を有する1枚のベラム(vellum)又は他の適切な半透明材料を含む、このテーブルの半透明層64bを通過した後に、このディスプレイ表面64a上又はそれに近接した任意のオブジェクトから反射される。1つのIR光源66しか示されていないが、複数のかかるIR光源が、フレーム62の内側の周囲のスペースを空けた位置に取り付けられて、ディスプレイ表面64aの一様な照明を実証することができる。これらのIR光源によって発生される赤外光は、 ・破線78aによって示されるように、どのオブジェクトも照らさずにこのテーブル表面を通って出て行き、
・破線78bによって示されるように、このテーブル表面上のオブジェクトを照らし、又は
・破線78cによって示されるように、このテーブル表面上で少し離れているがこのテーブル表面とは接触していないオブジェクトを照らすことができる。
ディスプレイ表面64a上のオブジェクトは、このディスプレイ表面64a上に載っている「接触」オブジェクト76aと、このディスプレイ表面64aに近接しているが実際には接触していない「浮遊(hover)」オブジェクト76bとを備えている。このディスプレイ表面64a下の半透明層64bを使用してこのディスプレイ表面64aを通過するIR光を拡散する結果、オブジェクトがディスプレイ表面64aの上部に近づくにつれて、このオブジェクトによって反射されるIR光量は、このオブジェクトがこのディスプレイ表面64aと実際に接触しているときに達成される最大レベルにまで増大する。
デジタルビデオカメラ又は同等なイメージセンサ68は、ディスプレイ表面64a上に配置された任意の接触オブジェクト又は浮遊オブジェクトから反射されるIR光を受け取るのに適切な位置でディスプレイ表面64aの下のフレーム62に取り付けられる。イメージセンサ68は、ディスプレイ表面64a上の少し離れた距離にあり、又はディスプレイ表面64aと接触しているオブジェクトから反射されたIR光に対してしか応答せず、このディスプレイ表面64a上、又はその上方にあるオブジェクトから反射されるIR光のイメージに対応した出力信号を生成すべきことが好ましいので、バッフル79が、IR光源66とイメージセンサ68の間に配置されて、このIR光源から直接に放射されるIR光がイメージセンサ68に入射しないようにする。イメージセンサ68はまた、このインタラクティブディスプレイテーブル60の上から、及びその内部へとディスプレイ表面64aを通過する周囲光に含まれる任意のIR光(例えば、点線84bによって示される周囲可視光と一緒に、点線84aによって示される経路に沿って進むこともある周囲IR光)に対しても応答する。
このテーブル表面上の又はその上方のオブジェクトから反射されるIR光は、
・破線80a及び80bによって示されるように、半透明層64bを介して反射して戻り、イメージセンサ68のレンズに入り、又は
・破線80cによって示されるように、イメージセンサ68のレンズに入射せずに、このインタラクティブディスプレイ内の他の内部表面によって反射又は吸収されることもある。
半透明層64bは、入射IR光も反射IR光も共に拡散する。したがって、上述したように、ディスプレイ表面64aにより近接した「浮遊」オブジェクトは、このインタラクティブディスプレイ表面からさらに遠く離れた同じ反射率のオブジェクトよりも、多くのIR光をイメージセンサ68に対して反射して戻す。イメージセンサ68は、そのイメージングフィールド内の「接触」オブジェクト及び「浮遊」オブジェクトから反射されるIR光を感知し、処理して、かかる各オブジェクトの位置、ならびにオプションとして、このオブジェクトのサイズ、方向及び形状を決定するためにPC20に入力されるこの反射されたIR光のイメージに対応するデジタル信号を生成する。(ユーザの前腕など)オブジェクトの一部分は、このテーブルの上方に離れて存在するが、(ユーザの指など)別の部分は、このインタラクティブディスプレイ表面と接触している。さらに、オブジェクトは、オブジェクトに特有の、又はこのオブジェクトがそのメンバである、関連したオブジェクトのクラスに特有の、その底面上のIR光反射性パターン又はコード化識別子(例えば、バーコード)を含むことができる。したがって、本発明に従って、イメージセンサ68からのイメージング信号は、その反射パターンから反射されるIR光に基づいて、かかる特有のオブジェクトそれぞれを検出するために、またその方向を決定するために使用することもできる。このファンクションを実行するために実装される論理ステップは、以下で説明される。
本発明の実施形態によれば、以下でさらに説明するように、イメージセンサ68には、1つ又は複数の追加のフィルタを装備することができ、あるいは複数の別々のカメラ又はイメージセンサを使用して、複数の周波数範囲の受光される光を取り込むことができる。
PC20は、図2に示すようにインタラクティブディスプレイテーブル60と一体化されていてもよく、その代わり図3の実施形態に示すようにこのインタラクティブディスプレイテーブル60の外部にあってもよい。
図3は、外部のPCに結合されたテーブルタイプのインタラクティブディスプレイ表面の一実施形態の等角図で、このインタラクティブディスプレイテーブル60’は、データケーブル63を介して(前述のようにオプションのモニタ47を含む)外部のPC20に接続されている。また、図3に示すように、1組の直交するX軸及びY軸が、ディスプレイ表面64aに関連づけられており、同様に原点が「0」で示されている。詳細に示してはいないが、各直交軸に沿った複数の座標位置を使用してディスプレイ表面64a上の任意の位置を示すことができる。
このインタラクティブディスプレイテーブル60’が、(図3のように)外部PC20に、又はセットトップボックス、ビデオゲーム、ラップトップコンピュータ、メディアコンピュータ(どれも示さず)など、他の何らかのタイプの外部コンピューティングデバイスに接続されている場合には、このインタラクティブディスプレイテーブル60’は、入出力デバイスを備えている。このインタラクティブディスプレイテーブル用の電力は、パワーリード線61を介して供給され、このパワーリード線は、従来の交流電流(AC)電源(図示せず)に結合される。インタラクティブディスプレイテーブル60’に接続されるデータケーブル63は、PC20上のUSB2.0ポート、IEEE(Institute of Electrical and Electronics Engineers;米電気電子技術者協会)1394(又はファイヤワイヤ)ポート、又はイーサネット(登録商標)(Ethernet(登録商標))ポートに結合することができる。無線接続の速度が向上し続けるにつれて、このインタラクティブディスプレイテーブルは、かかる高速無線接続を介し、あるいは他の何らかの適切な有線又は無線のデータ通信リンクを介してPC20などのコンピューティングデバイスに接続することもできる。このインタラクティブディスプレイの一体化部分として内部に含まれようと、又は外部に含まれようとも、PC20は、イメージセンサ68からのデジタルイメージを処理するためのアルゴリズムを実行し、インタラクティブディスプレイテーブル60のより直感的なユーザインターフェース機能を使用して長所を引き出すように設計されたソフトウェアアプリケーションを実行し、同様にしてかかる機能を使用するように特には設計されていないが、依然としてこのインタラクティブディスプレイテーブルの入出力機能をうまく使用することができる他のソフトウェアアプリケーションも実行する。さらに他の代替形態として、このインタラクティブディスプレイは、外部コンピューティングデバイスに結合することもできるが、この場合に外部PCによっては行われないはずのイメージ処理及び他のタスクを行うための内部コンピューティングデバイスも備えることができる。
このインタラクティブディスプレイテーブル(すなわち、前述のいずれかの実施形態)の重要で強力な特徴は、ゲーム又は他のソフトウェアアプリケーションのためのグラフィックイメージ又は仮想環境を表示し、ディスプレイ表面64a上で見ることができるグラフィックイメージ又は仮想環境と、オブジェクト76aなど、インタラクティブディスプレイ表面上に載っており、又はオブジェクト76bなど、そのすぐ上方で浮遊している(hovering)オブジェクトとの間の相互作用を可能にするその機能である。かかるオブジェクト、ならびにこのユーザの指、又はこの豊富な相互作用を非常にうまく実行する、このユーザが動かしている他のオブジェクトを視覚的に検出することが、このインタラクティブディスプレイテーブルの機能である。
再び図2を参照すると、インタラクティブディスプレイテーブル60は、ディスプレイ表面64a上に、グラフィックイメージと、仮想環境又はテキスト情報を表示するために使用されるビデオプロジェクタ70を備えている。このビデオプロジェクタ70は、少なくとも640×480ピクセルの解像度をもつ、LCD(liquid crystal display;液晶ディスプレイ)タイプ、DLP(digital light processor;デジタル光プロセッサ)タイプ、又はLCoS(liquid crystal on silicon;液晶オンシリコン)ディスプレイタイプであることが好ましい。IRカットフィルタ86bが、ビデオプロジェクタ70のプロジェクタレンズの前に取り付けられて、このビデオプロジェクタ70によって放射されるIR光が、このインタラクティブディスプレイテーブルの内部に入らないようにしており、このインタラクティブディスプレイテーブルの内部では、このIR光が、ディスプレイ表面64a上の、又はその上方にある1つ(又は複数)のオブジェクトから反射されたIR光と干渉してしまう可能性がある。第1のミラーアセンブリ72aは、このプロジェクタレンズから点線経路82aに沿って進んでくる投影光を点線経路82bに沿ってフレーム62の透明な開口部90aを介するように方向変更し、その結果、この方向変更された光は、第2のミラーアセンブリ72b上へ入射することになる。第2のミラーアセンブリ72bは、この投影光を点線経路82cに沿って半透明層64b上へと方向変更し、この半透明層64bは、このプロジェクタレンズの焦点に存在し、その結果、この投影されたイメージは、見ることが可能であり、閲覧するためのディスプレイ表面64a上で焦点が合う。
位置合わせデバイス74a及び74bが提供され、これらは、ネジ棒と、このインタラクティブディスプレイ表面上に投影されるイメージがこのインタラクティブディスプレイ表面と位置合わせされるようにする第1及び第2のミラーアセンブリ72a、72bの角度を調整するための回転可能調整ナット74cとを備えている。この投影されたイメージを所望の方向に向けることに追加して、これら2つのミラーアセンブリの使用により、プロジェクタ70と半透明層64bの間のより長い経路が実現され、さらに重要なことに、このインタラクティブディスプレイテーブルの所望のサイズ及び形状を実現する助けとなり、その結果、このインタラクティブディスプレイテーブルは、あまり大きくなりすぎることもなく、このユーザが、その近くに快適に座ることができるような大きさと形状になっている。
以上及び以下の説明では、インタラクティブディスプレイテーブル60及び60’の形態のインタラクティブディスプレイデバイスについて説明している。それにもかかわらず、このインタラクティブディスプレイ表面は、一般的な水平のテーブル上部の形態とする必要がない。本発明のこの明細書で説明している原理は適切に、異なる形状及び曲率の、水平以外の方向に取り付けられたディスプレイ表面も含み、またこれらのディスプレイ表面にも適用される。したがって、以下の説明では、物理オブジェクトをこのインタラクティブディスプレイ表面の「上に(on)」配置することに言及しているが、物理オブジェクトは、このインタラクティブディスプレイ表面に接触して配置することによりこのインタラクティブディスプレイ表面に近接して配置することもでき、あるいはこのインタラクティブディスプレイ表面の付近に配置することもできる。
<制御IR光源を用いて、また用いずに取り込まれるIRイメージ>
外部IR光信号は、制限され又は補償されて、これらの望ましくない信号がインタラクティブディスプレイテーブル60の機能と干渉することがないようにするべきである。IR範囲以外の周波数帯におけるイメージングは、可視光、UV、又は他の光源からの干渉を受けることもある。以下の説明では、本発明の実施形態が低減させようとする外部光源によって引き起こされる問題の代表として、IRイメージングの例示のケースに焦点を当てている。
図4A,図4C及び図4Eは、インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び/又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図で、図4B,図4D及び4Fは、図4A,図4C及び図4Eのそれぞれに対応した、インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図である。つまり、インタラクティブディスプレイテーブルの一部分を示して、どのようにして意図せぬIR信号がインタラクティブ表面64aとかみ合ったユーザの手402のIR−スペクトルイメージを歪ませる可能性があるかを示している。
図4Aは、ディスプレイ表面64a上で一部接触し、一部「浮遊している」ユーザの手402を示している。明細書及び図面がこれにより特に参照により本明細書に組み込まれている、2004年3月31日に出願された「Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface」という名称の、同一出願人による同時係属の米国特許出願第10/814,761号明細書に説明されているように、IRイメージングシステムは、このインタラクティブディスプレイ表面に接触している物理オブジェクトと、このインタラクティブディスプレイ表面の近くで浮遊している物理オブジェクトとに応答し、これらの間の区別を行うことができる。
より詳細には、図4A、図4C及び図4Eにおいて、ユーザの手402の親指404及び中指408は、インタラクティブディスプレイ表面64aに接触しているが、人差し指406及び薬指410は、インタラクティブディスプレイ表面64a上で少し離れて「浮遊しており」、また小指412は、インタラクティブディスプレイ表面64aからさらに少し遠く離れて浮遊している。
図4Aにおいて、IR光ビーム414は、IR光源66から放射され、インタラクティブディスプレイ表面64aを通過し、ユーザの手402に入射している。反射されたIR光ビーム416は、インタラクティブディスプレイ表面64aを通過して戻り、イメージセンサ68に入る。このイメージセンサ68は、このカメラに入射するIR光のイメージに対応する信号を発生する。このイメージは、IR光ビーム416と、このイメージセンサ68に到達する他の任意のIR光のファンクションである。図4Aでは、ただ1つのIR光源は、IR光源66である。したがって、図4Aにおいては、意図せぬ周囲IR光源又は外部IR光源は存在しない。バッフル79は、IR光源66からのIR光がイメージセンサ68のレンズに直接に入射しないようにしている。
図4Bは、ユーザの手402によって反射される、IR光源66についてのIR光ビーム416だけに応答してイメージセンサ68が発生するユーザの手402aの結果IR−イメージを示している。反射されたIR光ビーム416に応答して、ユーザの手402aは、このイメージ中のバックグラウンド420aの光強度又は輝度に比べてより高い光強度又は輝度を有する。さらに、親指404a及び中指408aの先端は、このイメージ中において、残りの指406a、410a、及び412a、ならびに手の残りの部分402aよりも高い光強度又は輝度を有する。親指404a及び中指408aの先端だけが、ディスプレイ表面64aに接触している、手402aの部分であり(図4A)、その結果、この親指及び中指の先端から反射されたIR光は、インタラクティブディスプレイ表面64aの拡散による低下をあまり受けず、したがって、手の残りの部分402a又はバックグラウンド420aよりも高い光強度を有する。2つの異なる光強度レベルしか図4Bには示していないが、しかし、この反射されたIR光の光強度は、物理オブジェクトの反射率と、インタラクティブディスプレイ表面64aからのその距離に基づいて変化することになる。
図4Cでは、IR光源66が、非活性化されている。したがって、図4Aに示した図とは違って、IR光ビーム414は、ユーザの手402に向かって投影されず、このユーザの手からイメージセンサ68に向かって反射されるIR光ビーム416は存在していない。しかし、図4Aに示した図とは違って、図4Cは、インタラクティブディスプレイ表面64aの外部に源を発するIR光ビーム422及び424を示しており、これらが、イメージセンサ68によって取り込まれる。例えば、IRビーム422は、このインタラクティブディスプレイテーブルの周囲環境中の任意の白熱光源から放射されるIR光を示すこともあり、IRビーム424は、窓(図示せず)を介してこの周囲環境を照らす太陽光に含まれるIR光ビームを示すこともある。IR光ビーム422及び424は、ユーザの手402の周囲、及び指404乃至412の間を通過する。したがって、ユーザの手402の「逆光照明」は、図4Dに示すように、より明るいバックグラウンド420bに対するユーザの手402の影を含むイメージをもたらす。
図4Dにおいて、ユーザの手402は、暗い(図4Bのように明るく照らされてはいない)。ユーザの手402の背後からしか来ないIR光は、このイメージ中においてこのユーザの手に比べてずっと明るく見え、その結果、このユーザの手は、より明るいバックグラウンド420bに対する影としてしか見えない。図4Dのイメージは、人が太陽を背にして立っており、その結果、この人はこの太陽により逆光照明されているというイメージと似ている。逆光照明の拡散光線は、さらにずっと明るいバックグラウンドに対するかなり一様な影のイメージをもたらす。図4Dから分かるように、図4Bには存在するような、親指404b及び中指408bの指先のイメージと、手402b、ならびに指406b、410b及び412bのイメージの残りの部分との間の違いは存在しない。したがって、周囲IR光を用いたユーザの手の逆光照明は、少なくとも接触し浮遊する指と手の間のコントラストを低下させる傾向があり、ユーザの手402を含むイメージの有用なイメージ処理を実質的に減らす可能性がある。一般的に、このイメージの任意のセグメンテーション、すなわち、ユーザの手の一部分か否かとしての各ピクセルのラベル付け、又はこのインタラクティブディスプレイ表面上に置かれたオブジェクト一部分か否かとしての任意のピクセルのラベル付けは、これらの条件下ではあまり難しくはない。この周囲光レベルは、このIR光源からの反射されたIR光のレベルに簡単にマッチングさせることができる。(これらのオブジェクトが不透明な場合に、周囲光は、オブジェクトから戻された光に影響を与えないので)一般に任意のオブジェクトのこの表面外観を読み取ることは可能であるが、どのオブジェクトがこのインタラクティブディスプレイ表面と接触しているかについての指示としてイメージ中の輪郭及び形状、又は絶対ピクセル強度を用いることは不可能である。
図4Eにおいて、IR光源66は、図4Aに示すように、もう一度活性化される。しかし、今回は、周囲IR光源もまたアクティブであり、その結果、例えば、白熱光422及び太陽光424からの周囲IR光も存在している。図4Eに示すように、投影されたIR光ビーム414が、IR光源66からユーザの手402及び指404乃至412に到達し、この手及び指から反射されたIR光ビーム416は、イメージセンサ68に到達する。同時に、ユーザの手402の周囲及びユーザの指404乃至412を介して輝く周囲IR光ビーム422及び424も、このイメージセンサに到達する。
図4Fに示す結果イメージは、このユーザの手から反射されたIR光ビーム416と、周囲IR光ビーム422及び424とが、互いに効果的に相殺することができることを示している。その結果、インタラクティブディスプレイ64aに接触しているユーザの指404c及び408cと、ユーザの手402cならびに指406c、410c及び412cの残りの部分との間だけでなく、一般にユーザの手402c及び指404c乃至412cとバックグラウンド420cとの間のコントラストを実質的に低下させることができる。バックグラウンド420cは、図4Dに示すように明るくなり、このユーザの指404c及び408cは、このIR光源からの反射されたIRによって識別可能なものとなる。さらに、ユーザの手402cは、この明るい周囲バックグラウンドに対する影として明らかになる。このユーザの手からの反射されたIR光ビーム416が、周囲IR光ビーム422及び424のビームよりも実質的に高い光強度をもつ場合には、ユーザの手402c及び指404c乃至412cのイメージは、依然としてバックグラウンド420cよりも明るいものとして際立ったものとなる可能性がある。IR光源66の光強度の有効な調整は、インタラクティブディスプレイ表面64aに接触している指404c及び408cの先端と、周囲IR光ビーム422及び424によって照らされるバックグラウンドの間のコントラストを保持しようと試みながら、周囲光422及び424のビームを明らかにするために行う必要がある。
したがって、本発明は、外部の白熱光422や太陽光424などIR光の望ましくない周囲光源及び/又は意図せぬ周囲光源の影響を補償している。再び、図4B、図4D及び図4Eを参照すると、IR光ビーム416の反射ビームだけ(図4A)がイメージセンサ68で受光されるような図4Bのイメージの等価物を達成することが望ましい。残念ながら、この環境中の周囲IR光のほとんどを実質的になくすることによる以外には、IR光ビーム422及び424の外部光源は、一般的に、反射されたIR光ビーム416と一緒に含まれることになり、この周囲IR光の存在が補償されない限り、図4Fのイメージによく似たイメージがもたらされる。適切な補償を実現しなければ、環境内に周囲IR光源が存在するときはいつでも、図4Dのイメージ中のこの望ましくないバックグラウンドが、常に図4Bのようなオブジェクトから反射されたIR光の所望のイメージに追加されることになり、図4Fの問題を有するイメージがもたらされる。
<その相対強度に基づいた非制御光についての調整>
本発明の実施形態は、非制御の外部光源から受光される光の影響を低下させることにより、またこのイメージデータを調整して非制御の外部光源から受光される光の影響を修正することにより、図4Bのイメージなど、より理想化されたイメージを導き出そうとするものである。本発明の実施形態は、ある周波数範囲にわたる光に対する変化する応答を有するイメージセンサを使用することにより、非制御光源の光強度を決定している。本発明の一実施形態においては、このイメージセンサには、個別のピクセルに対して赤色光、緑色光及び青色光を選択的に通過させるフィルタが装備され、これらのピクセルは、特定の波長において赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対して、知られている相対的な応答を有している。この制御光源は、この光源が近赤外線スペクトルの波長においてピーク強度を有するように選択され、ここでこのイメージセンサのピクセルは赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対してほぼ等しい応答を有する。その結果、この光源によって発生され、イメージ化されるオブジェクトによって反射される光に対するこのイメージセンサの応答は、バランスした光強度を有することになる。対照的に、太陽光、タングステンフィラメント電球、ハロゲン電球など、一般的な非制御光は、近赤外線波長の範囲にわたってかなり均一な光強度を有する光を放射する傾向がある。本発明の一実施形態においては、帯域通過フィルタを使用して、この帯域通過フィルタのカットオフ波長と、この異なる波長に対するこのイメージセンサの応答を定量化することが可能な、このイメージセンサの感度減衰ポイントとの間の範囲に、受光される近赤外線光の波長を制限する。このイメージセンサは、この非制御光が引き起こす光強度の差異を検出することになる。赤色フィルタ光、青色フィルタ光及び緑色フィルタ光に対するこのイメージセンサの知られている応答特性を使用して、この非制御光の光強度を決定することができ、次いでこのイメージデータを調整して、望ましくない非制御光の影響を低下させることができる。
<非制御光についての補償を行うためのシステム>
図5は、本発明の一実施形態による、望ましくない光源の影響を低下させるためのシステムのブロック図で、コンピュータビジョンシステム上の非制御光源の影響を低下させるためのシステム500を示している。このシステム500は、インタラクティブディスプレイ表面64a(図2及び図3)を用いて機能するが、特定の周波数帯の光を使用してオブジェクトの位置を識別及び/又は検出する他のコンピュータビジョンシステムのために同様な利点を簡単に実現するようにもすることができる。(図1乃至図3に示す)PC20は、イメージ処理のファンクションを実行し、処理済みイメージ出力518を提供する。このPC20は、例えば、イメージセンサ68によって感知されたイメージに応じて生成された信号を処理して、インタラクティブディスプレイ表面64a上、又はその近くに配置されたユーザの指408又は他の物理オブジェクトの存在及び/又は動きを検出する。
図5に示す本発明のこの一実施形態において、光源66は、制御IR光源である。図7に関連して以下でさらに説明しているように、光源66は、フィルタ506及び508と結合されたイメージセンサ68の応答に対してピーク放射光強度を有するように選択して、光源66からの反射された光を非制御光源から区別するようにすることができる。
光源66は、光414をインタラクティブディスプレイ表面64aに向かって方向づけるように構成され配置され、イメージングが行われるときに(図示していないが、PC20などの)PC又は他の制御システムの制御下で光源66にエネルギを与える光源コントローラ502によって制御される。イメージセンサ68の応答性のキャリブレーション又はクロスチェックのためにアクティブでない非制御の周囲光源66の読取りを行い、又はイメージングが行われていないときに光源66を非活性化することが望ましい場合及びそのときには、光源コントローラ502を使用して光源66を非活性化することができる。
反射光416、ならびに白熱光422及び太陽光424を含む周囲光は、インタラクティブディスプレイ表面64aを通過し、イメージセンサ68によって検出される。図5に示す実施形態においては、イメージセンサ68は、デジタル出力510を生成し、次いでこのデジタル出力は、以下でさらに説明するように処理される。
本発明の一実施形態においては、イメージセンサ68には、スペクトルフィルタ506及び帯域通過フィルタ508が装備されている。以下でさらに説明しているように、帯域通過フィルタ508を使用して、イメージセンサ68によって受光される光からある種の波長より短い光を減衰させて、受光される光波長の範囲を制限して、異なる光波長に対するイメージセンサ68の応答を利用することができる。本発明の一実施形態においては、スペクトルフィルタ506は、二次元アレイピクセル中の異なるピクセルに異なる波長の光を通過させるために光にフィルタをかけるために使用されるベイヤフィルタを備え、スペクトルフィルタ506は、イメージセンサ68と一体化することもできる。
このイメージ中で、カラー化エレメントを形成するように組み合わされる隣接ピクセル位置について赤色、緑色及び青色の寄与をもたらすことによって、単色センサがカラーイメージを記録することができるようにするベイヤフィルタは、当業者にはよく知られている。
図6は、本発明の一実施形態による、光センサによって受光される光にフィルタをかけるために使用することができる代表的なモザイクベイヤフィルタのセクションを示す図で、使用可能な代表的なベイヤフィルタ506のセクションを示している。このベイヤフィルタ506は、それぞれ赤色光、青色光及び緑色光をその下に存在するピクセルに通過させるように構成された赤色フィルタリングセクション610、緑色フィルタリングセクション620及び青色フィルタリングセクション630を備えている。スペクトルフィルタ506を使用することにより、スペクトルフィルタ506によって個別ピクセルに通過させられる異なる波長光に対する定量化可能な応答を有するイメージセンサ68がもたらされる。
図7は、赤色周波数帯、緑色周波数帯及び青色周波数帯に主として感受性があるが、赤外波長に対する感度も有し、異なるカラーフィルタによってカバーされたこれらのエレメントの相対感度が、特定の赤外周波数に応じてフィルタカラーごとにこの赤外領域内で変化するイメージセンサについての光感度曲線のグラフを示す図で、代表的なイメージセンサについての光感度曲線のグラフ700を示している。特に、グラフ700は、本発明中で使用可能なナショナルセミコンダクタ(商標)モデルLM9647イメージセンサの応答性を示している。このLM9647イメージセンサは、主として赤色周波数帯、緑色周波数帯及び青色周波数帯に対して感受性があるが、赤外線波長に対する感度も有している。異なるカラーフィルタによってカバーされたエレメントの相対感度は、この特定の赤外線周波数に応じてフィルタカラーごとに赤外線領域内で変化する。このLM9647イメージセンサは、図6に示すタイプの一体化ベイヤフィルタを備えている。曲線710、720及び730は、その関連するベイヤフィルタを介した青色光に対するこのセンサの感度を表すが、曲線720は、それぞれ青色光、緑色光及び赤色光に対するその感度を示す。曲線710乃至730は、図7に示す波長範囲にわたって大いに異なっているが、破線740が示すように約750nmで、収束し始める。曲線710乃至730は、約880nmにおける点線760においてほとんど収束している。イメージセンサ68の感度は、約900nmにおける感度減衰ポイント770において実質的に減衰し始める。
したがって、750nmにおける破線740と、感度減衰ポイント770との間に広がっている範囲780は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対するイメージセンサ68の応答性が、著しく変化すると共に実質的に収束もする範囲を取り込んでいる。したがって、光源66(図5)は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対するイメージセンサ68の応答が収束する約880nmのピーク強度を有するように選択され、帯域通過フィルタ508は、750nmより短い波長において光をブロックするように選択される。
ベイヤフィルタを伴うイメージセンサを使用する代わりに、他のシステムを使用して複数の周波数範囲の光を検出することができる。例えば、それぞれが別の周波数範囲特有のフィルタを搭載した複数のイメージセンサを使用することができる。これらの別々のセンサは、ビームスプリッタを介してこの光の一部分を受光することができる。したがって、時間ごとにポイントごとに、この各周波数範囲における読取りが行われるはずである。さらに、複数の各フレームキャプチャ間隔中にこの全体のイメージセンサ上で異なるフィルタエレメントを循環させるカラーホイールフィルタ又は他のタイプの周期的フィルタを伴うセンサを使用することができる。さらに代わりに、各ポイントで別々の周波数範囲における光を検出することが可能なマルチカラー感受性センサも使用することができる。
図5に戻って参照すると、周囲の白熱光422又は太陽光424が存在しない状況においては、イメージセンサ68によって集められる唯一の光は、光源66によって発生される光414からオブジェクト408によって反射される光416となる。イメージセンサ68が赤色フィルタ光、緑色フィルタ光及び青色フィルタ光に対して等しい応答を有する波長においてピーク強度を有する光源66を選択することにより、周囲光が存在しないときには、各タイプのフィルタカラーに関連するピクセルは、バランスさせられることになる。対照的に、周囲の白熱光422又は太陽光424は、おそらく光源66と同じピーク強度をもたず、これらの非制御光源からの光は、範囲780にまたがる波長において受光されることになる。赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するイメージセンサ68のピクセルは、曲線710乃至730によって示されるように様々な強度応答を有することになる。したがって、周囲の白熱光422又は太陽光424が存在するときには、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するピクセルの変化する応答を測定し、範囲780にまたがる光に対するこれらのピクセルの変化する感度を活用することにより、制御光源66以外の光源からの光強度を決定することができる。次いで、イメージングデータを調整して、非制御光源からのイメージセンサ68が受光する光の影響を低下させることができる。
イメージセンサ68からの出力510からのイメージングデータは、データバッファメモリ512に記憶される。以下でさらに説明するように、非制御光プロセッサ又は識別器514は、この非制御光の光強度を決定する。次いで、この制御光の光強度は、この非制御光の光強度について補償されて、このイメージングデータを調整して、この非制御光の影響が十分に低下される。次いで、この非制御光の光強度は、この非制御光の光強度を差し引くように構成された加算器516又は同様なプロセッサによって算術的に相殺されて、処理済みイメージ出力518に生成される調整済みのイメージデータがもたらされる。潜在的にデータバッファストレージ、非制御光識別/処理、及び/又はこのイメージデータの調整を含めてこれらのステップの一部又はすべては、適切に構成されたプロセッサ又はコンピュータ中でオプションとして実施される。
<非制御光の強度を決定すること>
上述したように、本発明の実施形態は、知られているピーク強度を有する光源と、異なるカラーのフィルタに関連するピクセルにおいて様々な感度を有するイメージセンサとを使用している。赤色フィルタ光、緑色フィルタ光及び青色フィルタ光を受光するピクセルがどのように応答するかにおける変化を使用して、受光される非制御光の光強度を決定することができる。
例えば、図7に戻って参照すると、非制御光の光強度は、破線740と減衰ポイント770の間の範囲780上で決定されており、この破線740は、曲線710乃至730が増大する波長のファンクションとして収束し始めるが、まだ収束してはいない、帯域通過フィルタ508についてのカットオフ波長である。グラフ700に表されるデータを解析し、赤色フィルタ光応答曲線730を青色フィルタ光応答曲線710と比較すると、このイメージセンサは、範囲780上で青色フィルタ光に対するのに比べて赤色フィルタ光に対して約1.6倍だけ感度が高い。同様に緑色フィルタ光応答曲線720を青色フィルタ光応答曲線710と比較すると、このイメージセンサは、範囲780上で青色フィルタ光に対するのに比べて赤色フィルタ光に対して約1.17倍だけ感度が高い。したがって、図7に示す応答を有するイメージセンサの実施例を使用し、異なるフィルタ光に対する応答がバランスしている波長においてピーク強度を有する制御光源を使用すると、検出される非制御光の光強度を決定し、したがって、このイメージングデータ中で相殺することができる。
式(1)は、この制御光源及び非制御光源から受光される赤色フィルタ光の合計光強度について表現している。この制御光源は、赤色フィルタ光、緑色フィルタ光及び青色フィルタ光についてのこのイメージセンサの応答が等しい波長においてピーク強度を有するので、この制御光の相対光強度は、1.0である。対照的に、非制御光源から受光される光の相対光強度は、1.6である。したがって、次式のようになる。
TotalRed=IntensityControlled×1.0+IntensityUncontrolled×1.6 ・・・(1)
同様に、式(2)は、この制御光源及び非制御光源から受光される青色フィルタ光の合計光強度についての関係を表現している。
TotalBlue=IntensityControlled×1.0+IntensityUncontrolled×1.0 ・・・(2)
この式(2)は、式(3)中のIntensityControlledについて解くことが可能である。
IntensityControlled=TotalBlue−IntensityUncontrolled ・・・(3)
この式(3)からのIntensityControlledの計算値を式(1)に代入すると、式(4)は、式(1)をこの赤色周波数帯及び青色周波数帯中で受光される合計光強度のファンクションとしてIntensityUncontrolledについて解くことができることを示す。
IntensityUncontrolled=(TotalRed−TotalBlue)/0.6 ・・・(4)
したがって、対象となる範囲にわたってのこのイメージセンサの知られている応答に基づいて、この非制御光の光強度は、各ポイントにおいて測定される赤色フィルタ光と青色フィルタ光の合計測定光強度から決定することができる。説明しているシステムにおいて、技術的に各ポイント又はピクセルは、赤色フィルタ光、緑色フィルタ光又は青色フィルタ光だけを受光し、それ故に、各ポイントにおける非制御光の光強度は、それぞれ赤色フィルタ光と青色フィルタ光とを受光する2つの最近接ピクセルにおける赤色フィルタ光と青色フィルタ光の合計測定光強度を使用し、式(4)を使用して決定される。
この非制御光の光強度が決定された後に、各ポイントにおいて受光されるフィルタ光に応じて、各ポイントにおけるこの制御光の光強度は、このポイントがそれぞれ赤色フィルタ光、緑色フィルタ光又は青色フィルタ光を受光するかどうかに応じて、式(5)乃至(7)のうちの1つから決定することができる。
IntensityControlled=TotalRed−1.6×IntensityUncontrolled ・・・(5)
IntensityControlled=TotalGreen−1.17×IntensityUncontrolled ・・・(6)
IntensityControlled=TotalBlue−1.0×IntensityUncontrolled ・・・(7)
本発明の実施形態は、フィルタ光に対して異なる応答を有するイメージセンサに適応させることができ、同様な式は、異なる波長における光に対するこれらのイメージセンサの知られている応答から導き出すことができる。光源は、検討している範囲におけるイメージセンサの応答に適したピーク強度を有するように選択及び/又は構成することができる。
<非制御光について調整されるイメージ>
図8Aは、光周波数に基づいて、このイメージが非制御光源の影響について調整される以前における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図で、非制御光の影響を低下させるように処理されていない元のイメージ800aを示している。また、図8Bは、光周波数に基づいて、このイメージが非制御光源の影響について調整された後における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図で、本発明の一実施形態に従って非制御光の影響が低下させられている調整済みのイメージ800bを示している。
図8Aにおいて、元のイメージ800aは、イメージ化されている2つのオブジェクト810a及び820aを示している。オブジェクトのエッジ812a及び822aは、バックグラウンド830aに対してどちらかというとぼやけている。オブジェクト810a及び820aの周囲からイメージ800aに入射する非制御の周囲光が、オブジェクト810a及び820aをイメージ化するために制御光しか受光されなかった場合には、存在しているはずのコントラストをなくしてしまう。チェッカーボードパターン840は、モザイクのベイヤフィルタ506(図5及び6)のアーティファクトであり、このフィルタがこの受光された光に影響を及ぼす方法からもたらされる。
しかし、図8Bの調整済みのイメージ800bは、暗くしたバックグラウンド830bに対してはっきりしたコントラストのエッジ812b及び822bを有する同じオブジェクト810b及び820bのイメージを示している。このベイヤフィルタを介してこのセンサにおいて受光される光の相対光強度を使用して、赤色周波数帯光及び青色周波数帯光の相対光強度が測定されている。これらの相対光強度から、この非制御の周囲光の全体的光強度が上述したように決定される。したがって、調整済みのイメージ800bは、どのようにしてこの相対光強度の測定値を使用して、非制御光の影響を低下させ、よりはっきりしたイメージがもたらされるかを示している。
<イメージデータを調整して非制御光源の影響を低下させるための方法>
図9は、本発明の一実施形態による、望ましくない照明の影響を低下させるための論理ステップを示す流れ図で、非制御照明及び/又は望ましくない照明の影響を実質的になくし、又は低下させるための例示の論理ステップを示す流れ図900である。
まず、ステップ902において、このインタラクティブディスプレイ表面のイメージングが開始される。次に、ステップ904において、赤色フィルタ光、緑色フィルタ光又は青色フィルタ光に対するこのイメージセンサの相対感度が認識される。上述したように、このイメージセンサの相対感度は、非制御光の強度を導き出すために使用可能な式を決定し、それによってこのイメージを調整して、この非制御の周囲光の影響を修正する。このイメージセンサの相対感度の決定は、このイメージングシステムが使用されるたびに実施される必要はないが、非制御光の影響を決定し、明らかにするために使用される式は装置に依存する。
次に、ステップ906において、この対象領域が、この制御光源によって照らされる。上述したように、この制御光源は、この赤色周波数帯や青色周波数帯など選択済みの周波数帯に関して知られている相対光強度を有しており、これにより、非制御光の光強度の計算が実行される。この制御光源は、この非制御光の測定の後にアクティブにすることができ、あるいはアクティブにし、アクティブのままにすることもできる。
次に、ステップ908において、例えば、図8Aに示すように、光が対象となる領域から集められて、この未処理の未調整のイメージデータが取り込まれる。ステップ910において、各ポイントにおいて受光される光強度が測定される。次に、ステップ912において、非制御光の光強度は、赤色光受光ピクセル及び青色光受光ピクセルにおいて測定された赤色フィルタ光、緑色フィルタ光又は青色フィルタ光の相対光強度に基づいて計算される。次に、ステップ914において、このイメージデータは、ポイントごとに調整されて、非制御光の影響を低下させる。本発明の一実施形態においては、ステップ912において決定される非制御光の全体的光強度は、各ポイントにおけるこの光の測定済みの光強度から差し引かれる。
次に、判断ステップ916において、イメージングが継続されるかどうかが判定される。継続される場合、ルーチン900は、ステップ906へとループして、継続して対象領域におけるオブジェクトを照明しイメージ化する。他方、判断ステップ916においてイメージ化が継続されないと判定される場合には、ルーチン900は、ステップ918において終了する。
本発明は、本発明及び本発明に対する変更を実行する好ましい形態に関連して説明してきたが、添付の特許請求の範囲の範囲内において本発明に対して他の多数の変更を行うことができる。したがって、本発明の技術的範囲は、以上の説明によってどのようにも限定されることは意図しておらず、その代わりに全面的に添付の特許請求の範囲に関連して決定されるものである。
インタラクティブなディスプレイ表面についてのイメージ処理に適した、本発明を実行する際に有用となる一般的な従来のコンピューティングデバイス又はパーソナルコンピュータ(PC)の機能ブロック図である。 内部コンポーネントを示している、インタラクティブディスプレイ表面の一実施形態の断面図である。 外部のPCに結合されたテーブルタイプのインタラクティブディスプレイ表面の一実施形態の等角図である。 インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び/又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図(その1)である。 インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図(その1)である。 インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び/又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図(その2)である。 インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図(その2)である。 インタラクティブディスプレイ表面に近接した手が、制御光源からの光及び/又は周囲光によって照らされている、このインタラクティブディスプレイ表面の一部分の拡大断面図(その3)である。 インタラクティブディスプレイ表面から受光される反射光に基づいてこのインタラクティブディスプレイ表面から取り込まれた結果イメージを示す図(その3)である。 本発明の一実施形態による、望ましくない光源の影響を低下させるためのシステムのブロック図である。 本発明の一実施形態による、光センサによって受光される光にフィルタをかけるために使用することができる代表的なモザイクベイヤフィルタのセクションを示す図である。 赤色周波数帯、緑色周波数帯及び青色周波数帯に主として感受性があるが、赤外波長に対する感度も有し、異なるカラーフィルタによってカバーされたこれらのエレメントの相対感度が、特定の赤外周波数に応じてフィルタカラーごとにこの赤外領域内で変化するイメージセンサについての光感度曲線のグラフを示す図である。 光周波数に基づいて、このイメージが非制御光源の影響について調整される以前における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図である。 光周波数に基づいて、このイメージが非制御光源の影響について調整された後における、モザイクベイヤフィルタを介してイメージングデバイスによって生成されるイメージの一例を示す図である。 本発明の一実施形態による、望ましくない照明の影響を低下させるための論理ステップを示す流れ図である。
符号の説明
20 PC
21 処理装置
22 システムメモリ
23 システムバス
32 ハードディスクドライブインターフェース
33 磁気ディスクドライブインターフェース
34 光ディスクドライブインターフェース
35 オペレーティングシステム
36 アプリケーションプログラム
37 他のプログラムモジュール
38 プログラムデータ
40 キーボード
46 I/Oデバイスインターフェース(例えば、シリアル)
47 オプションモニタ
48 ビデオアダプタ
49 リモートコンピュータ
53 ネットワークインターフェース
54 モデム
59 カメラインターフェース
60,60’ インタラクティブディスプレイテーブル
61 パワーリード線
62 フレーム
63 データケーブル
64 上面
64a ディスプレイ表面
64b 半透明層
66 光源
68 イメージセンサ
70 ビデオプロジェクタ
72a 第1のミラーアセンブリ
72b 第2のミラーアセンブリ
74a,74b 位置合わせデバイス
74c 回転可能調整ナット
76a 「接触」オブジェクト
76b 「浮遊(hover)」オブジェクト
79 バッフル
86b IRカットフィルタ
90a 透明な開口部
402,402a,402b,402c ユーザの手
404,404a,404b,404c 親指
406,406a,406b,406c 人差し指
408,408a,408b,408c 中指
410、410a,410b,410c 薬指
412,412a,412b,412c 小指
414,416,422,424 IR光ビーム
420a バックグラウンド
500 システム
502 光源コントローラ
506,508 フィルタ
510 出力
512 データバッファメモリ
514 非制御光識別器
516 加算器
518 処理済みイメージ出力

Claims (27)

  1. イメージングデータ中の非制御光の影響を低下させるための方法であって、
    (a)複数の周波数範囲において知られている強度の光を放射する制御光源によって発生される制御光で対象領域を照明するステップと、
    (b)前記複数の周波数範囲の各々における光強度を検出するように構成され、前記対象領域からの光を受光するイメージセンシングシステムを配置するステップと、
    (c)前記複数の周波数範囲の各々において受光された光に対する前記イメージセンシングシステムの異なる感度を測定するステップと、
    (d)前記複数の周波数範囲の各々における前記対象領域から受光された光強度を検出するステップであって、前記受光された光が、前記非制御光と前記対象領域から反射される前記制御光の一部分とを含むステップと、
    (e)前記制御光源の前記知られている光強度と、前記複数の周波数範囲の各々において検出される光強度とに基づいて前記受光された光に含まれる前記非制御光の光強度を計算するステップと、
    (f)前記イメージングデータに対する前記非制御光の寄与について補償するように、前記複数の周波数範囲の各々における前記対象領域からの前記受光された光強度から前記非制御光の前記計算された光強度を差し引くことにより、前記非制御光の前記計算された光強度に基づいて前記イメージングデータを調整するステップと
    を有することを特徴とする方法。
  2. 前記制御光源は、
    (a)赤外線スペクトルと、
    (b)可視光スペクトルと、
    (c)紫外線スペクトル
    のうちの少なくとも1の光放射を行なうことを特徴とする請求項1に記載の方法。
  3. 前記制御光源が、前記複数の周波数範囲の各々においてほぼ等しい強度の光を放射するように、前記制御光源を構成するステップをさらに有することを特徴とする請求項1に記載の方法。
  4. 前記受光された光強度を検出するステップと、前記非制御光の光強度を計算するステップと、前記イメージングデータを調整するステップは、前記対象領域を構成する複数の部分の各々について実施されることを特徴とする請求項1に記載の方法。
  5. 前記対象領域の前記部分は、前記対象領域中の各ポイントを含むことを特徴とする請求項4に記載の方法。
  6. 前記イメージセンシングシステムは、
    (a)それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられた検出器と、
    (b)前記各検出器が異なる周波数範囲において受光するようになっている複数のイメージ検出器と、
    (c)特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられた検出器と、
    (d)各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージ検出器と
    のうちの1つを備えたことを特徴とする請求項1に記載の方法。
  7. 前記フィルタエレメントは、
    (a)赤色周波数範囲と、
    (b)青色周波数範囲と、
    (c)緑色周波数範囲
    のうちの1つを通過させるように構成されていることを特徴とする請求項6に記載の方法。
  8. 前記検出器は、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項6に記載の方法。
  9. イメージングデータ中の非制御光の影響を低下させるための方法であって、
    (a)複数の周波数範囲上で均一な強度の光を放射する制御光源によって発生される制御光で対象領域を照明するステップと、
    (b)複数の位置の各々において前記複数の周波数範囲の各々における光強度を検出するように構成され、前記複数の位置の各々において前記対象領域からの光を受光するイメージセンシングシステムを配置するステップと、
    (c)前記複数の周波数範囲の各々において受光される光に対する前記イメージセンシングシステムの異なる感度を測定するステップと、
    (d)前記複数の位置の各々において前記複数の周波数範囲の各々における前記対象領域からの前記受光された光強度を検出するステップであって、前記受光された光は、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むステップと、
    (e)前記制御光源の前記均一な光強度と、前記複数の位置の各々において前記複数の周波数範囲の各々において検出される光強度とに基づいて前記複数の位置の各々において前記受光された光に含まれる前記非制御光の光強度を計算するステップと、
    (f)前記イメージングデータに対する前記非制御光の寄与について補償するように、前記対象領域内の各位置における前記受光された光強度から前記対象領域の各位置についての前記非制御光の前記計算された光強度を差し引くことにより、前記複数の位置の各々についての前記イメージングデータを調整するステップと
    を有することを特徴とする方法。
  10. 前記制御光源は、
    (d)赤外線スペクトルと、
    (e)可視光スペクトルと、
    (f)紫外線スペクトル
    のうちの少なくとも1つの光放射を行なうことを特徴とする請求項9に記載の方法。
  11. 前記イメージセンシングシステムは、
    (a)それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
    (b)前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
    (c)特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
    (d)各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
    のうちの1つを備えていることを特徴とする請求項9に記載の方法。
  12. 前記フィルタエレメントは、
    (a)赤色周波数範囲と、
    (b)青色周波数範囲と、
    (c)緑色周波数範囲
    のうちの1つを通過させるように構成されていることを特徴とする請求項11に記載の方法。
  13. 前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項11に記載の方法。
  14. 前記イメージングデータを調整するステップは、前記対象領域内の各位置における前記受光された光強度から前記非制御光の前記計算された光強度を差し引くステップを有することを特徴とする請求項9に記載の方法。
  15. イメージングデータ中の非制御光の影響を低下させるためのシステムであって、
    (a)表面に近接してその表面上にマーキングを有するオブジェクトを配置することができ、ソフトウェアアプリケーションによって決定されるイメージを表示するインタラクティブディスプレイ表面と、
    (b)該インタラクティブディスプレイ表面に近接して配置されるオブジェクトを照明するように配置され、複数の周波数範囲において知られている光強度を有する制御光を放射するように構成される制御光源と、
    (c)対象領域からの光を受光するように配置され、前記複数の周波数範囲の各々において光強度を検出するように構成され、前記複数の周波数範囲の各々において受光される光に対する異なる感度を有し、前記受光された光が、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むイメージセンシングシステムと、
    (d)前記イメージセンシングシステムと情報をやりとりするプロセッサと、
    (e)該プロセッサと情報をやりとりし、該プロセッサに、
    (i)前記制御光源の前記知られている光強度と前記複数の周波数範囲の各々において検出される光強度に基づいて、前記受光された光に含まれる前記非制御光の光強度を計算するファンクションと、
    (ii)前記イメージングデータに対する前記非制御光の寄与について補償するように、前記複数の周波数範囲の各々において前記受光される光強度から前記非制御光の前記計算された光強度を差し引くことにより、前記非制御光の前記計算された光強度に基づいて前記イメージングデータを調整するファンクションと
    を含む複数のファンクションを実行させるデータ及びマシン命令を記憶するメモリと
    を備えたことを特徴とするシステム。
  16. 前記制御光源は、
    (g)赤外線スペクトルと、
    (h)可視光スペクトルと、
    (i)紫外線スペクトル
    のうちの少なくとも1つの光放射を行うように構成されたことを特徴とする請求項15に記載のシステム。
  17. 前記制御光源は、前記各周波数範囲におけるほぼ等しい強度の光を放射するように構成されたことを特徴とする請求項15に記載のシステム。
  18. 前記受光された光強度は検出され、前記非制御光の計算光強度は計算され、前記イメージングデータは、前記対象領域を構成する複数の各部分について調整されることを特徴とする請求項15に記載のシステム。
  19. 前記対象領域の前記部分は、前記対象領域の前記各ポイントを含むことを特徴とする請求項18に記載のシステム。
  20. 前記イメージセンシングシステムは、
    (a)それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
    (b)前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
    (c)特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
    (d)各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
    のうちの1つを備えていることを特徴とする請求項15に記載のシステム。
  21. 前記フィルタエレメントは、
    (a)赤色周波数範囲と、
    (b)青色周波数範囲と、
    (c)緑色周波数範囲
    のうちの1つを通過させるように構成されたことを特徴とする請求項20に記載のシステム。
  22. 前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項20に記載のシステム。
  23. イメージングデータ中の非制御光の影響を低下させるためのシステムであって、
    (a)表面に近接してその表面上にマーキングを有するオブジェクトを配置することができ、前記ソフトウェアアプリケーションによって決定されるイメージを表示するインタラクティブディスプレイ表面と、
    (b)該インタラクティブディスプレイ表面に近接して配置されるオブジェクトを照明するように配置され、複数の周波数範囲にわたって均一な光強度を有する制御光を放射するように構成される制御光源と、
    (c)対象領域から受光するように配置され、複数の位置の各々において前記複数の周波数範囲の各々において光強度を検出するように構成され、前記受光された光が、前記非制御光と前記対象領域から反射されている前記制御光の一部分とを含むイメージセンシングシステムと、
    (d)前記イメージセンシングシステムと情報をやりとりするプロセッサと、
    (e)前記プロセッサと情報をやりとりし、該プロセッサに、
    (i)前記制御光源の前記均一な光強度と前記複数の位置の各々において前記複数の周波数範囲の各々において検出される光強度に基づいて、前記複数の位置の各々における前記受光された光に含まれる前記非制御光の光強度を計算するファンクションと、
    (ii)前記複数の位置の各々における前記イメージングデータに対する前記非制御光の寄与について補償するように、前記複数の位置の各々における前記受光された光強度から前記非制御光の前記計算された光強度を差し引くことにより、前記非制御光の前記計算された光強度に基づいて前記イメージングデータを調整するファンクションと
    を含む複数のファンクションを実行させるデータ及びマシン命令を記憶するメモリと
    を備えたことを特徴とするシステム。
  24. 前記制御光源は、
    (j)赤外線スペクトルと、
    (k)可視光スペクトルと、
    (l)紫外線スペクトル
    のうちの少なくとも1つの光放射を行うように構成されたことを特徴とする請求項23に記載のシステム。
  25. 前記イメージセンシングシステムは、
    (a)それぞれフィルタエレメントに相関づけられる複数の位置を有し、前記各フィルタエレメントが、選択された周波数範囲の光を前記複数の位置の各々において通過させることができるように構成されているモザイクフィルタが取り付けられたセンサと、
    (b)前記各センサが異なる周波数範囲において受光するようになっている複数のイメージセンサと、
    (c)特定の周波数範囲をサイクリングフィルタの各サイクル中に通過させることができるようにする複数のフィルタエレメントを有する前記サイクリングフィルタが取り付けられたセンサと、
    (d)各検出セルが特定の周波数範囲を検出するように構成されている複数の前記検出セルを複数の位置の各々において有する複合カラーイメージセンサと
    のうちの1つを備えていることを特徴とする請求項23に記載のシステム。
  26. 前記フィルタエレメントは、
    (a)赤色周波数範囲と、
    (b)青色周波数範囲と、
    (c)緑色周波数範囲
    のうちの1つを通過させるように構成されたことを特徴とする請求項25に記載のシステム。
  27. 前記センサは、デジタルカメラを備え、前記モザイクフィルタは、それぞれが前記デジタルカメラのピクセルに対応する前記複数の位置の各々において、予め決められた周波数範囲の光を通過させるベイヤフィルタを備えていることを特徴とする請求項25に記載のシステム。
JP2005282026A 2004-10-29 2005-09-28 光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム Expired - Fee Related JP4883970B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/976,483 2004-10-29
US10/976,483 US7359564B2 (en) 2004-10-29 2004-10-29 Method and system for cancellation of ambient light using light frequency

Publications (2)

Publication Number Publication Date
JP2006127494A JP2006127494A (ja) 2006-05-18
JP4883970B2 true JP4883970B2 (ja) 2012-02-22

Family

ID=35759181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005282026A Expired - Fee Related JP4883970B2 (ja) 2004-10-29 2005-09-28 光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム

Country Status (5)

Country Link
US (1) US7359564B2 (ja)
EP (2) EP1653391B1 (ja)
JP (1) JP4883970B2 (ja)
AT (1) ATE452378T1 (ja)
DE (1) DE602005018311D1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276223A (ja) * 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
US7548230B2 (en) * 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7948189B2 (en) * 2006-09-26 2011-05-24 Siemens Industry, Inc. Application of microsystems for lighting control
US7499811B2 (en) * 2006-10-17 2009-03-03 Ford Motor Company System and method for measuring surface appearance of a surface
JP4826512B2 (ja) * 2007-03-12 2011-11-30 セイコーエプソン株式会社 表示装置及び電子機器
JP2008305087A (ja) * 2007-06-06 2008-12-18 Toshiba Matsushita Display Technology Co Ltd 表示装置
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US8952894B2 (en) 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8847739B2 (en) 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US7876424B2 (en) * 2008-08-20 2011-01-25 Microsoft Corporation Distance estimation based on image contrast
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
US8505823B2 (en) 2010-06-30 2013-08-13 International Business Machine Corporation Noise removal from color barcode images
JP5197712B2 (ja) * 2010-10-27 2013-05-15 キヤノン株式会社 撮像装置
US20120176341A1 (en) * 2011-01-11 2012-07-12 Texas Instruments Incorporated Method and apparatus for camera projector system for enabling an interactive surface
US8836672B2 (en) 2011-02-09 2014-09-16 Dornerworks, Ltd. System and method for improving machine vision in the presence of ambient light
US8749529B2 (en) * 2012-03-01 2014-06-10 Microsoft Corporation Sensor-in-pixel display system with near infrared filter
JP5408325B2 (ja) * 2012-10-19 2014-02-05 オムロン株式会社 光電センサ、光電センサの受光ユニットおよび光電センサの投光ユニット
CN103105977A (zh) * 2012-12-11 2013-05-15 武汉智慧城市研究院股份有限公司 一种抗红外噪声的触点识别方法、装置以及系统
US20140370980A1 (en) * 2013-06-17 2014-12-18 Bally Gaming, Inc. Electronic gaming displays, gaming tables including electronic gaming displays and related assemblies, systems and methods
WO2016018416A1 (en) 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Determining the location of a user input device
US10310674B2 (en) * 2015-07-22 2019-06-04 Semiconductor Components Industries, Llc Optical touch screen system using radiation pattern sensing and method therefor
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
WO2019244158A1 (en) 2018-06-20 2019-12-26 Technion Research & Development Foundation Limited Computational imaging of the electric grid

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4992650A (en) * 1990-03-29 1991-02-12 International Business Machines Corporation Method and apparatus for barcode recognition in a digital image
US6061177A (en) * 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP3794180B2 (ja) * 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6954260B2 (en) 2002-01-17 2005-10-11 Cross Match Technologies, Inc. Systems and methods for illuminating a platen in a print scanner
US20040001144A1 (en) * 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
US7295186B2 (en) * 2003-01-14 2007-11-13 Avago Technologies Ecbuip (Singapore) Pte Ltd Apparatus for controlling a screen pointer that distinguishes between ambient light and light from its light source
US7176905B2 (en) * 2003-02-19 2007-02-13 Agilent Technologies, Inc. Electronic device having an image-based data input system
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US8634014B2 (en) * 2004-04-05 2014-01-21 Hewlett-Packard Development Company, L.P. Imaging device analysis systems and imaging device analysis methods

Also Published As

Publication number Publication date
DE602005018311D1 (de) 2010-01-28
EP1653391A3 (en) 2006-12-13
EP1653391A2 (en) 2006-05-03
EP2120183B1 (en) 2012-08-29
ATE452378T1 (de) 2010-01-15
US20060091288A1 (en) 2006-05-04
EP1653391B1 (en) 2009-12-16
EP2120183A1 (en) 2009-11-18
US7359564B2 (en) 2008-04-15
JP2006127494A (ja) 2006-05-18

Similar Documents

Publication Publication Date Title
JP4883970B2 (ja) 光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム
US7613358B2 (en) Method and system for reducing effects of undesired signals in an infrared imaging system
JP4960606B2 (ja) 対話式ディスプレイ・システムの較正
CA2620149C (en) Input method for surface of interactive display
US9557811B1 (en) Determining relative motion as input
JP5432911B2 (ja) 視覚システムにおける周囲光レベルの検出
US7515822B2 (en) Imaging systems' direct illumination level adjusting method and system involves adjusting operation of image sensor of imaging system based on detected level of ambient illumination
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
US20050277071A1 (en) Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
JP2004326188A (ja) 大画面タッチパネルシステムおよび検索・表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080929

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090812

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110510

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111107

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4883970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees