JP5950130B2

JP5950130B2 - カメラ式マルチタッチ相互作用装置、システム及び方法

Info

Publication number: JP5950130B2
Application number: JP2013539792A
Authority: JP
Inventors: ニュルスタッド、トルモド; ネス，ハルヴァート; ダムハウ、ウイスティン
Original assignee: Epson Norway Research and Development AS
Current assignee: Epson Norway Research and Development AS
Priority date: 2010-11-22
Filing date: 2011-11-22
Publication date: 2016-07-13
Anticipated expiration: 2031-11-22
Also published as: WO2012070949A1; CN103477311A; GB201021213D0; GB2486445A; JP2014517361A; GB2486445B; CN103477311B; US20130147711A1; US20170351324A1

Description

本発明は、例えば、カメラ式入力装置と可視光及び／又は赤外線照明とを利用して領域
／空間内の対象物を追跡し、例えばコンピュータとの人間相互作用に関して１本又は複数
本の指又はペンを追跡するカメラ式マルチタッチ対話式システム関し、このシステムは、
領域内の二次元位置とその領域の表面の上方の高さとを決定して、実際の二次元入力座標
を提供し、また「非アクティブ」（追跡なし）や「ホバリング」（触れていないときの追
跡、「範囲内」と呼ばれることもある）などの実際の相互作用状態と「タッチ」とを厳密
に区別することを可能にする。また、本発明は、例えばペン及び指タッチ入力の両方を可
能にしまた幾つかの対象物に同時に対応することができるマルチモーダル入力装置及びイ
ンタフェース、例えば、マルチタッチコンピュータ入力装置に関する。更に、本発明は、
三次元型入力装置を使用してジェスチャを入力し、それにより例えば手や指の人間姿勢を
取得する方法に関し、これらのシーケンスは、三次元制御のためのジェスチャコマンド及
び／又は位置及び向き入力として認識され得る。

コンピュータとの人間相互作用に関する対象物のカメラ式追跡、詳細には手と指の追跡
は、数十年間にわたって科学的、産業的及び商業的な関心を集めてきた。この計算集約的
分野における業績の報告は、非特許文献１と非特許文献２に示されている。報告された技
術の多くにおいて、オクルージョンの影響を低減しかつ追跡及びジェスチャ解釈を頑強に
するために、対象物が、１つ又は複数のカメラによって幾つかの異なる視点から観察され
る。

指タッチ及び指又は手ジェスチャを単一カメラで追跡するには、これらの対象物の影、
輪郭、質感、シルエット及び画像勾配のような特徴と、更に光沢表示面から反射されたミ
ラー画像とが抽出され利用されて、指又は手姿勢を計算しかつ例えば指タッチを実時間で
検出するための様々なモデルベース追跡システムが更新される。

巧みな特徴抽出の例として、特許文献１は、側方光源によって照明された指からの影が
、画面に触れているときは指によって最終的に不明瞭にされ、その結果、触れていないと
きは影が指に似て、一方、指が表面に触れているときには影が実質的に細くなってタッチ
を判定することができるという観察に基づく、単一カメラ撮像タッチスクリーンシステム
及び特徴抽出について述べている。しかしながら、独立クレームは、非特許文献３の２０
０５年から公表された科学論文によって予想される。

特許文献２、特許文献３、及び特許文献４は、主に、少なくとも２つのカメラ視点が座
標面の周囲に配置されて、対象物の座標が三角測量法によって決定される指タッチ又はペ
ン用の対象物追跡システムについて述べている。

特許文献２は、単一カメラを使用することによりコンピュータモニタ画面の前でペン及
び指タッチを検出し、１個又は幾つかの平面鏡から成るペリスコープ型光学システムによ
って、画面のすぐ前で体積を横方向に見る画面の２つの画像を記録して、ペン又は指の座
標と画面までの距離とを決定するシステムについて述べている。

特許文献３は、光を投射し座標面に配置されているポインティング対象物の位置を決定
する光学デジタイザについて述べており、座標面の周囲に配置された検出器、好ましくは
１対の一次元イメージセンサが、座標面をカバーする視野を有し、コリメータが、検出器
の視野の高さを制限するように配置され、検出器が、座標面と実質的に平行なポインティ
ング対象物から投射される光の平行成分だけを受け取ることができ、遮蔽板が、投射され
た光以外のノイズ光が検出器の限定視野に入るのを防ぐために配置され、プロセッサが、
ポインティング対象物の位置を表わす座標を計算するために提供される。

特許文献４は、重なる視野を有し周辺に沿って典型的にはタッチ面の角に配置された少
なくとも２台のカメラを含み、ポインタの位置を三角測量によって検出し、ポインタタッ
チとタッチ面の上のポイントホバーを検出するカメラ式タッチシステムについて述べてい
る。

特許文献５と特許文献６は、主に、対象物から離れて配置されたカメラを使用し、また
カメラビュー内の１つ又は複数の平面鏡を使用して、対象物を様々な視点からまたカメラ
軸と実質的に垂直な方向から観察して、対象物の位置の検出を単純化する。

特許文献５は、書込面から離れた単一カメラと、前記書込面の方に傾けられ２つの各方
向Ｘ及びＹに前記書込面の周囲に沿った２枚の平らな狭いミラーとを使用してポインティ
ング装置の代替視点を得て、書込面領域に沿った２つのミラー領域を取得し解析すること
によってＸ及びＹ座標を別々に得ることができる。

特許文献６は、試験物、即ち魚と動物の動きと関連付けられた挙動の三次元監視及び解
析システムについて述べている。このシステムは、試験対象の動き挙動を解析できるよう
にするために、実カメラと少なくとも１台の仮想カメラとを含み、仮想カメラは、実カメ
ラの視野内で少なくとも１枚の平面鏡を使用し、取得されたカメラ画像の１つ又は複数の
領域内で解析することができる少なくとも１つの代替視点を表わすことによって実現され
る。

特許文献７では、関心領域内のポインタを検出する装置について述べられている。この
装置は、関心領域の第１の辺に沿って延在し光を関心領域の方に反射させる働きをする第
１の反射要素を含む。更に、この装置は、関心領域の第２の辺に沿って延在し光を関心領
域の方に反射させる働きをする第２の反射要素を含む。第２の辺は、第１の辺につなげら
れて装置の第１の角を定義する。第１の角の隣りには、第１と第２の反射要素の少なくと
も一方のほぼ平面内に非反射領域がある。少なくとも１つの撮像装置が、第１と第２の反
射要素からの反射を含む第１の関心領域の画像を取得して、関心領域内のポインタの位置
を決定することができる。

特許文献８では、ポイントインジケータの座標位置を検出する働きをする光学システム
が述べられている。光学システムは、上側面の近傍内の画像を対応する元の対象物に対し
て成形することによって機能する。また、上側面の近傍内に配置された画像検出装置から
得られたピクチャ信号を処理する処理機構も含まれる。より詳細には、画像検出装置は、
読取り原点を含む画像取得領域を検出する。また、Ｘ方向反射鏡とＹ方向反射鏡も含まれ
る。ポイントインジケータ、例えば、書込みペンが、画像検出装置によって直接、またミ
ラーからの反射を介して検出され、その結果、光学システム内のポイントインジケータの
空間位置を決定するためのピクチャ信号が得られる。

更に、特許文献９では、入力された座標を正確に検出するための座標入力装置について
述べられる。装置は、座標入力領域の近くに配置された複数のセンサユニットを含み、セ
ンサユニットはそれぞれ、光放射を座標入力領域に投射する投射部分と、入射光をセンサ
ユニットで受け取る受光部分とを含む。装置は、また、座標入力領域の周囲に提供された
、再帰的反射入射光を提供する複数の再帰的反射部分を含む。装置は、複数のセンサユニ
ットから得られた光遮蔽領域を含む光量分布に基づいて、ポインタのポインティング位置
の座標を計算することができる。複数のセンサユニットに関係する三次元光遮蔽検出領域
が、座標入力領域に対応する共通の三次元形状を有する。更に、三次元光遮蔽検出領域は
、ポインタの高さ方向の位置の変化が、複数のセンサユニットによって検出されたときの
光強度の変化率によって検出される三次元領域として定義される。

特許文献１０では、情報のタッチ入力を可能にする大型画面タッチパネルシステムにつ
いて述べられている。このシステムは、動作中、画面の前側面から赤外線源によって照射
されるプラスチック材料画面を含む。動作において、人は、画面に触れて自分の手を揺ら
す。更に、システムのカメラが、ミラーを介して画面の後側を撮影して、コンピュータに
提供される写真データを生成する。写真データに基づいて、写真データを処理することに
よって、コンピュータが、人の手が赤外線を遮ることによりできる影領域を検出する。影
領域が、例えば手のサイズに対応する空間的拡がりを有するとき、画面に対する人の手の
空間位置の値を求めるために影領域の座標が決定される。

一般に、人間‐機械相互関係システムでは、ユーザの意図と命令が、正確に認識される
ことが重要である。座標面におけるＸとＹの精度は、重要な場合も重要でない場合もある
。これは、用途に依存する。したがって、指タッチシステムは、例えば図形的対象物を移
動させるか選択するか又はメニューにアクセスするためにほどほどの精度が必要な場合に
魅力的であり、一方、スタイラス又はペンは、例えばＣＡＤプログラムにおいて細かい記
述又は描画、又は全ての詳細及び対象物の操作など最高精度が必要なときに好ましい。し
たがって、指式システムでは、単一カメラからの二次元画像に基づいて指の座標を決定す
る特徴抽出及び頑強な発見的方法が十分なことがある。

しかしながら、あらゆるタイプの用途にとって、指又はペンタッチの検出と関連する高
い精度は、最も重要でないものであり、かつユーザがアプリケーションを制御できなくな
ることがあるので失敗してはならない。したがって、タッチ状態の高い一定の検出品質が
、座標面内の全ての位置で必要される。更に、検出方法は、指サイズ、皮膚の色、周囲光
状態、表示照明などの変化の影響を受けにくくなければならず、検出は高速でなければな
らない。したがって、座標分解能精度があまり高くない場合でも、高品質、高頑強性及び
高速な指／ペンタッチ検出を保証するように良好なユーザ相互作用が設計され、最良のシ
ステムは、対象物の物理的な高さを座標面全体にわたって一定のスケーリングで提供する
ことができ、これにより、座標面全体にわたって均一に、ユーザに依存する挙動又は遅延
を犠牲にすることなく、タッチ状態とホバリング状態の両方が決定される。

姿勢の決定には、スケーリングは、あまり重要でない。単一画像内に観察される異なる
特徴間の距離の比率は、例えば、実際の対象物が、例えば真っ直ぐな親指と真っ直ぐな人
差し指を有し同時に他の指が隠された手であることを決定するには十分なことがある。手
が、男の人の大きい手か子どもの小さい手か、又はカメラレンズに近いので大きいのか遠
いので小さいのかは重要ではない。相対的な動きと、画像間から決定できるような付随す
る姿勢のタイプを追跡することによって、そのようなシーケンスを、コンピュータ、携帯
機器及び埋込みシステムのユーザインタフェースにある程度まで組み込まれた手ジェスチ
ャコマンドと解釈することができる。

教育、共同作業及び会議のためにペン、タッチ又はその両方（デュアルモードシステム
）を使用する相互作用システムには大きな関心がある。デュアルモードマルチタッチ及び
マルチペン入力用に作成されたオペレーティングシステムとグラフィカルユーザインタフ
ェースは、タッチとペンとマウス入力を区別し、したがって、デュアルモード入力装置は
、マルチタッチ、マルチペン及びマウスの情報をコンピュータに同時に報告しなければな
らない。また、幾つかの新しい相互作用プラットフォームは、単純なペン又は指ジェスチ
ャ制御、及び／又は更には手ジェスチャ式相互作用を可能にする。

具体的には、通常の教室と大講堂の両方で教育の範囲内で使用される対話式タブレット
及びホワイトボードには大きな世界的関心がある。そのようなホワイトボードは、また、
会議室、テレビ会議室、及び共同作業室にも入る。対話式ホワイトボードの座標面上の画
像は、ショートスロー又はロングスローデータプロジェクタから投射された投射画像とし
て生成されてもよく、ＬＣＤディスプレイ、プラズマディスプレイ、ＯＬＥＤディスプレ
イ又は背面投射システムのようなフラットスクリーンによって生成されてもよい。タッチ
及び／又はペン用の入力装置は、画質を低下させたり機器を消耗させたりすることなく全
てのタイプの表示技術と共に使用できることが重要である。更に、入力装置技術を様々な
スクリーン、プロジェクタ及び表示ユニットに低コストと低労力で容易に適応できること
が重要である。

新しい対話式ホワイトボードは、一般に、ショートスロープロジェクタ、即ち超広角レ
ンズが画面の上の短距離に配置されたプロジェクタを装備する。この解決によって、ユー
ザは、自分の目に入る光によってあまり悩まされず、画面に影を作りにくく、プロジェク
タをボードと一緒に壁に直接取り付けることができる。したがって、そのようなショート
スローシステムに理想的な用のペン及びタッチ入力装置は、取り付けを単純かつ頑強にす
るためには、壁プロジェクタに組み込まれるかその横に取り付けられるか、プロジェクタ
壁取り付け部に取り付けられなければならない。

講堂内では、きわめて長い対話式ホワイトボードと相互作用スペースが必要とされ、そ
のような相互作用面は、タッチ、ペン及びジェスチャ制御を提供しなければならない。大
判スクリーンでは、公衆の注意を引き付けるためにポインティングスティックとレーザポ
インタが必要とされることが多い。好ましい入力技術は、全てのそのような種々の要件に
適合しなければならず、即ち、ポインティングスティック及びレーザをユーザ入力ツール
として受け入れ、また様々な表示形式を許容し適応できなければならない。

また、フラットスクリーン技術は、タッチ及び／又はペン操作、単純なペン及び／又は
タッチジェスチャ相互作用、及び最終的に手ジェスチャ制御を必要とすることがある。フ
ラットスクリーンの上に配置されたタッチ感応膜は、ホバリング又は空中ジェスチャを検
出できない。フラットスクリーンの後ろの純粋な電磁気ピックアップシステムは、指タッ
チ又は指ジェスチャを検出できず、電磁気ペン操作しか検出できない。しかしながら、幾
つかのタイプの平面ディスプレイ技術、詳細にはＯＬＥＤディスプレイは、透明でよく、
画面を介したジェスチャ制御にカメラ技術を使用することができる。ホバリングとジェス
チャを含むデュアルモード入力システムが、引き続きますます重要になり、効率的で自然
なユーザインタフェースを提供する標準になると、容量膜、抵抗膜又は電磁気ソリューシ
ョンの代わりに、光学式入力システムが、平面相互作用画面には好ましくなると思われる
。したがって、好ましい入力装置技術は、光学式でなければならず、従来のフラットスク
リーン（ＬＣＤ、プラズマ、ＬＥＤ）と、ＯＬＥＤや背面投射スクリーンなどの透明なフ
ラットスクリーンの両方に適合しなければならない。

入力装置は、日光、室内照明、プロジェクタ又は表示スクリーンからの光などの光源の
影響を受けにくくなければならない。更に、入力装置は、太陽光、人工光、リモート制御
装置、及び通信に近赤外線ダイオードを使用する類似物からの近赤外線の影響を受けにく
くなければならない。

入力装置は、更に、高い座標更新率を示し、最良ユーザ経験のための低遅延を提供しな
ければならない。

入力装置は、好ましくは、既存のインフラストラクチュアに収まり、例えば、既に取り
付けられているペン式対話式ホワイトボードモデルを改良して、指タッチ及び手ジェスチ
ャ制御を可能にするか、取付け型プロジェクタ又はフラットスクリーンが既に装備された
会議室又は教室を改良して、入力装置自体の単純な取り付けによって対話式になるように
適応可能でなればならない。

幾つかのシナリオでは、入力技術は、書込面の相互作業フィードバックなしに、例えば
、従来の黒板上のチョークとスポンジからのストロークを正確に取得し、コンピュータの
制御のために手ジェスチャを認識するか、ペンと紙の通常使用（×印で消された文字を含
む）とコンピュータ制御用の単純なジェスチャを取得するか、署名を含む用紙又は質問表
に記入することによりユーザ情報を取得することによって使用することができ、同時に、
その結果がコンピュータに記憶され、ユーザと聴衆が参照するために、入力又は入力の一
部の解釈が、通常のコンピュータ画面又は接続されたディスプレイ若しくはプロジェクタ
によって示される。即ち、このタイプの設備が利用できないか必要とされる場合は、入力
装置は、独立に使用できるか表示技術からコスト的に分離されなければならない。

対話式ホワイトボードが、教育で伝統的なチョーク及び黒板に置き換わるのと同じよう
に、新しい相互作用スペースが、他の領域で出現している。マルチユーザ相互作用垂直及
び水平面が、共同作業室、制御室、博物館及び展覧会に導入される。

対話式ゲストテーブルを含む対話式スペースは、客が、例えばコンピュータゲームを行
い、インターネットを閲覧し、ニュースを読むことにより楽しみを得るのと同様に、メニ
ューから選択し、注文し、支払うことができるようにするために、バー、カジノ、カフェ
及び店に設置されている。対話式スペースは、コンテンツ提供者からの所定のシーケンス
だけでなく、タッチ及びジェスチャ制御からのユーザ入力によって動的に変更することが
でき、それにより看板が更に臨機応変で、情報が多く、使い勝手がよくなるデジタルコン
テンツと共にフラットディスプレイ又はプロジェクタスクリーンを使用するデジタル看板
内で利用される。相互作用看板で使用されるタッチ及びジェスチャ制御用の入力装置は、
破壊に耐える厚い窓を介してうまく機能し、あらゆる種類の表面とフラットスクリーン上
で簡単な取り付けでうまく機能し、屋内及び屋外の公共及び商業地域に取り付けて使用す
るのに適する。

ＵＳ２０１０／００６６６７５Ａ１ＷＯ９９４０５６２（Ａ１）ＵＳ００６１００５３８ＡＵＳ２０１０１８８３７０（Ａ１）ＪＰ６３２９２２２２ＵＳ２００８１５２１９２（Ａ１）国際ＰＣＴ特許出願番号ＷＯ２００５／０３４０２７（Ａ１）(Smart Technologies Inc.) 日本特許出願番号ＪＰ６３２９２２２２（Ａ）（Mitsubishi Electric Corp.）日本特許番号ＪＰ４４８４７９６（Ｂ２）（Canon KK）日本特許番号ＪＰ４０３３８０２（Ｂ２）（Advanced Telecomm Research Institute）

PavlovicらのIEEE Trans. Pattern Analysis and Machine Intelligence, vol 19, No.7, pp.677-695, 1997 Zhouらの IEEE Int. Symposium on Mixed and Augmented Reality, pp.193-202,2008 Andrew D. Wilson (ACM Proc. UIST 2005, pp 83-92)

本発明は、人間−機械対話における入力装置のために、座標面内の対象物の位置を追跡
し、所定の高さ範囲内の座標面にある体積内のホバリング及び／又はタッチ状態を検出し
、かつ／又は対象物の姿勢を認識し、
可視光及び／又は近赤外線を使用して画像を取得するカメラと、
座標面に配置されたミラー機構と、
計算装置とを有する装置、システム及び方法に関し、
カメラの視野が、座標面及びその上の体積とミラー機構との両方を含み、
ミラー機構が、体積の高さ次元をその軸に沿って一定に拡大するために、座標面と平行な
軸とカメラの入射ひとみに焦点を有する少なくとも１つの軸外し（off-axis）凹状実質放
物面要素を含み、それにより、計算装置が、単一画像に基づいて、対象物の座標、そのホ
バリング及び／又はタッチ状態、並びに／又は姿勢特性を計算することができ、及び／又
は計算装置が、一連の画像に基づいて、対象物の動き及び／又は対象物のジェスチャを計
算することができる。

カメラは、ＣＣＤ又はＣＭＯＳ撮像チップ又は類似物、及び座標面、体積及びミラー機
構を収容するのに十分な大きさの視野と実際の撮像チップ分解能に適応された実際の波長
範囲に十分な光学撮像品質とを有するレンズ又は類似物を含む。

本発明は、座標面の周囲の外側面に分散された１つ又は複数の軸外し実質放物面要素を
含む少なくとも１つのミラー機構を有する。それぞれのそのような軸外し実質放物面要素
は、その焦点がカメラ入射ひとみにあり、その軸が表面と平行である。各軸外し実質放物
面要素の特性は、対象物が体積の内側又は部分的に内側にあるときに対象物から発する、
面と平行な１組の平行光線を平行にすることである。この特性は、実際の高さ、即ち対象
物と面との距離の測定値が、この要素にとって一定の倍率／スケーリングを有し、またミ
ラー要素をカバーする画像領域を局所的に解析することによってこの実際の高さを容易に
決定できることを保証する。ミラー機構は、更に、各放物面要素からの様々な組の平行光
線が、デッドスポットなしに座標面の上方の全体積をカバーしており、その結果、少なく
とも１つのミラー要素が、常に、対象物が体積内にあるときに対象物をカバーし、また計
算装置が対象物の実際の高さを決定することができ、それにより対象物のタッチ状態及び
／又はホバリング状態を決定するのに十分な数の画素でカメラの視点から観察可能になる
ように適応されなければならない。また、カメラはミラー機構をその周囲を犠牲にして拡
大する幾つかの標準又は適応された二焦点レンズ又は類似物を備えてもよく、それにより
、カメラセンサ画素アレイにおけるミラー機構の撮像分解能が、正確な高さを決定するの
に十分な分解能レベルに高まる。

軸外し実質放物面ミラー要素は、座標面の上方の対象物の高さを取得するように適応さ
れた面に分散されているが、これらの後者のミラーをカメラの視点から観察したときに、
軸外し実質放物面ミラー要素の更に外側に、シーンの空間情報を提供するための追加の湾
曲又は平面鏡要素が配置されてもよい。

例えば、プロジェクタの機械的形状、壁取付け具のサイズなどにより、カメラの入射ひ
とみと面との間の直接見通し線に障害物がある場合は、様々な軸外し実質放物面ミラー要
素の配置と向きに更に制限ができる。好ましい実施形態では、そのような障害物の外側の
軸外し実質放物面要素の１組の配置領域が位置合わせされ、次に各要素の配置が、この組
から選択され、デッドスポットや陰影なしに座標面の上に十分均一に光ビームを分散させ
るように面に沿って軸方向に割り当てられ、この結果得られるミラー機構の形状は、滑ら
かで、かつ／又は製造を容易にし、取り付けを容易にし、審美的外観を良くするように、
例えば壁取り付け機構及び／又はプロジェクタ形状に適応されなければならない。

好ましい実施形態では、ミラー機構は、入力装置の壁又はテーブル取付け部のまわりに
半円形に分散された１組の軸外し実質放物面要素である。この半円の半径が小さいほど、
得られる光学系の角度が広くなり、対象物の幅の画像が、対象物とミラー表面との間の距
離により依存するようになる。この半径が小さすぎる場合は、画像が幅方向に縮小されす
ぎるが、高さ次元は、対象物からミラーまでの距離と関係なく一定の拡大倍率を有するの
で、ミラーから遠い距離での対象物の高さの測定が難しくなる。所定の画像及びレンズ分
解能、ミラー表面品質及びセンサ光収支、並びに取り付け及び座標面幾何学形状に関して
、適切な半径選択肢を見つけることができる。

代替の好ましい実施形態において、軸外し実質放物面ミラー要素は、座標面の周縁の少
なくとも１つの周縁に沿った少なくとも１つの直線状押縁に配列される。これは、対象物
から発する光線のよい可観測性と分散を保証する有益な配置であり、製造と取付けを容易
にすることができ、その結果、審美的外観が良好になることがある。

幾つかの代替の実施形態では、ミラー機構は、様々な位置と高さの対象物から出る平行
光線を収集するためにそれぞれ配置された小さい軸外し実質放物面セグメントのモザイク
として形成されてもよいが、セグメントの方向、配置及び高さの構造化が、空間制限又は
形状制限されたミラー機構に最も効率的に座標面の上方の体積をカバーするか、所定の最
小オブジェクトサイズ検出範囲に最も効率的なミラー機構形状を見つけるように最適化さ
れてもよい。モザイク構造を利用することによって、より多くの設計最適化労力と画像復
号複雑さを犠牲にして、観察を最適にし、影を少なくし、ミラー対画素のマッピングを良
好にする機構を見つけることができる。

ミラー機構は、フライス加工、旋削、打ち抜き、三次元レーザ彫刻、研磨及び／又はＥ
ＤＭなどの様々な製造技術によって金属に直接製造されてもよい。しかしながら、大量低
コスト生産に適切にするために、プラスチック材料の射出成形とプラスチックに付着され
た金属被覆を使用できることが好ましく、それにより、ミラー機構の重量も小さくなる。
より高品質で高精度の面には、様々な種類の金属化ガラス基板が使用されてもよい。より
少量でより低品質のミラーには、曲率半径が大きいとき、基材に接着されたミラー状金属
化プラスチック材料膜の熱成形及び真空成形が適している。また、あらかじめ研磨された
薄板金の打ち抜きと成形を使用して、ミラーを本発明の幾つかの好ましい実施形態に十分
な品質で作成することができる。

ミラー機構は、また、プラスチック材料やガラスなどの材料内の全反射を利用すること
によって製造されてもよい。

ミラー機構は、また、プラスチック又はガラス材料内の全反射を、（全反射が起こる臨
界角より小さい角度の）ミラー機能を保護し拡張するための金属被覆と組み合わせ利用す
ることにより製造されてもよい。

幾つかの好ましい実施形態では、全反射を利用したミラーは、フレネル状セグメントに
よって作成することができる。また、ミラー機構は、幾つかの好ましい実施形態では、軸
外し実質放物面関数に必要な曲率を提供するために、所定の角度の平面鏡セグメントと、
プラスチック材料レンズ又はプラスチック材料フレネルレンズとの組み合わせによって製
造されてもよい。

幾つかの好ましい実施形態では、軸外し実質放物面関数は、太陽エネルギー用途に作製
されるものように、レンズ又はフレネルレンズによって実現することができる。

幾つかの好ましい実施形態では、ミラー機構は、所定の波長範囲内の光を選択的に遮断
又は通過させるプラスチック及び／又は特殊被覆の層で覆われてもよい。この場合、押縁
又はケーシングは、例えば、可視光でユーザ及び聴衆が観察したときに一定の暗褐色で均
質に見え、被覆の後ろのミラーは、撮像カメラからの所定の波長範囲内の近赤外線で完全
に機能する。

幾つかの実施形態では、対象物を照明するために、周囲光及び／又はディスプレイから
の光（即ち、それぞれプロジェクタ又はフラットスクリーンからの光）を使用することが
できる。

幾つかの好ましい実施形態では、対象物を直接及び／又はミラー機構を介して間接的に
照明するための可視光及び／又は近赤外線の照明機構が含まれる。

幾つかの好ましい実施形態では、照明機構は、様々な画像のために照明を選択的にオン
オフするために、オン／オフ制御スイッチによって制御されてもよい。

幾つかの好ましい実施形態では、照明機構内の照明光源機構は、移動対象物と関連した
動きをとどめるために、カメラの有効露出期間内でフラッシュ点灯する。

幾つかの好ましい実施形態では、照明機構は、カメラの入射ひとみの近く、即ち、放物
面要素の焦点の近くに配置されて、ミラー機構を介して対象物を照明し、したがって、座
標面に所定の高さの範囲内である体積内で光を拡散させ、光線は座標面と主に平行である
。

幾つかの好ましい実施形態では、照明機構は、対象物を直接照明するためにカメラの入
射ひとみの近くに配置される。

幾つかの好ましい実施形態では、ミラー機構を介して対象物を照明しまた対象物を直接
照明するための共通の照明機構がある。

幾つかの実施形態では、ミラー機構を介して対象物を照明しまた対象物を直接照明する
ための別個の照明機構がある。

幾つかの実施形態では、照明と観察のための別個のミラー要素機構があり、その結果、
座標面の上の対象物の高さを観察するための機構内のミラーは、照明機構自体にあまり晒
されず、したがって、光学的界面の望ましくない反射が減少し、それにより測定の信号対
雑音比が高くなる。

幾つかの実施形態では、ミラーを介して対象物を照明する照明機構のオンオフ制御と、
直接対象物を照明する照明機構のオンオフ制御とが分離され、その結果、照明機構からの
対象物の照明は、対象物をより適切に検出するため、例えば、横向き照明によって対象物
のまわりの輪郭を提供するために、様々な画像で選択的にオンオフされてもよい。

幾つかの実施形態では、照明機構は、また、可視光（例えば、オンオフ制御を有する多
色発光ダイオード）を含み、それにより、対象物（例えば、指）を、ミラー機構を介して
有色光（例えば、緑）で照明して、例えば特定のインク色が緑であることを発表者に伝え
ることができる。同じように、点滅する赤を、発表者の指に、聴衆などが観察可能できな
い一種の警報として信号を送ることができる。

幾つかの好ましい実施形態では、カメラは、望ましくない光（即ち、平面ディスプレイ
又はプロジェクタスクリーンからの光及び／又は周囲光）を遮り、同時に照明と同じ波長
範囲を有する光を通過させる光学フィルタを含む。

幾つかの好ましい実施形態では、カメラは、異なる波長の光を選択的に遮るか透過させ
、したがって、例えば、幾つかの画像では、照明と同じ波長を有する光を透過させ、他の
画像では、例えば、可視光だけを透過させ、プロジェクタ又はフラットスクリーンからの
画像を取得することができる１つ又は複数の選択可能な光学フィルタを含む。

幾つかの好ましい実施形態では、本発明は、発明ＷＯ２００１ＮＯ００３６９／ＵＳ
７０８３１００Ｂ２及び／又はＷＯ２００６１３５２４１Ａ１／ＵＳ２００９０４０１９
５Ａ１と組み合わされてもよく、これらの発明において、対象物は、対象物を正確に追跡
しかつ／又は識別しかつ／又は前述の発明による可観察パターンを変更できるボタンなど
のような様々なユーザ対話制御の状態を検出するための手段として、表面及び／又はその
本体の内側に所定の波長範囲内で直接若しくは軸外し実質放物面要素を介して観察可能か
つ／又はスクリーンに投射されたパターンを備える。また、対象物の表面への近接又は対
象物の様々な内部構成要素間の近接が、ＷＯ２００５０５０１３０／ＵＳ７３３９６８４
Ｂ２に記載されたような発明を光学接近検出器と組み合わせることによって観察されても
よい。そのような好ましい実施形態では、そのようなパターン及び／又は近接情報の観察
は、特に、本発明のミラー機構によって行うことができ、これにより、完全な座標面の上
のこの光学情報の一定の拡大が提供される。

幾つかの更なる好ましい実施形態では、照明機構がカメラの入射ひとみの近くに配置さ
れたことを利用するために、前述のパターンは、少なくとも所定の波長範囲用で周知の逆
反射原理を適用することによって対象物上に作成され、その結果、対象物の逆反射特性に
より、直接観察及び／又はミラー機構を介した高輝度の観察が保証される。

本発明の幾つかの好ましい実施形態では、単純なコンピュータ式較正手順を使用して、
表示座標に対する座標面の正確なマッピングを見つけることができる。一般的な方法は、
ディスプレイ上の幾つかの箇所に十文字を示すことによって、較正手順をユーザ支援する
ことであるが、マッピング（即ち、変換行列）を見つけるために手動ペン又は指タッチを
必要とする。

本発明の幾つかの好ましい実施形態では、コンピュータプログラムは、例えばＷＯ２０
０１ＮＯ００３６９／ＵＳ７０８３１００Ｂ２及び／又はＷＯ２００６１３５２４１
Ａ１／ＵＳ２００９０４０１９５Ａ１で対象物を識別し追跡するために使用されるパター
ンを有する画像をディスプレイ上に出力してもよく、この画像は、座標面を表示座標にマ
ッピングする変換行列を見つけるためにカメラによって自動的に認識されてもよい。本発
明が、座標面の上の体積内に配置された対象物の２つの異なるビューを撮像するので、本
発明の幾つかの好ましい実施形態は、高さ次元にも較正及び制御プログラムを含み、すな
わち直接とミラーを介してそれぞれ観察することができる試験対象を含めることによって
正確なタッチとホバリングのしきい値を正確に調整する。半透明三次元パターン対象物は
、この較正手順の一部としてディスプレイによって照明されてもよい。説明の例として、
例えば表面に沿った幾つかの不透明バンドを有する半透明円筒状試験対象及び／又は体積
内の不透明対象物は、ディスプレイ上に、較正プログラムによって１つずつ円形領域内の
幾つかの強調場所に配置される。ディスプレイは、そのような小さい円形領域の上に配置
されたときに半透明試験対象を照明し、その結果、その対象物を、カメラが直接見ること
ができまた本発明によるミラー機構を介して見ることもできる。試験対象は、本発明によ
るカメラの２つのビュー内で観察できるように、様々な試験対象を識別し区別し、座標面
の座標から表示座標へのマッピングを較正し確立し、かつ／又は所定の設置におけるタッ
チ及びホバリング状態のしきい値の決定を含む高さ測定を較正又は制御するように寸法決
めされた不透明及び透明な細部を有することができる。

幾つかの好ましい実施形態では、ＷＯ２００１ＮＯ００３６９／ＵＳ７０８３１００
Ｂ２に記載されたように、ミラー機構及び／又はプロジェクタ取付け具及び／又は画面取
付工具及び／又は書込面は、シーン内で対象物を正確に位置決めするための光学パターン
を有してもよい。これは、取り付け及び較正手順を実質的に単純化し、較正を、手動較正
工程又は外部コンピュータプログラムなしに、入力装置の計算装置によって内部で行うこ
とができる。

本発明の目的は、典型的には協力ディスプレイも含むが必ずしも含まなくてもよい人間
‐機械インタフェースにおいてユーザからのＸ及びＹ方向の位置情報、並びにタッチ及び
ホバーの情報（Ｚ方向。ユーザ動作情報を表わす）を提供することである。

更に、本発明の目的は、コンピュータや他の電子機器用のヒューマンインタフェース装
置で利用される高度なマルチタッチ相互作用に使用されることである。正確なタッチ制御
、手姿勢及びユーザジェスチャを含むユーザの相互作用における細かい詳細は、直接観察
と軸外し実質放物面ミラー機構を介した観察との組み合わせによって取得することができ
る。フラッシュ照明を直接又はミラー機構を介して使用することによって、全ての動きを
とどめてカメラ画像のスミアリングを防ぐことができる。本発明の幾つかの好ましい実施
形態では、照明は、別個の光学系を備えてもよく、それにより、照明と観察が同じ光学系
によって同時に行われるときに伴う反射が除去され、したがって信号対雑音比が高められ
る。

本発明の幾つかの更なる実施形態では、近赤外線照明光源が使用される。更に、カメラ
は、可視光などを遮り、近赤外線だけを透過する光学フィルタを有することができる。そ
のような実施形態では、本発明は、日光、室内照明、プロジェクタからの光、表示光など
の他の光源の影響を受けにくくなる。

本発明の利点は、相互作用対象物の拡大が、所定のミラーセグメントの全ての距離に関
して一定であることである。これは、大きな表面にわたって画像処理が単純できわめて正
確なシステムになることを意味する。本発明の目的は、きわめて頑強で正確なタッチ及び
ホバー検出システムを作成することである。

更に本発明の利点は、壁及びテーブル上の前面投射及び背面投射システムに組み込むこ
とができることであり、またそのようなシステムを対話式にするために本発明を新しい機
器に組み込むか既存の機器に改造することができる。

更なる利点は、本発明をプロジェクタ壁取付け具又は画面取付け具（ＬＣＤ、ＯＬＥＤ
など）に取り付けるか組み込むことができることである。

本発明の幾つかの代替の実施形態では、きわめて高度な相互作用スペースのために、二
焦点カメラレンズを使用することにより、ミラー機構のまわりの画像を拡大してより正確
なタッチ及び高さ情報を得るによって、分解能を高めることができる。あるいは、機器を
小型化し、コストを削減し、設置を単純化するために、レンズ光学系は、直接ビューと軸
外し実質放物面ミラー要素を介したビューとのために分離されてもよい。これは、相互接
続された高速シリアルリンクによって２つの別個センサからの１対の画像の十分な露出同
期とストリーミングを提供し、次に２つの別個のビューに最適化されたレンズ光学系を使
用する低コストのＣＭＯＳ画像センサ技術を利用し、次に計算装置によって１対の画像に
同じ計算を実行することによって達成することができる。本発明に関して述べた高速化方
式は、そのようなデュアルセンサ／レンズ構成にも適用される。

本発明は、低コストのＣＣＤ又はＣＭＯＳカメラ技術と、製造が容易かつ低コストの近
赤外線ＬＥＤ及び光学素子と、実際の用途のためにプログラムし易い信号処理集積回路を
利用することができる。したがって、本発明は、大量生産で実現しやすい。

幾つかのシナリオでは、本発明は、また、例えば、手の姿勢を、カメラの視野内である
が必ずしも定義された相互作用体積内ではない第２の相互作用対象物として決定すること
ができ、少なくとも１つの第１の対象物の姿勢が決定され、その結果、第２の対象物の姿
勢が、コンピュータとの人間相互作用内の追加情報を提供することができる。

対象物を軸外し実質放物面ミラー機構によって観察することに基づく方法は、ホバーレ
ベル情報と同義の相互作用面の上方の高さＺを明示的に提供する。単に様々な軸外し実質
放物面ミラー要素を表わすカメラ画素の上で単純なエッジ検出を実行することによって、
相互作用対象物の存在と高さを決定することができる。ミラー要素の画像領域の実際の変
化を検出するために、例えば、参照画像の減法、画像の絶対差の発見、正規化、ボルブ検
出アルゴリズム（blob detecting algorithm）又はテンプレートマッチング技術によって
候補対象物を見つけるために更に容易に処理することができる例えば２進表現を見つける
しきい値化（即ち、１つ又は複数のしきい値の比較）などの様々なる画像処理方法を使用
してもよい。候補対象物は、相互作用面に沿って見るミラービュー内と、直接ビュー（即
ち、相互作用面自体のビュー）内の両方にあってもよい。いわゆる対応問題（即ち、２つ
の異なる視点からの対応画像情報が識別される）は、一般にきわめて複雑な問題であり、
また立体画法的かつ人工的な立体視覚システムにおける重要な問題である。軸外し実質放
物面ミラーを利用することによって、高さ（Ｚ）情報は、遠近法のひずみなしに、相互作
用体積内の対象物の（Ｘ，Ｙ）位置の関数として明示的かつ線形的に表わされる。したが
って、本発明の対応問題は、一般的な場合と比べて複雑さが低減されるが、後述する方法
によって更に単純化することができる。

軸外し実質放物面ミラー機構によって対象物を観察することに基づく方法は、既に述べ
たように、ホバーレベル情報を明確に提供する。この方法は、また、軸外し実質放物面ミ
ラー要素を介したビューが、特定方向の相互作用体積に沿った外観であるという特徴を利
用することによって、相互作用対象物をより早く見つけることを可能し、即ち、幾つかの
対象物位置を１つの単一ミラー要素又は１群のそのような要素にマッピングし、少ない画
素数を有するカメラで観察することができる。対象物を見つける初期の探索のために、ミ
ラー機構と関連した限られたカメラ画素領域の画像処理により、対象物の高さと対象物が
配置された方向とが容易に見つかる。軸外し実質放物面要素が半円形に分散された前述の
ミラー機構では、高さ（Ｚ）と、対象物に対する方向を表すアジマス（ＡＺ）角とを直接
求めることができ、相互作用体積内の候補対象物位置の軌跡を決定することができる。こ
の軌跡を、例えばルックアップテーブルによって画像センサアレイにおける軌跡に変換す
ることができ、次に、例えば、この軌跡に沿って実行されるエッジ検出アルゴリズムによ
って軌跡を調べて対象物の存在を探すことができる。この方法は、全相互作用面に関する
画像センサアレイにおける完全な二次元調査と比較して、画像内の対象物を高い計算高速
化で見つける効率的な探索方法を提供する。

更に、２つ以上のミラーを利用することによって、対象物の直接画像が直接カメラビュ
ー内に閉じ込められたときでも、本発明と共に冗長方式を利用して対象物の位置とホバリ
ングレベルとタッチを見つけることができる。ユーザは、直接カメラビューから見たとき
に、相互作用セッション中のペン、指又は手を、例えばそのユーザの他方の手又は頭で意
図せずに隠すことがあり、一方、相互作用面に沿った２つのミラーが、対象物を追跡し、
その高さを決定し、そのタッチ及びホバー状態を見つけ、所定のベース長とミラーに見ら
れるような対象物のアジマス角度の三角法によってその位置を計算することができる。

画像間で決定できるような相対運動と付随する姿勢のタイプを追跡することによって、
そのようなシーケンスを手ジェスチャコマンドと解釈することができ、このコマンドは、
コンピュータ、携帯機器及び埋込みシステムのユーザインタフェースにある程度組み込ま
れている。

本発明は、教育、共同作業及び会議に適したペン、タッチ又は両方（デュアルモードシ
ステム）を使用した相互作用システムを提供する。オペレーティングシステムとグラフィ
カルユーザインタフェースは、デュアルモードマルチタッチ及びマルチペン入力用に作成
され、タッチとペンとマウス入力を識別することができる。相互作用対象物及びペンを、
光学パターン及び指や手などの他の対象物と組み合わせることによって、画像認識及びパ
ターンマッチングを使用して、これらの入力モードを区別し、種々の相互作用対象物から
コンピュータへのデュアルモード情報を、マルチタッチ、マルチペン及びマウス情報とし
て、コンピュータに同時に提供することができる。また、幾つかの新しい相互作用プラッ
トフォームは、単純なペン又は指ジェスチャ制御、及び／又は更には手ジェスチャ式相互
作用を可能にする。

本発明は、教室、講堂、会議室、テレビ会議室、及び共同作業室内の対話式タブレット
及びホワイトボードにおいて利用することができる。本発明は、ショートスロー又はロン
グスローデータプロジェクタと共に、又はＬＣＤディスプレイ、プラズマディスプレイ、
ＯＬＥＤディスプレイ又は後面投写システムのようなフラットスクリーンと共に、画質を
低下させたり機器を消耗させたりすることなく使用することができる。本発明に基づく技
術は、様々な画面、プロジェクタ及び表示ユニットに、低いコストと労力で容易に採用さ
れ得る。

本発明は、取り付けを単純かつ頑強にするために、一般に壁に取り付けられたショート
スローに理想的であり、その理由は、壁プロジェクタに組み込むかその側面に沿って取り
付けることができか、プロジェクタ壁取付け具に取り付けることができるからである。

本発明は、また、きわめて長い対話式ホワイトボード及び相互作用スペースが、タッチ
、ペン及びジェスチャ制御を提供するために必要され、ポインティングスティック及びレ
ーザポインタと相互作用することもでき、また様々な表示形式を許容でき対応可能である
講堂内で利用することもできる。

本発明は、また、フラットスクリーン技術と共に利用されて、姿勢及びジェスチャ制御
を含む相互作用を可能にすることができる。本発明は、ＣＭＯＳ画像センサ及び信号処理
の使用に基づくので、システムは、高い座標更新率を示し、また最良のユーザ経験を提供
する低遅延を提供することができる。

本発明による相互作用システムは、例えば既存の取り付けられたペン式対話型ホワイト
ボードモデルを改造して指タッチ及び手ジェスチャ制御を可能にするか、既にプロジェク
タ又はフラットスクリーンを装備した会議室又は教室を改造して、入力装置自体の単純な
取り付けによって対話式になるように、既存のインフラストラクチュアに収容されるよう
に極めて容易に適応可能でよい。

本発明による相互作用システムは、また、共同作業室と管理室、博物館及び展示会のマ
ルチユーザ相互作用垂直及び水平面、レストラン内の相互作用ゲストテーブル、並びに屋
内及び屋外公共及び商業領域内のデジタル看板で使用することもできる。

本発明は、また、高度なユーザマルチタッチ相互作用を教育及び事業市場に提供する。
本発明は、小型及び中型ディスプレイ、並びに大きく幅広い学校及び講堂用ホワイトボー
ドに適切になる。

本発明は、また、教育、相互作用看板用、及び博物館と展示会において、ディスプレイ
と共に又はディスプレイなしに使用されてもよい。

本発明は、本明細書において、添付図面を参照して、単なる例として説明される。

本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、ショートスロープロジェクタマウントのまわりに半円形に構成されている。図１に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、フラットスクリーン上に半円形状で構成されている。図１Ｂに提供されたような構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、プロジェクタ表示領域の真上の直線状押縁に沿って構成されている。図３に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、平面ディスプレイ領域の真上の直線状押縁に沿って構成されている。図３Ｂに示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えばショートスロープロジェクタシャーシ又は取付け具のような障害を回避して、表示領域の外側に配置されたカメラからの直接見通し線の領域内のミラー要素を配置するように構成されている。図５に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、プロジェクタとカメラ取付け具の近くのテーブル上に半円形状で構成されている。図７に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、カメラ取付け具とフラットスクリーンの近くのテーブル上に構成されている。図７Ｂに示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、背面投射システムのプロジェクタ表示領域の真上の直線状押縁に沿って構成されている。図９に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、透明スクリーン（例えば、ＯＬＥＤ）システムの表示領域の真上の直線状押縁に沿って構成されている。図９Ｂで示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、テーブルに取り付けられた背面投射システムのプロジェクタ表示領域の上面の真上に直線状押縁に沿って構成されている。図１１に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、テーブルに取り付けられた透明スクリーン（例えば、ＯＬＥＤ）の表示領域の真上の直線状押縁に沿って構成されている。図１１Ｂに示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えばテーブルに取り付けられた背面投射システムのプロジェクタ表示領域の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内であるが表示領域の外側の要素内に構成されている。図１３に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えばテーブルに取り付けられた透明ディスプレイ（例えば、ＯＬＥＤ）画面の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内だが表示領域の外側にある要素内に構成されている。図１３Ｂに示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えば壁取り付け型背面投射システムのプロジェクタ表示領域の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内にあるが表示領域の外側にある要素内に構成される。図１５に示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、例えば、壁に取り付けられた透明ディスプレイ（例えば、ＯＬＥＤ）画面の上面の上に円形状に沿って構成され、即ち障害物を回避するためにカメラからの直接見通し線の領域内にあるが表示領域の外側にある要素内に構成される。図１５Ｂに示された構成の側面図である。本発明の好ましい実施形態による例示的構成の説明図であり、軸外し実質放物面要素のミラー機構が、手持ち式装置に取り付けられた透明スクリーン（例えば、ＯＬＥＤ）の表示領域の真上の直線状押縁に沿って構成されている。本発明の好ましい実施形態による幾つかの例示的構成の典型的なカメラ画像の説明図であり、軸外し実質放物面要素のミラー機構が、様々な異なる方法で構成されている。放物面及び軸外しセグメントの説明図である。軸外し凹状実質放物面要素の例示的構成の説明図である。軸外し凹状実質放物面要素の例示的構成の説明図である。軸外し凹状実質放物面要素の例示的構成の説明図である。軸外し凹状実質放物面要素の幾つかの製造上の制限の説明図である。軸外し凹状実質放物面要素の幾つかの製造上の制限の説明図である。本発明の好ましい実施形態によるミラー要素の例示的構成の説明図である。指から面までの距離、体積内の指の三次元座標、及び指のタッチとホバリング状態の探索を容易にする例示的な方法を示すフローチャートである。対象物を探索する高速化方法を示すフローチャートである。本発明の好ましい実施形態により、表示スクリーンに対するカメラの較正を容易にする例示的方法の説明図である。追跡パターンを有するペン、局所化制御パターンを有するミラー、及び局所化制御パターンを有する座標面の例示的構成の説明図である。座標面の１つ又は複数の縁に沿って小さい押縁又はリストを使用して撮像し測定するための制御された背景を提供する例示的構成の説明図である。空間情報を提供するために、カメラの使用によって観察される座標面の更に外側の追加の湾曲又は平面鏡要素と組み合わされた、座標面における軸外し実質放物面要素のミラー機構の例示的構成の説明図である。座標面に対する対象物の高さを観察するために、照明用の別個の装置と組み合わされた座標面の軸外し実質放物面要素のミラー機構の例示的構成の説明図である。ディスプレイ、協力コンピュータ及び本発明による装置を含むシステムの概略図である。本発明の好ましい実施形態による例示的構成の説明図であり、直接ビュー及びミラービューが、低製造コスト、小型化、及び単純セットアップのために各ビューを最適化する光学系を有する２つの協力する分離されたイメージセンサによって取得される。相互作用体積にあるカメラと対象物Ｐが観察することができる軸外し実質放物面ミラー要素Ｍ１及びＭ２から成る２つのセクションのミラー機構の例示的構成の概略図である。

本発明は、人間−機械相互関係のカメラ式コンピュータ入力装置用の装置、システム及
び方法に関する。更に、本発明は、また、そのようなシステムを実現しそのような方法を
実行するために装置に関する。

本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明が、その用途におい
て、以下の記述で説明し又は図面に示す構成要素の構造及び構成の詳細に限定されないこ
とを理解されたい。本発明は、他の実施形態よって実現されてもよく、様々な方法で実践
又は実施されてもよい。更に、本明細書で使用される表現と用語は、記述のためのもので
あり、制限と見なされるべきでないことを理解されたい。

本発明による相互作用入力装置、システム及び方法の原理及び動作は、図面及びそれに
付随する説明を参照してよりよく理解され得る。

最初に、相互作用装置及び相互作用システムの原理について述べる。その後で、幾つか
の好ましい実施形態の詳細な説明が、その詳細なシステム動作原理と共に説明される。

相互作用装置と相互作用システムの原理は、斜視図と側面図から分かるような本発明の
好ましい実施形態のハードウェア構成を概略的に示す図１と図２に示された例示的構成を
参照することによって説明される。この実施形態のハードウェア構成要素は、壁取付け具
４上のカメラ５及び光源６と共に配置されたショートスローデータプロジェクタ３である
。

壁取付け具４の外観と実用的実施態様は、大きく異なってもよいが、その主な目的は、
ショートスロープロジェクタ３、カメラ５及び光源６の１つ又は複数を画面に対して適切
な距離で配置し、好ましくは表示ピクチャ１２の上の壁１１に取り付けることである。表
示ピクチャ１２は、また、座標面１２を表わし、好ましくは投射、ペン操作及びタッチに
適した滑らかな白色面に投射され、平面ディスプレイを使用する場合、相互作用面１２は
、ペンとタッチ操作に対して頑強になるように、必要に応じて保護のために典型的にはガ
ラス又はプラスチック材料の特別の透明材料で保護されたディスプレイ自体である。デー
タプロジェクタ３は、視野９を有し、相互作用体積１内に実線の長方形で表わされたよう
な表示ピクチャ１２を投射する働きをする。

例えば、ユーザの指及び／又は手である対象物２は、座標面の上方の特定の高さによっ
て限定された相互作用体積１内のコンピュータ又は類似物と相互作用することができる。
相互作用体積１の外側に少なくとも１つの軸外し実質放物面要素のミラー機構７を含み、
ミラー機構７の軸は、座標面と平行であり、その放物面焦点がカメラの入射ひとみにあっ
て、その軸に沿って体積の高さ次元の一定拡大を提供する。

カメラ５は、相互作用体積１とミラー機構７を含む視野８を有し、それにより、対象物
の座標と対象物のホバー高さを計算することができ、そのホバリング状態及び／又はタッ
チ状態及び／又は姿勢特性を、計算装置によって処理された単一画像に基づいて導出する
ことができ、かつ／又は更に対象物の動き及び／又は対象物のジェスチャを、計算装置に
よって処理された画像のシーケンスに基づいて計算することができ、計算装置は、典型的
には、必須ではないがカメラ５に埋め込まれる。カメラ５は、例えば様々な波長範囲の光
を選択的に遮って、例えば日光及びディスプレイからの光の影響を減らす光学フィルタを
有してもよい。カメラ５は、また、周囲を犠牲にしてミラー機構７を拡大し、それにより
カメラ５のセンサ画素アレイ内のミラー機構７の結像の分解能を高める二焦点レンズを備
えてもよい。

計算装置は、例えば何らかのシリアルバス規格及び回路（ＵＳＢなど）を使用するか無
線通信プロトコル及び装置を使用することによって、座標及び他の相互作用データをコン
ピュータに転送する通信手段（例えば、マイクロコントローラ）を有する。

光源６は、指向性があり切替え式でよく、したがって対象物２を直接又はミラー機構７
を介して照明し、その結果、横方向の位置決めとホバー高さをそれぞれ決定するのに最も
適切な照明を選択することができる。対象物の横方向の位置決めでは、相互作用体積１に
入るときに対象物を横から照明する座標面と平行な光線のほぼ一定の高度場が形成され、
したがってカメラ５から直接観察したときに対象物２の輪郭を提供するので、ミラー機構
７を介した照明が好ましことがある。これに対して、ホバー高さの決定では、直接照明の
方が魅力的なことがあり（ミラー機構７を介した照明より）、したがって、信号対雑音比
を最大にするために光源６とカメラ５の光経路を離し、更にミラー機構７を介して観察さ
れたときに対象物２の輪郭を提供する。幾つかの例示的構成では、側方照明は、実質的に
類似のミラー機構によって行われてもよく、ミラー機構は、側方照明と側方観察の組み合
わせの信号対雑音比が最良になるように、観察に最適化されるように適応されたミラー機
構７から離される。

本発明による全ての例示的構成及び好ましい実施形態では、図を分かり易くするために
ここでは省略されているが、プロジェクタ３、カメラ５（計算装置と通信手段を含む）、
光源６、壁取付け具４、ミラー機構７、及び表示座標面１２などのハードウェア構成要素
の１つ又は複数を収容することができる少なくとも１個の外部遮蔽板又はシャーシを含ん
でもよい。外部遮蔽板又はシャーシの目的は、例えば、相互作用システムを頑強にし、保
守不要にし、防塵にし、使い勝手をよくし、より安全にし、製造し易くし、取り付けを単
純にし、かつシステムを所定の設計原理及び要素にしたがって見栄えよくすることでよい
。

図１と図２を更に参照すると、軸外し実質放物面要素のミラー機構７は、この例示的構
成では、好ましくは壁１１上、プロジェクタ取付け具４上、又は座標面及びディスプレイ
１２上に延在する面上に取り付けられた座標面及びディスプレイ１２の上に主に半円形曲
率で配置される。この好ましい実施形態では、ミラー機構７は、壁取付け具の一体部分で
もよく、完全な対話式ホワイトボードの一体部分でもよい。ミラー機構７は、また、既存
のホワイトボード又はショートスロープロジェクタ設備をタッチ感応式になるように改造
するための改造キットに含まれてもよい。

図１Ｂと図２Ｂを参照すると、ここに示された構成は、プロジェクタ３とプロジェクタ
表示面１２が、ディスプレイ１２用のフラットスクリーン（ＬＣＤ、プラズマ、ＯＬＥＤ
、背面投射など）によって置き換えられる点を除き、図１と図２に関して前述したものと
類似している。

図１Ｂと図２Ｂを更に参照すると、ディスプレイ１２なしの独立構成は、従来の黒板上
のチョークとスポンジからのストロークと指タッチとを正確に取得するために利用される
ことがあり、取得された結果は、コンピュータに記憶され、入力又は入力の何らかの解釈
が、ユーザ及び／又は聴衆の参考のために、通常のコンピュータ画面によって示されるか
、接続されたディスプレイ又はプロジェクタによって示される。

図３と図４を参照すると、ミラー機構７は、表示及び座標面１２の１つの縁（好ましく
は上縁）の外側の直線に沿って配置された軸外し実質放物面要素を含む。ミラー機構７の
物理的外観の違いを除き、図１と図２に関して述べたものと同じ特性と機能を有する。

図３Ｂと図４Ｂを参照すると、構成は、プロジェクタ３とプロジェクタ表示面１２が、
ディスプレイ１２用のフラットスクリーン（ＬＣＤ、プラズマ、ＯＬＥＤ、背面投射など
）によって置き換えられた点を除き、図３と図４に関して前述したものと類似している。

図５と図６を参照すると、ミラー機構７は、例えばプロジェクタ３のシャーシ又は壁取
付け具４による障害を防ぐために、カメラ５からの直接見通し線の領域内に配置されかつ
表示及び座標面１２の外側にある軸外し実質放物面要素を含む。ミラー機構７の物理的外
観の点を除き、図１と図２に関して述べたものと同じ特性及び機能を含有する。幾つかの
構成では、プロジェクタ３とプロジェクタ表示面１２は、ディスプレイ１２用のフラット
スクリーン（ＬＣＤ、プラズマ、ＯＬＥＤ、背面投射など）によって置き換えられる。

図７と図８を参照すると、システムが壁上で垂直に使用するように取り付けられるので
はなく、テーブル面１２上で水平に使用するように取り付けられている点を除き、図１と
図２に関して述べたものと同じ特性及び機能を有する。

図７Ｂと図８Ｂを参照すると、構成は、プロジェクタ３とプロジェクタ表示面１２が、
ディスプレイ１２用のフラットスクリーン（ＬＣＤ、プラズマ、ＯＬＥＤ、背面投射など
）によって置き換えられた点を除き、図７と図８に関して前述したものと類似している。

図９と図１０を参照すると、システムが半透明背面投射スクリーン１２に適応されてお
り、従って、カメラ５、光源６、プロジェクタ３及び壁取付け具４が、壁１１の後ろにあ
り、一方、直線状押縁に沿った軸外し実質放物面要素のミラー機構７が、表示及び座標面
１２の上の特定の所定の高さにある相互作用体積１を観察するために壁上の投射スクリー
ン１２より上に取り付けられている点を除き、図３と図４に関して述べたものと同じ特性
及び機能を有する。

図９Ｂと図１０Ｂを参照すると、構成は、プロジェクタ３とプロジェクタ表示面１２が
、ディスプレイ１２用の半透明フラットスクリーン（ＯＬＥＤなど）によって置き換えら
れている点を除き、図９と図１０に関して前述したものと類似している。

図１１と図１２を参照すると、システムが、壁上で垂直に使用するように取り付けられ
ておらず、テーブル面１２上で水平に使用するように取り付けられている点を除いて、図
９と図１０に関して述べたものと同じ特性と機能を有する。

図１１Ｂと図１２Ｂを参照すると、構成は、プロジェクタ３とプロジェクタ表示面１２
が、ディスプレイ１２用の半透明フラットスクリーン（ＯＬＥＤなど）と置き換えられて
いる点を除き、図１１と図１２に関して前述したものと類似している。

図１３と図１４を参照すると、軸外し実質放物面要素のミラー機構７が、例えばテーブ
ル内に取り付けられた背面投射システムのプロジェクタ表示領域の上側の上に円形に沿っ
て構成されるか、障害物を回避するためにカメラからの直接見通し線の領域内にあるが表
示領域の外にある要素内に構成された点を除き、図１１と図１２に関して述べたものと同
じ特性と機能を有する。

図１３Ｂと図１４Ｂを参照すると、構成は、プロジェクタ３とプロジェクタ表示面１２
が、ディスプレイ１２用の半透明フラットスクリーン（ＯＬＥＤなど）と置き換えられて
いる点を除き、図１３と図１４に関して前述したものと類似している。

図１５と図１６を参照すると、軸外し実質放物面要素のミラー機構７が、例えばプロジ
ェクタ表示領域１２の上部の側面に円形に沿って構成されるか、障害物を回避するために
カメラ５からの直接見通し線の領域の要素内でかつ表示領域１２の外側に構成された点を
除き、図９と図１０に関して述べたものと同じ特性及び機能を有する。

図１５Ｂと図１６Ｂを参照すると、構成は、プロジェクタ３とプロジェクタ表示面１２
が、ディスプレイ１２用の半透明フラットスクリーン（ＯＬＥＤなど）と置き換えられた
点を除き、図１５と図１６に関して前述したものと類似している。

図１７を参照すると、対話式システムが、手持ち式装置内に取り付けられるように適応
された点を除き、図９Ｂ、図１０Ｂ、図１１Ｂ及び図１２Ｂで述べたものと同じ特性及び
機能を有する。

図１８を参照すると、本発明の好ましい実施形態による幾つかの例示的構成の代表画像
が示され、軸外し実質放物面要素のミラー機構７は、（ａ）図１、図２、図１Ｂ、図２Ｂ
、図７、図８、図７Ｂ、図８Ｂのように円形に沿って、（ｂ）図３、図４、図３Ｂ、図４
Ｂのように座標面１２の縁と平行な直線状押縁に沿って、（ｃ）図５と図６のように障害
物を回避するためにカメラ５からの直接見通し線の領域内の要素に沿って、（ｄ）対象物
２の複数のビューを提供することがある座標面１２の縁と平行な２個、３個又は４個の直
線状押縁に沿って、（ｅ）何台かのカメラ５の視点によってカバーされたきわめて広い座
標面１２の上側の縁と平行な直線状で長い押縁に沿って、（ｆ）障害物を回避するために
カメラ５からの直接見通し線の領域内にあり対象物２の複数のビューを提供する１つ又は
複数の要素に沿って構成される。この構成は、また、展示会と博物館内の相互作用看板と
相互作用ポスターに適用でき、幾つかの相互作用領域又はアイランドは、例えばユーザが
対話することができる情報コンテンツを有する三次元構造を有する領域間に確立されても
よい。

図１９を参照すると、焦点（ｐ／２）を有する放物面１９は、次の式で表され

軸外し実質放物面要素（ハッチ領域の上と点線楕円形の中）の一例が示される。

ここで、ディスプレイ１２からｘ＝５１０ｍｍ離れた入射ひとみと、Ｒ＝１５０ｍｍの
外径とＨ＝５０ｍｍの高さとを有するカメラ５の放物面要素の半円形ミラー機構７の例示
的な数値が提供される（即ち、ミラー機構７を介して高さ５０ｍｍを有する相互作用体積
１を観察することができる）。焦点は、次の通りである。

外径からの距離Ｒ−ｒ（ここでＲは外径、ｒは実半径である）を、放物面要素表面の実
際の高さｈの関数として、幾つかの高さｈ値に関して以下のように求めることができる。

図１９Ｂを参照すると、上記の数値例に関連する例示的なミラー機構７が示され、ここ
で、軸外し凹状放物面要素は、１５０ｍｍの外径を有する円の１７６°の扇形に構成され
る。ミラー機構７は、高さ０〜５０ｍｍであり、ユニットの全体の高さは、６０ｍｍであ
る。部品は、ＡＢＳプラスチックでモールド成形され、アルミニウムによって金属化され
、酸化による劣化を防ぐために薄い高分子層によって保護されてもよい。あるいは、金属
化プラスチック材料のシートを部品に接着することができるが、そのときは正確な二重湾
曲面は形成できない。

図１９Ｃを参照すると、図１９Ｂで述べ上の数値例と関連したような例示的なミラー機
構７の金属化プラスチック材料シートの形状が示される。

図１９Ｄを参照すると、図１９Ａ、図１９Ｂ及び図１９Ｃに示されたような例示的なミ
ラー機構７の斜視図が示される。ミラー機構７は、座標面１２上に延在する表面に直接配
置されるか、壁１１又は壁取付け具４に同じ高さで取り付けられるように適応される。

図１９Ｅを参照すると、例示的なミラー機構７は、特定の事例における幾つかの製造上
の制限により、ミラー表面を単一曲面にしかできないように設計されてもよい。図１９Ｅ
は、理想的な軸外し放物面関数とこの線形化軸外し放物面関数の異なる形状を示す。単一
曲面の傾斜は、高さ＝０でほぼ適正になるように適応され、従って、次ｈ＝０における「
最終タッチ」の読み取りがかなり正確になる。理想的な放物面関数を有するミラー機構７
の場合は、座標面１１の上方の対象物の高さのミラーを介した読み取りは、そのまま一次
関数になって相互作用体積１内の実際の（Ｘ，Ｙ）位置に依存せず、一方、そのように製
造された非理想的な放物面関数を使用するミラー機構７の場合は、対象物の高さの読み取
りが、例えばルックアップテーブルによって実施された（Ｘ，Ｙ）位置により誤差項によ
って修正されなければならない。

図１９Ｆを参照すると、幾つかの製造上の制限により、例えば、軸外し凹状理想放物面
形状に近似させるために、２つの単一湾曲面、即ち２つの線形部分を有するように制限さ
れた例示的なミラー機構７が設計される。図は、理想的な軸外し放物面関数と、２つの線
形部分を有する軸外し実質放物面関数との形状の違いを示す。これらの形状アーティファ
クトは、ゆがみ角が適正でないので、対象物の画像を歪ませる。一般に、例えば製造上の
制限により、様々な線形化され、セグメント化され、又は他の近似化された関数を利用し
て、例えば図１９Ａの理想的な軸外し凹状放物面関数に近づけることができ、そのような
得られた軸外し凹状実質放物面要素は、センサの有限画像解像度とカメラの所定のレンズ
品質に十分適応された所定のシステム要件に従った十分な精度で対象物を観察し対象物の
ホバー高さを決定するのに十分な画質を提供することができる。

図２０を参照すると、本発明の好ましい実施形態によるミラー要素の例示的構成は、（
ａ）小さい軸外し実質放物面ミラーセグメントのモザイクと、（ｂ）基材に接着されたミ
ラー状金属化プラスチック材料膜と、（ｃ）ガラス又はプラスチック材料内の全内反射を
利用したミラーと、（ｄ）ガラス又はプラスチック材料内の全内反射を利用し、全内反射
用の臨界角より小さい角度でミラー機能の保護と拡張のために金属化を使用するミラーと
、（ｅ）カメラがスクリーン（前投影）の前にあるときに平面鏡と１つ又は複数のフレネ
ルレンズを利用して軸外し実質放物面関数に必要な湾曲を提供するミラーと、（ｆ）カメ
ラがスクリーン（背面投射又は「透過」透明フラットスクリーン、例えばＯＬＥＤ）の後
ろにあるときに、平面鏡と１つ又は複数のフレネルレンズを利用して軸外し実質放物面関
数に必要な湾曲を提供するミラーと、（ｇ）（ｅ）及び（ｆ）と同じように軸外し実質放
物面関数のためのフレネル状セグメントを利用するミラーとを含む。

図２１Ａを参照すると、フローチャートは、表面までの指の距離を求め、体積内の指の
三次元座標を求め、タッチ及びホバリング状態を検出することを容易にする例示的な方法
の説明図を提供する。軸外し実質放物面ミラー要素は、対象物を観察するための代替視点
を表わし、このミラー要素は、相互作用体積内の相互作用面の上方の対象物のホバーレベ
ル、即ち高さ、又は直角距離Ｚを明示的に表わす。図２１Ａに示されたような単純な画像
収集及び特徴抽出は、カメラ画像アレイの２つの関心領域内、即ち直接、即ち同義的には
前面の視点とミラー視点内の候補対象物位置を見つけることができる。各ビューで、候補
対象物がカメラの入射ひとみで作る立体角を見つけることができる。ミラービューにおい
て、相互作用面（１２）の上方の高さＺは、明示的に求められ、２つの異なる二次元ビュ
ーの２つの観察及び画像処理によって三次元空間内の１つ又は複数のポイントを照合する
ことと関連した対応問題が、実質的に単純化される。

図２１Ｂは、対象物を見つけるための高速化方法を示すフローチャートである。この例
では、ミラー機構７は、例えば図１９Ｂ〜図１９Ｄに示されたような半円形軸外し実質放
物面ミラー部分であり、代表的な画像１８Ａでは、対象物が、ミラーを介してと直接の両
方で見える。

カメラは、相互作用体積（１）の座標系における直線軌跡を表わすミラーを介して、対
象物（２）の高さＺとアジマス角度を観察することができる。三次元相互作用体積（１）
内のこの直線は、所定のＺとアジマスの場合に対象物（２）が取り得る全ての（Ｘ−Ｙ）
位置を表わす。この三次元軌跡は、例えばルックアップテーブルによって見つけることが
できるカメラ画素アレイ内の二次元軌跡にマッピングされたレンズのための座標変換によ
るものであり、この軌跡は、ミラーに最も近い端から始まり、エッジ検出器アルゴリズム
が候補対象物を見つけることができる画素数を有する特定のパス幅でよい。次に、詳細な
部分画素エッジ検出又はテンプレートマッチングを行って、画素位置（ｘ−ｙ）を、より
高い精度で求め、次に、例えばルックアップテーブルによる逆座標変換によって変換する
ことができ、表面体積座標内の高精度（Ｘ−Ｙ）を有する候補対象物の座標が計算される
。最後に、この探索アルゴリズムの後で、前述のようにΧ、Ｙ、Ζ及び姿勢情報を報告す
ることができる。

二次元画素アレイ内の全検索アルゴリズムをエッジ検出器アルゴリズムと比較すると、
計算上の複雑さは、相互作用体積（１）をカバーする当該のアレイのサイズに比例し、前
述のアルゴリズムは、それほど複雑でなく、アレイの対角線の長さに実質的に比例し、そ
の結果、高速化係数は、センサの分解能と関心領域により、実質的に１００ｘ〜１０００
ｘの範囲でよい。

図２２を参照すると、本発明の好ましい実施形態による、表示スクリーンに対するカメ
ラの較正を容易にする例示的な方法が示され、ここで（ａ）は、表示スクリーン上に十文
字が示され、オペレータがペン又は指を使用して所定の順序で十文字にタッチする標準の
手動較正手法であり、（ｂ）は、発明ＷＯ２００１ＮＯ００３６９／ＵＳ７０８３１００
Ｂ２及び／又はＷＯ２００６１３５２４１Ａ１／ＵＳ２００９０４０１９５Ａ１を用いて
様々な較正点を識別する自動較正手法であり、これらの発明は、参照により本明細書に組
み込まれ、（ｃ）は、最初に（ｂ）のようなパターンを使用して様々な較正点を識別し、
次に、内部不透明又は反射材料を有する半透明シリンダをオペレータが所定の順序で配置
する所定の場所に、黒い背景上に１組の白い円板を示し、それによりタッチ検出の制限を
設定又は制御することができる半自動的較正手法である。

図２３を参照すると、本発明と一緒に使用される（ａ）追跡パターン１３を有するペン
、（ｂ）局所化制御パターン１３を有するミラー、及び（ｃ）局所化制御パターン１３を
有する座標面の例示的構成が示される。パターンは、例えば、参照により本明細書に組み
込まれるＷＯ２００１ＮＯ００３６９／ＵＳ７０８３１００Ｂ２及び／又はＷＯ２００６
１３５２４１Ａ１／ＵＳ２００９０４０１９５Ａ１のような対象物の識別及び追跡に使用
されるパターンでよい。更に図２３を参照すると、そのようなパターン及びパターン認識
を使用することによって、ペン入力を、人間の指のような他の相互作用入力装置と識別す
ることができ、その結果、本発明及び実際の参照発明が、デュアルモード入力システムを
容易に実現することができる。図２３を更に参照すると、相互作用面とミラーがそのよう
なパターンを備えても、その結果、本発明を他の参照発明と共に利用することによって、
自動制御、較正及び自己調整セットアップを実現することができる。

図２４を参照すると、典型的には白、黒、又は実際の近赤外線波長範囲内の逆反射光学
特性１４を有する、座標面の１つ又は複数の縁に沿った小さい押縁又はリスト１５を使用
することによって撮像と測定のための制御された背景を提供する例示的構成が示される。
この例では、押縁／リストは、座標面の下のペン棚１５としても働く。

図２５を参照すると、座標面にある軸外し実質放物面要素のミラー機構の例示的構成は
、平面の上方の対象物の高さを検出するように適応されて示されており、軸外し実質放物
面ミラー要素の更に外側の追加の湾曲又は平面鏡要素１６は、これらのミラーがカメラの
視点から観察されたときにシーンの空間情報を提供するように適応される。この例示的構
成は、ミラー１６内の対象物２を観察することによって相互作用体積１の外側の対象物２
の姿勢とジェスチャも追跡し決定する能力を高めることができる。また、より高度な人間
−コンピュータ相互作用シナリオでは、直接ビューとミラー１６内のビューを観察して新
しい相互作用イベントを予測することによって、ユーザのジェスチャと挙動を解析するこ
とができる。対象物２の三次元位置及び姿勢も評価することができる。

図２６を参照すると、座標面における軸外し実質放物面要素のミラー機構の例示的構成
は、照明を提供する他の照明装置１７と組み合わされて、座標面に対する対象物の高さを
観察するために示され、それにより、座標面の上方の対象物の高さを観察するためのミラ
ー機構７自体は、直接照明にあまり晒されず、したがって、光学的境界の望ましくない反
射が減少し、それにより測定の信号対雑音比が高くなる。

図２７を参照すると、ディスプレイ１２、協力コンピュータ１８と本発明による装置１
９、協力コンピュータとディスプレイ１２間の通信手段２０、及び協力コンピュータと本
発明による本装置１９間の通信手段２１を含むシステムが示される。通信手段２０は、必
要に応じて、無線データリンク及び／又は直接ケーブル接続リンク及び／又は光変調リン
クとして実現される。

図２８を参照すると、本発明の好ましい実施形態による例示的構成が示され、直接ビュ
ー及びミラービューが、別個の光学系と共に、２つの協力する分離されたイメージセンサ
２３及び２４によってそれぞれ取得されて、各ビューが、例えば高速シリアルリンク２２
によって接続された、低コストの小型化された単純な装置に最適化される。破線１０は、
様々な構成要素の１つ又は複数が、シャーシ１０によって取り囲まれることがあることを
示す。図２６に示されたような離間された照光ユニット１７が、そのようなシャーシ１０
に含まれてもよい。しかしながら、構成要素は、分離され、既存のプロジェクタ設置を改
造して対話式にするか、例えばペン型対話式ホワイトボードをタッチ感応式に改造するモ
ジュール式でもよい。必要に応じて、２つの別個のビューに最適化され、計算装置によっ
て１対の画像に同じ計算を実行するレンズ光学系が使用される。本発明に関して図２１Ｂ
に述べた高速化方式は、そのようなデュアルセンサ／レンズ構成のおいても同じ高速化が
適用される可能性がある。

図２９を参照すると、直接カメラビューにおいて閉塞状態（occlusion）の場合に相互
作用対象物（２）並びにタッチ及びホバリング状態を見つける冗長方式は、例えば、２つ
のミラー機構７（ミラーＭ１とミラーＭ２）に適用される図２１Ｂで述べた高速化手順に
よって発想され、ミラーＭ１とＭ２間の距離は、示されたような基線Ｌである。図２１Ｂ
の方法に対応して、ミラーＭ１を観察することによって対象物Ｐのアジマスαと高さＺ１
を見つけ、ミラーＭ２を観察することによって対象物Ｐのアジマスβと高さＺ２を見つけ
ることができ、三角測量法によって相互作用面１２又は相互作用体積１内の対象物位置（
Ｘ−Ｙ）を見つけことができる。

２つのミラーＭ１及びＭ２は、距離Ｌで配置され、即ち基線がＬである。次に、長さＬ
の基線から標的Ｐまでの距離ｄは、次の通りである。

また、距離ｄは、次のように表わすことができる。

Ｘ及びＹ座標は、単純な三角法計算によって単純に導出することができる。

座標変換又はルックアップテーブルによって、対応するセンサ画像（ｘ−ｙ）位置を見
つけることができ、（ｘ−ｙ）位置の近傍内の画像に詳細な画像解析を局所的に行ってよ
り正確な位置を得ることができ、この位置は、座標変換又はルックアップテーブルによっ
て、相互作用面（１２）又は相互作用体積（１）座標系における正確な（Ｘ−Ｙ）位置に
変換することができる。

前述の本発明の実施形態の修正は、添付の特許請求の範囲によって定義されたような本
発明の範囲を逸脱することなく可能である。「含む（including）」、「含む（comprisin
g）」、「内蔵する（incorporating）」、「から成る（consisting of）」、「有する（h
ave）」、「である（is）」などの表現は、本発明を説明し請求するために使用され、非
排他的に解釈されるものであり、即ち、明示的に記述されていない項目、構成要素又は要
素が存在することができる。また、単数の参照は、複数と関連すると解釈される。添付の
特許請求の範囲の括弧内に含まれる数字は、特許請求の範囲の理解を支援するものであり
、これらの請求項によって請求される内容を如何なる形でも限定するように解釈されるべ
きない。

１相互作用体積
２対象物
５カメラ
７ミラー機構
１２相互作用面

Claims

相互作用面（１２）から特定の高さ範囲の相互作用体積（１）内に全体的又は部分的に配置された対象物（２）の位置及び／又は姿勢を決定する装置であって、
カメラ（５）と、
１つ又は複数のミラー部分を含むミラー機構（７）と、
前記カメラ（５）からの情報に基づいて前記対象物（２）の位置及び／又は姿勢を計算する計算装置とを含み、
前記カメラ（５）が、前記カメラ（５）の視野内に前記相互作用体積（１）と前記ミラー機構（７）の両方を含むように配置され、
前記ミラー機構（７）は、前記ミラー部分が、少なくとも１つの軸外し凹状実質放物面光学ミラー要素を含み、前記軸外し凹状実質放物面光学ミラー要素が、その焦点が前記カメラ（５）の入射ひとみにあり、その軸が前記相互作用面（１２）と平行になるように配置され、その結果、前記相互作用体積（１）の高さ次元が前記軸外し凹状実質放物面光学ミラー要素によりその軸に沿って一定に拡大されるように前記相互作用体積（１）のビューが作成され、
その結果、前記計算装置によって、前記対象物（２）の位置及び／又は姿勢が、前記カメラ（５）からの単一ピクチャの情報に基づいて決定される装置。
第２の対象物が、前記カメラ（５）の視野内にあるが必ずしも前記相互作用体積（１）内になく、前記第２の対象物の前記姿勢が決定され、その結果、前記第２の対象物の前記姿勢が、追加情報を提供することがある、請求項１に記載の装置。
前記軸外し凹状実質放物面光学ミラー要素が、軸外し凹状実質放物面ミラー機能を提供するフレネル状ミラー要素を含む、請求項１又は２に記載の装置。
前記軸外し凹状実質放物面光学ミラー要素が、前記軸外し凹状実質放物面ミラー機能を提供するために組み合わせで配置されたミラー要素とレンズ要素とを含む、請求項１又は２に記載の装置。
前記ミラー要素は、ミラー表面が線形である、請求項４に記載の装置。
前記レンズ要素が、フレネルレンズである、請求項４又は５に記載の装置。
前記軸外し凹状実質放物面光学ミラー要素は、反射が、金属化プラスチック材料膜、金属化プラスチック射出成形部品、全内反射、又は金属化と組み合わされた全内反射によって提供される反射面を有する、請求項１〜６のいずれか一項に記載の装置。
前記軸外し凹状実質放物面光学ミラー要素が、所定の波長範囲内の光を選択的に遮断又は通過させるプラスチック材料及び／又は特殊被覆層を含む、請求項１〜７のいずれか一項に記載の装置。
前記軸外し凹状実質放物面光学ミラー要素が、前記相互作用面（１２）の周囲の外側に配置される、請求項１〜８のいずれか一項に記載の装置。
前記軸外し凹状実質放物面光学ミラー要素が、前記相互作用面（１２）の縁の外側に沿った直線状押縁内に配置された、請求項１〜９のいずれか一項に記載の装置。
前記軸外し凹状実質放物面光学ミラー要素は、壁又はテーブル取付け部に配置されるように適応された半円形状に分散された、請求項１〜９のいずれか一項に記載の装置。
前記ミラー機構（７）が、複数のミラー部分を有し、前記ミラー部分が、前記対象物（２）の複数のビューを提供するように構成された、請求項１〜１１のいずれか一項に記載の装置。
前記ミラー機構（７）は、前記複数のミラー部分がモザイク構造で配置された、請求項１２に記載の装置。
複数のカメラ（５）を含み、前記複数のカメラ（５）が、前記対象物（２）の複数のビューを提供し、前記ミラー機構（７）は、前記複数のカメラ（５）からの直接見通し線の領域内にあるように配置された、請求項１〜１３のいずれか一項に記載の装置。
前記カメラ（５）が、前記ミラー機構（７）の少なくとも一部のビューを拡大する二焦点レンズを有する、請求項１〜１４のいずれか一項に記載の装置。
前記カメラ（５）が、特定波長の光を遮るか通過させる少なくとも１つの光学フィルタを含む、請求項１〜１５のいずれか一項に記載の装置。
前記カメラ（５）が、異なる波長範囲の光を選択的に遮断又は通過させる少なくとも１つの選択可能な光学フィルタを含む、請求項１〜１６のいずれか一項に記載の装置。
前記相互作用体積（１）の少なくとも一部分を、可視光及び／又は近赤外線で、直接及び／又はミラー機構（７）を介して間接的に照明するように配置された照明機構（６）を含む、請求項１〜１７のいずれか一項に記載の装置。
前記照明機構（６）が、照明をオンオフしかつ／又は前記カメラ（５）の有効露出期間内にフラッシュを提供して前記対象物（２）の動きをとどめるように制御された、請求項１８に記載の装置。
前記照明機構（６）が、前記カメラ（５）の入射ひとみの近く、即ち前記軸外し凹状実質放物面光学ミラー要素の焦点の近くなるように配置され、前記ミラー機構（７）によって間接的に照明し、その結果、前記照明機構（６）からの光線が前記相互作用面（１２）と実質的に平行な状態で前記相互作用体積（１）内で広げられる、請求項１８又は１９に記載の装置。
前記相互作用体積（１）の照明に寄与するように配置された別個の第２のミラー機構を含む、請求項１８〜２０のいずれか一項に記載の装置。
前記相互作用体積（１）の照明に寄与するように配置された別個の第２の照明機構（１７）を更に含む、請求項１８〜２０のいずれか一項に記載の装置。
前記照明機構（６）が、直接照明とミラー機構（７）を介した間接照明とを提供する働きをし、前記直接照明と前記間接照明が、前記対象物（２）の検出を改善するように別々に制御される、請求項１８〜２２のいずれか一項に記載の装置。
前記照明機構（６）が、有色及び／又は点滅照明を投射することによって前記対象物（２）の外観を変化させる働きをする、請求項１８〜２３のいずれか一項に記載の装置。
前記カメラ（５）から観察したときに空間情報を提供するように適応された追加の湾曲又は平面鏡要素（１６）を更に有する、請求項１〜２４のいずれか一項に記載の装置。
前記ミラー機構（７）は、前記対象物（２）の位置及び／又は姿勢の探索を三角測量法によって可能にするために一定距離で配列された２つのミラー部分を有する、請求項１〜２５のいずれか一項に記載の装置。
前記カメラ（５）のレンズ光学系が、直接ビューと、１つ又は複数の別個のセンサを利用することによる前記軸外し凹状実質放物面光学ミラー要素を介したビューとのために分離された、請求項１〜２６のいずれか一項に記載の装置。
相互作用面（１２）で対象物（２）の相互作用使用を提供するための相互作用システムであって、前記相互作用システムが、請求項１〜２７のいずれか一項に記載の対象物（２）の位置及び／又は姿勢を決定する装置を含み、前記相互作用システムが、更に、前記相互作用面（１２）に画像を提示するように構成された表現装置を更に含む、相互作用システム。
前記相互作用面（１２）としての反射投影スクリーン（１２）と、前記表現装置としてのプロジェクタ（３）とを含み、前記カメラ（５）、及び前記プロジェクタ（３）が、前記反射投影スクリーン（１２）の前記相互作用体積（１）と同じ側に配置された、請求項２８に記載の相互作用システム。
前記相互作用面（１２）としての半透明背面投射スクリーン（１２）と、前記表現装置としてのプロジェクタ（３）とを含み、前記カメラ（５）、及び前記プロジェクタ（３）が、前記半透明背面投射スクリーン（１２）の前記相互作用体積（１）と反対側に配置された、請求項２８に記載の相互作用システム。
前記表現装置は、前記相互作用面（１２）としての半透明フラットスクリーン（１２）を含み、前記カメラ（５）が、前記半透明フラットスクリーン（１２）の前記相互作用体積（１）と反対側に配置された、請求項２８に記載の相互作用システム。
前記相互作用面（１２）が、壁、テーブル又は手持ち式装置に配置された、請求項２８〜３１のいずれか一項に記載の相互作用システム。
前記相互作用システムが、前記プロジェクタ（３）の取付け手段（４）を含み、前記ミラー機構（７）が、前記相互作用システムの様々な構成要素のほぼ最適な位置決めを容易にするように前記取付け手段（４）と関連して配置された、請求項２９に記載の相互作用システム。
相互作用面（１２）から特定の高さ範囲の相互作用体積（１）内に全体的又は部分的に配置された対象物（２）の位置及び／又は姿勢を決定する方法であって、
少なくとも１つの軸外し凹状実質放物面光学ミラー要素を含むミラー機構（７）を配置して、前記相互作用体積（１）の近くで前記対象物（２）からの放射を反射させる工程であって、前記軸外し凹状実質放物面光学ミラー要素は、その焦点がカメラ（５）の入射ひとみにあり、その軸が前記相互作用面（１２）と平行になるように配置され、それにより、前記相互作用体積（１）の高さ次元が前記軸外し凹状実質放物面光学ミラー要素によりその軸に沿って一定に拡大されるように前記相互作用体積（１）のビューが作成される工程と、
前記相互作用体積（１）と前記ミラー機構（７）の両方を視野内に含むように配置された前記カメラ（５）によって反射光を記録する工程と、
前記カメラ（５）から計算手段に情報を送る工程と、
前記カメラ（５）からの単一ピクチャの情報に基づいて前記対象物（２）の位置及び／又は姿勢を計算する工程とを含む方法。
請求項３４に記載の対象物（２）の位置及び／又は姿勢を決定する方法を含む、正確なタッチ及びホバリング情報のために相互作用面（１２）の高さ次元を較正し制御する方法であって、
前記相互作用面（１２）に半透明三次元パターン試験対象を配置する工程と、
前記相互作用面（１２）を円形領域内で１つずつ強調する工程と、
前記試験対象を前記カメラ（５）によって、直接と前記ミラー機構（７）を介して側面とから観察する工程と、
前記試験対象のパターンを識別する工程と、
相互作用面座標から表示座標に較正しマッピングしかつ／又は前記高さ測定を較正する工程と、
タッチとホバリングのしきい値を決定する工程とを含む方法。
対象物（２）について、前記相互作用面（１２）までの距離、三次元座標、及びタッチ及びホバリング状態を見つける方法であって、請求項３４に記載の対象物（２）の位置及び／又は姿勢を決定する方法を含み、
標準画像収集及び特徴抽出を行なう工程と、
前面ビューとミラー視点において前記対象物（２）の先端が前記カメラ（５）の入射ひとみで作る立体角を見つける工程と、
前記ミラーが放物面又は放物面近似モデルの場合に直接線形モデルを使用することによって前記対象物（２）の前記相互作用面（１２）までの距離を見つける工程と、
前記立体角と前記相互作用面（１２）までの距離とに基づいて前記対象物（２）の三次元座標を見つける工程と、
前記相互作用面（１２）までの距離をしきい値と比較することによって前記対象物（２）のホバー／タッチ状態を見つける工程とを含む方法。
請求項３４に記載の対象物（２）の位置及び／又は姿勢を決定する方法を含む、相互作用体積（１）内の対象物（２）を追跡するための計算及び探索を高速化する方法であって、
前記ミラー機構（７）を含む部分画像内で標準画像収集と特徴抽出を行なう工程と、
前記対象物（２）の前記相互作用面（１２）までの距離と、前記相互作用体積（１）に沿った放物面鏡要素の有効観測角を見つける工程と、
前記対象物（２）が取り得る全ての（Ｘ−Ｙ）位置を表す、前記相互作用体積（１）内の直線を見つける工程と、
前記カメラ（５）の画素アレイ内で対応する二次元の軌跡を見つける工程と、
特定の経路幅を有する前記軌跡をエッジ検出器で横断し、前記画素アレイ内の（ｘ−ｙ）位置における候補対象物（２）を見つける工程と、
詳細なエッジ検出又はテンプレートマッチングを行なって前記画素アレイ内における前記候補対象物（２）の正確な（ｘ−ｙ）位置を見つける工程と、
Ｚが分かっているときに、対応するＸ−Ｙ位置を見つける工程と、
Χ、Ｙ、Ζ並びにタッチ及びホバー情報の１つ又は複数をコンピュータに報告する工程とを含む方法。