JP4278979B2 - ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ターゲットの位置についての情報を入力するシステム及び方法に関し、より特定すれば、単一のカメラ画像を採用するこのようなシステムに関する。
【０００２】
【従来の技術】
コンピュータに基づいた多くのシステムはターゲットの位置についての情報を必要とする。例えば、よく知られているマウスは画面上でコントロール又は座標を選択するのに用いられる。ターゲット位置のデータがコンピュータに入力される他の分野は、自動化されたビデオ会議システムの分野である。例えばユーザは、単純に物体を示すか又はジョイスティックでカメラを制御することにより、目的の物体にカメラを向けることができる。ユーザが、マウス又はジョイスティックの使用無しに、通常他人にターゲットを示すのに用いられるよく知られているジェスチャーを用いることによって、ターゲットを示すことを可能にするシステムに関する研究が多くの面で進行している。
【０００３】
このようなジェスチャーに基づいたシステムは、音声コマンド(各口頭コマンドが例えば「左にパンせよ」、「上へ」、「下へ」等の命令に対応する、基本的に音声に基づいた記号の処理装置である「コマンドコントロール」)及びジョイスティック制御等の明確なコマンドを必要とする従来のシステムよりも直感的であり制御するのがより容易である。
【０００４】
ユーザが指し示すことにより複数のカメラビューを用いて方向を決定する方法がある。例えば、カメラに基づいたシステムはMasaaki Fukumoto, Yasuhito Suenga及びKenji Maseによる文献「‘Finger-Pointer’: Pointing interface by Image Processing」に詳細に説明されている。ユーザの指示と一致する3次元ベクトルを決定するためには実際の場面の3次元モデルを生じさせるのに複数のアングルのビューが統合されることが必要であるかもしれないため、このようなシステムは多くの場合複雑である。またカメラは、位置を合わせられ、照準を合わせられ、位置及び方向が精密に規定される必要がある。次に、ユーザが指し示しているターゲットを決定するのに3次元モデルが用いられる。ターゲットが既知の面に位置するという限定された状況においては、この複雑さを克服する1つの技術は、較正されていない2つのカメラ及び平面投影変換を、2000年5月17日出願の米国特許出願第09/572,991号「Apparatus and method for indicating a target by image processing without three-dimensional modeling」に関する他の特許出願に説明されるように用いることであり、当該特許出願の全体はここで完全に述べられるかのように参照によりここに組み込まれる。ここでは較正は必要とされないが、この出願の方法はかなりの間隔で配置されなければならない複数のカメラを必要とする。
【０００５】
マウスは、相対位置を示すことにより画面上で所望の2次元座標の位置を示す。マウスが始めに制御されるとき、このマウスにより示される位置の開始位置は任意である。ユーザは究極的にはフィードバック及び相対的な移動を用いることによってのみターゲット位置を示すことができる。マウスと非常によく似た動作をする、単純な単一のカメラのジェスチャーに基づいた技術が米国特許第5,594,469号に説明される。この方法では、ユーザのジェスチャーは単一のカメラ及びフィードバックにより示される位置により得られる。次にユーザは、フィードバック信号が所望の結果を示すまでジェスチャーを修正する。例えば、ユーザは手を移動して、この変位の方向及び大きさは画面上のカーソルの相対的な変位の方向及び大きさにマッピングされる。
【０００６】
【発明が解決しようとする課題】
しかし、このシステムには、開始位置が任意であり、(通常視覚的である)フィードバックが必要とされるというマウス又はジョイスティックと同じ欠点がある。
【０００７】
【課題を解決するための手段】
簡単には、平面上のターゲットの位置は平面上に指示方向の投影を入力することにより示される。ターゲットが平面中で輪郭線に位置すると知られていれば、位置は方向投影により明白に特定され、ここで輪郭線と投影との交点が所望のターゲットである。代替的には、ターゲットの2次元的な位置はターゲットの軸座標を連続的なステップで入力することにより特定されることが可能である。他の代替の手法では、ターゲットを含む画像は変換及び/又は回転され、ターゲットは再び示される。次に2つの方向投影の交点が2次元空間（２‐Space）のターゲットの位置を決定するのに用いられる。方向指示はカメラ又は、1つ以上の無線伝送器、影のキャスティング等の他の方法により入力されることができる。
【０００８】
本システムでの方針は、平面投影変換を上で参照した米国特許出願第09/572,991号に開示される態様で用いるが、ここで2つのカメラを用いて単一の方向指示ベクトルの独立の平面投影を共通平面に提供する代わりに、単一のカメラの画像の座標が既知の平面にマッピングされ、2つでなくただ1つの座標情報の次元を提供する、というものである。しかし、この単一次元は複数の態様で用いられることが可能である。例えば、スライダコントロールなどの単一軸コントロールは指し示すジェスチャーにより制御されることが可能である。道路地図に示される道路の一点も示されることが可能である。また、連続したジェスチャー入力、例えば表の行のために1つのジェスチャー、列のために1つのジェスチャーを用いることにより、所望のセルを示すことができる。代替的に、場面の画像が画面及び場面上に示されるターゲットに投影されることが可能である。次に、第1の指示の後に、場面は転換及び/又は回転されターゲットが再び指示されることができる。これらの2つの指し示すことによる指示の2つの平面投影から、ターゲットの位置は単純に2つの投影の交点を見つけることにより導き出されることができる。
【０００９】
本発明は、より完全に理解されるよう以下の説明的な図を参照して特定の好適な実施例に関連して説明される。図を参照すると、示される項目は例であって本発明の好適な実施例の例示的な説明のみを目的とするものであり、本発明の原理及び概念的側面の最も有用であり容易に理解される説明であると信じられるものを提供する目的で提示されるということが強調される。この関連で、本発明の構造的細部を示すことは本発明の根本的理解に必要なもの以上には試みられず、図と共に用いられる説明が、当業者に本発明の幾つかの形が実際上いかに具体化されるかを明らかにする。
【００１０】
【発明の実施の形態】
図1A、1B及び1Cを参照すると、カメラ150は開口155を備える画面135の後ろのプラットホーム110に支持される。カメラ150は、カメラ150が開口155を通して場面を見るように画面の前の場面に向けられることができる。カメラ150の照準は、開口155の端170がカメラの画像中に見えるようになっているものである。よって、カメラ150の視野は開口155によりわずかに削られている。装置200においては、画面135の目的は開口155の角261-264の形で4つのマーカーを提示するということであって、この目的に効果のある装置であれば何でも十分であることに注意されたい。例えば、マーク又はワイヤフレームの物体を備える透明なガラスである。長方形の開口155又はワイヤフレームにより設けられる角で合流する直線は、4つの角の座標を識別するのに補間法が用いられることを許容し、これにより小さいマーカーの直接測定に関する座標測定の精度を増加させる、という意味で有益である。
【００１１】
ここで図２を参照すると、装置200はユーザ30を見るのに用いられる位置に配置される。セットアップ中に、カメラ240はターゲットが位置することができる点の位置、例えば画面210及び装置200の画面135の4つの点261-264がカメラ240の視野内にあるような位置及び方向に、一時的に配置される。4つの追加の点221-224も画面210上にマークされる。4つの点221-224もセットアップカメラ240の視野内にある。単一のセットアップ画像がセットアップカメラ240に必要な全てのものである。この画像はカメラ150の画像中の4つの点261-264をセットアップカメラ240の画像中の4つの点にマッピングする平面投影変換を計算するのに用いられる。このセットアップ変換が一旦計算されたら、これはカメラ150の画像中のあらゆる画像座標をセットアップカメラ240の画像座標に変換するのに用いられる。セットアップカメラ240の画像は全ターゲット位置データの基礎であるか又はこの画像はセットアップ変換を適切に修正することによりいかなる所望の平面にも変換されることができる。実施例では、ユーザ30の目236及び指先235の座標は、カメラ150の画像の座標からカメラ240の画像の座標に変換される。
【００１２】
図は、ユーザ30が指し示すジェスチャーを用いてターゲット260を指し示しているところを示す。人がターゲット260等のターゲットを指し示すときに用いられるジェスチャーは、ユーザの指先235、ユーザの右目(左目)236及びターゲット260が直線でつながるというものであるということが実験的に確認されている。ここで図３及び４も参照すると、画面210の平面は350において示され、ユーザ30の目236及び指先235をつなげる直線は330において示される。セットアップカメラ240の視野におけるターゲット260の平面投影は、ユーザ30の目236及び指先235により規定される直線即ち方向ベクトル330の平面投影に沿って位置する。325において示されるカメラ240の焦点は、方向ベクトルと共に平面320を規定する。平面320とターゲットが位置する平面350との交線は方向ベクトル330の投影を規定する。ターゲット(例えばT1)は平面350中で特定の線又は輪郭線、例えば垂直軸即ちスライダコントロール360に位置すると知られていれば、ターゲット点は直線330の平面投影310と垂直軸即ちスライダコントロール360との交点を見つけることにより得ることができる。
【００１３】
依然図３及び４を参照すると、平面350上の任意の点を示すために2つの軸即ちスライダコントロール360及び365が画面210に連続で投影されることが可能であり、第1に垂直位置を例えば垂直軸即ちスライダコントロール360に示し、次に水平位置を例えば水平軸即ちスライダコントロール365に示すことができる。これは表の列を、次に行を特定することにより特定のセルを選択する手法に類似している。
【００１４】
ここで図５を参照すると、まっすぐではない線460において点を特定することができる。方向ベクトル430に対応する投影線410が曲線即ち輪郭線460と1点のみで交差するのであれば、ターゲット点は明確に決定することができる。例えば、道又は他の物体の輪郭上の点はこのような手法により特定することができる。再び、ターゲットは平面450に位置すると仮定されている。
【００１５】
ここで図５及び６を共に参照して、第1の位置及び方向において任意の画像が特定されていると仮定しよう。この第1の位置及び方向において、ターゲット473は方向ベクトル430により示される。一旦これが起これば、ターゲット473は方向ベクトル430の投影により特定される線410により規定される経路上に位置すると知られる。この実施例では、ターゲット473が規定の線即ち輪郭線460に位置することを必要とするよりもむしろ画像の位置及び/又は方向が変更されて、ユーザは方向ベクトル430により表される他の指示を生じさせる。次に平面450中で第2投影線412が規定される。投影線410と412との交点がターゲット473の位置を示す。当然、明らかに投影線410及び412は画像に関連して規定される。
【００１６】
上述の実施例ではターゲットは特定の態様(目から指先へ)の指し示すジェスチャーにより示されるが、この指示が他の手法で導出されることができない理由は何もない。例えば、確認装置又はワンドが使用されることが可能である。また、ターゲットは、画面上のターゲットではなく、共通の平面上に実質的に位置するいかなる物体又は画像でもよい。また更に、物体又はターゲットは単一平面上に位置する必要はなく、それぞれが登録マークのそれぞれの組を有する複数の平面上に位置することができる。本発明はターゲットが平らな面ではない面に位置することができるように他の変形を用いることによっても拡張されることが可能である。また他の変形例は方向を示すジェスチャーの態様である。方向を示すための動くジェスチャーに伴うような短い時間間隔に亘っての手又は指の振りの方向等の方向を導出するのに、画像の時間的系列が用いられることが可能である。また、他の適切なアプリケーションはホワイトボードアプリケーションである。また更に、登録マークは画面上のマークである必要はなく、画面の角であってもよい。また、登録マークはセットアップ中の1つの時点で画面上に投影され後に除去されてもよい。登録点座標は次に、セットアップが変更されるまで登録マークに対する他の参照無しに変換を計算するのに用いられてもよい。この技術の他のアプリケーションは、カメラをターゲットに向けることへの使用である。一旦参照画像中の座標が知られれば、カメラがターゲットを捕捉するのに再び照準をあててズームすることが可能である。これは自動ビデオ会議システムの状況で有用になる。
【００１７】
ここで図７を参照すると、本発明のアプリケーションを実施するのに用いられ得る装置及び処理がブロック図で示される。画像プロセッサ505がカメラ501から画像データを受信する。画像及び座標データはメモリ510又は不揮発性記憶装置520に記憶されてよい。例えば、変換データは一旦計算されれば不揮発性メモリ520及びカメラ501からの画像の計算に用いられるメモリ510に記憶されることができ、アプリケーション処理530に適用され得るターゲットの座標x, yを導出することができる。アプリケーション処理は上で説明した連続的なターゲット指定ステップを実行するのに複数の画像処理ステップを命令することができる。ターゲットが指定される度に、音声応答システム等のインジケータ522がユーザの入力を示すことができる。音声応答システムでは、ユーザは特定の単語又は命令を言うことにより自分の現在のジェスチャーが完了したことを示すことができる。代替的に、ユーザは同じことをジェスチャー、リモートコントロールボタン又は他の指示器522を用いることにより示してもよい。アプリケーション処理530は次に出力装置540にホワイトボード上の図面又はゲームのアバター(分身)のための制御データ等の出力を生成する。平面投影が無線装置を通じて得られるシステムにおいては、RF検知器524が設けられてもよい。
【００１８】
カメラ501により収集された投影データはソナー、ラジオ、超音波医療機器又は平面投影を形成することができる他のあらゆる装置等からも導出されることができることに注意されたい。同様の計算手法が、方向がカメラにより得られるもの以外のポインティングインジケータと関連して用いられ得るということにも注意されたい。例えば、確認チューブ又は無線伝送器を備えるガンサイトの方向がコンピュータにより得られ、画面上のターゲットの位置を決定するのに用いられることができる。無線に基づくライティングタブレット及びネットワーク化されたホワイトボードアプリケーション等が、カメラ全体に対する必要性を避けてポインティングデバイスの方向を決定するのに採用されてもよい。この装置は上で参照として組み込まれた米国特許第09/572,991号中でも用いられることが可能であることに注意されたい。
【００１９】
本発明は、前記の説明的実施例の細部には制限されず、本発明の精神又は本質的な特質から離れることなく他の特定の形式で実施され得るということは当業者には明らかである。従ってこれら実施例はあらゆる点において説明的であって制限的でないとみなされるべきであり、本発明の範囲は前記の説明よりも添付の請求項により示され、請求項の意味及び均等物の範囲内での全変更は従って当該請求項中に含まれるように意図されている。
【図面の簡単な説明】
【図１Ａ】 本発明の実施例を実施するためのジグの平面図。
【図１Ｂ】 図1Aのジグの正面図。
【図１Ｃ】 図1A及び1Bの側面図。
【図２】 本発明の実施例のために用いられるセットアップ構成の図。
【図３】 2つの輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係の図。
【図４】 2つの輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係の図。
【図５】 2つの位置に移動された単一の輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係。
【図６】 2つの位置に移動された単一の輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係。
【図７】 本発明を実施するために用いられ得る物理的構成の図。

Claims (21)

1. 規定の平面上に位置する未知の点の位置を決定する方法であって、
   前記規定の平面に関するセットアップ用投影データを、第１の投影データ収集手段を用いて、取得するステップであって、前記セットアップ用投影データは、前記規定の平面及び第２の投影データ収集手段を１つの画像に含むように取得される、ステップと、
   ユーザによって空間中に生じられる線の指示を、前記第２の投影データ収集手段を用いて投影データとして取得するステップと、
   前記第１及び第２の投影データ収集手段から各投影データを受信する処理器が、前記第２の投影データ収集手段を用いて取得された前記投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の平面投影へ変換するステップと、
   前記処理器が、前記規定の平面上に位置する既知の経路に沿う位置を、前記既知の経路と前記平面投影における前記線の指示との交点を決定することにより決定するステップと、
   を有する方法。
2. 前記第１の投影データ収集手段が、カメラである、請求項１に記載の方法。
3. 前記第２の投影データ収集手段が、カメラである、請求項２に記載の方法。
4. 前記セットアップ用投影データが、前記規定の平面上の規定の第１の登録マークの群を含むように撮影される、請求項３に記載の方法。
5. 前記第２の投影データ収集手段を用いて取得される前記投影データが、前記第２の投影データ収集手段の前に配置される規定の第２の登録マークの群を含むように撮影される、請求項４に記載の方法。
6. 前記セットアップ用投影データが、前記規定の平面上の規定の第１の登録マークの群に加えて、更に前記規定の第２の登録マークの群も含むように撮影される、請求項５に記載の方法。
7. 前記平面投影変換が、前記第２の投影データ収集手段により撮影された前記第２の登録マークの群を、前記セットアップ用投影データに含まれる前記第１の登録マークにマッピングする計算に基づく、請求項６に記載の方法。
8. 前記第１及び第２の登録マークの数が、それぞれ４つであり、正方形又は長方形を形成する、請求項７に記載の方法。
9. 前記ユーザによって空間中に生じられる線の指示が、ユーザの動的なジェスチャーを含む、請求項１に記載の方法。
10. ユーザによって空間中に生じられる線の指示を、第２の投影データ収集手段を用いて投影データとして取得するステップが、カメラによる撮像及び無線受信器による検知の内少なくとも1つにより、ユーザによって操作されるポインティングデバイスの方向を取得すること、を含む、請求項１に記載の方法。
11. 前記第１及び／又は第２の投影データ収集手段が、ソナー、ラジオ、超音波医療機器である、請求項１に記載の方法。
12. 前記規定の平面上の既知の経路が、スライダーコントロール、又は道路地図に示される道路である、請求項１に記載の方法。
13. ユーザによって空間中に生じられる他の線の指示を、前記第２の投影データ収集手段を用いて更なる投影データとして取得するステップと、
    前記処理器が、前記第２の投影データ収集手段を用いて取得された前記更なる投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の他の平面投影へ変換するステップと、
    前記処理器が、前記規定の平面上に位置する他の既知の経路に沿う他の位置を、前記他の既知の経路と前記他の平面投影との交点を決定することにより決定するステップと、
    前記処理器が、前記既知の経路及び前記他の既知の経路をそれぞれ水平軸及び垂直軸のいずれかとする２次元における前記位置及び前記他の位置から前記規定の平面上の未知の点の座標を計算するステップと、
    を更に有する請求項１に記載の方法。
14. 規定の平面上に位置する未知の点の位置を決定する方法であって、
    前記規定の平面に関するセットアップ用投影データを、第１の投影データ収集手段を用いて、取得するステップであって、前記セットアップ用投影データは、前記規定の平面及び第２の投影データ収集手段を１つの画像に含むように取得される、ステップと、
    ユーザから、既知の２次元面に表示される前記規定の平面の前記未知の点へ向けられた、前記ユーザによる空間中の第1の線の指示を、前記第２の投影データ収集手段を用いて投影データとして取得するステップと、
    前記第１及び第２の投影データ収集手段から各投影データを受信する処理器が、前記第２の投影データ収集手段を用いて取得された前記投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の第１の平面投影へ変換するステップと、
    前記処理器が、前記処理器に接続された指示器に入力されるユーザからの命令に基づき、出力装置に、前記既知の２次元面に表示される前記平面上の前記未知の点を含む画像の位置及び／又は方向を変更させるステップと、
    ユーザから前記変更された位置にある未知の点に向けられた、前記ユーザによる空間中の第２の線の指示を、第２の投影データ収集手段を用いて更なる投影データとして取得するステップと、
    前記処理器が、前記更なる投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の第２の平面投影へ変換するステップと、
    前記処理器が、前記規定の平面上の前記第１及び第２の平面投影における前記第１及び第２の線の指示の交点から前記未知の点の位置を計算するステップと、
    を有する方法。
15. 規定の平面上に位置する未知の点の位置を決定するシステムであって、
    前記規定の平面に関するセットアップ用投影データを取得する第１の投影データ収集手段であって、前記セットアップ用投影データは、前記規定の平面及び第２の投影データ収集手段を１つの画像に含むように取得される、第１の投影データ収集手段と、
    ユーザによって空間中に生じられる線の指示を、投影データとして取得する前記第２の投影データ収集手段と、
    前記第１及び第２の投影データ収集手段から各投影データを受信する処理器と、
    を備えるシステムであって、
    前記処理器が、前記第２の投影データ収集手段を用いて取得された前記投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の平面投影へ変換し、
    更に、前記処理器が、前記規定の平面上に位置する既知の経路に沿う位置を、前記既知の経路と前記規定の平面上の前記平面投影における前記線の指示との交点を決定することにより決定する、
    システム。
16. 前記処理器は、前記規定の平面に重なる面上において前記第1の規定の線に重なる画像を生じさせるようにプログラムされる、請求項１５に記載のシステム。
17. 前記第２の投影データ収集手段が、ユーザによって空間中に生じられる他の線の指示を、更なる投影データとして取得し、
    前記処理器が、前記更なる投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の他の平面投影へ変換し、
    更に、前記処理器が、前記規定の平面上に位置する他の既知の経路に沿う他の位置を、前記他の既知の経路と前記他の平面投影との交点を決定することにより決定し、
    前記処理器が、前記既知の経路及び前記他の既知の経路をそれぞれ水平軸及び垂直軸のいずれかとする２次元における前記位置及び前記他の位置から前記規定の平面上の未知の点の座標を計算する、
    請求項１５に記載のシステム。
18. 規定の平面上に位置する未知の点の位置を決定するシステムであって、
    前記規定の平面に関するセットアップ用投影データを取得する第１の投影データ収集手段であって、前記セットアップ用投影データは、前記規定の平面及び第２の投影データ収集手段を１つの画像に含むように取得される、第１の投影データ収集手段と、
    ユーザから、既知の２次元面に表示される前記規定の平面の前記未知の点へ向けられた、前記ユーザによる空間中の線の指示を、投影データとして取得する前記第２の投影データ収集手段と、
    前記第１及び第２の投影データ収集手段に接続され、各投影データを受信するように構成される処理器と、
    前記処理器に接続された指示器と、
    を備えるシステムであって、
    前記第２の投影データ収集手段が、ユーザから既知の２次元面に表示される前記規定の平面の前記未知の点へ向けられた、前記ユーザによる空間中の第1の線の指示を、第２の投影データ収集手段を用いて第１の投影データとして取得し、
    前記処理器が、前記第２の投影データ収集手段を用いて取得された前記第１の投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の第１の平面投影へ変換し、
    前記処理器が、前記処理器に接続された指示器に入力されるユーザからの命令に基づき、出力装置に、前記既知の２次元面に表示される前記平面上の前記未知の点を含む画像の位置及び／又は方向を変更させ、
    前記第２の投影データ収集手段が、ユーザから既知の２次元面に表示される前記規定の平面の前記変更された位置にある未知の点へ向けられた、前記ユーザによる空間中の第２の線の指示を、第２の投影データ収集手段を用いて第２の投影データとして取得し、
    前記処理器が、前記第２の投影データ収集手段を用いて取得された前記第２の投影データを、前記セットアップ用投影データに基づく平面投影変換により前記規定の平面上の第２の平面投影へ変換し、
    前記処理器が、前記規定の平面上の前記第１及び第２の平面投影における前記第１及び第２の線の指示の交点から前記未知の点の位置を計算する、
    システム。
19. 請求項１５乃至１８に記載のシステムで用いられる第１の投影データ収集手段。
20. 請求項１５乃至１８に記載のシステムで用いられる第２の投影データ収集手段。
21. 請求項１５乃至１８に記載のシステムで用いられる処理器。

Images