JP2023510738A - ３次元カメラの座標系を２次元カメラの入射位置に移動させる方法 - Google Patents

Abstract

例示的な一方法は、３次元カメラに関連付けられた３次元座標系及び当該３次元カメラに関連付けられた第１の基準点を取得するステップと、２次元カメラに関連付けられた２次元座標系及び当該２次元カメラに関連付けられた第２の基準点を取得するステップと、第１の基準点と第２の基準点との固定された既知の位置関係に基づいて、３次元座標系を２次元座標系に整合させて、３次元座標系と２次元座標系との固定された位置関係を取得するステップと、３次元座標系と２次元座標系との固定された位置関係を用いて３次元座標系を２次元座標系のデータ点に移動させるステップを含んでいる。

Description

関連出願の相互参照
本出願は２０２０年１月５日出願の米国仮特許出願第６２／９５７，２５１号に対する優先権を主張するものであり、その全文を本明細書に引用している。

本発明は一般に距離測定に関し、より具体的には３次元カメラの座標系を２次元カメラの入射位置に移動させる方法に関する。

２次元（例：赤、緑、青すなわちＲＧＢ）カメラにより撮像された２次元画像は、物体認識、測定、自律航行、ロボティックス、及びモーションキャプチャを含む用途に用いられることが多い。

これらの用途の多くにおいて、３次元画像情報を当該２次元画像内の物体又は点に紐付けることは有用である。

一例において、少なくとも１個のプロセッサを含む処理システムにより実行される方法は、３次元カメラに関連付けられた３次元座標系及び当該３次元カメラに関連付けられた第１の基準点を取得するステップと、２次元カメラに関連付けられた２次元座標系及び当該２次元カメラに関連付けられた第２の基準点を取得するステップと、第１の基準点と第２の基準点との固定された既知の位置関係に基づいて、３次元座標系を２次元座標系に整合させて、３次元座標系と２次元座標系との固定された位置関係を取得するステップと、３次元座標系と２次元座標系との固定された位置関係を用いて３次元座標系を２次元座標系のデータ点に移動させるステップを含んでいる。

別の例において、非一時的機械可読記憶媒体に、少なくとも１個のプロセッサを含む処理システムにより実行可能な命令が符号化されている。当該命令が実行されたならば、処理システムに、３次元カメラに関連付けられた３次元座標系及び当該３次元カメラに関連付けられた第１の基準点を取得するステップと、２次元カメラに関連付けられた２次元座標系及び当該２次元カメラに関連付けられた第２の基準点を取得するステップと、第１の基準点と第２の基準点との固定された既知の位置関係に基づいて、３次元座標系を２次元座標系に整合させて、３次元座標系と２次元座標系との固定された位置関係を取得するステップと、３次元座標系と２次元座標系との固定された位置関係を用いて３次元座標系を２次元座標系のデータ点に移動させるステップを含む動作を実行させる。

別の例において、装置は、少なくとも１個のプロセッサを含む処理システム及び当該処理システムにより実行可能な命令が符号化された非一時的機械可読記憶媒体を含んでいる。当該命令が実行されたならば、処理システムに、３次元カメラに関連付けられた３次元座標系及び当該３次元カメラに関連付けられた第１の基準点を取得するステップと、２次元カメラに関連付けられた２次元座標系及び当該２次元カメラに関連付けられた第２の基準点を取得するステップと、第１の基準点と第２の基準点との固定された既知の位置関係に基づいて、３次元座標系を２次元座標系に整合させて、３次元座標系と２次元座標系との固定された位置関係を取得するステップと、３次元座標系と２次元座標系との固定された位置関係を用いて３次元座標系を２次元座標系のデータ点に移動させるステップを含む動作を実行させる。

本開示による、２次元撮像センサ及び３次元撮像センサを含む例示的な距離センサの異なる座標系間の関係を示す模式図である。 例示的な２次元座標系と例示的な３次元基準位置間の関係をより詳細に示す説明図である。 ３次元座標系を２次元カメラの前節点に移動させる概念図である。 受光システムが２次元カメラと一体化された３次元カメラを含む距離センサ座標系の移動を示す説明図である。 受光システムが別個の（一体化されていない）３次元カメラ及び２次元カメラを含む距離センサ座標系の移動を示す説明図である。 複数の３次元カメラを含む例示的なシステムの説明図である。 ３次元カメラの座標系を２次元カメラの入射点に移動させる例示的な方法を示すフロー図である。 ３次元カメラの座標系を２次元カメラの入射点に移動させる例示的な電子機器の高水準ブロック図である。 本開示の態様による３次元カメラの各種の図である。 本開示の態様による３次元カメラの各種の図である。 本開示の態様による３次元カメラの各種の図である。 図９Ａ～９Ｃの３次元カメラに接続されるべく設計された構造を有する２次元カメラの上部の等角図である。

本開示は、３次元カメラの座標系を２次元カメラの入射点に移動させる装置、方法、及び非一時的コンピュータ可読媒体について広範に記述する。上述のように、２次元（例：赤、緑、青、すなわちＲＧＢ）カメラにより撮像された２次元画像は、物体認識、測定、自律航行、ロボティックス、及びモーションキャプチャを含む用途に多く用いられる。これらの用途の多くでは、これら２次元画像内の物体又は点に３次元画像情報を関連付けることが有用である。

大多数の３次元センサシステムは、当該システムが複数のセンサ及びカメラを含み、従って、これらの条件下で得られたデータ（例：２次元画像、３次元マップ等）を用いて３次元座標系の位置を設定すべく構成されている前提で動作する。これらのセンサシステムは典型的に、各センサの座標系の機械的位置関係又はこれらの座標系の組み合わせを考慮しない。更に、この視点から機械的位置調整に注力する公知のシステムは存在しない。しかし、正しい測定結果の取得が必須である３次元測定装置等、現実の状況に適用された場合、機械的位置調整の概念は極めて重要である。

本開示の複数の例が、３次元カメラの座標系を２次元カメラの入射点に移動させる手段を提供する。一例において、３次元カメラに関連付けられた３次元座標系のデータ点（原点）に相対的な固定された既知の位置を有する第１の基準点が定義される。また、２次元カメラに関連付けられた２次元座標系のデータ点（原点）に相対的な固定された既知の位置を有する第２の基準点が定義される。第１の基準点と第２の基準点との固定された位置関係も知られている。従って、これらの３個の位置関係が分かっていることにより、３次元座標系を２次元カメラの前節点に移動させることができる。移動の実行に要する並進及び回転移動を計算することにより、３次元座標系の一点に２次元カメラの撮像センサの位置及び深さを割り当てることができる。

本開示の複数の例は、基準（２次元カメラの２次元座標系の基準点等）を、３次元カメラの３次元座標系の基準（又はデータ）点と較正時にマッチングできることを示している。この能力を用いて２次元カメラの位置調整を誘導することができる。従って、２次元カメラの光学系（例：レンズ、撮像センサ、及び他のカメラ要素により決定される光軸、主点位置等）の位置関係を、３次元カメラの位置調整システム又は搭載機構に関して制御された状態で決定することができる。これにより２次元データを３次元データに正しく紐付けることができる。

本開示の更に複数の例で、３次元カメラ及び２次元カメラを接続して単一の機器を形成できるようにする３次元カメラ及び２次元カメラ用の筐体構造を提供する。３次元カメラ及び２次元カメラの別個の座標系間の対応付けは、筐体の位置調整システムを用いて単一機器内の複数のカメラを接続することにより簡単且つ正確に実現することができる。この構成はまた、たとえカメラの仕様が異なっていても、３次元カメラ及び２次元カメラの各々について筐体用の座標基準を予め設定又は測定可能にする。本開示の範囲内で、「２次元画像」とは、肉眼で視認可能な（例：従来の赤、緑、青（ＲＧＢ）画像センサによる）スペクトルの光を用いて得られた画像を指すものと理解されたい。対照的に、３次元パターンの画像は、（例えば赤外線撮像センサによる）肉眼で視認不可能なスペクトルの光を用いて得られる。

本開示は、２次元及び３次元撮像センサの両方を含む距離センサの異なる構成を考慮する。例えば、ある種類の距離センサは２個の別個の受光システム／カメラを含んでいてよく、第１の受光システムは撮像３次元センサを含み、第２の受光システムは２次元カメラを含んでいる。この場合、第２の受光システムの筐体と２次元座標系の機械的位置関係は第１の値に固定されている。第２の受光システムの筐体の位置を調整して距離センサに固定する外部搭載機構と、２次元撮像センサに関連付けられた２次元座標系の機械的位置関係は第２の値に固定されている。第１の値及び第２の値は、距離センサのプロセッサからアクセス可能なメモリ（例：距離センサのローカルメモリ、外部データベース等）に保存されていてよい。

第１の受光システムは、３次元座標系に相対的な位置が既知且つ第３の値に固定された指定基準点を含んでいる。第１の受光システムの筐体を距離センサに固定すべく用いられた外部搭載機構に相対的な基準点の位置が第４の値に固定されている。第１の値及び第２の値と同様に、第３の値及び第４の値も距離センサのプロセッサからアクセス可能なメモリに保存されていてよい。プロセッサはまた、３次元座標系を任意の位置に移動可能であってよい。

別の種類の距離センサは、２次元撮像センサ及び３次元撮像センサの両方を含む単一且つ一体化された受光システムを含んでいてよい。この場合、距離センサは外部搭載機構を含んでいてよく、３次元撮像センサに関連付けられた３次元座標系と、２次元撮像センサに関連付けられた２次元座標系の両方に相対的な外部搭載機構の位置が決定及び管理される。

図１は、本開示による、２次元撮像センサ及び３次元撮像センサを含む例示的な距離センサ１００の異なる座標系同士の関係を示す模式図である。距離センサ１００のいくつかの要素は、米国特許出願第１４／９２０，２４６号、第１５／１４９，３２３号、及び第１５／１４９，４２９号に記述されている距離センサと同様の仕方で構成されていてよい。

例えば、距離センサ１００は、図示するように、光投影システム１０２、受光システム１０４、及びプロセッサ１０６を含んでいてよい。光投影システム１０４は、パターン１０８を表面又は物体１１０に投影すべく構成されていて、パターン１０８は複数の光点を含んでいる。複数の光点は、図１に示すように格子状に構成（例：複数の行及び複数の列に構成）されていてよい。格子の行及び列は、共線的に整合していても、又は互い違いに配置されていてもよい。当該複数の光点は肉眼で見えなくても、距離センサ１００の撮像センサが認識できる場合がある（以下でより詳細に述べる）。

従って、３次元パターン１０８の複数の点が、第１の軸１１２及び第１の軸１１２と直交する第２の軸１１４により定義される第１の座標系内に配置されていてよい。第１の座標系は距離センサ１００の３次元「マップ」座標系を含んでいてよい。第１の座標系は、第１の軸１１２と第２の軸１１４が交差する箇所で定義されるデータ点１１６を含んでいてよい。

この目的のため、光投影システム１０２は、肉眼には実質的に見えない波長（例：赤外線波長）の光ビームを投影可能な１個以上のレーザー光源を含んでいてよい。光投影システム１０４はまた、光ビームを追加的な光ビームに分割する１個以上の回折光学素子を含んでいてよい。各々の光ビームが表面又は物体１１０に入射したならば、表面又は物体１１０の上にパターン１０８の点が生成される。

受光システム１０４は、画像を撮像するための撮像センサ１１８（本明細書ではより広義に「カメラ」とも称する）を含んでいてよい。撮像センサ１１８は、相補型金属酸化物半導体（ＣＭＯＳ）センサであってもよい。画像は、表面又は物体１１０の２次元画像と共に、表面又は物体１１０上の３次元パターン１０８の画像を含んでいてよい。従って、一例において、受光システム１０４が２次元画像及び３次元パターン１０８の画像の両方を撮像すべく単一の撮像センサを含んでいる場合、受光システム１０４は帯域通過フィルタをも含んでいてよい。このケースでは２次元画像（同一光源、例えばパターン１０８の生成に用いる赤外光源による照明を用いて得られる）を撮像する際に周囲光を除去するために帯域通過フィルタが必要な場合がある。

表面又は物体１１０の２次元画像及び３次元パターン１０８の画像が同一撮像センサにより取得される例において、第１の軸１１２、第２の軸１１４、及びデータ点１１６に関連付けられた第１の座標系を用いて画像内の位置同士の自動的な対応が得られる場合がある。例えば、３次元パターン１０８内の点１２０は、データ点１１６を含む第１の座標系内の位置（ｘ_ａ，ｙ_ａ，ｚ_ａ）を有していてよい。しかし、撮像センサ１１８の第２の２次元座標系において、点１２０は位置（ｓｘ_ａ１，ｓｙ_ａ１）を有していてよい。第１の座標系と第２の座標系の（矢印１２２により示す）固定された位置関係は、第１の座標系のデータ点１１６と距離センサ１００上の基準点１２４（例：機械基準点）の関係として定義されていてよい。

プロセッサ１０６は、光投影システム１０２を制御して３次元パターン１０８を投影すると共に画像取得のために表面又は物体１１０を照射すべく構成されていてよい。プロセッサ１０６はまた、受光システム１０４を制御して表面又は物体１１０の２次元画像及び３次元パターン１０８の画像を取得することができる。プロセッサ１０６はまた、表面又は物体１１０の２次元画像を３次元パターン１０８の画像と整合させる動作を実行することができる。

図２に、例示的な２次元座標系と例示的な３次元基準位置の関係をより詳細に示す。図２に示すように、２次元画像座標系のデータ点２００は、受光システムのカメラのレンズ２０２の前節点に固定されていてよい。機械基準点２０４の２次元画像位置は、図示するように、データ点２００に相対的に測定することができる。

図２にはまた、矢印２０６で示すように受光システムの光軸が角度θだけ傾いている場合の効果を示す。表面２０８は、垂直（例：９０度の角度）に向けられた光軸に対応するのに対し、表面２０８’は角度θだけ回転した光軸に対応している。

２次元座標系内の方向角（例：ｚ軸の傾き及び／又はｚ軸回りの視野の回転）は（例えば較正その他の手段により）２次元座標系内で既知の場合がある。

更に、２次元座標系と２次元カメラの筐体の機械的位置関係が何らかの値に固定されている。従って、２次元座標系に相対的に筐体を位置調整して距離センサに固定する外部搭載機構の位置は固定されている。２次元座標系に相対的な方向角及び２次元座標系に相対的な筐体の位置は、距離センサのプロセッサによりアクセス可能なメモリに保存されていてよい。

図３に、３次元座標系を２次元カメラの前節点に移動させる概念を示す。図３の例３００は、（ビーム３０４を含む）複数の光ビームを投影する光投影システム３０２、及び（光投影システム３０２により投影される肉眼では見えない３次元パターンの画像を取得する）別個の３次元カメラ３０６及び（３次元パターンが投影される表面３１０の２次元画像を取得する）２次元カメラ３０８を含む受光システムを含んでいる。

３次元カメラ３０６の座標系はデータ点３１２を含んでいる一方、２次元カメラ３０８の座標系は（２次元カメラ３０８のレンズの前節点でもある）データ点３１４を含んでいる。

３次元カメラ３０６の座標系は３次元カメラの撮像センサに対して固定されていてよい。３次元カメラ３０６の座標系は、（１）距離センサ３００に対する物体位置と（２）３次元カメラ３０６により撮像された３次元画像内の点の位置との関係を保存する較正処理により決定することができる。

２次元カメラ３０８の座標系は以下のように定義できる。ｚ軸は、２次元カメラの撮像センサの中心を通り、２次元カメラ３０８により撮像された２次元画像の対応する点も通る線として定義されてよい。ｘ及びｙ軸は、２次元カメラの撮像センサの画素配列方向に沿って定義されてよい。

ビーム３０４により表面３１０に生成された点３１６の（ｘ，ｙ）及び（ｚ）座標を３次元座標系に示す一方、ビーム３０４により表面３１０に生成された点３１６の対応する（ｘ_ｃ，ｙ_ｃ）及び（ｚ_ｃ）座標を２次元座標系に示している。

２次元カメラ３０８の撮像センサ上の点３１６の位置（ｐ_ｘ，ｐ_ｙ）は一例において、次式のように計算できる。

ここにｆ_ｃは２次元カメラ３０８の焦点距離（すなわち、レンズと撮像センサの距離）、及び（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）は３次元カメラ３０６に関連付けられた３次元座標系内の点３１６の位置である（原点は２次元カメラ３０８の入射点３１４に移動している）。矢印３１８は、３次元座標系と２次元座標系の間の座標移動を示す。

換言すれば、次式が成り立つ。

及び

従って、３次元カメラ３０６により撮像された各３次元画像又は「マップ」は、２次元画像上の点（ｐ_ｘ，ｐ_ｙ）及び深さｚ_ｃを有する点として扱うことができる。

一例において、座標系基準位置の（例えば３次元座標系のデータ点３１２から２次元座標系のデータ点３１４への）移動が以下の並進に対応して得られる。

ここに、（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ）は座標系基準位置を並進させるのに必要な移動量である。

座標系移動の回転成分を次式のように定義できる。

ここに、（ｘ，ｙ，ｚ）はｘ軸回りに角度α回転した結果（ｘ，ｙ’，ｚ’）となり、（ｘ’，ｙ’，ｚ’）はｙ軸回りに角度β回転した結果（ｘ’ｙ’，Ｚ）となり、（ｘ’，ｙ’，Ｚ）はＺ軸回りに角度γ回転した結果（Ｘ，Ｙ，Ｚ）となる。

図３の右側に、２次元カメラ３０８及び３次元カメラ３０６の機械基準点３２２、３２４も各々示している。機械基準点３２２、３２４は、２次元座標系及び３次元座標系において既知の位置に固定されている。例えば、データ点３１４と基準点３２０の（２次元座標系のｙ軸に沿った）距離ｄ_１及びデータ点３１４と基準点３２０の間の（２次元座標系のｘ軸に沿った）距離ｄ_２は固定されている。同様に、データ点３１２と基準点３２２の間の（３次元座標系のｙ軸に沿った）距離ｄ_３及びデータ点３１４と基準点３２０の間の（３次元座標系のｘ軸に沿った）距離ｄ_４は固定されている。２次元カメラ３０４と３次元カメラ３０６を機械的に決定される方式で固定することにより、２次元カメラ３０４により撮像された２次元画像と３次元カメラ３０６により撮像された画像の３次元座標系の位置関係を、図７を参照しながたより詳細に述べるように決定することができる。換言すれば、２次元カメラ３０８が、データ点３１４に関して決定された位置に機械基準点３２０を有する場合、２次元座標系の３次元座標系の位置関係は３次元カメラ３０６と２次元カメラ３０８の機械的搭載により決定することができる。

２次元カメラ３０８の光軸はレンズの組み立て精度に起因して変化し得るため、一例において、機械基準点３２０に関して２次元カメラ３０８の較正を実行してよい。

基準点３２０に相対的な２次元座標系の位置は２次元カメラ３０４のレンズの入射点の変化に起因して（例えばレンズの焦点合わせ又はズーミングに起因して）変化し得ることに注意されたい。一例において、距離センサのプロセッサは、入射点がいつ変化したかを検知して、入射点の変化を考慮しながら３次元座標系を２次元の座標に整合させることが可能である。例えば、プロセッサは、入射点の変化に起因する２次元カメラ３０４の仕様の変更（例：拡大、歪曲等）を反映する値を計算して保存することができる。

更に、上述のように、３次元カメラ３０６の座標系を、（１）距離センサ３００に対する物体位置と、（２）３次元カメラ３０６により撮像された３次元画像内の点の位置の関係を保存する較正処理により決定することができる。従って、原理的には、距離センサ３００の機械基準点と３次元カメラ３０６の座標系は対応関係を有している。しかし、この対応関係を利用するには、３次元カメラ３０６が距離センサ３００に搭載された際に機械的基準と位置調整手段が合致する必要がある。

較正処理の一例において、基準点Ｏ_ｃ（例：データ点３１２等の座標系データ点）に相対的な物体の位置を既知の位置（例：ｚ_１，ｚ_２，．．．，ｚ_ｎ）に設定してよい。３次元座標系内の点ａの位置は従って、例えば図１に示すように（ｘ_ａ，ｙ_ａ，ｚ_ａ）として定義できる。２次元カメラの撮像センサ上の点の撮像された画像の座標も図１に示すように（ｓｘ_ａ１，ｓｙ_ａ１）として定義できる。物体の位置がｚ_２，．．．，ｚ_ｎであり、且つ２次元カメラの撮像センサ上の物体の撮像された画像の座標が（ｓｘ_ａ２，ｓｙ_ａ２），．．．，（ｓｘ_ａｎ，ｓｙ_ａｎ）であるならば、較正処理はｚ_１，ｚ_２，．．．，ｚ_ｎと（ｓｘ_ａ１，ｓｙ_ａ１），（ｓｘ_ａ２，ｓｙ_ａ２），．．．，（ｓｘ_ａｎ，ｓｙ_ａｎ）の関係をマッピングすることができる。

図４に、自身の受光システムが２次元カメラ４０４と一体化された３次元カメラ４１６を含む距離センサ４００の座標系の移動を示す。この場合、距離センサ４００は、光投影システム４０２、２次元カメラ４０４、及び３次元カメラ４１６を含んでいてよい。距離センサ４００は、追加的な要素、例えばプロセッサ、メモリその他の要素を含んでいてよいが、これらは簡潔のため図示を省略している。光投影システム４０２は、３次元パターン４０６を表面又は物体４０８に投影すべく構成されており、パターン４０６は上述のように格子状に配置された複数の光点を含んでいる。３次元パターン４０６の複数の点は、第１の軸４１２及び第１の軸４１２と直交する第２の軸４１４により定義される座標系に配置されていてよい。第１の軸４１２と第２の軸４１４が交差する箇所でデータ点４１０が定義されてよい。

受光システムは、２次元画像を撮像する２次元カメラ４０４及び３次元パターン４０６の画像を撮像する３次元カメラ４１６を含んでいる。２次元カメラ４０４及び３次元カメラ４１６は（例えば３次元撮像センサを含む２次元カメラとして）一体化されていてよい。この場合、データ点４１０に関連付けられた３次元座標系と、受光システムの機械基部の機械基準点４１８との（矢印４２２により示す）位置関係は既知である。（２次元座標系のデータ点としての役割も果たす）２次元カメラ４０４の前節点４２０と機械基準点４１８との（矢印４２４により示す）位置関係も既知である。データ点４１０に関連付けられた３次元座標系からデータ点４２０に関連付けられた２次元座標系への移動を矢印４２６により示す。

図５に、自身の受光システムが別個の（一体化されていない）３次元カメラ５１６及び２次元カメラ５０４を含む距離センサ５００の座標系の移動を示す。図５の距離センサ５００は、図４に示す距離センサと同様であるが、図５において（光投影システム５０２により投影された）３次元パターン５０６の画像を撮像する３次元カメラ５１６が、表面又は物体５０８の２次元画像を組み立て後に撮像する（すなわち３次元カメラ５１６と２次元カメラ５０４は一体化されていない）２次元カメラ５０４に取り付けられている点が異なる。この場合、（座標軸５１２と５１４が交差する箇所で定義されるデータ点５１０を有する）３次元カメラ５１６の３次元座標系は、３次元カメラ５１６の機械基準点に相対的な既知の固定された位置を有している。（座標軸５２２と５２４が交差する箇所で定義されるデータ点５２０を有する）２次元カメラ５０４の２次元座標系もまた、２次元カメラ５０４の機械基準点に相対的な既知の固定された位置を有している。

従って、３次元カメラ５１６の機械基準点が２次元カメラ５０４の機械基準点に相対的な既知の位置を有するように３次元カメラ５１６を搭載することにより、３次元座標系と２次元座標系との位置関係を知ることができ、移動処理により座標系を合致させることができる。（複数の機械基準点を有する）複数の３次元カメラが２次元カメラ５０４に対して搭載されている場合に同じ原理が当てはまる。

従って、２次元画像を撮像する２次元カメラの能力と３次元画像を撮像する３次元カメラの能力を一体化する多くの可能な構成がある。例えば、１個の３次元カメラ及び別個の２次元カメラを上述のように単一装置に一体化することができる。別の例において、別個の３次元撮像センサもまた、上述のように１個の２次元カメラに搭載することができる。更に別の例において、３次元カメラを用いて２次元画像と３次元画像の両方を撮像することができる。

赤外線照射の検知により機能する３次元カメラは、赤外線照射の検知を支援すべく帯域通過フィルタを含んでいてよい。しかし、３次元カメラを用いて３次元画像と共に２次元画像を撮像する場合、帯域通過フィルタを省いてもよい。この場合、３次元カメラは、比較的光が弱い条件下で２次元画像を撮像する可能性がある。しかし、２次元画像と３次元画像は異なる撮像センサ及び異なる光学系により撮像されるため、２次元座標系と３次元座標系との視差の修正が必要になる。

図６に、複数の３次元カメラ６０２_１～６０２_ｍ（以下で個別に「カメラ６０２」と称する、又は集合的に「カメラ群６０２」と称する）を含む例示的なシステム６００を示す。各３次元カメラ６０２は、光点のパターンを投影する各々の光投影システム６０４_１～６０４_ｍ（以下で個別に「光投影システム６０４」と称する、又は集合的に「光投影システム群６０４」と称する）、及び投影されたパターンの画像を撮像する各々の撮像センサ６０６_１～６０６_ｍ（以下で個別に「撮像センサ６０６」と称する、又は集合的に「撮像センサ群６０６」と称する）を含んでいる。複数の３次元カメラを用いることにより、距離検知システムの範囲を広げると共に検知能力を向上させることが可能になる。

各距離センサ６０２は、各々の３次元座標系６０８_１～６０８_ｍ（以下で個別に「座標系６０８」と称する、又は集合的に「座標系群６０８」と称する）に関連付けられている。しかし、座標系群６０８を整合させる対象である主座標系を原点６１０が定義する。

（整合目的で基準点としての役割を果たす）原点６１０に対する３次元カメラ６０２の搭載位置が既知ならば、座標系群６０８同士の位置関係を自動的に導くことができる。従って、座標系群６０８を互いに合致させることができる。

図７は、３次元カメラの座標系を２次元カメラの入射点に移動させる例示的な方法７００を示すフロー図である。方法７００は例えば、距離センサ（例：図１のプロセッサ１０６）の処理システム等、少なくとも１個のプロセッサを含む処理システムにより実行されてよい。代替的に、方法７００は、図８に示すと共に以下に詳述するコンピューティング装置８００等のコンピューティング装置の処理システムにより実行されてよい。例えば、方法７００は処理システムにより実行されるものとして説明する。

方法７００はステップ７０２から開始されてよい。ステップ７０４において、距離センサの処理システムは、３次元カメラに関連付けられた３次元座標系及び当該３次元カメラに関連付けられた第１の基準点を取得することができる。３次元カメラは、３次元パターンを物体に投影する光投影システムを含む距離センサ、及び３次元カメラにより撮像された画像内の３次元パターンの見え方に基づいて物体との距離を計算するプロセッサの一部であってよい。従って、３次元座標系は（ｘ，ｙ，ｚ）座標系を含んでいてよい。

上述のように、第１の基準点は、３次元座標系のデータ点（又は原点）に相対的な固定位置を有していてよい。一例において、第１の基準点は、例えば３次元カメラの筐体に、３次元座標系のデータ点に相対的な位置が較正処理を介して固定されている既知の機械基準点を含んでいてよい。例えば、機械基準点は３次元カメラの搭載点を含んでいてよい。第１の基準点の位置は、処理システムからアクセス可能なメモリに保存されていてよい。

ステップ７０６において、処理システムは、２次元カメラ（例：ＲＧＢカメラ）に関連付けられた２次元座標系及び当該２次元カメラに関連付けられた第２の基準点を取得することができる。２次元カメラは３次元カメラと同一の距離センサの一部であってよい。２次元カメラは、３次元パターンが投影された物体（すなわち、２次元画像では３次元パターンが見えない箇所）の２次元画像を撮像することができる。従って、２次元座標系は（ｘ，ｙ）座標系を含んでいてよい。一例において、３次元カメラ及び２次元カメラは、（例えば図４に示すような）単一の一体化された装置として製造されていてよい。別の例において、３次元カメラと２次元カメラは別々に製造されて、（例えば図５に示すように）製造後に相互に搭載されてもよい。

上述のように、第２の基準点は、２次元座標系のデータ点（又は原点）に相対的に固定された位置を有していてよい。一例において、第２の基準点は２次元カメラのレンズの前節点（又は入射点）を含んでいてよい。別の例において、第２の基準点は、２次元座標系の原点に相対的な位置が固定されていて既知である２次元カメラ（例：搭載点）上に他の何らかの機械基準点を含んでいてよい。第２の基準点の位置は処理システムからアクセス可能なメモリに保存されていてよい。

ステップ７０８において、処理システムは、第１の基準点と第２の基準点との固定された既知の位置関係に基づいて、３次元座標系を２次元座標系に整合させて３次元座標系と２次元座標系との固定された位置関係を取得することができる。上述のように、第１の基準点と第２の基準点の両方が、３次元座標系と２次元座標系の各々のデータ点に相対的な固定された位置を有していてよい。また、第１の基準点と第２の基準点は互いに相対的な何らかの固定された位置関係を有していてよい。固定された位置関係は処理システムからアクセス可能なメモリに保存されていてよい。

このように、処理システムは、第１の基準点と第２の基準点との固定された位置関係の知識、及び３次元座標系の第１の基準点とデータ点との、及び２次元座標系の第２の基準点とデータ点との、各々の固定された位置関係の知識に基づいて、３次元座標系と２次元座標系の各々のデータ点を整合させることが可能になる。各々のデータ点の整合は従って３次元座標系と２次元座標系を整合させ、処理システムは３次元座標系と２次元座標系との固定された位置関係を取得することができる。

ステップ７１０において、処理システムは、ステップ７０８で得られた３次元座標系と２次元座標系との固定された位置関係を用いて３次元座標系を２次元座標系のデータ点に移動させることができる。一例において、移動は、３次元座標系内の（例えば位置（ｘ，ｙ，ｚ）を有する）点をある深さ（例：ｚ）を有する２次元カメラの撮像センサの（例えば位置（ｐ_ｘ，ｐ_ｙ）を有する）点に移動させるのに必要な移動量の並進及び回転成分を計算するステップを含んでいてよい。３次元座標系内の当該点の新たな位置が移動されたならば、（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）と称する場合がある。上述の式４～５及び図３に、３次元座標系を２次元座標系のデータ点に移動させる処理の一例を説明している。

方法７００はステップ７１２で終了してよい。

明示的に指定していないが、上述の方法７００のブロック、機能、又は動作の一部は、特定のアプリケーション向けに保存、表示、及び／又は出力するするステップを含み得ることに注意されたい。換言すれば、方法７００で説明した任意のデータ、レコード、フィールド、及び／又は中間結果は特定のアプリケーションに応じて保存、表示。及び／又は別の装置へ出力されてよい。更に、判定動作を指定する、又は決定に関わる図７のブロック、機能、又は動作が、判定動作の両方の分岐を実行することを意味しない。換言すれば、判定動作の結果に応じて判定動作の分岐の一方が実行されない場合がある。

図８に、３次元カメラの座標系を２次元カメラの入射点に移動させるための例示的な電子機器８００の高水準ブロック図を示す。このように、電子機器８００は、距離センサ（例：図１のプロセッサ１０６）のような電子機器又はシステムのプロセッサとして実装することができる。

図８に示すように、電子機器８００は、ハードウェアプロセッサ要素８０２、例えば、中央処理装置（ＣＰＵ）、マイクロプロセッサ、又は例えばマルチコアプロセッサ、メモリ８０４、例えばランダムアクセスメモリ（ＲＡＭ）及び／又は読み出し専用メモリ（ＲＯＭ）、３次元カメラの座標系を２次元カメラの入射点に移動させるモジュール８０５、及び各種の入出力機器８０６、例えば記憶装置、テープドライブ、フロッピー（登録商標）ドライブ、ハードディスクドライブ又はコンパクトディスクドライブ、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びキーボード、キーパッド、マウス、マイクロホン、カメラ、レーザー光源、ＬＥＤ光源等のユーザー入力機器を含んでいる。

１個のプロセッサ要素を示しているが、電子機器８００は複数のプロセッサ要素を使用してよいことに注意されたい。更に、同図には１個の電子機器８００を示しているが、上述のような方法（群）が特定の説明的例として分散的又は並列に実装されている、すなわち、上述の方法（群）のブロック又は方法（群）全体が複数又は並列の電子機器にまたがって実装されている場合、同図の電子機器８００はこれら複数の電子機器の各々を表すものとする。

本開示が機械可読命令及び／又は、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）を含むプログラム可能論理アレイ（ＰＬＡ）を用いる機械可読命令とハードウェアの組み合わせにより実装できること、又は、ハードウェア装置に搭載された状態機械、汎用コンピュータ又は他の任意のハードウェア等価物、例えば上述の方法（群）に関連する計算機可読命令を用いて開示した上述の方法（群）のブロック、機能及び／又は動作を実行させるべくハードウェアプロセッサを構成できることに注意されたい。

一例において、３次元カメラの座標系を２次元カメラの入射点に移動させる現モジュール又は処理８０５用の命令及びデータ、例えば機械可読命令を、メモリ８０４にロードしてハードウェアプロセッサ要素８０２により実行して、方法７００と関連して上で述べたようにブロック、機能又は動作を実現することができる。更に、ハードウェアプロセッサが「動作」を行うべく命令を実行する場合、これはハードウェアプロセッサが当該動作を直接実行する、及び／又は別のハードウェア装置又は要素、例えばコプロセッサ等に当該動作の実行を促進、指示するか、又はこれらと協働することを含んでいてよい。

上述の方法（群）に関する機械可読命令を実行するプロセッサは、プログラミングされたプロセッサ又は専用プロセッサとみなすことができる。このように、本開示の３次元カメラの座標系を２次元カメラの入射点に移動させる現モジュール８０５は、有形すなわち物理的（広義には非一時的）コンピュータ可読記憶装置又は媒体、例えば揮発性メモリ、不揮発メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気又は光学ドライブ、機器又はディスケット等に保存することができる。より具体的には、コンピュータ可読記憶装置は、安全センサシステムのコンピュータ又はコントローラ等のプロセッサ又は電子機器からアクセスされるデータ及び／又は命令等の情報を保存する能力を提供する任意の物理的機器を含んでいてよい。

一例において、本開示は、上述のようにカメラの各座標系を整合させるように接続される形状の３次元カメラ及び２次元カメラの新規な物理的構造を提供する。

図９Ａ～９Ｃに、本開示の複数の態様による３次元カメラ９００を各種の表示方式で示す。特に、図９Ａは３次元カメラ９００の上部の等角図、図９Ｂは３次元カメラ９００の側面図、図９Ｃは３次元カメラ９００の底面の等角図を示す。

図示するように、３次元カメラ９００は、複数の光ビームを投影する光学部品９０２を含む光投影システム、及び複数の光ビームにより形成されたパターンの画像を撮像するカメラレンズ９０４を含む受光システムを全般的に含んでいる。光投影システム及び受光システムは共通の筐体９０６内に収納されている。

図９Ｂに示すように、３次元カメラのデータ点９０８が、受光システムの基部で筐体９０６の外部に画定されている。データ点９０８は３次元座標系（例：（ｘ，ｙ，ｚ））の原点を表す。

図９Ｃに示すように、筐体９０６の底部外面（又は平面）９１４は更に、（図１０に関してより詳細に述べる）適切に構成された２次元カメラへの接続を容易にする位置調整システムを含んでいる。一例において、位置調整システムはピン９１０及びボア孔９１２を含んでいる。ピン９１０は筐体９０６の底部外面９１４から外向きに伸長している。ボア孔９１２は筐体９０６の底部外面９１４に開口部を画定している。

３次元カメラ９００の位置調整システムは、３次元カメラ９００を較正する際の基準点としての役割を果たすことができる。特に、データ点９０８は図９Ｂに示すようにボア孔９１２と整合していてよい。

図１０に、図９Ａ～９Ｃの３次元カメラ９００に接続されるべく設計された構造を有する２次元カメラ１０００の上部の等角図を示す。図示するように、２次元カメラ１０００は、物体の画像を撮像するカメラレンズ１００２を含む受光システムを有している。受光システムは筐体１００４内に収納されている。

筐体１００４は、基部部１００６及び当該基部部に相対的に持ち上げられた隆起部分１００８を含んでいる。隆起部分１００８は、レンズ１００２を含むカメラ用の回路及び光学部品を含んでいる。基部部１００６は、（図９の３次元カメラ９００のような）適切に構成された３次元カメラへの接続を容易にする位置調整システムを含む平坦面１０１０を含んでいる。一例において、位置調整システムはピン１０１２及びボア孔１０１４を含んでいる。ピン１０１２は、基部部１００６の平坦面１０１０から外向きに伸長している。ボア孔１０１４は、基部部１００６の平坦面１０１０に開口部を画定している。

２次元カメラ１０００のデータ点１０１６がピン１０１２の基部に画定されている。従って、２次元カメラ１０００の位置調整システムを２次元カメラの光学仕様と比較することができる。

上述のように、３次元カメラ９００及び２次元カメラ１０００の構造により、３次元カメラ９００と２次元カメラ１０００を接続して単一の装置を形成することができる。具体的には、各々の位置調整システムが互いに係合するように３次元カメラ９００を２次元カメラ９００と整列させることにより、３次元カメラの筐体９０６のピン９１０を２次元カメラの筐体１００４のボア孔１０１４に挿入し、２次元カメラの筐体１００４のピン１０１２を３次元カメラの筐体９０６のボア孔９１２に挿入することができる。

従って、３次元カメラ９００の（ピン９１０及びボア孔９１２を含む）位置調整システムは、３次元座標系のデータ点９０８の位置を機械的に調整する。３次元測定データは、この位置調整の幾何学的形状により定義された３次元座標系に追随する。同様に、２次元カメラ１０００の（ピン１０１２及びボア孔１０１４を含む）位置調整システムは、２次元カメラの（レンズ１００２を含む）光学系との既知の（又は容易に測定される）位置関係に固定される。接続された３次元カメラ９００と２次元カメラ１０００の配置により、３次元座標系を任意の位置に移動させることができる。

従来の２次元カメラでは、撮像画像は（レンズ、撮像センサ、及び他の構成要素の位置関係の変動、レンズ異常等を含む各種の要因により）２次元カメラの機械的位置に対して変動し得る。しかし、上述の仕方で３次元カメラ９００と２次元カメラ１０００を接続することにより得られる構造は、２次元カメラ１０００のレンズ変動を測定する従来の方法を採用することのよりカメラレンズの変動を補償することができる。

上で開示した、及びその他の、特徴及び機能、又はその代替方式を組み合わせて他の多くの異なるシステム又はアプリケーションを得ることができる。現時点で予測または想定されない各種の代替方式、変更、又は変形が後日なされたとしても、これらは以下の請求項に含まれるものとする。

Claims (20)

1. 少なくとも１個のプロセッサを含む処理システムにより、３次元カメラに関連付けられた３次元座標系及び前記３次元カメラに関連付けられた第１の基準点を取得するステップと、
   前記処理システムにより、２次元カメラに関連付けられた２次元座標系及び前記２次元カメラに関連付けられた第２の基準点を取得するステップと、
   前記処理システムにより、前記第１の基準点と前記第２の基準点との固定された既知の位置関係に基づいて、前記３次元座標系を前記２次元座標系に整合させて、前記３次元座標系と前記２次元座標系との固定された位置関係を取得するステップと、
   前記処理システムにより、前記３次元座標系と前記２次元座標系との固定された位置関係を用いて、前記３次元座標系を前記２次元座標系のデータ点に移動させるステップと、
   を含むことを特徴とする方法。
2. 前記処理システム、前記３次元カメラ、及び前記２次元カメラが距離センサの一部である、
   ことを特徴とする請求項１に記載の方法。
3. 前記距離センサが更に、前記第１の基準点、前記第２の基準点、及び前記３次元座標系と前記２次元座標系との固定された位置関係を保存するメモリを含んでいる、
   ことを特徴とする請求項２に記載の方法。
4. 前記第１の基準点が前記３次元カメラの筐体上の機械基準点を含んでいる、
   ことを特徴とする請求項１に記載の方法。
5. 前記第２の基準点が前記２次元カメラのレンズの前節点を含んでいる、
   ことを特徴とする請求項１に記載の方法。
6. 前記第１の基準点が前記３次元座標系の原点を含み、前記第２の基準点が前記２次元の基準点の起点を含んでいる、
   ことを特徴とする請求項１に記載の方法。
7. 前記３次元カメラと前記２次元カメラが単一のシステムとして一体化されている、
   ことを特徴とする請求項１に記載の方法。
8. 前記３次元カメラと前記２次元カメラが別個の一体化されていないシステムを含んでいる、
   ことを特徴とする請求項１に記載の方法。
9. 前記３次元座標系が、前記３次元カメラに関する物体位置と、前記３次元カメラにより撮像された３次元画像内の点の位置との関係を保存する較正処理により決定される、
   ことを特徴とする請求項１に記載の方法。
10. 前記２次元座標系のｚ軸が、前記２次元カメラの撮像センサの中心を通り、前記２次元カメラにより撮像された２次元画像の対応する点も通る線として定義される、
    ことを特徴とする請求項１に記載の方法。
11. 前記２次元座標系のｘ軸及びｙ軸は、前記２次元カメラの撮像センサの画素配列方向に沿って定義される、
    ことを特徴とする請求項１０に記載の方法。
12. 前記移動させるステップが、
    前記処理システムにより、前記３次元座標系内の点（ｘ，ｙ，ｚ）をある深さを有する２次元カメラの撮像センサの位置（ｐ_ｘ，ｐ_ｙ）に移動させるのに必要な移動量の並進成分及び回転成分を計算するステップを含んでいる、
    ことを特徴とする請求項１に記載の方法。
13. ｐ_ｘがＴａｎ^－１（ｘ_ｃ／ｚ_ｃ）ｆ_ｃとして計算され、ｐ_ｙがＴａｎ^－１（ｙ_ｃ／ｚ_ｃ）ｆ_ｃとして計算され、（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）は前記３次元座標系内の点（ｘ，ｙ，ｚ）が前記２次元座標系に移動された場合の位置であり、ｆ_ｃは前記２次元カメラの焦点距離である、
    ことを特徴とする請求項１２に記載の方法。
14. 前記整合させるステップが、前記３次元カメラの筐体上の位置調整システムが前記２次元カメラの筐体上の位置調整システムと係合するように前記３次元カメラの位置調整を行うステップを含んでいる、
    ことを特徴とする請求項１に記載の方法。
15. 少なくとも１個のプロセッサを含む処理システムにより実行可能な命令が符号化されている非一時的機械可読記憶媒体であって、前記命令が前記処理システムにより実行されたならば、前記処理システムに、
    ３次元カメラに関連付けられた３次元座標系及び前記３次元カメラに関連付けられた第１の基準点を取得するステップと、
    ２次元カメラに関連付けられた２次元座標系及び前記２次元カメラに関連付けられた第２の基準点を取得するステップと、
    前記第１の基準点と前記第２の基準点との固定された既知の位置関係に基づいて、前記３次元座標系を前記２次元座標系に整合させて、前記３次元座標系と前記２次元座標系との固定された位置関係を取得するステップと、
    前記３次元座標系と前記２次元座標系との固定された位置関係を用いて、前記３次元座標系を前記２次元座標系のデータ点に移動させるステップと、
    を含む動作を実行させる、
    ことを特徴とする媒体。
16. 少なくとも１個のプロセッサを含む処理システムと、
    前記処理システムにより実行可能な命令が符号化されている非一時的機械可読記憶媒体であって、前記命令が実行されたならば、前記処理システムに、
    ３次元カメラに関連付けられた３次元座標系及び前記３次元カメラに関連付けられた第１の基準点を取得するステップと、
    ２次元カメラに関連付けられた２次元座標系及び前記２次元カメラに関連付けられた第２の基準点を取得するステップと、
    前記第１の基準点と前記第２の基準点との固定された既知の位置関係に基づいて、前記３次元座標系を前記２次元座標系に整合させて、前記３次元座標系と前記２次元座標系との固定された位置関係を取得するステップと、
    前記３次元座標系と前記２次元座標系との固定された位置関係を用いて、前記３次元座標系を前記２次元座標系のデータ点に移動させるステップと、
    を含む動作を実行させる媒体を含む、
    ことを特徴とする距離センサ。
17. 前記整合させるステップが、前記３次元カメラの筐体上の位置調整システムが前記２次元カメラの筐体上の位置調整システムと係合するように前記３次元カメラの位置調整を行うステップを含んでいる、
    ことを特徴とする請求項１６に記載の距離センサ。
18. 前記位置調整を行うステップが、
    前記３次元カメラの筐体上の位置調整システムのピンを前記２次元カメラの筐体上の位置調整システムのボア孔に挿入するステップと、
    前記２次元カメラの筐体上の位置調整システムのピンを前記３次元カメラの筐体上の位置調整システムのボア孔に挿入するステップと、
    を含んでいることを特徴とする請求項１７に記載の距離センサ。
19. 前記第１の基準点が前記３次元カメラの筐体上の位置調整システムの前記ボア孔の近傍に位置する、
    ことを特徴とする請求項１８に記載の距離センサ。
20. 前記第２の基準点が前記２次元カメラの筐体上の位置調整システムのピンの近傍に位置する、
    ことを特徴とする請求項１９に記載の距離センサ。

Images