JP6821714B2 - 改良されたカメラ較正システム、標的、およびプロセス - Google Patents

改良されたカメラ較正システム、標的、およびプロセス Download PDF

Info

Publication number
JP6821714B2
JP6821714B2 JP2018567814A JP2018567814A JP6821714B2 JP 6821714 B2 JP6821714 B2 JP 6821714B2 JP 2018567814 A JP2018567814 A JP 2018567814A JP 2018567814 A JP2018567814 A JP 2018567814A JP 6821714 B2 JP6821714 B2 JP 6821714B2
Authority
JP
Japan
Prior art keywords
camera
target
cameras
movable platform
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018567814A
Other languages
English (en)
Other versions
JP2019530261A (ja
JP2019530261A5 (ja
Inventor
ジェフリー スティーブン クランスキー，
ジェフリー スティーブン クランスキー，
フレデリック デニス ジーダ，
フレデリック デニス ジーダ，
グレイス ベソム，
グレイス ベソム，
グレイス シン−イー ツァイ，
グレイス シン−イー ツァイ，
ジェレミー エー． グラータ，
ジェレミー エー． グラータ，
ジヘン ジア，
ジヘン ジア，
リ ジアン，
リ ジアン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019530261A publication Critical patent/JP2019530261A/ja
Publication of JP2019530261A5 publication Critical patent/JP2019530261A5/ja
Application granted granted Critical
Publication of JP6821714B2 publication Critical patent/JP6821714B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
    • B65G15/28—Conveyors with a load-conveying surface formed by a single flat belt, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Description

本願は、概して、１人以上のユーザのための双方向の仮想現実および拡張現実を促進するための、カメラ較正のためのシステムおよび方法に関する。
カメラは、多くの場合、画像またはビデオを捕捉するために採用される。カメラによって捕捉されたデータは、種々の異なる目的および状況において使用される。例えば、ウェアラブルデバイスは、１つ以上のオンボードカメラを含み、そのウェアラブルデバイスのユーザの周囲の囲繞環境に関する画像データを提供してもよい。１つの実施例は、ユーザへの立体的なディスプレイを通した拡張現実の提示のための画像を捕捉するように構成される、２つの前方向きに配向されたカメラを特徴とする、立体視的なウェアラブルグラスである。ウェアラブルグラスはまた、ユーザの目線の画像を捕捉するために後方向きに配向されたカメラを含んでもよい。
カメラ較正は、多くの場合、カメラおよびカメラによって捕捉された画像データから抽出される情報の精度および正確度を確実にするために実施される。カメラ較正プロセスは、内的パラメータおよび外的パラメータ等のカメラの較正データの判定を可能にする、画像を産出するカメラデバイスの真のパラメータを判定する。内的パラメータは、限定ではないが、焦点、焦点距離、主点、および変形係数を含む。外的パラメータは、限定ではないが、複数のカメラ間の位置関係、およびセンサ間の並進オフセットおよび回転オフセットを含む。
従来、カメラ較正プロセスは、手動で、単一のチェッカーボード標的を移動して、一連の多数の異なるポーズを通して実施される。各ポーズにおいて、チェッカーボード標的は、完全に静止した状態に保持される一方で、カメラは、チェッカーボードの全体がカメラの視野内に維持されることを確実にしながら、標的の画像を捕捉する。このサイクルは、全てのポーズが処理されるまで継続する。
このアプローチは、きわめて労力を要しかつ時間がかかるため、このタイプの較正プロセスには、多くの欠点が、存在する。そのうえ、多数のポーズを通して標的を移動させるための要件は、較正プロセスのさらにより高い費用および複雑性を作成する高額かつ複雑な標的移動デバイスが導入されない限り、較正プロセス内に変動性の著しい可能性をもたらし、かつ反復可能な結果を得ることがさらにできなくなる状況をもたらす。これらの問題は、従来のカメラ較正プロセスが、多数のカメラが時間効率的かつ反復可能な様式で較正される必要がある大量生産において使用不可能であることを意味する。
したがって、カメラ較正を実装するための改良されたアプローチの必要性が、存在する。
本開示の実施形態は、カメラが移動する搬送装置の上に搭載され、多平面較正標的の画像を捕捉する、カメラ較正を実施するために、改良された方法、システム、および装置を提供する。多平面較正標的は、いくつかの実施形態では、バックライトで照らされた標的である。較正プロセスは、捕捉される画像数を低減させながら、同時に全体の情報密度を維持することによって最適化される。
１つの実施形態では、カメラ較正を実施するための方法は、複数のカメラを可動プラットフォームの上に装填するステップを含む。複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する。本方法はまた、可動プラットフォームを動作させ、複数のカメラを標的に対して指定された位置に偏移させるステップを含む。本方法は、複数のカメラが、標的に対して指定された位置に位置するとき、可動プラットフォームの移動を一時停止させ、複数のカメラのそれぞれから画像を捕捉するステップをさらに含む。そのうえ、本方法は、指定された位置のそれぞれにおいて各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、複数のカメラを較正するステップを含む。
１つ以上の実施形態では、いくつかまたは全ての平面状の標的領域は、複数の個別マーカを含んでもよく、視覚的パターンは、個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含んでもよい。画像は、フィルタリングされてもよい。複数のカメラを較正するステップは、画像からの個別マーカを識別するステップを含んでもよい。個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応してもよい。
１つ以上の実施形態では、複数のカメラを較正するステップは、複数のカメラのための内的パラメータおよび外的パラメータを導出するステップを含んでもよい。モザイク式の凹面形標的は、複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含んでもよい。モザイク式の凹面形標的は、モザイク式の凹面形標的へのバックライトを含んでもよい。複数の平面状の標的領域はそれぞれ、六角形形状を含んでもよい。
１つ以上の実施形態では、モザイク式の凹面形標的はまた、モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。可動プラットフォームは、コンベヤベルトであってもよい。可動プラットフォームは、複数のカメラの焦点距離に対応する距離を隔ててモザイク式の凹面形標的から離間されてもよい。入力スタック機構は、カメラを可動プラットフォームの上に装填してもよく、出力スタック機構は、カメラを可動プラットフォームから装填解除してもよい。
別の実施形態では、コンピュータ可読媒体は、その上に、プロセッサによって実行されると、プロセッサにカメラ較正を実施するための方法を実行させる一連の命令を記憶し、本方法は、複数のカメラを可動プラットフォームの上に装填するステップを含む。複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する。本方法はまた、可動プラットフォームを動作させ、複数のカメラを標的に対して指定された位置に偏移させるステップを含む。本方法は、複数のカメラが、標的に対して指定された位置に位置するとき、可動プラットフォームの移動を一時停止させ、複数のカメラのそれぞれから画像を捕捉するステップをさらに含む。そのうえ、本方法は、指定された位置のそれぞれにおいて各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、複数のカメラを較正するステップを含む。
１つ以上の実施形態では、いくつかまたは全ての平面状の標的領域は、複数の個別マーカを含んでもよく、視覚的パターンは、個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含んでもよい。画像は、フィルタリングされてもよい。複数のカメラを較正するステップは、画像からの個別マーカを識別するステップを含んでもよい。個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応してもよい。
１つ以上の実施形態では、複数のカメラを較正するステップは、複数のカメラのための内的パラメータおよび外的パラメータを導出するステップを含んでもよい。モザイク式の凹面形標的は、複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含んでもよい。モザイク式の凹面形標的は、モザイク式の凹面形標的へのバックライトを含んでもよい。複数の平面状の標的領域はそれぞれ、六角形形状を含んでもよい。
１つ以上の実施形態では、モザイク式の凹面形標的はまた、モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。可動プラットフォームは、コンベヤベルトであってもよい。可動プラットフォームは、複数のカメラの焦点距離に対応する距離を隔ててモザイク式の凹面形標的から離間されてもよい。入力スタック機構は、カメラを可動プラットフォームの上に装填してもよく、出力スタック機構は、カメラを可動プラットフォームから装填解除してもよい。
別の実施形態では、カメラ較正を実施するためのシステムは、モザイク式の凹面形標的の主軸が、可動プラットフォームに向かって配向されるように、複数のカメラおよび複数の平面状の標的領域を有するモザイク式の凹面形標的を保持するための搭載表面を有する、可動プラットフォームを含む。可動プラットフォームは、モザイク式の凹面形標的から離間されてもよい。
１つ以上の実施形態では、可動プラットフォームは、コンベヤベルトであってもよい。可動プラットフォームは、複数のカメラの焦点距離に対応する距離を隔ててモザイク式の凹面形標的から離間されてもよい。システムはまた、カメラを可動プラットフォームの上に装填するための入力スタック機構と、カメラを可動プラットフォームから装填解除するための出力スタック機構とを含んでもよい。
１つ以上の実施形態では、いくつかまたは全ての平面状の標的領域は、複数の個別マーカを含んでもよく、視覚的パターンは、個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含んでもよい。画像は、フィルタリングされてもよい。複数のカメラを較正するステップは、画像からの個別マーカを識別するステップを含んでもよい。個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応してもよい。
１つ以上の実施形態では、複数のカメラを較正するステップは、複数のカメラのための内的パラメータおよび外的パラメータを導出するステップを含んでもよい。モザイク式の凹面形標的は、複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含んでもよい。モザイク式の凹面形標的は、モザイク式の凹面形標的へのバックライトを含んでもよい。複数の平面状の標的領域はそれぞれ、六角形形状を含んでもよい。モザイク式の凹面形標的はまた、モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。
別の実施形態では、カメラ較正の標的は、複数の平面状の領域を有するモザイク式の凹面形構造を含む。加えて、いくつかまたは全ての平面状の領域は、複数の個別マーカをその上に有する。さらに、モザイク式の凹面形構造は、複数の平面状の領域からの角度付けられた継目によって形成される湾曲の半径を有する。
１つ以上の実施形態では、標的の湾曲の半径は、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応する。標的はまた、バックライトを含んでもよい。複数の平面状の領域はそれぞれ、六角形形状を含んでもよい。標的はまた、標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。
本明細書に説明かつ図示される個々の実施形態はそれぞれ、他のいくつかの実施形態の任意のものの構成要素および特徴から容易に分離される、またはそれらと容易に組み合わされ得る、個別の構成要素および特徴を有する。
本開示の目的および利点のさらなる詳細が、以下に、詳述される説明、図面、および請求項の中で説明される。前述の一般的な説明および以下の詳述される説明は両方とも、例示的かつ説明的であり、本開示の範囲に関して限定することは意図されない。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
カメラ較正を実施するための方法であって、
複数のカメラを可動プラットフォームの上に搭載することであって、前記複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する、ことと、
前記可動プラットフォームを動作させ、前記複数のカメラを前記標的に対して指定された位置に偏移させることと、
前記複数のカメラが、前記標的に対して前記指定された位置に位置するとき、前記可動プラットフォームの移動を一時停止させ、前記複数のカメラの各々から画像を捕捉することと、
前記指定された位置の各々において各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、前記複数のカメラを較正することと
を含む、方法。
（項目２）
前記平面状の標的領域のいくつかまたは全ては、複数の個別マーカを備え、前記視覚的パターンは、前記個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含む、項目１に記載の方法。
（項目３）
前記画像は、フィルタリングされる、項目１または２のいずれか一方に記載の方法。
（項目４）
前記複数のカメラを較正することは、前記画像からの個別マーカを識別することを含み、前記個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応する、項目１−３に記載の方法。
（項目５）
前記複数のカメラを較正することは、前記複数のカメラのための内的パラメータおよび外的パラメータを導出することを含む、項目１−４に記載の方法。
（項目６）
前記モザイク式の凹面形標的は、前記複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含む、項目１−５に記載の方法。
（項目７）
前記モザイク式の凹面形標的は、前記モザイク式の凹面形標的へのバックライトを備える、項目１−６のいずれかに記載の方法。
（項目８）
前記複数の平面状の標的領域の各々は、六角形形状を含む、項目１−７に記載の方法。
（項目９）
前記モザイク式の凹面形標的は、前記モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットをさらに備える、項目１−８に記載の方法。
（項目１０）
前記可動プラットフォームは、コンベヤベルトである、項目１−９に記載の方法。
（項目１１）
可動プラットフォームは、前記複数のカメラの焦点距離に対応する距離を隔てて前記モザイク式の凹面形標的から離間される、項目１−１０に記載の方法。
（項目１２）
入力スタック機構は、カメラを前記可動プラットフォームの上に装填し、出力スタック機構は、前記カメラを前記可動プラットフォームから装填解除する、項目１−１１に記載の方法。
（項目１３）
コンピュータ可読媒体であって、前記コンピュータ可読媒体は、その上に、一連の命令を記憶しており、前記命令は、プロセッサによって実行されると、プロセッサに項目１−１２に記載の方法のうちの任意のものを実行させる、コンピュータ可読媒体。
（項目１４）
項目１−１２に記載の方法のうちの任意のものを実装するための手段を備える、カメラ較正を実施するためのシステム。
本開示がより深く理解されるように、本開示のいくつかの実施形態が、ここで、添付図面を参照して、実施例としてのみ説明されるであろう。
図１Ａおよび１Ｂは、本開示のいくつかの実施形態による、カメラ較正を実施するための例示的システムを図示する。 図１Ａおよび１Ｂは、本開示のいくつかの実施形態による、カメラ較正を実施するための例示的システムを図示する。 図２は、本開示のいくつかの実施形態による、多平面標的の内部の図を提供する。 図３Ａは、例示的なＡｒｕｃｏマーカを示し、図３Ｂは、例示的なＣｈａｒｕｃｏ標的を示す。 図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的のためのフレームワークを図示する。 図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的のためのフレームワークを図示する。 図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的のためのフレームワークを図示する。 図５は、バックライトで照らされた標的を有する較正システムの実施形態を図示する。 図６は、複数の列のカメラのアレイが、１つ以上のコンベヤベルトの上に設置され、標的の画像を捕捉する、例示的アプローチを図示する。 図７は、カメラ較正を実施するためのアプローチのフローチャートを示す。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。 図９は、較正を実施するためにカメラによって捕捉された画像データを処理するためのアプローチのフローチャートを示す。 図１０は、本開示のいくつかの実施形態が実装され得るコンピュータシステムを描写する。
ここに、種々の実施形態が、当業者が本開示を実践することを可能にするように本開示の例証的実施例として提供される図面を参照して、詳細に説明されるであろう。とりわけ、下記の図面および実施例は、本開示の範囲を限定する意図はない。本開示のある要素が、既知の構成要素（または方法またはプロセス）を使用して部分的または完全に実装され得るが、本開示の理解のために必要であるそのような既知の構成要素（または方法またはプロセス）の部分のみが説明され、そのような既知の構成要素（または方法またはプロセス）の他の部分の詳細説明は、本開示を不明瞭にしないように省略されるであろう。さらに、種々の実施形態は、例証として本明細書に言及される構成要素の現在と将来の既知の均等物をも包含する。
図１Ａおよび１Ｂは、本開示のいくつかの実施形態による、カメラ較正を実施するための例示的システム１００を図示する。システム１００は、可動プラットフォームデバイス（例えば、コンベヤベルト１０４）が複数のカメラのための複数の設置位置を含む較正を実施するための複数カメラ接近部を提供する。図１Ａおよび１Ｂに図示されるシステム１００では、コンベヤベルト１０４は、４台のカメラ１１０ａ−ｄのための４つの位置（位置１、２、３、および４）を含み、任意の所与の時間に同時較正を受ける。しかしながら、本開示の代替実施形態は、同時に較正を受ける任意の数のカメラを保持することができる複数カメラ較正プラットフォームを含み得、したがって、本開示は、具体的にそのように請求されない限り、同時較正に対するカメラのいかなる特定の数にも限定されないことに留意されたい。
標的１０２は、その上に位置する複数の平面状の標的部分を有する略部分的に球形な形状を含む。完全ＦＯＶ（視野）標的は、撮像機の全ての区分が、検出可能な点によって被覆されることを確実にし、該撮像機は、入射光をデジタル出力信号に変換するカメラの内側のセンサ（例えば、ＣＭＯＳまたはＣＣＤセンサ）に対応する。いくつかの実施形態では、標的１０２は、カメラ１１０ａ−ｄの焦点距離に設定される球の半径を有するモザイク式の球形標的を備える。
動作時、較正されるべきカメラは、入力スタック１１２からコンベヤベルト１０４上に装填される。所与の時間において、複数のカメラが、コンベヤベルト１０４上に位置付けられる。カメラはそれぞれ、それらの画像捕捉方向を標的１０２に向けて、設定距離を隔てて相互から離間された指定された位置に位置する。
コンベヤベルト１０４は、カメラの場所を入力スタック１１２の方向から出力スタック１１４の方向に偏移させるように動作する。コンベヤベルト１０４の移動は、カメラが較正のための設定位置に到達すると、一時停止される。この図に示されるように、コンベヤベルト１０４は、カメラ１１０ｄが位置１に位置し、カメラ１１０ｃが位置２に位置し、カメラ１１０ｂが位置３に位置し、かつカメラ１１０ａが位置４に位置すると、一時停止される。
コンベヤが一時停止されると、個別の位置における各カメラは、標的１０２の画像を捕捉する。各カメラによって画像が捕捉された後、コンベヤは、カメラが次の後続位置に偏移し、標的１０２の別の画像を捕捉するように再度移動する。この様式で、各カメラは、位置１、２、３、４のそれぞれから、標的１０２の画像を連続的に捕捉するであろう。いったんカメラが各位置１−４から画像を撮影し終えると、その位置の次の偏移は、そのカメラを出力スタック１１４の中に設置させるであろう。
カメラによって捕捉された画像は、標的１０２内のいくつかまたは全てのマーカ平面を含む。以下により詳細に議論されるように、例えば、カメラのための内的パラメータおよび外的パラメータを判定することによってカメラを較正するために、捕捉された画像の内容から、計算が、実施される。
このアプローチは、多種多様の角度付けられた平面が各ショットの中で検出可能であり、ロバストな較正結果のために価値を有するものであることを確実にする。それはまた、頭部搭載追跡システム等の空間的制約のある用途の上に存在するもの等の広角レンズに対し、ショット毎に最大数の標的表面に合焦することを確実にする。Ａｑｕｉｆｉ単一画像較正装具等の多平面捕捉を実施する代替的な試みは、実質的により大きな占有面積を要求するが、試験下のカメラのＦＯＶを完全には網羅しない。
図２は、本開示のいくつかの実施形態による、標的１０２の内部の図を提供する。いくつかの実施形態では、標的１０２は、各小面／平面領域２０２が個別の平面状の標的を含む、複数の平面状の領域から成る多面構造である。いくつかの実施形態では、平面状の標的は、ＣｈａｒｕｃｏまたはＡｒｕｃｏ標的として実装される。例示的なＡｒｕｃｏマーカが、図３Ａに図示される。Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的と典型的なチェッカーボード標的との間の主要な差異は、Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的が、相互に明白に異なる個々のマーカを含むことである。
Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的はそれぞれ、所与のマーカおよびその空間内位置を一意に識別するパターン／マーカを含む。Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的は個々のマーカから構成されるため、これは、カメラが較正点を得るためにその完成形態の標的の全体を見る必要がないことを意味する。代わりに、カメラは、標的の画像を部分的にのみ捕捉することができ、依然として、その標的から較正を実施することが可能である。
Ａｒｕｃｏ標的とは異なり、Ｃｈａｒｕｃｏ標的は、チェッカーボードの使用を伴い、Ａｒｕｃｏ標的の個々のマーカ特徴を組み合わせる。このアプローチは、あるタイプの計算のための限局化の判定を改良する役割を果たす。図３Ｂは、例示的なＣｈａｒｕｃｏ標的３１６を図示する。
ＣｈａｒｕｃｏまたはＡｒｕｃｏ標的の使用は、たとえ標的全体がフレーム内に存在しない場合であっても、画像捕捉が有効な状態であることを確実にする。これは、例えば、一連のカメラが連続的に図１Ａ−Ｂに図示されるような定常状態の標的を通過するように移動されている場合に生じ得る。したがって、本開示のいくつかの実施形態のこの特徴は、全ての標的および部分要素を各ショット内に明確に視認可能であるようにする必要性に起因する、カメラの精密な位置合わせおよび緊密に制御された光を要求する標準的なチェッカーボード標的を使用する代替アプローチに対して、明白に異なる利点を提供する。
図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的１０２のためのフレームワークを図示する。図４Ａは、標的１０２の凹面形／球形の内部の中が見える、標的１０２の正面図である。
複数の切子形／モザイク式の平面状部分４０４が、一定角度の遷移で縁間を接触させて積み重ねられ、標的１０２を形成する。切子形の平面状部分４０４はそれぞれ、六角形の構造として形成されてもよいが、他の多角形形状もまた、本開示の範囲内である。切子形の平面状部分４０４のそれぞれの間の継部の角度は、標的１０２の全体的な部分的球形形状の所望される半径によって判定される。前述のように、１つの実施形態では、半径は、概して、較正されているカメラの焦点距離に整合するように構成される。
切子形の平面状部分４０４のサイズは、各小面の上に設置されるべきＣｈａｒｕｃｏまたはＡｒｕｃｏ標的の所望される全体的なサイズ、および／または各小面の上に設置されるべき個々のマーカの数によって判定される。
図４Ｂおよび４Ｃは、コンベヤベルトに対して所与の位置および配向に標的１０２を搭載するために標的１０２の背面に取り付けられた、搭載ブラケット４０２を示す。コンベヤベルト上のカメラは、標的１０２に対して移動することが可能であるため、これは、標的が、カメラが複数のポーズから標的の画像を捕捉することを可能にする較正プロセスの間に位置的に調節される必要がないことを意味することに留意されたい。したがって、搭載ブラケット４０２は、構造的に強くかつ効率的に製造可能であることの両方である係止位置ブラケットとして構成されることができる。
各平面状部分を隣接する平面状部分に取り付けるために、ブラケット４０６が、採用される。これらのブラケット４０６は、１つの平面状部分を、その隣接した平面状部分に対して固定された位置に確実に保持する役割を果たすことができる、任意の好適な構成を含む。いくつかの実施形態では、ブラケット４０６は、平面状部分４０４をその隣接した平面状部分に対して適切な継合角度で搭載するために、角度付けられた湾入形状を含む。
図５は、１つ以上の光源５０２が標的１０２のバックライトとして提供される、バックライトで照らされた標的１０２を有する較正システム５００の実施形態を図示する。その上に黒色のチェッカーボード／Ａｒｕｃｏ／Ｃｈａｒｕｃｏマーカを有する白色標的の背後で強いバックライトを使用することによって、ゲインおよび露出設定は、試験下のカメラ上でそれらの最小の設定値に低減され、較正に対して低雑音、運動安定性の画像をもたらすことができる。十分な強度を伴い、これはまた、マーカ検出のロバスト性を増加させ、および／またはモーションブラーを低減させる、画像からの非照明要素をマスキングする役割を果たす。いくつかの実施形態では、標的は、不透明であるが、他の実施形態は、異なる透明性レベルの範囲を有する標的を採用してもよい。
このように、鏡面性は、著しく低減および／または完全に排除される。これは、概して、標的の画像の認識を除去し、例えば、画像を横断した白色の「しみ」が較正プロセスの間に生じ得る、鏡面性が、外側の反射から生じるためである。バックライトで照らされた標的は、比較的に明るいため、これは、カメラ露光が、唯一の検出可能な照明が標的からのものであり、いかなる鏡面性をも著しく最小限にさせるように十分に低いレベルであることを可能にする。加えて、全体的な構成プロセスは、較正システム全体の処理能力を増加させる役割を果たす、より急速な露光設定からの増加された検出速度に起因して、より急速に実施されることができる。
構成システムの処理能力要件に応じて、複数の列のカメラが、本開示のいくつかの実施形態内の較正を受けることができる。図６は、複数の列のカメラのアレイ６０２が、１つ以上のコンベヤベルトの上に設置され、標的１０２の画像を捕捉する、例示的アプローチを図示する。標的１０２は、アレイ６０２内のカメラの焦点が、標的６０２に適切に配向されることを確実にするように位置付けられる、および／または構成される。各カメラは、既知の場所に存在し、かつ標的１０２の各平面状の標的表面からオフセットされているため、これは、本明細書に説明される技術が、本実施形態内の較正を実施するために完全に使用可能であることを意味する。
図７は、上記に説明された装置およびシステムを使用してカメラ較正を実施するためのアプローチのフローチャートを示す。７０２において、カメラは、コンベヤ装置上の指定された位置におけるコンベヤ装置の上に装填される。前述のように、較正されるべきカメラは、所与の時間に、複数のカメラが潜在的にコンベヤ装置上に位置付けられる、入力スタックからコンベヤベルトの上に装填されてもよい。カメラはそれぞれ、それらの画像捕捉方向を標的に向けて、規定距離を隔てて相互から離間された指定された位置に位置する。
７０４において、画像は、コンベヤ装置上のカメラのそれぞれからの標的の捕捉物である。コンベヤ装置は、カメラの場所を画像捕捉位置のそれぞれに順に移動させるために使用される。したがって、移動／一時停止／画像捕捉／再度移動のサイクルは、各カメラが各指定された位置から画像を撮影するまで反復される。
７０６において、捕捉された画像が、コンピュータ可読媒体内に記憶される。較正分析が、次いで、画像データに関して実施され、カメラデバイスのための較正パラメータを生成することができる。その後、７１０において、較正されたカメラが、コンベヤ装置から出力スタックの上に装填解除されることができる。
図８Ａから８Ｓは、本開示のいくつかの実施形態による、本較正プロセスのための例示的実施例を提供する。図８Ａは、複数のカメラのための複数の設置位置を有するコンベヤベルト１０４を含む、カメラ較正を実施するための例示的システムを示す。ここで、コンベヤベルト１０４は、較正のために４つのカメラを同時に支持するための４つの位置１、２、３、および４を有するように構成される。前述のように、標的１０２は、いくつかまたは全ての平面状の標的部分がＡｒｕｃｏおよび／またはＣｈａｒｕｃｏ標的を含む、複数の平面状の標的部分を有する略部分的に球形の形状を含む。
データベース６２２は、較正システム内で較正を受けるカメラによって捕捉されるべき画像データを保持するように較正される。データベース６２２は、コンベヤベルト１０４上の各適切な位置において捕捉されるべき画像のための、画像データ内容を個別に記憶するためのデータ部分を含む、データ構造を備える。ここで、データベース６２２は、位置１のための画像データを保持するための、部分６２４−１と、位置２のための画像データを保持するための、部分６２４−２と、位置３のため画像データを保持するための、部分６２４−３と、位置４のための画像データを保持するための、部分６２４−４とを含む。
図８Ｂに示されるように、較正されるべきカメラ６１０ａが、（例えば、入力スタックから）コンベヤベルト１０４の上に装填される。例証のために、この時点において、コンベヤベルト１０４の上に以前に装填された他のカメラは、存在しないと仮定される。しかしながら、他のカメラのための較正がすでに進行中である場合、図８Ｂに示される時間枠において、他のカメラもまた、コンベヤベルト１０４上に示されるであろう。
図８Ｃは、カメラ６１０ａを位置１の中に偏移させるコンベヤベルト１０４の移動を図示する。この時点において、図８Ｄに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａが標的１０２の画像を捕捉することを可能にする。カメラ６１０ａによって捕捉された画像は、標的１０２内のＡｒｕｃｏ／Ｃｈａｒｕｃｏ標的内のいくつかまたは全てのマーカを含む。
図８Ｅに示されるように、捕捉された画像は、データベース６２２内に記憶される。特に、カメラ６１０ａに対して、データベース６２２内にエントリが、作成され、カメラ６１０ａに対するそのエントリ内の場所６２４−１が、位置１に対して捕捉された画像データを記憶するために採用される。
この時点において、図８Ｆに示されるように、コンベヤベルト１０４は、再度移動し始め、カメラ６１０ａを新たな位置に偏移させる。較正されるべき次のカメラ６１０ｂもまた、コンベヤベルト１０４の上に装填される。コンベヤベルトの上に同時に設置されるカメラ６１０ａおよび６１０ｂはそれぞれ、所定の距離を隔てて相互から離間される指定された位置に位置する。
図８Ｇは、カメラ６１０ａおよび６１０ｂを、それぞれ、位置１および２に偏移させるためのコンベヤベルト１０４の移動を図示する。この時点において、図８Ｈに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａおよび６１０ｂがそれらの個別の位置から標的１０２の画像を捕捉することを可能にする。
図８Ｉに示されるように、捕捉された画像は、次いで、データベース６２２の中に記憶される。６１０ａによって捕捉された画像に対して、新たな画像が、データベース６２２内の、このカメラに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置２に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−２の中に設置される。カメラ６１０ｂに関して、このカメラに対してデータベース６２２内に新たなエントリが、作成され、捕捉された画像は、その新たなエントリに対する場所６２４−１内に記憶される。
図８Ｊに示されるように、コンベヤベルト１０４は、再度移動し始め、カメラ６１０ａおよび６１０ｂを新たな位置に偏移させる。この時点において、較正されるべき次のカメラ６１０ｃが、コンベヤベルト１０４の上に装填される。前述のように、コンベヤベルトの上に同時に設置されるカメラ６１０ａ、６１０ｂ、および６１０ｃはそれぞれ、所定の距離を隔てて相互から離間される指定された位置に位置する。
図８Ｋは、カメラ６１０ａ、６１０ｂ、および６１０ｃを、それぞれ、位置１、２、および３に相応して移動させるためのコンベヤベルト１０４の移動を示す。この時点において、図８Ｌに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａ、６１０ｂ、および６１０ｃがそれらの個別の位置から標的１０２の画像を捕捉することを可能にする。
図８Ｍに図示されるように、カメラ６１０ａ、６１０ｂ、および６１０ｃに対して捕捉された画像は、次いで、データベース６２２の中に記憶される。カメラ６１０ａによって捕捉された画像に対して、新たな画像が、データベース６２２内の、このカメラに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置３に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−３の中に設置される。同様に、カメラ６１０ｂによって捕捉された新たな画像に関して、画像データは、データベース６２２内の、このカメラ６１０ｂに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置２に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−２の中に設置される。カメラ６１０ｃに関して、このカメラに対するデータベース６２２内に新たなエントリが、作成され、捕捉された画像は、カメラ６１０ｃに対するその新たなエントリに対する場所６２４−１内に記憶される。
図８Ｎは、カメラ６１０ａ、６１０ｂ、および６１０ｃをそれらの新たな位置に偏移させるためのコンベヤベルト１０４の移動を示す。較正されるべき次のカメラ６１０ｄもまた、コンベヤベルト１０４の上に装填される。前述のように、コンベヤベルトの上に同時に設置されるカメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄはそれぞれ、所定の距離を隔てて相互から離間される指定された位置に位置する。
図８Ｏは、カメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄを、それぞれ、位置１、２、３、および４に移動させるためのコンベヤベルト１０４の移動を示す。この時点において、図８Ｐに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄがそれらの個別の位置から標的１０２の画像を捕捉することを可能にする。
図８Ｑに図示されるように、カメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄに対して捕捉された画像は、次いで、データベース６２２の中に記憶される。カメラ６１０ａによって捕捉された画像に対して、新たな画像が、このカメラに対して前述のような同一のエントリの中に記憶されるが、新たな画像は、位置４に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−４の中に設置される。カメラ６１０ｂによって捕捉された新たな画像に関して、画像データは、データベース６２２内の、このカメラ６１０ｂに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置３に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−３の中に設置される。カメラ６１０ａによって捕捉された画像に対して、画像が、データベース６２２内の、このカメラ６１０ｃに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置２に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−２の中に設置される。カメラ６１０ｄに関して、データベース６２２内に新たなエントリが、作成され、捕捉された画像は、カメラ６１０ｄに対するその新たなエントリに対する場所６２４−１内に記憶される。
コンベヤベルトは、ここで、再度移動し始め、較正を受けているカメラの位置を偏移させる。この時点において、カメラ６１０ａは、位置１−４のそれぞれから画像を捕捉した。したがって、図８Ｒに示されるように、カメラ６１０ａは、ここで、コンベヤベルト１０４から装填解除されることができる。
したがって、本アプローチは、各カメラを、標的１０２の画像を捕捉するために、その連続的に要求される位置に自動的に移動させるように動作した。画像が各カメラによって捕捉された後、コンベヤは、カメラが標的１０２の別の画像を捕捉するために次の後続の位置に偏移するように再度移動する。この様式で、各カメラは、位置１、２、３、および４のそれぞれから標的１０２の画像を連続的に捕捉するであろう。いったんカメラが各位置１−４から画像を撮影し終えると、その位置の次の偏移は、そのカメラを出力スタック１１４の中に設置させるであろう。
図８Ｓに示されるように、カメラ６１０ａに対する画像データは、較正モジュール８０２によって処理され、画像データを処理することができる。種々の角度付けられた平面から捕捉された異なる視覚的パターン（例えば、チェッカーボードおよびマーカ画像のコーナーポイントを含む）は、捕捉された画像から識別可能であり、内的パラメータおよび外的パラメータ等の較正結果を生成するために使用される。
１つ以上のユーザは、制御システム８０４を使用して、較正システムおよび／または較正モジュール８０２とインターフェースをとる、およびそれを動作させてもよい。制御システム８０４および較正モジュール８０２は、１つ以上のハードウェアシステム、ソフトウェアアプリケーション、またはハードウェアおよびソフトウェアの組み合わせを動作させる、それとインターフェースをとる、またはそれを実装するために使用され得る、任意のタイプのコンピュータステーションを備える。そのようなコンピュータシステムの実施例は、例えば、ネットワーク化された、またはクラウド系のコンピュータプラットフォームに接続された、サーバ、ワークステーション、パーソナルコンピュータ、または遠隔コンピュータ端末を含む。コンピュータシステムは、ポインティングオブジェクトを操作するためのマウスまたはキーボード等の、システムのアクティビティに対する動作制御を提供するために、ユーザのための１つ以上の入力デバイスを備える。コンピュータシステムはまた、分析結果または制御インターフェースを表示するためのディスプレイモニタ等の表示デバイスと関連付けられてもよい。
画像データおよび／または分析結果は、コンピュータ可読記憶媒体６２０内に記憶されてもよい。コンピュータ可読記憶媒体６２０は、コンピュータ可読記憶媒体６２０に位置するデータへの即座のアクセスを可能にするハードウェアおよび／またはソフトウェアの任意の組み合わせを含む。例えば、コンピュータ可読記憶媒体６２０は、オペレーティングシステムによって動作可能に管理されるコンピュータメモリおよび／またはハードドライブ記憶装置、および／またはネットワークアタッチトストレージ（ＮＡＳ）、ストレージエリアネットワーク（ＳＡＮ）、またはクラウドストレージ等のネットワーク化された記憶デバイス内の遠隔記憶装置として実装され得る。コンピュータ可読記憶媒体６２０はまた、永続記憶装置および／または非永続記憶装置上に記憶装置を有する電子データベースシステムとして実装され得る。
図９は、カメラによって、そのカメラのための較正を実施するために捕捉された画像データを処理するためのアプローチのフローチャートを示す。根本的には、ピンホールカメラは、典型的なカメラを較正するために使用されることができ、較正プロセスの目的は、そのカメラと関連付けられる基礎パラメータを識別することである。特に、本開示におけるカメラ較正プロセスは、３次元空間／座標とカメラによって異なる位置において捕捉される種々の２次元画像との間の変換のパラメータを判定する。
したがって、９０２において、画像データが、カメラによってコンベヤベルト上の異なる位置において捕捉された画像から収集される。前述のように、これらの画像は、標的１０２から既知の距離およびオフセットを隔ててコンベヤベルト上の既知の所定の場所で捕捉された。例証的なシステムは、４つの位置から捕捉された画像を示すが、較正システムおよびその構成要素の具体的な構成に応じて、任意の数の画像が、カメラによって好適に捕捉され、較正のために使用されてもよい。
この時点において、画像データのフィルタリングおよび／または処理が生じてもよい。例えば、Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的内の個々のマーカの周囲からの不要なコンテンツ（例えば、輪郭線コンテンツ）が、カメラによって捕捉され得る。そのようなコンテンツは、較正目的に対して不要であり、したがって、データセットから破棄／フィルタリングされてもよい。加えて、任意の原形を損なった／誤りのあるコンテンツもまた、このステージにおいてフィルタリングされてもよい。
９０４において、マーカが、画像データから識別される。Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的内の各マーカは、それ自体の個々のコードを有する個々のマーカである。例えば、ハミングコードは、標的内のマーカ毎に一意の署名を生成するために使用されることができる。所与のマーカ内の具体的なパターンが、分析され、マーカ内の各要素の厳密な位置を確認し、パターンが、「デコード」され、半球形の標的１０２の具体的な平面状の標的表面上の具体的な場所において具体的なマーカを識別する。
９０６において、カメラのための内的パラメータおよび外的パラメータが、処理されたマーカデータから導出される。これは、標的の場所の所定の知識が、システムが３次元空間内で識別されたマーカ点の対応付けを確立することができることを意味するため、遂行される。本開示では、複数の標的平面が存在し、これらの平面の全ての場所が、相互に関連して把握されているという事実が、座標空間内に多数の付加的な較正点を提供する。したがって、これは、カメラパラメータの精密かつ正確な推定を大いに促進する。例えば、カメラの射影行列を推定するとき、２次元／３次元の対応付けのそれぞれに対して線形推定を実施することによって、線形解が、取得されることができる。線形推定の代わりに、またはそれに追加して、非線形計算が使用されてもよいことに留意されたい。例えば、非線形技術は、線形解を最適化するために採用されてもよい。
いったんカメラ射影行列が把握されると、例えば、（ａ）ＸおよびＹ軸両方におけるカメラの焦点距離、（ｂ）カメラ（またはカメラセンサ）の光心、および／または（ｃ）変形係数等の内的パラメータが、導出されることができる。
外的パラメータもまた、カメラから導出されてもよい。カメラの外部にある基準データは、外的パラメータを判定するために得られかつ使用されるであろう。外的パラメータは、カメラ基準システムを、例えば、２台のカメラを伴う立体視的システム内の別のカメラに対して等、別の基準システムに平行移動させるために３次元の回転または３次元の平行移動として得られることができる。
９０８において、較正は、コンピュータ可読媒体上の適切な記憶装置の場所内に較正パラメータを記憶することによって終了される。
したがって、説明されたものは、カメラが移動する搬送装置の上に搭載され、多平面較正標的の画像を捕捉する、カメラ較正を実施するために、改良された方法、システム、および装置である。多平面較正標的は、いくつかの実施形態では、バックライトで照らされた標的である。較正プロセスは、捕捉される画像数を低減させながら、同時に全体の情報密度を維持することによって最適化される。したがって、本開示の実施形態は、時間がかかり過ぎ、計算上高価であり、かつ大量生産にはまさに明白に不向きである従来のアプローチの問題を解決する。
システムアーキテクチャ概要
図１０は、本開示の実施形態の実装に好適である例証的なコンピュータシステム１４００のブロック図である。コンピュータシステム１４００は、バス１４０６、またはプロセッサ１４０７、システムメモリ１４０８（例えば、ＲＡＭ）、静的記憶デバイス１４０９（例えば、ＲＯＭ）、ディスクドライブ１４１０（例えば、磁気または光学）、通信インターフェース１４１４（例えば、モデムまたはイーサネット（登録商標）カード）、ディスプレイ１４１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１４１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、通信情報に関する他の通信機構を含む。
本開示の１つの実施形態に従って、コンピュータシステム１４００は、プロセッサ１４０７によって、システムメモリ１４０８内に含有される１つ以上の命令の１つ以上のシーケンスを実行する具体的な動作を実施する。そのような命令は、静的記憶デバイス１４０９またはディスクドライブ１４１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ１４０８の中に読み取られてもよい。代替実施形態では、有線回路は、本開示を実装するためにソフトウェア命令の代わりに、またはそれと組み合わせて使用されてもよい。したがって、本開示の実施形態は、ハードウェア回路および／またはソフトウェアのいかなる具体的な組み合わせにも限定されない。１つの実施形態では、用語「論理」は、本開示の全てまたは部分を実装するために使用されるソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。
本明細書に使用されるような用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、実行のためにプロセッサ１４０７への命令の提供に関与する任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１４１０等の光または磁気ディスクを含む。揮発性媒体は、システムメモリ１４０８等の動的メモリを含む。
コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータ可読の任意の他の媒体を含む。
本開示の実施形態では、本開示を実践するための命令のシーケンスの実行が、単一のコンピュータシステム１４００によって実施される。本開示の他の実施形態に従って、通信リンク１４１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される２つ以上のコンピュータシステム１４００が、相互に協調して本開示を実践するために、要求される一続きの命令を実施してもよい。
コンピュータシステム１４００は、例えば、アプリケーションコード等のプログラムを含むメッセージ、データ、および命令を、通信リンク１４１５および通信インターフェース１４１４を通して伝送かつ受信してもよい。受信されたプログラムコードは、それが受信されるにつれてプロセッサ１４０７によって実行される、および／または後の実行のためにディスクドライブ１４１０または他の不揮発性記憶装置内に記憶されてもよい。コンピュータシステム１４００は、データインターフェース１４３３を通して外部記憶デバイス１４３１上のデータベース１４３２に通信してもよい。
前述の明細書では、本開示は、その具体的な実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広い精神および範囲から逸脱することなくそこに成され得ることが明白となるであろう。例えば、上記に説明されたプロセスフローは、プロセス動作の特定の順序を参照して説明された。しかしながら、説明されたプロセス動作の多くのものの順序は、本開示の範囲または動作に影響を及ぼすことなく変更されてもよい。故に、本明細書および図面は、制限的な意味ではなく例証的な意味に見なされるべきである。

Claims (19)

  1. システムであって、
    複数のカメラを保持するための搭載表面を有する可動プラットフォームと、
    複数の平面状の標的領域を有するモザイク式の凹面形標的であって、前記モザイク式の凹面形標的の主軸は、前記可動プラットフォームに向かって配向され、前記可動プラットフォームは、前記モザイク式の凹面形標的から離間されている、モザイク式の凹面形標的と、
    カメラを前記可動プラットフォームの上に装填するための入力スタック機構、および前記カメラを前記可動プラットフォームから装填解除するための出力スタック機構と
    を備える、システム。
  2. 前記可動プラットフォームは、コンベヤベルトである、請求項１に記載のシステム。
  3. 前記可動プラットフォームは、前記複数のカメラの焦点距離に対応する距離を隔てて前記モザイク式の凹面形標的から離間されている、請求項１に記載のシステム。
  4. 前記複数のカメラからの各カメラは、前記可動プラットフォーム上のある位置に位置し、前記位置は、設定された距離を隔てて１つの別のカメラから離間されており、前記各カメラ画像捕捉方向は、前記モザイク式の凹面形標的に向いている、請求項１に記載のシステム。
  5. カメラ較正画像を記憶するためのデータ構造をさらに備え、前記データ構造内の行は、前記可動プラットフォーム上の位置に位置する前記複数のカメラからのカメラに対応し、列は、前記可動プラットフォームに沿って前記モザイク式の凹面形標的に対して指定された位置において前記カメラによって捕捉される前記モザイク式の凹面形標的の画像に対応する、請求項１に記載のシステム。
  6. カメラ較正を実施するための方法であって、
    複数のカメラを可動プラットフォームの上に搭載することであって、前記複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する、ことと、
    前記可動プラットフォームを動作させ、前記複数のカメラを前記標的に対して指定された位置に偏移させることと、
    前記複数のカメラが、前記標的に対して前記指定された位置に位置するとき、前記可動プラットフォームの移動を一時停止させ、前記複数のカメラの各々から画像を捕捉することと、
    前記指定された位置の各々において各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、前記複数のカメラを較正することと
    を含む、方法。
  7. 前記平面状の標的領域のいくつかまたは全ては、複数の個別マーカを備え、前記視覚的パターンは、前記個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含む、請求項６に記載の方法。
  8. 前記画像は、フィルタリングされる、請求項６に記載の方法。
  9. 前記複数のカメラを較正することは、前記画像からの個別マーカの識別を含み、前記個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応する、請求項６に記載の方法。
  10. 前記複数のカメラを較正することは、前記複数のカメラのための内的パラメータおよび外的パラメータを導出することを含む、請求項６に記載の方法。
  11. 前記複数のカメラからの各カメラは、前記可動プラットフォーム上のある位置に位置し、前記位置は、設定された距離を隔てて１つの別のカメラから離間されており、前記各カメラ画像捕捉方向は、前記モザイク式の凹面形標的に向いている、請求項６に記載の方法。
  12. データ構造にカメラ較正画像を記憶することをさらに含み、前記データ構造内の行は、前記可動プラットフォーム上の位置に位置する前記複数のカメラからのカメラに対応し、列は、前記可動プラットフォームに沿って前記モザイク式の凹面形標的に対して前記指定された位置において前記カメラによって捕捉される前記モザイク式の凹面形標的の画像に対応する、請求項６に記載の方法。
  13. その上に一連の命令を記憶しているコンピュータ可読媒体であって、前記一連の命令は、プロセッサによって実行されると、前記プロセッサにカメラ較正を実施するための方法を実行させ、前記方法は、
    複数のカメラを可動プラットフォームの上に搭載することであって、前記複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する、ことと、
    前記可動プラットフォームを動作させ、前記複数のカメラを前記標的に対して指定された位置に偏移させることと、
    前記複数のカメラが、前記標的に対して前記指定された位置に位置するとき、前記可動プラットフォームの移動を一時停止させ、前記複数のカメラの各々から画像を捕捉することと、
    前記指定された位置の各々において各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、前記複数のカメラを較正することと
    を含む、コンピュータ可読媒体。
  14. 前記平面状の標的領域のいくつかまたは全ては、複数の個別マーカを備え、前記視覚的パターンは、前記個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含む、請求項１３に記載のコンピュータ可読媒体。
  15. 前記画像は、フィルタリングされる、請求項１３に記載のコンピュータ可読媒体。
  16. 前記複数のカメラを較正することは、前記画像からの個別マーカの識別を含み、前記個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応する、請求項１３に記載のコンピュータ可読媒体。
  17. 前記複数のカメラを較正することは、前記複数のカメラのための内的パラメータおよび外的パラメータを導出することを含む、請求項１３に記載のコンピュータ可読媒体。
  18. 前記複数のカメラからの各カメラは、前記可動プラットフォーム上のある位置に位置し、前記位置は、設定された距離を隔てて１つの別のカメラから離間されており、前記各カメラ画像捕捉方向は、前記モザイク式の凹面形標的に向いている、請求項１３に記載のコンピュータ可読媒体。
  19. 前記方法は、データ構造にカメラ較正画像を記憶することをさらに含み、前記データ構造内の行は、前記可動プラットフォーム上の位置に位置する前記複数のカメラからのカメラに対応し、列は、前記可動プラットフォームに沿って前記モザイク式の凹面形標的に対して前記指定された位置において前記カメラによって捕捉される前記モザイク式の凹面形標的の画像に対応する、請求項１３に記載のコンピュータ可読媒体。
JP2018567814A 2016-06-28 2017-06-27 改良されたカメラ較正システム、標的、およびプロセス Active JP6821714B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662355805P 2016-06-28 2016-06-28
US62/355,805 2016-06-28
PCT/US2017/039600 WO2018005561A1 (en) 2016-06-28 2017-06-27 Improved camera calibration system, target, and process

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021000726A Division JP7057454B2 (ja) 2016-06-28 2021-01-06 改良されたカメラ較正システム、標的、およびプロセス

Publications (3)

Publication Number Publication Date
JP2019530261A JP2019530261A (ja) 2019-10-17
JP2019530261A5 JP2019530261A5 (ja) 2020-08-06
JP6821714B2 true JP6821714B2 (ja) 2021-01-27

Family

ID=60675698

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018567814A Active JP6821714B2 (ja) 2016-06-28 2017-06-27 改良されたカメラ較正システム、標的、およびプロセス
JP2021000726A Active JP7057454B2 (ja) 2016-06-28 2021-01-06 改良されたカメラ較正システム、標的、およびプロセス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021000726A Active JP7057454B2 (ja) 2016-06-28 2021-01-06 改良されたカメラ較正システム、標的、およびプロセス

Country Status (5)

Country Link
US (2) US10547833B2 (ja)
JP (2) JP6821714B2 (ja)
KR (2) KR102487546B1 (ja)
CN (2) CN109416744B (ja)
WO (1) WO2018005561A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004197A1 (de) * 2006-01-26 2007-08-09 Klett, Rolf, Dr.Dr. Verfahren und Vorrichtung zur Aufzeichnung von Körperbewegungen
JP6821714B2 (ja) * 2016-06-28 2021-01-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 改良されたカメラ較正システム、標的、およびプロセス
US10675761B2 (en) 2016-10-14 2020-06-09 Magic Leap, Inc. Mode architecture for general purpose robotics
DE102018215491A1 (de) * 2018-09-12 2020-03-12 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Erfassungssystems
US11985440B2 (en) 2018-11-12 2024-05-14 Magic Leap, Inc. Depth based dynamic vision sensor
WO2020101895A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Event-based camera with high-resolution frame output
US11902677B2 (en) 2018-11-12 2024-02-13 Magic Leap, Inc. Patch tracking image sensor
WO2020102110A1 (en) * 2018-11-13 2020-05-22 Magic Leap, Inc. Event-based ir camera
WO2020102554A1 (en) * 2018-11-15 2020-05-22 Magic Leap, Inc. Deep neural network pose estimation system
DE102018222796A1 (de) * 2018-12-21 2020-06-25 Conti Temic Microelectronic Gmbh Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
US11889209B2 (en) 2019-02-07 2024-01-30 Magic Leap, Inc. Lightweight cross reality device with passive depth extraction
IL264797B (en) * 2019-02-12 2021-06-30 Agent Video Intelligence Ltd A method for spatial registration of a camera
US10925687B2 (en) * 2019-07-12 2021-02-23 Synaptive Medical Inc. System and method for optical axis calibration
KR200491660Y1 (ko) * 2019-09-30 2020-05-13 (주)이즈미디어 Tof 카메라용 오차 보정 장치
KR200491661Y1 (ko) * 2019-09-30 2020-05-14 (주)이즈미디어 Tof 카메라용 유효성 검증 장치
CN110611770B (zh) * 2019-10-08 2021-07-30 凌云光技术股份有限公司 线阵相机行频与物体运动速度是否匹配的判断方法及系统
WO2021072767A1 (zh) * 2019-10-18 2021-04-22 深圳市大疆创新科技有限公司 摄像装置的标定方法、系统、立体标定装置及存储介质
EP4071713A4 (en) * 2019-12-30 2022-12-21 Huawei Technologies Co., Ltd. PARAMETER CALIBRATION METHOD AND DEVICE
USD918944S1 (en) * 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
JP2023525508A (ja) * 2020-05-06 2023-06-16 マジック リープ， インコーポレイテッド 畳み込みベースのカメラおよびディスプレイ較正
CN111815719B (zh) * 2020-07-20 2023-12-22 阿波罗智能技术(北京)有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
WO2022026609A1 (en) * 2020-07-29 2022-02-03 Magic Leap, Inc. Camera extrinsic calibration via ray intersections
US11582375B2 (en) * 2020-09-28 2023-02-14 Argo AI, LLC Enhanced pointing angle validation
DE102020212279B3 (de) * 2020-09-29 2021-10-28 Myestro Interactive Gmbh Vorrichtung zum Kalibrieren einer räumlichen Lage eines Zentrums einer Eintrittspupille einer Kamera, Kalibrierverfahren hierfür sowie System zur Bestimmung relativer Position von Zentren von Eintrittspupillen mindestens zweier Kameras, die an einem gemeinsamen Tragrahmen montiert sind, zueinander sowie Bestimmungsverfahren hierfür
DE102020212635A1 (de) 2020-10-07 2022-04-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren einer Kamera
US20240095955A1 (en) * 2020-11-30 2024-03-21 Nec Corporation Calibration method, calibration apparatus, calibration system, and recording medium
KR20240056079A (ko) 2022-10-21 2024-04-30 한국전기연구원 단일 동기신호식 복수 pwm 주파수 출력형 전력변환장치용 단위 모듈
CN116701501B (zh) * 2022-11-21 2024-04-12 荣耀终端有限公司 相机标定数据的加载方法、装置及终端设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009359A (en) * 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP4307050B2 (ja) 2002-11-07 2009-08-05 富士通株式会社 ハイライトシーンの抽出装置
JP3735344B2 (ja) 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
WO2005115017A1 (en) 2003-02-14 2005-12-01 Lee Charles C 3d camera system and method
US7860301B2 (en) 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US7796154B2 (en) 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
JP2006121750A (ja) * 2006-01-06 2006-05-11 Olympus Corp キャリブレーションパターンユニット
JP2007135218A (ja) * 2006-11-22 2007-05-31 Matsushita Electric Ind Co Ltd カメラ装置、カメラ校正システムおよびカメラ校正方法
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP6164679B2 (ja) 2012-10-30 2017-07-19 株式会社Ｈａｌデザイン研究所 カメラのキャリブレーション方法及びカメラのキャリブレーション装置
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10032273B2 (en) * 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
JP2014204198A (ja) * 2013-04-02 2014-10-27 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US9430822B2 (en) * 2013-06-14 2016-08-30 Microsoft Technology Licensing, Llc Mobile imaging platform calibration
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array
WO2015134958A1 (en) * 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9251598B2 (en) * 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
US9641830B2 (en) 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
US9560345B2 (en) * 2014-12-19 2017-01-31 Disney Enterprises, Inc. Camera calibration
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2017122500A1 (ja) * 2016-01-13 2017-07-20 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
JP6821714B2 (ja) * 2016-06-28 2021-01-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 改良されたカメラ較正システム、標的、およびプロセス

Also Published As

Publication number Publication date
JP2019530261A (ja) 2019-10-17
JP7057454B2 (ja) 2022-04-19
KR102261020B1 (ko) 2021-06-03
US20170374360A1 (en) 2017-12-28
US10547833B2 (en) 2020-01-28
CN109416744A (zh) 2019-03-01
KR20210066031A (ko) 2021-06-04
CN117596385A (zh) 2024-02-23
KR102487546B1 (ko) 2023-01-10
US20200128235A1 (en) 2020-04-23
US11503275B2 (en) 2022-11-15
WO2018005561A1 (en) 2018-01-04
KR20190021342A (ko) 2019-03-05
CN109416744B (zh) 2023-12-15
JP2021072634A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7057454B2 (ja) 改良されたカメラ較正システム、標的、およびプロセス
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
US10924729B2 (en) Method and device for calibration
CN111750820B (zh) 影像定位方法及其系统
US9648300B2 (en) Calibration of multi-camera devices using reflections thereof
US8797387B2 (en) Self calibrating stereo camera
CN106530358A (zh) 仅用两幅场景图像标定ptz摄像机的方法
CN110782492B (zh) 位姿跟踪方法及装置
US10262207B2 (en) Method for tracking keypoints in a scene
CN108734738B (zh) 相机标定方法及装置
CN113034612B (zh) 一种标定装置、方法及深度相机
CN109785373B (zh) 一种基于散斑的六自由度位姿估计系统及方法
JP5442721B2 (ja) 形状の不変量アフィン認識方法及びデバイス
CN111768486B (zh) 基于旋转折射片的单目摄像机三维重建方法、系统
JP2015031601A (ja) ３次元計測装置及び方法並びにプログラム
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
CN111383262B (zh) 遮挡检测方法、系统、电子终端以及存储介质
CN116182807B (zh) 一种姿态信息确定方法、装置、电子设备、系统和介质
KR20160131862A (ko) 거울들을 사용하는 멀티 카메라들의 캘리브레이션을 위한 방법 및 장치
de Campos Real Time Stereo Cameras System Calibration Tool and Attitude and Pose Computation with Low Cost Cameras
JP5581612B2 (ja) 位置計測システム及び位置計測方法
Zhang et al. A stereo camera system for autonomous maritime navigation (AMN) vehicles

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200624

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210106

R150 Certificate of patent or registration of utility model

Ref document number: 6821714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250