JP7387872B2 - キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器 - Google Patents

Description

相互参照

本発明は、出願番号が２０１９１０７２７４３１．０であり、出願日が２０１９年８月７日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が本発明に組み込まれる。

本発明は画像処理分野に関し、具体的には、キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器に関する。

現在の市場では、スマートフォンなどの移動端末に３つのカメラが集積される状況が発展する傾向がある。３つのカメラは２つのカメラに比べて、カメラの種類を増加させることができる。例えば、３つのカメラは望遠カメラ、広角カメラ及び超広角カメラを同時に含むことができるので、このような組み合わせはマルチズームを実現することができ、且つ視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ、略称ＦＯＶ）も大幅に広くなり、それによりユーザ体験を大幅に向上させる。しかしながら、従来技術において、３つのカメラの一体式キャリブレーションに依然として大きな技術的欠陥が存在する。従来のキャリブレーション方式には主に以下の２つが含まれる。

方式１は、一体式ＲＧＢ－Ｄキャリブレーションである。該方式は、一定の距離で広角カメラなどの１つの一般的なカメラを用いて１枚の広角カメラ画像を撮影し、さらに１つの赤外線カメラを用いて１枚の赤外線カメラ画像を撮影し、それにより２つのカメラのキャリブレーションパラメータを取得する。しかし、該方式はマルチカメラに対して一体式キャリブレーションを実現することができない。その原因は、３つのカメラのＦＯＶの差がより大きく、特に望遠カメラと超広角カメラが同時に存在する前提で、望遠カメラ、広角カメラ、超広角カメラが同一の距離でキャリブレーション環境に対して同時に１枚の画像を撮影する場合、正確なキャリブレーションパラメータを取得することが困難である。

方式２は、一体式ダブルカメラキャリブレーションである。該方式は、一定の距離で望遠カメラ及び広角カメラなどの２つの一般的なカメラを用いて２枚の画像を撮影し、それにより２つのカメラのキャリブレーションパラメータを取得する。しかし、該方式もマルチカメラに対して一体式キャリブレーションを実現することができない。その原因は、３つのカメラのＦＯＶの差がより大きく、特に望遠カメラと超広角カメラが同時に存在する前提で、望遠カメラ、広角カメラ、超広角カメラが同一の距離でキャリブレーション環境に対して同時に１枚の画像を撮影する場合、正確なキャリブレーションパラメータを取得することが困難である。

以上のように、従来技術で提供されるキャリブレーション方式は、２枚の画像を撮影することによって２つのカメラのキャリブレーションパラメータだけを取得することができ、３つのカメラのキャリブレーションパラメータを取得することができない。すなわち、同一距離において３つのカメラに対して一体式キャリブレーションを実現することができない。

上記課題に対して、これまで効果的な解決手段が開示されていない。

本発明の少なくとも一部の実施例は、マルチカメラに対して一体式キャリブレーションを実現できないという従来技術における課題を少なくとも解決するキャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器を提供する。

本発明の一つの実施例によれば、複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影し、複数枚の画像を取得するステップと、前記複数枚の画像から対応する点集合を取得し、前記点集合は前記キャリブレーションパターンの撮影された表面上の各三次元点の、前記複数枚の画像における対応する結像点であるステップと、前記点集合に基づいて前記複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するステップと、を含むキャリブレーションパラメータの取得方法を提供する。

好ましくは、前記点集合に基づいて前記複数の画像サンプリング素子の前記使用すべきキャリブレーションパラメータを取得するステップは、前記点集合によって初期キャリブレーションパラメータを決定するステップと、前記点集合で得られた再投影誤差に基づき、誤差関数を構築するステップと、前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、前記使用すべきキャリブレーションパラメータを取得するステップと、を含む。

好ましくは、前記点集合によって前記初期キャリブレーションパラメータを決定するステップは、前記点集合の数が第１プリセット閾値より大きいか否かを判断するステップと、前記点集合の数が前記第１プリセット閾値より大きいと決定した場合、前記初期キャリブレーションパラメータを取得し、前記点集合の数が前記第１プリセット閾値以下であると決定した場合、前記点集合の数が前記第１プリセット閾値より大きくなるまで、前記複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するステップと、を含む。

好ましくは、前記複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するステップは、前記複数の画像サンプリング素子が前記キャリブレーションパターンを同時に撮影する場合、前記複数の画像サンプリング素子が所在する位置と前記キャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子の視野範囲で占める前記キャリブレーションパターンの割合が予め設定された条件を満たすようにするステップを含む。

好ましくは、前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、前記使用すべきキャリブレーションパラメータを取得するステップは、前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するステップと、前記誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するステップと、前記誤差関数の誤差値が前記第２プリセット閾値より小さいと決定した場合、前記カメラ内部行列及び前記カメラ外部行列を前記使用すべきキャリブレーションパラメータとして決定し、前記誤差関数の誤差値が前記第２プリセット閾値以上であると決定した場合、前記誤差関数の誤差値が前記第２プリセット閾値より小さくなるまで、前記複数枚の画像から対応する点集合を改めて取得するステップと、を含む。

好ましくは、前記複数の画像サンプリング素子は同じタイプの画像サンプリング素子であり、又は、前記複数の画像サンプリング素子は異なるタイプの画像サンプリング素子であり、前記複数の画像サンプリング素子のタイプは望遠カメラ、広角カメラ、超広角カメラ、超望遠カメラ、飛行時間ＴＯＦ型深度カメラ、ＲＧＢＤ深度カメラ、構造化光深度カメラ、Ｍｏｎｏカメラ、多眼カメラ、赤外線カメラのうちの少なくとも一つを含む。

本発明の一実施例に基づき、さらに、
複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影し、複数枚の画像を取得するように構成される撮影モジュールと、前記複数枚の画像から対応する点集合を取得する取得モジュールであって、前記点集合は前記キャリブレーションパターンの撮影された表面上の各三次元点の、前記複数枚の画像における対応する結像点であるように構成される取得モジュールと、前記点集合に基づいて前記複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するように構成されるキャリブレーションモジュールと、を含むキャリブレーションパラメータの取得装置を提供する。

好ましくは、前記キャリブレーションモジュールは、前記点集合によって初期キャリブレーションパラメータを決定するように構成される決定ユニットと、前記点集合で得られた再投影誤差に基づき、誤差関数を構築するように構成される構築ユニットと、前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、前記使用すべきキャリブレーションパラメータを取得するように構成される処理ユニットと、を含む。

好ましくは、前記決定ユニットは、前記点集合の数が第１プリセット閾値より大きいか否かを判断するように構成される第１判断サブユニットと、前記点集合の数が前記第１プリセット閾値より大きいと決定した場合、前記初期キャリブレーションパラメータを取得し、前記点集合の数が前記第１プリセット閾値以下であると決定した場合、前記点集合の数が前記第１プリセット閾値より大きくなるまで、前記複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するように構成される第１処理サブユニットと、を含む。

好ましくは、前記第１処理サブユニットは、前記複数の画像サンプリング素子が前記キャリブレーションパターンを同時に撮影する場合、前記複数の画像サンプリング素子が所在する位置と前記キャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子の視野範囲で占める前記キャリブレーションパターンの割合が予め設定された条件を満たすようにする。

好ましくは、処理ユニットは、前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するように構成される第２処理サブユニットと、前記誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するように構成される第２判断サブユニットと、前記誤差関数の誤差値が前記第２プリセット閾値より小さいと決定した場合、前記カメラ内部行列及び前記カメラ外部行列を前記使用すべきキャリブレーションパラメータとして決定し、前記誤差関数の誤差値が前記第２プリセット閾値以上であると決定した場合、前記誤差関数の誤差値が前記第２プリセット閾値より小さくなるまで、前記複数枚の画像から対応する点集合を改めて取得するように構成される第３処理サブユニットと、を含む。

本発明の一つ実施例に基づき、さらに、コンピュータプログラムが記憶される記憶媒体であって、前記コンピュータプログラムが実行される時に上記いずれかに記載のキャリブレーションパラメータの取得方法が実行される記憶媒体を提供する。

本発明の一実施例に基づき、さらに、プログラムを実行するように構成されるプロセッサであって、前記プログラムが実行される時に上記いずれかに記載のキャリブレーションパラメータの取得方法が実行されるプロセッサを提供する。

本発明の一実施例に基づき、
さらに、メモリ及びプロセッサを含み、メモリにコンピュータプログラムが記憶され、プロセッサはコンピュータプログラムを実行して上記のいずれか一項に記載のキャリブレーションパラメータの取得方法を実施する電子機器を提供する。

本発明の少なくとも一部の実施例において、複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影して、複数枚の画像を取得し、複数枚の画像から対応する点集合を取得し、該点集合はキャリブレーションパターンの撮影された表面上の各三次元点の、複数枚の画像における対応する結像点であり、点集合に基づいて複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得する方法を採用することにより、同一距離で複数の画像サンプリング素子に対して一体式キャリブレーションを実現するという目的を達成する。それにより、複数のカメラに対して一体式キャリブレーションを行うことによって得られたキャリブレーションパラメータが、元の入力画像を効果的に修正できるという技術的効果を実現する。さらに複数のカメラに対して一体式キャリブレーションを実現できないという従来技術における課題を解決する。

ここで説明される図面は本発明を更に理解するようにするためのものであり、本願の一部を構成しているが、本発明の例示的な実施例及びその説明は本発明を説明するために用いられ、本発明に対する不当な制限を構成するものではない。図面の説明は以下のとおりである。
図１は本発明の好ましい一実施例に基づくキャリブレーションパラメータ取得プロセスの応用シーンの概略図である。 図２は本発明の一実施例に基づくキャリブレーションパラメータの取得方法のフローチャートである。 図３は本発明の好ましい一実施例に基づくキャリブレーションパラメータの取得方法のフローチャートである。 図４は本発明の一実施例に基づくキャリブレーションパラメータの取得装置の構成ブロック図である。

当業者が本発明の解決手段をよりよく理解するようにするために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確、且つ完全に説明するが、明らかな点として、説明される実施例は本発明の一部の実施例に過ぎず、全ての実施例ではない。本発明の実施例に基づき、当業者が創造的な作業を行うことなく取得した全ての他の実施例は、いずれも本発明の保護範囲に属するべきである。

なお、本発明の明細書と特許請求の範囲、及び上記図面における「第１」、「第２」等の用語は類似の対象を区別するために用いられるものであり、特定の順序又は前後を説明するために用いられる必要はない。このように使用される用語は、本明細書で説明される本発明の実施例を本明細書で図示又は説明された以外の順序で実施するために、適切な状況で交換され得ることを理解されたい。また、「含む」及び「有する」という用語及びそれらの任意の同義語は、排他的でない包含を網羅することを意図しており、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置が明示的に列挙されたそれらのステップ又はユニットに限定される必要はなく、明示的に列挙されないもの、或いは、これらのプロセス、方法、製品又は装置に固有の他のステップ又はユニットを含むことができる。

まず、本発明の少なくとも一部の実施例を説明する過程で使用される名詞又は用語の一部は以下のように適用される。

（１）一体式マルチカメラキャリブレーション
複数のカメラ（一般的にカメラの数は２つ以上）を用いて、一つの環境においてキャリブレーション環境に対してそれぞれ一枚の画像を同時に撮影してキャリブレーションパラメータを取得し、キャリブレーションパラメータはカメラ内部パラメータ及びカメラ外部パラメータを含む。後続の本発明の少なくとも一部の実施例において、３つのカメラ（例えば望遠カメラ、広角カメラ及び超広角カメラを同時に含む）を例として、３つのカメラの一体式キャリブレーションプロセスを説明する。

なお、上記複数のカメラは同じタイプのカメラであってもよく、又は異なるタイプのカメラであってもよい。上記複数のカメラのタイプ及びパラメータが同じであるか否かに関わらず、いずれも本発明の実施例が開示する解決手段により複数のカメラに対するキャリブレーションを実現することができる。また、複数のカメラのタイプは望遠カメラ、広角カメラ、超広角カメラ、超望遠カメラ、ＴＯＦ型深度カメラ、ＲＧＢＤ深度カメラ、構造化光深度カメラ、Ｍｏｎｏカメラ、多眼カメラ、赤外線カメラのうちの少なくとも一つを含むことができるがこれらに限定されない。

（２）カメラ内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）
カメラ内部パラメータは、カメラの焦点距離、主点座標、歪み係数等のパラメータを含む。

（３）カメラ内部行列（ｉｎｔｒｉｎｓｉｃ ｍａｔｒｉｘ）
カメラ内部行列は、ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒを行列に充填して行列形式で出力されたものであり、実質的には、カメラ内部パラメータの別の表現形式である。

（４）カメラ外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）
カメラ外部パラメータは、カメラ間の回転、平行移動等のパラメータを含む。

（５）カメラ外部行列（ｅｘｔｒｉｎｓｉｃ ｍａｔｒｉｘ）
カメラ外部行列は、ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒを行列に充填して行列形式で出力されたものであり、実質的には、カメラ外部パラメータの別の表現形式である。

（６）修正（ｒｅｃｔｉｆｙ）
修正とは、キャリブレーションパラメータにより元の入力画像を、対応点が同一水平線上にあるように変換することを指す。対応点とはキャリブレーション環境における同一点が、３つのカメラで撮影した画像上に形成され且つ互いに対応する結像点を指す。

本発明の一つの実施例によれば、キャリブレーションパラメータの取得方法の実施例を提供する。なお、図面のフローチャートに示されるステップは、コマンドの実行が可能な一組のコンピュータのようなコンピュータシステムにおいて実行されることができる。且つ、フローチャートに論理的順序が示されているが、状況によって、ここに示される又は説明されるステップと異なる順序で実施されることができる。

該方法の実施例はモバイル端末、コンピュータ端末又は類似の電子機器において実行されることができる。モバイル端末において実行される場合を例として、モバイル端末は一つ以上のプロセッサ（プロセッサは中央処理装置（ＣＰＵ）、グラフィックスプロセッサ（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）チップ、マイクロコントローラ（ＭＣＵ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの処理装置を含んでもよいがそれに限定されない）、及びデータを記憶するように構成されたメモリを含んでもよい。好ましくは、上記モバイル端末はさらに通信機能として構成された伝送装置及び入出力装置を含んでもよい。当業者にとって理解できるように、上記構造の説明は例示的なものに過ぎず、上記モバイル端末の構造を限定するものではない。例えば、モバイル端末はさらに上記構造に説明されるものより多い又は少ない構成要素を含み、又は上記構造に説明されるものと異なる構成要素を有してもよい。

メモリはコンピュータプログラム、例えば、本発明の実施例におけるキャリブレーションパラメータの取得方法に対応するコンピュータプログラムのような、アプリケーションソフトウェアのソフトウェアプログラム及びモジュールを記憶するために構成される。プロセッサはメモリに記憶されたコンピュータプログラムを実行することにより、様々な機能アプリケーション及びデータ処理を実行し、上記キャリブレーションパラメータの取得方法を実現する。メモリは高速ランダムアクセスメモリを含むことができ、さらに、一つ以上の磁気記憶装置、フラッシュメモリ、又は他の不揮発性ソリッドステートメモリなどの不揮発性メモリを含むことができる。いくつかの実施例において、メモリはさらにプロセッサに対して遠距離設置されたメモリを含んでもよく、それらの遠距離のメモリはネットワークを介してモバイル端末に接続されてもよい。上記ネットワークの例はインターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがそれに限定されない。

伝送装置はネットワークを介してデータを送受信するように構成される。上記ネットワークの具体例はモバイル端末の通信事業者が提供する無線ネットワークを含んでもよい。一例として、伝送装置は、ネットワークインターフェースコントローラ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、略称ＮＩＣ）を含み、基地局を介して他のネットワーク装置に接続され、それによりインターネットと通信することができる。一例として、伝送装置は無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、略称ＲＦ）モジュールであってもよく、無線方式でインターネットと通信するように構成される。

図１は本発明の好ましい一実施例に基づくキャリブレーションパラメータ取得プロセスの応用シーンの概略図である。図１に示すように、３つのカメラを例として、３つのカメラ（例えば望遠カメラ、広角カメラ及び超広角カメラを同時に含む）は同一のモジュール内にあり、且つキャリブレーションパターンからの所定距離の前に配置される。これにより、モジュールメーカーが携帯電話モジュールの組み立てプロセスにおいて、３つのカメラの一体式キャリブレーションを完了するのが容易になる。当然ながら、本発明は、３つのカメラがモジュール状態でなければならないと限定しているわけではなく、他の配置方式を採用してもよいが、例えば３つのカメラをスマートフォンなどのモバイル端末に取り付けてもよく、上記電子機器により直接キャリブレーションを行ってもよく、３つの異なる装置（例えばモジュール、携帯電話及びカメラの組み合わせ）に配置してもよい。

本実施例は、上記モバイル端末において実行されるキャリブレーションパラメータの取得方法を提供する。図２は本発明の一実施例に基づくキャリブレーションパラメータの取得方法のフローチャートである。図２に示すように、該フローは、
複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影し、複数枚の画像を取得するステップＳ２２と、
複数枚の画像から対応する点集合を取得し、点集合はキャリブレーションパターンの撮影された表面上の各三次元点の、複数枚の画像における対応する結像点であるステップＳ２４と、
点集合に基づいて複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するステップＳ２６と、を含む。

これらの上記ステップによれば、複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影して、複数枚の画像を取得し、複数枚の画像から対応する点集合を取得し、該点集合はキャリブレーションパターンが撮影された表面上の各三次元点の、複数枚の画像における対応する結像点であり、点集合に基づいて複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得する方法を採用することにより、同一距離で複数の画像サンプリング素子に対して一体式キャリブレーションを実現するという目的を達成する。それにより、複数のカメラに対して一体式キャリブレーションを行うことによって得られたキャリブレーションパラメータが、元の入力画像を効果的に修正できるという技術的効果を実現する。さらに複数のカメラに対して一体式キャリブレーションを実現できないという従来技術における課題を解決することができる。

好ましい実施例において、上記キャリブレーションパターンは複数の独立したキャリブレーションテンプレートを含むことができる。各キャリブレーションテンプレートはドットが内含されたいくつかのチェッカーで構成される。そのうちの一つのキャリブレーションテンプレートを参照テンプレートとし、他のキャリブレーションテンプレートはそれぞれ参照テンプレートと異なる方向に所定の夾角を呈して配置される。例えば、図１に示すように、キャリブレーションパターンは４つの独立したキャリブレーションテンプレートを含み、各キャリブレーションテンプレートはドットが内含された１９×１４個のチェッカーで構成され、且つ左上のキャリブレーションテンプレートを参照テンプレートとし、他の３つのキャリブレーションテンプレートはそれぞれ参照テンプレートと異なる方向に３０度の夾角を呈して配置される。

別の好ましい一実施例において、複数のカメラのタイプに深度カメラ及び赤外線カメラが含まれる場合、一般的には上記チェッカーを使用せずに円形キャリブレーションパターンを用いる。その理由は、チェッカーに比べて、円形の方がキャプチャ及び位置決めが容易であり、それにより複数のカメラに対する一体式キャリブレーションの実現に役立ち、且つ得られたキャリブレーション結果もより信頼できる。また、深度カメラ及び赤外線カメラで撮影された画像は暗く、画像の鮮明度を向上させるために、撮影した画像に対して追加の補光処理を行う必要がある。好ましい例として、同じ波長帯域の赤外線ＬＥＤランプによる補光を行うことができる。例えば、装置自体の赤外線送信機が９４０ｎｍの赤外線光を使用している場合、補光処理も９４０ｎｍの赤外線ＬＥＤランプを使用して補光する必要がある。

上記複数の画像サンプリング素子は複数のカメラであってもよく、複数の画像サンプリング素子の数は２つ以上である。

好ましくは、ステップＳ２６において、点集合に基づいて複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するステップは、
点集合によって初期キャリブレーションパラメータを決定するステップＳ２６１と、
点集合で得られた再投影誤差に基づき、誤差関数を構築するステップＳ２６２と、
初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、使用すべきキャリブレーションパラメータを取得するステップＳ２６３と、を含んでもよい。

好ましい一実施例において、３つのカメラ（例えば望遠カメラ、広角カメラ及び超広角カメラを同時に含む）を例とし、且つ３つのカメラは同一のモジュール内にある。画像サンプリング環境（即ちキャリブレーションシーン）を構築することにより、キャリブレーションパターンからの所定距離の前にモジュールを配置する。次に、３つのカメラを制御して画像をサンプリングし、対応する点集合を識別して記憶する。キャリブレーションシーンにおいて、キャリブレーションパターンの撮影された表面上の同一点は、３つのカメラが撮影した画像にそれぞれ対応する結像点が存在し、これらの対応する結像点は即ち互いに対応する点集合である。最後に、これらの対応する点集合（点集合の座標、点と点との対応関係を含むがこれに限定されない）により初期キャリブレーションパラメータ、即ちカメラ内部パラメータ及びカメラ外部パラメータの初期値を決定することができる。

構築された画像サンプリング環境における三次元点の、実際に撮影された複数枚の画像における結像点の位置は真値（すなわち観測された投影位置）と呼ばれてもよい。計算されたキャリブレーションパラメータ及び結像モデルに基づいて推定して得られたこの三次元点の結像点位置は、計算値（すなわち三次元点が現在推定された姿勢に応じて投影して得られた位置である）と呼ばれ、該推定プロセスは再投影と呼ばれる。したがって、結像点の計算値と結像点の真値との差分が再投影誤差となる。

誤差関数はカメラ内部パラメータ及びカメラ外部パラメータに基づいて構築された数学関数である。誤差を計算することによって現在のキャリブレーションパラメータが最適であるか否かを判断する。誤差関数に対して最小化処理を行うことは、キャリブレーションパラメータを反復最適化することによって誤差を最小化し、それにより最適な使用すべきキャリブレーションパラメータを取得することである。

好ましくは、ステップＳ２６１において、点集合によって初期キャリブレーションパラメータを決定するステップは、
点集合の数が第１プリセット閾値より大きいか否かを判断するステップＳ２６１１と、
点集合の数が第１プリセット閾値より大きいと決定した場合、初期キャリブレーションパラメータを取得し、点集合の数が第１プリセット閾値以下であると決定した場合、点集合の数が第１プリセット閾値より大きくなるまで、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するステップＳ２６１２と、を含む。

点集合によって初期キャリブレーションパラメータを決定する過程において、点集合の数が第１プリセット閾値より大きいか否かを判断する必要がある。点集合の数が第１プリセット閾値より大きいと決定できれば、現在の点集合に基づいて初期キャリブレーションパラメータを取得することができる。しかしながら、点集合の数が第１プリセット閾値以下であると決定した場合、点集合の数が第１プリセット閾値より大きくなるまで、まず複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し、次いで複数枚の画像から対応する点集合を改めて取得する必要があり、それにより取得した最新の点集合に基づいて初期キャリブレーションパラメータを取得することができる。

好ましい一実施例において、複数の画像サンプリング素子がキャリブレーションパターンを同時に撮影する場合、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子のＦＯＶで占めるキャリブレーションパターンの割合が予め設定された条件を満たすようにする。例えば、予め設定された比例値を該予め設定された条件とすることができる。各画像サンプリング素子のＦＯＶで占めるキャリブレーションパターンの割合が予め設定された比例値を超えると、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し続ける必要がない。各画像サンプリング素子のＦＯＶで占めるキャリブレーションパターンの割合が予め設定された比例値に達していないと、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し続ける必要がある。

好ましくは、ステップＳ２６３において、初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、使用すべきキャリブレーションパラメータを取得するステップは、
初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するステップＳ２６３１と、
誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するステップＳ２６３２と、
誤差関数の誤差値が第２プリセット閾値より小さいと決定した場合、カメラ内部行列及びカメラ外部行列を使用すべきキャリブレーションパラメータとして決定し、誤差関数の誤差値が第２プリセット閾値以上であると決定した場合、誤差関数の誤差値が第２プリセット閾値より小さくなるまで、複数枚の画像から対応する点集合を改めて取得するステップＳ２６３３と、を含む。

点集合で得られた再投影誤差に基づいて誤差関数を構築した後、誤差関数に対して最小化処理を行うことにより、カメラ内部行列及びカメラ外部行列を取得する。最小化処理の過程において、誤差関数によって算出された誤差値が第２プリセット閾値より小さいか否かを判断することができる。誤差関数から算出された誤差値がプリセット閾値より小さいと決定すれば、最小化の過程が完了したことを示す。誤差関数の誤差値が第２プリセット閾値以上であると決定した場合、誤差関数の誤差値が第２プリセット閾値より小さくなるまで、複数枚の画像から対応する点集合を改めて取得する必要がある。誤差関数によって算出された誤差値が予め設定された閾値より小さいと決定した場合、最小化処理により得られたカメラ内部行列及びカメラ外部行列を最終的な使用すべきキャリブレーションパラメータとして決定することができ、カメラ内部行列及びカメラ外部行列に対して追加の処理を行う必要がない。

以下、図３に示す好ましい実施形態によって、上記好ましい実施過程をさらに詳細に説明する。図３は本発明の好ましい一実施例に基づくキャリブレーションパラメータの取得方法のフローチャートであり、図３に示すように、該フローは、
画像サンプリング環境を構築し、キャリブレーションパターンを配置するステップＳ３０２と、
複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子のＦＯＶで占めるキャリブレーションパターンの割合が予め設定された条件を満たすようにするステップＳ３０４と、
画像をサンプリングし、対応する点集合を識別して記憶するステップＳ３０６であって、キャリブレーションシーンにおいてキャリブレーションパターンの撮影された表面上の同一点は、３つのカメラが撮影した画像にそれぞれ対応する結像点が存在し、これらの対応する結像点は即ち互いに対応する点集合であるステップＳ３０６と、
点集合の数が第１プリセット閾値より大きいか否かを判断し、大きいと、ステップＳ３１０を実行し続け、すなわち初期キャリブレーションパラメータを取得する必要があり、そうでなければ、ステップＳ３０４を実行するように遷移するステップＳ３０８と、
点集合の数が第１プリセット閾値より大きいと決定すると、現在の点集合に基づいて初期キャリブレーションパラメータを取得することができるステップＳ３１０と、
点集合で得られた再投影誤差に基づき、誤差関数を構築するステップＳ３１２と、
初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するステップＳ３１４であって、誤差関数はカメラ内部パラメータ及びカメラ外部パラメータに基づいて構築された数学関数であり、誤差を計算することによって現在のキャリブレーションパラメータが最適であるか否かを判断することであり、誤差関数を最小化することは、キャリブレーションパラメータを反復最適化することによって誤差を最小化し、それにより最適なキャリブレーションパラメータを取得することであるステップＳ３１４と、
誤差関数によって算出された誤差値が第２プリセット閾値より小さいか否かを判断し、小さいと、ステップＳ３１８を実行し続け、最小化プロセスが完了したことを示し、そうでなければ、ステップＳ３０６に戻るステップＳ３１６と、
誤差関数によって算出された誤差値が予め設定された閾値より小さいと決定した場合、最小化処理により得られたカメラ内部行列及びカメラ外部行列を最終的な使用すべきキャリブレーションパラメータとして決定することができ、カメラ内部行列及びカメラ外部行列に対して追加の処理を行う必要がないステップＳ３１８と、
を含む。

以上の実施形態の説明によれば、当業者は上記実施例の方法が、ソフトウェアと必要な汎用ハードウェアプラットフォームにより実現されることができることを明確に理解でき、当然ながらハードウェアによってもよいが、ほとんどの場合、前者はより好ましい実施形態である。このような理解に基づき、本発明の技術的解決手段において、実質的な部分又は従来技術に寄与する部分はソフトウェア製品の形式で実現されることができる。該コンピュータソフトウェア製品は記憶媒体（ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなど）に記憶され、一台の端末装置（携帯電話、コンピュータ、サーバ、又はネットワーク装置等であってもよい）に本発明の各実施例に記載の方法を実行させるためのいくつかのコマンドを含む。

本実施例はさらにキャリブレーションパラメータの取得装置を提供する。該装置は上記実施例及び好ましい実施形態を実現するためのものであり、既に説明したものについては説明を省略する。以下で使用される「モジュール」という用語は、所定の機能を実現することができるソフトウェア及び／又はハードウェアの組み合わせを意味する。以下の実施例で説明される装置はソフトウェアで実現されることが好ましいが、ハードウェア、又はソフトウェアとハードウェアの組み合わせによる実現も可能であり且つ考えられる。

図４は本発明の一実施例に基づくキャリブレーションパラメータの取得装置の構成ブロック図である。図４に示すように、該装置は、複数の画像サンプリング素子によりキャリブレーションシーンにおけるキャリブレーションパターンを撮影し、複数枚の画像を取得するように構成される撮影モジュール１０と、複数枚の画像から対応する点集合を取得するように構成される取得モジュール２０であって、点集合はキャリブレーションパターンの撮影された表面上の各三次元点の、複数枚の画像における対応する結像点である取得モジュール２０と、点集合に基づいて複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するように構成されるキャリブレーションモジュール３０と、を含む。

好ましくは、キャリブレーションモジュール３０は点集合によって初期キャリブレーションパラメータを決定するように構成される決定ユニット（図示せず）と、点集合で得られた再投影誤差に基づき、誤差関数を構築するように構成される構築ユニット（図示せず）と、初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、使用すべきキャリブレーションパラメータを取得するように構成される処理ユニット（図示せず）と、を含む。

好ましくは、決定ユニット（図示せず）は、点集合の数が第１プリセット閾値より大きいか否かを判断するように構成される第１判断サブユニット（図示せず）と、点集合の数が第１プリセット閾値より大きいと決定した場合、初期キャリブレーションパラメータを取得し、点集合の数が第１プリセット閾値以下であると決定した場合、点集合の数が第１プリセット閾値より大きくなるまで、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するように構成される第１処理サブユニット（図示せず）と、を含む。

好ましくは、第１処理サブユニット（図示せず）は、複数の画像サンプリング素子がキャリブレーションパターンを同時に撮影する場合、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子の視野範囲で占めるキャリブレーションパターンの割合が予め設定された条件を満たすようにする。

好ましくは、処理ユニット（図示せず）は、初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するように構成される第２処理サブユニット（図示せず）と、誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するように構成される第２判断サブユニット（図示せず）と、誤差関数の誤差値が第２プリセット閾値より小さいと決定した場合、カメラ内部行列及びカメラ外部行列を使用すべきキャリブレーションパラメータとして決定し、誤差関数の誤差値が第２プリセット閾値以上であると決定した場合、誤差関数の誤差値が第２プリセット閾値より小さくなるまで、複数枚の画像から対応する点集合を改めて取得するように構成される第３処理サブユニット（図示せず）と、を含む。

なお、上記各モジュールはソフトウェア又はハードウェアによって実現されることができ、後者について、上記モジュールが全部同一のプロセッサ内に位置する、又は上記各モジュールが任意の組み合わせでそれぞれ異なるプロセッサ内に位置する方式で実現されることができるが、これに限定されない。

本発明の実施例は、さらに、コンピュータプログラムが記憶される記憶媒体であって、該コンピュータプログラムが実行される時に上記いずれかの方法の実施例におけるステップが実行される記憶媒体を提供する。

好ましくは、本実施例において、上記記憶媒体は、
複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影し、複数枚の画像を取得するＳ１と、
複数枚の画像から対応する点集合を取得し、点集合はキャリブレーションパターンの撮影された表面上の各三次元点の、複数枚の画像における対応する結像点であるＳ２と、
点集合に基づいて複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するＳ３と、を実行するためのコンピュータプログラムが記憶されるように構成されてもよい。

好ましくは、記憶媒体は、点集合によって初期キャリブレーションパラメータを決定するステップと、点集合で得られた再投影誤差に基づき、誤差関数を構築するステップと、初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、使用すべきキャリブレーションパラメータを取得するステップと、を実行するためのコンピュータプログラムが記憶されるように構成される。

好ましくは、記憶媒体は、さらに、点集合の数が第１プリセット閾値より大きいか否かを判断するステップと、点集合の数が第１プリセット閾値より大きいと決定した場合、初期キャリブレーションパラメータを取得し、点集合の数が第１プリセット閾値以下であると決定した場合、点集合の数が第１プリセット閾値より大きくなるまで、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するステップと、を実行するためのコンピュータプログラムが記憶されるように構成される。

好ましくは、記憶媒体は、さらに、複数の画像サンプリング素子がキャリブレーションパターンを同時に撮影する場合、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子の視野範囲で占めるキャリブレーションパターンの割合が予め設定された条件を満たすようにするステップと、を実行するためのコンピュータプログラムが記憶されるように構成される。

好ましくは、記憶媒体は、さらに、初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するステップと、誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するステップと、誤差関数の誤差値が第２プリセット閾値より小さいと決定した場合、カメラ内部行列及びカメラ外部行列を使用すべきキャリブレーションパラメータとして決定するステップと、誤差関数の誤差値が第２プリセット閾値以上であると決定した場合、誤差関数の誤差値が第２プリセット閾値より小さくなるまで、複数枚の画像から対応する点集合を改めて取得するステップと、を実行するためのコンピュータプログラムが記憶されるように構成される。

好ましくは、本実施例において、上記記憶媒体はＵＳＢメモリ、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、略称ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略称ＲＡＭ）、リムーバブルハードディスク、磁気ディスク又は光ディスク等のコンピュータプログラムを記憶可能な各種媒体を含むがこれらに限定されない。

本発明の実施例は、さらに、コンピュータプログラムを実行することにより上記いずれかの方法の実施例におけるステップを実施するように構成されるプロセッサを提供する。

好ましくは、本実施例において、上記プロセッサは、
複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影し、複数枚の画像を取得するＳ１と、
複数枚の画像から対応する点集合を取得し、点集合はキャリブレーションパターンの撮影された表面上の各三次元点の、複数枚の画像における対応する結像点であるＳ２と、
点集合に基づいて複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するＳ３と、をコンピュータプログラムによって実行するように構成されてもよい。

好ましくは、上記プロセッサは、さらに、点集合によって初期キャリブレーションパラメータを決定するステップと、点集合で得られた再投影誤差に基づき、誤差関数を構築するステップと、初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、使用すべきキャリブレーションパラメータを得るステップと、をコンピュータプログラムによって実行するように構成されることができる。

好ましくは、上記プロセッサは、さらに、点集合の数が第１プリセット閾値より大きいか否かを判断するステップと、点集合の数が第１プリセット閾値より大きいと決定した場合、初期キャリブレーションパラメータを取得するステップと、点集合の数が第１プリセット閾値以下であると決定した場合、点集合の数が第１プリセット閾値より大きくなるまで、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するステップと、をコンピュータプログラムによって実行するように設定することができる。

好ましくは、上記プロセッサは、さらに、複数の画像サンプリング素子がキャリブレーションパターンを同時に撮影する場合、複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子の視野範囲で占めるキャリブレーションパターンの割合が予め設定された条件を満たすようにするステップと、をコンピュータプログラムによって実行するように構成されることができる。

好ましくは、上記プロセッサは、さらに、初期化相対パラメータを設定するステップと、初期キャリブレーションパラメータに基づいて誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するステップと、誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するステップと、誤差関数の誤差値が第２プリセット閾値より小さいと決定した場合、カメラ内部行列及びカメラ外部行列を使用すべきキャリブレーションパラメータとして決定するステップと、誤差関数の誤差値が第２プリセット閾値以上であると決定した場合、誤差関数の誤差値が第２プリセット閾値より小さくなるまで、複数枚の画像から対応する点集合を改めて取得するステップと、をコンピュータプログラムによって実行するように設定することができる。

好ましくは、本実施例における具体的な例は上記実施例及び好ましい実施形態で説明した例を参照することができる。本実施例はここで説明を省略する。

上記本発明の実施例番号は説明のためのものであり、実施例の優劣を表すものではない。

本発明の上記実施例において、各実施例に対する説明はそれぞれ異なる方面に重点が示され、ある実施例において詳述されていない部分は、他の実施例の関連説明を参照することができる。

本出願が提供するいくつかの実施例において、当然のことながら、開示された技術内容は、他の方式で実現されることができる。これまで説明された装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は論理機能の分割であってもよく、実際に実現する時には他の分割方式を有してもよく、例えば複数のユニット又はアセンブリを別のシステムに組み合わせるか又は集積してもよく、又はいくつかの特徴を無視し、又は実行しなくてもよい。一方、図示又は議論される相互の結合又は直接的な結合、又は通信接続は、インターフェース、ユニット又はモジュールを介した間接的な結合又は通信接続であってもよく、電気的又は他の形態であってもよい。

前記分離部材として説明されたユニットは物理的に分離してもよく又は分離しなくてもよく、ユニットとして示された部材は物理的ユニットであってもよく又はそうでなくてもよく、すなわち一箇所に位置してもよく、又は複数のユニットに分布していてもよい。実際の必要に応じてそのうちの一部又は全てのユニットを選択して本実施例の解決手段の目的を達成することができる。

また、本発明の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよく、各ユニットが単独で物理的に存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記集積されるユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。

上記集積されるユニットがソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、コンピュータ読取可能な記憶媒体に記憶することができる。このような理解に基づき、本発明の技術的解決手段は、実質的部分である従来技術に寄与する部分又は該技術的解決手段の全て又は一部をソフトウェア製品の形式で実現することができる。該コンピュータソフトウェア製品は記憶媒体に記憶され、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又は他のネットワーク装置等であってもよい）により本発明の各実施例に記載の方法の全て又は一部のステップを実行するいくつかのコマンドが含まれる。上記記憶媒体はＵＳＢメモリ、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な各種媒体を含む。

以上の記載は本発明の好ましい実施形態に過ぎず、明らかなこととして、当業者であれば、本発明の原理から逸脱しない前提で、更に改良及び変更を行うことができ、それらの改良及び変更も本発明の保護範囲とみなされるべきである。

Claims (12)

1. 複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影し、複数枚の画像を取得し、前記複数の画像サンプリング素子は同一のモジュール内にあり、且つ前記同一のモジュールは前記キャリブレーションパターンからの所定距離の前に配置され、前記複数の画像サンプリング素子のタイプが異なり、前記キャリブレーションパターンは複数のキャリブレーションテンプレートを含み、各前記キャリブレーションテンプレートはドットが内含された複数のチェッカーで構成され、前記キャリブレーションパターンのうちのいずれかのキャリブレーションテンプレートを参照テンプレートとし、前記参照テンプレート以外の複数のキャリブレーションテンプレートはそれぞれ前記参照テンプレートと、異なる方向に所定の夾角を呈して配置されるステップと、
   前記複数枚の画像から対応する点集合を取得し、前記点集合は前記キャリブレーションパターンの撮影された表面上の各三次元点の、前記複数枚の画像における対応する結像点であるステップと、
   前記点集合に基づいて前記複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するステップと、
   前記複数の画像サンプリング素子が前記キャリブレーションパターンを同時に撮影する場合、前記複数の画像サンプリング素子が所在する位置と前記キャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子の視野範囲で占める前記キャリブレーションパターンの割合が予め設定された条件を満たすようにするステップと、
   を含む、キャリブレーションパラメータの取得方法。
2. 前記点集合に基づいて前記複数の画像サンプリング素子の前記使用すべきキャリブレーションパラメータを取得するステップは、
   前記点集合によって初期キャリブレーションパラメータを決定するステップと、
   前記点集合で得られた再投影誤差に基づき、誤差関数を構築するステップと、
   前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、前記使用すべきキャリブレーションパラメータを取得するステップと、
   を含む、請求項１に記載の方法。
3. 前記点集合によって前記初期キャリブレーションパラメータを決定するステップは、
   前記点集合の数が第１プリセット閾値より大きいか否かを判断するステップと、
   前記点集合の数が前記第１プリセット閾値より大きいと決定した場合、前記初期キャリブレーションパラメータを取得し、前記点集合の数が前記第１プリセット閾値以下であると決定した場合、前記点集合の数が前記第１プリセット閾値より大きくなるまで、前記複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するステップと、
   を含む、請求項２に記載の方法。
4. 前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、前記使用すべきキャリブレーションパラメータを取得するステップは、
   前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するステップと、
   前記誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するステップと、
   前記誤差関数の誤差値が前記第２プリセット閾値より小さいと決定した場合、前記カメラ内部行列及び前記カメラ外部行列を前記使用すべきキャリブレーションパラメータとして決定し、前記誤差関数の誤差値が前記第２プリセット閾値以上であると決定した場合、前記誤差関数の誤差値が前記第２プリセット閾値より小さくなるまで、前記複数枚の画像から対応する点集合を改めて取得するステップと、
   を含む、請求項２に記載の方法。
5. 前記複数の画像サンプリング素子は同じタイプの画像サンプリング素子であり、又は、前記複数の画像サンプリング素子は異なるタイプの画像サンプリング素子であり、前記複数の画像サンプリング素子のタイプは望遠カメラ、広角カメラ、超広角カメラ、超望遠カメラ、飛行時間ＴＯＦ型深度カメラ、ＲＧＢＤ深度カメラ、構造化光深度カメラ、Ｍｏｎｏカメラ、多眼カメラ、赤外線カメラのうちの少なくとも一つを含む、請求項１に記載の方法。
6. 複数の画像サンプリング素子によりキャリブレーションシーン内のキャリブレーションパターンを撮影し、複数枚の画像を取得するように構成される撮影モジュールであって、前記複数の画像サンプリング素子は同一のモジュール内にあり、且つ前記同一のモジュールは前記キャリブレーションパターンからの所定距離の前に配置され、前記複数の画像サンプリング素子のタイプが異なり、前記キャリブレーションパターンは複数のキャリブレーションテンプレートを含み、各前記キャリブレーションテンプレートはドットが内含された複数のチェッカーで構成され、前記キャリブレーションパターンのうちのいずれかのキャリブレーションテンプレートを参照テンプレートとし、前記参照テンプレート以外の複数のキャリブレーションテンプレートはそれぞれ前記参照テンプレートと、異なる方向に所定の夾角を呈して配置されるように構成される撮影モジュールと、
   前記複数枚の画像から対応する点集合を取得する取得モジュールであって、前記点集合は前記キャリブレーションパターンの撮影された表面上の各三次元点の、前記複数枚の画像における対応する結像点であるように構成される取得モジュールと、
   前記点集合に基づいて前記複数の画像サンプリング素子の使用すべきキャリブレーションパラメータを取得するように構成されるキャリブレーションモジュールと、
   を含み、
   前記キャリブレーションモジュールは、さらに、前記複数の画像サンプリング素子が前記キャリブレーションパターンを同時に撮影する場合、前記複数の画像サンプリング素子が所在する位置と前記キャリブレーションパターンとの間の距離を調整し、それにより各画像サンプリング素子の視野範囲で占める前記キャリブレーションパターンの割合が予め設定された条件を満たすようにする、キャリブレーションパラメータの取得装置。
7. 前記キャリブレーションモジュールは、
   前記点集合によって初期キャリブレーションパラメータを決定するように構成される決定ユニットと、
   前記点集合で得られた再投影誤差に基づき、誤差関数を構築するように構成される構築ユニットと、
   前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、前記使用すべきキャリブレーションパラメータを取得するように構成される処理ユニットと、
   を含む、請求項６に記載の装置。
8. 前記決定ユニットは、
   前記点集合の数が第１プリセット閾値より大きいか否かを判断するように構成される第１判断サブユニットと、
   前記点集合の数が前記第１プリセット閾値より大きいと決定した場合、前記初期キャリブレーションパラメータを取得し、前記点集合の数が前記第１プリセット閾値以下であると決定した場合、前記点集合の数が前記第１プリセット閾値より大きくなるまで、前記複数の画像サンプリング素子が所在する位置とキャリブレーションパターンとの間の距離を調整するように構成される第１処理サブユニットと、
   を含む、請求項７に記載の装置。
9. 前記処理ユニットは、
   前記初期キャリブレーションパラメータに基づいて前記誤差関数に対して最小化処理を行い、カメラ内部行列及びカメラ外部行列を取得するように構成される第２処理サブユニットと、
   前記誤差関数の誤差値が第２プリセット閾値より小さいか否かを判断するように構成される第２判断サブユニットと、
   前記誤差関数の誤差値が前記第２プリセット閾値より小さいと決定した場合、前記カメラ内部行列及び前記カメラ外部行列を前記使用すべきキャリブレーションパラメータとして決定し、前記誤差関数の誤差値が前記第２プリセット閾値以上であると決定した場合、前記誤差関数の誤差値が前記第２プリセット閾値より小さくなるまで、前記複数枚の画像から対応する点集合を改めて取得するように構成される第３処理サブユニットと、
   を含む、請求項７に記載の装置。
10. コンピュータプログラムが記憶される記憶媒体であって、前記コンピュータプログラムが実行される時に請求項１～５のいずれか一項に記載のキャリブレーションパラメータの取得方法が実行される記憶媒体。
11. プログラムを実行するように構成されるプロセッサであって、前記プログラムが実行される時に請求項１～５のいずれか一項に記載のキャリブレーションパラメータの取得方法が実行されるプロセッサ。
12. メモリ及びプロセッサを含み、
    前記メモリにコンピュータプログラムが記憶され、
    前記プロセッサは前記コンピュータプログラムを実行して請求項１～５のいずれか一項に記載のキャリブレーションパラメータの取得方法を実行する、
    電子機器。