JP7099627B2 - カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム - Google Patents
カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム Download PDFInfo
- Publication number
- JP7099627B2 JP7099627B2 JP2021515390A JP2021515390A JP7099627B2 JP 7099627 B2 JP7099627 B2 JP 7099627B2 JP 2021515390 A JP2021515390 A JP 2021515390A JP 2021515390 A JP2021515390 A JP 2021515390A JP 7099627 B2 JP7099627 B2 JP 7099627B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- camera
- dimensional coordinates
- local coordinate
- rotation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Description
本発明は、内部パラメータが既知のカメラの外部パラメータを推定するための、カメラパラメータ推定装置及びカメラパラメータ推定方法に関し、更には、これらを実現するためのプログラムに関する。
既知の３次元座標を観測した画像からカメラパラメータを推定する技術は、ロボットの自己位置推定、および画像合成において、重要な要素技術である。また、カメラパラメータには、外部パラメータと、内部パラメータとの２種類が存在する。外部パラメータは、カメラの３次元空間における位置と姿勢とを表すパラメータであり、即ち、回転行列と並進ベクトルである。内部パラメータは、レンズの焦点距離、光学中心、アスペクト比、せん断係数、レンズ歪み係数などのパラメータである。以下では、既知の３次元座標と、この３次元座標を画像上で観測することによって得られた２次元点とのペアを、単に「対応点」と表記する。
内部パラメータが固定されたカメラの場合、すなわち、レンズがカメラに設定された後に焦点距離などのパラメータが撮影中に変更されない場合、内部パラメータは広く公知であるＴｓａｉの方法、又はＺｈａｎｇの方法などを用いて事前に計測することができる。このように内部パラメータが既知のカメラ（以下、単に「校正済みカメラ」と表記する）は、ロボットや自動車の自動運転などの応用で用いられる。そして、このようなカメラにおいては、カメラが運動した際の外部パラメータを低演算量で計算することが重要となる。校正済みカメラの外部パラメータは、少なくとも３組の対応点が与えられれば、計算可能なことが知られており、これはＰ３Ｐ（Perspective-three-point）問題と呼ばれている。
ここで、Ｐ３Ｐ問題の解法について説明する。非特許文献１と非特許文献２とは、共に、Ｐ３Ｐ問題の解法に関する方法を開示している。非特許文献１に開示された方法では、まず、対応点と、回転行列と、並進ベクトルと、カメラ中心とを用いて、各３次元座標への奥行きがなす射影変換式から、回転行列と並進ベクトルとが消去され、１個の奥行きについての４次方程式が求められる。次に、４次方程式を解くことによって、３個の奥行きが計算される。そして、奥行きが射影変換式へ代入され、特異値分解により、外部パラメータである回転行列と並進ベクトルとが計算される。
また、非特許文献２に開示された方法では、まず、２ステップからなる特殊な座標変換により、３次元座標の１つを中心とするローカル座標系が定義される。次に、カメラ位置とｘ軸とが乗る平面と、ローカル座標系におけるｚ＝０の平面とがなす角度に関する、４次方程式が求められる。そして、４次方程式を解くことによって、角度が代入され、ローカル座標系から元の世界座標へと逆変換されることで、外部パラメータである回転行列と並進ベクトルとが計算される。
Gao, Xiao-Shan, et al. "Complete solution classification for the perspective-three-point problem." IEEE transactions on pattern analysis and machine intelligence 25.8 (2003): 930-943.
Kneip, Laurent, Davide Scaramuzza, and Roland Siegwart. "A novel parametrization of the perspective-three-point problem for a direct computation of absolute camera position and orientation." CVPR 2011. IEEE, 2011.
しかしながら、上述の非特許文献１及び２に開示された方法には、以下のような問題がある。まず、非特許文献１に開示された方法には、特異値分解を用いるため演算量が高く、計算に時間がかかるため、数値計算の安定性が低いという問題がある。
一方、非特許文献２に開示された方法では、特異値分解を用いないため非特許文献１に記載された方法よりも高速に計算が可能であるが、ローカル座標系への変換に２ステップを要する。このため、非特許文献２に開示された方法であっても、数値計算の安定性が低いという問題は依然として残っている。
本発明の目的の一例は、上記問題を解消し、特異値分解を用いることなく、１ステップで高速に、外部パラメータを推定し得る、カメラパラメータ推定装置、カメラパラメータ推定方法、およびプログラムを提供することにある。
上記目的を達成するため、本発明の一側面におけるカメラパラメータ推定装置は、
カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、３次元座標変換部と、
前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、奥行き計算部と、
前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、回転行列計算部と、
前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、並進ベクトル計算部と、
前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、逆変換部と
を備えている、ことを特徴とする。
カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、３次元座標変換部と、
前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、奥行き計算部と、
前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、回転行列計算部と、
前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、並進ベクトル計算部と、
前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、逆変換部と
を備えている、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面におけるカメラパラメータ推定方法は、
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を有する、ことを特徴とする。
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を実行させることを特徴とする。
コンピュータに、
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を実行させることを特徴とする。
以上のように、本発明によれば、特異値分解を用いることなく、１ステップで高速に、外部パラメータを推定することができる。
（実施の形態）
以下、本発明の実施の形態における、カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラムについて、図１～図４を参照しながら説明する。
以下、本発明の実施の形態における、カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラムについて、図１～図４を参照しながら説明する。
［座標系］
最初に、図１を用いて、本実施の形態で用いられる座標系について説明する。図１は、本発明の実施の形態で用いられる座標系の一例を示す図である。図１では、世界座標系の原点に対して、回転行列Ｒと並進ベクトルｔとで表される位置にあるカメラにより、３個の３次元座標Ｘ１、Ｘ２、Ｘ３が、それぞれ画像座標ｍ１、ｍ２、ｍ３として観測される様子が表されている。
最初に、図１を用いて、本実施の形態で用いられる座標系について説明する。図１は、本発明の実施の形態で用いられる座標系の一例を示す図である。図１では、世界座標系の原点に対して、回転行列Ｒと並進ベクトルｔとで表される位置にあるカメラにより、３個の３次元座標Ｘ１、Ｘ２、Ｘ３が、それぞれ画像座標ｍ１、ｍ２、ｍ３として観測される様子が表されている。
なお、本明細書では、ある３次元座標と、それに対応する画像上の２次元座標（以下「画像座標」と表記する）とを合わせて、対応点と表記することとする。また、本実施の形態において、カメラの内部パラメータは校正済みであるため、例えば、画像座標ｍ１、ｍ２、ｍ３は内部パラメータを用いて正規化されているとする。
［装置構成］
続いて、図２を用いて、本発明の実施の形態におけるカメラパラメータ推定装置の構成及び機能について説明する。図２は、本発明の実施の形態におけるカメラパラメータ推定装置の構成を示すブロック図である。
続いて、図２を用いて、本発明の実施の形態におけるカメラパラメータ推定装置の構成及び機能について説明する。図２は、本発明の実施の形態におけるカメラパラメータ推定装置の構成を示すブロック図である。
図２に示す本実施の形態におけるカメラパラメータ推定装置１０は、カメラによって対象物を撮影した際における、このカメラの外部パラメータ、即ち、カメラの回転行列及び並進ベクトルを推定する装置である。図２に示すように、カメラパラメータ推定装置１０は、３次元座標変換部１１と、奥行き計算部１２と、回転行列計算部１３と、並進ベクトル計算部１４と、逆変換部１５とを備えている。
３次元座標変換部１１は、まず、カメラによって撮影された対象物に関する３組の３次元座標と、このカメラで撮影された画像上における３次元座標それぞれに対応する２次元座標（画像座標）とを入力として取得する。次いで、３次元座標変換部１１は、３次元座標の座標系を、世界座標から、３次元座標の１つを原点とするローカル座標系へと変換する。
奥行き計算部１２は、ローカル座標系に変換された各３次元座標から対応する画像座標への射影変換式に基づいて、線形変換行列を計算する。線形変換行列は、後述する回転行列と、カメラ中心から３次元座標それぞれへの奥行きと、の関係を表す、行列である。
次に、奥行き計算部１２は、後述する回転行列の直交性を利用して、これらの奥行きのいずれか１つに関する４次方程式の係数を計算して、４次方程式を解くことによって、奥行きそれぞれを計算する。
回転行列計算部１３は、奥行きそれぞれと線形変換行列とを用いて、ローカル座標系におけるカメラの回転行列を計算する。
並進ベクトル計算部１４は、射影変換式に基づいて、奥行きそれぞれから、ローカル座標系におけるカメラの並進ベクトルを計算する。具体的には、並進ベクトル計算部１４は、回転行列と奥行きとを射影変換式に代入して、並進ベクトルを計算する。
逆変換部１５は、ローカル座標系にて算出されたカメラの回転行列及び並進ベクトルを元の世界座標系へと逆変換し、世界座標系におけるカメラの回転行列及び並進ベクトルを計算する。そして、逆変換部１５は、計算した回転行列及び並進ベクトルを、カメラの外部パラメータとして出力する。
このように、本実施の形態におけるカメラパラメータ推定装置は、カメラ中心から３次元座標への奥行きと、線形変換行列とを計算し、これらの計算結果から、カメラの回転行列及び並進ベクトルを計算する。即ち、本実施の形態では、特異値分解を実行する必要はなく、また、２ステップの座標変換によってローカル座標系が定義されているわけではない。本実施の形態によれば、特異値分解を用いることなく、１ステップで高速に、カメラの外部パラメータである回転行列と並進ベクトルとを推定することができる。
［装置動作］
次に、本発明の実施の形態におけるカメラパラメータ推定装置１０の動作について図３を用いて説明する。図３は、本発明の実施の形態におけるカメラパラメータ推定装置１０の動作を示すフロー図である。以下の説明においては、適宜図２を参酌する。また、本実施の形態では、カメラパラメータ推定装置１０を動作させることによって、カメラパラメータ推定方法が実施される。よって、本実施の形態におけるカメラパラメータ推定方法の説明は、以下のカメラパラメータ推定装置１０の動作説明に代える。
次に、本発明の実施の形態におけるカメラパラメータ推定装置１０の動作について図３を用いて説明する。図３は、本発明の実施の形態におけるカメラパラメータ推定装置１０の動作を示すフロー図である。以下の説明においては、適宜図２を参酌する。また、本実施の形態では、カメラパラメータ推定装置１０を動作させることによって、カメラパラメータ推定方法が実施される。よって、本実施の形態におけるカメラパラメータ推定方法の説明は、以下のカメラパラメータ推定装置１０の動作説明に代える。
図３に示すように、まず、カメラパラメータ推定装置１０に３組の対応点が入力されると、３次元座標変換部１１は、これらの対応点を取得する。そして、３次元座標変換部１１は、対応点を構成する３組の３次元座標の座標系を、世界座標から３次元座標の１つを中心とするローカル座標系へと変換する。（ステップＳ１１）。
但し、本実施の形態では、入力される対応点は、推定すべきカメラパラメータにおける、いわゆる退化配置（Degenerate ConfigurationまたはCritical Configurationとも呼ばれる）ではないとする。なぜならば、そのような対応点に対しては、理論的にカメラパラメータを推定できないためである。また、座標値に関して、３次元座標も２次元点も共に全て異なるとする。これは、例えば、１つの３次元座標が複数の異なる２次元点に対応することは現実的に起こりえないためである。
カメラパラメータ推定装置１０において、これらの不適切な対応点は以降の処理から除外される。また、本実施の形態は、カメラパラメータ推定装置１０とは別の装置が、カメラパラメータ推定装置１０の代わりに、対応点のエラー判定等を行う態様であっても良い。
次に、奥行き計算部１２は、ステップＳ１１でローカル座標系に変換された各３次元座標から対応する画像座標へと射影変換するための射影変換式に基づいて、回転行列と奥行きとに関する線形変換行列を計算する（ステップＳ１２）。
次に、奥行き計算部１２は、後のステップで計算される回転行列の直交性を利用して、１つの奥行きに関する４次方程式の係数を計算して、この４次方程式の解を求め、求めた解を奥行きとする（ステップＳ１３）。
一般的に、４次方程式の解は複素数になることもあり得るが、全てのカメラパラメータは必ず実数であるため、本実施の形態においては、実数解のみが対象となる。また、カメラパラメータ推定装置１０は、各ステップの計算結果が複素数のみとなった場合には、解なしのフラグを出して以降の処理を終了しても良い。
例えば、誤った３次元座標と２次元点との組が対応点に含まれていたり、数値計算の精度が不足して実数解が複素数解として計算されたりする場合に、４次方程式の解が複素数になることが起こりうる。
次に、回転行列計算部１３は、ステップＳ１３で計算した奥行きと、ステップＳ１２で計算した線形変換行列とを用いて、ローカル座標系におけるカメラの回転行列を計算する（ステップＳ１４）。ここで、ステップＳ１３で計算された４次方程式の実数解が複数の場合、回転行列計算部１３は、複数の奥行きそれぞれ毎に、回転行列を計算する。すなわち、４次方程式は最大で４個の実数解を持つため、ステップＳ１４の計算回数は高々４回である。
次に、並進ベクトル計算部１４は、ステップＳ１２でも用いた射影変換式に基づいて、ステップＳ１３で計算した奥行きから、ローカル座標系におけるカメラの並進ベクトルを計算する（ステップＳ１５）。具体的には、並進ベクトル計算部１４は、ステップＳ１４で計算した回転行列と、ステップＳ１３で計算した奥行きとを、射影変換式に代入して、並進ベクトルを計算する。また、ステップＳ１５でも、並進ベクトル計算部１４は、回転行列計算部１３と同様に、ステップＳ１３で計算された実数解のすべてについて並進ベクトルを算出する。
最後に、逆変換部１５は、ステップＳ１４でローカル座標系にて算出された回転行列と、ステップＳ１５で計算された並進ベクトルとを、元の世界座標系へと逆変換し、得られた回転行列と並進ベクトルとをカメラの外部パラメータとして出力する（ステップＳ１６）。また、ステップＳ１６では、逆変換部１５は、ステップＳ１４で計算された全ての回転行列とステップＳ１５で計算された全ての並進ベクトルとで得られる、組合せそれぞれ毎に、出力を実行する。
［具体例］
ここで、本実施の形態の具体例について以下に説明する。なお、以下の説明では、適宜図１～図３を参酌する。また、以下の説明では、上添字の「Ｔ」は行列n及びベクトルの転置を表し、「０」はゼロ行列及びゼロベクトルを表し、「Ｉ」は単位行列を表し、「|| ||」はベクトルのＬ２ノルムを表し、「×」は３次元ベクトルのクロス積を表す。
ここで、本実施の形態の具体例について以下に説明する。なお、以下の説明では、適宜図１～図３を参酌する。また、以下の説明では、上添字の「Ｔ」は行列n及びベクトルの転置を表し、「０」はゼロ行列及びゼロベクトルを表し、「Ｉ」は単位行列を表し、「|| ||」はベクトルのＬ２ノルムを表し、「×」は３次元ベクトルのクロス積を表す。
まず、対応点である３次元座標と画像座標との射影変換式が以下の数１によって定義されているとする。以下の数１により、あるi番目の３次元座標Xi=[xi,yi,zi]Tは、回転行列Ｒと並進ベクトルｔとにより、画像座標mi=[ui,vi,1]Tへと射影される。また、数１において、diはカメラ中心からXiへの奥行きである。
次に、ローカル座標系への変換は、以下の数２により表される。
上記数２により、ローカル座標系における３次元座標系は、X1=[0,0,0]T、X2=[a,0,0]T、X3=[b,c,0]Tとなる。ここで、a,b,cは変換後の座標値である。これを用いて、上記数１を各対応点について書き下すと、上記数１は、下記の数３によって表される。
ここで、rjは回転行列の第ｊ列目を表す。そして、上記数３において、第１式と第２式との差分を取り、tを消去すると、以下の数４が得られる。また、数４において、d=[d1, d2, d3]Tである。
次に、上記数３において、第１式と第３式との差分を求め、求めた差分を上記数４に代入すると、以下の数５が得られる。
上記数４および数５は、回転行列の第１列と第２列とが、共に、奥行きとの線形変換により表されることを示している。
次に、回転行列の正規直交性より、下記の数６が得られる。
ここで、kは、dの３つの成分のうちいずれか一つを１とし、その他の成分を新たな未知数x,yで置き換えることによって得られるベクトルである。即ち、k=[1,d2/d1,d3/d1] T=[1,x,y]T、k=[d1/d2,1,d3/d2]T=[x,1,y]T、k=[d1/d3,d2/d3,1]T=[x,y,1]Tのいずれかである。
上記数６は、定数倍に不定であり、また、奥行きdiは０以上であることから、ベクトルdをkで置き換えても数学的には等価である。また、未知数の数を３個から２個へと減少させることができる。
上記数６は、x，ｙの２変数に対して拘束式が２つであるから、その解を求めることができる。その方法の一つは、終結式（resultant）の理論に基づき、上記数６からxまたはyのいずれか一方を消去して１変数の方程式に帰着させることである。例えば、yを消去するとxについての４次方程式となる。Ｐ３Ｐ問題の解が、１変数の４次方程式に帰着することは非特許文献１及び２でも明らかにされており、この明らかにされている内容と上述の上記数６とが一致することは、本発明の理論的な正しさを裏付けている。
また、上述したとおり、kはどの成分を１と選択するかにより３通り存在する。４次方程式の各係数の演算量が最小となるのは、第１成分又は第２成分を１とした場合（k = [1,x,y] T又はk= [x,1,y] T）であり、演算量が最大となるのは、第３成分を１とした場合（k =[x,y,1] T）である。
なぜならば、上記数６の第２式において、行列ATBの第３行は全てゼロであるため、第１成分又は第２成分を選択した場合は、左から乗算したkTの第３成分をゼロと置いたことに等しくなり、上記数６の第２式においてx2又はy2の係数がゼロとなるからである。ゆえに、４次方程式の係数計算を最小化するには、k = [1,x,y] T、又はk= [x,1,y] Tとすれば良い。
本実施の形態では、４次方程式の解を得るために、公知である様々な解法を利用できる。例えば、Ferrariの解法やEulerの解法などの代数的な直接法が用いられても良いし、固有値固有ベクトル計算を応用したコンパニオン行列に基づく解法が用いられても良よい。
４次方程式の解が得られれば、上記数４及び数５から、回転行列Ｒの第１列と第２列とは、単純な線形変換である行列ベクトル積に基づいて計算される。上述したkの一つの成分を１とおくことで生じるスケール不定性は、第１列及び第２列共に、Ｌ２ノルムを１と補正すれば良い。即ち、k = k/|| Ak ||又はk = k/|| Bk ||を計算すれば良い。
また、回転行列Ｒの第３列は、第１列と第２列とのクロス積（r3=r1 x r2）により計算できるため、以下の数７に示すように回転行列Ｒの全ての成分が算出される。
そして、並進ベクトルｔは、上記数３の第１式より計算することができる。これまで計算した回転行列Ｒと並進ベクトルｔはローカル座標系における値であるため、式２の逆変換を施すことで元の世界座標における値を得ることができる。すなわち、最終的な回転行列Rと並進ベクトルｔは以下の式８で表される。
ここで、上述の具体例を図３に示したステップＳ１１～Ｓ１６に沿って以下に説明する。
［ステップＳ１１］
まず、ステップＳ１１において、３次元座標変換部１１は、上記数２で表される座標変換を実行し、３次元座標をローカル座標系へと変換する。
まず、ステップＳ１１において、３次元座標変換部１１は、上記数２で表される座標変換を実行し、３次元座標をローカル座標系へと変換する。
［ステップＳ１２］
次に、ステップＳ１２において、奥行き計算部１２は、上記数４及び数５で表したように、回転行列と奥行きとの線形変換を表す、行列Ａと行列Ｂとを計算する。
次に、ステップＳ１２において、奥行き計算部１２は、上記数４及び数５で表したように、回転行列と奥行きとの線形変換を表す、行列Ａと行列Ｂとを計算する。
［ステップＳ１３］
次に、ステップＳ１３において、奥行き計算部１２は、奥行きの第１成分又は第２成分を１とおいて、上記数６の終結式である４次方程式の係数を計算し、４次方程式を解いて、奥行きを計算する。
次に、ステップＳ１３において、奥行き計算部１２は、奥行きの第１成分又は第２成分を１とおいて、上記数６の終結式である４次方程式の係数を計算し、４次方程式を解いて、奥行きを計算する。
［ステップＳ１４］
次に、ステップＳ１４において、回転行列計算部１３は、上記数４および上記数５に基づいて、回転行列の第１列と第２列とを計算し、更に、上記数７に基づいて、回転行列の全成分を計算する。
次に、ステップＳ１４において、回転行列計算部１３は、上記数４および上記数５に基づいて、回転行列の第１列と第２列とを計算し、更に、上記数７に基づいて、回転行列の全成分を計算する。
［ステップＳ１５］
次に、ステップＳ１５において、並進ベクトル計算部１４は、上記数３に基づいて、並進ベクトルを計算する。
次に、ステップＳ１５において、並進ベクトル計算部１４は、上記数３に基づいて、並進ベクトルを計算する。
［ステップＳ１６］
最後に、ステップＳ１６において、逆変換部１５は、上記数８に基づいて、回転行列と並進ベクトルとを元の世界座標系における値へと変換し、得られた回転行列と並進ベクトルとを出力する。
最後に、ステップＳ１６において、逆変換部１５は、上記数８に基づいて、回転行列と並進ベクトルとを元の世界座標系における値へと変換し、得られた回転行列と並進ベクトルとを出力する。
［実施の形態における効果］
以上のとおり、本実施形態によれば、特異値分解を用いずに１ステップで高速にＰ３Ｐ問題を解いて、外部パラメータを推定することが可能となる。その理由は、以下のとおりである。
以上のとおり、本実施形態によれば、特異値分解を用いずに１ステップで高速にＰ３Ｐ問題を解いて、外部パラメータを推定することが可能となる。その理由は、以下のとおりである。
本実施の形態では、まず、対象物の３次元座標をローカル座標系へと変換することで、上記数４及び数５に示すように、回転行列の成分を奥行きの線形変換で表すことができる。つまり、ローカル座標系で奥行きを計算できれば、直接に回転行列を推定できるため、本実施の形態では、非特許文献２に開示された方法のように２ステップの座標変換を実行する必要がない。また、上記数４に示される行列Ａの第３行がゼロであることから、奥行きベクトルの第１成分又は第２成分を１とすることで、４次方程式の係数の演算量を最小化することができ、高速化を図ることができる。
［変形例］
本実施の形態は、上述した例に限定されるものではない。本実施の形態は、上述した例に対して、いわゆる当業者が理解し得る多様な変更を適用することが可能である。例えば、本実施の形態は、以下の変形例に示す形態によっても実施可能である。
本実施の形態は、上述した例に限定されるものではない。本実施の形態は、上述した例に対して、いわゆる当業者が理解し得る多様な変更を適用することが可能である。例えば、本実施の形態は、以下の変形例に示す形態によっても実施可能である。
変形例１：
本実施の形態において、カメラパラメータ推定装置１０に入力された３次元座標がX1=[0,0,0]T、X2=[a,0,0]T、X3=[b,c,0]Tという形式の場合、３次元座標変換部１１と逆変換部１５とは、処理を実行しなくても良い。例えば、このような場合としては、３次元座標が正方マーカーのコーナー点である場合が挙げられる。このよう場合、ローカル座標系と世界座標系とが一致するため、ローカル座標系への変換は不要になるので、結果、カメラパラメータ推定装置１０における演算量を削減することができる。
本実施の形態において、カメラパラメータ推定装置１０に入力された３次元座標がX1=[0,0,0]T、X2=[a,0,0]T、X3=[b,c,0]Tという形式の場合、３次元座標変換部１１と逆変換部１５とは、処理を実行しなくても良い。例えば、このような場合としては、３次元座標が正方マーカーのコーナー点である場合が挙げられる。このよう場合、ローカル座標系と世界座標系とが一致するため、ローカル座標系への変換は不要になるので、結果、カメラパラメータ推定装置１０における演算量を削減することができる。
変形例２：
本実施の形態において、ローカル座標系の定義はX1=[0,0,0]T、X2=[a,0,0]T、X3=[b,c,0]Tに限定されることはない。例えば、ローカル座標系は、y=0の平面を基準とした座標系であっても良い。その場合、回転行列の第１列および第３列を計算し、それらのクロス積として第２列を計算すればよい。但し、どのようにローカル座標系が定義されていても、剛体変換により一致するため、数学的には等価な問題である。
本実施の形態において、ローカル座標系の定義はX1=[0,0,0]T、X2=[a,0,0]T、X3=[b,c,0]Tに限定されることはない。例えば、ローカル座標系は、y=0の平面を基準とした座標系であっても良い。その場合、回転行列の第１列および第３列を計算し、それらのクロス積として第２列を計算すればよい。但し、どのようにローカル座標系が定義されていても、剛体変換により一致するため、数学的には等価な問題である。
変形例３：
本実施の形態において、奥行き計算部１２は、回転行列計算部１３に対して、全ての解を出力しても良いし、奥行きの性質を考慮した場合、正の実数解のみを出力しても良い。また、奥行き計算部１２は、数値計算の誤差により実数解に僅かな虚数成分が乗る可能性を考慮して、虚数解の実部のみを抽出し、抽出した虚数解の実部のみを出力しても良い。
本実施の形態において、奥行き計算部１２は、回転行列計算部１３に対して、全ての解を出力しても良いし、奥行きの性質を考慮した場合、正の実数解のみを出力しても良い。また、奥行き計算部１２は、数値計算の誤差により実数解に僅かな虚数成分が乗る可能性を考慮して、虚数解の実部のみを抽出し、抽出した虚数解の実部のみを出力しても良い。
変形例４：
本実施の形態において、奥行き計算部１２で得られた解がすべて虚数であった場合は、カメラパラメータ推定装置１０は、以降の処理を打ち切って、解無しのフラグを返し、処理を終了しても良い。
本実施の形態において、奥行き計算部１２で得られた解がすべて虚数であった場合は、カメラパラメータ推定装置１０は、以降の処理を打ち切って、解無しのフラグを返し、処理を終了しても良い。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図３に示すステップＳ１１～Ｓ１６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるカメラパラメータ推定装置とカメラパラメータ推定方法とを実現することができる。この場合、コンピュータのプロセッサは、３次元座標変換部１１、奥行き計算部１２、回転行列計算部１３、並進ベクトル計算部１４、及び逆変換部１５として機能し、処理を行なう。
本実施の形態におけるプログラムは、コンピュータに、図３に示すステップＳ１１～Ｓ１６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるカメラパラメータ推定装置とカメラパラメータ推定方法とを実現することができる。この場合、コンピュータのプロセッサは、３次元座標変換部１１、奥行き計算部１２、回転行列計算部１３、並進ベクトル計算部１４、及び逆変換部１５として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、３次元座標変換部１１、奥行き計算部１２、回転行列計算部１３、並進ベクトル計算部１４、及び逆変換部１５とのいずれかとして機能しても良い。
ここで、本実施の形態におけるプログラムを実行することによって、カメラパラメータ推定装置１０を実現するコンピュータについて図４を用いて説明する。図４は、本発明の実施の形態におけるカメラパラメータ推定装置を実現するコンピュータの一例を示すブロック図である。また、本実施の形態におけるコンピュータは、図４に示すコンピュータに限定されず、例えば、ロボット、スマートフォン等の機器に搭載されたコンピュータであっても良い。
図４に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態におけるカメラパラメータ推定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、カメラパラメータ推定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記９）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、３次元座標変換部と、
前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、奥行き計算部と、
前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、回転行列計算部と、
前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、並進ベクトル計算部と、
前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、逆変換部と
を備えている、
ことを特徴とするカメラパラメータ推定装置。
カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、３次元座標変換部と、
前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、奥行き計算部と、
前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、回転行列計算部と、
前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、並進ベクトル計算部と、
前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、逆変換部と
を備えている、
ことを特徴とするカメラパラメータ推定装置。
（付記２）
付記１に記載のカメラパラメータ推定装置であって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするカメラパラメータ推定装置。
付記１に記載のカメラパラメータ推定装置であって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするカメラパラメータ推定装置。
（付記３）
付記１または２に記載のカメラパラメータ推定装置であって、
前記奥行き計算部は、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするカメラパラメータ推定装置。
付記１または２に記載のカメラパラメータ推定装置であって、
前記奥行き計算部は、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするカメラパラメータ推定装置。
（付記４）
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を有する、
ことを特徴とするカメラパラメータ推定方法。
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を有する、
ことを特徴とするカメラパラメータ推定方法。
（付記５）
付記４に記載のカメラパラメータ推定方法であって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするカメラパラメータ推定方法。
付記４に記載のカメラパラメータ推定方法であって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするカメラパラメータ推定方法。
（付記６）
付記４または５に記載のカメラパラメータ推定方法であって、
前記（ｂ）のステップにおいて、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするカメラパラメータ推定方法。
付記４または５に記載のカメラパラメータ推定方法であって、
前記（ｂ）のステップにおいて、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするカメラパラメータ推定方法。
（付記７）
コンピュータに、
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を実行させる、プログラム。
コンピュータに、
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を実行させる、プログラム。
（付記８）
付記７に記載のプログラムであって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするプログラム。
付記７に記載のプログラムであって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするプログラム。
（付記９）
付記７または８に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするプログラム。
付記７または８に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように、本発明によれば、特異値分解を用いずに、１ステップで高速にＰ３Ｐ問題を解いて外部パラメータを推定可能である。本発明は、校正済みカメラの外部パラメータの推定が求められる分野、例えば、ロボットの制御、画像処理等に有効である。
１０ カメラパラメータ推定装置
１１ ３次元座標変換部
１２ 奥行き計算部
１３ 回転行列計算部
１４ 並進ベクトル計算部
１５ 逆変換部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
１１ ３次元座標変換部
１２ 奥行き計算部
１３ 回転行列計算部
１４ 並進ベクトル計算部
１５ 逆変換部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
Claims (9)
- カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、３次元座標変換手段と、
前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、奥行き計算手段と、
前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、回転行列計算手段と、
前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、並進ベクトル計算手段と、
前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、逆変換手段と
を備えている、
ことを特徴とするカメラパラメータ推定装置。 - 請求項１に記載のカメラパラメータ推定装置であって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするカメラパラメータ推定装置。 - 請求項１または２に記載のカメラパラメータ推定装置であって、
前記奥行き計算手段は、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするカメラパラメータ推定装置。 - （ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換し、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算し、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算し、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算しと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、
ことを特徴とするカメラパラメータ推定方法。 - 請求項４に記載のカメラパラメータ推定方法であって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするカメラパラメータ推定方法。 - 請求項４または５に記載のカメラパラメータ推定方法であって、
前記（ｂ）において、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするカメラパラメータ推定方法。 - コンピュータに、
（ａ）カメラによって撮影された対象物に関する３組の３次元座標と、撮影された画像上における前記３次元座標それぞれに対応する２次元座標とを入力として、
前記３次元座標の座標系を、世界座標系から、前記３次元座標の１つを原点とするローカル座標系へと変換する、ステップと、
（ｂ）前記ローカル座標系に変換された前記３次元座標から前記２次元座標への射影変換式に基づいて、線形変換行列を計算し、そして、前記カメラの中心から前記３次元座標それぞれへの奥行きのうちのいずれか１つに関する４次方程式の係数を計算して、前記４次方程式を解くことによって、前記奥行きそれぞれを計算する、ステップと、
（ｃ）前記奥行きそれぞれと前記線形変換行列とを用いて、前記ローカル座標系における前記カメラの回転行列を計算する、ステップと、
（ｄ）前記射影変換式に基づいて、前記奥行きそれぞれから、前記ローカル座標系における前記カメラの並進ベクトルを計算する、ステップと、
（ｅ）前記ローカル座標系における前記カメラの前記回転行列及び前記並進ベクトルを逆変換して、前記世界座標系における前記カメラの回転行列及び並進ベクトルを計算する、ステップと
を実行させる、プログラム。 - 請求項７に記載のプログラムであって、
前記ローカル座標系が、前記奥行きの１つを、前記回転行列を構成するベクトルのうちの２列分で線形変換することによって表される座標系である、
ことを特徴とするプログラム。 - 請求項７または８に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記４次方程式の係数を計算する際に、演算量が最小となる奥行きを選択する、
ことを特徴とするプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/017508 WO2020217360A1 (ja) | 2019-04-24 | 2019-04-24 | カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2020217360A1 JPWO2020217360A1 (ja) | 2020-10-29 |
| JPWO2020217360A5 JPWO2020217360A5 (ja) | 2022-01-25 |
| JP7099627B2 true JP7099627B2 (ja) | 2022-07-12 |
Family
ID=72941166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021515390A Active JP7099627B2 (ja) | 2019-04-24 | 2019-04-24 | カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11935266B2 (ja) |
| JP (1) | JP7099627B2 (ja) |
| WO (1) | WO2020217360A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020208686A1 (ja) * | 2019-04-08 | 2020-10-15 | 日本電気株式会社 | カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 |
| CN114758016B (zh) * | 2022-06-15 | 2022-09-13 | 超节点创新科技(深圳)有限公司 | 摄像设备标定方法、电子设备和存储介质 |
| US11887338B2 (en) * | 2022-06-16 | 2024-01-30 | Motional Ad Llc | Maintaining calibration of an IBIS camera |
| CN115082815B (zh) * | 2022-07-22 | 2023-04-07 | 山东大学 | 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010250452A (ja) | 2009-04-14 | 2010-11-04 | Tokyo Univ Of Science | 任意視点画像合成装置 |
| WO2013111229A1 (ja) | 2012-01-23 | 2013-08-01 | 日本電気株式会社 | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム |
| JP2015106287A (ja) | 2013-11-29 | 2015-06-08 | キヤノン株式会社 | キャリブレーション装置及び方法 |
| WO2019065536A1 (ja) | 2017-09-26 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 再構成方法および再構成装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016106287A (ja) | 2013-03-27 | 2016-06-16 | 太陽誘電株式会社 | 機械の稼動情報を収集するシステム及び方法 |
| TWI720447B (zh) * | 2019-03-28 | 2021-03-01 | 財團法人工業技術研究院 | 影像定位方法及其系統 |
-
2019
- 2019-04-24 WO PCT/JP2019/017508 patent/WO2020217360A1/ja active Application Filing
- 2019-04-24 US US17/604,837 patent/US11935266B2/en active Active
- 2019-04-24 JP JP2021515390A patent/JP7099627B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010250452A (ja) | 2009-04-14 | 2010-11-04 | Tokyo Univ Of Science | 任意視点画像合成装置 |
| WO2013111229A1 (ja) | 2012-01-23 | 2013-08-01 | 日本電気株式会社 | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム |
| JP2015106287A (ja) | 2013-11-29 | 2015-06-08 | キヤノン株式会社 | キャリブレーション装置及び方法 |
| WO2019065536A1 (ja) | 2017-09-26 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 再構成方法および再構成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020217360A1 (ja) | 2020-10-29 |
| WO2020217360A1 (ja) | 2020-10-29 |
| US11935266B2 (en) | 2024-03-19 |
| US20220262037A1 (en) | 2022-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7099627B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム | |
| Geneva et al. | Openvins: A research platform for visual-inertial estimation | |
| JP7052788B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム | |
| Wang et al. | On error assessment in stereo-based deformation measurements: part I: theoretical developments for quantitative estimates | |
| JP3651590B2 (ja) | 点、線から、及び／または画像強度から直接に、３次元シーン構造及びカメラの動きを復元する方法 | |
| JP6547754B2 (ja) | 三角測量装置、三角測量方法およびそのプログラム | |
| CN110738730B (zh) | 点云匹配方法、装置、计算机设备和存储介质 | |
| JPWO2020188799A1 (ja) | カメラ校正装置、カメラ校正方法、及びプログラム | |
| Zhou et al. | A stable algebraic camera pose estimation for minimal configurations of 2D/3D point and line correspondences | |
| CN110930444B (zh) | 一种基于双边优化的点云匹配方法、介质、终端和装置 | |
| Ebrahimi et al. | B-spline curve fitting by diagonal approximation BFGS methods | |
| Barath et al. | Relative pose from sift features | |
| JP7111183B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム | |
| Briales et al. | A minimal closed-form solution for the perspective three orthogonal angles (P3oA) problem: application to visual odometry | |
| JP2013246779A (ja) | ２次元または３次元幾何学変換の統一的な最適計算方法とそのプログラム | |
| JP2017163386A (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム | |
| WO2023166617A1 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体 | |
| Kanatani | Lie algebra method for pose optimization computation | |
| Ha et al. | 6-DOF direct homography tracking with extended Kalman filter | |
| WO2023166618A1 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体 | |
| Ding et al. | A cooperative target 3d tracking method based on epnp and adaptive kalman filter | |
| Meng et al. | Camera motion estimation and optimization approach | |
| JP7286091B2 (ja) | 推定システム、推定装置および推定方法 | |
| WO2023084601A1 (ja) | 算出装置、算出方法、カメラパラメータ推定装置、及び非一時的なコンピュータ可読媒体 | |
| Bayro-Corrochano et al. | Rigid Motion Estimation Using Line Observations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7099627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |