JP7173285B2 - カメラ校正装置、カメラ校正方法、及びプログラム - Google Patents

カメラ校正装置、カメラ校正方法、及びプログラム Download PDF

Info

Publication number
JP7173285B2
JP7173285B2 JP2021506097A JP2021506097A JP7173285B2 JP 7173285 B2 JP7173285 B2 JP 7173285B2 JP 2021506097 A JP2021506097 A JP 2021506097A JP 2021506097 A JP2021506097 A JP 2021506097A JP 7173285 B2 JP7173285 B2 JP 7173285B2
Authority
JP
Japan
Prior art keywords
image
plane
normalized
camera
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021506097A
Other languages
English (en)
Other versions
JPWO2020188799A1 (ja
Inventor
学 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020188799A1 publication Critical patent/JPWO2020188799A1/ja
Application granted granted Critical
Publication of JP7173285B2 publication Critical patent/JP7173285B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Description

本開示は、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
複数のカメラで構成された多視点カメラシステムを用いて３次元的な画像解析を行うために、カメラの光学的な特性及びカメラ同士の位置関係を明らかにすることが必要である。光学的な特性は、個々のカメラごとに固有なパラメータであり、例えば焦点距離、レンズ歪、光学中心座標などを指し、総称して「内部パラメータ」と呼ばれる。内部パラメータは、ズーム値変更や異なるレンズに交換しない限り不変である。また、カメラ同士の位置関係を表すパラメータは、回転行列及び並進ベクトルを指し、「外部パラメータ」と呼ばれる。外部パラメータは、３次元座標の原点に対してカメラを動かさない限り不変である。これら内部パラメータ及び外部パラメータが既知であれば、画像上での被写体の大きさや長さを物理的な距離（例えばメートル）に変換したり、被写体の３次元形状を復元したりすることが可能となる。これらの内部パラメータ及び外部パラメータの一方もしくは両方を計算することは、「カメラ校正（カメラキャリブレーション）」と呼ばれる。また、内部パラメータ及び外部パラメータの一方を、又は、これらの両方を区別することなく、単に「カメラパラメータ」と呼ぶことがある。
内部パラメータが既知という条件の下でカメラ校正を行う方法はPerspective-N-Point（PnP）問題とも呼ばれる。このＰｎＰ問題を解く方法として、種々の方法が提案されている（例えば、特許文献１）。特許文献１に開示されている技術では、画像から水平面に垂直な線分を検出し、検出した複数の垂直線分を仮想平面に投影し、仮想平面上での各線分の平行性を最小化する評価関数を用いて回転行列を算出している。
特許第６０１１５４８号公報
本発明者は、特許文献１に開示されている技術では、上記の評価関数の最小化において観測線分の増加に伴い未知数の方が多くなる、いわゆる劣決定問題になる可能性があることを見出した。劣決定問題の場合、観測する線分の数を増やしても拘束式の数が常に不足し、理論上の最適解が無限個存在するため、現実的に不可能なカメラパラメータも最適解になってしまう。すなわち、算出される外部パラメータの精度が劣化する可能性がある。
本開示の目的は、外部パラメータを精度良く算出できる、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
第１の態様にかかるカメラ校正装置は、カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得する取得部と、
前記取得部にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換する、正規化座標変換部と、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出して出力する、外部パラメータ算出部と、
を具備する。
第２の態様にかかるカメラ校正方法は、カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する。
第３の態様にかかる非一時的なコンピュータ可読媒体は、カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
処理を、カメラ校正装置に実行させるプログラムを格納する。
本開示により、外部パラメータを精度良く算出できる、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
第１実施形態におけるカメラ校正装置の一例を示すブロック図である。 第２実施形態におけるカメラシステムの一例を示すブロック図である。 カメラ座標系と世界座標系との関係の説明に供する図である。 第２実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。 第３実施形態におけるカメラ校正装置の一例を示すブロック図である。 第３実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。 第４実施形態におけるカメラ校正装置の一例を示すブロック図である。 第４実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。 カメラ校正装置のハードウェア構成例を示す図である。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
図１は、第１実施形態におけるカメラ校正装置の一例を示すブロック図である。図１においてカメラ校正装置１０は、取得部１１と、正規化座標変換部１２と、外部パラメータ算出部１３とを有している。
取得部１１は、カメラ（不図示）によって「世界座標空間」が撮影された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。複数の「画像平面内法線ベクトル」は、「世界座標空間」における「基準平面」に対する複数の「世界座標空間内法線ベクトル」にそれぞれ対応する。「世界座標空間」は、世界座標系によって規定される空間である。「基準平面」は、例えば地面又は床等の水平面であってもよい。また、「世界座標空間内法線ベクトル」は、例えば上記の水平面に対して垂直に延びる、ビル又は棚等の辺であってもよい。また、世界座標空間内法線ベクトルの始点及び終点は、基準平面上にあってもよいし基準平面上でなくてもよい。
正規化座標変換部１２は、取得部１１にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である、「画像平面内始点座標」及び「画像平面内終点座標」を、カメラ（不図示）の「内部パラメータ」に基づいて、正規化座標である、「正規化始点座標」及び「正規化終点座標」へ変換する。ここでは、カメラ（不図示）の内部パラメータは、既知であり、正規化座標変換部１２によって取得可能になっている。
外部パラメータ算出部１３は、正規化座標変換部１２にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出して出力する。ここで、「評価関数」は、世界座標空間における上記「基準平面」に対する法線周りの回転パラメータについて過決定となる関数である。
以上のように第１実施形態によれば、カメラ校正装置１０にて外部パラメータ算出部１３は、正規化座標変換部１２にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、回転ベクトル及び回転行列を算出して出力する。「評価関数」は、世界座標空間における上記「基準平面」に対する法線周りの回転パラメータについて過決定となる関数である。
このカメラ校正装置１０の構成により、劣決定問題を回避して、外部パラメータを算出することができる。これにより、外部パラメータを精度良く算出することができる。
＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。
＜カメラシステムの概要＞
図２は、第２実施形態におけるカメラシステムの一例を示すブロック図である。図２においてカメラシステム１は、カメラ２０と、画像供給装置３０と、カメラ校正装置４０とを有している。
カメラ２０は、「世界座標系」における撮影対象エリアを撮影して画像Ｐ１を形成する。
ここで、カメラ２０の「カメラ座標系」と「世界座標系」との関係について説明する。図３は、カメラ座標系と世界座標系との関係の説明に供する図である。
図３においてカメラ座標系の原点は、世界座標系のｚ軸上に位置し、世界座標系の座標［０，０，ｈ］（＝ｃ）を有している。すなわち、カメラ２０の位置は、世界座標系のｚ座標の１次元で表すことができ、また、カメラ２０についての並進ベクトルＴも、１次元という少ないパラメータで表現することができる。
また、カメラ座標系のｚｃ軸は、カメラ２０の光軸に対応する。そして、世界座標系のｘｙ平面に対するｚｃ軸の投影は、世界座標系のｙ軸と重なる。すなわち、世界座標系の＋ｚ方向から見たときに、カメラ座標系のｚｃ軸と世界座標系のｙ軸とは重なるようになっている。すなわち、カメラ２０のヨー回転（つまり、ｙｃ軸周りの回転）が制限されている。これにより、カメラ２０の回転行列は、ロール回転（ｚｃ軸周りの回転）及びピッチ回転（ｘｃ軸周りの回転）の２次元で表すことができ、また、カメラ２０の回転行列Ｒも２次元という少ないパラメータで表現することができる。
なお、本実施形態では、世界座標系の３次元座標は明示的には与えられないため、世界座標系とカメラ座標系を任意に定義付けしてよい。そのため、図３に示すように、世界座標系及びカメラ座標系を設定しても、一般性は失われない。
図２の説明に戻り、画像供給装置３０は、カメラ２０にて形成された画像を取得して、取得した画像をカメラ校正装置４０へ供給する。例えば、画像供給装置３０は、取得した画像を、通信部（不図示）を介してカメラ校正装置４０へ送信してもよい。該画像は、ある時刻の１枚の静止画でもよいし、時系列の連続した動画の各フレーム画像でもよいし、時系列の異なる複数の静止画でもよい。
＜カメラ校正装置の構成例＞
図２においてカメラ校正装置４０は、取得部４１と、正規化座標変換部４２と、外部パラメータ算出部４３と、記憶部４４とを有している。
取得部４１は、カメラ校正装置４０から供給された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。例えば、取得部４１は、カメラ校正装置４０から供給された画像において、ビル又は箱のような、地面と垂直に交わる又は接する人工物の線分を、画像処理により自動的に取得してもよい。又は、取得部４１は、カメラ校正装置４０から供給された動画における特定人物の追跡と関節検出とを組み合わせて各フレーム画像における背骨関節を法線ベクトルとして自動的に取得してもよい。又は、取得部４１は、カメラ校正装置４０から供給された画像に対してユーザが手動入力による「画像平面内法線ベクトル」の指定を受け付けてもよい。なお、取得された複数の画像平面内法線ベクトルに対応する、複数の「世界座標空間内法線ベクトル」の世界座標空間における長さは、互いに異なっていてもよい。また、上記の通り、世界座標空間内法線ベクトルの始点及び終点は、基準平面上にあってもよいし基準平面上でなくてもよい。図３に示した例では、世界座標空間内法線ベクトルの始点は、基準平面上にある。
正規化座標変換部４２は、第１実施形態の正規化座標変換部１２と同様に、取得部４１にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である、「画像平面内始点座標」及び「画像平面内終点座標」を、カメラ２０の「内部パラメータ」に基づいて、正規化座標である、「正規化始点座標」及び「正規化終点座標」へ変換する。カメラ２０の「内部パラメータ」は、記憶部４４に予め記憶されている。ここで、正規化座標変換部４２は、「画像平面内始点座標」及び「画像平面内終点座標」を斉次化する。具体的には、「画像平面内始点座標」及び「画像平面内終点座標」は、図３のｍｉ及びｍｉ’に示すように、３次元に斉次化される。すなわち、「画像平面内始点座標」及び「画像平面内終点座標」は、２次元の画像座標にスケールの不定性を加えた３次元座標で表される。
外部パラメータ算出部４３は、第１実施形態の外部パラメータ算出部１３と同様に、正規化座標変換部１２にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出して出力する。
例えば、外部パラメータ算出部４３は、正規化座標変換部４２にて各画像平面内法線ベクトルについて得られた正規化始点座標のベクトルと正規化終点座標のベクトルとのクロス積とカメラ２０についての回転行列におけるｚｃ軸周りの回転ベクトルとの内積である、スカラー３重積を、複数の画像平面内法線ベクトルについて算出する。そして、外部パラメータ算出部４３は、算出した複数のスカラー３重積の総和を上記の評価関数として用いて、該総和を最少化することが期待される所望のｚｃ軸周りの回転ベクトルを算出する。そして、外部パラメータ算出部４３は、算出した所望のｚｃ軸周りの回転ベクトルに基づいて回転行列を算出する。そして、外部パラメータ算出部４３は、算出した回転行列を出力すると共に、算出した所望のｚｃ軸周りの回転ベクトルをカメラ２０についての並進ベクトルとして出力する。ここで、１つの画像平面内法線ベクトルからｚｃ軸周りの回転ベクトルに対する１つの拘束条件が得られる。このため、２つ以上の画像平面内法線ベクトルを用いることにより、ｚｃ軸周りの回転ベクトルが計算可能となる。さらに、上記の通り、ｙｃ軸周りの回転角度は、ゼロとおける。このため、計算されたｚｃ軸周りの回転ベクトルから、ｚｃ軸周りの回転角度及びｘｃ軸周りの回転角度が推定可能であるため、３×３の回転行列の全体を復元することができる。また、図３を参照して説明したカメラ座標系と世界座標系との関係では、カメラ２０の並進ベクトルは、回転行列のzｃ軸周りの回転ベクトルの定数倍に等しい。さらに、世界座標空間内法線ベクトルの３次元座標が未知なことを利用すると、カメラ２０の高さ（ｚ座標）を１としてもよい。すなわち、並進ベクトルは、回転行列の第３列として計算すればよい。なお、この外部パラメータ算出部４３による外部パラメータの算出については、後に詳しく説明する。
＜カメラ校正装置の動作例＞
図４は、第２実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
取得部４１は、カメラ２０で撮影された画像から、複数の画像平面内法線ベクトルを取得する（ステップＳ１１）。
正規化座標変換部４２は、各画像平面内法線ベクトルの画像平面内始点座標及び画像平面内終点座標を、カメラ２０の内部パラメータに基づいて、正規化始点座標及び正規化終点座標へ変換する（ステップＳ１２）。
外部パラメータ算出部４３は、各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出する（ステップＳ１３）。
ここで、外部パラメータ算出部４３による外部パラメータの算出について具体例を用いて詳しく説明する。なお、以下の説明では、図３に示した記号を用いる。すなわち、カメラ２０は、世界座標系のｚ軸上のｃ＝［０，０，ｈ］Ｔに位置している。また、世界座標系のｘｙ平面に対するｚｃ軸の投影は、世界座標系のｙ軸と重なっている。また、ｉ番目の世界座標空間内法線ベクトルの始点Ｍｉ＝［ｘｉ，ｙｉ，０］Ｔ及び終点Ｍｉ’＝［ｘｉ，ｙｉ，ｚｉ］Ｔは、それぞれ、画像平面上では、ｍｉ＝［ｕｉ，ｖｉ，１］Ｔ及びｍｉ’＝［ｕｉ’，ｖｉ’，１］Ｔとして観測されている。ここで、ｍｉ及びｍｉ’は、内部パラメータにより正規化された斉次座標系で表されている。また、上添え字のＴは、ベクトル又は行列の転置を表している。
まず、解くべき問題の定義を行うことにする。
カメラ２０の回転行列Ｒは、上記の通り、ｙｃ軸周りの回転角度をゼロとおけるため、ｘｃ軸周りの回転角度θｘ及びｚｃ軸周りの回転角度θｚを用いて、次の式（１）によって表すことができる。
Figure 0007173285000001
また、カメラ２０の並進ベクトルtは、カメラ２０の位置ｃと回転行列Ｒとを用いて、次の式２によって表すことができる。
Figure 0007173285000002
 ここで、ｒｊは、回転行列Ｒの第ｊ列目のベクトルを表している。すなわち、式２は、並進ベクトルtが、ｚｃ軸周りの回転ベクトルの定数倍であることを示している。
上記の式（１）及び式（２）を用いると、ｉ番目の世界座標空間内法線ベクトルと画像平面内法線ベクトルとの射影関係は、次の式（３）によって表される。
Figure 0007173285000003
ここで、本実施の形態では、世界座標系を任意に設定できるため、世界座標空間内法線ベクトルの始点及び終点の３次元座標ｘｉ，ｙｉ，ｚｉ（２≦ｉ≦ｎ）とカメラの高さｈとの間には、定数倍の不定性が存在する。すなわち、世界座標空間に対する既知の情報（例えば、ある１つの世界座標空間内法線ベクトルのメートル単位での長さ）が与えられない限り、世界座標空間における絶対的な位置関係は不明で、相対的な位置関係のみが求められる。換言すれば、相対的な大きさは、任意に決定できる。そこで、カメラの高さをｈ＝１とおくと、式（３）は、次の式（４）のように表すことができる。
Figure 0007173285000004
式（４）より、ｎ個の画像平面内法線ベクトルを取得できた場合、その未知数の個数は、２＋３ｎ個である（ｘｃ軸周りの回転角度θｘ及びｚｃ軸周りの回転角度θｚ、並びに、各世界座標空間内法線ベクトルの始点及び終点の３次元座標ｘｉ，ｙｉ，ｚｉ）。一方、１つの画像平面内法線ベクトルから得られる条件数は、４個（ｕｉ，ｖｉ，ｕｉ’，ｖｉ’）であるため、ｎ個の画像平面内法線ベクトルを取得できた場合の条件数は、４ｎ個である。すなわち、ｎが２以上のとき、条件数が未知数を上回る（４ｎ＞２＋３ｎ）ことになり、問題を解くことが可能になる。
続いて、式（４）を解くことにより、回転行列Ｒ及び並進ベクトルｔを算出する方法について説明する。
射影的奥行きλ、λ’を用いて、式（４）の両辺の不定性を除くと、次の式（５）で表される。
Figure 0007173285000005
式（５）における上式と下式との差分は、次の式（６）によって表される。
Figure 0007173285000006
式（６）は、３つのベクトルｍｉ、ｍｉ’及びｒ３が、互いに線形従属であることを示している。すなわち、式（７）に示すように、これら３つのベクトルのスカラー３重積は、ゼロである。
Figure 0007173285000007
１つの画像平面内法線ベクトル毎に、式（７）が得られる。
従って、２つの画像平面内法線ベクトルが取得できた場合、ｒ３は、次の式（８）に表すように、ベクトルのクロス積を用いて、算出することができる。
Figure 0007173285000008
また、ｎ個の画像平面内法線ベクトルが取得できた場合、次の式（９）に示す最小二乗法によって、ｒ３は算出することができる。
Figure 0007173285000009
以上のように、回転行列Ｒの第３列目ｒ３を算出することができる。
上記の式（１）に示したように、回転行列Ｒの第３列目ｒ３は、θｘ及びθｚを用いて陽に表されている。すなわち、ｒ３の各成分から逆三角関数を用いて、θｘ及びθｚを算出することができる。回転行列Ｒは、ｘｃ軸周りの回転及びｚｃ軸周りの回転のみで表されているため、θｘ及びθｚを算出できれば、回転行列Ｒの全成分を算出することができる。
ここで、式（８）及び式（９）は、２つ以上の画像平面内法線ベクトルを取得できれば、回転行列を推定可能であることを示している。また、取得される画像平面内法線ベクトルの数が増えても、その未知数は、回転行列の第３列のみである。式（９）は、数値的に安定な線形最小二乗法であり、nが大きいほど安定する。従って、上記の特許文献１で用いられている評価関数と異なり、取得する画像平面内法線ベクトルの数が多ければ、より高精度に回転行列を求めることができる。
並進ベクトルtは、回転行列Ｒの第３列ｒ３そのものであるから、回転行列Ｒの計算と同時にすでに計算されたことになる。
以上のように第２実施形態によれば、カメラ校正装置４０にて外部パラメータ算出部４３は、正規化座標変換部４２にて各画像平面内法線ベクトルについて得られた正規化始点座標のベクトルと正規化終点座標のベクトルとのクロス積とカメラ２０についての回転行列におけるｚｃ軸周りの回転ベクトルとの内積である、スカラー３重積を、複数の画像平面内法線ベクトルについて算出する。そして、外部パラメータ算出部４３は、算出した複数のスカラー３重積の総和を上記の評価関数として用いて、該総和を最少化することが期待される所望のｚｃ軸周りの回転ベクトルを算出する。そして、外部パラメータ算出部４３は、算出した所望のｚｃ軸周りの回転ベクトルに基づいて回転行列を算出する。そして、外部パラメータ算出部４３は、算出した回転行列を出力すると共に、算出した所望のｚｃ軸周りの回転ベクトルをカメラ２０についての並進ベクトルとして出力する。
このカメラ校正装置４０の構成により、劣決定問題を回避して、外部パラメータを算出することができる。これにより、外部パラメータを精度良く算出することができる。また、３次元座標が未知の条件下で画像情報のみを利用して単眼カメラの校正が可能である。
＜変形例＞
第２実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
＜１＞世界座標系及びカメラ座標系の設定は、上記の設定に限定されない。例えば、ある１つの世界座標空間内法線ベクトルの始点を世界座標系の原点とし、別の世界座標空間内法線ベクトルをｘ軸上に乗るようにしてもよい。その場合、Ｍ１＝［０，０，０］Ｔ、Ｍ１’＝［０，０，ｚ１］Ｔ、Ｍ２＝［０，ｙ２，０］Ｔ、Ｍ１’＝［０、ｙ２，ｚ２］Ｔとなり、並進ベクトルｔは、回転行列の第３列とはならない。しかし、未知数の数は変わらないため、２つ以上の画像平面内法線ベクトルが取得できれば、回転行列及び並進ベクトルを求めることができる。異なる３次元座標系は剛体変換によって一致できるため、原点の設定により解くべき未知数が変わったとしても数学的には等価な問題である。
＜２＞基準平面は、水平面に限定されない。例えば、壁面を基準平面として、床面に平行な線分を世界座標空間内法線ベクトルと定義してもよい。
＜３＞回転行列の表現方法は、上記の式（１）に限定されない。例えば、y軸周りの成分をゼロとした四元数を用いてもよい。
＜４＞回転行列の第３列の計算方法は、式（８）または式（９）に限定されない。式（８）及び式（９）は、画像平面内法線ベクトル同士の交点、つまり、垂直方向の消失点を求めていることに等しい。そのため、垂直方向の消失点を計算する様々な方法を代替に用いてもよい。また、式（９）はいわゆる代数学的誤差を最小化しているが、幾何学的誤差やサンプソン誤差といったより高度な誤差解析方法を用いてもよい。さらに、公知であるＲＡＮＳＡＣ（Random Sample Consensus）や重み付き最小二乗法を式（８）及び式（９）と組み合わせて、誤差の大きい画像平面内法線ベクトルを除去しながら、消失点を計算してもよい。
＜５＞世界座標空間内法線ベクトルの始点のz座標は、ゼロに限定されない。すなわち、世界座標空間内法線ベクトルは必ずしも基準平面に接している必要はない。なぜならば、式（６）から式（７）への導出で示したように、z座標の値は消去されるため、式（８）及び式（９）へ影響を与えないからである。
＜第３実施形態＞
第３実施形態は、画像平面内法線ベクトルと、回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する、実施形態に関する。第３実施形態におけるカメラシステムの基本構成は、第２実施形態におけるカメラシステム１と同じなので、図２を参照して説明する。すなわち、第３実施形態におけるカメラシステム１は、カメラ校正装置４０の代わりに、図５に示すカメラ校正装置５０を含んでいる。
＜カメラ校正装置の構成例＞
図５は、第３実施形態におけるカメラ校正装置の一例を示すブロック図である。図５においてカメラ校正装置５０は、３次元座標算出部５１を有している。
３次元座標算出部５１は、取得部４１にて取得された複数の画像平面内法線ベクトルと、外部パラメータ算出部４３にて算出された回転行列及び並進ベクトルとに基づき、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する。
３次元座標算出部５１は、上記の式（４）を変形することによって得られる、次の式（１０）を用いて、上記の３次元座標を算出することができる。
Figure 0007173285000010
 ただし、ベクトルｒ１，ｒ２，ｒ３は、それぞれ、前記回転行列の列ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、［ｘｉ，ｙｉ，ｚｉ］は、算出対象の３次元座標を表す。
式（１０）は、［ｘｉ，ｙｉ，ｚｉ］Ｔを未知数とする線形連立方程式であるので、容易に解くことができる。
＜カメラ校正装置の動作例＞
図６は、第３実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。図６のフローチャートにおいてステップＳ１１からステップＳ１３は、図４のフローチャートと同じである。
３次元座標算出部５１は、ステップＳ１１にて取得された画像平面内法線ベクトルと、ステップＳ１３にて算出された回転行列及び並進ベクトルとに基づき、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する（ステップＳ２１）。
＜変形例＞
第３実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
＜１＞各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出ために、式（４）を利用したが、これに限定されるものではない。例えば、式（５）を変形した式によって、射影的奥行きも含めて３次元座標を計算してもよい。
＜２＞３次元座標算出部５１は、複数の画像平面内法線ベクトルと回転行列及び並進ベクトルとに加えて、複数の画像平面内法線ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又はカメラ座標系の原点のｚ軸上の座標とに基づき、絶対的な３次元座標を算出してもよい。すなわち、取得した複数の画像平面内法線ベクトルの中で少なくとも１つに対応する世界座標空間内法線ベクトルについて、その絶対的な長さ（例えばメートル単位）が既知である場合、それを利用して、相対的な関係であるカメラ位置や世界座標空間内法線ベクトルの３次元座標を絶対的な関係へと変換できる。例えば、あるｊ番目の世界座標空間内法線ベクトルの終点のｚ座標がｚｊ＝ａと既知である場合、その他の世界座標空間内法線ベクトルの３次元座標とカメラの高さhについて、ａ／ｚｊ倍すればよい。この処理は、３次元座標算出部５１がｚｊ＝ａを入力として受け付けて出力前に３次元座標算出部５１によって実行されてもよいし、カメラ校正装置５０の出力後に後処理として実行されてもよい。
＜第４実施形態＞
第４実施形態は、回転行列、並進ベクトル、及び、３次元座標算出部にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、最適化処理に関する、第４実施形態におけるカメラシステムの基本構成は、第２実施形態におけるカメラシステム１と同じなので、図２を参照して説明する。すなわち、第４実施形態におけるカメラシステム１は、カメラ校正装置４０の代わりに、図７に示すカメラ校正装置６０を含んでいる。
＜カメラ校正装置の構成例＞
図７は、第４実施形態におけるカメラ校正装置の一例を示すブロック図である。図７においてカメラ校正装置６０は、最適化部６１を有している。
最適化部６１は、回転行列、並進ベクトル、及び、３次元座標算出部５１にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、「最適化処理」を実行する。例えば、最適化部６１は、「最適化処理」にて、３次元座標算出部５１にて算出された各画像平面内法線ベクトルについての上記２つの３次元座標を外部パラメータ算出部４３から出力された回転行列及び並進ベクトルを用いて画像平面に射影した２つの「再投影座標」を算出する。そして、最適化部６１は、算出した各画像平面内法線ベクトルについての２つの「再投影座標」と各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である「再投影誤差」を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の上記２つの３次元座標を求める。これにより、回転行列、並進ベクトル、及び、上記２つの３次元座標が高精度化される。
例えば、最適化部６１は、次の式（１１）に基づいて、３次元座標算出部５１にて算出された各画像平面内法線ベクトルについての上記２つの３次元座標と外部パラメータ算出部４３から出力された回転行列及び並進ベクトルとを初期値として用いて、非線形最適化を実行してもよい。
Figure 0007173285000011
 ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、回転行列を表し、ｒ３は、並進ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、Ｍｉ及びＭｉ’は、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、θｚは、前記カメラ座標系の第１軸周りの回転角度を表し、θｘは、前記カメラ座標系の第１軸以外の第２軸周りの回転角度を表し、ｘｉ，ｙｉ，ｚｉは、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、// //は、ノルムを表す。
ここで、上記の式（８）～（１０）は、いわゆる代数的誤差を最小化する線形連立方程式に基づいている。また、回転行列、並進ベクトル、３次元座標と順番に計算していくため、後段になるほど誤差が蓄積する可能性がある。そこで、式（１１）に表されるようないわゆる再投影誤差を最小化することで、パラメータ間の誤差を均質化し、統計的に最適なパラメータを計算することができる。
＜カメラ校正装置の動作例＞
図８は、第４実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
最適化部６１は、ステップＳ１３にて算出された回転行列及び並進ベクトル、並びに、ステップＳ２１にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、「最適化処理」を実行する（ステップＳ３１）。
＜変形例＞
第４実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
上記の式（１１）において、必ずしもすべてのパラメータを最適化する必要はない。例えば、第３実施形態の変形例＜２＞で述べたように、長さが既知の世界座標空間内法線ベクトルが存在する場合、その法線ベクトルの両端点の３次元座標は変数ではなく固定値としてよい。これにより、未知数の数が減少するため、より安定して式（１１）の最適化を行うことができる。
＜他の実施形態＞
図９は、カメラ校正装置のハードウェア構成例を示す図である。図９においてカメラ校正装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
第１実施形態から第４実施形態のカメラ校正装置１０，４０，５０，６０は、それぞれ、図９に示したハードウェア構成を有することができる。第１実施形態から第４実施形態のカメラ校正装置１０，４０，５０，６０の取得部１１，４１と、正規化座標変換部１２，４２と、外部パラメータ算出部１３，４３と、３次元座標算出部５１と、最適化部６１とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。記憶部４４は、メモリ１０２によって実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、カメラ校正装置１０，４０，５０，６０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってカメラ校正装置１０，４０，５０，６０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをカメラ校正装置１０，４０，５０，６０に供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得する取得部と、
前記取得部にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換する、正規化座標変換部と、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出して出力する、外部パラメータ算出部と、
を具備するカメラ校正装置。
（付記２）
前記外部パラメータ算出部は、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた前記正規化始点座標のベクトルと前記正規化終点座標のベクトルとのクロス積と前記カメラについての回転行列におけるカメラ座標系の第１軸についての軸周りの回転ベクトルとの内積である、スカラー３重積を、前記複数の画像平面内法線ベクトルについて算出し、
前記算出された複数のスカラー３重積の総和を前記評価関数として用いて、前記総和を最少化することが期待される所望の前記回転ベクトルを算出すると共に前記算出された所望の回転ベクトルに基づいて前記回転行列を算出し、
前記算出された回転行列を出力すると共に前記算出された所望の回転ベクトルを前記カメラについての並進ベクトルとして出力する、
付記１記載のカメラ校正装置。
（付記３）
前記複数の画像平面内法線ベクトルは、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルであり、
前記外部パラメータ算出部は、次の式に基づいて、前記回転ベクトルを算出する、
付記２記載のカメラ校正装置。
Figure 0007173285000012
 ただし、ｒは、前記回転ベクトルを表し、ｍ１及びｍ１’は、前記第１画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、ｍ２及びｍ２’は、前記第２画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、// //は、ノルムを表す。
（付記４）
前記カメラ座標系は、前記カメラ座標系の前記第１軸が前記カメラの光軸に対応し、前記カメラ座標系の原点が世界座標系の第１軸上に存在し、且つ、前記世界座標系の第２軸及び第３軸による平面に対する、前記カメラ座標系の前記第１軸の投影が、前記世界座標系の前記第２軸と重なるように、定義されている、
付記２又は３に記載のカメラ校正装置。
（付記５）
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
付記４記載のカメラ校正装置。
（付記６）
前記３次元座標算出部は、次の式に基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する、
付記５記載のカメラ校正装置。
Figure 0007173285000013
 ただし、ベクトルｒ１，ｒ２，ｒ３は、それぞれ、前記回転行列の列ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、［ｘｉ，ｙｉ，ｚｉ］は、算出対象の３次元座標を表す。
（付記７）
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルと、前記複数の画像平面内ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又は前記カメラ座標系の原点の前記世界座標系の第１軸上の座標とに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における絶対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
付記４記載のカメラ校正装置。
（付記８）
前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標を前記外部パラメータ算出部から出力された回転行列及び並進ベクトルを用いて前記画像平面に射影した２つの再投影座標と前記各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である再投影誤差を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の前記２つの３次元座標を求めることにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、最適化部を具備する、
付記５から７のいずれか１項に記載のカメラ校正装置。
（付記９）
前記最適化部は、次の式に基づいて、前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標と前記外部パラメータ算出部から出力された回転行列及び並進ベクトルとを初期値として用いて、非線形最適化を行うことにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、
付記８に記載のカメラ校正装置。
Figure 0007173285000014
 ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、回転行列を表し、ｒ３は、並進ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、Ｍｉ及びＭｉ’は、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、θｚは、前記カメラ座標系の第１軸周りの回転角度を表し、θｘは、前記カメラ座標系の第１軸以外の第２軸周りの回転角度を表し、ｘｉ，ｙｉ，ｚｉは、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、// //は、ノルムを表す。
（付記１０）
付記１から９のいずれか１項に記載のカメラ校正装置と、
前記カメラによって世界座標空間が撮影された画像を前記カメラ校正装置へ供給する画像供給装置と、
を具備する、カメラシステム。
（付記１１）
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
カメラ校正方法。
（付記１２）
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
処理を、カメラ校正装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
１ カメラシステム
１０ カメラ校正装置
１１ 取得部
１２ 正規化座標変換部
１３ 外部パラメータ算出部
２０ カメラ
３０ 画像供給装置
４０ カメラ校正装置
４１ 取得部
４２ 正規化座標変換部
４３ 外部パラメータ算出部
４４ 記憶部
５０ カメラ校正装置
５１ ３次元座標算出部
６０ カメラ校正装置
６１ 最適化部

Claims (10)

  1. カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得する取得部と、
    前記取得部にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換する、正規化座標変換部と、
    前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出して出力する、外部パラメータ算出部と、
    を具備するカメラ校正装置。
  2. 前記外部パラメータ算出部は、
    前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた前記正規化始点座標のベクトルと前記正規化終点座標のベクトルとのクロス積と前記カメラについての回転行列におけるカメラ座標系の第１軸についての軸周りの回転ベクトルとの内積である、スカラー３重積を、前記複数の画像平面内法線ベクトルについて算出し、
    前記算出された複数のスカラー３重積の総和を前記評価関数として用いて、前記総和を最少化することが期待される所望の前記回転ベクトルを算出すると共に前記算出された所望の回転ベクトルに基づいて前記回転行列を算出し、
    前記算出された回転行列を出力すると共に前記算出された所望の回転ベクトルを前記カメラについての並進ベクトルとして出力する、
    請求項１記載のカメラ校正装置。
  3. 前記複数の画像平面内法線ベクトルは、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルであり、
    前記外部パラメータ算出部は、次の式に基づいて、前記回転ベクトルを算出する、
    請求項２記載のカメラ校正装置。
    Figure 0007173285000015
     ただし、ｒは、前記回転ベクトルを表し、ｍ１及びｍ１’は、前記第１画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、ｍ２及びｍ２’は、前記第２画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、// //は、ノルムを表す。
  4. 前記カメラ座標系は、前記カメラ座標系の前記第１軸が前記カメラの光軸に対応し、前記カメラ座標系の原点が世界座標系の第１軸上に存在し、且つ、前記世界座標系の第２軸及び第３軸による平面に対する、前記カメラ座標系の前記第１軸の投影が、前記世界座標系の前記第２軸と重なるように、定義されている、
    請求項２又は３に記載のカメラ校正装置。
  5. 前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
    請求項４記載のカメラ校正装置。
  6. 前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルと、前記複数の画像平面内ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又は前記カメラ座標系の原点の前記世界座標系の第１軸上の座標とに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における絶対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
    請求項４記載のカメラ校正装置。
  7. 前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標を前記外部パラメータ算出部から出力された回転行列及び並進ベクトルを用いて前記画像平面に射影した２つの再投影座標と前記各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である再投影誤差を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の前記２つの３次元座標を求めることにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、最適化部を具備する、
    請求項５又は６に記載のカメラ校正装置。
  8. 請求項１から７のいずれか１項に記載のカメラ校正装置と、
    前記カメラによって世界座標空間が撮影された画像を前記カメラ校正装置へ供給する画像供給装置と、
    を具備する、カメラシステム。
  9. カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
    前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
    各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
    カメラ校正方法。
  10. カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
    前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
    各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
    処理を、カメラ校正装置に実行させるプログラム。
JP2021506097A 2019-03-20 2019-03-20 カメラ校正装置、カメラ校正方法、及びプログラム Active JP7173285B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011764 WO2020188799A1 (ja) 2019-03-20 2019-03-20 カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2020188799A1 JPWO2020188799A1 (ja) 2021-12-23
JP7173285B2 true JP7173285B2 (ja) 2022-11-16

Family

ID=72520726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506097A Active JP7173285B2 (ja) 2019-03-20 2019-03-20 カメラ校正装置、カメラ校正方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220180560A1 (ja)
JP (1) JP7173285B2 (ja)
WO (1) WO2020188799A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020208686A1 (ja) * 2019-04-08 2020-10-15 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN112729109B (zh) * 2020-12-21 2022-12-30 福建汇川物联网技术科技股份有限公司 一种点云数据的校正方法及装置
US11610338B2 (en) * 2021-03-26 2023-03-21 Fotonation Limited Method of controlling a camera
CN113240752B (zh) * 2021-05-21 2024-03-22 中科创达软件股份有限公司 一种内参和外参协同标定方法和装置
CN116030145A (zh) * 2023-03-23 2023-04-28 北京中科慧眼科技有限公司 一种用于不同焦距双目镜头的立体匹配方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215031A1 (en) 2005-03-14 2006-09-28 Ge Security, Inc. Method and system for camera autocalibration
JP6011548B2 (ja) 2012-01-23 2016-10-19 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6011548B2 (ja) * 1977-11-16 1985-03-26 株式会社日立製作所 半導体変換器
JP6576945B2 (ja) * 2014-11-13 2019-09-18 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215031A1 (en) 2005-03-14 2006-09-28 Ge Security, Inc. Method and system for camera autocalibration
JP6011548B2 (ja) 2012-01-23 2016-10-19 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム

Also Published As

Publication number Publication date
US20220180560A1 (en) 2022-06-09
JPWO2020188799A1 (ja) 2021-12-23
WO2020188799A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP7173285B2 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
JP7151879B2 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
US9928595B2 (en) Devices, systems, and methods for high-resolution multi-view camera calibration
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US8452081B2 (en) Forming 3D models using multiple images
US8447099B2 (en) Forming 3D models using two images
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
WO2013111229A1 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
US9715730B2 (en) Three-dimensional measurement apparatus and robot system
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2016042779A1 (ja) 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体
JP5388921B2 (ja) ３次元距離計測装置及びその方法
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
CN111105467B (zh) 一种图像标定方法、装置及电子设备
US11145048B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program
JP2010256276A (ja) 三次元形状計測装置及び計測方法
WO2020175621A1 (ja) カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体
JP5901379B2 (ja) 撮像装置校正方法および画像合成装置
Jarron et al. Automatic detection and labelling of photogrammetric control points in a calibration test field
Yan et al. A decoupled calibration method for camera intrinsic parameters and distortion coefficients
CN113790711A (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质
CN113140031A (zh) 三维影像建模系统、方法及应用其的口腔扫描设备
JP6091092B2 (ja) 画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R151 Written notification of patent or utility model registration

Ref document number: 7173285

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151