JP7151879B2 - カメラ校正装置、カメラ校正方法、及びプログラム - Google Patents

カメラ校正装置、カメラ校正方法、及びプログラム Download PDF

Info

Publication number
JP7151879B2
JP7151879B2 JP2021513046A JP2021513046A JP7151879B2 JP 7151879 B2 JP7151879 B2 JP 7151879B2 JP 2021513046 A JP2021513046 A JP 2021513046A JP 2021513046 A JP2021513046 A JP 2021513046A JP 7151879 B2 JP7151879 B2 JP 7151879B2
Authority
JP
Japan
Prior art keywords
vector
point
image
image plane
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021513046A
Other languages
English (en)
Other versions
JPWO2020208686A1 (ja
Inventor
学 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020208686A1 publication Critical patent/JPWO2020208686A1/ja
Application granted granted Critical
Publication of JP7151879B2 publication Critical patent/JP7151879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本開示は、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
複数のカメラで構成された多視点カメラシステムを用いて３次元的な画像解析を行うために、カメラの光学的な特性及びカメラ同士の位置関係を明らかにすることが必要である。光学的な特性は、個々のカメラごとに固有なパラメータであり、例えば焦点距離、レンズ歪、光学中心座標などを指し、総称して「内部パラメータ」と呼ばれる。内部パラメータは、ズーム値変更や異なるレンズに交換しない限り不変である。また、カメラ同士の位置関係を表すパラメータは、回転行列及び並進ベクトルを指し、「外部パラメータ」と呼ばれる。外部パラメータは、３次元座標の原点に対してカメラを動かさない限り不変である。これら内部パラメータ及び外部パラメータが既知であれば、画像上での被写体の大きさや長さを物理的な距離（例えばメートル）に変換したり、被写体の３次元形状を復元したりすることが可能となる。これらの内部パラメータ及び外部パラメータの一方もしくは両方を計算することは、「カメラ校正（カメラキャリブレーション）」と呼ばれる。また、内部パラメータ及び外部パラメータの一方を、又は、これらの両方を区別することなく、単に「カメラパラメータ」と呼ぶことがある。
カメラパラメータを算出する種々の方法が提案されている。例えば、単眼カメラの内部パラメータを算出する方法として、Z. Zhangにより考案された平面の校正ボードを用いる方法が広く知られている。また、特許文献１では、Zhangの方法のように３次元座標が既知の平面校正物体を用いてカメラ校正を行う方法が提案されている。
また、特許文献２では、画像から水平面に垂直な線分を検出し、検出した複数の垂直線分を仮想平面に投影し、仮想平面上での各線分の平行性を最小化する評価関数を用いて回転行列（つまり、内部パラメータ）を算出する方法が提案されている。
国際公開第２０１５／０４５８３４号 特許第６０１１５４８号公報
しかしながら、Zhangの方法及び特許文献１に開示されている方法では、３次元座標が平面上に分布している点として既定されており、画像処理により各点の３次元座標を取得して、外部パラメータを計算する。高精度にカメラ校正を行うためには、画面の中央や一部のみに対応点が偏在することなく、画面全体に満遍なく３次元座標が観測されることが望ましいことが広く知られている。しかしながら、広域の環境を観測するカメラを校正するためには、巨大な平面校正物体が必要なため、事実上校正が不可能であるか、又は、可能であったとしても利便性が良くない可能性がある。
また、特許文献２に開示されている方法では、内部パラメータが既知であることを前提としているため、事前にZhangの方法等を利用する必要がある。そのため、上記の通り、事実上校正が不可能であるか、又は、可能であったとしても利便性が良くない可能性がある。
本開示の目的は、より簡便な方法で内部パラメータ及び外部パラメータを算出することができる、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
第１の態様にかかるカメラ校正装置は、カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する取得部と、
前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する、射影的奥行き算出部と、
前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、カメラパラメータ算出部と、
を具備する。
第２の態様にかかるカメラ校正方法は、カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得し、
前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出し、
前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する。
第３の態様にかかる非一時的なコンピュータ可読媒体は、カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得し、
前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出し、
前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、
処理を、カメラ校正装置に実行させるプログラムが格納している。
本開示により、より簡便な方法で内部パラメータ及び外部パラメータを算出することができる、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
第１実施形態におけるカメラ校正装置の一例を示すブロック図である。 第２実施形態におけるカメラシステムの一例を示すブロック図である。 カメラ座標系と世界座標系との関係の説明に供する図である。 第２実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。 第３実施形態におけるカメラ校正装置の一例を示すブロック図である。 第３実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。 第４実施形態におけるカメラ校正装置の一例を示すブロック図である。 第４実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。 カメラ校正装置のハードウェア構成例を示す図である。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
図１は、第１実施形態におけるカメラ校正装置の一例を示すブロック図である。図１においてカメラ校正装置１０は、取得部１１と、射影的奥行き算出部１２と、カメラパラメータ算出部１３とを有している。
取得部１１は、カメラ（不図示）によって「世界座標空間」が撮影された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。複数の「画像平面内法線ベクトル」は、「世界座標空間」における「基準平面」に対する複数の「世界座標空間内法線ベクトル」にそれぞれ対応する。「世界座標空間」は、世界座標系によって規定される空間である。「基準平面」は、例えば地面又は床等の水平面であってもよい。また、「世界座標空間内法線ベクトル」は、例えば上記の水平面に対して垂直に延びる、ビル又は棚等の辺であってもよい。
ここで、取得部１１によって取得される複数の「画像平面内法線ベクトル」は、同じ長さを有する２つの世界座標空間内法線ベクトルにそれぞれ対応する、２つの画像平面内法線ベクトルを含む。以下では、同じ長さを有する２つの世界座標空間内法線ベクトルを、「第１世界座標空間内法線ベクトル」及び「第２世界座標空間内法線ベクトル」と呼ぶことがある。また、「第１世界座標空間内法線ベクトル」及び「第２世界座標空間内法線ベクトル」にそれぞれ対応する２つの画像平面内法線ベクトルを、「第１画像平面内法線ベクトル」及び「第２画像平面内法線ベクトル」と呼ぶことがある。
射影的奥行き算出部１２は、第１画像平面内法線ベクトルの始点及び終点並びに第２画像平面内法線ベクトルの始点及び終点にそれぞれ対応する４つの「射影的奥行き」をベクトル要素とする「射影的奥行きベクトル」を算出する。以下では、第１画像平面内法線ベクトルの始点及び終点を、「第１始点」及び「第１終点」と呼ぶことがある。また、第２画像平面内法線ベクトルの始点及び終点を、「第２始点」及び「第２終点」と呼ぶことがある。
すなわち、射影的奥行き算出部１２は、上記カメラから、第１始点の３次元座標に対する、射影的奥行きを算出する。第１終点、第２始点、及び、第２終点についても、同様に、射影的奥行きを算出する。すなわち、「射影的奥行き」とは、射影空間における上記カメラから見た３次元座標までの奥行きを意味する。
例えば、射影的奥行き算出部１２は、射影的奥行きベクトルが、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルを行列要素とする「第１行列」の「ゼロ空間」である、関係に基づいて、射影的奥行きベクトルを算出する。
カメラパラメータ算出部１３は、上記カメラの内部パラメータ及び外部パラメータを算出する。この算出は、射影的奥行き算出部１２にて算出された射影的奥行きベクトルと、「第１画像平面内始点ベクトル」、「第１画像平面内終点ベクトル」、「第２画像平面内始点ベクトル」、及び「第２画像平面内終点ベクトル」とに基づいて行われる。「第１画像平面内始点ベクトル」及び「第１画像平面内終点ベクトル」は、第１始点及び第１終点にそれぞれ対応し、「第２画像平面内始点ベクトル」及び「第２画像平面内終点ベクトル」は、第２始点及び第２終点にそれぞれ対応する。
以上のように第１実施形態によれば、カメラ校正装置１０にて取得部１１は、それぞれが世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する。射影的奥行き算出部１２は、第１画像平面内法線ベクトルの始点及び終点並びに第２画像平面内法線ベクトルの始点及び終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する。
このカメラ校正装置１０の構成により、射影的奥行きベクトルを算出することができるので、校正ボードを用いることなく、内部パラメータ及び外部パラメータを算出することができる。すなわち、より簡便な方法で内部パラメータ及び外部パラメータを算出することができる。
＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。
＜カメラシステムの概要＞
図２は、第２実施形態におけるカメラシステムの一例を示すブロック図である。図２においてカメラシステム１は、カメラ２０と、画像供給装置３０と、カメラ校正装置４０とを有している。
カメラ２０は、「世界座標系」における撮影対象エリアを撮影して画像Ｐ１を形成する。
ここで、カメラ２０の「カメラ座標系」と「世界座標系」との関係について説明する。図３は、カメラ座標系と世界座標系との関係の説明に供する図である。
世界座標系の原点は、第１世界座標空間内法線ベクトルの始点（Ｍ１）と一致している。また、第１世界座標空間内法線ベクトルの終点（Ｍ’１）は、世界座標系のｚ軸上に位置している。また、第２世界座標空間内法線ベクトルの始点（Ｍ２）は、世界座標系のｘ軸上に位置している。すなわち、第１世界座標空間内法線ベクトルの始点（Ｍ１）と第２世界座標空間内法線ベクトルの始点（Ｍ２）とを結ぶ直線は、世界座標系のｘ軸と一致する。そして、ｘ軸及びｚ軸の両方と直交する方向を、ｙ軸としている。すなわち、上記の「基準平面」は、世界座標系のｘｙ平面と一致する。ここで、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルの長さが同じなので、第１世界座標空間内法線ベクトルの終点（Ｍ’１）及び第２世界座標空間内法線ベクトルの終点（Ｍ’２）のｚ座標は、共に「ｚ」となっている。
なお、本実施形態では、世界座標系の３次元座標は明示的には与えられないため、世界座標系とカメラ座標系とは、相対的に等価であれば、任意に定義付けしてよい。そのため、図３に示すように、世界座標系及びカメラ座標系を設定しても、一般性は失われない。なお、図３において、Ｒは、回転ベクトルを表し、ｔは、並進ベクトルを表している。すなわち、世界座標に対するカメラ２０の位置及び姿勢は、回転行列Ｒ及び並進ベクトルｔによって表される。
図２の説明に戻り、画像供給装置３０は、カメラ２０にて形成された画像を取得して、取得した画像をカメラ校正装置４０へ供給する。例えば、画像供給装置３０は、取得した画像を、通信部（不図示）を介してカメラ校正装置４０へ送信してもよい。該画像は、ある時刻の１枚の静止画でもよいし、時系列の連続した動画の各フレーム画像でもよいし、時系列の異なる複数の静止画でもよい。
＜カメラ校正装置の構成例＞
図２においてカメラ校正装置４０は、取得部４１と、射影的奥行き算出部４２と、カメラパラメータ算出部４３とを有している。カメラパラメータ算出部４３は、内部パラメータ算出部４３Ａと、外部パラメータ算出部４３Ｂとを有している。
取得部４１は、第１実施形態の取得部１１と同様に、画像供給装置３０から供給された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。例えば、取得部４１は、画像供給装置３０から供給された画像において、ビル又は箱のような、地面と垂直に交わる又は接する人工物の線分を、画像処理により自動的に取得してもよい。又は、取得部４１は、画像供給装置３０から供給された動画における特定人物の追跡と関節検出とを組み合わせて各フレーム画像における背骨関節を法線ベクトルとして自動的に取得してもよい。又は、取得部４１は、画像供給装置３０から供給された画像に対してユーザが手動入力による「画像平面内法線ベクトル」の指定を受け付けてもよい。なお、第１実施形態で説明したように、取得部４１によって取得される複数の「画像平面内法線ベクトル」は、同じ長さを有する「第１世界座標空間内法線ベクトル」及び「第２世界座標空間内法線ベクトル」にそれぞれ対応する、「第１画像平面内法線ベクトル」及び「第２画像平面内法線ベクトル」を含んでいる。
射影的奥行き算出部４２は、第１実施形態の射影的奥行き算出部１２と同様に、第１画像平面内法線ベクトルの第１始点及び第１終点並びに第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの「射影的奥行き」をベクトル要素とする「射影的奥行きベクトル」を算出する。なお、「射影的奥行きベクトル」の算出については、後に詳しく説明する。
内部パラメータ算出部４３Ａは、射影的奥行き算出部４２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルとに基づいて、カメラ２０の焦点距離ｆを算出する。カメラ２０の焦点距離ｆは、内部パラメータの１つである。この焦点距離ｆの算出では、例えば、回転行列Ｒの各２つの列ベクトルの間の直交関係が用いられる。なお、内部パラメータの算出については、後に詳しく説明する。
外部パラメータ算出部４３Ｂは、射影的奥行き算出部４２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルと、内部パラメータ算出部４３Ａにて算出された焦点距離ｆとに基づいて、回転行列Ｒ及び並進ベクトルｔを算出する。なお、外部パラメータの算出については、後に詳しく説明する。
＜カメラ校正装置の動作例＞
図４は、第２実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
取得部４１は、カメラ２０で撮影された画像から、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する（ステップＳ１１）。
射影的奥行き算出部４２は、第１画像平面内法線ベクトルの第１始点及び第１終点並びに第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの「射影的奥行き」をベクトル要素とする「射影的奥行きベクトル」を算出する（ステップＳ１２）。
内部パラメータ算出部４３Ａは、ステップＳ１２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルとに基づいて、カメラ２０の焦点距離ｆを算出する（ステップＳ１３）。
外部パラメータ算出部４３Ｂは、ステップＳ１２にて射影的奥行き算出部４２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルと、ステップＳ１３にて算出された焦点距離ｆとに基づいて、回転行列Ｒ及び並進ベクトルｔを算出する（ステップＳ１４）。
ここで、射影的奥行きベクトル、内部パラメータ、及び外部パラメータの算出について具体例を用いて詳しく説明する。以下では、図３に示した記号を用いる。すなわち、世界座標系の原点は、第１世界座標空間内法線ベクトルの始点Ｍ１＝［０，０，０］Ｔと一致している。第１世界座標空間内法線ベクトルの終点Ｍ’１は、世界座標系のｚ軸上に位置しており、Ｍ’１＝［０，０，０］Ｔである。ｘ軸は、始点Ｍ１と第２世界座標空間内法線ベクトルの始点Ｍ２（Ｍ２＝［ｘ２，０，０］Ｔ）とを結ぶ直線と一致する。カメラ２０は、世界座標系の原点から回転行列Ｒ、並進ベクトルtの位置にある。また、ｉ番目の世界座標空間内法線ベクトルの始点Ｍｉ＝［ｘｉ，０，０］Ｔ及び終点Ｍｉ’＝［ｘｉ，０，ｚ］Ｔは、それぞれ、画像平面上では、ｍｉ＝［ｕｉ，ｖｉ，１］Ｔ及びｍｉ’＝［ｕｉ’，ｖｉ’，１］Ｔとして観測されている。ｍｉ及びｍｉ’は、斉次座標系で表されている。また、上添え字のＴは、ベクトル又は行列の転置を表している。ここで、カメラ２０がデジタルカメラである場合には、スキューがなく、また、光学中心を画像中心とほぼ近似できるため、未知の内部パラメータは、焦点距離ｆとする。
まず、解くべき問題の定義を行うことにする。
第ｉ世界座標空間内法線ベクトルの始点及び終点は、式（１）を用いて、３次元空間から画像座標へ射影することができる。
Figure 0007151879000001
 ここで、λｉは、第ｉ画像平面内法線ベクトルの始点の射影的奥行きを表し、λ’ｉは、第ｉ画像平面内法線ベクトルの終点の射影的奥行きを表す。Ｋは、内部パラメータ行列を表す。
式（１）を、第１画像平面内法線ベクトル、第２画像平面内法線ベクトル、第１世界座標空間内法線ベクトル、及び第２世界座標空間内法線ベクトルについて書き下すと、式（２）のように表すことができる。
Figure 0007151879000002
 ここで、ｒｊは、回転行列Ｒにおけるｊ番目の列ベクトルを表している。
式（２）における、１番目の式と２番目の式との差分をとり、３番目の式と４番目の式との差分をとると、式（３）が得られる。
Figure 0007151879000003
式（３）は、１番目の式と２番目の式とが等しいことを示しているため、１番目の式と２番目の式との差分をとると、式（４）が得られる。
Figure 0007151879000004
式（４）は、射影的奥行きが、３×４の行列Ａのゼロ空間であることを示している。換言すれば、射影的奥行きベクトル［λ１，λ’１，λ２，λ’２］Ｔは、第１画像平面内始点ベクトルｍ１、第１画像平面内終点ベクトルｍ’１、第２画像平面内始点ベクトルｍ２、及び第２画像平面内終点ベクトルｍ’２を行列要素とする行列Ａのゼロ空間である。すなわち、スケール不定性を除いて各射影的奥行きの比率を求めることができる。符号の不定性も存在するが、式（１）に基づく射影的奥行きの符号は正のため、すべてのλの符号が正となるように選択すればよい。
次に、算出された射影的奥行きを用いて焦点距離を算出する方法について説明する。
式（２）の３番目の式及び４番目の式を式（４）に代入して整理し、また、式（２）の２番目の式及び４番目の式を式（４）に代入して整理すると、式（５）が得られる。
Figure 0007151879000005
回転行列の正規直交性（ｒ１ Ｔｒ３＝０）を利用すると、焦点距離ｆについて式（６）が得られる。
Figure 0007151879000006
式（６）は、ｆについての２次式であるが、正符号の解を求めればよい。こうして、内部パラメータを算出することができる。
次に、外部パラメータである回転行列Ｒ及び並進ベクトルｔを算出する方法について説明する。
回転行列Ｒの各列ベクトルのＬ２ノルムが１であることから、式（５）から式（７）を得ることができる。// //は、Ｌ２ノルムを表す。
Figure 0007151879000007
また、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルの高さｚ、及び、第２世界座標空間内法線ベクトルのｘ軸座標ｘ２は、世界座標系の定義により、符号が正である。よって、回転行列Ｒは、式（８）によって表すことができる。
Figure 0007151879000008
回転行列Ｒの２番目の列ベクトルには符号の不定正が存在するが、回転行列Ｒの行列式がｄｅｔ（Ｒ）＝１となる符号を選択すればよい。こうして、式（７），（８）によって回転行列Ｒを算出することができる。
並進ベクトルｔは、式（２）の１番目の式を用いて、式（９）によって表すことができる。
Figure 0007151879000009
こうして、式（９）によって並進ベクトルｔを算出することができる。
以上のように第２実施形態によれば、カメラ校正装置４０にて取得部４１は、それぞれが世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する。射影的奥行き算出部４２は、第１画像平面内法線ベクトルの始点及び終点並びに第２画像平面内法線ベクトルの始点及び終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する。
このカメラ校正装置４０の構成により、射影的奥行きベクトルを算出することができるので、校正ボードを用いることなく、内部パラメータ及び外部パラメータを算出することができる。すなわち、より簡便な方法で内部パラメータ及び外部パラメータを算出することができる。また、３次元座標が未知の条件下で画像情報のみを利用して単眼カメラの校正が可能である。その理由は、以下の通りである。まず、式（２）より、未知数の数は、１３個（λ１，λ’１，λ２，λ’２，ｘ２，ｚ，ｆ，ｔ，回転行列Ｒの３軸回転角）である。しかし、射影的奥行きと３次元座標ｘ２，ｚの間にはスケールの不定性が存在するため、実際の自由度は１２である。一方、１つの画像平面内法線ベクトルからは始点及び終点の座標として６個（ｍｉ＝［ｕｉ，ｖｉ，１］Ｔ、ｍｉ’＝［ｕｉ’，ｖｉ’，１］Ｔ）の拘束条件が観測できるため、２つの画像平面内法線ベクトルでは１２個になる。このように、未知数の自由度と拘束条件の数が一致するため、問題を解くことが可能となる。
＜変形例＞
第２実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
＜１＞世界座標系及びカメラ座標系の設定は、上記の設定に限定されない。例えば、次のような設定であってもよい。すなわち、カメラ座標系の原点は、世界座標系のｚ軸上に位置し、世界座標系の座標［０，０，ｈ］（＝ｃ）を有している。また、カメラ座標系のｚｃ軸は、カメラ２０の光軸に対応する。そして、世界座標系のｘｙ平面に対するｚｃ軸の投影は、世界座標系のｙ軸と重なる。すなわち、世界座標系の＋ｚ方向から見たときに、カメラ座標系のｚｃ軸と世界座標系のｙ軸とは重なるようになっている。このような設定にしても、未知数の数は変わらないため、２つ以上の法線ベクトルが取得できれば求めることができる。異なるスケールの３次元座標系は相似変換によって一致できるため、数学的には等価な問題である。
＜２＞基準平面は、水平面に限定されない。例えば、壁面を基準平面として、床面に平行な線分を世界座標空間内法線ベクトルと定義してもよい。
＜３＞画像平面内法線ベクトルが３つ以上取得できた場合には、公知であるＲＡＮＳＡＣ（Random Sample Consensus）や重み付き最小二乗法を利用して、尤もらしい、射影的奥行きベクトル、内部パラメータ、及び外部パラメータの解を算出してもよい。
＜第３実施形態＞
第３実施形態は、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、内部パラメータ及び外部パラメータとに基づいて、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する。第３実施形態におけるカメラシステムの基本構成は、第２実施形態におけるカメラシステム１と同じなので、図２を参照して説明する。すなわち、第３実施形態におけるカメラシステム１は、カメラ校正装置４０の代わりに、図５に示すカメラ校正装置５０を含んでいる。
＜カメラ校正装置の構成例＞
図５は、第３実施形態におけるカメラ校正装置の一例を示すブロック図である。図５においてカメラ校正装置５０は、３次元座標算出部５１を有している。
３次元座標算出部５１は、取得部４１にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、カメラパラメータ算出部４３にて算出された内部パラメータ及び外部パラメータとに基づき、各画像平面内法線ベクトルの始点座標及び終点座標についての、世界座標系における２つの３次元座標を算出する。すなわち、３次元座標算出部５１は、取得部４１にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、カメラパラメータ算出部４３にて算出された内部パラメータ及び外部パラメータとに基づき、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する。
式（１）を変形すると、式（１０）又は式（１１）が得られる。式（１０）は、第１世界座標空間内法線ベクトルの長さと第２世界座標空間内法線ベクトルの長さとが同じ場合において、３次元座標を求める式である。一方、式（１１）は、第１世界座標空間内法線ベクトルの長さと第２世界座標空間内法線ベクトルの長さとが異なる場合において、３次元座標を求める式である。なお、ここでの式（１）の変形は、式（１）の１番目の式の両辺のベクトルが等しいことから、これらのクロス積がゼロとなることを利用している。式（１）の２番目の式についても同様である。
Figure 0007151879000010
Figure 0007151879000011
 ただし、ベクトルｒ１，ｒ２，ｒ３は、それぞれ、回転行列Ｒの列ベクトルを表し、［ｘｉ，ｙｉ］及び［ｘｉ，ｙｉ，ｚｉ］は、算出対象の３次元座標を表す。式（１０）の場合、ｚｉは、ｚである。
式（１０）及び式（１１）は、線形連立方程式であるから、容易に解くことができる。
＜カメラ校正装置の動作例＞
図６は、第３実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。図６のフローチャートにおいてステップＳ１１からステップＳ１４は、図４のフローチャートと同じである。
３次元座標算出部５１は、ステップＳ１１にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、ステップＳ１３，Ｓ１４にて算出された内部パラメータ及び外部パラメータとに基づき、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する（ステップＳ２１）。
＜変形例＞
第３実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
＜１＞第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出するための式は、式（１０）、式（１１）に限定されるものではない。例えば、式（１０）、式（１１）では消去されている射影的奥行きを含めて３次元座標が算出されてもよい。
＜２＞３次元座標算出部５１は、複数の画像平面内法線ベクトルと内部パラメータ及び外部パラメータとに加えて、複数の画像平面内法線ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又はカメラ座標系の原点のｚ軸上の座標とに基づき、絶対的な３次元座標を算出してもよい。すなわち、取得した複数の画像平面内法線ベクトルの中で少なくとも１つに対応する世界座標空間内法線ベクトルについて、その絶対的な長さ（例えばメートル単位）が既知である場合、それを利用して、相対的な関係であるカメラ位置や世界座標空間内法線ベクトルの３次元座標を絶対的な関係へと変換できる。例えば、あるｊ番目の世界座標空間内法線ベクトルの終点のｚ座標がｚｊ＝ａと既知である場合、その他の世界座標空間内法線ベクトルの３次元座標とカメラ位置ｃ＝－ＲＴｔについてａ／ｚｊ倍すればよい。この処理は、３次元座標算出部５１がｚｊ＝ａを入力として受け付けて出力前に３次元座標算出部５１によって実行されてもよいし、カメラ校正装置５０の出力後に後処理として実行されてもよい。
＜第４実施形態＞
第４実施形態は、内部パラメータ、外部パラメータ、及び、３次元座標算出部にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、最適化処理に関する、第４実施形態におけるカメラシステムの基本構成は、第２実施形態におけるカメラシステム１と同じなので、図２を参照して説明する。すなわち、第４実施形態におけるカメラシステム１は、カメラ校正装置４０の代わりに、図７に示すカメラ校正装置６０を含んでいる。
＜カメラ校正装置の構成例＞
図７は、第４実施形態におけるカメラ校正装置の一例を示すブロック図である。図７においてカメラ校正装置６０は、最適化部６１を有している。
最適化部６１は、内部パラメータ、外部パラメータ、及び、３次元座標算出部５１にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、「最適化処理」を実行する。例えば、最適化部６１は、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を、カメラパラメータ算出部４３にて算出された内部パラメータ及び外部パラメータを用いて、画像平面に射影した２つの「再投影座標」を算出する。そして、最適化部６１は、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの２つの「再投影座標」と、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルのそれぞれの始点及び終点との誤差である「再投影誤差」を最少化することが期待される、調整後の内部パラメータ、調整後の外部パラメータ、及び調整後の上記２つの３次元座標を求める。これにより、カメラ２０の内部パラメータ及び外部パラメータ並びに上記の３次元座標を最適化することができる。
例えば、最適化部６１は、式（１２）に基づいて、３次元座標算出部５１にて算出された３次元座標とカメラパラメータ算出部４３によって算出された内部パラメータ及び外部パラメータとを初期値として用いて、非線形最適化を実行してもよい。最適化部６１は、例えば、レーベンバーグ・マーカード法や信頼領域法などの公知な方法を用いて式（１２）を解くことにより、各パラメータを最適化してもよい。ここで、最適化部６１は、カメラ２０の焦点距離、スキュー、光学中心、及びレンズ歪みの少なくとも１つを最適化対象の内部パラメータとしてもよい。
Figure 0007151879000012
 ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表す。
斉次化するため、射影的奥行きの最適化は不要である。式（１２）の３次元座標に関する拘束条件は、相対的な不定性を除去するためのものである。
ここで、式（４）、式（７）～（９）は、いわゆる代数的誤差を最小化する線形連立方程式に基づいている。また、射影的奥行き、焦点距離、回転行列、並進ベクトル、３次元座標と順番に計算していくため、後段になるほど誤差が蓄積する可能性がある。そこで、式（１２）に表されるようないわゆる再投影誤差を最小化することで、パラメータ間の誤差を均質化し、統計的に最適なパラメータを計算することができる。
＜カメラ校正装置の動作例＞
図８は、第４実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
最適化部６１は、ステップＳ１３，Ｓ１４にて算出された内部パラメータ及び外部パラメータと、ステップＳ２１にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、「最適化処理」を実行する（ステップＳ３１）。
＜変形例＞
第４実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
＜１＞上記の式（１２）の計算において、必ずしもすべてのパラメータを最適化する必要はない。例えば、第３実施形態の変形例＜２＞で述べたように、長さが既知の世界座標空間内法線ベクトルが存在する場合、その法線ベクトルの両端点の３次元座標は変数ではなく固定値としてよい。これにより、未知数の数が減少するため、より安定して式（１２）の最適化を行うことができる。
＜２＞内部パラメータ算出部４３Ａではレンズ歪を求めていないが、式（１２）においては最適化対象のパラメータにレンズ歪を含めてもよい。すなわち、レンズ歪に起因して画像平面内法線ベクトルが画像上で曲線になる場合であっても、レンズ歪の小さい画像中心部の画像平面内法線ベクトルを利用して又はレンズ歪みを微小と仮定してステップＳ２１までの処理を行った後に、式（１２）の計算においてレンズ歪を未知数として含めることによって、最終的な解を得ることができる。これにより、最適化部６１は、レンズ歪を求めることができる。
＜他の実施形態＞
図９は、カメラ校正装置のハードウェア構成例を示す図である。図９においてカメラ校正装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
第１実施形態から第４実施形態のカメラ校正装置１０，４０，５０，６０は、それぞれ、図９に示したハードウェア構成を有することができる。第１実施形態から第４実施形態のカメラ校正装置１０，４０，５０，６０の取得部１１，４１と、射影的奥行き算出部１２，４２と、カメラパラメータ算出部１３，４３と、３次元座標算出部５１と、最適化部６１とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、カメラ校正装置１０，４０，５０，６０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってカメラ校正装置１０，４０，５０，６０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをカメラ校正装置１０，４０，５０，６０に供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する取得部と、
前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する、射影的奥行き算出部と、
前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、カメラパラメータ算出部と、
を具備するカメラ校正装置。
（付記２）
前記射影的奥行き算出部は、前記射影的奥行きベクトルが、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを行列要素とする第１行列のゼロ空間である、関係に基づいて、前記射影的奥行きベクトルを算出する、
付記１記載のカメラ校正装置。
（付記３）
前記外部パラメータは、回転行列及び並進ベクトルを含み、
前記カメラパラメータ算出部は、前記算出された射影的奥行きベクトルと、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルと、前記回転行列の各２つの列ベクトルの間の直交関係とに基づいて、前記内部パラメータとしての前記カメラの焦点距離を算出する内部パラメータ算出部を含む、
付記１又は２記載のカメラ校正装置。
（付記４）
前記カメラパラメータ算出部は、前記算出された射影的奥行きベクトルと、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルと、前記算出された焦点距離とに基づいて、前記回転行列及び前記並進ベクトルを算出する外部パラメータ算出部をさらに含む、
付記３記載のカメラ校正装置。
（付記５）
世界座標系は、前記第１世界座標空間内法線ベクトルの始点が前記世界座標系の原点と一致し、前記第２世界座標空間内法線ベクトルの始点が前記世界座標系の第１軸上に存在し、前記第１世界座標空間内法線ベクトルの終点が前記世界座標系の第３軸上に存在するように、定義されている、
付記４記載のカメラ校正装置。
（付記６）
前記内部パラメータ算出部は、式（Ａ１）を用いて、前記カメラの焦点距離を算出する、
付記５記載のカメラ校正装置。
Figure 0007151879000013
 ただし、λ１、λ’１、λ２、及びλ’２は、それぞれ、前記第１始点、前記第１終点、前記第２始点、及び前記第２終点の射影的奥行きを表し、ｆは、前記焦点距離を表し、ベクトルｎ１，ｎ’１，ｎ２，ｎ’２は、それぞれ、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを表す。
（付記７）
前記外部パラメータ算出部は、式（Ａ２）、式（Ａ３）、及び式（Ａ４）を用いて、前記回転行列を算出し、式（Ａ４）及び式（Ａ５）を用いて、前記並進ベクトルを算出する、
付記６記載のカメラ校正装置。
Figure 0007151879000014
Figure 0007151879000015
Figure 0007151879000016
Figure 0007151879000017
 ただし、Ｒは、前記回転行列を表し、ベクトルｒ１，ｒ３は、前記回転行列の１列目及び３列目の列ベクトルを表し、ｚは、前記第１世界座標空間内法線ベクトルの終点及び前記第２世界座標空間内法線ベクトルの終点の前記第３軸の座標を表し、ｘ２は、前記第２世界座標空間内法線ベクトルの始点の前記第１軸上の座標を表し、λ１、λ’１、λ２、及びλ’２は、それぞれ、前記第１始点、前記第１終点、前記第２始点、及び前記第２終点の射影的奥行きを表し、ベクトルｍ１，ｍ’１，ｍ２，ｍ’２は、それぞれ、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを表す。// //は、Ｌ２ノルムを表す。ｔは、前記並進ベクトルを表す。Ｋは、内部パラメータ行列を表し、ｆは、前記焦点距離を表す。
（付記８）
前記取得部にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータとに基づいて、前記第１世界座標空間内法線ベクトル及び前記第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する３次元座標算出部をさらに具備する、
付記５から７のいずれか１項に記載のカメラ校正装置。
（付記９）
前記３次元座標算出部は、式（Ａ６）を用いて、前記３次元座標を算出する、
付記８記載のカメラ校正装置。
Figure 0007151879000018
 ただし、ベクトルｒ１，ｒ２，ｒ３は、それぞれ、前記回転行列の列ベクトルを表し、ベクトルｍｉ，ｍｉ’は、第ｉ画像平面内始点ベクトル及び第ｉ画像平面内終点ベクトルを表し、ｘｉ，ｙｉは、第ｉ世界座標空間内法線ベクトルの始点及び終点の前記世界座標系の第１軸及び第２軸の座標を表し、ｚは、前記第１世界座標空間内法線ベクトルの終点及び前記第２世界座標空間内法線ベクトルの終点の前記第３軸の座標を表す。ｔは、前記並進ベクトルを表す。Ｋは、式（Ａ７）で表される内部パラメータ行列を表し、ｆは、前記焦点距離を表す。
Figure 0007151879000019
（付記１０）
前記算出された、前記第１世界座標空間内法線ベクトル及び前記第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータを用いて前記画像平面に射影した２つの再投影座標と、前記第１画像平面内法線ベクトル及び前記第２画像平面内法線ベクトルのそれぞれの始点及び終点との誤差である再投影誤差を最少化することが期待される、調整後の内部パラメータ、調整後の外部パラメータ、及び調整後の前記３次元座標を求めることにより、前記カメラの内部パラメータ及び外部パラメータ並びに前記３次元座標を最適化する、最適化部を具備する、
付記８又は９に記載のカメラ校正装置。
（付記１１）
前記最適化部は、式（Ａ８）に基づいて、前記３次元座標算出部にて算出された３次元座標と前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータとを初期値として用いて、非線形最適化を行うことにより、前記カメラの内部パラメータ及び外部パラメータ並びに前記３次元座標を最適化する、
付記１０記載のカメラ校正装置。
Figure 0007151879000020
 ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、前記回転行列を表し、ｔは、前記並進ベクトルを表し、ベクトルｍｉ，ｍｉ’は、第ｉ画像平面内始点ベクトル及び第ｉ画像平面内終点ベクトルを表し、Ｍｉ，Ｍ’ｉは、第ｉ世界座標空間内法線ベクトルの始点ベクトル及び終点ベクトルを表し、ｘｉ，ｙｉ，ｚｉは、第ｉ世界座標空間内法線ベクトルの始点及び終点についての２つの３次元座標を表し、// //は、ノルムを表す。Ｋは、式（Ａ９）で表される内部パラメータ行列を表し、ｆは、前記焦点距離を表す。Ｔは、ベクトル又は行列の転置を表す。
Figure 0007151879000021
（付記１２）
前記最適化部は、前記カメラの焦点距離、スキュー、光学中心、及びレンズ歪みの少なくとも１つを最適化対象の内部パラメータとする、
付記１０又は１１に記載のカメラ校正装置。
（付記１３）
付記１から１２のいずれか１項に記載のカメラ校正装置と、
前記カメラによって世界座標空間が撮影された画像を前記カメラ校正装置へ供給する画像供給装置と、
を具備する、カメラシステム。
（付記１４）
カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得し、
前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出し、
前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、
カメラ校正方法。
（付記１５）
カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得し、
前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出し、
前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、
処理を、カメラ校正装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
１ カメラシステム
１０ カメラ校正装置
１１ 取得部
１２ 射影的奥行き算出部
１３ カメラパラメータ算出部
２０ カメラ
３０ 画像供給装置
４０ カメラ校正装置
４１ 取得部
４２ 射影的奥行き算出部
４３ カメラパラメータ算出部
４３Ａ 内部パラメータ算出部
４３Ｂ 外部パラメータ算出部
５０ カメラ校正装置
５１ ３次元座標算出部
６０ カメラ校正装置
６１ 最適化部

Claims (10)

  1. カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する取得部と、
    前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する、射影的奥行き算出部と、
    前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、カメラパラメータ算出部と、
    を具備するカメラ校正装置。
  2. 前記射影的奥行き算出部は、前記射影的奥行きベクトルが、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを行列要素とする第１行列のゼロ空間である、関係に基づいて、前記射影的奥行きベクトルを算出する、
    請求項１記載のカメラ校正装置。
  3. 前記外部パラメータは、回転行列及び並進ベクトルを含み、
    前記カメラパラメータ算出部は、前記算出された射影的奥行きベクトルと、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルと、前記回転行列の各２つの列ベクトルの間の直交関係とに基づいて、前記内部パラメータとしての前記カメラの焦点距離を算出する内部パラメータ算出部を含む、
    請求項１又は２記載のカメラ校正装置。
  4. 前記カメラパラメータ算出部は、前記算出された射影的奥行きベクトルと、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルと、前記算出された焦点距離とに基づいて、前記回転行列及び前記並進ベクトルを算出する外部パラメータ算出部をさらに含む、
    請求項３記載のカメラ校正装置。
  5. 世界座標系は、前記第１世界座標空間内法線ベクトルの始点が前記世界座標系の原点と一致し、前記第２世界座標空間内法線ベクトルの始点が前記世界座標系の第１軸上に存在し、前記第１世界座標空間内法線ベクトルの終点が前記世界座標系の第３軸上に存在するように、定義されている、
    請求項４記載のカメラ校正装置。
  6. 前記取得部にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータとに基づいて、前記第１世界座標空間内法線ベクトル及び前記第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する３次元座標算出部をさらに具備する、
    請求項５に記載のカメラ校正装置。
  7. 前記算出された、前記第１世界座標空間内法線ベクトル及び前記第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータを用いて前記画像平面に射影した２つの再投影座標と、前記第１画像平面内法線ベクトル及び前記第２画像平面内法線ベクトルのそれぞれの始点及び終点との誤差である再投影誤差を最少化することが期待される、調整後の内部パラメータ、調整後の外部パラメータ、及び調整後の前記３次元座標を求めることにより、前記カメラの内部パラメータ及び外部パラメータ並びに前記３次元座標を最適化する、最適化部を具備する、
    請求項６に記載のカメラ校正装置。
  8. 前記最適化部は、式（８）に基づいて、前記３次元座標算出部にて算出された３次元座標と前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータとを初期値として用いて、非線形最適化を行うことにより、前記カメラの内部パラメータ及び外部パラメータ並びに前記３次元座標を最適化する、
    請求項７記載のカメラ校正装置。
    Figure 0007151879000022
     ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、前記回転行列を表し、ｔは、前記並進ベクトルを表し、ベクトルｍｉ，ｍｉ’は、第ｉ画像平面内始点ベクトル及び第ｉ画像平面内終点ベクトルを表し、Ｍｉ，Ｍ’ｉは、第ｉ世界座標空間内法線ベクトルの始点ベクトル及び終点ベクトルを表し、ｘｉ，ｙｉ，ｚｉは、第ｉ世界座標空間内法線ベクトルの始点及び終点についての２つの３次元座標を表し、// //は、ノルムを表す。Ｋは、式（９）で表される内部パラメータ行列を表し、ｆは、前記焦点距離を表す。Ｔは、ベクトル又は行列の転置を表す。
    Figure 0007151879000023
  9. カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得し、
    前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出し、
    前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、
    カメラ校正方法。
  10. カメラによって世界座標空間が撮影された画像の画像平面において、それぞれが前記世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得し、
    前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出し、
    前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出する、
    処理を、カメラ校正装置に実行させるプログラム。
JP2021513046A 2019-04-08 2019-04-08 カメラ校正装置、カメラ校正方法、及びプログラム Active JP7151879B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/015330 WO2020208686A1 (ja) 2019-04-08 2019-04-08 カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2020208686A1 JPWO2020208686A1 (ja) 2020-10-15
JP7151879B2 true JP7151879B2 (ja) 2022-10-12

Family

ID=72751184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021513046A Active JP7151879B2 (ja) 2019-04-08 2019-04-08 カメラ校正装置、カメラ校正方法、及びプログラム

Country Status (3)

Country Link
US (2) US11830223B2 (ja)
JP (1) JP7151879B2 (ja)
WO (1) WO2020208686A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151879B2 (ja) * 2019-04-08 2022-10-12 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラム
US11610338B2 (en) * 2021-03-26 2023-03-21 Fotonation Limited Method of controlling a camera
CN113223095B (zh) * 2021-05-25 2022-06-17 中国人民解放军63660部队 一种基于已知相机位置内外参数标定方法
CN113781575B (zh) * 2021-08-09 2024-01-12 上海奥视达智能科技有限公司 一种相机参数的标定方法、装置、终端和存储介质
CN115170434A (zh) * 2022-07-28 2022-10-11 江苏集萃智能光电系统研究所有限公司 一种用于线结构光3d相机的误差校正方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186897A1 (en) 2001-04-02 2002-12-12 Korea Advanced Institute Of Science And Technology Camera calibration system using planar concentric circles and method thereof
JP2005352630A (ja) 2004-06-09 2005-12-22 Pulstec Industrial Co Ltd 座標変換係数取得方法、座標変換係数取得装置およびコンピュータプログラム
JP2007256091A (ja) 2006-03-23 2007-10-04 Space Vision:Kk レンジファインダ校正方法及び装置
JP2010181919A (ja) 2009-02-03 2010-08-19 Toyohashi Univ Of Technology 三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラム
WO2013111229A1 (ja) 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9180995B2 (en) 2009-06-23 2015-11-10 Toppan Printing Co., Ltd. Retort cup
EP2382599B1 (en) * 2009-07-29 2012-12-12 Metaio GmbH Method for determining the pose of a camera with respect to at least one real object
JP5680353B2 (ja) * 2010-08-24 2015-03-04 富士フイルム株式会社 水性インク組成物、インクジェット記録方法及びインクジェット印画物
US8995754B2 (en) * 2013-05-30 2015-03-31 Xerox Corporation Estimating a pose of a camera for volume estimation
CN105612401B (zh) 2013-09-30 2018-02-23 独立行政法人产业技术综合研究所 标记图像处理系统
US10126115B2 (en) 2014-09-18 2018-11-13 Nec Corporation Triangulation device, triangulation method, and recording medium recording program therefor
CN107003109B (zh) * 2014-11-13 2019-11-05 奥林巴斯株式会社 校准装置、校准方法、光学装置、摄影装置、投影装置、测量系统以及测量方法
JP6464934B2 (ja) * 2015-06-11 2019-02-06 富士通株式会社 カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
JP6735615B2 (ja) * 2016-06-29 2020-08-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
CN106403845B (zh) * 2016-09-14 2017-10-03 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
KR102576842B1 (ko) * 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
WO2018168255A1 (ja) 2017-03-14 2018-09-20 日本電気株式会社 カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体
CN109242779B (zh) * 2018-07-25 2023-07-18 北京中科慧眼科技有限公司 一种相机成像模型的构建方法、装置及汽车自动驾驶系统
US10552983B1 (en) * 2018-08-23 2020-02-04 Qualcomm Incorporated Camera calibration
CN109754432B (zh) 2018-12-27 2020-09-22 深圳市瑞立视多媒体科技有限公司 一种相机自动标定方法及光学动作捕捉系统
WO2020175621A1 (ja) 2019-02-28 2020-09-03 日本電気株式会社 カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体
US20220180560A1 (en) * 2019-03-20 2022-06-09 Nec Corporation Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program
JP7283535B2 (ja) 2019-03-26 2023-05-30 日本電気株式会社 校正装置、校正方法、及びプログラム
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
JP7151879B2 (ja) * 2019-04-08 2022-10-12 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラム
JP7099627B2 (ja) * 2019-04-24 2022-07-12 日本電気株式会社 カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム
US11257272B2 (en) 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
CN110327046B (zh) 2019-04-28 2022-03-25 安翰科技(武汉)股份有限公司 一种基于摄像系统的消化道内物体测量方法
CN110232716A (zh) * 2019-05-31 2019-09-13 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和电子设备
WO2021020062A1 (ja) * 2019-07-30 2021-02-04 パナソニックＩｐマネジメント株式会社 三次元変位計測方法及び三次元変位計測装置
KR20220026422A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법
KR20220153802A (ko) * 2021-05-12 2022-11-21 삼성전자주식회사 캘리브레이션 방법 및 장치
US20230080638A1 (en) * 2021-09-13 2023-03-16 Toyota Research Institute, Inc. Systems and methods for self-supervised learning of camera intrinsic parameters from a sequence of images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186897A1 (en) 2001-04-02 2002-12-12 Korea Advanced Institute Of Science And Technology Camera calibration system using planar concentric circles and method thereof
JP2005352630A (ja) 2004-06-09 2005-12-22 Pulstec Industrial Co Ltd 座標変換係数取得方法、座標変換係数取得装置およびコンピュータプログラム
JP2007256091A (ja) 2006-03-23 2007-10-04 Space Vision:Kk レンジファインダ校正方法及び装置
JP2010181919A (ja) 2009-02-03 2010-08-19 Toyohashi Univ Of Technology 三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラム
WO2013111229A1 (ja) 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム

Also Published As

Publication number Publication date
JPWO2020208686A1 (ja) 2020-10-15
US20220189066A1 (en) 2022-06-16
WO2020208686A1 (ja) 2020-10-15
US20220180563A1 (en) 2022-06-09
US11830223B2 (en) 2023-11-28
US11521333B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7151879B2 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
JP7173285B2 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
US9928595B2 (en) Devices, systems, and methods for high-resolution multi-view camera calibration
CN109313814B (zh) 照相机校准系统
US10846885B2 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
US9883163B2 (en) Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
WO2013111229A1 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
US9715730B2 (en) Three-dimensional measurement apparatus and robot system
Gai et al. A novel dual-camera calibration method for 3D optical measurement
JP2016100698A (ja) 校正装置、校正方法、プログラム
Cerveri et al. Complete calibration of a stereo photogrammetric system through control points of unknown coordinates
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
JP2009253715A (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体
JP2021189946A (ja) 検出装置、検出方法及び検出プログラム
Tushev et al. Photogrammetric system accuracy estimation by simulation modelling
Cui et al. Plane-based external camera calibration with accuracy measured by relative deflection angle
JP5901379B2 (ja) 撮像装置校正方法および画像合成装置
KR100457080B1 (ko) 영상에 의한 암반사면 절리의 기하학적 특성조사방법
CN113790711A (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质
JP4196784B2 (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
Cheng et al. A linear approach for depth and colour camera calibration using hybrid parameters
JP4155071B2 (ja) 光線方向測定装置および測定方法
JP6091092B2 (ja) 画像処理装置、及び画像処理方法
Chen et al. A novel camera calibration method based on known rotations and translations

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151