JP7121936B2 - カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム - Google Patents
カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム Download PDFInfo
- Publication number
- JP7121936B2 JP7121936B2 JP2021502366A JP2021502366A JP7121936B2 JP 7121936 B2 JP7121936 B2 JP 7121936B2 JP 2021502366 A JP2021502366 A JP 2021502366A JP 2021502366 A JP2021502366 A JP 2021502366A JP 7121936 B2 JP7121936 B2 JP 7121936B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- error
- feature points
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
Description
本発明は、カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラムに関する。
画像認識において、単一モーダル（例：可視画像）のみを用いるよりも別のモーダル(例：遠赤外画像)の情報を併用する方が、より多様なシーンに対応でき精度が向上することが知られている。別のモーダルの画像は、多くの場合別のカメラから得られるので視差が生じ、実際の空間上で同じ対象が、異なるカメラの画像上では位置がずれて見える。
この問題を解決するために、非特許文献１では、特殊な装置により、可視カメラと遠赤外カメラの光軸をそろえることで、視差が除去されたデータを用いる。しかし、特殊な装置により視差を合わせることは高いコストを要する。このような特殊な装置を用いない場合、異なるカメラの画像上での位置のずれをカメラ校正（Camera Calibration）によって修正し画像間の位置合わせを行う必要がある。
この問題を解決するために、非特許文献１では、特殊な装置により、可視カメラと遠赤外カメラの光軸をそろえることで、視差が除去されたデータを用いる。しかし、特殊な装置により視差を合わせることは高いコストを要する。このような特殊な装置を用いない場合、異なるカメラの画像上での位置のずれをカメラ校正（Camera Calibration）によって修正し画像間の位置合わせを行う必要がある。
かかるカメラ校正に関し、非特許文献２では、光軸の異なる可視カメラの画像と遠赤外カメラの画像とに対してカメラ校正を行う方法が開示されている。
Soonmin Hwang、外４名、"Multispectral Pedestrian Detection:Benchmark Dataset and Baseline"、2015 IEEE Conference on Computer Vision and Pattern Recognition、２０１５年
Shibata、外２名、"Accurate Joint Geometric Camera Calibration of Visible and Far-Infrared Cameras"、IS&T International Symposium on Electronic Imaging 2017、２０１７年
非特許文献２に記載の方法のように、光軸の異なる複数のカメラの画像を校正する場合など、カメラによって撮影画像から得られる情報の精度が異なる場合に、この精度の違いによるカメラ校正の精度の低下を軽減できることが好ましい。
本発明は、上述の課題を解決することのできるカメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラムを提供することを目的としている。
本発明の第１の態様によれば、カメラ校正情報取得装置は、２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する画像取得手段と、前記画像取得手段が取得した画像の各々から、その画像の特徴点の座標を検出する特徴点検出手段と、前記特徴点検出手段が検出した特徴点を用いて前記カメラの各々の内部パラメタを算出する内部パラメタ推定手段と、前記特徴点検出手段が検出した前記特徴点の座標の誤差の大きさを、前記カメラ毎に算出する誤差量推定手段と、前記誤差量推定手段が算出した誤差の大きさと、前記特徴点検出手段が検出した特徴点の座標と、前記特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、前記カメラの外部パラメタの値を算出する外部パラメタ推定手段と、を備える。
本発明の第２の態様によれば、カメラ校正情報取得方法は、２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する工程と、取得した画像の各々から、その画像の特徴点の座標を検出する工程と、検出した特徴点を用いて前記カメラの各々の内部パラメタを算出する工程と、検出した前記特徴点の座標の誤差の大きさを、前記カメラ毎に算出する工程と、算出した誤差の大きさと、検出した特徴点の座標と、前記特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、前記カメラの外部パラメタの値を算出する工程と、を含む。
本発明の第３の態様によれば、プログラムは、コンピュータに、２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する工程と、取得した画像の各々から、その画像の特徴点の座標を検出する工程と、前記特徴点検出部が検出した特徴点を用いて前記カメラの各々の内部パラメタを算出する工程と、検出した前記特徴点の座標の誤差の大きさを、前記カメラ毎に算出する工程と、算出した誤差の大きさと、検出した特徴点の座標と、前記特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、前記カメラの外部パラメタの値を算出する工程と、を実行させるためのプログラムである。
この発明によれば、カメラによって撮影画像から得られる情報の精度が異なる場合に、この精度の違いによるカメラ校正の精度の低下を軽減させることができる。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る画像処理システムの装置構成の例を示す概略構成図である。図１に示す構成で、画像処理システム１は、Ｎ台のカメラ２－１～２－Ｎと、画像処理装置３とを備える。カメラ２－１～２－Ｎを総称してカメラ２と表記する。
カメラ２の各々は、撮影を行い、撮影で得られた画像を画像データにて画像処理装置３へ送信する。複数のカメラ２は、カメラ間で少なくとも一部が重なり合う画像を撮影する。
図１は、実施形態に係る画像処理システムの装置構成の例を示す概略構成図である。図１に示す構成で、画像処理システム１は、Ｎ台のカメラ２－１～２－Ｎと、画像処理装置３とを備える。カメラ２－１～２－Ｎを総称してカメラ２と表記する。
カメラ２の各々は、撮影を行い、撮影で得られた画像を画像データにて画像処理装置３へ送信する。複数のカメラ２は、カメラ間で少なくとも一部が重なり合う画像を撮影する。
カメラ２の各々は、可視光カメラ（可視光を画像化するカメラ）に限定されない。例えば、赤外線カメラまたはサーモグラフィなど、空間的な広がりに対応した画像またはセンサ測定値を取得するいろいろなカメラをカメラ２として用いることができる。
画像処理システム１が備えるカメラの台数は２台以上であればよい。すなわち、Ｎは、Ｎ≧２の整数であればよい。
画像処理システム１が備えるカメラの台数は２台以上であればよい。すなわち、Ｎは、Ｎ≧２の整数であればよい。
画像処理装置３は、複数のカメラ２が撮影する複数の画像に対してまとめてカメラ校正を行って画像間の位置合わせを行い、これらの画像を重ね合わせた画像を合成する。
画像処理装置３は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）などのコンピュータを用いて構成される。
画像処理装置３は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）などのコンピュータを用いて構成される。
図２は、画像処理装置３の機能構成の例を示す概略ブロック図である。図２に示す構成で、画像処理装置３は、画像取得部（画像取得手段）１０と、画像処理部（画像処理手段）２０と、画像出力部（画像出力手段）３０とを備える。画像処理部２０は、特徴点検出部（特徴点検出手段）２０１と内部パラメタ推定部（内部パラメタ推定手段）２０２と、外部パラメタ推定部（外部パラメタ推定手段）２０３と、画像位置合わせ部（画像位置合わせ手段）２０４と、誤差量推定部（誤差量推定手段）２０５と、カメラ位置制約部（カメラ位置制約手段）２０６とを備える。
画像処理装置の各部について説明する。
画像処理装置の各部について説明する。
画像取得部１０：
画像取得部１０は、２台以上のカメラ２の各々から、カメラ校正（Camera Calibration）用ターゲットが撮影された画像を、一枚以上取得する。画像取得部１０には、複数のカメラ２によって得られた複数の画像が入力される。画像取得部１０が取得する画像は、可視画像に限定されない。例えば、カメラ２がサーモグラフィである場合など、画像取得部１０が取得する画像は、センシングデータが二次元画像として示されたものでもよい。より具体的には、画像取得部１０が取得する画像に、温度画像（撮影範囲における温度分布を示す画像）または深度画像（撮影範囲における奥行きを示す画像）などが含まれていてもよい。
画像取得部１０は、２台以上のカメラ２の各々から、カメラ校正（Camera Calibration）用ターゲットが撮影された画像を、一枚以上取得する。画像取得部１０には、複数のカメラ２によって得られた複数の画像が入力される。画像取得部１０が取得する画像は、可視画像に限定されない。例えば、カメラ２がサーモグラフィである場合など、画像取得部１０が取得する画像は、センシングデータが二次元画像として示されたものでもよい。より具体的には、画像取得部１０が取得する画像に、温度画像（撮影範囲における温度分布を示す画像）または深度画像（撮影範囲における奥行きを示す画像）などが含まれていてもよい。
そして、画像取得部１０は、入力された画像或いは測定値を、画像処理装置３が備えるメモリ等に記録する。なお、画像取得部１０が取得する画像は、これに限定されない。例えば、深層学習の途中の処理結果を多チャンネルの画像として画像取得部１０に入力するようにしてもよい。或いは、数値シミュレーションなどにより算出したベクトルデータ（速度場、密度場など）を多チャンネルの画像として画像取得部１０に入力するようにしてもよい。以下では、これら画像取得部１０が取得した複数の画像をまとめて校正用画像と呼ぶ。
なお、画像処理装置３のカメラ校正用のターゲット（撮影対象物）は、特定のものに限定されない。例えば、画像処理装置３のカメラ校正用のターゲットとして、非特許文献２に記載の校正用ターゲットを用いてもよいし、あるいは、より一般的な物体をカメラ校正用ターゲットとして用いてもよい。
特徴点検出部２０１：
特徴点検出部２０１は、画像取得部１０が取得した複数の画像の各々について、カメラ校正に使用するための特徴点の座標を検出する。特徴点検出部２０１が特徴点の座標を検出する方法は、特定の方法に限定されず、公知のいろいろな方法を用いることができる。
特徴点検出部２０１は、画像取得部１０が取得した複数の画像の各々について、カメラ校正に使用するための特徴点の座標を検出する。特徴点検出部２０１が特徴点の座標を検出する方法は、特定の方法に限定されず、公知のいろいろな方法を用いることができる。
例えば、特徴点検出部２０１が、ハリスのコーナー点検出などの手法を用いて特徴点の座標を検出するようにしてもよい。あるいは、特徴点検出部２０１が、ＳＩＦＴ（ScaleInvariant Feature Transform）などの特徴点検出を用いて、校正用ターゲットが撮影されている画像から特徴点の座標を検出するようにしてもよい。すなわち、一般的な画像のコーナーや輪郭などから特徴点の座標を検出する方法を用いて、画像の特徴点の座標を検出すればよい。
あるいは、特徴点検出部２０１が、利用者が手動にて検出した特徴点の座標を取得するようにしてもよい。あるいは、特徴点検出部２０１は、利用者が手動にて入力した特徴点の座標と、ハリスのコーナー点検出などを用いて自動的に検出した特徴点の座標とを併用して、特徴点の座標を検出するようにしてもよい。例えば、特徴点検出部２０１が、まずは、ハリスのコーナー点検出などを用いて、自動的に特徴点の座標を検出した後、これを手動で補正するようにしてもよい。あるいは、特徴点検出部２０１が自動的に検出した特徴点の座標と、利用者が手動で入力した特徴点の座標との平均値を、特徴点の座標として用いてもよい。
ここで、各カメラを添え字（インデックス）ｉ（ｉ＝１、・・・、Ｎ）（Ｎはカメラの台数を示す）で区別し、校正用ターゲットにおける各コーナー点を添え字ｊ（ｉ＝１、・・・、Ｐ）（Ｐは、コーナー点の個数を示す）で区別し、各校正用ターゲットの姿勢を添え字ｋ（ｋ＝１、・・・、Ｍ）（Ｍは、校正用ターゲットの姿勢の個数を示す）で区別する。この場合、各特徴点は、カメラの添え字ｉ、校正用ターゲットの各コーナー点の添え字ｊ、および各校正用ターゲットの姿勢の添え字ｋの三つで区別することができる。以下では、各特徴点をｘ（ｉ，ｊ，ｋ）と表し区別する。特徴点ｘ（ｉ，ｊ，ｋ）の座標についても、ｘ（ｉ，ｊ，ｋ）と表記する。ただし、ｉ、ｊ、ｋは上記のようにインデックスであり、直接座標値を示すものではない。
内部パラメタ推定部２０２：
内部パラメタ推定部２０２は、特徴点検出部２０１にて検出された特徴点の座標を用いて、カメラ２毎に内部パラメタ値を算出（推定）する。ここでいう内部パラメタは、カメラパラメタ（カメラ画像の位置合わせにおけるパラメタ）のうち、レンズ歪および光学中心など、カメラ２自らの特性または状態に起因するパラメタである。すなわち、ここでは、カメラパラメタを、カメラの配置（位置および向き）に起因する外部パラメタ（カメラの相対的な姿勢）と、カメラの配置によらない内部パラメタ（例えば、レンズ歪および光学中心）とに分類している。
内部パラメタ推定部２０２は、特徴点検出部２０１にて検出された特徴点の座標を用いて、カメラ２毎に内部パラメタ値を算出（推定）する。ここでいう内部パラメタは、カメラパラメタ（カメラ画像の位置合わせにおけるパラメタ）のうち、レンズ歪および光学中心など、カメラ２自らの特性または状態に起因するパラメタである。すなわち、ここでは、カメラパラメタを、カメラの配置（位置および向き）に起因する外部パラメタ（カメラの相対的な姿勢）と、カメラの配置によらない内部パラメタ（例えば、レンズ歪および光学中心）とに分類している。
例えば、内部パラメタ推定部２０２が、あらかじめ、レンズひずみおよび光学中心などの内部パラメタをモデルのパラメタとして含み、カメラとそのカメラの撮影画像における座標との関係（特に、内部パラメタ値と撮影画像における座標との関係）を示すモデル（以下、カメラモデルと称する）を備えておく（例えば、記憶しておく）。そして、内部パラメタ推定部２０２は、このカメラモデルから算出される特徴点の座標と、特徴点検出部２０１にて検出された特徴点の座標との差の大きさを小さくする、カメラモデルのパラメタ（内部パラメタ）を求める。
さらに例えば、内部パラメタ推定部２０２は、カメラモデルから算出される特徴点の座標と、特徴点検出部２０１にて検出された特徴点の座標との誤差を二乗誤差などで定義し、この誤差が最小となるように、最小二乗法などを用いてカメラモデルのパラメタを算出する。
なお、以下では、各カメラを添え字ｉ（ｉ＝１、・・・、Ｎ）で区別し、各カメラの内部パラメタをＫｉと表記する。
なお、以下では、各カメラを添え字ｉ（ｉ＝１、・・・、Ｎ）で区別し、各カメラの内部パラメタをＫｉと表記する。
画像位置合わせ部２０４：
画像位置合わせ部２０４は、内部パラメタ推定部２０２が算出した内部パラメタと、後述する外部パラメタ推定部２０３が算出した外部パラメタとに基づいて、各カメラ２で取得された画像の位置を合わせる。より具体的には、画像位置合わせ部２０４は、内部パラメタ推定部２０２および外部パラメタ推定部２０３が算出した、内部パラメタ（カメラのレンズひずみ、画像中心）および外部パラメタ（カメラの相対的な姿勢）を用いて、解像度の違いや位置ずれがある各画像の位置ずれが補正された画像を生成する。
画像位置合わせ部２０４は、内部パラメタ推定部２０２が算出した内部パラメタと、後述する外部パラメタ推定部２０３が算出した外部パラメタとに基づいて、各カメラ２で取得された画像の位置を合わせる。より具体的には、画像位置合わせ部２０４は、内部パラメタ推定部２０２および外部パラメタ推定部２０３が算出した、内部パラメタ（カメラのレンズひずみ、画像中心）および外部パラメタ（カメラの相対的な姿勢）を用いて、解像度の違いや位置ずれがある各画像の位置ずれが補正された画像を生成する。
なお、画像境界において、より滑らかな画像を生成するために、異なるカメラで撮影された画像において、重なり合っている部分については、画像位置合わせ部２０４が、画像の位置合わせ処理の後に、各画素にて両者の画像値を平均するようにしてもよい。あるいは、画像位置合わせ部２０４が、勾配ベースの方法を用いて位置合わせされた画像を生成するようにしてもよい。この場合の勾配ベースの方法として、例えば、以下の非特許文献に記載された方法を用いることができるが、これに限定されない。
非特許文献：Shibata、外２名、"Gradient-Domain Image Reconstruction Framework with Intensity-Range and Base-Structure Constraints."、2016 IEEE Conference on Computer Vision and Pattern Recognition、２０１６年
非特許文献：Shibata、外２名、"Gradient-Domain Image Reconstruction Framework with Intensity-Range and Base-Structure Constraints."、2016 IEEE Conference on Computer Vision and Pattern Recognition、２０１６年
誤差量推定部２０５：
誤差量推定部２０５は、特徴点検出部２０１が検出した特徴点と、画像取得部１０が取得したカメラ画像およびカメラ情報とに基づいて、特徴点検出部２０１による特徴点検出の誤差量（特徴点の座標の誤差量）を、カメラ２毎に算出（推定）する。ここでいう誤差量は、誤差の大きさである。
誤差量推定部２０５は、特徴点検出部２０１が検出した特徴点と、画像取得部１０が取得したカメラ画像およびカメラ情報とに基づいて、特徴点検出部２０１による特徴点検出の誤差量（特徴点の座標の誤差量）を、カメラ２毎に算出（推定）する。ここでいう誤差量は、誤差の大きさである。
例えば、誤差量推定部２０５が、カメラの解像度をカメラ情報として用いて、誤差量を算出するようにしてもよい。具体的には、誤差量推定部２０５が、カメラ２の解像度が小さいほうが、誤差量が大きくなるとして、誤差量を見積もるようにしてもよい。
例えば一般的に、可視カメラに比べて遠赤外カメラのほうが、解像度が大きい。このような特性に鑑み、誤差量推定部２０５が、可視カメラにて取得された画像から得られた特徴点の座標のほうが、遠赤外カメラにて取得された画像から得られる特徴点の座標に比べて誤差量が小さくなるように、カメラ２毎に特徴点の座標の誤差量を見積もるようにしてもよい。
例えば一般的に、可視カメラに比べて遠赤外カメラのほうが、解像度が大きい。このような特性に鑑み、誤差量推定部２０５が、可視カメラにて取得された画像から得られた特徴点の座標のほうが、遠赤外カメラにて取得された画像から得られる特徴点の座標に比べて誤差量が小さくなるように、カメラ２毎に特徴点の座標の誤差量を見積もるようにしてもよい。
あるいは、誤差量推定部２０５が、事前に、画像取得部１０が取得する画像とは別に、校正用ターゲットを撮影した画像と、その画像の特徴点の座標の真値とをあらかじめ取得しておくようにしてもよい。そして、誤差量推定部２０５が、画像取得部１０が取得した画像における特徴点の座標と、あらかじめ取得した特徴点の座標の真値との差分から直接的に、誤差量を算出するようにしてもよい。
あるいは、誤差量推定部２０５が、機械学習などの手法を用いて、画像の見え（アピアランス、Appearance）と真値との関係から誤差量を算出するようにしてもよい。
あるいは、誤差量推定部２０５が、画像取得部１０が取得する画像とは別に、校正用ターゲットを撮影した画像と、利用者が手動で入力するその画像の特徴点の座標とをあらかじめ取得しておくようにしてもよい。そして、誤差量推定部２０５が、画像取得部１０が取得した画像における特徴点の座標と、あらかじめ取得した特徴点の座標（手入力値）との差分から、誤差量を算出するようにしてもよい。
あるいは、誤差量推定部２０５が、画像取得部１０が取得する画像とは別に、校正用ターゲットを撮影した画像と、利用者が手動で入力するその画像の特徴点の座標とをあらかじめ取得しておくようにしてもよい。そして、誤差量推定部２０５が、画像取得部１０が取得した画像における特徴点の座標と、あらかじめ取得した特徴点の座標（手入力値）との差分から、誤差量を算出するようにしてもよい。
上述したように、カメラ２の各々を添え字ｉ（ｉ＝１、・・・、Ｎ）で区別し、校正用ターゲットにおける各コーナー点を添え字ｊ（ｉ＝１、・・・、Ｐ）で区別し、各校正用ターゲットの姿勢を添え字ｋ（ｋ＝１、・・・、Ｍ）で区別する。この場合、各特徴点の座標に対応する誤差量は、カメラの添え字ｉ、校正用ターゲットの各コーナー点の添え字ｊ、および各校正用ターゲットの姿勢の添え字ｋの三つで区別することができる。以下では、各特徴点の誤差量をθ（ｉ，ｊ，ｋ）と表記する。
外部パラメタ推定部２０３：
外部パラメタ推定部２０３は、誤差量推定部２０５が算出した誤差量と、特徴点検出部２０１が検出した特徴点の座標と、内部パラメタ推定部２０２が算出した内部パラメタとに基づいてカメラ２の各々の外部パラメタを算出（推定）する。その際、外部パラメタ推定部２０３は、特徴点の座標の誤差量が大きい画像ほど誤差量のペナルティが小さくなるように誤差関数を設定し、例えば誤差関数の値を最小化する外部パラメタを求める。
外部パラメタ推定部２０３は、誤差量推定部２０５が算出した誤差量と、特徴点検出部２０１が検出した特徴点の座標と、内部パラメタ推定部２０２が算出した内部パラメタとに基づいてカメラ２の各々の外部パラメタを算出（推定）する。その際、外部パラメタ推定部２０３は、特徴点の座標の誤差量が大きい画像ほど誤差量のペナルティが小さくなるように誤差関数を設定し、例えば誤差関数の値を最小化する外部パラメタを求める。
ここで、一般的にカメラの姿勢は、カメラの回転と並進で表すことができる。
上記のように、カメラ２の各々を添え字ｉ（ｉ＝１、・・・、Ｎ）で区別し、校正用ターゲットにおける各コーナー点を添え字ｊ（ｉ＝１、・・・、Ｐ）で区別し表す。カメラｉと校正用ターゲットｊとの間の回転をＲｋ ｉとし、基準となるカメラ（ｉ＝１のカメラ）からｉ番目のカメラへの回転をＲｉとすると、式（１）のような関係式が成立する。
上記のように、カメラ２の各々を添え字ｉ（ｉ＝１、・・・、Ｎ）で区別し、校正用ターゲットにおける各コーナー点を添え字ｊ（ｉ＝１、・・・、Ｐ）で区別し表す。カメラｉと校正用ターゲットｊとの間の回転をＲｋ ｉとし、基準となるカメラ（ｉ＝１のカメラ）からｉ番目のカメラへの回転をＲｉとすると、式（１）のような関係式が成立する。
また、カメラｉと校正用ターゲットｊとの間の並進をＴｋ
ｉとし、基準となるカメラ（ｉ＝１のカメラ）からｉ番目のカメラへの並進をＴｉとすると、式（２）のような関係式が成立する。
このとき、カメラの内部パラメタ、外部パラメタ、および各特徴点の座標の間に、理想的には（すなわち、誤差の影響を無視できれば）式（３）の関係式が成立する。
ただし、ｗ（ｉ，ｊ，ｋ）は、射影幾何における画像のスケールファクターである。また、Ｘｊは、３次元の世界座標系での座標値を示す。
このとき、外部パラメタを算出するための誤差関数は、誤差量推定部２０５で得られた各特徴点の誤差量θ（ｉ，ｊ，ｋ）を用いて、式（４）のように表すことができる。
このとき、外部パラメタを算出するための誤差関数は、誤差量推定部２０５で得られた各特徴点の誤差量θ（ｉ，ｊ，ｋ）を用いて、式（４）のように表すことができる。
ただし、ｆ（）は、誤差量とペナルティの重みを調整するための関数であり、特徴点の誤差が大きい画像ほど、外部パラメタ推定部２０３における誤差量のペナルティが小さくなるように、誤差関数（特に、関数ｆ（θ（ｉ，ｊ，ｋ）））を設定する。なお、式（４）の上付の「２」は２乗を示し、下付の「２」はＬ２ノルムを示す。
例えば、式（４）の「ｆ（θ（ｉ，ｊ，ｋ））｜Ｋｉ［Ｒｋ ｉＸｊ＋Ｔｋ ｉ］／ｗ（ｉ，ｊ，ｋ）－ｘ（ｉ，ｊ，ｋ）｜２ ２」が誤差量のペナルティの例に該当する。そして、特徴点の誤差量θ（ｉ，ｊ，ｋ）が大きいほど、関数ｆ（θ（ｉ，ｊ，ｋ））の値が小さくなるように、関数ｆ（θ（ｉ，ｊ，ｋ））を設定するようにしてもよい。
外部パラメタ推定部２０３は、式（４）に示される誤差関数の値Ｅを最小化することで、外部パラメタを算出することができる。
例えば、式（４）の「ｆ（θ（ｉ，ｊ，ｋ））｜Ｋｉ［Ｒｋ ｉＸｊ＋Ｔｋ ｉ］／ｗ（ｉ，ｊ，ｋ）－ｘ（ｉ，ｊ，ｋ）｜２ ２」が誤差量のペナルティの例に該当する。そして、特徴点の誤差量θ（ｉ，ｊ，ｋ）が大きいほど、関数ｆ（θ（ｉ，ｊ，ｋ））の値が小さくなるように、関数ｆ（θ（ｉ，ｊ，ｋ））を設定するようにしてもよい。
外部パラメタ推定部２０３は、式（４）に示される誤差関数の値Ｅを最小化することで、外部パラメタを算出することができる。
ここで、上記のように、カメラの内部パラメタ、外部パラメタ、および各特徴点の座標の間に、理想的には式（３）の関係式が成立する。一方、特徴点の座標に含まれる誤差を無視できない場合、および、内部パラメタの値に含まれる誤差を無視できない場合のいずれも、式（３）の関係を用いて特徴点の座標および内部パラメタの値に基づいて外部パラメタの値を算出すると、得られる外部パラメタの値は、特徴点の座標に含まれる誤差の影響、および、内部パラメタの値に含まれる誤差の影響を受ける。
式（４）の場合、「Ｋｉ［Ｒｋ
ｉＸｊ＋Ｔｋ
ｉ］／ｗ（ｉ，ｊ，ｋ）－ｘ（ｉ，ｊ，ｋ）」の値を０に近づけるほど、外部パラメタの値が、特徴点の座標に含まれる誤差の影響、および、内部パラメタの値に含まれる誤差の影響を大きく受けるようになる。いわば、特徴点の座標に含まれる誤差、および、内部パラメタの値に含まれる誤差が、外部パラメタの値に含まれる誤差に伝搬し、外部パラメタの値に含まれる誤差が大きくなることが考えられる。
そこで、外部パラメタ推定部２０３は、上記のように、特徴点の座標の誤差量θ（ｉ，ｊ，ｋ）が大きいほど、誤差量のペナルティが小さくなるように演算を行う。これにより、特徴点の座標の誤差が大きいことに影響されて、外部パラメタの値の精度が悪くなることを低減させる（外部パラメタの値の精度を比較的よくする）ことができる。
内部パラメタの値の誤差量が大きい場合も、それによって特徴点の誤差量が大きくなると考えられる。この場合も、上記ように特徴点の誤差量θ（ｉ，ｊ，ｋ）が大きいほど、誤差量のペナルティを小さくすることで、内部パラメタの値の誤差が大きいことに影響されて、外部パラメタの値の精度が悪くなることを低減させる（外部パラメタの値の精度を比較的よくする）ことができる。
内部パラメタの値の誤差量が大きい場合も、それによって特徴点の誤差量が大きくなると考えられる。この場合も、上記ように特徴点の誤差量θ（ｉ，ｊ，ｋ）が大きいほど、誤差量のペナルティを小さくすることで、内部パラメタの値の誤差が大きいことに影響されて、外部パラメタの値の精度が悪くなることを低減させる（外部パラメタの値の精度を比較的よくする）ことができる。
例えば、可視カメラと遠赤外カメラのそれぞれの解像度が大きく異なる場合など、複数のカメラ２の解像度が大きく異なる場合、解像度の違いによってカメラの光学中心およびレンズ歪など内部パラメタの算出精度が異なり、算出精度の悪い内部パラメタの値の影響を受けて特徴点の座標の算出精度が悪くなり、さらには、外部パラメタの算出精度が悪くなることが考えられる。
この場合、上記のように、特徴点の誤差が大きい画像ほど、外部パラメタ推定部２０３における誤差量のペナルティが小さくなるようにすることで、算出精度の悪い内部パラメタの値の影響により外部パラメタの算出精度が悪くなることを低減させる(外部パラメタの算出精度を比較的よくする)ことができる。
この場合、上記のように、特徴点の誤差が大きい画像ほど、外部パラメタ推定部２０３における誤差量のペナルティが小さくなるようにすることで、算出精度の悪い内部パラメタの値の影響により外部パラメタの算出精度が悪くなることを低減させる(外部パラメタの算出精度を比較的よくする)ことができる。
カメラ位置制約部２０６：
カメラ位置制約部２０６は、２台以上のカメラ間の関係において、回転あるいは並進に関する座標変換を指定したカメラの順番に沿って行った際に、カメラ姿勢の相対的な位置関係が矛盾ないことを制約する。
より具体的には、以下のような制約を課しながら、式（４）で表される誤差関数を最小化すればよい。制約の１つ目は、式（５）のように示される。
カメラ位置制約部２０６は、２台以上のカメラ間の関係において、回転あるいは並進に関する座標変換を指定したカメラの順番に沿って行った際に、カメラ姿勢の相対的な位置関係が矛盾ないことを制約する。
より具体的には、以下のような制約を課しながら、式（４）で表される誤差関数を最小化すればよい。制約の１つ目は、式（５）のように示される。
ただし、Ｉは単位行列を示す。
制約の２つ目は、式（６）のように示される。
制約の２つ目は、式（６）のように示される。
ただし、０は零行列を示す。
なお、本発明におけるカメラ位置制約手段は、これに限定されない。例えば、カメラ位置制約手段は、式（５）或いは式（６）を用いてカメラ姿勢の相対的な位置関係が矛盾ないことを制約するだけでなく、例えば、式（１）及び式（２）を用いて、はじめにカメラ姿勢の相対的な位置関係が矛盾ないことを制約するようにしてもよい。より具体的には、以下の最適化関数を用いて，カメラ姿勢の相対的な位置関係を制約するようにしてもよい。
例えば、まず式（７）を用いて、回転の自由度に関して、カメラ姿勢の相対的な位置関係が矛盾ないことを制約する。
なお、本発明におけるカメラ位置制約手段は、これに限定されない。例えば、カメラ位置制約手段は、式（５）或いは式（６）を用いてカメラ姿勢の相対的な位置関係が矛盾ないことを制約するだけでなく、例えば、式（１）及び式（２）を用いて、はじめにカメラ姿勢の相対的な位置関係が矛盾ないことを制約するようにしてもよい。より具体的には、以下の最適化関数を用いて，カメラ姿勢の相対的な位置関係を制約するようにしてもよい。
例えば、まず式（７）を用いて、回転の自由度に関して、カメラ姿勢の相対的な位置関係が矛盾ないことを制約する。
なお、ここで、ｐは利用者によりあらかじめ決定されるパラメタである。
そして、式（８）を用いて並進の自由度に関してカメラ姿勢の相対的な位置関係を制約するようにしてもよい。
そして、式（８）を用いて並進の自由度に関してカメラ姿勢の相対的な位置関係を制約するようにしてもよい。
［動作の説明］
次に、図３を用いて、画像処理装置３の動作について説明する。
図３は、画像処理装置３が、画像の位置合わせを行って位置合わせされた画像を出力する処理手順の例を示すフローチャートである。
図３の処理で、まず、画像取得部１０にて画像を取得する（Ｓ００１）。
次に、特徴点検出部２０１にて、特徴点を検出する（Ｓ００２）。内部パラメタ推定部２０２にて、内部パラメタを算出する（Ｓ００３）。誤差量推定部２０５にて、誤差量を算出する（Ｓ００４）。カメラ位置制約部２０６にて、カメラ位置の制約条件を算出する（Ｓ００５）。画像位置合わせ部２０４にて、位置合わせされた画像を出力する（Ｓ００６）。画像出力部３０にて、位置合わせされた画像を出力する（Ｓ００７）。
ステップＳ００７の後、画像処理装置３は、図３の処理を終了する。
次に、図３を用いて、画像処理装置３の動作について説明する。
図３は、画像処理装置３が、画像の位置合わせを行って位置合わせされた画像を出力する処理手順の例を示すフローチャートである。
図３の処理で、まず、画像取得部１０にて画像を取得する（Ｓ００１）。
次に、特徴点検出部２０１にて、特徴点を検出する（Ｓ００２）。内部パラメタ推定部２０２にて、内部パラメタを算出する（Ｓ００３）。誤差量推定部２０５にて、誤差量を算出する（Ｓ００４）。カメラ位置制約部２０６にて、カメラ位置の制約条件を算出する（Ｓ００５）。画像位置合わせ部２０４にて、位置合わせされた画像を出力する（Ｓ００６）。画像出力部３０にて、位置合わせされた画像を出力する（Ｓ００７）。
ステップＳ００７の後、画像処理装置３は、図３の処理を終了する。
［効果の説明］
上記のように、実施形態に係る画像処理装置３は、
画像取得部１０が一台以上のカメラから、カメラ校正用ターゲットが撮影された画像を一枚以上取得し、
特徴点検出部２０１が画像取得部１０にて得られた一枚以上の画像から、校正に使用する特徴点を検出し、
誤差量推定部２０５が特徴点検出部２０１にて検出された特徴点と、画像取得部１０にて取得したカメラ画像およびカメラ情報とから、特徴点検出の誤差量を、画像取得部１０にて用いたカメラ毎に算出し、
内部パラメタ推定部２０２が、特徴点検出部２０１にて検出された特徴点、レンズ歪や光学中心などのカメラパラメタを算出し、
外部パラメタ推定部２０３が誤差量推定部２０５にて算出した誤差量と、特徴点検出部２０１にて検出された特徴点と、内部パラメタ推定部２０２とから、特徴点の誤差が大きい画像ほど、外部パラメタ推定部２０３における誤差量のペナルティが小さくなるように、誤差関数を設定し、カメラの姿勢などの外部パラメタを算出する
という構成になっている。
以上のような構成を有することで、カメラの解像度が大きく異なるカメラの間のカメラ校正（各カメラの光軸、レンズひずみ、カメラ同士の姿勢など）を高精度かつ頑健に算出することができる。
上記のように、実施形態に係る画像処理装置３は、
画像取得部１０が一台以上のカメラから、カメラ校正用ターゲットが撮影された画像を一枚以上取得し、
特徴点検出部２０１が画像取得部１０にて得られた一枚以上の画像から、校正に使用する特徴点を検出し、
誤差量推定部２０５が特徴点検出部２０１にて検出された特徴点と、画像取得部１０にて取得したカメラ画像およびカメラ情報とから、特徴点検出の誤差量を、画像取得部１０にて用いたカメラ毎に算出し、
内部パラメタ推定部２０２が、特徴点検出部２０１にて検出された特徴点、レンズ歪や光学中心などのカメラパラメタを算出し、
外部パラメタ推定部２０３が誤差量推定部２０５にて算出した誤差量と、特徴点検出部２０１にて検出された特徴点と、内部パラメタ推定部２０２とから、特徴点の誤差が大きい画像ほど、外部パラメタ推定部２０３における誤差量のペナルティが小さくなるように、誤差関数を設定し、カメラの姿勢などの外部パラメタを算出する
という構成になっている。
以上のような構成を有することで、カメラの解像度が大きく異なるカメラの間のカメラ校正（各カメラの光軸、レンズひずみ、カメラ同士の姿勢など）を高精度かつ頑健に算出することができる。
なお、画像処理装置３（図２）の各部のうち、画像取得部１０と、特徴点検出部２０１と内部パラメタ推定部２０２と、外部パラメタ推定部２０３と、画像位置合わせ部２０４と、誤差量推定部２０５と、カメラ位置制約部２０６との組み合わせは、カメラ校正情報取得装置の例に該当する。
図４は、実施形態に係るカメラ校正情報取得装置の機能構成の例を示す概略ブロック図である。図４に示す構成で、カメラ校正情報取得装置４は、画像取得部１０と、画像処理部２１とを備える。画像処理部２１は、特徴点検出部２０１と内部パラメタ推定部２０２と、外部パラメタ推定部２０３と、画像位置合わせ部２０４と、誤差量推定部２０５と、カメラ位置制約部２０６とを備える。
図４は、実施形態に係るカメラ校正情報取得装置の機能構成の例を示す概略ブロック図である。図４に示す構成で、カメラ校正情報取得装置４は、画像取得部１０と、画像処理部２１とを備える。画像処理部２１は、特徴点検出部２０１と内部パラメタ推定部２０２と、外部パラメタ推定部２０３と、画像位置合わせ部２０４と、誤差量推定部２０５と、カメラ位置制約部２０６とを備える。
図４の各部のうち、図２の各部に対応して同様の機能を有する部分には同一の符号（１０、２０１、２０２、２０３、３０５、２０６）を付して説明を省略する。
カメラ校正情報取得装置４は、画像出力部を備えていない点、および、画像処理部２１が画像位置合わせ部を備えていない点で、画像処理装置３と異なる。それ以外の点では、カメラ校正情報取得装置４は、画像処理装置３の場合と同様である。
カメラ校正情報取得装置４は、画像出力部を備えていない点、および、画像処理部２１が画像位置合わせ部を備えていない点で、画像処理装置３と異なる。それ以外の点では、カメラ校正情報取得装置４は、画像処理装置３の場合と同様である。
図４に示す構成により、カメラ校正情報取得装置４は、画像処理装置３の場合と同様に、カメラ校正用の情報として内部パラメタの値および外部パラメタの値を取得する。
例えば、カメラ校正情報取得装置４が、得られた内部パラメタおよび外部パラメタを他の装置に送信するようにしてもよい。そして、内部パラメタ及び外部パラメタを受信した装置が、得られた内部パラメタおよび外部パラメタを用いて画像位置合わせ部２０４（図２）と同様の処理を行うようにしてもよい。
あるいは、カメラ校正情報取得装置４が、得られた内部パラメタおよび外部パラメタを、カメラの特性および状態を示す情報として表示するようにしてもよい。
例えば、カメラ校正情報取得装置４が、得られた内部パラメタおよび外部パラメタを他の装置に送信するようにしてもよい。そして、内部パラメタ及び外部パラメタを受信した装置が、得られた内部パラメタおよび外部パラメタを用いて画像位置合わせ部２０４（図２）と同様の処理を行うようにしてもよい。
あるいは、カメラ校正情報取得装置４が、得られた内部パラメタおよび外部パラメタを、カメラの特性および状態を示す情報として表示するようにしてもよい。
以上のように、画像取得部１０は、２台以上のカメラ２の各々から、カメラ校正用ターゲットが撮影された画像を取得する。特徴点検出部２０１は、画像取得部１０が取得した画像の各々から、その画像の特徴点の座標を検出する。内部パラメタ推定部２０２は、特徴点検出部２０１が検出した特徴点を用いて前記カメラの各々の内部パラメタを算出する。誤差量推定部２０５は、特徴点検出部２０１が検出した特徴点の座標の誤差の大きさを、カメラ２毎に算出する。外部パラメタ推定部２０３は、誤差量推定部２０５が算出した誤差の大きさと、特徴点検出部２０１が検出した特徴点の座標と、誤差関数とを用いて、カメラ２の外部パラメタの値を算出する。誤差関数は、特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定される。
これにより、カメラ校正情報取得装置４によれば、カメラによって撮影画像から得られる情報の精度が異なる場合に、この精度の違いによるカメラ校正の精度の低下を軽減させることができる。
特に、カメラ校正情報取得装置４によれば、カメラによって特徴点の座標の算出精度が異なる場合に、そのことによる（特に、算出精度の悪い特徴点の座標による）外部パラメタの算出精度の低下を軽減させることができる。カメラによって内部パラメタの算出精度が異なり、これによって特徴点の座標の算出精度が異なる場合も同様である。
画像処理装置３（図２）についても同様である。
特に、カメラ校正情報取得装置４によれば、カメラによって特徴点の座標の算出精度が異なる場合に、そのことによる（特に、算出精度の悪い特徴点の座標による）外部パラメタの算出精度の低下を軽減させることができる。カメラによって内部パラメタの算出精度が異なり、これによって特徴点の座標の算出精度が異なる場合も同様である。
画像処理装置３（図２）についても同様である。
また、外部パラメタ推定部２０３は、２台以上のカメラの間の関係において、回転あるいは並進に関する座標変換を指定したカメラの順番に沿って行った際に、カメラ姿勢の相対的な位置関係が矛盾ない旨の制約条件の下で、外部パラメタを算出する。
これにより、外部パラメタ推定部２０３は、カメラ姿勢の位置関係の矛盾が生じないように外部パラメタを算出することができる。カメラ校正情報取得装置４によれば、この点で、外部パラメタを精度よく算出することができる。
画像処理装置３についても同様である。
これにより、外部パラメタ推定部２０３は、カメラ姿勢の位置関係の矛盾が生じないように外部パラメタを算出することができる。カメラ校正情報取得装置４によれば、この点で、外部パラメタを精度よく算出することができる。
画像処理装置３についても同様である。
また、画像処理装置３の画像位置合わせ部２０４は、複数の画像が重複する重複領域において、両者の画像の画素値を用いて画像を再計算する。
これにより、画像処理装置３では、境界領域がより滑らかに重ね合わせられた画像を得られる。
これにより、画像処理装置３では、境界領域がより滑らかに重ね合わせられた画像を得られる。
次に、図５および図６を参照して、実施形態の構成について説明する。
図５は、実施形態に係るカメラ校正情報取得装置の構成例を示す図である。図５に示すカメラ校正情報取得装置３００は、画像取得部（画像取得手段）３０１と、特徴点検出部（特徴点検出手段）３０２と、内部パラメタ推定部（内部パラメタ推定手段）３０３と、誤差量推定部（誤差量推定手段）３０４と、外部パラメタ推定部（外部パラメタ推定手段）３０５と、を備える。
かかる構成にて、画像取得部３０１は、２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する。特徴点検出部３０２は、画像取得部３０１が取得した画像の各々から、その画像の特徴点の座標を検出する。内部パラメタ推定部３０３は、特徴点検出部３０２が検出した特徴点を用いてカメラの各々の内部パラメタを算出する。誤差量推定部３０４は、特徴点検出部３０２が検出した特徴点の座標の誤差の大きさを、カメラ毎に算出する。外部パラメタ推定部３０５は、誤差量推定部３０４が算出した誤差の大きさと、特徴点検出部３０２が検出した特徴点の座標と、特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、カメラの外部パラメタの値を算出する。
図５は、実施形態に係るカメラ校正情報取得装置の構成例を示す図である。図５に示すカメラ校正情報取得装置３００は、画像取得部（画像取得手段）３０１と、特徴点検出部（特徴点検出手段）３０２と、内部パラメタ推定部（内部パラメタ推定手段）３０３と、誤差量推定部（誤差量推定手段）３０４と、外部パラメタ推定部（外部パラメタ推定手段）３０５と、を備える。
かかる構成にて、画像取得部３０１は、２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する。特徴点検出部３０２は、画像取得部３０１が取得した画像の各々から、その画像の特徴点の座標を検出する。内部パラメタ推定部３０３は、特徴点検出部３０２が検出した特徴点を用いてカメラの各々の内部パラメタを算出する。誤差量推定部３０４は、特徴点検出部３０２が検出した特徴点の座標の誤差の大きさを、カメラ毎に算出する。外部パラメタ推定部３０５は、誤差量推定部３０４が算出した誤差の大きさと、特徴点検出部３０２が検出した特徴点の座標と、特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、カメラの外部パラメタの値を算出する。
これにより、カメラ校正情報取得装置３００によれば、カメラによって撮影画像から得られる情報の精度が異なる場合に、この精度の違いによるカメラ校正の精度の低下を軽減させることができる。
特に、カメラ校正情報取得装置３００によれば、カメラによって特徴点の座標の算出精度が異なる場合に、そのことによる（特に、算出精度の悪い特徴点の座標による）外部パラメタの算出精度の低下を軽減させることができる。カメラによって内部パラメタの算出精度が異なり、これによって特徴点の座標の算出精度が異なる場合も同様である。
特に、カメラ校正情報取得装置３００によれば、カメラによって特徴点の座標の算出精度が異なる場合に、そのことによる（特に、算出精度の悪い特徴点の座標による）外部パラメタの算出精度の低下を軽減させることができる。カメラによって内部パラメタの算出精度が異なり、これによって特徴点の座標の算出精度が異なる場合も同様である。
図６は、実施形態に係るカメラ校正情報取得方法における処理手順の例を示す図である。図６に示すカメラ校正情報取得方法は、画像を取得する工程（Ｓ０１１）と、特徴点の座標を検出する工程（Ｓ０１２）と、内部パラメタを算出する工程（Ｓ０１３）と、特徴点の座標の誤差の大きさを算出する工程（Ｓ０１４）と、外部パラメタの値を算出する工程（Ｓ０１５）とを含む。画像を取得する工程（Ｓ０１１）では、２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する。特徴点の座標を検出する工程（Ｓ０１２）では、ステップＳ０１１で取得した画像の各々から、その画像の特徴点の座標を検出する。内部パラメタを算出する工程（Ｓ０１３）では、ステップＳ０１２で検出した特徴点を用いてカメラの各々の内部パラメタを算出する。特徴点の座標の誤差の大きさを算出する工程（Ｓ０１４）では、ステップＳ０１２で検出した特徴点の座標の誤差の大きさを、カメラ毎に算出する。外部パラメタの値を算出する工程（Ｓ０１５）では、ステップＳ０１４で算出した誤差の大きさと、ステップＳ０１２で検出した特徴点の座標と、特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、カメラの外部パラメタの値を算出する。
このカメラ校正情報取得方法によれば、カメラによって撮影画像から得られる情報の精度が異なる場合に、この精度の違いによるカメラ校正の精度の低下を軽減させることができる。
特に、このカメラ校正情報取得方法によれば、カメラによって特徴点の座標の算出精度が異なる場合に、そのことによる（特に、算出精度の悪い特徴点の座標による）外部パラメタの算出精度の低下を軽減させることができる。カメラによって内部パラメタの算出精度が異なり、これによって特徴点の座標の算出精度が異なる場合も同様である。
特に、このカメラ校正情報取得方法によれば、カメラによって特徴点の座標の算出精度が異なる場合に、そのことによる（特に、算出精度の悪い特徴点の座標による）外部パラメタの算出精度の低下を軽減させることができる。カメラによって内部パラメタの算出精度が異なり、これによって特徴点の座標の算出精度が異なる場合も同様である。
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図７に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記の画像処理装置３、カメラ校正情報取得装置４およびカメラ校正情報取得装置３００のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。
図７に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記の画像処理装置３、カメラ校正情報取得装置４およびカメラ校正情報取得装置３００のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。
画像処理装置３、カメラ校正情報取得装置４またはカメラ校正情報取得装置３００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。画像処理装置３、カメラ校正情報取得装置４またはカメラ校正情報取得装置３００のユーザインタフェースは、インタフェース７４０が表示デバイスを備えてデータ表示し、また、入力デバイスを備えてデータの入力を受け付けることで実行される。
画像処理装置３がコンピュータ７００に実装される場合、画像取得部１０、画像処理部２０、画像出力部３０、および、画像処理部２０の各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
カメラ校正情報取得装置４がコンピュータ７００に実装される場合、画像取得部１０、画像処理部（画像処理手段）２１、および、画像処理部２１の各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
カメラ校正情報取得装置３００がコンピュータ７００に実装される場合、画像取得部３０１、特徴点検出部３０２、内部パラメタ推定部３０３、誤差量推定部３０４、および、外部パラメタ推定部３０５の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
なお、画像処理システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種部として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１９年２月２８日に出願された日本国特願２０１９－０３６３７２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体に適用してもよい。
１ 画像処理システム
２ カメラ
３ 画像処理装置
４、３００ カメラ校正情報取得装置
１０、３０１ 画像取得部
２０、２１ 画像処理部
３０ 画像出力部
２０１、３０２ 特徴点検出部
２０２、３０３ 内部パラメタ推定部
２０３、３０５ 外部パラメタ推定部
２０４ 画像位置合わせ部
２０５、３０４ 誤差量推定部
２０６ カメラ位置制約部
２ カメラ
３ 画像処理装置
４、３００ カメラ校正情報取得装置
１０、３０１ 画像取得部
２０、２１ 画像処理部
３０ 画像出力部
２０１、３０２ 特徴点検出部
２０２、３０３ 内部パラメタ推定部
２０３、３０５ 外部パラメタ推定部
２０４ 画像位置合わせ部
２０５、３０４ 誤差量推定部
２０６ カメラ位置制約部
Claims (6)
- ２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する画像取得手段と、
前記画像取得手段が取得した画像の各々から、その画像の特徴点の座標を検出する特徴点検出手段と、
前記特徴点検出手段が検出した特徴点を用いて前記カメラの各々の内部パラメタを算出する内部パラメタ推定手段と、
前記特徴点検出手段が検出した前記特徴点の座標の誤差の大きさを、前記カメラ毎に算出する誤差量推定手段と、
前記誤差量推定手段が算出した誤差の大きさと、前記特徴点検出手段が検出した特徴点の座標と、前記特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、前記カメラの外部パラメタの値を算出する外部パラメタ推定手段と、
を備えるカメラ校正情報取得装置。 - 前記外部パラメタ推定手段は、前記２台以上のカメラの間の関係において、回転あるいは並進に関する座標変換を指定したカメラの順番に沿って行った際に、カメラ姿勢の相対的な位置関係が矛盾ない旨の制約条件の下で、外部パラメタを算出する、
請求項１に記載のカメラ校正情報取得装置。 - 請求項１または請求項２に記載のカメラ校正情報取得装置と、
前記内部パラメタ推定手段にて算出された内部パラメタと、前記外部パラメタ推定手段にて算出された外部パラメタとから、各カメラで取得された画像の位置を合わせる画像位置合わせ手段と、
前記画像位置合わせ手段にて位置合わせされた画像を出力する画像出力手段と、
を備える画像処理装置。 - 前記画像位置合わせ手段は、複数の画像が重複する重複領域において、両者の画像の画素値を用いて画像を再計算する、
請求項３に記載の画像処理装置。 - ２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する工程と、
取得した画像の各々から、その画像の特徴点の座標を検出する工程と、
検出した特徴点を用いて前記カメラの各々の内部パラメタを算出する工程と、
検出した前記特徴点の座標の誤差の大きさを、前記カメラ毎に算出する工程と、
算出した誤差の大きさと、検出した特徴点の座標と、前記特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、前記カメラの外部パラメタの値を算出する工程と、
を含むカメラ校正情報取得方法。 - コンピュータに、
２台以上のカメラの各々から、カメラ校正用ターゲットが撮影された画像を取得する工程と、
取得した画像の各々から、その画像の特徴点の座標を検出する工程と、
検出した特徴点を用いて前記カメラの各々の内部パラメタを算出する工程と、
検出した前記特徴点の座標の誤差の大きさを、前記カメラ毎に算出する工程と、
算出した誤差の大きさと、検出した特徴点の座標と、前記特徴点の座標の誤差が大きい画像ほど、外部パラメタの算出における誤差に対するペナルティが小さくなるように設定された誤差関数とを用いて、前記カメラの外部パラメタの値を算出する工程と、
を実行させるためのプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019036372 | 2019-02-28 | ||
| JP2019036372 | 2019-02-28 | ||
| PCT/JP2020/008034 WO2020175621A1 (ja) | 2019-02-28 | 2020-02-27 | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020175621A1 JPWO2020175621A1 (ja) | 2020-09-03 |
| JP7121936B2 true JP7121936B2 (ja) | 2022-08-19 |
Family
ID=72239665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021502366A Active JP7121936B2 (ja) | 2019-02-28 | 2020-02-27 | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11758110B2 (ja) |
| JP (1) | JP7121936B2 (ja) |
| WO (1) | WO2020175621A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7151879B2 (ja) * | 2019-04-08 | 2022-10-12 | 日本電気株式会社 | カメラ校正装置、カメラ校正方法、及びプログラム |
| CN110969670B (zh) * | 2019-11-22 | 2022-02-15 | 大连理工大学 | 基于显著特征的多光谱相机动态立体标定方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006120759A1 (ja) | 2005-05-12 | 2006-11-16 | Techno Dream 21 Co., Ltd. | 3次元形状計測方法およびその装置 |
| WO2017056473A1 (ja) | 2015-09-29 | 2017-04-06 | 日本電気株式会社 | カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI486551B (zh) * | 2013-10-21 | 2015-06-01 | Univ Nat Taiwan Science Tech | 三維資料擷取方法及其系統 |
| JP2016017913A (ja) * | 2014-07-10 | 2016-02-01 | 国立大学法人鳥取大学 | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム |
| US20180281698A1 (en) * | 2017-03-31 | 2018-10-04 | Magna Electronics Inc. | Vehicular camera calibration system |
-
2020
- 2020-02-27 JP JP2021502366A patent/JP7121936B2/ja active Active
- 2020-02-27 US US17/432,795 patent/US11758110B2/en active Active
- 2020-02-27 WO PCT/JP2020/008034 patent/WO2020175621A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006120759A1 (ja) | 2005-05-12 | 2006-11-16 | Techno Dream 21 Co., Ltd. | 3次元形状計測方法およびその装置 |
| WO2017056473A1 (ja) | 2015-09-29 | 2017-04-06 | 日本電気株式会社 | カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体 |
Non-Patent Citations (2)
| Title |
|---|
| Zhengyou Zhang，A Flexible New Technique for Camera Calibration，[online]，2000年11月，pp.1330-1334，https://ieeexplore.ieee.org/document/888718 |
| 柴田剛志，外２名，可視及び遠赤外カメラの同時校正技術とその応用，画像ラボ ２０１８年４月号，日本，日本工業出版株式会社，2018年04月10日，pp.49-54 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220132092A1 (en) | 2022-04-28 |
| JPWO2020175621A1 (ja) | 2020-09-03 |
| WO2020175621A1 (ja) | 2020-09-03 |
| US11758110B2 (en) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
| JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| JP5285619B2 (ja) | カメラシステムのキャリブレーション | |
| JP6816058B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
| JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
| WO2021043213A1 (zh) | 标定方法、装置、航拍设备和存储介质 | |
| EP3633606B1 (en) | Information processing device, information processing method, and program | |
| US20120162220A1 (en) | Three-dimensional model creation system | |
| JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US10771776B2 (en) | Apparatus and method for generating a camera model for an imaging system | |
| JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
| WO2016042779A1 (ja) | 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体 | |
| JP7121936B2 (ja) | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム | |
| US20120162387A1 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
| JP4948552B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
| TWI599987B (zh) | 點雲拼接系統及方法 | |
| JP5998532B2 (ja) | 補正式算出方法、補正方法、補正装置及び撮像装置 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP7044016B2 (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
| JP6573196B2 (ja) | 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム | |
| Sentenac et al. | Automated thermal 3D reconstruction based on a robot equipped with uncalibrated infrared stereovision cameras | |
| JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| Yang et al. | Single-shot extrinsic calibration of a generically configured RGB-D camera rig from scene constraints | |
| JP2007034964A (ja) | カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210825 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220721 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7121936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |