JP6721884B2 - カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体 - Google Patents

Description

本発明は、カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体に関する。

近年、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視センサを用いた監視カメラが広く普及している。一方、深度画像を取得するための廉価な深度画像取得用カメラ（以下、「デプスカメラ」と呼ぶ）も、広く普及している。また、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。

複数のセンサより取得された画像群を容易に解析するために、異なる種類のイメージセンサを用いたカメラ同士の校正が必要になる。より具体的には、各カメラのレンズ歪や画像中心などを表す内部パラメータと、カメラ間の相対的位置関係を表す外部パラメータとを正確に計測することが必要になる。このような背景の中、先行技術として、非特許文献１は、深度画像と可視画像とを用いた同時校正方法を開示している。また、非特許文献２は、画像から算出して得られた特徴点からカメラの内部パラメータを算出する方法を開示している。

また、本発明に関連する他の先行技術（特許文献）も知られている。

例えば、特許文献１は、ステレオカメラ校正装置に用いられる校正テーブルを開示している。特許文献１に開示された校正テーブルは、平板の上面に設けられ、多数の穴が形成された穴あき板と、穴あき板の多数の穴の任意の位置にランダムに嵌合された複数の棒材（校正ポール）とから成る。平板の上面は黒色に塗られ、穴あき板の上面は灰色に塗られ、校正ポールの頂部は白色に塗られている。校正ポールの長さがランダムに設定されている。校正テーブルの上部には二台のカメラ（左カメラ、右カメラ）が内斜視に配されている。左カメラ、右カメラの光軸は校正テーブルのある一点におおよそ結ばれるようになっている。

また、特許文献２は、一台のカメラのカメラパラメータを推定するカメラパラメータ推定装置を開示している。特許文献２に開示されたカメラパラメータ推定装置は、対応点探索装置と、カメラパラメータ推定手段とを備えている。対応点探索装置は、一台のカメラで同一の被写体を撮影した複数の画像間において対応点を探索する。カメラパラメータ推定手段は、対応点探索手段から入力された対応点の情報を利用して、バンドルアジャストメント（Bundle Adjustment:バンドル調整処理）によって、カメラ姿勢係数を未知数として最適化を行い、カメラパラメータを推定する。

特開平０８−０８６６１３号公報 特開２０１４−０３２６２８号公報

Herrera, C., Juho Kannala, and Janne Heikkilae. "Joint depth and color camera calibration with distortion correction." Pattern Analysis and Machine Intelligence, IEEE Transactions on 34.10 (2012): 2058-2064. Zhang, Zhengyou. "A flexible new technique for camera calibration." Pattern Analysis and Machine Intelligence, IEEE Transactions on 22.11 (2000): 1330-1334.

しかしながら、非特許文献１の手法は、可視画像と深度画像とにおける、カメラ間の外部パラメータを高精度に計測する処理である、バンドル調整の精度が低下するという課題がある。その理由は、次の通りである。一般的に、「バンドル調整」とは、同一の対応する点群の座標から、カメラパラメータを全体最適化により算出する処理である。しかしながら、非特許文献１の手法では、同一の対応する点群の座標値を、可視画像と深度画像とから簡易な処理で高精度の取得することが困難であるためである。

尚、非特許文献２は、単に、特徴点からカメラの内部パラメータを算出する方法を開示しているに過ぎない。

また、特許文献１，２には、それぞれ、次に述べるような問題点がある。

特許文献１は、二台のカメラで物体を撮影する場合に、カメラの空間位置を簡単にしかも正確に校正するために使用される校正テーブルを開示しているに過ぎない。すなわち、特許文献１に開示された校正テーブルは、同じ種類の二台のカメラの空間位置を校正するために用いられるものであって、種類の異なる複数のカメラ同士を校正することを何ら意図しておらず、解決しようとする課題が異なる。

特許文献２は、単に、バンドル調整によって、一台のカメラのカメラパラメータを推定するカメラパラメータ推定装置を開示しているに過ぎない。特許文献２でも、種類の異なる複数のカメラ同士を校正することを何ら意図しておらず、解決しようとする課題が異なる。

本発明の目的は、上記した課題を解決する、カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体を提供することにある。

本発明の一形態は、基盤と；該基盤上に、それぞれ、同一の長さを持つ複数の支柱を介して配置された複数の平面板と；を備えるカメラ校正用ボードであって、前記複数の平面板は、前記基盤に対して空間中の異なる平面上に配置されており、前記基盤と前記複数の平面板の各々とは、可視光に対する反射率が異なる、カメラ校正用ボードである。

本発明のカメラ校正用装置は、上記カメラ校正用ボードを用いて、それぞれ、第１乃至第Ｍ（Ｍは２以上の整数）の校正用画像を撮影する、種類の異なる第１乃至第Ｍのカメラを含む校正用画像撮影部と；前記第１乃至第Ｍの校正用画像から、それぞれ、第１乃至第Ｍの特徴点を算出する第１乃至第Ｍの特徴点検出部と；前記第１乃至第Ｍの特徴点から、それぞれ、前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出する第１乃至第Ｍのカメラパラメータ推定部と；前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出するバンドル調整部と；を備える。

本発明のカメラ校正用方法は、上記カメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが、それぞれ、第１乃至第Ｍの校正用画像を撮影し；第１乃至第Ｍの特徴点検出部が、それぞれ、前記第１乃至第Ｍの校正用画像から第１乃至第Ｍの特徴点を算出し；第１乃至第Ｍのカメラパラメータ推定部が、それぞれ、前記第１乃至第Ｍの特徴点から前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出し；バンドル調整部が、前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する。

本発明のカメラ校正用プログラム記録媒体は、上記カメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが撮影して得られた第１乃至第Ｍの校正用画像から、それぞれ、第１乃至第Ｍの特徴点を算出する手順と、前記第１乃至第Ｍの特徴点から、それぞれ、前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出する手順と、前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する手順と、をコンピュータに実行させるカメラ校正用プログラムを記録した媒体である。

本発明によれば、種類の異なる複数のカメラ同士の校正に必要な、カメラ間の外部パラメータを高精度に計測することが可能となる。

本発明の一実施の形態に係るカメラ校正用ボードの概略図である。 本発明の実施例に係るカメラ校正用装置の概略構成を示すブロック図である。 図２に示したカメラ校正用装置の動作を説明するための流れ図である。 図２に示したカメラ校正用装置に使用される校正用画像撮影部の可視カメラにて撮影された校正用画像（可視画像）の一例を示す図である。 図２に示したカメラ校正用装置に使用される校正用画像撮影部の遠赤外線カメラにて撮影された校正用画像（遠赤外線画像）の一例を示す図である。

[第１の実施の形態]
次に、本発明を実施するための第１の実施形態について、図面を参照して詳細に説明する。

図１を参照すると、本発明の第１の実施形態で用いるカメラ校正用ボードは、基盤１と、複数の平面板２と、複数の支柱３とから成る。複数の支柱３は、同じ長さを持つ。複数の平面板２は、基盤１上に、それぞれの対応する支柱２を介して、立体的に配置されている。ここで、複数の平面板２の各々は、矩形状の板から成るが、複数の平面板２は、空間中において、平面上に配置されている。なお、以下においては、基盤１が平面である場合について説明するが、本発明はこれに限定されない。すなわち、複数の平面板２が、基盤１に対して、所定の距離だけ離間した空間上のある平面に配置されていればそれでよい。

また、本発明の第１の実施形態で用いるカメラ校正用ボードにおいては、基盤１と複数の平面板２の各々は、可視光に対する反射率が基盤１と平面板２とで異なる。例えば、基盤１については、白色の材質や、或いは白色以外の材質の表面に白色の塗料や樹脂などで塗装をしたものを用いる。その場合、各平面板２については、白色以外の材質や、或いは白色以外の塗料や樹脂などで表面を塗装したものを用いる。

或いは、各平面板２については、白色の材質や、或いは白色以外の材質の表面に白色の塗料や樹脂などで塗装をしたものを用いる。その場合、基盤１についは、白色以外の材質や、或いは白色以外の塗料や樹脂などで表面を塗装したものを用いる。

より一般的に、本発明の第１の実施形態で用いるカメラ校正用ボードにおいて、基盤１については、ある色（以下、「甲色」とよぶ）の材質や、或いは、甲色以外の材質の表面にある甲色の塗料や樹脂などで塗装をしたものを用いる。その場合、各平面板２については、甲色以外の材質や、或いは甲色以外の塗料や樹脂などで表面を塗装したものを用いる。
なお，本発明において，各平面版２が，一定の厚みを有する平面版である場合には，基盤１と各平面版２との間の面において，平面板に対し面取り加工を施してもよい．

いずれにせよ、基盤１と各平面板２の可視光に対する反射率が異なればよく、以上の構成に限定されるものではない。

本第１の実施形態においては、後述するカメラ校正用装置の校正用画像撮影部は、このようなカメラ校正用ボードを用いて第１および第２の校正用画像を撮影する。校正用画像撮影部は、カメラ校正用ボードを用いて第１の校正用画像として可視画像を撮影する可視カメラと、カメラ校正用ボードを用いて第２の校正用画像として深度画像を撮影するデプスカメラとから成る。

次に、本第１の実施形態の効果について説明する。

本発明の第１の実施形態によれば、可視カメラから得られた可視画像と、デプスカメラから得られた深度画像とから、デプスカメラと可視カメラの校正に必要な、カメラ間の外部パラメータを高精度に計測するのを可能にする、カメラ校正用装置を提供できる。その理由は、本第１の実施形態で説明した本カメラ校正用ボードを用いることで、基盤１と複数の平面板２とが、互いに異なる平面上に位置しており、さらに可視光での反射率も異なるために、複数の平面板２の上に存在する平面上に配置された点群を、可視画像と深度画像とから高精度に抽出できるためである。

[第２の実施の形態]
次に、本発明を実施するための第２の実施形態について、図面を参照して詳細に説明する。

図１を参照すると、本発明の第２の実施形態で用いるカメラ校正用ボードは、上記第１の実施形態で述べた構成に加え、さらに、基盤１と複数の平面板２とが、温度が異なる状態を作りだし、かつ熱が相互に移動しないように加工されている。例えば、カメラ校正用ボードは、複数の平面板２を加熱（或いは減熱）することで、基盤１と複数の平面板２との間で温度が異なる状態を作り出せばよい。或いは、カメラ校正用ボードは、基盤１を加熱（或いは減熱）することで、基盤１と複数の平面板２との間で温度が異なる状態を作り出してもよい。

また、加熱（或いは減熱）する基盤１或いは複数の平面板２については、温度が均一になるように、熱伝導性が高く、熱放射が大きい材質を用いればよい。或いは、高い熱伝導性と熱放射性を両立させるために、基盤１或いは複数の平面板２の各々は、熱伝導性の高い物質上に、熱放射性の高い物質を重ねた構成としてもよい。より具体的には、熱伝導性の高い物質としては、アルミニウムなどの金属を用い、熱放射性の高い物質としては、樹脂などを塗料として塗装してもよい。或いは，アルミニウムなどの熱放射性を向上させるために、基盤１或いは複数の平面板２の各々として、金属表面上にアルマイト処理などを施したものを用いてもよい。

また、基盤１或いは複数の平面板２の各々を加熱する方法としては、例えば、電熱線のような物体を、加熱する対象となる基盤１或いは複数の平面板２に接触或いは内蔵させ、通電させることで加熱してもよい。或いは、基盤１或いは複数の平面板２の各々を加熱する方法としては、基盤１或いは複数の平面板２の各々の周囲に、高温或いは低温の物体を設置し、これらを加熱或いは減熱してもよいし、温風や冷風などを用いてこれらを加熱或いは減熱してもよい。

さらに、基盤１と複数の平面板２との間を複数の支柱３で支える構成は、基盤１と複数の平面板２との間の熱が相互に移動しないように構成する。例えば、各支柱３としては、熱伝導性の低いものを用いて、基盤１と複数の平面板２との間を支えるように構成してもよい。熱伝導性が低い物質としては、例えば、樹脂，プラスチック，木材，ガラス，発泡スチロール，フェノールフォーム，硬質ウレタンフォームなどを用いればよい。なお、本発明はこれに限定されるものではなく、熱伝導性が低い物質であれば何でもよい。

なお、本発明の実施形態で用いるカメラ校正用ボードにおいて、使用する環境は限定されない。例えば、カメラ校正用ボードを、屋内で使用しても良いし、屋外で使用してもよい。

本第２の実施形態においては、後述するカメラ校正用装置の校正用画像撮影部は、このようなカメラ校正用ボードを用いて第１乃至第３の校正用画像を撮影する。校正用画像撮影部は、カメラ校正用ボードを用いて第１の校正用画像として可視画像を撮影する可視カメラと、カメラ校正用ボードを用いて第２の校正用画像として深度画像を撮影するデプスカメラと、カメラ校正用ボードを用いて第３の校正用画像として遠赤外線画像を撮影する遠赤外線カメラとから成る。

次に、第２の実施形態の効果について説明する。

本発明の第２の実施形態によれば、デプスカメラ、遠赤外線カメラ、及び可視カメラを同時に校正するために必要な、カメラ間の外部パラメータを高精度で測定することが可能なカメラ校正用装置を提供できる。その理由は、本発明の第２の実施形態で用いるカメラ校正用ボードを用いることで、基盤１と複数の平面板２とが異なる平面上に位置しており、さらに可視光での反射率も異なり、さらに基盤１の温度と複数の平面板２の温度とが異なるために、複数の平面板２の上に存在する平面上に配置された点群を、可視画像と深度画像及び遠赤外線画像から高精度に抽出できるためである。

次に本発明における実施例について説明する。なお、以下では、上記第１の実施形態、上記第２の実施形態において述べたカメラ校正用ボードを用い、画像処理を用いて構成する例について説明するが、本発明はこれに限定されない。

図２を参照すると、本発明の一実施例に係るカメラ校正用装置は、校正用画像撮影部１０と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２０とから成る。コンピュータ（中央処理装置；プロセッサ；データ処理装置）２０は、可視カメラ校正部２１と、デプスカメラ校正部２２と、赤外線カメラ校正部２３と、バンドル調整部３０とから成る。

さらに、可視カメラ校正部２１は、可視画像特徴点検出部２１１及び可視カメラパラメータ推定部２１２から成る。同様に、デプスカメラ校正部２２は、深度画像特徴点検出部２２１及びデプスカメラパラメータ推定部２２２から成る。また、赤外線カメラ校正部２３は、赤外線画像特徴点検出部２３１及び赤外線カメラパラメータ推定部２３２から成る。

尚、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、および赤外線画像特徴点検出部２３１は、それぞれ、第１乃至第３の特徴点検出部とも呼ばれる。また、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、および赤外線カメラパラメータ推定部２３２は、それぞれ、第１乃至第３のカメラパラメータ推定部とも呼ばれる。

以下、各構成の詳細について説明する。

なお、以下では、校正用画像撮影部１０として、可視カメラ、デプスカメラ及び遠赤外線カメラを同時に構成する方法について述べるが、本発明はこれに限定されない。例えば、本発明の実施形態におけるカメラ校正用ボードを用いて、校正用画像撮影部１０、可視カメラとデプスカメラとのみから成ってもよいし、可視カメラと遠赤外線カメラとのみから成ってもよいし、遠赤外線カメラとデプスカメラとのみから成ってもよい。

尚、可視カメラは第１のカメラとも呼ばれ、デプスカメラは第２のカメラとも呼ばれ、遠赤外線カメラは第３のカメラとも呼ばれる。

校正用画像撮影部１０は、本発明の上記実施形態において述べたカメラ校正用ボードを用いて、複数の校正用画像を取得する。より具体的には、基盤１或いは複数の平面板２を加熱した後、複数の校正用画像を、可視カメラ、デプスカメラ、及び遠赤外線カメラにて、例えば、図４、図５のように、同時に、複数の姿勢で撮影すれば良い。

図４は可視カメラにて撮影された第１の校正用画像（可視画像）の一例を示す図であり、図５は遠赤外線カメラにて撮影された第３の校正用画像（遠赤外線画像）の一例を示す図である。

複数の姿勢で撮影する際には、図１に示すカメラ校正用ボードをカメラの光軸に対して傾けて撮影してもよい。例えば、撮影する画像の枚数については、カメラ毎に２０枚程度撮影すればよい。撮影した画像は、メモリ（図示せず）に記憶される。

なお、以上では、校正用画像撮影部１０は、新たに校正用画像を撮影する場合について述べたが、本発明はこれに限定されるものではない。例えば、あらかじめ撮影され、メモリ（図示せず）に記憶された校正用画像を読み込んでもよい。あるいは、あらかじめ撮影された校正用画像と、校正用画像撮影部１０で新たに撮影した校正用画像とをメモリ（図示せず）に記憶してもよい。

図２に戻って、次に、各カメラ（可視カメラ、デプスカメラ、及び遠赤外線カメラ）で撮影した画像（可視画像、深度画像、遠赤外線画像）は、それぞれ、可視カメラ校正部２１、デプスカメラ校正部２２、および赤外線カメラ校正部２３へ供給される。可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１は、それぞれ、可視画像、深度画像、および遠赤外線画像から、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、赤外線カメラパラメータ推定部２３２にて用いる、第１乃至第３の特徴点を検出する。

より具体的には、例えば、可視画像特徴点検出部２１１は、可視画像（第１の校正用画像）から、複数の平面板２の市松模様上の交点を、第１の特徴点として検出する。第１の特徴点を検出する方法としては、例えば、ハリスのコーナー検出を用いればよい。さらに、より高精度に第１の特徴点の座標を算出するために、可視画像特徴点検出部２１１は、パラボラフィッティングなどを用いて、サブピクセル精度で第１の特徴点を検出してもよい。

また、深度画像特徴点検出部２２１は、まず、前処理として、深度画像（第２の校正用画像）から、基盤１の平面を算出し、各画像の画素値をその算出した平面からの距離の値に変換する。その後、深度画像特徴点検出部２２１は、可視画像特徴点検出部２１１と同様に、例えばハリスのコーナー検出を用いて、第２の特徴点の座標を算出すればよい。

また、赤外線画像特徴点検出部２３１は、例えば、前処理として、遠赤外線画像（第３の校正用画像）のノイズを除去する。その後に、赤外線画像特徴点検出部２３１は、可視画像特徴点検出部２１１と同様に、例えばハリスのコーナー検出を用いて、第３の特徴点の座標を算出すればよい。

なお、本発明における特徴点検出の方法は、上記に限定されるものではなく、例えばテンプレートマッチングなどの方法で、コーナーを検出してもよい。或いは、本発明における特徴点検出の方法は、エッジ検出処理を行い、市松模様のエッジを検出した後、その交点をコーナーとして検出してもよい。

次に、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、および赤外線カメラパラメータ推定部２３２は、それぞれ、算出された画像の第１乃至第３の特徴点の座標から、各カメラの第１乃至第３のカメラパラメータを算出する。

より具体的に、可視画像を例にとって説明する。可視カメラパラメータ推定部２１２は、算出した第１の特徴点（市松模様の交点の座標値）から、例えば、非特許文献２に記載の方法を用いて、第１のカメラパラメータとして、可視カメラの内部パラメータを算出すればよい。より具体的には、非特許文献２に記載のカメラモデルを用いて、可視カメラパラメータ推定部２１２は、算出された第１の特徴点の座標から得られる再投影誤差が最小となるように、第１のカメラパラメータとして、前記カメラモデルの内部パラメータを算出すればよい。

なお、以上の実施例では、第１のカメラパラメータとして、カメラの内部パラメータのみを算出する方法について述べたが、本発明はこれに限定されない。例えば、可視カメラパラメータ推定部２１２は、内部パラメータと同時に、可視カメラのレンズ歪を算出し、これを補正してもよい。又は、可視カメラパラメータ推定部２１２は、可視カメラから取得された第１の特徴点の座標から、各カメラにおいてバンドル調整を行い、より高精度に、第１のカメラパラメータとして、内部パラメータとレンズ歪及び、外部パラメータを算出してもよい。より具体的には、非特許文献２に記載のカメラモデルを用いて、可視カメラパラメータ推定部２１２は、算出された第１の特徴点の座標から得られる再投影誤差が最小となるように、第１のカメラパラメータとして、前記カメラモデルの内部パラメータとレンズ歪及び、外部パラメータを算出すればよい。

また、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２は、可視カメラパラメータ推定部２１２と同様の方法で、第２および第３のカメラパラメータを算出してもよい。又は、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２は、各カメラの特性をより精緻にモデル化したものを用いて、第２および第３のカメラパラメータを算出してもよい。例えば、デプスカメラを例にとって説明すると、デプスカメラパラメータ推定部２２２は、非特許文献１に記載のカメラモデルを用いて、第２のカメラパラメータとして、デプスカメラの内部パラメータやレンズ歪を算出してもよい。

バンドル調整部３０は、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１にて抽出した第１乃至第３の特徴点の座標と、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２にて算出した第１乃至第３のカメラパラメータ（各カメラの内部パラメータ，レンズ歪の値）とを用いて、カメラ間の外部パラメータを算出する。より具体的には、バンドル調整部３０は、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１にて抽出した第１乃至第３の特徴点の座標から得られる再投影誤差が最小となるように、カメラ間の外部パラメータを算出すればよい。

次に、図３のフローチャートを参照して、本実施例に係るカメラ校正用装置の全体の動作について詳細に説明する。

まず、各カメラ（可視カメラ、デプスカメラ、及び遠赤外線カメラ）にて校正用ボードを用いて、第１乃至第３の校正用画像を撮影する（Ｓ１００）。

次に、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１にて、各カメラにおける第１乃至第３の特徴点を検出する（Ｓ１０１）。

次に、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２にて、それぞれ、カメラ毎に算出された画像の第１乃至第３の特徴点の座標から、各カメラの第１乃至第３のカメラパラメータ（内部パラメータ）を算出する（Ｓ１０２）。

さらに、バンドル調整部３０にて、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２において算出した第１乃至第３のカメラパラメータ（各カメラの内部パラメータ、レンズ歪の値）を用いて、抽出した第１乃至第３の特徴点の座標から得られる再投影誤差が最小となるように外部パラメータを最適化することで、カメラ間の外部パラメータを算出する（Ｓ１０３）。

尚、上記実施例では、校正用画像撮影部１０が、可視カメラ、デプスカメラ、及び遠赤外線カメラを有する場合を例に挙げて説明したが、校正用画像撮影部１０は、可視カメラとデプスカメラとのみから成っても良い。この場合には、コンピュータ（中央処理装置；プロセッサ；データ処理装置）２０は、赤外線カメラ校正部２３が不要である。すなわち、コンピュータ（中央処理装置；プロセッサ；データ処理装置）２０は、可視カメラ校正部２１と、デプスカメラ校正部２２と、バンドル調整部３０とから成る。

尚、カメラ校正用装置の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）にカメラ校正用プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記実施の形態を別の表現で説明すれば、カメラ校正用装置として動作させるコンピュータを、ＲＡＭに展開されたカメラ校正用プログラムに基づき、可視カメラ校正部２１、デプスカメラ校正部２２、赤外線カメラ校正部２３、およびバンドル調整部３０として動作させることで実現することが可能である。

以上説明したように、本発明の実施例によれば、異なる種類のカメラ同士の校正に必要な、カメラ間の外部パラメータを高精度に計測することが可能となる。

また、本発明の具体的な構成は前述の実施形態（実施例）に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。例えば、上記実施例では、異なる種類のカメラとして、可視カメラ、デプスカメラ、および遠赤外線カメラの３種類のカメラを使用する場合について説明したが、本発明は、４種類以上のカメラを使用する場合にも同様に適用可能であるのは明らかである。

以上、実施の形態（実施例）を参照して本願発明を説明したが、本願発明は上記実施の形態（実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１５年９月２９日に出願された日本出願特願２０１５−１９１４１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 基盤
２ 平面板
３ 支柱
１０ 校正用画像撮影部
２０ コンピュータ（中央処理装置；プロセッサ；データ処理装置）
２１ 可視カメラ校正部
２１１ 可視画像特徴点検出部
２１２ 可視カメラパラメータ推定部
２２ デプスカメラ校正部
２２１ 深度画像特徴点検出部
２２２ デプスカメラパラメータ推定部
２３ 赤外線カメラ校正部
２３１ 赤外線画像特徴点検出部
２３２ 赤外線カメラパラメータ推定部
３０ バンドル調整部

Claims (13)

1. 基盤と、
   該基盤上に、それぞれ、同一の長さを持つ複数の支柱を介して配置された複数の平面板と、
   を備えるカメラ校正用ボードであって、
   前記複数の平面板は、前記基盤に対して空間中の異なる平面上に配置されており、
   前記基盤と前記複数の平面板の各々とは、可視光に対する反射率が異なる、カメラ校正用ボード。
2. 前記複数の平面板の各々は、矩形状である、請求項１に記載のカメラ校正用ボード。
3. 前記基盤と前記複数の平面板の各々は、加熱或いは減熱することで温度が異なる状態を作りだされ、かつ熱が相互に移動しないように加工されている、請求項１又は２に記載のカメラ校正用ボード。
4. 加熱或いは減熱する対象となる前記基盤或いは前記複数の平面板の各々は、熱伝導性が高く、熱放射が大きい材質から構成される、請求項３に記載のカメラ校正用ボード。
5. 加熱或いは減熱する対象となる前記基盤或いは前記複数の平面板の各々は、熱伝導性の高い物質上に、熱放射性の高い物質を重ねることで構成される、請求項３に記載のカメラ校正用ボード。
6. 加熱或いは減熱する対象となる前記基盤或いは前記複数の平面板の各々は、加熱対象となる物体を内蔵或いは付属する、請求項３に記載のカメラ校正用ボード。
7. 前記支柱が熱伝導性の低いものを用いて構成される、請求項３乃至６のいずれか１つに記載のカメラ校正用ボード。
8. 請求項１又は２に記載のカメラ校正用ボードを用いて、それぞれ、第１および第２の校正用画像を撮影する、種類の異なる第１および第２のカメラを含む校正用画像撮影部と、
   前記第１および第２の校正用画像から、それぞれ、第１および第２の特徴点を算出する第１および第２の特徴点検出部と、
   前記第１および第２の特徴点から、それぞれ、前記第１および第２のカメラ用の第１および第２のカメラパラメータを算出する第１および第２のカメラパラメータ推定部と、
   前記第１および第２のカメラパラメータを用いて、カメラ間の外部パラメータを算出するバンドル調整部と、
   を備えるカメラ校正用装置。
9. 前記第１のカメラは可視カメラから成り、前記第１の校正用画像は可視画像から成り、
   前記第２のカメラはデプスカメラから成り、前記第２の校正用画像は深度画像から成る、
   請求項８に記載のカメラ校正用装置。
10. 請求項３乃至７のいずれか１つに記載のカメラ校正用ボードを用いて、それぞれ、第１乃至第Ｎ（Ｎは３以上の整数）の校正用画像を撮影する、種類の異なる第１乃至第Ｎのカメラを含む校正用画像撮影部と、
    前記第１乃至第Ｎの校正用画像から、それぞれ、第１乃至第Ｎの特徴点を算出する第１乃至第Ｎの特徴点検出部と、
    前記第１乃至第Ｎの特徴点から、それぞれ、前記第１乃至第Ｎのカメラ用の第１乃至第Ｎのカメラパラメータを算出する第１乃至第Ｎのカメラパラメータ推定部と、
    前記第１乃至第Ｎのカメラパラメータを用いて、カメラ間の外部パラメータを算出するバンドル調整部と、
    を備えるカメラ校正用装置。
11. 前記Ｎは３に等しく、
    前記第１のカメラは可視カメラから成り、前記第１の校正用画像は可視画像から成り、
    前記第２のカメラはデプスカメラから成り、前記第２の校正用画像は深度画像から成り、
    前記第３のカメラは遠赤外線カメラから成り、前記第３の校正用画像は遠赤外線画像から成る、
    請求項１０に記載のカメラ校正用装置。
12. 請求項１乃至７のいずれか１つに記載のカメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが、それぞれ、第１乃至第Ｍの校正用画像を撮影し、
    第１乃至第Ｍの特徴点検出部が、それぞれ、前記第１乃至第Ｍの校正用画像から第１乃至第Ｍの特徴点を算出し、
    第１乃至第Ｍのカメラパラメータ推定部が、それぞれ、前記第１乃至第Ｍの特徴点から前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出し、
    バンドル調整部が、前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する、
    カメラ校正用方法。
13. 請求項１乃至７のいずれか１つに記載のカメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが撮影して得られた第１乃至第Ｍの校正用画像から、それぞれ、第１乃至第Ｍの特徴点を算出する手順と、
    前記第１乃至第Ｍの特徴点から、それぞれ、前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出する手順と、
    前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する手順と、
    をコンピュータに実行させるカメラ校正用プログラムを記録したカメラ校正用プログラム記録媒体。

Images