JP7365986B2

JP7365986B2 - カメラキャリブレーション装置、方法およびプログラム

Info

Publication number: JP7365986B2
Application number: JP2020160358A
Authority: JP
Inventors: 裕貴鶴崎; 智明今野
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2023-10-20
Anticipated expiration: 2040-09-25
Also published as: JP2022053629A

Description

本発明はカメラのキャリブレーション装置、方法およびプログラムに係り、特に、単一の四角形マーカを用いてキャリブレーションを行う装置、方法およびプログラム関する。

カメラキャリブレーションには特徴点が必要とされ、特許文献1には、ユーザがキャリブレーション用のARマーカの所定位置をポインティングすると、その座標情報を用いてカメラパラメータを計算する技術が開示されている。

特許文献2には、カメラ画像から検出した多数の白線の交点を特徴点として採用し、モデルデータの各交点との対応関係に基づいてホモグラフィ行列を算出し、カメラキャリブレーションを行う技術が開示されている。

前記特許文献2では、カメラ画像の交点とモデルデータの交点との位置を対応させるために、カメラ画像から検出した白線の長さや傾きが参照される。各交点の対応関係に基づいて複数のホモグラフィ行列が求められると、各ホモグラフィ行列を評価して最終的に一つのカメラパラメータが選択される。

特許第06008397号公報特願2020-127288号

N. Kiryati, Y. Elder, and A. M. Bruckstein, "A probabilistic Hough transform", Pattern Recognition, vol.24, no.4, pp.303-316, 1991.

特許文献1では、ユーザがARマーカをポインティングする作業が必要となるため、複数のカメラを用いて3Dモデルを制作するアプリケーションにおいては非常に手間がかかるという課題がある。

特許文献2は、白線の交点として検出された複数のカメラ交点を当該白線の長さや傾きにより並び替え、検出されたカメラ交点とモデルデータの交点とを対応させることでホモグラフィ行列を求めるため、長さの異なる白線がない場合はカメラキャリブレーションが行えないという課題がある。

本発明の目的は、上記の技術課題を解決し、寸法が既知の四角形マーカを用い、当該マーカの四隅の点をカメラ画像から検出し、各四隅の点の相対的な位置関係に基づいてカメラキャリブレーションを行うキャリブレーション装置、方法およびプログラムに関する。

上記の目的を達成するために、本発明は、四角形マーカを撮影したカメラのキャリブレーションを行う装置において、以下の構成を具備した点に特徴がある。

(1) カメラ画像から四角形マーカを取得する手段と、四角形マーカの各辺が交差するカメラ交点を計算する手段と、マーカモデルにおいて各カメラ交点に対応する各モデル点の座標を記憶する手段と、四角形マーカに対するカメラの相対位置情報に基づいて四角形マーカの各カメラ交点と各モデル点とを対応付ける手段と、前記対応関係に基づいてカメラキャリブレーションを行う手段とを具備した。

(2) 四角形マーカを2色以上の四角形領域を交互に配した市松模様で構成し、四角形マーカの各辺および各四角形領域の各辺が交差するカメラ交点を計算し、四角形マーカに対するカメラの相対位置情報および各四角形領域の色情報に基づいて四角形マーカの各カメラ交点とマーカモデルの各モデル点とを対応付けるようにした。

(1) 複数のマーカを用いることなく単一の四角形マーカを用いるだけでカメラキャリブレーションを自動で行えるようになる。また、マーカが単一となるので複数のマーカを用いる場合と比べてマーカ設置の手間を低減できる。

(2) 四角形マーカを2色以上の市松模様にすることでマーカから検出できる線分数が増え、線分の交点として計算される対応点が増えるので、カメラキャリブレーションの精度を向上させることができる。また、四角形マーカの色配置に基づいてカメラが四角形マーカの左右いずれの側にあるかを判別できるので、カメラが四角形マーカの左右いずれの側にあるかの情報を予め与える必要がなくなる。

第1実施形態に係るカメラキャリブレーション装置の機能ブロック図である。第1実施形態における四角形マーカの例を示した図である。四角形マーカに対するカメラ位置の制約条件を示した図である。第1実施形態における線分検出の例を示した図である。四角形マーカとカメラとの相対的な位置関係を示した図である。第1実施形態における四角形マーカの取得パターンを示した図である。第2実施形態に係るカメラキャリブレーション装置の機能ブロック図である。第2実施形態における四角形マーカの例を示した図である。第2実施形態における線分検出の例を示した図である。第2実施形態における四角形マーカの取得パターンを示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係るカメラキャリブレーション装置1の主要部の構成を示した機能ブロック図である。

このようなカメラキャリブレーション装置１は、CPU、ROM、RAM、HDD、インタフェース等を備えた汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

カメラ画像取得部10は、図2に一例を示したように、寸法が既知の正方形状または長方形状の四角形マーカMの映ったカメラ画像をフレーム単位で取得する。カメラ画像はカメラから直接取得しても良いし、HDDなどに一時的に保存し、その後に読み出して取得するようにしても良い。

前記四角形マーカMは単色を原則とするが、後段の二値化処理により四角形マーカを白色又は黒色として識別できるのであれば、グラデーションや模様が表現されていても良い。また、四角形マーカMは斜度0％の平らな地面等の表面に設けられることが望ましい。

本実施形態では、図3に示すように、四角形マーカMの対向する辺の中点同士を結んだ直線L1で2分される領域の既知の一方側に各カメラが位置し、当該一方側から四角形マーカMが画角内に収まるように撮影が行われる。

四角形マーカMから検出される4つの交点V1-V4に対応するマーカモデルの4つの頂点（以下、モデル点と表現する）P1-P4の座標は、予めモデル情報記憶部６０に記憶されており、四角形マーカMの四隅の各交点のうち、モデル点P1，P3に対応する交点V1，V3を結ぶ線分の中点とモデル点P2，P4に対応する交点V2，V4を結ぶ線分の中点とを結ぶように直線L1が定義され、真横すなわち直線L1の延長線上からの撮影は禁止される。

マーカ抽出部20は、画像取得部10が取得したカメラ画像から四角形マーカMのみを抽出する。抽出された結果は、背景色領域を黒色、それ以外を白色とする二値の画像(以下、マーカ画像)となる。

線分検出部30は、図4に一例を示したように、マーカ画像に基づいて四角形マーカMの4辺を線分として検出する。本実施形態では、非特許文献1が開示する確率的ハフ変換を用いて四角形マーカの4辺が線分として検出される。

交点計算部40は、検出された各線分を直線とみなし、直線同士の交点（以下、カメラ交点と表現する場合もある）V1-V4を四角形マーカMの四隅の各点として計算する。なお、線分を用いずにコーナ検出により四隅の各点V1-V4を検出しても良い。点対応部50は、交点計算部40が計算した4つのカメラ交点V1-V4と、モデル情報記憶部60に記憶されているマーカモデルの4つのモデル点P1-P4との対応関係を識別する。

本実施形態では、各カメラが前記直線L1で2分される領域のいずれの側で、かつ図5に示したようにカメラ交点V1，V2の中点とカメラ交点V3，V4の中点とを結んだ線分L2の左側および右側のいずれに位置しているかの情報が相対位置情報として予め用意されており、当該相対位置情報、各カメラ交点V1-V4の座標および各モデル点P1-P4の座標に基づいて対応関係が識別される。

前記図3に示したように、直線L1の図中下側に位置しているカメラで四角形マーカMを撮影すると、各位置のカメラに映る四角形マーカMの取得パターンは、図6に示す2パターンのいずれかとなり、各カメラ交点V1-V4をその座標に基づいてマーカモデルの各モデル点P1-P4と対応付けられる。なお、本実施形態では座標の原点がカメラ画像の左上に設定され、図中右側ほどx座標の値が大きくなり、図中下側ほどy座標の値が大きくなるものとする。

1．取得パターンが第1パターンで各カメラの位置が直線L2の左側であることが既知の場合：
y座標が最小値を示すカメラ交点がモデル点P2に、y座標が最大値を示すカメラ交点がモデル点P3に、残り2つのカメラ交点のうちx座標が相対的に小さいカメラ交点がモデル点P1に、相対的に大きいカメラ交点がモデル点P4に、それぞれ対応付けられる。

2．取得パターンが第1パターンで各カメラの位置が直線L2の右側であることが既知の場合：
y座標が最小値を示すカメラ交点がモデル点P1に、y座標が最大値を示すカメラ交点がモデル点P4に、残り2つのカメラ交点のうちx座標が相対的に小さいカメラ交点がモデル点P3に、相対的に大きいカメラ交点がモデル点P2に、それぞれ対応付けられる。

3．取得パターンが第2パターンの場合：
カメラ位置が直線L2の延長線上なので、y座標が最小のカメラ交点のうちx座標が相対的に小さいカメラ交点がモデル点P1に、相対的に大きいカメラ交点がモデル点P2に、残り2つのカメラ交点のうち、x座標が相対的に小さいカメラ交点がモデル点P3に、相対的に大きいカメラ交点がモデル点P4に、それぞれ対応付けられる。

モデル情報記憶部60には、マーカモデルの四隅の各モデル点P1-P4の座標情報が予め記憶されている。カメラパラメータ計算部70は、点対応部50が対応付けたカメラ交点V1-V4およびモデル点P1-P4の各座標に基づいてカメラパラメータを求める。

本実施形態では、各カメラ交点V1-V4の画像平面上での座標x, yおよび各モデル点P1-P4のワールド座標系上での座標X, Y, Zを次式の行列式(1)に適用して示される方程式を解くことでカメラパラメータa～kが求められる。

本実施形態によれば、複数のマーカを用いることなく単一の四角形マーカMを用いるだけでカメラキャリブレーションを自動で行えるようになる。また、マーカが単一となるので複数のマーカを用いる場合と比べてマーカ設置の手間を低減できる。

図7は、本発明の第2実施形態に係るカメラキャリブレーション装置1の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。このようなカメラキャリブレーション装置も、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

本実施形態では、四角形マーカMとして図8に一例を示したように、2色以上の四角領域（正方形状または長方形状）を交互に配した市松模様を採用し、四角形マーカMの四隅の各点に加えて市松模様の各四角領域の四隅の点も交点として用いるようにした点に特徴がある。

前記マーカ抽出部20は、画像取得部10で取得した画像から四角形マーカMのみを抽出する機能に加えて複数色マーカ抽出部20ａを有する。複数色マーカ抽出部20ａは、抽出した四角形マーカMを色情報に基づいて複数に四角形領域に分割する。このような領域分割は、マーカのRGB空間における閾値処理で実現できるが、色空間はＲＧＢ色空間に限定されない。

前記線分検出部30は、図9に示したように、四角形マーカMの4辺の線分に加えて、色の境目（四角形領域の各辺）を構成する線分も検出する。交点計算部40は、四角形マーカの4辺の線分および色の境目を構成する各線分の交点を計算する。図9に示した市松模様の例では9つのカメラ交点V1-V9を計算できる。

モデル情報記憶部60には、四角形マーカMに対応するマーカモデルの四隅の各点の座標情報に加えて、市松模様を構成する各四角形領域の色情報及びその四隅の各点の座標情報が記憶されている。前記点対応部50は複数色点対応部50ａを具備し、各カメラ交点V1-V9の計算結果およびモデル情報記憶部60に記憶された色情報、各モデル点P1-P9の座標に基づいて対応関係を識別する。

四角形マーカMが2色以上の市松模様の場合、図10に示したように、その取得パターンは3つのパターンのいずれかとなる。

1．取得パターンが第1パターン（y座標が最小値の交点が第1色（薄いグレー）の四角領域の頂点）の場合：
四角形マーカMが、その左下側に位置するカメラで撮影されていることがわかる。そのため、y座標が最小値を示すカメラ交点がモデル点P2にy座標が最大値を示すカメラ交点がモデル点P3に、残り2点のうち、x座標が相対的に小さいカメラ交点がモデル点P1に、相対的に大きいカメラ交点がモデル点P4に、それぞれ対応付けられる。

2．取得パターンが第2パターン（y座標が最小値の交点が第2色（濃いグレー）の四角領域の頂点）の場合：
四角形マーカMが、その右下側に位置するカメラで撮影されていることがわかる。そのため、y座標が最小値を示すカメラ交点がモデル点P1に、y座標が最大値を示すカメラ交点がモデル点P4に、残り2点のうち、x座標が相対的に小さいカメラ交点がモデル点P3に、相対的に大きいカメラ交点がモデル点P2に、それぞれと対応付けられる。

3．取得パターンが第3パターンの場合：
四角形マーカMが、カメラ交点V5，V8を結ぶ線分の延長線上に位置するカメラで撮影されていることがわかる。そのため、y座標が最小値を示すカメラ交点のうちx座標が相対的に小さいカメラ交点がモデル点P1に、相対的に大きいカメラ交点がモデル点P2に、残り2点のうちx座標が相対的に小さいカメラ交点がモデル点P3に、相対的に大きいカメラ交点がモデル点P4に、それぞれ対応付けられる。

なお、市松模様を構成する各四角形領域の各辺のカメラ交点V5-V9については、計算済みのカメラ交点とモデル点との対応関係に基づいて対応関係を識別することを繰り返す。カメラ交点V5であれば、そのx座標およびy座標に基づいて交点V1，V2を結ぶ線分上の中点近傍と推定されるのでモデル点P5と対応付けられる。

残りのカメラ交点V6-V8についても同様の処理を繰り返すことで各モデル点P6-P8と対応付けられる。カメラ交点V9は、そのx座標およびy座標に基づいてカメラ交点V6，V7を結ぶ線分上の中点近傍かつカメラ交点V5，V8を結ぶ線分上の中点近傍と推定されるのでモデル点P9と対応付けられる。

四角形マーカが3×3以上の市松模様であっても、各四角形領域の各辺のカメラ交点V5，V6…は、その座標と計算済みの4つのカメラ交点V1-V4の各座標とを関係で各モデル点と対応付けられる。カメラパラメータ計算部70は、対応付けられたすべての関係を行列式(1)に適用し、方程式を解くことでカメラパラメータを計算する。

本実施形態によれば、四角形マーカMを2色以上の市松模様にすることで当該マーカから検出できる線分数が増え、線分の交点として計算される対応点が増えるので、カメラキャリブレーションの精度を向上させることができる。

また、四角形マーカMを2色以上の市松模様にすることで、その色配置に基づいてカメラが四角形マーカの左右いずれの側にあるかを判別できるので、カメラが四角形マーカの左右いずれの側にあるかの情報を予め与える必要がなくなる。

10…画像取得部，20…マーカ抽出部，30…線分検出部，40…交点計算部，50…点対応部，20ａ…複数色マーカ抽出部，50ａ…複数色点対応部，60…モデル情報記憶部、70…カメラパラメータ計算部

Claims

四角形マーカを撮影したカメラのキャリブレーションを行う装置において、
カメラ画像から四角形マーカを取得する手段と、
四角形マーカの各辺が交差するカメラ交点を計算する手段と、
マーカモデルにおいて各カメラ交点に対応する各モデル点の座標を記憶する手段と、
四角形マーカに対するカメラの相対位置情報に基づいて四角形マーカの各カメラ交点と各モデル点との対応関係を決定する手段と、
前記対応関係に基づいてカメラキャリブレーションを行う手段とを具備し、
前記相対位置情報が、四角形マーカの対向する一方の各辺の中点を結んだ線分で2分される領域のいずれの側、および対向する他方の各辺の中点を結んだ線分のいずれの側、にカメラが位置しているかの情報を含むことを特徴とすることを特徴とするカメラキャリブレーション装置。
前記対応関係を決定する手段は、
y座標が最大のカメラ交点および最小のカメラ交点を２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とする請求項１に記載のカメラキャリブレーション装置。
前記対応関係を決定する手段は、
y座標が最小となる２つのカメラ交点をx座標の相対的な大小関係に基づいて２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とする請求項１または２に記載のカメラキャリブレーション装置。
四角形マーカを撮影したカメラのキャリブレーションを行う装置において、
カメラ画像から四角形マーカを取得する手段と、
四角形マーカの各辺が交差するカメラ交点を計算する手段と、
マーカモデルにおいて各カメラ交点に対応する各モデル点の座標を記憶する手段と、
四角形マーカに対するカメラの相対位置情報に基づいて四角形マーカの各カメラ交点と各モデル点との対応関係を決定する手段と、
前記対応関係に基づいてカメラキャリブレーションを行う手段とを具備し、
前記対応関係を決定する手段は、
y座標が最大のカメラ交点および最小のカメラ交点を２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とするカメラキャリブレーション装置。
前記対応関係を決定する手段は、
y座標が最小となる２つのカメラ交点をx座標の相対的な大小関係に基づいて２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とする請求項４に記載のカメラキャリブレーション装置。
四角形マーカを撮影したカメラのキャリブレーションを行う装置において、
カメラ画像から四角形マーカを取得する手段と、
四角形マーカの各辺が交差するカメラ交点を計算する手段と、
マーカモデルにおいて各カメラ交点に対応する各モデル点の座標を記憶する手段と、
四角形マーカに対するカメラの相対位置情報に基づいて四角形マーカの各カメラ交点と各モデル点との対応関係を決定する手段と、
前記対応関係に基づいてカメラキャリブレーションを行う手段とを具備し、
前記対応関係を決定する手段は、
y座標が最小となる２つのカメラ交点をx座標の相対的な大小関係に基づいて２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とするカメラキャリブレーション装置。
前記四角形マーカの各辺を線分として検出する線分検出手段を具備し、
前記カメラ交点を計算する手段は各線分の交点を計算することを特徴とする請求項１ないし６のいずれかに記載のカメラキャリブレーション装置。
四角形マーカを撮影したカメラのキャリブレーションをコンピュータが行う方法において、
カメラ画像から四角形マーカを取得し、
四角形マーカの各辺が交差するカメラ交点を計算し、
四角形マーカに対するカメラの相対位置情報に基づいて、四角形マーカの各カメラ交点とマーカモデルにおいて各カメラ交点に対応する各モデル点との対応関係を決定し、
前記対応関係に基づいてカメラキャリブレーションを行い、
前記相対位置情報が、四角形マーカの対向する一方の各辺の中点を結んだ線分で2分される領域のいずれの側、および対向する他方の各辺の中点を結んだ線分のいずれの側、にカメラが位置しているかの情報を含むことを特徴とするカメラキャリブレーション方法。
四角形マーカを撮影したカメラのキャリブレーションをコンピュータが行う方法において、
カメラ画像から四角形マーカを取得し、
四角形マーカの各辺が交差するカメラ交点を計算し、
四角形マーカに対するカメラの相対位置情報に基づいて、四角形マーカの各カメラ交点とマーカモデルにおいて各カメラ交点に対応する各モデル点との対応関係を決定し、
前記対応関係に基づいてカメラキャリブレーションを行い、
前記対応関係の決定では、
y座標が最大のカメラ交点および最小のカメラ交点を２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とするカメラキャリブレーション方法。
四角形マーカを撮影したカメラのキャリブレーションをコンピュータが行う方法において、
カメラ画像から四角形マーカを取得し、
四角形マーカの各辺が交差するカメラ交点を計算し、
四角形マーカに対するカメラの相対位置情報に基づいて、四角形マーカの各カメラ交点とマーカモデルにおいて各カメラ交点に対応する各モデル点との対応関係を決定し、
前記対応関係に基づいてカメラキャリブレーションを行い、
前記対応関係の決定では、
y座標が最小となる２つのカメラ交点をx座標の相対的な大小関係に基づいて２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とするカメラキャリブレーション方法。
四角形マーカを撮影したカメラのキャリブレーションを行うプログラムにおいて、
カメラ画像から四角形マーカを取得する手順と、
四角形マーカの各辺が交差するカメラ交点を計算する手順と、
四角形マーカに対するカメラの相対位置情報に基づいて、四角形マーカの各カメラ交点とマーカモデルにおいて各カメラ交点に対応する各モデル点との対応関係を決定する手順と、
前記対応関係に基づいてカメラキャリブレーションを行う手順と、をコンピュータに実行させ、
前記相対位置情報が、四角形マーカの対向する一方の各辺の中点を結んだ線分で2分される領域のいずれの側、および対向する他方の各辺の中点を結んだ線分のいずれの側、にカメラが位置しているかの情報を含むことを特徴とするカメラキャリブレーションプログラム。
四角形マーカを撮影したカメラのキャリブレーションを行うプログラムにおいて、
カメラ画像から四角形マーカを取得する手順と、
四角形マーカの各辺が交差するカメラ交点を計算する手順と、
四角形マーカに対するカメラの相対位置情報に基づいて、四角形マーカの各カメラ交点とマーカモデルにおいて各カメラ交点に対応する各モデル点との対応関係を決定する手順と、
前記対応関係に基づいてカメラキャリブレーションを行う手順と、をコンピュータに実行させ、
前記対応関係を決定する手順では、
y座標が最大のカメラ交点および最小のカメラ交点を２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とするカメラキャリブレーションプログラム。
四角形マーカを撮影したカメラのキャリブレーションを行うプログラムにおいて、
カメラ画像から四角形マーカを取得する手順と、
四角形マーカの各辺が交差するカメラ交点を計算する手順と、
四角形マーカに対するカメラの相対位置情報に基づいて、四角形マーカの各カメラ交点とマーカモデルにおいて各カメラ交点に対応する各モデル点との対応関係を決定する手順と、
前記対応関係に基づいてカメラキャリブレーションを行う手順と、をコンピュータに実行させ、
前記対応関係を決定する手順では、
y座標が最小となる２つのカメラ交点をx座標の相対的な大小関係に基づいて２つのモデル点にそれぞれ対応付け、
残り２つのカメラ交点をx座標の相対的な大小関係に基づいて他の２つのモデル点にそれぞれ対応付けることを特徴とするカメラキャリブレーションプログラム。