JP4055888B2 - カメラ装置、カメラ校正システムおよびカメラ校正方法 - Google Patents
カメラ装置、カメラ校正システムおよびカメラ校正方法 Download PDFInfo
- Publication number
- JP4055888B2 JP4055888B2 JP2001396557A JP2001396557A JP4055888B2 JP 4055888 B2 JP4055888 B2 JP 4055888B2 JP 2001396557 A JP2001396557 A JP 2001396557A JP 2001396557 A JP2001396557 A JP 2001396557A JP 4055888 B2 JP4055888 B2 JP 4055888B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- calibration
- reference position
- surrounding
- surrounding pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像により検査や監視等を行うためのカメラ装置、カメラ校正システムおよびカメラ校正方法に関する。
【０００２】
【従来の技術】
近年、工業分野において、カメラによる検査や監視を行うため、カメラから撮像対象物までの距離および方向を求めるカメラ校正システムが開発されている。カメラの校正は、基準位置のパターンが形成された校正用ボードを所定の位置に配置しておき、これをカメラで撮像することにより行われる。ここで、基準位置のパターンとは、カメラ校正用の基準位置を示すパターンである。基準位置のパターンとして、通常、視覚的に特徴点を抽出しやすいパターンが使用される。
【０００３】
図１２は従来のカメラ校正システムに用いられる校正用ボードを示す図である。この校正用ボード４００は、互いに等距離に配置された正方形からなる基準位置のパターンを有し、所定の位置に配置されたカメラによって撮像される。撮像された画像上の正方形の頂点を基準位置として、ユーザはマウス等の入力手段を利用し、その座標を入力する。この頂点の座標は、ｘｙ平面上の二次元座標（以下、スクリーン座標という）で表現される。尚、頂点の座標は、パターン認識により自動的に求めてもよい。
【０００４】
その後、正方形の頂点のスクリーン座標と、実際のｘｙｚ空間における三次元座標（以下、世界座標という）との対応付けが行われる。このようなスクリーン座標と世界座標との対応付けは複数の頂点に対して行われ、これらの座標を入力として、カメラ校正用のパラメータ（以下、カメラ校正パラメータという）が算出される。
【０００５】
この処理の詳細は、文献（"A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y. Tsai, IEEE Journal of Robotics and automation Vol. RA-3. No.4 August 1987, pp323-344）に記載されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来のカメラ校正システムでは、校正用ボード４００に形成された基準位置のパターンは基準位置となる点だけを示しているに過ぎず、校正用ボード４００上の複数の基準位置に対して、スクリーン座標と世界座標との対応付けは手動で行わなければならず、カメラ校正作業を自動化することができないという問題点があった。
【０００７】
本発明は、上記事情に鑑みてなされたもので、その目的は、カメラ校正作業を自動化することができるカメラ装置、カメラ校正システムおよびカメラ校正方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明のカメラ装置は、校正用パラメータに従って校正を行うカメラ装置であって、校正の基準となる位置を示す基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物を所定の位置で撮像する撮像手段と、前記校正用撮像対象物の画像を基に、前記校正用パラメータを算出する校正用パラメータ算出手段とを備えたことを特徴とする。この構成により、カメラ校正作業を自動化することができる。
また、本発明は、校正用パラメータに従って校正を行うカメラ装置であって、校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物を撮像する撮像手段と、前記校正用撮像対象物の画像を基に、前記校正用パラメータを算出する校正用パラメータ算出手段とを備え、
前記撮像手段は、前記校正用撮像対象物に形成された識別情報として、複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物の画像を撮像するものであり、
前記校正用パラメータ算出手段は、前記校正用撮像対象物の画像に基づき、前記連結包囲パターンの基準位置のスクリーン座標を算出する手段と、前記連結包囲パターンの連結状態を調べる手段と、前記連結包囲パターンの連結を辿ることにより連結包囲パターンの位置関係を調べ、前記位置情報包囲パターンを起点とした基準位置の世界座標を順に決定する手段と、前記基準位置のスクリーン座標と世界座標との対応から前記校正用パラメータを算出する手段と、を備えるカメラ装置を提供する。
また、本発明は、上記のカメラ装置であって、前記連結状態を調べる手段は、連結包囲パターンにおいて基準位置を通る線分を作成し、前記線分から一定の距離内にある基準位置を検索し、検索された基準位置は連結するとみなして記憶することで、連結包囲パターンの連結状態を調べるものであるカメラ装置を提供する。
また、本発明は、校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物をカメラで撮像する工程であって、前記識別情報として、複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物の画像を撮像する工程と、前記撮像された校正用撮像対象物の画像を基に、前記連結包囲パターンの基準位置のスクリーン座標を算出する工程と、前記連結包囲パターンの連結状態を調べる工程と、前記連結包囲パターンの連結を辿ることにより連結包囲パターンの位置関係を調べ、前記位置情報包囲パターンを起点とした基準位置の世界座標を順に決定する工程と、前記基準位置のスクリーン座標と世界座標との対応から前記カメラの校正用パラメータを算出する工程と、を有するカメラ校正方法を提供する。
また、本発明は、上記のカメラ校正方法であって、前記連結状態を調べる工程において、連結包囲パターンにおいて基準位置を通る線分を作成し、前記線分から一定の距離内にある基準位置を検索し、検索された基準位置は連結するとみなして記憶することで、連結包囲パターンの連結状態を調べる処理を行うカメラ校正方法を提供する。
また、本発明は、カメラの校正に用いられる校正用撮像対象物であって、校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成されており、前記識別情報として、前記複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが設けられ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物を提供する。
【０００９】
また、前記校正用撮像対象物には、複数の前記基準位置をグループ化する包囲パターンが複数設けられたことを特徴とする。この構成により、パターン認識の段階で基準位置をグループ化でき、基準位置の位置確定処理を単純化できる。
【００１０】
さらに、複数の前記包囲パターンの中には、前記識別情報として、世界座標の位置情報を示す位置情報包囲パターンが含まれることを特徴とする。この構成により、位置情報包囲パターンの位置情報を基準として、校正に必要な全ての位置情報を取得できる。
【００１１】
また、前記校正用撮像対象物には、複数の前記包囲パターンが平行に整列する面が複数設けられたことを特徴とする。この構成により、グループ化された基準位置が整列されているので、グループ間の位置識別処理を単純化できる。
【００１２】
さらに、複数の前記包囲パターンの中には、前記識別情報として、前記包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記複数の連結包囲パターンの中には、前記基準位置の数および前記基準位置の配置によって世界座標の位置情報を示す位置情報包囲パターンが含まれることを特徴とする。この構成により、校正用撮像対象物の画像が歪んで基準位置が直線上になくなっても、スクリーン座標と世界座標とを対応付けできる。
【００１３】
また、前記連結包囲パターンは、前記包囲パターン間の位置関係を規定するパターンが直線で形成された直線連結包囲パターンであることを特徴とする。この構成により、パターンが直線で形成されているので、印刷または彫刻によるパターン成形を容易に行うことができる。
【００１４】
さらに、前記連結包囲パターンは、前記包囲パターン間の位置関係を規定するパターンが曲線で形成された曲線連結包囲パターンであることを特徴とする。この構成により、包囲パターンを小さくでき、同じ面積の中に基準位置の数を多くとることができ、校正用撮像対象物を小型化できる。
【００１５】
また、前記曲線連結包囲パターンの１つとして含まれ、前記基準位置の数および前記基準位置の配置によって世界座標の位置情報を示す位置情報曲線連結包囲パターンを、変更するための基準位置が前記位置情報曲線連結包囲パターン内に設けられたことを特徴とする。この構成により、カメラの撮像範囲を校正用撮像対象物の任意の位置に変更することができる。
【００１６】
さらに、前記校正用パラメータ算出手段は、前記包囲パターン毎に前記基準位置パターンの重心のスクリーン座標を算出する基準位置座標算出手段と、前記位置情報包囲パターン内の前記基準位置から位置情報を抽出する原点識別手段と、前記基準位置を面毎に分類する面分割手段と、面および包囲パターン毎に分類された基準位置を行方向および列方向に整列する基準位置整列手段と、前記整列された基準位置を基に、スクリーン座標と世界座標とを対応付ける座標対応手段と、前記スクリーン座標と世界座標との対応関係を基に、前記校正用パラメータを算出する算出手段とを備えたことを特徴とする。この構成により、基準位置のスクリーン座標と世界座標とを自動的に対応付けて校正用パラメータを算出できる。
【００１７】
本発明のカメラ校正システムは、校正の基準となる位置を示す基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物と、前記校正用撮像対象物を所定の位置から撮像するカメラと、前記撮像された校正用撮像対象物の画像を基に前記カメラの校正用パラメータを算出し、前記算出された校正用パラメータにしたがって前記カメラを校正するカメラ校正装置とを備える。この構成により、カメラ校正作業を自動化することができる。
【００１８】
本発明のカメラ校正方法は、校正の基準となる位置を示す基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物を所定の位置からカメラで撮像する工程と、前記撮像された校正用撮像対象物の画像を基に前記カメラの校正用パラメータを算出する工程と、前記算出された校正用パラメータにしたがって前記カメラを校正する工程とを有することを特徴とする。この手順により、カメラ校正作業を自動化することができる。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１は第１の実施の形態におけるカメラ校正システムの構成を示すブロック図である。本実施の形態のカメラ校正システムは、校正用ボード１００、校正対象であるカメラ２００およびカメラ校正装置３００から構成されている。ここで、カメラ校正装置３００は、カメラ本体内に収納されてもよいし、カメラ本体とは別体の装置として設けられてもよい。カメラ校正装置３００は、後述するように、校正用ボード１００をカメラ２００で撮像することによって得られる画像を基に、カメラ校正パラメータを算出する。
【００２０】
図２はカメラ校正装置３００の構成を示すブロック図である。カメラ校正装置３００は、基準位置座標算出部３１０、原点識別部３２０、面分割部３３０、基準位置整列部３４０、座標対応部３５０およびパラメータ算出部３６０から構成される。基準位置座標算出部３１０は、包囲パターン１０２毎の基準位置パターン１０１の重心のスクリーン座標を算出する。原点識別部３２０は、基準位置座標算出部３１０によって算出された基準位置から位置情報を抽出する。面分割部３３０は、包囲パターン１０２が平行に整列する面から基準位置を面毎に分類する。基準位置整列部３４０は、面・包囲パターン毎に分類された基準位置を面単位で行方向、列方向に基準位置を整列する。座標対応部３５０は、基準位置のスクリーン座標と世界座標とを対応付ける。カメラパラメータ算出部３６０は、基準位置のスクリーン座標と世界座標との対応関係からカメラ校正用パラメータを求める。本実施の形態では、これらの各部は、カメラ校正装置内のＣＰＵ（図示せず）がＲＯＭ（図示せず）に格納されたプログラムを実行することによって実現される。尚、ＣＰＵ、ＲＯＭを用いる代わりに、ハードウェア専用回路で実現してもよいことは勿論である。
【００２１】
一方、校正用ボード１００は、後述するように、カメラ校正用の基準位置およびこの基準位置を特定するための識別情報を有するものであり、カメラ２００前方の所定位置に配置され、カメラ２００によって撮像される。図３は校正用ボード１００を示す図である。この校正用ボード１００は、立体的に構成されており、カメラ２００の正面に位置する正面パターン１１０、カメラ２００の左に位置する左側面パターン１２０、カメラ２００の右に位置する右側面パターン１３０、およびカメラ２００の下方に位置する底面パターン１４０を有する。尚、後述する角パターンおよび中央パターン（図４参照）は、図中、奥まった位置に形成されている。
【００２２】
図４は面パターンを示す図である。同図（Ａ）は正面パターン１１０を示し、同図（Ｂ）は左側面パターン１２０、右側面パターン１３０、底面パターン１４０を示す。正面パターン１１０には、基準位置を示す基準位置パターン（単に、基準位置ともいう）１０１、所定数（ここでは、１２個）の基準位置をグループ化する複数列の包囲パターン１０２、およびその他の包囲パターンとして、基準位置を特定するための識別情報である位置情報包囲パターンが形成されている。この位置情報包囲パターンは、中央パターン１０３およびその両側に位置する角パターン１０４から構成される。
【００２３】
一方、左側面パターン１２０、右側面パターン１３０、底面パターン１４０には、それぞれ基準位置を示す基準位置パターン１０１、および所定数（ここでは、１２個）の基準位置をグループ化する複数列の包囲パターン１０２だけが設けられている。尚、図中、パターンを示す点線は、パターンがその内側にあることを示すために描かれたものであり、実際に存在しない。
【００２４】
上記構成を有するカメラ校正システムの動作を示す。図５はカメラ校正処理手順を示すフローチャートである。まず、基準位置座標算出部３１０は、包囲パターン１０２によってグループ化された基準位置パターン１０１の重心のスクリーン座標を算出する（ステップＳ１）。この処理は周知のパターン処理技術を利用して行われる。算出の結果、以下のように、包囲パターン毎にグループ化されたスクリーン座標が得られる。
【００２５】
包囲パターン０＝｛基準位置のスクリーン座標００、……、基準位置のスクリーン座標０ｍ０｝
包囲パターン１＝｛基準位置のスクリーン座標１０、……、基準位置のスクリーン座標０ｍ１｝、
……
包囲パターンｎ＝｛基準位置のスクリーン座標ｎ０、……、基準位置のスクリーン座標０ｍｎ｝
これにより、パターン認識の段階で基準位置を行毎にグループ化できるので、基準位置の位置確定処理を単純化できる。
【００２６】
原点識別部３２０は、位置情報包囲パターン（中央パターン１０３、角パターン１０４）から位置情報を抽出する（ステップＳ２）。この処理では、まず２つの基準位置を含む包囲パターン１０２を角パターン１０４の候補として抽出する。図６は原点識別処理および面分割処理を示す図である。中央パターン１０３および角パターン１０４内の基準位置１０１を結ぶことにより直線ａが得られる。また、左側面パターン１２０の最下部の包囲パターン１０６内の基準位置１０１を結ぶことにより直線ｂが得られる。さらに、正面パターン１１０の包囲パターン１０２の左端の基準位置１０１を結ぶことにより直線ｃが得られる。
【００２７】
中央パターン１０３および角パターン１０４の基準位置を通過する直線ａは一直線上に並ぶ筈であるので、候補として抽出された角パターン１０４の中の２つの基準位置を基に、基準位置が一直線となる包囲パターン１０２を、角パターン１０４および中央パターン１０３とする。角パターン１０４および中央パターン１０３の基準位置の世界座標は既知であるので、その他の包囲パターン１０２の基準位置の世界座標は相対的に決定される。このように、位置情報包囲パターンの位置情報を基準として、全ての位置情報を取得できる。
【００２８】
面分割部３３０は、全ての包囲パターン１０２を正面パターン１１０、左側面パターン１２０、右側面パターン１３０および底面パターン１４０に分類する（ステップＳ３）。最初に、角パターン１０４から側面最下部の包囲パターン１０６を抽出する。図６に示すように、角パターン１０４の直線ａと側面最下部の包囲パターン１０６の直線ｂとの交点は、角パターン１０４が左側にある場合、左側の基準位置１０１と最短にある筈であることから、側面最下部の包囲パターン１０６を抽出する。このように、直線ａおよび直線ｂにより、正面・左右側面の包囲パターンと底面の包囲パターンとを分類できる。
【００２９】
全ての包囲パターンの基準位置のスクリーン座標を、ｘ座標、ｙ座標で包囲パターン毎に整列する。左側の角パターン１０４の基準位置１０１と、正面内その他の包囲パターン１０２の最左端の２つの基準位置１０１とを用い、これら３点が直線とみなせる直線ｃを抽出する。この処理を右側に対しても行い、同様の直線を抽出する。これらの直線ｃにより、左側面、右側面、正面の包囲パターンを分類する。そして、基準位置整列部３４０は、各面毎に基準位置１０１のスクリーン座標を利用し、基準位置１０１を行方向および列方向に順番に整列する（ステップＳ４）。
【００３０】
座標対応部３５０は、各基準位置毎に基準位置座標算出部３１０で算出されたスクリーン座標と世界座標との対応付けを行う（ステップＳ５）。図７はスクリーン座標と世界座標との対応関係を示す図である。底面パターン１４０の左隅を世界座標の原点とし、ｘ座標、ｙ座標、ｚ座標を設定する。図７では、簡単のために、正面パターン１１０および底面パターン１４０の基準位置だけが描かれている。例えば、底面パターン１４０の４行５列の位置にある基準位置１０１の世界座標について検討する。ここで、基準位置１０１の全ての間隔は５０ｍｍであるとすると、この世界座標は（５×５０，４×５０，０）、つまり（２５０，２００，０）となる。
【００３１】
パラメータ算出部３６０は、座標対応部３５０で対応付けられたスクリーン座標および世界座標を用いてカメラ校正パラメータを算出する（ステップＳ６）。数式（１）は世界座標とカメラ座標との関係を示す。ここで、Ｘｗ、Ｙｗ、Ｚｗは世界座標を表す。ｘ、ｙ、ｚはカメラ座標を表す。ｒ１〜ｒ９は座標の回転行列を表す。Ｔｘ、Ｔｙ、Ｔｚは座標の移動行列を表す。
【００３２】
【数１】
【００３３】
Ｘｆ＝ｆ・ｘ／ｚ ……（２）、 Ｙｆ＝ｆ・ｙ／ｚ ……（３）
また、数式（２）、（３）はカメラ座標とスクリーン座標との関係を示す。ここで、Ｘｆ、Ｙｆはスクリーン座標を表す。ｆは焦点距離を表す。
【００３４】
上記数式（１）、（２）、（３）を利用し、複数の基準位置のスクリーン座標と世界座標との対応関係から、カメラ校正パラメータである回転行列、移動行列および焦点距離を算出する。カメラ校正装置３００は、算出されたカメラ校正パラメータに基づき、カメラ２００を校正し、本処理を終了する。
【００３５】
このように、第１の実施の形態のカメラ校正システムによれば、複数の基準位置のスクリーン座標と世界座標とを手動で対応付けることなく、自動的に対応付けてカメラ校正パラメータを算出することができ、カメラ校正作業を自動化できる。
【００３６】
（第２の実施の形態）
第２の実施の形態のカメラ校正システムでは、前記第１の実施の形態と比べ、校正用ボード１００に形成された基準位置および包囲パターンが異なるだけで、その他の構成は同じである。
【００３７】
図８は第２の実施の形態における直線連結包囲パターンを示す図である。第２の実施の形態では、校正用ボード１００に２種類の直線連結包囲パターン５００、５１０、および位置情報を有する位置情報直線連結包囲パターン５２０が形成されている。
【００３８】
図９は直線連結包囲パターンの処理手順を示す図である。同図（Ａ）は直線連結包囲パターン５００を示し、同図（Ｂ）は直線連結包囲パターン５１０および直線連結包囲パターン５００を示す。直線連結包囲パターンは、４つの基準位置６００〜６３０を有する直線連結包囲パターン５００、２つの基準位置を有する直線連結包囲パターン５１０、および５つの基準位置を有する位置情報直線連結包囲パターン５２０に分類される。その他の数の基準位置を有する包囲パターンは、パターン認識エラーとして除外される。
【００３９】
まず、同図（Ａ）に示すように、直線連結包囲パターン５００に含まれる４つの基準位置のスクリーン座標から基準位置の重心６４０を求める。ある基準位置を適当に選択し、基準位置０とする。基準位置０と重心６４０とを結ぶ直線と各基準位置とのなす角を小さい方から順に基準位置１、基準位置２、基準位置３とする。尚、５つの基準位置を有する位置情報直線連結包囲パターン５２０では、重心６４０を求めた後、この重心６４０に最も近い基準位置に対しては上記基準位置の処理を行わない。さらに、隣接する全ての基準位置を通る線分を作成する。同図（Ｂ）には、基準位置０と基準位置３を通る線分ａ、および基準位置０と基準位置１を通る線分ｂが示されている。
【００４０】
２つの基準位置を有する直線連結包囲パターン５１０内の基準位置の中から、作成した線分上にあるかあるいは線分から一定の距離内にある基準位置を検索する。このとき、基準位置が検索できた場合、線分および基準位置は連結するとみなして記憶する。このようにして、全ての直線連結包囲パターン５００、５１０の連結状態を調べる。そして、位置情報直線連結包囲パターン５２０を起点とし、記憶した連結を辿ることにより、直線連結包囲パターンの位置関係を調べることができる。最後に、直線連結包囲パターンの既知である世界座標から順に基準位置の世界座標を決定する。
【００４１】
第２の実施の形態によれば、校正用ボードの画像が歪んで基準位置が直線上になくてもスクリーン座標と世界座標とを対応付けできる。また、パターンが直線で形成されているので、印刷あるいは彫刻によるパターン成形を容易に行うことができる。
【００４２】
（第３の実施の形態）
第３の実施の形態のカメラ校正システムでは、第２の実施の形態と同様、前記第１の実施の形態と比べ、校正用ボード１００に形成された基準位置および包囲パターンが異なるだけで、その他の構成は同じである。
【００４３】
図１０は第３の実施の形態における曲線連結包囲パターンを示す図である。校正用ボード１００には、２種類の曲線連結包囲パターン７００、７１０、および位置情報を有する位置情報曲線連結包囲パターン７２０が形成されている。
【００４４】
第２の実施の形態と同様の手順で、線分および基準位置は連結するとみなして記憶し、位置情報曲線連結包囲パターン７２０を起点とし、記憶した連結を辿ることにより、曲線連結包囲パターンの位置関係を調べ、曲線連結包囲パターンの既知である世界座標から順に基準位置の世界座標を決定する。
【００４５】
第３の実施の形態によれば、校正用ボードの画像が歪んで基準位置が直線上になくてもスクリーン座標と世界座標とを対応付けできる。また、包囲パターンを小さくすることができ、同じ面積内に基準位置の数を多くすることができ、校正用ボードを小型化できる。
【００４６】
図１１は移動基準位置８００を用いてカメラ撮像範囲を変更する場合を示す図である。カメラ撮像範囲が、例えば、カメラ撮像範囲８１０にある場合、その左隅にある位置情報曲線連結包囲パターン７２０はカメラ撮像範囲内にあり、カメラ校正が可能である。しかし、カメラ撮像範囲がカメラ撮像範囲８２０にある場合、位置情報曲線連結包囲パターン７２０はカメラ撮像範囲外となってしまう。
【００４７】
そこで、位置情報曲線連結包囲パターン７２０の位置情報を示す基準位置を移動自在な移動基準位置８００とし、この移動基準位置８００をカメラ撮像範囲８２０内に移動させ、図中、カメラ撮像範囲８２０内に四角の点線で囲まれる位置情報曲線連結包囲パターンを得る。これを基に、世界座標を変更してカメラを校正する。このように、移動基準位置８００をシールのように移動自在にすることで、位置情報曲線連結包囲パターンをカメラ撮像範囲内に収めることができる。
【００４８】
第３の実施の形態によれば、カメラの撮像範囲を校正用ボード内の任意の位置に変更することが可能である。
【００４９】
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードをシステムあるいは装置に供給することによっても達成される。この場合、プログラムコード自体が本発明を構成することになり、そのプログラムを記憶した記憶媒体も本発明を構成することになる。
【００５０】
【発明の効果】
以上説明したように本発明によれば、カメラ校正作業を自動化することが可能なカメラ装置、カメラ校正システムおよびカメラ校正方法を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるカメラ校正システムの構成を示すブロック図
【図２】本発明の第１の実施の形態におけるカメラ校正装置の構成を示すブロック図
【図３】本発明の第１の実施の形態における校正用ボードを示す図
【図４】本発明の第１の実施の形態における校正用ボードの面パターンを示す図
【図５】本発明の第１の実施の形態におけるカメラ校正処理手順を示すフローチャート
【図６】本発明の第１の実施の形態における原点識別処理および面分割処理を示す図
【図７】本発明の第１の実施の形態におけるスクリーン座標と世界座標との対応関係を示す図
【図８】本発明の第２の実施の形態における直線連結包囲パターンを示す図
【図９】本発明の第２の実施の形態における直線連結包囲パターンの処理手順を示す図
【図１０】本発明の第３の実施の形態における曲線連結包囲パターンを示す図
【図１１】本発明の第３の実施の形態における移動基準位置を用いてカメラ撮像範囲を変更する場合を示す図
【図１２】従来のカメラ校正システムに用いられる校正用ボードを示す図
【符号の説明】
１００ 校正用ボード
１０１ 基準位置パターン（基準位置）
１０２ 包囲パターン
１０３ 中央パターン
１０４ 角パターン
２００ カメラ
３００ カメラ校正装置
【発明の属する技術分野】
本発明は、撮像により検査や監視等を行うためのカメラ装置、カメラ校正システムおよびカメラ校正方法に関する。
【０００２】
【従来の技術】
近年、工業分野において、カメラによる検査や監視を行うため、カメラから撮像対象物までの距離および方向を求めるカメラ校正システムが開発されている。カメラの校正は、基準位置のパターンが形成された校正用ボードを所定の位置に配置しておき、これをカメラで撮像することにより行われる。ここで、基準位置のパターンとは、カメラ校正用の基準位置を示すパターンである。基準位置のパターンとして、通常、視覚的に特徴点を抽出しやすいパターンが使用される。
【０００３】
図１２は従来のカメラ校正システムに用いられる校正用ボードを示す図である。この校正用ボード４００は、互いに等距離に配置された正方形からなる基準位置のパターンを有し、所定の位置に配置されたカメラによって撮像される。撮像された画像上の正方形の頂点を基準位置として、ユーザはマウス等の入力手段を利用し、その座標を入力する。この頂点の座標は、ｘｙ平面上の二次元座標（以下、スクリーン座標という）で表現される。尚、頂点の座標は、パターン認識により自動的に求めてもよい。
【０００４】
その後、正方形の頂点のスクリーン座標と、実際のｘｙｚ空間における三次元座標（以下、世界座標という）との対応付けが行われる。このようなスクリーン座標と世界座標との対応付けは複数の頂点に対して行われ、これらの座標を入力として、カメラ校正用のパラメータ（以下、カメラ校正パラメータという）が算出される。
【０００５】
この処理の詳細は、文献（"A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y. Tsai, IEEE Journal of Robotics and automation Vol. RA-3. No.4 August 1987, pp323-344）に記載されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来のカメラ校正システムでは、校正用ボード４００に形成された基準位置のパターンは基準位置となる点だけを示しているに過ぎず、校正用ボード４００上の複数の基準位置に対して、スクリーン座標と世界座標との対応付けは手動で行わなければならず、カメラ校正作業を自動化することができないという問題点があった。
【０００７】
本発明は、上記事情に鑑みてなされたもので、その目的は、カメラ校正作業を自動化することができるカメラ装置、カメラ校正システムおよびカメラ校正方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明のカメラ装置は、校正用パラメータに従って校正を行うカメラ装置であって、校正の基準となる位置を示す基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物を所定の位置で撮像する撮像手段と、前記校正用撮像対象物の画像を基に、前記校正用パラメータを算出する校正用パラメータ算出手段とを備えたことを特徴とする。この構成により、カメラ校正作業を自動化することができる。
また、本発明は、校正用パラメータに従って校正を行うカメラ装置であって、校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物を撮像する撮像手段と、前記校正用撮像対象物の画像を基に、前記校正用パラメータを算出する校正用パラメータ算出手段とを備え、
前記撮像手段は、前記校正用撮像対象物に形成された識別情報として、複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物の画像を撮像するものであり、
前記校正用パラメータ算出手段は、前記校正用撮像対象物の画像に基づき、前記連結包囲パターンの基準位置のスクリーン座標を算出する手段と、前記連結包囲パターンの連結状態を調べる手段と、前記連結包囲パターンの連結を辿ることにより連結包囲パターンの位置関係を調べ、前記位置情報包囲パターンを起点とした基準位置の世界座標を順に決定する手段と、前記基準位置のスクリーン座標と世界座標との対応から前記校正用パラメータを算出する手段と、を備えるカメラ装置を提供する。
また、本発明は、上記のカメラ装置であって、前記連結状態を調べる手段は、連結包囲パターンにおいて基準位置を通る線分を作成し、前記線分から一定の距離内にある基準位置を検索し、検索された基準位置は連結するとみなして記憶することで、連結包囲パターンの連結状態を調べるものであるカメラ装置を提供する。
また、本発明は、校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物をカメラで撮像する工程であって、前記識別情報として、複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物の画像を撮像する工程と、前記撮像された校正用撮像対象物の画像を基に、前記連結包囲パターンの基準位置のスクリーン座標を算出する工程と、前記連結包囲パターンの連結状態を調べる工程と、前記連結包囲パターンの連結を辿ることにより連結包囲パターンの位置関係を調べ、前記位置情報包囲パターンを起点とした基準位置の世界座標を順に決定する工程と、前記基準位置のスクリーン座標と世界座標との対応から前記カメラの校正用パラメータを算出する工程と、を有するカメラ校正方法を提供する。
また、本発明は、上記のカメラ校正方法であって、前記連結状態を調べる工程において、連結包囲パターンにおいて基準位置を通る線分を作成し、前記線分から一定の距離内にある基準位置を検索し、検索された基準位置は連結するとみなして記憶することで、連結包囲パターンの連結状態を調べる処理を行うカメラ校正方法を提供する。
また、本発明は、カメラの校正に用いられる校正用撮像対象物であって、校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成されており、前記識別情報として、前記複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが設けられ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物を提供する。
【０００９】
また、前記校正用撮像対象物には、複数の前記基準位置をグループ化する包囲パターンが複数設けられたことを特徴とする。この構成により、パターン認識の段階で基準位置をグループ化でき、基準位置の位置確定処理を単純化できる。
【００１０】
さらに、複数の前記包囲パターンの中には、前記識別情報として、世界座標の位置情報を示す位置情報包囲パターンが含まれることを特徴とする。この構成により、位置情報包囲パターンの位置情報を基準として、校正に必要な全ての位置情報を取得できる。
【００１１】
また、前記校正用撮像対象物には、複数の前記包囲パターンが平行に整列する面が複数設けられたことを特徴とする。この構成により、グループ化された基準位置が整列されているので、グループ間の位置識別処理を単純化できる。
【００１２】
さらに、複数の前記包囲パターンの中には、前記識別情報として、前記包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記複数の連結包囲パターンの中には、前記基準位置の数および前記基準位置の配置によって世界座標の位置情報を示す位置情報包囲パターンが含まれることを特徴とする。この構成により、校正用撮像対象物の画像が歪んで基準位置が直線上になくなっても、スクリーン座標と世界座標とを対応付けできる。
【００１３】
また、前記連結包囲パターンは、前記包囲パターン間の位置関係を規定するパターンが直線で形成された直線連結包囲パターンであることを特徴とする。この構成により、パターンが直線で形成されているので、印刷または彫刻によるパターン成形を容易に行うことができる。
【００１４】
さらに、前記連結包囲パターンは、前記包囲パターン間の位置関係を規定するパターンが曲線で形成された曲線連結包囲パターンであることを特徴とする。この構成により、包囲パターンを小さくでき、同じ面積の中に基準位置の数を多くとることができ、校正用撮像対象物を小型化できる。
【００１５】
また、前記曲線連結包囲パターンの１つとして含まれ、前記基準位置の数および前記基準位置の配置によって世界座標の位置情報を示す位置情報曲線連結包囲パターンを、変更するための基準位置が前記位置情報曲線連結包囲パターン内に設けられたことを特徴とする。この構成により、カメラの撮像範囲を校正用撮像対象物の任意の位置に変更することができる。
【００１６】
さらに、前記校正用パラメータ算出手段は、前記包囲パターン毎に前記基準位置パターンの重心のスクリーン座標を算出する基準位置座標算出手段と、前記位置情報包囲パターン内の前記基準位置から位置情報を抽出する原点識別手段と、前記基準位置を面毎に分類する面分割手段と、面および包囲パターン毎に分類された基準位置を行方向および列方向に整列する基準位置整列手段と、前記整列された基準位置を基に、スクリーン座標と世界座標とを対応付ける座標対応手段と、前記スクリーン座標と世界座標との対応関係を基に、前記校正用パラメータを算出する算出手段とを備えたことを特徴とする。この構成により、基準位置のスクリーン座標と世界座標とを自動的に対応付けて校正用パラメータを算出できる。
【００１７】
本発明のカメラ校正システムは、校正の基準となる位置を示す基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物と、前記校正用撮像対象物を所定の位置から撮像するカメラと、前記撮像された校正用撮像対象物の画像を基に前記カメラの校正用パラメータを算出し、前記算出された校正用パラメータにしたがって前記カメラを校正するカメラ校正装置とを備える。この構成により、カメラ校正作業を自動化することができる。
【００１８】
本発明のカメラ校正方法は、校正の基準となる位置を示す基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物を所定の位置からカメラで撮像する工程と、前記撮像された校正用撮像対象物の画像を基に前記カメラの校正用パラメータを算出する工程と、前記算出された校正用パラメータにしたがって前記カメラを校正する工程とを有することを特徴とする。この手順により、カメラ校正作業を自動化することができる。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１は第１の実施の形態におけるカメラ校正システムの構成を示すブロック図である。本実施の形態のカメラ校正システムは、校正用ボード１００、校正対象であるカメラ２００およびカメラ校正装置３００から構成されている。ここで、カメラ校正装置３００は、カメラ本体内に収納されてもよいし、カメラ本体とは別体の装置として設けられてもよい。カメラ校正装置３００は、後述するように、校正用ボード１００をカメラ２００で撮像することによって得られる画像を基に、カメラ校正パラメータを算出する。
【００２０】
図２はカメラ校正装置３００の構成を示すブロック図である。カメラ校正装置３００は、基準位置座標算出部３１０、原点識別部３２０、面分割部３３０、基準位置整列部３４０、座標対応部３５０およびパラメータ算出部３６０から構成される。基準位置座標算出部３１０は、包囲パターン１０２毎の基準位置パターン１０１の重心のスクリーン座標を算出する。原点識別部３２０は、基準位置座標算出部３１０によって算出された基準位置から位置情報を抽出する。面分割部３３０は、包囲パターン１０２が平行に整列する面から基準位置を面毎に分類する。基準位置整列部３４０は、面・包囲パターン毎に分類された基準位置を面単位で行方向、列方向に基準位置を整列する。座標対応部３５０は、基準位置のスクリーン座標と世界座標とを対応付ける。カメラパラメータ算出部３６０は、基準位置のスクリーン座標と世界座標との対応関係からカメラ校正用パラメータを求める。本実施の形態では、これらの各部は、カメラ校正装置内のＣＰＵ（図示せず）がＲＯＭ（図示せず）に格納されたプログラムを実行することによって実現される。尚、ＣＰＵ、ＲＯＭを用いる代わりに、ハードウェア専用回路で実現してもよいことは勿論である。
【００２１】
一方、校正用ボード１００は、後述するように、カメラ校正用の基準位置およびこの基準位置を特定するための識別情報を有するものであり、カメラ２００前方の所定位置に配置され、カメラ２００によって撮像される。図３は校正用ボード１００を示す図である。この校正用ボード１００は、立体的に構成されており、カメラ２００の正面に位置する正面パターン１１０、カメラ２００の左に位置する左側面パターン１２０、カメラ２００の右に位置する右側面パターン１３０、およびカメラ２００の下方に位置する底面パターン１４０を有する。尚、後述する角パターンおよび中央パターン（図４参照）は、図中、奥まった位置に形成されている。
【００２２】
図４は面パターンを示す図である。同図（Ａ）は正面パターン１１０を示し、同図（Ｂ）は左側面パターン１２０、右側面パターン１３０、底面パターン１４０を示す。正面パターン１１０には、基準位置を示す基準位置パターン（単に、基準位置ともいう）１０１、所定数（ここでは、１２個）の基準位置をグループ化する複数列の包囲パターン１０２、およびその他の包囲パターンとして、基準位置を特定するための識別情報である位置情報包囲パターンが形成されている。この位置情報包囲パターンは、中央パターン１０３およびその両側に位置する角パターン１０４から構成される。
【００２３】
一方、左側面パターン１２０、右側面パターン１３０、底面パターン１４０には、それぞれ基準位置を示す基準位置パターン１０１、および所定数（ここでは、１２個）の基準位置をグループ化する複数列の包囲パターン１０２だけが設けられている。尚、図中、パターンを示す点線は、パターンがその内側にあることを示すために描かれたものであり、実際に存在しない。
【００２４】
上記構成を有するカメラ校正システムの動作を示す。図５はカメラ校正処理手順を示すフローチャートである。まず、基準位置座標算出部３１０は、包囲パターン１０２によってグループ化された基準位置パターン１０１の重心のスクリーン座標を算出する（ステップＳ１）。この処理は周知のパターン処理技術を利用して行われる。算出の結果、以下のように、包囲パターン毎にグループ化されたスクリーン座標が得られる。
【００２５】
包囲パターン０＝｛基準位置のスクリーン座標００、……、基準位置のスクリーン座標０ｍ０｝
包囲パターン１＝｛基準位置のスクリーン座標１０、……、基準位置のスクリーン座標０ｍ１｝、
……
包囲パターンｎ＝｛基準位置のスクリーン座標ｎ０、……、基準位置のスクリーン座標０ｍｎ｝
これにより、パターン認識の段階で基準位置を行毎にグループ化できるので、基準位置の位置確定処理を単純化できる。
【００２６】
原点識別部３２０は、位置情報包囲パターン（中央パターン１０３、角パターン１０４）から位置情報を抽出する（ステップＳ２）。この処理では、まず２つの基準位置を含む包囲パターン１０２を角パターン１０４の候補として抽出する。図６は原点識別処理および面分割処理を示す図である。中央パターン１０３および角パターン１０４内の基準位置１０１を結ぶことにより直線ａが得られる。また、左側面パターン１２０の最下部の包囲パターン１０６内の基準位置１０１を結ぶことにより直線ｂが得られる。さらに、正面パターン１１０の包囲パターン１０２の左端の基準位置１０１を結ぶことにより直線ｃが得られる。
【００２７】
中央パターン１０３および角パターン１０４の基準位置を通過する直線ａは一直線上に並ぶ筈であるので、候補として抽出された角パターン１０４の中の２つの基準位置を基に、基準位置が一直線となる包囲パターン１０２を、角パターン１０４および中央パターン１０３とする。角パターン１０４および中央パターン１０３の基準位置の世界座標は既知であるので、その他の包囲パターン１０２の基準位置の世界座標は相対的に決定される。このように、位置情報包囲パターンの位置情報を基準として、全ての位置情報を取得できる。
【００２８】
面分割部３３０は、全ての包囲パターン１０２を正面パターン１１０、左側面パターン１２０、右側面パターン１３０および底面パターン１４０に分類する（ステップＳ３）。最初に、角パターン１０４から側面最下部の包囲パターン１０６を抽出する。図６に示すように、角パターン１０４の直線ａと側面最下部の包囲パターン１０６の直線ｂとの交点は、角パターン１０４が左側にある場合、左側の基準位置１０１と最短にある筈であることから、側面最下部の包囲パターン１０６を抽出する。このように、直線ａおよび直線ｂにより、正面・左右側面の包囲パターンと底面の包囲パターンとを分類できる。
【００２９】
全ての包囲パターンの基準位置のスクリーン座標を、ｘ座標、ｙ座標で包囲パターン毎に整列する。左側の角パターン１０４の基準位置１０１と、正面内その他の包囲パターン１０２の最左端の２つの基準位置１０１とを用い、これら３点が直線とみなせる直線ｃを抽出する。この処理を右側に対しても行い、同様の直線を抽出する。これらの直線ｃにより、左側面、右側面、正面の包囲パターンを分類する。そして、基準位置整列部３４０は、各面毎に基準位置１０１のスクリーン座標を利用し、基準位置１０１を行方向および列方向に順番に整列する（ステップＳ４）。
【００３０】
座標対応部３５０は、各基準位置毎に基準位置座標算出部３１０で算出されたスクリーン座標と世界座標との対応付けを行う（ステップＳ５）。図７はスクリーン座標と世界座標との対応関係を示す図である。底面パターン１４０の左隅を世界座標の原点とし、ｘ座標、ｙ座標、ｚ座標を設定する。図７では、簡単のために、正面パターン１１０および底面パターン１４０の基準位置だけが描かれている。例えば、底面パターン１４０の４行５列の位置にある基準位置１０１の世界座標について検討する。ここで、基準位置１０１の全ての間隔は５０ｍｍであるとすると、この世界座標は（５×５０，４×５０，０）、つまり（２５０，２００，０）となる。
【００３１】
パラメータ算出部３６０は、座標対応部３５０で対応付けられたスクリーン座標および世界座標を用いてカメラ校正パラメータを算出する（ステップＳ６）。数式（１）は世界座標とカメラ座標との関係を示す。ここで、Ｘｗ、Ｙｗ、Ｚｗは世界座標を表す。ｘ、ｙ、ｚはカメラ座標を表す。ｒ１〜ｒ９は座標の回転行列を表す。Ｔｘ、Ｔｙ、Ｔｚは座標の移動行列を表す。
【００３２】
【数１】
Ｘｆ＝ｆ・ｘ／ｚ ……（２）、 Ｙｆ＝ｆ・ｙ／ｚ ……（３）
また、数式（２）、（３）はカメラ座標とスクリーン座標との関係を示す。ここで、Ｘｆ、Ｙｆはスクリーン座標を表す。ｆは焦点距離を表す。
【００３４】
上記数式（１）、（２）、（３）を利用し、複数の基準位置のスクリーン座標と世界座標との対応関係から、カメラ校正パラメータである回転行列、移動行列および焦点距離を算出する。カメラ校正装置３００は、算出されたカメラ校正パラメータに基づき、カメラ２００を校正し、本処理を終了する。
【００３５】
このように、第１の実施の形態のカメラ校正システムによれば、複数の基準位置のスクリーン座標と世界座標とを手動で対応付けることなく、自動的に対応付けてカメラ校正パラメータを算出することができ、カメラ校正作業を自動化できる。
【００３６】
（第２の実施の形態）
第２の実施の形態のカメラ校正システムでは、前記第１の実施の形態と比べ、校正用ボード１００に形成された基準位置および包囲パターンが異なるだけで、その他の構成は同じである。
【００３７】
図８は第２の実施の形態における直線連結包囲パターンを示す図である。第２の実施の形態では、校正用ボード１００に２種類の直線連結包囲パターン５００、５１０、および位置情報を有する位置情報直線連結包囲パターン５２０が形成されている。
【００３８】
図９は直線連結包囲パターンの処理手順を示す図である。同図（Ａ）は直線連結包囲パターン５００を示し、同図（Ｂ）は直線連結包囲パターン５１０および直線連結包囲パターン５００を示す。直線連結包囲パターンは、４つの基準位置６００〜６３０を有する直線連結包囲パターン５００、２つの基準位置を有する直線連結包囲パターン５１０、および５つの基準位置を有する位置情報直線連結包囲パターン５２０に分類される。その他の数の基準位置を有する包囲パターンは、パターン認識エラーとして除外される。
【００３９】
まず、同図（Ａ）に示すように、直線連結包囲パターン５００に含まれる４つの基準位置のスクリーン座標から基準位置の重心６４０を求める。ある基準位置を適当に選択し、基準位置０とする。基準位置０と重心６４０とを結ぶ直線と各基準位置とのなす角を小さい方から順に基準位置１、基準位置２、基準位置３とする。尚、５つの基準位置を有する位置情報直線連結包囲パターン５２０では、重心６４０を求めた後、この重心６４０に最も近い基準位置に対しては上記基準位置の処理を行わない。さらに、隣接する全ての基準位置を通る線分を作成する。同図（Ｂ）には、基準位置０と基準位置３を通る線分ａ、および基準位置０と基準位置１を通る線分ｂが示されている。
【００４０】
２つの基準位置を有する直線連結包囲パターン５１０内の基準位置の中から、作成した線分上にあるかあるいは線分から一定の距離内にある基準位置を検索する。このとき、基準位置が検索できた場合、線分および基準位置は連結するとみなして記憶する。このようにして、全ての直線連結包囲パターン５００、５１０の連結状態を調べる。そして、位置情報直線連結包囲パターン５２０を起点とし、記憶した連結を辿ることにより、直線連結包囲パターンの位置関係を調べることができる。最後に、直線連結包囲パターンの既知である世界座標から順に基準位置の世界座標を決定する。
【００４１】
第２の実施の形態によれば、校正用ボードの画像が歪んで基準位置が直線上になくてもスクリーン座標と世界座標とを対応付けできる。また、パターンが直線で形成されているので、印刷あるいは彫刻によるパターン成形を容易に行うことができる。
【００４２】
（第３の実施の形態）
第３の実施の形態のカメラ校正システムでは、第２の実施の形態と同様、前記第１の実施の形態と比べ、校正用ボード１００に形成された基準位置および包囲パターンが異なるだけで、その他の構成は同じである。
【００４３】
図１０は第３の実施の形態における曲線連結包囲パターンを示す図である。校正用ボード１００には、２種類の曲線連結包囲パターン７００、７１０、および位置情報を有する位置情報曲線連結包囲パターン７２０が形成されている。
【００４４】
第２の実施の形態と同様の手順で、線分および基準位置は連結するとみなして記憶し、位置情報曲線連結包囲パターン７２０を起点とし、記憶した連結を辿ることにより、曲線連結包囲パターンの位置関係を調べ、曲線連結包囲パターンの既知である世界座標から順に基準位置の世界座標を決定する。
【００４５】
第３の実施の形態によれば、校正用ボードの画像が歪んで基準位置が直線上になくてもスクリーン座標と世界座標とを対応付けできる。また、包囲パターンを小さくすることができ、同じ面積内に基準位置の数を多くすることができ、校正用ボードを小型化できる。
【００４６】
図１１は移動基準位置８００を用いてカメラ撮像範囲を変更する場合を示す図である。カメラ撮像範囲が、例えば、カメラ撮像範囲８１０にある場合、その左隅にある位置情報曲線連結包囲パターン７２０はカメラ撮像範囲内にあり、カメラ校正が可能である。しかし、カメラ撮像範囲がカメラ撮像範囲８２０にある場合、位置情報曲線連結包囲パターン７２０はカメラ撮像範囲外となってしまう。
【００４７】
そこで、位置情報曲線連結包囲パターン７２０の位置情報を示す基準位置を移動自在な移動基準位置８００とし、この移動基準位置８００をカメラ撮像範囲８２０内に移動させ、図中、カメラ撮像範囲８２０内に四角の点線で囲まれる位置情報曲線連結包囲パターンを得る。これを基に、世界座標を変更してカメラを校正する。このように、移動基準位置８００をシールのように移動自在にすることで、位置情報曲線連結包囲パターンをカメラ撮像範囲内に収めることができる。
【００４８】
第３の実施の形態によれば、カメラの撮像範囲を校正用ボード内の任意の位置に変更することが可能である。
【００４９】
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードをシステムあるいは装置に供給することによっても達成される。この場合、プログラムコード自体が本発明を構成することになり、そのプログラムを記憶した記憶媒体も本発明を構成することになる。
【００５０】
【発明の効果】
以上説明したように本発明によれば、カメラ校正作業を自動化することが可能なカメラ装置、カメラ校正システムおよびカメラ校正方法を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるカメラ校正システムの構成を示すブロック図
【図２】本発明の第１の実施の形態におけるカメラ校正装置の構成を示すブロック図
【図３】本発明の第１の実施の形態における校正用ボードを示す図
【図４】本発明の第１の実施の形態における校正用ボードの面パターンを示す図
【図５】本発明の第１の実施の形態におけるカメラ校正処理手順を示すフローチャート
【図６】本発明の第１の実施の形態における原点識別処理および面分割処理を示す図
【図７】本発明の第１の実施の形態におけるスクリーン座標と世界座標との対応関係を示す図
【図８】本発明の第２の実施の形態における直線連結包囲パターンを示す図
【図９】本発明の第２の実施の形態における直線連結包囲パターンの処理手順を示す図
【図１０】本発明の第３の実施の形態における曲線連結包囲パターンを示す図
【図１１】本発明の第３の実施の形態における移動基準位置を用いてカメラ撮像範囲を変更する場合を示す図
【図１２】従来のカメラ校正システムに用いられる校正用ボードを示す図
【符号の説明】
１００ 校正用ボード
１０１ 基準位置パターン（基準位置）
１０２ 包囲パターン
１０３ 中央パターン
１０４ 角パターン
２００ カメラ
３００ カメラ校正装置
Claims (7)
- 校正用パラメータに従って校正を行うカメラ装置であって、
校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物を撮像する撮像手段と、
前記校正用撮像対象物の画像を基に、前記校正用パラメータを算出する校正用パラメータ算出手段とを備え、
前記撮像手段は、
前記校正用撮像対象物に形成された識別情報として、複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物の画像を撮像するものであり、
前記校正用パラメータ算出手段は、
前記校正用撮像対象物の画像に基づき、前記連結包囲パターンの基準位置のスクリーン座標を算出する手段と、
前記連結包囲パターンの連結状態を調べる手段と、
前記連結包囲パターンの連結を辿ることにより連結包囲パターンの位置関係を調べ、前記位置情報包囲パターンを起点とした基準位置の世界座標を順に決定する手段と、
前記基準位置のスクリーン座標と世界座標との対応から前記校正用パラメータを算出する手段と、
を備えるカメラ装置。 - 請求項１に記載のカメラ装置であって、
前記連結状態を調べる手段は、
連結包囲パターンにおいて基準位置を通る線分を作成し、前記線分から一定の距離内にある基準位置を検索し、検索された基準位置は連結するとみなして記憶することで、連結包囲パターンの連結状態を調べるものであるカメラ装置。 - 校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成された校正用撮像対象物をカメラで撮像する工程であって、前記識別情報として、複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが含まれ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物の画像を撮像する工程と、
前記撮像された校正用撮像対象物の画像を基に、前記連結包囲パターンの基準位置のスクリーン座標を算出する工程と、
前記連結包囲パターンの連結状態を調べる工程と、
前記連結包囲パターンの連結を辿ることにより連結包囲パターンの位置関係を調べ、前記位置情報包囲パターンを起点とした基準位置の世界座標を順に決定する工程と、
前記基準位置のスクリーン座標と世界座標との対応から前記カメラの校正用パラメータを算出する工程と、
を有するカメラ校正方法。 - 請求項３に記載のカメラ校正方法であって、
前記連結状態を調べる工程において、
連結包囲パターンにおいて基準位置を通る線分を作成し、前記線分から一定の距離内にある基準位置を検索し、検索された基準位置は連結するとみなして記憶することで、連結包囲パターンの連結状態を調べる処理を行うカメラ校正方法。 - カメラの校正に用いられる校正用撮像対象物であって、
校正の基準となる位置を示す複数の基準位置および前記基準位置を特定するための識別情報が形成されており、
前記識別情報として、前記複数の基準位置をグループ化する包囲パターンであり、包囲パターン間の位置関係が規定された複数の連結包囲パターンが設けられ、前記連結包囲パターンは、所定の連結包囲パターン内にある２つの基準位置を結ぶ線分上またはこの線分から一定の距離内に、他の連結包囲パターンの基準位置が位置するように配置され、前記連結包囲パターンの中には当該連結包囲パターンにおける基準位置の位置情報を有する位置情報包囲パターンが含まれる、校正用撮像対象物。 - 請求項５に記載の校正用撮像対象物であって、
前記連結包囲パターンは、包囲パターン間の位置関係を規定するパターンが直線で形成された直線連結包囲パターンである校正用撮像対象物。 - 請求項５に記載の校正用撮像対象物であって、
前記連結包囲パターンは、包囲パターン間の位置関係を規定するパターンが曲線で形成された曲線連結包囲パターンである校正用撮像対象物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001396557A JP4055888B2 (ja) | 2001-12-27 | 2001-12-27 | カメラ装置、カメラ校正システムおよびカメラ校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001396557A JP4055888B2 (ja) | 2001-12-27 | 2001-12-27 | カメラ装置、カメラ校正システムおよびカメラ校正方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006315840A Division JP2007135218A (ja) | 2006-11-22 | 2006-11-22 | カメラ装置、カメラ校正システムおよびカメラ校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003194520A JP2003194520A (ja) | 2003-07-09 |
| JP4055888B2 true JP4055888B2 (ja) | 2008-03-05 |
Family
ID=27602612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001396557A Expired - Fee Related JP4055888B2 (ja) | 2001-12-27 | 2001-12-27 | カメラ装置、カメラ校正システムおよびカメラ校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4055888B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101648266B1 (ko) * | 2014-09-25 | 2016-08-12 | 현대제철 주식회사 | 라인 스캔 카메라 교정장치 |
| DE102018222796A1 (de) * | 2018-12-21 | 2020-06-25 | Conti Temic Microelectronic Gmbh | Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2672509B2 (ja) * | 1987-06-13 | 1997-11-05 | オムロン株式会社 | カメラモデルの自動キャリブレーション方法およびその装置 |
| JPH06243236A (ja) * | 1993-02-18 | 1994-09-02 | Sharp Corp | 視覚認識装置の座標系校正パラメータ設定装置 |
| JP3696336B2 (ja) * | 1996-06-12 | 2005-09-14 | 株式会社トプコン | カメラのキャリブレーション方法 |
| JP2001082941A (ja) * | 1999-09-16 | 2001-03-30 | Gen Tec:Kk | キャリブレーション用３次元パターン |
| JP2001264037A (ja) * | 2000-03-22 | 2001-09-26 | Nippon Telegr & Teleph Corp <Ntt> | カメラキャリブレーション方法及び装置及びカメラキャリブレーションプログラムを格納した記憶媒体 |
-
2001
- 2001-12-27 JP JP2001396557A patent/JP4055888B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003194520A (ja) | 2003-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108965690B (zh) | 图像处理系统、图像处理装置及计算机可读存储介质 | |
| JP4492654B2 (ja) | ３次元計測方法および３次元計測装置 | |
| US9529945B2 (en) | Robot simulation system which simulates takeout process of workpieces | |
| JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
| US7894661B2 (en) | Calibration apparatus, calibration method, program for calibration, and calibration jig | |
| CN110689579A (zh) | 基于合作目标的快速单目视觉位姿测量方法及测量系统 | |
| CN111937034A (zh) | 学习数据集的创建方法和装置 | |
| CN110956660B (zh) | 定位方法、机器人以及计算机存储介质 | |
| KR20180014677A (ko) | 3d 이미지 데이터에서 3d 포즈와 기생포인트 제거의 스코어링을 개선하는 시스템 및 방법 | |
| JP5096620B2 (ja) | フィーチャー境界の結合 | |
| JP3138080B2 (ja) | 視覚センサの自動キャリブレーション装置 | |
| JP6736414B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2005017286A (ja) | カメラキャリブレーション方法およびカメラキャリブレーション装置 | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| JPH11166818A (ja) | 三次元形状計測装置の校正方法及び校正装置 | |
| CN107850425B (zh) | 用于测量制品的方法 | |
| JP2012112911A (ja) | キャリブレーション用校正治具、校正治具を備えた３次元計測システム | |
| JP5198078B2 (ja) | 計測装置および計測方法 | |
| JP2013130508A (ja) | ３次元計測方法、３次元計測プログラム及びロボット装置 | |
| JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
| JP4055888B2 (ja) | カメラ装置、カメラ校正システムおよびカメラ校正方法 | |
| CN113012238A (zh) | 一种多深度相机快速标定与数据融合的方法 | |
| JP3696335B2 (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
| JP6906177B2 (ja) | 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体 | |
| JP2007135218A (ja) | カメラ装置、カメラ校正システムおよびカメラ校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060927 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070704 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |