JPWO2010050412A1 - 校正指標決定装置、校正装置、校正性能評価装置、システム、方法、及びプログラム - Google Patents

Abstract

本発明の課題は、画像不鮮明の特性について個体差のばらつきが大きいような大量のカメラを校正する際に、各カメラに校正指標が適しているか判断するシステムを提供する。本発明は、校正指標を撮像し、撮像された校正指標画像から校正時に期待できる校正精度を計算する。期待できる校正精度が各カメラに最適でない場合は、各カメラに最適な校正指標になるまで、校正指標を構成する線又は図形の密度を変化させる。

Description

本発明は、撮像された画像の歪みを校正する際に用いる校正指標を決定する技術に関する。

撮像して得られた画像の歪みを校正するカメラ校正装置については、これまでも種々提案されている。

特許文献１及び特許文献２では、格子点密度が均一の校正指標を表示する校正指標表示部と、前記校正指標表示部に表示されている校正指標を撮像して校正指標を画像で取得する撮像部と、前記校正指標表示部に表示されている校正指標を構成する線又は図形すべての正解位置を取得する正解位置取得部と、前記撮像部から得られる画像に写っている校正指標を構成する線又は図形の画像上の位置と、前記正解位置取得部から得られる正解校正位置とを用いて、撮像された画像の歪みを校正するためのパラメータを算出する校正パラメータ算出部とから、構成されている。

このような構成を有する校正システムは次のように動作する。

まず撮像部によって、校正指標表示部に表示されている校正指標が撮像される。次に、撮像された校正指標画像から得られる校正指標を構成する線又は図形の位置の情報と、正解位置取得部によって得られる校正指標を構成する線又は図形の位置の情報とに基づいて、前記校正パラメータ算出部によって、撮像された画像の歪みを校正するためのパラメータが算出される。

特許文献３では、撮像された画像の歪みに応じて格子点密度を変えることができる校正指標表示部と、前記校正指標表示部に表示されている校正指標を撮像して校正指標を画像で取得する撮像部と、前記撮像部から得られる画像に写っている校正指標を構成する線又は図形の間隔から、撮像された画像の歪みの有無を判定する歪み判定部と、前記歪み判定部により歪みがあると判定された校正指標画像上の部分領域に写っている校正指標を構成する線又は図形の密度が上がるように、前記校正指標表示部の制御を行う指標表示制御部と、前記校正指標表示部に表示されている校正指標の歪み校正後に得られるべき校正指標を構成する線又は図形の位置を取得する正解位置取得部と、前記撮像部から得られる撮像された校正指標画像に写っている校正指標を構成する線又は図形の画像上の位置と、前記正解位置取得部から得られる正解校正位置とを用いて、撮像された画像の歪みを校正するためのパラメータを算出する校正パラメータ算出部とから、構成されている。このような構成を有する校正システムは次のように動作する。

まず撮像部によって校正指標表示部に表示されている校正指標を撮像する。次に撮像された校正指標画像を用いて、歪み判定部によって、撮像された校正指標画像上の歪みの有無が検出され、該校正指標画像上に、歪みがあると判定された領域が存在する場合は、指標表示制御部によって、該領域内の校正指標を構成する線又は図形の密度を上げる。その後、再度撮像部により、校正指標を撮像し、撮像された校正指標画像に写っている校正指標を構成する線や図形の校正前の位置と、正解位置取得部によって得られる校正後に得られるべき校正指標を構成する線や図形の位置の情報とに基づいて、前記校正パラメータ算出部によって、撮像された画像の歪みを校正するパラメータを算出する。

特開２００８−９２６０２号公報 特開２００７−２９２６１９号公報 特開２００８−７０３４７号公報

三上 直樹，アルゴリズム教科書 実用的なプログラムで示すアルゴリズムの基礎と応用，ＣＱ出版社，１９９６

しかし、上記校正システムにおいては、各カメラに適した校正指標が用いられているわけではないので、画像不鮮明の特性について個体差のばらつきが大きいような大量のカメラを校正する際、以下の問題点が存在する。

特許文献１及び特許文献２においては、一般に上記のような方式では、校正指標を構成する図形の数が多ければ多いほど、校正精度は向上する。

一方、カメラが撮像する面積には限界が存在するため、画像内に写っている図形の数が多くなるほど、必然的に図形の大きさは小さくなる。図形の大きさが１画素分の大きさよりも小さくなると、図形が鮮明に撮像されなくなり、図形の位置が取得できなくなる。すなわち、校正精度を向上させる目的で図形の数を多くしすぎてしまうと、校正指標を構成する図形そのものが取得できなくなる。

また、光学的な問題によって生じる画像不鮮明であるボケが生じるカメラでは、ボケが強いところで図形が小さいと点が鮮明に見えないといったように、ボケ具合によって図形が鮮明に得られなくなる。特に部分的なボケに関しては、ボケによる校正指標画像の部分的な不鮮明さの影響により、ボケが生じている部分での校正精度が悪くなる。

これに対し特許文献３においては、校正指標を構成する図形密度を一定と限定せず、部分的に校正指標を構成する図形の密度を変更することが可能な構成をとっている。しかし、この構成においては、図形密度を変更する際の上限については言及されていない。すなわち、校正指標を構成する線又は図形の鮮明さと数のトレードオフについて考慮されていない。

特に性質がカメラ個々に異なる部分的なボケに関しては、図形密度の上限について考慮されていないため、実際に精度のよい校正を行うことが困難である。

そこで本発明は、特にボケの特性について個体差のばらつきが大きいような大量のカメラにおいて、校正指標が各カメラに適しているか評価し、最適な校正指標を決定する技術を提供する。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し評価結果に基づいて前記いずれか一つの校正指標を決定する決定手段を有することを特徴とする校正指標決定装置である。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標の線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像の校正指標の線又は図形の位置とに基づき、歪み校正パラメータを算出する校正パラメータ算出手段を有することを特徴とする校正装置である。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標を用いて補正した校正指標画像を構成する線又は図形の位置と、前記決定された校正指標を構成する線又は図形の位置とに基づき、歪み補正の精度を評価する校正性能評価手段を有することを特徴とする校正性能評価装置である。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し評価結果に基づいて前記いずれか一つの校正指標を決定する決定手段を有することを特徴とする校正指標決定システムである。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し、前記評価結果に基づいて前記いずれか一つの校正指標を決定する
ことを特徴とする校正指標決定方法である。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し評価結果に基づいて前記いずれか一つの校正指標を決定する処理を校正指標評価装置に実行させることを特徴とするプログラムである。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標の線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像の校正指標の線又は図形の位置とに基づき、歪み校正パラメータを算出する処理を校正装置に実行させることを特徴とするプログラムである。

上記課題を解決する本発明は、線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標を用いて補正した校正指標画像を構成する線又は図形の位置と、前記決定された校正指標を構成する線又は図形の位置とに基づき、歪み補正の精度を評価する処理を校正性能評価装置に実行させることを特徴とするプログラムである。

本発明によると、特に画像不鮮明の特性について個体差のばらつきが大きいような大量のカメラにおいて、各カメラに適している校正指標を決定することができる。

本発明の第１の実施の形態における校正システムの構成を説明するためのブロック図である 本発明の第１の実施の形態における校正指標表示部にて表示する校正指標の例を説明するための図である 本発明の第１の実施の形態における予想校正精度算出部の処理の例を説明する図である 本発明の第１の実施の形態における実際の格子点の数と明確に撮像できる格子点の数との数の関係を説明する図である 本発明の第１の実施の形態における格子点の点探索の様子を説明する図である 本発明の第１の実施の形態における格子点の対応付けを説明する図である 本発明の第１の実施の形態における校正システムの動作を説明するためのフローチャートである 本発明の第２の実施の形態における校正システムの構成を説明するためのブロック図である 本発明の第２の実施の形態における部分的な予想校正精度の算出例を説明する図である 本発明の第２の実施の形態における部分的な予想校正精度に基づき領域を分割する処理例を説明する図である 本発明の第２の実施の形態における予想校正精度に基づいた校正指標の表示を説明する図である 本発明の第２の実施の形態における校正システムの動作を説明するためのフローチャートである 本発明の第３の実施の形態における校正システムの構成を説明するためのブロック図である 本発明の第３の実施の形態における校正性能の算出例を説明する図である 本発明の第３の実施の形態における校正指標評価装置の動作を説明するためのフローチャートである 本発明になる校正指標決定装置のブロック図である 本発明の第１の実施の形態におけるカメラ校正の動作を説明するためのフローチャートである 本発明の第２の実施の形態におけるカメラ校正の動作を説明するためのフローチャートである

以下に添付した図面を参照して、本発明実施の形態を説明する。
（第１の実施の形態）
本実施の形態に係る校正システムの構成を図１に示す。

この校正システムは、レンズの特性又は撮像素子の性能によって撮像された画像に生じてしまう歪みを校正するシステムであって、校正指標表示部１００と、撮像部２００と、予想校正精度算出部３００と、指標制御部４００と、正解位置取得部５００と、校正パラメータ算出部６００と、校正部９００とを有して構成されている。

校正指標表示部１００は、指標制御部４００によって制御され、歪み校正の対象である撮像部２００に対して校正指標を表示する。校正指標表示部１００は、例えば、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されているコンピュータと接続したディスプレイやプロジェクタ装置、および電光掲示板であってもよい。また表示される校正指標は例えば、格子点上に配置された各種図形（図２Ａ）であってもよく、このほか、市松模様（図２Ｂ）、格子状グリッド（図２Ｃ）などでもよい。

撮像部２００は、校正指標表示部１００に表示されている校正指標を撮像する。撮像対象は、例えば歪みを校正するカメラそのものであってもよい。

予想校正精度算出部３００は、撮像部２００によって撮像された校正指標画像の解像度から、校正指標表示部１００に表示されている校正指標が撮像部２００に適する度合いを示す予想校正精度を算出する。予想校正精度算出部３００は、撮像部２００によって撮像された校正指標画像を入力に持ち、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成されてもよい。

このような構成において、予想校正精度は、校正指標が撮像された撮像画像の歪みを校正するのに適する度合いを示すものであって、校正指標を構成する線又は図形の密度を細かくするにつれ悪くなる解像度によって校正パラメータに影響を及ぼす要素とし、例えば撮像部２００によって得られる画像に対して二値化を行い（図３）、該二値化された画像から明確に抽出できる対象領域（図形）の数を予想校正精度としてもよい。このほか、撮像部２００によって得られる画像の各画素の濃淡値の分散を予想校正精度としてもよく、撮像部２００によって得られる画像に対してソーベルオペレータやラプラシアンオペレータ等を利用したエッジ検出処理を行ない、エッジとして検出された領域におけるエッジ強度の平均を予想校正精度としても良い。また、エッジの向きを示す角度や、画像の各画素における色要素の分散、校正指標を構成する図形単位の数、大きさ、線の太さを適した画像処理によって取得することにより、それらを予想校正精度としても良い。さらに、これらの処理を並列に行ない、予想校正精度を各処理の結果を組み合わせて多次元情報として算出してもよく、また各処理の結果をパラメータとした評価関数を予め定めておき、該評価関数による評価値を予想校正精度としてもよい。

指標制御部４００は、予想校正精度算出部３００によって算出された予想校正精度から、校正指標表示部１００に表示されている校正指標を変更する必要があるかどうかを評価し、校正指標表示部１００に表示されている校正指標を変更する必要があると判断した場合は、予想校正精度算出部３００によって算出された予想校正精度に応じて校正指標表示部１００に表示されている校正指標を構成する線又は図形の大きさ又は密度を変更し、生成された新たな校正指標を校正指標表示部１００に表示する。一方、校正指標表示部１００に表示されている校正指標を変更する必要がないと判断された場合は、最後に変更した校正指標の前に表示されていた校正指標を校正指標表示部１００に表示する。

指標制御部４００は、例えば校正指標表示部１００を出力に持ち、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成してもよい。

このような構成において、例えば予想校正精度算出部３００によって算出された予想校正精度を、二値化された画像から明確に抽出できる対象領域の数とし、前々回の予想校正精度をｍ（ｔ−２）、前回の予想校正精度をｍ（ｔ−１）、今回の予想校正精度をｍ（ｔ）としたとき、次の式（１）を満たした場合は構成指標を変更する必要があると判断し、満たさない場合は、校正指標を変更する必要がないと判断してもよい。

ｍ（ｔ−１）−ｍ（ｔ−２）＞０ ∧ ｍ（ｔ）−ｍ（ｔ−１）＞０ ・・・・（１）

上記式（１）を判断の基準とする理由は、次の通りである。

例えば、実際に校正指標表示部に表示されている格子点上の図形の数をｎ、撮像された校正指標画像を二値化した校正指標画像から得られる格子点上の図形の数を、式（１）の記述に沿ってｍと表記すると、ｎとｍとの関係はおおよそ図４のようになる。

図形の数が多くなるほど、必然的に図形の大きさが小さくなり、やがてカメラ撮像時の量子化によって図形と背景の境界が鮮明でなくなる。すなわち解像度限界により、二値化処理で図形が対象領域として捉えられなくなる。

このように図形の数が少ないうちは、図形の数を増やすと得られる対象領域の数は増加する。しかし、図形の数が一定以上に達したところで、得られる領域の数は減少に転じる。得られる対象領域の数が減少に転じる直前が図形の鮮明さが保たれつつ、図形の数が最大となることを示しており、式（１）はこの変曲点を検出する式となっている。

校正指標を変更する必要があると判断されたとき、例えば校正指標が格子点である場合には、１つあたりの格子点の直径と格子点同士の間隔を小さくすることで、全体の格子点の数が多くなるように密度を増やして校正指標を変更してもよい。

このとき校正開始時に表示する校正指標は、格子点の数をできるだけ少なくしておくことが望ましい。

具体的に、全体の格子点の数が多くなるように校正指標を構成する線又は図形の密度を変更する方法を述べる。

格子点の直径をｄとしたとき、格子点の端点同士の間隔をｄ／２として定めておく。校正指標を矩形とし、校正指標の高さをｈ、幅をｗとし、校正指標を変更する前の格子点の直径をｄ（ｔ−１）とすると、校正指標を変更する前に表示されている格子点の数ｎ（ｔ−１）は次の式（２）で表される。なお式（２）において、［ｋ］はｋを超えない整数（ガウス記号）であることを示す。

ｎ（ｔ−１）＝［２ｗ／３ｄ（ｔ−１）］×［２ｈ／３ｄ（ｔ−１）］ ・・・・（２）

同様に、校正指標が変更された後の格子点の直径をｄ（ｔ）とすると、校正指標が変更された後に表示されている格子点の数ｎ（ｔ）は次の式（３）で表される。

ｎ（ｔ）＝［２ｗ／３ｄ（ｔ）］×［２ｈ／３ｄ（ｔ）］ ・・・・（３）

格子点の数が多くなるように校正指標を変更するため、次の式（４）を満たすようなｄ（ｔ）を１つ決めればよい。このようにして算出された格子点の直径を用いて格子点の端点同士の間隔を算出し、該格子点の端点同士の間隔毎に格子点をうつことにより変更後の校正指標を定めることができる。

ｎ（ｔ）−ｎ（ｔ−１）＞０ ・・・・（４）

なおｄ（ｔ）の決め方は、まずｄ（ｔ）をｄ（ｔ−１）から１引いた値として、式（４）を満たすかどうか評価し、満たした場合は該値をｄ（ｔ）として定め、満たさなかった場合は、さらに１引いた値として繰り返し評価するという方法でもよい。

また格子点の中心位置は、校正指標を矩形とし、校正指標の右上端点の座標を原点、右方向および下方向を正の方向とする座標系を考え、この座標系において、ｉ＝０，１，２・・・、ｊ＝０，１，２・・・とし、描画する格子点の中心を
（３ｄ（ｔ）ｉ／２＋３ｄ（ｔ）／２，３ｄ（ｔ）ｊ／２＋３ｄ（ｔ）／２）としてもよい。

一方、校正指標を変更する必要がないと判断されたときは、最後に変更する前の校正指標を、校正指標表示部１００に表示させるようにしておく。

このほか、校正指標を変更するか否かの判断基準として、撮像された画像の各画素の濃淡値の分散が一定以上であるかどうか、各エッジ検出オペレータによるエッジ強度の平均が一定以上あるかどうか、エッジの向き、色情報、校正指標を構成する図形の数や大きさ、線の太さなどが閾値以上であるかどうかとしてもよい。さらに、ここに挙げたエッジの向き、色情報といった少なくとも一つの画像特徴を要素とする多次元ベクトルとして扱い、このベクトルのノルムや内積などの値が、一定の条件を満たしているかどうかとしてもよく、校正品質を総合的に評価する評価関数による評価値が、予め定められた範囲内となっているかどうかとしてもよい。

また校正指標を変更する方法として、校正指標を構成する単位図形の長さや面積を変更したり、校正指標を構成する線の太さを変更するなど、校正指標の形状に好適な方法を用いてもよい。

同様に、校正指標が格子状グリッドの場合は、格子の辺の長さをｄ（ｔ）として、式（４）を満たす場合の格子の辺の長さを算出し、算出された格子の辺の長さ毎に点をうち、該点を縦軸方向及び横軸方向につなぎ格子状グリッドを作成することで、変更後の校正指標を定めることができる。

また、校正指標が市松模様の場合は、正方形の辺の長さをｄ（ｔ）として、式（４）を満たす場合の正方形の辺の長さを算出し、算出された辺の長さを持つ黒塗りの正方形と白塗りの正方形とを縦横交互に、少なくとも４つ配置することにより、変更後の校正指標を定めることができる。

正解位置取得部５００は、校正指標表示部１００に表示されている校正指標を構成する線又は図形の位置に関する情報を取得する。

例えば、指標制御部４００によって決定された校正指標を構成している図形又は線の座標等の情報を入力に持ち、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成してもよい。

このような構成において、例えば校正指標を構成する図形を格子点とすると、指標制御部４００によって計算された格子点の端点同士の間隔を取得してもよい。また、格子点の各中心座標や、撮像部２００の座標系に変換した格子点の位置座標を取得してもよい。このほか校正指標の形状に好適な情報を取得してもよい。

校正パラメータ算出部６００は、撮像部２００によって撮像された校正指標画像の線又は図形の位置に関する情報と、正解位置取得部５００によって取得された校正指標表示部１００に表示されている校正指標の線又は図形の位置に関する情報とから、撮像された画像の歪みを校正するためのパラメータを算出する。

例えば、撮像部２００によって撮像された校正指標画像の線又は図形の位置情報と、正解位置取得部５００によって取得された校正指標表示部１００に表示されている校正指標の線又は図形の位置に関する情報を入力に持つ。校正パラメータ算出部６００は、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成してもよい。

このような構成において、具体的に歪みを校正するパラメータを計算する方法は次のようなものがある。

例えば、校正指標を構成する図形が格子点であり、正解位置取得部５００によって取得される情報が格子点の端点同士の間隔であるとする。校正パラメータ算出部は、まず撮像部２００によって撮像された校正指標画像に対して、二値化、ラベリング処理を行ない、抽出された対象領域の中心位置Ｉｋ＝（ｉｋ，ｊｋ）を取得する。なおｋ＝１，２・・・，ｎであり、ｎは抽出された対象領域の総数である。

次に校正指標表示部１００に表示されている校正指標の対象領域の中心位置を求める。まずＩｋのうち画像の中心に最も近い点をＩｍとし、Ｉｍを原点とした座標系における抽出された対象領域の中心位置をＩ’ｋ＝（ｘｋ，ｙｋ）（ｋ＝１，２・・・，ｎ）とする。

次にこの原点から上下左右に隣接している対象領域の中心点を探索する。探索の方法は図５に示されるような探索ルートに基づいて探索する。例えば上の点の探索ルートでの探索により、対象領域の中心点Ｉ’ｋを発見した場合、格子点の端点同士の間隔をｄとすると、Ｉ’ｋと校正指標表示部１００に表示されている校正指標の点の位置Ｊ’ｋ＝（ｕｋ，ｖｋ）は（０，ｄ）となり、Ｉ’ｋとＪ’ｋとを対応付ける。

同様に、下の点の探索ルート、右の点の探索ルート、左の点の探索ルートでは、それぞれ校正指標表示部１００に表示されている校正指標の点の位置を（０，−ｄ）、（ｄ，０）、（−ｄ，０）として、検出された点の位置と対応付ける。

校正指標表示部１００に表示されている校正指標の点の位置Ｊ’ｋと対応付けたＩ’ｋに対し、さらに上下左右に隣接している点を探索し、対応付けを繰り返し行い、最終的にすべてのＩ’ｋについて、Ｊ’ｋと対応付ける（図６）。

すべての点について対応付けを行った後、歪み校正のパラメータを算出する。撮像部２００によって撮像された校正指標画像と校正指標表示部１００に表示されている点の位置が（ｘ，ｙ）、（ｕ，ｖ）とすると、この２つの位置関係は、式（５）と式（６）ように表されるとする。

・・・・（５）

・・・・（６）

ここでａ１，ｂ１，ｃ１，ｄ１，ｅ１，ｆ１，ｇ１，ｈ１，ｉ１，ｊ１，ａ２，ｂ２，ｃ２，ｄ２，ｅ２，ｆ２，ｇ２，ｈ２，ｉ２，ｊ２は、校正指標の各図形の歪み校正のパラメータである。
Ｉ’ｋとＪ’ｋについて、行列Ｉ’、Ｐ、Ｊ’を以下のように定義する。

・・・・（７）

・・・・（８）

・・・・（９）

すると、撮像画像全体の歪み校正パラメータの行列Ｐは、式（１０）に計算することができる。

・・・・（１０）

このほか、撮像画像全体の歪み校正パラメータの算出方法は、入力である、撮像部２００によって撮像された校正指標画像の線又は図形の位置に関する情報や、正解位置取得部５００によって取得された校正指標表示部１００に表示されている校正指標の線又は図形の位置に関する情報に好適な方法を用いてもよい。

校正部９００（図示せず）は、算出された歪み校正パラメータを用いて、撮像部２００によって撮像された画像の歪みを校正する。尚、校正部９００は、撮像部２００内に設けられている構成であっても良い。

次に上記構成の校正システムの動作手順を、図７に従って説明する。

まず、指標制御部４００が所定の校正指標を校正指標表示部１００に表示させる（Ｓ１０１）。

次に撮像部２００により校正指標表示部１００に表示されている校正指標が撮像される（Ｓ１０２）。

次に、撮像された校正指標画像を用いて予想校正精度算出部３００により、予想校正精度が計算される（Ｓ１０３）。

次に指標制御部４００において、算出された予想校正精度に基づいて、現在表示されている校正指標を変更する必要があるか否かが判断される（Ｓ１０４）。尚、ステップＳ１０３における予想校正精度の計算が初回である場合は、本ステップを行なわず、ステップＳ１０５に進む。

校正指標を変更する必要があると判断された場合は、指標制御部４００によって、校正指標を構成する線又は図形の密度が変更され、変更された校正指標が校正指標表示部１００に表示される（Ｓ１０５）。

その後、ステップＳ１０２に戻る。一方、校正指標を変更する必要がないと判断された場合は、最後に変更する前の校正指標が校正指標表示部１００に表示され、正解位置取得部５００によって、指標制御部４００から校正指標を構成する線又は図形の位置に関する情報が取得される（Ｓ１０６）。そして撮像部２００によって撮像された校正指標画像と正解位置取得部５００によって取得された校正指標表示部１００に表示されている校正指標を構成する線又は図形の位置に関する情報とから、校正パラメータ算出部６００にて校正パラメータが算出される（Ｓ１０６）。

上記本実施の形態に関わる校正指標評価システムによれば、例えば校正指標を構成する図形が格子点であるとすると、格子点の数と撮像装置の解像度限界のトレードオフを考慮しながら、最も校正精度が期待できる校正指標を決定することができる。

尚、本実施の形態では、校正指標が撮像部にとって最適な構成になるまで、校正指標を構成する線又は図形の密度を変更して、新たな校正指標を生成する方法を用いたが、予め校正指標を構成する線又は図形の密度が異なる校正指標を少なくとも一つ用意しておき、該予め用意された校正指標の中から、最適な校正指標を選択する方法を用いても良い。

また、本実施の形態では、算出された校正パラメータを用いて撮像画像を補正する構成を用いて説明したが、算出された校正パラメータを閾値と比較させて撮像画像の歪みが許容範囲であるかを判定するような構成であっても良い。

上述した通り、本発明では、各カメラに適した校正指標を決定することができるので、そのカメラによって撮像された画像の歪みを高精度に補正することができる。

図１７は、図７におけるＳ１０１〜Ｓ１０６と同様であるので、詳細な説明は省略する。ステップＳ１０６で算出された校正パラメータを用いて、カメラを校正する。
（第２の実施の形態）
本実施の形態に係る校正指標評価システムの構成を図８に示す。

この校正指標評価システムは、撮像された画像の歪みを校正するシステムであって、第１の実施の形態に加えて、部分的領域形成部７００を有している。

予想校正精度算出部３００と指標制御部４００、部分的領域形成部７００の内容について、以下に述べる。これら以外の構成部に関しては、第１の実施の形態にて述べた内容に準じた処理を行うので、詳細な説明は省略する。

予想校正精度算出部３００は、撮像部２００によって撮像された校正指標画像の部分的な予想校正精度を算出する。予想校正精度算出部３００は、撮像部２００によって撮像された校正指標画像を入力に持ち、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成されてもよい。

このような構成において、例えば校正指標を構成する図形が格子点であるとすると、まず撮像部２００によって撮像された校正指標画像に対し、二値化、ラベリング処理を行い、撮像された校正指標画像上での格子点の中心位置Ｉｋ＝（ｉｋ，ｊｋ）（ｋ＝０，１，２，・・・，ｎ、ｎは格子点の数）を求める。次に１つの格子点に対し、格子点の中心から点の外側に向かって各ピクセルの輝度値を調べる。このときの輝度値の変化の例を図９に示す。

図９のように、中心から外側に向かうにつれ、しばらくは輝度値は平坦であるが、円の端点付近で輝度値に変化があり、その後再び平坦となる。この輝度値の変化は、画像が鮮明であるほど急峻な変化となる。この急峻度合いを点毎に情報として保持させ、部分的な予想校正精度とする。急峻度合いについては、輝度値の変化のある部分までの平坦部の長さに対する、輝度値変化のある部分の長さの割合であるとしてもよい。このほか、部分的な予想校正精度は、校正指標に好適な手法を用いても良い。

部分的領域形成部７００は、予想校正精度算出部３００によって求められた部分的な予想校正精度に応じて、撮像部２００によって撮像された校正指標画像を複数の領域に分割する。そして、予想校正精度算出部３００によって求められた部分的な予想校正精度を入力に、領域に分割された校正指標画像を出力に持つ。部分的領域形成部７００は、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成してもよい。

このような構成において、例えば部分的な予想校正精度が、先に述べたような輝度値の急峻な変化の度合いであるとすると、撮像画像平面に予想校正精度を高さ方向にとった座標系において、等高線を生成する（図１０）。

等高線を生成する方式としては、例えば非特許文献１に記載されているような手法があるが、このほかにも好適なものがあれば、それらを適用しても良い。

等高線は、例えば予想校正精度を段階分けすることにより生成する。

例として図１０では、予想校正精度が１〜３（低値)、４〜７（適値）、８〜１０（高値）の３段階の部分領域となるように、等高線を作図する。また各領域が属している段階の情報も合わせて記録しておく。このほか、予想校正精度算出部３００にて求められた部分的な予想校正精度に対して好適な手法によって、撮像された校正指標画像を、領域に分割してもよい。

指標制御部４００は、部分的領域形成部７００によって複数の領域に分割された校正指標画像を用い、各領域における予想校正精度に関する指標に応じて、校正指標を変更する必要があるかどうかを判断し、変更する必要があると判断された場合は、予想校正精度に応じて校正指標表示部１００に表示されている該部分領域内の校正指標を変更する。一方、表示されている該部分領域内の校正指標を変更する必要がないと判断された場合は、該部分領域内の最後に変更する前の校正指標を校正指標表示部１００に表示する。

指標制御部４００は、校正指標表示部１００を出力側に持ち、中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成されてもよい。

このような構成において、例えば部分的領域形成部７００が、部分的な予想校正精度を低値、適値、高値の３段階に分け、この段階に応じて画像を領域に分割しているとすると、低値である部分領域に対しては、該部分領域内の校正指標を変更する必要があると判断し、予想校正精度が上がるように該部分領域内の校正指標を構成する線又は図形の密度を変更する。具体的には、校正指標を構成する図形が格子点であるとすると、格子点の大きさと格子の間隔を大きくする、すなわち格子点の密度を小さくすればよく、第１の構成の逆の方法を取るなどの方法が考えられる。

また適値である部分領域に対しては、該部分領域内の校正指標を変更する必要がないと判断される。

さらに、高値である部分領域に対しては、該部分領域内の校正指標を変更する必要があると判断され、予想校正精度が下がらないように、該部分領域内の校正指標を構成する線又は図形の密度を変更する。具体的には、校正指標を構成する図形が格子点であるとすると、格子点の大きさと格子の間隔を小さくする、すなわち格子点の密度を大きくすればよく、第１の構成と同じ方法を取るなどの方法が考えられる。

なお、校正指標の一部の領域の校正指標の密度を変更する際、画像処理時に校正指標を抽出しやすくするため、部分領域の境界線と校正指標を構成する線又は図形とが重ならないようにしてもよい。例えば、校正指標を構成する図形が格子点である場合は、部分領域の境界線上に乗るような格子点は、描画しない処理を行っても良い（図１１）。

次に上記構成の校正指標評価システムの動作手順を、図１２に基づいて説明する。

まず、指標制御部４００が所定の校正指標を校正指標表示部１００に表示させる（Ｓ２０１）。

次に撮像部２００により校正指標表示部１００に表示されている校正指標が撮像される（Ｓ２０２）。

撮像後、予想校正精度算出部３００により、撮像された校正指標画像に対して部分的に予想校正精度を計算し（Ｓ２０３）、部分的領域形成部７００により、部分的な予想校正精度を用いて撮像部２００によって撮像された校正指標画像を領域に分割する（Ｓ２０４）。

次に分割された領域毎に、指標制御部４００において部分的な予想校正精度に基づき、該部分領域の校正指標を変更する必要があるか否かを判断する（Ｓ２０５）。

該部分領域の校正指標を変更する必要があると判断された場合は、部分的な予想校正精度に応じて、指標制御部４００によって校正指標を構成する線又は図形の密度が変更され、変更された校正指標を校正指標表示部１００に表示する（Ｓ２０６）。

該部分領域の校正指標を変更する必要がないと判断された場合は、最後に変更する前の校正指標を校正指標表示部１００に表示する。全ての部分領域に対して校正指標を変更する必要があるか否か判断された後、校正指標を変更する必要があると判断された部分領域が少なくとも１つ以上ある場合は、ステップＳ２０２に戻る。一方、校正指標を変更する必要があると判断された部分領域が存在しない場合は、正解位置取得部５００によって指標制御部４００から校正指標表示部１００に表示されている校正指標の線又は図形の位置に関する情報が取得される（Ｓ２０７）。

そして撮像部２００によって撮像された校正指標画像の線又は図形の位置に関する情報と正解位置取得部５００によって取得された校正指標表示部１００に表示されている校正指標の線又は図形の位置に関する情報とから、校正パラメータ算出部６００にて歪み校正パラメータが算出される（Ｓ２０８）。

上記本実施の形態に関わる校正指標評価システムによれば、安価なカメラなどに見られる画像中の局所的なボケが存在する中でも、部分領域毎の局所的な校正品質の見通しを立てることにより、最も校正精度が期待できるように、部分領域毎に異なる校正指標を表示させ、精度の良い校正パラメータを自動的に計算することができる。

図１８は、図１２におけるＳ２０１〜Ｓ２０８と同様であるので、詳細な説明は省略する。ステップＳ２０８で算出された校正パラメータを用いて、カメラを校正する。
（第３の実施の形態）
本実施の形態に係るカメラ校正性能評価部を有する校正指標評価システムの構成を図１３に示す。

このカメラ校正性能評価システムは、撮像された画像の歪みを校正して評価するシステムである。

校正性能評価部８００以外については、第１の実施の形態又は第２の実施の形態と同様に構成されており、処理内容も第１の実施の形態又は第２の実施の形態にて述べた内容に準じた処理を行うので、詳細な説明は省略する。以下、校正性能評価部８００の内容について述べる。

校正性能評価部８００は、校正パラメータ算出部６００によって算出された画像の歪み校正パラメータと、正解位置取得部５００によって得られる校正指標を構成する線又は図形の位置情報と、撮像部２００によって撮像された校正指標画像を構成する線又は図形の位置情報とを用い、歪み校正の性能を評価する。

校正性能評価部８００は、例えば中央演算処理装置（ＣＰＵ）、記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ等）から構成されたコンピュータの記憶装置に格納された、所定のプログラム等の協働によって構成されてもよい。

このような構成において、校正指標を構成する図形が格子点であるとして、校正性能評価部８００の動作の例を図１４に基づいて説明する。

まず撮像部２００によって撮像された校正指標画像に対し、二値化、ラベリング処理によって、撮像部２００によって撮像された校正指標画像における格子点の位置１０を取得する。次に、校正パラメータ算出部６００によって算出された歪み校正パラメータと、撮像部２００によって撮像された校正指標の画像における格子点の位置１０とを用いて、歪み校正後の格子点の位置２０を算出する。その後、正解位置取得部５００によって取得された校正指標の格子点の位置３０と、歪み校正後の格子点の位置２０とを用いて、歪み校正の精度を求める。

また、歪み校正の精度は次のようにして計算しても良い。

まず、歪み校正後の格子点の位置２０と正解位置取得部５００によって取得された校正指標の格子点の位置３０とにおいて、同一の点を対応付ける。なお、点の対応付けに関しては、第１の実施の形態にて述べた方法によって行っても良い。

対応付けられた点のＩＤをｉとし、歪み校正後の格子点の位置２０を（ｘｃｉ，ｙｃｉ）、正解位置取得部５００によって取得された校正指標の格子点の位置３０を（ｘｔｉ，ｙｔｉ）とすると、歪み校正の精度Ａは式（１１）で計算される。
ｎ
Ａ＝Σ√｛（ｘｃｉ−ｘｔｉ）＾２＋（ｙｃｉ−ｙｔｉ）＾２｝ …(11)
ｉ

このように歪み校正の精度Ａをユークリッド距離の和によって計算してもよく、このほかにもマンハッタン距離やマハラノビス距離などによって計算しても良い。

またこの歪み校正の精度の値は、例えば一定値以上であれば歪みの許容値として、一定値未満であれば、校正不可（不良品）としてユーザに示すなど、ユーザに対して歪み校正精度に基づいてカメラの品質に関する情報をフィードバックするといった目的に用いても良い。

次に、上記構成の校正指標評価システムの動作手順の例を、図１５に基づいて説明する。

ステップＳ３０１〜Ｓ３０８までは、図１２におけるＳ２０１〜２０８と同様であるので、詳細な説明は省略する。ステップＳ３０８の後、校正性能評価部８００によって、歪み校正の精度を求めてユーザに提示する（Ｓ３０９）。

なお、図１５は第２の実施の形態に基づいた形であるが、第１の実施の形態に基づいた動作手順としても良い。

上記本実施の形態に関わる校正指標評価システムによれば、特に画像不鮮明の特性について個体差のばらつきが大きいカメラについて、歪みの校正を行いつつ、一定の製品品質基準を満たしているかどうかについて判定し、ユーザに提示することができる。

以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本出願は、２００８年１０月２８日に出願された日本出願特願２００８−２７６６７５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、特に画像不鮮明の特性について個体差のばらつきが大きいカメラが搭載されたおもちゃや携帯電話、自動車など機器を生産するライン等において、高精度かつ容易なカメラの歪み校正装置として利用できる。さらに例えばカメラを搭載したロボットなどに、本発明による校正システムを組み込んでおくことで、一般的には修理扱いとなるカメラ校正作業を、ユーザによって容易に実行できるようにするという目的で利用することもできる。

１００ 校正指標表示部
２００ 撮像部
３００ 予想校正精度算出部
４００ 指標制御部
４０１ 校正指標評価部
４０２ 校正指標評決定部
５００ 正解位置取得部
６００ 校正パラメータ算出部
７００ 部分的領域形成部
８００ 校正性能評価部
１０ 歪み校正前の校正指標画像における格子点の位置
２０ 歪み校正後の校正指標画像における格子点の位置
３０ 校正指標表示部に表示されている校正指標の格子点の位置

Claims (25)

1. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し評価結果に基づいて前記いずれか一つの校正指標を決定する決定手段を有することを特徴とする校正指標決定装置。
2. 前記決定手段は、前記大きさ又は密度を変更させて校正指標を生成する校正指標生成手段を有することを特徴とする請求項１に記載の校正指標決定装置。
3. 前記校正指標生成手段は、校正指標内の領域毎に大きさ又は密度が異なる校正指標を生成することを特徴とする請求項２に記載の校正指標決定装置。
4. 前記決定手段は、前記校正指標画像毎に、前記校正指標を構成する線又は図形の解像の度合を示す予想校正精度を算出し、前記予想校正精度に基づいて前記いずれか一つの校正指標を決定することを特徴とする請求項１から３のいずれかに記載の校正指標決定装置。
5. 前記決定手段は、前記線又は図形のエッジの向き、エッジの強度、輝度、色情報、所定の領域内の線又は図形の数の少なくとも一つを用いて、前記予想校正精度を算出することを特徴とする請求項４に記載の校正指標決定装置。
6. 前記校正指標を構成する図形は、市松模様、格子点上に配置された図形、格子状グリッドのいずれかであることを特徴とする請求項１から５のいずれかに記載の校正指標決定装置。
7. 前記校正指標生成手段は、格子密度、格子点上に配置された図形の大きさ、グリッド線の太さのうちの少なくとも一つを変化させることを特徴とする請求項６に記載の校正指標決定装置。
8. 前記決定された校正指標を構成する線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像の校正指標を構成する線又は図形の位置とに基づき、歪み校正パラメータを算出する校正パラメータ算出手段を有することを特徴とする請求項１から７のいずれかに記載の校正指標決定装置。
9. 前記決定された校正指標を構成する線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像を前記歪み校正パラメータを用いて補正した校正指標画像を構成する線又は図形の位置とに基づき、歪み補正の精度を評価する校正性能評価手段を有することを特徴とする請求項８に記載の校正指標決定装置。
10. 前記歪み校正パラメータを用いて、撮像された画像の歪みを補正する補正手段を有することを特徴とする請求項８に記載の校正指標決定装置。
11. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標の線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像の校正指標の線又は図形の位置とに基づき、歪み校正パラメータを算出する校正パラメータ算出手段を有することを特徴とする校正装置。
12. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標を用いて補正した校正指標画像を構成する線又は図形の位置と、前記決定された校正指標を構成する線又は図形の位置とに基づき、歪み補正の精度を評価する校正性能評価手段を有することを特徴とする校正性能評価装置。
13. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し評価結果に基づいて前記いずれか一つの校正指標を決定する決定手段を有することを特徴とする校正指標決定システム。
14. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し、
    前記評価結果に基づいて前記いずれか一つの校正指標を決定する
    ことを特徴とする校正指標決定方法。
15. 前記大きさ又は密度を変更させて校正指標を生成することを特徴とする請求項１４に記載の校正指標決定方法。
16. 校正指標内の領域毎に大きさ又は密度が異なる校正指標を生成することを特徴とする請求項１５に記載の校正指標決定方法。
17. 前記校正指標画像毎に、前記校正指標を構成する線又は図形の解像の度合を示す予想校正精度を算出し、前記予想校正精度に基づいて前記いずれか一つの校正指標を決定することを特徴とする請求項１４から１６のいずれかに記載の校正指標決定方法。
18. 前記線又は図形のエッジの向き、エッジの強度、輝度、色情報、所定の領域内の線又は図形の数の少なくとも一つを用いて、前記予想校正精度を算出することを特徴とする請求項１７に記載の校正指標決定方法。
19. 前記校正指標を構成している市松模様、格子点上に配置された図形、格子状グリッドのいずれかの密度、大きさ、グリッド線の太さのうちの少なくとも一つを変化させることを特徴とする請求項１４から１８のいずれかに記載の校正指標決定方法。
20. 前記決定された校正指標を構成する線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像の校正指標を構成する線又は図形の位置とに基づき、歪み校正パラメータを算出することを特徴とする請求項１４から１９のいずれかに記載の校正指標決定方法。
21. 前記決定された校正指標を構成する線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像を前記歪み校正パラメータを用いて補正した校正指標画像を構成する線又は図形の位置とに基づき、歪み補正の精度を評価することを特徴とする請求項２０に記載の校正指標決定方法。
22. 前記歪み校正パラメータを用いて、撮像された画像の歪みを補正することを特徴とする請求項２０に記載の校正指標決定方法。
23. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて、各校正指標を評価し評価結果に基づいて前記いずれか一つの校正指標を決定する処理を校正指標評価装置に実行させることを特徴とするプログラム。
24. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標の線又は図形の位置と、前記決定された校正指標を撮像した校正指標画像の校正指標の線又は図形の位置とに基づき、歪み校正パラメータを算出する処理を校正装置に実行させることを特徴とするプログラム。
25. 線及び図形の少なくとも一方から構成され、前記線又は図形の大きさ又は密度が異なる複数の校正指標を撮像して得られた各校正指標画像の解像度に基づいて各校正指標を評価した評価結果に基づいて前記いずれか一つに決定した校正指標を用いて補正した校正指標画像を構成する線又は図形の位置と、前記決定された校正指標を構成する線又は図形の位置とに基づき、歪み補正の精度を評価する処理を校正性能評価装置に実行させることを特徴とするプログラム。
    

Images