JP7363456B2 - 三次元形状測定用校正装置 - Google Patents

Description

本発明は三次元形状測定用校正装置に関し、特に複数のステレオカメラを使用して三次元形状を測定する場合に好適に使用できる校正装置に関するものである。

対象物の三次元形状を測定するのに、一対のカメラを備えて両カメラの視差に基づいて上記三次元形状を測定するステレオカメラが使用されている。例えば特許文献１には、測定対象物を載置する回転テーブル面の回転中心の変動や回転テーブル面の傾斜の変動により形状測定の誤差が発生するのを防止するために、形状測定に先立って、例えば円形スポットが縦横一定間隔で多数配列された一定パターンを描いた校正ボードを回転テーブル面上に載置して形状測定値の校正を可能とした方法が示されている。

特開２０１７－３５３７

ところで、大型の鍛造品の三次元形状を測定する場合には、一台のステレオカメラでは十分な視野を確保できないために複数台（通常は2台）のステレオカメラを使用する必要があるが、ステレオカメラの架台が輻射熱を受けて変形する等によりステレオカメラの位置関係が変動し、これによって、ステレオカメラ間で予め一致させた座標系にずれを生じて形状測定の誤差を生むという問題があった。そこで従来は、鍛造品の撮像範囲をカバーできる大きさの校正ボードを使用してステレオカメラ間の相対位置のズレに起因する測定誤差を解消するようにしている。ところが、大型の校正ボードを、校正のつど設置する作業は負担が大きいという問題があった。

そこで、本発明はこのような課題を解決するもので、大型の校正ボードを設置する手間を不要として大型鍛造品等の測定対象物の三次元測定を簡易化できる三次元形状測定用校正装置を提供することを目的とする。

上記目的を達成するために、本第1発明では、三次元形状を測定する対象物に向けて配設された複数のステレオカメラ（１Ａ，１Ｂ）と、所定方向から互いに所定の位置間隔で前記対象物（Ｓ１）ないしその載置面の複数位置にスポット光を照射するスポット光照射手段（２）と、スポット光の照射によって前記対象物（Ｓ１）ないしその載置面に生じた画像を前記各ステレオカメラ（１Ａ，１Ｂ）から取り込んで各ステレオカメラで得た画像の各スポットの中心点を検出する中心点検出手段（３、ステップ１０３）と、検出された各中心点の三次元座標を算出する中心点座標算出手段（３、ステップ１０４）と、前記各ステレオカメラ（１Ａ，１Ｂ）について三次元座標が算出された中心点群について、これら中心点群の位置が互いに最も良く一致する前記各ステレオカメラ毎の変換パラメータを算出して、各変換パラメータによって前記各ステレオカメラの座標系をこれらステレオカメラに共通な基準座標系に変換する座標変換手段（３、ステップ１０８）とを備える。

本第1発明によれば、スポット光照射手段によって対象物ないしその載置面の複数位置にスポット光を照射するようにしたから、従来の校正ボードを撮像した場合と同様の撮像画像を得ることができる。これにより、従来のような大型の校正ボードを設置する手間が不要になるから、大型鍛造品等の対象物の三次元測定を簡易化することができる。特に、スポット光であるから対象物ないしその載置面の表面に照射することによって校正ボードを撮像した場合と同様の撮像画像を得ることができ、校正ボードが、対象物を載台上から取り去って温度が十分低下してからしか設置できなかった場合に比して、校正作業を大幅に効率化することができる。

本第２発明では、前記基準座標系を、複数の前記ステレオカメラ（１Ａ，１Ｂ）のうちのいずれかの座標系とする。

本第２発明によれば、基準座標系を一のステレオカメラの座標系としたから、対象物側に各ステレオカメラの座標系とは別の基準座標系を設定する場合に比して、変換パラメータの算出が簡易になる。

本第３発明では、前記中心点検出手段（３、ステップ１０３））は、ロバスト推定法により、前記スポット光画像を楕円近似した際の暫定中心点から前記スポット光画像の外周点までの距離の、重みを付与した二乗誤差が最小になる時の前記暫定中心点を前記中心点とするものである。

本第３発明によれば、暫定中心点を精度よく求めることができる。

本第４発明では、前記ロバスト推定法においては、前記スポット光画像を楕円近似した際の暫定中心点から前記スポット光画像の外周点までの距離の標準偏差が算出され、標準偏差値に応じて重み付けがされるとともに、重み付けの低い領域の距離値が除かれる。

本第４発明によれば、外れ値による中心点の位置推定への影響が小さく抑えられる。

本第５発明では、前記重み付けの低い領域の距離値は、前記スポット光画像における最外周部に位置し、かつ前記スポット光画像全体の１～５％である。

本第６発明では、前記座標変換手段（３、ステップ１０８）は、前記各ステレオカメラの中心点群の重心の位置を検出するとともに当該重心回りの各中心点群の慣性モーメントの特異値分解を行って各ステレオカメラについて暫定変換パラメータを算出し、前記各暫定変換パラメータと前記重心位置を初期値として非線形最適化処理により前記各ステレオカメラの中心点群の間の誤差の平均を最小にするような前記各暫定変換パラメータを前記各変換パラメータとするものである。

本第６発明によれば、変換パラメータを精度良く求めることができる。

本第７発明では、前記対象物が５９０～１１００ｎｍ（橙～赤）の発光色を有する赤熱材である場合に、前記スポット光の波長範囲を４００～５９０ｎｍ（紫～黄）とすることにより、前記赤熱材とスポット光とを区別する。

上記カッコ内の符号は、後述する実施形態に記載の具体的手段との対応関係を参考的に示すものである。

以上のように、本発明の三次元形状測定用校正装置によれば、大型の校正ボードを設置する手間を要することなく、大型鍛造品等の対象物の三次元測定を簡易に行うことができる。

三次元形状測定用校正装置の全体構成を示す斜視図である。 ステレオカメラの各カメラで得られる、スポット領域を含む撮像画像の正面図である。 画像処理過程を示す撮像画像の正面図である。 中心点位置のロバスト推定を説明する図である。 ロバスト推定における標準偏差の重み付けを説明する図である。 制御装置における処理フローチャートである。

なお、以下に説明する実施形態はあくまで一例であり、本発明の要旨を逸脱しない範囲で当業者が行う種々の設計的改良も本発明の範囲に含まれる。
図1には三次元形状測定用校正装置の全体構成を示す。図1において、大型の鍛造品等の、測定する対象物Ｓ１を載置した円形の載台Ｓを挟んでその両側の斜め上方位置に、それぞれ図略の架台に支持されてステレオカメラ１Ａ，１Ｂが設置されている。各ステレオカメラ１Ａ，１Ｂは左右一対のＣＣＤカメラ１１，１２を備え、これらカメラ１１，１２の間に形状測定用のラインレーザ光を照射するレーザ発光器１３が設けられている。

対象物Ｓ１の形状測定時には左右の各ステレオカメラ１Ａ，１Ｂは、これらから発せられる各ラインレーザ光が両者併せて対象物Ｓ１の表面全域をカバーし走査されるように首振り作動させられ、左右のカメラ１１，１２で得られた画像の視差より公知の方法で各ステレオカメラ１Ａ，１Ｂから見た対象物Ｓ１の三次元形状が測定される。なお、両ステレオカメラ１Ａ，１Ｂはその視野が互いに部分的に重なるように設定されている。

載台Ｓの上方位置には載台面（載置面）に対向させてレーザ発光器２が位置しており、レーザ発光器２から照射されるスポットレーザ光Ｌによって対象物Ｓ１の表面上には円形のスポット領域ｐが生じる。上記レーザ発光器２は図略の移動機構に支持されて、対象物Ｓ１に平行な面内で移動できるようになっている。ここで、対象物Ｓ１が、圧延、鍛造、鋳造等における熱処理等で表面が赤熱する対象材(以下赤熱材)である場合には、カメラの感度波長が４００ｎｍ～１１００ｎｍで、スポットレーザ光の波長範囲を５９０ｎｍ～１１００ｎｍ (橙～赤)に設定すると、赤熱材の発光色である５９０ｎｍ～１１００ｎｍ(橙～赤)と重複するからスポット領域ｐを識別できない。そこで、赤熱材の発光色と区別できる４００ｎｍ～５９０ｎｍ (紫～黄)の波長範囲のスポットレーザ光を使用することで、熱処理等の高温加熱環境下においても赤熱材の三次元形状等を正確に測定することが可能となる。

ＣＰＵやメモリを備えた制御装置３が設けられて、レーザ発光器２の移動と発光、各ステレオカメラ１Ａ，１Ｂでの撮像を制御しており、載台面に平行な面内で一定間隔でレーザ発光器２を移動させつつ各ステレオカメラ１Ａ，１Ｂで撮像した画像を取り込み、これらを合成することによって、あたかも図1に示すような、平面上に一定間隔で円形のスポット領域ｐが多数配列された、従来の校正ボードを撮像した場合と同様の撮像画像を得る。

対象物Ｓ１上に投影されたスポット領域ｐは、載台面の斜め上方からこれを見る各ステレオカメラ１Ａ，１Ｂでは略楕円形として撮像される（図２）。そこで、制御装置３内では、各スポット領域ｐに対応する撮像画像中の各楕円画像（スポット光画像）の中心座標を求め、それに基づいて座標変換に必要な変換パラメータを取得すべく、図６のフローチャートの各ステップに示す以下の処理を行う。

すなわち、ステップ１０１で各楕円画像に対して平滑化とエッジ検出、モフォロジー変換処理を行って、図３（１）に示すような楕円画像の輪郭を抽出する。次に楕円画像について楕円近似を行い（図３（２））、その暫定中心点を算出する(図３（３）、ステップ１０２)。続いて、算出された暫定中心点に対して、上記抽出された輪郭（図３（１）参照）の各点からの距離の標準偏差を求め、ロバスト推定によって、より確からしい中心点の位置を推定する（図４、ステップ１０３）。ロバスト推定においては、図５に示すように、上記標準偏差値に応じて重み付けがされ、かつ重み付けの低い領域（図５の斜線領域）の距離値が除かれて、外れ値による中心点の位置推定への影響が小さく抑えられる。より具体的には、重み付けの低い領域（図５の斜線領域）の距離値は、図４において、楕円輪郭の各点において当該輪郭の最外周部側に位置し、かつ全体の１～５％が該当する。例えば図４の矢印で示した輪郭点のように、より確からしい中心点の位置を推定する際に中心部から外れた距離値が該当し、明らかに中心点の位置推定の妨げとなることから除外対象とする。

以上のようにして各楕円画像の中心点が推定され、各ステレオカメラ１Ａ，１Ｂの左右のカメラ１１，１２の視差より、公知の方法で上記各中心点の三次元座標が算出される（ステップ１０４）。続いて、各ステレオカメラ１Ａ，１Ｂで得られた中心点の各点群についてそれぞれその重心の位置が算出される（ステップ１０５）。そして、一方のステレオカメラ１Ａの点群画像の重心を平行移動によって他方のステレオカメラ１Ｂの点群画像の重心に一致させ、さらに慣性モーメントの特異値分解によって上記各点群画像の慣性主軸を求めて、一方のステレオカメラ１Ａの点群画像の慣性主軸を他方のステレオカメラ１Ｂの点群画像の慣性主軸に一致させる（ステップ１０６）。この時の慣性主軸を一致させる暫定変換パラメータをＨｔとする。

続いて上記重心および暫定変換パラメータＨｔを初期値として非線形最適化（逐次二次計画法）処理を行い、両点群画像の対応点同士の誤差の平均値が最小となる変換パラメータＨｍを算出する（ステップ１０７）。そしてさらに、対応点同士の誤差の標準偏差値を求め、全ての対応点について標準偏差値に応じた重みを付けることによって外れ値による影響を排除しつつ上記変換パラメータＨｍを初期値として再度非線形最適化処理を行う。そしてこれを繰り返して、対応点同士の誤差が最小となる変換パラメータＨを得る（ステップ１０８）。

制御装置３では、このようにして得られた変換パラメータＨを使用することで、一方のステレオカメラ１Ａの点群画像と他方のステレオカメラ１Ｂの点群画像の座標系を精度よく校正一致させることができる。これにより、各ステレオカメラ１Ａ，１Ｂで互いに補完するように測定対象物の三次元形状を部分撮像した各画像を、変換パラメータＨを使用して同一座標系で合成することにより、大型の測定対象物の正確な三次元全体形状を得ることができる。

（他の実施形態）
上記実施形態では、複数のステレオカメラで撮像した画像から対象物の三次元形状を測定する際の校正に本発明を適用した場合を説明したが、各ステレオカメラの一対のカメラで撮像した画像から対象物の三次元形状を測定する際の校正にも本発明を適用することが可能であり、その際の本発明の構成は以下のようになる。

三次元形状を測定する対象物に向けて配設された一対のカメラを有する単一のステレオカメラと、所定方向から互いに所定の位置間隔で前記対象物の載置面の複数位置にスポット光を照射するスポット光照射手段と、スポット光の照射によって前記載置面に生じた画像を前記各カメラから取り込んで各カメラで得た画像の各スポットの中心点を検出する中心点検出手段と、検出された各中心点の三次元座標を算出する中心点座標算出手段と、前記各カメラについて三次元座標が算出された中心点群について、これら中心点群の位置が互いに最も良く一致する前記各カメラ毎の変換パラメータを算出して、各変換パラメータによって前記各カメラの座標系をこれらステレオカメラに共通な基準座標系に変換する座標変換手段とを備える三次元形状測定用校正装置。なお、この場合の基準座標系をいずれか一方のカメラの座標系とすることができる。

上記実施形態では、スポットレーザ光を発する単一のレーザ発光器を所定間隔で移動させて画像処理によってスポット領域が多数配列された撮像画像を得るようにしたが、複数のスポット領域を同時に生成するような光源を使用するようにしても良い。
また上記実施形態では、スポットレーザ光を対象物の表面に直接照射したが、対象物を載せる載台面に照射するようにしてももちろん良い。

１Ａ，１Ｂ…ステレオカメラ、１１，１２…カメラ、１３…レーザ発光器、２…レーザ発光器、３…制御装置、ｐ…スポット領域、Ｓ…載台、Ｓ１…対象物。

Claims (7)

1. 三次元形状を測定する対象物に向けて配設された複数のステレオカメラと、所定方向から互いに所定の位置間隔で前記対象物ないしその載置面の複数位置にスポット光を照射するスポット光照射手段と、スポット光の照射によって前記対象物ないしその載置面に生じたスポット光画像を前記各ステレオカメラから取り込んで各ステレオカメラで得たスポット光画像の各スポットの中心点を検出する中心点検出手段と、検出された各中心点の三次元座標を算出する中心点座標算出手段と、前記各ステレオカメラについて三次元座標が算出された中心点群について、これら中心点群の位置が互いに最も良く一致する前記各ステレオカメラ毎の変換パラメータを算出して、各変換パラメータによって前記各ステレオカメラの座標系をこれらステレオカメラに共通な基準座標系に変換する座標変換手段とを備える三次元形状測定用校正装置。
2. 前記基準座標系を、複数の前記ステレオカメラのうちのいずれかの座標系とした請求項1に記載の三次元形状測定用校正装置。
3. 前記中心点検出手段は、ロバスト推定法により、前記スポット光画像を楕円近似した際の暫定中心点から前記スポット光画像の外周点までの距離の、重みを付与した二乗誤差が最小になる時の前記暫定中心点を前記中心点とするものである請求項１又は２に記載の三次元形状測定用校正装置。
4. 前記ロバスト推定法においては、前記スポット光画像を楕円近似した際の暫定中心点から前記スポット光画像の外周点までの距離の標準偏差が算出され、標準偏差値に応じて重み付けがされるとともに、重み付けの低い領域の距離値が除かれる請求項３に記載の三次元形状測定用校正装置。
5. 前記重み付けの低い領域の距離値は、前記スポット光画像における最外周部に位置し、かつ前記スポット光画像全体の１～５％である請求項４に記載の三次元形状測定用校正装置。
6. 前記座標変換手段は、前記各ステレオカメラの中心点群の重心の位置を検出するとともに当該重心回りの各中心点群の慣性モーメントの特異値分解を行って各ステレオカメラについて暫定変換パラメータを算出し、前記各暫定変換パラメータと前記重心位置を初期値として非線形最適化処理により前記各ステレオカメラの中心点群の間の誤差の平均を最小にするような前記各暫定変換パラメータを前記各変換パラメータとするものである請求項1又は２に記載の三次元形状測定用校正装置。
7. 前記対象物が５９０～１１００ｎｍ（橙～赤）の発光色を有する赤熱材である場合に、前記スポット光の波長範囲を４００～５９０ｎｍ（紫～黄）とすることにより、前記赤熱材とスポット光とを区別するようにした請求項１～６に記載の三次元形状測定用校正装置。