JP3823559B2

JP3823559B2 - 三次元距離データを変換する方法

Info

Publication number: JP3823559B2
Application number: JP25756398A
Authority: JP
Inventors: 正泰若林; 正毅斎藤
Original assignee: Suzuki Motor Co Ltd
Current assignee: Suzuki Motor Co Ltd
Priority date: 1998-08-27
Filing date: 1998-08-27
Publication date: 2006-09-20
Anticipated expiration: 2018-08-27
Also published as: JP2000074643A

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元距離データを変換する方法および装置に係り、特に、距離データを面データに変換する方法および装置に関する。本発明はさらに、このようなデータ変換を行うためのソフトウエア製品に関する。
【０００２】
【従来の技術】
従来より、非接触の三次元測定機が開発され、広く使われ始めている。非接触の三次元測定機は、レーザ光源とＣＣＤカメラとを備え、視点との直線距離や、焦点面との垂直距離などを求める。この非接触の三次元測定機は、ほぼ自動的に短時間で測定対象物までの距離を測定することができ、また、測定の点数も多く接触式の測定機に比べて高解像度で三次元計測を行うことができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、物体面までの距離の配列である三次元距離データから、ＣＡＤの曲面データを作成するが難しい、という不都合があった。また、ＦＥＭ解析を行うには、ＣＡＤデータをメッシュに分割する必要があり、このため、まずＣＡＤデータの作成を行わなければならない。しかし、すでに試作品が実物として存在している場合には、これをＣＡＤソフトウエアにてデータ入力するよりは、三次元的なスキャナを用いて形状データを得ることが望ましい。しかしながら、三次元測定機を使用して測定対象物のＣＡＤデータを得ることが難しい。
【０００４】
【発明の目的】
本発明は、係る従来例の有する不都合を改善し、特に、測定対象物までの距離の配列からなる測定点データを曲面で定義される曲面データに変換することのできる三次元距離データを変換する方法および装置を提供することを、その目的とする。
【０００５】
【課題を解決するための手段】
そこで、本発明では、画像の各画素に対応する位置の測定対象物までの距離情報を各画素に蓄えられた三次元距離データが入力される第１の入力工程と、この第１の入力工程に前後して当該三次元距離データと同一視点の関係で測定対象物を撮像した撮像画像とが入力される第２の入力工程とを備えている。しかも、この第２の入力工程にて入力された撮像画像を当該撮像画像の画素内の情報の特徴に応じて各特徴毎の領域に分割する分割工程と、この分割工程によって分割された撮像画像の画素に対応する三次元距離データの画素を各特徴毎の領域に割り当てる割当工程と、この割当工程によって割り当てられた三次元距離データの距離情報に基づいて当該特徴領域毎に面データを生成する生成工程とを備えた、という構成を採っている。これにより前述した目的を達成しようとするものである。
【０００６】
本発明では、まず、分割工程にて撮像画像の各画素を特徴領域毎にグループ分けする。撮像画像は、モノクロＣＣＤカメラで撮像した濃淡画像でもよいし、また、カラーＣＣＤカメラで撮像したカラー画像でも良い。濃淡画像の場合、ある濃度の幅ごとに特徴領域を定義し、カラー画像の場合には、色別に特徴領域を生成し、それぞれの領域に画素を分割するとよい。また、この濃淡や色については、予め測定対象物の切り分けたい面ごとに別々の着色などを行うようにするとよい。
【０００７】
濃淡画像の分割が終了すると、この濃淡画像の各画素の位置と所属先となる特徴領域の関係に従い、同様の分割を三次元距離データに対して行う。すなわち、割当工程では、三次元距離データの各画素を対応する濃淡画像の各画素の所属先である特徴領域へと割り当てる。すると、測定対象物の濃淡や色彩などのなんらかの特徴を各面ごとに異ならせておくことで、三次元形状データの各画素の距離情報を測定対象物の各面毎に分割し、割り当てることができる。そして、生成工程は、この各面ごとにグループ化された距離情報を１つの面として出力する。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【０００９】
図１は、本発明による三次元距離データ変換装置（画像処理コンピュータ）の構成を示すブロック図である。三次元距離データ変換装置は、図１に示すように、画像の各画素に対応する位置の測定対象物までの距離情報を各画素に蓄えられた三次元距離データとこの三次元距離データ１８と同一視点の関係で測定対象物を撮像した撮像画像１９とが入力される画像入力部１１と、この画像入力手段に入力された撮像画像に基づいて三次元距離データを複数の面データに変換する画像処理部１２，１４，１６とを備えている。
【００１０】
そして、画像処理部は、撮像画像１９を画素内の情報の特徴に応じて各特徴毎の領域に分割する分割手段１２と、この分割手段１２によって分割された撮像画像の画素に対応する三次元距離データの画素を各特徴毎の領域に割り当てる割当手段１４と、この割当手段１４によって割り当てられた三次元距離データの距離情報に基づいて当該特徴領域毎に面データを生成する生成手段１６とを備えている。
【００１１】
これを詳細に説明する。画像処理コンピュータ１０の前段には、撮像画像と距離画像とを画像処理コンピュータ１０に入力するための構成が設けられている。図１に示す実施形態では、測定対象物にレーザ光を照射する光源６と、測定対象物１を撮像するＣＣＤカメラ５と、このＣＣＤカメラ５によって撮像された画像に基づいて各画素での測定対象物までの距離を算出する距離演算コンピュータ９と、ＣＣＤカメラ５および光源６とを制御する制御コンピュータ７とを備えている。
【００１２】
距離画像を得るために、例えば測定対象物にスリット光を照射した画像に基づいて測定対象物までの距離を算出する手法がすでに実現されている。制御コンピュータ７は、例えば光源６の点滅やレーザ光の走査を制御する。距離演算コンピュータ９は、ＣＣＤカメラによって撮像された測定対象物の画像、例えば複数のスリット画像から測定対象物までの距離を各各画素毎に算出する。
【００１３】
図１に示す例では、測定対象物の表面をそれぞれの面毎に色分けしてある。これは、ＣＡＤデータとしたときに面データを構成する各面毎に塗り分けを行う。すると、図１に示す画像処理コンピュータに入力される撮像画像と距離画像とは図２に示す如くとなる。図２（Ｂ）に示すように、ここでは、撮像画像は、ＲＧＢのそれぞれの濃淡情報を各画素毎に有する。このため、撮像画像はカラー画像１９である。
【００１４】
図３に示すように、距離画像１８は、測定対象物からＣＣＤカメラの各画素までの距離データｒ₁₁〜ｒ_nmを格納している。この距離データｒ₁₁〜ｒ_nmは、各画素（ピクセル）を通る光線（直線）の焦点Ｃから物体までの距離を表す。従って、カメラの画角と世界座標系でのカメラの位置と向きが分かっていれば、距離データから物体の世界座標系での三次元座標値を算出することができる。世界座標系でのカメラの位置ベクトルをＣとして、指定ピクセルｒ_ijを通る光線の向きをベクトルＶ、距離をｒとすると、世界座標系での測定点データの座標値Ｐは、次式で表される。
【００１５】
Ｐ＝Ｃ＋Ｖ・ｒ
【００１６】
このため、距離座標から物体の表面の世界座標系での位置を算出することができる。この座標系で連続する面を切り出すと、ＣＡＤデータとすることができるが、どこまでを一面とするかの判定が難しい。図１に示す例では、ＣＡＤデータにて面として分けたい部分を予め異なる色で着色しておき、通常の撮像画像でまず各面に属する画素をグループ分けする。すなわち、図１に示す分割手段１２は、撮像画像の色別に当該撮像画像の画素をグループ分けする機能を備えるとよい。
【００１７】
このように色別に画素を分割することで、一面一面の区分が明確となり、各画素の所属先となる面が一義的に定まる。そして、本実施形態では、三次元距離画像とカラー画像とを同一の視点でかつ同一の大きさで撮像しているため、各画素と測定対象物の表面の位置との対応関係が三次元距離画像とカラー画像との間で一致している。従って、カラー画像を用いて各画素の所属先となる面を定めておき、この関係を利用して三次元距離画像の各画素をグループ分けすると、三次元距離画像のデータを予め指定した面で分割することができる。このように分割した画素の世界座標での座標をつなげる面を生成すると、測定対象物の三次元距離画像をＣＡＤデータに変換することができる。
【００１８】
また、カラー画像を色ごとにグループ分けするときに、照明ムラなどの影響で、非測定物の同じ色で塗られた領域がカラー画像上で同じＲＧＢ値を持つとは限らない。このため、カラー画像に対して色度の変換を行うようにするとよい。この場合、分割手段１２は、撮像画像の明るさを正規化して一定明度の色合いだけの画像に変換する機能と、この機能によって変換された画像を色の特徴空間へ写像する機能と、この特徴空間での位置を特徴領域に設定する機能とを備える。これらの機能により、明るさを正規化して一定明度の色合いだけの画像とすると、グループ分けをより精度良く行うことができる。
【００１９】
カラー画像のグループ分けは、図５に示すように、カラー画像の各画素を図５（Ｂ）に示す色の特徴空間へ写像することで行う。特徴空間にてある幅を持たせてグループ分けすることで、撮像の環境の変化による色ムラを吸収し、精度良く画素のグループ分けを行うことができる。
【００２０】
図５に示すほか、カラー画像をグループ分けする手法は多々あり、色彩距離変換と二値化や、多次元スライスや、最尤度法や、クラスタリング（Ｋ平均アルゴリズム）などがある。これらの色の抽出手法を利用して撮像画像をグループ分けするようにしても良い。
【００２１】
また、図１に示す例では予め測定対象物に着色することとしたが、図１に示す測定対象物よりも形状の比較的単純な測定対象物であればカラー画像ではなく、測定対象物の表面に現れる濃度を区分して、画素をグループ分けするようにしてもよい。
【００２２】
撮像画像の各画素を特徴空間へ写像させた後、この写像と同一の写像を三次元距離画像についても行う。これにより、三次元距離画像を測定対象物の各面にグループ分けする。三次元距離画像と撮像画像とは、撮像の焦点と大きさの関係が定まるものであれば、解像度が異なっても、撮像の範囲が異なっても良い。この撮像画像での画素のグループ分けと同一内容となるグループ分けができるのであれば、撮像画像と三次元距離画像との関係はどのようなものでもよい。
【００２３】
図６は測定対象物の境界線の抽出により測定対象物の各面をグループ分けする例を示す説明図である。この実施形態では、分割手段１２は、撮像画像の境界線を抽出する機能と、この機能によって抽出された境界線で囲まれる領域を特徴領域に設定する機能とを備えている。撮像画像の境界線は例えば図６（Ｂ）に示す実線２１である。この境界線は、測定対象物の面と面とが接する線である。このような境界線の抽出手法は種々のものがあるが、図６に示す例では、測定対象物を面毎に異なる色で着色しておき、これをカラーＣＣＤカメラで撮像し、その色の差がある画素を抽出することで測定対象物の境界線を抽出する。図６（Ａ）に示す図中の色とハッチングとの関係は、図１に示すものと同様である。
【００２４】
カラー画像から境界線を抽出するには、カラー画像のグループ分けを全画素について行い、グループ毎に二値化して境界線を抽出してもよい。この場合、赤のグループに含まれる画素を１、それ以外を０と二値化して輪郭線を抽出し、これを境界線とする。また、ソーベルのオペレータと呼ぶエッジ検出処理を行って境界線を抽出するようにしてもよい。これは、ある画素に着目して近傍との微分を行い、色が急激に変化している箇所であるエッジを抽出するものである。さらに、カラー画像に対して微分を行う方法以外にも、明度が像の微分と、彩度・色相画像の微分を組み合わせた方法を採用しても良い。
【００２５】
図７は距離画像が撮像画像よりも粗い場合には、撮像画像の境界線の精度で距離画像を修正することができる。このプロフィールの抽出を図７に示す。一般に、非接触三次元測定機では、離散的な位置での三次元座標を測定する。ただし、全くランダムに測定点が存在する訳ではなく、例えばスリット光を光源に用いる場合には、スリット光の方向、すなわち投影方向から見てほぼ直線上に測定点が存在する。そこで、このような投影方向から見てほぼ直線上に存在する測定点データを用いて、二次元の境界線から三次元の境界線を生成することができる。
【００２６】
図７に示すように、まず、二次元の境界線上に投影点を定義する。この投影点に対応する距離データを抽出し、これを測定点とする。続いて、この測定点を結ぶ外挿曲線を生成する。そして、投影点と境界線の交点を外挿曲線に投影した点を、三次元での境界線上の点とする。この処理を繰り返すことで、二次元の境界線の解像度で粗い距離情報を補正し、解像度の高いＣＡＤデータを生成することができる。
【００２７】
次に、図８又は図９のフローチャートを参照して本実施形態による三次元距離データの画像処理方法を説明する。三次元距離データの変換方法は、図８に示す例では、画像の各画素に対応する位置の測定対象物までの距離情報を各画素に蓄えられた三次元距離データが入力される第１の入力工程Ｓ１と、この第１の入力工程Ｓ１に前後して当該三次元距離データと同一視点の関係で測定対象物を撮像した撮像画像とが入力される第２の入力工程Ｓ２とを備えている。「同一視点の関係」というのは、測定対象物の位置と画像の画素の位置との関係がなんらかの変換または変換を要せずに対応づけられている関係をいう。撮影の焦点位置と範囲とが同一であると、この関係となるが、これに限らず、一方が他方の画像を拡大した場合などであっもよい。
【００２８】
本実施形態による方法はさらに、第２の入力工程Ｓ２にて入力された撮像画像を当該撮像画像の画素内の情報の特徴に応じて各特徴毎の領域に分割する分割工程Ｓ３と、この分割工程Ｓ３によって分割された撮像画像の画素に対応する三次元距離データの画素を各特徴毎の領域に割り当てる割当工程Ｓ４と、この割当工程Ｓ４によって割り当てられた三次元距離データの距離情報に基づいて当該特徴領域毎に面データを生成する生成工程Ｓ５とを備えている。
【００２９】
図８に示す例では、撮像画像を分割するとき、各画素についてその画素内の画像情報である濃淡情報又はＲＧＢ別の濃淡情報から、特徴領域を定義する。そして、各画素の画像情報の所属先を定める。一方、図９に示す例では、撮像画像の各面を仕分ける境界線をまず抽出する。そして、この境界線に基づいて特徴領域を定義する。
【００３０】
この図９に示す例では、第１および第２の入力工程Ｓ１，Ｓ２を備えると共に、第２の入力工程にて入力された撮像画像中での色が変化する画素のつながりを境界線として抽出する境界線抽出工程Ｓ１３と、この境界線抽出工程Ｓ１３にて抽出された境界線で区分けされる特徴領域にそれぞれ対応する三次元距離データの各画素を当該境界線の区分けに従ってそれぞれの特徴領域に割り当てる割当工程Ｓ１４，Ｓ１５と、この割当工程Ｓ１５によって割り当てられた三次元距離データの距離情報に基づいて当該特徴領域毎に面データを生成する生成工程Ｓ１６とを備えている。
【００３１】
これら図８又は図９に示す方法により三次元距離データを測定対象物の各面毎の面データに変換することで、距離データのＣＡＤデータへの変換処理を自動化することができる。また、この図８および図９に示す処理は、図１に示した画像処理コンピュータにより実現することができる。この場合、画像処理コンピュータは、中央処理装置と、主記憶装置と、補助記憶装置と、入出力手段とを備え、補助記憶装置に、図８および図９に示す処理を実行させるためのデータ変換用プログラムを格納する。
【００３２】
画像処理用コンピュータは、エンジニアリングワークステーションや、パーソナルコンピュータである。このようなコンピュータでは、入出力やプログラムのジョブの制御などを行うオペレーティングシステムが動作する。データ変換用プログラムは、このオペレーティングシステムの諸機能に依存して図８又は図９に示す各処理を実行するためのプログラムである。従って、データ変換用プログラムの有する各指令は、単独で中央処理装置を動作させるものと、オペレーティングシステムなどの他のソフトウエアに依存して中央処理装置を動作させるものとを含む。
【００３３】
このようなデータ変換用プログラムは、ＣＤ−ＲＯＭなどの可搬性のある記憶媒体に格納して供給することができる。また、ネットワーク網などの通信回線を介しデータ変換用プログラムを補助記憶装置に格納するようにしてもよい。
【００３４】
【発明の効果】
本発明は以上のように構成され機能するので、これによると、割当工程では、三次元距離データの各画素を対応する撮像画像の各画素の所属先である特徴領域へと割り当てるため、測定対象物の濃淡や色彩などのなんらかの特徴を各面ごとに異ならせておくことで、三次距離データの各画素の距離情報を測定対象物の各面毎にグループ分けすることができ、そして、生成工程が、この各面ごとにグループ化された距離情報を１つの面として出力するため、撮像画像を利用して三次元距離データから面データを生成することができ、これにより、数秒で得られる三次元距離データを自動的に面データからなるＣＡＤデータに変換することができ、すると、ＣＡＤデータを作成する作業が不要となり、また測定対象物が複雑な形状である場合でも良い近似のＣＡＤデータを生成することができ、すると、このＣＡＤデータに基づく種々の応用、例えば有限要素法による強度の解析や、工作ロボット等の制御や、光硬化樹脂を用いた製造などを従来と比較してより簡易にかつ高速で行うことができ、また、複雑な形状の測定対象物であっても形状の特徴をそのままにＣＡＤデータとして入力することができるという従来にない優れた三次元距離データを変換する方法および装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示した画像処理コンピュータに入力される画像の一例を示す説明図であり、図２（Ａ）は三次元距離画像の例を示す図で、図２（Ｂ）は撮像画像（カラー画像）の例を示す図である。
【図３】図２に示した距離画像の内容を示す説明図であり、図３（Ａ）は焦点から測定対象物までの距離ｒ_ijを例示する図で、図３（Ｂ）は距離情報のマトリックスである距離画像を例示する図である。
【図４】図３に示した距離画像と世界座標系での座標との関係を示す説明図である。
【図５】測定対象物の撮像画像を特徴空間にてグループ分けする例を示す説明図であり、図５（Ａ）は測定対象物の各画素を示す図で、図５（Ｂ）はＲＧＢの特徴空間を例示する図である。
【図６】撮像画像から境界線を抽出する場合の画像の例を示す説明図であり、図６（Ａ）は各面毎に異なる色で予め着色した撮像画像の例を示す図であり、図６（Ｂ）は図６（Ａ）に示す画像から境界線を抽出した例を示す図である。
【図７】距離画像が撮像画像よりも粗い場合に撮像画像から得た境界線に基づいて距離画像を修正する例を示す図であり、図７（Ａ）は二次元の境界線上の投影点に対応する距離データによる測定点を例示する図であり、図７（Ｂ）はこの測定点を結ぶ曲線を外挿して境界線と投影点との交点から投影される三次元での境界線上の点（Ｚ値）を例示する図である。
【図８】図１に示す構成の第１の動作例を示すフローチャートである。
【図９】図１に示す構成の第２の動作例を示すフローチャートである。
【符号の説明】
１測定対象物
３測定台
５ＣＣＤカメラ
６光源
７制御コンピュータ
９距離演算コンピュータ
１０画像処理コンピュータ（三次元距離データ変換装置）
１１入力部
１２分割手段
１４割当手段
１６生成手段

Claims

予め測定対象物の表面をそれぞれの面毎に色分けして測定対象物の表面の濃淡や色彩を各面毎に異ならせる工程と、
画像の各画素に対応する位置の測定対象物までの距離を各画素毎に算出した情報が各画素に蓄えられた三次元距離データを入力する第１の入力工程と、
この第１の入力工程に前後して、前記三次元距離データと同一視点の関係で前記測定対象物を撮像した撮像画像を入力する第２の入力工程と、
この第２の入力工程にて入力した撮像画像の画素を当該撮像画像の濃淡または色彩に応じた特徴領域毎にグループ分けする分割工程と、
この分割工程によってグループ分けした撮像画像の画素のグループに対応して、前記第１の入力工程にて入力した前記三次元距離データの画素を割り当てることによりグループ分けする割当工程と、
この割当工程によってグループ分けした前記三次元距離データの距離情報に基づいて、当該グループ化された距離情報を１つの面として面データを生成する生成工程と、
を備え、これにより前記三次元距離データを複数の面データに変換する、
ことを特徴とする三次元距離データ変換方法。
予め測定対象物の表面をそれぞれの面毎に色分けして測定対象物の表面の濃淡や色彩を各面毎に異ならせる工程と、
画像の各画素に対応する位置の測定対象物までの距離を各画素毎に算出した情報が各画素に蓄えられた三次元距離データを入力する第１の入力工程と、
この第１の入力工程に前後して、当該三次元距離データと同一視点の関係で前記測定対象物を撮像した撮像画像を入力する第２の入力工程と、
この第２の入力工程にて入力した撮像画像中の濃淡または色彩のいずれかに関して差がある画素のつながりを境界線として抽出する境界線抽出工程と、
この境界線抽出工程にて抽出した境界線で囲まれる領域を特徴領域とし、前記第１の入力工程にて入力した三次元距離データの画素を前記特徴領域毎に割り当てることによりグループ分けする割当工程と、
この割当工程によってグループ分けした前記三次元距離データの距離情報に基づいて、当該グループ化された距離情報を１つの面として面データを生成する生成工程と、
を備え、これにより、前記三次元距離データを複数の面データに変換する、
ことを特徴とする三次元距離データ変換方法。