JP4481384B2

JP4481384B2 - Shape verification system and virtual camera image forming system

Info

Publication number: JP4481384B2
Application number: JP11026999A
Authority: JP
Inventors: 歩中嶋; 友康西尾
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-04-19
Filing date: 1999-04-19
Publication date: 2010-06-16
Anticipated expiration: 2019-04-19
Also published as: JP2000304516A

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物の形状を検証する形状検証システムおよび形状検証方法に関する。
【０００２】
【従来の技術】
一般に、製造の分野では、加工品が設計通りに加工されたか否か、成型品が設計通りに成形されたか否かが検証される。この検証には、高い精度で加工品や成型品を象った検査具が広く用いられる。検査具に加工品や成型品がはめ込まれると、検査具で規定される理想形状に対して実際の加工品や成型品の誤差が一目で確認されることができる。そういった誤差は例えばノギスなどを用いて測定されることができる。
【０００３】
その一方で、そういった検証にあたって、三次元測定機を用いて加工品や成型品の実寸法を測定することが広く行われている。三次元測定機で測定された実寸法と、加工品や成型品の設計寸法を特定する形状データとが比較されると、加工品や成型品の寸法誤差が算出されることができる。
【０００４】
【発明が解決しようとする課題】
前述の検査具は各加工品や成型品ごとに用意されなければならない。検査具の製作には多大な費用や手間がかかるだけでなく、製作された検査具を保管するにあたって多大なスペースが必要とされる。その一方で、前述した三次元測定機では、加工品や成型品の表面に沿って接触プローブを万遍なく移動させなければならない。接触プローブは加工品や成型品の表面に点接触することから、寸法測定にあたって加工品や成型品の全表面にわたって十分なサンプルデータを取得するには多大な時間が必要とされる。しかも、人手を用いて接触プローブを移動させれば測定結果にばらつきが生じてしまい、ロボットを用いて自動的に接触プローブを移動させればティーチング作業に多くの時間や労力が費やされてしまう。
【０００５】
本発明は、上記実状に鑑みてなされたもので、カメラで撮像される実写像に基づき画像処理を用いて簡単に製品の形状を検証することが可能な形状検証システムや形状検証方法を提供することを目的とする。また、本発明は、そういった形状検証システムや形状検証方法に有効な仮想カメラ画像形成システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、第１発明によれば、対象物の実写像を生成する撮像装置と、三次元座標系に従って撮像装置に関する光学系主点の位置および光学系主軸の向き並びに焦点距離を特定する撮像装置情報に基づき、実写像が映し出される投影面を特定する投影面特定回路と、特定された投影面に前記三次元座標系を投影する描画回路とを備えることを特徴とする形状検証システムが提供される。
【０００７】
かかる形状検証システムによれば、撮像装置情報を用いることによって仮想空間に実写像の投影面は再現されることができる。再現された投影面に対象物の実寸法を規定する三次元座標系が投影されることによって、対象物の実写像に基づき対象物の実寸法が測定されることができる。測定された実寸法が対象物の設計寸法に比較されれば、対象物の形状寸法精度は検証されることができる。各加工品や成型品ごとに検査具を用意する必要はなく、しかも、三次元測定機のように加工品や成型品の表面に沿って多数のサンプルデータを取得する必要もない。
【０００８】
描画回路は、前記対象物の三次元像を特定する形状データに基づき前記投影面に対象物の二次元理想像を描き出してもよい。形状データで復元される対象物の三次元像は三次元座標系に従って描かれる。したがって、投影面に描き出される二次元理想像はそういった三次元座標系すなわち対象物の実寸法を規定する物体座標系を反映する。言い換えれば、投影面に物体座標系の透視像が描き出されることに等しい。したがって、二次元理想像によれば、物体座標系に従って対象物の理想位置が特定されることができることとなる。形状データは、例えば周知の三次元ＣＡＤ／ＣＡＭシステムなどを用いて構築されればよい。
【０００９】
ここで、形状検証システムは、前記実写像および二次元理想像を重ねて画面上に表示させる表示回路を備えてもよい。こうした表示回路の働きによれば、対象物の形状誤差や寸法誤差の有無が一目で確認されることができる。
【００１０】
しかも、形状検証システムは、前記三次元座標系に従って前記実写像と前記二次元理想像との間で寸法誤差を測定する誤差測定回路をさらに備えてもよい。こうした誤差測定回路の働きによれば、前述のように形状誤差や寸法誤差の有無が確認されることができるだけでなく、そういった形状誤差や寸法誤差の大きさが確認されることができる。例えば、誤差測定回路は、投影面に描き出される三次元座標系に従って形状誤差や寸法誤差の大きさを実測してもよい。
【００１１】
寸法誤差を測定するにあたって、誤差測定回路は、前記三次元座標系が構築する三次元空間で前記三次元像を移動させる画像操作回路と、三次元座標系に従って三次元像の移動量を算出する移動量算出回路とを備えてもよい。三次元座標系に従った三次元像の移動は、投影面に描き出される二次元理想像の移動を引き起こす。したがって、例えば対象物の実写像と二次元理想像とが重ねて表示される際に、実写像と二次元理想像とが完全に一致するまで三次元像を移動させれば、その移動量は、対象物の実寸法を規定する三次元座標系に従って実写像と二次元理想像との寸法誤差を表現することとなる。
【００１２】
このように寸法誤差を算出するにあたって、形状検証システムは、前記三次元像上で前記二次元理想像の輪郭線を特定する輪郭抽出回路と、前記三次元像の表面に対して直交する法線方向に輪郭線の移動方向を設定する移動方向決定回路とをさらに備えてもよい。こうした構成によれば、実写像の投影面上で決められた法線方向に実写像と二次元理想像との寸法誤差を確実に測定することが可能となる。
【００１３】
その一方で、そういった寸法誤差を算出するにあたって、形状検証システムは、前記三次元像の稜線を抽出する輪郭抽出回路と、稜線に接する１表面に対して直交する法線方向に稜線の移動方向を設定するとともに、稜線に対する接線方向および法線方向に直交する外積方向に稜線の移動方向を設定する移動方向決定回路とをさらに備えてもよい。こうした構成によれば、前述と同様に、実写像の投影面上で決められた法線方向および外積方向に実写像と二次元理想像との寸法誤差を確実に測定することが可能となる。
【００１４】
こうした形状検証システムでは、デジタル画像によって前記実写像が提供されれば、投影面に規定される二次元座標系に基づき実写像の二次元座標値は簡単に特定されることができる。こうしたデジタル画像は例えばＣＣＤ（電荷結合素子）を用いたデジタルカメラによって生成されればよい。
【００１５】
また、第２発明によれば、対象物が取り込まれた三次元座標系に従ってカメラに関する光学系主点の位置および光学系主軸の向き並びに焦点距離を特定するカメラ情報に基づき、対象物の実写像が映し出される投影面を構築する投影面特定回路と、構築された投影面に前記三次元座標系を投影する描画回路とを備えることを特徴とする仮想カメラ画像形成システムが提供される。
【００１６】
かかる仮想カメラ画像形成システムによれば、カメラ情報を用いることによって仮想空間に実写像の投影面は再現されることができる。再現された投影面に三次元座標系が投影されると、形成された三次元座標系の二次元像によって投影面上で実寸法は規定される。その結果、実寸法を反映した仮想カメラ画像が形成されることができる。
【００１７】
描画回路は、前記対象物の三次元像を特定する形状データに基づき前記投影面に対象物の二次元理想像を描き出してもよい。形状データで復元される対象物の三次元像は三次元座標系に従って構築される。したがって、三次元座標系とともにその三次元座標系で構築された三次元像が投影面に投影されると、投影面には、カメラ情報で特定されるカメラによって撮像されると想定される対象物の二次元像が描き出されることができる。
【００１８】
こうした仮想カメラ画像形成システムでは、投影面は、前記光学系主点から前記焦点距離で離れ、前記光学系主点と前記対象物との間で前記光学系主軸に直交する座標平面を備えることが望ましい。一般のカメラでは、光学系主点を挟んで投影面すなわち結像面と対象物とが対峙する。その結果、投影面には対象物の倒立像が描き出される。したがって、光学系主点と対象物との間に投影面を規定することができれば、対象物の二次元像を倒立させることなく仮想カメラ画像を形成することが可能となる。
【００１９】
投影面を構築するにあたって、投影面特定回路は、前記座標平面に規定される二次元座標系と前記三次元座標系との間で座標変換を実現する変換行列を特定すればよい。こうした変換行列が特定されれば、三次元座標系に従って特定される三次元座標点は、投影面上の二次元座標系に従った二次元座標点に一義的に写像されることができる。前述のカメラ情報は、こうした変換行列によって一義的に表現されることが可能となる。
【００２０】
このとき、前記三次元座標系で特定される三次元座標点（ｘ，ｙ，ｚ）は、例えば、
【数３】

ただし、
【数４】

に基づき、前記二次元座標系で特定される二次元座標点（ｘ_i ，ｙ_i ）に写像されればよい。
【００２１】
第１および第２発明に係る形状検証システムが実現する形状検証方法は、例えばコンピュータによって処理されるソフトウェアプログラムに従って実現されてもよい。こういったソフトウェアプログラムは、例えばＦＤ（フロッピーディスク）といった磁気記録媒体、ＣＤ（コンパクトディスク）やＤＶＤ（デジタルビデオディスク）といった光学記録媒体、いわゆるＭＯといった光磁気記録媒体、その他の任意の記録媒体を通じてコンピュータに取り込まれればよい。
【００２２】
【発明の実施の形態】
以下、添付図面を参照しつつ本発明の一実施形態を説明する。
【００２３】
図１は、対象物Ｗの形状精度を検証する形状検証システム１０の構成を概略的に示す。この形状検証システム１０は、対象物Ｗの実写像すなわち投影面に映し出される対象物Ｗの二次元像を取得するデジタルスチルカメラ１１を備える。このデジタルスチルカメラ１１は、例えばＣＣＤ（電荷結合素子）を利用して、対象物Ｗの実写像を再現する画像データを出力する。この画像データによれば、任意の投影面に微細な間隔で設定される各画素ごとに画像情報が特定される。各画素の位置は、例えば投影面に設定される二次元座標系に従って特定されることができる。ただし、デジタルスチルカメラ１１のほか、撮像装置には、デジタルビデオカメラや、ＣＣＤ以外の画像取得手段を用いて各画素ごとに画像情報を特定する撮像装置が用いられてもよく、プリント写真に基づき画像データを生成するスキャナなどが用いられてもよい。
【００２４】
エンジニアリングワークステーション（ＥＷＳ）１２は、デジタルスチルカメラ１１で取得された実写像に基づき対象物Ｗの形状寸法誤差を測定する。この形状検証システム１０では、取得される実写像に基づいて対象物Ｗの輪郭や幾何学的稜線に関する形状寸法誤差が測定される。こうした形状検証システム１０は、例えば自動車の外板といった部品の形状精度や、そういった部品の加工や成形に用いられる金型の形状精度を検証する際に用いられることができるだけでなく、複数の部品で組み立てられたアセンブリや完成品の組立精度や形状精度を検証する際に用いられることができる。
【００２５】
形状検証システム１０には、対象物Ｗの三次元形状を測定する三次元測定機１３がさらに組み込まれてもよい。三次元測定機１３は、対象物Ｗと接触プローブ１４との接触を通じて、対象物Ｗの三次元像を再現するにあたって必要とされる三次元座標値を取得する。１つの三次元座標値を取得するにあたって、接触プローブ１４は、例えば任意の三次元座標系でｘ座標値およびｙ座標値を維持しながらｚ軸方向に移動する。接触までに測定されるｚ軸方向の移動量に基づきｚ座標値は特定される。ｘｙ平面に沿って微細な間隔で設定される多数の測定点ごとにｚ座標値は測定されていく。その結果、対象物Ｗの三次元像を再現するために十分な三次元座標点の集合体が得られる。接触プローブ１４の動きは例えばパーソナルコンピュータ（ＰＣ）１５によって制御される。こうした三次元測定機１３は、平面や曲面、凹凸面の歪みといったデジタルスチルカメラ１１による実写像に現れにくい形状の歪みを測定する際に役立つ。
【００２６】
図２に示されるように、検証にあたって対象物Ｗは検査台１６に設置される。検査台１６には、対象物Ｗを受け止める水平かつ平坦な受け面１７と、受け面１７から垂直に立ち上がる複数（例えば３つ）の突き当て１８ａ、１８ｂ、１８ｃとが設けられる。受け面１７は、物体座標系ｘｙｚに従ってｚ座標値の基準を規定する。すなわち、ｚ座標値は、受け面１７からの高さに基づき特定されることができる。２つの突き当て１８ａ、１８ｂは、受け面１７に直交する１平面を規定する。規定された１平面は、物体座標系ｘｙｚに従ってｙ座標値の基準に設定される。すなわち、ｙ座標値は、２つの突き当て１８ａ、１８ｂによって規定された１平面からの距離に基づき特定されることができる。さらに、残りの突き当て１８ｃは、他の２つの突き当て１８ａ、１８ｂによって規定された１平面と受け面１７とに直交する１平面を規定する。規定された１平面は、物体座標系ｘｙｚに従ってｘ座標値の基準に設定される。したがって、ｘ座標値は、突き当て１８ｃによって規定された１平面からの距離に基づき特定されることができる。
【００２７】
ここでは、物体座標系ｘｙｚのｘｙ平面は受け面１７に沿って規定される。加えて、２つの突き当て１８ａ、１８ｂは物体座標系ｘｙｚのｘｚ平面を規定し、他の突き当て１８ｃは物体座標系ｘｙｚのｙｚ平面を規定する。ただし、物体座標系ｘｙｚは、１または複数の座標軸に沿って平行移動してもよい。
【００２８】
図３に示されるように、ＥＷＳ１２は、三次元測定機１３で測定された三次元形状と、形状データに基づき復元される対象物Ｗの理想三次元像とを相互に比較する面情報解析回路２１を備える。この面情報解析回路２１によれば、例えば、三次元測定機１３で測定された三次元座標点の集合体に基づき対象物Ｗを表現するポリゴンが再構築され、再構築されたポリゴンに基づいて対象物Ｗの三次元像が描き出される。描き出された三次元像と理想三次元像とが相互に比較される結果、対象物Ｗの平面や曲面の歪みといった形状寸法誤差は導き出される。こうして導き出された形状寸法誤差は例えばディスプレイ２２の画面に表示されることができる。同時に、ディスプレイ２２の画面には、再構築されたポリゴンに基づき対象物Ｗの三次元像が表示されてもよく、そういった三次元像とともに理想三次元像（すなわち比較の結果）が表示されてもよい。
【００２９】
ここで、形状データは、例えばＬＡＮ（構内回線網）などによってＥＷＳ１２に接続された大容量記憶装置２３内に構築された製品データベースから取得される。製品データベースには、任意の三次元座標系に基づき各製品ごとに三次元像を規定する三次元設計データが格納される。各三次元設計データは、例えば周知の三次元ＣＡＤ／ＣＡＭシステムなどを用いて構築されることができる。ただし、形状データは、可搬性の記録媒体を用いてＥＷＳ１２に転送されてもよい。
【００３０】
さらにＥＷＳ１２には、デジタルスチルカメラ１１で取得された実写像と、形状データに基づき描かれる二次元理想像とを相互に比較する辺情報解析回路２４が設けられる。二次元理想像は例えば対象物Ｗの輪郭や幾何学的稜線によって描かれる。この辺情報解析回路２４は、実写像と二次元理想像との比較結果をディスプレイ２２の画面に表示させることができる。
【００３１】
辺情報解析回路２４は、例えば図４に示されるように、仮想空間に再現される対象物Ｗおよびデジタルスチルカメラ１１に基づき、デジタルスチルカメラ１１で撮像されると想定される仮想カメラ画像を形成する仮想カメラ画像形成回路２６を備える。表示回路２７は、仮想カメラ画像形成回路２６で形成された仮想カメラ画像と実写像とを重ねてディスプレイ２２の画面に表示させる。
【００３２】
仮想カメラ画像形成回路２６は、仮想空間に物体座標系ｘｙｚすなわち三次元座標系を再現する座標系構築回路２８を備える。物体座標系ｘｙｚを再現するにあたって、座標系構築回路２８は、大容量記憶装置２３から取り込まれる形状データに基づき仮想空間で対象物Ｗの三次元像を再現する。この三次元像に対して検査台１６の受け面１７および突き当て１８ａ、１８ｂ、１８ｃの位置が特定されると、仮想空間では、対象物Ｗの実寸法を規定する物体座標系ｘｙｚすなわち三次元座標系が構築される。
【００３３】
投影面特定回路２９は、物体座標系ｘｙｚが構築された仮想空間で、対象物Ｗの実写像が映し出される投影面を特定する。特定された投影面には、デジタルスチルカメラ１１の光学系主点から焦点距離で離れ、光学系主点と対象物Ｗとの間でデジタルスチルカメラ１１の光学系主軸に直交する座標平面が描かれる。こうした座標平面を描くにあたって、投影面特定回路２９は、三次元座標系に従ってデジタルスチルカメラ１１に関する光学系主点の位置および光学系主軸の向き並びに焦点距離を特定する撮像装置情報すなわちカメラ情報を取得する。このカメラ情報は、座標平面に規定される二次元座標系と、仮想空間で再現される三次元座標系との間で座標変換を実現する変換行列
【数５】

によって表現される。変換行列Ｒは、例えば、
【数６】

ただし、
【数７】

に基づき導き出されることができる。こうした変換行列Ｒによれば、物体座標系ｘｙｚで特定される全ての三次元座標点（ｘ，ｙ，ｚ）は投影面上の二次元座標点（ｘ_i ，ｙ_i ）に写像されることができる。
【００３４】
描画回路３０は、形状データに基づき再現された対象物Ｗの三次元像を投影面に投影し、対象物Ｗの二次元理想像を形成する。二次元理想像の形成にあたって描画回路３０では、対象物Ｗの輪郭線や幾何学的稜線を規定する三次元座標点（ｘ，ｙ，ｚ）に変換行列Ｒが掛け合わされる。その結果、例えば仮想空間の物体座標系ｘｙｚで対象物Ｗの三次元像が移動すると、その移動に伴い投影面上で二次元理想像は移動することとなる。
【００３５】
描画回路３０には、仮想カメラ画像形成回路２６で構築された三次元座標系すなわち物体座標系ｘｙｚに従って実写像と二次元理想像との間で寸法誤差を測定する誤差測定回路３１が接続される。この誤差測定回路３１は、例えば、仮想空間に再現される三次元像上で二次元理想像の輪郭線を特定したり三次元像の幾何学的稜線を抽出したりする輪郭抽出回路３２を備える。この輪郭抽出回路３２によれば、例えばマウス３３といった入力装置を通じて操作者が入力する指令に従って任意の輪郭線や幾何学的稜線が選び出されることができる。
【００３６】
移動方向決定回路３４は、選び出された輪郭線や稜線の移動方向を決定する。こうした移動方向には、例えば三次元像の表面に対して直交する法線方向が選択されてもよく、後述するように、稜線に接する１表面に対して直交する法線方向や、稜線に対する接線方向および法線方向にともに直交する外積方向が選択されてもよい。
【００３７】
画像操作回路３５は、仮想空間に構築された物体座標系ｘｙｚすなわちスケール座標系に従って、決定された移動方向に対象物Ｗの三次元像を移動させることができる。この移動にあたって、画像操作回路３５は、決定された移動方向に基づき、例えばボリュームスイッチ３６の操作量に応じて物体座標系ｘｙｚに従ったｘ座標値、ｙ座標値およびｚ座標値の各増減値を特定する。例えば移動方向決定回路３４で前述の法線方向および外積方向が選択された場合には、法線方向および外積方向に個別に三次元像の移動を引き起こす２つのボリュームスイッチ３６が設けられればよい。
【００３８】
移動量算出回路３７は、三次元座標系すなわち物体座標系ｘｙｚに従って輪郭線や稜線の移動量を算出する。輪郭線や稜線の移動量は、例えば画像操作回路３５で特定されるｘ座標値、ｙ座標値およびｚ座標値の各増減値に基づき算出されることができる。ただし、こうした移動量は、ボリュームスイッチ３６の操作量に基づき算出されてもよい。この場合には、例えば０．５ｍｍや１μｍといった単位長さの移動量を引き起こすｘ座標値、ｙ座標値およびｚ座標値の各増減値すなわちボリュームスイッチ３６の操作量が明らかであればよい。ここでは、第１移動量算出回路３７ａによって、稜線に接する１表面に対して直交する法線方向に稜線の法線方向移動量は算出される。その一方で、第２移動量算出回路３７ｂによって、稜線に対する接線方向および法線方向にともに直交する外積方向に稜線の外積方向移動量は算出される。
【００３９】
次に本実施形態に係る形状検証システム１０の動作を詳述する。ここでは、辺情報解析回路２４の動作に着目し、面情報解析回路２１の動作に関する説明は省略される。面情報解析回路２１は周知の技術に基づき動作すればよい。
【００４０】
いま、例えば図２に示される対象物Ｗの形状を検証する場面を想定する。操作者は、対象物Ｗを特定する形状データを大容量記憶装置２３の製品データベースからＥＷＳ１２に取り込ませる。形状データが取り込まれると、座標系構築回路２８は、ＥＷＳ１２に認識される仮想空間に対象物Ｗの三次元像を再現する。こうした三次元像は例えばディスプレイ２２の画面に表示される。
【００４１】
同時に、座標系構築回路２８は、物体座標系ｘｙｚのｘｙ平面を規定する受け面１７の三次元像や、ｘｚ平面を規定する突き当て１８ａ、１８ｂの三次元像、ｙｚ平面を規定する突き当て１８ｃの三次元像を再現する。操作者は、例えば図５に示されるように、再現された対象物Ｗの三次元像に対して受け面１７の位置を特定したり、図６に示されるように、突き当て１８ａ、１８ｂ、１８ｃの位置を特定する。こうして受け面１７や突き当て１８ａ、１８ｂ、１８ｃの位置が特定されると、検査台１６に設定された物体座標系ｘｙｚがＥＷＳ１２内の仮想空間に再現される。対象物Ｗの三次元像は、ｘｙ平面、ｙｚ平面およびｘｚ平面を基準に物体座標系ｘｙｚ内で位置決めされることとなる。
【００４２】
続いて操作者は、デジタルスチルカメラ１１で生成された画像データをＥＷＳ１２に取り込ませる。画像データによれば、実写像の投影面に設定される二次元座標系に従って各画素の二次元座標値（ｘ_i ，ｙ_i ）が特定される。各画素の画像情報（例えば色情報）が識別される結果、対象物Ｗの輪郭および幾何学的稜線を規定する二次元座標点（ｘ_i ，ｙ_i ）の集合が特定される。
【００４３】
以上のようにＥＷＳ１２に形状データおよび画像データが取り込まれると、描画回路３０は、投影面特定回路２９で特定された変換行列Ｒを用いて、仮想空間に再現される対象物Ｗの三次元像を投影面に写像する。すなわち、三次元像の輪郭や幾何学的稜線を規定する各三次元座標点（ｘ，ｙ，ｚ）に変換行列Ｒが掛け合わされる。その結果、投影面には、例えば図７に示されるように、二次元座標点（ｘ_i ，ｙ_i ）の集合によって対象物Ｗの二次元理想像４１が描き出される。変換行列Ｒは仮想空間の全ての三次元座標点（ｘ，ｙ，ｚ）を投影面に写像させることができることから、描き出された二次元理想像４１は、対象物Ｗの実寸法を規定する物体座標系ｘｙｚを反映する。言い換えれば、投影面には、例えば図７に示されるように、物体座標系ｘｙｚの透視像が描き出される。したがって、二次元理想像４１によれば、物体座標系ｘｙｚに従って対象物Ｗの理想位置が特定されることができる。
【００４４】
表示回路２７は、画像データに基づき投影面上に対象物Ｗの実写像を再現し、再現された実写像に対象物Ｗの二次元理想像を重ね合わせる。その結果、投影面に描き出された物体座標系ｘｙｚの透視像に対象物Ｗの実写像は取り込まれる。投影面では、物体座標系ｘｙｚに従って実写像の実位置が特定されることができることとなる。
【００４５】
こうして単一の投影面に描き出された対象物Ｗの実写像と二次元理想像とがディスプレイ２２の画面に表示されると、対象物Ｗの寸法誤差の有無は一目で確認されることができる。二次元理想像と、実写像で特定される幾何学的稜線とが互いに一致すれば対象物Ｗの寸法誤差は存在しないこととなる。その一方で、二次元理想像と、実写像で特定される幾何学的稜線との間に生じる「ずれ」は物体座標系ｘｙｚに従って対象物Ｗの寸法誤差を表現することとなる。ただし、ここでは、後述する誤差測定回路３１の働きに応じて、ディスプレイ２２の画面には必ずしも物体座標系ｘｙｚの透視像は表示される必要はない。
【００４６】
この形状検証システム１０によれば、操作者は、二次元理想像と実写像との間に観察される「ずれ」の大きさすなわち寸法誤差を測定することができる。この測定にあたって、操作者は、まず、マウス３３を操作して二次元理想像の輪郭線や幾何学的稜線といった特徴を指定する。例えば図８に示されるように、操作者は、マウス３３の移動を通じてディスプレイ２２の画面上でマウスポインタ４２を移動させ、マウス３３のクリック操作を通じてマウスポインタ４２が指し示す輪郭線や幾何学的稜線４３を指定する。輪郭抽出回路３２は、仮想空間に再現された対象物Ｗの三次元像上で、クリック時のマウスポインタ４２が指し示す輪郭線や幾何学的稜線４３を特定する。
【００４７】
図８に示されるように、例えば幾何学的稜線４３が指定されると、移動方向決定回路３４は、仮想空間に再現された三次元像上で、指定された幾何学的稜線４３に接する１表面に対して直交する法線方向４４と、その幾何学的稜線４３に対する接線方向４５および法線方向４４にともに直交する外積方向４６とを特定する。こうして法線方向４４および外積方向４６が特定されると、画像操作回路３５は、ボリュームスイッチ３６の操作量と、物体座標系ｘｙｚに従ったｘ座標値、ｙ座標値およびｚ座標値の各増減値とを対応づける。この場合には、一方のボリュームスイッチ３６に対して法線方向移動時のｘ座標値、ｙ座標値およびｚ座標値の各増減値が設定され、他方のボリュームスイッチ３６に対して外積方向移動時のｘ座標値、ｙ座標値およびｚ座標値の各増減値が設定される。
【００４８】
例えば一方のボリュームスイッチ３６が操作されると、仮想空間に再現された三次元像では、各三次元座標点（ｘ，ｙ，ｚ）に決められたｘ座標値、ｙ座標値およびｚ座標値の各増減値が加えられる。その結果、仮想空間では、三次元像は決められた法線方向に移動することとなる。この移動は、投影面に描かれた二次元理想像４７の移動に反映される。したがって、ディスプレイ２２の画面では、実写像４８に対して二次元理想像４７が相対的に移動する。同様に、他方のボリュームスイッチ３６が操作されると、仮想空間で三次元像は決められた外積方向に移動し、その結果、ディスプレイ２２の画面では実写像４８に対して二次元理想像４７は相対的に移動することとなる。
【００４９】
ボリュームスイッチ３６の操作や三次元像の移動に応じて、移動量算出回路３７では、物体座標系ｘｙｚに従って三次元像の移動量が算出される。この場合には、例えば第１移動量算出回路３７ａで法線方向移動量は算出され、第２移動量算出回路３７ｂで外積方向移動量は算出される。算出された移動量は例えばディスプレイ２２の画面上に表示される。
【００５０】
このとき、操作者は、ディスプレイ２２の画面を観察しながら２つのボリュームスイッチ３６を操作し、二次元理想像４７で特定される幾何学的稜線４３と、実写像４８で対応する幾何学的稜線４９とを互いに重ね合わせる。実写像４８の稜線４９と二次元理想像４７の稜線４３とが一致した時点で算出される法線方向移動量や外積方向移動量は、形状データに基づき再現される対象物Ｗの三次元像と、撮像された実際の対象物Ｗの三次元像との法線方向寸法誤差や外積方向寸法誤差に相当する。したがって、操作者は、実写像４８と二次元理想像４７とが一致した時点でディスプレイ２２の画面に表示される法線方向移動量や外積方向移動量を読み取ればよい。こうして、物体座標系ｘｙｚに従って対象物Ｗの実位置と理想位置との間で寸法誤差は測定される。
【００５１】
ここで、仮想カメラ画像形成回路２６の原理を簡単に説明する。いま、例えば図９に示されるように、対象物Ｗおよびピンホールカメラ５１を取り込んだ三次元座標系ＸＹＺを想定する。この三次元座標系ＸＹＺでは、ｚ軸とピンホールカメラ５１の光学系主軸とは一致する。ピンホール５２の前方には、ピンホール５２から焦点距離ｆで離れた仮想結像面５３が設定される。この仮想結像面５３には対象物Ｗの二次元像が描かれる。現実のピンホールカメラ５１では、ピンホール５２の背後でピンホール５２から焦点距離ｆで離れた実結像面５４に対象物Ｗの倒立像が結像される。ただし、仮想結像面５３に描かれる二次元像と倒立像とは一致する。
【００５２】
こうして設定された三次元座標系ＸＹＺに従えば、対象物Ｗと二次元像との間、すなわち、対象物Ｗ上で特定される三次元座標点（ｘ，ｙ，ｚ）と、仮想結像面５３で想定される対応二次元座標点（ｘ_i ，ｙ_i ，ｚ_i ）との間には、
【数８】

といった関係が成立する。ｚ_i ＝０に設定すると、
【数９】

に基づき、
【数１０】

が得られる。こうした非線形変換は次式のような線形変換に置き換えられることができる。
【００５３】
【数１１】

ただし、
【数１２】

図１０に示されるように、現実には、対象物Ｗおよびピンホールカメラ５１はともに物体座標系ｘｙｚに存在する。したがって、仮想結像面５３すなわち投影面に規定される二次元座標系ｘ_i ｙ_i と物体座標系ｘｙｚとは、回転および平行移動を含めた変換によって関連付けられることができる。こうした変換が加えられると、
【数１３】

が得られる。すなわち、
【数１４】

【数１５】

が導き出される。その結果、３ｘ４のＣ行列には、ピンホールカメラ５１の主点５５の位置や、光学系主軸５６の向き、焦点距離ｆを始めとする全ての情報が含まれることとなる。したがって、３ｘ４のＣ行列が特定されれば、物体座標系ｘｙｚで特定される全ての三次元座標点（ｘ，ｙ，ｚ）は、実写像の投影面に規定される二次元座標系ｘ_i ｙ_i に従って二次元座標点（ｘ_i ，ｙ_i ）に写像されることができる。
【００５４】
以上のような形状検証システム１０の動作は、ＥＷＳ１２のＣＰＵ（中央演算処理装置）によって処理されるソフトウェアプログラムに従って実現されればよい。こういったソフトウェアプログラムは、図１１に示されるように、例えばＦＤ（フロッピーディスク）といった磁気記録媒体６１、ＣＤ（コンパクトディスク）やＤＶＤ（デジタルビデオディスク）といった光学記録媒体６２、その他の任意の記録媒体を通じてＥＷＳ１２に取り込まれればよい。
【００５５】
なお、本実施形態では、以上のように三次元物体の対象物に対して形状精度の検証が実現されることができるだけでなく、二次元の対象物に対して形状精度の検証が実現されてもよい。
【００５６】
【発明の効果】
以上のように本発明によれば、製品ごとに用意される検査具や、多数の測定点で三次元座標値を拾う三次元測定機を用いずに簡単に製品の形状を検証することができる。
【図面の簡単な説明】
【図１】本発明に係る形状検証システムの全体構成を概略的に示す模式図である。
【図２】検査台を概略的に示す斜視図である。
【図３】形状検証システムの全体構成を機能的に示すブロック図である。
【図４】辺情報解析回路の構成を概略的に示すブロック図である。
【図５】仮想空間で三次元像に対して位置決めされた受け面を表示するディスプレイの画面を示す図である。
【図６】仮想空間で三次元像に対して位置決めされた突き当てを表示するディスプレイの画面を示す図である。
【図７】投影面に投影された物体座標系の透視像を示す図である。
【図８】実写像と二次元理想像とが重ねて表示されるディスプレイの画面を示す図である。
【図９】仮想カメラ画像形成回路の原理を概略的に示す模式図である。
【図１０】物体座標系ｘｙｚと投影面上の二次元座標系ｘ_i ｙ_i との関係を示す模式図である。
【図１１】他の具体例に係る形状検証システムの全体構成を概略的に示す模式図である。
【符号の説明】
１０形状検証システム、１１撮像装置としてのデジタルスチルカメラ、１２コンピュータとしてのエンジニアリングワークステーション（ＥＷＳ）、２６仮想カメラ画像形成システムとして機能する仮想カメラ画像形成回路、２７表示回路、２９投影面特定回路、３０描画回路、３１誤差測定回路、３２輪郭抽出回路、３５画像操作回路、３７移動量算出回路、３７ａ第１移動量算出回路、３７ｂ第２移動量算出回路、４１二次元理想像、４３三次元像の稜線、４４法線方向、４５接線方向、４６外積方向、４７二次元理想像、４８実写像、５５光学系主点、５６光学系の主軸、６１記録媒体としての磁気記録媒体、６２記録媒体としての光学記録媒体、Ｗ対象物。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a shape verification system and a shape verification method for verifying the shape of an object.
[0002]
[Prior art]
Generally, in the field of manufacturing, it is verified whether a processed product has been processed as designed and whether a molded product has been molded as designed. For this verification, an inspection tool that models a processed product or a molded product with high accuracy is widely used. When a processed product or a molded product is fitted into the inspection tool, an error of the actual processed product or the molded product can be confirmed at a glance with respect to an ideal shape defined by the inspection tool. Such errors can be measured using, for example, calipers.
[0003]
On the other hand, in such verification, it is widely performed to measure the actual dimensions of processed products and molded products using a three-dimensional measuring machine. When the actual dimension measured by the three-dimensional measuring machine is compared with the shape data specifying the design dimension of the processed product or molded product, the dimensional error of the processed product or molded product can be calculated.
[0004]
[Problems to be solved by the invention]
The above-mentioned inspection tool must be prepared for each processed product or molded product. The production of the inspection tool is not only costly and troublesome, but also requires a large space for storing the produced inspection tool. On the other hand, in the above-described three-dimensional measuring machine, the contact probe must be moved uniformly along the surface of the processed product or molded product. Since the contact probe makes point contact with the surface of the processed product or molded product, it takes a lot of time to acquire sufficient sample data over the entire surface of the processed product or molded product for dimension measurement. Moreover, if the contact probe is moved manually, the measurement results will vary, and if the contact probe is automatically moved using a robot, a lot of time and labor will be spent on teaching work. .
[0005]
The present invention has been made in view of the above-described actual situation, and provides a shape verification system and a shape verification method that can easily verify the shape of a product using image processing based on a real image captured by a camera. For the purpose. Another object of the present invention is to provide a virtual camera image forming system effective for such a shape verification system and a shape verification method.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, according to the first invention, an imaging device that generates a real map of an object, a position of an optical system principal point, an orientation of an optical system main axis, and a focal length with respect to the imaging device according to a three-dimensional coordinate system A shape comprising: a projection plane specifying circuit that specifies a projection plane on which a real image is projected, and a drawing circuit that projects the three-dimensional coordinate system on the specified projection plane, based on imaging apparatus information that specifies A verification system is provided.
[0007]
According to such a shape verification system, the projection plane of the real map can be reproduced in the virtual space by using the imaging apparatus information. By projecting a three-dimensional coordinate system that defines the actual dimension of the object onto the reproduced projection plane, the actual dimension of the object can be measured based on the actual map of the object. If the measured actual dimension is compared with the design dimension of the object, the shape dimensional accuracy of the object can be verified. There is no need to prepare an inspection tool for each processed product or molded product, and it is not necessary to acquire a large number of sample data along the surface of the processed product or molded product as in a three-dimensional measuring machine.
[0008]
The drawing circuit may draw a two-dimensional ideal image of the object on the projection plane based on shape data specifying a three-dimensional image of the object. A three-dimensional image of the object restored by the shape data is drawn according to a three-dimensional coordinate system. Therefore, the two-dimensional ideal image drawn on the projection plane reflects such a three-dimensional coordinate system, that is, an object coordinate system that defines the actual dimensions of the object. In other words, this is equivalent to drawing a perspective image of the object coordinate system on the projection plane. Therefore, according to the two-dimensional ideal image, the ideal position of the object can be specified according to the object coordinate system. The shape data may be constructed using, for example, a well-known three-dimensional CAD / CAM system.
[0009]
Here, the shape verification system may include a display circuit that superimposes the real map and the two-dimensional ideal image on the screen. According to such a function of the display circuit, it is possible to confirm at a glance whether there is a shape error or a dimensional error of the object.
[0010]
In addition, the shape verification system may further include an error measurement circuit that measures a dimensional error between the real map and the two-dimensional ideal image according to the three-dimensional coordinate system. According to the function of such an error measurement circuit, not only the presence or absence of a shape error or a dimensional error can be confirmed as described above, but also the size of such a shape error or a dimensional error can be confirmed. For example, the error measurement circuit may actually measure the size error and the size error according to a three-dimensional coordinate system drawn on the projection plane.
[0011]
In measuring the dimensional error, the error measurement circuit calculates an amount of movement of the three-dimensional image according to the image manipulation circuit that moves the three-dimensional image in the three-dimensional space constructed by the three-dimensional coordinate system and the three-dimensional coordinate system. And a movement amount calculation circuit. The movement of the three-dimensional image according to the three-dimensional coordinate system causes the movement of the two-dimensional ideal image drawn on the projection plane. Therefore, for example, when a real map of a target object and a two-dimensional ideal image are displayed in an overlapping manner, if the three-dimensional image is moved until the real map and the two-dimensional ideal image completely match, the amount of movement is Then, the dimensional error between the real map and the two-dimensional ideal image is expressed according to the three-dimensional coordinate system that defines the actual dimension of the object.
[0012]
In calculating the dimensional error in this way, the shape verification system includes a contour extraction circuit for specifying a contour line of the two-dimensional ideal image on the three-dimensional image, and a normal line orthogonal to the surface of the three-dimensional image. You may further provide the moving direction determination circuit which sets the moving direction of an outline to a direction. According to such a configuration, it is possible to reliably measure the dimensional error between the real map and the two-dimensional ideal image in the normal direction determined on the projection plane of the real map.
[0013]
On the other hand, in calculating such a dimensional error, the shape verification system includes a contour extraction circuit that extracts a ridge line of the three-dimensional image, and a movement direction of the ridge line in a normal direction perpendicular to one surface that is in contact with the ridge line. A moving direction determining circuit that sets the moving direction of the ridge line in the outer product direction orthogonal to the tangential direction and normal direction to the ridge line may be further provided. According to such a configuration, as described above, it is possible to reliably measure the dimensional error between the real map and the two-dimensional ideal image in the normal direction and the outer product direction determined on the projection plane of the real map.
[0014]
In such a shape verification system, if the real map is provided by a digital image, the two-dimensional coordinate value of the real map can be easily specified based on the two-dimensional coordinate system defined on the projection plane. Such a digital image may be generated by a digital camera using a CCD (Charge Coupled Device), for example.
[0015]
Further, according to the second invention, based on the camera information that specifies the position of the optical system principal point, the orientation of the optical system principal axis, and the focal length of the camera according to the three-dimensional coordinate system in which the object is taken in, the actual image of the object There is provided a virtual camera image forming system comprising: a projection plane specifying circuit that constructs a projection plane on which the image is projected; and a drawing circuit that projects the three-dimensional coordinate system onto the constructed projection plane.
[0016]
According to such a virtual camera image forming system, the projection plane of the real map can be reproduced in the virtual space by using the camera information. When the three-dimensional coordinate system is projected onto the reproduced projection plane, the actual dimension is defined on the projection plane by the formed two-dimensional image of the three-dimensional coordinate system. As a result, a virtual camera image reflecting the actual dimensions can be formed.
[0017]
The drawing circuit may draw a two-dimensional ideal image of the object on the projection plane based on shape data specifying a three-dimensional image of the object. A three-dimensional image of the object restored by the shape data is constructed according to a three-dimensional coordinate system. Therefore, when a 3D image constructed with the 3D coordinate system is projected onto the projection plane together with the 3D coordinate system, the projection surface is assumed to be imaged by the camera specified by the camera information. A two-dimensional image can be drawn.
[0018]
In such a virtual camera image forming system, the projection plane is provided with a coordinate plane that is separated from the optical system principal point by the focal length and is orthogonal to the optical system principal axis between the optical system principal point and the object. desirable. In a general camera, a projection plane, that is, an imaging plane and an object face each other with an optical system principal point in between. As a result, an inverted image of the object is drawn on the projection surface. Therefore, if a projection plane can be defined between the optical system principal point and the object, a virtual camera image can be formed without inverting the two-dimensional image of the object.
[0019]
In constructing the projection plane, the projection plane identification circuit may identify a transformation matrix that realizes coordinate transformation between the two-dimensional coordinate system defined on the coordinate plane and the three-dimensional coordinate system. If such a transformation matrix is specified, the three-dimensional coordinate point specified according to the three-dimensional coordinate system can be uniquely mapped to the two-dimensional coordinate point according to the two-dimensional coordinate system on the projection plane. The aforementioned camera information can be uniquely expressed by such a conversion matrix.
[0020]
At this time, the three-dimensional coordinate point (x, y, z) specified in the three-dimensional coordinate system is, for example,
[Equation 3]

However,
[Expression 4]

On the basis of the two-dimensional coordinate point (x _i , y _i ) specified in the two-dimensional coordinate system.
[0021]
The shape verification method realized by the shape verification system according to the first and second inventions may be realized, for example, according to a software program processed by a computer. Such a software program is transmitted through a magnetic recording medium such as an FD (floppy disk), an optical recording medium such as a CD (compact disk) or a DVD (digital video disk), a magneto-optical recording medium such as a so-called MO, or any other recording medium. What is necessary is just to be taken in by a computer.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
[0023]
FIG. 1 schematically shows the configuration of a shape verification system 10 that verifies the shape accuracy of an object W. The shape verification system 10 includes a digital still camera 11 that acquires a real image of the object W, that is, a two-dimensional image of the object W projected on the projection plane. The digital still camera 11 outputs image data that reproduces the actual image of the object W by using, for example, a CCD (charge coupled device). According to this image data, image information is specified for each pixel set at a fine interval on an arbitrary projection plane. The position of each pixel can be specified according to a two-dimensional coordinate system set on the projection plane, for example. However, in addition to the digital still camera 11, an imaging device that specifies image information for each pixel using an image acquisition unit other than a CCD may be used as the imaging device. A scanner or the like that generates image data may be used.
[0024]
The engineering workstation (EWS) 12 measures the shape dimension error of the object W based on the real map acquired by the digital still camera 11. In this shape verification system 10, a shape dimension error relating to the contour of the object W and the geometric ridge line is measured based on the acquired real map. Such a shape verification system 10 can be used not only for verifying the shape accuracy of a part such as an outer plate of an automobile, or the shape accuracy of a mold used for processing or forming such a part, but also with a plurality of parts. It can be used when verifying the assembly accuracy and shape accuracy of an assembled assembly or a finished product.
[0025]
The shape verification system 10 may further incorporate a three-dimensional measuring machine 13 that measures the three-dimensional shape of the object W. The three-dimensional measuring machine 13 acquires a three-dimensional coordinate value required for reproducing a three-dimensional image of the object W through contact between the object W and the contact probe 14. In acquiring one three-dimensional coordinate value, the contact probe 14 moves in the z-axis direction while maintaining the x-coordinate value and the y-coordinate value in an arbitrary three-dimensional coordinate system, for example. The z coordinate value is specified based on the amount of movement in the z-axis direction measured until contact. The z coordinate value is measured for each of a large number of measurement points set at fine intervals along the xy plane. As a result, a set of three-dimensional coordinate points sufficient to reproduce the three-dimensional image of the object W is obtained. The movement of the contact probe 14 is controlled by, for example, a personal computer (PC) 15. Such a three-dimensional measuring machine 13 is useful for measuring distortion of a shape that is difficult to appear in a real image by the digital still camera 11 such as distortion of a plane, a curved surface, and an uneven surface.
[0026]
As shown in FIG. 2, the object W is placed on the inspection table 16 for verification. The inspection table 16 is provided with a horizontal and flat receiving surface 17 that receives the object W, and a plurality of (for example, three)

butts

18a, 18b, and 18c that rise vertically from the receiving surface 17. The receiving surface 17 defines a reference for the z coordinate value according to the object coordinate system xyz. That is, the z coordinate value can be specified based on the height from the receiving surface 17. The two butts 18 a and 18 b define one plane orthogonal to the receiving surface 17. One defined plane is set as a reference for the y coordinate value according to the object coordinate system xyz. That is, the y coordinate value can be specified based on the distance from one plane defined by the two butts 18a and 18b. Further, the remaining abutment 18 c defines one plane orthogonal to the one plane defined by the other two abutments 18 a and 18 b and the receiving surface 17. One defined plane is set as a reference for the x coordinate value according to the object coordinate system xyz. Therefore, the x coordinate value can be specified based on the distance from one plane defined by the abutment 18c.
[0027]
Here, the xy plane of the object coordinate system xyz is defined along the receiving surface 17. In addition, the two butts 18a and 18b define the xz plane of the object coordinate system xyz, and the other butts 18c define the yz plane of the object coordinate system xyz. However, the object coordinate system xyz may be translated along one or more coordinate axes.
[0028]
As shown in FIG. 3, the EWS 12 is a surface information analysis circuit that compares the three-dimensional shape measured by the three-dimensional measuring machine 13 with the ideal three-dimensional image of the object W restored based on the shape data. 21 is provided. According to this surface information analysis circuit 21, for example, a polygon representing the object W is reconstructed based on a set of three-dimensional coordinate points measured by the three-dimensional measuring machine 13, and based on the reconstructed polygon. A three-dimensional image of the object W is drawn. As a result of comparing the drawn three-dimensional image and the ideal three-dimensional image with each other, a shape dimension error such as a distortion of a plane or a curved surface of the object W is derived. The shape dimension error thus derived can be displayed on the screen of the display 22, for example. At the same time, a three-dimensional image of the object W may be displayed on the screen of the display 22 based on the reconstructed polygon, or an ideal three-dimensional image (that is, a comparison result) may be displayed together with such a three-dimensional image. Good.
[0029]
Here, the shape data is acquired from a product database constructed in the mass storage device 23 connected to the EWS 12 by, for example, a LAN (local network). The product database stores three-dimensional design data that defines a three-dimensional image for each product based on an arbitrary three-dimensional coordinate system. Each three-dimensional design data can be constructed using, for example, a well-known three-dimensional CAD / CAM system. However, the shape data may be transferred to the EWS 12 using a portable recording medium.
[0030]
Further, the EWS 12 is provided with an edge information analysis circuit 24 that compares a real map acquired by the digital still camera 11 with a two-dimensional ideal image drawn based on shape data. The two-dimensional ideal image is drawn by, for example, the contour of the object W or a geometric ridgeline. The edge information analysis circuit 24 can display the comparison result between the real map and the two-dimensional ideal image on the screen of the display 22.
[0031]
For example, as shown in FIG. 4, the side information analysis circuit 24 forms a virtual camera image assumed to be captured by the digital still camera 11 based on the object W and the digital still camera 11 reproduced in the virtual space. A virtual camera image forming circuit 26 is provided. The display circuit 27 superimposes the virtual camera image formed by the virtual camera image forming circuit 26 and the real image on the screen of the display 22.
[0032]
The virtual camera image forming circuit 26 includes a coordinate system construction circuit 28 that reproduces an object coordinate system xyz, that is, a three-dimensional coordinate system, in a virtual space. In reproducing the object coordinate system xyz, the coordinate system construction circuit 28 reproduces a three-dimensional image of the object W in the virtual space based on the shape data fetched from the mass storage device 23. When the positions of the receiving surface 17 and the

abutments

18a, 18b, and 18c of the inspection table 16 are specified with respect to this three-dimensional image, the object coordinate system xyz that defines the actual dimensions of the object W in the virtual space, that is, three-dimensional A coordinate system is constructed.
[0033]
The projection plane specifying circuit 29 specifies a projection plane on which a real map of the object W is projected in a virtual space in which the object coordinate system xyz is constructed. On the identified projection plane, a coordinate plane that is separated from the optical system principal point of the digital still camera 11 by a focal length and is orthogonal to the optical system principal axis of the digital still camera 11 is drawn between the optical system principal point and the object W. It is. In drawing such a coordinate plane, the projection plane specifying circuit 29 acquires imaging apparatus information, that is, camera information, for specifying the position of the optical system principal point, the orientation of the optical system principal axis, and the focal length with respect to the digital still camera 11 according to the three-dimensional coordinate system. To do. This camera information is a transformation matrix that realizes coordinate transformation between the two-dimensional coordinate system defined on the coordinate plane and the three-dimensional coordinate system reproduced in the virtual space.

Is represented by The transformation matrix R is, for example,
[Formula 6]

However,
[Expression 7]

Can be derived on the basis of According to such a transformation matrix R, all three-dimensional coordinate points (x, y, z) specified in the object coordinate system xyz are mapped to two-dimensional coordinate points (x _i , y _i ) on the projection plane. Can do.
[0034]
The drawing circuit 30 projects a three-dimensional image of the object W reproduced based on the shape data onto the projection surface, thereby forming a two-dimensional ideal image of the object W. In forming the two-dimensional ideal image, the drawing circuit 30 multiplies the transformation matrix R by the three-dimensional coordinate point (x, y, z) that defines the contour line or geometric ridge line of the object W. As a result, for example, when the three-dimensional image of the object W moves in the object coordinate system xyz in the virtual space, the two-dimensional ideal image moves on the projection plane along with the movement.
[0035]
Connected to the drawing circuit 30 is an error measuring circuit 31 for measuring a dimensional error between the real image and the two-dimensional ideal image in accordance with the three-dimensional coordinate system constructed by the virtual camera image forming circuit 26, that is, the object coordinate system xyz. . The error measurement circuit 31 includes, for example, a contour extraction circuit 32 that specifies a contour line of a two-dimensional ideal image on a three-dimensional image reproduced in a virtual space and extracts a geometric ridge line of the three-dimensional image. . According to the contour extraction circuit 32, an arbitrary contour line or geometric ridge line can be selected in accordance with a command input by an operator through an input device such as a mouse 33, for example.
[0036]
The movement direction determination circuit 34 determines the movement direction of the selected contour line or ridge line. For example, a normal direction orthogonal to the surface of the three-dimensional image may be selected as such a moving direction. As described later, a normal direction orthogonal to one surface in contact with the ridge line, or a tangent to the ridge line. An outer product direction that is orthogonal to both the direction and the normal direction may be selected.
[0037]
The image manipulation circuit 35 can move the three-dimensional image of the object W in the determined moving direction according to the object coordinate system xyz constructed in the virtual space, that is, the scale coordinate system. In this movement, the image operation circuit 35 increases or decreases each of the x coordinate value, the y coordinate value, and the z coordinate value according to the object coordinate system xyz according to the operation amount of the volume switch 36 based on the determined moving direction. Is identified. For example, when the above-described normal direction and cross product direction are selected by the movement direction determination circuit 34, two volume switches 36 that cause the movement of the three-dimensional image individually in the normal direction and cross product direction may be provided.
[0038]
The movement amount calculation circuit 37 calculates the movement amount of the contour line and the ridge line according to the three-dimensional coordinate system, that is, the object coordinate system xyz. The amount of movement of the contour line and the ridge line can be calculated based on each increase / decrease value of the x coordinate value, the y coordinate value, and the z coordinate value specified by the image operation circuit 35, for example. However, such a movement amount may be calculated based on the operation amount of the volume switch 36. In this case, for example, the increase / decrease values of the x-coordinate value, the y-coordinate value, and the z-coordinate value that cause the movement amount of unit length such as 0.5 mm and 1 μm, that is, the operation amount of the volume switch 36 may be clear. Here, the normal direction movement amount of the ridge line is calculated by the first movement amount calculation circuit 37a in the normal direction perpendicular to one surface in contact with the ridge line. On the other hand, the second movement amount calculation circuit 37b calculates the outer product direction movement amount of the ridge line in the outer product direction orthogonal to both the tangential direction and the normal direction to the ridge line.
[0039]
Next, the operation of the shape verification system 10 according to the present embodiment will be described in detail. Here, paying attention to the operation of the edge information analysis circuit 24, the description regarding the operation of the surface information analysis circuit 21 is omitted. The surface information analysis circuit 21 may operate based on a known technique.
[0040]
Now, for example, assume a scene in which the shape of the object W shown in FIG. 2 is verified. The operator causes the EWS 12 to import shape data for specifying the object W from the product database of the mass storage device 23. When the shape data is captured, the coordinate system construction circuit 28 reproduces a three-dimensional image of the object W in the virtual space recognized by the EWS 12. Such a three-dimensional image is displayed on the screen of the display 22, for example.
[0041]
At the same time, the coordinate system construction circuit 28 has a three-dimensional image of the receiving surface 17 that defines the xy plane of the object coordinate system xyz, a three-dimensional image of the butts 18a and 18b that define the xz plane, and an abutment that defines the yz plane. A three-dimensional image of 18c is reproduced. For example, as shown in FIG. 5, the operator specifies the position of the receiving surface 17 with respect to the reproduced three-dimensional image of the object W, or as shown in FIG. 6, the abutments 18 a, 18 b, The position of 18c is specified. When the positions of the receiving surface 17 and the

butts

18a, 18b, and 18c are specified in this way, the object coordinate system xyz set on the inspection table 16 is reproduced in the virtual space in the EWS 12. The three-dimensional image of the object W is positioned in the object coordinate system xyz with reference to the xy plane, the yz plane, and the xz plane.
[0042]
Subsequently, the operator causes the EWS 12 to capture the image data generated by the digital still camera 11. According to the image data, the two-dimensional coordinate values (x _i , y _i ) of each pixel are specified according to the two-dimensional coordinate system set on the projection plane of the real map. As a result of identifying image information (for example, color information) of each pixel, a set of two-dimensional coordinate points (x _i , y _i ) that define the contour and geometric ridge line of the object W is specified.
[0043]
When the shape data and the image data are taken into the EWS 12 as described above, the drawing circuit 30 uses the transformation matrix R specified by the projection plane specifying circuit 29 to reproduce the three-dimensional image of the object W reproduced in the virtual space. Is mapped onto the projection plane. That is, the transformation matrix R is multiplied by each three-dimensional coordinate point (x, y, z) that defines the contour or geometrical edge of the three-dimensional image. As a result, as shown in FIG. 7, for example, a two-dimensional ideal image 41 of the object W is drawn on the projection plane by a set of two-dimensional coordinate points (x _i , y _i ). Since the transformation matrix R can map all three-dimensional coordinate points (x, y, z) in the virtual space onto the projection plane, the drawn two-dimensional ideal image 41 defines the actual size of the object W. Reflects the object coordinate system xyz. In other words, a perspective image of the object coordinate system xyz is drawn on the projection plane, for example, as shown in FIG. Therefore, according to the two-dimensional ideal image 41, the ideal position of the object W can be specified according to the object coordinate system xyz.
[0044]
The display circuit 27 reproduces the real map of the object W on the projection plane based on the image data, and superimposes the two-dimensional ideal image of the object W on the reproduced real map. As a result, the actual map of the object W is captured in the perspective image of the object coordinate system xyz drawn on the projection plane. On the projection plane, the real position of the real map can be specified according to the object coordinate system xyz.
[0045]
Thus, when the real image and the two-dimensional ideal image of the object W drawn on the single projection plane are displayed on the screen of the display 22, the presence or absence of a dimensional error of the object W can be confirmed at a glance. . If the two-dimensional ideal image and the geometric ridge line specified by the real map coincide with each other, there is no dimensional error of the object W. On the other hand, the “deviation” generated between the two-dimensional ideal image and the geometric ridge line specified by the real map represents the dimensional error of the object W according to the object coordinate system xyz. However, here, the perspective image of the object coordinate system xyz does not necessarily have to be displayed on the screen of the display 22 in accordance with the operation of the error measurement circuit 31 described later.
[0046]
According to the shape verification system 10, the operator can measure the magnitude of the “deviation” observed between the two-dimensional ideal image and the real image, that is, the dimensional error. In this measurement, the operator first operates the mouse 33 to designate features such as the contour line and geometric ridge line of the two-dimensional ideal image. For example, as shown in FIG. 8, the operator moves the mouse pointer 42 on the screen of the display 22 through the movement of the mouse 33, and the contour line or the geometrical ridge line 43 indicated by the mouse pointer 42 through the click operation of the mouse 33. Is specified. The contour extraction circuit 32 specifies a contour line or a geometric ridge line 43 pointed to by the mouse pointer 42 at the time of clicking on the three-dimensional image of the object W reproduced in the virtual space.
[0047]
As shown in FIG. 8, for example, when the geometric ridge line 43 is designated, the moving direction determination circuit 34 is in contact with the designated geometric ridge line 43 on the three-dimensional image reproduced in the virtual space. A normal direction 44 perpendicular to the surface and a tangential direction 45 to the geometric ridge line 43 and an outer product direction 46 perpendicular to the normal direction 44 are specified. When the normal direction 44 and the outer product direction 46 are specified in this way, the image operation circuit 35 increases or decreases each of the operation amount of the volume switch 36 and the x, y, and z coordinate values according to the object coordinate system xyz. Associate a value. In this case, the respective increase / decrease values of the x-coordinate value, the y-coordinate value and the z-coordinate value when moving in the normal direction are set for one volume switch 36, and when moving in the outer product direction for the other volume switch Each increase / decrease value of x coordinate value, y coordinate value, and z coordinate value is set.
[0048]
For example, when one of the volume switches 36 is operated, an x-coordinate value, a y-coordinate value, and a z-coordinate value determined for each three-dimensional coordinate point (x, y, z) in the three-dimensional image reproduced in the virtual space. Each increase / decrease value is added. As a result, in the virtual space, the three-dimensional image moves in the determined normal direction. This movement is reflected in the movement of the two-dimensional ideal image 47 drawn on the projection plane. Accordingly, the two-dimensional ideal image 47 moves relative to the real map 48 on the screen of the display 22. Similarly, when the other volume switch 36 is operated, the three-dimensional image moves in the determined outer product direction in the virtual space. As a result, the two-dimensional ideal image 47 is compared with the real image 48 on the screen of the display 22. It will move relatively.
[0049]
In accordance with the operation of the volume switch 36 and the movement of the three-dimensional image, the movement amount calculation circuit 37 calculates the movement amount of the three-dimensional image according to the object coordinate system xyz. In this case, for example, the normal direction movement amount is calculated by the first movement amount calculation circuit 37a, and the outer product direction movement amount is calculated by the second movement amount calculation circuit 37b. The calculated movement amount is displayed on the screen of the display 22, for example.
[0050]
At this time, the operator operates the two volume switches 36 while observing the screen of the display 22, and the geometric ridge line 43 specified by the two-dimensional ideal image 47 and the corresponding geometric ridge line by the real image 48. 49 are superimposed on each other. The amount of movement in the normal direction and the amount of movement in the outer product direction calculated when the ridge line 49 of the real image 48 and the ridge line 43 of the two-dimensional ideal image 47 coincide with each other are the three-dimensional image of the object W reproduced based on the shape data. And a normal direction dimensional error and a cross product direction dimensional error with respect to the captured three-dimensional image of the actual object W. Therefore, the operator only has to read the normal direction movement amount and the outer product direction movement amount displayed on the screen of the display 22 when the real map 48 and the two-dimensional ideal image 47 coincide. Thus, the dimensional error is measured between the actual position and the ideal position of the object W according to the object coordinate system xyz.
[0051]
Here, the principle of the virtual camera image forming circuit 26 will be briefly described. Now, for example, as shown in FIG. 9, a three-dimensional coordinate system XYZ in which an object W and a pinhole camera 51 are captured is assumed. In the three-dimensional coordinate system XYZ, the z axis and the optical system principal axis of the pinhole camera 51 coincide. In front of the pinhole 52, a virtual imaging plane 53 that is separated from the pinhole 52 by a focal length f is set. A two-dimensional image of the object W is drawn on the virtual imaging plane 53. In an actual pinhole camera 51, an inverted image of the object W is formed on a real imaging plane 54 that is separated from the pinhole 52 by a focal length f behind the pinhole 52. However, the two-dimensional image drawn on the virtual imaging plane 53 and the inverted image coincide with each other.
[0052]
According to the three-dimensional coordinate system XYZ set in this way, a three-dimensional coordinate point (x, y, z) specified between the object W and the two-dimensional image, that is, on the object W, and virtual imaging Between the corresponding two-dimensional coordinate points (x _i , y _i , z _i ) assumed on the surface 53,
[Equation 8]

The relationship is established. If we set z _i = 0,
[Equation 9]

Based on
[Expression 10]

Is obtained. Such a non-linear transformation can be replaced with a linear transformation as follows:
[0053]
## EQU11 ##

However,
[Expression 12]

As shown in FIG. 10, in reality, both the object W and the pinhole camera 51 exist in the object coordinate system xyz. Therefore, the two-dimensional coordinate system x _i y _i and the object coordinate system xyz defined on the virtual imaging plane 53, that is, the projection plane, can be related by transformation including rotation and translation. When these transformations are added,
[Formula 13]

Is obtained. That is,
[Expression 14]

[Expression 15]

Is derived. As a result, the 3 × 4 C matrix includes all information including the position of the principal point 55 of the pinhole camera 51, the orientation of the optical system principal axis 56, and the focal length f. Therefore, if a 3 × 4 C matrix is specified, all three-dimensional coordinate points (x, y, z) specified in the object coordinate system xyz are expressed in the two-dimensional coordinate system x _i defined on the projection plane of the real _map. According to y _i, it can be mapped to a two-dimensional coordinate point (x _i , y _i ).
[0054]
The operation of the shape verification system 10 as described above may be realized according to a software program processed by the CPU (Central Processing Unit) of the EWS 12. As shown in FIG. 11, the software program includes a magnetic recording medium 61 such as an FD (floppy disk), an optical recording medium 62 such as a CD (compact disk) and a DVD (digital video disk), and other arbitrary recordings. What is necessary is just to be taken in by EWS12 through a medium.
[0055]
In the present embodiment, verification of shape accuracy can be realized for a three-dimensional object as described above, and verification of shape accuracy can be realized for a two-dimensional object. Also good.
[0056]
【The invention's effect】
As described above, according to the present invention, the shape of a product can be easily verified without using an inspection tool prepared for each product or a three-dimensional measuring machine that picks up three-dimensional coordinate values at a large number of measurement points. .
[Brief description of the drawings]
FIG. 1 is a schematic diagram schematically showing an overall configuration of a shape verification system according to the present invention.
FIG. 2 is a perspective view schematically showing an inspection table.
FIG. 3 is a block diagram functionally showing the overall configuration of the shape verification system.
FIG. 4 is a block diagram schematically showing a configuration of an edge information analysis circuit.
FIG. 5 is a diagram showing a screen of a display that displays a receiving surface positioned with respect to a three-dimensional image in a virtual space.
FIG. 6 is a diagram illustrating a screen of a display that displays abutting positioned with respect to a three-dimensional image in a virtual space.
FIG. 7 is a diagram showing a perspective image of an object coordinate system projected on a projection plane.
FIG. 8 is a diagram showing a display screen on which a real map and a two-dimensional ideal image are displayed in an overlapping manner.
FIG. 9 is a schematic diagram schematically showing the principle of a virtual camera image forming circuit.
FIG. 10 is a schematic diagram showing a relationship between an object coordinate system xyz and a two-dimensional coordinate system x _i y _i on the projection plane.
FIG. 11 is a schematic diagram schematically showing an overall configuration of a shape verification system according to another specific example.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Shape verification system, 11 Digital still camera as imaging device, 12 Engineering workstation (EWS) as computer, 26 Virtual camera image formation circuit which functions as virtual camera image formation system, 27 Display circuit, 29 Projection plane specific circuit, 30 drawing circuit, 31 error measurement circuit, 32 contour extraction circuit, 35 image manipulation circuit, 37 movement amount calculation circuit, 37a first movement amount calculation circuit, 37b second movement amount calculation circuit, 41 two-dimensional ideal image, 43 three-dimensional Image ridgeline, 44 normal direction, 45 tangential direction, 46 outer product direction, 47 two-dimensional ideal image, 48 real image, 55 optical system principal point, 56 optical system main axis, 61 magnetic recording medium as recording medium, 62 recording Optical recording medium as medium, W object.

Claims

An object is defined by a receiving surface that defines a horizontal plane, a pair of first abutments that define a plane that is orthogonal to the receiving surface, and a second abutment that defines a plane that is orthogonal to the one plane and the receiving surface. A 3D image of the object is reproduced in the virtual space based on the examination table for positioning, the imaging device for generating the real image of the object, and the shape data for specifying the 3D image of the object. A coordinate system construction circuit for constructing a virtual space in a three-dimensional coordinate system that defines the actual dimensions of the object by specifying the positions of the receiving surface, the first butting and the second butting, and a three-dimensional coordinate system And a projection plane specifying circuit that specifies a projection plane on which a real image is projected in a virtual space based on the imaging apparatus information that specifies the position of the optical system principal point, the orientation of the optical system principal axis, and the focal length of the imaging apparatus. Said projection surface Shape verification system characterized in that it comprises a drawing circuit for projecting dimension coordinate system.

The shape verification system according to claim 1, wherein the drawing circuit draws a two-dimensional ideal image of the object on the projection plane based on the shape data.

The shape verification system according to claim 2, further comprising a display circuit that displays the real image and the two-dimensional ideal image on a screen in a superimposed manner.

4. The shape verification system according to claim 3, further comprising an error measurement circuit that measures a dimensional error between the real map and the two-dimensional ideal image according to the three-dimensional coordinate system.

5. The shape verification system according to claim 4, wherein an image operation circuit that moves the three-dimensional image in a three-dimensional space constructed by the three-dimensional coordinate system, and a movement that calculates a movement amount of the three-dimensional image according to the three-dimensional coordinate system. A shape verification system, further comprising a quantity calculation circuit.

6. The shape verification system according to claim 5, wherein a contour extraction circuit that specifies a contour line of the two-dimensional ideal image on the three-dimensional image, and a contour line in a normal direction orthogonal to the surface of the three-dimensional image. A shape verification system, further comprising: a movement direction determination circuit that sets the movement direction of the movement direction.

The shape verification system according to claim 5, wherein a contour extraction circuit that extracts a ridge line of the three-dimensional image, a movement direction of the ridge line is set in a normal direction orthogonal to one surface in contact with the ridge line, and A shape verification system, further comprising: a moving direction determining circuit that sets a moving direction of the ridge line in an outer product direction orthogonal to the tangential direction and the normal direction.

A pair of first abutments that are installed on a receiving surface that defines a horizontal plane and that define one plane orthogonal to the receiving surface, and a second abutment that defines a plane orthogonal to the one plane and the receiving surface reproduces a step of acquiring the image data portray photographed image of abutting is that object from the imaging device, a three-dimensional image of the object in the virtual space based on the particular shape data a three dimensional image of the object, the tertiary A step of constructing in a virtual space a three-dimensional coordinate system that defines the actual dimensions of the object by specifying the positions of the receiving surface, the first abutment and the second abutment with respect to the original image; A step of specifying in a virtual space a projection plane on which a real image is projected based on image pickup device information for specifying a position of an optical system principal point, an orientation of an optical system principal axis, and a focal length of the image pickup device according to the system, and a specified projection Said three on the surface Shape verification method characterized by comprising the step of projecting the original coordinate system.

9. The shape verification method according to claim 8, further comprising a step of drawing a two-dimensional ideal image of the object on a projection plane based on the shape data.

The shape verification method according to claim 9, further comprising a step of displaying the real image and the two-dimensional ideal image on a screen in a superimposed manner.

The shape verification method according to claim 10, further comprising a step of measuring a dimensional error between the real map and the two-dimensional ideal image according to the three-dimensional coordinate system.

12. The shape verification method according to claim 11, wherein in measuring the dimensional error, a step of moving the three-dimensional image in a three-dimensional space constructed by the three-dimensional coordinate system, and a three-dimensional image according to the three-dimensional coordinate system. And a step of calculating a movement amount.

13. The shape verification method according to claim 12, wherein in calculating the amount of movement, a step of specifying a contour line of the two-dimensional ideal image on the three-dimensional image and orthogonal to the surface of the three-dimensional image. And a step of setting the moving direction of the contour line in the normal direction.

The shape verification method according to claim 12, wherein in calculating the amount of movement, a step of extracting a ridge line of the three-dimensional image, and a movement direction of the ridge line in a normal direction orthogonal to one surface in contact with the ridge line. A shape verification method, further comprising: a step of setting; and a step of setting a moving direction of the ridge line in an outer product direction orthogonal to a tangential direction and a normal direction to the ridge line.

2. The shape verification system according to claim 1, wherein the projection plane is separated from the principal point of the optical system by the focal length, and is a coordinate plane orthogonal to the principal axis of the optical system between the principal point of the optical system and the object. A shape verification system comprising:

16. The shape verification system according to claim 15, wherein the projection plane specifying circuit specifies a transformation matrix that realizes coordinate transformation between the two-dimensional coordinate system defined on the coordinate plane and the three-dimensional coordinate system. Shape verification system characterized by

The shape verification system according to claim 16, wherein the three-dimensional coordinate point (x, y, z) specified in the three-dimensional coordinate system is:

However,

And a shape verification system characterized in that it is mapped to a two-dimensional coordinate point (xi, yi) specified in the two-dimensional coordinate system.

A pair of first abutments that are installed on a receiving surface that defines a horizontal plane and that define one plane orthogonal to the receiving surface, and a second abutment that defines a plane orthogonal to the one plane and the receiving surface reproduces a step of acquiring the image data portray photographed image of abutting is that object from the imaging device, a three-dimensional image of the object in the virtual space based on the particular shape data a three dimensional image of the object, the tertiary A step of constructing in a virtual space a three-dimensional coordinate system that defines the actual dimensions of the object by specifying the positions of the receiving surface, the first abutment and the second abutment with respect to the original image; A step of identifying a projection plane on which a real image is projected in a virtual space on the basis of image pickup device information for specifying a position of an optical system principal point, an optical system principal axis, and a focal length of the image pickup device according to the system; Identify original image Recording medium, characterized in that to execute the steps of depict a two-dimensional ideal image of the object on the projection surface based on the shape data to the computer.