JP4821934B1 - ３次元形状計測装置およびロボットシステム - Google Patents

Abstract

【課題】３次元形状の計測処理を高速化すること。
【解決手段】スリット状の光線を計測対象物に対する照射位置を変更させながら照射する照射部と、前記光線が照射された前記計測対象物を順次撮像する撮像部と、前記撮像部によって撮像された画像を走査することによって前記画像における前記光線の位置を検出する位置検出部と、前記位置検出部による走査対象の画像よりも以前に前記撮像部によって撮像された画像における前記光線の位置に基づいて前記走査対象の画像における走査領域を決定する走査領域決定部とを３次元形状計測装置へ設ける。
【選択図】図１Ｃ

Description

本発明は、３次元形状計測装置およびロボットシステムに関する。

従来、物体の３次元形状を計測する３次元形状計測装置がある（たとえば、特許文献１参照）。かかる３次元形状計測装置は、たとえば、スリット状の光線を計測対象物に対する照射位置を変更しながら照射し、光線が照射された計測対象物をカメラによって順次撮像する。

続いて、３次元形状計測装置は、カメラの受光素子から撮像された画像に関する画像情報を読み出し、撮像された画像の全画素を走査することによって画像における光線の位置を検出し、光線の画像における位置とカメラの位置とに基づいて光線の受光角度を算出する。

そして、３次元形状計測装置は、光線の照射角度、受光角度および光線の光源からカメラまでの距離を用い、三角測量の原理によって計測対象物の各部位の高さを算出することにより計測対象物の３次元形状を計測する。

特開平７−２７０１３７号公報

しかしながら、従来の３次元形状計測装置では、画像における光線の位置を検出するために、撮像した画像の全画素を走査していたため、光線の受光角度の算出に時間がかかり、かかる時間が３次元形状の計測処理を高速化する上で妨げとなっていた。

開示の技術は、上記に鑑みてなされたものであって、３次元形状の計測処理を高速化することができる３次元形状計測装置およびロボットシステムを提供することを目的とする。

本願の開示する３次元形状計測装置は、計測対象物に対する照射位置を所定の移動方向へ移動させながらスリット状の光線を照射する照射部と、前記光線が照射される間に前記計測対象物を順次複数回撮像する撮像部と、前記撮像部によって撮像された画像を走査することによって前記画像における前記光線の位置を検出する位置検出部と、前記位置検出部による走査対象の画像を前記移動方向と平行に所定間隔で複数に分割した分割領域にそれぞれ対応する矩形の走査領域を、前記走査対象の画像の直前に前記撮像部によって撮像された画像における前記光線の位置に基づいて決定する走査領域決定部とを備え、前記走査領域決定部は、前記移動方向と平行な向きを前記走査対象の画像における走査方向とし、前記計測対象物の当該画像における法線方向の距離を表す高さが前記走査方向へ向かうにつれて増大した場合には、前記走査領域の前記移動方向の幅を前記高さが変化しない場合よりも小さく決定し、前記高さが前記走査方向へ向かうにつれて低減した場合には、前記高さが変化しない場合よりも前記幅を大きく決定する。

本願の開示する３次元形状計測装置の一つの態様によれば、３次元形状の計測処理を高速化することができる。

図１Ａは、実施例１に係る３次元形状計測装置および計測対象物の位置関係を示す図である。 図１Ｂは、実施例１に係る３次元形状計測装置の撮像部によって撮像される画像の一例を示す図である。 図１Ｃは、実施例１に係る３次元形状計測装置の撮像部によって撮像される画像の一例を示す図である。 図２は、実施例１に係る３次元形状計測装置の構成を示すブロック図である。 図３は、実施例１に係る３次元形状の計測方法を示す図である。 図４Ａは、実施例１に係る走査領域の決定例およびレーザ位置の検出例を示す図である。 図４Ｂは、実施例１に係る走査領域の決定例およびレーザ位置の検出例を示す図である。 図４Ｃは、実施例１に係る走査領域の決定例およびレーザ位置の検出例を示す図である。 図５は、実施例１に係る制御部が実行する処理を示すフローチャートである。 図６Ａは、走査領域決定部による走査領域の補正方法の説明図である。 図６Ｂは、走査領域決定部による走査領域の補正方法の説明図である。 図６Ｃは、走査領域決定部による走査領域の補正方法の説明図である。 図７Ａは、走査領域決定部による走査領域の補正方法の説明図である。 図７Ｂは、走査領域決定部による走査領域の補正方法の説明図である。 図７Ｃは、走査領域決定部による走査領域の補正方法の説明図である。 図８は、実施例２に係るロボットシステムを示す図である。

以下、添付図面を参照して、本願の開示する３次元形状計測装置およびロボットシステムの実施例を詳細に説明する。なお、以下に示す実施例における例示で本発明が限定されるものではない。また、以下では、３次元形状計測装置の実施例を実施例１とし、３次元形状計測装置を含むロボットシステムの実施例を実施例２としてそれぞれ説明する。

まず、実施例１に係る３次元形状計測方法について、図１Ａ、図１Ｂおよび図１Ｃを用いて説明する。図１Ａは、実施例１に係る３次元形状計測装置１および計測対象物７の位置関係を示す図であり、図１Ｂおよび図１Ｃは、実施例１に係る３次元形状計測装置１の撮像部３によって撮像される画像の一例を示す図である。

なお、以下では、説明をわかりやすくする観点から、直交座標系であるＸＹ座標系を計測対象物７の載置面上に設け、かかる載置面の鉛直下方向をＺ軸としている。そして、以下では、計測対象物７の載置面となるステージ６上に載置される直方体を計測対象物７とし、かかる計測対象物７の３次元形状を３次元形状計測装置１によって鉛直上方向から計測する場合について説明する。

図１に示すように、実施例１に係る３次元形状計測方法では、３次元形状計測装置１がレーザ装置２１からミラー２２へ向けてスリット状の光線（以下、「レーザＬＡ」と記載する）を出射する。

続いて、３次元形状計測装置１は、ミラー２２を回転させることでレーザＬＡを計測対象物７に対する照射位置を変更させながら照射する。ここで、３次元形状計測装置１は、計測対象物７におけるレーザＬＡの照射位置をＸ軸の負の方向から正の方向へ向けて移動させながら、計測対象物７に対して斜め上方向からレーザＬＡを照射する。

そして、３次元形状計測装置１は、レーザＬＡが照射された計測対象物７の画像を撮像部３によって順次撮像する。すなわち、撮像部３は、ステージ６および計測対象物７によって反射されたレーザＬＡを受光することにより、ステージ６および計測対象物７上を撮像フレーム毎に移動方向に移動するレーザＬＡを撮像する。

そして、３次元形状計測装置１は、撮像部３によって撮像された各画像におけるレーザＬＡの位置（以下、「レーザ位置」と記載する）を検出し、検出したレーザ位置を用い、三角測量の原理によって計測対象物７の３次元形状を計測する。

たとえば、３次元形状計測装置１は、撮像部３によって図１Ｂに示す１枚目の画像が撮像された後、図１Ｃに示す２枚目の画像が撮像された場合、１枚目の画像については、図１Ｂに示すように、画像全体を走査領域ＳＡとして画像を走査することにより画像におけるレーザ位置Ｌａを検出する。

このとき、３次元形状計測装置１は、Ｘ軸における正の方向と平行な方向を走査方向とし、走査方向への各走査の走査開始位置をＹ軸における正の方向と平行な方向へ順次移動させながら１枚目の画像の全画素を走査する。

後述するように、撮像部３は受光面に整然と並んで配置される複数の受光素子を有しており、かかる受光素子の配列方向（ここではＸ軸方向）とレーザＬＡの移動方向とが対応するように撮像部３の設置姿勢が予め調整されている。

そして、３次元形状計測装置１は、撮像部３が備える全受光素子から画像における各画素の輝度に関する情報を読み出し、走査方向へ並ぶ画素列毎に、各画素の輝度と所定の閾値とを比較する。

続いて、３次元形状計測装置１は、各画素列における輝度が所定の閾値を超えた画素のうち、最も明るい画素の位置を１枚目の画像におけるレーザＬＡの位置Ｌａとして検出する。なお、輝度が所定の閾値を超えた画素の輝度プロフィールを取得し、重心演算処理によりサブピクセル精度で、レーザ位置Ｌａを算出してもよい。

一方、３次元形状計測装置１は、２枚目の画像を走査する場合、図１Ｃに示すように、１枚目の画像を走査する場合よりも狭い走査領域ＳＢに対応する受光素子から選択的に各画素の輝度に関する情報を読み出し、走査領域ＳＢにおける画素を走査することによって２枚目の画像におけるレーザ位置Ｌｂを検出する。

すなわち、実施例１に係る３次元形状計測方法では、レーザＬＡは、ステージ６および計測対象物７上をＸ軸における正の方向へ移動させている。このため、２枚目の画像におけるレーザ位置Ｌｂは、１枚目の画像におけるレーザ位置ＬａよりもＸ軸の正側で検出される。言い換えれば、２枚目の画像におけるレーザ位置Ｌｂは、１枚目の画像におけるレーザ位置ＬａよりもＸ軸の負側で検出されることはない。

また、実施例１に係る３次元形状計測方法では、ミラー２２の回転速度に基づいて１枚目の画像が撮像されてから２枚目の画像が撮像されるまでの間にステージ６および計測対象物７上を移動するレーザＬＡの移動距離を大まかに予測することができる。

そこで、実施例１に係る３次元形状計測方法では、２枚目の画像を走査する場合、１枚目の画像におけるレーザ位置Ｌａを走査開始位置とし、レーザＬＡの予測移動距離に基づいて定めた所定距離だけ走査開始位置から走査方向へ離れた位置を走査終了位置として決定する。

これにより、実施例１に係る３次元形状計測方法では、２枚目の画像を走査する場合、１枚目の画像を走査する場合よりも少ない数の受光素子から選択的に画素の輝度に関する情報を読み出し、各画素を走査することで２枚目の画像におけるレーザ位置Ｌｂを検出することができる。

したがって、実施例１に係る３次元形状計測方法では、撮像部３から画素の輝度に関する情報を読み出す処理、および画像におけるレーザ位置の検出処理に要する時間を短縮することが可能となるため、３次元形状の計測処理を高速化することができる。

また、実施例１に係る３次元形状計測方法によれば、レーザ位置を検出するための走査領域を適切に限定して決定することが可能なため、決定した走査領域以外の領域に外乱光等が侵入した場合に、かかる外乱光等をレーザＬＡとして誤検出することがない。

また、実施例１に係る３次元形状計測方法では、撮像部３によって撮像される３枚目以降の画像を走査する場合、１枚目の画像におけるレーザ位置Ｌａおよび２枚目の画像におけるレーザ位置Ｌｂに基づき、３枚目の画像における走査領域を決定する。なお、かかる点については、図４Ｃを用いて後述する。

次に、実施例１に係る３次元形状計測装置１の構成について、図２を用いて説明する。図２は、実施例１に係る３次元形状計測装置１の構成を示すブロック図である。図２に示すように、３次元形状計測装置１は、照射部２、撮像部３、制御部４および記憶部５を備える。

照射部２は、制御部４による制御に従ってレーザＬＡをステージ６および計測対象物７に対する照射位置を変更しながら照射する装置である。かかる照射部２は、レーザ装置２１とミラー２２とを備える。

レーザ装置２１は、制御部４から入力される制御信号に基づいてスリット状の光線であるレーザＬＡをミラー２２の反射面に対して出射する装置である。また、ミラー２２は、制御部４から入力される制御信号に基づいて反射面を回転制御することによりレーザ装置２１から出射されたレーザＬＡをステージ６および計測対象物７上の照射位置がＸ軸における負方向から正方向へ移動するように照射する反射板である。

撮像部３は、受光素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを備えたカメラである。かかる撮像部３は、レーザＬＡが照射されたステージ６および計測対象物７の画像を順次撮像し、撮像した画像を制御部４へ出力する。なお、撮像部３の受光素子は、ＣＭＯＳセンサに限らず、ＣＣＤ（Charge Coupled Device）センサ等の任意のイメージセンサを適用することができる。

記憶部５は、画像情報５１、レーザ位置情報５２、形状情報５３等を記憶する記憶デバイスである。ここで、画像情報５１は、撮像部３によって撮像された画像を示す情報であり、レーザ位置情報５２は、撮像部３によって撮像された各画像におけるレーザ位置を示す情報である。また、形状情報５３は、３次元形状計測装置１によって計測された計測対象物７の３次元形状を示す情報である。

制御部４は、３次元形状計測装置１全体の動作を統括制御する処理部であり、画像情報取得部４１、位置検出部４２、走査領域決定部４３、形状計測部４４および照射制御部４５を備える。

照射制御部４５は、レーザ装置２１へレーザＬＡの出射を指示する制御信号を出力するとともに、ミラー２２へ反射面の回転角度を指示する制御信号を出力する処理部である。また、照射制御部４５は、形状計測部４４へミラー２２の回転角度を示す情報を出力する。

画像情報取得部４１は、撮像部３によって順次撮像された画像を撮像部３から取得し、画像情報５１として記憶部５へ記憶させる処理部である。かかる画像情報取得部４１は、撮像部３の全受光素子のうち、走査領域決定部４３から入力される走査領域に対応する受光素子から選択的に画素の輝度に関する情報を画像情報５１として読み出して取得する。

位置検出部４２は、記憶部５から読み出した画像情報５１に基づき、撮像部３によって順次撮像された各画像におけるレーザ位置を検出する処理部である。かかる位置検出部４２は、走査領域決定部４３によって決定される走査領域内の画素を走査する。

そして、位置検出部４２は、走査した画素のうち輝度が所定の閾値を超えた画素のうち最も明るい画素の画像における位置を各画像におけるレーザ位置として検出し、検出結果を形状計測部４４へ出力するとともに、検出結果をレーザ位置情報５２として記憶部５へ記憶させる。なお、位置検出部４２によるレーザ位置の検出例については、図４Ａ、図４Ｂおよび図４Ｃを用いて後述する。

走査領域決定部４３は、記憶部５から読み出したレーザ位置情報５２に基づき、位置検出部４２による走査対象の画像よりも以前に撮像部３によって撮像された画像におけるレーザ位置を用いて走査対象の画像における走査領域を決定する処理部である。

かかる走査領域決定部４３は、各画像について位置検出部４２によって走査方向へ走査される画素列（以下、「ライン」と記載する）毎に各走査領域を決定し、決定した走査領域を示す情報を画像情報取得部４１へ出力する。なお、走査領域決定部４３による走査領域の決定例については、図４Ａ、図４Ｂおよび図４Ｃを用いて後述する。

また、走査領域決定部４３は、記憶部５から読み出した形状情報５３に基づき、計測対象物７の画像における法線方向の距離（以下、「計測対象物７の高さ」と記載する）に応じて走査領域を補正する。なお、かかる点については、図６Ａ、図６Ｂ、図６Ｃ、図７Ａ、図７Ｂおよび図７Ｃを用いて後述する。

形状計測部４４は、位置検出部４２から入力される各画像におけるレーザ位置および照射制御部４５から入力されるミラー２２の回転角度に基づき、三角測量の原理によって計測対象物７の３次元形状を計測する処理部である。かかる形状計測部４４は、計測した計測対象部７の３次元形状を形状情報５３として記憶部５へ記憶させる。

次に、形状計測部４４による計測対象物７の３次元形状の計測方法について、図３を用いて簡単に説明する。図３は、実施例１に係る３次元形状の計測方法を示す図である。

図３に示すように、３次元形状計測装置１では、ミラー２２におけるレーザＬＡの反射位置２３および撮像部３におけるレーザＬＡの受光位置３１がステージ６と平行な同一平面（以下、「基準面Ｚ１」と記載する）上に位置するようにミラー２２と撮像部３とが配置される。

そして、形状計測部４４は、ミラー２２の回転角度に基づいてレーザＬＡの計測対象物７に対する照射角度ａを算出する。さらに、形状計測部４４は、画像におけるレーザ位置に基づいて撮像部３によるレーザＬＡの受光角度ｂを算出する。

ここで、ミラー２２におけるレーザＬＡの反射位置２３から撮像部３におけるレーザＬＡの受光位置３１までの距離ｃは既知であり、基準面Ｚ１からステージ６までの距離ｄも既知である。

このため、形状計測部４４は、ミラー２２におけるレーザＬＡの反射位置２３から撮像部３におけるレーザＬＡの受光位置３１までの距離ｃ、レーザＬＡの照射角度ａおよび受光角度ｂを用いて三角測量の原理により基準面Ｚ１から計測対象物７の天面までの距離ｅを算出することができる。

これにより、形状計測部４４は、基準面Ｚ１からステージ６までの距離ｄから、基準面Ｚ１から計測対象物７の天面までの距離ｅを減算することによって計測対象物７の高さｆを算出することができる。したがって、形状計測部４４は、計測対象物７の各部位について高さｆをそれぞれ算出することにより、計測対象物７の３次元形状を算出することができる。

次に、走査領域決定部４３による走査領域の決定例および位置検出部４２によるレーザ位置の検出例について、図４Ａ、図４Ｂおよび図４Ｃを用いて説明する。図４Ａ、図４Ｂおよび図４Ｃは、実施例１に係る走査領域の決定例およびレーザ位置の検出例を示す図である。

図４Ａに示すように、走査対象の画像が撮像部３によって撮像されたｎ枚目の画像であり、計測対象物７に関する１枚目の画像であったとする。かかる場合、走査領域決定部４３は、画像におけるＹ軸方向の最も負側でＸ軸方向へ画素が並ぶライン（以下、「０番目のライン」と記載する）の全画素を０番目のラインの走査領域Ｓａとして決定する。

また、位置検出部４２は、走査領域Ｓａにおける全画素をＸ軸の正方向へ走査して、各画素の輝度と所定の閾値とを比較し、輝度が所定の閾値を超えた画素のうち、最も明るい画素の位置Ｐを０番目のラインにおけるレーザ位置Ｐとして検出する。輝度が所定の閾値を超える画素が存在しない場合は、レーザ未検出とする。

そして、３次元形状計測装置１では、走査領域決定部４３がｎ枚目の画像おける全てのラインについて同様に走査領域Ｓａを決定し、位置検出部４２が全てのラインについて同様にレーザ位置Ｐを検出する。すなわち、ｎ枚目の画像では、画像に含まれる全画素が走査領域決定部４３によって走査領域Ｓａとして決定され、画像に含まれる全画素が位置検出部４２によって走査される。

また、図４Ｂに示すように、走査対象の画像が撮像部３によって撮像されたｎ＋１枚目の画像であり、計測対象物７に関する２枚目の画像であったとする。かかる場合、走査領域決定部４３は、前回撮像された画像である１フレーム前の画像（ここでは、ｎ枚目の画像）に基づき、今回撮像された走査対象の画像（ここでは、ｎ＋１枚目の画像）における走査領域を決定する。

具体的には、走査領域決定部４３は、図４Ｂに示すように、ｎ＋１枚目の画像における０番目のラインの走査領域Ｓｂを決定する場合、ｎ枚目の画像におけるレーザ位置Ｐ_１[０]を走査対象の画像における走査開始位置として決定する。

そして、走査領域決定部４３は、決定した走査開始位置から走査方向であるＸ軸の正方向へ所定距離ＷＩＤＴＨ１離れた位置を走査終了位置として決定し、かかる走査開始位置から走査終了位置までを０番目のラインにおける走査領域Ｓｂとして決定する。

かかる所定距離ＷＩＤＴＨ１は、たとえば、ｎ枚目の画像が撮像されてからｎ＋１枚目の画像が撮像されるまでに計測対象物７上を移動するレーザＬＡの移動距離をミラー２２の回転速度に基づき予測し、予測した移動距離へ所定の係数を乗算して決定される。

そして、画像情報取得部４１は、走査領域Ｓｂに対応する受光素子から走査領域Ｓｂにおける各画素の輝度に関する画像情報５１を選択的に読み出して記憶部５へ記憶させる。また、位置検出部４２は、画像情報５１に基づき、走査領域Ｓｂにおける画素をＸ軸の正方向へ走査して、各画素の輝度と所定の閾値とを比較し、輝度が所定の閾値を超えた画素のうち、最も明るい画素の位置Ｐを０番目のラインにおけるレーザ位置Ｐとして検出する。

そして、３次元形状計測装置１では、走査領域決定部４３がｎ＋１枚目の画像における各ラインについて同様に走査領域Ｓｂを決定し、位置検出部４２が各ラインの走査領域Ｓｂにおける画素を走査してレーザ位置Ｐをそれぞれ検出する。

このように、走査領域決定部４３は、レーザ位置の検出される可能性が高い領域を選択してｎ＋１枚目の画像における走査領域Ｓｂを決定する。

これにより、位置検出部４２は、画像情報取得部４１が走査領域Ｓｂに対応する受光素子から選択的に取得した画像情報５１に基づいてレーザ位置Ｐを検出することが可能となるため、画像の全画素を走査してレーザ位置Ｐを検出する場合よりも短い処理時間でレーザ位置Ｐを検出することができる。

したがって、３次元形状計測装置１では、受光素子から画像情報５１を読み出す処理および画像におけるレーザ位置Ｐを検出するに要する処理時間を短縮することが可能となり、３次元形状の計測処理を高速化することができる。

また、図４Ｃに示すように、走査対象の画像が撮像部３によって撮像されたｎ＋２枚目の画像であり、計測対象物７に関する３枚目の画像であったとする。かかる場合、走査領域決定部４３は、前回撮像された画像である１フレーム前の画像（ここでは、ｎ＋１枚目の画像）および前々回撮像された画像である２フレーム前の画像（ここでは、ｎ枚目の画像）に基づいて今回撮像された走査対象の画像（ここでは、ｎ＋２枚目の画像）における走査領域Ｓｃを決定する。

具体的には、走査領域決定部４３は、ｎ＋２枚目の画像における０番目のラインの走査領域Ｓｃを決定する場合、図４Ｃに示すように、まず、ｎ＋１枚目の画像におけるレーザ位置Ｐ_１[０]を走査対象の画像における走査開始位置Ｐ_１[０]として決定する。

ここで、２フレーム前の画像（ｎ枚目の画像）におけるレーザ位置をＰ_２[０]とすると、２フレーム前の画像におけるレーザ位置Ｐ_２[０]から１フレーム前の画像におけるレーザ位置Ｐ_１[０]までの距離は、Ｐ_１[０]−Ｐ_２[０]となる。

このことから、走査対象となるｎ＋２枚目の画像では、１フレーム前の画像におけるレーザ位置Ｐ_１[０]からＸ軸の正方向へ距離Ｐ_１[０]−Ｐ_２[０]離れた位置でレーザＬＡが検出されると予測できる。

ただし、レーザ位置は、計測対象物７の形状により予測位置からＸ軸方向へずれることがある。そこで、走査領域決定部４３は、走査対象の画像がｎ＋２枚目の画像の場合、走査開始位置Ｐ_１[０]からＸ軸の正方向へ前述した距離Ｐ_１[０]−Ｐ_２[０]＋所定のマージンＷＩＤＴＨ２離れた位置を走査終了位置として決定し、走査領域Ｓｃを決定する。なお、ＷＩＤＴＨ２は、ＷＩＤＴＨ１と同様にミラーの回転速度により可変としてもよい。

このように、走査領域決定部４３は、１フレーム前および２フレーム前の画像における実際のレーザ位置を用いることで、大まかな予測に基づき決定した図４Ｂに示す走査領域Ｓｂよりも狭い走査領域Ｓｃを適切に決定することができる。
そして、画像情報取得部４１は、走査領域Ｓｃに対応する受光素子から走査領域Ｓｃにおける各画素の輝度に関する画像情報５１を選択的に読み出して記憶部５へ記憶させる。また、位置検出部４２は、走査領域Ｓｃにおける画素をＸ軸の正方向へ走査して、各画素の輝度と所定の閾値とを比較し、輝度が所定の閾値を超えた画素のうち、最も明るい画素の位置Ｐを０番目のラインにおけるレーザ位置として検出する。

そして、３次元形状計測装置１では、走査領域決定部４３がｎ＋２枚目の画像おける各ラインについて同様に走査領域Ｓｃを決定し、位置検出部４２が各ラインの走査領域Ｓｃにおける画素を走査してレーザ位置Ｐをそれぞれ検出する。

これにより、位置検出部４２は、ｎ＋１枚目の画像における走査領域Ｓｂよりもさらに狭い走査領域Ｓｃの画素を走査することでｎ＋２枚目の画像におけるレーザ位置Ｐを検出することができる。

したがって、３次元形状計測装置１では、受光素子から画像情報５１を読み出す処理および画像におけるレーザ位置Ｐを検出する処理に要する処理時間をさらに短縮することが可能となり、３次元形状の計測処理をより一層高速化することができる。

また、走査領域決定部４３は、撮像部３によって撮像されたｎ＋３枚目以降の画像について、ｎ＋２枚目の画像の場合と同様に、前回撮像された画像および前々回撮像された画像から実際に検出されたレーザ位置に基づいて走査対象の画像における走査領域を決定する。また、位置検出部４２は、ｎ＋３枚目以降の画像について、ｎ＋２枚目の画像の場合と同様にレーザ位置を検出する。

なお、ｎ＋３枚目以降の画像における走査領域は、連続して撮像された２枚の画像におけるレーザ位置の差分の変化率に基づいて決定してもよい。かかる場合、たとえば、レーザ位置情報５３に基づき、連続する２枚の画像におけるレーザ位置の差分を順次算出し、かかる差分を時系に記憶部５へ記憶させる。

そして、連続する２枚の画像におけるレーザ位置の差分が一定の変化率で時系列に変化した場合、走査領域決定部４３は、かかる変化率を考慮して走査対象の画像における走査領域を決定する。

たとえば、連続する２枚の画像におけるレーザ位置の差分が一定の低減率で低減した場合、走査領域決定部４３は、まず、１フレーム前の画像におけるレーザ位置を走査開始位置として決定する。

そして、走査領域決定部４３は、前述した差分の低減率を考慮し、走査開始位置から走査方向へ、１フレーム前および２フレーム前の画像におけるレーザ位置の差分よりも短い距離だけ離れた位置を走査終了位置と決定する。なお、かかる場合、決定した走査領域にマージンＷＩＤＴＨ２を付加してもよい。

これにより、３次元形状計測装置１は、より適切に走査領域を狭めることができるため、画像におけるレーザ位置の検出に要する処理時間をさらに短縮することが可能となり、３次元形状の計測処理をより一層高速化することができる。

次に、制御部４が実行する処理について、図５を用いて説明する。図５は、実施例１に係る制御部４が実行する処理を示すフローチャートである。なお、図５に示すＭＥＡＳＵＲＥは、ある計測対象物７について撮像部３により撮像される画像の撮像枚数、ＬＩＮＥは、画像におけるライン数である。

また、Ｐ_１[ＬＩＮＥ]は、走査対象の画像の１フレーム前の画像におけるレーザ位置、Ｐ_２[ＬＩＮＥ]は、走査対象の画像の２フレーム前の画像におけるレーザ位置である。

また、Ｌ_１は、各ラインにおける走査開始位置、Ｌ_２は、各ラインにおける走査終了位置である。また、図５におけるＷＩＤＴＨ１は、図４Ｂに示すＷＩＤＴＨ１に相当し、ＷＩＤＴＨ２は、図４Ｃに示すＷＩＤＴＨ２に相当する。

以下では、一例として、ＭＥＡＳＵＲＥが５１２、ＬＩＮＥが５１２の場合、すなわち、ある計測対象物７について所定期間内に０枚目〜５１１枚目の画像が撮像され、１枚の画像が０番目〜５１１番目のラインによって構成されている場合について説明する。なお、１本のラインには、Ｘ軸方向にそれぞれ５１２個の画素（受光素子）が並んでいるものとする。また、以下では、計測対象物７の天面がＸＹ平面に対して平行な場合、すなわち、計測対象物７の各部位における高さが均一な場合について説明する。

実施例１に係る制御部４は、図５に示すように、まず、所定の変数ｔへ０を代入し（ステップＳ１０１）、撮像部３にｔ枚目の撮像露光を開始させることによってｔ枚目の画像を撮像させる（ステップＳ１０２）。すなわち、ここでの変数ｔは、走査対象の画像が何枚目に撮像された画像かを表す。

続いて、制御部４は、Ｐ_１[ＬＩＮＥ]およびＰ_２[ＬＩＮＥ]における各ＬＩＮＥへ０を代入することによりＰ_１[ＬＩＮＥ]およびＰ_２[ＬＩＮＥ]を初期化する（ステップＳ１０３）。続いて、制御部４は、所定の変数ｎへ０を代入する（ステップＳ１０４）。かかる変数ｎは、走査対象のラインが何番目のラインかを表す。

続いて、制御部４は、Ｐ_１[ｎ]＝０か否かを判定する（ステップＳ１０５）。すなわち、制御部４は、ステップＳ１０５において、１フレーム前の画像のｎ番目のラインでレーザＬＡを未検出か否かを判定する。

そして、制御部４は、レーザＬＡを未検出と判定した場合（ステップＳ１０５，Ｙｅｓ）、Ｌ_１へ０、Ｌ_２へＬＩＮＥ−１を代入し（ステップＳ１０６）、処理をステップＳ１０７へ移す。すなわち、制御部４は、１フレーム前の画像のｎ番目のラインでレーザＬＡを未検出の場合、ｎ番目のラインにおける全画素を走査領域Ｓａ（図４Ａ参照）として決定して処理をステップＳ１０７へ移す。

一方、制御部４は、１フレーム前の画像のｎ番目のラインでレーザＬＡを検出済と判定した場合（ステップＳ１０５，Ｎｏ）、Ｐ_２[ｎ]＝０か否かを判定する（ステップＳ１１３）。すなわち、制御部４は、ステップＳ１１３において、２フレーム前の画像のｎ番目のラインでレーザＬＡを未検出か否かを判定する。

そして、制御部４は、レーザＬＡを未検出と判定した場合（ステップＳ１１３，Ｙｅｓ）、Ｌ_１へＰ_１[ｎ]、Ｌ_２へＬ_１＋ＷＩＤＴＨ１を代入し（ステップＳ１１４）、処理をステップＳ１０７へ移す。すなわち、制御部４は、１フレーム前の画像におけるレーザ位置を走査開始位置とし、走査開始位置からＸ軸の正方向へＷＩＤＴＨ１離れた位置を走査終了位置として走査領域Ｓｂ（図４Ｂ参照）を決定し、処理をステップＳ１０７へ移す。

一方、制御部４は、２フレーム前の画像のｎ番目のラインでレーザＬＡを検出済と判定した場合（ステップＳ１１３，Ｎｏ）、Ｌ_１へＰ_１[ｎ]、Ｌ_２へＬ_１＋Ｐ_１[ｎ]−Ｐ_２[ｎ]＋ＷＩＤＴＨ２を代入し（ステップＳ１１５）、処理をステップＳ１０７へ移す。

すなわち、制御部４は、ステップＳ１１５において、１フレーム前の画像におけるレーザ位置を走査開始位置とし、走査開始位置からＸ軸の正方向へＰ_１[ｎ]−Ｐ_２[ｎ]＋ＷＩＤＴＨ２離れた位置を走査終了位置として走査領域Ｓｃ（図４Ｃ参照）を決定し、処理をステップＳ１０７へ移す。

そして、制御部４は、ステップＳ１０７において、ｎライン（ｎ番目のライン）上のＬ_１からＬ_２までの画像情報５１を撮像部３の受光素子から読み出して取得し、取得した画像情報５１からレーザ位置Ｐを算出することによって検出し、処理をステップＳ１０８へ移す。なお、制御部４は、レーザ位置を未検出の場合、Ｐへ０を代入して処理をステップＳ１０８へ移す。

続いて、制御部４は、Ｐ≠０またはＬ_１＝０か否かを判定する（ステップＳ１０８）。すなわち、制御部４は、レーザ位置を検出できたか否か、もしくはｎ番目のラインにおける全画素を走査したか否かを判定する。そして、制御部４は、レーザ位置を検出できなかった場合且つｎ番目のラインにおける全画素を走査していない場合（ステップＳ１０８，Ｎｏ）、処理をステップＳ１０６へ移し、再度ｎ番目のラインの全画素を走査してレーザ位置を検出する。

一方、制御部４は、レーザ位置を検出できた場合（ステップＳ１０８，Ｙｅｓ）、３次元演算処理を行い（ステップＳ１０９）、演算結果を形状情報５３として記憶部５へ格納する（ステップＳ１１０）。続いて、制御部４は、変数ｎを１インクリメントした後（図示略）、変数ｎがＬＩＮＥ以上か否かを判定する（ステップＳ１１１）。

そして、制御部４は、変数ｎがＬＩＮＥ未満であると判定した場合（ステップＳ１１１，Ｎｏ）、処理をステップＳ１０５へ移す。すなわち、制御部４は、１枚の画像の全ラインについて走査が完了するまで、ステップＳ１０５〜ステップＳ１１１、ステップＳ１１３〜ステップＳ１１５の処理を繰り返す。

一方、制御部４は、変数ｎがＬＩＮＥに達したと判定した場合（ステップＳ１１１，Ｙｅｓ）、変数ｔを１インクリメントした後（図示略）、変数ｔがＭＥＡＳＵＲＥ以上か否かを判定する（ステップＳ１１２）。

そして、制御部４は、変数ｔがＭＥＡＳＵＲＥ未満であると判定した場合（ステップＳ１１２，Ｎｏ）、処理をステップＳ１０２へ移す。すなわち、制御部４は、全フレームの画像について走査が完了するまで、ステップＳ１０２〜ステップＳ１１５の処理を繰り返す。一方、制御部４は、変数ｔがＭＥＡＳＵＲＥに達したと判定した場合（ステップＳ１１２，Ｙｅｓ）、処理を終了する。

次に、計測対象物７の天面がＸＹ平面に対して平行でない場合に走査領域決定部４３が行う走査領域の補正について、図６Ａ、図６Ｂ、図６Ｃ、図７Ａ、図７Ｂおよび図７Ｃを用いて説明する。図６Ａ、図６Ｂ、図６Ｃ、図７Ａ、図７Ｂおよび図７Ｃは、走査領域決定部４３による走査領域の補正方法の説明図である。

なお、図６Ａ、図６Ｂ、図６Ｃ、図７Ａ、図７Ｂおよび図７Ｃでは、図３に示すものと同一の構成要素に対して同一の符号を付している。また、以下では、ミラー２２の回転速度が一定であり、撮像部３による撮像の時間間隔が一定の場合について説明する。

図６Ａに示すように、計測対象物７の天面がＸＹ平面に対して平行な場合、走査領域決定部４３は、図７Ａに示すように、１フレーム前の画像におけるレーザ位置Ｐ_１[０]を走査対象の画像における走査開始位置と決定する。そして、走査領域決定部４３は、走査開始位置からＸ軸の正方向へ所定距離ＷＩＤＴＨ１離れた位置Ｐを走査終了位置として決定する。

これに対して、図６Ｂに示すように、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて高くなる計測対象物７１の場合、図６Ａに示す計測対象物７に比べ、計測対象物７１上におけるレーザＬＡの移動速度が遅くなる。

このため、図７Ｂに示すように、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて高くなる計測対象物７１の場合、１フレーム前の画像におけるレーザ位置Ｐ_１[０]と走査対象の画像におけるレーザ位置Ｐとの距離ｑは、図７Ａに示す距離ｐよりも短くなる。

そこで、走査領域決定部４３は、計測対象物７１の部位のうち形状を計測済みの部位に関する形状情報５３に基づき、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて高くなる計測対象物７１か否かを判別する。

そして、走査領域決定部４３は、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて高くなる計測対象物７１の場合、１フレーム前の画像におけるレーザ位置Ｐ_１[０]からＸ軸の正方向へ所定距離ＷＩＤＴＨ１よりも短い距離ＷＩＤＴＨ１ａ離れた位置までを走査領域とする補正を行う。

一方、図６Ｃに示すように、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて低くなる計測対象物７２の場合、図６Ａに示す計測対象物７に比べ、計測対象物７２上におけるレーザＬＡの移動速度が速くなる。

このため、図７Ｃに示すように、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて低くなる計測対象物７２の場合、１フレーム前の画像におけるレーザ位置Ｐ_１[０]と走査対象の画像におけるレーザ位置Ｐとの距離ｒは、図７Ａに示す距離ｐよりも長くなる。

そこで、走査領域決定部４３は、計測対象物７２の部位のうち形状を計測済みの部位に関する形状情報５３に基づき、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて低くなる計測対象物７２か否かを判別する。

そして、走査領域決定部４３は、Ｚ軸方向の高さがＸ軸の正方向へ向かうにつれて低くなる計測対象物７２の場合、１フレーム前の画像におけるレーザ位置Ｐ_１[０]からＸ軸の正方向へ所定距離ＷＩＤＴＨ１よりも長い距離ＷＩＤＴＨ１ｂ離れた位置までを走査領域とする補正を行う。

このように、３次元形状計測装置１では、走査領域決定部４３が計測対象物７、７１、７２のＺ軸方向の高さに応じて適切に走査領域を補正するため、位置検出部４２は、不必要な画素を走査することなく画像におけるレーザ位置Ｐを検出することが可能となる。したがって、３次元形状計測装置１では、レーザ位置Ｐの検出処理に要する処理時間を適切に短縮することで３次元形状の計測処理を高速化することができる。

なお、走査領域決定部４３は、計測対象物７における各部位の高さが均一な場合にも走査領域を補正するよう構成してもよい。たとえば、計測対象物７のＸ軸方向の長さが所定の長さを超える場合、計測対象物７上におけるレーザＬＡの照射位置がＸ軸の正方向へ移動するほど、レーザＬＡの移動速度が高くなり無視できなくなることがある。

かかる場合、走査領域決定部４３は、計測対象物７上におけるレーザの照射位置がＸ軸の正方向へ移動するほど、走査領域を走査方向へ長くする補正を行う。かかる補正を行うことで、計測対象物７のＸ軸方向の長さが所定の長さを超える場合であっても、適切な走査領域を決定することが可能となり、画像におけるレーザ位置を適切に検出することができる。

次に、３次元計状計測装置１を含むロボットシステムの実施例について図８を用いて説明する。

図８は、実施例に係るロボットシステム１０を示す図である。以下では、バラ積みされたワークを判別し、判別したワークを用いた作業をロボットに実行させるロボットシステム１０について説明する。なお、図８では、ワークの一例としてネジを図示しているが、ワークは、ネジに限らずボルトやナット等任意の部材であってもよい。

図８に示すように、ロボットシステム１０は、３次元形状計測装置１と、ロボット制御装置１１と、ロボット１２とを含む。なお、３次元形状計測装置１は、実施例１において説明したものと同様のものであり、山積みされたワークの鉛直上方に設置されてワークの３次元形状を計測する。

ロボット制御装置１１は、３次元形状計測装置１およびロボット１２に接続され、３次元形状計測装置１からバラ積みされたワークに関する形状情報５３（図２参照）を取得する。続いて、ロボット制御装置１１は、バラ積みされたワークから作業対象のワークの位置および向きを判別し、判別結果をロボット１２へ出力する。

ロボット１２は、７軸の関節を備えたロボットアームの先端にワークを把持するロボットハンドを備えている。かかるロボット１２は、ロボット制御装置１１から入力される作業対象のワークの位置および向きに基づいてロボットアームおよびロボットハンドを駆動してワークを把持し、ワークを所定の部材へ取り付ける作業等を行う。

かかるロボットシステム１０では、実施例１と同様に３次元形状計測装置１が走査対象の画像より以前に撮像したワークの画像に基づいて、走査対象の画像における走査領域を適切に狭く決定し、決定した走査領域の画素を走査してワークの３次元形状を計測する。

これにより、ロボット制御装置１１は、３次元形状計測装置１による高速化された形状計測処理によって計測されるワークの３次元形状から迅速に作業対象のワークの位置および向きを検出してロボット１２へ出力することが可能となる。

したがって、ロボットシステム１０によれば、３次元形状計測装置１によるワークの形状計測が開始されてから、ロボット１２によりワークを把持させるまでの処理時間を短縮することによってロボット１２による作業時間を短縮させ、作業効率を向上させることができる。

また、ロボットシステム１０では、ロボット制御装置１１からロボット１２へ出力した作業対象のワークの位置を示す位置情報を３次元形状計測装置１へ出力させ、かかる位置情報に基づいて３次元形状計測装置１による計測処理の内容を変更させてもよい。

すなわち、ロボット１２によって山積みのワークから特定のワークが取り出された場合、ワークが取り出された領域では、山積みのワーク形状に変化が生じるが、ワークが取り出された領域以外の領域では、山積みのワークの形状に変化が生じない場合がある。

かかる場合、３次元形状計測装置１は、たとえば、ロボット１２によって作業対象のワークが取り出された領域について実施例１と同様の走査領域を決定し、ワークが取り出された領域以外については、ワークが取り出される前に撮像された画像におけるレーザ位置を中心とする所定領域を走査領域として決定する。

これにより、ロボットシステム１０では、３次元形状計測装置１の位置検出部４２によって走査させる画素数をさらに低減することで３次元形状の計測処理時間をより短縮することが可能となるため、ロボット１２の作業効率を一層向上させることができる。

なお、実施例２では、３次元形状計測装置１とロボット１２とを別体に設けたが、３次元形状計測装置１は、ロボット１２におけるロボットアームの先端部に一体に設けてもよい。

かかる構成とする場合、ロボット制御装置１１は、ロボット１２がワークの取り付け作業を終了する毎に、ロボットアームを駆動して作業対象のワークの形状を計測可能な位置まで３次元形状計測装置１を移動させる。かかる構成により、ロボットシステム１０の設置スペースを省スペース化することが可能となる。

また、上述した実施例１および実施例２では、画像情報５１が読み出される受光素子を走査領域決定部４３によって制限する場合について説明したが、レーザ位置の検出対象となる画像情報５１を走査領域決定部４３によって制限してもよい。

かかる構成とする場合、画像情報取得部４１は、撮像部３が備える全受光素子から画像情報５１を読み出し、記憶部５へ格納する。また、走査領域決定部４３は、図１Ｂ、図１Ｃ、図４Ａ、図４Ｂおよび図４Ｃに示す走査領域を決定して位置検出部４２へ出力する。

そして、位置検出部４２は、走査領域決定部４３から入力される操作領域に対応した画像情報５１を記憶部５から読み出し、走査領域に対応した部分の画像を選択的に走査することによって走査対象の画像におけるレーザ位置を検出する。

このように、レーザ位置の検出対象となる画像情報５１を走査領域決定部４３によって制限することにより、レーザ位置の検出処理に要する処理時間を短縮することが可能となるため、３次元形状の計測処理を高速化することができる。

また、上述した実施例１および実施例２では、照射部２がレーザＬＡを計測対象物７、７１および７２に対して照射角度を変更させながら照射する場合について説明したが、照射角度を変更せずに計測対象物７、７１および７２上でレーザＬＡを移動させてもよい。

かかる場合、たとえば、レーザ装置２１をＸＹ平面と平行に移動させながらレーザＬＡを計測対象物７、７１および７２へ照射させることによって、照射角度を変更せずに計測対象物７、７１および７２上でレーザＬＡを移動させることができる。

また、上述した実施例１および実施例２では、操作対象の画像よりも以前に撮像された画像に基づいて操作対象の画像における走査領域を決定したが、走査領域は、必ずしも操作対象の画像よりも以前に撮像された画像に基づいて決定する必要はない。

たとえば、計測対象物７、７１および７２が既知の物体である場合、物体の種類に基づいて計測対象物７、７１および７２の画像におけるレーザ位置を予め大まかに予測することができる。このため、かかる場合には、大まかに予測した前述のレーザ位置に基づき予め定めた計測対象物７、７１および７２毎の走査領域（図１Ｂ、図１Ｃ、図４Ａ、図４Ｂおよび図４Ｃに示す走査領域参照）を画像におけるライン毎に記憶部５へ記憶させておく。

そして、画像情報５１が読み出される受光素子を走査領域決定部４３によって制限する場合、画像情報取得部４１が、記憶部５に記憶されている走査領域に対応する受光素子から選択的に画像情報５１を読み出し、位置検出部４１が画像情報５１から画像のライン毎にレーザ位置を検出する。

また、レーザ位置の検出対象となる画像情報５１を走査領域決定部４３によって制限する場合には、位置検出部４２は、記憶部５に記憶されている走査領域に対応した画像情報５１に基づき、走査領域に対応した部分の画像を選択的に走査することによって走査対象の画像におけるレーザ位置を検出する。

かかる構成によれば、３次元形状計測装置は、走査領域の決定処理を行うことなく、画像におけるレーザ位置を検出することができる。しかも、３次元形状計測装置は、画像のライン毎にレーザ位置を検出することができる。

したがって、かかる３次元形状計測装置によれば、画像のライン毎にきめ細やかな走査を行うことで、画像におけるレーザ位置の検出精度を向上させることができ、走査領域の決定処理を省略した分、３次元形状の計測処理に要する時間を短縮することができる。

１ ３次元形状計測装置
２ 照射部
２１ レーザ装置
２２ ミラー
３ 撮像部
４ 制御部
４１ 画像情報取得部
４２ 位置検出部
４３ 走査領域決定部
４４ 形状計測部
４５ 照射制御部
５ 記憶部
５１ 画像情報
５２ レーザ位置情報
５３ 形状情報

Claims (5)

1. 計測対象物に対する照射位置を所定の移動方向へ移動させながらスリット状の光線を照射する照射部と、
   前記光線が照射される間に前記計測対象物を順次複数回撮像する撮像部と、
   前記撮像部によって撮像された画像を走査することによって前記画像における前記光線の位置を検出する位置検出部と、
   前記位置検出部による走査対象の画像を前記移動方向と平行に所定間隔で複数に分割した分割領域にそれぞれ対応する矩形の走査領域を、前記走査対象の画像の直前に前記撮像部によって撮像された画像における前記光線の位置に基づいて決定する走査領域決定部と
   を備え、
   前記走査領域決定部は、
   前記移動方向と平行な向きを前記走査対象の画像における走査方向とし、前記計測対象物の当該画像における法線方向の距離を表す高さが前記走査方向へ向かうにつれて増大した場合には、前記走査領域における前記移動方向の幅を前記高さが変化しない場合よりも小さく決定し、前記高さが前記走査方向へ向かうにつれて低減した場合には、前記高さが変化しない場合よりも前記幅を大きく決定する
   ことを特徴とする３次元形状計測装置。
2. 前記走査領域決定部は、
   前記走査方向への各走査の走査開始位置を前記走査方向と直交する方向へ順次移動させながら前記走査対象の画像を走査する場合、前記走査方向への走査毎に前記走査領域を決定する
   ことを特徴とする請求項１に記載の３次元形状計測装置。
3. 前記走査領域決定部は、
   前記走査対象の画像の直前に前記撮像部によって撮像された画像における前記光線の位置を前記走査対象の画像における走査開始位置とし、前記走査対象の画像における当該走査開始位置から前記走査方向へ所定距離離れた位置を走査終了位置として決定する
   ことを特徴とする請求項２に記載の３次元形状計測装置。
4. 前記走査領域決定部は、
   前記走査対象の画像の直前に前記撮像部によって撮像された画像における前記光線の位置および前々回撮像された画像における前記光線の位置間の距離に基づいて前記所定距離を決定する
   ことを特徴とする請求項３に記載の３次元形状計測装置。
5. 計測対象物に対する照射位置を所定の移動方向へ移動させながらスリット状の光線を照射する照射部と、
   前記光線が照射される間に前記計測対象物を順次複数回撮像する撮像部と、
   前記撮像部によって撮像された画像を走査することによって前記画像における前記光線の位置を検出する位置検出部と、
   前記位置検出部による走査対象の画像を前記移動方向と平行に所定間隔で複数に分割した分割領域にそれぞれ対応する矩形の走査領域を、前記走査対象の画像の直前に前記撮像部によって撮像された画像における前記光線の位置に基づいて決定する走査領域決定部と
   を備えた３次元形状計測装置と、
   前記３次元形状計測装置から前記ワークの３次元形状を示す情報を取得し、当該情報および当該ワークに関する作業命令をロボットへ出力するロボット制御装置と、
   前記ロボット制御装置から入力される情報および作業命令に基づいて作業対象の前記ワークを判別して作業を行うロボットと
   を備え、
   前記走査領域決定部は、
   前記移動方向と平行な向きを前記走査対象の画像における走査方向とし、前記計測対象物の当該画像における法線方向の距離を表す高さが前記走査方向へ向かうにつれて増大した場合には、前記走査領域における前記移動方向の幅を前記高さが変化しない場合よりも小さく決定し、前記高さが前記走査方向へ向かうにつれて低減した場合には、前記高さが変化しない場合よりも前記幅を大きく決定する
   ことを特徴とするロボットシステム。

Images