JP3948381B2 - 直方体計測方法及び直方体計測装置 - Google Patents

直方体計測方法及び直方体計測装置 Download PDF

Info

Publication number
JP3948381B2
JP3948381B2 JP2002287953A JP2002287953A JP3948381B2 JP 3948381 B2 JP3948381 B2 JP 3948381B2 JP 2002287953 A JP2002287953 A JP 2002287953A JP 2002287953 A JP2002287953 A JP 2002287953A JP 3948381 B2 JP3948381 B2 JP 3948381B2
Authority
JP
Japan
Prior art keywords
coordinate value
rectangular parallelepiped
cardboard box
scan
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002287953A
Other languages
English (en)
Other versions
JP2004125525A (ja
Inventor
宏一郎 永田
豊 久光
清英 関本
Original Assignee
石川島播磨重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 石川島播磨重工業株式会社 filed Critical 石川島播磨重工業株式会社
Priority to JP2002287953A priority Critical patent/JP3948381B2/ja
Priority to CNB2006101418886A priority patent/CN100510612C/zh
Priority to PCT/JP2003/012412 priority patent/WO2004029546A1/ja
Priority to CN2008101492633A priority patent/CN101393013B/zh
Priority to CNB038032759A priority patent/CN1306243C/zh
Publication of JP2004125525A publication Critical patent/JP2004125525A/ja
Application granted granted Critical
Publication of JP3948381B2 publication Critical patent/JP3948381B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、パルスレーザ光を用いて直方体の設置位置や大きさを計測する直方体の計測方法および直方体の計測装置に関する。
【0002】
【従来の技術】
従来、レーザドップラー法を利用して、搬送中における直方体形状の物品の侵入角度と側辺の実長を測定する方法や装置が知られている(例えば、特許文献1参照。)。
【0003】
より、詳細には、上記従来の方法や装置は、直方体形状の物品が、ベルトコンベヤによって搬送されてくる過程において、レーザドップラー速度センサーによって求められた上記ベルトコンベヤの移動速度と、上記直方体の上部で上記ベルトコンベヤの移動方向に直角な方向に並べて設けられた2つの物体位置検出センサーが、上記搬送されてくる直方体を検出した各時刻の時間差とに基づいて、上記直方体の側辺の真の長さと、上記ベルトコンベヤの移動方向に対する上記直方体の侵入角度とを求めるものである。
【0004】
【特許文献1】
特開平8−285554号公報
【0005】
【発明が解決しようとする課題】
ところで、上記従来の方法や装置では、移動していない直方体を計測することはできず、さらに、上記直方体の側辺の真の長さや、上記ベルトコンベヤの移動方向に対する上記直方体の侵入角度以外の値、たとえば、上記直方体の幅や高さを計測することはできず、したがって、上記直方体の全体の大きさを計測することができないという欠点がある。
【0006】
本発明は、停止して設置されている直方体の設置位置や上記直方体の全体の大きさを計測することができる直方体計測方法と直方体計測装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
請求項1に記載の発明は、xy平面に対して底面がほぼ平行になるように設置された直方体の大きさまたは設置位置を、上記直方体の外部に設けられたレーザ光発生器が発射するパルスレーザ光を用いて計測する直方体計測方法において、上記パルスレーザ光で上記直方体を二次元的に走査し、上記直方体で反射された反射光を受光し、上記パルスレーザ光の発射方向と、上記パルスレーザ光の発射時刻とこのパルスレーザ光の反射光の受光時刻との時間差とによって、上記直方体の反射位置を検出する反射位置検出工程と、上記検出された複数の反射位置に基づいて、上記直方体の大きさまたは設置位置を算出する算出工程とを有し、上記算出工程は、上記検出された複数の反射位置に基づいて、上記直方体の稜線の座標値を算出し、この算出された稜線の座標値を用いて上記直方体の上面の各頂点を算出し、上記直方体の大きさまたは設置位置を算出する工程であり、上記走査は、一定の方向に一次元的にスキャンをした後、スキャン位置を変えて上記一定の方向とほぼ平行な方向に上記一次元的なスキャンと同様なスキャンを複数回行うことによって、上記直方体を二次元的に走査するものであり、上記算出工程は、上記各一次元的なスキャン毎に、上記各反射位置の中でほぼ一直線上に並んだ点群のx座標値とy座標値とからxy平面上の直線式を求め、この直線式の本数と傾きとに基づいて、上記レーザ光発生器から上記直方体のいずれの面に上記パルスレーザ光が照射されたかを判断し、上記直方体の上面に上記パルスレーザ光が照射された場合、上記各スキャン毎の上記上面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値と、上記各スキャン毎の上記上面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、上記直方体の上面の4つの各稜線を含む4種類の各直線を求めて、上記各直線の交点のx座標値とy座標値とを求め、さらに、上記上面の反射位置のz座標値を用いて、上記直方体の上記上面の各頂点を算出し、上記直方体の2つの側面に上記パルスレーザ光が照射された場合、上記各スキャン毎に上記各反射位置のx座標値とy座標値とからxy平面上の2つの直線式を求め、この2つの直線式の交点から、z軸にほぼ平行な、上記直方体の第1の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第2の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第3の稜線のx座標値とy座標値とを求め、上記第1〜第3の各稜線の各x座標値と各y座標値とによって、z軸にほぼ平行な、上記直方体の第4の稜線のx座標値とy座標値とを求め、上記各反射位置のz座標値の最大値から、上記直方体の上面の高さ位置を求め、上記第1〜第4の稜線の各x座標値と各Y座標値と、上記上面の高さ位置とによって、上記直方体の上記上面の各頂点を算出し、上記直方体の1つの側面のみに上記パルスレーザ光が照射された場合、上記直方体の大きさまたは設置位置を算出することは不可能であると判断する直方体計測方法である。
【0008】
請求項2に記載の発明は、さまたは設置位置を計測する直方体計測装置において、パルスレーザ光を上記直方体に対して発射可能なパルスレーザ光発射手段と、上記パルスレーザ光で上記直方体を二次元的に走査する走査手段と、上記直方体で反射された上記パルスレーザ光を受光可能なパルスレーザ光受光手段と、上記パルスレーザ光の発射方向と、上記パルスレーザ光の発射時刻とこのパルスレーザ光の反射光の受光時刻との時間差とによって、上記直方体の反射位置を検出する反射位置検出手段と、上記検出された複数の反射位置に基づいて、上記直方体の大きさまたは設置位置を算出し出力する算出手段とを有し、上記算出手段は、上記検出された複数の反射位置に基づいて、上記直方体の稜線の座標値を算出し、この算出された稜線の座標値を用いて上記直方体の上面の各頂点を算出し、上記直方体の大きさまたは設置位置を算出する手段であり、上記走査手段は、一定の方向に一次元的にスキャンをした後、スキャン位置を変えて上記一定の方向とほぼ平行な方向に上記一次元的なスキャンと同様なスキャンを複数回行うことによって、上記直方体を二次元的に走査する手段であり、上記算出手段は、上記各一次元的なスキャン毎に、上記各反射位置の中でほぼ一直線上に並んだ点群のx座標値とy座標値とからxy平面上の直線式を求め、この直線式の本数と傾きとに基づいて、上記レーザ光発生器から上記直方体のいずれの面に上記パルスレーザ光が照射されたかを判断し、上記直方体の上面に上記パルスレーザ光が照射された場合、上記各スキャン毎の上記上面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値と、上記各スキャン毎の上記上面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、上記直方体の上面の4つの各稜線を含む4種類の各直線を求めて、上記各直線の交点のx座標値とy座標値とを求め、さらに、上記上面の反射位置のz座標値を用いて、上記直方体の上記上面の各頂点を算出し、上記直方体の2つの側面に上記パルスレーザ光が照射された場合、上記各スキャン毎に上記各反射位置のx座標値とy座標値とからxy平面上の2つの直線式を求め、この2つの直線式の交点から、z軸にほぼ平行な、上記直方体の第1の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第2の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第3の稜線のx座標値とy座標値とを求め、上記第1〜第3の各稜線の各x座標値と各y座標値とによって、z軸にほぼ平行な、上記直方体の第4の稜線のx座標値とy座標値とを求め、上記各反射位置のz座標値の最大値から、上記直方体の上面の高さ位置を求め、上記第1〜第4の稜線の各x座標値と各Y座標値と、上記上面の高さ位置とによって、上記直方体の上記上面の各頂点を算出し、上記直方体の1つの側面のみに上記パルスレーザ光が照射された場合、上記直方体の大きさまたは設置位置を算出することは不可能であると判断する手段である直方体計測装置である。
【0011】
【発明の実施の形態】
図1は、本発明の実施の形態に係る直方体計測装置3の概略構成を示す図である。
【0012】
直方体計測装置3は、パルスレーザ光LB1をダンボール箱1に対して発射可能なパルスレーザ光発射手段5と、上記パルスレーザ光LB1で上記ダンボール箱1を二次元的に走査する走査手段7と、上記ダンボール箱1で反射された上記パルスレーザ光LB1を受光可能なパルスレーザ光受光手段9と、上記パルスレーザ光LB1の発射方向と、上記パルスレーザ光LB1の発射時刻とこのパルスレーザ光LB1の反射光の受光時刻との時間差とによって、上記ダンボール箱1の反射位置を検出する反射位置検出手段11と、上記検出された複数の反射位置に基づいて、上記ダンボール箱1の全体の大きさまたは設置位置を算出し出力する算出手段13とを有する。
【0013】
ここで、パルスレーザ光発射手段5は、コントロールユニット15に設けられた、パルスレーザ光LB1を生成可能なレーザユニット17を備え、上記生成されたパルスレーザ光LB1が、走査手段7の基台19に設けられたパルスレーザ発射部21から、上記走査手段7のポリゴンミラー23の反射面に向かって発射されるようになっている。
【0014】
走査手段7は、一定の方向に一次元的にパルスレーザ光LB1でダンボール箱1をスキャンした後、スキャン位置を変えて上記一定の方向とほぼ平行な方向に上記一次元的なスキャンと同様なスキャンを複数回行うことによって、上記ダンボール箱1の表面のうちで、パルスレーザ光LB1を照射可能な面のほぼ全域を二次元的に走査するものである。
【0015】
ここで、走査手段7は、基台19を備え、この基台19には、ポリゴンミラー23を回転自在に支持しているポリゴンミラー支持部材25が回転自在に支持されている。なお、ポリゴンミラー23の回転軸とポリゴンミラー支持部材25の回転軸とは、互いにほぼ直角に設けられている。また、上記ポリゴンミラー23には、ポリゴンミラー23を矢印AR11の方向に回転させるための制御モータ27が連動連結され、上記ポリゴンミラー支持部材25には、ポリゴンミラー支持部材25を矢印AR12の方向に回転させるための制御モータ29が連動連結されている。
【0016】
そして、側面の4面に反射面を形成しているポリゴンミラー23が回転することによって、パルスレーザ発射部21から発射されたパルスレーザ光LB1の発射方向が変化し、このパルスレーザ光LB1で、一定の方向に一次元的にダンボール箱1をスキャンするようになっている。また、ポリゴンミラー支持部材25が回転することによって、上記一次元的なスキャンとほぼ平行である一次元的なスキャンを複数回繰り返し、ダンボール箱1を二次元的にスキャンできるようになっている。
【0017】
制御モータ27や制御モータ29には、たとえば、これらの各制御モータの回転角度を検出するためのエンコーダが設けられており、上記各エンコーダによって、上記パスルレーザ光LB1の発射方向を検出可能になっている。
【0018】
パルスレーザ光受光手段9は、パルスレーザ光発射手段5が発射し、ダンボール箱1の表面で反射され、集光レンズ31で集光されたパルスレーザ光を検知するためのディテクター33を備える。なお、ダンボール箱1の表面で反射された上記パルスレーザ光は、ポリゴンミラー23によって反射されて、集光レンズ31の方向に進行する。
【0019】
なお、パルスレーザ発射部21や集光レンズ31やディテクター33は、図示しない連結部材を介して、ポリゴンミラー支持部材25に一体的に固定され、ポリゴンミラー支持部材25の回転にしたがって、ポリゴンミラー支持部材25と共に回転するようになっている。
【0020】
反射位置検出手段11は、コントロールユニット15に設けられたカウンタ35を備え、このカウンタ35が、上記レーザユニット17から発射されたパルスレーザ光LB1の発射時刻と、ディテクター33が検知した上記パルスレーザ光LB1の反射光の受光時刻との時間差を求める。
【0021】
そして、上記カウンタ35で求められた上記時間差と、上記パルスレーザ光LB1の発射方向を示す、各エンコーダによって検出された制御モータ27の出力軸の回転角度の値、制御モータ29の出力軸の回転角度の値とを、コントロールユニット15に設けられたコントロールPC(Personal Computer)37が受け取り、上記パルスレーザ光における上記ダンボール箱1の表面の反射位置を、コントロールPC37が検出するようになっている。
【0022】
なお、コントロールPC37は、上述のように、レーザユニット17やカウンタ35が設けられたコントロールユニット15全体を制御すると共に、制御モータ27、制御モータ29を制御するものである。
【0023】
上記算出手段13は、上位PC39を用い、コントロールPC37で検出された複数の反射位置に基づいて、上記ダンボール箱1の稜線の座標値を算出し、この算出された稜線の座標値を用いて上記ダンボール箱1の各頂点を算出し、上記ダンボール箱1の全体の大きさまたは設置位置を算出し出力するものである。なお、上記算出された上記ダンボール箱1の大きさまたは設置位置は、上記上位PC39に設けられたLCD(Liquid Crystal Display)等のディスプレイ(図示せず)や上記上位PC39に接続されたプリンターに出力され表示されるものとする。
【0024】
次に、直方体計測装置3の動作について説明する。
【0025】
なお、直方体計測装置3の各動作は、図1に示すコントロールPC37や上位PC39の制御の下で行われている。
【0026】
まず、直方体計測装置3が、ダンボール箱1を計測するために発射したパルスレーザ光LB1の上記ダンボール箱1の表面上における反射位置のxyz座標値を求める動作について説明する。
【0027】
なお、上記動作において、ダンボール箱1と直方体計測装置3との間の相対的な位置関係は変化しないものとする。たとえば、ダンボール箱1が床面に対して移動しない状態で設置されており、直方体計測装置3の基台19も上記床面に対して移動しない状態で設置されているものとする。
【0028】
図2は、直方体計測装置3の動作の概略を示す図である。
【0029】
なお、図2では、床面に対してダンボール箱1の底面がほぼ平行になるように(たとえば、上記底面が上記床面と接するように)ダンボール箱1が設置されており、また、上記床面の上方部に、直方体計測装置3が設けられている。
【0030】
パルスレーザ光LB1を発射しつつ、図1に示すポリゴンミラー23を回転することによって、直方体計測装置3は、図2に示す矢印AR21の方向に、直線的かつ一次元的なスキャンW21を行う。なお、上記スキャンW21では、パルスレーザ光LB1が「N」回発射され、上記床面上には、各反射位置(点)P11〜P1Nが形成されている。
【0031】
続いて、図1に示すポリゴンミラー支持部材25を回転させて、パルスレーザ光LB1を発射しつつ、図1に示すポリゴンミラー23を回転させることによって、直方体計測装置3は、一次元的にスキャンする位置を、図2に示す矢印AR22の方向に移動して、スキャンW21とほぼ同様な直線的かつ一次元的なスキャンW22を行う。さらに、直方体計測装置3は、スキャンW21とほぼ同様な複数のスキャンW23〜W2Mを行う。このように、一次元的な複数回のスキャンW21〜W2Mで、直方体計測装置3は、ダンボール箱1に対して二次元的なスキャン(走査)を行う。なお、上記各一次元的なスキャンW21〜W2Mの走査方向は、互いにほぼ平行である。
【0032】
次に、ダンボール箱1の反射位置を検出(抽出)する動作について説明する。
【0033】
図3は、図2における1つの一次元的なスキャンW2nをダンボール箱1に対して行った場合を示す図である。
【0034】
なお、図3では、底面がxy平面(「z=0」の面)Pxyに接するようにダンボール箱1が設置され、直方体計測装置3が、xyz空間の所定の位置(たとえば、「x=0」、「y=0」、「z=H;高さ」)に設置されている。
【0035】
また、図3(1)は、1つの一次元的なスキャンW2nを行った場合の正面図であり、図3(2)は、図3(1)におけるIII矢視を示す平面図である。
【0036】
ここで、図2で説明したように、パルスレーザ光LB1を発射しつつ、図1に示すポリゴンミラー23が回転することによって、図3(2)の矢印AR31の方向に1つの直線的かつ一次元的なスキャンW2nが行われる。この1つの一次元的なスキャンW2nでは、複数の(「n」個の)パルスレーザ光WP1〜WPnが発射され、この各パルスレーザ光WP1〜WPnに応じて複数の反射位置(反射ポイント)P〜Pが形成される。
【0037】
ここで、たとえば、直方体計測装置3と反射位置Pとの間の距離と、パルスレーザ光Wprの発射方向とを用いて、反射位置Pを、上記xyz空間におけるxyz座標値を用いて表す場合について説明する。
【0038】
1つのパルスレーザ光Wprが直方体計測装置3から発射された時刻を時刻tとし、上記パルスレーザ光Wprが、ダンボール箱1上の反射位置Pで反射されて、上記直方体計測装置3で受光された時刻を時刻tとすれば、上記直方体計測装置3から上記反射位置Pまでの距離L3は、式「L3=(t−t)×c」(「c」は光速度)で算出される。
【0039】
また、図3(1)に示すように、上記パルスレーザ光Wprの発射方向と、z軸との交差角度を角度θとして、図3(2)に示すように、上記パルスレーザ光Wprの発射方向と、y軸との交差角度を角度φとすると、上記反射位置Pのz座標値は、計算式「H−L3cosθ」で求めることができ、上記反射位置Pのx座標値は、計算式「−L3sinθsinφ」で求めることができ、上記反射位置Pのy座標値は、計算式「L3sinθcosφ」で求めることができる。
【0040】
同様にして、上記パルスレーザ光Wpr以外の各パルスレーザ光Wp1〜Wpr−1、Wpr+2〜Wpnの各反射位置P〜Pr−1、Pr+2〜Pのxyz座標値も求めることができ、各反射位置P〜Pのxyz座標値が求められる。
【0041】
これらの各反射位置P〜Pのうちで、z座標値がほぼゼロ(「0」)である各反射位置P〜Pr−1、Pr+9〜Pは、上記xy平面Pxy上の反射位置を示しており、z座標値がゼロではない各反射位置P〜Pr+8は、ダンボール箱1上の反射位置を示している。
【0042】
したがって、各反射位置P〜Pr−1、Pr+9〜Pは、上記xy平面Pxy上の反射位置であり、ダンボール箱1上の反射位置ではないので無視し、各反射位置P〜Pr+8に基づいて、上記ダンボール箱1の稜線の座標値を算出し、この算出された稜線の座標値を用いて上記ダンボール箱1の上面の各頂点を算出し、ダンボール箱1の設置位置や全体の大きさを算出する。
【0043】
なお、図3(2)に示す、たとえば1つの反射位置Pのように、上記反射位置P先後の反射位置Pm−1、Pm+1に対して、明らかに座標値が大きく異なっているものは、たとえば、空気中に浮遊しているゴミ等を検出したものとして無視する。すなわち、反射位置Pには、ダンボール箱1は存在しないものとする。
【0044】
なお、図3では、1つの一次元的スキャンW2nについて説明したが、図3(1)に示す交差角度θを変えて、他の一次元的スキャンを行った場合も、一次元的スキャンW2nと同様に、ダンボール箱1の表面上の各反射位置のxyz座標値が求められる。そして図2に示すように、複数の一次元的スキャンW21〜W2Mによって、ダンボール箱1を二次元的にスキャンすることになる。なお、複数の一次元的スキャンW21〜W2Mによって形成された1つの二次元的スキャンを1つのフレームと表現する場合もある。
【0045】
また、図3(1)に示す交差角θの値が大きくなって、直方体計測装置3が発射するパスルレーザ光が反射されなくなった場合、上記パルスレーザ光が発射された方向には、ダンボール箱1は存在しないものとする。
【0046】
次に、上記ダンボール箱1の表面上の各反射位置のxyz座標値を検出した後に、これらの各検出値から、上記ダンボール箱1の設置位置や全体の大きさを求める場合の直方体計測装置3の動作について詳しく説明する。
【0047】
図4は、直方体計測装置3が、ダンボール箱1の設置位置や全体の大きさを測定するときの動作の概略を示すフローチャートである。
【0048】
まず、直方体計測装置3は、図2に示すような1つのフレーム(各スキャンW21〜W2Mによって構成される1つのフレーム)における各一次元的スキャン毎に、ダンボール箱1上の各反射位置を求め、この求めた各反射位置を互いに結ぶxy平面上の直線式を求める(S1)。
【0049】
ここで、1つの一次元的スキャンにおいて、ダンボール箱1上の各反射位置を結ぶxy平面上の直線式を求める動作について詳しく説明する。
【0050】
図5は、図3に示す、ダンボール箱1の各反射位置P〜Pr+8の部分を拡大した図である。
【0051】
ここで、図5に示した各反射位置P〜Pr+8は、xy平面上に表されたものであり、各反射位置P〜Pr+8のうちの反射位置P〜Pr+2は、ほぼ一直線上に並んで1つの群41を構成し、反射位置Pr+2〜Pr+6は、ほぼ一直線上に並んで1つの群43を構成し、反射位置Pr+6〜Pr+8は、ほぼ一直線上に並んで1つの群45を構成している。
【0052】
上記群41を構成している各反射位置P〜Pr+2から、たとえば最小二乗法を用いて、直線42を算出する。なお、この直線42の式は、「y=Kx+T」で表すことができる。
【0053】
同様にして、上記群43を構成している各反射位置Pr+2〜Pr+6から直線44を算出し、上記群45を構成している各反射位置Pr+6〜Pr+8から直線46を算出する。なお、上記直線44の式は、「y=Kx+T」で表すことができ、上記直線46の式は、「y=Kx+T」で表すことができる。
また、上記直線44の式の「K」の値は、ゼロに近い値になる。
【0054】
図5では、1つの一次元的スキャンW2nで検出されたダンボール箱1の各反射位置で、各直線42、44、46を算出しているが、図3に示すスキャンW2n以外の各一次元的スキャンW21〜W2M(図2参照)毎に、上記xy平面上の各直線式を求める。
【0055】
なお、図3に示す直方体計測装置3とダンボール箱1との位置関係では、直方体計測装置3で、ダンボール箱1の上面と2つの側面とにパルスレーザ光を照射することができる。ただし、各一次元的なスキャンの総てが、ダンボール箱1の上面と2つの側面とにパルスレーザ光を照射するわけではなく、各スキャンがダンボール箱1のいずれの面にパルスレーザ光を照射することができるか否かは、図3(1)示す、発射されたパルスレーザ光の進行方向とZ軸との間の交差角度θ等によって決まる。
【0056】
そして、ダンボール箱1の上面と2つの側面とにパルスレーザ光を照射した一次元的なスキャンでは、上述のように3本の直線を得る(算出する)ことができ、これらの各直線の傾きは互いに異なる。ダンボール箱1の2つの側面のみにパルスレーザ光を照射した一次元的なスキャンでは、2本の直線を得ることができ、これらの各直線の傾きは互いに異なる。また、ダンボール箱1の上面のみにパルスレーザ光を照射した一次元的なスキャンでは、1本の直線を得ることができる。
【0057】
次に、ダンボール箱1と直方体計測装置3の相対的な位置関係と、直方体計測装置3のスキャンによる、ダンボール箱1上の各反射位置で算出されたxy平面上の直線の本数または上記各直線の傾きとの関係について詳細に説明する。
【0058】
図6〜図11は、ダンボール箱1と直方体計測装置3との間の相対的な位置関係とパルスレーザ光によるスキャンとを示す図であり、図6は、パルスレーザ光をダンボール箱1の上面のみに照射可能な位置に、直方体計測装置3が設置された状態を示す図である。
【0059】
なお、図6(1)は、直方体計測装置3とダンボール箱1との位置関係を示す正面図であり、図6(2)〜(4)は、図6(1)におけるVI矢視を示す図である。
【0060】
図6(1)では、直方体計測装置3が一次元的な各スキャンW6a〜W6kを行うことによって、ダンボール箱1に対して、二次元的な走査を行っている。
【0061】
図6(2)に示すような一次元的なスキャンW6aでは、パルスレーザ光で照射されるのは、xy平面のみであるのでダンボール箱1上の反射位置は検出されない。同様に、一次元的なスキャンW6kでもダンボール箱1上の反射位置は検出されない。
【0062】
図6(3)では、一次元的なスキャンW6dでダンボール箱1が照射されるので、ダンボール箱1上の反射位置が検出される。ここで、図6(3)に示す線分R6dは、上記検出された各反射位置(ダンボール箱1の表面の各反射位置)を、図5で示したように、ほぼ1つの直線上に並んだ群として認識し、上記各反射位置を直線で結ぶことによって得られた線分である。したがって、線分R6d上には複数の反射位置が存在している。ここで、上記線分R6dを含むxy平面上の直線式は、「y=K6d+T6d」で表すことができる。また、上記「K6d」の値は、ゼロに近い値になる。すなわち、上記線分R6dを含む直線は、x軸にほぼ平行な直線である。
【0063】
また、図6(4)でも、図6(3)と同様に、一次元的なスキャンW6gで線分R6gを得ることができる。なお、上記線分R6gを含むxy平面上の直線式は、「y=K6g+T6g」で表すことができ、上記「K6g」の値も、ゼロに近い値になる。すなわち、上記線分R6gを含む直線もx軸にほぼ平行な直線である。
【0064】
さらに、図6(3)や図6(4)に示す場合とほぼ同様に、各スキャンW6b、W6c、W6e、W6f、W6h、W6i、W6jの各反射位置から、上記各スキャン毎に直線式を1本づつ求めることができる。ただし、上記各スキャンW6b、W6c、W6e、W6f、W6h、W6i、W6jに対応する各直線もx軸にほぼ平行な直線である。
【0065】
すなわち、上記各スキャンW6b〜W6jの各反射位置のそれぞれで求められたxy平面上の直線の数は、上記各スキャンW6b〜W6jのうちのいずれのスキャンにおいても1本であり、この直線の傾きも1種類である。
【0066】
なお、上記各スキャンW6b〜W6jの各反射位置におけるz座標値は、ダンボール箱1の上面をパルスレーザ光で照射して得られた値であるのでほぼ一定である。つまり、上記各反射位置は、xy平面に平行な1つの平面(z=一定である面)上に位置している。
【0067】
図7は、パルスレーザ光をダンボール箱1の上面と1つの側面のみに照射可能な位置に、直方体計測装置3が設置された状態であって、しかも、ダンボール箱1の上記1つの側面と一次元的なスキャン(たとえばスキャンW7a)の方向とがほぼ平行になっている状態を示す図である。
【0068】
なお、図7(1)は、直方体計測装置3とダンボール箱1との位置関係を示す正面図であり、図7(2)〜(4)は、図7(1)におけるVII矢視を示す図である。
【0069】
図7(1)では、直方体計測装置3が一次元的な各スキャンW7a〜W7hを行うことによって、ダンボール箱1に対して、二次元的な走査を行っている。
【0070】
図7(2)に示すような一次元的なスキャンW7aでは、パルスレーザ光で照射されるのは、図6(1)に示す場合と同様に、xy平面のみであるのでダンボール箱1上の反射位置は検出されない。
【0071】
図7(3)では、一次元的なスキャンW7cでダンボール箱1が照射されるので、ダンボール箱1上の反射位置が検出される。ここで、図7(3)に示す線分R7cは、図6(3)に示した線分R6dとほぼ同様に得られるものである。なお、上記線分R7cを含むxy平面上の直線式は、「y=K7c+T7c」で表すことができる。上記「K7c」の値は、ゼロに近い値になる。すなわち、上記直線はx軸にほぼ平行な直線である。
【0072】
また、図7(4)でも、図7(3)と同様に、一次元的なスキャンW7gで線分R7gを得ることができる。なお、上記線分R7gを含むxy平面上の直線式は、「y=K7g+T7g」で表すことができ、上記「K7g」の値も、ゼロに近い値になる。すなわち、上記直線もx軸にほぼ平行な直線である。
【0073】
さらに、図7(3)や図7(4)に示す場合とほぼ同様に、各スキャンW7b、W7d、W7e、W7f、W7hの各反射位置から、上記各スキャン毎に直線式を1本づつ求めることができる。ただし、上記各スキャンW7b、W7d、W7e、W7f、W7hに対応する各直線もx軸にほぼ平行な直線である。
【0074】
すなわち、上記各スキャンW7b〜W7hのそれぞれで求められたxy平面上の各直線の数は、上記各スキャンW7b〜W7hのうちのいずれのスキャンにおいても1本であり、この直線の傾きも1種類である。
【0075】
なお、図7(1)から理解されるように、スキャンW7bから、スキャンW7eに向かうにしたがって、ダンボール箱1の側面の下部側から上部側をパルスレーザ光で照射することになるので、上記スキャンW7bからスキャンW7eに向かうにしたがって、上記各スキャンW7b〜W7e各反射位置におけるz座標値が次第に大きくなる。
【0076】
一方、上記各スキャンW7f、W7g、W7hの各反射位置におけるz座標値は、ダンボール箱1の上面をパルスレーザ光で照射して得られた値なのでほぼ一定である。
【0077】
つまり、上記各スキャンW7b〜W7hの各反射位置におけるz座標値の一部が、xy平面に平行な1つの平面(z=一定である面)上に位置している。
【0078】
図8は、パルスレーザ光をダンボール箱1の1つの側面のみに照射可能な位置に、直方体計測装置3が設置された状態を示す図である。
【0079】
なお、図8(1)は、直方体計測装置3とダンボール箱1との位置関係を示す正面図であり、図8(2)〜(4)は、図8(1)におけるVIII矢視を示す図である。
【0080】
図8(1)では、直方体計測装置3が一次元的な各スキャンW8a〜W8hを行うことによって、ダンボール箱1に対して、二次元的な走査を行っている。
【0081】
図8(2)に示すような一次元的なスキャンW8aでは、パルスレーザ光で照射されるのは、図6(1)に示す場合と同様に、xy平面のみであるのでダンボール箱1上の反射位置は検出されない。
【0082】
図8(3)では、一次元的なスキャンW8bでダンボール箱1が照射されるので、ダンボール箱1上の反射位置が検出される。ここで、図8(3)に示す線分R8bは、図6(3)に示した線分R6dとほぼ同様に得られるものである。なお、上記線分R8bを含むxy平面上の直線式は、「y=K8bx+T8b」で表すことができる。
【0083】
また、図8(4)でも、図8(3)と同様に、一次元的なスキャンW8cで線分R8cを得ることができる。なお、上記線分R8cを含むxy平面上の直線式は、「y=K8cx+T8c」で表すことができる。また、スキャンW8bとスキャンW8cとにおいては、ダンボール箱1の同一側面を照射しているので、上記直線式「y=K8bx+T8b」と、上記直線式「y=K8cx+T8c」とにおいて、「K8b」と「K8c」との値は、互いにほぼ等しく、「T8b」と「T8c」との値は、互いにほぼ等しい。すなわち、上記線分R8bを含むxy平面上の直線式と、上記線分R8cを含むxy平面上の直線式とは、ほぼ同じ直線式になる。
【0084】
さらに、図7(3)や図7(4)に示す場合とほぼ同様に、各スキャンW8d、W8e、W8f、W8gの各反射位置から、上記各スキャン毎に直線式を求めることができる。このようにして求められた直線式は、ダンボール箱1の同一側面を照射して得られたものなので、上記直線式「y=K8bx+T8b」や上記直線式「y=K8cx+T8c」とほぼ同様の直線式になる。
【0085】
したがって、各スキャンW8b〜W8gの各反射位置を含むxy平面上の各直線は、互いにほぼ同じ直線になる。すなわち、各スキャンW8b〜W8gの各反射位置を含むxy平面上の各直線の数は1本であり、この直線の傾きは1種類である。
【0086】
図9は、パルスレーザ光をダンボール箱1の上面と2つの側面に照射可能な位置に、直方体計測装置3が設置された状態を示す図である。
【0087】
なお、図9(1)は、直方体計測装置3とダンボール箱1との位置関係を示す正面図であり、図9(2)〜(5)は、図9(1)におけるIX矢視を示す図である。
【0088】
図9(1)では、直方体計測装置3が一次元的な各スキャンW9a〜W9iを行うことによって、ダンボール箱1に対して、二次元的な走査を行っている。
【0089】
図9(2)に示すような一次元的なスキャンW9aでは、パルスレーザ光で照射されるのは、図6(1)に示す場合と同様に、xy平面のみであるのでダンボール箱1上の反射位置は検出されない。
【0090】
図9(3)では、一次元的なスキャンW9eでダンボール箱1が照射されるので、ダンボール箱1上の反射位置が検出される。ここで、図9(3)に示す線分R9eは、図6(3)に示した線分R6dとほぼ同様に得られるものであり、また、上記線分R9eは、スキャンW9eでダンボール箱1の2つの側面を照射しているので、2つの線分R、Rで形成されている。
【0091】
そして、上記2つの線分R、Rのうちの1つ目の線分Rを含むxy平面上の直線式は、「y=K9ex+T9e」で表すことができ、2つ目の線分Rを含むxy平面上の直線式は、「y=L9ex+U9e」で表すことができる。
【0092】
また、図9(4)でも、図9(3)と同様に、線分R9gを得ることができる。なお、上記線分R9gは、スキャンW9gでダンボール箱1の2つの側面と上面とを照射しているので、3つの線分R、R、Rで形成されている。
【0093】
そして、上記3つの線分のうちの1つ目の線分Rを含むxy平面上の直線式は、「y=K9gx+T9g」で表すことができ、2つ目の線分Rを含むxy平面上の直線式は、「y=M9gx+V9g」で表すことができ、3つ目の線分Rを含むxy平面上の直線式は、「y=L9gx+U9g」で表すことができる。
【0094】
また、図9(5)でも、図9(3)と同様に、線分R9hを得ることができる。なお、上記線分R9hは、スキャンW9gでダンボール箱1の1つの側面と上面とを照射しているので、2つの線分R、Rで形成されている。
【0095】
そして、上記2つの線分のうちの1つ目の線分Rを含むxy平面上の直線式は、「y=K9hx+T9h」で表すことができ、2つ目の線分Rを含むxy平面上の直線式は、「y=M9hx+V9h」で表すことができる。
【0096】
なお、線分Rの直線式「y=K9ex+T9e」と、線分Rの直線式「y=K9gx+T9g」と、線分Rの直線式「y=K9hx+T9h」とは、各スキャンW9e、W9g、W9hで、ダンボール箱1の1つの側面を照射して得られたものなので、互いにほぼ同じ直線式になる。
【0097】
同様に、線分Rの直線式「y=L9ex+U9e」と、線分Rの直線式「y=L9gx+UV9g」とは、各スキャンW9e、W9gで、ダンボール箱1の他の1つの側面を照射して得られたものなので、互いにほぼ同じ直線式になる。
【0098】
線分Rの直線式「y=M9gx+V9g」と、線分Rの直線式「y=M9hx+V9h」とは、各スキャンW9g、W9hで、ダンボール箱1の上面を照射して得られたものなので、「M9g」と「M9h」の値はほぼゼロになり、「V9g」と「V9h」の値は互いに異なったものとなる。
【0099】
さらに、スキャンW9eの各反射位置によって、互いの傾きが異なる2本の直線が求められ、スキャンW9gの各反射位置によって、互いの傾きが異なる3本の直線が求められ、スキャンW9hの各反射位置によって、互いの傾きが異なる2本の直線が求められる。
【0100】
また、各スキャンW9b、W9c、W9d、W9f、W9iの各反射位置によって、図9(3)や図9(4)や図9(5)に示す場合とほぼ同様に直線式を求めることができる。
【0101】
上記各スキャンW9b、W9c、W9d、W9f、W9iの各反射位置によって、求められた直線式を具体的に説明すると、各スキャンW9b〜W9dの各反射位置によって、スキャンW9eと同様に、互いの傾きが異なる2本の直線が求められ、スキャンW9fの各反射位置によって、スキャンW9gと同様に、互いの傾きが異なる3本の直線が求められ、スキャンW9iの各反射位置によって、1本の直線が求められる。
【0102】
つまり、各スキャンW9b〜W9eでは、2本の直線が求められ、各スキャンW9f、W9gでは、3本の直線が求められ、スキャンW9hでは2本の直線が求められ、スキャンW9iでは1本の直線が求められる。換言すれば、各スキャンW9b〜W9iによる、ダンボール箱1上の各反射位置から得られる直線の最大本数は3本ということになる。また、各スキャンW9b〜W9iによる、ダンボール箱1上の各反射位置から得られる直線の傾きの種類は最大3種類ということになる。
【0103】
図10は、パルスレーザ光をダンボール箱1の2つの側面のみに照射可能な位置に、直方体計測装置3が設置された状態を示す図である。
【0104】
なお、図10(1)は、直方体計測装置3とダンボール箱1との位置関係を示す正面図であり、図10(2)〜(4)は、図10(1)におけるX矢視を示す図である。
【0105】
図10(1)では、直方体計測装置3が一次元的な各スキャンW10a〜W10kを行うことによって、ダンボール箱1に対して、二次元的な走査を行っている。
【0106】
図10(2)に示すような一次元的なスキャンW10aでは、パルスレーザ光で照射されるのは、図6(1)に示す場合と同様に、xy平面のみであるのでダンボール箱1上の反射位置は検出されない。
【0107】
図10(3)では、一次元的なスキャンW10cでダンボール箱1が照射されるので、ダンボール箱1上の反射位置が検出される。ここで、図10(3)に示す線分R10cは、図6(3)に示した線分R6dとほぼ同様に得られるものであり、また、上記線分R10cは、スキャンW10cでダンボール箱1の2つの側面を照射して得られたものであるので、2つの線分R、Rで形成されている。
【0108】
そして、上記2つの線分R、Rのうちの1つ目の線分Rを含むxy平面上の直線式は、「y=K10cx+T10c」で表すことができ、2つ目の線分Rを含むxy平面上の直線式は、「y=L10cx+U10c」で表すことができる。
【0109】
また、図10(4)でも、図10(3)と同様に、線分R10dを得ることができる。なお、上記線分R10dは、スキャンW10dでダンボール箱1の2つの側面を照射しているので、2つの線分R10、R11で形成されている。
【0110】
そして、上記2つの線分のうちの1つ目の線分R10を含むxy平面上の直線式は、「y=K10dx+T10d」で表すことができ、2つ目の線分R11を含むxy平面上の直線式は、「y=L10dx+U10d」で表すことができる。
【0111】
なお、線分Rの直線式「y=K10cx+T10c」と、線分R10の直線式「y=K10dx+T10d」とは、各スキャンW10c、W10dが、ダンボール箱1の1つの側面を照射して得られたものなので、ほぼ同じ直線式になる。
【0112】
また、同様に、線分Rの直線式「y=L10cx+U10c」と、線分R11の直線式「y=L10dx+U10d」は、各スキャンW10c、W10dが、ダンボール箱1の他の1つの側面を照射して得られたものなので、ほぼ同じ直線式になる。
【0113】
さらに、スキャンW10cの各反射位置によって、互いの傾きが異なる2本の直線が求められ、スキャンW10dの各反射位置によっても、互いの傾きが異なる2本の直線が求められる。
【0114】
また、各スキャンW10b、W10e〜W10kの各反射位置によって、図10(3)や図10(4)に示す場合とほぼ同様に直線式を求めることができる。
【0115】
上記各スキャンW10b、W10e〜W10kの各反射位置によって、求められた直線式を具体的に説明すると、各スキャンW10b、W10e〜W10kの各反射位置から、スキャンW10cやスキャンW10dと同様に、互いの傾きが異なる2本の直線が求められる。
【0116】
つまり、各スキャンW10b〜W10kでは、2本の直線が求められる。換言すれば、各スキャンW10b〜W10kによる、ダンボール箱1上の各反射位置から得られる直線の最大本数は2本ということになる。また、各スキャンW10b〜W10kによる、ダンボール箱1上の各反射位置から得られる直線の傾きの種類は最大2種類ということになる。
【0117】
図11は、パルスレーザ光をダンボール箱1の上面と1つの側面のみに照射可能な位置に、直方体計測装置3が設置された状態を示す図である。
【0118】
なお、図11(1)は、直方体計測装置3とダンボール箱1との位置関係を示す正面図であり、図11(2)〜(4)は、図11(1)におけるXI矢視を示す図である。
【0119】
図11(1)では、直方体計測装置3が一次元的な各スキャンW11a〜W11jを行うことによって、ダンボール箱1に対して、二次元的な走査を行っている。
【0120】
図11(2)では、一次元的なスキャンW11dでダンボール箱1が照射されるので、ダンボール箱1上の反射位置が検出される。ここで、図11(2)に示す線分R11dは、図6(3)に示した線分R6dとほぼ同様に得られるものである。そして、上記線分R11dを含むxy平面上の直線式は、「y=K11dx+T11d」で表すことができる。
【0121】
また、図11(3)でも、図11(2)と同様に、線分R11gを得ることができる。なお、上記線分R11gは、スキャンW11gでダンボール箱1の1つの側面と上面とを照射しているので、2つの線分R12、R13で形成されている。
【0122】
そして、上記2つの線分のうちの1つ目の線分R12を含むxy平面上の直線式は、「y=M11gx+V11g」で表すことができ、2つ目の線分R13を含むxy平面上の直線式は、「y=K11gx+T11g」で表すことができる。
【0123】
また、図11(4)でも、図11(2)と同様に、線分R11iを得ることができる。そして、上記線分R11iを含むxy平面上の直線式は、「y=M11ix+V11i」で表すことができる。
【0124】
なお、線分R11dの直線式「y=K11dx+T11d」」と、線分R13の直線式「y=K11gx+T11g」とは、各スキャンW11d、W11gが、ダンボール箱1の1つの同じ側面を照射して得られたものなので、ほぼ同じ直線式になる。
【0125】
また、線分R12の直線式「y=M11gx+V11g」と、線分R11iの直線式「y=M11ix+V11i」とは、各スキャンW11g、W11iが、ダンボール箱1の上面を照射して得られたものなので、「M11g」と「M11i」の値は、ほぼゼロになり、「V11g」と「V11i」の値は互いに異なったものとなる。
【0126】
さらに、スキャンW11dの各反射位置によって、1本の直線が求められ、スキャンW11gの各反射位置によって、互いの傾きが異なる2本の直線が求められ、スキャンW11iの各反射位置によって、1本の直線が求められる。
【0127】
さらに、各スキャンW11b、W11c、W11e、W11f、W11h、W11jによって、図11(3)や図11(4)に示す場合とほぼ同様に直線式を求めることができる。
【0128】
上記各スキャンW11b、W11c、W11e、W11f、W11h、W11jの各反射位置によって、求められた直線を具体的に説明すると、スキャンW11b、W11c、W11e、W11fでは、スキャンW11dと同様に、1本の直線が求められ、スキャンW11hでは、スキャンW11gと同様に、互いの傾きが異なる2本の直線が求められ、スキャンW11jでは、スキャンW11iと同様に、1本の直線が求められる。
【0129】
つまり、各スキャンW11b〜W11fでは、それぞれ1本の直線が求められ、各スキャンW11g、W11hでは、それぞれ2本の直線が求められ、スキャンW11i、W11jでは1本の直線が求められる。換言すれば、各スキャンW11b〜W11jによる、ダンボール箱1上の各反射位置から得られる直線の最大本数は2本ということになる。また、各スキャンW11b〜W11jによる、ダンボール箱1上の各反射位置から得られる直線の傾きの種類は最大2種類ということになる。
【0130】
図6〜図11に示すような手順に従って、ステップS1で、各スキャンにおける直線の本数の最大値が求められると、この最大値にしたがって、直方体計測装置3と、ダンボール箱1との相対的な位置関係が判断される。
【0131】
すなわち、図4に示すように、直方体計測装置3は、各スキャンの各反射位置で求められた直線本数の最大値が1本である場合(S3)、各スキャンにおける各反射位置の総てが、xy平面に平行な1つの平面を形成するか否か(各反射位置の総てのz座標値の値がほぼ一定であるか否か)を判断する(S5)。
【0132】
そして、各スキャンにおける各反射位置の総てが、xy平面に平行な1つの平面を形成する場合には、直方体計測装置3とダンボール箱1との間の相対的な位置関係が、図6に示すように、直方体計測装置3でダンボール箱1の上面のみにパルスレーザ光を照射可能なパターン(以下「Aパターン」という場合がある。)であると判断し、上記Aパターンに応じてダンボール箱1の認識を行う(S7)。なお、上記Aパターンに応じたダンボール箱1の認識の詳細については後述する。
【0133】
また、ステップS5において、各スキャンにおける各反射位置の総てが、xy平面に平行な1つの平面を形成しない場合には、各スキャンにおける各反射位置の一部が、xy平面に平行な1つの平面を形成するか否かを判断する(S9)。
【0134】
そして、各スキャンにおける各反射位置の一部が、xy平面に平行な1つの平面を形成する場合には、直方体計測装置3とダンボール箱1との間の相対的な位置関係が、図7に示すように、直方体計測装置3がダンボール箱1の上面と1つの側面のみを照射可能な位置に設置されたパターンであって、しかも、ダンボール箱1の上記1つの側面と一次元的なスキャンの方向とがほぼ平行になっているパターン(以下「Bパターン」という場合がある。)であると判断し、上記Bパターンに応じてダンボール箱1の認識を行う(S11)。なお、上記Bパターンに応じたダンボール箱1の認識の詳細については後述する。
【0135】
また、ステップS9において、各スキャンにおける各反射位置の全部または一部が、xy平面に平行な1つの平面を形成しない場合には、直方体計測装置3とダンボール箱1との間の相対的な位置関係が、図8に示すように、直方体計測装置3でダンボール箱1の1つの側面のみにパルスレーザ光を照射可能なパターン(以下「Cパターン」という場合がある。)であると判断し、上記Cパターンに応じてダンボール箱1の認識を行う(S13)。なお、上記Cパターンに応じたダンボール箱1の認識の詳細については後述する。
【0136】
また、ステップS3において、各スキャンの各反射位置で求められた直線本数の最大値が1本ではない場合、各スキャンの各反射位置で求められた直線本数の最大値が2本であるか否かを判断する(S15)。
【0137】
各スキャンの各反射位置で求められた直線本数の最大値が2本ではない場合、直方体計測装置3とダンボール箱1との間の相対的な位置関係が、図9に示すように、直方体計測装置3でダンボール箱1の上面と2つの側面にパルスレーザ光を照射可能なパターン(以下「Dパターン」という場合がある。)であると判断し、上記Dパターンに応じてダンボール箱1の認識を行う(S17)。なお、上記Dパターンに応じたダンボール箱1の認識の詳細については後述する。
【0138】
また、ステップS15において、各スキャンの各反射位置で求められた直線本数の最大値が2本である場合、各スキャンにおける各反射位置の一部が、xy平面に平行な1つの平面を形成するか否かを判断する(S19)。
【0139】
そして、各スキャンにおける各反射位置の全部または一部が、xy平面に平行な1つの平面を形成しない場合には、直方体計測装置3とダンボール箱1との間の相対的な位置関係が、図10に示すように、直方体計測装置3がダンボール箱1の2つの側面のみを照射可能な位置に設置されたパターン(以下「Eパターン」という場合がある。)であると判断し、上記Eパターンに応じてダンボール箱1の認識を行う(S21)。なお、上記Eパターンに応じたダンボール箱1の認識の詳細については後述する。
【0140】
また、ステップS19において、各スキャンにおける各反射位置の一部が、xy平面に平行な1つの平面を形成する場合には、直方体計測装置3とダンボール箱1との間の相対的な位置関係が、図11に示すように、直方体計測装置3がダンボール箱1の上面と1つの側面のみを照射可能な位置に設置されたパターン(以下「Fパターン」という場合がある。)であると判断し、上記Fパターンに応じたダンボール箱1の認識を行う(S23)。なお、上記Fパターンに応じたダンボール箱1の認識の詳細については後述する。
【0141】
なお、ステップS3やステップS15では、各スキャンの各反射位置で求められた直線本数の最大値に応じて、いずれのステップの動作を次に実行するのかを判断しているが、上記直線本数の最大値に代えて、各スキャンの各反射位置で求められた直線の傾きの種類数の最大値に応じて、いずれのステップの動作を次に実行するのかを判断してもよい。
【0142】
たとえば、ステップS1において、1フレームの各スキャンにおけるxy平面の各直線式を求めた結果、ステップS3において、各スキャンにおける直線式の傾きの種類数の最大値が「1」である場合、ステップS5に進み、「1」ではない場合、ステップS15に進むようにしてもよい。
【0143】
次に、図4に示すステップS7のAパターンにおけるダンボール箱1の認識について説明する。
【0144】
図12は、直方体計測装置3でダンボール箱1の上面のみにパルスレーザ光を照射可能なパターン(Aパターン)において、ダンボール箱1の上面をスキャンした場合を示す図である。
【0145】
すなわち、図12(1)では、直方体計測装置3が、一次元的な各スキャン51〜66をダンボール箱1の上面に順に行うことによって、ダンボール箱1の上面を二次元的にスキャンしている。
【0146】
上記スキャン51を示す直線上には、図2で説明したように、ダンボール箱1上の反射位置(図示せず)が適数個形成されている。そして、これらの各反射位置のうちでx座標値が最小である反射位置(点)51aのx座標値を「x」とし、これに対応するy座標値(反射位置51aのy座標値)を「y」とする。また、上記各反射位置のうちでx座標値が最大である反射位置(点)51bのx座標値を「x21」とし、これに対応するy座標値(反射位置51bのy座標値)を「y21」とする。
【0147】
同様にして、各スキャン52〜66においても、x座標値が最小である各反射位置52a〜66aと、x座標値が最大である各反射位置52b〜66bとが形成されている。さらに、上記各反射位置52a〜66aの各x座標値を「x〜x16」とし、これらの各x座標値に対応する各y座標値を「y〜y16」とし、上記各反射位置52b〜66bの各x座標値を「x21〜x36」とし、これらの各x座標値に対応する各y座標値を「y21〜y36」とする。このようにして得られた、各x座標値と各y座標値とを図12(2)に示す。
【0148】
そして、Aパターンでは、図12(1)に示すように、各反射位置51a〜54aが、ダンボール箱1の上面側の1つ目の稜線の近傍に位置しているので、各反射位置51a〜54aはほぼ同一直線上に位置している。そこで、これらの各反射位置51a〜54aから最小二乗法を用いて、各反射位置51a〜54aの近傍を通過するxy平面上の直線50Aを表す直線式を求める。また、同様にして、各反射位置55a〜66aに対応する直線50Bを表す直線式を求め、各反射位置63b〜66bに対応する直線50Cを表す直線式を求め、各反射位置51b〜62bに対応する直線50Dを表す直線式を求める。なお、上記各直線式で表される各直線50A〜50Dは、ダンボール箱1の上面に存在している4本の各稜線を含む(各稜線を延長した)直線である。換言すれば、各直線50A〜50Dを表す各直線式によって、ダンボール箱1の上面の各稜線の座標値が表わされる。
【0149】
さらに、直線50Aの直線式と直線50Bの直線式との交点50Eのx座標値とy座標値とを求める。同様にして、各交点50F、50G、50Hの各x座標値と各y座標値とを求める。
【0150】
さらに、各スキャン51〜66の各反射位置のz座標値(たとえば上記各反射位置の各z座標値の平均値)から、上記各交点50E、50F、50G、50Hのz座標値を求める。
【0151】
ここで、上述のようにして求めた、上記各交点50E、50F、50G、50Hの各xyz座標値を、ダンボール箱1の上面側に位置する各頂点のxyz座標値として採用すれば、ダンボール箱1の設置位置と全体の大きさ(ダンボール箱1の長さと幅と高さ)とを認識することができる。
【0152】
なお、上記ダンボール箱1の設置位置と全体の大きさは、たとえば、図1に示す上位PC39のLCD(図示せず)に、適宜出力されて表示される。
【0153】
次に、図4に示すステップS11のBパターンにおけるダンボール箱1の認識について説明する。
【0154】
図13、図14は、直方体計測装置3がダンボール箱1の上面と1つの側面のみを照射可能な位置に設置されたパターンであって、しかも、ダンボール箱1の上記1つの側面と、直方体計測装置3の一次元的なスキャンの方向とがほぼ平行になっているパターン(Bパターン)において、ダンボール箱1の上面と1つの側面とをスキャンした場合を示す図である。
【0155】
図13では、ダンボール箱1の上面と1つの側面とに、直方体計測装置3が二次元的なスキャンを行っている。つまり、一次元的な各スキャン71〜79をダンボール箱1の1つの側面の下部側から上部側へ、さらにダンボール箱1の上面へ順に行うことによって、ダンボール箱1の1つの側面と上面とを二次元的にスキャンしている。
【0156】
上記スキャン71を示す直線上には、上記スキャン51等とほぼ同様に、ダンボール箱1上の反射位置(図示せず)が適数個形成されている。そして、これらの各反射位置のうちでx座標値が最小である反射位置(点)71aのx座標値を「x41」とし、これに対応するy座標値(反射位置71aのy座標値)を「y41」とし、z座標値(反射位置71aのz座標値)を「z41」とする。また、上記各反射位置のうちでx座標値が最大である反射位置(点)71bのx座標値を「x51」とし、これに対応するy座標値(反射位置71bのy座標値)を「y51」とし、z座標値(反射位置71bのz座標値)を「z51」とする。
【0157】
同様にして、各スキャン72〜79においても、x座標値が最小である各反射位置72a〜79aと、x座標値が最大である各反射位置71b〜79bとが形成されている。さらに、上記各反射位置72a〜79aの各x座標値を「x42〜x49」とし、これらの各x座標値に対応する各y座標値を「y42〜y49」とし、各z座標値を「z42〜z49」とする。また、上記各反射位置72b〜79bの各x座標値を「x52〜x59」とし、これらの各x座標値に対応する各y座標値を「y52〜y59」とし、各z座標値を「z52〜z59」とする。このようにして得られた、各x座標値と各y座標値と各z座標値とを図14に示す。
【0158】
Bパターンでは、図13に示すように、直方体形状であるダンボール箱1の1つの側面(各スキャン71〜74でパルスレーザ光が照射されている側面)が、xz平面に対してほぼ平行になっており、各反射位置71a〜79a、71b〜79bがダンボール箱1の稜線の近傍に位置しているので、図14に示す各座標値において、「x41〜x49」の値が互いにほぼ等しく一定であり、「x51〜x59」の値が互いにほぼ等しく一定であり、「y41〜y44」の値が互いにほぼ等しく一定であり、「y51〜y54」の値が互いにほぼ等しく一定であり、「z45〜z49」の値が互いにほぼ等しく一定であり、「z55〜z59」の値が互いにほぼ等しく一定である。
【0159】
ここで、ダンボール箱1の上面のみを照射している各スキャン75〜79においては、上述のように、「x45〜x49」の値が互いにほぼ等しく一定であり、「z45〜z49」の値が互いにほぼ等しく一定であるので、各反射位置75a〜79aがほぼ同一直線上に位置している。そして、これらの各反射位置75a〜79aから最小二乗法を用いて、各反射位置75a〜79aの近傍を通過する直線70Aの直線式を求める。
【0160】
また、同様に、ダンボール箱1の上面のみを照射している各スキャン75〜79において、各反射位置75b〜79bがほぼ同一直線上に位置しているので、これらの各反射位置75b〜79bから最小二乗法を用いて、各反射位置75b〜79bの近傍を通過する直線70Bの直線式を求める。
【0161】
なお、上記各直線式で表される各直線70A、70Bは、ダンボール箱1の上面に存在している2本の各稜線を含む(各稜線を延長した)直線である。換言すれば、各直線70A、70Bを表す各直線式によって、ダンボール箱1の上面の各稜線の座標値が表わされる。
【0162】
続いて、各スキャン75〜79の各反射位置のうちで、y座標値が最小である反射位置(たとえば反射位置75aや75b)のy座標値を、上記直線70Aの直線式や上記直線70Bの直線式に代入し、ダンボール箱1の上面側の1つ目の頂点70C(図13参照)のx座標値とy座標値とz座標値や、ダンボール箱1の上面側の2つ目の頂点70D(図13参照)のx座標値とy座標値とz座標値を求める。
【0163】
また、各スキャン75〜79の各反射位置のうちで、y座標値が最大である反射位置(たとえば反射位置79aや79b)のy座標値を、上記直線70Aの直線式や上記直線70Bの直線式に代入し、ダンボール箱1の上面側の3つ目の頂点70E(図13参照)のx座標値とy座標値とz座標値や、ダンボール箱1の上面側の4つ目の頂点70F(図13参照)のx座標値とy座標値とz座標値を求める。
【0164】
ここで、上述のようにして求めた、上記各頂点70C、70D、70E、70Fの各xyz座標値を、ダンボール箱1の上面側に位置する各頂点のxyz座標値として採用すれば、ダンボール箱1の設置位置と全体の大きさ(ダンボール箱1の長さと幅と高さ)とを認識することができる。
【0165】
なお、上記ダンボール箱1の設置位置と全体の大きさは、Aパターンの場合と同様に、図1に示す上位PC39のLCD(図示せず)に、適宜出力されて表示される。
【0166】
なお、Bパターンにおいては、ダンボール箱1の上面の反射位置(スキャン75〜79の反射位置)のみを用いて、ダンボール箱1の設置位置や全体の大きさを求めることができるが、さらに、ダンボール箱1の設置位置や全体の大きさを正確に求めるために、ダンボール箱1の側面の反射位置(スキャン71〜74の反射位置)をさらに加えて、ダンボール箱1の設置位置や全体の大きさを求めてもよい。
【0167】
すなわち、たとえば反射位置75aや75bのy座標値の代わりに、各スキャン71〜74における各反射位置のy座標値の平均値(たとえば、図14に示すy41〜y44の平均値やy51〜y54の平均値)を、頂点70Cや頂点70Dのy座標値として採用すれば、たとえば、スキャン75のスキャン位置が、ダンボール箱1の稜線の実際の位置よりもy方向に大きく離れていても、ダンボール箱1の頂点70Cや頂点70Dの位置(特にy座標値)を正確に把握することができる。
【0168】
次に、図4に示すステップS13のCパターンにおけるダンボール箱1の認識について説明する。
【0169】
上記Cパターンは、直方体計測装置3がダンボール箱1の1つの側面のみにパルスレーザ光を照射可能なパターンである。
【0170】
このCパターンでは、上記ダンボール箱1の上記1つの側面の位置や大きさは、直方体計測装置3で計測可能であるが、上記1つの側面に直角な上記ダンボール箱1の奥行き方向の大きさは計測不可能である。
【0171】
そこで、上記Cパターンでは、直方体計測装置3が、上記ダンボール箱1の全体の大きさまたは設置位置を算出することは不可能であると判断し、この判断結果を、図1に示す上位PC39のLCD(図示せず)に、適宜出力して表示する。
【0172】
なお、上記ダンボール箱1の全体の大きさまたは設置位置を算出することは不可能であるが、上記ダンボール箱1の上記1つの側面(直方体計測装置3がパルスレーザ光を照射可能な側面)の位置や大きさは、上記1つの側面上の各反射位置に基づいて、直方体計測装置3で計測可能であるので、上記1つの側面の大きさや位置を求め、図1に示す上位PC39のLCD(図示せず)に、適宜出力して表示してもよい。
【0173】
次に、図4に示すステップS17のDパターンにおけるダンボール箱1の認識について説明する。
【0174】
上記Dパターンでは、直方体計測装置3がダンボール箱1の上面にパルスレーザ光を照射可能であるので、上記Aパターンで示したように、ダンボール箱1の上面の反射位置のみを用いて、上記ダンボール箱1の設置位置や全体の大きさを求めることも可能であるが、上記ダンボール箱1の設置位置や全体の大きさを、一層精度良く求めるために、ダンボール箱1の2つの側面の各反射位置も加えて、上記ダンボール箱1の設置位置や全体の大きさを求めることができる。
【0175】
ここで、ダンボール箱1の2つの側面の各反射位置に基づいて、上記ダンボール箱1の設置位置や大きさを求める場合について説明する。
【0176】
図15、図16は、直方体計測装置3でダンボール箱1の上面と2つの側面にパルスレーザ光を照射可能なパターン(Dパターン)において、ダンボール箱1の2つの側面をスキャンした場合を示す図である。
【0177】
すなわち、図15(1)では、ダンボール箱1の2つの側面に、直方体計測装置3が二次元的なスキャンを行っている。つまり、一次元的な各スキャン81〜89をダンボール箱1の2つの側面に下部側から上部側に順に行うことによって、ダンボール箱1の2つの側面を二次元的にスキャンしている。
【0178】
各スキャン81〜89を示す各直線上には、Aパターン等の場合と同様に、ダンボール箱1上の反射位置(図示せず)が適数個形成されている。そして、これらの各反射位置の各x座標値とこれに対応するy座標値とによって、xy平面上に線分が形成される。
【0179】
図15(2)は、上記xy平面上の線分のうちで、上記スキャン85の反射位置から得られたxy平面上の線分を含む直線85lと直線85mとを例として表した図である。
【0180】
なお、他の各スキャン81〜84、86〜89の各反射位置から得られたxy平面上の各線分を含む直線も、直線85lや直線85mとほぼ同様に表すことができる。また、他の各スキャン81〜84、86〜89の各反射位置はダンボール箱1の同じ側面上の反射位置であるので、他の各スキャン81〜84、86〜89の各反射位置から得られたxy平面上の各線分を含む各直線は、上記線分85lを含む直線または上記線分85mを含む直線とほぼ同じ直線になる。
【0181】
続いて、直方体計測装置3がパルスレーザ光を照射可能なダンボール箱1の2つの側面のうちの1つの側面1A上の各反射位置であって、各スキャン81〜89の各反射位置で形成されたxy平面上の線分を含むxy平面上の各直線の平均直線80A(図15(2)参照)を求める。
【0182】
ここで上記平均直線80Aは、たとえば、各スキャン81〜89の各反射位置(ダンボール箱1の側面1A上の各反射位置)から得られたxy平面上の各線分を含む各直線の各傾きの平均値と、各スキャン81〜89の各反射位置(ダンボール箱1の側面1A上の各反射位置)から得られたxy平面上の各線分を含む各直線の各切片の平均値とで求めることができる。
【0183】
同様に、直方体計測装置3がパルスレーザ光を照射可能なダンボール箱1の2つの側面のうちの1つの側面1B上の各反射位置であって、各スキャン81〜89の各反射位置で形成されたxy平面上の線分を含むxy平面上の各直線の平均直線80B(図15(2)参照)を求める。
【0184】
続いて、上記平均直線80Aと上記平均直線80Bとの交点80C(図15(2)参照)を求める。この交点80Cのx座標値とy座標値を、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうちの1つ目の稜線のx座標値とy座標値とする。
【0185】
次に、上記各スキャン81〜89の上記側面1Aの反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうちの2つ目の稜線のx座標値とy座標値とを求める。
【0186】
具体的には、たとえば、ダンボール箱1の2つの側面のうちの1つの側面1A上における、各スキャン81〜89の各反射位置であって、x座標値が最小である各反射位置81a〜89aのうちで、x座標値がほぼ一定の値になっている各反射位置85a〜89aのx座標値(x65〜x69;図15(1)、図16参照)の平均値を求め、この求めたx座標値の平均値を、平均直線80Aを表す直線式に代入してy座標値を求める。そして、このようにして求めたx座標値とy座標値とを、上記ダンボール箱1の上記2つ目の稜線のx座標値とy座標値とする。なお、これらの各xy座標値で表された点を図15(2)では、点80Dとして図示してある。
【0187】
次に、上記各スキャン81〜89の上記側面1Bの反射位置におけるx座標値の最大値とこの最大値に対応するy座標値とによって、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうちの3つ目の稜線のx座標値とy座標値とを求める。
【0188】
具体的には、たとえば、ダンボール箱1の2つの側面のうちの1つの側面1B上の各スキャン81〜89の各反射位置であって、x座標値が最大である各反射位置81b〜89bのうちで、x座標値がほぼ一定の値になっている各反射位置82b〜89bのx座標値(x72〜x79;図15(1)、図16参照)の平均値を求め、この求めたx座標値の平均値を平均直線80Bを表す直線式に代入してy座標値を求める。そして、このようにして求めたx座標値とy座標値とを、上記ダンボール箱1の上記3つ目の稜線のx座標値とy座標値とする。なお、これらの各座標値で表された点を図15(2)では、点80Eとして図示してある。
【0189】
続いて、上記1つ目〜3つ目の各稜線の各x座標値と各y座標値とによって、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうち4つ目の稜線のx座標値とy座標値とを求める。
【0190】
具体的には、たとえば、上記点80Dと上記点80Eとを結ぶ線分の中心点のx座標値とy座標値とを求め、この求めた中心点に対して、上記交点80Cと点対称な点80Fを求め、この点80Fのx座標値とy座標値とを、上記ダンボール箱1の4つの稜線のうち4つ目の稜線のx座標値とy座標値とする。
【0191】
続いて、上記各スキャン81〜89の各反射位置のz座標値の最大値から、ダンボール箱1の上面の高さ位置を求める。
【0192】
具体的には、たとえば、各スキャン81〜89の各反射位置のうちで、z座標値が最大である反射位置89c、89d(図15(1)参照)のz座標値の平均値を求め、この求めたz座標値をダンボール箱1の高さとする。
【0193】
次に、上記4つの各稜線の各x座標値と各Y座標値と、上記ダンボール箱1の上面の高さ位置とによって、上記ダンボール箱1の上面の4つの各頂点のx座標値、y座標値、z座標値を算出する。
【0194】
このように、ダンボール箱1の2つの側面の各反射位置から求めた頂点(ダンボール箱1の上面の4つの頂点)の座標値と、Aパターンとほぼ同様に、ダンボール箱1の上面の反射位置から求めた頂点(ダンボール箱1の上面の4つの頂点)の座標値との平均値を、ダンボール箱1の上面側に位置する各頂点のxyz座標値として採用すれば、ダンボール箱1の設置位置と全体の大きさ(ダンボール箱1の長さと幅と高さ)とを認識することができる。
【0195】
なお、上記ダンボール箱1の設置位置と全体の大きさは、Aパターン等の場合と同様に、図1に示す上位PC39のLCD(図示せず)に、適宜出力されて表示される。
【0196】
さらに、図3(1)で、直方体計測装置3と、ダンボール箱1とが互いにy軸方向に大きく離隔している場合には、図3(1)に示す交差角度θの変化量が少なく、ダンボール箱1の上面の各反射位置に基づいて算出される、ダンボール箱1の上面の各頂点のxyz座標値の誤差が大きくなりやすいので、たとえば、2つの側面の各反射位置から求めた各頂点のデータに重みをつけて、ダンボール箱1の上面の各頂点のxyz座標値の平均値を求めてもよい。
【0197】
次に、図4に示すステップS21のEパターンにおけるダンボール箱1の認識について説明する。すなわち、直方体計測装置3がダンボール箱1の2つの側面のみにパルスレーザ光を照射可能である場合に、上記2つの側面におけるパルスレーザ光の各反射位置に基づいて、上記ダンボール箱1の設置位置や全体の大きさを求める場合について説明する。
【0198】
図17、図18は、直方体計測装置3でダンボール箱1の2つの側面のみにパルスレーザ光を照射可能なパターン(Eパターン)において、ダンボール箱1の2つの側面をスキャンした場合を示す図である。
【0199】
すなわち、図17(1)では、ダンボール箱1の2つの側面に、直方体計測装置3が二次元的なスキャンを行っている。つまり、一次元的な各スキャン91〜99をダンボール箱1の2つの側面に下部側から上部側へ順に行うことによって、ダンボール箱1の2つの側面を二次元的にスキャンしている。
【0200】
各スキャン91〜99を示す各直線上には、Aパターン等の場合と同様に、ダンボール箱1上の反射位置(図示せず)が適数個形成されている。そして、これらの各反射位置の各x座標値とこれに対応するy座標値とによって、xy平面上に線分が形成される。
【0201】
図17(2)は、上記xy平面上の線分のうちで、上記スキャン92の反射位置から得られたxy平面上の線分を含む直線92lと直線92mを例として表した図である。
【0202】
なお、他の各スキャン91、93〜99の各反射位置から得られたxy平面上の各線分を含む直線も、上記線分92lや直線92mとほぼ同様に表すことができる。また、他の各スキャン91、93〜99の各反射位置はダンボール箱1の同じ側面上の反射位置であるので、他の各スキャン91、93〜99の各反射位置から得られたxy平面上の各線分を含む各直線は、上記線分92lを含む直線または上記線分92mを含む直線とほぼ同じ直線になる。
【0203】
続いて、直方体計測装置3がパルスレーザ光を照射可能なダンボール箱1の2つの側面のうちの1つの側面1A上の各反射位置であって、各スキャン91〜99の各反射位置で形成されたxy平面上の線分を含むxy平面上の各直線の平均直線90A(図17(2)参照)を求める。
【0204】
ここで平均直線90Aは、たとえば、各スキャン91〜99の各反射位置(ダンボール箱1の側面1A上の各反射位置)から得られたxy平面上の各線分を含む各直線の各傾きの平均値と、各スキャン91〜99の各反射位置(ダンボール箱1の側面1A上の各反射位置)から得られたxy平面上の各線分を含む各直線の各切片の平均値とで求めることができる。
【0205】
同様に、直方体計測装置3がパルスレーザ光を照射可能なダンボール箱1の2つの側面のうちの1つの側面1B上の各反射位置であって、各スキャン91〜99の各反射位置で形成されたxy平面上の線分を含むxy平面上の各直線の平均直線90B(図17(2)参照)を求める。
【0206】
続いて、上記平均直線90Aと上記平均直線90Bとの交点90C(図17(2)参照)を求める。この交点90Cのx座標値とy座標値とを、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうちの1つ目の稜線のx座標値とy座標値とする。
【0207】
次に、上記各スキャン91〜99の上記側面1Aの反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうちの2つ目の稜線のx座標値とy座標値とを求める。
【0208】
具体的には、たとえば、ダンボール箱1の2つの側面のうちの1つの側面1A上における、各スキャン91〜99の各反射位置であって、x座標値が最小である各反射位置91a〜99aのうちで、x座標値がほぼ一定の値になっている各反射位置92a〜97aのx座標値(x82〜x87;図17(1)、図18参照)の平均値を求め、この求めたx座標値の平均値を、平均直線90Aを表す直線式に代入してy座標値を求める。そして、このようにして求めたx座標値とy座標値とを、上記ダンボール箱1の上記2つ目の稜線のx座標値とy座標値とする。なお、これらの各座標値で表された点を図17(2)では、点90Dとして図示してある。
【0209】
次に、上記各スキャン91〜99の上記側面1Bの反射位置におけるx座標値の最大値とこの最大値に対応するy座標値とによって、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうちの3つ目の稜線のx座標値とy座標値とを求める。
【0210】
具体的には、たとえば、ダンボール箱1の2つ側面のうちの1つの側面1B上の各スキャン91〜99の各反射位置であって、x座標値が最大である各反射位置91b〜99bのうちで、x座標値がほぼ一定の値になっている各反射位置92b〜98bのx座標値(x92〜x98;図17(1)、図18参照)の平均値を求め、この求めたx座標値の平均値を平均直線90Bを表す直線式に代入してy座標値を求める。そして、このようにして求めたx座標値とy座標値とを、上記ダンボール箱1の上記3つ目の稜線のx座標値とy座標値とする。なお、これらの各座標値で表された点を図17(2)では、点90Eとして図示してある。
【0211】
続いて、上記1つ目〜3つ目の各稜線の各x座標値と各y座標値とによって、z軸にほぼ平行な稜線であって、上記ダンボール箱1の4つの稜線のうち4つ目の稜線のx座標値とy座標値とを求める。
【0212】
具体的には、たとえば、上記点90Dと上記点90Eとを結ぶ線分の中心点のx座標値とy座標値とを求め、この求めた中心点に対して、上記交点90Cと点対称な点90Fを求め、この点90Fのx座標値とy座標値とを、上記ダンボール箱1の4つの稜線のうち4つ目の稜線のx座標値とy座標値とする。
【0213】
続いて、上記各スキャン91〜99の各反射位置のz座標値の最大値から、ダンボール箱1の上面の高さ位置を求める。
【0214】
具体的には、たとえば、各スキャン91〜99の各反射位置のうちで、z座標値が最大の反射位置99a、99b(図17(1)参照)のz座標値の平均値を求め、この求めたz座標値をダンボール箱1の高さとする。
【0215】
次に、上記4つの各稜線の各x座標値と各y座標値と、上記ダンボール箱1の上面の高さ位置とによって、上記ダンボール箱1の上面の4つの各頂点のx座標値、y座標値、z座標値を算出する。
【0216】
そして、上述のようにして求めた、ダンボール箱1の上面に位置する各頂点のxyz座標値として採用すれば、ダンボール箱1の設置位置と全体の大きさ(ダンボール箱1の長さと幅と高さ)とを認識することができる。
【0217】
なお、上記ダンボール箱1の設置位置と全体の大きさは、Aパターン等の場合と同様に、図1に示す上位PC39のLCD(図示せず)に、適宜出力されて表示される。
【0218】
次に、図4に示すステップS23のFパターンにおけるダンボール箱1の認識について説明する。
【0219】
Fパターンでは、直方体計測装置3がダンボール箱1の上面にパルスレーザ光を照射可能であるので、上記Aパターンで示した場合と同様に、ダンボール箱1の上面の反射位置のみを用いて、上記ダンボール箱1の設置位置や大きさを求めることも可能であるが、上記ダンボール箱1の設置位置や大きさを、一層精度を高めて求めるために、ダンボール箱1の1つの側面の各反射位置も加えて、上記ダンボール箱1の設置位置や大きさを、Dパターンの場合とほぼ同様に求めることができる。
【0220】
直方体計測装置3によれば、パルスレーザ光をダンボール箱1に対して発射し、この発射したパルスレーザ光で、上記ダンボール箱1を(上記ダンボール箱1の各面のうちで、直方体計測装置3がパルスレーザ光を照射可能な面の全体を)二次元的に走査し、上記ダンボール箱1で反射された上記パルスレーザ光を受光し、上記パルスレーザ光の発射方向と、上記パルスレーザ光の発射時刻とこのパルスレーザ光の反射光の受光時刻との時間差とによって、上記ダンボール箱1上の反射位置を検出し、この検出された複数の反射位置に基づいて、上記ダンボール箱1の大きさまたは設置位置を算出し出力するので、直方体計測装置3に対して相対的に静止しているダンボール箱1の設置位置やダンボール箱1の全体の大きさを計測することができる。
【0221】
また、ダンボール箱1を移動させることなく、このダンボール箱1を計測することができるので、ダンボール箱1が重く移動しにくい場合であっても、ダンボール箱1の大きさを容易に計測することができる。
【0222】
また、直方体計測装置3によれば、たとえば、ダンボール箱1の下方部から一次元的なスキャンを開始し、この一次元的なスキャンと同様なスキャンを、順次ダンボール箱1の上方にほぼ一定の間隔で平行にずらして行うことによって二次元的スキャンを行い、上記各スキャンの反射位置の極値(たとえば、x座標値最小値とこれに対応するy座標値)に基づいて、ダンボール箱1の稜線を求め、さらにこの稜線に基づいて、ダンボール箱1の頂点を求めて、ダンボール箱1の設置位置や全体の大きさを算出しているので、スキャン操作や上記稜線の算出手順が単純であり、したがって、ダンボール箱1の設置位置や全体の大きさを迅速に算出することができる。
【0223】
また、直方体計測装置3によれば、直方体計測装置3とダンボール箱1との相対的な位置関係を判断できるので、直方体計測装置3がパルスレーザ光を照射可能なダンボール箱1の面が、側面1つのみである場合、ダンボール箱1の全体の大きさや位置が計測不能であると容易に判断することができる。また、直方体計測装置3とダンボール箱1との相対的な位置関係に応じて、ダンボール箱1の設置位置や全体の大きさを的確に計測することができる。
【0224】
また、直方体計測装置3では、ダンボール箱1上の各反射位置をx座標値、y座標値、z座標値を用いて表し、ダンボール箱1の設置位置や大きさを計測しているが、上記各反射位置を極座標の形式で表して、ダンボール箱1の設置位置や全体の大きさを計測してもよい。
【0225】
また、直方体計測装置3において、各スキャンの各反射位置のx座標値、y座標値、z座標値に着目し、たとえば、上記Dパターンで、各反射位置のうちz座標値がほぼ一定であるものを、ダンボール箱1の上面の反射位置の集合とし、これらの各反射位置の集合を包絡する四角形(上記反射位置の総てが上記四角形の内部にほぼ均等に存在している四角形)を求め、この四角形がダンボール箱1の上面を形成するものとして、ダンボール箱1の設置位置や全体の大きさを計測してもよい。
【0226】
なお、直方体計測装置3によって、ダンボール箱1以外のコンテナ等の直方体であって、表面でパルスレーザ光を反射可能な直方体の設置位置や全体の大きさを計測してもよい。
【0227】
【発明の効果】
本発明によれば、停止して設置されている直方体の設置位置や上記直方体の船体の大きさを計測することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る直方体計測装置の概略構成を示す図である。
【図2】直方体計測装置の動作の概略を示す図である。
【図3】図2における1つの一次元的なスキャンをダンボール箱に対して行った場合を示す図である。
【図4】直方体計測装置が、ダンボール箱の設置位置や全体の大きさを測定するときの動作の概略を示すフローチャートである。
【図5】図3に示す、ダンボール箱の各反射位置の一部分を拡大した図である。
【図6】ダンボール箱と直方体計測装置との間の相対的な位置関係とパルスレーザ光によるスキャンとを示す図である。
【図7】ダンボール箱と直方体計測装置との間の相対的な位置関係とパルスレーザ光によるスキャンとを示す図である。
【図8】ダンボール箱と直方体計測装置との間の相対的な位置関係とパルスレーザ光によるスキャンとを示す図である。
【図9】ダンボール箱と直方体計測装置との間の相対的な位置関係とパルスレーザ光によるスキャンとを示す図である。
【図10】ダンボール箱と直方体計測装置との間の相対的な位置関係とパルスレーザ光によるスキャンとを示す図である。
【図11】ダンボール箱と直方体計測装置との間の相対的な位置関係とパルスレーザ光によるスキャンとを示す図である。
【図12】直方体計測装置でダンボール箱の上面のみにパルスレーザ光を照射可能なパターンにおいて、ダンボール箱の上面をスキャンした場合を示す図である。
【図13】直方体計測装置がダンボール箱の上面と1つの側面のみを照射可能な位置に設置されたパターンであって、しかも、ダンボール箱の上記1つの側面と、直方体計測装置の一次元的なスキャンの方向とがほぼ平行になっているパターンにおいて、ダンボール箱の上面と1つの側面をスキャンした場合を示す図である。
【図14】直方体計測装置がダンボール箱の上面と1つの側面のみを照射可能な位置に設置されたパターンであって、しかも、ダンボール箱の上記1つの側面と、直方体計測装置の一次元的なスキャンの方向とがほぼ平行になっているパターンにおいて、ダンボール箱の上面と1つの側面をスキャンした場合を示す図表である。
【図15】直方体計測装置でダンボール箱の上面と2つの側面にパルスレーザ光を照射可能なパターンにおいて、ダンボール箱の2つの側面をスキャンした場合を示す図である。
【図16】直方体計測装置でダンボール箱の上面と2つの側面にパルスレーザ光を照射可能なパターンにおいて、ダンボール箱の2つの側面をスキャンした場合を示す図表である。
【図17】直方体計測装置でダンボール箱の2つの側面のみにパルスレーザ光を照射可能なパターンにおいて、ダンボール箱の2つの側面をスキャンした場合を示す図表である。
【図18】直方体計測装置でダンボール箱の2つの側面のみにパルスレーザ光を照射可能なパターンにおいて、ダンボール箱の2つの側面をスキャンした場合を示す図である。
【符号の説明】
1 ダンボール箱
3 直方体計測装置
5 パルスレーザ光発射手段
7 走査手段
9 パルスレーザ光受光手段
11 反射位置検出手段
13 算出手段

Claims (2)

  1. xy平面に対して底面がほぼ平行になるように設置された直方体の大きさまたは設置位置を、上記直方体の外部に設けられたレーザ光発生器が発射するパルスレーザ光を用いて計測する直方体計測方法において、
    上記パルスレーザ光で上記直方体を二次元的に走査し、上記直方体で反射された反射光を受光し、上記パルスレーザ光の発射方向と、上記パルスレーザ光の発射時刻とこのパルスレーザ光の反射光の受光時刻との時間差とによって、上記直方体の反射位置を検出する反射位置検出工程と;
    上記検出された複数の反射位置に基づいて、上記直方体の大きさまたは設置位置を算出する算出工程と;
    を有し、
    上記算出工程は、上記検出された複数の反射位置に基づいて、上記直方体の稜線の座標値を算出し、この算出された稜線の座標値を用いて上記直方体の上面の各頂点を算出し、上記直方体の大きさまたは設置位置を算出する工程であり、
    上記走査は、一定の方向に一次元的にスキャンをした後、スキャン位置を変えて上記一定の方向とほぼ平行な方向に上記一次元的なスキャンと同様なスキャンを複数回行うことによって、上記直方体を二次元的に走査するものであり、
    上記算出工程は、上記各一次元的なスキャン毎に、上記各反射位置の中でほぼ一直線上に並んだ点群のx座標値とy座標値とからxy平面上の直線式を求め、この直線式の本数と傾きとに基づいて、上記レーザ光発生器から上記直方体のいずれの面に上記パルスレーザ光が照射されたかを判断し、
    上記直方体の上面に上記パルスレーザ光が照射された場合、上記各スキャン毎の上記上面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値と、上記各スキャン毎の上記上面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、上記直方体の上面の4つの各稜線を含む4種類の各直線を求めて、上記各直線の交点のx座標値とy座標値とを求め、さらに、上記上面の反射位置のz座標値を用いて、上記直方体の上記上面の各頂点を算出し、
    上記直方体の2つの側面に上記パルスレーザ光が照射された場合、上記各スキャン毎に上記各反射位置のx座標値とy座標値とからxy平面上の2つの直線式を求め、この2つの直線式の交点から、z軸にほぼ平行な、上記直方体の第1の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第2の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第3の稜線のx座標値とy座標値とを求め、上記第1〜第3の各稜線の各x座標値と各y座標値とによって、z軸にほぼ平行な、上記直方体の第4の稜線のx座標値とy座標値とを求め、上記各反射位置のz座標値の最大値から、上記直方体の上面の高さ位置を求め、上記第1〜第4の稜線の各x座標値と各Y座標値と、上記上面の高さ位置とによって、上記直方体の上記上面の各頂点を算出し、
    上記直方体の1つの側面のみに上記パルスレーザ光が照射された場合、上記直方体の大きさまたは設置位置を算出することは不可能であると判断することを特徴とする直方体計測方法。
  2. xy平面に対して底面がほぼ平行になるように設置された直方体の大きさまたは設置位置を計測する直方体計測装置において、
    パルスレーザ光を上記直方体に対して発射可能なパルスレーザ光発射手段と;
    上記パルスレーザ光で上記直方体を二次元的に走査する走査手段と;
    上記直方体で反射された上記パルスレーザ光を受光可能なパルスレーザ光受光手段と;
    上記パルスレーザ光の発射方向と、上記パルスレーザ光の発射時刻とこのパルスレーザ光の反射光の受光時刻との時間差とによって、上記直方体の反射位置を検出する反射位置検出手段と;
    上記検出された複数の反射位置に基づいて、上記直方体の大きさまたは設置位置を算出し出力する算出手段と;
    を有
    上記算出手段は、上記検出された複数の反射位置に基づいて、上記直方体の稜線の座標値を算出し、この算出された稜線の座標値を用いて上記直方体の上面の各頂点を算出し、上記直方体の大きさまたは設置位置を算出する手段であり、
    上記走査手段は、一定の方向に一次元的にスキャンをした後、スキャン位置を変えて上記一定の方向とほぼ平行な方向に上記一次元的なスキャンと同様なスキャンを複数回行うことによって、上記直方体を二次元的に走査する手段であり、
    上記算出手段は、上記各一次元的なスキャン毎に、上記各反射位置の中でほぼ一直線上に並んだ点群のx座標値とy座標値とからxy平面上の直線式を求め、この直線式の本数と傾きとに基づいて、上記レーザ光発生器から上記直方体のいずれの面に上記パルスレーザ光が照射されたかを判断し、
    上記直方体の上面に上記パルスレーザ光が照射された場合、上記各スキャン毎の上記上面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値と、上記各スキャン毎の上記上面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、上記直方体の上面の4つの各稜線を含む4種類の各直線を求めて、上記各直線の交点のx座標値とy座標値とを求め、さらに、上記上面の反射位置のz座標値を用いて、上記直方体の上記上面の各頂点を算出し、
    上記直方体の2つの側面に上記パルスレーザ光が照射された場合、上記各スキャン毎に上記各反射位置のx座標値とy座標値とからxy平面上の2つの直線式を求め、この2つの直線式の交点から、z軸にほぼ平行な、上記直方体の第1の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最大値とこの最大値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第2の稜線のx座標値とy座標値とを求め、上記各スキャンの上記側面の反射位置におけるx座標値の最小値とこの最小値に対応するy座標値とによって、z軸にほぼ平行な、上記直方体の第3の稜線のx座標値とy座標値とを求め、上記第1〜第3の各稜線の各x座標値と各y座標値とによって、z軸にほぼ平行な、上記直方体の第4の稜線のx座標値とy座標値とを求め、上記各反射位置のz座標値の最大値から、上記直方体の上面の高さ位置を求め、上記第1〜第4の稜線の各x座標値と各Y座標値と、上記上面の高さ位置とによって、上記直方体の上記上面の各頂点を算出し、
    上記直方体の1つの側面のみに上記パルスレーザ光が照射された場合、上記直方体の大きさまたは設置位置を算出することは不可能であると判断する手段であることを特徴とする直方体計測装置。
JP2002287953A 2002-09-30 2002-09-30 直方体計測方法及び直方体計測装置 Expired - Fee Related JP3948381B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002287953A JP3948381B2 (ja) 2002-09-30 2002-09-30 直方体計測方法及び直方体計測装置
CNB2006101418886A CN100510612C (zh) 2002-09-30 2003-09-29 物体的计测装置
PCT/JP2003/012412 WO2004029546A1 (ja) 2002-09-30 2003-09-29 物体の計測方法及び物体の計測装置
CN2008101492633A CN101393013B (zh) 2002-09-30 2003-09-29 物体的计测装置
CNB038032759A CN1306243C (zh) 2002-09-30 2003-09-29 物体的计测方法及物体的计测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002287953A JP3948381B2 (ja) 2002-09-30 2002-09-30 直方体計測方法及び直方体計測装置

Publications (2)

Publication Number Publication Date
JP2004125525A JP2004125525A (ja) 2004-04-22
JP3948381B2 true JP3948381B2 (ja) 2007-07-25

Family

ID=32280576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002287953A Expired - Fee Related JP3948381B2 (ja) 2002-09-30 2002-09-30 直方体計測方法及び直方体計測装置

Country Status (2)

Country Link
JP (1) JP3948381B2 (ja)
CN (2) CN101393013B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626493B (zh) * 2009-08-06 2012-12-19 北京北大千方科技有限公司 一种结合激光扫描和视频的行人前进方向判断方法
DE102010047984A1 (de) * 2010-10-08 2012-04-12 Valeo Schalter Und Sensoren Gmbh Umlenkspiegelanordnung für eine optische Messvorrichtung und korrespondierende optische Messvorrichtung
JP2012225821A (ja) * 2011-04-21 2012-11-15 Ihi Corp レーザセンサ装置
CN102679889B (zh) * 2012-05-30 2014-04-16 北京恒华伟业科技股份有限公司 车辆尺寸的测量方法和装置
JP6021689B2 (ja) * 2013-02-26 2016-11-09 三菱重工メカトロシステムズ株式会社 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN103208186B (zh) * 2013-03-19 2015-06-10 北京万集科技股份有限公司 一种激光三维扫描车辆的方法及装置
CN104590319B (zh) * 2014-06-11 2016-07-06 北京交通大学 异物侵入检测装置和异物侵入检测方法
CN105632200B (zh) * 2014-10-29 2019-02-05 中国移动通信集团公司 一种交通信号灯的控制方法、装置和系统
KR101746922B1 (ko) * 2015-05-29 2017-06-13 한국과학기술원 전영역 펄스-에코 레이저 초음파전파영상화 장치 및 방법
CN107358796B (zh) * 2016-05-10 2021-05-11 武汉万集信息技术有限公司 一种基于无人机的车辆检测方法
CN105806563A (zh) * 2016-05-17 2016-07-27 福建工程学院 石材矿山叉装车智能辅助作业装置及方法
JP6729287B2 (ja) * 2016-10-20 2020-07-22 株式会社デンソー 位置認識装置
WO2018141403A1 (en) * 2017-02-03 2018-08-09 Siemens Aktiengesellschaft System, device and method for managing traffic in a geographical location
CN108629246B (zh) * 2017-03-23 2024-03-01 北京行易道科技有限公司 车载图像处理方法、装置以及车辆
CN108801150B (zh) * 2018-05-23 2020-03-17 江苏理工学院 一种激光多尺寸单伺服检测装置
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN110466562B (zh) * 2019-08-14 2020-12-08 南京慧尔视智能科技有限公司 一种基于红外激光和微波的平交道口存在检测装置与方法
EP4037447B1 (en) * 2019-09-23 2024-08-07 Fuji Corporation Periphery monitoring device
CN113129608A (zh) * 2021-03-27 2021-07-16 同济大学 一种基于二维激光雷达的行人过街系统及其方法
CN113588654B (zh) * 2021-06-24 2024-02-02 宁波大学 一种发动机热交换器接口的三维视觉检测方法
CN113655497B (zh) * 2021-08-30 2023-10-27 杭州视光半导体科技有限公司 基于fmcw固态扫描激光雷达的感兴趣区域扫描方法
CN115475267B (zh) * 2022-09-19 2023-12-01 上海莱陆科技有限公司 一种物表消毒设备的智能控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59188509A (ja) * 1983-04-11 1984-10-25 Nippon Telegr & Teleph Corp <Ntt> 物体の位置および形状認識方法
JP2767340B2 (ja) * 1991-12-26 1998-06-18 ファナック株式会社 物体の3次元位置・姿勢計測方式
JPH06160060A (ja) * 1992-11-16 1994-06-07 Mitsubishi Electric Corp 直方体の認識方法
JPH06241719A (ja) * 1993-02-23 1994-09-02 Daifuku Co Ltd 物品位置検出装置
JP2001050723A (ja) * 1999-08-11 2001-02-23 Minolta Co Ltd 距離測定装置

Also Published As

Publication number Publication date
CN101017080A (zh) 2007-08-15
CN101393013B (zh) 2011-09-07
CN101393013A (zh) 2009-03-25
CN100510612C (zh) 2009-07-08
JP2004125525A (ja) 2004-04-22

Similar Documents

Publication Publication Date Title
JP3948381B2 (ja) 直方体計測方法及び直方体計測装置
US10132611B2 (en) Laser scanner
JP3842298B2 (ja) 映像ステーションでの物体の走査位相測定の方法と装置
JP6961394B2 (ja) 画像検査装置、画像検査方法、画像検査装置の設定方法、画像検査プログラム、画像装置の設定検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US20130057650A1 (en) Optical gage and three-dimensional surface profile measurement method
EP1680689B1 (en) Device for scanning three-dimensional objects
JP5686012B2 (ja) 表面欠陥検査装置及び方法
CN109521022A (zh) 基于线共焦相机的触摸屏缺陷检测装置
JP4423811B2 (ja) 三次元形状測定システム及び三次元形状測定方法
WO2022149315A1 (ja) 寸法測定装置および寸法測定方法
JPWO2020023599A5 (ja)
JP2006105942A (ja) 三次元形状測定方法及び三次元形状測定装置
CN209624417U (zh) 基于线共焦相机的触摸屏缺陷检测装置
JP4670700B2 (ja) 3次元形状測定装置
JP3514029B2 (ja) 2次元位置姿勢測定方法及び装置、画像記録装置用制御装置、及びマニピュレータ用制御装置
JP2007293550A (ja) ポリゴンメッシュ編集方法、装置、システム及びプログラム
JP4176899B2 (ja) 走査光学系における走査位置測定方法及び装置
Fernandes et al. A fast and accurate approach for computing the dimensions of boxes from single perspective images
JP2000230815A (ja) 光学式3次元計測装置、及び光学式3次元計測方法
JPH10115513A (ja) 表面形状の計測描画装置
JPH0933227A (ja) 三次元形状識別方法
JP4043900B2 (ja) 画像読取装置の読取位置評価システム
JP4995041B2 (ja) 印刷はんだ検査方法、及び印刷はんだ検査装置
JP2002328012A (ja) 三次元形状測定システム
CN118283245A (zh) 基于正交条纹的相机精度验证系统

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070409

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140427

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees