JPH06249631A - 積荷の三次元画像計測方法 - Google Patents

積荷の三次元画像計測方法

Info

Publication number
JPH06249631A
JPH06249631A JP5062908A JP6290893A JPH06249631A JP H06249631 A JPH06249631 A JP H06249631A JP 5062908 A JP5062908 A JP 5062908A JP 6290893 A JP6290893 A JP 6290893A JP H06249631 A JPH06249631 A JP H06249631A
Authority
JP
Japan
Prior art keywords
image
cargo
spatial
spatial code
uppermost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5062908A
Other languages
English (en)
Other versions
JP3028016B2 (ja
Inventor
Tatsuo Hayashi
達雄 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP5062908A priority Critical patent/JP3028016B2/ja
Priority to DE4405849A priority patent/DE4405849A1/de
Priority to ITMI940346A priority patent/IT1273342B/it
Priority to FR9402208A priority patent/FR2702055B1/fr
Publication of JPH06249631A publication Critical patent/JPH06249631A/ja
Application granted granted Critical
Publication of JP3028016B2 publication Critical patent/JP3028016B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Holo Graphy (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 簡単かつ迅速な処理により、最上段の積荷の
画像を他の積荷と区別して得る。また、その上面形状の
重心位置を簡単な処理で求める。 【構成】 積荷全体の空間コード画像を得る過程Dと、
この中から最上段の積荷Wの画像を抽出する過程Eとを
含む。空間コード画像は、スリット光投影法や、空間コ
ード化パターン光投影法により得る。積荷Wの測定空間
を互いに積層された楔状測定領域r0〜rnに分割して
各測定領域に空間コードを定める。カメラ3で撮像した
画像の各画素値に前記空間コードを含む空間コード画像
を得る。最上段積荷の画像抽出は、積荷全体の空間コー
ド画像における水平方向の各画素列毎に、最大角度の楔
状領域を示す空間コードから規定値以内の空間コードを
含む画素のみを残すことにより行う。積荷別にグループ
化しF、各グループ別に各辺の変換点を抽出しG、各点
を三次元座標に変換するH。X,Y平面への投影面にお
ける重心位置Gと傾きθとを求めI、上面高さを求める
J。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、光切断法と呼ばれる
スリット光投影法や、空間コード化パターン光投影法に
より、段積みされた段ボール箱等の箱状積荷を観測する
場合等に使用する積荷の三次元画像計測方法に関する。
【0002】
【従来の技術】物流過程では、箱状の積荷をパレット等
に段積みし、これを別の場所に運んで荷下しする場合が
多くある。このような作業に際して、パレタイザによっ
て規則的に積まれた箱状積荷は、視覚システムを持たな
くても汎用ロボットやデパレタイザによって荷下しする
ことができる。しかし、人間の割り込み作業によって不
規則なパターンに積まれたり、運搬途中の支障により積
荷の姿勢や位置がずれることがある。そこで、ロボット
によるデパレ作動ができない状態を防ぎ、信頼性と柔軟
性を上げるために、積荷の三次元パターンを監視する視
覚システムが望まれる。このような積荷用の視覚システ
ムとして、実用化が試みられたものも何例かあるが、い
ずれも満足できるものではない。
【0003】一般の用途として、物体の位置や形状を無
接触で計測する三次元画像計測方法は種々提案されてお
り、例えば三角測量に基づく方法として、光切断法と呼
ばれるスリット光投影法や、空間コード化パターン光投
影法等がある。この方法を積荷の測定に適用するとすれ
ば、図16(A)に示すようになると考えられる。スリ
ット光投影法は、積荷Wの測定空間を楔状の測定領域R
0〜Rnに分割し、投光器51から各測定領域R0〜R
n毎にスリット光を順次照射してカメラ52により撮像
する方法である。各回の撮像画像を重ね合わせることに
より、画素データに積荷Wまでの距離データを持つ三次
元画像が得られる。すなわち、楔状空間をなす平面と、
注目点Pに対するカメラ52の視線との交点によって注
目点Pの三次元座標が得られる。なお、同図では、楔状
領域R0〜Rnは十数個程度として図示してあるが、実
際には一般に数百程度に分割される。
【0004】スリット光の代わりに、各種のパターン光
を時系列的に照射することよっても、楔状の測定領域R
0〜Rnに分割した各距離データを持つ画像が得られ
る。このように光照射して測定する方法が空間コード化
パターン光投影法である。
【0005】
【発明が解決しようとする課題】しかし、図16(A)
の方法では、いずれにしても全画素につき3次元座標を
求めて形状認識し、最上段の積荷Wの位置や姿勢を測定
することになるため、演算量が非常に多くなり、演算に
時間がかかる。一般に、荷下し作業では、最上段の積荷
Wの平面形状,重心位置,平面内の傾き,高さ等が分か
れば足り、前記のように全ての積荷Wの形状を知る必要
はない。そのため、前記の方法では無駄な演算で時間が
消費されることになる。
【0006】このため、本発明者は、同図(B)に示す
ように得られた積荷Wの全体の空間コード画像(各画素
Pcの画素値として、楔状領域R0〜Rnに対応する空
間コードを含む画像)から、同図(C)のように最上段
の積荷W0 のみの画像を抽出し、この抽出画像のみの座
標演算等を行うことを考えた。この場合、画像の抽出は
次のように行う。すなわち、各ワークWの上面における
楔状領域R0〜Rnは、投光器51からの光の照射方向
Rに対して平行直線状に並び、画面水平方向の各画素P
cは、同じ平面状では同じ空間コードを有することにな
る。そのため、画面水平方向の各列毎に最大の空間コー
ドを持つ画素Pcを選び出すことにより、同図(C)の
ような最上段の積荷W0 の画像が抽出できると考えられ
る。
【0007】しかし、積荷Wが段ボール箱であると、図
17(A)のように上面形状が高さ方向に変形した曲面
形状となっている場合が多くある。この場合、積荷上面
の楔状領域R0〜Rnは、同図(B)のように波形に歪
んだ線となり、前記のように各列毎に最大の空間コード
を持つ画素Pcを選び出す方法では、同図(C)のよう
に離散的な画素Pcしか残されず、積荷Wの上面形状を
認識することができない。
【0008】この発明の目的は、簡単かつ迅速な処理に
より、最上段の積荷の画像を他の積荷と区別して得るこ
とのできる三次元画像計測方法を提供することである。
請求項2の発明の目的は、さらに最上段の積荷の重心位
置を簡単な処理で求めることのできる三次元画像計測方
法を提供することである。
【0009】
【課題を解決するための手段】この発明の三次元画像計
測方法は、積荷全体の空間コード画像を得る過程と、こ
の中から最上段の積荷の画像を抽出する過程とを含む。
空間コード画像は、次のようにして得る。すなわち、積
荷(W)の測定空間を互いに積層された楔状測定領域
(r0〜rn)に分割して各測定領域に並び順の空間コ
ードを定め、各画素データに前記空間コードを含む空間
コード画像を得る。この場合、例えば各楔状領域(r0
〜rn)に対する画像を撮像し、これらを重ね合わせる
こと等により空間コード画像が得られる。最上段積荷の
画像抽出は、積荷全体の空間コード画像における所定方
向の各画素列毎に、最大角度の楔状領域を示す空間コー
ドから規定値以内の空間コードを含む画素のみを残すこ
とにより行う。
【0010】請求項2の三次元画像計測方法は、請求項
1の計測方法で最上段の積荷の画像を抽出した後、この
画像のデータから、最上段積荷の上面各辺における複数
点の三次元座標を演算し、得られた三次元座標から、最
上段積荷の上面の水平投影面における重心位置を求める
方法である。
【0011】
【作用】この発明方法によると、最大角度の楔状領域を
示す空間コードから規定値以内の空間コードを含む画素
のみを残すことにより最上段積荷の画像を抽出するの
で、実際の積荷の最上面よりも所定値だけ下がった高さ
以上の部分の画像が残ることになる。そのため、最上段
積荷の上面形状が高さ方向に多少変形していても、上面
全体の形状を示す画像が得られる。また、このように最
上段積荷の上面の画像のみを抽出するため、後の各種の
処理に際する演算のデータ量が少なくて済み、簡単かつ
迅速に最上段積荷に関する必要データを得ることができ
る。
【0012】請求項2の発明方法によると、最上段積荷
の画像データから各辺の所定点の三次元座標を演算し、
得られた三次元座標から積荷上面の水平投影面に対する
重心位置を求めるので、撮像手段の視線方向が異なって
いても、また積荷の上面形状が上下に変形していても、
求められる重心位置が変わらず、正確に最上段積荷の上
面の重心位置を求めることができる。
【0013】
【実施例】この発明の一実施例を図1ないし図13に基
づいて説明する。図1は画像計測の処理手順の全体を示
す概略説明図、図2ないし図8は各々図1(A)〜
(J)の拡大図である。図2に示すように、計測対象は
パレット1上に段積みされた全体の積荷Wである。積荷
Wは段ボール箱からなり、上面の中央に両開きの蓋の合
せ線Waが生じている。図2(A1)は、同図(A2)
の積荷W等を視線qの方向から見た斜視図(画像)であ
る。
【0014】画像計測手段としては、パレット1の後ろ
上方に配置した投光器2と、パレット1の中心部の上方
に真下に向けて設置したCCD(固体撮像素子)カメラ
3とを用いる。この実施例では、いわゆる空間コード化
パターン光投影法を採用しており、投光器2には各種の
パターン光を時系列的に投光することにより、測定空間
を互いに積層された楔状測定領域r0〜rnに分割する
ものが使用される。
【0015】図12は計測システムの構成例を示す。投
光器2には液晶シャッタ4が設けてある。液晶シャッタ
4は、液晶からなる細いストライプ状の光シャッタ列を
作り、電気信号により各ストライプの光透過率をオンオ
フ制御して所望の光パターン作るものである。投光器2
の点滅、液晶シャッタ4のパターン変化、カメラ3の撮
像タイミング等の制御は、専用の画像処理装置5が担当
しており、制御コマンドの入力に従って所定の動作を行
う。カメラ3の分解能は、例えば512×512画素、
画像処理装置5の画像メモリは512×512×8ビッ
ト(=256Kバイト)としてある。コマンドを受け取
った画像処理装置5では、空間をコード化した画像を生
成し、画像データをホストワークステーション6に転送
する。ホストワークステーション6では、この画像デー
タから、後に説明する最上段画像の抽出や、三次元座標
値の演算、重心演算、上面高さ演算等を行う。画像処理
装置5はモニターディスプレイ7を有し、ホストワーク
ステーション6はディスプレイ8を備える。
【0016】図14はパターン光を用いた空間コード化
の原理を示す。実施例の説明の前にまずこの原理を説明
する。同図において、光が当たっている部分を「1」
に、当たっていない部分を「0」にすると、パターンA
が投光されている場合は、後ろ半分が「1」に、前半分
が「0」にコード化される。次に、パターンBが投光さ
れると、後ろ1/4が「1」に、次の1/4が「0」
に、その次の1/4が「1」に、一番前側の1/4が
「0」にコード化される。同様にパターンCが投光され
ると、図のように「1」,「0」,「1」,「0」,…
とコード化される。
【0017】このように、A,B,C3つのパターンを
用いて空間を8つの楔状領域に分割することができる。
こうして、それぞれの楔状領域に対して「000」〜
「111」までの3ビットにコード化した空間を得る。
図中のT点は、コード「「101」で示される楔状領域
に位置することになる。この実施例を含め、実際にはビ
ット誤りを少なくするために、図15に示すグレーコー
ド(交番2進コード)パターンが用いられる。
【0018】このようにして各楔状領域に得られる所定
ビット数の2進数を「空間コード」と呼ぶ。なお、スリ
ット光投影法では、各楔状領域毎に順次スリット光を投
光するが、その楔状領域を区別するために与えられる適
宜のコードも「空間コード」と呼ぶことにする。これら
の空間コードを画素値とする画像を「空間コード画像」
と呼ぶ。
【0019】図13は、グレイコードパターン光を用い
た場合の投光から距離画像を得るまでの計測処理の基本
的な流れを示す。1枚の光パターンに対して、次の〜
までの処理を行う。グレイコードパターン光を測定
空間に投光する。対象をカメラ3で撮像し、入力画像
の明暗を2値化する。2値化された画像を、投光パタ
ーンの順番に応じて多値画像メモリのビットプレーンに
挿入する。これら〜の処理をn枚の光パターンに対
して繰り返して、画像メモリの中にnビットのグレイコ
ードで表現された空間コード画像を得る。この空間コー
ドをグレイコードから2進コードに変換し、空間コード
画像から三次元座標を演算して距離画像を求めることが
できる。
【0020】三次元位置の算出は、演算式を省略する
が、次の原理で行える。図14のように測定空間を楔状
に薄く分割して得られる領域は1枚の平面とみなすこと
ができ、対象物表面の三次元位置はこの平面とカメラ視
線との交点として一義的に求められる。楔状領域の面方
向は、その領域の空間コードに対応しており、その面の
方程式は空間コードの値から直ちに決定することができ
る。一方、カメラ視線のなす直線の方程式は、注目して
いる画素の画像中での位置から決定できる。したがっ
て、対象物表面上の測定点の座標値は、注目画素のカメ
ラ座標とその画素における空間コードとから演算するこ
とができる。
【0021】実施例の説明に戻る。この実施例では、前
述の図12の計測システムを用い、まず図2の積荷Wに
つき、図13〜図15と共に説明した原理でグレイコー
ドパターン光による空間コード画像を得る。図3(A)
は、ワークWをパレット1の上方から見た濃淡画像を示
す。濃淡画像は、この三次元画像計測方法では必ずしも
得る必要はないが、参考に示す。図3(C1)〜(C
3)は、図2のように楔状測定領域r0〜rnに分割し
た各領域に投光した光によってカメラ3に得られる画
像、すなわち光切断画像を示す。同図に斜線で示す部分
が、積荷Wに光が当たって明領域として撮像される部分
である。なお、この実施例で採用する空間コード化パタ
ーン光投影法では、図2の楔状領域r0〜rnは、パタ
ーン光の組み合わせの結果で分割される領域であり、図
3(C1)〜(C3)は1回の投光時の画像を各々示す
ものではない。スリット光投影法を採用した場合は、各
楔状領域r0〜rn毎にスリット光を投光するため、図
3(C1)〜(C3)は1回の投光時の画像を各々示す
ことになる。
【0022】同図(C1)は、投光角度がφa(図2の
領域r3、図4の空間コード「3」)のときであり、最
下段の後ろ側の積荷Wのみが撮像される。同図(C2)
は投光角度を前記よりも大きな角度φbとしたときであ
り、上段の積荷Wほど、後ろ側の部分が撮像されてい
る。同図(C3)はさらに投光角度をφcと大きくした
ときを示し、最上段の前側の積荷Wのみが撮像されてい
る。
【0023】このような画像データの集まりにより、図
4に示す積荷全体の空間コード画像が得られる。同図に
おいて各積荷W上に付した数字は空間コードを示し、細
線は空間コードが同じ値となる部分の境界線を示す。な
お、同図では図を見やすくするために、実際の領域分割
数よりも分割数を少なくして図示してある。同図におけ
る斜線域は、積荷Wのない部分、または投光器2からの
光が別の積荷Wで遮られて積荷表面としての撮像データ
が得られない箇所を示す。
【0024】この全体の空間コード画像から、図5に示
す最上段の積荷Wのみの画像を次の方法で抽出する。す
なわち、図4の空間コード画像から、各水平方向の画素
列L(L1,L2,……)毎に、最大角度の楔状領域を
示す空間コードから規定値以内の空間コードを含む画素
のみを残す。
【0025】例えば、図4の空間コード画像において、
水平方向の画素列L4では、最下段の積荷Wの画素列部
分の空間コードが「4」に、2段目の積荷Wの画素列部
分の空間コードが「8」に、最上段の積荷Wの画素列部
分の空間コードが「12」となっているが、この最大の
空間コード「12」の画素を残す。この場合に、画素列
L4において、最上段の積荷Wの各画素の空間コード
は、実際には全てが「12」とはならず、「11」や
「10」である箇所もあるが、規定値を「2」に設定し
たとすると、空間コードの最大値「12」よりも「2」
だけ小さい空間コード「10」以上の部分を残すことに
する。
【0026】このような処理を各画素列L毎に繰り返す
ことにより、最上段の積荷Wの画像のみが抽出され、ま
た最上段積荷Wの上面形状が例えば図9に示すように高
さ方向に多少変形していたとしても、上面全体の形状を
示す画像が得られる。ただし、前提条件として、図2の
各分割領域r0〜rnは、画面上では水平方向に延びた
帯状部分となり、空間コードは画面上で上から下へ順に
大きくなるものとする。スリット光投影法で言えば、投
光器2より投光される光は画面水平方向に延びた帯状の
光であり、画面上を上から下へ順に投光されるものとす
る。
【0027】図9,図10と共に、上記の抽出方法をさ
らに詳しく説明する。図10は、図9の部分Fの空間コ
ード画像を示す。同図において、一つの枡目部分は一つ
の画素Pcを示し、その中の数字は空間コード値を示
す。なお、完全な水平面の画像の場合、空間コードは同
じ水平列内の画素では全て同じ値となり、一列下がる毎
に「1」だけ大きくなる。図9の積荷Wは上面形状が上
下に変形しているため、各画素の空間コードに多少のば
らつきが生じている。すなわち、第1の画素列L1で
は、空間コードの最大値が「9」となっており、空間コ
ードが「7」となっている部分も生じている。この場合
に、規定値を「2」に設定したとすると、最大値「9」
よりも「2」小さい「7」以上の空間コードを持つ各画
素が残され、空間コードが「5」や「4」の画素は捨て
られる。第2の画素列L2では、空間コードの最大値が
「10」となっているため、空間コードが「8」以上の
各画素が残されることになる。このような処理の繰り返
しにより、最上段の積荷Wの上面を示す全ての画素が残
され、隣の下段の積荷W(鎖線で示す)の画素が捨てら
れて、最上段の積荷Wのみの空間コード画像が抽出され
る。
【0028】図11は、この抽出処理の具体例を示す流
れ図である。まず、ステップS1で、画素抽出を開始す
る行(水平列)を画像の最上段行に設定するとともに、
最大画像抽出値を設定する。
【0029】次に、その設定行における1行分(1列の
画素列分)の画素における空間コードの最大値を探索し
(S2)、最大値から規定値だけ小さい抽出最小空間コ
ード値を設定する(S4)。規定値は予め適宜の値に入
力設定しておく。この後、1行分につき、図10と共に
前述したように抽出最小空間コード値以上の空間コード
を有する画素を抽出する(S5)。
【0030】1行分の抽出が終了すると、行カウンタを
インクリメントし(S7)、ステップS2の処理に戻
る。
【0031】2行目以後の処理では、ステップS2で行
単位の空間コード最大値を探索した後、その最大値と最
大画像抽出値とを比較し(S3)、最大値の方が大きい
場合は、最大画像抽出値を更新する。このような処理を
最終行まで繰り返すことにより、最上段の積荷Wの配置
がどのようになっていても適正な画像抽出が行える。
【0032】最上段積荷の抽出画像が得られると、その
画像を図6のようにグループ化し、計測対象を積荷
A ,WB ,WC 別に分割する。グループ化は、隣接す
る画素間で、空間コードが所定の範囲内に近接している
領域、換言すれば楔状領域r0〜rnが近接している領
域を1グループとし、同一グループの画素に同じラベル
(番号)を割り当てること等により行う。いわば、ラベ
リング処理を、一般に行なわれている同一値の画素の連
結に限らず、隣接する画素間で隣接する値を持つ画素の
連結まで行うことにより、グループ化する。各積荷
A ,WB ,WC の間の上縁間に生じている溝状部や隙
間等によって各画素の並びに生じる空間コードの変化の
特徴等を利用して積荷別のグループ化(領域分割)を行
っても良い。
【0033】この最上段のグループ化画面において、そ
れぞれのグループについて、図7のようにそのグループ
を形成する各辺の輪郭線LIを抽出し、さらにその線の
中から、三次元座標データへの変換点C11〜C13,C21
〜C23,C31〜C33,C41〜C43を抽出する。変換点の
抽出個数は予め所定の基準で設定しておく。
【0034】これらの抽出した変換点C11〜C13,C21
〜C23,C31〜C33,C41〜C43につき、その点の画面
上における画素位置と、空間コードに対応する楔状領域
をなす面の角度とにより、三次元座標(世界座標)を演
算する。図8(H)に各点の三次元座標位置を鎖線で示
す。
【0035】このように求めた各点の三次元座標を図8
(I)のように水平面である(X,Y)平面に投影し、
計測対象のX,Y平面での重心G(XG ,XG )と傾き
θを求める。また、Z軸方向(鉛直方向)のデータは、
図8(J)のように、各点のZ軸方向データの大きいも
のより3辺分を抽出し、その平均値(ZG )をとって積
荷の上面位置と定める。同図では辺1,辺2,辺4の各
点のZ座標の平均値を上面位置とする。このように3辺
分の平均値を上面位置とするため、図9の例のように辺
3が変形していても上面位置を精度良く測定できる。
【0036】この三次元画像計測方法によると、このよ
うにして最上段の積荷Wの認識と、その上面位置の重
心、水平面内での傾きθを知ることができる。そのた
め、汎用ロボットやデパレタイザによる荷下し等の作業
に際して、積荷Wの位置や姿勢が種々異なっていても、
これに柔軟に対処して精度良く作業を行うことができ
る。しかも、演算量が少なくて済み、簡単な演算装置で
高速動作が可能となる。
【0037】なお、前記実施例は空間コード画像を得る
過程に空間コード化パターン光投影法を採用したが、ス
リット光投影法を採用しても良い。
【0038】
【発明の効果】この発明の三次元画像計測方法は、最大
角度から規定値以内の空間コードの画素を残して最上段
積荷の画像を抽出するので、最上段の積荷の画像を他の
積荷と区別して得ることができ、しかも積荷の上面形状
が高さ方向に多少変形していても、上面全体の形状を示
す画像が得られる。また、このように最上段積荷の上面
の画像のみを抽出するため、後の各種の処理に際する演
算のデータ量が少なくて済み、簡単かつ迅速に最上段積
荷に対する荷下し等に必要なデータを得ることができ
る。
【0039】請求項2の発明方法は、前述のようにして
得た最上段積荷の画像データを三次元座標に変換してか
ら積荷上面の水平投影面に対する重心位置を求めるの
で、撮像手段の視線方向が異なっていても、また積荷の
上面形状が上下に変形していても、正確に最上段積荷の
上面の重心位置を求めることができる。そのため、積荷
の積み方が乱れていても、荷下し等を容易化するための
必要データを得ることができる。
【図面の簡単な説明】
【図1】この発明の一実施例にかかる三次元画像計測方
法の全体処理を示す概略説明図である。
【図2】計測対象と計測手段との関係を示す斜視図およ
びその左側面図である。
【図3】パレット上方より見た濃淡画像、および各投光
角度の光切断画像の説明図である。
【図4】空間コード画像の説明図である。
【図5】最上段積荷の抽出画像の説明図である。
【図6】最上段のグループ化画像の説明図である。
【図7】三次元座標データへの変換点抽出処理の説明図
である。
【図8】三次元座標への変換状態、ならびに重心位置お
よび平均高さの作成過程の説明図である。
【図9】積荷の変形状態例を示す斜視図である。
【図10】図9のF部分に対応する空間コード画像の説
明図である。
【図11】最上段積荷の画素抽出処理の流れ図である。
【図12】三次元画像計測に使用するシステム構成例の
ブロック図である。
【図13】画像入力から距離画像に変換する過程の説明
図である。
【図14】空間コード化パターン光投影法の原理説明図
である。
【図15】グレイコードパターン光の説明図である。
【図16】積荷の三次元画像計測方法の提案例の説明図
である。
【図17】その積荷が歪みを有する場合の各処理状態の
説明図である。
【符号の説明】
1…パレット、2…投光器、3…CCDカメラ、A〜C
…光パターン、G…重心、L…水平方向画素列、Pc…
画素、r0〜rn…楔状測定領域、W…積荷、WA 〜W
C …画素のグループ、C11〜C43…変換点、ZG …平均
値、θ…傾き

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 積荷の測定空間を互いに積層された楔状
    測定領域に分割して各測定領域に並び順の空間コードを
    定め、積荷の画像として各画素データに前記空間コード
    を含む空間コード画像を得る過程と、この空間コード画
    像における所定方向の各画素列毎に、最大角度の楔状領
    域を示す空間コードから規定値以内の空間コードを含む
    画素のみを残して最上段の積荷の画像を抽出する過程と
    を含む積荷の三次元画像計測方法。
  2. 【請求項2】 請求項1の計測方法で最上段の積荷の画
    像を抽出した後、この画像のデータから、最上段積荷の
    上面各辺における複数点の三次元座標を演算し、得られ
    た三次元座標から、最上段積荷の上面の水平投影面にお
    ける重心位置を求める積荷の三次元画像計測方法。
JP5062908A 1993-02-26 1993-02-26 積荷の三次元画像計測方法 Expired - Fee Related JP3028016B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP5062908A JP3028016B2 (ja) 1993-02-26 1993-02-26 積荷の三次元画像計測方法
DE4405849A DE4405849A1 (de) 1993-02-26 1994-02-23 Verfahren zum Aufnehmen drei-dimensionaler Bilder von Ladungen
ITMI940346A IT1273342B (it) 1993-02-26 1994-02-25 Metodo per riprendere immagini tridimensionali di carichi
FR9402208A FR2702055B1 (fr) 1993-02-26 1994-02-25 Procédé permettant de prendre des images tridimensionnelles de charges.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5062908A JP3028016B2 (ja) 1993-02-26 1993-02-26 積荷の三次元画像計測方法

Publications (2)

Publication Number Publication Date
JPH06249631A true JPH06249631A (ja) 1994-09-09
JP3028016B2 JP3028016B2 (ja) 2000-04-04

Family

ID=13213830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5062908A Expired - Fee Related JP3028016B2 (ja) 1993-02-26 1993-02-26 積荷の三次元画像計測方法

Country Status (4)

Country Link
JP (1) JP3028016B2 (ja)
DE (1) DE4405849A1 (ja)
FR (1) FR2702055B1 (ja)
IT (1) IT1273342B (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175729A (ja) * 1997-12-17 1999-07-02 Mitsubishi Electric Corp 物品認識装置
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
JP2003151048A (ja) * 2001-09-05 2003-05-23 Sick Ag 監視法および光電子センサー
KR100442817B1 (ko) * 1998-09-09 2004-09-18 삼성전자주식회사 한 장의 2차원 영상에 의한 3차원 물체 인식방법 및 그 모델베이스 생성방법
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の3次元位置認識装置およびデパレタイズシステム
JP2010071743A (ja) * 2008-09-17 2010-04-02 Yaskawa Electric Corp 物体検出方法と物体検出装置およびロボットシステム
JP2012056076A (ja) * 2010-09-10 2012-03-22 GM Global Technology Operations LLC 機械視覚を用いた、手動の組立て作業をエラープルーフ化するためのシステム
JP2012127819A (ja) * 2010-12-15 2012-07-05 Canon Inc 距離画像生成装置、位置姿勢計測装置、距離画像処理装置、距離画像生成装置の制御方法、およびプログラム
CN109690241A (zh) * 2016-10-14 2019-04-26 欧姆龙株式会社 三维测定装置和三维测定方法
CN110062870A (zh) * 2019-03-13 2019-07-26 深圳市汇顶科技股份有限公司 编码阵列的确定方法、初始化方法、结构光编码方法、光学装置以及三维测量装置
JP2021036204A (ja) * 2019-08-30 2021-03-04 Kyoto Robotics株式会社 移載対象ワーク高さ計測システム
CN112541896A (zh) * 2020-12-14 2021-03-23 湖南镭目科技有限公司 一种炉口堆渣情况辨识方法及系统
KR20220135733A (ko) * 2021-03-31 2022-10-07 한국로봇융합연구원 Rgb-d 카메라를 이용한 적재 화물의 레이어 분리 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692603B2 (ja) * 1994-07-13 1997-12-17 村田機械株式会社 三次元計測方法
CH697014A5 (de) * 2003-07-25 2008-03-14 Supercomputing Systems Ag Absicherung und/oder Ueberwachung von Systemen.
CN105953776A (zh) * 2016-04-28 2016-09-21 北京派得伟业科技发展有限公司 一种基于立体摄影测量获取玉米植株形态参数的方法
CN111439594B (zh) * 2020-03-09 2022-02-18 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2606871B1 (fr) * 1986-11-13 1990-11-09 Imajesa Dispositif de reconnaissance d'objets disposes sur un plan, et systeme de depalettisation mettant en oeuvre un tel dispositif
CA1313040C (en) * 1988-03-31 1993-01-26 Mitsuaki Uesugi Method and apparatus for measuring a three-dimensional curved surface shape
FR2643707B1 (fr) * 1989-02-24 1993-01-15 Syspro Dispositif de reconnaissance de position d'objets
DE4115445C2 (de) * 1990-07-05 1994-02-17 Reinhard Malz Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip und Vorrichtung hierzu

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175729A (ja) * 1997-12-17 1999-07-02 Mitsubishi Electric Corp 物品認識装置
KR100442817B1 (ko) * 1998-09-09 2004-09-18 삼성전자주식회사 한 장의 2차원 영상에 의한 3차원 물체 인식방법 및 그 모델베이스 생성방법
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
JP2003151048A (ja) * 2001-09-05 2003-05-23 Sick Ag 監視法および光電子センサー
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の3次元位置認識装置およびデパレタイズシステム
JP2010071743A (ja) * 2008-09-17 2010-04-02 Yaskawa Electric Corp 物体検出方法と物体検出装置およびロボットシステム
JP2012056076A (ja) * 2010-09-10 2012-03-22 GM Global Technology Operations LLC 機械視覚を用いた、手動の組立て作業をエラープルーフ化するためのシステム
JP2012127819A (ja) * 2010-12-15 2012-07-05 Canon Inc 距離画像生成装置、位置姿勢計測装置、距離画像処理装置、距離画像生成装置の制御方法、およびプログラム
CN109690241A (zh) * 2016-10-14 2019-04-26 欧姆龙株式会社 三维测定装置和三维测定方法
US10818030B2 (en) 2016-10-14 2020-10-27 Omron Corporation Three-dimensional measurement apparatus and three-dimensional measurement method
CN110062870A (zh) * 2019-03-13 2019-07-26 深圳市汇顶科技股份有限公司 编码阵列的确定方法、初始化方法、结构光编码方法、光学装置以及三维测量装置
CN110062870B (zh) * 2019-03-13 2021-08-13 深圳市汇顶科技股份有限公司 编码阵列的确定方法、初始化方法、结构光编码方法、光学装置以及三维测量装置
JP2021036204A (ja) * 2019-08-30 2021-03-04 Kyoto Robotics株式会社 移載対象ワーク高さ計測システム
CN112541896A (zh) * 2020-12-14 2021-03-23 湖南镭目科技有限公司 一种炉口堆渣情况辨识方法及系统
CN112541896B (zh) * 2020-12-14 2023-04-07 湖南镭目科技有限公司 一种炉口堆渣情况辨识方法及系统
KR20220135733A (ko) * 2021-03-31 2022-10-07 한국로봇융합연구원 Rgb-d 카메라를 이용한 적재 화물의 레이어 분리 장치 및 방법

Also Published As

Publication number Publication date
ITMI940346A0 (it) 1994-02-25
ITMI940346A1 (it) 1994-08-27
FR2702055A1 (fr) 1994-09-02
JP3028016B2 (ja) 2000-04-04
IT1273342B (it) 1997-07-08
FR2702055B1 (fr) 1995-08-04
DE4405849A1 (de) 1994-09-01

Similar Documents

Publication Publication Date Title
US11209265B2 (en) Imager for detecting visual light and projected patterns
JPH06249631A (ja) 積荷の三次元画像計測方法
JP3571325B2 (ja) 三次元の表面座標の決定方法
US6377698B1 (en) Method of locating highly variable brightness or color regions in an image
JP3515199B2 (ja) 欠陥検査装置
US20090148037A1 (en) Color-coded target, color code extracting device, and three-dimensional measuring system
CN100473141C (zh) 图像角度检测装置及包含该装置的扫描线插补装置
JPS63308679A (ja) 隆線紋様の隆線方向検出装置
CN113012096A (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
CN110070581B (zh) 双视野定位方法、装置及系统
CN114037659A (zh) 晶粒阵列缺陷检测方法、装置、设备及可读存储介质
JPH08293029A (ja) 箱状物体の積重ね状態認識装置
JP2004012143A (ja) 立体計測装置
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
JP2530955B2 (ja) リ―ド付き部品の検査装置及び検査方法
US4605960A (en) Method for avoiding identifying perimeter variations as blemishes in a CCD image
EP1030270B1 (en) Image binarization method and system
US20230169324A1 (en) Use synthetic dataset to train robotic depalletizing
CN116342858B (zh) 物体检测方法、装置、电子设备及存储介质
KR19990062408A (ko) 물품인식장치
US20240087301A1 (en) Information processing system and information processing method
JPH08171627A (ja) キャリブレーションパターンの重心検出方法
JP4075892B2 (ja) 画像処理方法および画像処理装置
CN115375759A (zh) 基于目标检测的机器人视觉定位方法和装置
JPH0624028B2 (ja) パターン認識のための特徴点コーナーの位置計測方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090204

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees