JP2023514833A - 視野よりも長い移動物体の3次元スキャンのためのシステムおよび方法 - Google Patents

視野よりも長い移動物体の3次元スキャンのためのシステムおよび方法 Download PDF

Info

Publication number
JP2023514833A
JP2023514833A JP2022549624A JP2022549624A JP2023514833A JP 2023514833 A JP2023514833 A JP 2023514833A JP 2022549624 A JP2022549624 A JP 2022549624A JP 2022549624 A JP2022549624 A JP 2022549624A JP 2023514833 A JP2023514833 A JP 2023514833A
Authority
JP
Japan
Prior art keywords
image
fov
data
images
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022549624A
Other languages
English (en)
Other versions
JP7535590B2 (ja
Inventor
ケアリー,ベン,アール
パレット,アンドリュー
リュウ,ユカン
チアン,ギルバート
Original Assignee
コグネックス・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグネックス・コーポレイション filed Critical コグネックス・コーポレイション
Publication of JP2023514833A publication Critical patent/JP2023514833A/ja
Application granted granted Critical
Publication of JP7535590B2 publication Critical patent/JP7535590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、ビジョンシステムのエリアスキャンセンサを、エンコーダまたは運動についての他の知識と併せて使用し、センサの単一の視野(FOV)よりも大きなオブジェクトの正確な測定をキャプチャするためのシステムおよび方法を提供する。本発明はオブジェクトの特徴/縁部を識別し、それらをイメージごとに追跡し、それによって空間における大きさと位置を表示または測定する目的でオブジェクトの全体範囲を処理する軽量な仕方を提供する。ロジックによってオブジェクトがFOVよりも長いかどうかが自動的に判定され、それによってオブジェクトがFOVに存在しなくなるまで、移動/搬送オブジェクトがFOV内に残っている間は、一連のイメージ取得スナップショットを生じさせる。存在しなくなった時点で取得は終了され、個々のイメージはイメージ全体中にセグメントとして結合される。これらのイメージは入力された用途の詳細に基づいて、オブジェクトの全体的な寸法を導出するために処理することができる。

Description

この発明は3次元(3D)空間においてオブジェクトを分析するマシンビジョンシステムに関し、より詳しくはコンベア上で検査域を通って搬送されるオブジェクトを分析するためのシステムおよび方法に関する。
オブジェクトの測定、検査、整列および/またはシンボル情報(例えばバーコード、「IDコード」とも言う)のデコード(解読)を行うマシンビジョンシステム(本願ではまた「ビジョンシステム」とも言う)は、幅広い用途および産業において使用されている。これらのシステムは、対象物またはオブジェクトのイメージ(典型的にはグレースケールまたはカラーであり、1次元、2次元または3次元である)を取得するイメージセンサの使用を基礎としており、そうして取得したイメージを基板上のまたは相互接続されたビジョンシステムプロセッサを用いて処理する。このプロセッサは一般に、処理用ハードウェアおよび非一時的なコンピュータ可読プログラム命令の両者を含み、1またはより多くのビジョンシステムプロセスを実行して、イメージの処理情報に基づく所望の出力を生成する。このイメージ情報は典型的には、それぞれが種々の色および/または明度を有するイメージピクセルのアレイ(配列)内に提示される。
上記したように、1またはより多くのビジョンシステムカメラを配置して、画像化(イメージング)された場面(シーン)におけるオブジェクトの2次元(2D)または3次元(3D)イメージを取得することができる。2Dイメージは典型的には、全体でN×Mのイメージアレイ(多くの場合、カメラのイメージセンサのピクセルアレイによって画定される)内にx成分およびy成分を有するピクセル(画素)として特徴付けられる。イメージが3Dで取得される場合には、x成分およびy成分に加えて高さ、すなわちz軸成分がある。3Dイメージデータは、立体カメラ三角測量法、LiDAR(光による検知と測距)、飛行時間型(タイムオブフライト)センサ、および(例えば)レーザー変位プロファイリングなどの、種々のメカニズム/技術を使用して取得可能である。
一般に3Dカメラは、その視野(FOV)内に入るオブジェクトについて3Dイメージ情報をキャプチャする(取り込む)ように配置され、視野は横軸のx次元およびy次元に沿って、縦軸のz次元におけるカメラセンサからの距離の関数として外側へと扇形に広がる容積空間を構成する。容積空間全体のイメージを並行/同時に(すなわち「スナップショット」で)取得するセンサは、「エリアスキャンセンサ」と呼ばれている。そうしたエリアスキャンセンサは、3D情報をスライスごとにキャプチャするラインスキャンセンサ(例えばプロファイラ)とは区別されており、また運動(例えばコンベアの動き)および検査域/FOVを通じてオブジェクトを移動させるこの運動の測定(例えば運動エンコーダまたはステッパーによる)を使用する。
ラインスキャンセンサの利点の1つは、オブジェクトの長さをコンベアの運動方向に沿って取った場合に、検査されるオブジェクトの長さが任意でよいことである。逆に、容積空間のイメージスナップショットを取るエリアスキャンセンサは、3Dシーンをキャプチャするためにエンコーダを必要としないが、オブジェクトが視野よりも長い場合には、オブジェクトの全体を1回のスナップショットで画像化することはできない。1回のスナップショットでオブジェクトの一部だけが取得される場合には、オブジェクトの続き部分(まだ画像化されていない)がFOV内へと通過してくる際に、残りの長さ分の追加のスナップショット(または複数のスナップショット)を取得しなければならない。複数のスナップショットの場合、全体の3Dイメージがオブジェクトの特徴を正確に表すようにするために、複数の3Dイメージをどのようにして効率的に整合させる(繋ぎ合わせる)かが課題となる。
この発明は、センサの単一の視野(FOV)よりも大きなオブジェクトの正確な測定をキャプチャするために、ビジョンシステムのエリアスキャンセンサを、エンコーダまたは運動についての他の知識と併せて使用するためのシステムおよび方法を提供することによって、従来技術の不具合を克服する。このシステムおよび方法は特に、スナップショットを用いるエリアスキャンビジョンシステムが限られた視野を画定し、典型的にはそれがシステムに複数のスナップショットおよびスナップショットを結合するために必要な他のデータを取得することを要求するという不具合に対処する。これは生イメージデータを結合し、次いでそうしたデータを後処理するという、計算集約的となりうるタスクを回避させる。それに代えて例示的な実施形態では、オブジェクトの特徴/縁部またはエッジ(識別されたポリゴン(多角)形状に関連して「頂点」とも言う)を識別し、それらをイメージごとに追跡し、それによって空間における大きさと位置を表示または測定する(ディメンショニング)目的でオブジェクトの全体範囲を処理する軽量な仕方を提供する。このシステムおよび方法はオブジェクトがFOVよりも(搬送方向において)長いかどうかを自動的に判定するロジックを用いることができ、それによってオブジェクトがFOVに存在しなくなるまで、移動/搬送オブジェクトがFOV内に残っている間は、一連のイメージ取得スナップショットを生じさせる。存在しなくなった時点で取得は終了し、個々のイメージは任意選択的にイメージ全体中にセグメントとして結合することができる。イメージデータの全体は、下流の種々のプロセスにおいて使用可能である。実際の全体イメージの生成を伴って、または伴わずに導出される、個別のイメージスナップショットから集めた特徴データは、入力された用途の詳細に基づいて、オブジェクトの全体的な寸法を導出するために処理することができる。こうして集められた特徴データは、限定するものではないが、斜行(スキュー)、長さ、幅および/または高さについての許容誤差超過、信頼性スコア、液体容積、分類(カテゴリー化)、オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量(QTY)、オブジェクトの位置的特徴、および/またはオブジェクトに対する損傷の検出などの、オブジェクトの他の性質および特徴を判定するために用いることができる。このシステムおよび方法はまた、影などで3Dデータが失われることに起因してエリアスキャンセンサを用いた従来のイメージングによっては典型的には分離されることになる、複雑な/多重レベルのオブジェクトを結合させることができる。
例示的な実施形態においては、ビジョンシステムおよびその使用方法が提供される。ビジョンシステムおよび方法は、エリアスキャンセンサとして配置された3Dカメラアセンブリと、3Dカメラアセンブリの視野(FOV)内で取得されたオブジェクトのイメージから3Dデータを受け取るビジョンシステムプロセッサとを含むことができる。オブジェクトはFOVを通って搬送方向に運ばれることができ、またオブジェクトは搬送方向に、FOVよりも長い全長を規定することができる。ディメンショニングプロセッサが、オブジェクトの複数の3Dイメージと組み合わせた、FOVを通るオブジェクトの搬送から導かれた運動追跡情報に基づいて、全長を測定する。これらのイメージは3Dイメージ相互間に所定の搬送運動量を置いて、3Dカメラアセンブリによって順次取得することができる。FOVと関連する存在検出器は、オブジェクトがそれに隣接して位置決めされると、存在信号を提供することができる。ディメンショニングプロセッサは、存在信号に応じて、オブジェクトが搬送方向に移動するにつれて1つより多いイメージ中に出現するかどうかを判定するように構成することができる。ディメンショニングプロセッサは、オブジェクト上の特徴に関係する情報に応じて、オブジェクトが搬送方向に移動するにつれてFOVよりも長いかどうかを判定するように構成することができる。イメージプロセッサが、特徴データの集まりを生成する3Dカメラによる連続的なイメージ取得から、オブジェクトについての特徴に関する情報を組み合わせることができ、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、オブジェクトの寸法を全体として判定する。例示的に説明すると、イメージプロセッサは、オブジェクトの全長がFOVよりも長いことに応じて、オブジェクトがFOVから出るまで、オブジェクトがFOV内に残っている間は、一連のイメージ取得スナップショットを取得するように構成することができる。イメージプロセッサはさらに、集められた特徴データを使用し、また入力された用途データに基づいて、オブジェクトの全体的な属性を導出するように構成することができ、そしてここで全体的な属性には、信頼性スコア、オブジェクトの分類、オブジェクトの寸法、斜行およびオブジェクトの容積の少なくとも1つが含まれる。オブジェクト操作プロセスが、全体的な属性に基づいて、オブジェクトの転送、オブジェクトの拒絶、警告の発生およびオブジェクトの斜行の修正の少なくとも1つを含むタスク(作業)を、オブジェクトに対して行うことができる。例示的に説明すると、オブジェクトは機械的コンベアまたは手作業によって搬送可能であり、および/または追跡情報はコンベアに関連して動作するよう接続されたエンコーダによって生成することができる。運動検出デバイスは、コンベア、外部の特徴検出デバイスおよび/または特徴に基づく検出デバイスに関連して動作するよう接続可能である。存在信号はディメンショニングプロセッサによって使用されて、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定することができる。複数のイメージは3Dカメラによって、相互間に所定の重なりを有して取得可能であり、そして除去プロセスは追跡情報を用いて、オブジェクトの寸法から重なり部分を除去して全長を決定することができる。イメージ拒絶プロセスは、複数のイメージの1つ前がオブジェクトの後端を含んでいた後に存在信号がアサートされた結果として、取得された複数のイメージの最後の1つを拒絶することができる。ディメンショニングプロセッサはさらに、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定するために、オブジェクト上の特徴に関連する情報を用いるように構成することができる。ディメンショニングシステムはさらに、イメージ中のオブジェクト相互間の最小間隔を規定することができ、それ未満の場合に複数のオブジェクトは3Dイメージデータが喪失された単一のオブジェクトであると見なされる。例示的に説明すると、イメージプロセッサは、(a)長さ制限外データ、(b)幅制限外データ、(c)高さ制限外データ、(d)容積制限外データ、(e)信頼性スコア、(f)液体容積、(g)分類、(h)オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量(QTY)、(i)オブジェクトの位置的特徴、および/または(j)オブジェクトに対する損傷の検出に関連して、オブジェクトに関する特徴データの集まりを生成するように構成することができる。
例示的な実施形態においては、ビジョンシステム、および関連する方法は、オブジェクトがFOVを通過するにつれてオブジェクトの1またはより多くのイメージをキャプチャする取得プロセスを実行可能な、視野(FOV)を備えたエリアスキャンセンサとして配置された3Dカメラアセンブリを含むことができ、そして(a)オブジェクトが1つよりも多くのイメージを占めるかを判定し、(b)オブジェクトがもはや次のイメージを占めなくなるのはいつかを判定し、そして(c)取得された1またはより多くのイメージからオブジェクトのサイズおよび相対角度を計算する。
例示的な実施形態においては、エリアスキャンセンサとして配置された3Dカメラアセンブリを有するビジョンシステムを使用する、オブジェクトの空間における大きさと位置を表示または測定(ディメンショニング)する方法が提供され、ビジョンシステムプロセッサは、3Dカメラアセンブリの視野(FOV)内で取得されたオブジェクトのイメージから3Dデータを受け取る。このオブジェクトはFOVを通って搬送方向に搬送可能であり、そしてオブジェクトは搬送方向に、FOVよりも長い全長を規定することができる。この方法はさらに、3Dイメージ間に所定量の搬送運動を置いて3Dカメラアセンブリによって連続して取得されたオブジェクトの複数の3Dイメージと組み合わせて、FOVを通るオブジェクトの搬送から導かれた運動追跡情報に基づき、全長を測定する工程を含んでいる。オブジェクトがFOVに隣接して位置決めされると存在信号を生成可能であり、そして存在信号に応答して、オブジェクトが搬送方向に移動するにつれてオブジェクトが1つよりも多いイメージ中に出現するか否かを判定可能である。オブジェクト上の特徴に関連する情報に応じて、オブジェクトが搬送方向に移動するにつれ、オブジェクトがFOVよりも長いかどうかを決定可能である。3Dカメラによるイメージの連続取得からの、オブジェクト上の特徴に関連する情報は組み合わせて、特徴データの集まりを生成することができ、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、全体としてオブジェクトの寸法が提供される。例示的に説明すると、オブジェクトの全長がFOVよりも長いことに応じて、オブジェクトがFOVから出るまで、オブジェクトがFOV内に残っている間は、一連のイメージ取得スナップショットを取得することができる。集められた特徴データを使用し、また入力された用途データに基づいて、オブジェクトの全体的な属性を導出することができ、そして全体的な属性は、信頼性スコア、オブジェクトの分類、オブジェクトの寸法、斜行およびオブジェクトの容積の少なくとも1つを含むことができる。例示的に説明すると、この方法は全体的な属性に基づいて、オブジェクトの転送、オブジェクトの拒絶、警告の発生およびオブジェクトの斜行の修正の少なくとも1つを含む、オブジェクトに関するタスクを行うことができる。例示的に説明すると、存在信号は、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定するために使用することができる。情報を組み合わせるにあたっては、この方法はさらに、(a)長さ制限外データ、(b)幅制限外データ、(c)高さ制限外データ、(d)容積制限外データ、(e)信頼性スコア、(f)液体容積、(g)分類、(h)オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量(QTY)、(i)オブジェクトの位置的特徴、および/または(j)オブジェクトに対する損傷の検出を生成することができる。イメージ中のオブジェクト相互間の最小間隔を規定することができ、その最小間隔未満の場合には、画像化された複数のオブジェクトは3Dイメージデータが失われた単一のオブジェクトであると見なされる。
以下の発明の説明は添付図面を参照する。添付図面において:
図1は、オブジェクトが視野を通って移動するにつれて複数のスナップショットから全体イメージを生成するためにディメンショニングプロセス(プロセッサ)を用いる、エリアスキャンセンサを用いて視野よりも長いオブジェクトの3Dイメージを取得および処理するシステムの概略であり;
図2は、図1のコンベアおよびエリアスキャンセンサの配置を側面で示す図であって、例示的な実施形態によるイメージ取得のためのオブジェクトトリガー平面の3Dイメージングのために使用可能な関心領域(ROI)であるFOVの詳細を示しており;
図3は、最初のスナップショットをトリガーする(生じさせる)ためにトリガー平面に到達した、搬送方向において使用可能なROIよりも長い長さを有する例示的なオブジェクトについての、図1および図2の構成の運転時動作を示す図であり;
図4は、例示的なオブジェクトがROIから部分的に外へと通過し、エンコーダが第2のスナップショットをトリガーするのに十分な程度のオブジェクトの運動を示す、図3の運転時動作を示す図であり;
図5は、3Dイメージデータの喪失および/またはFOVにおいて2つの別個のオブジェクトを示すことになる、複雑な上部表面を示す例示的なオブジェクトについての、図1および図2の構成の運転時動作を示す図であり;
図6は、複数のオブジェクトおよび/または複雑なオブジェクトが画像化される場合を含む、例示的な実施形態によりディメンショニングプロセスを実行するための手順を示す流れ図であり;
図7は、全体的なイメージングされるオブジェクトを表す例示的な、重なり合うイメージ部分を有する、画像化されるコンベア表面を上から下に見たところの図であり;そして
図8は、オブジェクトの全長を生成するため図7に示すような重なり合うイメージ部分、ならびに最大幅、最大高さおよび搬送方向(または他の座標系)に関する相対角度を取り扱うように適合された、図1および図2の構成についての全体的なイメージ取得手順の流れ図である。
I.システムの概観
図1は、例示的なオブジェクト120が下流方向(矢印132)に動いている移動コンベア130に関して視野(FOV)の下側を通過するにつれて、ビジョンシステムカメラアセンブリ(単に「カメラ」または「センサ」とも言う)110がその3Dイメージデータを取得する、構成100の概略を示している。局所的/相対的な3D座標系138が、例示として、xyz直交座標を備えて示されている。極座標系のような他の座標系を使用して、この3D空間を表すこともできる。留意すべきは、この例において、オブジェクト120はFOVの上流側および下流側の境界BFおよびBRよりも長い、上流から下流への(大体y軸/移動方向に沿った)長さLOを規定していることであり、これについては以下でさらに詳述する。
本願で考察される3Dカメラ/イメージングアセンブリ110は、オブジェクトの3Dイメージを取得する任意のアセンブリであることができ、限定するものではないが、立体カメラ、飛行時間型カメラ、LiDAR、超音波測距カメラ、構造化照明システム、およびレーザ変位センサ(プロファイラ)を含んでおり、かくして3Dカメラという用語は広く、これらのシステムおよびオブジェクトの2Dイメージと関連して高さ情報を生成する任意の他のシステムを含むものとして理解されねばならない。また、1台のカメラまたは複数台のカメラのアレイを備えることができ、「カメラ」および/または「カメラアセンブリ」という用語は、その場面(シーン)について所望の3Dイメージデータを生成する仕方でイメージ(または複数のイメージ)を取得する、1またはより多くのカメラを指すことができる。図示のカメラアセンブリ110は、チェックポイントまたは検査ステーションのようにしてコンベア130の表面を覆うように設けられるものとして示されており、流れているオブジェクトが通過するに際してそれらをイメージングする。この実施形態においては、カメラアセンブリ110は光学軸OAを規定しており、これはコンベア130の表面に対してほぼ垂直(z軸に沿う)である。コンベア表面に対する軸OAについては、他の非垂直な方向も、明示的に考察されている。コンベアの動作速度およびカメラのイメージセンサSおよび関連する電子部品110の取得時間に応じて(部分的にはフレームレートおよびアパーチャ設定に応じて)、オブジェクト120は運動状態のまま(典型的には)であることができ、またはイメージングのために一瞬停止することができる。カメラ110はオブジェクト120が十分にFOV内にあると3Dイメージを取得するが、これは光検出器または他のトリガー機構136によってトリガー可能であり、トリガー信号がカメラ110および関連するプロセッサ(または複数のプロセッサ)に送られる。かくして、この実施形態におけるカメラアセンブリ110は、エリアスキャンセンサとして配置されている。
カメラアセンブリ110は、3Dイメージデータ134を生成するよう適合されたイメージセンサSを含んでいる。カメラアセンブリはまた、(任意選択的に)一体的な照明アセンブリI、例えば軸OAに関して予測可能な方向において光を照射するLEDのリング状照明器を含んでいる。代替的な構成においては、外部照明(図示せず)を備えることができる。適切な光学パッケージOが、軸OAに沿ってセンサSと光学的に通信するものとして示されている。センサSは、イメージデータ134をカメラ110から受け取り、本願のシステムおよび方法に従ってデータに対して種々のビジョンシステムタスクを行う、内部および/または外部のビジョンシステムプロセス(プロセッサ)140と通信している。プロセス(プロセッサ)140は、1組のビジョンシステムツール142などの、基礎となるプロセス/プロセッサまたは機能モジュールを含んでおり、これは限定するものではないが、エッジ検出器、ブロブツール、パターン認識ツール、ディープラーニングネットワーク、ID(例えばバーコード)検知器およびデコーダ、その他を含む、イメージデータ中の特徴を識別し分析する種々の標準ツールおよびカスタムツールを含むことできる。ビジョンシステムプロセス(プロセッサ)140はさらに、このシステムおよび方法にしたがってディメンショニングプロセス(プロセッサ)144を含むことができる。このプロセス(プロセッサ)144は、3Dイメージデータ中で識別された特徴について種々の分析および測定タスクを行って、特定の特徴の存在を判定し、さらなる結果をそこから計算することができる。例示的な実施形態によれば、プロセス(プロセッサ)はさまざまな従来のおよびカスタムの(例えば3D)ビジョンシステムツール142とインタフェースする。
システムの設定および結果の表示は、サーバ(例えばクラウドベースまたはローカルなサーバ)、PC、ノート、タブレットおよび/またはスマートフォンのような、別個のコンピューティングデバイス150によって取り扱うことができる。コンピューティングデバイス150は、従来のディスプレイまたはタッチスクリーン152、キーボード154およびマウス156と共に(非限定的な例として)描かれており、これらは集合的にグラフィカルなユーザーインタフェース(GUI)機能を提供する。デバイス150の代替的な実施態様においては、種々のインタフェースデバイスおよび/またはフォームファクタを備えることができる。本願の例示的な構成によれば、GUIは部分的に、デバイスのオペレーティングシステム上に存在してプロセス(プロセッサ)140からの制御情報およびデータ情報と共にウェブページを表示する、ウェブブラウザアプリケーションによって駆動されることができる。
プロセス(プロセッサ)140はカメラアセンブリ110のハウジングに完全にまたは部分的にオンボード搭載可能であり、種々のプロセスモジュール/ツール142および144は、オンボードプロセス(プロセッサ)140または遠隔のコンピューティングデバイス150のいずれかにおいて適宜、全体的または部分的にインスタンス化することができることに留意すべきである。例示的な実施形態においては、すべてのビジョンシステムおよびインタフェース機能をオンボードプロセス(プロセッサ)140上でインスタンス化することができ、そしてコンピューティングデバイス150は主に、オンボードプロセス(プロセッサ)140によって生成され有線または無線ネットワークリンクを介してコンピューティングデバイスに伝達される、インタフェースウェブページ(例えばHTML)についてのトレーニング、モニタリングおよび関連動作について用いられることができる。代替的には、プロセス(プロセッサ)140の全部または一部はコンピューティングデバイス150内に存在することができる。プロセッサによる分析結果は、下流にある利用デバイスまたはプロセス160に伝達可能である。こうしたデバイス/プロセスは、結果162を使用してオブジェクト/パッケージを操作することができ、例えば分析された特徴に基づいてコンベア130をゲーティングしてオブジェクトを異なる宛先に差し向け、および/または欠陥のあるオブジェクトを拒絶することができる。
カメラアセンブリは、工場および/または現場の較正手順によって確立され、画像化されたピクセルのx、yおよびz座標軸をカメラの座標空間にマッピングする、オンボード較正データを含んでいる。この較正データ170はプロセッサに提供され、イメージデータの分析に使用される。また、例示的な実施形態においては、コンベアおよび/またはその駆動機構(例えばステッピングモータ)は、エンコーダまたは他の運動追跡機構180を含んでいて、相対的な運動データ182がプロセッサ140に報告される。運動データは種々の仕方、例えばそれぞれがコンベアの移動について所定の増分を規定する、距離に基づくパルスで伝達することができる。パルスを合計することにより、所定期間内における移動の合計を決定することができる。
留意すべきであるが、本願で使用するところでは、「コンベア」という用語は広く、オブジェクトがFOVを別の技術、例えば手動操作によって通過される構成を含むものとして理解されねばならない。かくして「エンコーダ」は、本願で規定するところでは、ステッパー、マーク読み取り装置および/またはFOVを介して通過するにつれてコンベアまたはオブジェクト上の特徴または基準を追跡するデバイスを含む、任意の許容可能な運動測定/追跡デバイスであることができ、これにはイメージのスナップショット相互間の動きの程度を判定するために、基礎となるビジョンシステムアプリケーションの知識(例えばイメージ中の特徴についての)を使用する種々の内部技術が含まれる。
II.ディメンショニングプロセス(プロセッサ)
A.設定
図2は、運動方向132においてFOVよりも長いオブジェクトをイメージングするよう適合されている構成200の設定を示している。カメラアセンブリ110は、そうしたオブジェクトのための検査ステーションをなすコンベア130の一部を覆うように示されている。コンベア130は、トリガーイベント(事象)の各々についてリセット可能なエンコーダカウント210を伝達し、トリガーイベントにおいてコンベア130は、3Dカメラアセンブリの領域に描かれる。トリガーは(この場合にはトリガー状態220はネガティブであり、赤色その他のカラー/シェードインジケータが点群の陰影によって表されている)、上述した存在検出器136(図1)と整列しているトリガー平面230をオブジェクトが通過するごとに発せられる。3DのFOVは、カメラの軸OAに沿ってコンベア130の表面から、軸OAの両側において上方へと延びる、使用可能な関心領域(ROI)250を画定している。この例においてROIは、予想されるオブジェクトの最大高さに基づいてユーザーによって定義可能な、使用可能な高さを規定している。ROI250の上部254がFOVの前部境界BFおよび後部境界BRのそれぞれと交わる点256および258は、運動方向132(y軸)における使用可能なROIの長さLRを実質的に規定している。したがって、ROIの最大高さHRが高ければ、長さLRは短くなる。
B.オブジェクトのサイズの推測およびトリガー/エンコーダのロジック
使用可能なROIを画定したならば、プロセッサは、長さLRに到達するためにコンベアが何パルス分移動するかを判定する。図3を参照すると、システムはオブジェクト120のサイズ(長さ)を推測するための実行時モードで動作しているところが示されており、オブジェクトはその前端310がトリガー平面230に到達する状態で描かれている。後端320は、使用可能なROI250の後部境界340の外側にある。この時点において、3Dカメラアセンブリはトリガーされてオブジェクトの第1のイメージ(スナップショット)を取得し、そしてエンコーダカウント330はプロセッサ内でゼロに設定される。スナップショットは分析されて、オブジェクトの後端がROI内に存在するかどうかが判定される(ビジョンシステムツール、高さの変化、その他を使用して)。オブジェクト120が1つのROI250内で終端する場合には、そのスナップショットはそのオブジェクトについての完全な3Dイメージであるとして報告され、そしてシステムは次のオブジェクト/トリガーを待ち受ける。逆に、オブジェクト120が使用可能なROI内で終端しないように見える場合(例えばROI250の後部境界340内でオブジェクトの幾何学形状に実質的な変化がない)、すなわち図3における場合には、システムは第1のイメージを記憶し、ROI長さ(LR)1つ分(またはこの長さLRの既知の割合)のエンコーダパルスをカウントする。このカウントは図4において参照されており、そこではオブジェクトの後端320は、使用可能なROI250内へと通過してきたところである(後部ROI境界340を過ぎて)。この時点(図4に示された)において、ROI長さLR1つ分のパルスがカウントされている。この例においては、パルスカウント430は300mmである。この長さは長さLRに等しいか、または短い。以下で説明するように、スナップショットイメージ相互の重なりが望ましい場合には、このパルスカウントは長さLRよりも短いことができる。それによって、イメージの縁部における詳細が失われないことを確保できる。図4に示されているように、オブジェクトがトリガー平面230に存在していることから、トリガー状態420はまたこの段階ではポジティブである(緑色または別のカラー/シェードによって表され、ハッチングの陰影によって表されている)。これらの事象の論理的な組み合わせ(ポジティブなトリガー状態およびエンコーダの全カウント)はカメラアセンブリをトリガーして、オブジェクト120の第2のスナップショットが取得される。この第2のスナップショットはまた、第1のスナップショットからのオブジェクトと関連して記憶される。
システムは第2のスナップショットを分析して、オブジェクト120の後端320がそのとき後部ROI境界340より下流に存在するかどうかを判定する。存在するならば、そのときオブジェクトの全長がイメージングされたことになり、そして2つのスナップショットは、以下でさらに説明するように組み合わせて処理可能である。オブジェクトの後端が第2のスナップショットのROI内に存在しない場合には、エンコーダカウントはリセットされ、オブジェクトが引き続き存在していることからトリガー状態420は高レベルに保たれ、そしてシステムは次のROI長さLRに到達するまでカウントを行う。さらに別のスナップショットが取られ、オブジェクトの後端が最終的にROI250内部で検出されるn番目のスナップショットまで、上記の工程が繰り返される。この時点においてはオブジェクトがFOVから外へと完全に通過しているためトリガー状態は低レベルになり、そしてイメージングの結果が伝達される。スナップショットイメージ相互間の重なりのために、時には特別な場合が存在するが、それらは個別のイメージ取得相互の間でエンコーダカウントを評価することによって対処することができる。先行するスナップショットがオブジェクトの縁部をイメージングして寸法を報告したが、トリガー状態が依然として高レベル(ポジティブ)であり、そして新たなスナップショットが取られる場合、そしてこの場合において現在のスナップショットについてのエンコーダカウントがROIの長さに等しい場合には、新たなスナップショットは捨てられ、寸法の報告は行われない。これが行われるのは、それがスナップショットイメージ相互間の重なりだけによって生じた、余分な/未使用のスナップショットだからである。一般には以下で説明するように、1つのオブジェクトイメージに関連して全部のスナップショットを組み合わせて処理することができる。
C.複雑なおよび/または多重のオブジェクト
実行時動作のいくつかの実施形態においては、オブジェクトは複雑な3D形状を呈しうる。図5を参照すると、上部表面に沿って異なる高さ522および/または張り出し(遮蔽)特徴525を備えたオブジェクト520が、トリガー平面230に到達するところが示されている。この時点において、トリガー状態540はポジティブ(緑色であり、ハッチングの陰影によって表されている)となり、そしてエンコーダカウント530は0から開始される。しかしながら、オブジェクトのこの複雑な形状は、3Dイメージデータの喪失を招来したり、またはオブジェクトの後端526-この例においては第1のスナップショットがカメラアセンブリ110によって取得されたときにまだ使用可能なROI250の外側に位置している-の実際の位置について、ビジョンシステムプロセッサを混乱させる場合がある。図6の手順600をも参照すると、オブジェクトは最初にカメラアセンブリをトリガーして、3Dスナップショットをステップ610において取得する。この最初のイメージには、単一の(単純なまたは複雑な形状の)オブジェクトまたは複数のオブジェクトが存在する可能性がある。ビジョンシステムはイメージを分析し、典型的にはコンベア表面(基準線)まで延びる境界部分および分離された境界部分の間のギャップを探すことによって、複数のオブジェクトが検出されたかどうかを判定する。2つの物が検出されない場合には、ビジョンシステムはそのオブジェクトを単一の物として取り扱う(判定ステップ620)。逆に、2つまたはより多くのオブジェクトが検出される場合には、手順600の判定ステップ620はさらなる判定ステップ630に分岐し、そこにおいてギャップ(または複数のギャップ)が分析されて、ギャップ(または複数のギャップ)が最小距離よりも小さいかどうかが判定される(カメラの較正データおよび在来の測定技術を使用して判定される)。ギャップが最小距離-ユーザーによって設定、または自動的に設定される-よりも大きい場合には、システムはイメージ中に複数の物があることを示す(ステップ640)。2つの物について最小ギャップ距離よりも大きな場合(ステップ640)、または単一の物の場合(判定ステップ620)について、手順600は判定ステップ650に分岐し、そこにおいてビジョンシステムは、すべてのオブジェクト端部がイメージ内にありトリガー状態がネガティブとなったかどうかを判定する。そうであった場合、手順600はステップ660に分岐し、そこにおいてはイメージングの結果が出力されてエンコーダがリセットされ、次のオブジェクト/トリガーが生ずるのを待ち受ける。逆に、現在の(最初の)イメージの後にトリガー状態がネガティブとなっておらず、オブジェクト(または複数のオブジェクト)の後端がFOVの外側に残っている場合には、判定ステップ650はステップ670に分岐し、そこにおいてカメラアセンブリはエンコーダパルスをカウントし、FOVの別のスナップショットを取得する。これはトリガー状態がネガティブとなりオブジェクトの後端が検出されるまで続けられる。
判定ステップ630を再度参照すると、ギャップが存在するが最小距離未満である場合には、手順600はイメージが単一のオブジェクトを含んでおり、ギャップはイメージングされたオブジェクト中の3Dデータが欠如または喪失した結果であると推定する。かくしてオブジェクトは単一の物であるかのように取り扱われ、判定ステップはさらなる判定ステップ650(上述した)に分岐し、そこにおいてはイメージ中でのオブジェクト後端の存在または欠如が次のステップを決定する。留意すべきであるが、欠如または喪失した3Dイメージデータを予測および提供するための1つの技術は、2020年2月10日に出願され本出願人に譲渡された「複合3次元ブロブツールおよびその動作方法」と題する同時係属中の米国仮出願第62/972,114に記載されており、その教示はここで参照を行うことによって、有用な背景情報として取り入れられる。こうしたブロブツールはイメージング結果の生成において、さらなる利用手順に伝達するために使用可能である。
D.イメージデータのトラッキングおよび結果の重なり(オーバーラップ)
図7を参照すると、長いオブジェクトの存在下において(例えば)3つの連続的なイメージ取得により構成された、コンベアベルト720を連続的に上から下に見た(x-y平面)図710が示されている。オブジェクト全体の3つの取得されたイメージ730、732および734が順次示されている。特にエンコーダカウントは、第1の所定のオーバーラップ距離D1がイメージ730および732の第1の対の間に存在し、そして第2の所定のオーバーラップ距離D2がイメージ732および734の第2の対の間に存在するように設定されている。オブジェクトイメージ相互間にオーバーラップ距離を用いると、取得されたオブジェクトの特徴が3DのROIの縁部において不注意で失われたり不明瞭になったりしないことが確実になる。図8を参照して以下で記載するように、ビジョンシステムはオーバーラップ領域を適切に除去または合わせて、実際のオブジェクト寸法および特徴を計算することができる。留意すべきであるが、オブジェクトの取得イメージは一般に、形状の境界を導くために用いられる関連する頂点を備えた1またはより多くの多角形を規定していることから、本願で使用する用語「特徴」は、「頂点」という用語を含むものとして理解されるべきであり、またはそれと互換的に使用可能である。
動作時において、図8の手順800はステップ810において、上述したような仕方において3Dイメージを取得するところから開始される。すなわちトリガーが発生され、エンコーダはFOVを通過するオブジェクトの運動をカウントするように設定される。カウントが次のイメージとのオーバーラップを許容する距離値に達した後、ステップ820においてカウントはリセットされ、そしてシステムはそれが最後のイメージ-オブジェクトの後端がROIにある-かどうかを判定する。最後でない場合(判定ステップ830経由で)、手順800は分岐してステップ810に戻り、別の重なりイメージが取得される。イメージが一連のイメージ中の最後のイメージである場合には、手順800はステップ840に分岐し(判定ステップ830経由で)、そこにおいては一連の3Dイメージ(オブジェクト全体の中のセグメント)がディメンショニングプロセス(プロセッサ)および関連ツールに伝達されてオブジェクトの寸法が判定され、そして(任意選択的に)特徴が解像される。エンコーダにより確立された距離をイメージピクセルの位置に対して用いることにより、オブジェクトのそれぞれのセグメントのx-y位置および境界を画定するボックスの高さがステップ850においてマッピングされる。次いでこのマッピングに基づいて、オーバーラップ(セグメント相互間の所与の既知のエンコーダ距離を構成する)が除かれて、実際のオブジェクト長さが計算される。得られたデータは特徴データの集まりとして規定することができ、それは個別の形状からのデータを効率的に組み合わせて、組み合わせたオブジェクトの実際のイメージの不存在下に(なしに)、オブジェクトの全体像または特徴付けを確立する。結果として得られるこの特徴データの集まりはまた、(例えば)オブジェクト全体の最大の幅および高さ、ならびに搬送移動方向に対するその相対角度を決定するために使用可能である。この情報は特に、オブジェクト(例えばパッケージ)の適切な取扱を確実にするための物流管理のような、種々の利用プロセスにおいて有用である。
留意すべきであるが、本願のシステムおよび方法により明示的に考察されているところでは、実際の全体的な(合成または縫い合わせ)イメージを個別のイメージ取得(スナップショット)から生成することは任意選択的である。特徴データの集まりは、N×Mピクセルに基づく全体イメージの生成とは独立して使用することができ、オブジェクトの寸法および/または以下に記載する他のプロセスを決定するのに使用される適切な結果をもたらす。全体的なイメージは、さらなるプロセスにおいて生成および使用可能であり、および/または所望とされる場合に、イメージングされたオブジェクトの全部または一部の視覚的な記録を提供する。
E.結果物の適用
上記に説明した動作から結果的に得られた特徴データ(および/または頂点に関するデータ)の集まりは、限定するものではないが、異なるサイズおよび形状のパッケージ(荷物)の流れを含む、イメージングされたオブジェクトに関する種々のタスクおよび機能に対して適用可能であることが考察されている。特に本願におけるプロセスは、(例えば)移動方向および/または周囲の支持表面の境界に対するオブジェクト/パッケージの斜行角度を判定するために使用可能である。本願の特徴データの集まりを使用して識別および測定可能な1つの可能性のある事項は、コンベアの移動方向(および平行な側縁部)または他の支持表面に対する、オブジェクトの斜行角度である。幅の狭いシュート、ゲートまたは他の遷移箇所において詰まりを生ずる可能性があることに加えて、斜行のデータはオブジェクトがその正規の通常の寸法よりも長く表れるようにし、システムが誤って欠陥を生ずるようにする可能性がある。斜行角度のデータは、修正動作(すなわち誤った欠陥を無視し、またはオブジェクトを真っ直ぐにする)が行われ得るように用いられねばならない。特に、斜行角度の情報(および/または他の測定された特性)は、下流における種々の動作において使用するために、結果(特徴データの集まり)に対して適用されるメタデータタグの一部であることができる。他の関連する特徴データには、長さ制限外、幅制限外、高さ制限外、および/または容積制限外の値が含まれうるものであり、これらはオブジェクトがパラメータの限度に対して長過ぎたり、幅広過ぎたり、高過ぎたり、または容積があり過ぎたりすることを示す。さらに関連するデータは、限定するものではないが、以下に関するものであることができる:
(a)信頼性スコア、これはオブジェクトの形状または受け取ったデータの品質のいずれかの情報を与えることができる;
(b)液体容積、これはオブジェクトの形状または真の(最小の立方体ではなく)容積の情報を与えることができる;
(c)分類、これはオブジェクトの表面形状が平坦かそうでないかの情報を与えることができる;
(d)どの程度の表示/画像化が予想されるかに対する表示/画像化されたデータの量(QTY);
(e)位置的特徴(例えば角部、重心、コンベアベルトの縁部のような基準からの距離);および/または
(f)損傷の検出(例えば予想された形状に対して実際に画像化された形状に基づく膨出/陥没したパッケージの存在。
特徴データの集まりの使用は、組み合わせオブジェクトについてより詳細な画素ベースのイメージデータを含める必要性を一般的に回避し、それによってオブジェクトに関して追加的なプロセスを実行することを可能にする。そうした特徴データの集まりを取り扱い操作するにあたっては、データの全体的なサイズの故に、より迅速な処理とプロセッサのオーバーヘッドをより少なくすることが可能になる。幾つかの例示的なタスクには、倉庫における処理の自動化-例えばサイズおよび/または形状が一致しないオブジェクトを排除および/または転送する-を含むことができる。かくしてオブジェクトを逸らすようなデータを使用することは、サーバーが、サイズが大き過ぎるオブジェクトがシュートまたはコンベアの曲がり部分で詰まるようになるのを回避可能とする。同様に、本願のシステムおよび方法によって導かれた特徴データの集まりは、オブジェクトの位置が正確であることを確実にするように、自動化されたラベル貼付プロセスを支援することができる。また上述したように、斜行情報は、誤った欠陥状態を回避し、および/またはシステムまたはユーザーがコンベアの流れの中でオブジェクトを正しい位置にすることを許容し、かくして軽い詰まり状態を回避するように使用することができる。データに依存する他のオブジェクト/パッケージ取り扱いタスクは、当業者に明らかな仕方において、このデータを用いることができる。
III.結び
これまでに説明したシステムおよび方法は、コンベアの移動方向に沿った3DエリアスキャンセンサのFOV内に完全には適合しない、サイズの大き過ぎるオブジェクトの長さを判定するための、効率的で信頼性のある堅牢な技術を提供することが明らかであろう。このシステムおよび方法は、従来のエンコーダデータおよび検出器のトリガーを使用してオブジェクトの寸法の正確なセットを生成し、そして複雑な形状および/または複数のオブジェクトがコンベアの流れの中に存在することに起因して3Dデータが喪失または欠如している場合にも動作可能である。
以上は本発明の例示的な実施形態の詳細な説明である。本発明の思想および範囲から逸脱することなしに、種々の変更および追加を行うことができる。上述した種々の実施形態のそれぞれの特徴は、新たな実施形態に関連する数多くの特徴の組み合わせをもたらすために、説明した他の実施形態の特徴と適宜組み合わせてよい。さらにまた、以上においては本発明の装置および方法の幾つもの別々の実施形態を説明しているが、本願において説明したところのものは、本発明の原理の適用の例示的な説明に過ぎない。例えば本願において使用するところでは、「プロセス」および/または「プロセッサ」という用語は広く、種々の電子的ハードウェアおよび/またはソフトウェアを基礎とする機能および部品を含むように理解されるべきである(また代替的には機能性「モジュール」または「要素」と呼ぶことができる)。さらに、描写されたプロセスまたはプロセッサは他のプロセスおよび/またはプロセッサと組み合わせることができ、または種々の部分的なプロセスまたはプロセッサへと分割することができる。そうした部分的なプロセスおよび/または部分的なプロセッサは、本願の実施形態にしたがってさまざまに組み合わせることができる。同様にして、本願における任意の機能、プロセスおよび/またはプロセッサは、電子的ハードウェア、プログラム命令の非一時的なコンピュータ可読媒体からなるソフトウェア、またはハードウェアとソフトウェアの組み合わせを使用して実施可能であることが、明示的に考察されている。加えて、本願において使用するところでは、「垂直」、「水平」、「上方」、「下方」、「下部」、「上部」、「側部」、「前部」、「後部」、「左側」、「右側」その他のような種々の方向および配置に関する用語は、重力の作用方向のような固定された座標空間に関する絶対的な方向/配置ではなく、相対的な規則としてのみ使用されている。加えて、与えられた測定値、値または特性に関して「実質的」または「大体」という用語が用いられる場合、それは所望の結果を達成するための通常の動作範囲内にある量を指しているが、システムの許容範囲内にある固有の不確かさおよび誤差に起因する幾らかの変動(例えば1-5パーセント)を含んでいる。したがって、本願の記載は例示としてのみ理解されることを意図しており、本発明の範囲を別様に制限することを意図したものではない。

Claims (20)

  1. エリアスキャンセンサとして配置された3Dカメラアセンブリと、3Dカメラアセンブリの視野(FOV)内で取得されたオブジェクトのイメージから3Dデータを受け取るビジョンシステムプロセッサとを有し、オブジェクトがFOVを通って搬送方向に運ばれ、またオブジェクトが搬送方向にFOVよりも長い全長を規定するビジョンシステムであって:
    3Dイメージ相互間に所定の搬送運動量を置いて3Dカメラアセンブリによって順次取得されたオブジェクトの複数の3Dイメージと組み合わせて、FOVを通るオブジェクトの搬送から導かれた運動追跡情報に基づいて全長を測定するディメンショニングプロセッサを含み;
    FOVと関連し、オブジェクトがそれに隣接して位置決めされると存在信号を提供する存在検出器を含み;
    ここでディメンショニングプロセッサは、存在信号に応じて、オブジェクトが搬送方向に移動するにつれてオブジェクトが1つより多いイメージ中に出現するかどうかを判定するように構成され、また
    ここでディメンショニングプロセッサは、オブジェクト上の特徴に関係する情報に応じて、オブジェクトが搬送方向に移動するにつれてオブジェクトがFOVよりも長いかどうかを判定するように構成され;そして
    特徴データの集まりを生成する3Dカメラによる連続的なイメージ取得から、オブジェクト上の特徴に関する情報を組み合わせ、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、オブジェクトの寸法を全体として判定するイメージプロセッサを含む、ビジョンシステム。
  2. イメージプロセッサは、オブジェクトの全長がFOVよりも長いことに応じて、オブジェクトがFOVから出るまで、オブジェクトがFOV内に残っている間は、一連のイメージ取得スナップショットを取得するように構成されている、請求項1のビジョンシステム。
  3. イメージプロセッサは、集められた特徴データを使用し、入力された用途データに基づいて、オブジェクトの全体的な属性を導出するように構成され、ここで全体的な属性には、信頼性スコア、オブジェクトの分類、オブジェクトの寸法、斜行およびオブジェクトの容積の少なくとも1つが含まれる、請求項2のビジョンシステム。
  4. 全体的な属性に基づいて、オブジェクトの転送、オブジェクトの拒絶、警告の発生およびオブジェクトの斜行の修正の少なくとも1つを含むタスクを、オブジェクトに対して行うオブジェクト操作プロセスをさらに含む、請求項3のビジョンシステム。
  5. オブジェクトは機械的コンベアまたは手作業によって搬送される、請求項1のビジョンシステム。
  6. 追跡情報がコンベアに関連して動作するよう接続されたエンコーダ、コンベアに関連して動作するよう接続された運動検出デバイス、外部の特徴検出デバイス、または特徴に基づく検出デバイスによって生成される、請求項5のビジョンシステム。
  7. 存在信号はディメンショニングプロセッサによって使用され、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性が判定される、請求項1のビジョンシステム。
  8. 複数のイメージが3Dカメラによって相互間に所定の重なりを有して取得され、そして追跡情報を用いてオブジェクトの寸法から重なり部分を除去して全長を決定する除去プロセスをさらに含む、請求項7のビジョンシステム。
  9. 複数のイメージの1つ前がオブジェクトの後端を含んでいた後に存在信号がアサートされた結果として、取得された複数のイメージの最後の1つを拒絶するイメージ拒絶プロセスをさらに含む、請求項8のビジョンシステム。
  10. ディメンショニングプロセッサは、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定するために、オブジェクト上の特徴に関連する情報を用いるように構成されている、請求項1のビジョンシステム。
  11. ディメンショニングシステムは、イメージ中のオブジェクト相互間の最小間隔を規定し、それ未満の場合に複数のオブジェクトは3Dイメージデータが喪失された単一のオブジェクトであると見なされる、請求項1のビジョンシステム。
  12. イメージプロセッサは;
    (a)長さ制限外データ、
    (b)幅制限外データ、
    (c)高さ制限外データ、
    (d)容積制限外データ、
    (e)信頼性スコア、
    (f)液体容積、
    (g)分類、
    (h)オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量(QTY)、
    (i)オブジェクトの位置的特徴、または
    (j)オブジェクトに対する損傷の検出
    を含む、オブジェクトに関する特徴データの集まりを生成するように構成されている、請求項1のビジョンシステム。
  13. 視野(FOV)を備えたエリアスキャンセンサとして配置された3Dカメラアセンブリを有するビジョンシステムであって:
    オブジェクトがFOVを通過するにつれてその1またはより多くのイメージをキャプチャし、オブジェクトが1つよりも多くのイメージを占めるかを判定し、オブジェクトがもはや次のイメージを占めなくなるのはいつかを判定し、そして取得された1またはより多くのイメージからオブジェクトのサイズおよび相対角度を計算する取得プロセスを含む、ビジョンシステム。
  14. エリアスキャンセンサとして配置された3Dカメラアセンブリを有し、3Dカメラアセンブリの視野(FOV)内で取得されたオブジェクトのイメージから3Dデータを受け取るビジョンシステムプロセッサを備えるビジョンシステムを用いてオブジェクトのディメンショニングを行い、オブジェクトがFOVを通って搬送方向に運ばれ、またオブジェクトが搬送方向にFOVよりも長い全長を規定する方法であって:
    3Dイメージ間に所定量の搬送運動を置いて3Dカメラアセンブリによって連続して取得されたオブジェクトの複数の3Dイメージと組み合わせて、FOVを通るオブジェクトの搬送から導かれた運動追跡情報に基づいて全長を測定し;
    オブジェクトがFOVに隣接して位置決めされると存在信号を生成し、そして存在信号に応答して、オブジェクトが搬送方向に移動するにつれてオブジェクトが1つよりも多いイメージ中に出現するか否かを判定し;
    オブジェクト上の特徴に関連する情報に応じて、オブジェクトが搬送方向に移動するにつれてオブジェクトがFOVよりも長いかどうかを決定し;そして
    3Dカメラによるイメージの連続取得からのオブジェクト上の特徴に関連する情報を組み合わせて特徴データの集まりを生成し、別々の個々のイメージを全体イメージへと組み合わせるのではない仕方で、全体としてオブジェクトの寸法を提供することを含む、方法。
  15. オブジェクトの全長がFOVよりも長いことに応じて、オブジェクトがFOVから出るまで、オブジェクトがFOV内に残っている間は、一連のイメージ取得スナップショットを取得することをさらに含む、請求項14の方法。
  16. 集められた特徴データを使用し、入力された用途データに基づいて、オブジェクトの全体的な属性を導出することをさらに含み、ここで全体的な属性は、信頼性スコア、オブジェクトの分類、オブジェクトの寸法、斜行およびオブジェクトの容積の少なくとも1つを含む、請求項15の方法。
  17. 全体的な属性に基づいて、オブジェクトの転送、オブジェクトの拒絶、警告の発生およびオブジェクトの斜行の修正の少なくとも1つを含む、オブジェクトに関するタスクを行うことをさらに含む、請求項16の方法。
  18. 存在信号の使用は、オブジェクトが搬送方向に移動するにつれてイメージのそれぞれの間でのオブジェクトの連続性を判定するために行われる、請求項17の方法。
  19. 情報を組み合わせる工程が、
    (a)長さ制限外データ、
    (b)幅制限外データ、
    (c)高さ制限外データ、
    (d)容積制限外データ、
    (e)信頼性スコア、
    (f)液体容積、
    (g)分類、
    (h)オブジェクトから画像化される予想データに対するオブジェクトから実際に画像化されたデータの量(QTY)、
    (i)オブジェクトの位置的特徴、または
    (j)オブジェクトに対する損傷の検出
    を生成することを含む、請求項14の方法。
  20. イメージ中のオブジェクト相互間の最小間隔を規定することをさらに含み、その最小間隔未満の場合には複数のオブジェクトは3Dイメージデータが失われた単一のオブジェクトであると見なされる、請求項14の方法。

JP2022549624A 2020-02-18 2021-02-18 視野よりも長い移動物体の3次元スキャンのためのシステムおよび方法 Active JP7535590B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062978269P 2020-02-18 2020-02-18
US62/978,269 2020-02-18
PCT/US2021/018627 WO2021168151A1 (en) 2020-02-18 2021-02-18 System and method for three-dimensional scan of moving objects longer than the field of view

Publications (2)

Publication Number Publication Date
JP2023514833A true JP2023514833A (ja) 2023-04-11
JP7535590B2 JP7535590B2 (ja) 2024-08-16

Family

ID=74871835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549624A Active JP7535590B2 (ja) 2020-02-18 2021-02-18 視野よりも長い移動物体の3次元スキャンのためのシステムおよび方法

Country Status (6)

Country Link
US (2) US11748838B2 (ja)
EP (1) EP4107700A1 (ja)
JP (1) JP7535590B2 (ja)
KR (1) KR20230009360A (ja)
CN (1) CN115362473A (ja)
WO (1) WO2021168151A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220301260A1 (en) * 2021-03-16 2022-09-22 Illinois Tool Works Inc. Systems and methods for area wide object dimensioning
WO2024152048A1 (en) * 2023-01-14 2024-07-18 Radiusai, Inc. Visual analytics

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07159129A (ja) * 1993-12-01 1995-06-23 Kochi Pref Gov 耳付き板材の形状測定方法及びその装置
JP2006084445A (ja) * 2004-09-17 2006-03-30 Dainippon Screen Mfg Co Ltd 画像取得装置
JP2008170298A (ja) * 2007-01-12 2008-07-24 Oki Electric Ind Co Ltd 外観検査装置及び外観検査方法
CN104796617A (zh) * 2015-04-30 2015-07-22 北京星河康帝思科技开发股份有限公司 用于流水线的视觉检测方法和系统
US20180189763A1 (en) * 2016-12-30 2018-07-05 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
JP2019196927A (ja) * 2018-05-08 2019-11-14 ウエノテックス株式会社 体積推定装置、体積推定システムおよび体積推定方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
FR2911403B1 (fr) * 2007-01-16 2010-01-15 Commissariat Energie Atomique Realisation de cavites remplies par un materiau fluidique dans un compose microtechnologique optique
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
WO2012068353A2 (en) 2010-11-18 2012-05-24 Sky-Trax, Inc. Load tracking utilizing load identifying indicia and spatial discrimination
EP2668614B1 (en) * 2011-01-24 2018-05-30 Datalogic USA, Inc. Exception detection and handling in automated optical code reading systems
US20140309839A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle Registration to Enter Automated Control of Vehicular Traffic
US10556356B2 (en) 2012-04-26 2020-02-11 Sharper Tools, Inc. Systems and methods for performing a task on a material, or locating the position of a device relative to the surface of the material
MY177646A (en) 2014-02-28 2020-09-23 Icm Airport Technics Australia Pty Ltd Luggage processing station and system thereof
KR20150142923A (ko) * 2014-06-12 2015-12-23 한국전자통신연구원 소포 인입 시스템 및 그 방법
US9553539B2 (en) * 2014-08-28 2017-01-24 Deere & Company Methods of generating output variable voltage for electric drive devices and systems thereof
WO2016065063A1 (en) * 2014-10-22 2016-04-28 Pointivo, Inc. Photogrammetric methods and devices related thereto
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
WO2016190994A1 (en) 2015-05-27 2016-12-01 Gopro, Inc. Camera system using stabilizing gimbal
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
WO2017045116A1 (en) 2015-09-15 2017-03-23 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
CA3008886A1 (en) 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
EP4410155A1 (en) 2016-05-09 2024-08-07 Grabango Co. System and method for computer vision driven applications within an environment
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
US10289990B2 (en) 2016-10-17 2019-05-14 Conduent Business Services, Llc Store shelf imaging system and method
US20180197139A1 (en) 2017-01-06 2018-07-12 Position Imaging, Inc. Package delivery sharing systems and methods
EP3454298B1 (de) * 2017-09-06 2019-08-07 Sick AG Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
CA3115898C (en) 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification
CA3040946A1 (en) * 2019-04-23 2020-10-23 Vab Solutions Inc. Wood labeling system and method for labeling wood products in a production line

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07159129A (ja) * 1993-12-01 1995-06-23 Kochi Pref Gov 耳付き板材の形状測定方法及びその装置
JP2006084445A (ja) * 2004-09-17 2006-03-30 Dainippon Screen Mfg Co Ltd 画像取得装置
JP2008170298A (ja) * 2007-01-12 2008-07-24 Oki Electric Ind Co Ltd 外観検査装置及び外観検査方法
CN104796617A (zh) * 2015-04-30 2015-07-22 北京星河康帝思科技开发股份有限公司 用于流水线的视觉检测方法和系统
US20180189763A1 (en) * 2016-12-30 2018-07-05 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
JP2019196927A (ja) * 2018-05-08 2019-11-14 ウエノテックス株式会社 体積推定装置、体積推定システムおよび体積推定方法

Also Published As

Publication number Publication date
WO2021168151A1 (en) 2021-08-26
US11748838B2 (en) 2023-09-05
US20210350496A1 (en) 2021-11-11
US20240177260A1 (en) 2024-05-30
CN115362473A (zh) 2022-11-18
EP4107700A1 (en) 2022-12-28
JP7535590B2 (ja) 2024-08-16
KR20230009360A (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
US11087484B2 (en) Camera apparatus and method of detecting a stream of objects
US20240177260A1 (en) System and method for three-dimensional scan of moving objects longer than the field of view
US11494891B2 (en) Method of inspecting and evaluating coating state of steel structure and system therefor
GB2564794B (en) Image-stitching for dimensioning
CN103471512B (zh) 一种基于机器视觉的玻璃板宽检测系统
Reynolds et al. Capturing time-of-flight data with confidence
US8290245B2 (en) Measuring apparatus and method for range inspection
US20050259847A1 (en) System and method for tracking parcels on a planar surface
CN104729426B (zh) 基于机器视觉的角钢自动在线检测系统及方法
AU2017349631B2 (en) Belt inspection system and method
JP2017032548A (ja) 自動工業検査における3dビジョンの使用
US10997702B2 (en) Inspection apparatus, inspection method, and computer readable recording medium storing inspection program
US8780358B2 (en) Inspection apparatus, system, and method
US20210390676A1 (en) Automated inspection for sheet parts of arbitrary shape from manufactured film
KR20150029551A (ko) 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
US20210183037A1 (en) Image processing device, image processing method, and image processing non-transitory computer readable medium
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CA3232479A1 (en) Inspection method for inspecting an object and machine vision system
US20240104715A1 (en) Production-speed component inspection system and method
CN112066892A (zh) 用于细化由3d视觉系统成像的大体立方形3d物体的尺寸的系统和方法及其控制装置
US20220148152A1 (en) System and method for adjustable production line inspection
CN112730427B (zh) 一种基于机器视觉的产品表面缺陷检测方法及系统
TWI718943B (zh) 蛋品分流裝置
EP3872707A1 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240805

R150 Certificate of patent or registration of utility model

Ref document number: 7535590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150