JP7442672B2 - 物体の側壁を検査するための方法 - Google Patents

物体の側壁を検査するための方法 Download PDF

Info

Publication number
JP7442672B2
JP7442672B2 JP2022557638A JP2022557638A JP7442672B2 JP 7442672 B2 JP7442672 B2 JP 7442672B2 JP 2022557638 A JP2022557638 A JP 2022557638A JP 2022557638 A JP2022557638 A JP 2022557638A JP 7442672 B2 JP7442672 B2 JP 7442672B2
Authority
JP
Japan
Prior art keywords
image
camera
dimensional representation
sidewall
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022557638A
Other languages
English (en)
Other versions
JP2023518555A (ja
Inventor
カサーディオ,マルコ
サイアニ,アンドレア
Original Assignee
サクミ コオペラティヴァ メッカニチ イモラ ソシエタ コオペラティヴァ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サクミ コオペラティヴァ メッカニチ イモラ ソシエタ コオペラティヴァ filed Critical サクミ コオペラティヴァ メッカニチ イモラ ソシエタ コオペラティヴァ
Publication of JP2023518555A publication Critical patent/JP2023518555A/ja
Application granted granted Critical
Publication of JP7442672B2 publication Critical patent/JP7442672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9045Inspection of ornamented or stippled container walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/845Objects on a conveyor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Coating With Molten Metal (AREA)

Description

本発明は、物体の側壁を検査するための方法および装置に関する。本発明はまた、物体の側壁の画像を処理するための方法に関する。
本発明は、物体、例えば、粉末状、ゲル状または液状の物質用の容器または小瓶などの物体の検査の分野に係る。より具体的には、本発明は、物体または物体に貼付されたラベルの欠陥を検出する目的で、これらの物体の側壁の検査に関する。側壁は、その画像をキャプチャすることによって検査される。通常、これらの画像には射影ひずみがあり、画像を処理する際に、欠陥を正しく識別するために射影ひずみを考慮に入れる必要がある。
本出願人の名義の特許文献WO2011013153A1からこの分野で知られているのは、容器の基準軸を規定するために容器の2つ以上の画像をキャプチャし、当該2つ以上の画像から、当該基準軸を基準として使用して、容器の側面の平面的な展開された画像を形成するために容器の以前に保存された三次元モデルを使用することを含む容器検査方法である。この方法には、容器の三次元モデルを知り、当該三次元モデルをコンピュータフォーマットで利用できるようにしておく必要があるという欠点がある。さらに、容器の軸を特定する必要があるので、この方法はコンピュータ処理能力の点で厄介である。さらに、この方法は、回転体ではない容器、つまり基準軸に関して中心対称性を持たない容器の検査には適していない。
別の検査方法は、特許文献WO2007110372に記載されている。この方法も、側壁の複数の画像から展開された画像を構築することを含み、したがって、コンピュータ処理能力の点で厄介である。さらに、このシステムは多数のカメラを必要とし、このことは必然的に装置のコストを上昇させる。
検査のためのさらなる方法およびシステムは、特許文献JP5375488B2、FR2939201A1、WO2018/217077A1、EP2297674A1に開示されている。
本発明の目的は、物体の側壁を検査するための方法および装置並びに物体の側壁の画像を処理するための方法を提供して従来技術の上述の欠点を克服することである。
これらの目的は、本明細書に記載され且つ添付の特許請求の範囲に特徴付けられる、物体を検査するための方法および装置並びに画像を処理するための方法によって、完全に達成される。
より具体的には、本開示は、物体の側壁または側面を検査するための方法に関する。物体は、プラスチック、ガラスまたは金属でできていてもよい。物体は、粉末状、液状またはゲル状の物質用の容器であってもよい。例えば、物体は、ボトル、瓶、箱、缶であってもよい。物体は、その軸周りに延在する側壁(または側面)を持つ。物体はまた、側壁の下部外縁に沿って側壁に接続された底壁を有する。より具体的には、底壁は物体の軸に対して垂直に向けられてもよい。物体は、好ましくは上壁を有する。上壁は側壁の上部外縁に沿って側壁に接続される。下部外縁は物体の軸を囲む。上部外縁は物体の軸を囲む。
方法は、物体をコンベヤで搬送するステップを含む。コンベヤは、例えば、搬送方向に沿って物体を搬送するように構成されたベルトコンベヤであってもよい。コンベヤは、回転軸周りの円形軌道に沿って物体を搬送するように構成されたカルーセルであってもよい。好ましくは、コンベヤは物体を連続して搬送する。一実施形態では、コンベヤは個別化された物体を搬送する。別の実施形態では、物体は互いに接触してもよい。いずれにせよ、物体は、好ましくは一度に1つずつ検査される(実際、この開示でさらに説明される第1および第2の画像は、サンプルごとに周期的なシーケンスで1つずつキャプチャされる)。
好ましくは、コンベヤは、底壁がコンベヤ上に置かれた状態で物体を搬送する。コンベヤはまた、物体の一部(例えば、首部)を保持しながら物体を搬送してもよいし、または物体は吸着によって保持されてもよい。
方法は、検査される物体を検査ステーションに受け入れるステップを含む。検査ステーションはコンベヤに沿って配置される。検査ステーションでは、物体は、その軸が長手方向に沿って向けられた状態で受け入れられる。
方法は第1の画像をキャプチャ(または取得)するステップを含む。第1の画像は、長手方向に平行な少なくとも1つの成分を有する光路(または視軸)に沿って上から物体を見る第1のカメラによってキャプチャされる。したがって、第1の画像は、物体の上壁および/または上部外縁の少なくとも一部を表す。
方法は、第1の画像および基準データに基づいて物体の側壁の三次元表現を導出するステップを含む。したがって、第1の画像は、三次元表現を導出するために基準データの関数として処理される。一実施形態では、三次元表現は物体の三次元モデルである(または三次元モデルを含む)。
一実施形態では、基準データは、メモリに保存されており、入力データの関数として選択的に読み出される。一実施形態では、基準データは、入力データの形で受信される。基準データは、物体の1つまたは複数の幾何学的特性を表す。したがって、基準データは、物体のサイズおよびフォーマットに依存する。
方法は第2の画像をキャプチャするステップを含む。第2の画像は側壁の一部を表す。第2の画像には射影ひずみがある。第2の画像の射影ひずみは、ふぞろいであり、長手方向に垂直な平面における物体の向きに依存する。実際、コンベヤは、物体の軸が長手方向に沿って向けられた状態で物体が検査ステーションに受け入れられることを保証するが、各物体は個々の軸周りに回転し得る。したがって、その側壁は、検査ステーションに対してふぞろいな角度を持ち得る。この角度により、第2の画像に物体ごとに異なる射影ひずみが生じる。
方法は第2の画像を処理するステップを含む。第2の画像は三次元表現の関数として処理される。より具体的には、処理するステップは、三次元表現上の第1の複数の点を識別し、第2の画像上の第2の複数の点(またはピクセル)を識別することを含む。したがって、処理は、第1の複数の点と第2の複数の点との間の相関を取ることを含む。
より具体的には、一実施形態では、第2の画像内の物体の側面の各点は、三次元表現上の点と関連付けられる。
別の実施形態では、第2の画像の点のサブセットのみが、三次元表現の対応する点のサブセットと関連付けられる。そのような方法で、結果の精度は低下し得るが、処理ステップは、より単純になる。この実施形態では、方法は、第2の画像の点のサブセットのみを含む前記第2の複数の点を第2の画像において特定することと、対応する第1の複数の点を三次元表現において特定することと、第2の複数の点と第1の複数の点とを関連付けることとを提供する。
したがって、処理には透視変換が含まれ、透視変換には、三次元表現上の各点を第2の画像上の特定の(固有の)点と関連付けることが含まれる。
処理は、物体の側壁の一部を表す第3の画像を導出することを含む。第3の画像は、三次元表現の関数として第2の画像の透視変換によって得られる。第3の画像には射影ひずみがない(または第3の画像のひずみは第2の画像より少ない)。
第3の画像は、物体が検査ステーションにおいて予め定められた予定通りの向きを有する場合、および/または物体の軸が予め定められた長手方向軸と一致する場合に得られる(第2の)画像に対応することに留意されたい。したがって、第3の画像は、物体がその軸(および長手方向)に垂直な平面において実際に有するランダムな向き、および/または物体の軸と長手方向軸(または方向)との間のずれ(ある場合)に依存しない。したがって、第3の画像は、空間的に一様である。
第3の画像は、物体の側壁または物体に貼付されたラベルの欠陥を識別するために提供される。
一実施形態では、方法は欠陥を識別するために第3の画像を処理するステップを含む。例えば、第3の画像は、(予定通りの向きに従って方向付けられ且つその軸が予め定められた長手方向軸と一致する)欠陥のない物体の側壁を表す基準画像と比較され得る。別の例では、第3の画像は、(予定通りの向きに従って方向付けられ且つその対応する軸が予め定められた長手方向軸と一致する)欠陥がある物体の側壁の画像と比較され得る。
一実施形態では、第3の画像は自己学習システムによって処理される。好ましくは、自己学習システムはニューラルネットワーク(例えば、畳み込みニューラルネットワーク)を含む。ニューラルネットワークは物体に欠陥があればそれを認識するようにトレーニングされる。ニューラルネットワークは、欠陥がある物体および/または欠陥のない物体からトレーニングされ得る。
好ましくは、第1の画像をキャプチャするために使用される第1のカメラは、検査ステーションにおいて物体の上方に配置される。より具体的には、第1のカメラの光路(または視軸)は、好ましくは、長手方向に平行である。一実施形態では、第1のカメラの光路は、コンベヤの表面に対して垂直である。
好ましくは、第2の画像は第2のカメラによってキャプチャされる。第2のカメラは第1のカメラとは異なる。より具体的には、第2のカメラは第1のカメラの光路とは異なる光路(または視軸)を有する。第2のカメラの光路は物体の側壁に入射する。例えば、第2のカメラの光路は長手方向に直交してもよい。
第1のカメラおよび第2のカメラは、同一の光学装置の一部を形成することに留意されたい。好ましくは、第1および第2のカメラは、同一の空間座標系に従って較正される。したがって、座標系は、第1および第2のカメラで共通である。一実施形態では、第1および第2のカメラは、ステレオ構成で互いに接続される。一実施形態では、方法は、同一の空間座標に従って第1および第2のカメラを較正するステップを含んでもよい。
一実施形態では、第1および第2の画像は両方とも第1のカメラによってキャプチャされる。この場合、第1のカメラの光路は、物体を上からも横からも見ることができるように長手方向に対して傾斜している。例えば、この場合、第1のカメラは、長手方向に対して40°から50°の間(具体的には45°)の角度に向けられた光路を有してもよい。この場合も、第1のカメラは単一のスナップショットを撮影し、当該単一のスナップショットを処理してそれから第1の画像と第2の画像の両方が得られる。
物体の三次元表現を導出するために使用される基準データは、好ましくは、第1のカメラから物体の側面の上部外縁までの距離を含む。この距離は、長手方向に沿って規定される。上部外縁とは、物体を上から見たときに物体の境界を画定する縁部を意味する。したがって、三次元表現を導出するステップは、第1の画像上で、物体の側面の上部外縁の少なくとも一部を表す線を特定するステップを含む。この線は、物体の形状に応じて、曲線または直線または折れ線であり得る。この線は、上部外縁(またはその一部)を幾何学的に表現したものである。
一実施形態では、線はまた、(上から見た)物体のキャップの境界を表す。したがって、この実施形態では、線は、側壁の上部外縁を表す第1の部分と、キャップの境界を表す第2の部分とを含む。一例では、第2の部分は、第1の部分によって取り囲まれてもよい。
好ましくは、基準データは、物体の側壁の高さ(すなわち、物体の底部からの上部外縁の距離)を含む。なお、基準データには、同様に、上部外縁からの第1のカメラの距離および物体の側壁の高さではなく、底壁からの第1のカメラの距離および物体の側壁の高さが含まれてもよいことに留意されたい(実際、減算によってこれらから上部外縁からの第1のカメラの距離が得られる)。物体がコンベヤ上に置かれており、当該コンベヤが当該物体を搬送している場合、物体の底壁からの第1のカメラの距離は、物体が置かれているコンベヤの表面からの第1のカメラの距離によって規定される。一般的に言えば、基準データは次の量のうちの少なくとも2つを含むことに留意されたい。すなわち、第1のカメラから物体の側面の上部外縁までの距離、物体の側壁の高さ、物体の底壁から(またはコンベヤから)第1のカメラまでの距離のうちの少なくとも2つを含む。実際には、これらの量のうちの2つから3つ目の量を得ることができる。
三次元表現は、物体の側壁の高さに等しい高さだけ長手方向に沿って線を投影することによって、前述の線から導出される。線が上縁の一部のみを表す場合、(物体の側壁の一部のみ、つまり検査される部分のみを表す)部分的な三次元表現を得ることが可能である、および/または(例えば、特定の対称性があると仮定して)上縁の残りの部分を再構成して、その後、(第2の画像において表される部分および再構成された部分を含む)縁部を表す線を下に投影して、三次元表現を得ることが可能である。
より具体的には、線を下に投影するということは、第1のカメラから離れて、物体の底壁に向かって線を投影することを意味する。このように、第1の画像から得られた線は、物体の上部境界(または境界部分)を規定または近似し、三次元表現は、物体の高さに等しい既知の高さだけ境界を投影する(または押し出す)ことによって得られる。したがって、本開示による検査方法は、最初から物体の三次元モデルを提供する必要がないことに留意されたい。実際には、物体の高さおよびカメラから物体までの距離などの基準データを使用して三次元表現(場合によっては近似の三次元表現)が構築される。基準データの保存および処理の負担は、三次元モデルよりも少ない。
一実施形態では、この方法は、学習するステップを含み、学習するステップは、線のプロファイルを保存するステップおよび/または保存されたプロファイルを更新するステップを含む。このようにして、次に続く物体において、線は第1の画像の関数としてだけでなく、保存されたプロファイルの関数としても特定される。
物体の側面は、好ましくは、長手方向(および物体の軸)と実質的に平行に向けられることに留意されたい。実質的に平行とは、長手方向に対する側面の向きの変動が許容されることを意味する。ただし、このような向きの変動の程度は制限される必要がある。例えば、長手方向に対して+30°から-30°の間(好ましくは、+20°から-20°の間、または+15°から-15°の間)の向きの変動は許容される。
本開示の方法は、有利なことに、回転体ではない物体に適用されることに留意されたい。例えば、物体の軸に平行または実質的に平行な側壁を有する、卵形または楕円形または長方形の形状の容器に適用される。
本開示はまた、物体の側壁を検査するための装置を提供する。
装置は物体を搬送するように構成されたコンベヤを備える。コンベヤはベルトまたはカルーセルを含んでもよい。コンベヤは、好ましくは、その上にある物体を搬送するように構成されている。コンベヤは、好ましくは、複数の物体を、各々を個々の軸が長手方向に平行な状態に維持しながら搬送するように構成されている。コンベヤは、好ましくは、複数の物体を連続して搬送するように構成される。一実施形態では、コンベヤは、個別化された物体を搬送するように構成されている。
装置は検査経路に沿って配置された検査ステーションを備える。検査ステーションは、検査される物体であって、その軸が長手方向に沿うように向けられた物体を受け入れるように構成されている。
検査ステーションは、画像をキャプチャするための光学装置を備える。光学装置は、上からの物体の第1の画像をキャプチャするように構成された第1のカメラを備える。第1のカメラは、長手方向に平行な少なくとも1つの成分を有する光路を有する。
装置は制御ユニットを備える。制御ユニットは基準データを含むメモリにアクセスできる。一実施形態では、装置は、メモリに接続され且つ基準データを受信するように構成されたインタフェースを備える。
制御ユニットは、第1の画像および基準データに基づいて物体の側壁の三次元表現を導出するように構成される。
制御ユニットは、三次元表現の関数として第2の画像を処理するステップを実行するように構成される。処理は透視変換を含む。言い換えれば、処理は、三次元表現上の第1の複数の点を識別し、第2の画像上の第2の複数の点を識別し、第1の複数の点と第2の複数の点との間の相関を取り、物体の側壁の一部を表す第3の画像を導出することを含み、第3の画像には射影ひずみがない、および/または、第3の画像のひずみは第2の画像よりも小さい。
さらに、第3の画像上の物体のサイズは、検査ステーション内の物体の実際の位置に基づいて調整され得る。例えば、物体が予定の位置と比較して第2のカメラ(または側壁の画像をキャプチャするカメラ)に対して近いまたは遠い位置にある場合、その効果は、物体に対してズームインまたはズームアウトして、予定の位置からの差を補正することである。言い換えれば、予定通りの位置において、物体の軸は予め定められた長手方向軸と一致する。すなわち、物体の軸が、長手方向軸に平行であるが、予め定められた長手方向軸から離れている場合、第3の画像は、あたかも物体の軸が予め定められた長手方向軸と一致した状態で物体が配置されているかのように物体を示す。
制御ユニットは、第3の画像を提供して物体の側壁の一部(または物体に貼付されたラベル)の欠陥を識別するように構成される。一実施形態では、制御ユニットは、第3の画像を処理して欠陥を識別するように構成される。
基準データは、好ましくは、第1のカメラから物体の側面の上部外縁までの距離を含むことに留意されたい。制御ユニットは、第1の画像上で、物体の側面の上部外縁の少なくとも一部を表す線を特定し、その線から三次元表現を導出するように構成される。
好ましくは、基準データは物体の側壁の高さを含む。制御ユニットは、物体の側壁の高さに等しい距離だけ線を下方に投影することによって三次元表現を導出するように構成される。
光学装置は、好ましくは、第1のカメラの光路とは異なる光路を有し且つ第2の画像をキャプチャするように構成された第2のカメラを備える。
別の実施形態では、第1のカメラは、第1の画像と第2の画像の両方をキャプチャするように構成される。
一実施形態では、装置は、検査ステーションに配置された物体(具体的にはその側面)を照明するように構成された照明器を備える。より具体的には、照明器は、構造化された光で物体を照明するように構成された構造化された照明器であってもよい(すなわち、照明器は光パターンを物体に投影する)。構造化された照明器は、上縁を正確に識別できるために、長手方向に対して傾斜した光路を持つ1台のカメラしかない場合に特に有用である。
本開示はまた、物体の側壁の画像を処理するための方法を提供する。この処理方法は、上から見た物体の第1の画像および基準データから始めて、物体の側壁の三次元表現を導出するステップを含む。この処理方法は、三次元表現上の第1の複数の点を識別するステップを含む。この処理方法は、第2の画像上の第2の複数の点(ピクセル)を識別するステップを含む。この処理方法は、物体の側壁の一部を表すさらなる(または第3の)画像を導出するステップを含む。さらなる画像は、三次元表現に基づいて、その画像の透視変換によって得られる。したがって、さらなる画像には射影ひずみがない、またはさらなる画像のひずみはその画像よりも少ない。より一般的に言えば、この処理方法は、本開示に記載の検査方法の第2の画像を処理するステップに対応する。
本開示はまた、コンピュータ上で実行される場合に、本開示の1つまたは複数の態様による処理方法のステップを実行するように構成された動作命令を含むコンピュータプログラムを提供する。
これらおよび他の特徴は、添付の図面に非限定的な例として示される好ましい実施形態の以下の詳細な説明からより明らかになるであろう。
本開示による物体の側壁を検査するための装置を示す。 図1の装置の検査ステーションを示す。 第1の画像の一例を示す。 第2の画像の一例を示す。 第3の画像の一例を示す。 図1の装置で検査され得る容器の例を示す。 図1の装置による検査には適さない容器を示す。 図1の装置を概略的に表す。
添付の図面を参照すると、符号1は物体(または容器)2の側壁21を検査するための装置を示す。物体(または容器)2は、底壁、底壁に接続された側壁および側壁に接続された上壁を含む。上壁は容器の開口部を規定してもよい。側壁21は物体2の軸A周りに延在する。
装置1はコンベヤ3を備える。一実施形態では、コンベヤ3はコンベヤベルトを含み、物体2は、その底壁がコンベヤベルトの上に置かれ且つその軸Aが長手方向Dと平行に向けられた状態で、搬送される。長手方向Dは、コンベヤ3の供給方向および/または物体2が載るコンベヤ3の表面に対して直交する。好ましくは、コンベヤ3は、複数の物体2を、それらの軸Aが長手方向Dと平行に向けられた状態に維持しながら、連続して搬送する。一実施形態では、コンベヤ3は、コンベヤ3の供給方向に沿って連続的に移動するおよび/または物体2を連続的に供給するように構成される。別の実施形態では、コンベヤ3は、停止期間と交互の一連の移動期間で移動するように構成される。
一実施形態では、コンベヤ3の表面は、物体2の色と高いコントラストを提供する色を有する。一実施形態では、コンベヤ3の表面は、第1の色を有する部分と、第1の色とは異なる第2の色を有する部分とを含む。これらの2つの部分は、コンベヤの供給方向に沿って互いに並んでいてもよい。したがって、物体の一部が第1の部分に載り、物体の一部が第2の部分に載る。そうすることで、物体の色に応じて、どちらかの部分がよりはっきりと見え、コンベヤとのコントラストがより強い部分が、その時々で三次元表現を構築するために使用される。
装置1は検査ステーション4を備える。検査ステーション4はコンベヤ3に沿って配置されている。検査ステーション4は一度に1つの物体2を受け入れるように構成される。検査ステーション4に受け入れられた物体2の軸Aは、長手方向Dに(またはそれと平行に)向けられている。
検査ステーション4(または、より一般的に言えば、装置1)は第1のカメラ41を備える。第1のカメラ41は、検査ステーション4に配置された物体2の上に配置されている。したがって、カメラ41は物体2を上から見る。好ましくは、第1のカメラ41は、長手方向Dと平行に向けられた光路を有する。第1のカメラ41は、第1の画像410をキャプチャするように構成される。第1の画像410は、好ましくは、物体2を上から見た図である。したがって、第1の画像410は、物体2の上壁を表す。また、第1の画像410上に表されているのは、側面21の上部外縁Bである。実際には、側面の上部外縁Bは、上から撮影された第1の画像410上の物体2の境界を形成する。
検査ステーション4(または、より一般的に言えば、装置1)は第2のカメラ42を備える。第2のカメラ42は、検査ステーション4に配置された物体2に沿って配置され、長手方向Dに入射する光路を有する。第2のカメラ42は、第2の画像420をキャプチャするように構成される。第2の画像420は、物体2の側壁21(またはその一部または面)を表す。各物体2は、軸A周りにランダムな向きを有する(予定の方向とは異なる)ので、各物体2の第2の画像420は、物体2ごとに異なるそれぞれの射影ひずみを有する。
好ましくは、物体2は、第1のカメラ41が第1の画像410をキャプチャする瞬間と、第2のカメラ42が第2の画像をキャプチャする瞬間とで、同じ位置にある。より具体的には、コンベヤ3が物体を連続的な動きで搬送する場合、第1の画像410および第2の画像420は、同時にまたは連続した時点でキャプチャされ得る。実際、後者の場合、制御ユニットは、入力として(通常、エンコーダによってトラックされる)コンベヤ3の供給速度を受け取ることができ、次に、物体2がある瞬間から次の瞬間までに受けた空間的移動を考慮に入れて、その速度の関数として第1および第2の画像410、420を処理することができる。
コンベヤ3が移動期間と停止期間とを交互に繰り返して物体を搬送する場合、コンベヤ3は、物体2が検査ステーションにあるときに停止し、停止期間中に、第1の画像410および第2の画像420がキャプチャされる(必ずしも同時である必要はない)。
装置1は、制御ユニット(または処理ユニット)5を備える。制御ユニット5は、第1のカメラ41および第2のカメラ42に接続されて、第1の画像410および第2の画像420を受信する。制御ユニット5は、第1の画像410上で、物体2の側面21の上部外縁Bの少なくとも一部を表す線Lを識別するように構成される。制御ユニット5は、メモリまたはデータベース61(それ自体が装置1の一部を形成し得る)に接続される。メモリ61は基準データ60を含む。基準データ60は、次のデータ項目の少なくとも2つを含む。すなわち、長手方向Dに沿った第1のカメラ41から上縁Bまでの距離H1、長手方向Dに沿った側壁21の高さH2(すなわち、底部またはコンベヤ3からの上縁Bの距離、底部またはコンベヤ3からのカメラ41の距離(H1とH2の和に等しい)の少なくとも2つを含む。制御ユニット5は、メモリ61からこれらの基準データ項目60を受信するように構成される。一実施形態では、制御ユニット5は、基準データ60を処理して距離H1および/または高さH2を取得するように構成される(例えば、基準データ60がH2およびH1とH2の和を含む場合、制御ユニット5は、減算によってH1を導出する)。
制御ユニット5は、第1の画像410、距離H1および高さH2から、物体2の三次元表現(すなわち、三次元モデル)を導出するように構成される。より具体的には、制御ユニット5は、第1の高さH1の関数として線Lに対してズームインおよびズームアウトし、高さH2に等しい高さだけ(必要に応じて、ズームによってサイズを拡大または縮小された)線Lを下方に投影する。
次に、制御ユニット5は、このように構築された三次元表現に基づいて、第2の画像420に対して透視変換を実行する。透視変換は、第2の画像420において第2の複数の点を識別すること、三次元表現上において対応する第1の複数の点を識別すること、第1の複数の点と第2の複数の点との間の相関を取ること、およびこの相関に基づいて第3の画像50を導出することを含む。より具体的には、一実施形態では、制御ユニット5は、第2の画像420上の各点またはピクセルを三次元表現(またはモデル)上の点に関連付け、このようにして、第3の画像50を導出する。第3の画像50は、物体2の側壁21を表し、第3の画像50には射影ひずみがない、またはひずみが第2の画像420よりも少ない。
さらに、物体2の軸Aは、長手方向軸(または方向)Dと正確に一致しなくてもよく、そこからずれていてもよい。この場合、制御ユニット5は、生成された第3の画像50が物体2の側壁21を、あたかもその軸Aが長手方向軸(または方向)Dと一致しているかのように表すように、第2の画像420を(ズームインまたはズームアウトすることによって)変換する。
次に、制御ユニット5は、側壁21または側壁に貼付されたラベルの欠陥を検出するために後続の分析のための第3の画像50を提供してもよいし、または制御ユニット5それ自体が分析を実行してもよい。
WO2011013153A1 WO2007110372 JP5375488B2 FR2939201A1 WO2018/217077A1 EP2297674A1

Claims (20)

  1. 物体の側壁を検査するための方法であって、前記物体の前記側壁はその軸周りに延在しており、前記方法は、
    前記物体をコンベヤで搬送するステップと、
    前記コンベヤに沿って配置された検査ステーションに検査される前記物体を受け入れるステップであって、前記物体の軸が長手方向に沿って向けられている、ステップと、
    前記長手方向に平行な少なくとも1つの成分を有する光路に沿って前記物体を上から見る第1のカメラを通して第1の画像をキャプチャするステップと、
    前記第1の画像および基準データに基づいて前記物体の前記側壁の三次元表現を導出するステップと、
    前記物体の前記側壁の一部を表す第2の画像をキャプチャするステップであって、前記第2の画像は射影ひずみを有する、ステップと、
    前記第2の画像を前記三次元表現の関数として処理するステップと、を含み、前記処理するステップが、前記三次元表現上の第1の複数の点を識別するステップと、前記第2の画像上の第2の複数の点を識別するステップと、前記第1の複数の点と前記第2の複数の点との間の相関を取るステップと、前記物体の前記側壁の一部を表す第3の画像を導出するステップであって、前記第3の画像には射影ひずみがない、またはひずみが前記第2の画像よりも少ない、ステップとを含み、
    前記第3の画像は、前記物体の前記側壁の前記一部における欠陥を識別するために提供される、方法。
  2. 前記第1のカメラは、前記検査ステーションに配置された前記物体の上方に配置される、請求項1に記載の方法。
  3. 前記第2の画像は、前記第1のカメラの前記光路とは異なる光路を有する第2のカメラによってキャプチャされる、請求項2に記載の方法。
  4. 前記第1のカメラおよび前記第2のカメラは、同一の空間座標系に従って較正される、請求項3に記載の方法。
  5. 前記基準データは、前記物体の前記側壁の上部外縁の、前記第1のカメラからの距離を含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記三次元表現を導出する前記ステップは、前記第1の画像上で、前記物体の前記側壁の前記上部外縁の少なくとも一部を表す線を識別するステップを含む、請求項5に記載の方法。
  7. 前記基準データはまた、前記物体の前記側壁の高さを含み、前記三次元表現は、前記物体の前記側壁の前記高さに等しい高さだけ前記長手方向に沿って前記線を投影することによって、前記線から導出される、請求項6に記載の方法。
  8. 前記コンベヤは、前記物体を、前記物体の各々をそれぞれの軸が前記長手方向と平行に向いた状態に維持しながら、連続して供給する、請求項1から7のいずれか一項に記載の方法。
  9. 前記物体の前記側壁は、前記長手方向と実質的に平行に向けられている、請求項1から8のいずれか一項に記載の方法。
  10. 前記処理するステップにおいて、前記第2の画像の各点は、前記三次元表現の点に関連付けられる、請求項1から9のいずれか一項に記載の方法。
  11. 物体の側壁を検査するための装置であって、前記物体の前記側壁はその軸周りに延在しており、前記装置は、
    前記物体を搬送するように構成されたコンベヤと、
    前記コンベヤに沿って配置された検査ステーションであって、検査される前記物体であって、その軸が長手方向に沿って向けられた前記物体を受け入れるように構成された検査ステーションと、を備え、前記検査ステーションは、画像をキャプチャするための光学装置を備え、
    前記光学装置は、上から前記物体の第1の画像をキャプチャするように構成された第1のカメラを備え、前記第1のカメラは、前記長手方向に平行な少なくとも1つの成分を有する光路を有し、
    前記光学装置は、検査される前記物体の前記側壁の一部を表す第2の画像をキャプチャするように構成され、前記装置は、
    制御ユニットであって、
    前記第1の画像および基準データに基づいて前記物体の前記側壁の三次元表現を導出して、
    前記三次元表現の関数として前記第2の画像を処理するステップであって、前記三次元表現上の第1の複数の点を識別することと、前記第2の画像上の第2の複数の点を識別することと、前記第1の複数の点と前記第2の複数の点との間の相関を取ることと、前記物体の前記側壁の一部を表す第3の画像であって、当該第3の画像には射影ひずみがない、または前記第2の画像よりひずみが少ない第3の画像を導出することと、を含むステップを実行して、
    前記物体の前記側壁の前記一部における欠陥を識別するために前記第3の画像を提供するように構成された制御ユニットを備える、装置。
  12. 前記基準データは、前記第1のカメラから前記物体の前記側壁の上部外縁までの距離を含み、前記制御ユニットは、前記第1の画像上で、前記物体の前記側壁の前記上部外縁の少なくとも一部を表す線を識別して前記線から前記三次元表現を導出するように構成されている、請求項11に記載の装置。
  13. 前記基準データはまた、前記物体の前記側壁の高さを含み、前記制御ユニットは、前記物体の前記側壁の前記高さに等しい高さだけ前記線を下方に投影することによって、前記三次元表現を導出するように構成されている、請求項12に記載の装置。
  14. 前記光学装置は、前記第2の画像をキャプチャするように構成された第2のカメラを備え、前記第2のカメラは、前記第1のカメラの前記光路とは異なる光路を有する、請求項11から13のいずれか一項に記載の装置。
  15. 前記検査ステーションに配置された前記物体を構造化された光で照明するように構成された構造化された照明器を備える、請求項11から14のいずれか一項に記載の装置。
  16. 物体の側壁の画像を処理するための方法であって、前記画像が射影ひずみを有し、前記方法は、
    上から見た前記物体の第1の画像および基準データに基づいて前記物体の前記側壁の三次元表現を導出するステップと、
    前記三次元表現上の第1の複数の点を識別するステップと、
    第2の画像上の第2の複数の点を識別するステップと、
    前記第1の複数の点と前記第2の複数の点との間の相関を取るステップと、
    前記物体の前記側壁の一部を表すさらなる画像を導出するステップであって、前記さらなる画像には射影ひずみがない、または前記さらなる画像のひずみは前記画像より少ない、ステップと、を含む方法。
  17. 前記三次元表現を導出する前記ステップは、前記第1の画像上で、前記物体の前記側壁の上部外縁の少なくとも一部を表す線を識別することを含む、請求項16に記載の方法。
  18. 前記基準データは、第1のカメラから前記物体の前記側壁の上部外縁までの距離を含む、請求項17に記載の方法。
  19. 前記基準データはまた、前記物体の前記側壁の高さを含み、前記三次元表現は、前記物体の前記側壁の前記高さに等しい高さだけ長手方向に沿って前記線を投影することによって、前記線から導出される、請求項18に記載の方法。
  20. 前記相関を取るステップにおいて、前記第2の画像の各点は、前記三次元表現の点に関連付けられる、請求項19に記載の方法。
JP2022557638A 2020-03-23 2021-03-22 物体の側壁を検査するための方法 Active JP7442672B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102020000006076A IT202000006076A1 (it) 2020-03-23 2020-03-23 Metodo per ispezionare la parete laterale di un oggetto
IT102020000006076 2020-03-23
PCT/IB2021/052357 WO2021191769A1 (en) 2020-03-23 2021-03-22 Method for inspecting the side wall of an object

Publications (2)

Publication Number Publication Date
JP2023518555A JP2023518555A (ja) 2023-05-02
JP7442672B2 true JP7442672B2 (ja) 2024-03-04

Family

ID=70805120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022557638A Active JP7442672B2 (ja) 2020-03-23 2021-03-22 物体の側壁を検査するための方法

Country Status (6)

Country Link
US (1) US20240338805A1 (ja)
EP (1) EP4127682A1 (ja)
JP (1) JP7442672B2 (ja)
CN (1) CN115349086A (ja)
IT (1) IT202000006076A1 (ja)
WO (1) WO2021191769A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250114A (ja) 1999-12-28 2001-09-14 Ricoh Co Ltd 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体
WO2009150020A1 (de) 2008-05-28 2009-12-17 Wincor Nixdorf International Gmbh Optische erfassung und klassifizierung von gegenständlichen leergut-objekten in einem leergut-rückgabesystem
JP5375488B2 (ja) 2009-09-29 2013-12-25 富士通株式会社 外観検査装置,外観検査方法および外観検査プログラム
JP2017034576A (ja) 2015-08-05 2017-02-09 株式会社日立製作所 画像撮影システム、撮影装置、および画像処理装置
WO2018217077A1 (en) 2017-05-26 2018-11-29 Cortex Glass Infrared Systems B.V. Method and apparatus for detecting imperfections in glass products

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2899358B1 (fr) 2006-03-28 2008-07-04 Edixia Sa Procede et systeme de controle d'aspect d'un contenant, programmes d'ordinateur et dispositif de commande de controle correspondant
FR2939201B1 (fr) * 2008-12-03 2010-11-19 Iris Inspection Machines Machine d'inspection de defauts d'un objet transparent ou translucide
IT1398364B1 (it) 2009-07-31 2013-02-22 Sacmi Apparato automatico di ispezione ottica di contenitori e relativo metodo automatico di ispezione.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250114A (ja) 1999-12-28 2001-09-14 Ricoh Co Ltd 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体
WO2009150020A1 (de) 2008-05-28 2009-12-17 Wincor Nixdorf International Gmbh Optische erfassung und klassifizierung von gegenständlichen leergut-objekten in einem leergut-rückgabesystem
JP5375488B2 (ja) 2009-09-29 2013-12-25 富士通株式会社 外観検査装置,外観検査方法および外観検査プログラム
JP2017034576A (ja) 2015-08-05 2017-02-09 株式会社日立製作所 画像撮影システム、撮影装置、および画像処理装置
WO2018217077A1 (en) 2017-05-26 2018-11-29 Cortex Glass Infrared Systems B.V. Method and apparatus for detecting imperfections in glass products

Also Published As

Publication number Publication date
CN115349086A (zh) 2022-11-15
IT202000006076A1 (it) 2021-09-23
US20240338805A1 (en) 2024-10-10
JP2023518555A (ja) 2023-05-02
EP4127682A1 (en) 2023-02-08
WO2021191769A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US20210012524A1 (en) Learning dataset creation method and device
US10628648B2 (en) Systems and methods for tracking optical codes
US10520449B2 (en) Inspection method and inspection device for the closure control of containers
EP1560017B1 (en) Glass bottle inspection device
CN108416765B (zh) 一种字符缺陷自动检测方法和系统
CA3181787A1 (en) Deep learning platforms for automated visual inspection
JPH01199139A (ja) 対象物の透明度のコントラストにより対象物を検査する方法に用いる回路
JP5796089B2 (ja) 容器検査システム
EP1560018A1 (en) Method and device for preparing reference image in glass bottle inspection device
EP3829980A1 (en) Robotic system for performing pattern recognition-based inspection of pharmaceutical containers
US11966996B2 (en) Composite three-dimensional blob tool and method for operating the same
US20140119634A1 (en) Glass bottle inspection method and apparatus
CN108027329B (zh) 用于对未贴标签的容器进行光学透射光检验的检验法和检验设备
CN114742818A (zh) 一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法
CN111776392B (zh) 贴标设备、装置和系统及贴标方法及存储介质
KR20210099028A (ko) 클론 선택을 가능하게 하기 위한 시스템 및 방법
JP7442672B2 (ja) 物体の側壁を検査するための方法
CN114631125A (zh) 深度学习在自动视觉检查设备中的定向应用
Evangelidis et al. A deep regression framework toward laboratory accuracy in the shop floor of microelectronics
JPH07243808A (ja) ラベル検査法及び装置、並びにラベル画像処理装置
ITRM20090409A1 (it) Apparato automatico di ispezione ottica di contenitori e relativo metodo automatico di ispezione.
CN110838107A (zh) 变角度光学视频智能检测3c透明构件缺陷的方法及装置
CN112200976B (zh) 药品检测方法、装置、电子终端及存储介质
KR102723094B1 (ko) 제품 검사장치
US20230314338A1 (en) Inspection apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240220

R150 Certificate of patent or registration of utility model

Ref document number: 7442672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150