JP6792101B2 - 分類の方法および装置 - Google Patents

分類の方法および装置 Download PDF

Info

Publication number
JP6792101B2
JP6792101B2 JP2020533360A JP2020533360A JP6792101B2 JP 6792101 B2 JP6792101 B2 JP 6792101B2 JP 2020533360 A JP2020533360 A JP 2020533360A JP 2020533360 A JP2020533360 A JP 2020533360A JP 6792101 B2 JP6792101 B2 JP 6792101B2
Authority
JP
Japan
Prior art keywords
information
electromagnetic radiation
analyzing
detection area
optical scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020533360A
Other languages
English (en)
Other versions
JP2020531283A (ja
Inventor
ディルク・バルタザール
ミヒャエル・メイヤー
ジョン・マックグロフリン
Original Assignee
トムラ・ソーティング・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トムラ・ソーティング・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング filed Critical トムラ・ソーティング・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング
Publication of JP2020531283A publication Critical patent/JP2020531283A/ja
Application granted granted Critical
Publication of JP6792101B2 publication Critical patent/JP6792101B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3425Sorting according to other particular properties according to optical properties, e.g. colour of granular material, e.g. ore particles, grain
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2522Projection by scanning of the object the position of the object changing and being recorded
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0018Sorting the articles during free fall
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/845Objects on a conveyor

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Textile Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sorting Of Articles (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)

Description

本発明は、物体を分類する分野に関する。より詳細には、本発明は、ベルト外で物体を分類する方法および装置に関する。
連続的な流れで供給される大量の物体を検査選別する機械は、一般的に、給送ユニットと、光学システムと、分析ユニットとを含む。給送ユニットは、分析ユニットと動作的に連通する光学システムによって走査される検出領域を通って連続的に検査される物体流れを供給する。分析ユニットは、色、形状および/またはテクスチャまたはその組み合わせなど、1つまたはそれ以上の予め選択された特性について、物体流れ内の各物体を個別に分析する。この分析をもとに、分析ユニットは、観察する特性に関して被検査物が特定基準を満たしているかどうかを調べ、結果的に分類することができる。
光学センサおよび分析デバイスに基づいたそのような検査選別装置についての要件は、被検査物からの光学情報とバックグラウンドからの光学情報を正確に区別することができることである。
特許文献1には、物体の検査装置が開示されており、装置は、たとえばコンベヤベルトまたはシュートである輸送機構であり、連続的な物体流れを輸送機構を離れて自由落下経路に従って進むように輸送するように構成され、物体流れは自由落下経路に沿って単一物体層で検査領域を通る、輸送機構と、検出領域を照明するように構成された放射線源と、照明されている検出領域を光走査するように構成された検出ユニットと、分析ユニットと、場合により除去ユニットと、やはりまたバックグラウンド要素と、を備え、バックグラウンド要素は、検出ユニットの位置から見て落下物体流れの背後に位置し、放射線源からの電磁放射線ビームが、物体流れからの物体に当たらなかったときにバックグラウンド要素の照明ゾーンに当たるような位置にあり、検出ユニットは、バックグラウンド要素の検出ゾーンの画像しか受けることができず、バックグラウンド要素は、照明ゾーンおよび検出ゾーンが互いに分離されるように取り付けられることを特徴とする。
この装置は、バックグラウンドによって反射される電磁放射線からの誤った製品の検出がない、製品流れ内の製品の検出の解決策を提供するが、光学特性に基づいた製品の選別は提供せず、製品流れ内の暗い色の製品の検出には最適ではない。
WO2014/013421
本発明の目的は、製品流れ内の透明物体をベルト外で物体分類する改善された解決策を提供することである。
本発明の第1の態様によれば、上記その他の目的は、物体を分類する方法であって:連続的な物体流れを輸送機構から非支持経路内へ直接案内する工程であって、物体流れは非支持経路に沿って検出領域を通る、工程と;電磁放射線を第1の方向に沿って放射し前記検出領域を照明する工程であって、放射される電磁放射線は、前記第1の方向と直交する方向に延びる放射線帯(radiation band)を形成する、工程と;第2の方向に沿って検出領域を見ることによって検出領域内の少なくとも1つの物体によって反射された電磁放射線を検出するように検出領域を光走査する工程であって、第1の方向および第2の方向は、検出領域に交差セクション(cross−section)を有し、互いに対して3°〜80°または10°〜80°の範囲内の角度を形成する、工程と;光走査からの情報を分析する工程と;光走査からの透明情報および反射情報の分析に基づいて物体流れから物体を分類する工程と;を含み、ここで、光走査からの情報を分析する工程は、光走査からの検出放射線の強度、広がり、および場合によりテクスチャに基づいて物体を分析することを含み、光走査からの情報を分析する工程は、その情報をルックアップテーブルの情報と比較することと/またはその情報を1つもしくはそれ以上の閾値と比較することを含む方法によって達成される。
一実施形態によれば、前記物体を分類する前記工程は、光走査からの反射情報の分析に基づいておよび/または分類データに基づいて、少なくとも2つの異なる方向において、物体流れから物体を選別することをさらに含む。
一実施形態によれば、前記光走査からの情報を分析する工程は、前記少なくとも1つの物体の透過または反射の情報を決定するように、物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を、ルックアップテーブルの情報および/または1つもしくはそれ以上の閾値と比較することをさらに含む。
一実施形態によれば、前記光走査からの情報を分析する工程は、前記少なくとも1つの物体の透明または反射の情報を決定するように、物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線の強度および広がりを、ルックアップテーブルの情報および/または1つもしくはそれ以上の閾値と比較することをさらに含む。
本発明の第2の態様によれば、物体を選別する方法であって:連続的な物体流れを輸送機構から非支持経路内へ直接案内する工程であって、物体流れは非支持経路に沿って検出領域を通る、工程と;電磁放射線を第1の方向に沿って放射し前記検出領域を照明する工程であって、放射される電磁放射線は、前記第1の方向と直交する方向に延びる放射線帯を形成する、工程と;第2の方向に沿って検出領域を見ることによって検出領域内の少なくとも1つの物体によって反射された電磁放射線を検出するように検出領域を光走査する工程であって、第1の方向および第2の方向は、検出領域に交差セクションを有し、互いに対して3°〜80°または10°〜80°の範囲内の角度を形成する、工程と;光走査からの情報を分析する工程と;光走査からの透過情報または反射情報の分析に基づいて、少なくとも2つの異なる方向において、物体流れから物体を選別する工程と;を含み、ここで、光走査からの情報を分析する工程は、光走査からの検出放射線の強度、広がり、および場合によりテクスチャに基づいて物体を分析することを含む、方法が提供される。
以下の情報、構成および実施形態は、本発明の第1および第2の態様の両方に関する。
本発明に関して、放射線源は、ライン照明であり、すなわち、照明は、平坦面上に当たったときに放射線帯または放射線ラインを形成し、その放射線帯が少なくとも画像センサによって捉えられ、見られる。さらに、放射された電磁放射線は、平坦面上に当たったときに放射線帯を形成し、その放射線帯が少なくとも画像センサによって捉えられ、見られる。この照明は、コリメートまたは集束される。
一例によれば、測定システムは、放射線源、および好ましくは物体平面上に集束される検出器からなる。検出器の測定面およびライン照明は、ばらばらであり、物体平面内に交差セクションを有する。これは、システム内に物体が存在しない場合、非常に低い放射線が検出器によって検出されることを意味する。というのも、照明ラインおよび検出ラインは、何もない空間では交差しないからである。
光走査からの情報を分析する工程は、検出領域に材料が存在することを決定するように物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を第1の閾値と比較し、その後、存在する材料が透過性および/または反射性かどうかを決定するように少なくとも1つの物体によって直接反射された照明からの電磁放射線を、第1の閾値より上の第2の閾値と比較し、その後、透過情報を設定することによって、透過情報を決定することをさらに含むことができる。
閾値レベルを用いて物体が検出領域内に存在するかどうかを評価し、物体が透過性である可能性を決定することによって、たとえばガラス検出適用例、ならびに透明物体の分類および/または選別の他の適用例において、物体の効率的な分類および/または選別を実現することができる。
本発明に関して、分類データという用語は、物体流れ内の物体を分類する工程で得られるまたはその結果のデータを示す。分類データの1つの例は、許容可能/許容不可能のような特定のクラス;または、ある範囲内の分類値(たとえば、クラスAが、x1からx2;クラスBがx2からx3、ここでxiは数字)であり、この分類値は、測定パラメータ値の1つの単一の値または測定パラメータ値の組み合わせに基づいて形成される。分類データの他の例は、(測定パラメータ値の1つの単一の値または組み合わせに基づいて形成される)分類値であり;分類値は、単一の値または一連の値であってもよい。
一実施形態によれば、分類データ(すなわち、物体流れ内の物体を分類する工程で得られるまたはその結果のデータ)は、少なくとも2つの異なる方向における製品流れ内の個々の物体を選別することに使用され、加えて、または別法として、分類データは、その後の段階における選別など様々な操作を実施するため、ならびに統計解析のために、同じ装置で使用される、または他のデバイスに送られる。換言すると、個々の分類データは、個々の物体に割り当てられ、材料運搬プロセスの様々な工程の間、その物体に結合され続け、場合により、材料運搬プロセスの1つまたはそれ以上のステーションにおいて使用される。加えて、または別法として、個々の分類データまたは分類データの塊は、それが決定された同じ機械で統計のために処理される、または、たとえば有線もしくは無線で提供された先の他のデバイスにおいて処理される。
加えて、または別法として、光走査からの情報を分析する工程は、前記材料がどの程度まで透過性であるかを分類することをさらに含む。加えて、または別法として、光走査からの情報を分析する工程は、前記材料がどの程度まで反射性であるかを分類することをさらに含む。光走査からの情報を分析する工程は、存在する材料が透明である可能性を決定するように、直接反射を第3の閾値と比較することをさらに含むことができる。
光走査からの情報を分析する工程は、物体流れ内の物体の高さおよび/または高さプロファイルを決定することをさらに含むことができる。
光走査からの情報を分析する工程は、その情報をルックアップテーブル(LUT)にある情報と比較することおよび/またはその情報を閾値と比較することを含むことができる。ルックアップテーブルは、一次元ルックアップテーブル、または二次元ルックアップテーブル、またはN次元ルックアップテーブルとすることができる。ここでの次元とは、ルックアップテーブルが、たとえばN変数の、サンプル表示の数値を求めることを意味する。一次元ルックアップテーブルは、1つだけの入力パラメータに応じた出力を返し、入力パラメータは、たとえば検出放射線の強度または広がりであり;すなわち、LUT(強度)についての1つの出力が返され、LUT(広がり)についての1つの出力が返される。一方、二次元ルックアップテーブルは、2つの入力パラメータ、たとえば検出放射線の強度および広がりに応じた出力を返し、LUT(強度、広がり)についての1つの出力が返される。
あるいは、光走査からの情報を分析する工程は、深層学習またはサポートベクトルマシンの使用を含むことができる。
方法は、バックグラウンド要素上のライン照明が当たるゾーンを光走査する工程をさらに含むことができ、ここで、光走査からの情報を分析する工程は、バックグラウンド上のゾーンの光走査からの情報に基づいて検出領域内に材料が存在するかどうかを決定することを含む。
バックグラウンド要素上のゾーンを光走査することは、バックグラウンド要素上のライン照明反射の検出を可能にし、それによって、バックグラウンド要素からの反射に基づいて検出領域に物体が存在するかどうかの決定が可能になり、したがって、物体流れ内の非常に暗い色の物体でも検出および選別することが可能になり、さらには光学的に暗い物体と光学的に透明な物体を区別することが可能になる。
バックグラウンド要素上のゾーンを光走査する工程および検出領域を光走査する工程は、1つのカメラを用いて同時に実行することができる。
検出領域とバックグラウンド要素上のレーザラインが当たるゾーンの両方をカバーする視野の1つのカメラを用いることは、費用効果の高い解決策であり、それによって走査からの情報の分析も簡単になる。
検出領域を照明する工程は、複数の検出領域について複数のライン照明により行われ、検出領域を光走査する工程は、検出領域について複数の測定ラインで行われる。その場合、光走査からの情報を分析する工程は、物体流れ内の物体の動きを決定することを含むことができる。
物体流れ内の物体の軌道を決定することによって、物体のより精確な放出を実行することができ、より良好な全体の分類および/または選別を実現することができる。
複数のライン照明は、異なる波長を有することができ、光走査からの情報を分析する工程は、物体流れ内の物体の光学特性および物理特性を決定することを含む。
あるいは、またはそれに加えて、複数のライン照明は、異なる偏光を有することができる。これは、バックグラウンド放射を除去するのに有益となり得る。
本発明の第3の態様によれば、物体を分類および/または選別する装置であって:輸送機構であり、物体流れを、輸送機構を離れてから非支持経路に従って進むように輸送するように配置され、物体流れは非支持経路に沿って検出領域を通る、輸送機構と;放射線帯を第1の方向に放射し検出領域を照明するように構成された放射線源と;第2の方向に沿って検出領域を見るように配置され、検出領域内の少なくとも1つの物体によって反射された電磁放射線を検出するように配置された、検出ユニットであって、第1の方向および第2の方向は、検出領域に交差セクションを有し、互いに対して10°〜80°の範囲内の角度を形成する、検出ユニットと;検出ユニットと動作可能に連結され、検出領域内に材料が存在することを決定するように、物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線をルックアップテーブルまたは1つもしくはそれ以上の閾値と比較し、その後、存在する材料が透明かどうかを決定するように、少なくとも1つの物体によって直接反射された照明からの電磁放射線を、第2の閾値と比較することによって透過情報を決定するように配置される分析ユニットとを含む、装置が提供される。ここで第2の閾値は、第1の閾値より上である。
本発明の第4の態様によれば、物体を分類および/または選別する装置であって:輸送機構であり、物体流れを、輸送機構を離れてから非支持経路に従って進むように輸送するように配置され、物体流れは非支持経路に沿って検出領域を通る、輸送機構と;放射線帯を第1の方向に放射し検出領域を照明するように構成された放射線源と;第2の方向に沿って検出領域を見るように配置され、検出領域内の少なくとも1つの物体によって反射された電磁放射線を検出するように配置された、検出ユニットであって、第1の方向および第2の方向は、検出領域に交差セクションを有し、互いに対して3°〜80°または10°〜80°の範囲内の角度を形成する、検出ユニットと;検出ユニットと動作可能に連結され、検出領域内に存在する材料が透明かどうかを決定するように、物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を少なくとも1つの閾値またはルックアップテーブルと比較し、その後、透過または反射の情報を設定することによって、透過および/または反射の情報を決定するように配置された、分析ユニットとを含む、装置が提供される。
検出ユニットは、さらに、バックグラウンド要素上の放射線源からの電磁放射線が当たるポイントによって反射された電磁放射線を感知するように構成される。
装置は、非支持経路に沿った複数の位置において物体流れ内の物体を照明するように構成された複数の放射線源を含むことができる。
装置は、物体を物体流れから除去するように構成された除去ユニットをさらに含むことができ、ここで、物体除去は分析ユニットでの分析に基づいている。
少なくとも1つの実施形態によれば、分析ユニットは、さらに、検出領域に材料が存在することを決定するように物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を第1の閾値またはルックアップテーブルと比較し、その後、存在する材料が透明かどうかを決定するように、前記少なくとも1つの物体によって直接反射された照明からの電磁放射線を、第1の閾値より場合により上の第2の閾値または第2のルックアップテーブルと比較し、その後、透過情報を設定することによって、透過情報を決定するように配置される、
本発明は特許請求の範囲にある構成のすべての可能な組み合わせに関する、ということに留意されよう。
本発明の現在好ましい実施形態を示す添付の図面を参照して、本発明をより詳細に説明する。
本発明の一実施形態による装置の概略的な斜視図である。 3本のライン照明を含む、本発明の他の実施形態による装置の概略図である。 ライン照明検出を含む、本発明の他の実施形態による装置の概略的な斜視図である。 本発明の一実施形態による方法の流れ図である。 本発明の一実施形態による装置の検出器によって検出された電磁放射線のプロットの図である。 図2の装置で使用することができる、物体流れ内の物体の軌道の決定の概略図である。 図3による装置において検出器によって検出された電磁放射線の交差セクションの概略図である。
図面に示されるように、層および領域のサイズは、例示のために強調されており、したがって、本発明の実施形態の一般的な構造を例示するために提供される。図面を通して、同じ参照数字は、同じ要素を示している。
図1は、本発明の一実施形態による物体流れ内の物体を検査する装置を示している。コンベヤベルト2は、物体流れ4を、ここでは自由落下経路6である非支持経路内へ案内する。物体流れ4を自由落下経路6内へ案内することに、ここではコンベヤベルト2を使用するが、シュータまたは同様のものなど任意のタイプの輸送機構を本発明に従って使用することができる。ここではラインレーザ8である放射線源は、レーザライン10を検出領域12内に第一の方向10に照明する。ここではレーザラインを使用するが、集束電磁放射線を用いる任意のタイプの放射線源を本発明に従って使用することができる。検出領域12は、物体がコンベヤベルト2を離れた後、自由落下経路6内にあるときに移動する領域である。レーザライン10は、物体流れ4を自由落下経路6内へ案内するコンベヤベルト2と実質的に等しい幅とすることができ、それによって確実に物体流れ4内のすべての物体が検出領域12を通って移動することになる。ここではカメラ14である検出器は、検出領域12内でレーザラインと交差する測定平面16内における放射線を検出する。測定平面16は、レーザライン10と実質的に等しい幅とすることができる。
第1の方向10および第2の方向16は、ばらばらであり、検出領域12内に交差セクションを有する。検出領域12は、ベルトの外であり、コンベヤベルト2から排出された物体流れ4が自由落下経路6に入る位置である。検出領域12内に物体がない場合、レーザラインは、バックグラウンド要素の、検出領域内を進む(travel)測定平面の部分によって検出されない部分に当たることになる。したがって、物体が存在しない場合、反射電磁放射線は検出されないことになり、それによって検出領域内に物体が存在するかどうかを明確に認識することが可能になる。
第1の方向10と第2の方向16との間の角度は、好ましくは3°〜80°の範囲内、より好ましくは5°〜60°の範囲内、より好ましくは8°〜40°の範囲内、より好ましくは10°〜35°の範囲内、より好ましくは15°〜30°の範囲内、最も好ましくは20°〜25°の範囲内である。
放射される電磁放射線の波長は、好ましくは300nm〜2000nmの範囲内、より好ましくは400nm〜700nmの範囲内である。
物体流れ内の物体の材料特性の決定は、物体表面での直接反射電磁放射線、物体からの拡散反射電磁放射線および/または物体の高さに基づいて行われる。閾値は、物体の光学特性の決定に使用される。図5を参照すると、直接反射電磁放射線は、y方向の最大値の強度から分かり、拡散反射電磁放射線は、y方向の最大値あたりのライン幅から分かり、高さは、y方向の最大値から分かる。高さの決定は、物体流れ内の物体の軌道計算となると有益である。
光走査からの情報の分析は、やはりまた、図5に見られるような2面(double surfaces)に基づいて、物体流れ内の透明な物体のいくつかの表面を識別することと、分析することと、を含む。
本発明の一実施形態によれば、物体流れ内の物体の透明性の決定は、直接反射電磁放射線を閾値と比較することによって実行される。次いで、第1の閾値を用いて、直接反射電磁放射線が第1の閾値を超えている場合、物体が存在するかどうかが決定される。次いで、第1の閾値より高い第2の閾値を用いて、直接反射電磁放射線が第2の閾値を超えない場合、物体が透明であることが決定される。物体が透明である可能性を決定するために、いくつかのそのような閾値を適用することができる。物体の様々な光学特性を決定するために、様々なパラメータ、つまり物体表面での直接反射電磁放射線、物体からの拡散反射電磁放射線および/または物体の高さについての閾値を組み合わせて適用することができる。
閾値による決定の別法として、またはそれに加えて、物体の特性を決定するのに、ルックアップテーブル、深層学習および/またはサポートベクトルマシンを使用することもできる。
検出した電磁放射線の分析において周囲の電磁放射線を除くため、レーザがオンのフレームとレーザがオフのフレームが記録される。次いで、周囲の電磁放射線を取り除くように、分析でバックグラウンド除去法を実施する。この目的のため、ビームスプリッタを用いたレーザのパルス化を用いてもよい。
装置は、分析で拒絶された物体を除去、したがって分析に基づいて物体を選別するように構成される送風機などの除去ユニットをさらに含むことができる。
それに加えて、装置は、検出器上にバンドパスフィルタ、検出器の正面に、偏光電磁放射線(polarized electromagnetic radiation)または偏光フィルタを含むこともできる。
装置は、ポリゴンミラーを含む走査3D検出を用いたものであってもよく、または他の検出器との組み合わせで使用することもできる。
図2は、図1のものと類似しているが、複数の平行レーザラインを生み出すようになされた複数の平行ライン照明8を含む装置を示している。それによって、この場合では1つ、またはいくつかのカメラ14で、物体流れ4の自由落下経路6内の異なる位置にある複数の検出領域12内の、複数の平行ラインのレーザラインからの反射電磁放射線を検出することが可能になる。このように、物体流れ4内の物体の動きまたは軌道を決定するように、異なる検出領域12内の物体の位置を決定することができる。
選別システムにおいて、物体の速度および移動方向は、普通は、検出と放出との間で一定であると仮定され、物体が一定でない速度で動く場合、拒絶される物体の除去が不正確になる危険がある。状況によっては、動きの変化を補正するために放出窓が増大される。それによって、排出は安定するが、物体流れ4からの物体の望ましくない除去も増加してしまう。
検出ゾーン全体が物体流れの自由落下経路内にあることの別法としては、それらのうちの1つまたはそれ以上を、自由落下経路手前のコンベヤベルト上の物体流れ内にすることである。
検出と放出との間の最小距離は、画素サイズと待ち時間によって決まる。画素サイズが大きいシステムの場合、検出と排出との間の最小距離は、かなり大きくなり得る。2つの検出器を組み合わせた場合、物体の動きは、収束アルゴリズムの性能、したがってやはりまた放出の性能を低減させる。物体流れ内の物体の軌道を決定することによって、物体のより精確な放出を実施することができ、より良好な全体の選別を実施することが可能になる。
上述したような分類データを用いた選別の別法として、または補足として、その後の段階における選別など様々な操作を実施するため、ならびに統計解析のために、分類工程からのデータを同じ装置で使用する、または他のデバイスに送ることができる。
図6は、図2による装置によって行われる物体の動きの推定を示している。2つの高分解能検出器A、Cは、物体の動きの推定を担い、低分解能検出器Bは、物体の材料分類を担う。第1の高分解能検出器Aの検出物体は、探索され、第2の高分解能検出器Cの対応する物体へマッピングされる。第1および第2の高分解能検出器A、Cにおける物体の対応する位置に基づいて、低分解能検出器Bおよびブローバー(blow bar)Dについての物体の位置が補間される。低分解能検出器Bのセンサデータは、補間された画像位置に結合される。ブローバーDは、補間位置を放出に使用する。第1および第2の高分解能検出器A、Cの位置はばらばらであり、低分解能検出器Bはどこでも取り付けることができる。補間位置は、放出のエラーおよび回転物体の集中を低減させる。
装置は、物体の色などのさらなる光学特性の決定および分光法に基づいた他のパラメータの分析を可能にする異なる波長のいくつかのレーザを含むこともできる。図2にあるように位置が異なるレーザは、この目的のために使用することができるが、同じ光学面の多数のパルスレーザも1つの可能性である。
装置は、さらに、様々なレーザ偏光と反射電磁放射線のフィルタ位置を組み合わせることができ、物体流れ内の物体の特性をより簡単に区別することができる。装置は、たとえば、異なる偏光のいくつかのレーザまたは偏光カメラを含んでもよい。
図3は、図1と類似する物体検査装置を示している。ただし、この実施形態では、装置は、検出領域12とライン照明がバックグラウンド要素24に当たるところのゾーン22の両方をカバーする領域内の放射線を検出するカメラ14を有する。それによって、カメラ14は、バックグラウンド要素24上のライン照明反射を検出することが可能になり、それによってバックグラウンド要素24からの反射に基づいて検出領域12内に物体が存在するかどうかの決定が可能になる。これは、非常に低い反射レベルを示す物体の検出になると有用である。ここでは単一であるカメラ14が検出領域12とバックグラウンド要素24上のゾーン22の両方をカバーするが、これらの目的のために2つの異なる検出器を本発明に従って使用することもできる。
図7は、図3の装置の検出器によって検出された電磁放射線の概略図である。物体信号は、レーザラインによって放射される電磁放射線を反射する物体が検出領域内にあるときに存在し、その一方、バックグラウンド信号は、さらに、非常に暗い色、つまり本質的に非反射の物体が検出領域内に存在するかどうかの決定に使用することができる。レーザラインによって放射されバックグラウンド要素によって反射される電磁放射線であるバックグラウンド信号は、バックグラウンド基準のための暗ゾーンに対するレーザラインのキャリブレーション手段として使用することもできる。
バックグラウンド要素によって反射されるレーザラインは、物体流れ内の物体が透明かどうかを決定することにも使用することができる。というのも、透明な物体は、放射された電磁放射線の一部を透過し、その一方、不透明の物体は、放射された電磁放射線の透過をまったく可能にしないからである。
図4は、物体の検査方法の一方法の流れ図である。検査方法は:連続的な物体流れ4を自由落下経路6内へ案内する工程S1であって、物体流れ4は自由落下経路に沿って単一物体層で検出領域12を通る、工程と;検出領域12を第1の方向10に照射する工程S2と;検出領域12を第2の方向16に光走査する工程S3と;光走査からの情報を分析する工程S4とを含み、ここで、測定平面12および第1の方向10は、ばらばらであり検出領域12に交差セクションを有する。
方法および装置の可能な適用例は、これらに限定されないが、ガラス、箔、ナプキン、プリント回路基板、カートリッジ、採鉱材料の分類および/または選別、ならびに、食品のサイズに関する品質分析、クラックまたは異物の検出に及ぶ。さらに、これは、廃棄物流れ内のポリマーを識別することに使用することもできる。
当業者なら、本発明が、上述の実施形態に決して限定されないと理解されよう。むしろ、多くの修正形態および変形形態が、添付の特許請求の範囲内で可能である。たとえば、放射線源および検出器は、あらゆる方向に配置することができ、それでも方法は本発明に従って実施可能である。
さらに、開示の実施形態に対する変形形態は、特許請求される本発明を実施する際、図面、開示、および添付の特許請求の範囲を検討することによって、当業者には理解し実行することができる。特許請求の範囲において、「含む(comprising)」という単語は、他の要素または工程を除外するものではなく、不定冠詞「a」または「an」は、複数を除外するものではない。
例示的な実施形態の項目別リスト
IEE1
物体を分類する方法であって:
− 連続的な物体流れを輸送機構から非支持経路内へ直接案内する工程であって、前記物体流れは非支持経路に沿って検出領域を通る、工程と;
− 電磁放射線を第1の方向に沿って放射し、前記検出領域を照明する工程であって、放射される電磁放射線は、前記第1の方向と直交する方向に延びる放射線帯を形成する、工程と;
− 第2の方向に沿って前記検出領域を見ることによって検出領域内の少なくとも1つの物体によって反射された電磁放射線を検出するように前記検出領域を光走査する工程であって、
第1の方向および第2の方向は、検出領域に交差セクションを有し、互いに対して3°〜80°の範囲内の角度を形成する、工程と;
− 光走査からの情報を分析する工程と;
− 光走査からの反射情報の分析に基づいて物体流れから物体を分類する工程と;
を含み
ここで、光走査からの情報を分析する工程は、光走査からの検出放射線の強度および広がりに基づいて物体を分析することを含む、方法。
IEE2
前記物体を分類する前記工程は、光走査からの反射情報の分析に基づいて、少なくとも2つの異なる方向において、物体流れから物体を選別することをさらに含む、IEE1に記載の方法。
IEE3
光走査からの情報を分析する工程は、物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を第1の閾値と比較し、その後、前記少なくとも1つの物体の透過性を決定するように前記少なくとも1つの物体によって直接反射された照明からの電磁放射線を、第1の閾値より上の第2の閾値と比較し、その後、反射情報を設定することによって、反射情報を決定することを含む、前記IEEのいずれかに記載の方法。
IEE4
光走査からの情報を分析する工程は、物体流れ内の物体の高さプロファイルを決定することをさらに含む、前記IEEのいずれかに記載の方法。
IEE5
光走査からの情報を分析する工程は、その情報を、ルックアップテーブルの情報と比較することおよび/またはその情報を閾値と比較することを含む、前記IEEのいずれかに記載の方法。
IEE6
光走査からの情報を分析する工程は、深層学習またはサポートベクトルマシンの使用を含む、前記IEEのいずれかに記載の方法。
IEE7
バックグラウンド要素上のライン照明が当たるゾーンを光走査する工程をさらに含み、ここで、光走査からの情報を分析する工程は、バックグラウンド上のゾーンの光走査からの情報に基づいて検出領域内に材料が存在するかどうかを決定することを含む、前記IEEのいずれかに記載の方法。
IEE8
バックグラウンド要素上のゾーンを光走査する工程および検出領域を光走査する工程は、1つのカメラを用いて同時に実行される、IEE7に記載の方法。
IEE9
電磁放射線で前記検出領域を照明する工程は、複数の検出領域について複数のライン照明により行われ、前記検出領域を光走査する工程は、前記検出領域について複数の測定ラインで行われる、前記IEEのいずれかに記載の方法。
IEE10
光走査からの情報を分析する工程は、物体流れ内の物体の動きを決定することを含む、IEE9に記載の方法。
IEE11
複数のライン照明は、異なる波長を有し、光走査からの情報を分析する工程は、物体流れ内の物体の光学特性および物理特性を決定することを含む、IEE9または10に記載の方法。
IEE12
複数のライン照明は、異なる偏光を有する、IEE9〜11のいずれかに記載の方法。
IEE13
物体を分類する装置であって:
− 物体流れを、輸送機構を離れてから非支持経路に従って進むように輸送するように配置された輸送機構であって、物体流れは非支持経路に沿って検出領域を通る、輸送機構と;
− 電磁放射線を第1の方向に放射し検出領域を照明するように構成され、ライン照明を生成するように構成された、放射線源と;
− 第2の方向に沿って前記検出領域を見るように配置され、検出領域内の少なくとも1つの物体によって反射された電磁放射線を検出するように配置された、検出ユニットであって、
第1の方向および第2の方向は、検出領域に交差セクションを有し、互いに対して10°〜80°の範囲内の角度を形成する、検出ユニットと;
− 検出ユニットと動作可能に連結され、検出領域内に材料が存在することを決定するように物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を第1の閾値と比較し、その後、その存在する材料が透明であるかどうかを決定するように前記少なくとも1つの物体によって直接反射された照明からの電磁放射線を、第1の閾値より上の第2の閾値と比較し、その後、透過情報を設定することによって、透過情報を決定するように配置された、分析ユニットと;
− 物体流れ(4)から物体を除去するように構成された除去ユニットであり、前記物体除去は、分析ユニットでの分析に基づいている、除去ユニットと
を含む、装置。
IEE14
検出ユニットは、さらに、バックグラウンド要素上の放射線源からの電磁放射線が当たるポイントによって反射された電磁放射線を感知するように構成される、IEE13に記載の装置。
IEE15
非支持経路に沿った複数の位置において物体流れ内の物体を照明するように構成された複数の放射線源を含む、IEE13に記載の装置。

Claims (14)

  1. 物体を分類する方法であって:
    連続的な物体流れ(4)を輸送機構(2)から非支持経路(6)内へ直接案内する工程(S1)であって、前記物体流れ(4)は非支持経路(6)に沿って検出領域(12)を通る、工程と;
    電磁放射線を第1の方向(10)に沿って放射し、前記検出領域(12)を照明する工程(S2)であって、放射される電磁放射線は、前記第1の方向と直交する方向に延びる放射線帯を形成する、工程と;
    第2の方向(16)に沿って前記検出領域を見ることによって検出領域(12)内の少なくとも1つの物体によって反射された電磁放射線を検出するように前記検出領域(12)を光走査する工程(S3)であって、
    第1の方向(10)および第2の方向(16)は、検出領域(12)に交差セクションを有し、互いに対して3°〜80°の範囲内の角度を形成する、工程と;
    光走査からの情報を分析する工程(S4)と;
    光走査からの反射情報の分析に基づいて物体流れから物体を分類する工程(S5)と;を含み
    ここで、光走査からの情報を分析する工程は、光走査からの検出放射線の強度および広がりに基づいて物体を分析することを含み、光走査からの情報を分析する工程は、該情報をルックアップテーブルの情報と比較することおよび/または該情報を閾値と比較することを含む、前記方法。
  2. 前記物体を分類する前記工程は、光走査からの反射情報の分析に基づいて、少なくとも2つの異なる方向において、物体流れから物体を選別することをさらに含む、請求項1に記載の方法。
  3. 光走査からの情報を分析する工程は、前記少なくとも1つの物体の透過または反射の情報を決定するように、物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を、ルックアップテーブルの情報および/または1つもしくはそれ以上の閾値と比較することをさらに含む、請求項1または2に記載の方法。
  4. 光走査からの情報を分析する工程は、物体流れ内の少なくとも1つの物体によって直接反射された照明からの電磁放射線を第1の閾値と比較し、その後、前記少なくとも1つの物体の透過性を決定するように前記少なくとも1つの物体によって直接反射された照明からの電磁放射線を、第1の閾値より上の第2の閾値と比較し、その後、反射情報を設定することによって、該反射情報を決定することを含む、請求項1〜3のいずれか1項に記載の方法。
  5. 光走査からの情報を分析する工程は、物体流れ内の物体の高さプロファイルを決定することをさらに含む、請求項1〜4のいずれか1項に記載の方法。
  6. ルックアップテーブルは、一次元、二次元またはN次元のルックアップテーブルである、請求項1〜5のいずれか1項に記載の方法。
  7. 光走査からの情報を分析する工程は、深層学習またはサポートベクトルマシンの使用を含む、請求項1〜6のいずれか1項に記載の方法。
  8. バックグラウンド要素上のライン照明が当たるゾーンを光走査する工程をさらに含み、ここで、光走査からの情報を分析する工程は、バックグラウンド上のゾーンの光走査からの情報に基づいて検出領域内に材料が存在するかどうかを決定することを含む、請求項1〜7のいずれか1項に記載の方法。
  9. バックグラウンド要素上のゾーンを光走査する工程および検出領域を光走査する工程は、1つのカメラを用いて同時に実行される、請求項8に記載の方法。
  10. 電磁放射線で前記検出領域を照明する工程は、複数の検出領域について複数のライン照明により行われ、前記検出領域を光走査する工程は、前記検出領域について複数の測定ラインで行われる、請求項1〜9のいずれか1項に記載の方法。
  11. 光走査からの情報を分析する工程は、物体流れ内の物体の動きを決定することを含む、請求項9に記載の方法。
  12. 複数のライン照明は、異なる波長を有し、光走査からの情報を分析する工程は、物体流れ内の物体の光学特性および物理特性を決定することを含む、請求項9または10に記載の方法。
  13. 複数のライン照明は、異なる偏光を有する、請求項9または10に記載の方法。
  14. 請求項1〜13のいずれか1項に記載の方法を実行するように構成される、物体を分類する装置。
JP2020533360A 2017-09-01 2018-09-03 分類の方法および装置 Active JP6792101B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17189017.1 2017-09-01
EP17189017.1A EP3450029A1 (en) 2017-09-01 2017-09-01 Classification method and apparatus
PCT/EP2018/073639 WO2019043231A1 (en) 2017-09-01 2018-09-03 METHOD AND APPARATUS FOR CLASSIFICATION

Publications (2)

Publication Number Publication Date
JP2020531283A JP2020531283A (ja) 2020-11-05
JP6792101B2 true JP6792101B2 (ja) 2020-11-25

Family

ID=59761836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020533360A Active JP6792101B2 (ja) 2017-09-01 2018-09-03 分類の方法および装置

Country Status (10)

Country Link
US (1) US10888902B2 (ja)
EP (3) EP3450029A1 (ja)
JP (1) JP6792101B2 (ja)
CN (2) CN115069605A (ja)
AU (1) AU2018326579B2 (ja)
BR (2) BR112020004084B1 (ja)
CA (2) CA3111125C (ja)
ES (1) ES2952965T3 (ja)
PL (1) PL3676027T3 (ja)
WO (1) WO2019043231A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11962876B2 (en) 2014-01-31 2024-04-16 Digimarc Corporation Recycling methods and systems, and related plastic containers
US20190306385A1 (en) 2014-01-31 2019-10-03 Digimarc Corporation Concerning digital marking and reading of plastic items, useful in recycling
US11878327B2 (en) 2019-03-13 2024-01-23 Digimarc Corporation Methods and arrangements for sorting items, useful in recycling
NL2023271B1 (en) * 2019-06-06 2020-12-22 Aweta G&P B V Apparatus and method for determining a property of products
DE102019133695B4 (de) 2019-12-10 2021-08-19 Ii-Vi Delaware, Inc. Lasermaterialbearbeitungskopf, Verwendung eines Lasermaterialbearbeitungskopfes und Verfahren zur Nahtführung bei der Lasermaterialbearbeitung
US11210549B2 (en) * 2020-03-19 2021-12-28 Zebra Technologies Corporation Automated chute fullness detection
EP4128027A1 (en) 2020-03-26 2023-02-08 Digimarc Corporation Arrangements for digital marking and reading of items, useful in recycling
FR3112295B1 (fr) 2020-07-10 2022-07-29 Pellenc Selective Tech Dispositif d'inspection d'objets en flux défilant et machine comprenant un tel dispositif
DE102021200316A1 (de) * 2021-01-14 2022-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Optische Spektroskopie mittels ortsaufgelöster Beleuchtung für Schüttgut
CN114798496A (zh) * 2021-12-02 2022-07-29 安徽中科光电色选机械有限公司 一种基于平面物料的激光分选机及其方法
CN114273249B (zh) * 2022-01-05 2024-04-09 上海新孚美变速箱技术服务有限公司 一种汽车变速箱零件自动扫描检测分类装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873470A (en) * 1994-11-02 1999-02-23 Sortex Limited Sorting apparatus
US5538142A (en) * 1994-11-02 1996-07-23 Sortex Limited Sorting apparatus
JP3079932B2 (ja) * 1994-12-28 2000-08-21 株式会社佐竹製作所 穀粒色彩選別装置
US6056127A (en) * 1996-10-28 2000-05-02 Sortex Limited Delivery system for sorting apparatus
JP2003024875A (ja) * 2001-07-13 2003-01-28 Toyo Glass Co Ltd 物体選別装置及び選別方法
US7339660B1 (en) * 2006-11-29 2008-03-04 Satake Usa, Inc. Illumination device for product examination
BE1017898A3 (nl) * 2007-12-14 2009-10-06 Technology & Design B V B A Sorteerapparaat en werkwijze voor het sorteren van producten.
BE1018793A3 (nl) * 2009-06-17 2011-09-06 Best 2 N V Werkwijze voor het onderscheiden en sorteren van producten waarbij de concentratie van een bestanddeel van deze producten wordt bepaald.
EP2538392B1 (en) * 2011-06-24 2018-09-26 Tomra Systems ASA System and method for reading features in reverse vending machines
GB2492358A (en) * 2011-06-28 2013-01-02 Buhler Sortex Ltd Optical sorting and inspection apparatus
BE1020796A3 (nl) 2012-07-20 2014-05-06 Visys Nv Optische inspectie machine en optische sorteermachine.
IE20120388A1 (en) * 2012-09-07 2014-03-12 Odenberg Engineering Ltd Method and apparatus for handling harvested root crops
WO2014078862A1 (en) * 2012-11-19 2014-05-22 Altria Client Services Inc. Blending of agricultural products via hyperspectral imaging and analysis
JP2016503895A (ja) * 2013-01-08 2016-02-08 パイオニア ハイ−ブレッド インターナショナル, インコーポレイテッド 種子を選別するためのシステムおよび方法
EP2859963A1 (de) * 2013-10-11 2015-04-15 Sikora Ag Vorrichtung und Verfahren zum Sortieren von Schüttgut
US10363582B2 (en) * 2016-01-15 2019-07-30 Key Technology, Inc. Method and apparatus for sorting
AT15295U1 (de) * 2015-03-09 2017-05-15 Binder + Co Ag Aussortieren von mineralienhaltigen Objekten oder Kunststoff-Objekten
CN104849231B (zh) * 2015-05-13 2017-11-07 北京国科虹谱光电技术有限公司 一种塑料材质在线识别的方法及装置
CN108136445B (zh) * 2015-07-16 2020-11-20 索特拉合金有限公司 材料分拣系统
JP6731134B2 (ja) * 2016-07-05 2020-07-29 三菱重工交通機器エンジニアリング株式会社 芋判断装置及び芋選別装置

Also Published As

Publication number Publication date
BR112020004084A2 (pt) 2020-09-24
EP3676027B1 (en) 2023-06-07
EP3676027A1 (en) 2020-07-08
BR112020004084B1 (pt) 2023-05-09
CN115069605A (zh) 2022-09-20
NZ762809A (en) 2021-09-24
PL3676027T3 (pl) 2024-01-22
CA3111125C (en) 2021-09-28
US20200331034A1 (en) 2020-10-22
ES2952965T3 (es) 2023-11-07
EP4234111A1 (en) 2023-08-30
BR122021017406B1 (pt) 2023-11-21
AU2018326579A1 (en) 2020-04-09
EP3450029A1 (en) 2019-03-06
CN111163873B (zh) 2022-06-28
CA3074346C (en) 2021-04-27
AU2018326579B2 (en) 2020-09-10
WO2019043231A1 (en) 2019-03-07
CA3074346A1 (en) 2019-03-07
US10888902B2 (en) 2021-01-12
JP2020531283A (ja) 2020-11-05
CN111163873A (zh) 2020-05-15
CA3111125A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6792101B2 (ja) 分類の方法および装置
US9424635B2 (en) Method and device for individual grain sorting of objects from bulk materials
US20230010402A1 (en) Cased goods inspection system and method
KR20230021119A (ko) 물질 감지 장치
JP2015203586A (ja) 検査方法
TW202339862A (zh) 用於照射物質之設備
US9347892B2 (en) Optical inspection apparatus and optical sorting apparatus
TW202338325A (zh) 材料識別設備及方法
NZ762809B2 (en) Classification method and apparatus
AU2022407597A1 (en) Apparatus for illuminating matter

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200824

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200824

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201105

R150 Certificate of patent or registration of utility model

Ref document number: 6792101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250