JP7205637B2 - スクラップ判別システム、及びスクラップ判別方法 - Google Patents

スクラップ判別システム、及びスクラップ判別方法 Download PDF

Info

Publication number
JP7205637B2
JP7205637B2 JP2021545922A JP2021545922A JP7205637B2 JP 7205637 B2 JP7205637 B2 JP 7205637B2 JP 2021545922 A JP2021545922 A JP 2021545922A JP 2021545922 A JP2021545922 A JP 2021545922A JP 7205637 B2 JP7205637 B2 JP 7205637B2
Authority
JP
Japan
Prior art keywords
scrap
discrimination
image
model
grade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021545922A
Other languages
English (en)
Other versions
JPWO2021220987A1 (ja
Inventor
康夫 岸本
太 小笠原
保嘉 高雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Publication of JPWO2021220987A1 publication Critical patent/JPWO2021220987A1/ja
Application granted granted Critical
Publication of JP7205637B2 publication Critical patent/JP7205637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/20—Recycling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Sorting Of Articles (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Processing Of Solid Wastes (AREA)

Description

本開示は、スクラップ判別システム、及びスクラップ判別方法に関する。
近年、資源の有効活用の観点から、スクラップ等の廃棄物をリサイクル可能な資源として再利用することが求められている。廃棄物を再利用するためには、リサイクル可能な資源を判別する必要がある。従来から人力に頼らない廃棄物の判別処理方法が提案されている（例えば特許文献１）。
特開２０１７－１０９１９７号
しかしながら特許文献１の技術は、解体処理した住宅及び災害瓦礫等の廃棄物を判別の対象としたものであり、例えば金属等のスクラップを効率的に判別する方法については検討されていない。例えば鉄に係る再利用な資源として鉄スクラップが市場で流通しており、電気炉等を用いて鉄へリサイクルされている。従来、鉄スクラップ処理の現場ではスクラップの等級の判別が作業員の目視によりなされている。これは、破砕後のスクラップ金属片が様々なスケールを有し、かつ、各スクラップの形状も相違し、等級の判別をするためには全体を目視しなければならず、その自動化が困難であるためである。他方で、作業員の目視による判別作業では、作業員の熟練度に起因する判別結果のばらつきの問題が生じていた。またかかる作業員の高齢化及び人員確保の問題があった。このようにスクラップの判別技術に関して改善の余地があった。
かかる事情に鑑みてなされた本開示の目的は、スクラップの判別技術を改善できるスクラップ判別システム、及びスクラップ判別方法を提供することを目的とする。
本開示の一実施形態に係るスクラップ判別システムは、
スクラップを含むカメラ画像を取得する取得部と、
前記カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、第１学習用画像を含む教師データにより生成された第１スクラップ判別モデルと、
前記カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、前記第１学習用画像とは異なる第２学習用画像を含む教師データにより生成された第２スクラップ判別モデルと、
前記カメラ画像に基づき、前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのいずれを用いるかを判別する選択モデルと、
前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのうち、前記選択モデルにより選択されたモデルを用いて前記カメラ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力する出力部と、
を備える。
また、本開示の一実施形態に係るスクラップ判別方法は、
スクラップを含むカメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、第１学習用画像を含む教師データにより生成された第１スクラップ判別モデルと、前記カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、前記第１学習用画像とは異なる第２学習用画像を含む教師データにより生成された第２スクラップ判別モデルとを用いるスクラップ判別方法であって、
前記スクラップを含むカメラ画像を取得するステップと、
前記カメラ画像に基づき、前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのいずれを用いるかを選択モデルにより選択するステップと、
前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのうち、前記選択モデルにより選択されたモデルを用いて前記カメラ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力するステップと、
を含む。
本開示の一実施形態に係るスクラップ判別システム、及びスクラップ判別方法によれば、スクラップの判別技術を改善することができる。
図１は、本開示の一実施形態に係るスクラップ判別システムの概要構成を示す図である。 図２は、判別の対象となるスクラップのカメラ画像の具体例である。 図３は、第１スクラップ判別モデルの学習処理の概要を示す図である。 図４は、第１スクラップ判別モデルによる判別処理の概要を示す図である。 図５は、第２スクラップ判別モデルの学習処理の概要を示す図である。 図６は、本開示の一実施形態に係るスクラップ判別方法を示すフローチャートである。 図７は、カメラ画像のズームレベルに応じたグループ毎の正規化の概念図である。
以下、本開示の実施形態について、図面を参照して説明する。
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
図１は、本発明の一実施形態に係るスクラップ判別システム１の全体概要を示す模式図である。以下、本実施形態において判別するスクラップの対象が鉄スクラップである場合について説明するが、判別対象は鉄スクラップに限られない。例えば判別対象は、他の金属スクラップであってもよい。
鉄スクラップは、その発生源に基づき２種類に大別できる。一つは製造業の生産段階で発生する加工スクラップ（工場発生スクラップとも呼ばれる）である。加工スクラップは、回収業者により回収された後、新断、鋼ダライ、銑くずと名称を変えて流通する。そして加工スクラップの大半は、加工処理（中間処理）を行わず製鋼メーカーに引き取られる。加工スクラップは、いわば素性の分かる鉄スクラップであり、品位面ではリターン屑と同様に使い勝手のよいスクラップとされる。また発生、回収、及び搬送段階で異物が混入する可能性も少ない。
もう一方のスクラップは、鋼構造物が老朽化して発生する老廃スクラップである。老廃スクラップには修理又は損傷の段階で発生するスクラップも含む。発生個所は建物解体時、機械類の更新時、使用済み自動車、容器等、多種多様であり、発生形状も様々である。そのため老廃スクラップは、回収後に製鋼投入効率を上げるためサイジング、破砕、減容などの加工処理が行われた後、重量屑として取り扱われる。また、家電機器類、自動車のボディ、自動販売機等の鋼板製品については主に破砕により減容化後、磁選により鉄のみを選別するために行われる。これらの老廃スクラップは発生段階、回収段階及び加工処理段階それぞれにおいて多様化するため、加工処理後に等級の判別が行われる。老廃スクラップの等級判別は形状、すなわちスクラップの厚さ、幅、長さ等により定められている。現在では（社）日本鉄源協会が１９９６年に制定した鉄スクラップ検収統一規格が広く用いられている。
上述のように、従来、鉄スクラップ処理の現場ではスクラップの等級の判別が作業員の目視によりなされている。また、作業員の目視による判別作業には、作業員の熟練度による判別結果のばらつきの問題等がある。本実施形態に係るスクラップ判別システム１は、当該問題等に鑑みてなされたものであり、概略として、作業員の目視による判別に代わって、鉄スクラップを撮影したカメラ画像に基づきスクラップの判別を行うものである。
以下、本実施の形態では、スクラップの中でも一般的なＨＳ、Ｈ１、Ｈ２、Ｈ３、及び錆びたトタン板等の鉄品位の低いＬ１、Ｌ２の６種類の判別を行う例について説明するが、判別する対象の等級はこれに限られない。また、判別する対象の等級は新断屑（せん断屑）、ダライ粉（切削屑）などを含んでもよい。すなわち本実施形態において判別するスクラップの等級は、製造現場のニーズに合わせて、任意のスクラップの等級を含むことが可能である。
図１に示すように本実施形態に係るスクラップ判別システム１は、複数のカメラ１０と、情報処理装置２０とを含む。複数のカメラ１０と、情報処理装置２０とは、ネットワーク３０により接続されている。複数のカメラ１０は、例えばネットワークカメラであり、ネットワーク３０を介して撮影したカメラ画像を情報処理装置２０に送信する。図１ではカメラ１０が４台備えられる場合を例示しているが、カメラ１０の台数はこれに限られない。カメラ１０の台数は４台未満であってもよく、１台であってもよい。またカメラ１０の台数は、４台より多くてもよい。カメラ画像は鉄スクラップをトラックで搬送後、一旦ヤードに移したタイミングにおいて鉄スクラップを撮影したものである。図２は、カメラ１０により撮影されるカメラ画像の具体例を示す。図２に示すように、カメラ画像に含まれるスクラップは、複数の等級の鉄スクラップが混在している。概略として情報処理装置２０は、機械学習により生成した複数のモデルに基づき、カメラ画像中の鉄スクラップの等級及び各等級の比率を判別する。実際の操業では、スクラップの各等級の重量比及び総重量により、スクラップの取引が行われる。そこで以下において本実施形態では情報処理装置２０は、カメラ画像中の各等級のスクラップの重量に係る比率を判別するものとして説明する。
情報処理装置２０は、制御部２１と、記憶部２２と、取得部２３と、出力部２４とを備える。
制御部２１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、ＣＰＵ（central processing unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（field-programmable gate array）又はＡＳＩＣ（application specific integrated circuit）である。制御部２１は、情報処理装置２０の各部を制御しながら、情報処理装置２０の動作に関わる処理を実行する。
記憶部２２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは、例えば、ＲＡＭ（random access memory）又はＲＯＭ（read only memory）である。ＲＡＭは、例えば、ＳＲＡＭ（static random access memory）又はＤＲＡＭ（dynamic random access memory）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、情報処理装置２０の動作に用いられるデータと、情報処理装置２０の動作によって得られたデータとが記憶される。例えば記憶部２２は、第１スクラップ判別モデル２２１、第２スクラップ判別モデル２２２、及び選択モデル２２３を記憶する。
第１スクラップ判別モデル２２１は、カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する学習モデルである。第１スクラップ判別モデル２２１は、第１学習用画像を含む教師データにより生成される。第１学習用画像は、単一等級の鉄スクラップの画像である。すなわち第１スクラップ判別モデル２２１は、第１学習用画像と当該第１学習用画像に係る判別の実績データとを含む教師データに基づき、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される。図３は、第１スクラップ判別モデル２２１の学習処理の概要を示す。図３に示すように、第１スクラップ判別モデル２２１に係る入力層に、第１学習用画像、すなわち単一等級の鉄スクラップの画像が入力される。各単一等級の鉄スクラップの画像には、実績データとしてオペレータが判別した等級の実績データが対応付けられている。当該教師データによってニューロン間の重み係数を調整し、第１スクラップ判別モデル２２１の学習処理が行われる。なお図３では、各画像に、ＨＳ、Ｈ１、Ｈ２、Ｈ３、Ｌ１、及びＬ２が対応付けられている例を示しているが、等級はこれらに限られない。単一等級の鉄スクラップの画像は、他の任意の等級の鉄スクラップ画像であってよい。ここで図３において第１スクラップ判別モデル２２１は、入力層、隠れ層、及び出力層からなる多層パーセプトロンに基づき生成されるモデルである例を図示しているがこれに限られない。第１スクラップ判別モデル２２１は、他の任意の機械学習アルゴリズムにより生成されるモデルであってよい。例えば第１スクラップ判別モデル２２１は、Convolutional Neural Network（CNN）、ディープラーニング等の機械学習アルゴリズムに基づき生成されるモデルであってもよい。
カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する際、制御部２１は、第１スクラップ判別モデル２２１を用いて、カメラ画像における各等級のスクラップの面積比に基づきスクラップの比率を判別する。図４は、第１スクラップ判別モデル２２１による判別処理の概要を示す。図４に示すように、制御部２１は、格子状に分割されたカメラ画像の各部の画像を第１スクラップ判別モデル２２１に入力し、当該部分画像のスクラップの等級を判別する。このようにして格子状に分割されたカメラ画像の部分画像をランダムに抽出してスクラップの等級を判別し、制御部２１は、当該画像におけるスクラップの等級の面積比を算出する。さらに制御部２１は各スクラップの嵩密度に基づき、面積比を重量比に換算する。このようにして制御部２１は、カメラ画像に含まれるスクラップの等級及び各等級の比率を算出する。なおここでは制御部２１は、カメラ画像の一部の部分画像をランダムに抽出して上記面積比を算出する例を示したがこれに限られない。例えば制御部２１は、カメラ画像の全ての部分画像に基づき上記面積比を算出してもよい。
第２スクラップ判別モデル２２２は、カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する学習モデルである。第２スクラップ判別モデル２２２は、第１学習用画像とは異なる第２学習用画像を含む教師データにより生成される。第２学習用画像は、混合等級の鉄スクラップの画像である。混合等級の鉄スクラップとは、複数の等級の鉄スクラップを含む鉄スクラップである。すなわち第２スクラップ判別モデル２２２は、第２学習用画像と当該第２学習用画像に係る判別の実績データとを含む教師データに基づき、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される。図５は、第２スクラップ判別モデル２２２の学習処理の概要を示す。図５に示すように、第２スクラップ判別モデル２２２に係る入力層に、第２学習用画像、すなわち混合等級の鉄スクラップの画像が入力される。各混合等級の鉄スクラップの画像には、実績データとしてオペレータが判別した等級及び各等級の比率が対応付けられている。当該教師データによってニューロン間の重み係数を調整しモデルの学習処理が行われる。ここで図５では第２スクラップ判別モデル２２２は、入力層、隠れ層、及び出力層からなる多層パーセプトロンに基づき生成されるモデルである例を図示しているがこれに限られない。第２スクラップ判別モデル２２２は、他の任意の機械学習アルゴリズムにより生成されるモデルであってよい。例えば第２スクラップ判別モデル２２２は、Convolutional Neural Network（CNN）、ディープラーニング等の機械学習アルゴリズムに基づき生成されるモデルであってもよい。第２スクラップ判別モデル２２２により、カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する際も、第１スクラップ判別モデル２２１と同様に、カメラ画像を分割した部分画像をランダムに抽出してスクラップの等級を判別し、制御部２１は、当該画像におけるスクラップの等級の重量比を算出する。これは画像を分割し、ランダムに選出した画像を多数回判別することにより、判定精度を向上できるためである。なおここではカメラ画像の一部の部分画像をランダムに抽出してスクラップの等級の重量比を算出する例を示したがこれに限られない点についても第１スクラップ判別モデル２２１と同様であり、制御部２１は、カメラ画像の全ての部分画像に基づき画像を分割、上記重量比を算出してもよい。
選択モデル２２３は、カメラ画像に基づき、当該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する際に、第１スクラップ判別モデル２２１又は第２スクラップ判別モデル２２２のいずれがより確からしい解を出力するかを推定するモデルである。選択モデル２２３は、推定結果に基づき、より確からしい解を出力するモデルを選択する。そして制御部２１は選択モデル２２３を用いて選択されたモデルを用いて、カメラ画像に基づきスクラップの等級及び各等級の比率を判別する。換言すると選択モデル２２３は、カメラ画像に基づき、第１スクラップ判別モデル２２１又は第２スクラップ判別モデル２２２のいずれをスクラップの等級に係る判別に用いるかを判別する。選択モデル２２３に係る教師データは、カメラ１０からネットワーク３０を介して取得されたスクラップを含むカメラ画像、第１スクラップ判別モデル２２１により推定されるスクラップの等級及び各等級の比率、第２スクラップ判別モデル２２２により推定されるスクラップの等級及び各等級の比率、及び実績データとしてオペレータが判別した等級及び各等級の比率である。モデル選択に係る実績データは、第１スクラップ判別モデル２２１及び第２スクラップ判別モデル２２２にそれぞれ入力した際における判別結果と、当該カメラ画像に係るオペレータが判別した等級及び各等級の比率の結果とに基づき定められる。つまり選択モデル２２３は、かかる教師データを用いて、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される推定モデルである。選択モデル２２３は、例えば、多層パーセプトロン、Convolutional Neural Network（CNN）、ディープラーニング等の機械学習アルゴリズムに基づき生成される。
取得部２３には、カメラ１０からネットワーク３０を介して、スクラップを含むカメラ画像を取得する、取得部２３は、少なくとも１つの通信用インタフェースが含まれる。通信用インタフェースは、例えば、ＬＡＮインタフェース、ＷＡＮインタフェース、ＬＴＥ（Long Term Evolution）、４Ｇ（4th generation）、若しくは５Ｇ（5th generation）などの移動通信規格に対応したインタフェース、又はＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信に対応したインタフェースである。取得部２３は、情報処理装置２０の動作に用いられるデータを受信し、また情報処理装置２０の動作によって得られるデータを送信する。
出力部２４には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ディスプレイである。ディスプレイは、例えば、ＬＣＤ（liquid crystal display）又は有機ＥＬ（electro luminescence）ディスプレイである。出力部２４は、情報処理装置２０の動作によって得られるデータを出力する。出力部２４は、情報処理装置２０に備えられる代わりに、外部の出力機器として情報処理装置２０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）などの任意の方式を用いることができる。
情報処理装置２０の機能は、本実施形態に係るプログラムを、制御部２１に相当するプロセッサで実行することにより実現される。すなわち、情報処理装置２０の機能は、ソフトウェアにより実現される。プログラムは、情報処理装置２０の動作をコンピュータに実行させることで、コンピュータを情報処理装置２０として機能させる。すなわち、コンピュータは、プログラムに従って情報処理装置２０の動作を実行することにより情報処理装置２０として機能する。
本実施形態においてプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（digital versatile disc）又はＣＤ－ＲＯＭ（compact disc read only memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。
本実施形態においてコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから送信されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、サーバからプログラムを受信する度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの送信は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ（application service provider）型のサービスによって処理を実行してもよい。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
情報処理装置２０の一部又は全ての機能が、制御部２１に相当する専用回路により実現されてもよい。すなわち、情報処理装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。
次に、本開示の一実施形態に係るスクラップ判別システム１により実行されるスクラップ判別方法について説明する。図６は、本開示の一実施形態に係るスクラップ判別方法を示すフローチャートである。
はじめにスクラップ判別システム１のカメラ１０は、スクラップを含むカメラ画像を撮影する（ステップＳ１０）。次にカメラ１０は、ネットワーク３０を介して情報処理装置２０に送信する。情報処理装置２０の取得部２３は、ネットワーク３０を介して当該カメラ画像を取得する（ステップＳ２０）。
続いて制御部２１は、取得したカメラ画像に基づき、第１スクラップ判別モデル２２１又は第２スクラップ判別モデル２２２のいずれを用いるかを、選択モデル２２３を用いて判別する（ステップＳ３０）。
続いて制御部２１は、第１スクラップ判別モデル２２１又は第２スクラップ判別モデル２２２のうち、選択モデル２２３により選択されたモデルを用いて、カメラ画像に含まれるスクラップの等級及び比率を判別する（ステップＳ４０）。
続いて制御部２１は、ステップＳ４０において判別されたスクラップの等級及び比率を出力部２４に出力させる。出力部２４は、ステップＳ４０において判別されたスクラップの等級及び比率を出力する（ステップＳ５０）。
このように、本開示の一実施形態に係るスクラップ判別システム１によれば、カメラ１０により撮影されたスクラップのカメラ画像から、第１スクラップ判別モデル２２１又は第２スクラップ判別モデル２２２を用いて自動的にスクラップの等級及び比率を判別することができる。また第１スクラップ判別モデル２２１又は第２スクラップ判別モデル２２２のいずれを用いるかを選択モデル２２３が選択し、より適切なモデルを自動的に選択する。換言すると本開示の一実施形態に係るスクラップ判別システム１によれば、人手を介さずに当該スクラップの等級及び比率を判別し出力することができる。つまり、本開示の一実施形態に係るスクラップ判別システム１によれば、スクラップの判別技術を改善することができる。
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
例えば、第１スクラップ判別モデル２２１、第２スクラップ判別モデル２２２、及び選択モデル２２３の学習処理及び判別処理において、制御部２１は、各画像に対応するズーム情報を用いてもよい。ズーム情報を用いる場合、カメラ１０は、カメラ画像とともに当該カメラ画像に対応するＯＮＶＩＦ（open network video interface forum）データのズーム情報を、ネットワーク３０を介して情報処理装置２０に送信する。例えば、第１学習用画像、第２学習用画像、及カメラ画像は、各画像に対応するズーム情報に基づき正規化されてもよい。つまり制御部２１は、第１学習用画像、第２学習用画像、及びカメラ画像のそれぞれに対応するズーム情報に基づき、各画像を所定の拡大率に正規化する。そして制御部２１は、正規化後の第１学習用画像、第２学習用画像を用いて学習処理を行い、またカメラ画像に基づく判別処理を行う。かかる正規化の処理により各画像が正規化されるため、スクラップ判別システム１による判別精度を高めることができる。
ここでズーム情報に基づき各画像を所定の拡大率に正規化する場合、制御部２１は、ズーム情報に基づき画像をグループに分類し、グループ毎に異なる拡大率で正規化してもよい。図７は、カメラ画像のグループ毎の正規化の概念図を示す。図７では、拡大率に応じてカメラ画像を分類している。具体的には、カメラ画像の拡大率がｘ０以上ｘ１未満の範囲Ｒ０１（以下、第１範囲Ｒ０１ともいう）である場合、当該カメラ画像は第１グループに分類される。カメラ画像の拡大率がｘ１以上ｘ２未満の範囲Ｒ１２（以下、第２範囲Ｒ１２ともいう）である場合、当該カメラ画像は第２グループに分類される。カメラ画像の拡大率がｘ２以上ｘ３未満の範囲Ｒ２３（以下、第３範囲Ｒ２３ともいう）である場合、当該カメラ画像は第３グループに分類される。カメラ画像の拡大率がｘ３以上ｘ４未満の範囲Ｒ３４（以下、第４範囲Ｒ３４ともいう）である場合、当該カメラ画像は第４グループに分類される。カメラ画像の拡大率がｘ４以上ｘ５未満の範囲Ｒ４５（以下、第５範囲Ｒ４５ともいう）である場合、当該カメラ画像は第５グループに分類される。そして第１範囲Ｒ０１、第２範囲Ｒ１２、第３範囲Ｒ２３、第４範囲Ｒ３４、及び第５範囲Ｒ４５における各カメラ画像は、それぞれ各範囲の基準の拡大率Ｘ０１、Ｘ１２、Ｘ２３、Ｘ３４、及びＸ４５に正規化される。つまり、第１学習用画像、第２学習用画像、及びカメラ画像は、各画像に対応するズーム情報に応じて異なる拡大率に正規化される。換言すると制御部２１は、カメラ画像のズーム情報に基づき定まる複数の基準の中のいずれか１の基準拡大率に正規化する。このようにすることで、カメラ画像を過度に拡大又は縮小することによる画像解像度のばらつきを抑え、スクラップ判別システム１による判別精度を高めることができる。なお図７では制御部２１が、画像を５つのグループに分類し、対応する５つの拡大率で正規化する例を示したがこれに限られない。例えば制御部２１は、分類数を４以下又は６以上とし、それぞれ異なる拡大率で正規化するようにしてもよい。
なお上記ではカメラ画像のズーム情報を学習処理及び判別処理に用いる例を示したがこれに限られない。例えばスクラップ判別システム１は、カメラ１０から得られるＯＮＶＩＦデータの少なくとも一部を学習処理及び判別処理に用いてもよい。ＯＮＶＩＦデータは、パン、チルト、及びズームの情報を含む。すなわち、スクラップ判別システム１は、パン、チルト、及びズームの情報のうち少なくともいずれか１つを用いて学習処理及び判別処理を行ってもよい。
また例えば、第１スクラップ判別モデル２２１、第２スクラップ判別モデル２２２、及び選択モデル２２３の学習処理及び判別処理において、制御部２１は、スクラップを搬入する搬入業者に係る情報を用いてもよい。このようにすることで、搬入業者毎に搬入されるスクラップの傾向が考慮され、スクラップ判別システム１による判別精度を向上させることができる。
また例えば、スクラップ判別システム１及びスクラップ判別システム２はさらに、判別処理後に、判別に用いたカメラ画像を新しい教師データとして蓄積してもよい。そして制御部２１は、当該カメラ画像に基づき、オペレータが判別した等級及び各等級の比率の結果と合わせて第１スクラップ判別モデル２２１、第２スクラップ判別モデル２２２、及び選択モデル２２３を再学習してもよい。例えば仮に出力結果（判別結果）に問題がある場合は、問題があった出力の情報と、当該情報に対応するカメラ画像及び実績データを教師データとして、第１スクラップ判別モデル２２１、第２スクラップ判別モデル２２２、及び選択モデル２２３の少なくともいずれかを再学習させてもよい。これにより、第１スクラップ判別モデル２２１、第２スクラップ判別モデル２２２、及び選択モデル２２３による判別の精度及び速度を向上させることができる。
また例えば、本実施形態において、カメラ画像は、鉄スクラップをトラックで搬送後、一旦ヤードに移したタイミングにおいて撮影されたものであるとしたがこれに限られない。例えばカメラ画像は、製造現場においてスクラップをクレーンで釣り上げた状態を撮影した画像であってもよい。またこの場合は、撮影時にスクラップを照らす照明装置を用いてもよい。これにより鮮明なカメラ画像を採取することができる。
１ スクラップ判別システム
１０ カメラ
２０ 情報処理装置
２１ 制御部
２２ 記憶部
２３ 取得部
２４ 出力部
２２１ 第１スクラップ判別モデル
２２２ 第２スクラップ判別モデル
２２３ 選択モデル
３０ ネットワーク

Claims (7)

  1. スクラップを含むカメラ画像を取得する取得部と、
    前記カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、第１学習用画像を含む教師データにより生成された第１スクラップ判別モデルと、
    前記カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、前記第１学習用画像とは異なる第２学習用画像を含む教師データにより生成された第２スクラップ判別モデルと、
    前記カメラ画像に基づき、前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのいずれを用いるかを判別する選択モデルと、
    前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのうち、前記選択モデルにより選択されたモデルを用いて前記カメラ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力する出力部と、
    を備えるスクラップ判別システム。
  2. 請求項１に記載のスクラップ判別システムであって、
    前記第１学習用画像は単一等級の鉄スクラップの画像であり、第１スクラップ判別モデルを用いて前記カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する際に、前記カメラ画像における各等級のスクラップの面積比に基づき前記比率を判別する、スクラップ判別システム。
  3. 請求項１又は２に記載のスクラップ判別システムであって、
    前記第２学習用画像は混合等級の鉄スクラップの画像である、スクラップ判別システム。
  4. 請求項１乃至３のいずれか一項に記載のスクラップ判別システムであって、
    前記第１学習用画像、前記第２学習用画像、及び前記カメラ画像は、各画像に対応するズーム情報に基づき正規化される、スクラップ判別システム。
  5. 請求項４に記載のスクラップ判別システムであって、
    前記第１学習用画像、前記第２学習用画像、及び前記カメラ画像は、各画像に対応する前記ズーム情報に応じて異なる拡大率に正規化される、スクラップ判別システム。
  6. 請求項１乃至５のいずれか一項に記載のスクラップ判別システムであって、
    前記第１スクラップ判別モデル、前記第２スクラップ判別モデル、及び前記選択モデルの少なくともいずれかは、前記カメラ画像及び前記出力部が出力した前記情報に基づき、再学習される、スクラップ判別システム。
  7. スクラップを含むカメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、第１学習用画像を含む教師データにより生成された第１スクラップ判別モデルと、前記カメラ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、前記第１学習用画像とは異なる第２学習用画像を含む教師データにより生成された第２スクラップ判別モデルとを用いるスクラップ判別方法であって、
    前記スクラップを含むカメラ画像を取得するステップと、
    前記カメラ画像に基づき、前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのいずれを用いるかを選択モデルにより選択するステップと、
    前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのうち、前記選択モデルにより選択されたモデルを用いて前記カメラ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力するステップと、
    を含むスクラップ判別方法。
JP2021545922A 2020-04-30 2021-04-23 スクラップ判別システム、及びスクラップ判別方法 Active JP7205637B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020080778 2020-04-30
JP2020080778 2020-04-30
PCT/JP2021/016531 WO2021220987A1 (ja) 2020-04-30 2021-04-23 スクラップ判別システム、及びスクラップ判別方法

Publications (2)

Publication Number Publication Date
JPWO2021220987A1 JPWO2021220987A1 (ja) 2021-11-04
JP7205637B2 true JP7205637B2 (ja) 2023-01-17

Family

ID=78373238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021545922A Active JP7205637B2 (ja) 2020-04-30 2021-04-23 スクラップ判別システム、及びスクラップ判別方法

Country Status (7)

Country Link
US (1) US20230173546A1 (ja)
EP (1) EP4144448A4 (ja)
JP (1) JP7205637B2 (ja)
KR (1) KR20220131358A (ja)
CN (1) CN115004011A (ja)
TW (1) TWI777527B (ja)
WO (1) WO2021220987A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023524038A (ja) * 2020-05-01 2023-06-08 マジック リープ， インコーポレイテッド 階層正規化がかけられる画像記述子ネットワーク

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017109161A (ja) 2015-12-15 2017-06-22 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP2019174421A (ja) 2018-03-29 2019-10-10 日本電気株式会社 選別支援装置、選別支援システム、選別支援方法及びプログラム
CN110397280A (zh) 2019-07-30 2019-11-01 中建城市建设发展有限公司 浇筑漏斗
JP2020034267A (ja) 2018-08-23 2020-03-05 荏原環境プラント株式会社 情報処理装置、情報処理プログラム、および情報処理方法
JP2020062633A (ja) 2018-10-19 2020-04-23 株式会社御池鐵工所 廃棄物選別装置及び廃棄物選別方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2924442B2 (ja) * 1992-04-28 1999-07-26 松下電器産業株式会社 パターン認識装置
JP2017109197A (ja) 2016-07-06 2017-06-22 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
CA3098670A1 (en) * 2018-05-06 2019-11-14 Strong Force TX Portfolio 2018, LLC Methods and systems for improving machines and systems that automate execution of distributed ledger and other transactions in spot and forward markets for energy, compute, storage and other resources
KR101981031B1 (ko) * 2018-05-18 2019-05-23 제이에이치데이터시스템 주식회사 인공지능 기반 철 스크랩 플랫폼
CN109272500B (zh) * 2018-09-27 2021-11-09 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
CN110660074B (zh) * 2019-10-10 2021-04-16 北京同创信通科技有限公司 一种建立废钢等级划分神经网络模型方法
CN110717455B (zh) * 2019-10-10 2021-05-18 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法
CN110937280B (zh) * 2019-12-24 2021-11-16 浙江大学 一种基于视听结合的智能垃圾分类回收方法和终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017109161A (ja) 2015-12-15 2017-06-22 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP2019174421A (ja) 2018-03-29 2019-10-10 日本電気株式会社 選別支援装置、選別支援システム、選別支援方法及びプログラム
JP2020034267A (ja) 2018-08-23 2020-03-05 荏原環境プラント株式会社 情報処理装置、情報処理プログラム、および情報処理方法
JP2020062633A (ja) 2018-10-19 2020-04-23 株式会社御池鐵工所 廃棄物選別装置及び廃棄物選別方法
CN110397280A (zh) 2019-07-30 2019-11-01 中建城市建设发展有限公司 浇筑漏斗

Also Published As

Publication number Publication date
TWI777527B (zh) 2022-09-11
KR20220131358A (ko) 2022-09-27
EP4144448A1 (en) 2023-03-08
CN115004011A (zh) 2022-09-02
TW202217632A (zh) 2022-05-01
WO2021220987A1 (ja) 2021-11-04
JPWO2021220987A1 (ja) 2021-11-04
EP4144448A4 (en) 2023-10-04
US20230173546A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
JP6931402B2 (ja) ディスプレイの品質検出方法、装置、電子機器及び記憶媒体
US11488294B2 (en) Method for detecting display screen quality, apparatus, electronic device and storage medium
Hoang et al. Image Processing‐Based Detection of Pipe Corrosion Using Texture Analysis and Metaheuristic‐Optimized Machine Learning Approach
KR102320371B1 (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
EP3899508A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
Kruachottikul et al. Deep learning-based visual defect-inspection system for reinforced concrete bridge substructure: a case of Thailand’s department of highways
JP7036296B1 (ja) スクラップ判別システム、及びスクラップ判別方法
CN115797357B (zh) 一种基于改进YOLOv7的输电通道隐患检测方法
JP7205637B2 (ja) スクラップ判別システム、及びスクラップ判別方法
KR20200004823A (ko) 디스플레이 스크린 주변 회로 검출 방법, 장치, 전자기기 및 저장매체
CN112348791A (zh) 基于机器视觉的废钢智能检判方法、系统、介质及终端
CN113420673B (zh) 垃圾分类方法、装置、设备及存储介质
JP2021086379A (ja) 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法
CN113763369B (zh) 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置
CN111062827B (zh) 一种基于人工智能模式的工程监理方法
CN116258482B (zh) 一种自动选择维修方案的方法、服务器、电子设备
CN113911917B (zh) 用于智能塔吊总控室的辅助远程操控方法
JP2011100459A (ja) 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体撮影装置
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备
CN117893477B (zh) 一种基于ai图像识别的智能安全检查系统
CN110826942B (zh) 转运中心效率分析监测方法、装置、设备和存储介质
Ren et al. A case study of construction equipment recognition from time-lapse site videos under low ambient illuminations
CN116597364A (zh) 图像处理方法及装置
Idrees et al. Automatic Concrete Slump Prediction of Concrete Batching Plant by Deep Learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7205637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150