JP6416742B2 - 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム - Google Patents

含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム Download PDF

Info

Publication number
JP6416742B2
JP6416742B2 JP2015240126A JP2015240126A JP6416742B2 JP 6416742 B2 JP6416742 B2 JP 6416742B2 JP 2015240126 A JP2015240126 A JP 2015240126A JP 2015240126 A JP2015240126 A JP 2015240126A JP 6416742 B2 JP6416742 B2 JP 6416742B2
Authority
JP
Japan
Prior art keywords
area
pinless
region
resource amount
octagonal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015240126A
Other languages
English (en)
Other versions
JP2017106792A (ja
Inventor
恵里 松永
恵里 松永
貴志 三輪
貴志 三輪
新井 啓之
啓之 新井
高橋 和枝
和枝 高橋
孝 澤田
孝 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015240126A priority Critical patent/JP6416742B2/ja
Publication of JP2017106792A publication Critical patent/JP2017106792A/ja
Application granted granted Critical
Publication of JP6416742B2 publication Critical patent/JP6416742B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラムに関する。
電子機器や電子基板(以下、適宜「基板」と略す)には、高機能を実現するために貴重・希少な資源(例えば、金属)が使用されており、これらの資源をリサイクルするためには、電子機器や電子基板に存在する資源の種類や含有量、存在位置等を把握する必要がある。例えば、基板上には多種類のIC(Integrated Circuit)が搭載されているため、基板上にどの種類のICが存在するかを把握する必要がある。ここで、基板状にどの種類のICが存在するかを把握する技術として、非特許文献1に示す技術がある。
松永恵里他、「電子基板の資源見える化技術の検討‐画像処理による電子基板上の部品検出‐」、廃棄物資源循環学会研究発表会講演集、第26回廃棄物資源循環学会研究発表会、講演原稿2015 B1-4、2015年
しかし、非特許文献1に記載の技術は、基板上に存在する端子(ピン)付きICを種類分けすることはできるものの、ピン無しICを種類分けすることができない。例えば、ピン無しICには、8角形のICと4角形のICとがあり、これらのICは希少金属や貴金属等の含有量が異なるが、上記の技術ではこれらを種類分けすることができない。そのため、上記の技術では、基板の含有資源量を精度よく推定できないという問題があった。そこで、本発明は、前記した問題を解決し、ピン無しICについても種類分けすることで、基板の含有資源量を精度よく推定することを課題とする。
前記した課題を解決するため、本発明は、ICが実装された基板の画像を取得する画像取得部と、前記画像から前記ICを含む矩形領域およびピンの領域を検出する画像処理部と、前記検出の結果を参照して、前記ICにピンがなく、かつ、前記ICの矩形領域のサイズが所定値以上であると判定した場合、前記矩形領域の四隅のうち、いずれかの隅の領域における色を分析し、当該領域に2つの色が存在するとき、当該ICの種類をピン無し8角形のICに分類し、当該領域に2つの色が存在しないとき、ピン無し4角形のICに分類する部品分類部とを備えることを特徴とする。
本発明によれば、基板の含有資源量を精度よく推定することができる。
図1は、第1の実施形態の含有資源量推定装置の機能ブロック図である。 図2は、ICが実装された基板の画像の一例を示す図である。 図3は、第1の実施形態の含有資源量推定装置の処理手順を示すフローチャートである。 図4は、有資源量データの一例を示す図である。 図5は、第1の実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の分布を説明するための図である。 図6は、ピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域におけるRGB表色系のGの分布を示すヒストグラムである。 図7Aは、第2の実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の分布を説明するための図である。 図7Bは、矩形領域がICの輪郭の外側であった場合の任意領域の配置を説明するための図である。 図8は、ピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域におけるL表色系の(a,b)の分布を示すヒストグラムである。 図9は、L表色系の色相と彩度を示す図である。 図10は、第3実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の分布を説明するための図である。 図11は、第3実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の面積変化を示すグラフである。 図12は、第4の実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の分布を説明するための図である。 図13は、第4の実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の面積変化を示すグラフである。 図14は、第5の実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の分布を説明するための図である。 図15は、第5の実施形態におけるピン無し8角形のICおよびピン無し4角形のICそれぞれの任意領域における色の面積変化を示すグラフである。 図16は、ICの輪郭に対して斜めに矩形領域が抽出された画像の一例を示す図である。 図17は、ピン無し8角形のICおよびピン無し4角形のICの単位面積あたりの資源量を示した図である。 図18は、従来技術および第4の実施形態の含有資源量推定装置による資源量の推定結果を示した図である。 図19は、含有資源量推定プログラムを実行するコンピュータを示す図である。
以下、図面を参照しながら、本発明を実施するための形態(実施形態)を第1の実施形態から第5の実施形態に分けて説明する。
各実施形態の含有資源量推定装置は、電子機器に用いられる基板(基板および基板に実装されている電子部品)に含まれている希少金属や貴金属等の含有量を推定する。
ここで、「基板」には、例えば、ガラスエポキシ基板やフレキシブル基板等の各種のプリント基板のみならず、電子部品を実装することが可能な各種の部材も含まれる。
また、「含有資源量」とは、基板や電子部品に含まれている各種の資源(例えば、希少金属や貴金属等の化学成分)の含有量を言う。例えば、「電子部品が実装された基板の含有資源量」とは、部品が実装されていない基板の含有資源量と、基板に実装されている各種電子部品の含有資源量との合計量を言う。また、「ICの含有資源量」とは、基板に実装されている各種電子部品の含有資源量のうち、ICの含有資源量の合計量を言う。本技術はICの含有資源量を推定するものであるが、一般的に電子基板に実装される部品数が最も多い部品はICであるため、実装されているICの種類、個数を特定できれば、ICの含有資源量と部品が実装されていない基板の含有資源量とを合計することによりある程度の電子基板の含有資源量を推定することも可能となる。なお、以下の説明において、「含有資源量」は、適宜「資源含有量」とも言う。
[第1の実施形態]
第1の実施形態の含有資源量推定装置10は、基板の実装面を撮影した画像に基づき、当該基板にどのような種類のICが何個実装されているかを判断する。ここで、含有資源量推定装置10は、ピン無しのICが、8角形のICか4角形のICかについても分類し、それぞれのICが何個実装されているかを判断する。そして、含有資源量推定装置10は、この判断結果と、事前に登録されたICの種類ごとの含有資源量のデータ(図4参照)を参照して、基板全体のICの含有資源量を推定する。
この含有資源量推定装置10は、例えば、図1に示すように、画像取得部11、含有資源量記憶部13、画像処理部14、部品分類部15、分類結果記憶部16、資源量推定部17、資源量推定結果記憶部18、表示部19を備える。破線で示す分類用データ記憶部12は、装備される場合と装備されない場合とがあり、装備される場合については後記する。
画像取得部11は、基板の実装面を撮影した画像を取得する。画像取得部11は、例えば、図2に例示するような基板の実装面を撮影した画像を取得する。なお、図2は、IC1〜IC11が実装された基板を例示した図である。図2に示すように、基板は、ピン無し4角形のIC(例えば、IC9、IC10)やピン無し8角形のIC(例えば、IC11)を含むことがある。
この画像取得部11による画像の取得方法としては、例えば、含有資源量推定装置10内にスキャナやカメラ等の撮像装置を設け、その撮像装置によって基板の実装面を撮影し、撮影した画像のデータを画像取得部11に入力することにより画像を取得する方法が挙げられる。電子基板上の部品をデジタルカメラで撮影する際に、凹凸や光沢がある場合、同じ部品を映しても画像上の位置が異なると、カメラ(レンズ)・照明・撮影対象の位置関係が異なるため、同じようには映らず、影や白とびの発生、明るさや色の変動が生じるおそれがある。このため、画像の取得には、影の発生や、明るさの変動を低減できるスキャナが好適に用いられる。
また、別の方法としては、予め、含有資源量推定装置10とは別個に設けた撮像装置によって基板の実装面を撮影しておき、その撮影した画像のデータを記録した記録媒体(外部メモリやCD−ROM等)を介して画像取得部11に画像を入力する方法や、予め撮影した基板の画像のデータを、通信ネットワークを介して含有資源量推定装置10の画像取得部11に入力する方法等が挙げられる。
含有資源量記憶部13は、ICの種類ごとに、当該種類のICの含有資源量を示した含有資源量データを記憶する。例えば、含有資源量データは、図4に示す、IC形状種類(ピン無し8角形のIC、ピン無し4角形のIC)ごとに、当該ICに含まれる、Au、Pd、Ag、Cu等の含有量を含む。この含有資源量データは、例えば、予め代表的なICの種類別にICP発光分光分析、ICP質量分析、蛍光X線分析を行い、その分析結果等により得られた含有資源量を用いる。なお、この含有資源量データは、基板の含有資源量を含んでいてもよい。上記の含有資源量データは、含有資源量推定装置10の利用者が、事前に登録しておくものとする。
画像処理部14は、画像取得部11が取得した推定対象の基板の画像の矩形領域をICの領域として検出する。例えば、画像処理部14は、画像を画素値または色に基づいて二値化したのち、輪郭トレースし、検出された輪郭(二値画像における閉領域の輪郭)の形状の矩形らしさを評価する。この際、二値化のための閾値は予め経験的に決めておいてもよいし、ある画素周辺の平均ピクセル濃度や標準偏差等を求め、それに関連付けて閾値を決め二値化する動的二値化を利用してもよい。矩形らしさの評価方法としては、検出された輪郭の閉領域と、その外接矩形の重なり(面積の重なり)の大きさを評価する等の方法が考えられる。なお、ここでは矩形抽出の具体的な方法は限定しない。
また、画像処理部14は、画像取得部11が取得した画像からICのピン部分の周期的な画素値の変化によりICのピンの周期等を取得し、画像の矩形領域のサイズを求める。なお、画像の矩形領域のうち、矩形領域の周辺に周期性が存在する矩形をピン付きICとし、矩形領域の周辺に周期性が存在しない矩形をそれ以外の部品とする。
部品分類部15は、画像処理部14によるICの検出結果(例えば、ピン付きICか否か、ピン付きICであればピンの周期、矩形領域のサイズ、矩形領域の形状等)に基づきICの種類を分類し、分類されたICの種類別の個数をカウントする。
例えば、部品分類部15は、画像処理部14により検出された矩形領域の周辺に周期性が存在しなければ(つまりピン付きIC以外の部品である場合)、当該ICの形状から、当該ICが8角形のICか4角形のICかを分類する。また、画像処理部14により検出されたICがピン付きICであれば、ICのピンの周期、ICのピンの太さ、ICのサイズ、ICの縦横比、ICのピンがある辺の数等に基づき、当該ICの種類を分類する。そして、部品分類部15は、基板の画像に含まれるICの種類別の個数をカウントし、ICの種類データおよび個数データを生成する。
分類結果記憶部16は、部品分類部15によって生成されたICの種類データおよび個数データを記憶する。
資源量推定部17は、分類結果記憶部16に記憶されたICの種類別の個数のカウント結果(ICの種類データと個数データ)と、含有資源量データ(図4参照)とを参照して、推定対象の基板に実装されたICの含有資源量を推定する。例えば、資源量推定部17は、ICの種類別の個数のカウント結果と、含有資源量データ(図4参照)とを用いて、推定対象の基板に実装されたICの含有資源量を化学成分(資源)別に算出する。
資源量推定結果記憶部18は、資源量推定部17により推定された基板に実装されたICの含有資源量の推定結果を記憶する。
表示部19は、資源量推定結果記憶部18に記憶された基板に実装されたICの含有資源量の推定結果を表示する。例えば、表示部19は、ユーザからの要求に応じて、実装されたICの含有資源量の推定結果を液晶ディスプレイ等の表示装置に表示する。
次に、図3を用いて、含有資源量推定装置10の処理手順を説明する。
まず、含有資源量推定装置10の画像取得部11は、推定対象の基板の画像を取得する(S1)。例えば、画像取得部11は、図2に示すような基板の画像を取得する。次に、画像処理部14は、S1で取得した推定対象の基板の画像の矩形領域を抽出する(S2)。例えば、画像処理部14は、図2に示す画像から、図5の符号105,205に示すような矩形領域を抽出する。
また、画像処理部14は、取得した画像の矩形領域のうち、矩形周辺の領域の画素値の周期性を検出し、周期数を得る(S3)。そして、画像処理部14は、矩形領域のうち、矩形周辺に周期性が存在しなければ(S4でNo)、矩形領域のサイズのデータを得る(S7)。そして、部品分類部15は、矩形領域のサイズが所定値以上と判定すると(S8でYes)、矩形領域をピン無しのICとし、ピン無しの8角形のICかピン無しの4角形のICかの分類を行う(S9)。その後、S11へ進む。なお、S9の処理の詳細は、具体例を交えながら後記する。
一方、部品分類部15は、矩形領域のサイズが所定値未満と判定すると(S8でNo)、当該矩形領域をIC以外の部品(例えば、コンデンサ等)に分類し(S10)、S11へ進む。
また、S4で、画像処理部14は、矩形領域のうち、矩形周辺に周期性が存在すれば(S4でYes)、当該矩形領域をピン付きICと決定し、ピン付きICの縦横比、サイズ、ICのピンがある辺の数のデータを得る(S5)。そして、部品分類部15は、ICのピンの周期、ICの縦横比、サイズ、ICのピンがある辺の数等を参照して、画像に含まれるICがどの種類のICかを分類する(S6)。その後、S11へ進む。
部品分類部15は、上記の分類により、推定対象の基板に実装されているICの種類別の個数をカウントする。そして、部品分類部15は、ICの種類別の個数のカウント結果を、分類結果記憶部16に記憶する。
S11において、資源量推定部17は、分類結果記憶部16に記憶されたICの種類別の個数のカウント結果について、各ICの種類に対応するICの含有資源量のデータを含有資源量データ(図4参照)から読み出す(S11)。そして、資源量推定部17は、S7で読み出した含有資源量データと、各ICの種類別の個数とに基づいて、基板全体の含有資源量を推定する(S12)。
以上説明した含有資源量推定装置10によれば、ピン無しICについて、8角形のICか4角形のICかの分類をした上で、基板全体の含有資源量を推定するので、基板全体の含有資源量を正確に推定することができる。
次に、図5を参照し、部品分類部15による、ピン無しICが8角形のICか4角形のICかの分類(図3のS9)を詳細に説明する。なお、図5の符号101は、基板上にピン無し8角形のICが実装された領域を示し、符号201は、基板上にピン無し4角形のICが実装された領域を示す。また、符号105,205で示す領域は、画像処理部14により抽出された矩形領域を示す。
まず、部品分類部15は、矩形領域の中心等、矩形領域の隅以外の領域から任意領域(例えば、符号102,202に示す領域)を抽出し、この領域の色を分析することで、ICの色の情報を得る。つまり、矩形領域中、矩形領域の隅以外の領域であれば確実にICが存在するので、ICの色の情報として、当該領域の色の情報を得る。例えば、部品分類部15は、ICの色の情報として、図6の右側のヒストグラム情報を得る。なお、ここでのヒストグラムは、例えば、RGB表色系のヒストグラムであり、例えば、図6に示すグラフのようにRGB系のGの値ごとに、当該値の強さを示したヒストグラムである。
次に、部品分類部15は、矩形領域の四隅のうち、いずれかの隅の領域(例えば、符号103または104に示す領域、符号203に示す領域)を抽出し、当該領域の色を分析する。そして、当該領域に2つの色(ICの色と基板の色)が存在すれば、部品分類部15は、ICの種類をピン無し8角形のICと判定する。一方、当該領域に2つの色が存在しなければ(ICの色のみ存在すれば)、部品分類部15は、ICの種類をピン無し4角形のICと判定する。
例えば、ピン無し8角形のICの場合、図6の左側のヒストグラムに示すように、矩形領域の隅の領域にはICの色である黒と、基板の色である緑の2色のピークが存在する。したがって、部品分類部15は、矩形領域のいずれかの隅の領域の色のヒストグラムに、上記のような2色のピークが存在するとき、矩形領域のICをピン無し8角形のICと判定する。
一方、ピン無し4角形のICの場合、図6の右側のヒストグラムに示すように、矩形領域の隅の領域にはICの色である黒のピークのみが存在する。したがって、部品分類部15は、矩形領域のいずれかの隅の領域の色のヒストグラムに、上記のような黒のピークのみが存在するとき、矩形領域のICをピン無し4角形のICと判定する。
ここでの、ヒストグラムを用いたピン無し8角形のICかピン無し4角形のICかの判定は、例えば、ヒストグラムの面積の分布割合に基づき行うことができる。一例を挙げると、図6に示すRGB表色系のGの値が所定の閾値(例えば、120)以下のヒストグラムの面積が全体の30%未満であれば、部品分類部15は、ピン無し8角形のICと判定し、Gの値が所定の閾値以下のヒストグラムの面積が全体の30%以上あれば、部品分類部15は、ピン無し4角形のICと判定する。
なお、上記の閾値は、ICの色によって変動があるため、例えば、上記の矩形領域の隅以外の領域(例えば、図5の符号102,202に示す領域)の色のヒストグラムのピーク値を参考にするのが好ましい。
このように部品分類部15の用いる閾値をICの色に応じて調整を行うことで、ピン無しICが8角形のICか4角形のICかをより精度よく分類することができる。
[第2の実施形態]
なお、ピン無し8角形のICには、矩形領域のいずれかの隅に、部品のデータシートの端子(ピン)番号の位置を示すために、黄色のマークが示されている場合が多い。そこで、含有資源量推定装置10は、ICの矩形領域の四隅のいずれかに黄色の領域があるか否かにより、ピン無しICが8角形のICか4角形のICかを分類してもよい。この場合の実施形態を、図7A、図7B、図8、図9を参照しながら、第2の実施形態として説明する。
なお、図7Aの符号110は、基板上のピン無し8角形のICが実装された領域を示し、当該ピン無し8角形のICにはマーク116が設置されている。符号210は、基板上のピン無し4角形のICが実装された領域を示す。また、符号115,215で示す領域は、画像処理部14により抽出されたICの矩形領域を示す。
まず、部品分類部15は、矩形領域の四隅の領域(例えば、符号111〜114に示す領域、または、符号211〜214に示す領域)を抽出し、各領域の色を分析する。
例えば、ピン無し4角形のICの四隅の領域について、L表色系(図9参照)のヒストグラムを作成すると、四隅の領域のいずれも、図8の右側のヒストグラムに示すようにICの色(例えば、白〜グレー〜黒等の無彩色)しか存在しない。一方、ピン無し8角形のICの四隅の領域について、L表色系のヒストグラムを作成すると、図8の左側のヒストグラムに示すように、ICの色(例えば、白〜グレー〜黒色等の無彩色)と、マークの色(黄色)と、場合によって基板の色(例えば、緑色)との3色のピークが存在する。
したがって、上記のようにピン無し8角形のICの四隅の領域のいずれかの領域について、図8の左側のヒストグラムに示すように、ICの色(例えば、白〜グレー〜黒色等の無彩色)と、マークの色(黄色)と、場合によって基板の色(例えば、緑色)との3色のピークが存在するとき、部品分類部15は、ピン無し8角形のICと判定する。
ここでのヒストグラムを用いたピン無し8角形のICか否かの判定は、例えば、前記したヒストグラムの面積の分布割合に基づき行うことができる。
例えば、表色系としてL表色系を用いる場合、部品分類部15は、四隅の領域の各ピクセルの色情報を図9に示すL表色系色度図にプロットし、各ピクセルのL表色系色度の値を得る。次に、部品分類部15は、各領域におけるピクセルのうち、黄色に相当するL表色系色度の値を持つピクセルの数が所定の割合を上回ったか否かを判定する。そして、四隅のいずれかの領域において黄色に相当するL表色系色度の値を持つピクセルの数が所定の割合を上回った場合、部品分類部15は、ピン無し8角形のICと判定する。一例を挙げると、矩形領域の四隅のいずれかの領域に、黄色に相当するL表色系色度の値を持つピクセル数が当該領域の10%以上含まれる場合、部品分類部15は、ピン無し8角形のICと判定する。
このように部品分類部15が矩形領域の四隅のいずれかの領域に、黄色が存在するか否か、場合によっては3色の色(例えば、白〜グレー〜黒等の無彩色、黄色、緑)が存在するか否かに基づき、矩形領域がピン無し8角形のICか否かの判定を行うことで、画像処理部14がICの外周部を正確に矩形抽出できなかった場合でも、ピン無し8角形のICか否かの判定を正確に行うことができる。
例えば、図7Bに示すように、画像処理部14により抽出された矩形領域がICの輪郭の外側の場合(符号117,217参照)、ピン無し4角形のICについては、矩形領域の四隅の領域(符号2111〜2114に示す領域)は、いずれも、2色(例えば、黒と緑)が存在することになる。一方、ピン無し8角形のICについては、矩形領域の四隅の領域(符号1111〜1114に示す領域)のうち、3つの領域(例えば、符号1112〜1114に示す領域)には、2色(例えば、黒と緑)が存在するが、1つの領域(例えば、符号1111に示す領域)には黄色(マーク116の色)が存在する。
したがって、第1の実施形態で述べた部品分類部15でもピン無し8角形のICか否かの判定を行うことは可能だが、画像処理部14により抽出された矩形領域がICの輪郭の外側であった場合、第2の実施形態の部品分類部15のように、矩形領域の四隅のいずれかの領域に黄色の領域が存在するか否か、場合によっては3色(例えば、白〜グレー〜黒色等の無彩色、黄色、緑)が存在するか否かに基づき、矩形領域がピン無し8角形のICか否かの判定を行う方が、ピン無し8角形のICか否かの判定を正確に行うことができる。
[第3の実施形態]
次に、図10、図11を参照しながら、第3の実施形態の含有資源量推定装置10を説明する。第3の実施形態の含有資源量推定装置10の部品分類部15は、ICの矩形領域の四隅のうち、いずれかの隅の領域のサイズを増大させていったときの色面積の変化に基づき、ピン無し8角形のICか否かの判定を行うことを特徴とする。
なお、図10の符号120は、基板上のピン無し8角形のICが実装された領域を示し、符号220は、基板上のピン無し4角形のICが実装された領域を示す。また、符号128,228で示す領域は、画像処理部14により抽出されたICの矩形領域を示す。
まず、部品分類部15は、矩形領域の四隅のうち、いずれかの隅の領域(例えば、符号121に示す領域、符号221に示す領域)を抽出する。そして、部品分類部15は、当該領域(以下、当該領域を任意領域と称す)のサイズ(面積)を増大させていく。なお、この任意領域の形状は、例えば、直角3角形でもよいし、4角形でもよいが、ここでは直角3角形の場合を例に説明する。
部品分類部15は、任意領域を、例えば、図10の符号121(符号221)に示す領域→符号122(符号222)に示す領域→符号123(符号223)に示す領域というようにサイズを増大させていく。なお、図10において、符号121に示す領域および符号221に示す領域、符号122に示す領域および符号222に示す領域、符号123に示す領域および符号223に示す領域はそれぞれ互いに同じサイズであるものとする。
なお、以下の説明において、上記の任意領域の短辺をxとする。また、ピン無し8角形のICの短辺の両端に接続する2つの長辺をそれぞれ延長し、延長開始点から延長した2線の交点までの長さをbとする。
部品分類部15が、任意領域のサイズを増大させていくと、任意領域中の色面積は以下のいずれかのパターンで変化する。なお、以下の説明において、基板上のICの色は黒であり、基板の色は緑であるものする。
パターン1:ピン無し8角形のICの場合、任意領域には、最初は、基板の緑の領域しか存在しない(例えば、符号121に示す領域参照)。しかし、任意領域のサイズを増大させ、ある時点を超えると、黒の領域が増大し始め(例えば、符号122に示す領域参照)、最終的には、黒の領域が緑の領域よりも多くなる(例えば、符号123に示す領域参照)。一方、ピン無し4角形のICの場合、任意領域のサイズを増大させても最初から最後まで黒の領域しか存在しない(例えば、符号221〜223に示す領域参照)。
パターン2:ピン無し8角形のICの場合、任意領域には、最初は、緑と黒の2色が存在し(例えば、符号122に示す領域参照)、任意領域を増大させると、黒の領域のみが増大する(例えば、符号123に示す領域参照)。一方、ピン無し4角形のICの場合、任意領域を増大させても最初から最後まで黒の領域しか存在しない(例えば、符号222,223に示す領域参照)。
パターン1、パターン2いずれの場合であっても、上記の任意領域のサイズを増大させていくと、ピン無し8角形のICの任意領域はピン無し4角形のICの任意領域よりも遅れて黒の領域が増大するという特徴がある。つまり、図10における、ピン無し8角形のICの任意領域において黒の領域の面積と緑の領域の面積が等しくなるx(x)は、ピン無し4角形のICの場合(x=0)よりも大きいという特徴がある(図11参照)。
そこで、xに関する閾値(閾値x)を設定しておき、部品分類部15は、閾値xを超えてICの色(例えば、黒)の面積と基板の色(例えば、緑)の面積が等しくなった場合に、ピン無し8角形のICと判定する。閾値xは、例えば、以下のような値を用いる。
まず、ピン無し8角形のICの任意領域において緑と黒の2色の存在が始まる時点(図10の符号122に示す領域参照)での黒の領域の面積は、以下の式(1)で求めることができる。
また、ピン無し8角形のICの任意領域における黒の領域の面積と緑の領域の面積が等しくなるときのxをxとすると、xは、以下に示すようにb√2となる。
また、前記したとおり、ピン無し4角形のICの場合、x=0で任意領域における黒の領域の面積と緑の領域の面積とが等しくなり、ピン無し8角形のICの場合、x=b√2で任意領域における黒の領域の面積と緑の領域の面積が等しくなる。したがって、0〜b√2の間に閾値xの値(例えば、(b√2)/2)を設定する。
なお、上記のように閾値xの値を(b√2)/2とすることで、基板の画像の取得環境や取得方法、画像の圧縮方法等の影響により、画像上における緑色の領域と黒色の領域との境目が明確ではない場合であっても、部品分類部15が、ピン無し8角形のICか否かの判定を精度よく行いやすくなる。
さらに、上記の任意領域の形状は、4角形の場合よりも3角形の方が、急激に緑色の領域と黒色の領域の面積差が現れる。したがって、部品分類部15は任意領域として3角形の領域を用いる方が、ピン無し8角形のICか否かの判定精度を向上させることができる。
[第4の実施形態]
なお、前記したとおり、画像処理部14はICの外周部(輪郭)を正確に矩形抽出できない場合もある。このような場合における閾値x(x)の値の決定方法について、図12、図13を参照しながら説明する。ここでも、任意領域の形状は、直角3角形であるものとして説明する。
なお、図12の符号130は、基板上のピン無し8角形のICが実装された領域を示し、符号230は、基板上のピン無し4角形のICが実装された領域を示す。また、符号138,238で示す領域は、画像処理部14により抽出されたICの矩形領域を示す。
部品分類部15は、任意領域のサイズを、例えば、図12の符号131(符号231)に示す領域→符号132(符号232)に示す領域→符号133(符号233)に示す領域というように増大させていく。なお、図12において、符号131に示す領域および符号231に示す領域、符号132に示す領域および符号232に示す領域、符号133に示す領域および符号233に示す領域はそれぞれ互いに同じサイズであるものとする。
また、図12に示すように、実際のICの輪郭と、抽出したICの矩形領域との差をaとする。また、ピン無し8角形のICの短辺の両端に接続する2つの長辺をそれぞれ延長し、延長開始点から延長した2線の交点までの長さをbとする。また、任意領域の短辺をxとする。なお、説明を容易にするため、図12におけるaは、実際よりも長く図示している。
図12に示すように、ピン無し8角形のICおよびピン無し4角形のICいずれの場合でも、任意領域には、最初は、基板の色(緑)の領域しか存在しないが(例えば、符号131,231に示す領域参照)、任意領域を増大させ、ある時点を超えると、ICの色(黒)の領域が増大し始め(例えば、符号132,232に示す領域参照)、最終的には、黒の領域が緑の領域よりも多くなる(例えば、符号133,233に示す領域参照)。
ただし、上記の任意領域を増大させていくと、第3の実施形態の場合と同様に、ピン無し8角形のICの任意領域はピン無し4角形のICの任意領域よりも遅れて黒の領域が増大するという特徴がある。つまり、図12において、任意領域における黒の面積と緑の面積が等しくなるxは、ピン無し4角形のICの場合よりもピン無し8角形のICの方が大きいという特徴がある(図13参照)。
したがって、xに関する閾値(閾値x)を設定しておき、部品分類部15は、閾値xを超えて黒の面積と緑の面積が等しくなった場合に、ピン無し8角形のICと判定する。
まず、ピン無し8角形のICの任意領域において緑と黒の2色の存在が始まる時点(符号132に示す領域参照)での黒の領域の面積は、以下の式(2)で求めることができる。
また、ピン無し8角形のICの任意領域における黒の領域の面積と緑の領域の面積が等しくなるときのxをxとすると、xは、以下のようにして求めることができる。
また、ピン無し4角形のICの任意領域における黒の領域の面積と緑の領域の面積が等しくなるときのxをxとすると、xは、以下のようにして求めることができる。
前記したとおり、ピン無し4角形のICの場合、x=2a+a√2で黒の領域の面積と緑の領域の面積が等しくなり、ピン無し8角形のICの場合、x=2a+√(2a+2b)で黒の領域の面積と緑の領域の面積が等しくなる。したがって、閾値xの値は、2a+a√2から2a+√(2a+2b)の間の値(例えば、{√(2a+2b)−a√2}/2)を設定する。
なお、閾値xの値を上記のように{√(2a+2b)−a√2}/2とすることで、基板の画像の取得環境や取得方法、画像の圧縮方法等の影響により、画像上における緑色の領域と黒色の領域との境目が明確ではない場合であっても、部品分類部15が、ピン無し8角形のICか否かの判定を精度よく行いやすくなる。
さらに、ICの外周部(輪郭)を正確に矩形抽出できなかった場合においても、上記の任意領域の形状は、3角形の方が、4角形の場合よりも急激に緑色の領域と黒色の領域の面積差が現れる。したがって、部品分類部15は任意領域として3角形の領域を用いる方が、ピン無し8角形のICか否かの判定精度を向上させることができる。
[第5の実施形態]
なお、前記したとおり、上記の任意領域の形状は、4角形でもよい。任意領域の形状が4角形(正方形)である場合における閾値x(x)の値の決定方法について、図14、図15を参照しながら説明する。
部品分類部15は、任意領域のサイズを、例えば、図14の符号134(符号234)に示す領域→符号135(符号235)に示す領域→符号136(符号236)に示す領域というように増大させていく。なお、図14において、符号134に示す領域および符号234に示す領域、符号135に示す領域および符号235に示す領域、符号136に示す領域および符号236に示す領域はそれぞれ互いに同じサイズであるものとする。
また、ここでも、図14に示すように、実際のICの輪郭と、抽出したICの矩形領域との差をaとする。また、ピン無し8角形のICの短辺の両端に接続する2つの長辺をそれぞれ延長し、延長開始点から延長した2線の交点までの長さをbとする。また、任意領域の一辺をxとする。なお、説明を容易にするため、図14におけるaは、実際よりも長く図示している。
図14に示すように、任意領域の形状が4角形(正方形)の場合であっても、ピン無し8角形のICおよびピン無し4角形のICのいずれも、任意領域には、最初は、緑の領域しか存在しない(例えば、符号134,234に示す領域参照)。そして、任意領域を増大させ、ある時点を超えると、黒の領域が増大し始め(例えば、符号135,235に示す領域参照)、最終的には、黒の領域が緑の領域よりも多くなる(例えば、符号136,236に示す領域参照)。
また、上記の任意領域を増大させていくと、第4の実施形態の場合と同様に、ピン無し8角形のICの任意領域はピン無し4角形のICの任意領域よりも遅れて黒の領域が増大する。つまり、図14において、任意領域における黒の面積と緑の面積が等しくなるxは、ピン無し4角形のICの場合よりもピン無し8角形のICの方が大きい(図15参照)。
したがって、xに関する閾値(閾値x)を設定しておき、部品分類部15は、閾値xを超えて黒の領域の面積と緑の領域の面積が等しくなった場合に、ピン無し8角形のICと判定する。
まず、ピン無し8角形のICの任意領域において緑と黒の2色の存在が始まる時点(符号135に示す領域参照)での黒の領域の面積は、以下の式(3)で求めることができる。
また、ピン無し8角形のICの任意領域における黒の領域の面積と緑の領域の面積が等しくなるときのxをxとすると、xは、以下のようにして求めることができる。
また、ピン無し4角形のICの任意領域における黒の領域の面積と緑の領域の面積が等しくなるときのxをxとすると、xは、以下のようにして求めることができる。
前記したとおり、ピン無し4角形のICの場合、x=2a+a√2で黒の領域の面積と緑の領域の面積が等しくなり、ピン無し8角形のICの場合、x=2a+√(2a+b)で黒の領域の面積と緑の領域の面積が等しくなる。したがって、閾値xの値は、2a+a√2から2a+√(2a+b)の間の値(例えば、{√(2a+b)−a√2}/2)を設定する。
なお、閾値xの値を上記のように{√(2a+b)−a√2}/2とすることで、基板の画像の取得環境や取得方法、画像の圧縮方法等の影響により、画像上における緑色の領域と黒色の領域との境目が明確ではない場合であっても、部品分類部15が、ピン無し8角形のICか否かの判定を精度よく行いやすくなる。
なお、前記した閾値xb、閾値xの値を、ピン無し4角形のICの任意領域において黒の領域の面積と緑の領域の面積が等しくなるxの値と、ピン無し8角形のICの任意領域において黒の領域の面積と緑の領域の面積が等しくなるxの値との中間の値とすることで以下のような効果も得られる。
例えば、画像取得部11における基板の画像取得時の誤差等が原因で、画像の水平方向および垂直方向に対してICが斜めに配置され、その結果、例えば、図16の符号140および符号240に示すように、ICの矩形領域が実際のICの輪郭に対して斜めに抽出されてしまう場合がある。
このような場合、ピン無し4角形のICの任意領域において黒の領域の面積と緑の領域の面積が等しくなるxの値も、ピン無し8角形のICの任意領域において黒の領域の面積と緑の領域の面積が等しくなるxの値も増加する。ここで、閾値xb、閾値xの値を、上記の中間の値とすることで、ICの矩形領域が実際のICの輪郭に対して斜めに抽出されてしまった場合であっても、部品分類部15は、ピン無し8角形のICか否かの判定を精度よく行うことができる。
[その他の実施形態]
なお、前記した任意領域におけるb/cの値は、多くの場合、1/6〜1/19である。したがって、部品分類部15は、b/cの値が1/20未満の場合、ピン無し4角形のICと判定し、b/cの値が1/20以上の場合、ピン無し8角形のICと判定してもよい。
また、部品分類部15は、第3の実施形態〜第5の実施形態で述べたピン無し8角形のICか否かの判定方法に、第2の実施形態で述べた任意領域に黄色の領域があるか否かの判定方法を併用してもよい。
また、各実施形態の含有資源量推定装置10は、分類用データ記憶部12をさらに備えていてもよい。この分類用データ記憶部12は、ICの種類ごとに、当該種類のICの特徴を示す情報、ICのサイズ、ICの縦横比、ICの色等を示した分類用データを記憶する。例えば、この分類用データに、ピン無し8角形のICおよびピン無し4角形のICの種類ごとに、当該種類のICの特徴を示す情報を含めておく。そして、部品分類部15は、ICがピン無し8角形のICかピン無し4角形のICかについて分類した後、上記の分類用データを参照して、ピン無し8角形のIC、ピン無し4角形のICそれぞれの種類について詳細な分類を行うようにしてもよい。
(実験結果)
次に、図17、図18を用いて、第4の実施形態の含有資源量推定装置10による基板のICの含有資源量の推定の実験結果を説明する。
なお、第4の実施形態の含有資源量推定装置10は、ピン無し8角形のICおよびピン無し4角形のICそれぞれのAu、Pd、Ag、Cuの単位面積当たりの資源量は、図17に示す値であるものとして、ピン無し8角形のICおよびピン無し4角形のICが実装された基板の含有資源量を推定した。
また、従来技術は、ピン無し8角形のICおよびピン無し4角形の区別ができないので、Au、Pd、Ag、Cuの単位面積当たりの資源量は、図17に示すピン無し8角形のICおよびピン無し4角形のICの平均値を用いた。なお、実験に用いた基板におけるピン無しICの総ピクセル数は5200000(pix)であり、そのうち、ピン無し8角形のICの総ピクセル数は4200000(pix)であり、ピン無し4角形のICの総ピクセル数は1000000(pix)であった(図18参照)。
図18に実験結果を示す。図18における分析値は、実験対象の基板の成分分析により得られたAu、Pd、Ag、Cuの資源量である。図18に示すように、従来技術の場合、分析値との誤差率はそれぞれ、−23(%)、−58(%)、−18(%)、+123(%)であった。一方、第4の実施形態の含有資源量推定装置10の場合、分析値との誤差率はそれぞれ、+2.6(%)、−48(%)、+2.3(%)、−30(%)であった。つまり、Au、Pd、Ag、Cuいずれの資源の含有資源量についても、第4の実施形態の含有資源量推定装置10の方が従来技術よりも精度よく推定できることが分かった。特に、第4の実施形態の含有資源量推定装置10はAu、Pd等、比較的貴重な金属について含有資源量を精度よく推定できることが確認できたので、基板のリサイクルにおいて、第4の実施形態の含有資源量推定装置10は非常に有用な技術であることが確認できた。
(プログラム)
また、各実施形態で述べた含有資源量推定装置10の機能を実現する含有資源量推定プログラムを所望の情報処理装置(コンピュータ)にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記の含有資源量推定プログラムを情報処理装置に実行させることにより、情報処理装置を含有資源量推定装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistants)等のストレート端末等がその範疇に含まれる。また、含有資源量推定装置10を、Webサーバやクラウドとして実装してもよい。
以下に、含有資源量推定プログラムを実行するコンピュータの一例を説明する。図19は、含有資源量推定プログラムを実行するコンピュータを示す図である。図19に示すように、コンピュータ1000は、例えば、メモリ1010と、CPU(Central Processing Unit)1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011およびRAM(Random Access Memory)1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。ディスクドライブ1100には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1110およびキーボード1120が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1130が接続される。
ここで、図19に示すように、ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。各実施形態で説明したデータ等は、例えばハードディスクドライブ1090やメモリ1010に記憶される。
そして、CPU1020が、ハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
なお、含有資源量推定プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、含有資源量推定プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
10 含有資源量推定装置
11 画像取得部
12 分類用データ記憶部
13 含有資源量記憶部
14 画像処理部
15 部品分類部
16 分類結果記憶部
17 資源量推定部
18 資源量推定結果記憶部
19 表示部

Claims (7)

  1. ICが実装された基板の画像を取得する画像取得部と、
    前記画像から前記ICを含む矩形領域およびピンの領域を検出する画像処理部と、
    前記検出の結果を参照して、前記ICにピンがなく、かつ、前記ICの矩形領域のサイズが所定値以上であると判定した場合、前記矩形領域の四隅のうち、いずれかの隅の領域における色を分析し、当該領域に2つの色が存在するとき、当該ICの種類をピン無し8角形のICに分類し、当該領域に2つの色が存在しないとき、ピン無し4角形のICに分類する部品分類部と、
    を備えることを特徴とする含有資源量推定装置。
  2. 前記部品分類部は、
    前記四隅の領域のうち、いずれかの隅の領域に黄色の領域が含まれる場合、当該ICをピン無し8角形のICに分類することを特徴とする請求項1に記載の含有資源量推定装置。
  3. 前記部品分類部は、
    前記矩形領域の四隅のうち、いずれかの隅の領域を増大させていき、前記基板の色の領域のサイズと前記ICの色の領域のサイズが同じになったときの前記隅の領域の一辺の長さが所定の閾値を超えている場合、当該ICをピン無し8角形のICに分類することを特徴とする請求項1に記載の含有資源量推定装置。
  4. 前記増大させていく隅の領域の形状は、
    前記隅の部分を頂点とした3角形であることを特徴とする請求項3に記載の含有資源量推定装置。
  5. 前記部品分類部により分類されたICの種類と前記種類別の含有資源量データとを参照して、前記基板に実装されたICの含有資源量の総量を推定する資源量推定部をさらに備えることを特徴とする請求項1に記載の含有資源量推定装置。
  6. ICが実装された基板の画像を取得するステップと、
    前記画像から前記ICを含む矩形領域およびピンの領域を検出するステップと、
    前記検出の結果を参照して、前記ICにピンがなく、かつ、前記ICの矩形領域のサイズが所定値以上であると判定した場合、前記矩形領域の四隅のうち、いずれかの隅の領域における色を分析し、当該領域に2つの色が存在するとき、当該ICの種類をピン無し8角形のICに分類し、当該領域に2つの色が存在しないとき、ピン無し4角形のICに分類するステップと、
    を含んだことを特徴とする含有資源量推定方法。
  7. ICが実装された基板の画像を取得するステップと、
    前記画像から前記ICを含む矩形領域およびピンの領域を検出するステップと、
    前記検出の結果を参照して、前記ICにピンがなく、かつ、前記ICの矩形領域のサイズが所定値以上であると判定した場合、前記矩形領域の四隅のうち、いずれかの隅の領域における色を分析し、当該領域に2つの色が存在するとき、当該ICの種類をピン無し8角形のICに分類し、当該領域に2つの色が存在しないとき、ピン無し4角形のICに分類するステップと、
    をコンピュータに実行させることを特徴とする含有資源量推定プログラム。
JP2015240126A 2015-12-09 2015-12-09 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム Active JP6416742B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015240126A JP6416742B2 (ja) 2015-12-09 2015-12-09 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015240126A JP6416742B2 (ja) 2015-12-09 2015-12-09 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム

Publications (2)

Publication Number Publication Date
JP2017106792A JP2017106792A (ja) 2017-06-15
JP6416742B2 true JP6416742B2 (ja) 2018-10-31

Family

ID=59059536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015240126A Active JP6416742B2 (ja) 2015-12-09 2015-12-09 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム

Country Status (1)

Country Link
JP (1) JP6416742B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065810B (zh) * 2019-12-31 2024-01-26 杭州海康机器人股份有限公司 检测包裹的方法、装置、计算设备、物流系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3993107B2 (ja) * 2003-01-08 2007-10-17 松下電器産業株式会社 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム
JP5811159B2 (ja) * 2013-11-14 2015-11-11 オムロン株式会社 電子機器分析装置、ライブラリ提供システム

Also Published As

Publication number Publication date
JP2017106792A (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
US9275281B2 (en) Mobile image capture, processing, and electronic form generation
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
US8792013B2 (en) Method for determining the extent of a foreground object in an image
US9047529B2 (en) Form recognition method and device
JP2007140684A (ja) 画像処理装置、方法、プログラム
US9092668B2 (en) Identifying picture areas based on gradient image analysis
KR101597739B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
WO2017215527A1 (zh) Hdr场景侦测方法、装置和计算机存储介质
US20140321770A1 (en) System, method, and computer program product for generating an image thumbnail
CN110047083B (zh) 图像噪点识别方法、服务器及存储介质
WO2023115409A1 (zh) 一种焊盘检测方法、装置、计算机设备及存储介质
CN115797359B (zh) 基于电路板上锡膏的检测方法、设备和存储介质
WO2021195873A1 (zh) 识别sfr测试卡图像中感兴趣区域的方法及装置、介质
US20230177680A1 (en) Assay reading method
CN106530273B (zh) 高精度fpc直线线路检测与缺陷定位方法
JP6771134B2 (ja) 画像補正方法及び画像補正装置
JP6416742B2 (ja) 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム
JP6470109B2 (ja) 含有資源量推定装置、含有資源量推定方法、および、含有資源量推定プログラム
CN113508395B (zh) 用于检测由像素构成的图像中的对象的方法和设备
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN110147765A (zh) 一种图像处理方法及装置
JP7118423B2 (ja) 画像解析システム、画像解析方法及び画像解析プログラム
Chen et al. A Model For IC Defect Identification Based on Feature Extraction
Yang et al. A novel binarization approach for license plate
WO2020107196A1 (zh) 一种对拍摄装置的拍摄质量评测方法、装置及终端设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181004

R150 Certificate of patent or registration of utility model

Ref document number: 6416742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150