JP7149723B2 - Image management method and image management device - Google Patents
Image management method and image management device Download PDFInfo
- Publication number
- JP7149723B2 JP7149723B2 JP2018059906A JP2018059906A JP7149723B2 JP 7149723 B2 JP7149723 B2 JP 7149723B2 JP 2018059906 A JP2018059906 A JP 2018059906A JP 2018059906 A JP2018059906 A JP 2018059906A JP 7149723 B2 JP7149723 B2 JP 7149723B2
- Authority
- JP
- Japan
- Prior art keywords
- board
- component
- image
- file
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本明細書では、画像管理方法及び画像管理装置を開示する。 This specification discloses an image management method and an image management device.
多数の部品が実装された基板を生産する部品実装システムとして、スクリーン印刷機、部品実装機、リフロー機、検査機などを搬送装置で連結したものが知られている。このうち、部品実装機は、部品移載部と、部品供給部と、基板搬送部と、撮像部と、記憶部とを備え、部品移載部が部品供給部から供給される部品を採取して基板搬送部によって搬入された基板に実装する作業を繰り返したあと、基板搬送部によって基板を搬出する動作を行う。こうした部品実装機として、部品採取部によって採取された部品をカメラで撮像し、その撮像した画像により部品の位置を認識するものも知られている。例えば特許文献1に記載された部品実装機は、部品の位置を認識できなかった場合にその画像を記憶し、記憶した画像を表示する。これにより、装着不可となった部品の画像を見ることができ、その時の吸着状態を知ることができる。
2. Description of the Related Art As a component mounting system for producing a board on which a large number of components are mounted, there is known a system in which a screen printer, a component mounting machine, a reflow machine, an inspection machine, and the like are connected by a conveying device. Among them, the component mounter includes a component transfer section, a component supply section, a board transfer section, an imaging section, and a storage section, and the component transfer section picks up the components supplied from the component supply section. After repeating the operation of mounting the board loaded by the board transporting part, the board is unloaded by the board transporting part. As such a component mounter, there is also known one in which a component picked up by a component picking section is imaged by a camera and the position of the component is recognized from the imaged image. For example, the component mounter described in
ところで、装着不可となった部品について、部品採取部によって採取された部品の画像を調べただけでは、装着不可となった原因がわからないことがある。例えば、部品採取部によって採取された部品には特に不備はなかったが、基板の位置を認識するために撮像した基板の基準マークが汚れていて基板の位置の認識がずれてしまい、それが原因で部品が装着不可になることがある。その場合には、装着不可となった部品を実装する際に使用した基板の基準マークの画像を確認する必要があるが、基準マークの画像は大量に保存されているため、探し出すのに時間がかかるという問題があった。 By the way, it may not be possible to find the cause of the unmountable component only by examining the image of the component collected by the component collecting unit. For example, there were no particular defects in the components picked up by the component picking unit, but the reference marks on the board that were imaged to recognize the position of the board were dirty, and the position of the board was not recognized. Parts may become unmountable. In that case, it is necessary to check the images of the fiducial marks on the board that were used to mount the unmountable components. I had a problem with it.
本開示はこのような課題を解決するためになされたものであり、部品の実装に不備が生じた場合にその原因を容易に調査できるようにすることを主目的とする。 The present disclosure has been made to solve such problems, and has a main purpose of facilitating investigation of the cause when a component mounting defect occurs.
本開示の画像管理方法は、
部品実装機を含む部品実装システムに用いられる画像管理方法であって、
前記部品実装機は、部品移載部と、部品供給部と、基板搬送部と、撮像部とを備え、前記部品移載部が前記部品供給部から供給される部品を採取して前記基板搬送部によって搬入された基板40に実装する作業を繰り返したあと前記基板搬送部によって前記基板40を搬出する動作を行い、前記動作を行っている間に前記部品実装機の各部、前記部品及び前記基板40の少なくとも1つを被写体として前記被写体の少なくとも1枚の画像を前記撮像部で撮像し、
前記画像は、所定の記憶部に保存されるものであり、
前記画像管理方法は、
(a)前記記憶部に記憶された前記画像のうち部品の実装に関連する所定の条件を満たすものを1つのファイルにまとめて前記記憶部に保存する工程と、
(b)前記所定の条件をキーとして前記記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示する工程と、
を含むものである。
The image management method of the present disclosure includes:
An image management method used in a component mounting system including a component mounting machine,
The component mounter includes a component transfer section, a component supply section, a board transfer section, and an imaging section. After repeating the work of mounting on the
The image is stored in a predetermined storage unit,
The image management method includes:
(a) a step of collecting, in one file, those images that satisfy a predetermined condition related to component mounting among the images stored in the storage unit and storing the images in the storage unit;
(b) searching for files stored in the storage unit using the predetermined condition as a key, and displaying files hit by the search on a screen;
includes.
この画像管理方法では、記憶部に記憶された画像のうち部品の実装に関連する所定の条件を満たすものを1つのファイルにまとめて記憶部に保存し、その所定の条件をキーとして記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示する。そのため、部品の実装に不備が生じた場合、その所定の条件で検索してヒットしたファイルにまとめられた複数の画像をチェックすれば、その不備が生じた原因を容易に調査することができる。 In this image management method, among the images stored in the storage unit, those that satisfy predetermined conditions related to component mounting are grouped into one file and stored in the storage unit, and the predetermined conditions are used as keys and stored in the storage unit. Search the saved files and display the files hit by the search on the screen. Therefore, when a defect occurs in the mounting of a component, the cause of the defect can be easily investigated by checking a plurality of images collected in a hit file by searching under the predetermined conditions.
本開示の画像管理装置は、
部品実装機を含む部品実装システムに用いられる画像管理装置であって、
前記部品実装機は、部品移載部と、部品供給部と、基板搬送部と、撮像部とを備え、前記部品移載部が前記部品供給部から供給される部品を採取して前記基板搬送部によって搬入された基板40に実装する作業を繰り返したあと前記基板搬送部によって前記基板40を搬出する動作を行い、前記動作を行っている間に前記部品実装機の各部、前記部品及び前記基板40の少なくとも1つを被写体として前記被写体の少なくとも1枚の画像を前記撮像部で撮像し、
前記画像は、所定の記憶部に保存されるものであり、
前記画像管理装置は、
前記記憶部に記憶された前記画像のうち部品の実装に関連する所定の条件を満たすものを1つのファイルにまとめて前記記憶部に保存するファイル管理部と、
前記所定の条件をキーとして前記記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示するファイル検索部と、
を備えたものである。
The image management device of the present disclosure is
An image management device used in a component mounting system including a component mounting machine,
The component mounter includes a component transfer section, a component supply section, a board transfer section, and an imaging section. After repeating the work of mounting on the
The image is stored in a predetermined storage unit,
The image management device
a file management unit that collects images that satisfy a predetermined condition related to component mounting among the images stored in the storage unit into one file and stores the images in the storage unit;
a file search unit that searches for files stored in the storage unit using the predetermined condition as a key and displays files hit by the search on a screen;
is provided.
この画像管理方法装置では、ファイル管理部が記憶部に記憶された画像のうち部品の実装に関連する所定の条件を満たすものを1つのファイルにまとめて記憶部に保存し、ファイル検索部がその所定の条件をキーとして記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示する。そのため、部品の実装に不備が生じた場合、その所定の条件で検索してヒットしたファイルにまとめられた複数の画像をチェックすれば、その不備が生じた原因を容易に調査することができる。 In this image management method apparatus, the file management unit collects images that satisfy predetermined conditions related to component mounting among the images stored in the storage unit into one file and saves them in the storage unit, and the file search unit stores the images in the storage unit. The files stored in the storage unit are searched using a predetermined condition as a key, and the files hit by the search are displayed on the screen. Therefore, when a defect occurs in the mounting of a component, the cause of the defect can be easily investigated by checking a plurality of images collected in a hit file by searching under the predetermined conditions.
次に、本発明の実施の形態を説明する。図1は、部品実装システム1の構成の概略を示す説明図であり、図2は、部品実装機20の構成の概略を示す説明図、図3は、部品実装機20の制御装置31と生産管理サーバ50と画像保存サーバ60との電気的な接続関係を示す説明図、図4は、基板40の構成の概略を示す説明図である。
Next, an embodiment of the invention will be described. FIG. 1 is an explanatory diagram showing an outline of the configuration of the
部品実装システム1は、図1に示すように、はんだペースト印刷機10と、はんだペースト検査機12と、実装ライン14と、リフロー炉16と、基板外観検査機18とを備えている。実装ライン14は、一列に配置された複数の部品実装機20A~20Dで構成されている。各機10,12,20A~20D,16,18は、通信ネットワーク(例えばLAN)2を介して生産管理サーバ50及び画像保存サーバ60に双方向通信可能なように接続されている。
The
部品実装システム1を構成する各機の動作概要について説明する。各機は、生産管理サーバ50から送信される生産ジョブにしたがって処理を実行する。生産ジョブは、各部品実装機20A~20Dにおいてどの部品種の部品をどういう順序で基板のどの位置に実装するか、また、何枚の基板に部品の実装を行うかなどを定めた情報である。はんだペースト印刷機10は、上流側から搬入される基板の表面のうち各部品を実装する位置に所定のパターンではんだペーストを印刷し、下流側のはんだペースト検査機12へ搬出する。はんだペースト検査機12は、搬入された基板にはんだペーストが正しく印刷されているか否かの検査を行う。はんだペーストが正しく印刷された基板は、中間コンベア13を介して実装ライン14の部品実装機20Aに供給される。実装ライン14に配置された複数の部品実装機20A~20Dは、上流側から順に基板への部品実装を行う。全部品の実装が完了した基板は、部品実装機20Dから中間コンベア15を介してリフロー炉16に供給される。リフロー炉16では、基板のはんだペーストが溶融したあと固化するため各部品が基板上に固定される。リフロー炉16から搬出された基板は、中間コンベア17を介して基板外観検査機18に搬入される。基板外観検査機18では、カメラで基板を上方から撮像して基板に実装された部品の良否を判定する。
An overview of the operation of each machine that configures the
次に、部品実装機20A~20Dについて、詳しく説明する。部品実装機20A~20Dは同じ構成のものを採用しているため、以下には末尾のアルファベットを省略して部品実装機20として説明する。部品実装機20は、図2に示すように、部品供給装置21と、基板搬送装置24と、ヘッド25と、XYロボット27と、側方カメラ28と、マークカメラ29と、パーツカメラ30と、制御装置31(図3参照)とを備えている。
Next, the
部品供給装置21は、本体枠20aの前面に形成されたフィーダ台22に、左右方向(X軸方向)に並ぶように複数配置されたフィーダ23を備えている。フィーダ23は、部品が所定ピッチで収容されたキャリアテープをノズル26がピックアップ可能な部品供給位置まで送り出すテープフィーダである。なお、キャリアテープは、図示しないが、所定ピッチでキャビティ(凹部)が形成されたボトムテープと、各キャビティに部品が収容された状態でボトムテープを覆うトップフィルムとにより構成されている。フィーダ23は、リールに巻回されたキャリアテープを引き出して部品供給位置へ送り出し、部品供給位置の手前でボトムテープからトップフィルムを剥がすことにより、部品供給位置にて部品を露出状態、即ちピックアップ可能な状態とする。
The
基板搬送装置24は、左側(上流側)の入口から基板40を所定位置まで搬入し、所定位置にてその基板40を裏面側から支持する。また、基板搬送装置24は、基板40に部品が実装された後、基板40の支持を解除して右側(下流側)の出口から基板40を搬出する。
The
ヘッド25は、下側にノズル26を着脱可能に有している。XYロボット27は、ヘッド25をXY方向へ移動可能である。ヘッド25は、フィーダ23によって部品供給位置に送り出された部品をノズル26でピックアップし、その部品を基板40上へ実装する。
The
側方カメラ28は、ヘッド25の前側に取り付けられ、ノズル26に吸着された部品を側方から撮像する。マークカメラ29は、ヘッド25の後側に取り付けられ、基板40の表面に付された基準マーク42(図4参照)を上方から撮像する。パーツカメラ30は、部品供給装置21と基板搬送装置24との間に設けられ、ノズル26に吸着された部品を下方から撮像する。
The
制御装置31は、図3に示すように、CPU32を中心としたマイクロプロセッサとして構成されており、CPU32の他に、ROM33とHDD34とRAM35と入出力インターフェース36とを備え、これらはバス37を介して電気的に接続されている。制御装置31には、XYロボット27からのヘッド25の位置信号や側方カメラ28からの画像データ、マークカメラ29からの画像データ、パーツカメラ30からの画像データなどが入出力インターフェース36を介して入力される。一方、制御装置31からは、部品供給装置21への制御信号や基板搬送装置24への制御信号、ヘッド25への駆動信号、XYロボット27への駆動信号などが入出力インターフェース36を介して出力される。また、制御装置31は、生産管理サーバ50や画像保存サーバ60と通信ネットワーク2を介して双方向通信可能に接続されている。
As shown in FIG. 3, the
基板40は、図4に示すように、対角をなす2つの隅部に基準マーク42を有している。これらの基準マーク42は、基板搬送装置24により基板40が裏側から支持されて位置決めされた際に、マークカメラ29で撮像されて、基板40の位置情報を取得するために用いられる。また、図4で点線の長方形で示した領域には部品が実装される。本実施形態では、便宜上、部品実装機20Aは、左側の縦一列に5つの部品(部品Pa~Pe)を実装し、部品実装機20Bは、左から2番目の縦一列に6つの部品を実装し、部品実装機20Cは、左から3番目の縦一列に5つの部品を実装し、部品実装機20Dは、左から4番目の縦一列に4つの部品を実装するものとする。
The
生産管理サーバ50は、例えば、汎用のコンピュータであり、図3に示すように、CPU51とROM52とHDD53とRAM54と入出力インターフェース55などを備え、これらはバス56を介して電気的に接続されている。この生産管理サーバ50には、マウスやキーボード等の入力デバイス57から入力信号が入出力インターフェース55を介して入力され、生産管理サーバ50からは、ディスプレイ58への画像信号が入出力インターフェース55を介して出力されている。HDD53は、生産ジョブに関する各種情報を記憶している。
The
画像保存サーバ60は、例えば、汎用のコンピュータであり、図3に示すように、CPU61とROM62とHDD63とRAM64と入出力インターフェース65などを備え、これらはバス66を介して電気的に接続されている。この画像保存サーバ60には、マウスやキーボード等の入力デバイス67から入力信号が入出力インターフェース65を介して入力され、画像保存サーバ60からは、ディスプレイ68への画像信号が入出力インターフェース65を介して出力される。HDD63は、各部品実装機20の側方カメラ28からの画像データ、マークカメラ29からの画像データ、パーツカメラ30からの画像データのほか、基板外観検査機18のカメラからの画像データを保存する。
The
次に、各部品実装機20の動作について説明する。各部品実装機20の制御装置31のCPU32は、生産管理サーバ50から生産ジョブを受信すると、その生産ジョブに基づいて部品実装処理を実行する。図5は部品実装処理ルーチンのフローチャートである。
Next, the operation of each mounter 20 will be described. Upon receiving a production job from the
CPU32は、基板搬送装置24によって基板40が所定位置に搬入され裏面側から支持されると、基板40の2つの基準マーク42をマークカメラ29で撮像する(S100)。具体的には、CPU32は、XYロボット27を制御してマークカメラ29の視野内に基板40に付された2つの基準マーク42が収まるようにし、その状態でマークカメラ29を駆動して2つの基準マーク42を撮像する。2つの基準マーク42がマークカメラ29の一視野に収まらない場合には2つの基準マーク42を別々に撮像する。基準マーク42の画像は、HDD34に保存されると共に、画像保存サーバ60に送信されてHDD63に保存される。その際、基準マーク42の画像には、基板40の基板種の情報や撮像された部品実装機20を特定する情報(実装機IDなど)、生産ジョブの何枚目かがわかる情報が付される。
When the
続いて、CPU32は、基板40の位置ずれ量を算出する(S110)。具体的には、CPU32は、S100で得られた画像を処理してXY平面における基板40の位置ずれ量(予め規定された基準位置に対するX軸方向、Y軸方向、回転方向の各ずれ量)を算出する。
Subsequently, the
続いて、CPU32は、ノズル26に部品を吸着させる(S120)。具体的には、CPU32は、実装順が1番目の部品が部品供給位置に送り出されるようにフィーダ23を制御し、その部品供給位置にノズル26が来るようにヘッド25とXYロボット27とを制御し、ノズル26に負圧を作用させてノズル26に部品を吸着させる。
Subsequently, the
続いて、CPU32は、ノズル26に吸着された部品を側方から撮像する(S130)。具体的には、CPU32は、側方カメラ28を駆動してノズル26に吸着された部品を側方から撮像する。得られた画像は、ノズル26に部品が吸着されたことの確認やノズル26に吸着された部品の姿勢の確認などに用いられる。撮像した画像は、HDD34に保存されると共に、画像保存サーバ60に送信されてHDD63に保存される。その際、その画像には、その部品が実装される基板40の基板種の情報やその基板40が生産ジョブの何枚目の基板40かがわかる情報、撮像された部品の実装順序がわかる情報、その部品の部品種の情報、その画像の撮像日時の情報などが付される。
Subsequently, the
続いて、CPU32は、ノズル26に吸着された部品を下方から撮像する(S140)。具体的には、CPU32は、ノズル26に吸着された部品がパーツカメラ30の上方に移動するようにXYロボット27を制御し、パーツカメラ30を駆動して部品を下方から撮像する。撮像した画像は、HDD34に保存されると共に、画像保存サーバ60に送信されてHDD63に保存される。その際、その画像には、その部品が実装される基板40の基板種の情報やその基板40が生産ジョブの何枚目の基板40かがわかる情報、撮像された部品の実装順序がわかる情報、その部品の部品種の情報、その画像の撮像日時の情報などが付される。
Subsequently, the
続いて、CPU32は、基板40上の実装位置を補正する(S150)。具体的には、CPU32は、ノズル26に吸着された部品の下方からの画像を処理してノズル26の中心位置に対する部品の吸着ずれ量(ノズル26の中心位置に対するX軸方向、Y軸方向、回転方向の各ずれ量)を算出する。そして、CPU32は、基板40の位置ずれ量と部品の吸着ずれ量とに基づいて、生産ジョブによって予め指定された実装位置を補正する。
Subsequently, the
続いて、CPU32は、補正した実装位置に部品を実装する(S160)。具体的には、CPU32は、補正した実装位置に部品を吸着したノズル26が来るようにヘッド25とXYロボット27とを制御し、ノズル26に正圧を作用させて部品をノズル26から放す。
Subsequently, the
続いて、CPU32は、部品実装機20が基板40に実装すべきすべての部品を実装したか否かを判定し(S170)、まだ実装すべき部品が残っていたならば次の実装順の部品についてS120~S160の処理を行う。一方、S170ですべての部品が実装されていたならば、CPU32は、本ルーチンを終了する。本ルーチンが終了すると、基板搬送装置24は基板40を下流側の出口から搬出する。各部品実装機20A~20Dは、生産ジョブの生産枚数だけ基板40への部品実装を行う。
Subsequently, the
次に、生産管理サーバ50の動作について説明する。生産管理サーバ50のCPU51は、1つの生産ジョブが終了するごとに、画像集約処理を実行する。図6は画像集約処理ルーチンのフローチャートである。
Next, operation of the
CPU51は、画像集約処理ルーチンを開始すると、まず、今回の生産ジョブで実装された多数の部品のうち画像集約未処理の部品を処理対象に選定する(S200)。続いて、CPU51は、処理対象の部品を実装するのに利用した画像を読み出し(S210)、読み出した各画像にその画像を特定する情報を付す(S220)。例えば、処理対象の部品が部品実装機20Aでn枚目の基板40にm番目に実装された部品だった場合(m,nは自然数)、その部品を実装するのに利用した画像は、部品実装機20Aで撮像されたn枚目の基板40の基準マーク42の画像と、部品実装機20Aでn枚目の基板40にm番目に実装された部品の側方からの画像と、その部品の下方からの画像である。そのため、CPU51は、画像保存サーバ60のHDD63からこれらの画像を読み出す。そして、CPU51は、基準マーク42の画像に、部品実装機20Aで撮像されたn枚目の基板40の基準マーク42の画像であることを示す情報を付す。また、その部品の側方からの画像に、部品実装機20Aでn枚目の基板40にm番目に実装された部品の側方からの画像であることを示す情報を付し、その部品の下方からの画像に、部品実装機20Aでn枚目の基板40にm番目に実装された部品の下方からの画像であることを示す情報を付す。
When starting the image aggregation processing routine, the CPU 51 first selects, as a processing target, a component for which image aggregation has not yet been performed from among the many components mounted in the current production job (S200). Subsequently, the CPU 51 reads the images used for mounting the component to be processed (S210), and attaches information specifying the image to each read image (S220). For example, if the component to be processed is the m-th component mounted on the n-
続いて、CPU51は、そうした情報が付された各画像を今回の処理対象の部品に対応づけて一つのファイル70にまとめてHDD63に保存する(S230)。例えば、そのファイル70のファイル名を、“部品実装機20Aでn枚目の基板40にm番目に実装された部品”としてHDD63に保存する。処理対象の部品を実装するのに利用した画像を一つのファイルにまとめた一例を図7に示す。こうしたファイルは、例えばPDFファイルなどが挙げられる。
Subsequently, the CPU 51 associates each image to which such information is added with the part to be processed this time, collects them into one
続いて、CPU51は、今回の生産ジョブで実装された全部品について画像集約処理を実施したか否かを判定し(S240)、否定判定だったならば、再びS200に戻る。一方、S240で肯定判定だったならば、CPU51は本ルーチンを終了する。これにより、実装ライン14を構成する各部品実装機20A~20Dで実装されたすべての部品のそれぞれについて、部品を実装するのに利用した画像が1つのファイル70にまとめられてHDD63に保存される。
Subsequently, the CPU 51 determines whether or not image aggregation processing has been performed for all the components mounted in the current production job (S240), and if the determination is negative, the process returns to S200. On the other hand, if the determination in S240 is affirmative, the CPU 51 terminates this routine. As a result, for all the components mounted by the
次に、画像集約処理を実行した後の生産管理サーバ50の動作について説明する。生産管理サーバ50のCPU51は、画像集約処理を実行した後、オペレータが検索キーを入力して画像検索処理の実行を指示すると、画像検索処理を実行する。図8は画像検索処理ルーチンのフローチャートである。
Next, the operation of the
CPU51は、画像検索処理ルーチンを開始すると、まず、オペレータが入力した検索キーを認識し(S300)、その検索キーで画像保存サーバ60のHDD63に保存された多数のファイル70を検索する(S310)。例えば、検索キーが“部品実装機20Aでn枚目の基板40にm番目に実装された部品”だった場合、ファイル名にこの検索キーの文字列を含むファイル70を検索する。続いて、CPU51は、ヒットしたファイル70をディスプレイ58に表示し(S320)、本ルーチンを終了する。
When the image search processing routine is started, the CPU 51 first recognizes the search key entered by the operator (S300), and searches a large number of
例えば、基板外観検査機18において、部品実装機20Aで5枚目の基板40に1番目に実装された部品Paが実装エラーだと判定された場合、オペレータは、生産管理サーバ50において検索キーとして“部品実装機20Aで5枚目の基板40に1番目に実装された部品Pa”と入力する。すると、生産管理サーバ50のCPU51は、画像保存サーバ60のHDD63に記憶されている多数のファイル70を検索し、ファイル名に“部品実装機20Aで5枚目の基板40に1番目に実装された部品Pa”を含むファイル70を探し出し、そのファイル70をディスプレイ58に表示する。オペレータは、ディスプレイ58に表示された画像(図7の一番手前のファイル)を見ることにより、実装エラーになった部品Paを実装するのに利用した画像、即ちその部品Paが実装された基板40の基準マーク42の画像と、その部品Paを側方から撮像した画像と、その部品Paを下方から撮像した画像とを一度に確認することができる。
For example, when the board
ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。上述した実施形態の生産管理サーバ50が本開示の画像管理装置に相当し、部品実装機20A~20Dのそれぞれが部品実装機に相当し、ヘッド25及びXYロボット27が部品移載部に相当し、部品供給装置21が部品供給部に相当し、基板搬送装置24が基板搬送部に相当し、側方カメラ28、マークカメラ29及びパーツカメラ30のそれぞれが撮像部に相当し、画像保存サーバ60のHDD63が記憶部に相当する。また、生産管理サーバ50のCPU51がファイル管理部及びファイル検索部に相当する。なお、本実施形態では、画像管理装置である生産管理サーバ50の動作を説明することにより本開示の画像管理方法の一例も明らかにしている。
Here, correspondence relationships between the components of the present embodiment and the components of the present disclosure will be clarified. The
以上説明した本実施形態では、HDD63に記憶された画像のうち部品の実装に関連する所定の条件(特定の部品を実装するのに利用した画像であるという条件)を満たすものを1つのファイル70にまとめてHDD63に保存し、その条件をキーとしてHDD63に保存されたファイル70を検索してその検索でヒットしたファイル70を画面に表示する。そのため、部品の実装に不備が生じた場合、その条件で検索してヒットしたファイル70にまとめられた複数の画像をチェックすれば、その不備が生じた原因を容易に調査することができる。
In the embodiment described above, one
また、ファイル70にまとめられた各画像には、その画像を特定する情報が付加されている。そのため、1つのファイル70にまとめられた複数の画像をチェックする際に、オペレータが各画像に付加された情報を確認することで、例えば各画像が何を撮像したものかを認識することができる。
Further, information specifying the image is added to each image organized in the
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。 It goes without saying that the present invention is not limited to the above-described embodiments, and can be implemented in various forms as long as they fall within the technical scope of the present invention.
上述した実施形態では、複数の画像を1つにまとめる所定の条件として、部品を実装するのに利用した画像という条件を用いたが、特にこれに限定されるものではなく、例えば、特定の部品実装機で撮像された基板40の基準マーク42を利用して実装したものに関する画像という条件を用いてもよい。図9には、部品実装機20Aで撮像されたn枚目の基板40の基準マーク42を利用して実装したものに関する画像を1つのファイル80にまとめた例を示す。この場合、部品実装機20Aで撮像されたn枚目の基板40の基準マーク42を利用して実装したものは、その基板40に実装された5つの部品Pa~Peである。そのため、その基板40の基準マーク42の画像と部品Pa~Peのそれぞれの側方及び下方から撮像した画像とが1つのファイル80にまとめられている。ファイル名として、“部品実装機20Aで撮像されたn枚目の基板40の基準マーク42”が付されている。部品実装機20Aで部品を実装したときに不備が生じた場合には、その部品実装機20Aで基準マーク42に基づく基板40の位置の認識がずれたことが原因になっていることがある。そうした場合には、その基準マーク42を利用して実装した部品の全部又はほとんどにおいて実装不備が生じる。図9のファイル80を用いれば、こうしたことを容易に調べることができる。すなわち、各部品の側方及び下方から撮像した画像には問題がないのに、基準マーク画像に問題がある場合には、部品実装機20Aで基準マーク42に基づく基板40の位置の認識がずれたことが原因だったと判断することができる。また、複数の画像を1つにまとめる所定の条件として、特定のヘッド25で部品を実装したものに関する画像という条件、特定のノズル26で部品を実装したものに関する画像という条件、特定のフィーダ23で部品を実装したものに関する画像という条件、あるいは、特定の部品実装機20で部品を実装したものに関する画像という条件を用いてもよい。
In the above-described embodiment, as a predetermined condition for combining a plurality of images into one, the condition of the image used for mounting the component was used. A condition of an image related to the thing mounted using the
上述した実施形態において、部品を実装するのに利用した画像という条件を満たすものを1つのファイル70にまとめるにあたり、基板外観検査機18のカメラで撮像された画像(その部品が写っている画像)もそのファイル70に加えてもよいし、はんだペースト検査機12のカメラで撮像された画像(その部品が実装される位置のはんだペーストの画像)もそのファイル70に加えてもよいし、その部品を実装するのに利用したノズル26やヘッド25の画像をそのファイル70に加えてもよい。なお、基板40のサイズが大きくて基板外観検査機18やはんだペースト検査機12のカメラの一視野に基板40が収まらなかった場合には、基板40を複数に分割して撮像することになるが、そのうちの対象部品又は対象部品が実装される位置が写っている画像をファイル70に加えればよい。
In the above-described embodiment, images taken by the camera of the board appearance inspection machine 18 (images showing the components) are collected in one
上述した実施形態では、1つの生産ジョブが終わってから画像集約処理を実行したが、1枚の基板40が部品実装システム1から搬出されるごとに画像集約処理を実行してもよいし、1枚の基板40が1台の部品実装機20から搬出されるごとに画像集約処理を実行してもよい。
In the above-described embodiment, the image aggregation process is executed after one production job is completed. The image aggregation process may be executed each time one
上述した実施形態の図7のファイル70には、ファイル名として“部品実装機20Aでn枚目の基板40にm番目に実装された部品”を付したが、ファイル名ではなく、ファイル70に埋め込み可能なデータ(例えばメタデータやExifなど)に“部品実装機20Aでn枚目の基板40にm番目に実装された部品”を書き込んでもよい。
The
上述した実施形態では、生産管理サーバ50のCPU51が画像集約処理や画像検索処理を実行したが、画像保存サーバ60のCPU61が画像集約処理や画像検索処理を実行してもよい。また、部品実装機20のCPU31がHDD34に保存された複数の画像について画像集約処理や画像検索処理を実行してもよい。
In the embodiment described above, the CPU 51 of the
上述した実施形態では、部品を採取する部材としてノズル26を例示したが、特にこれに限定されるものではなく、例えばメカニカルチャックや電磁石としてもよい。
In the above-described embodiment, the
上述した実施形態では、部品供給部としてフィーダ23を例示したが、特にこれに限定されるものではなく、例えば、トレイに部品を載せて供給するトレイユニットを採用してもよい。
In the above-described embodiment, the
上述した実施形態では、画像を特定する情報の一つとして、部品の実装順序を例示したが、部品の実装順序に代えて又は加えて部品の実装位置を付加してもよい。 In the above-described embodiment, the mounting order of components is exemplified as one of the information for specifying an image, but the mounting positions of components may be added instead of or in addition to the mounting order of components.
本開示の画像管理方法は、以下のように構成してもよい。 The image management method of the present disclosure may be configured as follows.
本開示の画像管理方法において、前記工程(a)では、前記記憶部に記憶された前記画像のうち前記所定の条件を満たすものを1つのファイルにまとめて前記記憶部に保存するにあたり、前記ファイルに含まれる各画像にその画像を特定する情報を付加してもよい。こうすれば、1つのファイルにまとめられた複数の画像をチェックする際に、オペレータが各画像に付加された情報を確認することで、例えば各画像が何を撮像したものかを認識することができる。 In the image management method of the present disclosure, in the step (a), when the images that satisfy the predetermined condition among the images stored in the storage unit are grouped into one file and stored in the storage unit, the file is stored in the storage unit. may be appended with information identifying the image. In this way, when checking a plurality of images collected in one file, the operator can check the information added to each image, thereby recognizing, for example, what each image captures. can.
本開示の画像管理方法において、前記工程(a)では、前記所定の条件として、特定の部品を実装するのに利用した画像であるという条件を用いてもよい。こうすれば、特定の部品の実装に不備が生じた場合、その特定の部品を実装するのに利用した画像が1つのファイルにまとめられているため、その不備が生じた原因を容易に調査することができる。 In the image management method of the present disclosure, in the step (a), a condition that the image is used for mounting a specific component may be used as the predetermined condition. In this way, when a defect occurs in the mounting of a specific component, the images used for mounting the specific component are collected in one file, so that the cause of the defect can be easily investigated. be able to.
ここで、「特定の部品を実装するのに利用した画像」としては、例えば、部品採取部に採取された特定の部品を所定方向(例えば下方)から撮像した画像、同じく所定方向とは異なる方向(例えば側方)から撮像した画像、特定の部品を実装した基板に付されたマークの画像、特定の部品を採取した部品採取部に付されたマークの画像、特定の部品を供給する部品供給部の画像などが挙げられる。また、部品実装システムが、部品実装機から搬出された基板を検査する検査機を含み、検査機が、検査を行っている間に基板の画像を撮像して記憶部に記憶するものである場合、「特定の部品を実装するのに利用した画像」としては、例えば、検査機で撮像された画像であって特定の部品が実装された基板の画像などが挙げられる。 Here, the ``image used to mount a specific component'' includes, for example, an image of a specific component picked up by the component picking unit taken from a predetermined direction (for example, from below). An image captured from (for example, the side), an image of a mark attached to a board on which a specific component is mounted, an image of a mark attached to a component picking section where a specific component is picked, and a component supply that supplies a specific component. image of the part. Further, when the component mounting system includes an inspection machine that inspects the board unloaded from the component mounter, and the inspection machine captures an image of the board during inspection and stores the image in the storage unit. , "image used to mount a specific component" includes, for example, an image of a board on which a specific component is mounted, which is an image captured by an inspection machine.
本開示の画像管理方法において、前記工程(a)では、前記所定の条件として、特定の部品実装機で撮像された前記基板の所定のマークを利用して実装したものに関する画像であるという条件を用いてもよい。特定の部品実装機で部品を実装したときに不備が生じた場合には、その部品実装機で基板の所定のマークに基づく基板の位置の認識がずれたことが原因になっていることがある。そうした場合には、そのマークを利用して実装した部品の全部又はほとんどにおいて実装不備が生じる。こうしたことを容易に調べることができる。 In the image management method of the present disclosure, in the step (a), the predetermined condition is that the image is an image of an object mounted using a predetermined mark of the board imaged by a specific component mounter. may be used. If a defect occurs when a component is mounted by a specific component mounter, the cause may be that the component mounter misunderstood the position of the board based on the predetermined marks on the board. . In such a case, all or most of the parts mounted using the mark are defective in mounting. You can easily check these things.
1 部品実装システム、2 通信ネットワーク、10 はんだペースト印刷機、12 はんだペースト検査機、13,15,17 中間コンベア、14 実装ライン、16 リフロー炉、18 基板外観検査機、20,20A~20D 部品実装機、20a 本体枠、21 部品供給装置、22 フィーダ台、23 フィーダ、24 基板搬送装置、25 ヘッド、26 ノズル、27 XYロボット、28 側方カメラ、29 マークカメラ、30 パーツカメラ、31 制御装置、32,51,61 CPU、33,52,62 ROM、34,53,63 HDD、35,54,64 RAM、36,55,65 入出力インターフェース、37,56,66 バス、40 基板、42 基準マーク、50 生産管理サーバ、57,67 入力デバイス、58,68 ディスプレイ、60 画像保存サーバ、70,80 ファイル。 1 component mounting system, 2 communication network, 10 solder paste printer, 12 solder paste inspection machine, 13, 15, 17 intermediate conveyor, 14 mounting line, 16 reflow oven, 18 board appearance inspection machine, 20, 20A to 20D component mounting machine, 20a body frame, 21 parts supply device, 22 feeder table, 23 feeder, 24 substrate transfer device, 25 head, 26 nozzle, 27 XY robot, 28 side camera, 29 mark camera, 30 parts camera, 31 control device, 32, 51, 61 CPU, 33, 52, 62 ROM, 34, 53, 63 HDD, 35, 54, 64 RAM, 36, 55, 65 input/output interface, 37, 56, 66 bus, 40 board, 42 reference mark , 50 production control server, 57, 67 input device, 58, 68 display, 60 image storage server, 70, 80 file.
Claims (5)
前記部品実装機は、部品移載部と、部品供給部と、基板搬送部と、撮像部とを備え、前記部品移載部が前記部品供給部から供給される部品を採取して前記基板搬送部によって搬入された基板に実装する作業を繰り返したあと前記基板搬送部によって前記基板を搬出する動作を行い、前記基板搬送部が前記基板を搬入してから前記基板を搬出するまでの間に前記部品実装機の各部、前記部品及び前記基板の少なくとも1つを被写体として前記被写体の少なくとも1枚の画像を前記撮像部で撮像し、
前記画像は、所定の記憶部に保存されるものであり、
前記画像管理方法は、
(a)前記部品実装機でn枚目の基板にm番目に実装された部品を処理対象に選定し(m,nは自然数)、前記記憶部に記憶された前記画像のうち前記処理対象の部品の実装に関連する所定の条件を満たすものを1つのファイルにまとめて前記記憶部に保存する工程と、
(b)前記所定の条件をキーとして前記記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示する工程と、
を含む画像管理方法。 An image management method used in a component mounting system including a component mounting machine,
The component mounter includes a component transfer section, a component supply section, a board transfer section, and an imaging section. After repeating the work of mounting on the board carried in by the board transfer part, the board transfer part carries out the operation of carrying out the board, and the board transfer part carries in the board until the board is carried out. capturing at least one image of the subject by the imaging unit, with at least one of the parts of the mounter, the component, and the board as the subject;
The image is stored in a predetermined storage unit,
The image management method includes:
(a) select the m-th component mounted on the n-th board by the component mounter as a processing target (m and n are natural numbers) ; a step of collecting components satisfying predetermined conditions related to component mounting into one file and storing the file in the storage unit;
(b) searching for files stored in the storage unit using the predetermined condition as a key, and displaying files hit by the search on a screen;
image management methods including;
前記部品実装機は、部品移載部と、部品供給部と、基板搬送部と、撮像部とを備え、前記部品移載部が前記部品供給部から供給される部品を採取して前記基板搬送部によって搬入された基板に実装する作業を繰り返したあと前記基板搬送部によって前記基板を搬出する動作を行い、前記基板搬送部が前記基板を搬入してから前記基板を搬出するまでの間に前記部品実装機の各部、前記部品及び前記基板の少なくとも1つを被写体として前記被写体の少なくとも1枚の画像を前記撮像部で撮像し、 The component mounter includes a component transfer section, a component supply section, a board transfer section, and an imaging section. After repeating the work of mounting on the board carried in by the board transfer part, the board transfer part carries out the operation of carrying out the board, and the board transfer part carries in the board until the board is carried out. capturing at least one image of the subject by the imaging unit, with at least one of the parts of the mounter, the component, and the board as the subject;
前記画像は、所定の記憶部に保存されるものであり、 The image is stored in a predetermined storage unit,
前記画像管理方法は、 The image management method includes:
(a)前記記憶部に記憶された前記画像のうち、前記部品実装機で撮像されたn枚目の基板の基準マークを利用して実装したものに関する画像(nは自然数)を1つのファイルにまとめて前記記憶部に保存する工程と、(a) Among the images stored in the storage unit, an image (n is a natural number) related to mounting using the reference mark of the n-th substrate imaged by the component mounting machine is stored in one file. a step of collectively storing in the storage unit;
(b)前記部品実装機で撮像されたn枚目の基板の基準マークを利用して実装したものに関する画像であることをキーとして前記記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示する工程と、(b) Searching the file stored in the storage unit using the image of the n-th board imaged by the component mounter as a key that is mounted using the reference mark of the nth board, and hits in the search. displaying the resulting file on the screen;
を含む画像管理方法。 image management methods including;
請求項1又は2に記載の画像管理方法。 In the step (a), when the images satisfying the predetermined condition among the images stored in the storage unit are grouped into one file and stored in the storage unit, each image included in the file is added to the image. add information that identifies the
3. The image management method according to claim 1 or 2 .
前記部品実装機は、部品移載部と、部品供給部と、基板搬送部と、撮像部とを備え、前記部品移載部が前記部品供給部から供給される部品を採取して前記基板搬送部によって搬入された基板に実装する作業を繰り返したあと前記基板搬送部によって前記基板を搬出する動作を行い、前記基板搬送部が前記基板を搬入してから前記基板を搬出するまでの間に前記部品実装機の各部、前記部品及び前記基板の少なくとも1つを被写体として前記被写体の少なくとも1枚の画像を前記撮像部で撮像し、
前記画像は、所定の記憶部に保存されるものであり、
前記画像管理装置は、
前記部品実装機でn枚目の基板にm番目に実装された部品を処理対象に選定し(m,nは自然数)、前記記憶部に記憶された前記画像のうち前記処理対象の部品の実装に関連する所定の条件を満たすものを1つのファイルにまとめて前記記憶部に保存するファイル管理部と、
前記所定の条件をキーとして前記記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示するファイル検索部と、
を備える画像管理装置。 An image management device used in a component mounting system including a component mounting machine,
The component mounter includes a component transfer section, a component supply section, a board transfer section, and an imaging section. After repeating the work of mounting on the board carried in by the board transfer part, the board transfer part carries out the operation of carrying out the board, and the board transfer part carries in the board until the board is carried out. capturing at least one image of the subject by the imaging unit, with at least one of the parts of the mounter, the component, and the board as the subject;
The image is stored in a predetermined storage unit,
The image management device
The m-th component mounted on the n-th board by the component mounter is selected as an object to be processed (m and n are natural numbers), and the component to be processed is mounted from the image stored in the storage unit. A file management unit that collects files that satisfy a predetermined condition related to the
a file search unit that searches for files stored in the storage unit using the predetermined condition as a key and displays files hit by the search on a screen;
An image management device comprising:
前記部品実装機は、部品移載部と、部品供給部と、基板搬送部と、撮像部とを備え、前記部品移載部が前記部品供給部から供給される部品を採取して前記基板搬送部によって搬入された基板に実装する作業を繰り返したあと前記基板搬送部によって前記基板を搬出する動作を行い、前記基板搬送部が前記基板を搬入してから前記基板を搬出するまでの間に前記部品実装機の各部、前記部品及び前記基板の少なくとも1つを被写体として前記被写体の少なくとも1枚の画像を前記撮像部で撮像し、 The component mounter includes a component transfer section, a component supply section, a board transfer section, and an imaging section. After repeating the work of mounting on the board carried in by the board transfer part, the board transfer part carries out the operation of carrying out the board, and the board transfer part carries in the board until the board is carried out. capturing at least one image of the subject by the imaging unit, with at least one of the parts of the mounter, the component, and the board as the subject;
前記画像は、所定の記憶部に保存されるものであり、 The image is stored in a predetermined storage unit,
前記画像管理装置は、 The image management device
前記記憶部に記憶された前記画像のうち、前記部品実装機で撮像されたn枚目の基板の基準マークを利用して実装したものに関する画像(nは自然数)を1つのファイルにまとめて前記記憶部に保存するファイル管理部と、 Among the images stored in the storage unit, images (n is a natural number) related to mounting using the reference mark of the n-th substrate imaged by the component mounting machine are compiled into one file. a file management unit for storing in a storage unit;
前記部品実装機で撮像されたn枚目の基板の基準マークを利用して実装したものに関する画像であることをキーとして前記記憶部に保存されたファイルを検索してその検索でヒットしたファイルを画面に表示するファイル検索部と、 The file stored in the storage unit is searched using the key that the image is an image related to the component mounted using the reference mark of the n-th board imaged by the component mounter, and the file hit by the search is selected. a file search section displayed on the screen;
を備える画像管理装置。 An image management device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018059906A JP7149723B2 (en) | 2018-03-27 | 2018-03-27 | Image management method and image management device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018059906A JP7149723B2 (en) | 2018-03-27 | 2018-03-27 | Image management method and image management device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019175914A JP2019175914A (en) | 2019-10-10 |
JP7149723B2 true JP7149723B2 (en) | 2022-10-07 |
Family
ID=68167242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018059906A Active JP7149723B2 (en) | 2018-03-27 | 2018-03-27 | Image management method and image management device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7149723B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022219744A1 (en) * | 2021-04-14 | 2022-10-20 | 株式会社Fuji | Determination device |
JPWO2023286155A1 (en) * | 2021-07-13 | 2023-01-19 | ||
WO2023037513A1 (en) * | 2021-09-10 | 2023-03-16 | ヤマハ発動機株式会社 | Component mounting system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000114692A (en) | 1998-10-06 | 2000-04-21 | Hitachi Ltd | System for monitoring quality of electronic circuit and condition, mounting circuit board and manufacturing system thereof |
JP2013074064A (en) | 2011-09-27 | 2013-04-22 | Hitachi High-Technologies Corp | Electronic component mounting apparatus and electronic component mounting method |
JP2014110335A (en) | 2012-12-03 | 2014-06-12 | Juki Corp | Management system |
WO2014136211A1 (en) | 2013-03-05 | 2014-09-12 | 富士機械製造株式会社 | Component-mounting machine |
-
2018
- 2018-03-27 JP JP2018059906A patent/JP7149723B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000114692A (en) | 1998-10-06 | 2000-04-21 | Hitachi Ltd | System for monitoring quality of electronic circuit and condition, mounting circuit board and manufacturing system thereof |
JP2013074064A (en) | 2011-09-27 | 2013-04-22 | Hitachi High-Technologies Corp | Electronic component mounting apparatus and electronic component mounting method |
JP2014110335A (en) | 2012-12-03 | 2014-06-12 | Juki Corp | Management system |
WO2014136211A1 (en) | 2013-03-05 | 2014-09-12 | 富士機械製造株式会社 | Component-mounting machine |
Also Published As
Publication number | Publication date |
---|---|
JP2019175914A (en) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4767995B2 (en) | Component mounting method, component mounting machine, mounting condition determining method, mounting condition determining apparatus, and program | |
JP7149723B2 (en) | Image management method and image management device | |
JP6301635B2 (en) | Board inspection method | |
JP6487327B2 (en) | Mounting inspection device | |
JP5857190B2 (en) | Electronic component mounting system | |
CN110168458B (en) | Management device, installation-related device, and installation system | |
JP6754428B2 (en) | Component mounting device and component mounting system | |
JP5190127B2 (en) | Substrate processing equipment | |
JP2010171208A (en) | Electronic component mounting method, and electronic component mounting device | |
JP6577475B2 (en) | Component mounting equipment | |
JP2006351911A (en) | Electronic-component mounting apparatus and method for verifying component sucking position of sucking nozzle present therein | |
JP4664550B2 (en) | Electric circuit manufacturing apparatus and electric circuit manufacturing method | |
JP6904978B2 (en) | Parts mounting machine | |
JP2004095978A (en) | Method and system for contra-substrate working | |
JP2006228799A (en) | Inspection result informing apparatus | |
JP7139483B2 (en) | Board-to-board work machine and board-to-board work method | |
JP6424236B2 (en) | Anti-substrate work management device | |
WO2021144971A1 (en) | Inspection device and inspection method | |
JP7197705B2 (en) | Mounting equipment, mounting system, and inspection mounting method | |
JP4907493B2 (en) | Mounting condition determining method and mounting condition determining apparatus | |
JP2005064026A (en) | Component mounting equipment | |
WO2023139789A1 (en) | Preparation device, mounting device, mounting system, and information processing method | |
WO2023162142A1 (en) | Image confirmation device and image confirmation method | |
WO2024029048A1 (en) | Image output device and image output system | |
JP7124126B2 (en) | Component mounter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220315 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7149723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |