WO2018096577A1 - 画像処理システム及び画像処理方法 - Google Patents

画像処理システム及び画像処理方法 Download PDF

Info

Publication number
WO2018096577A1
WO2018096577A1 PCT/JP2016/084577 JP2016084577W WO2018096577A1 WO 2018096577 A1 WO2018096577 A1 WO 2018096577A1 JP 2016084577 W JP2016084577 W JP 2016084577W WO 2018096577 A1 WO2018096577 A1 WO 2018096577A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
reference mark
imaging
imaging object
Prior art date
Application number
PCT/JP2016/084577
Other languages
English (en)
French (fr)
Inventor
幹也 鈴木
秀一郎 鬼頭
雅史 天野
雄哉 稲浦
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2016/084577 priority Critical patent/WO2018096577A1/ja
Priority to JP2018552287A priority patent/JP6608543B2/ja
Publication of WO2018096577A1 publication Critical patent/WO2018096577A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image

Definitions

  • the present specification describes an image processing system that creates a single high-resolution image from a plurality of images acquired by moving a camera or an imaging target object a plurality of times and recognizes the imaging target object from the high-resolution image. And an image processing method.
  • Super-resolution technology is a technology that makes it possible to recognize fine objects by converting the images to high-resolution images when it is difficult to recognize fine objects because of the low resolution of the image captured by the camera.
  • Patent Document 1 Japanese Patent Laid-Open No. 11-191157
  • Patent Document 2 International Publication No. 2015/083220
  • this super-resolution technique is performed by moving a camera or an imaging object.
  • Multi-frame super-resolution also called reconfigurable super-resolution
  • the learning type single-frame super-resolution that creates a single high-resolution image from the low-resolution image.
  • the latter learning-type single-frame super-resolution requires the learning of the relationship between the low-resolution image and the high-resolution image, which are a large number of teacher data, in advance. is there.
  • the number of teacher data required for learning becomes enormous, so prepare the necessary number of teacher data. This is difficult, and it is difficult to use learning type single-frame super-resolution.
  • Patent Documents 1 and 2 uses multi-frame super-resolution. Can not. For example, when an image of a foreign object such as a minute scratch or minute dust attached to a surface where a portion serving as a reference position does not exist in the field of view of the camera among the imaging target object, a plurality of images obtained by imaging the imaging target object Since there is no portion serving as a reference position in one low-resolution image, a plurality of low-resolution images cannot be aligned, and multiframe super-resolution cannot be used.
  • the image processing apparatus includes a camera that captures an image of an imaging target and an image processing computer that processes an image captured by the camera, and the image processing computer includes a plurality of images captured from the imaging target.
  • the image processing system that creates one high-resolution image from an image and recognizes the object to be imaged from the high-resolution image, laser light or visible light is irradiated into the field of view of the camera of the imaged object
  • a reference mark projection device that projects a reference mark
  • a moving device that moves the camera or the imaging object
  • the image processing computer projects the image on the imaging object by the reference mark projection device.
  • the camera or the imaging object is brought into the field of view of the camera by the moving device in a state in which the relative positional relationship between the reference mark and the imaging object is kept constant.
  • By moving the image within the range where the reference mark fits and capturing a plurality of times a plurality of images captured at different positions are obtained, and the plurality of images are obtained with reference to the position of the reference mark in each image.
  • a single high-resolution image is created by alignment and integration.
  • the reference mark projection device for projecting the reference mark by irradiating laser light or visible light within the field of view of the camera in the imaging target object, a portion that becomes a reference position on the imaging target object ( Even if there is no shape, mark, pattern, etc. that can be uniquely identified by image recognition, the reference mark is projected by irradiating the visual field of the camera of the object to be imaged with the reference mark projection device.
  • the reference mark projection device By projecting and capturing a plurality of images, it is possible to align the plurality of images with the position of the reference mark in each image as the reference position.
  • the imaging object even when there is no portion serving as a reference position in the imaging object itself, it is possible to use multi-frame super-resolution that creates one high-resolution image from a plurality of images. It is possible to accurately recognize a foreign object such as a minute scratch or minute dust, a minute two-dimensional code, or the like attached to the surface of the object to be imaged by the image. Moreover, after the imaging is completed, the reference mark is completely removed from the imaging object by simply taking out the imaging object from the irradiation range of the laser beam or the like of the reference mark projection device. Will not have any effect.
  • the reference mark projection device may be provided exclusively for projecting the reference mark, or the object to be imaged is irradiated with laser light or visible light to measure the height of the object to be imaged or three-dimensionally measured.
  • An optical measurement device that performs the above may be used as a reference mark projection device.
  • a reference mark attaching device for attaching the reference mark within the field of view of the camera of the imaging target may be provided. Even in this case, by attaching the reference mark within the field of view of the camera of the imaging target by the reference mark attaching device, even if there is no portion serving as the reference position on the imaging target itself, Resolution can be used.
  • the reference mark may be attached with a paint, a colored adhesive, a seal or the like that can be removed from the object to be imaged. In this way, it is possible to remove the reference mark by wiping or removing the reference mark from the imaging target after imaging, and the reference mark has no influence on the quality of the imaging target.
  • FIG. 1 is a side view illustrating a configuration of a main part of the component mounter according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the control system of the component mounter.
  • FIG. 3 is a perspective view for explaining the operation of capturing two images by moving the camera relative to the substrate surface to be imaged.
  • FIG. 4 is a diagram illustrating a first image acquired by the first imaging.
  • FIG. 5 is a diagram illustrating a second image acquired by the second imaging.
  • FIG. 6 is a flowchart illustrating a process flow of the multi-frame super-resolution processing program according to the first embodiment.
  • FIG. 7 is a flowchart showing the flow of processing of the multi-frame super-resolution processing program of the second embodiment.
  • a first embodiment will be described with reference to FIGS. First, the configuration of the component mounting machine will be described with reference to FIG.
  • a conveyor 13 for conveying the circuit board 12 is provided on the base table 11 of the component mounting machine (hereinafter, the conveyance direction of the circuit board 12 by the conveyor 13 is defined as the X direction, and the perpendicular direction thereof is defined as the Y direction. ).
  • one support member 15a is fixed at a fixed position, and the opposite support member
  • the width of the conveyor 13 is adjusted to the width of the circuit board 12 by adjusting the position in the Y direction of 15b along the guide rail 16 by a feed screw mechanism (not shown) or the like. It can be done.
  • a feeder set base 22 is provided on the side of the conveyor 13 on the base base 11, and a plurality of feeders 23 are set on the feeder set base 22 so as to be detachable in the Y direction.
  • Each feeder 23 is set with a reel 20 around which a component supply tape that accommodates a large number of components at an equal pitch is wound, and a leading component of the component supply tape drawn out from the reel 20 is positioned at a component suction position (suction nozzle). 26, the component is set so as to be positioned at a position where the component is picked up.
  • This component mounting machine is provided with a head moving device 25 (see FIG. 2) that moves the mounting head 24 in the horizontal direction (XY direction) and the vertical direction (Z direction).
  • the mounting head 24 holds one or a plurality of suction nozzles 26 that sucks the components sent to the component suction position by the feeder 23.
  • the component mounter moves from the mounting head 24 and images the reference mark of the circuit board 12 from above, and picks up the component sucked by the suction nozzle 26 from below.
  • a component imaging camera 35 (see FIG. 2) is provided.
  • the component mounter is irradiated with laser light or visible light from above or obliquely upward on the surface of the circuit board 12 carried into a predetermined position by the conveyor 13, and a reference mark 37 (FIGS. 3 to 5).
  • a reference mark projection device 38 for projecting a reference is provided.
  • the reference mark 37 may have any shape as long as it can be uniquely identified by image recognition, and may be a mark, a pattern, or the like.
  • the reference mark projection device 38 may be provided only for the projection of the reference mark 37, or the imaging object such as the circuit board 12 is irradiated with laser light or visible light to measure the height of the imaging object.
  • this optical measurement device may be used as the reference mark projection device 37.
  • the position of the reference mark 37 projected onto the surface of the circuit board 12 is a position that falls within the field of view of the mark imaging camera 36 that images the surface of the circuit board 12 and is integrated by multi-frame super-resolution described later. This position is commonly included in a plurality of images (see FIGS. 3 to 5).
  • the control device 31 of the component mounting machine includes an input device 32 such as a keyboard, a mouse, a touch panel, a hard disk for storing a multi-frame super-resolution processing program, image data, etc.
  • a storage device 33 such as a RAM and a ROM, and a display device 34 such as a liquid crystal display and a CRT are connected.
  • the control device 31 of this component mounting machine recognizes the reference mark by picking up the reference mark of the circuit board 12 which is carried and clamped by the conveyor 13 and clamped from above with the camera 36 for picking up the mark.
  • the mounting head 24 is moved along the path of the component suction position ⁇ the component imaging position ⁇ the component mounting position, and the component supplied from the feeder 23 Is picked up by the pick-up nozzle 26 of the mounting head 24, the part is picked up by a camera 35 for picking up the part, and the picked-up image (position X, Y and angle ⁇ ) of the part is measured. Then, the operation of correcting the deviation of the position X, Y and angle ⁇ of the component and mounting the component on the circuit board 11 is controlled.
  • control device 31 of the component mounter also functions as an image processing computer that executes multi-frame super-resolution processing.
  • a high resolution image is created from a plurality of images captured by moving the mark imaging camera 36 with respect to the circuit board 12, and the surface of the circuit board 12 is observed using the high resolution image.
  • a foreign object such as a minute scratch or a minute dust attached to the surface of the circuit board 12 is recognized.
  • the laser beam or the reference mark projection device 38 is placed in the field of view of the camera 36 on the surface of the circuit board 12.
  • the reference mark 37 is projected by irradiating visible light, and the camera 36 is moved within the field of view of the camera 36 by the head moving device 25 in a state where the relative positional relationship between the reference mark 37 and the circuit board 12 is kept constant. And moving the image within a range where the reference mark 37 is accommodated, and capturing a plurality of images, a plurality of images captured at different positions are obtained, and a plurality of images are obtained with reference to the position of the reference mark 37 in each image. Align and integrate to create a single high-resolution image.
  • the multi-frame super-resolution processing of the first embodiment described above is executed as follows in accordance with the multi-frame super-resolution processing program of FIG. 6 by the control device 31 (image processing computer) of the component mounter.
  • the multi-frame super-resolution processing program in FIG. 6 is an example of creating one high-resolution image from two low-resolution images (first image and second image), and three or more low-resolution images. Needless to say, one high-resolution image may be created.
  • the multi-frame super-resolution processing program in FIG. 6 is performed before or after the reference mark on the circuit board 12 is imaged by the mark imaging camera 36 every time the circuit board 12 is carried into a predetermined position and clamped by the conveyor 13. It is activated.
  • this program is started, first, in step 101, the laser is projected by the reference mark projection device 38 from above or obliquely upward to a position that is commonly included in two images to be described later on the surface of the circuit board 12.
  • the reference mark 37 is projected by irradiating light or visible light.
  • step 102 the camera 36 captures the surface of the circuit board 12 and acquires the first image (first imaging).
  • step 103 the head moving device 25 moves the camera 36 within a range in which the reference mark 37 is within the field of view of the camera 36, and then proceeds to step 104 where the camera 36 moves the surface of the circuit board 12. Imaging is performed to obtain a second image (second imaging).
  • the first image and the second image are processed, and the positions (X1, Y1) and (X2, Y2) of the reference mark 37 in each image are measured. 4 and 5, the positions (X1, Y1) and (X2, Y2) of the reference mark 37 in each image are measured with the upper right corner of each image as the origin (0, 0). However, the position (X1, Y1), (X2, Y2) of the reference mark 37 in each image with the other corner (for example, the lower left corner) of each image and the center point of each image as the origin (0, 0). May be measured.
  • step 106 the shift amounts ⁇ X and ⁇ Y between both images are calculated.
  • ⁇ X
  • ⁇ Y
  • step 107 both images are aligned and integrated so that the positions of the reference marks 37 in each image coincide with each other based on the shift amounts ⁇ X and ⁇ Y between the images, and one high resolution is obtained. Create an image and exit this program.
  • control device 31 of the component mounting machine processes the created high-resolution image and observes the surface of the circuit board 12, and there is a foreign object such as a minute scratch or minute dust attached to the surface of the circuit board 12. If you do, you will recognize it.
  • the reference mark projection device 38 when imaging the surface of the circuit board 12 that is an object to be imaged, applies laser light or visible light within the field of view of the camera 36 on the surface of the circuit board 12. Since the reference mark 37 is projected by irradiating the surface of the circuit board 12, there is no portion (shape, mark, pattern, etc., which can be uniquely specified by image recognition) as the reference position on the surface of the circuit board 12 itself. In addition, the reference mark projection device 38 projects the reference mark 37 with laser light or visible light into the field of view of the camera 36 on the surface of the circuit board 12 to capture a plurality of images. A plurality of images can be aligned using the position of the mark 37 as a reference position.
  • multi-frame super-resolution that creates one high-resolution image from a plurality of images can be used.
  • super-resolution it is possible to accurately recognize foreign objects such as minute scratches and minute dust on the surface of the circuit board 12, minute two-dimensional codes, and the like.
  • the reference mark 37 is completely removed from the circuit board 12 by simply discharging the circuit board 12 from the irradiation range of the laser beam or the like of the reference mark projection device 38. There is no effect on the quality of the substrate 12.
  • the circuit board 12 that is the imaging target is fixed and the camera 36 is moved. On the contrary, the camera 36 is fixed. Then, the circuit board 12 may be moved by the conveyor 13 or the like, and in this case, the circuit board 12 is arranged so that the relative positional relationship between the reference mark 37 projected on the circuit board 12 and the circuit board 12 is not shifted.
  • the reference mark projection device 38 may be moved in synchronization with the movement of 12 so that the relative positional relationship between the reference mark 37 and the circuit board 12 is kept constant.
  • the reference mark 37 is projected by irradiating the circuit board 12 that is the imaging target with laser light or visible light from above or obliquely upward by the reference mark projection device 38.
  • the reference mark 37 may be projected by irradiating laser light or visible light from below or obliquely below the circuit board 12. .
  • Example 2 will be described with reference to FIG. However, substantially the same parts as those in the first embodiment are denoted by the same reference numerals, description thereof is omitted or simplified, and different parts are mainly described.
  • the reference mark projection device 38 projects the reference mark 37 by irradiating the surface of the circuit board 12 with laser light or visible light.
  • the reference mark projection device 38 includes the reference mark projection device 38.
  • a reference mark attaching device (not shown) for attaching a reference mark in the field of view of the camera 36 on the surface of the circuit board 12 that is an imaging object is provided.
  • the reference mark may be attached with a paint, a colored adhesive, a seal or the like that can be removed from the surface of the circuit board 12 that is the imaging target. In this way, the reference mark can be removed by wiping or removing the reference mark from the surface of the circuit board 12 after completion of imaging, and the reference mark affects the quality of the circuit board 12.
  • the reference mark may be left without being removed from the surface of the circuit board 12 even after the imaging is completed.
  • the position where the reference mark is attached is a position where there is no silk character, traceability display, wiring pattern, or the like. If the position is set so as not to affect the production and the appearance of the product, the reference mark does not affect the quality of the circuit board 12.
  • the multi-frame super-resolution processing of the second embodiment is executed by the control device 31 (image processing computer) of the component mounter according to the multi-frame super-resolution processing program of FIG.
  • the multi-frame super-resolution processing program in FIG. 7 is merely a change of the processing in step 101 of the multi-frame super-resolution processing program in FIG. 6 described in the first embodiment to step 101a.
  • step 101a the reference mark is attached to the field of view of the camera 36 on the surface of the circuit board 12 by the reference mark attaching device with paint, colored adhesive, seal, etc., and then the processing in steps 102 to 107 is performed.
  • both the images are aligned and integrated so that the positions of the reference marks in each image coincide with each other to create one high-resolution image.
  • a bar code, 2D code, or the like may be attached as a reference mark.
  • the reference mark may be used as a bar code, 2D code, or the like without removing the reference mark after imaging. .
  • the circuit board 12 that is the imaging target is fixed and the camera 36 is moved.
  • the camera 36 is fixed and fixed.
  • the circuit board 12 may be moved by the conveyor 13 or the like.
  • the circuit board 12 is the imaging object.
  • the large component sucked to the suction nozzle is used as the imaging target.
  • a reference mark may be projected or attached to the lower surface of the large component, and the lower surface of the large component may be imaged a plurality of times with the component imaging camera 35 to create a high-resolution image.
  • the present invention is not limited to the first and second embodiments, but can be implemented by providing a dedicated camera for multi-frame super-resolution, widely applied to industrial equipment such as machine tools other than component mounting machines, etc. Needless to say, various modifications can be made without departing from the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)

Abstract

撮像対象物である回路基板(12)の表面のうちのカメラ(36)の視野内に、基準印投影装置(38)によってレーザ光又は可視光を照射して基準印(37)を投影する。この後、回路基板と基準印との相対的な位置関係を一定に保った状態でカメラ又は回路基板を当該カメラの視野内に基準印が収まる範囲内で移動させて複数回撮像することで、異なる位置で撮像した複数枚の画像を取得する。この後、各画像内の基準印の位置を基準にして前記複数枚の画像を位置合わせして統合して1枚の高解像度画像を作成する。

Description

画像処理システム及び画像処理方法
 本明細書は、カメラ又は撮像対象物を移動させて複数回撮像して取得した複数枚の画像から1枚の高解像度画像を作成してその高解像度画像から撮像対象物を認識する画像処理システム及び画像処理方法を開示したものである。
 カメラで撮像した画像の解像度が低いために微細な対象物の認識が困難な場合に、その画像を高解像度画像に変換して微細な対象物の認識を可能とする技術として超解像技術が知られている。この超解像技術は、特許文献1(特開平11-191157号公報)、特許文献2(国際公開2015/083220号公報)に記載されているように、カメラ又は撮像対象物を移動させて複数回撮像して取得した複数枚の低解像度画像から1枚の高解像度画像を作成するマルチフレーム超解像(再構成型超解像とも呼ばれる)と、ディープラーニング等の機械学習を用いて1枚の低解像度画像から1枚の高解像度画像を作成する学習型シングルフレーム超解像とに大別される。
 後者の学習型シングルフレーム超解像は、事前に多数の教師データとなる低解像度画像と高解像度画像との関係を学習しておく必要があるため、事前の学習に長い時間がかかるという欠点がある。とりわけ、部品実装機のように、取り扱う撮像対象物(電子部品や回路基板)の品種が多い場合は、学習に必要な教師データの数が膨大になるため、必要な数の教師データを用意すること自体が困難であり、学習型シングルフレーム超解像の使用が困難である。
 そのため、部品実装機のように、取り扱う撮像対象物の品種が多い場合は、特許文献1、2のように、事前の学習が不要なマルチフレーム超解像が使用される。
特開平11-191157号公報 国際公開2015/083220号公報
 特許文献1、2に記載されたマルチフレーム超解像技術では、カメラ又は撮像対象物を移動させて複数回撮像して取得した複数枚の低解像度画像を位置合わせして統合して1枚の高解像度画像を作成するが、この際に、各低解像度画像の中の共通の基準位置となる部分(画像認識により一義的に特定可能な形状、マーク、パターン等)を認識して、その基準位置となる部分を基準にして複数枚の低解像度画像を位置合わせして統合して1枚の高解像度画像を作成するようにしている。
 しかし、撮像対象物のうちのカメラの視野内(低解像度画像)に基準位置となる部分が存在しない場合があり、この場合は、特許文献1、2の方法では、マルチフレーム超解像を使用できない。例えば、撮像対象物のうちのカメラの視野内に基準位置となる部分が存在しない表面に付いた微小な傷や微小な塵等の異物を画像認識する場合に、当該撮像対象物を撮像した複数枚の低解像度画像の中に基準位置となる部分が存在しないため、複数枚の低解像度画像を位置合わせすることができず、マルチフレーム超解像を使用できない。
 上記課題を解決するために、撮像対象物を撮像するカメラと、前記カメラで撮像した画像を処理する画像処理用コンピュータとを備え、前記画像処理用コンピュータは、前記撮像対象物を撮像した複数枚の画像から1枚の高解像度画像を作成してその高解像度画像から前記撮像対象物を認識する画像処理システムにおいて、前記撮像対象物のうちの前記カメラの視野内にレーザ光又は可視光を照射して基準印を投影する基準印投影装置と、前記カメラ又は前記撮像対象物を移動させる移動装置とを備え、前記画像処理用コンピュータは、前記基準印投影装置により前記撮像対象物に投影した前記基準印と前記撮像対象物との相対的な位置関係を一定に保った状態で前記移動装置により前記カメラ又は前記撮像対象物を前記カメラの視野内に前記基準印が収まる範囲内で移動させて複数回撮像することで、異なる位置で撮像した複数枚の画像を取得し、各画像内の前記基準印の位置を基準にして前記複数枚の画像を位置合わせして統合して1枚の高解像度画像を作成するようにしたものである。
 この構成では、撮像対象物のうちのカメラの視野内にレーザ光又は可視光を照射して基準印を投影する基準印投影装置を備えているため、撮像対象物自体に基準位置となる部分(画像認識により一義的に特定可能な形状、マーク、パターン等)が存在しなくても、基準印投影装置によって撮像対象物のうちのカメラの視野内にレーザ光又は可視光を照射して基準印を投影して複数枚の画像を撮像することで、各画像内の基準印の位置を基準位置として複数枚の画像を位置合わせすることができる。これにより、撮像対象物自体に基準位置となる部分が存在しない場合でも、複数枚の画像から1枚の高解像度画像を作成するマルチフレーム超解像を使用することができて、マルチフレーム超解像により当該撮像対象物の表面に付いた微小な傷や微小な塵等の異物、微小な2次元コード等を精度良く画像認識することができる。しかも、撮像終了後は、基準印投影装置のレーザ光等の照射範囲から撮像対象物を取り出すだけで、当該撮像対象物から基準印が完全に消えて無くなるため、基準印が撮像対象物の品質に何ら影響を及ぼすことがない。
 この場合、基準印投影装置は、基準印の投影専用のものを設けても良いし、或は、撮像対象物にレーザ光又は可視光を照射して撮像対象物の高さ計測又は三次元計測を行う光学的計測装置を、基準印投影装置として利用するようにしても良い。
 或は、基準印投影装置に代えて、撮像対象物のうちのカメラの視野内に基準印を付着させる基準印付着装置を設けても良い。このようにしても、基準印付着装置によって撮像対象物のうちのカメラの視野内に基準印を付着させることで、当該撮像対象物自体に基準位置となる部分が存在しない場合でも、マルチフレーム超解像を使用することができる。
 この場合、基準印は、撮像対象物から除去可能な塗料、色付きの接着剤、シール等で付着するようにすると良い。このようにすれば、撮像後に撮像対象物から基準印を拭き取ったり、剥がし取ったり等して基準印を除去することができ、基準印が撮像対象物の品質に何ら影響を及ぼすことがない。
図1は実施例1の部品実装機の主要部の構成を示す側面図である。 図2は部品実装機の制御系の構成を示すブロック図である。 図3は撮像対象の基板面に対してカメラを相対移動させて2枚の画像を撮像する動作を説明する斜視図である。 図4は1回目の撮像で取得した第1画像を示す図である。 図5は2回目の撮像で取得した第2画像を示す図である。 図6は実施例1のマルチフレーム超解像処理プログラムの処理の流れを示すフローチャートである。 図7は実施例2のマルチフレーム超解像処理プログラムの処理の流れを示すフローチャートである。
 以下、本発明を実施するための形態を部品実装機の画像処理システムに適用して具体化した2つの実施例1,2を説明する。
 実施例1を図1乃至図6に基づいて説明する。
 まず、図1に基づいて部品実装機の構成を説明する。
 部品実装機のベース台11上には、回路基板12を搬送するコンベア13が設けられている(以下、このコンベア13による回路基板12の搬送方向をX方向とし、その直角方向をY方向とする)。このコンベア13を構成する2本のコンベアレール13a,13bとコンベアベルト14a,14bを支持する支持部材15a,15bのうち、片方の支持部材15aを、一定位置に固定し、その反対側の支持部材15bのY方向位置を送りねじ機構(図示せず)等によってガイドレール16に沿って調整することで、コンベア13の幅(コンベアレール13a,13bの間隔)を回路基板12の幅に合わせて調整できるようになっている。
 また、ベース台11上のコンベア13の側方には、フィーダセット台22が設けられ、このフィーダセット台22に複数のフィーダ23がY方向に着脱可能にセットされている。各フィーダ23には、多数の部品を等ピッチで収容した部品供給テープが巻回されたリール20がセットされ、該リール20から引き出された部品供給テープの先頭の部品が部品吸着位置(吸着ノズル26で部品を吸着する位置)に位置するようにセットされる。
 この部品実装機には、実装ヘッド24を水平方向(XY方向)及び上下方向(Z方向)に移動させるヘッド移動装置25(図2参照)が設けられている。実装ヘッド24には、フィーダ23により部品吸着位置に送られた部品を吸着する1本又は複数本の吸着ノズル26が下向きに保持されている。また、部品実装機には、実装ヘッド24と一体的に移動して回路基板12の基準マークをその上方から撮像するマーク撮像用のカメラ36と、吸着ノズル26に吸着した部品をその下方から撮像する部品撮像用のカメラ35(図2参照)とが設けられている。
 更に、部品実装機には、コンベア13により所定位置に搬入された回路基板12の表面に対して、その上方又は斜め上方からレーザ光又は可視光を照射して基準印37(図3~図5参照)を投影する基準印投影装置38が設けられている。基準印37は、画像認識により一義的に特定可能なものであれば、どの様な形状であっても良く、マークやパターン等であっても良い。基準印投影装置38は、基準印37の投影専用のものを設けても良いし、或は、回路基板12等の撮像対象物にレーザ光又は可視光を照射して撮像対象物の高さ計測又は三次元計測を行う光学的計測装置が部品実装機に搭載されている場合は、この光学的計測装置を基準印投影装置37として使用するようにしても良い。回路基板12の表面に投影する基準印37の位置は、当該回路基板12の表面を撮像するマーク撮像用のカメラ36の視野内に収まる位置で、且つ、後述するマルチフレーム超解像で統合する複数枚の画像(図3~図5参照)に共通して含まれる位置である。
 図2に示すように、部品実装機の制御装置31には、キーボード、マウス、タッチパネル等の入力装置32と、後述する図6のマルチフレーム超解像処理プログラムや画像データ等を記憶するハードディスク、RAM、ROM等の記憶装置33と、液晶ディスプレイ、CRT等の表示装置34等が接続されている。
 この部品実装機の制御装置31は、コンベア13により所定位置に搬入されてクランプされた回路基板12の基準マークをその上方からマーク撮像用のカメラ36で撮像して該基準マークを認識し、該基準マークの位置を基準にして回路基板12の各部品実装位置を計測した後、実装ヘッド24を部品吸着位置→部品撮像位置→部品実装位置の経路で移動させて、フィーダ23から供給される部品を実装ヘッド24の吸着ノズル26で吸着して当該部品を部品撮像用のカメラ35で撮像して、その撮像画像を処理して当該部品の吸着姿勢(位置X,Yと角度θ)を計測し、当該部品の位置X,Yや角度θのずれを補正して当該部品を回路基板11に実装するという動作を制御する。
 更に、部品実装機の制御装置31は、マルチフレーム超解像処理を実行する画像処理用コンピュータとしても機能し、後述する図6のマルチフレーム超解像処理プログラムを実行することで、撮像対象物である回路基板12に対してマーク撮像用のカメラ36を移動させて撮像した複数枚の画像から1枚の高解像度画像を作成し、その高解像度画像を用いて回路基板12の表面を観察して、回路基板12の表面に付いた微小な傷や微小な塵等の異物を画像認識する。
 マーク撮像用のカメラ36で撮像した画像の解像度が低いために回路基板12の表面に付いた微小な傷や微小な塵等の異物を画像認識することが困難な場合でも、マルチフレーム超解像処理により高解像度画像を作成すれば、回路基板12の表面に付いた微小な傷や微小な塵等の異物を画像認識できるが、この際、回路基板12の表面のうちのカメラ36の視野内に基準位置となる部分(画像認識により一義的に特定可能な形状、マーク、パターン等)が存在しない場合は、前述した特許文献1、2の方法では、複数枚の低解像度画像を位置合わせすることができず、マルチフレーム超解像を使用できない。
 そこで、本実施例1では、マルチフレーム超解像によって回路基板12の表面を画像認識する場合に、回路基板12の表面のうちのカメラ36の視野内に、基準印投影装置38によってレーザ光又は可視光を照射して基準印37を投影して、その基準印37と回路基板12との相対的な位置関係を一定に保った状態でヘッド移動装置25によりカメラ36を当該カメラ36の視野内に基準印37が収まる範囲内で移動させて複数回撮像することで、異なる位置で撮像した複数枚の画像を取得し、各画像内の基準印37の位置を基準にして複数枚の画像を位置合わせして統合して1枚の高解像度画像を作成する。
 以上説明した本実施例1のマルチフレーム超解像処理は、部品実装機の制御装置31(画像処理用コンピュータ)によって図6のマルチフレーム超解像処理プログラムに従って次のように実行される。尚、図6のマルチフレーム超解像処理プログラムは、2枚の低解像度画像(第1画像と第2画像)から1枚の高解像度画像を作成する例であり、3枚以上の低解像度画像から1枚の高解像度画像を作成するようにしても良いことは言うまでもない。
 図6のマルチフレーム超解像処理プログラムは、コンベア13により回路基板12が所定位置に搬入されてクランプされる毎に、マーク撮像用のカメラ36で回路基板12の基準マークを撮像する前又は後に起動される。本プログラムが起動されると、まず、ステップ101で、回路基板12の表面のうちの後述する2枚の画像に共通して含まれる位置に、その上方又は斜め上方から基準印投影装置38によってレーザ光又は可視光を照射して基準印37を投影する。
 この後、ステップ102に進み、カメラ36で回路基板12の表面を撮像して第1画像を取得する(1回目の撮像)。この後、ステップ103に進み、ヘッド移動装置25によりカメラ36を当該カメラ36の視野内に基準印37が収まる範囲内で移動させた後、ステップ104に進み、カメラ36で回路基板12の表面を撮像して第2画像を取得する(2回目の撮像)。
 そして、次のステップ105で、第1画像と第2画像をそれぞれ画像処理して、各画像内の基準印37の位置(X1 ,Y1 )、(X2 ,Y2 )を計測する。尚、図4、図5の例では、各画像の右上の角を原点(0,0)として各画像内の基準印37の位置(X1 ,Y1 )、(X2 ,Y2 )を計測するようにしているが、各画像の他の角(例えば左下の角)や各画像の中心点を原点(0,0)として各画像内の基準印37の位置(X1 ,Y1 )、(X2 ,Y2 )を計測するようにしても良い。
 この後、ステップ106に進み、両画像間のずれ量ΔX、ΔYを算出する。
          ΔX=|X1 -X2 |
          ΔY=|Y1 -Y2 |
 この後、ステップ107に進み、両画像間のずれ量ΔX、ΔYに基づいて、各画像内の基準印37の位置が一致するように両画像を位置合わせして統合して1枚の高解像度画像を作成して、本プログラムを終了する。
 その後、部品実装機の制御装置31は、作成された高解像度画像を処理して回路基板12の表面を観察し、回路基板12の表面に付いた微小な傷や微小な塵等の異物が存在すれば、それを認識する。
 以上説明した本実施例1では、撮像対象物である回路基板12の表面を撮像する際に、基準印投影装置38によって回路基板12の表面のうちのカメラ36の視野内にレーザ光又は可視光を照射して基準印37を投影するようにしているため、回路基板12の表面自体に基準位置となる部分(画像認識により一義的に特定可能な形状、マーク、パターン等)が存在しなくても、基準印投影装置38によって回路基板12の表面のうちのカメラ36の視野内にレーザ光又は可視光で基準印37を投影して複数枚の画像を撮像することで、各画像内の基準印37の位置を基準位置として複数枚の画像を位置合わせすることができる。これにより、回路基板12の表面自体に基準位置となる部分が存在しない場合でも、複数枚の画像から1枚の高解像度画像を作成するマルチフレーム超解像を使用することができて、マルチフレーム超解像により当該回路基板12の表面に付いた微小な傷や微小な塵等の異物、微小な2次元コード等を精度良く画像認識することができる。しかも、撮像終了後は、基準印投影装置38のレーザ光等の照射範囲から回路基板12を排出するだけで、当該回路基板12から基準印37が完全に消えて無くなるため、基準印37が回路基板12の品質に何ら影響を及ぼすことがない。
 尚、本実施例1では、複数枚の画像を撮像する際に、撮像対象物である回路基板12を固定してカメラ36を移動させるようにしたが、これとは反対に、カメラ36を固定して回路基板12をコンベア13等により移動させるようにしても良く、この場合は、回路基板12に投影した基準印37と回路基板12との相対的な位置関係がずれないように、回路基板12の移動と同期させて基準印投影装置38を移動させて基準印37と回路基板12との相対的な位置関係が一定に保たれるようにすれば良い。
 また、本実施例1では、撮像対象物である回路基板12に対して、その上方又は斜め上方から基準印投影装置38によってレーザ光又は可視光を照射して基準印37を投影するようにしたが、撮像対象物である回路基板12が透明又は半透明である場合は、その回路基板12の下方又は斜め下方からレーザ光又は可視光を照射して基準印37を投影するようにしても良い。
 次に、実施例2を図7を用いて説明する。但し、上記実施例1と実質的に同じ部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。
 上記実施例1では、基準印投影装置38によって回路基板12の表面にレーザ光又は可視光を照射して基準印37を投影するようにしたが、本実施例2では、基準印投影装置38に代えて、撮像対象物である回路基板12の表面のうちのカメラ36の視野内に基準印を付着させる基準印付着装置(図示せず)を設けている。この場合、基準印は、撮像対象物である回路基板12の表面から除去可能な塗料、色付きの接着剤、シール等で付着するようにすると良い。このようにすれば、撮像終了後に回路基板12の表面から基準印を拭き取ったり、剥がし取ったり等して基準印を除去することができ、基準印が回路基板12の品質に影響を及ぼすことがない。尚、撮像終了後も回路基板12の表面から基準印を除去せずに残すようにしても良く、この場合でも、基準印を付着する位置を、シルク文字、トレーサビリティ表示、配線パターン等の無い位置等、製造や製品外観に影響がない位置に設定すすれば、基準印が回路基板12の品質に影響を及ぼすことがない。
 本実施例2のマルチフレーム超解像処理は、部品実装機の制御装置31(画像処理用コンピュータ)によって図7のマルチフレーム超解像処理プログラムに従って実行される。図7のマルチフレーム超解像処理プログラムは、前述した実施例1で説明した図6のマルチフレーム超解像処理プログラムのステップ101の処理をステップ101aに変更しただけである。このステップ101aで、基準印付着装置によって、回路基板12の表面のうちのカメラ36の視野内に基準印を塗料、色付きの接着剤、シール等で付着させた後、ステップ102~107の処理を行うことで、前記実施例1と同様の処理で、各画像内の基準印の位置が一致するように両画像を位置合わせして統合して1枚の高解像度画像を作成する。
 尚、基準印として、バーコードや2Dコード等を付着させるようにしても良く、この場合は、撮像終了後に基準印を除去せずに、バーコードや2Dコード等として利用するようにすれば良い。
 本実施例2では、複数枚の画像を撮像する際に、撮像対象物である回路基板12を固定してカメラ36を移動させるようにしたが、これとは反対に、カメラ36を固定して回路基板12をコンベア13等により移動させるようにしても良い。
 以上説明した本実施例2でも、前記実施例1と同様の効果を得ることができる。
 尚、上記実施例1、2では、回路基板12を撮像対象物としたが、例えば、吸着ノズルに大型の部品を吸着する場合は、吸着ノズルに吸着した大型の部品を撮像対象物とし、この大型の部品の下面に基準印を投影又は付着して、部品撮像用のカメラ35で大型の部品の下面を複数回撮像して高解像度画像を作成するようにしても良い。
 その他、本発明は、上記実施例1、2に限定されず、マルチフレーム超解像専用のカメラを設けたり、部品実装機以外の工作機械等の産業用機器に広く適用して実施できる等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
 12…回路基板(撮像対象物)、13…コンベア、24…実装ヘッド、25…ヘッド移動装置(移動装置)、31…制御装置(画像処理用コンピュータ)、36…マーク撮像用のカメラ、37…基準印、38…基準印投影装置

Claims (7)

  1.  撮像対象物を撮像するカメラと、前記カメラで撮像した画像を処理する画像処理用コンピュータとを備え、前記画像処理用コンピュータは、前記撮像対象物を撮像した複数枚の画像から1枚の高解像度画像を作成してその高解像度画像から前記撮像対象物を認識する画像処理システムにおいて、
     前記撮像対象物のうちの前記カメラの視野内にレーザ光又は可視光を照射して基準印を投影する基準印投影装置と、
     前記カメラ又は前記撮像対象物を移動させる移動装置とを備え、
     前記画像処理用コンピュータは、前記基準印投影装置により前記撮像対象物に投影した前記基準印と前記撮像対象物との相対的な位置関係を一定に保った状態で前記移動装置により前記カメラ又は前記撮像対象物を前記カメラの視野内に前記基準印が収まる範囲内で移動させて複数回撮像することで、異なる位置で撮像した複数枚の画像を取得し、各画像内の前記基準印の位置を基準にして前記複数枚の画像を位置合わせして統合して1枚の高解像度画像を作成する、画像処理システム。
  2.  前記基準印投影装置は、前記撮像対象物にレーザ光又は可視光を照射して前記撮像対象物の高さ計測又は三次元計測を行う光学的計測装置が用いられる、請求項1に記載の画像処理システム。
  3.  撮像対象物を撮像するカメラと、前記カメラで撮像した画像を処理する画像処理用コンピュータとを備え、前記画像処理用コンピュータは、前記撮像対象物を撮像した複数枚の画像から1枚の高解像度画像を作成してその高解像度画像から前記撮像対象物を認識する画像処理システムにおいて、
     前記撮像対象物のうちの前記カメラの視野内に基準印を付着させる基準印付着装置と、
     前記カメラ又は前記撮像対象物を移動させる移動装置とを備え、
     前記画像処理用コンピュータは、前記基準印付着装置により前記撮像対象物のうちの前記カメラの視野内に前記基準印を付着させた後、前記移動装置により前記カメラ又は前記撮像対象物を前記カメラの視野内に前記基準印が収まる範囲内で移動させて複数回撮像することで、異なる位置で撮像した複数枚の画像を取得し、各画像内の前記基準印の位置を基準にして前記複数枚の画像を位置合わせして統合して1枚の高解像度画像を作成する、画像処理システム。
  4.  前記基準印は、前記撮像対象物から除去可能に付着されている、請求項3に記載の画像処理システム。
  5.  部品実装機に搭載された画像処理システムであって、
     前記撮像対象物は、回路基板であり、
     前記カメラは、前記回路基板の基準マークを撮像するマーク撮像用のカメラであり、
     前記移動装置は、実装ヘッドを前記マーク撮像用のカメラと一緒に移動させる実装ヘッド移動装置である、請求項1乃至4のいずれかに記載の画像処理システム。
  6.  撮像対象物をカメラで撮像した複数枚の画像から1枚の高解像度画像を作成してその高解像度画像から前記撮像対象物を認識する画像処理方法において、
     前記撮像対象物のうちの前記カメラの視野内にレーザ光又は可視光を照射して基準印を投影して、前記撮像対象物と前記基準印との相対的な位置関係を一定に保った状態で前記カメラ又は前記撮像対象物を前記カメラの視野内に前記基準印が収まる範囲内で移動させて複数回撮像することで、異なる位置で撮像した複数枚の画像を取得し、各画像内の前記基準印の位置を基準にして前記複数枚の画像を位置合わせして統合して1枚の高解像度画像を作成する、画像処理方法。
  7.  撮像対象物をカメラで撮像した複数枚の画像から1枚の高解像度画像を作成してその高解像度画像から前記撮像対象物を認識する画像処理方法において、
     前記撮像対象物のうちの前記カメラの視野内に基準印を除去可能に付着させた後、前記カメラ又は前記撮像対象物を前記カメラの視野内に前記基準印が収まる範囲内で移動させて複数回撮像することで、異なる位置で撮像した複数枚の画像を取得し、各画像内の前記基準印の位置を基準にして前記複数枚の画像を位置合わせして統合して1枚の高解像度画像を作成する、画像処理方法。
PCT/JP2016/084577 2016-11-22 2016-11-22 画像処理システム及び画像処理方法 WO2018096577A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/084577 WO2018096577A1 (ja) 2016-11-22 2016-11-22 画像処理システム及び画像処理方法
JP2018552287A JP6608543B2 (ja) 2016-11-22 2016-11-22 画像処理システム及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/084577 WO2018096577A1 (ja) 2016-11-22 2016-11-22 画像処理システム及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2018096577A1 true WO2018096577A1 (ja) 2018-05-31

Family

ID=62194845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/084577 WO2018096577A1 (ja) 2016-11-22 2016-11-22 画像処理システム及び画像処理方法

Country Status (2)

Country Link
JP (1) JP6608543B2 (ja)
WO (1) WO2018096577A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015215A1 (ja) * 2019-07-23 2021-01-28 東洋製罐株式会社 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
CN114040120A (zh) * 2022-01-06 2022-02-11 深圳思谋信息科技有限公司 用于面板元件检测的拍摄路径确定方法、装置和设备
CN115088402A (zh) * 2020-02-21 2022-09-20 株式会社富士 元件装配机
TWI848154B (zh) 2019-07-23 2024-07-11 日商東洋製罐股份有限公司 影像資料處理系統、無人飛機、影像資料處理方法及非暫存電腦可讀取記憶媒體

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161068A (ja) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The 画像撮影方法とそれを用いた画像編集装置
JP2014164363A (ja) * 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
WO2015083220A1 (ja) * 2013-12-02 2015-06-11 富士機械製造株式会社 組立機
JP2015162519A (ja) * 2014-02-26 2015-09-07 Juki株式会社 電子部品実装装置及び電子部品実装方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161068A (ja) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The 画像撮影方法とそれを用いた画像編集装置
JP2014164363A (ja) * 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
WO2015083220A1 (ja) * 2013-12-02 2015-06-11 富士機械製造株式会社 組立機
JP2015162519A (ja) * 2014-02-26 2015-09-07 Juki株式会社 電子部品実装装置及び電子部品実装方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015215A1 (ja) * 2019-07-23 2021-01-28 東洋製罐株式会社 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
JP2021018705A (ja) * 2019-07-23 2021-02-15 東洋製罐株式会社 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
CN113474788A (zh) * 2019-07-23 2021-10-01 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
JP7314680B2 (ja) 2019-07-23 2023-07-26 東洋製罐株式会社 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
CN113474788B (zh) * 2019-07-23 2024-02-13 东洋制罐株式会社 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
TWI848154B (zh) 2019-07-23 2024-07-11 日商東洋製罐股份有限公司 影像資料處理系統、無人飛機、影像資料處理方法及非暫存電腦可讀取記憶媒體
CN115088402A (zh) * 2020-02-21 2022-09-20 株式会社富士 元件装配机
CN115088402B (zh) * 2020-02-21 2023-06-27 株式会社富士 元件装配机
CN114040120A (zh) * 2022-01-06 2022-02-11 深圳思谋信息科技有限公司 用于面板元件检测的拍摄路径确定方法、装置和设备
CN114040120B (zh) * 2022-01-06 2022-04-12 深圳思谋信息科技有限公司 用于面板元件检测的拍摄路径确定方法、装置和设备

Also Published As

Publication number Publication date
JPWO2018096577A1 (ja) 2019-07-18
JP6608543B2 (ja) 2019-11-20

Similar Documents

Publication Publication Date Title
JP4629584B2 (ja) 実装システムおよび電子部品の実装方法
JP6608543B2 (ja) 画像処理システム及び画像処理方法
EP2978296A1 (en) Component mounting device and method of calibration in component mounting device
JP5596929B2 (ja) 突き上げピンの位置決め方法およびその方法を用いた電子部品供給装置
JP2007309808A (ja) 対象物の位置検出方法及び装置
US10070566B2 (en) Support pin arrangement determination assisting method
JP2007335524A (ja) 実装ライン
JP6472873B2 (ja) 部品検査機及び部品装着機
JP2012160627A (ja) 基板処理装置
JP2008091815A (ja) 実装機およびその部品撮像方法
JP6734868B2 (ja) 基板用の画像処理装置および画像処理方法
WO2017081773A1 (ja) 基板用の画像処理装置および画像処理方法
US11210764B2 (en) Apparatus for performing work on substrate
US10863661B2 (en) Substrate working device and image processing method
JP6678178B2 (ja) 作業機
US11291149B2 (en) Electronic component mounting machine and production line
EP3370493A1 (en) Base plate position searching device and component mounting machine
JP5071091B2 (ja) 電子部品実装用装置および1次元バーコードの読取り方法
CN114127973A (zh) 沉积机的基底定位
JP6621639B2 (ja) 基板用の画像処理装置
JP2010092955A (ja) 部品実装機、吸着ノズル及び吸着ノズルの識別方法
EP3267146B1 (en) Recognition device and recognition method
JP6153376B2 (ja) 電子部品装着装置
JP4722782B2 (ja) プリント基板支持装置
JP2019146030A (ja) 高解像度画像作成用カメラスタンド及びその使用方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16922497

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018552287

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16922497

Country of ref document: EP

Kind code of ref document: A1