WO2022044075A1 - Image processing device, mounting device, and image processing method - Google Patents

Image processing device, mounting device, and image processing method Download PDF

Info

Publication number
WO2022044075A1
WO2022044075A1 PCT/JP2020/031842 JP2020031842W WO2022044075A1 WO 2022044075 A1 WO2022044075 A1 WO 2022044075A1 JP 2020031842 W JP2020031842 W JP 2020031842W WO 2022044075 A1 WO2022044075 A1 WO 2022044075A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
cavity
component supply
tape
Prior art date
Application number
PCT/JP2020/031842
Other languages
French (fr)
Japanese (ja)
Inventor
勇太 横井
一也 小谷
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to JP2022544895A priority Critical patent/JP7423797B2/en
Priority to PCT/JP2020/031842 priority patent/WO2022044075A1/en
Publication of WO2022044075A1 publication Critical patent/WO2022044075A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/02Feeding of components

Abstract

An image processing device for processing an image obtained by capturing, with an imaging device, an image of a component supply tape having formed therein a plurality of cavities for housing components, the image processing device comprising: a determining unit for extracting from the image the brightness of a specific region of the component supply tape which is discriminated to be a tape portion other than a cavity, and determining an imaging condition such that the extracted brightness falls within a predetermined range; and a recognizing unit which, using an image captured under the determined imaging condition as an image for recognition, recognizes the pitch of the cavities by discriminating between the tape portion and the cavities using a threshold value smaller than a lower limit of the predetermined range.

Description

画像処理装置および実装装置、画像処理方法Image processing device and mounting device, image processing method
 本明細書は、画像処理装置および実装装置、画像処理方法を開示する。 This specification discloses an image processing device, a mounting device, and an image processing method.
 従来、部品を収納する複数のキャビティが形成された部品供給テープが撮像装置により撮像された画像を処理するものが提案されている。例えば、特許文献1には、画像を処理してキャビティ内の部品を認識することが記載されている。また、キャビティ以外のテープ部の上面を撮像した画像を処理して画像内のテープ部の輝度を判別し、その輝度に応じて照明光の輝度を調整して撮像された画像から部品を認識することも記載されている。 Conventionally, it has been proposed that a component supply tape in which a plurality of cavities for accommodating components are formed processes an image captured by an image pickup device. For example, Patent Document 1 describes processing an image to recognize a component in a cavity. In addition, the image obtained by capturing the upper surface of the tape portion other than the cavity is processed to determine the brightness of the tape portion in the image, and the brightness of the illumination light is adjusted according to the brightness to recognize the component from the captured image. It is also stated that.
特開2014-110410号公報Japanese Unexamined Patent Publication No. 2014-110410
 ところで、このような部品供給テープでは、その種類によってキャビティのピッチが異なる場合があり、部品を適切に供給するためにピッチを正しく認識する必要がある。通常は画像内にテープ部よりもキャビティが黒く写るため、所定の閾値以下の輝度部分をキャビティとして検出することが可能である。ただし、テープの種類や撮像装置の種類によっては画像内のテープ部やキャビティの輝度が異なることがあり、キャビティを正しく検出することができずにピッチを誤認識するおそれがある。 By the way, in such a component supply tape, the pitch of the cavity may differ depending on the type, and it is necessary to correctly recognize the pitch in order to properly supply the component. Normally, the cavity appears blacker than the tape portion in the image, so it is possible to detect the luminance portion below a predetermined threshold value as the cavity. However, the brightness of the tape portion and the cavity in the image may differ depending on the type of tape and the type of the image pickup device, and the cavity may not be detected correctly and the pitch may be erroneously recognized.
 本開示は、テープや撮像装置の種類に拘わらず、キャビティのピッチを精度よく認識することを主目的とする。 The main purpose of this disclosure is to accurately recognize the pitch of the cavity regardless of the type of tape or image pickup device.
 本開示は、上述の主目的を達成するために以下の手段を採った。 This disclosure has taken the following steps to achieve the above-mentioned main objectives.
 本開示の画像処理装置は、
 部品を収納するキャビティが複数形成された部品供給テープを撮像装置により撮像した画像を処理する画像処理装置であって、
 前記部品供給テープのうち前記キャビティ以外のテープ部であることが判別している特定領域の輝度を前記画像から抽出し、該抽出した輝度が所定範囲に収まるように撮像条件を決定する決定部と、
 前記決定された撮像条件で撮像された前記画像を認識用画像とし、前記所定範囲の下限よりも小さな閾値を用いて前記テープ部と前記キャビティとを判別して前記キャビティのピッチを認識する認識部と、
 を備えることを要旨とする。
The image processing apparatus of the present disclosure is
An image processing device that processes an image taken by an image pickup device of a component supply tape in which a plurality of cavities for accommodating components are formed.
A determination unit that extracts the brightness of a specific region of the component supply tape that is determined to be a tape portion other than the cavity from the image, and determines imaging conditions so that the extracted brightness falls within a predetermined range. ,
The image captured under the determined imaging conditions is used as a recognition image, and the recognition unit recognizes the pitch of the cavity by discriminating between the tape portion and the cavity using a threshold value smaller than the lower limit of the predetermined range. When,
The gist is to prepare.
 本開示の画像処理装置は、キャビティ以外のテープ部であることが判別している特定領域の輝度が所定範囲に収まるように撮像装置の撮像条件を決定する。その撮像条件で撮像された画像を認識用画像とし、所定範囲の下限よりも小さな閾値を用いてテープ部とキャビティとを判別してキャビティのピッチを認識する。これにより、テープや撮像装置の種類に拘わらず、認識用画像では、テープ部の輝度が所定範囲に収まり、キャビティは所定範囲よりも輝度の低い部分となる。このため、閾値を用いてテープ部とキャビティを適切に判別することができるから、テープや撮像装置の種類に拘わらず、キャビティのピッチを精度よく認識することができる。 The image processing apparatus of the present disclosure determines the imaging conditions of the imaging apparatus so that the brightness of the specific region determined to be the tape portion other than the cavity is within a predetermined range. The image captured under the imaging conditions is used as a recognition image, and the tape portion and the cavity are discriminated using a threshold value smaller than the lower limit of the predetermined range to recognize the pitch of the cavity. As a result, regardless of the type of tape or image pickup device, in the recognition image, the brightness of the tape portion falls within a predetermined range, and the cavity becomes a portion having a brightness lower than the predetermined range. Therefore, since the tape portion and the cavity can be appropriately discriminated by using the threshold value, the pitch of the cavity can be accurately recognized regardless of the type of the tape or the image pickup device.
実装装置10の構成の概略を示す構成図。The block diagram which shows the outline of the structure of the mounting apparatus 10. フィーダ20のフィーダ部25の概略を示す斜視図。The perspective view which shows the outline of the feeder part 25 of the feeder 20. フィーダ20のフィーダ部25の概略を示す上面図。The top view which shows the outline of the feeder part 25 of a feeder 20. マークカメラ30の構成の概略を示す構成図。The block diagram which shows the outline of the structure of the mark camera 30. 落射光源32のA視図。A view of the epi-light source 32. 側射光源34のB視図。B view of side light source 34. 実装装置10と管理装置50の制御に関する構成を示すブロック図。The block diagram which shows the structure regarding the control of the mounting apparatus 10 and the management apparatus 50. テープ送り関連処理の一例を示すフローチャート。A flowchart showing an example of tape feed related processing. ピッチ認識処理の一例を示すフローチャート。A flowchart showing an example of pitch recognition processing. 調整領域A1と測定領域A2の一例を示す説明図。Explanatory drawing which shows an example of adjustment area A1 and measurement area A2. 撮像条件の設定内容の一例を示す説明図。Explanatory drawing which shows an example of setting contents of the imaging condition. 変形例のピッチ認識処理を示すフローチャート。A flowchart showing a pitch recognition process of a modified example.
 次に、発明を実施するための形態について図面を参照しながら説明する。 Next, a mode for carrying out the invention will be described with reference to the drawings.
 図1は、実装装置10の構成の概略を示す構成図である。図2は、フィーダ20のフィーダ部25の概略を示す斜視図である。図3は、フィーダ20のフィーダ部25の概略を示す上面図である。図7は、実装装置10と管理装置50の制御に関する構成を示すブロック図である。なお、本実施形態は、図1の左右方向がX軸方向であり、前後方向がY軸方向であり、上下方向がZ軸方向である。 FIG. 1 is a configuration diagram showing an outline of the configuration of the mounting device 10. FIG. 2 is a perspective view showing an outline of the feeder portion 25 of the feeder 20. FIG. 3 is a top view showing an outline of the feeder portion 25 of the feeder 20. FIG. 7 is a block diagram showing a configuration related to control of the mounting device 10 and the management device 50. In this embodiment, the left-right direction in FIG. 1 is the X-axis direction, the front-back direction is the Y-axis direction, and the up-down direction is the Z-axis direction.
 実装装置10は、図1に示すように、部品P(図3参照)を供給するフィーダ20と、基板Sを搬送する基板搬送装置12と、吸着ノズル15で部品Pを吸着して基板S上に実装するヘッド14と、ヘッド14をXY方向に移動させる移動機構16とを備える。また、実装装置10は、基板Sに付された各種マークやフィーダ20などを上方から撮像可能なマークカメラ30と、吸着ノズル15に吸着された部品Pなどを下方から撮像可能なパーツカメラ19と、実装装置10の全体の制御を司る制御装置40(図7参照)とを備える。ヘッド14は、吸着ノズル15を1または複数有している。吸着ノズル15は、図示しないZ軸モータにより上下方向に昇降される。 As shown in FIG. 1, the mounting apparatus 10 has a feeder 20 for supplying the component P (see FIG. 3), a substrate transfer device 12 for transporting the substrate S, and a suction nozzle 15 for sucking the component P on the substrate S. A head 14 to be mounted on the head 14 and a moving mechanism 16 for moving the head 14 in the XY direction are provided. Further, the mounting device 10 includes a mark camera 30 capable of capturing various marks and feeders 20 attached to the substrate S from above, and a parts camera 19 capable of capturing images of parts P and the like sucked on the suction nozzle 15 from below. A control device 40 (see FIG. 7) that controls the entire mounting device 10 is provided. The head 14 has one or a plurality of suction nozzles 15. The suction nozzle 15 is moved up and down by a Z-axis motor (not shown).
 フィーダ20は、部品供給テープ22(図2参照)が巻回されたリール部21と、リール部21から部品供給テープ22を引き出して送り出すフィーダ部25とを備え、実装装置10に着脱可能に取り付けられる。フィーダ部25は、図示しないスプロケットを回転させるためのステッピングモータなどの送りモータ26(図7参照)を備える。また、フィーダ部25は、部品供給テープ22(テープ部22a)の移動をガイドするガイド枠27を備える。ガイド枠27は、前後方向に沿ってフィーダ20の左右両側に延在し、上面にマーク(黒丸で図示)が設けられている。 The feeder 20 includes a reel portion 21 around which the component supply tape 22 (see FIG. 2) is wound, and a feeder section 25 that pulls out the component supply tape 22 from the reel portion 21 and sends it out, and is detachably attached to the mounting device 10. Will be. The feeder unit 25 includes a feed motor 26 (see FIG. 7) such as a stepping motor for rotating a sprocket (not shown). Further, the feeder unit 25 includes a guide frame 27 that guides the movement of the component supply tape 22 (tape unit 22a). The guide frame 27 extends along the front-rear direction on both the left and right sides of the feeder 20, and is provided with a mark (shown by a black circle) on the upper surface.
 部品供給テープ22は、平坦状のテープ部22aの幅方向(左右方向)の略中央に凹状に設けられ部品Pを収納するキャビティ24が、テープ送り方向(長手方向)に沿って複数形成されている。また、部品供給テープ22は、フィーダ部25のスプロケットの外周に形成されたスプロケット歯に係合する送り穴23が、左右方向の一端(図3中の左端)側に所定ピッチで複数形成されている。なお、キャビティ24は、部品Pのサイズに応じた幅に形成されるが、送り穴23が形成された一端側の領域には到達しないものとなっている。即ち、送り穴23同士の前後方向(Y軸方向)の間にキャビティ24は存在せず、テープ部22aが確実に存在するものとなる。 The component supply tape 22 is provided in a concave shape substantially in the center of the flat tape portion 22a in the width direction (left-right direction), and a plurality of cavities 24 for accommodating the component P are formed along the tape feeding direction (longitudinal direction). There is. Further, in the component supply tape 22, a plurality of feed holes 23 engaged with the sprocket teeth formed on the outer periphery of the sprocket of the feeder portion 25 are formed at a predetermined pitch on one end (left end in FIG. 3) in the left-right direction. There is. The cavity 24 is formed to have a width corresponding to the size of the component P, but does not reach the region on one end side where the feed hole 23 is formed. That is, the cavity 24 does not exist between the feed holes 23 in the front-rear direction (Y-axis direction), and the tape portion 22a surely exists.
 ここで、キャビティ24は、一定のピッチでテープ送り方向に沿って複数形成されている。このピッチとしては、例えば1mmや2mm、4mm、8mmなど複数の種類があり、収容すべき部品Pのサイズに応じたピッチに形成されるが、同じサイズの部品Pであっても異なるピッチに形成されることがある。フィーダ20は、送りモータ26を駆動してスプロケットを間欠的に回転させることにより、部品供給テープ22を所定の送り量ずつY方向後方(送り方向)に間欠的に送り出す。フィーダ20は、部品供給テープ22の送り量として、キャビティ24のピッチに相当する量を送ることで、キャビティ24内の部品Pを、吸着ノズル15がピックアップ可能な部品供給位置に順次供給する。また、フィーダ20は、図示は省略するが、CPUやROM,RAMなどを有する制御部を備える。フィーダ20は、実装装置10に取り付けられると、制御部が制御装置40と通信可能に接続される。 Here, a plurality of cavities 24 are formed along the tape feeding direction at a constant pitch. There are multiple types of this pitch, for example, 1 mm, 2 mm, 4 mm, and 8 mm, and they are formed at a pitch according to the size of the component P to be accommodated, but even if the component P has the same size, they are formed at different pitches. May be done. The feeder 20 drives the feed motor 26 to intermittently rotate the sprocket, so that the component supply tape 22 is intermittently fed backward in the Y direction (feed direction) by a predetermined feed amount. The feeder 20 feeds the component supply tape 22 by an amount corresponding to the pitch of the cavity 24, so that the component P in the cavity 24 is sequentially supplied to the component supply position where the suction nozzle 15 can pick up. Further, although not shown, the feeder 20 includes a control unit having a CPU, ROM, RAM, and the like. When the feeder 20 is attached to the mounting device 10, the control unit is communicably connected to the control device 40.
 マークカメラ30は、ヘッド14に取り付けられ、移動機構16によってヘッド14と共にXY方向に移動する。マークカメラ30は、図4に示すように、照明部30aと、カメラ本体部30bとを備える。照明部30aは、ハウジング31と、落射光源32と、ハーフミラー33と、側射光源34と、拡散板35とを有する。ハウジング31は、下面に開口する円筒状の部材であり、カメラ本体部30bの下方に取り付けられている。 The mark camera 30 is attached to the head 14 and moves in the XY direction together with the head 14 by the moving mechanism 16. As shown in FIG. 4, the mark camera 30 includes an illumination unit 30a and a camera body unit 30b. The illumination unit 30a includes a housing 31, a fall light source 32, a half mirror 33, a side light source 34, and a diffusion plate 35. The housing 31 is a cylindrical member that opens to the lower surface, and is attached below the camera body 30b.
 落射光源32は、ハウジング31の内側の側面に設けられている。落射光源32は、図5に示すように、R(赤色)の単色光を発光する赤色LED32aと、B(青色)の単色光を発光する青色LED32bとが四角形状の支持板32c上にそれぞれ同数又はほぼ同数配置されたものである。ハーフミラー33は、ハウジング31の内側に斜めに設けられており、落射光源32の各LED32a,32bからの水平方向の光を下方に反射する。また、ハーフミラー33は、下方からの光をカメラ本体部30bに向けて透過する。側射光源34は、ハウジング31の下方開口付近に水平に設けられている。側射光源34は、図6に示すように、赤色LED34aと、青色LED34bとがリング状の支持板34c上にそれぞれ同数又はほぼ同数配置されたものであり、下向きに光を照射する。拡散板35は、ハウジング31のうち側射光源34の下方に設けられている。落射光源32および側射光源34から発せられた光は、拡散板35で拡散されたあと対象物に照射される。マークカメラ30は、落射光源32のみから光を照射したり、側射光源34のみから光を照射したり、落射光源32および側射光源34の両方から光を照射したりすることが可能である。また、マークカメラ30は、赤色(赤色LED32aや赤色LED34a)のみを点灯(赤点灯)したり、青色(青色LED32bや青色LED34b)のみを点灯(青点灯)したり、赤色および青色を両方点灯したりすることも可能である。 The epi-illumination light source 32 is provided on the inner side surface of the housing 31. As shown in FIG. 5, the epi-illumination light source 32 has the same number of red LEDs 32a that emit R (red) monochromatic light and blue LEDs 32b that emit B (blue) monochromatic light on the square support plate 32c. Or, they are arranged in almost the same number. The half mirror 33 is diagonally provided inside the housing 31, and reflects the horizontal light from the LEDs 32a and 32b of the epi-illumination light source 32 downward. Further, the half mirror 33 transmits light from below toward the camera body portion 30b. The side-emitting light source 34 is horizontally provided near the lower opening of the housing 31. As shown in FIG. 6, the side-emitting light source 34 has a red LED 34a and a blue LED 34b arranged in the same number or substantially the same number on the ring-shaped support plate 34c, respectively, and irradiates light downward. The diffuser plate 35 is provided below the side-emitting light source 34 in the housing 31. The light emitted from the epi-illumination light source 32 and the side-emission light source 34 is diffused by the diffuser plate 35 and then irradiated to the object. The mark camera 30 can irradiate light only from the epi-illumination light source 32, irradiate light only from the side-illumination light source 34, or irradiate light from both the epi-illumination light source 32 and the side-illumination light source 34. .. Further, the mark camera 30 lights only red (red LED 32a and red LED 34a) (lights red), lights only blue (blue LED 32b and blue LED 34b) (lights blue), and lights both red and blue. It is also possible to do it.
 カメラ本体部30bは、図示しないレンズなどの光学系と、CCDやCMOSなどの撮像素子36と、撮像素子36の露光時間を調整するシャッター37とを備える。カメラ本体部30bは、落射光源32や側射光源34から発せられ撮像対象物で反射した光がハーフミラー33を透過して到達すると、撮像素子36でこの光を受光して画像を生成する。また、カメラ本体部30bは、シャッター37を開いている時間であるシャッター速度を複数段階に変更可能に構成され、例えば高速・中速・低速の3段階に変更可能である。 The camera body 30b includes an optical system such as a lens (not shown), an image sensor 36 such as a CCD or CMOS, and a shutter 37 for adjusting the exposure time of the image sensor 36. When the light emitted from the epi-illumination light source 32 or the side-illuminating light source 34 and reflected by the image pickup object passes through the half mirror 33 and reaches the camera body portion 30b, the image pickup element 36 receives the light and generates an image. Further, the camera body 30b is configured so that the shutter speed, which is the time during which the shutter 37 is open, can be changed in a plurality of stages, and can be changed in, for example, three stages of high speed, medium speed, and low speed.
 制御装置40は、図示しないCPUやROM,RAM,HDDなどを備える。制御装置40は、図7に示すように、機能ブロックとして、各部を駆動する駆動制御部42と、マークカメラ30やパーツカメラ19により撮像された画像を処理する画像処理部44とを備える。駆動制御部42は、フィーダ20や基板搬送装置12、ヘッド14、移動機構16、マークカメラ30、パーツカメラ19などへ制御信号を出力する。駆動制御部42には、フィーダ20の制御部からの部品Pに関する各種情報やマークカメラ30からの画像信号、パーツカメラ19からの画像信号などが入力される。マークカメラ30やパーツカメラ19からの画像信号は、画像処理部44で処理される。なお、画像信号が画像処理部44に直接入力されてもよい。また、制御装置40は、実装処理に関する情報の管理を行う管理装置50と通信ネットワークを介して双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。制御装置40は、HDDなどの記憶装置に、キャビティ24の検出用の閾値が記憶されている。この閾値については、後述する。 The control device 40 includes a CPU, ROM, RAM, HDD, etc. (not shown). As shown in FIG. 7, the control device 40 includes a drive control unit 42 that drives each unit and an image processing unit 44 that processes an image captured by the mark camera 30 and the parts camera 19 as a functional block. The drive control unit 42 outputs control signals to the feeder 20, the board transfer device 12, the head 14, the moving mechanism 16, the mark camera 30, the parts camera 19, and the like. Various information about the component P from the control unit of the feeder 20, an image signal from the mark camera 30, an image signal from the parts camera 19, and the like are input to the drive control unit 42. The image signals from the mark camera 30 and the parts camera 19 are processed by the image processing unit 44. The image signal may be directly input to the image processing unit 44. Further, the control device 40 is connected to the management device 50 that manages information related to the mounting process so as to be capable of bidirectional communication via a communication network, and exchanges data and control signals with each other. In the control device 40, a threshold value for detecting the cavity 24 is stored in a storage device such as an HDD. This threshold will be described later.
 管理装置50は、汎用のコンピュータであり、図7に示すように、管理制御部52と、キーボードやマウスなどの入力デバイス54と、ディスプレイ56と、HDDやSSDなどの記憶装置58と、を備える。管理制御部52は、CPUやROM,RAMなどで構成され、入力デバイス54から入力信号を入力し、ディスプレイ56への画像信号を出力する。記憶装置58は、基板Sの生産計画を記憶している。基板Sの生産計画は、実装装置10において基板S上のどの位置にどの部品Pをどの順番で実装するか、部品Pを実装した基板Sを何枚作製するかなどを定めた計画である。管理装置50は、生産計画に従って部品Pが実装されるよう制御装置40に指令信号を出力して、実装装置10に実装処理を行わせる。 The management device 50 is a general-purpose computer, and as shown in FIG. 7, includes a management control unit 52, an input device 54 such as a keyboard and a mouse, a display 56, and a storage device 58 such as an HDD and an SSD. .. The management control unit 52 is composed of a CPU, ROM, RAM, etc., inputs an input signal from the input device 54, and outputs an image signal to the display 56. The storage device 58 stores the production plan of the substrate S. The production plan of the board S is a plan that defines which component P is mounted in which position on the board S in what order in the mounting device 10, and how many boards S on which the component P is mounted are manufactured. The management device 50 outputs a command signal to the control device 40 so that the component P is mounted according to the production plan, and causes the mounting device 10 to perform the mounting process.
 以下は、こうして構成された実装装置10の動作の説明である。ここでは、フィーダ20のテープ送りに関する処理を説明する。図8は、テープ送り関連処理の一例を示すフローチャートである。この処理は、制御装置40の駆動制御部42と画像処理部44との機能により実行される。 The following is a description of the operation of the mounting device 10 configured in this way. Here, a process related to tape feeding of the feeder 20 will be described. FIG. 8 is a flowchart showing an example of tape feed related processing. This processing is executed by the functions of the drive control unit 42 and the image processing unit 44 of the control device 40.
 テープ送り関連処理では、制御装置40は、まず、部品供給テープ22の切り替えタイミングであるか否かを判定する(S100)。制御装置40は、例えば、フィーダ20が交換されて、新たなフィーダ20から部品供給が開始される場合に切り替えタイミングであると判定する。また、制御装置40は、部品切れが近い部品供給テープ22の終端に新たな部品供給テープ22の始端を繋ぎ合せるスプライシング作業が行われて、新たな部品供給テープ22が部品供給位置の近傍まで送られた場合にも切り替えタイミングであると判定する。制御装置40は、部品供給テープ22の切り替えタイミングであると判定すると、キャビティ24のピッチ(部品供給テープ22の送りピッチ)の認識タイミングであると判断して、ピッチ認識処理を行う(S110)。図9は、ピッチ認識処理の一例を示すフローチャートである。 In the tape feed-related process, the control device 40 first determines whether or not it is the switching timing of the component supply tape 22 (S100). The control device 40 determines, for example, that it is the switching timing when the feeder 20 is replaced and the component supply is started from the new feeder 20. Further, the control device 40 is subjected to a splicing operation of connecting the start end of the new component supply tape 22 to the end of the component supply tape 22 which is about to run out of parts, and the new component supply tape 22 is sent to the vicinity of the component supply position. Even if it is done, it is determined that it is the switching timing. When the control device 40 determines that it is the switching timing of the component supply tape 22, it determines that it is the recognition timing of the pitch of the cavity 24 (the feed pitch of the component supply tape 22), and performs the pitch recognition process (S110). FIG. 9 is a flowchart showing an example of the pitch recognition process.
 ピッチ認識処理では、駆動制御部42は、まず、部品供給テープ22のテープ部22a内の調整領域A1の上へマークカメラ30が移動するように移動機構16を制御する(S200)。調整領域A1は、撮像条件を調整して、最適な撮像条件を決定するための領域である。図10は、調整領域A1と測定領域A2の一例を示す説明図である。図示するように、調整領域A1は、送り穴23同士の前後方向(Y軸方向)の間の領域として定められている。上述したように、送り穴23同士の間の領域には、キャビティ24が存在せず確実にテープ部22aが存在するため、調整領域A1は確実にテープ部22aとなる。なお、実装装置10に取り付けられる各フィーダ20の取付位置毎に、調整領域A1の位置が予め定められていてもよい。あるいは、制御装置40は、マークカメラ30で部品供給テープ22を撮像した画像から送り穴23の位置やガイド枠27のマークの位置などを認識し、それらの位置を基準として調整領域A1の位置を定めてもよい。また、測定領域A2は、テープ部22aの左右方向の略中央の領域であり、調整領域A1とは異なり、キャビティ24を含む領域である。 In the pitch recognition process, the drive control unit 42 first controls the movement mechanism 16 so that the mark camera 30 moves onto the adjustment area A1 in the tape unit 22a of the component supply tape 22 (S200). The adjustment region A1 is an region for adjusting the imaging conditions to determine the optimum imaging conditions. FIG. 10 is an explanatory diagram showing an example of the adjustment region A1 and the measurement region A2. As shown in the figure, the adjustment region A1 is defined as an region between the feed holes 23 in the front-rear direction (Y-axis direction). As described above, since the cavity 24 does not exist and the tape portion 22a surely exists in the region between the feed holes 23, the adjustment region A1 surely becomes the tape portion 22a. The position of the adjustment region A1 may be predetermined for each mounting position of each feeder 20 mounted on the mounting device 10. Alternatively, the control device 40 recognizes the position of the feed hole 23, the position of the mark on the guide frame 27, and the like from the image captured by the component supply tape 22 with the mark camera 30, and determines the position of the adjustment region A1 with reference to those positions. You may decide. Further, the measurement area A2 is a region substantially central in the left-right direction of the tape portion 22a, and is a region including the cavity 24 unlike the adjustment region A1.
 次に、画像処理部44は、マークカメラ30の撮像条件を設定する(S210)。図11は、撮像条件の設定内容の一例を示す説明図である。本実施形態では、撮像条件として、照明の条件とシャッター速度の条件とが設定される。また、照明の条件として、点灯色と光源とが設定可能である。例えば点灯色は、赤点灯か、青点灯か、赤点灯および青点灯の両方かの3通りのいずれかに設定され、光源は、落射光源32か、側射光源34か、落射光源32および側射光源34の両方かの3通りのいずれかに設定される。また、シャッター速度は、例えば高速・中速・低速の3通りのいずれかに設定される。このように、3通りの点灯色および3通りの光源を設定可能な照明の条件と、3通りの速度を設定可能なシャッター速度の条件との計27通りのうち、いずれかが撮像条件に設定される。なお、S210では、画像処理部44は、デフォルトの撮像条件や前回のピッチ認識処理で最後に設定した撮像条件などに適宜設定する。 Next, the image processing unit 44 sets the imaging conditions of the mark camera 30 (S210). FIG. 11 is an explanatory diagram showing an example of setting contents of imaging conditions. In the present embodiment, lighting conditions and shutter speed conditions are set as imaging conditions. In addition, the lighting color and the light source can be set as the lighting conditions. For example, the lighting color is set to one of three types of lighting, red lighting, blue lighting, and both red lighting and blue lighting, and the light source is the epi-light source 32, the side-illuminated light source 34, the epi-illuminated light source 32, and the side. It is set to one of three ways of both of the light sources 34. Further, the shutter speed is set to one of three types, for example, high speed, medium speed, and low speed. In this way, one of a total of 27 ways, that is, a lighting condition in which three lighting colors and three light sources can be set and a shutter speed condition in which three speeds can be set, is set as the imaging condition. Will be done. In S210, the image processing unit 44 appropriately sets the default image pickup condition, the image pickup condition last set in the previous pitch recognition process, and the like.
 画像処理部44により撮像条件が設定されると、駆動制御部42は、調整領域A1を含むテープ部22aの画像G1を撮像するようにマークカメラ30を制御する(S220)。次に、画像処理部44は、撮像された画像G1を処理して調整領域A1内の各画素の輝度を抽出し(S230)、各画素の輝度が所定範囲内にあるか否かを判定する(S240)。所定範囲は、調整領域A1内の画素即ちテープ部22aの画素ができるだけ明るく写るような範囲に定められており、例えば輝度が値200~値255の範囲としたり、さらに明るい値230~値255の範囲などとすることができる。 When the image processing unit 44 sets the image pickup condition, the drive control unit 42 controls the mark camera 30 to image the image G1 of the tape unit 22a including the adjustment area A1 (S220). Next, the image processing unit 44 processes the captured image G1 to extract the brightness of each pixel in the adjustment region A1 (S230), and determines whether or not the brightness of each pixel is within a predetermined range. (S240). The predetermined range is set so that the pixels in the adjustment region A1, that is, the pixels of the tape portion 22a appear as bright as possible. It can be a range or the like.
 画像処理部44は、S240で各画素の輝度が所定範囲内にないと判定すると、撮像条件を再設定する(S250)。画像処理部44は、上述した計27通りのうち、既に撮像した条件を除いたいずれかの条件を再設定する。その際、画像処理部44は、画像を明るくして調整領域A1内の画素の輝度が上がるように、点灯色や光源、シャッター速度の少なくともいずれかを変更して撮像条件を再設定する。例えば、画像処理部44は、赤点灯または青点灯から、赤点灯および青点灯の両方に点灯色を変更したり、落射光源32または側射光源34から、落射光源32および側射光源34の両方に光源を変更したりする。また、画像処理部44は、シャッターが開いている時間が長くなるように、高速から中速あるいは中速から低速にシャッター速度を変更する。こうして撮像条件が再設定されると、S220~S240の処理が再度実行される。即ち、制御装置40は、再設定した撮像条件でマークカメラ30に再度画像G1を撮像させ、調整領域A1内の各画素の輝度を抽出し、所定範囲内にあるか否かを判定する処理を繰り返し行う。 When the image processing unit 44 determines in S240 that the brightness of each pixel is not within the predetermined range, the image processing unit 44 resets the imaging conditions (S250). The image processing unit 44 resets any of the 27 conditions described above, excluding the conditions already captured. At that time, the image processing unit 44 resets the imaging conditions by changing at least one of the lighting color, the light source, and the shutter speed so as to brighten the image and increase the brightness of the pixels in the adjustment region A1. For example, the image processing unit 44 changes the lighting color from red lighting or blue lighting to both red lighting and blue lighting, or from the epi-illumination light source 32 or the side-illumination light source 34, both the epi-illumination light source 32 and the side-illumination light source 34. Change the light source to. Further, the image processing unit 44 changes the shutter speed from high speed to medium speed or from medium speed to low speed so that the shutter is open for a long time. When the imaging conditions are reset in this way, the processes of S220 to S240 are executed again. That is, the control device 40 causes the mark camera 30 to image the image G1 again under the reset imaging conditions, extracts the brightness of each pixel in the adjustment region A1, and determines whether or not the image is within a predetermined range. Repeat.
 そして、画像処理部44は、S240で調整領域A1内の各画素の輝度が所定範囲内にあると判定すると、現在の撮像条件の設定を、ピッチ認識用の画像を撮像するための撮像条件に決定する(S260)。このため、S260では、画像内のテープ部22aの画素を、所定範囲内に収めるような撮像条件が決定される。 Then, when the image processing unit 44 determines in S240 that the brightness of each pixel in the adjustment region A1 is within a predetermined range, the current imaging condition setting is set to the imaging condition for capturing an image for pitch recognition. Determine (S260). Therefore, in S260, the imaging conditions for keeping the pixels of the tape portion 22a in the image within a predetermined range are determined.
 次に、駆動制御部42は、測定領域A2(図10参照)の上へマークカメラ30が移動するように移動機構16を制御する(S270)。続いて、駆動制御部42は、S260で決定した撮像条件に基づいて測定領域A2を含むテープ部22aの画像G2を撮像するようにマークカメラ30を制御する(S280)。また、画像処理部44は、HDDなどの記憶装置からキャビティ24の検出用の閾値を読み出す(S290)。 Next, the drive control unit 42 controls the movement mechanism 16 so that the mark camera 30 moves onto the measurement area A2 (see FIG. 10) (S270). Subsequently, the drive control unit 42 controls the mark camera 30 to image the image G2 of the tape unit 22a including the measurement region A2 based on the image pickup conditions determined in S260 (S280). Further, the image processing unit 44 reads a threshold value for detecting the cavity 24 from a storage device such as an HDD (S290).
 この閾値は、上述した所定範囲の下限よりも小さな値である。S260で決定された撮像条件で撮像された画像G2では、通常はテープ部22aの画素の輝度が所定範囲に収まる。ただし、輝度のばらつきや検出誤差などにより、所定範囲から下方に外れる画素が発生する場合がある。閾値は、そのような画素が発生してもテープ部22aの画素に含めて判別できるような値に定められており、例えば所定範囲の下限に対し、ばらつきや検出誤差などのマージンを考慮して値10から値20程度小さな輝度に定められている。例えば、所定範囲の下限が値200の場合、閾値は値190や値180などに定められる。 This threshold value is smaller than the lower limit of the predetermined range described above. In the image G2 captured under the imaging conditions determined in S260, the brightness of the pixels of the tape portion 22a is usually within a predetermined range. However, due to variations in brightness, detection error, etc., pixels may occur that deviate downward from the predetermined range. The threshold value is set to a value that can be discriminated by including it in the pixel of the tape portion 22a even if such a pixel is generated. For example, a margin such as variation or detection error is taken into consideration with respect to the lower limit of a predetermined range. The brightness is set to a small value of about 10 to 20. For example, when the lower limit of the predetermined range is a value of 200, the threshold value is set to a value of 190, a value of 180, or the like.
 次に、画像処理部44は、撮像された画像G2を処理して測定領域A2内の各画素の輝度が、閾値以下となる領域をキャビティ24として抽出し(S300)、抽出したキャビティ24のピッチを測定して認識し(S310)、ピッチ認識処理を終了する。マークカメラ30で撮像された画像では、通常はキャビティ24がテープ部22aよりも暗く写ることになる。このため、画像処理部44は、S300では、例えば測定領域A2内をテープ送り方向(Y軸方向)に沿ってライン状にスキャンし、輝度が閾値以上の画素と輝度が閾値未満の画素とを判別し、輝度が閾値未満の画素で形成される領域をキャビティ24として抽出する。また、画像処理部44は、そのようにして抽出したキャビティ24のY軸方向のピッチをS310で測定する。なお、部品供給テープ22には、通常は複数種類のピッチのうちいずれかの一定のピッチでキャビティ24が形成されている。このため、画像処理部44は、S300,S310では、輝度が閾値未満の画素の領域のピッチを測定し、複数種類のピッチのいずれに該当するかを判別して、キャビティ24のピッチを認識してもよい。 Next, the image processing unit 44 processes the captured image G2 and extracts a region in the measurement region A2 where the brightness of each pixel is equal to or less than the threshold value as the cavity 24 (S300), and the pitch of the extracted cavity 24. Is measured and recognized (S310), and the pitch recognition process is terminated. In the image captured by the mark camera 30, the cavity 24 is usually darker than the tape portion 22a. Therefore, in S300, for example, the image processing unit 44 scans the inside of the measurement area A2 in a line shape along the tape feed direction (Y-axis direction), and picks up pixels having a brightness equal to or higher than the threshold value and pixels having a brightness lower than the threshold value. The region formed by the pixels whose brightness is less than the threshold value is determined and extracted as the cavity 24. Further, the image processing unit 44 measures the pitch of the cavity 24 thus extracted in the Y-axis direction with S310. In the component supply tape 22, the cavities 24 are usually formed at a constant pitch among a plurality of types of pitches. Therefore, in the S300 and S310, the image processing unit 44 measures the pitch of the pixel region whose brightness is less than the threshold value, determines which of the plurality of types of pitches corresponds to, and recognizes the pitch of the cavity 24. You may.
 ここで、マークカメラ30の種類によって、画像の明暗の傾向や色合いなどが異なり、画像内に写るテープ部22aやキャビティ24の輝度が異なることがある。また、部品供給テープ22の種類が異なると、テープ部22aの材質や表面の光沢の有無、色などが異なって光の反射具合が変わるため、画像内の輝度が同様に異なるものとなる。このように、マークカメラ30の種類や部品供給テープ22の種類が異なると、一定の閾値の設定や一定の閾値を用いた判別が困難となり、キャビティ24を誤検出するおそれがある。本実施形態の画像処理部44は、テープ部22aであることが判別している調整領域A1内の画素の輝度を所定範囲に収めるための撮像条件を決定し、その撮像条件で撮像された画像Gbを認識用画像とする。このため、画像Gbの測定領域A2内のテープ部22aの画素は殆ど所定範囲に収まるから、画像処理部44は、所定範囲よりも小さな閾値を用いて判別することで、テープ部22aとキャビティ24とを精度よく判別することができる。したがって、画像処理部44は、キャビティ24の誤検出を防止して、キャビティ24のピッチ(送りピッチ)を精度よく認識することができる。 Here, depending on the type of the mark camera 30, the tendency of lightness and darkness of the image, the hue, and the like may differ, and the brightness of the tape portion 22a and the cavity 24 reflected in the image may differ. Further, if the type of the component supply tape 22 is different, the material of the tape portion 22a, the presence or absence of gloss on the surface, the color, and the like are different, and the degree of light reflection changes, so that the brightness in the image is also different. As described above, if the type of the mark camera 30 and the type of the component supply tape 22 are different, it becomes difficult to set a constant threshold value or discriminate using the constant threshold value, and the cavity 24 may be erroneously detected. The image processing unit 44 of the present embodiment determines the imaging conditions for keeping the brightness of the pixels in the adjustment region A1 determined to be the tape unit 22a within a predetermined range, and the image captured under the imaging conditions. Let Gb be a recognition image. Therefore, since the pixels of the tape portion 22a in the measurement region A2 of the image Gb are almost within a predetermined range, the image processing unit 44 discriminates using a threshold value smaller than the predetermined range to determine the tape portion 22a and the cavity 24. Can be accurately determined. Therefore, the image processing unit 44 can prevent erroneous detection of the cavity 24 and accurately recognize the pitch (feed pitch) of the cavity 24.
 図8のテープ送り関連処理では、制御装置40(駆動制御部42)は、S110(図9)のピッチ認識処理を行うかS100で部品供給テープ22の切り替えタイミングでないと判定すると、部品供給テープ22の送りタイミングであるか否かを判定する(S120)。制御装置40は、ヘッド14の吸着ノズル15による部品吸着動作中でなく、次の部品Pを部品供給位置に送る準備が整った場合に、送りタイミングであると判定する。制御装置40は、送りタイミングであると判定すると、S110で認識したピッチに基づいて部品供給テープ22を送るテープ送り処理を実行して(S130)、S100に戻る。また、制御装置40は、S120で送りタイミングでないと判定すると、S100に戻る。 In the tape feed-related processing of FIG. 8, when the control device 40 (drive control unit 42) performs the pitch recognition processing of S110 (FIG. 9) or determines in S100 that it is not the switching timing of the component supply tape 22, the component supply tape 22 It is determined whether or not it is the feed timing of (S120). The control device 40 determines that it is the feed timing when the component P is ready to be fed to the component supply position while the component suction operation by the suction nozzle 15 of the head 14 is not in progress. When the control device 40 determines that the feed timing is reached, the control device 40 executes a tape feed process for feeding the component supply tape 22 based on the pitch recognized in S110 (S130), and returns to S100. Further, when the control device 40 determines in S120 that the feed timing is not reached, the control device 40 returns to S100.
 このように、制御装置40は、ピッチ認識処理で認識したピッチに基づいてテープ送り処理を実行するから、各キャビティ24を部品供給位置まで正しく移動させて部品Pを適切に供給することができる。ここで、実際よりも小さなピッチで部品供給テープ22が送られると、吸着ノズル15の吸着エラーが頻発するおそれがある。また、実際よりも大きなピッチで部品供給テープ22が送られると、部品Pが吸着されないまま部品供給位置を通過して部品Pが廃棄されるおそれがある。本実施形態では、ピッチ認識処理でピッチを正しく認識するから、そのような吸着エラーや部品Pの廃棄のおそれを防止することができる。 As described above, since the control device 40 executes the tape feed process based on the pitch recognized by the pitch recognition process, each cavity 24 can be correctly moved to the component supply position and the component P can be appropriately supplied. Here, if the component supply tape 22 is sent at a pitch smaller than the actual one, the suction error of the suction nozzle 15 may occur frequently. Further, if the component supply tape 22 is sent at a pitch larger than the actual one, the component P may pass through the component supply position without being adsorbed and the component P may be discarded. In the present embodiment, since the pitch is correctly recognized by the pitch recognition process, it is possible to prevent such a suction error and the risk of discarding the component P.
 ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の画像処理部44が本開示の画像処理装置に相当し、キャビティ24がキャビティに相当し、部品供給テープ22が部品供給テープに相当し、マークカメラ30が撮像装置に相当し、ピッチ認識処理のS210~S260を実行する画像処理部44が決定部に相当し、ピッチ認識処理のS280~S310を実行する画像処理部44が認識部に相当する。また、フィーダ20がフィーダに相当し、実装装置10が実装装置に相当し、駆動制御部42が制御装置に相当する。なお、本実施形態は、実装装置10の動作を説明することにより本開示の画像処理方法の一例も明らかにしている。 Here, the correspondence between the components of the present embodiment and the components of the present disclosure will be clarified. The image processing unit 44 of the present embodiment corresponds to the image processing device of the present disclosure, the cavity 24 corresponds to the cavity, the component supply tape 22 corresponds to the component supply tape, the mark camera 30 corresponds to the image pickup device, and the pitch. The image processing unit 44 that executes the recognition processes S210 to S260 corresponds to the determination unit, and the image processing unit 44 that executes the pitch recognition processes S280 to S310 corresponds to the recognition unit. Further, the feeder 20 corresponds to the feeder, the mounting device 10 corresponds to the mounting device, and the drive control unit 42 corresponds to the control device. In this embodiment, an example of the image processing method of the present disclosure is also clarified by explaining the operation of the mounting device 10.
 以上説明した実装装置10では、画像処理部44が、テープ部22aであることが判別している調整領域A1(特定領域)の輝度が所定範囲に収まるように撮像条件を決定する。また、画像処理部44は、その撮像条件で撮像された画像G2を認識用画像とし、所定範囲の下限よりも小さな閾値を用いてテープ部22aとキャビティ24とを判別してキャビティ24のピッチを認識する。これにより、画像処理部44は、部品供給テープ22やマークカメラ30の種類に拘わらず、キャビティ24のピッチを精度よく認識することができる。 In the mounting device 10 described above, the image processing unit 44 determines the imaging conditions so that the brightness of the adjustment region A1 (specific region) determined to be the tape unit 22a falls within a predetermined range. Further, the image processing unit 44 uses the image G2 captured under the imaging conditions as a recognition image, discriminates between the tape unit 22a and the cavity 24 using a threshold value smaller than the lower limit of the predetermined range, and determines the pitch of the cavity 24. recognize. As a result, the image processing unit 44 can accurately recognize the pitch of the cavity 24 regardless of the type of the component supply tape 22 or the mark camera 30.
 また、画像処理部44は、部品供給テープ22の種類毎に閾値を定めなくても共通の閾値を用いてテープ部22aとキャビティ24を適切に判別することができる。また、画像処理部44は、送り穴23同士の間の領域を調整領域A1とするから、調整領域A1をキャビティ24の形成されていない領域に確実に定めて、テープ部22aの輝度を所定範囲に確実に収めるような撮像条件を決定することができる。また、画像処理部44は、部品供給テープ22の切り替え時に撮像条件を決定してキャビティ24のピッチを認識するから、部品の種類が同じでテープ部22aの材質などが異なる部品供給テープ22に切り替わった場合でもピッチを正しく認識することができる。 Further, the image processing unit 44 can appropriately discriminate between the tape unit 22a and the cavity 24 by using a common threshold value without setting a threshold value for each type of the component supply tape 22. Further, since the image processing unit 44 sets the region between the feed holes 23 as the adjustment region A1, the adjustment region A1 is surely defined in the region where the cavity 24 is not formed, and the brightness of the tape portion 22a is set within a predetermined range. It is possible to determine the imaging conditions so that the image can be reliably stored in the image. Further, since the image processing unit 44 determines the imaging condition when the component supply tape 22 is switched and recognizes the pitch of the cavity 24, the image processing unit 44 switches to the component supply tape 22 having the same component type but different materials such as the tape section 22a. Even if it is, the pitch can be recognized correctly.
 なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。 It should be noted that the present disclosure is not limited to the above-described embodiment, and it goes without saying that the present disclosure can be carried out in various embodiments as long as it belongs to the technical scope of the present disclosure.
 例えば、上述した実施形態では、部品供給テープ22が切り替わる度にピッチ認識処理を実行したが、これに限られず、作業者から指示を受けた場合にピッチ認識処理を実行してもよい。あるいは、部品種やテープ種などのいずれかが異なる部品供給テープ22に切り替わった際に、ピッチ認識処理を実行してもよい。なお、制御装置40は、ピッチ認識処理で決定した撮像条件を、部品供給テープ22の部品種やテープ種などに対応付けてHDDなどの記憶装置に記憶してもよい。そして、制御装置40は、ピッチ認識処理を実行する際に、部品種やテープ種などが同じ部品供給テープ22の撮像条件が記憶装置に記憶されていれば、その撮像条件に決定してもよい。 For example, in the above-described embodiment, the pitch recognition process is executed every time the component supply tape 22 is switched, but the present invention is not limited to this, and the pitch recognition process may be executed when an instruction is received from the operator. Alternatively, the pitch recognition process may be executed when any one of the component type, the tape type, and the like is switched to the component supply tape 22 which is different. The control device 40 may store the imaging conditions determined by the pitch recognition process in a storage device such as an HDD in association with the component type, tape type, or the like of the component supply tape 22. Then, when the control device 40 executes the pitch recognition process, if the image pickup condition of the component supply tape 22 having the same component type, tape type, etc. is stored in the storage device, the control device 40 may determine the image pickup condition. ..
 上述した実施形態では、送り穴23同士の間の領域を調整領域A1としたが、これに限られず、キャビティ24の形成可能なサイズやピッチなどに基づいてキャビティ24が形成されていないことが判別している領域を調整領域A1とすればよい。例えば、テープ部22aの幅方向(X軸方向)のうち、送り穴23が形成された側とは反対側の縁の領域を調整領域A1としてもよいし、テープ部22aの送り方向の先端の領域を調整領域A1としてもよい。 In the above-described embodiment, the region between the feed holes 23 is defined as the adjustment region A1, but the region is not limited to this, and it is determined that the cavity 24 is not formed based on the size and pitch in which the cavity 24 can be formed. The region may be set as the adjustment region A1. For example, in the width direction (X-axis direction) of the tape portion 22a, the region of the edge opposite to the side on which the feed hole 23 is formed may be the adjustment region A1, or the tip of the tape portion 22a in the feed direction. The region may be the adjustment region A1.
 上述した実施形態では、撮像条件を決定した後に、その撮像条件で画像G2を撮像して認識用画像としたが、これに限られるものではない。例えば、調整領域A1と測定領域A2とがマークカメラ30の視野範囲に含まれる場合、即ち画像内に調整領域A1と測定領域A2とが含まれる場合には、次のようにしてもよい。図12は変形例のピッチ認識処理を示すフローチャートである。変形例のフローチャートでは、図9と同じ処理には同じステップ番号を付して説明を省略する。画像処理部44は、S260で現在の設定を撮像条件に決定すると、S270,S280の処理を省略してS290で閾値を読み出す。そして、画像処理部44は、撮像条件を決定した際の画像G1を処理して測定領域A2内の各画素の輝度が、閾値以下となる領域をキャビティ24として抽出し(S300a)、抽出したキャビティ24のピッチを測定して認識する(S310)。このように、変形例では、撮像条件を決定した際の画像G1に測定領域A2が含まれる場合、その画像G1を認識用画像とする。このため、撮像条件を決定した後に、改めて画像G2を撮像する必要がないから、キャビティ24のピッチを速やかに認識することができる。 In the above-described embodiment, after the imaging conditions are determined, the image G2 is imaged under the imaging conditions to obtain a recognition image, but the present invention is not limited to this. For example, when the adjustment area A1 and the measurement area A2 are included in the visual field range of the mark camera 30, that is, when the adjustment area A1 and the measurement area A2 are included in the image, the following may be performed. FIG. 12 is a flowchart showing the pitch recognition process of the modified example. In the flowchart of the modified example, the same process as in FIG. 9 is assigned the same step number, and the description thereof will be omitted. When the image processing unit 44 determines the current setting as the imaging condition in S260, the processing of S270 and S280 is omitted and the threshold value is read out in S290. Then, the image processing unit 44 processes the image G1 when the imaging conditions are determined, extracts the region in the measurement region A2 where the brightness of each pixel is equal to or less than the threshold value as the cavity 24 (S300a), and extracts the extracted cavity. 24 pitches are measured and recognized (S310). As described above, in the modified example, when the measurement region A2 is included in the image G1 when the imaging conditions are determined, the image G1 is used as the recognition image. Therefore, since it is not necessary to image the image G2 again after the imaging conditions are determined, the pitch of the cavity 24 can be quickly recognized.
 上述した実施形態では、撮像条件として照明の条件とシャッター速度の条件とを設定するものを例示したが、これに限られず、照明とシャッター速度のいずれか一方の条件を設定するものでもよいし、他の条件を設定するものでもよい。また、照明の条件として点灯色と光源とを設定可能としたが、点灯色と光源のいずれか一方を設定可能でもよい。また、点灯色は、赤色と青色の2色を例示したが、これら以外の2色としてもよいし、さらに緑色などを含んで3色以上としてもよい。また、光源は、落射光源32と側射光源34とを例示したが、これに限られず、落射光源32と側射光源34のうち一方のみを有して光源の条件を変更しなくてもよい。また、シャッター速度は、高速・中速・低速の3段階を例示したが、さらに多段階に設定可能でもよいし、2段階に設定可能でもよい。 In the above-described embodiment, the one in which the illumination condition and the shutter speed condition are set as the imaging conditions is exemplified, but the present invention is not limited to this, and either the illumination condition or the shutter speed condition may be set. Other conditions may be set. Further, although the lighting color and the light source can be set as the lighting conditions, either the lighting color or the light source may be set. Further, as the lighting color, two colors of red and blue are exemplified, but two colors other than these may be used, and three or more colors including green and the like may be used. Further, the light source is exemplified by the epi-illumination light source 32 and the side-illumination light source 34, but the present invention is not limited to this, and it is not necessary to change the light source conditions by having only one of the epi-illumination light source 32 and the side-illumination light source 34. .. Further, although the shutter speed has been exemplified in three stages of high speed, medium speed, and low speed, it may be set in multiple stages or may be set in two stages.
 上述した実施形態では、制御装置40が備えるHDDなどの記憶装置に閾値を記憶しておき、部品供給テープ22の種類に拘わらず、その閾値を共通の閾値として用いるものとした。また、その閾値は、マークカメラ30などの撮像装置の種類に拘わらず、共通に用いられればよい。即ち、仕様や型式などの種類の異なるマークカメラ30を備える複数の実装装置10が、共通の閾値を用いてキャビティ24のピッチを認識すればよい。このように、部品供給テープ22の種類やマークカメラ30の種類に拘わらず共通の閾値とすることで、部品供給テープ22やマークカメラ30の種類毎に閾値を定めなくても、テープ部22aとキャビティ24を適切に判別することができる。 In the above-described embodiment, the threshold value is stored in a storage device such as an HDD included in the control device 40, and the threshold value is used as a common threshold value regardless of the type of the component supply tape 22. Further, the threshold value may be commonly used regardless of the type of the image pickup apparatus such as the mark camera 30. That is, a plurality of mounting devices 10 provided with mark cameras 30 having different types such as specifications and models may recognize the pitch of the cavity 24 using a common threshold value. In this way, by setting a common threshold value regardless of the type of the component supply tape 22 and the type of the mark camera 30, even if the threshold value is not set for each type of the component supply tape 22 and the mark camera 30, the tape portion 22a and the tape portion 22a can be used. The cavity 24 can be appropriately identified.
 上述した実施形態では、調整領域A1内の画素の輝度が所定範囲に収まるように撮像条件を決定し、その所定範囲よりも値10~値20程度小さな閾値を用いたが、これに限られず、所定範囲よりも小さな閾値を適宜定めて用いればよい。 In the above-described embodiment, the imaging conditions are determined so that the brightness of the pixels in the adjustment region A1 falls within a predetermined range, and a threshold value 10 to 20 smaller than the predetermined range is used, but the present invention is not limited to this. A threshold value smaller than a predetermined range may be appropriately set and used.
 上述した実施形態では、予め定められた閾値を用いたが、これに限られず、調整領域A1内から抽出した画素の輝度の下限に基づいてピッチ認識処理時に設定された閾値を用いてもよい。例えば、調整領域A1内から抽出した画素の輝度の下限に対し、所定値(例えば値10や値20)小さな輝度を閾値としてもよい。 In the above-described embodiment, a predetermined threshold value is used, but the present invention is not limited to this, and a threshold value set at the time of pitch recognition processing may be used based on the lower limit of the brightness of the pixels extracted from the adjustment region A1. For example, a brightness smaller than a predetermined value (for example, a value 10 or a value 20) may be set as a threshold value with respect to the lower limit of the brightness of the pixels extracted from the adjustment region A1.
 上述した実施形態では、実装装置10が備える画像処理部44がピッチ認識処理を実行したが、これに限られず、管理装置50の管理制御部52など、実装装置10以外に設けられた画像処理装置がピッチ認識処理を実行してもよい。 In the above-described embodiment, the image processing unit 44 included in the mounting device 10 executes the pitch recognition process, but the present invention is not limited to this, and the image processing device provided in addition to the mounting device 10 such as the management control unit 52 of the management device 50. May execute the pitch recognition process.
 ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記認識部は、前記部品供給テープの種類に拘わらず共通の前記閾値を用いるものとしてもよい。こうすれば、部品供給テープや撮像装置の種類毎に閾値を定めなくてもテープ部とキャビティを適切に判別することができる。 Here, the image processing apparatus of the present disclosure may be configured as follows. For example, in the image processing apparatus of the present disclosure, the recognition unit may use the common threshold value regardless of the type of the component supply tape. By doing so, the tape portion and the cavity can be appropriately discriminated without setting a threshold value for each type of component supply tape or image pickup device.
 本開示の画像処理装置において、前記部品供給テープの前記テープ部には、前記部品供給テープの送り方向に沿って送り用の穴が所定ピッチで複数形成されており、前記決定部は、前記特定領域として前記送り用の穴同士の間の領域を用いるものとしてもよい。こうすれば、特定領域をキャビティの形成されていない領域に確実に定めて、テープ部の輝度を所定範囲に確実に収めることができるから、キャビティのピッチをより精度よく認識することができる。 In the image processing apparatus of the present disclosure, a plurality of holes for feeding are formed at a predetermined pitch in the tape portion of the component supply tape along the feeding direction of the component supply tape, and the determination portion is the specific portion. The region between the feed holes may be used as the region. By doing so, the specific region can be reliably defined in the region where the cavity is not formed, and the brightness of the tape portion can be reliably contained in the predetermined range, so that the pitch of the cavity can be recognized more accurately.
 本開示の画像処理装置において、前記決定部は、部品の種類に拘わらず前記部品供給テープの切り替え時に前記撮像条件を決定し、前記認識部は、前記部品供給テープの切り替え時に前記キャビティのピッチを認識するものとしてもよい。こうすれば、部品の種類が同じでテープの材質などの種類が異なる部品供給テープに切り替わった場合でも、キャビティのピッチを正しく認識することができる。 In the image processing apparatus of the present disclosure, the determination unit determines the imaging conditions when the component supply tape is switched regardless of the type of component, and the recognition unit determines the pitch of the cavity when the component supply tape is switched. It may be recognized. By doing so, the pitch of the cavity can be correctly recognized even when the tape is switched to the component supply tape having the same component type but different types such as the tape material.
 本開示の画像処理装置において、前記認識部は、前記決定部が前記撮像条件を決定した際の画像に前記キャビティの形成領域が含まれている場合、該画像を前記認識用画像とするものとしてもよい。こうすれば、撮像条件を決定した後に、改めて画像を撮像する必要がないから、キャビティのピッチを速やかに認識することができる。 In the image processing apparatus of the present disclosure, when the image when the determination unit determines the imaging condition includes the formation region of the cavity, the recognition unit uses the image as the recognition image. May be good. By doing so, it is not necessary to take an image again after the image pickup condition is determined, so that the pitch of the cavity can be recognized quickly.
 本開示の実装装置は、前記部品供給テープを送るフィーダが取り付けられ、前記部品供給テープの前記キャビティから前記部品を採取して実装する実装装置であって、前記撮像装置と、上述したいずれかの画像処理装置と、前記画像処理装置により認識された前記キャビティのピッチに基づいて前記部品供給テープを送るように前記フィーダを制御する制御装置と、を備えることを要旨とする。 The mounting device of the present disclosure is a mounting device to which a feeder for feeding the component supply tape is attached, and the component is collected and mounted from the cavity of the component supply tape, and is the image pickup device and any of the above-described devices. The gist is to include an image processing device and a control device that controls the feeder so as to feed the component supply tape based on the pitch of the cavity recognized by the image processing device.
 本開示の実装装置は、上述したいずれかの画像処理装置により認識されたキャビティのピッチに基づいてテープを送るようにフィーダを制御するから、テープや撮像装置の種類に拘わらず、キャビティのピッチを精度よく認識してテープを正しく送ることができる。このため、テープの送り量の過不足による部品の供給ミスや、供給された部品の採取ミスなどを防止することができる。 Since the mounting device of the present disclosure controls the feeder to feed the tape based on the pitch of the cavity recognized by any of the image processing devices described above, the pitch of the cavity can be controlled regardless of the type of tape or image pickup device. It can be recognized accurately and the tape can be sent correctly. Therefore, it is possible to prevent a mistake in supplying parts due to an excess or deficiency of the feed amount of the tape, a mistake in collecting the supplied parts, and the like.
 本開示の画像処理方法は、部品を収納するキャビティが複数形成された部品供給テープを撮像装置により撮像した画像を処理する画像処理方法であって、(a)前記部品供給テープのうち前記キャビティ以外のテープ部であることが判別している特定領域の輝度を前記画像から抽出し、該抽出した輝度が所定範囲に収まるように撮像条件を決定するステップと、(b)前記決定された撮像条件で撮像された前記画像を認識用画像とし、前記所定範囲の下限よりも小さな閾値を用いて前記テープ部と前記キャビティとを判別して前記キャビティのピッチを認識するステップと、を含むことを要旨とする。 The image processing method of the present disclosure is an image processing method for processing an image captured by an image pickup apparatus on a component supply tape in which a plurality of cavities for accommodating components are formed, and (a) the component supply tape other than the cavity. The step of extracting the brightness of a specific region determined to be the tape portion of the above image from the image and determining the imaging conditions so that the extracted brightness falls within a predetermined range, and (b) the determined imaging conditions. The gist is that the image captured in 1 is used as a recognition image, and a step of discriminating between the tape portion and the cavity and recognizing the pitch of the cavity by using a threshold value smaller than the lower limit of the predetermined range is included. And.
 本開示の画像処理方法では、上述した画像処理装置と同様に、テープや撮像装置の種類に拘わらず、キャビティのピッチを精度よく認識することができる。なお、この画像処理方法において、上述した画像処理装置のいずれかの機能を実現するステップを追加してもよい。 In the image processing method of the present disclosure, the pitch of the cavity can be accurately recognized regardless of the type of the tape or the image pickup device, as in the image processing device described above. In this image processing method, a step for realizing any function of the image processing apparatus described above may be added.
   本発明は、部品供給テープに収容された部品を送る供給装置や供給された部品を実装する実装装置などに利用可能である。 The present invention can be used as a supply device for sending parts contained in a parts supply tape, a mounting device for mounting the supplied parts, and the like.
 10 実装装置、12 基板搬送装置、14 ヘッド、15 吸着ノズル、16 移動機構、19 パーツカメラ、20 フィーダ、21 リール部、22 部品供給テープ、22a テープ部、23 送り穴、24 キャビティ、25 フィーダ部、26 送りモータ、27 ガイド枠、30 マークカメラ、30a 照明部、30b カメラ本体部、31 ハウジング、32 落射光源、32a 赤色LED、32b 青色LED、32c 支持板、33 ハーフミラー、34 側射光源、34a 赤色LED、34b 青色LED、34c 支持板、35 拡散板、36 撮像素子、37 シャッター、40 制御装置、42 駆動制御部、44 画像処理部、50 管理装置、52 管理制御部、54 入力デバイス、56 ディスプレイ、58 記憶装置、A1 調整領域(特定領域)、A2 測定領域、P 部品、S 基板。 10 mounting device, 12 board transfer device, 14 head, 15 suction nozzle, 16 moving mechanism, 19 parts camera, 20 feeder, 21 reel part, 22 parts supply tape, 22a tape part, 23 feed hole, 24 cavity, 25 feeder part. , 26 feed motor, 27 guide frame, 30 mark camera, 30a lighting unit, 30b camera body, 31 housing, 32 epi-illumination light source, 32a red LED, 32b blue LED, 32c support plate, 33 half mirror, 34 side-illumination light source, 34a red LED, 34b blue LED, 34c support plate, 35 diffuser plate, 36 image pickup element, 37 shutter, 40 control device, 42 drive control unit, 44 image processing unit, 50 management device, 52 management control unit, 54 input device, 56 display, 58 storage device, A1 adjustment area (specific area), A2 measurement area, P parts, S board.

Claims (7)

  1.  部品を収納するキャビティが複数形成された部品供給テープを撮像装置により撮像した画像を処理する画像処理装置であって、
     前記部品供給テープのうち前記キャビティ以外のテープ部であることが判別している特定領域の輝度を前記画像から抽出し、該抽出した輝度が所定範囲に収まるように撮像条件を決定する決定部と、
     前記決定された撮像条件で撮像された前記画像を認識用画像とし、前記所定範囲の下限よりも小さな閾値を用いて前記テープ部と前記キャビティとを判別して前記キャビティのピッチを認識する認識部と、
     を備える画像処理装置。
    An image processing device that processes an image taken by an image pickup device of a component supply tape in which a plurality of cavities for accommodating components are formed.
    A determination unit that extracts the brightness of a specific region of the component supply tape that is determined to be a tape portion other than the cavity from the image, and determines imaging conditions so that the extracted brightness falls within a predetermined range. ,
    The image captured under the determined imaging conditions is used as a recognition image, and the recognition unit recognizes the pitch of the cavity by discriminating between the tape portion and the cavity using a threshold value smaller than the lower limit of the predetermined range. When,
    An image processing device comprising.
  2.  請求項1に記載の画像処理装置であって、
     前記認識部は、前記部品供給テープの種類に拘わらず共通の前記閾値を用いる
     画像処理装置。
    The image processing apparatus according to claim 1.
    The recognition unit is an image processing device that uses the same threshold value regardless of the type of the component supply tape.
  3.  請求項1または2に記載の画像処理装置であって、
     前記部品供給テープの前記テープ部には、前記部品供給テープの送り方向に沿って送り用の穴が所定ピッチで複数形成されており、
     前記決定部は、前記特定領域として前記送り用の穴同士の間の領域を用いる
     画像処理装置。
    The image processing apparatus according to claim 1 or 2.
    In the tape portion of the component supply tape, a plurality of holes for feeding are formed at a predetermined pitch along the feeding direction of the component supply tape.
    The determination unit is an image processing apparatus that uses an area between the holes for feeding as the specific area.
  4.  請求項1ないし3のいずれか1項に記載の画像処理装置であって、
     前記決定部は、部品の種類に拘わらず前記部品供給テープの切り替え時に前記撮像条件を決定し、
     前記認識部は、前記部品供給テープの切り替え時に前記キャビティのピッチを認識する
     画像処理装置。
    The image processing apparatus according to any one of claims 1 to 3.
    The determination unit determines the imaging conditions when switching the component supply tape regardless of the type of component.
    The recognition unit is an image processing device that recognizes the pitch of the cavity when the component supply tape is switched.
  5.  請求項1ないし4のいずれか1項に記載の画像処理装置であって、
     前記認識部は、前記決定部が前記撮像条件を決定した際の画像に前記キャビティの形成領域が含まれている場合、該画像を前記認識用画像とする
     画像処理装置。
    The image processing apparatus according to any one of claims 1 to 4.
    The recognition unit is an image processing device that uses the image as the recognition image when the image when the determination unit determines the imaging conditions includes a region for forming the cavity.
  6.  前記部品供給テープを送るフィーダが取り付けられ、前記部品供給テープの前記キャビティから前記部品を採取して実装する実装装置であって、
     前記撮像装置と、
     請求項1ないし5のいずれか1項に記載の画像処理装置と、
     前記画像処理装置により認識された前記キャビティのピッチに基づいて前記部品供給テープを送るように前記フィーダを制御する制御装置と、
     を備える実装装置。
    A mounting device to which a feeder for feeding the component supply tape is attached, and the component is collected and mounted from the cavity of the component supply tape.
    With the image pickup device
    The image processing apparatus according to any one of claims 1 to 5.
    A control device that controls the feeder to feed the component supply tape based on the pitch of the cavity recognized by the image processing device.
    A mounting device.
  7.  部品を収納するキャビティが複数形成された部品供給テープを撮像装置により撮像した画像を処理する画像処理方法であって、
     (a)前記部品供給テープのうち前記キャビティ以外のテープ部であることが判別している特定領域の輝度を前記画像から抽出し、該抽出した輝度が所定範囲に収まるように撮像条件を決定するステップと、
     (b)前記決定された撮像条件で撮像された前記画像を認識用画像とし、前記所定範囲の下限よりも小さな閾値を用いて前記テープ部と前記キャビティとを判別して前記キャビティのピッチを認識するステップと、
     を含む画像処理方法。
    It is an image processing method that processes an image taken by an image pickup device of a component supply tape in which a plurality of cavities for accommodating components are formed.
    (A) The brightness of a specific region of the component supply tape that is determined to be a tape portion other than the cavity is extracted from the image, and the imaging conditions are determined so that the extracted brightness falls within a predetermined range. Steps and
    (B) The image captured under the determined imaging conditions is used as a recognition image, and the tape portion and the cavity are discriminated from each other by using a threshold value smaller than the lower limit of the predetermined range to recognize the pitch of the cavity. Steps to do and
    Image processing methods including.
PCT/JP2020/031842 2020-08-24 2020-08-24 Image processing device, mounting device, and image processing method WO2022044075A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022544895A JP7423797B2 (en) 2020-08-24 2020-08-24 Image processing device, mounting device, and image processing method
PCT/JP2020/031842 WO2022044075A1 (en) 2020-08-24 2020-08-24 Image processing device, mounting device, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/031842 WO2022044075A1 (en) 2020-08-24 2020-08-24 Image processing device, mounting device, and image processing method

Publications (1)

Publication Number Publication Date
WO2022044075A1 true WO2022044075A1 (en) 2022-03-03

Family

ID=80352805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/031842 WO2022044075A1 (en) 2020-08-24 2020-08-24 Image processing device, mounting device, and image processing method

Country Status (2)

Country Link
JP (1) JP7423797B2 (en)
WO (1) WO2022044075A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009410A1 (en) * 2022-07-05 2024-01-11 株式会社Fuji Component presence/absence determination method and image processing system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3832236B2 (en) * 2000-12-08 2006-10-11 松下電器産業株式会社 Image recognition apparatus and image recognition method
JP2007067187A (en) * 2005-08-31 2007-03-15 Hitachi High-Tech Instruments Co Ltd Electronic part mounting device
JP6037580B2 (en) * 2013-05-13 2016-12-07 富士機械製造株式会社 Component mounter
JP2018056218A (en) * 2016-09-27 2018-04-05 パナソニックIpマネジメント株式会社 Mounting device for electronic component having bumps, and mounting method for electronic component having bumps
JP6322811B2 (en) * 2014-07-28 2018-05-16 パナソニックIpマネジメント株式会社 Component mounting apparatus and component mounting method
JP6465598B2 (en) * 2014-09-17 2019-02-06 株式会社Fuji Tape feeder equipped with an abnormality detection function for top tape peeling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3832236B2 (en) * 2000-12-08 2006-10-11 松下電器産業株式会社 Image recognition apparatus and image recognition method
JP2007067187A (en) * 2005-08-31 2007-03-15 Hitachi High-Tech Instruments Co Ltd Electronic part mounting device
JP6037580B2 (en) * 2013-05-13 2016-12-07 富士機械製造株式会社 Component mounter
JP6322811B2 (en) * 2014-07-28 2018-05-16 パナソニックIpマネジメント株式会社 Component mounting apparatus and component mounting method
JP6465598B2 (en) * 2014-09-17 2019-02-06 株式会社Fuji Tape feeder equipped with an abnormality detection function for top tape peeling
JP2018056218A (en) * 2016-09-27 2018-04-05 パナソニックIpマネジメント株式会社 Mounting device for electronic component having bumps, and mounting method for electronic component having bumps

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009410A1 (en) * 2022-07-05 2024-01-11 株式会社Fuji Component presence/absence determination method and image processing system

Also Published As

Publication number Publication date
JP7423797B2 (en) 2024-01-29
JPWO2022044075A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
JP2008046103A (en) Surface inspection apparatus
WO2021205578A1 (en) Image processing device, mounting device, and image processing method
WO2022044075A1 (en) Image processing device, mounting device, and image processing method
JP2023118927A (en) Substrate handling work system
JP6795512B2 (en) Parts mounting machine
JP2000124683A (en) Image pickup of electronic component and electronic component mounting equipment
WO2019111331A1 (en) Imaging unit and component mounting machine
JP2004213562A (en) Component recognition data creating method, creating device and component recognition data creating program
JP3597611B2 (en) Illumination device for mark recognition in mounting machine
WO2021019610A1 (en) Inspection device
JP6859356B2 (en) Lighting condition identification device and lighting condition identification method
WO2022149264A1 (en) Component presence/absence detection device, training method for component presence/absence detection device, and component mounting machine
CN112425281A (en) Component mounting machine
CN112840752B (en) Camera for shooting component and component mounting machine
KR20070040864A (en) Device for controlling weft insertion of rapier weaving machine
WO2021014636A1 (en) Device and method for inspecting adsorption nozzle
WO2024009410A1 (en) Component presence/absence determination method and image processing system
JP6728501B2 (en) Image processing system and component mounter
JP4637059B2 (en) Illumination device and imaging device
JP7271738B2 (en) Imaging unit
JP6723391B2 (en) Component mounter and production job creation method
WO2018042590A1 (en) Component mounting device and position identification method
WO2023276059A1 (en) Component mounting machine
US11557109B2 (en) Image-capturing unit and component-mounting device
WO2024004074A1 (en) Mounting machine

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20951331

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022544895

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20951331

Country of ref document: EP

Kind code of ref document: A1