WO2013153645A1 - 撮像装置及び画像処理装置 - Google Patents

撮像装置及び画像処理装置 Download PDF

Info

Publication number
WO2013153645A1
WO2013153645A1 PCT/JP2012/059965 JP2012059965W WO2013153645A1 WO 2013153645 A1 WO2013153645 A1 WO 2013153645A1 JP 2012059965 W JP2012059965 W JP 2012059965W WO 2013153645 A1 WO2013153645 A1 WO 2013153645A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
component
image pickup
mark
Prior art date
Application number
PCT/JP2012/059965
Other languages
English (en)
French (fr)
Inventor
秀一郎 鬼頭
勇介 山蔭
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to JP2014509978A priority Critical patent/JP5875676B2/ja
Priority to PCT/JP2012/059965 priority patent/WO2013153645A1/ja
Priority to EP13775076.6A priority patent/EP2838333B1/en
Priority to JP2014510063A priority patent/JP6008946B2/ja
Priority to CN201380018438.6A priority patent/CN104206050B/zh
Priority to PCT/JP2013/051503 priority patent/WO2013153834A1/ja
Priority to US14/388,096 priority patent/US20150049183A1/en
Publication of WO2013153645A1 publication Critical patent/WO2013153645A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement

Definitions

  • the present invention relates to an imaging apparatus and an image processing apparatus that capture and image a plurality of imaging targets within an image circle of one lens system.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-94296
  • the component sucked to the suction nozzle Is picked up by the camera from below
  • the image signal is processed to recognize the suction position of the component, and the deviation of the suction position of the component with respect to the suction nozzle (shift between the center of the component and the center of the suction nozzle) is taken into account.
  • the component is mounted on a circuit board.
  • a reference pin is provided downward at a predetermined position with respect to the suction nozzle, the lower end of the reference pin is used as a reference mark, and the height position of the reference mark is set to the lower end of the suction nozzle. Set the height to approximately the same as that of the part, and pick up both the part sucked by the suction nozzle and the reference mark in the camera's field of view when picking up the part.
  • the position it is possible to measure the displacement of the suction position of the component with respect to the suction nozzle (shift between the center of the component and the center of the suction nozzle).
  • the image of the component 31 is obtained.
  • the image of the reference position mark 32 is imaged in a region near the end of the light receiving surface of the image sensor 33. Since the position of the reference position mark 32 needs to be positioned outside the existing range of the component 31 of the maximum size that can be sucked by the suction nozzle 30, the region near the two sides of the light receiving surface of the image sensor 33 is the reference position. Only the mark 32 is captured in the region B, and cannot be used as the region A for capturing the component 31.
  • the image pickup device 33 that picks up both the component 31 and the reference position mark 32 needs to use an image pickup device 33 having a large size in which the number of vertical and horizontal pixels is increased by the image pickup region B of the reference position mark 32 as compared with the related art.
  • the image circle 34 (a circular area where the imaging object is sharply imaged through the lens of the camera) needs to be increased accordingly.
  • the cost increases greatly.
  • the height position of the reference position mark 32 (the lower end of the reference pin) is set to the same height as the lower surface of the component 31 to be imaged, the component 31 is mounted on the substrate when the component 31 is sucked by the suction nozzle 30.
  • the height position of the reference position mark 32 may be slightly higher than the height position of the lower surface of the part 31 to be imaged. Need to avoid. For this reason, the positions of the imaging planes of the two imaging targets (the component 31 and the reference position mark 32) are shifted back and forth in the optical axis direction, and when one of the imaging targets is focused, the other imaging target is focused. Is not suitable, and the captured image is blurred.
  • the lens aperture is reduced to increase the depth of field (the range that appears to be in focus)
  • the captured image becomes dark and the shutter speed must be reduced. For this reason, when imaging a moving imaging target, there is a possibility that the imaging target is blurred and the image recognition accuracy deteriorates.
  • the problem to be solved by the present invention is to realize a compact (space saving) and cost reduction of an imaging device that captures a plurality of imaging targets, while reducing the depth of field without increasing the depth of field. It is to be able to image all the imaging targets in focus and to improve the image recognition accuracy of a plurality of imaging targets.
  • the present invention provides an imaging apparatus that captures and captures a plurality of imaging targets within an image circle of a single lens system, and includes a plurality of imaging elements that capture the plurality of imaging targets,
  • Each of the image pickup devices picks up a different image pickup object, and is arranged at a position that is optically within the range of the focal depth with respect to the imaging plane (focal plane) of the image pickup object.
  • the depth of focus is a distance on the optical axis where the blur of the image falls within the allowable blur. If the focal depth is within the range of the focal depth, the blur of the image falls within the allowable blur. A sufficiently clear image can be obtained.
  • the image circle is a circular area where an imaging target sharply forms an image through a lens system (one lens or a group of lenses), whereas each imaging element has a square shape.
  • the present invention is configured so that a plurality of imaging elements that capture a plurality of imaging targets for each imaging target are arranged in a circular image circle, so that the entire area of the circular image circle is effectively used. It is possible to use a plurality of image sensors in a space-efficient manner, and to effectively use the entire light-receiving surface of all the image sensors as an imaging area to be imaged.
  • each imaging device can use a small-sized imaging device, it is relatively inexpensive, and compared with the conventional configuration in which a plurality of imaging objects are collectively imaged with one large imaging device. Cost reduction can also be realized.
  • each imaging element is disposed at a position optically within the range of the depth of focus with respect to the imaging plane (focal plane) of each imaging target, so that a plurality of imaging targets are within the same plane. Even if it is not located at the position, it is possible to capture all of the plurality of imaging targets in focus without increasing the depth of field, and the image recognition accuracy of the plurality of imaging targets can be improved.
  • the present invention can be widely applied to devices equipped with an imaging device that captures and images a plurality of imaging objects that are not located in the same plane within an image circle of one lens system, and is applied to, for example, a component mounting machine.
  • one of the plurality of imaging targets is a component to be mounted by a component mounter
  • the imaging device that captures the component is an imaging device that is larger than the other imaging devices, and is in the image circle.
  • the other imaging object is a mark indicating a reference position or information of the component, and a configuration in which an imaging element for imaging a mark for imaging the mark is arranged outside the imaging element for imaging the component And good. In this way, it is possible to arrange the image pickup device for mark imaging by effectively using the empty space outside the image pickup device for picking up components in the circular image circle.
  • the present invention mounts a plurality of image sensors on the same circuit board, and the position of the image sensor having the longer distance from the lens system to the imaging surface of the imaging target is within the depth of focus range.
  • An optical device that arranges the circuit board and shortens the optical distance (optical path length) on the light receiving surface side of the image pickup device having a shorter distance from the lens system to the imaging surface of the image pickup object among the plurality of image pickup devices. It is good also as a structure which provided the distance adjustment means.
  • the optical distance adjusting means for example, a glass plate, a small lens or the like may be used. In this configuration, since a plurality of image sensors can be mounted on the same circuit board, the mounting structure of the plurality of image sensors can be simplified and the cost can be reduced.
  • one imaging target among a plurality of imaging targets is a component sucked by a suction nozzle of the component mounting machine, and the other imaging target is set to the suction nozzle.
  • a reference position mark provided at a predetermined position may be used, and an image signal output from the imaging apparatus may be processed so that the position of the component is recognized by the image processing means with reference to the reference position mark.
  • FIG. 1 is a longitudinal sectional view showing a configuration of a component mounter showing Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing the arrangement relationship between the image circle and the image sensor in the conventional example.
  • FIG. 3 is a diagram illustrating a positional relationship among the image circle, the main image sensor, and the mark image sensor in the first embodiment.
  • FIG. 4 is a diagram illustrating the positional relationship among the component, the reference position mark, the lens, and each image sensor in the first embodiment.
  • FIG. 5 is a diagram illustrating the positional relationship among the components, the reference position mark, the lens, and each image sensor in the second embodiment.
  • FIG. 6 is a diagram illustrating the positional relationship between the image circle, the main image sensor, and the two mark image sensors in the third embodiment.
  • FIGS. 1 A first embodiment of the present invention will be described with reference to FIGS. First, a schematic configuration of the entire component mounter will be described with reference to FIG.
  • the X-axis slide 11 is provided so as to be slidable in the X-axis direction (left-right direction in FIG. 1) by the X-axis ball screw 12, and the Y-axis slide 13 is moved by the Y-axis ball screw 14 relative to the X-axis slide 11. It is provided so as to be slidable in the Y-axis direction (perpendicular to the plane of FIG. 1).
  • a mounting head 15 is provided on the Y-axis slide 13, and a nozzle holder 16 is provided on the mounting head 15 so as to be movable up and down in the Z-axis direction (vertical direction) via a Z-axis drive mechanism (not shown).
  • the suction nozzle 17 is attached to the nozzle holder 16 downward.
  • the mounting head 15 is configured to be rotatable around a central axis (Z axis) by a rotation mechanism (not shown), and the component 18 is mounted when the component 18 sucked by the suction nozzle 17 is mounted on a circuit board. The direction of the can be adjusted.
  • an image pickup device 22 for recognizing a part position that picks up the part 18 (image pickup target) sucked by the suction nozzle 17 from the lower surface side through the pair of reflecting mirrors 20 and 21.
  • a ring-shaped front light 23 is provided above the reflecting mirror 20 positioned below the component 18 sucked by the suction nozzle 17 as an illumination light source for illuminating the component 18 sucked by the suction nozzle 17 from its lower surface side.
  • the imaging device 22 may be arranged directly below the suction nozzle 17.
  • the reference pin 24 is provided downward at a predetermined position in the upper end flange portion 17a of the suction nozzle 17, and the lower end of the reference pin 24 is used as a reference position mark 25 indicating the reference position.
  • the height position of the reference position mark 25 is set to be slightly higher than the height position of the lower surface of the component 18 sucked by the suction nozzle 17. This is to prevent the lower end (reference position mark 25) of the reference pin 24 from colliding with a surrounding object when the component 18 is sucked by the suction nozzle 17 or when the component 18 is mounted on the substrate.
  • the position of the reference position mark 25 is located outside the existence range of the component 18 of the maximum size that can be sucked by the suction nozzle 17 and serves as a reference position when the position of the component 18 is recognized.
  • the imaging device 22 is configured to capture and image both the component 18 and the reference position mark 25 that are two imaging targets within an image circle 26.
  • the image circle 26 is a circular region in which an imaging target sharply forms an image through the lens 36 (one lens or a group of lenses) of the imaging device 22.
  • a rectangular main image sensor 27 that images the component 18 is arranged in the image circle 26, and the reference position mark 25 is imaged at a predetermined position outside the main image sensor 27 in the image circle 26.
  • a mark imaging device 28 is arranged.
  • the reference position mark 25 (the lower end of the reference pin 24) is prevented from colliding with surrounding objects when the component 18 is sucked to the suction nozzle 17 or when the component 18 is mounted on the substrate. It is necessary to avoid a collision by making the height position of the reference position mark 25 slightly higher than the height position of the lower surface of the part 18 to be imaged. For this reason, as shown in FIG. 4, the positions of the imaging surfaces of the two imaging targets (component 18 and reference position mark 25) are shifted back and forth in the optical axis direction, and when focusing on one imaging target, The other imaging object is not focused and the captured image is blurred.
  • the aperture of the lens 36 is reduced to increase the depth of field (the range that appears to be in focus), the captured image becomes dark and the shutter speed must be reduced. For this reason, when imaging a moving imaging target, there is a possibility that the imaging target is blurred and the image recognition accuracy deteriorates.
  • the main image sensor 27 and the mark image sensor 28 for imaging two imaging objects are respectively imaged on the imaging objects. It arrange
  • the depth of focus is a distance on the optical axis where the blur of the image falls within the allowable blur. If the focal depth is within the range of the focal depth, the blur of the image falls within the allowable blur. A sufficiently clear image can be obtained.
  • the control device (image processing means) of the component mounting machine controls the operation of adsorbing the component 18 supplied from a feeder (not shown) to the suction nozzle 17 and mounting it on the circuit board during production.
  • the component 18 is passed through the imaging position (above the front light 23), and both the component 18 and the reference position mark 25 are moved from below to the front light 23.
  • the operation of illuminating and imaging with the imaging device 22 is controlled.
  • the component 18 is imaged by the main image sensor 27, the reference position mark 25 is imaged by the mark image sensor 28, and the image signal output from each of the image sensors 27 and 28 is subjected to image processing to obtain the reference position mark. 25, the suction position of the component 18 with respect to the suction nozzle 17 is recognized.
  • the image circle is a circular area where the imaging target sharply forms an image through the lens 36, whereas each of the imaging elements 27 and 28 has a rectangular shape.
  • the two imaging elements 27 and 28 for imaging two imaging targets are arranged in a circular image circle, By effectively using the entire area of the circular image circle, the two image sensors 27 and 28 can be arranged in a space-efficient manner, and the entire light receiving surface of each image sensor 27 and 28 can be effectively used as the imaging area of the imaging target. .
  • each of the image sensors 27 and 28 can use an image sensor having a small size, it is relatively inexpensive, and compared with a conventional configuration in which two image targets are collectively imaged with one large image sensor. Cost reduction of the imaging device 22 can also be realized.
  • each of the image sensors 27 and 28 is disposed at a position that falls within the range of the depth of focus with respect to the imaging plane (focal plane) of each imaging target. 18 and the reference position mark 25) are not located in the same plane, it is possible to focus and image both of the two imaging objects without increasing the depth of field. The image recognition accuracy of the target can also be improved.
  • the image pickup device of the image pickup device 22 is divided into the main image pickup device 27 for picking up the component 18 and the mark image pickup device 28 for picking up the reference position mark 25
  • various image processing methods can be adopted.
  • the image processing of the component 18 and the image processing of the reference position mark 25 may be performed separately in parallel, or the image processing of the main image sensor 27 is performed after the image processing of the mark image sensor 28 is performed first. It may be started.
  • the data transfer between the mark image sensor 28 and the main image sensor 27 may be executed in parallel, or the position recognition of the reference position mark 25 and the position recognition of the component 18 may be executed in parallel. .
  • the reference pin 24 (reference position mark 25) is provided on the upper end flange portion 17a of the suction nozzle 17.
  • the reference pin 24 (reference position mark 25) may be provided on the nozzle holder 16.
  • the reference pin 24 (reference position mark 25) may be provided at a predetermined position.
  • the mark image pickup device 28 when the mark image pickup device 28 is attached to the circuit board on which the main image pickup device 27 is mounted, the mark image pickup device 28 may be attached to the circuit board via a spacer member.
  • the wiring structure for connecting the terminal of the mark image sensor 28 to the circuit board of the main image sensor 27 may be complicated, or the mark image sensor 28 may be It is necessary to provide a circuit board to be mounted separately from the circuit board of the main image sensor 27.
  • the main image sensor 27 and the mark image sensor 28 are mounted on the same circuit board 37, and the distance from the lens 36 to the imaging plane of the imaging target
  • the circuit board 37 is arranged so that the position of the main image sensor 27 that is the longer image sensor is within the range of the depth of focus.
  • an optical distance optical path length
  • the optical distance adjusting means 38 for shortening the distance is provided.
  • the optical distance adjusting means 38 for example, a glass plate, a small lens or the like may be used. Other configurations are the same as those of the first embodiment.
  • the two image sensors 27 and 28 can be mounted on the same circuit board 37, the mounting structure of the two image sensors 27 and 28 can be simplified and the cost can be reduced. In addition, the same effects as those of the first embodiment can be obtained.
  • the reference position mark 25 may be provided in only one place as in the first and second embodiments. In this case, however, one reference is made in the coordinate system of the imaging device 22 (the coordinate system of the captured image).
  • the position of the component 18 can only be measured using the position mark 25 as a reference, and the position of the suction nozzle 17 that is hidden behind the component 18 from the imaging device 22 side cannot be recognized.
  • reference position marks 25 ⁇ / b> X and 25 ⁇ / b> Y are provided at two positions in the X direction and Y direction determined in advance with respect to the suction nozzle 17, and
  • the mark image pickup devices 28X and 28Y are provided at two locations in the X direction and Y direction outside the main image pickup device 27, respectively, and the reference image marks 25X and 25Y are imaged by the mark image pickup devices 28X and 28Y, respectively.
  • Each of the mark image pickup devices 28X and 28Y is disposed at a position optically within the range of the focal depth with respect to the imaging plane (focal plane) of the reference position marks 25X and 25Y that are the imaging targets. Other matters are the same as those in the first or second embodiment.
  • the suction nozzle 17 cannot be seen from the positions of the two reference position marks 25X and 25Y. Since the position is uniquely determined, the position of the suction nozzle 17 and the position of the component 18 can be accurately measured with reference to the two reference position marks 25X and 25Y in the coordinate system of the imaging device 22 (the coordinate system of the captured image). Even if the position of the reference position mark 25 is shifted in the rotation direction of the mounting head 15 due to the shift of the rotation stop position of the mounting head 15, the suction position of the component 18 with respect to the suction nozzle 17 can be accurately measured.
  • the component 18 sucked by the suction nozzle 17 of the component mounting machine is the imaging target.
  • the component supplied from the feeder or the component mounted on the board is the imaging target, and these are viewed from above. You may apply this invention to the imaging device which images.
  • the mark imaged by the mark image sensor is not limited to the reference position mark, and an information mark such as a two-dimensional code or a one-dimensional code displaying information of an imaging target (component 18 or the like) may be imaged.
  • an object other than the mark may be the imaging target.
  • the present invention is not limited to a component mounting machine, and is widely applied to devices equipped with an imaging device that captures and images a plurality of imaging targets that are not located in the same plane within an image circle of one lens system. Needless to say, various modifications can be made without departing from the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

 撮像装置22は、2つの撮像対象である部品18と基準位置マーク25の両方をイメージサークル26内に収めて撮像するように構成され、且つ、メイン撮像素子27とマーク用撮像素子28は、それぞれ該撮像対象の結像面(焦点面)に対して焦点深度の範囲内に収まる位置に配置されている。撮像時には、部品18をメイン撮像素子27で撮像すると共に、基準位置マーク25をマーク用撮像素子28で撮像し、各撮像素子27,28から出力される画像信号を画像処理して、基準位置マーク25を基準にして吸着ノズル17に対する部品18の吸着位置を認識する。

Description

撮像装置及び画像処理装置
 本発明は、複数の撮像対象を1つのレンズ系のイメージサークル内に収めて撮像する撮像装置及び画像処理装置に関する発明である。
 例えば、部品実装機においては、特許文献1(特開2002-94296号公報)に記載されているように、吸着ノズルに部品を吸着して回路基板に実装する際に、吸着ノズルに吸着した部品をその下方からカメラで撮像して、その画像信号を処理して部品の吸着位置を認識し、吸着ノズルに対する部品の吸着位置のずれ(部品の中心と吸着ノズルの中心とのずれ)を考慮して該部品を回路基板に実装するようにしている。この際、吸着ノズルに吸着した部品をその下方から撮像した画像には、吸着ノズルの中心が部品に隠れて見えないため、部品撮像時に吸着ノズルの中心をカメラの中心に正確に位置合わせして停止させる必要があるが、部品撮像毎に吸着ノズルの中心をカメラの中心に正確に位置合わせして停止させると、その分、部品の吸着から実装までに要する時間が長くなり、生産性が低下する。
 そこで、特許文献1では、吸着ノズルに対して予め決められた位置に基準ピンを下向きに設けて、該基準ピンの下端を基準マークとすると共に、該基準マークの高さ位置を吸着ノズルの下端とほぼ同じ高さに設定し、部品撮像時に吸着ノズルに吸着した部品と基準マークの両方をカメラの視野内に収めて撮像し、カメラの画像信号を処理して基準マークを基準にして部品の位置を認識することで、吸着ノズルに対する部品の吸着位置のずれ(部品の中心と吸着ノズルの中心とのずれ)を計測できるようにしている。このようにすれば、部品撮像時に吸着ノズルの中心をカメラの中心に正確に位置合わせする必要がなくなり、吸着ノズルを移動させながら部品を撮像しても(つまり吸着ノズルの中心がカメラの中心からずれていても)、吸着ノズルに対する部品の吸着位置のずれを計測できるようになる。
特開平2002-94296号公報
 ところで、図2に示すように、吸着ノズル30に吸着した部品31と基準位置マーク32の両方をカメラのレンズを通して撮像素子33の受光面に結像させて撮像する場合は、部品31の像は、撮像素子33の受光面の中央側領域に結像し、基準位置マーク32の像は、撮像素子33の受光面の端部付近の領域に結像する。基準位置マーク32の位置は、吸着ノズル30に吸着可能な最大サイズの部品31の存在範囲より外側に位置させる必要があるため、撮像素子33の受光面の2辺部付近の領域は、基準位置マーク32のみを撮像する領域Bとなり、部品31を撮像する領域Aとしては利用できない。このため、部品31と基準位置マーク32の両方を撮像する撮像素子33は、従来より縦横の画素数を基準位置マーク32の撮像領域B分だけ増加させた大きなサイズの撮像素子33を使用する必要があり、しかも、撮像素子33のサイズが大きくなれば、その分、イメージサークル34(カメラのレンズを通して撮像対象物がシャープに結像する円形の領域)も大きくする必要があり、その結果、カメラが大型化するばかりか、コストアップ幅も大きいという欠点があった。
 ところで、基準位置マーク32(基準ピンの下端)の高さ位置を撮像対象である部品31の下面と同じ高さにすると、吸着ノズル30に部品31を吸着するときや該部品31を基板に実装するとき等に、基準位置マーク32が周辺の物体に衝突する可能性があるため、基準位置マーク32の高さ位置を撮像対象である部品31の下面の高さ位置よりも少し高くして衝突を避ける必要がある。このため、2つの撮像対象(部品31と基準位置マーク32)の結像面の位置が光軸方向の前後にずれてしまい、一方の撮像対象に焦点を合わせると、他方の撮像対象には焦点が合わず、撮像画像がボケてしまう欠点がある。
 この対策として、レンズの絞りを絞って被写界深度(焦点が合っているように見える範囲)を深くすると、撮像画像が暗くなってしまい、シャッター速度を遅くせざるを得ない。このため、動く撮像対象を撮像する場合は、撮像対象がぶれて撮像される可能性があり、画像認識精度が悪化する。
 そこで、本発明が解決しようとする課題は、複数の撮像対象を撮像する撮像装置のコンパクト化(省スペース化)と低コスト化を実現しながら、被写界深度を深くせずに、複数の撮像対象を全て焦点を合わせて撮像でき、複数の撮像対象の画像認識精度も向上できるようにすることである。
 上記課題を解決するために、本発明は、複数の撮像対象を1つのレンズ系のイメージサークル内に収めて撮像する撮像装置において、前記複数の撮像対象を撮像する複数の撮像素子を備え、前記各撮像素子は、それぞれ異なる撮像対象を撮像し、且つ、該撮像対象の結像面(焦点面)に対して光学的に焦点深度の範囲内に収まる位置に配置されていることを特徴とするものである。ここで、焦点深度は、像のボケが許容ボケ内に収まる光軸上の距離であり、この焦点深度の範囲内であれば、焦点がずれていても、像のボケが許容ボケ内に収まり、十分に鮮明な像が得られる。
 また、イメージサークルは、レンズ系(1枚のレンズ又は1群のレンズ)を通して撮像対象がシャープに結像する円形の領域であるのに対して、各撮像素子は四角形の形状である。この点を考慮して、本発明では、複数の撮像対象を撮像対象毎に撮像する複数の撮像素子を円形のイメージサークル内に配置する構成であるため、円形のイメージサークルの領域全体を有効に使用して、複数の撮像素子をスペース効率良く配置できると共に、全ての撮像素子の受光面全体を撮像対象の撮像領域として有効に使用できる。これにより、撮像素子のサイズを大きくする必要がなく、イメージサークルも大きくする必要がないため、複数の撮像対象を撮像する撮像装置のコンパクト化(省スペース化)を実現できる。しかも、各撮像素子は、サイズの小さい撮像素子を使用できるため、比較的安価であり、1個の大きな撮像素子で複数の撮像対象を一括して撮像する従来構成と比較して、撮像装置の低コスト化も実現できる。更に、本発明では、各撮像素子を各撮像対象の結像面(焦点面)に対して光学的に焦点深度の範囲内に収まる位置に配置しているため、複数の撮像対象が同一平面内に位置していない場合でも、被写界深度を深くせずに、複数の撮像対象を全て焦点を合わせて撮像することが可能となり、複数の撮像対象の画像認識精度も向上できる。
 本発明は、同一平面内に位置しない複数の撮像対象を1つのレンズ系のイメージサークル内に収めて撮像する撮像装置を搭載する機器に広く適用して実施でき、例えば、部品実装機に適用する場合、複数の撮像対象のうちの1つの撮像対象は、部品実装機で実装する部品とし、該部品を撮像する撮像素子は、他の撮像素子よりも大型の撮像素子で、且つ、イメージサークル内の中央側に配置し、他の撮像対象は、基準位置又は前記部品の情報を示すマークであり、該マークを撮像するマーク撮像用の撮像素子を部品撮像用の撮像素子の外側に配置した構成とすると良い。このようにすれば、円形のイメージサークル内のう
ちの部品撮像用の撮像素子の外側の空きスペースを有効に利用してマーク撮像用の撮像素子を配置することができる。
 また、本発明は、複数の撮像素子を同じ回路基板に実装し、且つ、レンズ系から撮像対象の結像面までの距離が長い方の撮像素子の位置が焦点深度の範囲内に収まるように前記回路基板を配置し、複数の撮像素子のうちのレンズ系から撮像対象の結像面までの距離が短い方の撮像素子の受光面側に、光学的距離(光路長)を短縮する光学的距離調整手段を設けた構成としても良い。ここで、光学的距離調整手段としては、例えば、ガラス板、小型レンズ等を用いれば良い。この構成では、複数の撮像素子を同じ回路基板に実装できるため、複数の撮像素子の実装構造を簡単化でき、低コスト化できる。
 本発明を部品実装機に適用する場合は、複数の撮像対象のうちの1つの撮像対象を、部品実装機の吸着ノズルに吸着された部品とし、他の撮像対象を、前記吸着ノズルに対して予め決められた位置に設けられた基準位置マークとし、撮像装置から出力される画像信号を処理して前記基準位置マークを基準にして前記部品の位置を画像処理手段により認識するようにすると良い。このようにすれば、部品実装機において、吸着ノズルに吸着された部品と基準位置マークの両方を撮像する撮像装置のコンパクト化(省スペース化)と低コスト化と画像認識精度向上を実現できる。
図1は本発明の実施例1を示す部品実装機の構成を示す縦断面図である。 図2は従来例におけるイメージサークルと撮像素子の配置関係を示す図である。 図3は実施例1におけるイメージサークル、メイン撮像素子及びマーク用撮像素子の位置関係を示す図である。 図4は実施例1における部品、基準位置マーク、レンズ及び各撮像素子の位置関係を示す図である。 図5は実施例2における部品、基準位置マーク、レンズ及び各撮像素子の位置関係を示す図である。 図6は実施例3におけるイメージサークル、メイン撮像素子及び2つのマーク用撮像素子の位置関係を示す図である。
 以下、本発明を実施するための形態を部品実装機に適用して具体化した3つの実施例1~3を説明する。
 本発明の実施例1を図1~図3を用いて説明する。
 まず、図1に基づいて部品実装機全体の概略構成を説明する。
 X軸スライド11は、X軸ボールねじ12によってX軸方向(図1の左右方向)にスライド移動可能に設けられ、このX軸スライド11に対して、Y軸スライド13がY軸ボールねじ14によってY軸方向(図1の紙面垂直方向)にスライド移動可能に設けられている。
 Y軸スライド13には、装着ヘッド15が設けられ、この装着ヘッド15にノズルホルダ16がZ軸駆動機構(図示せず)を介してZ軸方向(上下方向)に昇降可能に設けられ、このノズルホルダ16に吸着ノズル17が下向きに取り付けられている。装着ヘッド15は、その中心軸(Z軸)の回りを回転機構(図示せず)により回転可能に構成され、吸着ノズル17に吸着した部品18を回路基板に実装するとき等に、該部品18の向きを調整できるようになっている。
 一方、X軸スライド11には、吸着ノズル17に吸着した部品18(撮像対象)をその下面側から一対の反射鏡20,21を介して撮像する部品位置認識用の撮像装置22(パーツカメラ)が設けられている。吸着ノズル17に吸着した部品18の下方に位置する反射鏡20の上方には、吸着ノズル17に吸着した部品18をその下面側から照明する照明光源としてリング状のフロントライト23が設けられている。尚、撮像装置22を吸着ノズル17の真下に配置した構成としても良い。
 本実施例1では、吸着ノズル17の上端フランジ部17aのうちの予め決められた位置に基準ピン24が下向きに設けられ、該基準ピン24の下端を、基準位置を示す基準位置マーク25とすると共に、該基準位置マーク25の高さ位置が吸着ノズル17に吸着した部品18の下面の高さ位置よりも少し高い位置に設定されている。吸着ノズル17に部品18を吸着するときや該部品18を基板に実装するとき等に、基準ピン24の下端(基準位置マーク25)が周辺の物体に衝突することを避けるためである。基準位置マーク25の位置は、吸着ノズル17に吸着可能な最大サイズの部品18の存在範囲より外側に位置し、部品18の位置を画像認識する際の基準位置となる。
 撮像装置22は、図3に示すように、2つの撮像対象である部品18と基準位置マーク25の両方をイメージサークル26内に収めて撮像するように構成されている。ここで、イメージサークル26は、撮像装置22のレンズ36(1枚のレンズ又は1群のレンズ)を通して撮像対象がシャープに結像する円形の領域である。このイメージサークル26内に部品18を撮像する四角形のメイン撮像素子27が配置され、該イメージサークル26内のうちのメイン撮像素子27の外側の予め決められた位置に、基準位置マーク25を撮像するマーク用撮像素子28が配置されている。
 前述したように、吸着ノズル17に部品18を吸着するときや該部品18を基板に実装するとき等に、基準位置マーク25(基準ピン24の下端)が周辺の物体に衝突することを避けるため、基準位置マーク25の高さ位置を撮像対象である部品18の下面の高さ位置よりも少し高くして衝突を避ける必要がある。このため、図4に示すように、2つの撮像対象(部品18と基準位置マーク25)の結像面の位置が光軸方向の前後にずれてしまい、一方の撮像対象に焦点を合わせると、他方の撮像対象には焦点が合わず、撮像画像がボケてしまう。
 この対策として、レンズ36の絞りを絞って被写界深度(焦点が合っているように見える範囲)を深くすると、撮像画像が暗くなってしまい、シャッター速度を遅くせざるを得ない。このため、動く撮像対象を撮像する場合は、撮像対象がぶれて撮像される可能性があり、画像認識精度が悪化する。
 そこで、本実施例1では、図4に示すように、2つの撮像対象(部品18と基準位置マーク25)を撮像するメイン撮像素子27とマーク用撮像素子28を、それぞれ該撮像対象の結像面(焦点面)に対して焦点深度の範囲内に収まる位置に配置している。ここで、焦点深度は、像のボケが許容ボケ内に収まる光軸上の距離であり、この焦点深度の範囲内であれば、焦点がずれていても、像のボケが許容ボケ内に収まり、十分に鮮明な像が得られる。
 部品実装機の制御装置(画像処理手段)は、生産中に、フィーダ(図示せず)から供給される部品18を吸着ノズル17に吸着して回路基板に実装する動作を制御すると共に、吸着ノズル17に吸着した部品18を回路基板側へ移送する途中で、該部品18を撮像位置(フロントライト23の上方位置)を通過させ、該部品18と基準位置マーク25の両方を下方からフロントライト23で照明して撮像装置22で撮像する動作を制御する。撮像時には、部品18をメイン撮像素子27で撮像すると共に、基準位置マーク25をマーク用撮像素子28で撮像し、各撮像素子27,28から出力される画像信号を画像処理して、基準位置マーク25を基準にして吸着ノズル17に対する部品18の吸着位置を認識する。
 前述したように、イメージサークルは、レンズ36を通して撮像対象がシャープに結像する円形の領域であるのに対して、各撮像素子27,28は四角形の形状である。この点を考慮して、本実施例1では、2つの撮像対象(部品18と基準位置マーク25)を撮像する2つの撮像素子27,28を円形のイメージサークル内に配置する構成であるため、円形のイメージサークルの領域全体を有効に使用して、2つの撮像素子27,28をスペース効率良く配置できると共に、各撮像素子27,28の受光面全体を撮像対象の撮像領域として有効に使用できる。これにより、2つの撮像素子27,28のサイズを大きくする必要がなく、イメージサークルも大きくする必要がないため、2つの撮像対象を撮像する撮像装置22のコンパクト化(省スペース化)を実現できる。しかも、各撮像素子27,28は、サイズの小さい撮像素子を使用できるため、比較的安価であり、1個の大きな撮像素子で2つの撮像対象を一括して撮像する従来構成と比較して、撮像装置22の低コスト化も実現できる。
 更に、本実施例1では、各撮像素子27,28を各撮像対象の結像面(焦点面)に対して焦点深度の範囲内に収まる位置に配置しているため、2つの撮像対象(部品18と基準位置マーク25)が同一平面内に位置していない場合でも、被写界深度を深くせずに、2つの撮像対象の両方を焦点を合わせて撮像することが可能となり、2つの撮像対象の画像認識精度も向上できる。
 また、撮像装置22の撮像素子を、部品18を撮像するメイン撮像素子27と、基準位置マーク25を撮像するマーク用撮像素子28とに分割しているため、様々な画像処理方法を採用できる。例えば、部品18の画像処理と基準位置マーク25の画像処理とを別々に並行して行っても良いし、先にマーク用撮像素子28の画像処理を行った後にメイン撮像素子27の画像処理を開始するようにしても良い。更に、マーク用撮像素子28とメイン撮像素子27のデータ転送を並行して実行しても良いし、基準位置マーク25の位置認識と部品18の位置認識を並行して実行するようにしても良い。
 尚、本実施例1では、基準ピン24(基準位置マーク25)を吸着ノズル17の上端フランジ部17aに設けたが、ノズルホルダ16に設けるようにしても良く、要は、吸着ノズル17に対して予め決められた位置に基準ピン24(基準位置マーク25)を設けるようにすれば良い。
 上記実施例1では、メイン撮像素子27を実装した回路基板にマーク用撮像素子28を取り付ける場合は、該回路基板にスペーサ部材を介してマーク用撮像素子28を取り付ければ良いが、この構成では、マーク用撮像素子28の端子構造やスペーサ部材の厚みによっては、マーク用撮像素子28の端子をメイン撮像素子27の回路基板に接続する配線構造が複雑化したり、或は、マーク用撮像素子28を実装する回路基板をメイン撮像素子27の回路基板とは別に設けたりする必要がある。
 そこで、本発明の実施例2では、図5に示すように、メイン撮像素子27とマーク用撮像素子28を同じ回路基板37に実装し、且つ、レンズ36から撮像対象の結像面までの距離が長い方の撮像素子であるメイン撮像素子27の位置が焦点深度の範囲内に収まるように回路基板37を配置している。更に、2つの撮像素子27,28のうちのレンズ36から撮像対象の結像面までの距離が短い方の撮像素子であるマーク用撮像素子28の受光面側に、光学的距離(光路長)を短縮する光学的距離調整手段38を設けた構成としている。ここで、光学的距離調整手段38としては、例えば、ガラス板、小型レンズ等を用いれば良い。その他の構成は、前記実施例1と同じである。
 以上説明した本実施例2では、2つの撮像素子27,28を同じ回路基板37に実装できるため、2つの撮像素子27,28の実装構造を簡単化でき、低コスト化できる。その他、前記実施例1と同様の効果を得ることができる。
 本発明は、上記実施例1,2のように基準位置マーク25を1箇所のみに設けても良いが、この場合は、撮像装置22の座標系(撮像画像の座標系)で1箇所の基準位置マーク25を基準にして部品18の位置を計測できるだけであり、撮像装置22側から部品18に隠れて見えない吸着ノズル17の位置は認識できないため、装着ヘッド15の回転停止位置のずれにより基準位置マーク25の位置が装着ヘッド15の回転方向にずれたことが原因で部品18の位置が相対的に装着ヘッド15の回転方向にずれた状態を撮像した場合と、吸着ノズル17に対する部品18の吸着位置が実際にずれた状態を撮像した場合とを区別できない。
 そこで、図6に示す本発明の実施例3では、吸着ノズル17に対して予め決められたX方向とY方向の2箇所にそれぞれ基準位置マーク25X,25Yを設けると共に、イメージサークル26内のうちのメイン撮像素子27の外側のX方向とY方向の2箇所に、それぞれマーク用撮像素子28X,28Yを設け、各マーク用撮像素子28X,28Yでそれぞれ基準位置マーク25X,25Yを撮像するようにしている。各マーク用撮像素子28X,28Yは、それぞれ撮像対象である基準位置マーク25X,25Yの結像面(焦点面)に対して光学的に焦点深度の範囲内に収まる位置に配置されている。その他の事項は、前記実施例1又は2と同じである。
 以上説明した本実施例3では、撮像装置22側から吸着ノズル17の位置が部品18に隠れて見えないという事情があっても、2箇所の基準位置マーク25X,25Yの位置から吸着ノズル17の位置が一義的に決まるため、撮像装置22の座標系(撮像画像の座標系)で2箇所の基準位置マーク25X,25Yを基準にして吸着ノズル17の位置と部品18の位置を精度良く計測でき、装着ヘッド15の回転停止位置のずれにより基準位置マーク25の位置が装着ヘッド15の回転方向にずれていても、吸着ノズル17に対する部品18の吸着位置を精度良く計測できる。
[その他の実施例]
 上記実施例1~3では、部品実装機の吸着ノズル17に吸着した部品18を撮像対象としたが、フィーダから供給される部品や、基板に実装した部品等を撮像対象とし、これらを上方から撮像する撮像装置に本発明を適用しても良い。
 また、マーク用撮像素子で撮像するマークは、基準位置マークに限定されず、撮像対象(部品18等)の情報を表示した二次元コード、一次元コード等の情報マークを撮像するようにしても良く、勿論、マーク以外の物体を撮像対象としても良い。
 その他、本発明は、部品実装機に限定されず、同一平面内に位置しない複数の撮像対象
を1つのレンズ系のイメージサークル内に収めて撮像する撮像装置を搭載する機器に広く適用して実施できる等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
 11…X軸スライド、13…Y軸スライド、15…装着ヘッド、16…ノズルホルダ、17…吸着ノズル、18…部品(撮像対象)、20,21…反射鏡、22…撮像装置、23…フロントライト、24…基準ピン、25,25X,25Y…基準位置マーク(撮像対象)、26…イメージサークル、27…メイン撮像素子、28,28X,28Y…マーク用撮像素子、36…レンズ、37…回路基板、38…光学的距離調整手段

Claims (4)

  1.  複数の撮像対象を1つのレンズ系のイメージサークル内に収めて撮像する撮像装置において、
     前記複数の撮像対象を撮像する複数の撮像素子を備え、
     前記各撮像素子は、それぞれ異なる撮像対象を撮像し、且つ、該撮像対象の結像面に対して光学的に焦点深度の範囲内に収まる位置に配置されていることを特徴とする撮像装置。
  2.  前記複数の撮像対象のうちの1つの撮像対象は、部品実装機で実装する部品であり、該
    部品を撮像する撮像素子は、他の撮像素子よりも大型の撮像素子で、且つ、前記イメージサークル内の中央側に配置され、
     他の撮像対象は、基準位置又は前記部品の情報を示すマークであり、該マークを撮像する前記他の撮像素子は、前記部品を撮像する撮像素子の外側に配置されていることを特徴とする請求項1に記載の撮像装置。
  3.  前記複数の撮像素子は、同じ回路基板に実装され、且つ、前記レンズ系から前記撮像対象の結像面までの距離が長い方の撮像素子の位置が前記焦点深度の範囲内に収まるように前記回路基板が配置され、
     前記複数の撮像素子のうちの前記レンズ系から前記撮像対象の結像面までの距離が短い方の撮像素子の受光面側に、光学的距離を短縮する光学的距離調整手段が設けられていることを特徴とする請求項1又は2に記載の撮像装置。
  4.  前記複数の撮像対象のうちの1つの撮像対象は、部品実装機の吸着ノズルに吸着された部品であり、
     前記他の撮像対象は、前記吸着ノズルに対して予め決められた位置に設けられた基準位置マークであり、
     請求項1乃至3のいずれかに記載の撮像装置から出力される画像信号を処理して前記基準位置マークを基準にして前記部品の位置を認識する画像処理手段を備えていることを特徴とする画像処理装置。
PCT/JP2012/059965 2012-04-12 2012-04-12 撮像装置及び画像処理装置 WO2013153645A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2014509978A JP5875676B2 (ja) 2012-04-12 2012-04-12 撮像装置及び画像処理装置
PCT/JP2012/059965 WO2013153645A1 (ja) 2012-04-12 2012-04-12 撮像装置及び画像処理装置
EP13775076.6A EP2838333B1 (en) 2012-04-12 2013-01-24 Component mounting machine
JP2014510063A JP6008946B2 (ja) 2012-04-12 2013-01-24 部品実装機
CN201380018438.6A CN104206050B (zh) 2012-04-12 2013-01-24 元件安装机
PCT/JP2013/051503 WO2013153834A1 (ja) 2012-04-12 2013-01-24 部品実装機
US14/388,096 US20150049183A1 (en) 2012-04-12 2013-01-24 Component-mounting machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/059965 WO2013153645A1 (ja) 2012-04-12 2012-04-12 撮像装置及び画像処理装置

Publications (1)

Publication Number Publication Date
WO2013153645A1 true WO2013153645A1 (ja) 2013-10-17

Family

ID=49327251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/059965 WO2013153645A1 (ja) 2012-04-12 2012-04-12 撮像装置及び画像処理装置

Country Status (2)

Country Link
JP (1) JP5875676B2 (ja)
WO (1) WO2013153645A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105082182A (zh) * 2015-08-13 2015-11-25 深圳市顶点视觉自动化技术有限公司 一种用于引导机器人的视觉定位系统
JPWO2015004717A1 (ja) * 2013-07-08 2017-02-23 富士機械製造株式会社 部品保持状態検出方法および部品実装装置
CN112867386A (zh) * 2019-11-27 2021-05-28 苏州旭创科技有限公司 自动贴片装置及其吸嘴和自动贴片方法
WO2021117319A1 (ja) * 2019-12-11 2021-06-17 パナソニックIpマネジメント株式会社 部品撮像装置および部品実装装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03241897A (ja) * 1990-02-20 1991-10-29 Matsushita Electric Works Ltd リード付き部品の位置補正方法
JPH09289605A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd 撮像装置
JP2001160135A (ja) * 1999-12-03 2001-06-12 Fuji Mach Mfg Co Ltd 画像処理方法,画像処理システムおよび補正データ作成方法
JP2004094567A (ja) * 2002-08-30 2004-03-25 Matsushita Electric Ind Co Ltd 画像読み取り装置および画像読み取り方法
JP2008021734A (ja) * 2006-07-11 2008-01-31 Fuji Mach Mfg Co Ltd 部品保持具による電子回路部品の保持位置検出装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4926881B2 (ja) * 2006-09-22 2012-05-09 キヤノン株式会社 インプリント装置およびアライメント方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03241897A (ja) * 1990-02-20 1991-10-29 Matsushita Electric Works Ltd リード付き部品の位置補正方法
JPH09289605A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd 撮像装置
JP2001160135A (ja) * 1999-12-03 2001-06-12 Fuji Mach Mfg Co Ltd 画像処理方法,画像処理システムおよび補正データ作成方法
JP2004094567A (ja) * 2002-08-30 2004-03-25 Matsushita Electric Ind Co Ltd 画像読み取り装置および画像読み取り方法
JP2008021734A (ja) * 2006-07-11 2008-01-31 Fuji Mach Mfg Co Ltd 部品保持具による電子回路部品の保持位置検出装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015004717A1 (ja) * 2013-07-08 2017-02-23 富士機械製造株式会社 部品保持状態検出方法および部品実装装置
CN105082182A (zh) * 2015-08-13 2015-11-25 深圳市顶点视觉自动化技术有限公司 一种用于引导机器人的视觉定位系统
CN112867386A (zh) * 2019-11-27 2021-05-28 苏州旭创科技有限公司 自动贴片装置及其吸嘴和自动贴片方法
CN112867386B (zh) * 2019-11-27 2022-10-21 苏州旭创科技有限公司 自动贴片装置及其吸嘴和自动贴片方法
WO2021117319A1 (ja) * 2019-12-11 2021-06-17 パナソニックIpマネジメント株式会社 部品撮像装置および部品実装装置

Also Published As

Publication number Publication date
JPWO2013153645A1 (ja) 2015-12-17
JP5875676B2 (ja) 2016-03-02

Similar Documents

Publication Publication Date Title
JP4883181B2 (ja) 部品実装方法
US7352477B2 (en) Two dimensional position detecting device
JP2011145115A (ja) 測距装置、測距用モジュール及びこれを用いた撮像装置
US20150192750A1 (en) Method for manufacturing camera module
JP5875676B2 (ja) 撮像装置及び画像処理装置
WO2015011853A1 (ja) 電子部品実装装置及び電子部品実装方法
JP5951793B2 (ja) 撮像素子位置検出装置
EP3248369B1 (en) Camera focus for adas
JP5755502B2 (ja) 位置認識用カメラ及び位置認識装置
EP4161057A1 (en) Camera actuator and camera device comprising same
JP2008306040A (ja) ボンディング装置用撮像装置及び撮像方法
JP2005197564A (ja) 表面実装機
WO2015011850A1 (ja) 電子部品実装装置及び電子部品実装方法
JP2007103667A (ja) ダイボンダ
KR20210078104A (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 모듈
JP2007047586A (ja) カメラモジュールの組立調整装置および組立調整方法
JP2006140391A (ja) 部品認識装置及び部品実装装置
JP4264694B2 (ja) 固体カメラ及びこれを用いた部品実装装置
JP5905514B2 (ja) 撮像装置、実装部品撮像装置
WO2015011851A1 (ja) 電子部品実装装置及び電子部品実装方法
WO2015011852A1 (ja) 電子部品実装装置及び電子部品実装方法
US12003834B2 (en) Camera actuator and camera module comprising same
JP6469926B1 (ja) チップ裏面撮像装置及びボンディング装置
EP4149107A1 (en) Camera actuator and camera device including same
US20230171475A1 (en) Camera actuator and camera module comprising same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12874119

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014509978

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12874119

Country of ref document: EP

Kind code of ref document: A1