JP6075352B2 - Pattern irradiation apparatus and system - Google Patents

Pattern irradiation apparatus and system Download PDF

Info

Publication number
JP6075352B2
JP6075352B2 JP2014212751A JP2014212751A JP6075352B2 JP 6075352 B2 JP6075352 B2 JP 6075352B2 JP 2014212751 A JP2014212751 A JP 2014212751A JP 2014212751 A JP2014212751 A JP 2014212751A JP 6075352 B2 JP6075352 B2 JP 6075352B2
Authority
JP
Japan
Prior art keywords
pattern
light
plate
timing
irradiation apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014212751A
Other languages
Japanese (ja)
Other versions
JP2016080535A (en
Inventor
潤 岸和田
潤 岸和田
慎 稲本
慎 稲本
菊池 直樹
直樹 菊池
高橋 達也
達也 高橋
藤田 和弘
和弘 藤田
村井 俊晴
俊晴 村井
丈裕 西森
丈裕 西森
貴洋 加戸
貴洋 加戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014212751A priority Critical patent/JP6075352B2/en
Publication of JP2016080535A publication Critical patent/JP2016080535A/en
Application granted granted Critical
Publication of JP6075352B2 publication Critical patent/JP6075352B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、パターン照射装置およびシステムに関する。   The present invention relates to a pattern irradiation apparatus and system.

従来より、トレイに積載された対象物(ワーク)をロボットを用いてハンドリングして、対象物を次工程の装置へと搬送したり、対象物を用いて製品を組み立てたりするシステムが知られている。このようなシステムでは、三次元測定装置によりトレイ上の対象物の距離を測定し、測定結果に基づき対象物の位置および姿勢を認識してハンドリングをする。また、このようなシステムでは、パターン照射装置によりトレイ上の対象物にランダム模様の光を照射して、三次元測定装置による距離測定の精度を向上させる(例えば、特許文献1)。   Conventionally, a system for handling an object (work) loaded on a tray using a robot and transporting the object to an apparatus in the next process or assembling a product using the object is known. Yes. In such a system, the distance of the object on the tray is measured by a three-dimensional measuring device, and the position and orientation of the object are recognized based on the measurement result for handling. Moreover, in such a system, the pattern irradiation apparatus irradiates the object on the tray with a random pattern of light to improve the accuracy of distance measurement by the three-dimensional measurement apparatus (for example, Patent Document 1).

ところで、パターン照射装置は、トレイに積載された対象物の形状、サイズおよび表面の光沢等に応じて対象物に照射する模様を変化させなければならなかった。このため、パターン照射装置は、ランダム模様を変化させるための機構および制御部等を備えなければならなく、構成が複雑となってしまっていた。   By the way, the pattern irradiation apparatus had to change the pattern irradiated to the object according to the shape, size, surface gloss, etc. of the object loaded on the tray. For this reason, the pattern irradiation apparatus has to include a mechanism for changing the random pattern, a control unit, and the like, resulting in a complicated configuration.

本発明は、上記に鑑みてなされたものであって、簡易な構成で、様々なケースに対応可能な汎用性の高いランダム模様を表示することができるパターン照射装置およびシステムを提供すること目的とする。   The present invention has been made in view of the above, and it is an object of the present invention to provide a pattern irradiation apparatus and system capable of displaying a versatile random pattern that can be applied to various cases with a simple configuration. To do.

上述した課題を解決し、目的を達成するために、本発明に係るパターン照射装置は、コヒーレントな光を出射する発光部と、前記発光部による光が入射され、入射された光を透過または反射する第1板と、前記第1板を透過または反射した光が入射され、入射された光を透過または反射する第2板と、前記第2板を透過または反射した光が入射され、入射された光を拡大して投影面に照射する照射光学系と、を備え、前記第1板は、入射した光のスポットよりも小さいピッチの凹凸が形成され、ランダムな輝度分布の第1模様を前記投影面に表示させ、前記第2板は、ランダムなマスクパターンが描かれ、前記第1模様とは異なる空間周波数のランダムな輝度分布の第2模様を前記投影面に表示させる。 To solve the above problems and achieve the object, the pattern irradiation device according to the present invention includes a light emitting portion for emitting coherent light, the light by the light emitting portion is incident, transmits or reflects incident light The first plate, the light transmitted or reflected by the first plate is incident, the second plate transmitting or reflecting the incident light, and the light transmitted or reflected by the second plate are incident and incident And an irradiation optical system for magnifying the irradiated light to irradiate the projection surface, wherein the first plate has irregularities with a pitch smaller than the incident light spot, and the first pattern with a random luminance distribution is formed on the first plate. A random mask pattern is drawn on the second plate, and a second pattern having a random luminance distribution with a spatial frequency different from that of the first pattern is displayed on the projection plane.

本発明によれば、簡易な構成で、様々なケースに対応可能な汎用性の高い模様を表示することができる。   According to the present invention, it is possible to display a highly versatile pattern that can handle various cases with a simple configuration.

図1は、第1実施形態に係るハンドリングシステムを示す図である。FIG. 1 is a diagram showing a handling system according to the first embodiment. 図2は、第1実施形態に係るパターン照射装置の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of the pattern irradiation apparatus according to the first embodiment. 図3は、第1実施形態に係るパターン照射装置の一部分の斜視図である。FIG. 3 is a perspective view of a part of the pattern irradiation apparatus according to the first embodiment. 図4は、透過拡散板、画像形成部および照射光学系の配置を模式的に示す図である。FIG. 4 is a diagram schematically showing the arrangement of the transmission diffusion plate, the image forming unit, and the irradiation optical system. 図5は、第1模様の一例を示す図である。FIG. 5 is a diagram illustrating an example of the first pattern. 図6は、第2模様の一例を示す図である。FIG. 6 is a diagram illustrating an example of the second pattern. 図7は、第1模様と第2模様とを合成した模様の一例を示す図である。FIG. 7 is a diagram illustrating an example of a pattern obtained by combining the first pattern and the second pattern. 図8は、第2実施形態に係るパターン照射装置の構成を示す図である。FIG. 8 is a diagram illustrating a configuration of a pattern irradiation apparatus according to the second embodiment. 図9は、第3実施形態に係るパターン照射装置の構成を示す図である。FIG. 9 is a diagram illustrating a configuration of a pattern irradiation apparatus according to the third embodiment. 図10は、第3実施形態に係る発光部による発光パターンの一例を示す図である。FIG. 10 is a diagram illustrating an example of a light emission pattern by the light emitting unit according to the third embodiment.

以下に添付図面を参照して、本発明の実施形態に係るハンドリングシステム10を詳細に説明する。   Hereinafter, a handling system 10 according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

(第1実施形態)
図1は、第1実施形態に係るハンドリングシステム10を示す図である。ハンドリングシステム10は、対象物11(ワーク)をハンドリングし、対象物11を次工程の装置へと搬送したり、対象物11を用いて製品を組み立てたりする。
(First embodiment)
FIG. 1 is a diagram showing a handling system 10 according to the first embodiment. The handling system 10 handles the object 11 (work), transports the object 11 to the next process apparatus, and assembles a product using the object 11.

ハンドリングシステム10は、トレイ12と、ロボット13と、パターン照射装置20と、三次元測定装置21と、認識装置22と、ロボットコントローラ23とを備える。トレイ12は、少なくとも1つの対象物11を積載する。   The handling system 10 includes a tray 12, a robot 13, a pattern irradiation device 20, a three-dimensional measurement device 21, a recognition device 22, and a robot controller 23. The tray 12 is loaded with at least one object 11.

ロボット13は、トレイ12に積載された何れかの対象物11をアームを移動させてハンドリングし、ハンドリングした対象物11を指定された位置に移動させたり、指定された姿勢で保持したりする。ロボット13は、爪を開閉して対象物11を挟んでハンドリングしてもよいし、エアー吸着により対象物11をハンドリングしてもよいし、電磁力で対象物11をハンドリングしてもよい。   The robot 13 handles any object 11 loaded on the tray 12 by moving the arm, and moves the handled object 11 to a specified position or holds it in a specified posture. The robot 13 may handle the object 11 by opening and closing the claws, may handle the object 11 by air adsorption, or may handle the object 11 by electromagnetic force.

パターン照射装置20は、対象物11が積載されたトレイ12に対して、単色のランダム模様の像を照射する。これにより、トレイ12に積載されたそれぞれの対象物11の表面における露出した部分には、ランダム模様が照射される。本実施形態においては、パターン照射装置20は、青色の光を照射するが、青に限らずどのような色であってもよく、また、白色であってもよい。   The pattern irradiation device 20 irradiates the tray 12 on which the object 11 is loaded with a single-color random pattern image. As a result, the exposed pattern on the surface of each object 11 loaded on the tray 12 is irradiated with a random pattern. In the present embodiment, the pattern irradiation device 20 emits blue light, but is not limited to blue, and may be any color or white.

三次元測定装置21は、パターン照射装置20によりランダム模様の光が照射された状態において、トレイ12に積載されたそれぞれの対象物11の露出した表面の各位置までの距離を測定する。三次元測定装置21は、一例として、ステレオカメラ等により距離を測定して、被写体の表面の各位置までの距離を表す三次元情報を生成する。   The three-dimensional measuring device 21 measures the distance to each position on the exposed surface of each object 11 loaded on the tray 12 in a state where light of a random pattern is irradiated by the pattern irradiation device 20. As an example, the three-dimensional measuring device 21 measures the distance with a stereo camera or the like, and generates three-dimensional information representing the distance to each position on the surface of the subject.

認識装置22は、三次元測定装置21により測定されたそれぞれの対象物11の表面の位置までの距離に基づき、それぞれの対象物11の位置および姿勢を認識する。認識装置22は、一例として、3次元モデルとのマッチング処理またはサーフェースマッチング処理等のマッチング処理を実行して、それぞれの対象物11の位置および姿勢を認識する。さらに、認識装置22は、輝度情報に基づきエッジ抽出等を行ってマッチング処理の補完をしてもよい。   The recognition device 22 recognizes the position and orientation of each object 11 based on the distance to the surface position of each object 11 measured by the three-dimensional measurement device 21. As an example, the recognition device 22 executes matching processing such as matching processing with a three-dimensional model or surface matching processing to recognize the position and orientation of each object 11. Furthermore, the recognition device 22 may complement the matching process by performing edge extraction or the like based on the luminance information.

ロボットコントローラ23は、予め登録されている制御フローに従って、認識装置22により認識されたそれぞれの対象物11の位置および姿勢に基づきロボット13の動作を制御する。そして、ロボットコントローラ23は、トレイ12上の指定された対象物11をハンドリングさせる。   The robot controller 23 controls the operation of the robot 13 based on the position and orientation of each object 11 recognized by the recognition device 22 in accordance with a control flow registered in advance. Then, the robot controller 23 handles the designated object 11 on the tray 12.

このようなハンドリングシステム10において、パターン照射装置20は、三次元測定装置21による三次元測定の精度を向上させるようなランダム模様の光を、トレイ12上に積載されたそれぞれの対象物11に照射する。これにより、ハンドリングシステム10によれば、トレイ12に積載されたそれぞれの対象物11の位置および姿勢を精度良く認識し、精度良く対象物11をハンドリングすることができる。   In such a handling system 10, the pattern irradiation device 20 irradiates each object 11 loaded on the tray 12 with light of a random pattern that improves the accuracy of the three-dimensional measurement by the three-dimensional measurement device 21. To do. Thereby, according to the handling system 10, the position and attitude | position of each target object 11 loaded on the tray 12 can be recognized accurately, and the target object 11 can be handled with high precision.

図2は、第1実施形態に係るパターン照射装置20の構成を示す図である。パターン照射装置20は、投影面30に、三次元測定装置21による距離の測定精度を向上させるようなランダム模様の像を照射する。投影面30は、ハンドリングシステム10における対象物11が積載されるトレイ12に対応する。   FIG. 2 is a diagram illustrating a configuration of the pattern irradiation apparatus 20 according to the first embodiment. The pattern irradiation device 20 irradiates the projection surface 30 with a random pattern image that improves the accuracy of distance measurement by the three-dimensional measurement device 21. The projection surface 30 corresponds to the tray 12 on which the object 11 is loaded in the handling system 10.

パターン照射装置20は、発光部31と、集光部32と、透過拡散板33(第1板)と、ライトトンネル34と、画像形成部35(第2板)と、照射光学系36とを備える。   The pattern irradiation apparatus 20 includes a light emitting unit 31, a light collecting unit 32, a transmission diffusion plate 33 (first plate), a light tunnel 34, an image forming unit 35 (second plate), and an irradiation optical system 36. Prepare.

なお、図中において、x、y、zは、互いに直交する方向を示す。x方向は、ライトトンネル34の光軸に平行な方向を表す。y方向は、x方向に直交する方向を表す。z方向は、x方向およびy方向に直交する方向を表す。   In the figure, x, y, and z indicate directions orthogonal to each other. The x direction represents a direction parallel to the optical axis of the light tunnel 34. The y direction represents a direction orthogonal to the x direction. The z direction represents a direction orthogonal to the x direction and the y direction.

発光部31は、光を出射する。本実施形態において、発光部31は、複数本の平行光束のレーザ光を同一方向に出射する。   The light emitting unit 31 emits light. In the present embodiment, the light emitting unit 31 emits a plurality of parallel light beams in the same direction.

発光部31は、光源である複数のレーザダイオード41と、複数のコリメータレンズ42とを有する。複数のレーザダイオード41は、互いに同一方向に、コヒーレント光であるレーザ光を出射する。本実施形態において、それぞれのレーザダイオード41は、例えば440nm以上500nm以下の波長の青色のレーザ光を発光する青色レーザダイオードである。なお、それぞれのレーザダイオード41は、青色に限らず、他の色であってもよい。また、三次元測定装置21が照射した光を検出できれば、レーザダイオード41は、可視光以外のレーザ光を出射してもよい。   The light emitting unit 31 includes a plurality of laser diodes 41 that are light sources and a plurality of collimator lenses 42. The plurality of laser diodes 41 emit laser light that is coherent light in the same direction. In the present embodiment, each laser diode 41 is a blue laser diode that emits blue laser light having a wavelength of 440 nm to 500 nm, for example. Each laser diode 41 is not limited to blue, but may be other colors. Further, the laser diode 41 may emit laser light other than visible light as long as the light irradiated by the three-dimensional measuring device 21 can be detected.

複数のコリメータレンズ42は、複数のレーザダイオード41のそれぞれに一対一に対応して設けられる。それぞれのコリメータレンズ42は、対応するレーザダイオード41から出射されたレーザ光を入射して、平行光束として出射する。これにより、発光部31は、同一方向に複数本の平行光束のレーザ光を出射することができる。   The plurality of collimator lenses 42 are provided in a one-to-one correspondence with each of the plurality of laser diodes 41. Each collimator lens 42 receives the laser beam emitted from the corresponding laser diode 41 and emits it as a parallel light beam. Thereby, the light emission part 31 can radiate | emit the laser beam of the several parallel light beam in the same direction.

集光部32は、発光部31から出射された光を透過拡散板33上に集光する。本実施形態においては、集光部32は、レンズであり、複数本のレーザ光を透過拡散板33上の略一点に集光する。   The condensing unit 32 condenses the light emitted from the light emitting unit 31 on the transmission diffusion plate 33. In the present embodiment, the condensing unit 32 is a lens, and condenses a plurality of laser beams at approximately one point on the transmission diffusion plate 33.

透過拡散板33は、入射した光を拡散させる拡散部である。透過拡散板33は、全体が平板状であって、少なくとも一方の平面に微細でランダムな凹凸等が形成されている。透過拡散板33は、集光部32により集光された複数本のレーザ光を入射し、入射した光を透過して拡散させながらライトトンネル34へと出射する。透過拡散板33は、一例として、半値全幅の5°以上10°以下の拡散角で光を拡散させる。   The transmission diffusion plate 33 is a diffusion unit that diffuses incident light. The transmission diffusion plate 33 is entirely flat and has fine and random irregularities formed on at least one plane. The transmissive diffusion plate 33 receives a plurality of laser beams collected by the condensing unit 32 and emits the incident light to the light tunnel 34 while diffusing the incident light. For example, the transmission diffusion plate 33 diffuses light at a diffusion angle of 5 ° to 10 ° of the full width at half maximum.

ライトトンネル34は、通過する光の光軸方向(x方向)に垂直な面(y方向およびz方向)の輝度分布を均一化する均一化光学系である。ライトトンネル34は、筒状であって、筒の内部には内側へと光を反射する反射面が形成されている。ライトトンネル34は、筒の内部が光を通過させる光路として機能する。このようなライトトンネル34は、透過拡散板33により拡散された光を入射し、入射した光を内部で反射させながら通過させて、輝度分布を均一化して出射する。なお、ライトトンネル34の内部は、光を通過させることができれば、中空であってもよいし、ガラス等の透明な部材で充填されていてもよい。   The light tunnel 34 is a homogenizing optical system that uniformizes the luminance distribution on a plane (y direction and z direction) perpendicular to the optical axis direction (x direction) of light passing therethrough. The light tunnel 34 has a cylindrical shape, and a reflection surface that reflects light inward is formed inside the cylinder. The light tunnel 34 functions as an optical path through which light passes through the inside of the cylinder. Such a light tunnel 34 receives the light diffused by the transmissive diffusion plate 33, passes the incident light while reflecting it internally, and emits the light with a uniform luminance distribution. The inside of the light tunnel 34 may be hollow or may be filled with a transparent member such as glass as long as light can pass therethrough.

画像形成部35は、ライトトンネル34から出射された光が入射される。画像形成部35は、一例として、ガラス等の透明な板であり、ランダムなマスクパターンが描かれたフォトマスクである。また、画像形成部35は、電気信号によりマスクパターンを描くことができる板状の透過型液晶素子であってもよい。画像形成部35は、描かれたマスクパターンに応じて光を透過および遮断(または反射)して、光軸に垂直な面にマスクパターンに応じた像を形成する。画像形成部35を透過した光は、照射光学系36へと入射される。   The light emitted from the light tunnel 34 enters the image forming unit 35. For example, the image forming unit 35 is a transparent plate such as glass, and is a photomask on which a random mask pattern is drawn. Further, the image forming unit 35 may be a plate-like transmissive liquid crystal element that can draw a mask pattern by an electric signal. The image forming unit 35 transmits and blocks (or reflects) light according to the drawn mask pattern, and forms an image according to the mask pattern on a surface perpendicular to the optical axis. The light transmitted through the image forming unit 35 is incident on the irradiation optical system 36.

照射光学系36は、画像形成部35を透過した光が入射される。照射光学系36は、入射された光を指定された倍率に拡大して投影面30に照射する。   The light that has passed through the image forming unit 35 enters the irradiation optical system 36. The irradiation optical system 36 irradiates the projection plane 30 with the incident light enlarged to a specified magnification.

図3は、第1実施形態に係るパターン照射装置20の一部分の斜視図である。発光部31は、一例として、2×4のマトリクス状に配列された8個のレーザダイオード41を有する。さらに、発光部31は、それぞれのレーザダイオード41に対応して設けられた8個のコリメータレンズ42を有する。このような発光部31は、同一方向に8本の平行光束を出射することができる。   FIG. 3 is a perspective view of a part of the pattern irradiation apparatus 20 according to the first embodiment. As an example, the light emitting unit 31 includes eight laser diodes 41 arranged in a 2 × 4 matrix. Further, the light emitting unit 31 includes eight collimator lenses 42 provided corresponding to the respective laser diodes 41. Such a light emitting unit 31 can emit eight parallel light beams in the same direction.

このように、発光部31は、複数個のレーザダイオード41を有するので、出力する光のエネルギーを大きくすることができる。なお、発光部31が有するレーザダイオード41の個数および配置は、同一方向にレーザ光を出射できれば、どのような個数および配置であってもよい。   Thus, since the light emission part 31 has the several laser diode 41, the energy of the light to output can be enlarged. Note that the number and arrangement of the laser diodes 41 included in the light emitting unit 31 may be any number and arrangement as long as laser light can be emitted in the same direction.

また、集光部32は、発光部31から出射された複数本のレーザ光を透過拡散板33上に集光する。従って、発光部31が有するレーザダイオード41の個数を増加させても、レーザダイオード41から出射された光をライトトンネル34内に漏れなく入射させることができる。従って、パターン照射装置20は、出力するエネルギーを容易に大きくすることができる。   The condensing unit 32 condenses a plurality of laser beams emitted from the light emitting unit 31 on the transmission diffusion plate 33. Therefore, even if the number of laser diodes 41 included in the light emitting unit 31 is increased, the light emitted from the laser diode 41 can be incident on the light tunnel 34 without leakage. Therefore, the pattern irradiation apparatus 20 can easily increase the energy to be output.

図4は、透過拡散板33、画像形成部35および照射光学系36の配置を模式的に示す図である。図5は、第1模様の一例を示す図である。図6は、第2模様の一例を示す図である。図7は、第1模様と第2模様とを合成した模様の一例を示す図である。   FIG. 4 is a diagram schematically showing the arrangement of the transmissive diffusion plate 33, the image forming unit 35, and the irradiation optical system 36. FIG. 5 is a diagram illustrating an example of the first pattern. FIG. 6 is a diagram illustrating an example of the second pattern. FIG. 7 is a diagram illustrating an example of a pattern obtained by combining the first pattern and the second pattern.

透過拡散板33(第1板)には、発光部31から出射されたコヒーレントな光が入射する。透過拡散板33は、入射された光のスポットより小さいピッチの凹凸が形成されている。これにより、透過拡散板33は、入射された光を拡散して出射することができる。そして、透過拡散板33から出射された光が投影面30に照射された場合、投影面30には、図5に示すような、ランダムな輝度分布の第1模様(スペックル模様)が形成される。すなわち、透過拡散板33は、ランダムな輝度分布の第1模様を投影面30に表示させる。   Coherent light emitted from the light emitting unit 31 is incident on the transmission diffusion plate 33 (first plate). The transmission diffusion plate 33 is formed with unevenness with a pitch smaller than the incident light spot. Thereby, the transmission diffusion plate 33 can diffuse and emit the incident light. When the light emitted from the transmissive diffusion plate 33 is irradiated onto the projection surface 30, a first pattern (speckle pattern) having a random luminance distribution as shown in FIG. 5 is formed on the projection surface 30. The That is, the transmission diffusion plate 33 displays a first pattern with a random luminance distribution on the projection plane 30.

例えば、発光部31から出射されたレーザ光の波長をλ、照射光学系36の対物レンズ45を通過する光束径をL、照射光学系36の対物レンズ45から投影面30までの光路長をzとした場合、第1模様に含まれる個々のパターンの大きさのオーダーは、下記の式(1)で表される。   For example, the wavelength of the laser light emitted from the light emitting unit 31 is λ, the beam diameter passing through the objective lens 45 of the irradiation optical system 36 is L, and the optical path length from the objective lens 45 of the irradiation optical system 36 to the projection plane 30 is z. In this case, the order of the size of each pattern included in the first pattern is expressed by the following formula (1).

第1模様に含まれる個々のパターンの大きさのオーダー≒(λ×z)/L …(1)   Order of size of individual patterns included in the first pattern≈ (λ × z) / L (1)

例えば、λ=500nm、z=1m、L=30mmとした場合、式(1)から、第1模様に含まれる個々のパターンの大きさのオーダーは、17μm程度となる。例えば、カメラまでの距離を1m、カメラの焦点距離を6mm、撮像素子のサイズを1/3インチ、撮像素子の画素ピッチを3.75μmとする。このようなカメラで第1模様を撮像した画像における個々のパターンの大きさは、1ピクセル以下となる。このように透過拡散板33は、非常に微細なランダム模様を投影面30に表示させることができる。   For example, when λ = 500 nm, z = 1 m, and L = 30 mm, the order of the size of each pattern included in the first pattern is about 17 μm from Equation (1). For example, the distance to the camera is 1 m, the focal length of the camera is 6 mm, the size of the image sensor is 1/3 inch, and the pixel pitch of the image sensor is 3.75 μm. The size of each pattern in an image obtained by capturing the first pattern with such a camera is 1 pixel or less. Thus, the transmission diffusion plate 33 can display a very fine random pattern on the projection surface 30.

また、画像形成部35(第2板)は、例えば板状のフォトマスクまたは透過型液晶素子である。画像形成部35は、光が通過する面に、光を遮断(または反射)する材料でランダムなマスクパターンが描かれている。このような画像形成部35は、入射された光をマスクパターンに応じて光を透過および遮断(または反射)して、光軸に垂直な面にマスクパターンに応じた像を形成する。これにより、画像形成部35から出射された光が投影面30に照射された場合、投影面30には、図6に示すような、ランダムな輝度分布の第2模様が形成される。すなわち、画像形成部35は、ランダムな輝度分布の第2模様を投影面30に表示させる。   The image forming unit 35 (second plate) is, for example, a plate-like photomask or a transmissive liquid crystal element. In the image forming unit 35, a random mask pattern is drawn on a surface through which light passes with a material that blocks (or reflects) light. Such an image forming unit 35 transmits and blocks (or reflects) incident light according to a mask pattern, and forms an image according to the mask pattern on a surface perpendicular to the optical axis. As a result, when the light emitted from the image forming unit 35 is irradiated onto the projection surface 30, a second pattern having a random luminance distribution as shown in FIG. 6 is formed on the projection surface 30. That is, the image forming unit 35 displays a second pattern with a random luminance distribution on the projection surface 30.

例えば、画像形成部35に描かれたマスクパターンに含まれる個々のパターンのうちの最小パターンのサイズをM、照射光学系36の倍率をβとした場合、第2模様に含まれる最小パターンの大きさは、下記の式(2)で表される。   For example, when the minimum pattern size among the individual patterns included in the mask pattern drawn on the image forming unit 35 is M and the magnification of the irradiation optical system 36 is β, the size of the minimum pattern included in the second pattern This is represented by the following formula (2).

第2模様に含まれる最小パターンの大きさ=M×β …(2)   Size of the minimum pattern included in the second pattern = M × β (2)

例えば、M=100μm、β=50とした場合、式(2)から、第2模様に含まれる個々のパターンの大きさは、5mm以上となる。例えば、カメラまでの距離を1m、カメラの焦点距離を6mm、撮像素子のサイズを1/3インチ、撮像素子の画素ピッチを3.75μmとする。このようなカメラで第2模様を撮像した画像における個々のパターンは、8ピクセル以上となる。このように画像形成部35は、比較的に大きなランダム模様を投影面30に表示させることができる。   For example, when M = 100 μm and β = 50, the size of each pattern included in the second pattern is 5 mm or more from Expression (2). For example, the distance to the camera is 1 m, the focal length of the camera is 6 mm, the size of the image sensor is 1/3 inch, and the pixel pitch of the image sensor is 3.75 μm. Each pattern in an image obtained by capturing the second pattern with such a camera is 8 pixels or more. As described above, the image forming unit 35 can display a relatively large random pattern on the projection surface 30.

そして、画像形成部35(第2板)には、透過拡散板33(第1板)から出射された光が入射する。従って、透過拡散板33から出射された光は、画像形成部35を透過して投影面30に照射される。従って、投影面30には、図7に示すような、第1模様と第2模様とを合成したランダムな輝度分布の模様が表示される。   The light emitted from the transmissive diffusion plate 33 (first plate) is incident on the image forming unit 35 (second plate). Accordingly, the light emitted from the transmissive diffusion plate 33 passes through the image forming unit 35 and is irradiated onto the projection surface 30. Accordingly, a random luminance distribution pattern obtained by synthesizing the first pattern and the second pattern as shown in FIG. 7 is displayed on the projection plane 30.

ここで、画像形成部35は、第1模様とは異なる空間周波数のランダムな輝度分布の第2模様を投影面30に表示させる。すなわち、画像形成部35には、最小パターンのサイズMが下記の式(3)を満たすようなマスクパターンが描かれている。   Here, the image forming unit 35 causes the projection surface 30 to display a second pattern having a random luminance distribution with a spatial frequency different from that of the first pattern. That is, a mask pattern in which the minimum pattern size M satisfies the following expression (3) is drawn on the image forming unit 35.

M≠(λ×z)/(L×β) …(3)   M ≠ (λ × z) / (L × β) (3)

本実施形態においては、画像形成部35は、第1模様に含まれるパターンよりも大きいサイズのパターンを含む第2模様を投影面30に表示させる。すなわち、本実施形態において、画像形成部35には、含まれている複数のパターンのうちの最小パターンのサイズMが、下記の式(4)を満たすようなマスクパターンが描かれている。   In the present embodiment, the image forming unit 35 causes the projection surface 30 to display a second pattern including a pattern having a size larger than the pattern included in the first pattern. That is, in the present embodiment, a mask pattern is drawn on the image forming unit 35 such that the minimum pattern size M among the plurality of included patterns satisfies the following expression (4).

M>(λ×z)/(L×β) …(4)   M> (λ × z) / (L × β) (4)

これにより、パターン照射装置20は、透過拡散板33による微細なパターンと、画像形成部35による比較的に大きなパターンとを重ねたランダム模様を投影面30に表示させることができる。例えば、フォトマスクにより微細なランダムパターンを形成すると、制作のコストが非常に高くなってしまう。一方、拡散板では、比較的に大きなランダムパターンを発生することができない。従って、パターン照射装置20は、透過拡散板33と画像形成部35とを組み合わせることにより、簡易な構成で、微細なパターンと比較的に大きなパターンとを含むランダム模様を投影面30に表示させることができる。   Thereby, the pattern irradiation apparatus 20 can display on the projection surface 30 a random pattern in which a fine pattern formed by the transmission diffusion plate 33 and a relatively large pattern formed by the image forming unit 35 are overlapped. For example, if a fine random pattern is formed by a photomask, the production cost becomes very high. On the other hand, the diffusion plate cannot generate a relatively large random pattern. Therefore, the pattern irradiation apparatus 20 displays a random pattern including a fine pattern and a relatively large pattern on the projection plane 30 with a simple configuration by combining the transmission diffusion plate 33 and the image forming unit 35. Can do.

また、このようなパターン照射装置20をハンドリングシステム10に用いた場合、空間周波数が広いランダム模様を表示しているので、対象物11の大きさおよび形状等が変わっても、画像形成部35に描かれているマスクパターンを切り替える必要が無い。従って、パターン照射装置20は、画像形成部35に描かれているマスクパターンを切り替えるための機構および制御部等を備えなくてよい。   Further, when such a pattern irradiation device 20 is used in the handling system 10, since a random pattern with a wide spatial frequency is displayed, even if the size and shape of the object 11 change, the image forming unit 35 There is no need to switch the mask pattern being drawn. Therefore, the pattern irradiation apparatus 20 does not have to include a mechanism and a control unit for switching the mask pattern drawn on the image forming unit 35.

このように本実施形態に係るパターン照射装置20によれば、簡易な構成で、様々なケースに対応可能な汎用性の高いランダム模様を表示することができる。   Thus, according to the pattern irradiation apparatus 20 which concerns on this embodiment, a highly versatile random pattern which can respond to various cases can be displayed with a simple configuration.

(第2実施形態)
つぎに、第2実施形態に係るパターン照射装置50について説明する。第2実施形態に係るパターン照射装置50は、第1実施形態に係るパターン照射装置20に代えて、ハンドリングシステム10に適用される。なお、第3実施形態も同様である。
(Second Embodiment)
Next, a pattern irradiation apparatus 50 according to the second embodiment will be described. The pattern irradiation apparatus 50 according to the second embodiment is applied to the handling system 10 instead of the pattern irradiation apparatus 20 according to the first embodiment. The same applies to the third embodiment.

また、第2実施形態に係るパターン照射装置50は、第1実施形態に係るパターン照射装置20と略同一の機能および構成を有する。略同一の機能および構成を有する部材については、同一の符号を付けて、相違点を除き詳細な説明を省略する。   Further, the pattern irradiation apparatus 50 according to the second embodiment has substantially the same function and configuration as the pattern irradiation apparatus 20 according to the first embodiment. Members having substantially the same function and configuration are denoted by the same reference numerals, and detailed description thereof is omitted except for differences.

図8は、第2実施形態に係るパターン照射装置50の構成を示す図である。パターン照射装置50は、発光部31と、集光部32と、反射拡散板51(第1板)と、ライトトンネル34と、画像形成部35と、照射光学系36とを備える。パターン照射装置50は、透過拡散板33に代えて反射拡散板51を備える点で、第1実施形態と異なる。   FIG. 8 is a diagram illustrating a configuration of the pattern irradiation apparatus 50 according to the second embodiment. The pattern irradiation apparatus 50 includes a light emitting unit 31, a light collecting unit 32, a reflection diffusion plate 51 (first plate), a light tunnel 34, an image forming unit 35, and an irradiation optical system 36. The pattern irradiation device 50 is different from the first embodiment in that a reflection diffusion plate 51 is provided instead of the transmission diffusion plate 33.

集光部32は、発光部31から出射された光を反射拡散板51上に集光する。本実施形態においては、集光部32は、複数本のレーザ光を反射拡散板51上の略一点に集光する。   The condensing unit 32 condenses the light emitted from the light emitting unit 31 on the reflection diffusion plate 51. In the present embodiment, the condensing unit 32 condenses a plurality of laser beams at approximately one point on the reflection diffusion plate 51.

反射拡散板51は、入射した光を拡散させる拡散部である。反射拡散板51は、集光部32により集光された複数本のレーザ光を入射して、入射した光を反射して拡散させながらライトトンネル34へと出射する。反射拡散板51は、光を反射して拡散させる点において、透過拡散板33と異なるが、他の機能および効果について透過拡散板33と同一である。   The reflection diffusion plate 51 is a diffusion unit that diffuses incident light. The reflection diffusing plate 51 receives a plurality of laser beams condensed by the condensing unit 32 and emits the incident light to the light tunnel 34 while reflecting and diffusing the incident light. The reflection diffusion plate 51 is different from the transmission diffusion plate 33 in that light is reflected and diffused, but is the same as the transmission diffusion plate 33 in other functions and effects.

ライトトンネル34は、反射拡散板51により拡散された光を入射し、輝度分布を均一化して出射する。   The light tunnel 34 receives the light diffused by the reflection diffusing plate 51, and emits the light with a uniform luminance distribution.

反射拡散板51は、第1実施形態に係る透過拡散板33と同様に、入射された光のスポットより小さいピッチの凹凸が形成されている。これにより、反射拡散板51は、第1実施形態と同様に、ランダムな輝度分布の第1模様を投影面30に表示させることができる。   The reflection diffusing plate 51 has irregularities with a pitch smaller than the spot of the incident light, like the transmissive diffusing plate 33 according to the first embodiment. Thereby, the reflective diffusing plate 51 can display the first pattern having a random luminance distribution on the projection plane 30 as in the first embodiment.

(第3実施形態)
つぎに、第3実施形態に係るパターン照射装置60について説明する。第3実施形態に係るパターン照射装置60は、第1実施形態に係るパターン照射装置20と略同一の機能および構成を有する。略同一の機能および構成を有する部材については、同一の符号を付けて、相違点を除き詳細な説明を省略する。
(Third embodiment)
Next, a pattern irradiation apparatus 60 according to the third embodiment will be described. The pattern irradiation apparatus 60 according to the third embodiment has substantially the same function and configuration as the pattern irradiation apparatus 20 according to the first embodiment. Members having substantially the same function and configuration are denoted by the same reference numerals, and detailed description thereof is omitted except for differences.

図9は、第3実施形態に係るパターン照射装置60の構成を示す図である。パターン照射装置60は、発光部31と、集光部32と、透過拡散板33と、ライトトンネル34と、画像形成部35と、照射光学系36と、発光制御部61とを備える。パターン照射装置60は、発光制御部61をさらに備える点で、第1実施形態と異なる。   FIG. 9 is a diagram illustrating a configuration of a pattern irradiation apparatus 60 according to the third embodiment. The pattern irradiation device 60 includes a light emitting unit 31, a light collecting unit 32, a transmission diffusion plate 33, a light tunnel 34, an image forming unit 35, an irradiation optical system 36, and a light emission control unit 61. The pattern irradiation device 60 is different from the first embodiment in that it further includes a light emission control unit 61.

発光制御部61は、発光部31が有する複数のレーザダイオード41のうちの一部を選択して発光させる。例えば、発光制御部61は、第1タイミングにおいて、図10の(a)に示すように、複数のレーザダイオード41のうちの一部のレーザダイオード41を発光させる。そして、発光制御部61は、第1タイミングとは異なる第2タイミングにおいて、図10の(b)に示すように、第1タイミングで発光させたレーザダイオード41とは異なる組み合わせの一部のレーザダイオード41を発光させる。   The light emission control unit 61 selects a part of the plurality of laser diodes 41 included in the light emitting unit 31 to emit light. For example, the light emission control unit 61 causes some of the laser diodes 41 to emit light at the first timing, as illustrated in FIG. And the light emission control part 61 is a 2nd timing different from a 1st timing, as shown to (b) of FIG. 10, some laser diodes of the combination different from the laser diode 41 light-emitted at the 1st timing 41 is caused to emit light.

第1模様は、光の干渉の影響により形成されるので、透過拡散板33に入射される光の入射位置および光量等によって変化する。従って、発光制御部61は、第1タイミングと第2タイミングとで光の発光位置を変更することにより、第1模様を変化させることできる。   Since the first pattern is formed due to the influence of light interference, the first pattern changes depending on the incident position and the amount of light incident on the transmissive diffusion plate 33. Accordingly, the light emission control unit 61 can change the first pattern by changing the light emission position at the first timing and the second timing.

また、三次元測定装置21は、第1タイミングおよび第2タイミングのそれぞれにおいて、対象物11までの距離を測定する。そして、三次元測定装置21は、第1タイミングでの測定結果と第2タイミングでの測定結果に基づき、画像内の各位置までの距離を表す三次元情報を生成する。これにより、三次元測定装置21は、例えば表面に光沢を有する対象物11までの距離を測定する場合に、対象物11に照射するランダム模様を変化させることができる。   In addition, the three-dimensional measuring device 21 measures the distance to the object 11 at each of the first timing and the second timing. Then, the three-dimensional measuring device 21 generates three-dimensional information representing the distance to each position in the image based on the measurement result at the first timing and the measurement result at the second timing. Thereby, the three-dimensional measuring apparatus 21 can change the random pattern irradiated to the target object 11, for example, when measuring the distance to the target object 11 which has gloss on the surface.

このように本実施形態に係るパターン照射装置60によれば、対象物11に照射するランダム模様を、簡易な構成で変化させることができる。なお、第2実施形態に係るパターン照射装置50も、同様に、発光制御部61を備える構成であってもよい。   Thus, according to the pattern irradiation apparatus 60 which concerns on this embodiment, the random pattern irradiated to the target object 11 can be changed with a simple structure. In addition, the pattern irradiation apparatus 50 which concerns on 2nd Embodiment may be the structure provided with the light emission control part 61 similarly.

以上、本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。   As mentioned above, although embodiment of this invention was described, embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms.

10 ハンドリングシステム
11 対象物
12 トレイ
13 ロボット
20,50,60 パターン照射装置
21 三次元測定装置
22 認識装置
23 ロボットコントローラ
30 投影面
31 発光部
32 集光部
33 透過拡散板
34 ライトトンネル
35 画像形成部
36 照射光学系
41 レーザダイオード
42 コリメータレンズ
45 対物レンズ
51 反射拡散板
61 発光制御部
DESCRIPTION OF SYMBOLS 10 Handling system 11 Target object 12 Tray 13 Robot 20,50,60 Pattern irradiation apparatus 21 Three-dimensional measuring apparatus 22 Recognition apparatus 23 Robot controller 30 Projection surface 31 Light emission part 32 Condensing part 33 Transmission diffuser plate 34 Light tunnel 35 Image formation part 36 Irradiation optical system 41 Laser diode 42 Collimator lens 45 Objective lens 51 Reflection diffuser 61 Light emission controller

特開2001−147110号公報JP 2001-147110 A

Claims (9)

コヒーレントな光を出射する発光部と、
前記発光部による光が入射され、入射された光を透過または反射する第1板と、
前記第1板を透過または反射した光が入射され、入射された光を透過または反射する第2板と、
前記第2板を透過または反射した光が入射され、入射された光を拡大して投影面に照射する照射光学系と、
を備え、
前記第1板は、入射した光のスポットよりも小さいピッチの凹凸が形成され、ランダムな輝度分布の第1模様を前記投影面に表示させ、
前記第2板は、ランダムなマスクパターンが描かれ、前記第1模様とは異なる空間周波数のランダムな輝度分布の第2模様を前記投影面に表示させる
パターン照射装置。
A light emitting unit that emits coherent light;
The light by the light emitting portion is incident, a first plate which transmits or reflects incident light,
A second plate that receives light transmitted or reflected by the first plate and transmits or reflects the incident light;
An irradiation optical system that receives the light transmitted or reflected by the second plate, expands the incident light, and irradiates the projection surface;
With
The first plate has irregularities with a pitch smaller than the incident light spot, and displays a first pattern with a random luminance distribution on the projection plane,
The second plate is a pattern irradiation apparatus in which a random mask pattern is drawn, and a second pattern having a random luminance distribution with a spatial frequency different from that of the first pattern is displayed on the projection plane.
光の波長をλ、前記照射光学系の対物レンズを通過する光束径をL、前記照射光学系の前記対物レンズから前記投影面までの光路長をz、前記照射光学系の倍率をβとした場合、前記第2板は、最小パターンのサイズMが下記の式を満たす前記マスクパターンが描かれている
M≠(λ×z)/(L×β)
請求項1に記載のパターン照射装置。
The wavelength of light is λ, the beam diameter passing through the objective lens of the irradiation optical system is L, the optical path length from the objective lens of the irradiation optical system to the projection surface is z, and the magnification of the irradiation optical system is β. In this case, the second plate has the mask pattern in which the minimum pattern size M satisfies the following formula: M ≠ (λ × z) / (L × β)
The pattern irradiation apparatus according to claim 1.
前記第2板は、前記第1模様に含まれるパターンより大きいサイズのパターンを含む前記第2模様を前記投影面に表示させる
請求項1または2に記載のパターン照射装置。
The pattern irradiation apparatus according to claim 1, wherein the second plate displays the second pattern including a pattern having a size larger than a pattern included in the first pattern on the projection surface.
前記第1板は、拡散板である
請求項1からの何れか1項に記載のパターン照射装置。
Wherein the first plate, the pattern irradiation device according to any one of claims 1 to 3 is a diffuser.
前記第2板は、フォトマスクである
請求項1からの何れか1項に記載のパターン照射装置。
The second plate, the pattern irradiation device according to claim 1 which is a photomask in any one of four.
前記発光部は、コヒーレントな光を出射する複数の光源を有する  The light emitting unit includes a plurality of light sources that emit coherent light.
請求項1から5の何れか1項に記載のパターン照射装置。  The pattern irradiation apparatus of any one of Claim 1 to 5.
第1タイミングにおいて、前記複数の光源のうちの一部の光源を発光させ、前記第1タイミングとは異なる第2タイミングにおいて、前記第1タイミングで発光させた光源とは異なる組み合わせの一部の光源を発光させる発光制御部
をさらに備える請求項に記載のパターン照射装置。
At a first timing, a part of the plurality of light sources is caused to emit light, and at a second timing different from the first timing, some light sources in a combination different from the light source emitted at the first timing The pattern irradiation apparatus according to claim 6 , further comprising: a light emission control unit that emits light.
請求項1からの何れか1項に記載のパターン照射装置と、
前記パターン照射装置により光が照射された対象物までの距離を測定する三次元測定装置と、
を備え、
前記発光部は、コヒーレントな光を出射する複数の光源を有する
システム。
The pattern irradiation apparatus according to any one of claims 1 to 5 ,
A three-dimensional measuring device for measuring a distance to an object irradiated with light by the pattern irradiation device;
Bei to give a,
The light emitting unit includes a plurality of light sources that emit coherent light .
前記パターン照射装置は、第1タイミングにおいて、前記複数の光源のうちの一部の光源を発光させ、前記第1タイミングとは異なる第2タイミングにおいて、前記第1タイミングで発光させた光源とは異なる組み合わせの一部の光源を発光させる発光制御部をさらに備え、
前記三次元測定装置は、前記第1タイミングおよび前記第2タイミングのそれぞれにおいて、前記対象物までの距離を測定する
請求項8に記載のシステム。
The pattern irradiation device emits some of the plurality of light sources at a first timing, and differs from the light source emitted at the first timing at a second timing different from the first timing. It further includes a light emission control unit that emits light from some of the light sources of the combination,
The system according to claim 8, wherein the three-dimensional measurement apparatus measures a distance to the object at each of the first timing and the second timing.
JP2014212751A 2014-10-17 2014-10-17 Pattern irradiation apparatus and system Expired - Fee Related JP6075352B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014212751A JP6075352B2 (en) 2014-10-17 2014-10-17 Pattern irradiation apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014212751A JP6075352B2 (en) 2014-10-17 2014-10-17 Pattern irradiation apparatus and system

Publications (2)

Publication Number Publication Date
JP2016080535A JP2016080535A (en) 2016-05-16
JP6075352B2 true JP6075352B2 (en) 2017-02-08

Family

ID=55958440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014212751A Expired - Fee Related JP6075352B2 (en) 2014-10-17 2014-10-17 Pattern irradiation apparatus and system

Country Status (1)

Country Link
JP (1) JP6075352B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10186034B2 (en) 2015-01-20 2019-01-22 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714152B2 (en) * 1989-06-28 1998-02-16 古野電気株式会社 Object shape measurement method
JP2001264033A (en) * 2000-03-17 2001-09-26 Sony Corp Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium

Also Published As

Publication number Publication date
JP2016080535A (en) 2016-05-16

Similar Documents

Publication Publication Date Title
JP6818702B2 (en) Optical inspection equipment and optical inspection method
US9863759B2 (en) Illumination apparatus, pattern irradiation device, and system
CN110045386B (en) Method and system for optical alignment of light detection and ranging
JP6563022B2 (en) Apparatus for generating patterned illumination
US10864570B2 (en) Bending angle measuring apparatus and method for measuring a bending angle by means of the bending angle measuring apparatus
CN105700280A (en) Structured-Light Projector And Three-Dimensional Scanner Comprising Such A Projector
CN108779905A (en) Multi-mode lighting module and correlation technique
JP6206560B2 (en) system
JP6516453B2 (en) Image measuring device and measuring device
JP6623711B2 (en) Inspection device
JP2017181645A5 (en)
JP2019144203A (en) Image inspection device and image inspection method
TW201508244A (en) Optical image capturing module, aligning method, and observing method
JP2012189479A (en) Shape measuring device
JP2014098873A5 (en) Virtual image display device
JP6075352B2 (en) Pattern irradiation apparatus and system
US20120300273A1 (en) Floating virtual hologram display apparatus
JP2016065771A (en) Line illumination apparatus and visual inspection system
JP2016081898A (en) Lighting device, pattern radiation device and system
JP2019109236A (en) Inspection device and inspection method
JP7151256B2 (en) Diffractive optical element, multifaceted body, inspection method for multifaceted body, light irradiation device, method for adjusting light irradiation device
JP2009074867A (en) Measuring apparatus and its measurement method
TWI539246B (en) Drawing apparatus
TWI557517B (en) A detection device, a lithographic apparatus, and a manufacturing method of the device
TWI472801B (en) 3d information generator for use in interactive interface and method for 3d information generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160815

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160815

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161226

R151 Written notification of patent or utility model registration

Ref document number: 6075352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees