JP6379454B2 - パーツフィーダ用画像処理装置及びパーツフィーダ - Google Patents

パーツフィーダ用画像処理装置及びパーツフィーダ Download PDF

Info

Publication number
JP6379454B2
JP6379454B2 JP2013159969A JP2013159969A JP6379454B2 JP 6379454 B2 JP6379454 B2 JP 6379454B2 JP 2013159969 A JP2013159969 A JP 2013159969A JP 2013159969 A JP2013159969 A JP 2013159969A JP 6379454 B2 JP6379454 B2 JP 6379454B2
Authority
JP
Japan
Prior art keywords
workpiece
image data
imaging
work
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013159969A
Other languages
English (en)
Other versions
JP2015030565A (ja
Inventor
一哉 臼井
一哉 臼井
進 入江
進 入江
迎 邦暁
邦暁 迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinfonia Technology Co Ltd
Original Assignee
Sinfonia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinfonia Technology Co Ltd filed Critical Sinfonia Technology Co Ltd
Priority to JP2013159969A priority Critical patent/JP6379454B2/ja
Priority to KR1020140094453A priority patent/KR102206317B1/ko
Priority to TW103126013A priority patent/TWI622112B/zh
Priority to CN201410374399.XA priority patent/CN104338683A/zh
Publication of JP2015030565A publication Critical patent/JP2015030565A/ja
Application granted granted Critical
Publication of JP6379454B2 publication Critical patent/JP6379454B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/02Devices for feeding articles or materials to conveyors
    • B65G47/04Devices for feeding articles or materials to conveyors for feeding articles
    • B65G47/12Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles
    • B65G47/14Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles arranging or orientating the articles by mechanical or pneumatic means during feeding
    • B65G47/1492Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles arranging or orientating the articles by mechanical or pneumatic means during feeding the articles being fed from a feeding conveyor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/042Sensors
    • B65G2203/044Optical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/24Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Description

本発明は、カメラが取得した画像データに基づいてワークの外観若しくは姿勢を判別するものであり、密接した状態で搬送される複数のワークに対してもワークの撮像を開始してから当該ワークの外観若しくは姿勢を短時間で判別することが可能なパーツフィーダ用画像処理装置及びパーツフィーダに関する。
従来、電子部品等の搬送対象物であるワークを搬送路に沿って所定の供給先まで搬送可能なパーツフィーダが知られている(例えば特許文献1)。特許文献1に開示のパーツフィーダは、まず所定の間隔を空けて搬送される複数のワークを撮像手段によりワーク毎に撮像して画像データを取得する。そして、この画像データに基づいてワークの姿勢を判別し、不適切な姿勢(不正姿勢)のワークを排除手段により搬送路上から排除するように構成されている。
特開平6−197349号公報
このような特許文献1に開示のパーツフィーダの原理を図9に示すパーツフィーダ200を利用してより具体的に説明すると、撮像手段としてのエリアカメラ202により得られた画像データは画像取込手段204aを介して制御装置204に取り込まれた後、前処理手段204bにより2値化処理等の前処理が行われる。その後、姿勢判別手段204cにより、前処理後の画像データに基づいてワーク3の姿勢が判別され、この判別結果に基づいて不適切な姿勢のワーク3を排除手段5によって排除するように構成されている。エリアカメラ202は、複数の撮像素子が網の目状に配列しているものであり、画素数が比較的多い2次元の画像データを取得するものである。なお、この場合には、レーザセンサ203を利用して決定する構成とすることが通例であり、パーツフィーダ200ではレーザセンサ203により搬送路3上の所定位置にワーク3が到達したことを検出すると、エリアカメラ202に外部トリガを入力して撮像を行わせるように構成している。また、ワーク3同士の間隔は、間隔調整手段16によって所定の幅に調整するように構成することが通例である。
ところで、上記のような構成のパーツフィーダ200では、単体のワーク3毎に画像データを取得する必要があることから、レーザセンサ203によってワーク3を1つずつ検出できるよう、複数のワークを所定の間隔を空けて搬送している。しかしながらこのように複数のワークを間隔を空けて搬送する場合、単位時間あたりのワークの搬送数が少なくなり、供給先へのワークの排出能力が低下するという問題がある。
このような問題を解決するために、図10に示すように、複数のワーク3を搬送方向に沿って密接した状態で搬送させ、エリアカメラ202による撮像を連続して行うとともに、エリアカメラ202が取得した画像データにおいて1つ分のワーク3を認識して当該ワーク3の姿勢を判別可能な構成とすることが考えられる。この場合には、図11に示すように、時刻t11でエリアカメラ202による撮像を行うと、エリアカメラ202が取得した画像データの取り込みを画像取込手段254aを介して時刻t12に開始し、取り込んだ画像データに対して時刻t13に前処理手段254bによって2値化等の前処理を開始する。そして、この前処理手段254bで、画像データに現れているワーク3の端部を判別して画像データにおいて1つ分のワーク3の認識をも行い、その後、時刻t14に姿勢判別手段254cにより前処理後の画像データに基づいてワークの姿勢を判別することが常套手段として考えられる。
しかしながら、このようにエリアカメラ202を使用するパーツフィーダ250では、撮像エリアが広い場合、1回の撮像で取得される画像データの画素数が大きくデータ量が多いことから、撮像が行われてから画像データの取り込みが終了するまでに時間がかかり(画像データの転送時間が長くなり)、ひいては撮像が行われてからワーク3の姿勢が判別されるまで長時間を要する。また、撮像エリアが狭いと、1回の撮像で取得される画像データの画素数が小さくデータ量が少なくなるが、シャッタタイミングの同期をとらない連続撮像の方式では、ワーク3の一部しか撮像できていない姿勢判別に利用不可な画像データの取り込みも行うため、同様に長時間を要する。ワーク3は排除手段5による排除処理が行われる排除位置に到達する前に姿勢が判別される必要があることから、姿勢の判別に要する時間が長いとそれに合わせてワーク3の搬送速度を遅くする必要があり、ワーク3を高速で搬送することができないという欠点が生じる。このように上記のような構成のパーツフィーダ200,250は、密接した状態で搬送される複数のワーク3に対して撮像が開始されてから短時間で姿勢を判別することが可能な装置を備えているものとは言い難い。
一方、撮像が開始されてから姿勢が判別されるまでの時間を短縮するために、制御装置254(CPU)の性能を向上させて前処理手段254bによる前処理や姿勢判別手段254bによる姿勢判別処理にかかる時間を短縮することも考えられる。しかしながら、図11に示すように、撮像が行われてから姿勢が判別されるまでの時間のうち、画像データの取り込みに要する転送時間が占める割合は前記前処理や前記姿勢判別処理に要する時間と比較して十分に大きいことから、制御装置254の性能を向上させたとしても撮像が開始されてから姿勢が判別されるまでの時間を十分に短縮することはできない。また、制御装置254の性能を向上させると、コストの上昇に繋がるという欠点がある。
本発明は、このような課題を有効に解決することを目的としており、撮像が行われてから画像データの取り込みが終了するまでの時間が短く、撮像が行われてからワークの姿勢が判別されるまでの時間を十分に短縮することができるパーツフィーダ用画像処理装置及びパーツフィーダを提供することを目的としている。
本発明は以上のような問題点を鑑み、次のような手段を講じたものである。
すなわち、本発明のパーツフィーダ用画像処理装置は、搬送路に沿って振動搬送されるワークを撮像するカメラを備えたパーツフィーダに適用されるものであって、前記カメラとして、前記ワークの搬送方向に直交して配列された複数の撮像素子を有するラインカメラを採用し、このラインカメラにより前記搬送路上に設定された撮像位置を通過するワークを順次撮像して、1つのワーク毎に複数の画像データを取得するように構成するとともに、前記ラインカメラによる撮像によって取得された画像データを即時に取り込む画像取込手段と、前記画像取込手段が取り込んだ画像データを撮像順につなぎ合わせて、単体のワークの略全体が現れた合成画像データを生成する前処理手段と、前記前処理手段で生成された合成画像データに基づいてワークの良否判別処理を行うワークの良否判別手段と、を備え、前記ラインカメラが撮像を行う動作と前記画像取込手段が即時にその画像データを取り込む動作が交互に繰り返されるとともに、前記前処理手段は前記合成画像データの生成に加えて、前記ラインカメラの撮像動作とオーバーラップするタイミングで前記画像取込手段が取り込んだ画像データの前処理を行うことを特徴とする。
ここでワークの良否の判別とは、ワークの外観や姿勢が所定のものか否か判別することを示す。また、ラインカメラは撮像範囲が搬送方向におけるワークの一部分であり、1回の撮像で取得される画像データは画素数が少なくデータ量が少ない。このようなラインカメラを使用する構成とすることで、ラインカメラが撮像を行うたびにそれによって取得された画像データは画像取込手段を介して即時に取り込まれていく。そのため、ラインカメラによる撮像動作と並行して画像データの取り込み処理が行われて、1つのワークについてその略全体の撮像を終える前、すなわちワークの後端を撮像する前に、それ以前に取得された全ての或いはほとんどの画像データについて取り込みを終えた状態となる。したがって、ワークの前端側の撮像が開始されてから短時間で1つ分のワーク略全体の画像データを取り込むことができるため、その後の前処理手段及びワークの良否判別手段による処理の開始時期を早めて、ワークの撮像が開始されてから当該ワークの良否判別処理が終了するまでの時間を十分に短縮することができる。
また、前処理手段が前記合成画像データの生成に加えてその生成の前に前記画像取込手段が取り込んだ画像データを2値化する2値化処理を行うものである場合に、ワークの撮像が開始されてから当該ワークの良否判別処理が終了するまでの時間を一層短縮するためには、前記画像取込手段により画像データの取り込みが行われると、当該画像データに対して即時に2値化処理を行うように構成されることが好ましい。
また、ワークの搬送速度が変化した場合でも1つのワークの略全体が現れた合成画像データを安定して生成して、ワークの良否判別手段による判別精度を上げるためには、前記前処理手段は、さらに、前記画像取込手段が取り込んだ画像データにおいてワークの前端及び後端を判別可能なものであり、ワークの前端が現れた画像データから当該ワークの後端が現れた画像データまでを撮像順につなぎ合わせて前記合成画像データを生成するように構成されることが好ましい。
さらに、パラメータ等に汎用性を持たせて、種々の構成のワークについて良否判別処理を可能にするためには、前記ワークの良否判別手段による前記良否判別処理をソフトウェアを用いて行う構成とすることが好ましい。
ワークの撮像が開始されてから当該ワークの良否判別処理が終了するまでの時間が短く、ワークの搬送速度を速くしてもワーク処理手段により所定の外観若しくは姿勢でないワークを搬送路から排除若しくは搬送路上で姿勢矯正することができ、単位時間あたりのワークの処理数を増加させることが可能なパーツフィーダを実現するためには、上記パーツフィーダ用画像処理装置を用いるとともに、ワークが搬送される搬送路を有するパーツフィーダ本体と、前記ワークの搬送方向に直交して配列された複数の撮像素子を有し、前記搬送路上に設定された撮像位置を通過するワークを順次撮像して、1つのワーク毎に複数の画像データを取得するラインカメラと、搬送路に設定されたワーク処理位置を通過するワークに対して、ワークを搬送路から排除若しくは搬送路上で姿勢矯正する処理を行うワーク処理手段と、前記ワークの良否判別手段が所定の外観若しくは姿勢のものでないと判別すると、前記ワーク処理手段に前記処理を行わせるための指令を出力する指令出力手段とを備える構成とすることが好ましい。
以上、説明した本発明によれば、ラインカメラによる撮像動作と並行して撮像により取得された画像データの取り込みを行うことで、ワークの撮像が開始されてから当該ワークの良否判別処理が終了するまでの時間を短くすることができるパーツフィーダ用画像処理装置及びパーツフィーダを提供することが可能となる。
本発明の一実施形態に係るパーツフィーダを示す側面図。 同パーツフィーダに備わる計測手段を示す平面図。 同パーツフィーダが行うタイミング制御処理を説明するための説明図。 同パーツフィーダの動作を説明するためのタイミングチャート。 本発明の変形例を示す側面図。 本発明の変形例の動作を説明するためのタイミングチャート。 本発明の変形例を示す側面図。 本発明の変形例を示す側面図。 従来のパーツフィーダの構成を基にしたパーツフィーダを示す側面図。 図9に示すパーツフィーダの問題点を解決するパーツフィーダを示す側面図。 図10に示すパーツフィーダの動作を説明するためのタイミングチャート。
以下、本発明の一実施形態を、図面を参照して説明する。
図1に示すように、本発明の一実施形態であるパーツフィーダ100は、パーツフィーダ本体1の搬送路10に沿って搬送物である複数のワーク3を図示しない供給先に向けて比較的高速で搬送するものであり、ワーク3は図1における左から右へ密接した状態で搬送される。
パーツフィーダ本体1は、前記搬送路10と駆動手段11とを含んで構成され、駆動手段11によって搬送路10を振動させることで搬送路10上にある複数のワーク3を搬送するものである。ワーク3は、その長手方向又は短手方向がワーク3の搬送方向と平行に搬送される。
搬送路10上に設定された撮像位置(撮影点)P1の上方にはラインカメラ2が設けられている。このラインカメラ2は、ワーク3の搬送方向(搬送路10の延在方向)に直交して1列に並ぶ複数の感度の高い撮像素子を有し、搬送路10上を搬送されるワーク3の撮像を行う。ラインカメラ2の撮像範囲(撮像エリア)は、ワーク3の長手方向が搬送方向と平行である場合、ワーク3の搬送方向においてはワーク3の長手方向の一部を撮像する範囲、ワーク3の搬送方向に直交する方向においてはワーク3の短手方向全体を撮像する範囲に設定され、ワーク3の短手方向が搬送方向と平行である場合、ワーク3の搬送方向においてはワーク3の短手方向の一部を撮像する範囲、ワーク3の搬送方向に直交する方向においてはワーク3の長手方向全体を撮像する範囲に設定されている。
このようなラインカメラ2を設置する位置は不適正な姿勢のワーク3を排除するタイミングをとる上で重要であり、ラインカメラ2を所望の位置に精度良く設置するために、搬送路10には図2に示す計測手段(ラインカメラ用メジャー)10aが設けられている。計測手段10aは、ワーク3の搬送方向と直交する方向に延びる第1目盛10abと、一定距離毎の2進数のドット表示である第2目盛10acとが付与されたものであり、第1目盛10abを後述する排除位置(排除作用点)P2にあて、ラインカメラ2により取得された画像データにおいて排除位置P2近傍からラインカメラ2の下方に向かって延びる第2目盛10acを確認することで、排除位置P2から所望の距離に撮像位置P1を設定することができる。
図1に示すラインカメラ2により取得される画像データは、撮像素子が網の目状に複数配置されて1つのワーク3全体を撮像範囲とするエリアカメラよりも画素数が少なく、データ量が少なくなっている。ラインカメラ2はワーク3が撮像位置P1に到達する前から一定間隔で連続して撮像を行うように動作するものであり、下流側へ向けて搬送されているワーク3が撮像位置P1を通過する間に複数回撮像を行ない、そのワーク3の前端3a(搬送方向下流側のワーク端部、図3参照)から後端3b(搬送方向上流側のワーク端部、図3参照)にわたって当該ワーク3の異なる位置がそれぞれ現れた複数の画像データを取得する。取得された画像データは、1回の撮像が行われるたびに後述する制御装置(コントローラ)4に転送される。
なおラインカメラ2は、通常、撮像対象物の搬送速度が一定のものを撮像する場合、若しくは搬送速度が一定でなくてもエンコーダ等を使用して撮像対象物の速度若しくは位置との同期をとり、撮像する場合に使用されるものであり、搬送路10の振動によって搬送されるために撮像対象物であるワーク3の搬送速度が安定しにくいパーツフィーダでは一般的に使用し難いものであるが、本実施形態ではワーク3の前端3aおよび後端3bを捉えることで搬送速度ムラに起因したラインカメラ2の使いづらさを解消している。これについては後述する。
図1に示す制御装置4は、図示しないCPUやメモリ、インターフェース等を備えた通常のマイクロコンピュータユニットにより構成されるもので、メモリ内に適宜のプログラムが格納されており、CPUは逐次そのプログラムを読み込み、周辺ハードリソースと協働して画像取込手段40と、前処理手段41と、姿勢判別手段44と、速度算出手段42と、指令出力手段45と、タイミング制御手段46としての役割を担う。
画像取込手段40はラインカメラ2が取得した画像データを撮像が行われるたびに即時に制御装置4に取り込むものである。前処理手段41は、2値化処理手段としての2値化処理部41aと端部検出手段としての端部検出部41bと合成画像データ生成手段としての合成画像データ生成部41cとを有し、画像データが画像取込手段40を介して取り込まれると、2値化処理部41aはその画像データ毎に即時に2値化処理等の所定の前処理を行う。また、端部検出部41bは画像データにおいてワーク3の前端3a及び後端3b(図3参照)を適宜の画像処理を通じて判別する。例えば、画像データではワーク3が現れている部分とワーク3以外のものが現れている部分(具体的には搬送路10)とでは色合い等が異なり、またワーク3を搬送方向に沿って密接に搬送している場合でもワーク3同士の間にはわずかに隙間ができていることから、ワーク3の前端3aまたは後端3bを撮像した画像データには、ワーク3の搬送方向に直交する方向に亘って色の濃さの異なる部分が現れる。端部検出部41bはこのような色の濃さの違い等から、画像データに現れたワーク3の前端3a及び後端3bを検出(画像判別)する。或いは、端部検出部41bが画像データにおいてワーク3の隅にあるR形状を判別することで前端3a及び後端3bを検出するように構成されてもよい。さらに合成画像データ生成部41cは、ワーク3の前端3aが現れた画像データから当該ワーク3の後端3bが現れた画像データまでを撮像順につなぎ合わせて、1つのワーク3の略全体が現れた2次元の画像データとして合成画像データを生成する。
ワークの良否判別手段としての姿勢判別手段44は、このような合成画像データに基づいてワーク3の姿勢を判別(画像判別)する良否判別処理としての姿勢判別処理を行う。例えば、前述のメモリに適切な姿勢のワーク3の画像データを予め記憶しておき、合成画像データとメモリに記憶された画像データとをパターンマッチングにより比較することでワーク3の姿勢を判別する。なお、所定の姿勢以外の姿勢としては、例えば表裏が反転していたり、前後方向の向きが逆になっていることが挙げられる。このように画像取込手段40、前処理手段41及び姿勢判別手段44はワーク3の姿勢を判別する本発明のパーツフィーダ用画像処理装置8を構成するものである。本実施形態は、上記のように画像データにおいてワーク3の前端3aと後端3bとを検出する構成であることから、ワーク3の搬送速度が変化したとしてもワーク3の前端3aが現れた画像データから当該ワーク3の後端3bが現れた画像データまでを撮像順につなぎ合わせて1つのワーク3の略全体が現れた合成画像データを得ることができ、前述の理由から従来のパーツフィーダでは一般的に使用されないラインカメラ2を用いてワーク3の姿勢を判別することができる。
速度算出手段42は、このように姿勢判別で利用する合成画像データを用いてワーク3の搬送速度を算出する速度算出処理を行うものであり、具体的には、下記式(1)に基づいてワーク3の搬送速度Vw(m/s)を算出する。
Vw=Lw1/S・A・・・(1)
ここで、Sはラインカメラ2のスキャンレートすなわちラインカメラ2の撮像間隔(sec)であり、Aはラインカメラ2が単体のワーク3の略全体すなわちワーク3の前端側から後端側までを撮像するのに要する撮像回数(回)であり、Lw1はワーク3の搬送方向長さ(m)である。速度算出手段42は、ラインカメラ2の撮像間隔Sと撮像回数Aとの積である撮像所要時間をワーク3が撮像位置P1を通過するに要した時間とみなし、その撮像所要時間とワーク3の搬送方向長さLw1とに基づいてワーク3の搬送速度を算出している。ワーク3の搬送方向長さLw1は実物のワーク3のものが予め設定されている。なお、ワーク3の搬送方向長さLw1やラインカメラ2の撮像間隔Sは入力手段48を介して入力される。また、速度算出手段42は撮像回数取得手段としての撮像回数取得部42aを有し、撮像回数取得部42aは1回の撮像で得られる画像データの画素数と合成画像データの画素数とから撮像回数Aを算出する。
このように画像取込手段40、前処理手段41及び速度算出手段42はワーク3の搬送速度を検出する本発明のパーツフィーダ用速度検出装置7を構成するものである。このパーツフィーダ用速度検出装置7により算出されたワーク3の搬送速度は、次に述べる不正姿勢にあるワーク3を排除するタイミング制御に用いられるほか、図1に示す表示手段47に表示される。また、このようにして算出されたワーク3の搬送速度を、ワーク3が搬送されているか或いは停止しているかの判断材料として用いてもよい。
指令出力手段45は、姿勢判定手段44が不適切な姿勢(不正姿勢)であると判定すると、図1に示すワーク処理手段としての排除手段5に、搬送路10に設定されたワーク処理位置としての排除位置P2にあるワーク3を搬送路10上から排除する排除処理(排除動作)を行わせるための指令を出力する。排除手段5は、前記撮像位置P1よりもワーク3の搬送方向下流側において設定された排除位置P2に向けて圧縮空気を噴射する付勢力付与手段としての空気噴射ノズル50を有し、この空気噴射ノズル50から噴射された圧縮空気によりワーク3に付勢力を付与してワーク3を搬送路10上から排除する。空気噴射ノズル50は前記指令としての通電指令が入力されることで圧縮空気が噴射される。ワーク3上にはこの付勢力を作用させる目標位置Pw(図3参照)が予め設定されており、本実施形態では排除手段5と対向するワーク3側面の搬送方向中央が目標位置Pwとして設定されている。この目標位置Pwに付勢力を作用させることで、搬送路10上から排除する際に排除対象であるワーク3が水平回転しながら移動することを抑制できる。なお、本発明における排除処理には、ワーク3を搬送路10上から搬送路10の下方にあるワーク受容部等に落下させる処理や、ワーク3を排除位置P2より枝分かれした何れかの搬送路10等に振り分ける処理等が含まれる。
タイミング制御手段46は、速度算出手段42が算出したワーク3の搬送速度に基づいて指令出力手段45が噴射ノズル50に通電指令を出力するタイミングを制御する。具体的には、下記式(2)に基づいて、姿勢判別手段44が不正姿勢であると判別してから指令出力手段45が前記通電指令を出力するまでの待機時間tα(sec)(図4参照)を算出し、この待機時間tαに基づいて指令出力手段45が空気噴射ノズル50に通電指令を出力するタイミングを制御することで、ワーク3の搬送速度が設定値から変化した場合でも前記目標位置Pwに付勢力を作用させることができるようにしている。
tα={(L−Lw2)/Vw}−tp−td・・・(2)
ここで、Vwは搬送路10上を搬送されるワーク3の搬送速度(m/s)(図3参照)であり、Lは撮像位置P1から排除位置P2までの距離(m)(図3参照)であり、Lw2はワーク3の後端3bから目標位置Pwまでの距離(m)(図3参照)であり、tpは前記画像取込手段40による取り込みの完了から前記姿勢判別手段44による姿勢判別の完了までに要する画像処理時間(sec)(図4参照)である。画像処理時間tpは、前処理、姿勢判別処理及び速度算出処理にかかる時間が常に一定となるように構成されている場合には、固定値又は設定値となる。一方、搬送速度の変化を原因とする合成画像データの画素数の増減に応じて画像処理時間tpが変化するように構成されている場合には制御装置4内で画像処理時間tpのカウントを行う。tdは、前記通電指令を受けた排除手段5が排除処理を通じてワーク3に付勢力を作用させるまでの機械的な伝達時間(sec)(図4参照)であり、排除手段5毎のパラメータ設定である。上記距離Lや伝達時間td等は入力手段48を介して入力される。なお、本実施形態では前記計測手段を用いて撮像位置P1から排除位置P2までの距離Lを求めているが、現物合わせで求めてもよい。
以上のような構成のパーツフィーダ100における動作を、図4に示すタイミングチャートを参照して説明する。なお、以下では不適切な姿勢の1つのワーク3がラインカメラ2により撮像されてから排除手段5により排除されるまでの動作を記載している。
搬送路10上を搬送されるワーク3を時刻t01で撮像すると、それによって取得された画像データは即時に画像取込手段40を介して取り込まれ(転送され)、その画像データに対して2値化処理部41aが2値化等の前処理を行う。また端部検出部41bがワーク3の前端3a及び後端3bの検出を行い、時刻t01に取得された画像データにおいてはワーク3の前端3aが検出される。時刻t01における撮像後も所定の間隔で順次撮像が行われ、そのたびに画像データの取り込み及び前処理が即時に行われていく。そして、時刻t02の撮像で取得された画像データにおいて端部検出部41bによりワーク3の後端3bが認識されると、時刻t03で合成画像データ生成部41cが合成画像データの生成を開始するとともに、この合成画像データに基づいて姿勢判別手段44による姿勢判別処理及び速度算出手段42による速度算出処理を行う。なお、時刻t03までの処理はハードウエア(例えばFPGA(field-programmable gate array))により行われ、時刻t03以後の処理はメモリに記憶させたプログラムを実行することによりソフト的に行われる。その後、タイミング制御手段46が待機時間tαを算出し、タイミング制御手段46は時刻t04から待機時間tαが経過した時刻t05に通電指令が出力されるように指令出力手段45を制御する。そして、これにより排除手段5の空気噴射ノズル50から圧縮空気が噴射され、時刻t05から伝達時間tdが経過した時刻t06でワーク3に空気による付勢力が実際に作用する。なお、仮に姿勢判別処理が行われたワーク3が適切な姿勢であり、姿勢判別処理により所定の姿勢であると判別された場合には、そのワーク3を搬送路10上から排除するための処理(通電指令の出力及び空気噴射ノズル50からの噴射)は行われない。なお、本解説では分かりやすく1つ分のワーク3で動作を説明したが、実際にはワーク3は密接した状態で連続して搬送されるため、撮像、画像データの取り込み、前処理までは常時連続して行われる一方、時刻t03以降の処理は1つ分のワーク3の画像データ取得後に1回ずつ行われる(間欠動作)。
このようにして、姿勢が不適切なワーク3は排除され、適切な姿勢のワーク3のみが供給先に供給されることになる。
以上のように本実施形態のパーツフィーダ用画像処理装置8は、搬送路10に沿って搬送されるワーク3を撮像するカメラを備えたパーツフィーダ100に適用されるものであって、前記カメラとして、前記ワーク3の搬送方向に直交して配列された複数の撮像素子を有するラインカメラを採用し、このラインカメラにより前記搬送路10上に設定された撮像位置P1を通過するワーク3を順次撮像して、1つのワーク3毎に複数の画像データを取得するように構成するとともに、前記ラインカメラ2による撮像によって取得された画像データを即時に取り込む画像取込手段40と、前記画像取込手段40が取り込んだ画像データを撮像順につなぎ合わせて、単体のワーク3の略全体が現れた合成画像データを生成する前処理手段41と、前記前処理手段41で生成された合成画像データに基づいて良否判別処理としての姿勢判別処理を行うワークの良否判別手段としての姿勢判別手段44と、を備えるように構成したものである。
ここで、ラインカメラ2は撮像範囲が搬送方向におけるワーク3の一部分であり、1回の撮像で取得される画像データは画素数が少なくデータ量が少ない。このようなラインカメラ2を使用する構成としていることから、ラインカメラ2が撮像を行うたびにそれによって取得された画像データは画像取込手段40を介して即時に取り込まれていく。そのため、ラインカメラ2によりワーク3の前端側が撮像されるとそれ以後の撮像動作と並行して画像データの取り込み処理が行われて、1つのワーク3についてその略全体の撮像を終える前、すなわちワーク3の後端3bを撮像する前に、それ以前に取得された全ての或いはほとんどの画像データについて取り込みを終えた状態となる。したがって、ワーク3の前端側の撮像が開始されてから短時間で1つ分のワーク3略全体の画像データを取り込むことができるため、その後の前処理手段41及び姿勢判別手段44による処理の開始時期を早めて、ワーク3の撮像が開始されてから当該ワーク3の姿勢が判別されるまでの時間を十分に短縮することができ、ワーク3の処理の高速化を実現することができる。
また、前処理手段41が前記合成画像データの生成に加えてその生成の前に前記画像取込手段40が取り込んだ画像データを2値化する2値化処理を行うものであり、前記画像取込手段40により画像データの取り込みが行われると、当該画像データに対して即時に2値化処理を行うように構成したことから、ワーク3の後端側を撮像する前にそれ以前に取得された全ての或いはほとんどの画像データの2値化処理を終えた状態とすることができ、撮像が開始されてからワーク3の姿勢が判別されるまでに要する時間をより短縮することができる。
特に、前記前処理手段41がさらに前記画像取込手段40が取り込んだ画像データにおいてワーク3の前端3a及び後端3bを判別可能なものであり、ワーク3の前端3aが現れた画像データから当該ワーク3の後端3bが現れた画像データまでを撮像順につなぎ合わせて前記合成画像データを生成するように構成したことから、ワーク3の搬送速度が変化した場合でも1つのワーク3の略全体が現れた合成画像データを安定して生成して、姿勢判別手段44による判別精度を上げることができる。
さらに、前記姿勢判別手段44による前記姿勢判別処理をソフトウェアを用いて行う構成としたことから、姿勢判別処理におけるパラメータ等に汎用性を持たせて、種々の構成のワーク3について姿勢判別を可能にすることができる。
以上のような構成のパーツフィーダ用画像処理装置8を用いるとともに、ワーク3が搬送される搬送路10を有するパーツフィーダ本体1と、前記ワーク3の搬送方向に直交して配列された複数の撮像素子を有し、前記搬送路10上に設定された撮像位置P1を通過するワーク3を順次撮像して、1つのワーク毎に複数の画像データを取得するラインカメラ2と、搬送路10に設定されたワーク処理位置としての排除位置P2を通過するワーク3に対して、ワーク3を搬送路10から排除する排除処理を行うワーク処理手段としての排除手段5と、前記姿勢判別手段44が所定の姿勢以外の不正姿勢であると判別すると、前記排除手段5に排除処理を行わせるための指令としての通電指令を出力する指令出力手段45とを備える構成としたことから、ワーク3の撮像が開始されてから当該ワーク3の姿勢が判別されるまでの時間が短く、ワーク3の搬送速度を速くしても排除手段5により不適切な姿勢のワーク3を搬送路10上から排出することができ、単位時間あたりのワーク3の処理数を増加させることが可能なパーツフィーダ100とすることができる。
以上、本発明の一実施形態について説明したが、各部の具体的な構成は、上述した実施形態のみに限定されるものではない。
例えば、本実施形態では、不適切な姿勢であると判別されたワーク3に対して搬送路10上から排除する排除処理を行っているが、図5に示すようにワーク処理手段として排除手段5の代わりに姿勢矯正手段6を設けて、不適切な姿勢であると判別されたワーク3の姿勢を搬送路10上に設定された矯正位置P3で矯正する構成としてもよい。姿勢矯正手段6は、搬送路10の姿勢矯正位置P3に設けられた図示しない孔を介してワーク3に向けて圧縮空気を噴射する空気噴射ノズル60を備え、空気噴射ノズル60から圧縮空気を噴射して、矯正位置P3にあるワーク3を反転又は回転させることにより姿勢を矯正する。なお、姿勢矯正手段6としてはワークの姿勢を矯正可能なものであればこの構成に限定されない。姿勢矯正手段6は、指令出力手段45から通電指令が出力されると空気噴射ノズル60から圧縮空気を噴射するように構成されており、通電指令が出力されるタイミングはパーツフィーダ用画像処理装置8及びパーツフィーダ用速度検出装置7の検出結果に基づいてタイミング制御手段46により制御される。
また本実施形態では、パーツフィーダ用画像処理装置8をワーク3の姿勢を判別するために用いているが、ワーク3の形状や色、ワーク3上のシルク文字等、ワーク3の外観を検査するために用いてもよい。この場合のパーツフィーダ用画像処理装置は、ワーク3の姿勢の判別を行う姿勢判別手段44の代わりに、ワーク3の外観を検査する手段を適宜有する構成となる。
また本実施形態では、前処理手段41は画像取込手段40により画像データが取り込まれるたびに即時に2値化処理等の前処理を行っているが、図6に示すように時刻t02aで1つ分のワーク3の取り込みが終了してから当該ワーク3が現れている全ての画像データに対して前処理である2値化処理および画像の結合を行うように構成されてもよい。その後、時刻t03aで前処理が終了すると同時に姿勢判別処理及び速度算出処理を開始してこれらの処理を時刻t04aに終了し、時刻t05aに指令出力手段45から通電指令を出力して時刻t06aでワーク3に空気による付勢力を実際に作用させる。この場合、1つ分のワーク3の撮像を開始する時刻t01から前処理を終了する時刻t03aまでの時間は、撮像、画像データの取り込み及び前処理を連続して行う上記パーツフィーダ100において1つ分のワーク3の撮像を開始する時刻t01(図4参照)から前処理を終了する時刻t03(図4参照)までの時間よりも長くなる。このような構成は、前処理を即時に行わせる手段及び装置等を必要としない分、汎用性や自由度が高いものであり、前処理の開始からワーク3の排除までの時間が比較的大きくとれる、又はワーク3の搬送速度が比較的遅いパーツフィーダ等に好適に適用されるものである。またこのような構成は、ワーク3の搬送速度が設定値からほとんど変化しないために前処理によって予めワーク3の前端3aおよび後端3bを検出する必要がない場合に適用でき、ラインカメラ2によりワークの前端3aから当該ワーク3の後端3bまで撮像されたことは例えばラインカメラ2の撮像回数により推定して処理を行うことができる。
また図7に示すように、制御装置154が、速度算出手段42で算出されたワーク3の搬送速度に基づいて駆動手段11の制御を行う駆動制御手段43を備える構成としてもよい。駆動制御手段43は、算出されたワーク3の搬送速度と設定値とを比較し、駆動手段11の振幅及び周波数を調整することでワーク3の搬送速度をフィードバック制御する。このような構成のパーツフィーダ151であれば、ワーク3の搬送速度が変化したとしても設定値に調整することができ、ワークの搬送速度を安定させることができる。
さらに、本実施形態において前記撮像回数取得手段42aは、上記式(1)に適用する撮像回数Aの算出に合成画像データの画素数を用いているが、合成画像データの画素数の代わりに、ワーク3の前端3aが現れた画像データから当該ワーク3の後端3bが現れた画像データまでの複数の画像データにおける画素数の合計値を用いてもよい。また、撮像回数Aを取得するためにラインカメラ2が撮像する回数を直接カウントする構成であってもよい。具体的には、図8に示すように制御装置161が前記ラインカメラ2による撮像の回数をカウントするカウンタ手段162を備える構成とし、前記撮像回数取得手段142aが前記端部検出手段41aの検出結果に基づいて、前記ワーク3の前端3aが検出された画像データに対応する前記カウンタ手段162のカウント値と、当該ワーク3の後端3bが検出された画像データに対応する前記カウンタ手段162のカウント値とを取得し、これらのカウント値より前記撮像回数Aを取得する構成であってもよい。このような構成のパーツフィーダ160であっても、前述のパーツフィーダ100と同様の効果を発揮することができる。
さらに本実施形態では複数のワーク3が密接した状態で搬送路3を搬送される構成となっているが、所定の間隔を空けて搬送される構成であってもよい。また、ラインカメラ2として撮像素子が1列に配列したものを用いているが、本発明の効果が発揮される範囲内において撮像素子が2列以上配列したものを用いてもよい。
その他の構成も、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
1・・・パーツフィーダ本体
2・・・ラインカメラ
3・・・ワーク
3a・・・ワークの前端
3b・・・ワークの後端
5・・・ワーク処理手段(排除手段)
8・・・パーツフィーダ用画像処理装置
10・・・搬送路
40・・・画像取込手段
41・・・前処理手段
44・・・ワークの良否判別手段(姿勢判別手段)
45・・・指令出力手段
100・・・パーツフィーダ
P1・・・撮像位置
P2・・・ワーク処理位置(排除位置)

Claims (5)

  1. 搬送路に沿って振動搬送されるワークを撮像するカメラを備えたパーツフィーダに適用されるものであって、
    前記カメラとして、前記ワークの搬送方向に直交して配列された複数の撮像素子を有するラインカメラを採用し、このラインカメラにより前記搬送路上に設定された撮像位置を通過するワークを順次撮像して、1つのワーク毎に複数の画像データを取得するように構成するとともに、
    記ラインカメラによる撮像によって取得された画像データを即時に取り込む画像取込手段と、
    前記画像取込手段が取り込んだ画像データを撮像順につなぎ合わせて、単体のワークの略全体が現れた合成画像データを生成する前処理手段と、
    前記前処理手段で生成された合成画像データに基づいてワークの良否判別処理を行うワークの良否判別手段と、を備え
    前記ラインカメラが撮像を行う動作と前記画像取込手段が即時にその画像データを取り込む動作が交互に繰り返されるとともに、前記前処理手段は前記合成画像データの生成に加えて、前記ラインカメラの撮像動作とオーバーラップするタイミングで前記画像取込手段が取り込んだ画像データの前処理を行うことを特徴とするパーツフィーダ用画像処理装置。
  2. 前記前処理手段は、前記合成画像データの生成に加えて、その生成の前に前記画像取込手段が取り込んだ画像データを2値化する2値化処理を行うものであり、前記画像取込手段により画像データの取り込みが行われると、当該画像データに対して即時に2値化処理を行うことを特徴とする請求項1記載のパーツフィーダ用画像処理装置。
  3. 前記前処理手段は、さらに、前記画像取込手段が取り込んだ画像データにおいてワークの前端及び後端を判別可能なものであり、ワークの前端が現れた画像データから当該ワークの後端が現れた画像データまでを撮像順につなぎ合わせて前記合成画像データを生成することを特徴とする請求項1又は2記載のパーツフィーダ用画像処理装置。
  4. 前記ワークの良否判別手段による前記良否判別処理をソフトウェアを用いて行うことを特徴とする請求項1〜3の何れかに記載のパーツフィーダ用画像処理装置。
  5. 請求項1〜4の何れかに記載のパーツフィーダ用画像処理装置を用いるものであって、
    ワークが搬送される搬送路を有するパーツフィーダ本体と、
    前記ワークの搬送方向に直交して配列された複数の撮像素子を有し、前記搬送路上に設定された撮像位置を通過する前記ワークを順次撮像して、1つのワーク毎に複数の画像データを取得するラインカメラと、
    前記搬送路に設定されたワーク処理位置を通過するワークに対して、前記ワークを搬送路から排除若しくは搬送路上で姿勢矯正する処理を行うワーク処理手段と、
    前記ワークの良否判別手段が所定の外観若しくは姿勢のものでないと判別すると、前記ワーク処理手段に前記処理を行わせるための指令を出力する指令出力手段と、を備えることを特徴とするパーツフィーダ。
JP2013159969A 2013-07-31 2013-07-31 パーツフィーダ用画像処理装置及びパーツフィーダ Active JP6379454B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013159969A JP6379454B2 (ja) 2013-07-31 2013-07-31 パーツフィーダ用画像処理装置及びパーツフィーダ
KR1020140094453A KR102206317B1 (ko) 2013-07-31 2014-07-25 부품 피더용 화상 처리 장치 및 부품 피더
TW103126013A TWI622112B (zh) 2013-07-31 2014-07-30 Image processing device for component feeding and component feeder
CN201410374399.XA CN104338683A (zh) 2013-07-31 2014-07-31 送料器用图像处理装置以及送料器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013159969A JP6379454B2 (ja) 2013-07-31 2013-07-31 パーツフィーダ用画像処理装置及びパーツフィーダ

Publications (2)

Publication Number Publication Date
JP2015030565A JP2015030565A (ja) 2015-02-16
JP6379454B2 true JP6379454B2 (ja) 2018-08-29

Family

ID=52495624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013159969A Active JP6379454B2 (ja) 2013-07-31 2013-07-31 パーツフィーダ用画像処理装置及びパーツフィーダ

Country Status (4)

Country Link
JP (1) JP6379454B2 (ja)
KR (1) KR102206317B1 (ja)
CN (1) CN104338683A (ja)
TW (1) TWI622112B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902224B (zh) * 2015-04-30 2018-03-23 苏州华兴致远电子科技有限公司 图像数据采集的方法和系统
JP7188186B2 (ja) * 2019-02-28 2022-12-13 いすゞ自動車株式会社 組付装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0560514A (ja) * 1991-02-21 1993-03-09 Shinko Electric Co Ltd 移動ワークの画像処理装置
JPH06197349A (ja) 1992-12-25 1994-07-15 Ntn Corp パーツフィーダの画像処理装置
JP2611935B2 (ja) * 1994-06-06 1997-05-21 エヌティエヌ株式会社 パーツフィーダの画像処理装置
JP3456330B2 (ja) * 1995-12-14 2003-10-14 神鋼電機株式会社 部品の姿勢判別装置
CN1329132C (zh) * 2004-11-02 2007-08-01 江苏大学 基于三个摄像系统在线水果品质检测分级的装置与方法
JP4704804B2 (ja) * 2005-05-18 2011-06-22 株式会社名南製作所 木材の節探査方法及び装置及びプログラム
CN101349550B (zh) * 2008-08-26 2010-06-09 浙江大学 在线橡胶栓外形质量检查机
JP2010151925A (ja) * 2008-12-24 2010-07-08 Hitachi High-Technologies Corp 基板処理装置、フラットパネルディスプレイの製造装置およびフラットパネルディスプレイ
CN102183528A (zh) * 2011-01-10 2011-09-14 宁波工程学院 一种双联齿轮的缺陷检测装置及检测方法
CN103157607B (zh) * 2011-12-19 2014-07-23 华南理工大学 一种物品识别与分拣装置及其方法

Also Published As

Publication number Publication date
TW201511164A (zh) 2015-03-16
KR102206317B1 (ko) 2021-01-22
TWI622112B (zh) 2018-04-21
JP2015030565A (ja) 2015-02-16
CN104338683A (zh) 2015-02-11
KR20150015377A (ko) 2015-02-10

Similar Documents

Publication Publication Date Title
JP6260132B2 (ja) パーツフィーダ用速度検出装置及びパーツフィーダ
KR102196116B1 (ko) 부품 피더
KR102288639B1 (ko) 부품 피더용 화상 처리 장치 및 부품 피더
CN105898131A (zh) 图像捕捉控制方法和图像拾取装置
JP2017121995A (ja) 搬送物判別制御システム及び搬送装置
JP6379454B2 (ja) パーツフィーダ用画像処理装置及びパーツフィーダ
AU2017258666B2 (en) Method and device for detecting the prone/supine position of fish conveyed by means of a conveying device
JP2017036104A (ja) パーツフィーダ
JP2017039604A (ja) パーツフィーダ
JP6497049B2 (ja) パーツフィーダ用画像処理装置及びパーツフィーダ
JP2012220405A (ja) 搬送量計測装置および記録装置
JP6117580B2 (ja) 物品検査装置
JP2019048718A (ja) パーツフィーダ用画像処理装置及びパーツフィーダ
JP6687867B2 (ja) パーツフィーダ用画像処理装置及びパーツフィーダ
JP6980538B2 (ja) 錠剤検査方法および錠剤検査装置
JP2018008797A (ja) 搬送検出装置、搬送装置、記録装置、搬送検出方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180716

R150 Certificate of patent or registration of utility model

Ref document number: 6379454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250