JP5179941B2 - 裁断装置及び裁断装置での裁断対象の輪郭抽出方法 - Google Patents

裁断装置及び裁断装置での裁断対象の輪郭抽出方法 Download PDF

Info

Publication number
JP5179941B2
JP5179941B2 JP2008120613A JP2008120613A JP5179941B2 JP 5179941 B2 JP5179941 B2 JP 5179941B2 JP 2008120613 A JP2008120613 A JP 2008120613A JP 2008120613 A JP2008120613 A JP 2008120613A JP 5179941 B2 JP5179941 B2 JP 5179941B2
Authority
JP
Japan
Prior art keywords
cutting
image
support surface
background image
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008120613A
Other languages
English (en)
Other versions
JP2009269113A (ja
Inventor
武志 岡室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shima Seiki Manufacturing Ltd
Original Assignee
Shima Seiki Manufacturing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shima Seiki Manufacturing Ltd filed Critical Shima Seiki Manufacturing Ltd
Priority to JP2008120613A priority Critical patent/JP5179941B2/ja
Publication of JP2009269113A publication Critical patent/JP2009269113A/ja
Application granted granted Critical
Publication of JP5179941B2 publication Critical patent/JP5179941B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Cutting Processes (AREA)
  • Treatment And Processing Of Natural Fur Or Leather (AREA)

Description

この発明は皮革等の裁断に関し、特に裁断テーブル上の汚れや傷と区別して、裁断対象物の輪郭を抽出することに関する。
裁断装置の分野では、皮革や古布等の不定形の裁断対象物を裁断テーブル上に載置し、カメラで裁断対象物(以下「対象」という)を撮像し、画像認識により輪郭を抽出することが知られている。輪郭を抽出すると、裁断刃を備えた裁断ヘッドを駆動して、対象を裁断する。カメラは裁断ヘッドに取り付けても、裁断ヘッドとは別に設けても良い(特許文献1:JP3108456,特許文献2:WO2004/010840)。
発明者は、皮革等の裁断を繰り返すと、裁断テーブルに裁断線に沿った汚れが生じ、対象の輪郭と区別しにくくなることを見出した。例えば皮革を裁断すると裁断屑が裁断テーブル上のマットに入り込み、取れなくなってしまうことがある。皮革はマットとは色が異なり、汚れや傷は裁断線に沿った曲線となるので、皮革自体の輪郭と区別することが難しい。またこれ以外の場合でも、裁断などによって裁断支持面に生じた傷が裁断対象物の輪郭と紛らわしくなる。
汚れの例を図9に示す。図の上部に白地のマットが有り、下部に皮革があり、皮革上のテープは疵をマーキングしている。マットの汚れは皮革の裁断により生じたもので、これらの中の明瞭なラインが皮革自体の輪郭と紛らわしい。なおこの明細書において、ラインは直線の他に曲線を含み、セグメントはラインを構成する短い線分を意味する。
JP3108456 WO2004/010840
この発明の課題は、裁断対象物の輪郭を、裁断テーブルの汚れや傷と区別して、抽出することにある。
この発明の裁断装置では、裁断テーブルに裁断対象物を載置する裁断支持面を設ける。裁断支持面は剛毛で無地白色の裁断支持面などとし、裁断テーブル上に固定しても、筒状にして巡回させても良い。裁断支持面上の裁断対象物を撮像装置で撮像し、裁断対象物の画像から、裁断対象物の輪郭を画像認識部で抽出し、これに基づいて裁断パターンを裁断対象物内に配置する。そして裁断テーブル上を移動する裁断ヘッドにより、裁断パターンに沿って裁断対象物を裁断する。
裁断支持面は、例えば剛毛などのマットや、平板あるいは小板を筒状に連結した金属板などとする。
この発明は、裁断対象物が無い裁断支持面の背景画像を作成するための手段を設けると共に、裁断対象物の画像と背景画像との排他処理により、画像認識部で裁断対象物の輪郭を抽出するようにしたことを特徴とする。
裁断支持面には、裁断屑などにより裁断対象物の輪郭と紛らわしい汚れや傷が増して行く。裁断支持面が無地であれば、背景画像は主として汚れや傷の画像であり、皮革などの画像と背景画像との共通部分は汚れや傷、マーカーその他、皮革でもその輪郭でも無い部分である。皮革などの裁断対象物の画像と背景画像との排他処理により、裁断対象物の真の輪郭を求めることができる。そこでこの発明では、裁断支持面の汚れや傷の影響を受けずに、対象の輪郭を抽出できる。
なおこの明細書において、裁断装置に関する記載はそのまま輪郭抽出方法の発明にも当てはまり、輪郭抽出方法に関する記載はそのまま裁断装置の発明にも当てはまる。
好ましくは、画像認識部は、裁断支持面に設けたマーカーを用いて、裁断対象物の画像と背景画像とを位置合わせする。裁断対象物の画像と背景画像とを排他処理するには、それらの位置合わせが必要で、裁断支持面に設けたマーカーを用いると、容易に位置合わせができる。
裁断テーブルが筒状の裁断支持面を巡回させる巡回機構を備え、裁断ヘッドは巡回する裁断支持面の上方から対象を裁断し、さらに巡回機構に設けられ、かつ裁断支持面の送り量をカウントするエンコーダの出力を用いて、裁断対象物の画像と背景画像とを位置合わせしても良い。すると裁断支持面の送り量を用いて、簡単に位置合わせができる。
裁断テーブルが筒状の裁断支持面を巡回させる巡回機構を備え、裁断ヘッドが巡回する裁断支持面の上方から対象を裁断し、かつ巡回する裁断支持面の底部の下方から裁断支持面の画像を撮像すると、背景画像の撮像のために裁断時間が長くならない。
マーカーなどを用いて背景画像と裁断対象物の画像とを位置合わせしても、僅かなずれが残ることがあり、このずれは裁断対象物の画像でのどの曲線が背景画像にも存在するかの判別を難しくする。そこで背景画像から抽出したラインを太線化しても良い。太線化の程度は、背景画像と裁断対象物の画像との位置ずれ程度かそれよりもやや大きい値とする。裁断対象物の画像で、太線化したラインに含まれるデータは裁断支持面の汚れや傷によるものなので、裁断対象物の画像から太線化したラインとの共通部を除外すると、裁断支持面の汚れや傷による偽の輪郭を除くことができる。
画像認識部は、裁断対象物の画像と背景画像とから共通するラインを抽出し、抽出した共通するラインが重なるように、裁断対象物の画像あるいは背景画像をシフトさせても良い。特に抽出したラインが曲線の場合、2つの曲線をマッチングすると、裁断対象物の画像と背景画像とを正確にマッチングできる。従って裁断対象物の画像のラインの中での、どれが汚れなどによるノイズであるかを容易に識別できる。
また過去に裁断ヘッドが裁断した軌跡の集まりを記憶すると共に、記憶した軌跡の集まりの画像を背景画像として画像認識部に出力しても良い。背景画像は裁断支持面の汚れなどの画像であり、裁断支持面の汚れや傷は裁断ヘッドが裁断した軌跡に沿って生じるので、記憶した軌跡の集まりの画像を背景画像とすると、撮像せずに背景画像を作成できる。従って背景画像を撮像する時間を省略できる。
以下に本発明を実施するための最適実施例を示す。
図1〜図8に、実施例の裁断装置2を示す。図において、4は裁断装置の機構部である。6はデータ処理部で、裁断対象の皮革などの輪郭を抽出し、裁断ラインを発生させて裁断ヘッドを駆動する。機構部4について説明すると、8は裁断テーブルで、白色の剛毛のマット10を備え、マット10は裁断テーブル8上に固定でも、あるいは筒状にしてテーブル8の上下に沿って巡回させても良い。マット10は位置合わせ用のマーカー12を複数個備えている。
実施例では、マット10は筒状で巡回するものとして説明する。14はマットドライブで、マット10を巡回させるための機構で、マット10の送り量を出力するエンコーダを備え、このエンコーダはマットドライブ14の駆動モータのエンコーダを兼用する。16はクリーナで、例えば刷毛や櫛などから成り、巡回するマット10の底部側で汚れを落とす。18はラインセンサで、マット10を底部側から撮像して、背景画像を撮像する。なおラインセンサ18に代えて、マットの底部側にCCDカメラなどを設けても良い。なおラインセンサ18を設けず、キャリッジ22側のカメラ24で背景画像を撮像しても良い。カメラ24は撮像装置の例で、ラインセンサ18は背景画像の作成手段の例である。
裁断テーブル8の上部にラニングアーム20があり、図1の左右方向に沿って移動する。そしてラニングアーム20上をキャリッジ22が図1の上下方向に沿って移動し、カメラ24により裁断テーブル8上の裁断対象物である皮革などの画像や、裁断対象物のない背景画像を撮像し、裁断ヘッド26に設けた図示しない裁断刃により、裁断ラインに沿って皮革などを裁断する。裁断対象は皮革に限らず、古布などでもよい。
データ処理部6の構成を説明する。30はバスで、31はタッチパネルで、32はキーボードである。33はキャリッジドライブで、キャリッジ22を駆動し、特にラニングアーム20とキャリッジ22の移動、カメラ24によるマット10上の裁断対象物の画像と背景画像の撮像、及び裁断ヘッド26による裁断を制御する。なおカメラ24は1回で裁断テーブル8の全面を撮像できないので、キャリッジ22が移動しながら、複数のフレームに分けてマット10を撮像し、これらのフレームを合成する。このような撮像方法に代えて、ラニングアーム20に沿ってラインセンサを設け、ラニングアーム20を図1の左右に移動させながら、裁断対象物の画像と背景画像を撮像しても良い。あるいは裁断テーブル8の充分上方に設けたカメラにより、1回の撮像でテーブル10全体を撮像しても良い。
テーブルドライブ34は、マットドライブ14を介して、マット10を巡回させ、この間にマットドライブ14からのエンコーダからの信号によりマット10の送り量を求め、ラインセンサ18で背景画像を撮像させる。
画像メモリ40には、カメラ24で撮像した画像を記憶し、背景画像メモリ41には背景画像を記憶する。画像メモリ40,41のデータは、ラスターデータでも、ベクトルデータでも良い。マスク生成部42は背景画像メモリ41中のラインを太線化し、マスクとする。マスク生成部42は設けなくても良く、マスク生成部42を用いるものを、第1の実施例とする。位置合わせ部43は、マット10のマーカー12などを用いて、裁断対象物の画像と背景画像とを位置合わせする。マーカー12を用いる代わりに、マットドライブ14のエンコーダの出力を用いて、裁断対象物の画像と背景画像とで、マット10の送り方向の位置の差を求めて、位置合わせしても良い。
裁断データ記憶部44は過去の裁断データを記憶し、特に裁断ヘッドで実際に裁断を行うための裁断部の軌跡のデータを記憶する。このデータはラスターデータでもベクトルデータでも良い。裁断データ記憶部44は設けなくても良く、裁断データ記憶部44を設けるものを、第3の実施例とする。
画像処理部50は、裁断ヘッド26での裁断ラインを生成する。輪郭抽出部51は裁断対象物の画像から輪郭を抽出する。ノイズ除去部52は抽出した輪郭の内でマスク生成部42で生成したマスクに含まれる輪郭をノイズとして除去する。先に輪郭を抽出してからノイズを除去するか、裁断対象物の画像からノイズを除いた後に輪郭を抽出するかは任意である。53はマッチング部で、特に設けなくてもよく、マッチング部53を設けるものを第2の実施例とする。マッチング部53では、背景画像と裁断対象物の画像とに共通する特徴的なライン、特にカーブを抽出し、これらが一致するように一方の画像をシフトさせる。なおマーカー12などによる位置合わせで、どのカーブが背景画像と裁断対象物の画像とに共通するかを判別できる。求めたシフトに応じて一方の画像を全体的にシフトすると、2つの画像を正確に位置合わせできる。
裁断対象物の輪郭が求まると、画像処理部50は、裁断対象物の傷を示すマーキングテープなどを画像認識し、あるいは輪郭の内側を認識範囲として画像認識により裁断対象物の傷を検出する。そして裁断により切り出したいパーツをデータ上で裁断対象物の輪郭内に傷を避けるように配置し、裁断ライン、即ち裁断パターンを発生させる。
図2に機構部4の側面を示し、筒状のマット10がマットドライブ14によって巡回移動し、マット10を底部側でクリーナ16により清掃し、ラインセンサ18により撮像する。またラニングアーム20はマット10のやや上方にあり、カメラ24は裁断ヘッド26とほぼ同じ高さにあり、マット10上の裁断対象物の画像や背景画像を複数フレームに分けて撮像する。
図3に皮革の輪郭抽出アルゴリズムを示す。皮革がない状態でのマットの画像、即ち背景画像を撮像する。背景画像からライン状のノイズを抽出し、これを太線化する。ライン状に限らず、全てのノイズを太線化しても良い。そして太線化したノイズとマーカーの画像とを記憶する。裁断対象物の画像を撮像すると、輪郭データを抽出する。次にマーカー12などを用いて背景画像と裁断対象物の画像とを位置合わせし、太線化したノイズ内に含まれる輪郭データを除去する。これによってノイズと区別して皮革自体の輪郭を抽出できる。
背景画像を用いたノイズの除去を図4に模式的に示す。図の右上は裁断対象物の画像で、左上は背景画像で、共にマーカー12が見えるので、これらを用いて画像をラフに位置合わせする。画像を位置合わせしても、カメラ24での歪みその他により、数ピクセル程度の誤差が残ることがある。そこで背景画像でのラインを太線化したものをマスク60とし、対象画像での輪郭61で、マスク60と重複するものを削除する。重複するかどうかの判定では、例えば輪郭61を複数のセグメントに分割し、セグメントがマスク60に含まれる個数と、含まれない個数とをチェックする。マスク60に含まれる個数が含まれない個数よりも例えば多い場合、輪郭61は偽の輪郭、即ちノイズであると判断する。
図5〜図7に、マッチング部53を用いた第2の実施例を示す。マッチング部53は、特徴線抽出部65とマッチング部66及び移動部67とから成る。特徴線抽出部65は背景画像と裁断対象物の画像の双方から明瞭な曲線を抽出し、これらを位置合わせする。図6に示すように、例えば70が背景画像中の特徴線、71が裁断対象物の画像中の特徴線で、これらはカメラの歪み、その他の誤差程度の分だけ、ずれている。特徴線70,71を重ねるためのシフト量を求めると、2つの画像を正確にマッチングできる。そして移動部67で一方の画像を移動させて正確にマッチングする。処理のアルゴリズムを図7に示す。
裁断データ記憶部44を用いるものを第3の実施例とし、図8にそのアルゴリズムを示す。マットに汚れが生じるのは、皮革などを裁断した際の裁断屑が蓄積されるためで、汚れは裁断ラインに沿って生じる。そこで過去の裁断データの集まりを記憶し、これらの裁断データでの裁断ラインの集まりを背景画像とする。過去の裁断データと現在の裁断対象物の画像との間には位置の誤差があるため、太線化などにより裁断対象物の画像と裁断データとをマッチングする。そして裁断データと重複する輪郭を削除し、皮革の輪郭を抽出する。
実施例の裁断装置のブロック図 実施例の裁断装置の要部側面図 実施例での輪郭抽出アルゴリズムを示す図 実施例でのノイズの除去を模式的に示す図 第2の実施例での、ノイズマッチング部のブロック図 第2の実施例での、特徴的なラインに付いての背景画像と裁断対象物の画像とのマッチングを示す図 第2の実施例でのノイズ除去アルゴリズムを示す図 第3の実施例での背景画像の作成アルゴリズムを示す図 裁断テーブル上の皮革の写真で、上部はテーブルのマットとその汚れを示し、下部は皮革で、最下部には疵をマーキングしたテープが見える。
符号の説明
2 裁断装置
4 機構部
6 データ処理部
8 裁断テーブル
10 マット
12 マーカー
14 マットドライブ
16 クリーナ
18 ラインセンサ
20 ラニングアーム
22 キャリッジ
24 カメラ
26 裁断ヘッド
30 バス
31 タッチパネル
32 キーボード
33 キャリッジドライブ
34 テーブルドライブ
40 画像メモリ
41 背景画像メモリ
42 マスク生成部
43 位置合わせ部
44 裁断データ記憶部
50 画像処理部
51 輪郭抽出部
52 ノイズ除去部
53 マッチング部
60 マスク
61 輪郭
65 特徴線抽出部
66 マッチング部
67 移動部
70,71 特徴線

Claims (8)

  1. 裁断対象物を載置する裁断支持面を備えた裁断テーブルと、
    裁断支持面上の裁断対象物を撮像する撮像装置と、
    撮像装置で撮像した裁断対象物の画像から、裁断対象物の輪郭を抽出する画像認識部と、
    裁断テーブル上を移動し、抽出した輪郭内に配置した裁断パターンに沿って裁断対象物を裁断する裁断ヘッドとを備えた裁断装置において、
    裁断対象物が無い、裁断支持面の背景画像を作成するための手段を設けると共に、
    画像認識部は、裁断対象物の画像と背景画像との排他処理により、裁断対象物の輪郭を抽出するようにしたことを特徴とする、裁断装置。
  2. 画像認識部は、裁断支持面に設けたマーカーを用いて、裁断対象物の画像と背景画像とを位置合わせするようにしたことを特徴とする、請求項1の裁断装置。
  3. 裁断テーブルは筒状の裁断支持面を巡回させる巡回機構を備え、
    裁断ヘッドは巡回する裁断支持面の上方から裁断し、
    さらに巡回機構に設けられ、かつ裁断支持面の送り量をカウントするエンコーダの出力を用いて、裁断対象物の画像と背景画像とを位置合わせするようにしたことを特徴とする、請求項1の裁断装置。
  4. 裁断テーブルは筒状の裁断支持面を巡回させる巡回機構を備え、
    裁断ヘッドは巡回する裁断支持面の上方から裁断し、
    かつ背景画像を作成するための手段は、巡回する裁断支持面の底部の下方から裁断支持面の画像を撮像するようにしたことを特徴とする、請求項1の裁断装置。
  5. 画像認識部は、背景画像から抽出したラインを太線化し、裁断対象物の画像での、太線化したラインとの共通部を裁断対象物の画像から除外するようにしたことを特徴とする、請求項1〜4のいずれかの裁断装置。
  6. 画像認識部は、裁断対象物の画像と背景画像とから共通するラインを抽出し、抽出した共通するラインが重なるように、裁断対象物の画像あるいは背景画像をシフトさせることにより、裁断対象物の画像と背景画像とをマッチングするようにしたことを特徴とする、請求項1〜4のいずれかの裁断装置。
  7. 背景画像を作成するための手段は、過去に裁断ヘッドが裁断した軌跡の集まりを記憶すると共に、記憶した軌跡の集まりの画像を背景画像として画像認識部に出力するようにしたことを特徴とする、請求項1〜4のいずれかの裁断装置。
  8. 裁断対象物を載置するための裁断支持面を備えた裁断テーブルと、
    裁断支持面上の裁断対象物を撮像するための撮像装置と、
    撮像装置で撮像した裁断対象物の画像から、裁断対象物の輪郭を抽出するための画像認識部と、
    裁断テーブル上を移動し、抽出した輪郭内に配置した裁断パターンに沿って裁断対象物を裁断する裁断ヘッドとを備えた裁断装置での、裁断対象の輪郭抽出方法において、
    裁断対象物が無い状態での裁断支持面の背景画像を作成するステップと、
    裁断対象物の画像と背景画像との排他処理により、裁断対象物の輪郭を抽出するステップ、とを設けたことを特徴とする、裁断装置での裁断対象の輪郭抽出方法。
JP2008120613A 2008-05-02 2008-05-02 裁断装置及び裁断装置での裁断対象の輪郭抽出方法 Expired - Fee Related JP5179941B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008120613A JP5179941B2 (ja) 2008-05-02 2008-05-02 裁断装置及び裁断装置での裁断対象の輪郭抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008120613A JP5179941B2 (ja) 2008-05-02 2008-05-02 裁断装置及び裁断装置での裁断対象の輪郭抽出方法

Publications (2)

Publication Number Publication Date
JP2009269113A JP2009269113A (ja) 2009-11-19
JP5179941B2 true JP5179941B2 (ja) 2013-04-10

Family

ID=41436115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008120613A Expired - Fee Related JP5179941B2 (ja) 2008-05-02 2008-05-02 裁断装置及び裁断装置での裁断対象の輪郭抽出方法

Country Status (1)

Country Link
JP (1) JP5179941B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102060917B1 (ko) * 2019-04-15 2020-02-20 유혜승 커팅 머신 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2994698B1 (fr) * 2012-08-21 2014-09-05 Lectra Procede d'aplanissement des bords d'un coupon de matiere souple a decouper
JP2016061000A (ja) * 2014-09-22 2016-04-25 株式会社川上製作所 裁断装置
CN113284157B (zh) * 2021-05-26 2023-06-02 广东工业大学 一种大幅面皮革轮廓检测与轨迹优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4012462A1 (de) * 1990-04-19 1991-10-24 Duerkopp System Technik Gmbh Verfahren zum nesten von naturleder

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102060917B1 (ko) * 2019-04-15 2020-02-20 유혜승 커팅 머신 시스템

Also Published As

Publication number Publication date
JP2009269113A (ja) 2009-11-19

Similar Documents

Publication Publication Date Title
US7747080B2 (en) System and method for scanning edges of a workpiece
JP5179941B2 (ja) 裁断装置及び裁断装置での裁断対象の輪郭抽出方法
CN108290286A (zh) 用于教导工业机器人拾取零件的方法
EP2570966A2 (en) Fast obstacle detection
US7734081B2 (en) Grinding method and system with non-contact real-time detection of workpiece thinkness
CN105467985B (zh) 自移动表面行走机器人及其图像处理方法
JP2012225795A (ja) タイヤ表面形状測定装置及びタイヤ表面形状測定方法
JP6635712B2 (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
JP2017131556A (ja) 電気掃除機
CN113255869B (zh) 一种基于机器视觉的板材计数方法
WO2021218386A1 (zh) 一种连铸坯表面二维三维组合成像检测系统及其方法
CN117589129B (zh) 一种车载式柔性接触网定位器坡度测量方法及系统
JP6143336B2 (ja) キーパターン検出方法
CN203217591U (zh) 一种智能试卷分数统计系统
CN110084171B (zh) 一种地铁车顶异物检测装置及检测方法
JP2008160635A (ja) カメラ状態検出方法
JP4817384B2 (ja) 移動物体検出装置及び移動物体検出装置用プログラム
KR20120109420A (ko) 화상 처리 방법 및 화상 처리 장치
US20160263763A1 (en) Vision system
JP2013134176A (ja) 撮像装置および撮像方法
CN111932517A (zh) 余料板材的轮廓测绘方法、装置、电子设备与存储介质
JPH11321650A (ja) 地上子取付位置測定装置と測定方法
JP6143337B2 (ja) キーパターン検出方法、及び、アライメント方法
JP5160366B2 (ja) 電子部品のパターンマッチング方法
JP6132682B2 (ja) キーパターン検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130110

R150 Certificate of patent or registration of utility model

Ref document number: 5179941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees