JP5549812B2 - 白線端検出方法及びそれを利用した駐車支援装置 - Google Patents

白線端検出方法及びそれを利用した駐車支援装置 Download PDF

Info

Publication number
JP5549812B2
JP5549812B2 JP2010162816A JP2010162816A JP5549812B2 JP 5549812 B2 JP5549812 B2 JP 5549812B2 JP 2010162816 A JP2010162816 A JP 2010162816A JP 2010162816 A JP2010162816 A JP 2010162816A JP 5549812 B2 JP5549812 B2 JP 5549812B2
Authority
JP
Japan
Prior art keywords
white line
image
edge
data string
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010162816A
Other languages
English (en)
Other versions
JP2012027534A (ja
Inventor
整 久保田
直哉 室田
裕之 今野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Co Ltd
Original Assignee
Suzuki Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Co Ltd filed Critical Suzuki Motor Co Ltd
Priority to JP2010162816A priority Critical patent/JP5549812B2/ja
Publication of JP2012027534A publication Critical patent/JP2012027534A/ja
Application granted granted Critical
Publication of JP5549812B2 publication Critical patent/JP5549812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

この発明は白線端検出方法及びそれを利用した駐車支援装置に係り、特に白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、確実な白線端の検出を図る白線端検出方法及びそれを利用した駐車支援装置に関するものである。
車両には、駐車時の運転を支援するために、自車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、撮像手段により撮像された自車両の後方画像(カメラ画像)を表示手段に表示させる制御手段を設けた駐車支援装置を搭載しているものがある。
この駐車支援装置においては、画像処理技術により、超広角の撮影手段(バックカメラ等)の画像を、歪みを補正した歪み補正画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
上述の歪み補正画像は、周囲の視野を確保しつつ駐車枠(駐車スペース)の白線が直線として見えるため、駐車枠に接近するときに有効な画像である。また、上述の俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、白線と自車両との関係が直観的に分かりやすいことから、駐車位置に近づいたときに有効な画像である。
特開2000−79860号公報
ところで、従来の駐車支援装置においては、俯瞰画像から白線の縦エッジを抽出し、ハフ変換処理により直線の位置と角度とを求め、その後に、直線の後端位置を検出している。
このとき、白線の後端は、上下が対の一定サイズのウィンドウ(図15のareaUとareaD参照。)を設定し、ピクセル(Pixel)数をカウントして、上下のピクセル数の差が最も大きい箇所を白線の端点としていた。
追記すれば、超広角のバックカメラ画像を画像処理技術により、歪みを補正した画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
このとき、歪み補正画像は周囲の視野を確保しつつ白線が直線として見えるため、駐車枠に接近するときに有効な画像である。
前記俯瞰画像は車両に近接するエリアの距離感が掴み易いこと、白線と自車両との関係が直感的に分かり易いことから、駐車位置に近づいたときに有効な画像である。
従来、歪み補正画像と俯瞰画像との切換は、運転者が自らスイッチ操作をしていたが、駐車後退時は周囲確認やハンドル操作などの運転タスクが集中するため、画像切換のスイッチ操作が煩わしいという不都合があった。
前記歪み補正画像と俯瞰画像とを自動的に切り換える方法としては、カメラ画像から左右の白線を検出して自車両と白線とが平行になった場合に、白線の後端を検出して車両と白線後端との距離がしきい値以下になったら、画像切換を自動で行う手法がある。
上述の画像切換を自動で行う手法を実現する駐車支援装置201は、図8に示す如く、自車両の後方を撮像する撮像手段(「カメラ」ともいう。)202と、画像を表示する表示手段(「モニタ」ともいう。)203と、撮像手段202により撮像された自車両の後方画像(カメラ画像)を表示手段203に表示させる制御手段204とを備えている。
このとき、前記撮像手段202は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段203は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段204は、撮像手段202により撮像された後方画像(図10(a)参照。)を映像記録部205に取り込み、映像切換え判定部206に入力している。
そして、この映像切換え判定部206からのデータを後方画像の歪みを補正して歪み補正画像にする歪み補正変換部207と、撮像手段202により撮像された後方画像を俯瞰画像に変換する俯瞰変換部208と、前記歪み補正変換部207と俯瞰変換部208とに接続し、歪み補正映像を俯瞰映像に自動切換えして、前記表示手段203に表示する(図10(b)参照。)映像出力部209とを備えている。
ここで、前記駐車支援装置201の制御動作を、図9のシステム動作用フローチャートに沿って説明する。
前記駐車支援装置201のシステム動作用プログラムがスタート(301)すると、前記撮像手段202からのカメラ映像を映像記録部205に取り込んで記録する処理(302)に移行する。
そして、このカメラ映像を記録する処理(302)の後に、白線の位置と角度を算出する処理(303)に移行する。
この白線の位置と角度を算出する処理(303)の後に、車両と白線が平行であるか否かの判断(304)に移行する。
そして、車両と白線が平行であるか否かの判断(304)において、判断(304)がYESの場合には、白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理(305)に移行する一方、判断(304)がNOの場合には、歪み補正映像に変換する処理(308)に移行する。
前記白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理(305)の後には、画像を切り換えるか否かの判断(306)に移行する。
この画像を切り換えるか否かの判断(306)において、判断(306)がYESの場合には、俯瞰映像に変換する処理(307)に移行し、判断(307)がNOの場合には、歪み補正映像に変換する処理(308)に移行する。
そして、俯瞰映像に変換する処理(307)、及び、歪み補正映像に変換する処理(308)の後には、前記表示手段203に映像出力を行う処理(309)に移行し、その後に前記駐車支援装置201のシステム動作用プログラムのエンド(310)に移行する。
また、図11の前記駐車支援装置201の映像切換え判定部206における白線端検出用フローチャートに沿って説明する。
前記駐車支援装置201の白線端検出用プログラムがスタート(401)すると、前記撮像手段202から入力された映像を記録(図12参照。)する処理(402)に移行する。
そして、記録された映像から縦エッジの抽出及び俯瞰画像に変換(図13参照。)する処理(403)に移行する。
この処理(403)には、俯瞰画像上のエッジ点を投票点としてハフ変換(図14参照。)による左右の白線の検出を行う処理(404)に移行する。この処理(404)においては、白線の傾きを検出する。
つまり、図14に示す如く、画像の各候補点p(x,y)からθminからθmaxまでのρの値を計算して、ρ−θ空間に投票する。画面の右半分と左半分とのそれぞれで投票点数が最も高かった箇所(ρL、θL)と(ρR、θR)を左右それぞれの白線とする。
その後、白線後端の検出を行うために、図15に示す如く、検出した白線上に一定幅のウィンドウをセットする処理(405)に移行する。
そして、上下エリア内の点数の差を計算する処理(406)を行う。つまり、ウィンドウ上に小領域areaUとareaDを設定し、各エリア内のエッジ点数をカウントし、その差分値dif_yを求める。
その後は、差が最大となる位置を求める処理(407)に移行し、前記駐車支援装置201の白線端検出用プログラムをエンド(408)とする。つまり、上述の差が最大となる位置を求める処理(407)においては、差分値dif_yの値が最も大きいypeakを白線の後端とするものである。
しかし、上述した従来手法においては、白線の後端の検出性能がエッジ点数をカウントする小領域areaUとareaDのサイズに左右される。
つまり、白線がきれいではっきりしている場合は良いが、白線に擦れや汚れがある場合や、白線に土や枯葉が乗っている場合など、白線のエッジ画像が途切れ途切れになったときには対応できないという不都合がある。
特に、直線の途中が長く途切れている場合には対応できないという不都合がある。
小領域のサイズを変えれば対応できるが、サイズを大きくし過ぎると上下の端の領域が検出できなくなってしまうという不都合がある。
この発明は、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、確実に白線端を検出することを目的としている。
そこで、この発明は、上述不都合を除去するために、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも上側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の後端とすることを特徴とする。
また、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の前端とすることを特徴とする。
更に、自車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、この表示手段に表示する画像を歪みを補正した歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備え、白線の端を検出する白線端検出方法を利用した駐車支援装置において、請求項1または2に記載の白線端検出方法により白線の端を検出し、検出された駐車枠の白線の端と自車両との距離に基づいて前記表示手段に表示する画像を切り換えることを特徴とする。
この発明によれば、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができる。
また、白線の前端を検出することができる。
更に、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができるため、画像の表示切換タイミングの精度を向上することができる。
図1はこの発明の実施例を示す白線端検出方法を利用した駐車支援装置のシステム構成図である。(実施例1) 図2は縦のデータを横にして表示した状態の図である。(実施例1) 図3は縦のデータを横にして表示した状態で1から9までのデータを反転させた際の図である。(実施例1) 図4は縦のデータを横にして表示した状態で合計値が最大となる位置(i=8の16)を求め、この位置を白線の後端とする図である。(実施例1) 図5は白線端検出方法を利用した駐車支援装置の白線後端検出用フローチャートである。(実施例1) 図6はエッジ点のデータ列作成例を示す図である。(実施例1) 図7は手法の比較を説明するものであり、(a)は従来手法を示す図、(b)は本発明の提案手法を示す図である。(実施例1) 図8はこの発明の従来技術を示す駐車支援装置のシステム構成図である。 図9は駐車支援装置のシステム動作用フローチャートである。 図10はバックカメラの表示映像を示し、(a)はバックカメラ映像を示す図、(b)は自動切換えのモニタ画面を示す図である。 図11は白線後端検出用フローチャートである。 図12はカメラ映像記録例を示す図である。 図13はエッジの俯瞰画像変換例を示す図である。 図14はハフ変換による白線検出を示す図である。 図15は従来手法による白線後端検出を示す図である。
以下図面に基づいてこの発明の実施例を詳細に説明する。
図1〜図7はこの発明の実施例を示すものである。
図1において、1は駐車支援装置である。
この駐車支援装置1は、図1に示す如く、自車両後方を撮像する撮像手段2と、画像を表示する表示手段3と、撮像手段2により撮像された自車両の後方画像を表示手段3に表示させる制御手段4とを備えている。
このとき、前記撮像手段2は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段3は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段4は、前記撮像手段2により撮像した後方画像の歪みを補正する歪み補正手段5と、前記撮像手段2により撮像した後方画像を俯瞰画像に変換する画像変換手段6と、表示切換制御手段7とを備えている。
このとき、前記駐車支援装置1は、白線端を検出する後述する白線端検出方法により白線端を検出し、検出された駐車枠の白線端と前記自車両との距離に基づいて、前記表示切換制御手段7によって、前記表示手段に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える構成を有する。
従って、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができるため、画像の表示切換タイミングの精度を向上することができる。
また、前記駐車支援装置1の利用する白線端検出方法は、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも上側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の後端とする構成を有する。
詳述すれば、前記ウインドウ内の各行でエッジ点を横方向にスキャンし、前記エッジが存在する場所を1、エッジが存在しない場所を0として、1次元のデータ列、つまり、図6に示す如く、縦のデータ列を作成する。
そして、図6の縦のデータ列を、図2に示す如く、横にして表示し、データ列の1からNまでの各要素(「各点」とも換言できる。)において、データ列の各要素よりも上側の領域のデータを反転させる。
例えば、図3に示す如く、i=10のときは、1から9までのデータを反転(0なら1に、1なら0に)させる。
また、反転後のデータを含めて、1からNまでの全体のデータを合計し、i=10における合計値とする。なお、合計値の代わりに、平均値を使用することも可能である。そして、i=1からNまでの各要素において上述した処理を行う。
更に、各要素における合計値が最大となるiを求め、この位置を白線の後端とする。つまり、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の後端とするものである。
図4の例では、i=8の16が最大であるため、白線の後端となる。
従って、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線の後端を検出することができる。
更に、この発明の提案手法においては、従来手法で必要であったウィンドウサイズや、しきい値といった各種パラメータが不要となる。そのため、白線の後端の検出精度が向上する。そして、検出したい領域全体に亘って検出することができる。
つまり、従来手法では、検出精度が上下領域のサイズとしきい値とに依存してたため、例えば図7(a)に示す如く、途中で擦れているような白線を検出できなかった。これに対して、この発明の提案手法においては、図7(b)に示す如く、白線全体の点数をカウントするため、途中で擦れているような白線でも検出可能である。
なお、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の前端とする構成とすることも可能である。
つまり、上述した白線の後端を検出する方策とは逆に、白線の前端を検出する方策とする。
このとき、前記データ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の前端とするものである。
従って、白線の前端を検出することができる。
次に、図5の白線端検出方法を利用した駐車支援装置1の白線後端検出用フローチャートに沿って作用を説明する。
前記駐車支援装置1の白線後端検出用プログラムがスタート(101)すると、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、エッジ点列、縦のデータ列を作成する処理(102)に移行する。なお、この処理(102)においては、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成している。
そして、縦のデータ列を作成する処理(102)の後に、Y座標値の開始位置をセット、つまり、i=1とする処理(103)に移行する。
また、Y座標値の開始位置をセット、つまり、i=1とする処理(103)の後には、1〜i−1までのデータを反転させる処理(104)の後に、1〜Nまでのデータを合計する処理(105)に移行する。
そして、終了位置に到達したか否かの判断(106)に移行する。
この終了位置に到達したか否かの判断(106)において、判断(106)がNOの場合には、iを+1加算する処理(107)に移行し、その後に上述した1〜i−1までのデータを反転させる処理(104)に戻る。
更に、判断(106)がYESの場合には、合計値が最大となる位置を求める処理(108)に移行し、その後に、前記駐車支援装置1の白線後端検出用プログラムのエンド(109)に移行する。
1 駐車支援装置
2 撮像手段
3 表示手段
4 制御手段
5 歪み補正手段
6 画像変換手段
7 表示切換制御手段

Claims (3)

  1. 画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも上側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の後端とすることを特徴とする白線端検出方法。
  2. 画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の前端とすることを特徴とする白線端検出方法。
  3. 自車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、この表示手段に表示する画像を歪みを補正した歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備え、白線の端を検出する白線端検出方法を利用した駐車支援装置において、請求項1または2に記載の白線端検出方法により白線の端を検出し、検出された駐車枠の白線の端と自車両との距離に基づいて前記表示手段に表示する画像を切り換えることを特徴とする白線端検出方法を利用した駐車支援装置。
JP2010162816A 2010-07-20 2010-07-20 白線端検出方法及びそれを利用した駐車支援装置 Active JP5549812B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010162816A JP5549812B2 (ja) 2010-07-20 2010-07-20 白線端検出方法及びそれを利用した駐車支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010162816A JP5549812B2 (ja) 2010-07-20 2010-07-20 白線端検出方法及びそれを利用した駐車支援装置

Publications (2)

Publication Number Publication Date
JP2012027534A JP2012027534A (ja) 2012-02-09
JP5549812B2 true JP5549812B2 (ja) 2014-07-16

Family

ID=45780420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010162816A Active JP5549812B2 (ja) 2010-07-20 2010-07-20 白線端検出方法及びそれを利用した駐車支援装置

Country Status (1)

Country Link
JP (1) JP5549812B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914114B2 (ja) * 2012-03-30 2016-05-11 富士通テン株式会社 駐車支援装置、及び駐車支援方法
CN110758246B (zh) * 2018-07-25 2021-06-04 广州小鹏汽车科技有限公司 一种自动泊车方法及装置
CN110544386A (zh) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 车位识别方法、装置及存储介质
CN117292381B (zh) * 2023-11-24 2024-02-27 杭州速腾电路科技有限公司 一种印刷电路板的序列号读取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4696691B2 (ja) * 2005-05-27 2011-06-08 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP5120227B2 (ja) * 2008-11-21 2013-01-16 スズキ株式会社 輪止検出装置及び後方画像表示装置
JP2010126059A (ja) * 2008-11-28 2010-06-10 Suzuki Motor Corp 車両用駐車支援装置

Also Published As

Publication number Publication date
JP2012027534A (ja) 2012-02-09

Similar Documents

Publication Publication Date Title
JP5574235B2 (ja) 駐車枠検出装置及び駐車枠検出方法
JP5667629B2 (ja) 車両周辺のモニタ方法
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP6316976B2 (ja) 車載画像認識装置
US10783665B2 (en) Apparatus and method for image processing according to vehicle speed
US20100172547A1 (en) On-vehicle image processing device
JP5549812B2 (ja) 白線端検出方法及びそれを利用した駐車支援装置
JP5464324B2 (ja) 駐車時における運転支援装置及び方法
JP2006318364A (ja) 画像処理装置
US20100002078A1 (en) Periphery monitoring apparatus
US20200380275A1 (en) Parking assist apparatus
JP6086424B2 (ja) 車載画像処理装置
JP2014165638A (ja) 画像処理装置、撮像装置、移動体制御システム及びプログラム
JP5510900B2 (ja) 駐車支援装置
EP3107063A1 (en) Method for processing camera images
JP2020077251A (ja) 周辺監視装置
JP4702802B2 (ja) 車両方位補正システム
JP5155204B2 (ja) 白線検出装置
JPH08172620A (ja) 車両用画像入力手段
JP5166111B2 (ja) 車両周辺監視装置
JP2012096585A (ja) 駐車支援装置
US10242460B2 (en) Imaging apparatus, car, and variation detection method
JP6274936B2 (ja) 運転支援装置
JP4739833B2 (ja) 車両停止検出装置、カーナビゲーション装置
JP2006178667A (ja) 車両用映像補正装置及び車両用映像補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140506

R151 Written notification of patent or utility model registration

Ref document number: 5549812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151