JP5863374B2 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP5863374B2
JP5863374B2 JP2011224352A JP2011224352A JP5863374B2 JP 5863374 B2 JP5863374 B2 JP 5863374B2 JP 2011224352 A JP2011224352 A JP 2011224352A JP 2011224352 A JP2011224352 A JP 2011224352A JP 5863374 B2 JP5863374 B2 JP 5863374B2
Authority
JP
Japan
Prior art keywords
image
center
circle
processing
hole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011224352A
Other languages
English (en)
Other versions
JP2013084156A (ja
Inventor
聡 及川
聡 及川
巌謙 大久保
巌謙 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2011224352A priority Critical patent/JP5863374B2/ja
Priority to US13/565,314 priority patent/US8879868B2/en
Priority to CN201210289784.5A priority patent/CN103048327B/zh
Publication of JP2013084156A publication Critical patent/JP2013084156A/ja
Application granted granted Critical
Publication of JP5863374B2 publication Critical patent/JP5863374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、画像処理方法、特に環状画像をパノラマ展開画像に変換する際の補正方法に関する。
従来、内視鏡などの全方位撮像装置を使用して穴の側壁面を撮像した画像から、欠陥や損傷などを検査することが行われている。このとき、撮像した環状画像をパノラマ展開画像に変換して検査することが一般的である。
このような変換時、全方位撮影装置の光軸が穴の中心軸からずれている場合、補正処理を行う必要がある。この補正処理として、特許文献1には、ビデオカメラで管渠内面を撮像するとき、データマッチング処理を行って、ビデオカメラの光軸と管渠の中心軸とのずれ量を求めることが開示されている。
特開2000−331168号公報
しかしながら、上記特許文献1に記載の技術では、予め光軸と管渠の中心線が一致させてビデオカメラを設置した状態での、基準となる画像データを保持しておく必要がある。そのため、製品のロットに変化が生じた際や、レンズを交換する際には、基準となる画像データを新たに取得する必要がある。さらに、データマッチング処理には長時間を要する。
本発明は、以上の点に鑑み、予め基準となる画像データを保持する必要がなく且つ簡易に、光軸と穴の中心軸との位置ずれを補正して、パノラマ展開画像に変換することが可能な画像処理方法を提供することを目的とする。
本発明は、全方位撮像装置により断面円形状の穴の側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、前記全方位撮像装置の光軸と前記穴の中心軸との位置ずれに起因する歪みを補正する画像処理方法であって、前記環状画像から内円及び外円を抽出する工程と、抽出した前記内円及び外円の中心をそれぞれ求める工程と、前記極座標変換する際に基準となる処理中心を、前記内円中心と前記外円中心との間で順次移動させ、且つ処理円の半径を順次変化させながらパノラマ展開画像に変換する工程とを備えることを特徴とする。
本発明によれば、極座標変換する際に基準となる処理中心を、内円中心と外円中心との間で順次移動させながらパノラマ展開画像に変換することによって、全方位撮像装置の光軸と穴の中心軸との位置ずれに起因する歪みを補正している。そのため、環状画像データ自体から前記位置ずれに起因する歪みを補正することができる。
よって、上記特許文献1のように、予め補正データを保持しておく必要がなく、製品のロットに変化が生じた際や、レンズを交換する際に、基準となる画像データを取得する必要がない。そのため、位置ずれなく全方位撮像装置を穴内に設置するという困難な作業を行う必要がない。また、データマッチング処理などの長時間を要する処理を行う必要もなく、簡易な処理で位置ずれに起因する歪みを補正することができる。なお、本発明において、穴は管の穴も含む。
本発明の実施形態に係る全方位撮像システムにより穴側壁面を撮像する状態を示す説明図。 中心位置ずれを有する環状画像を示す説明図。 中心位置ずれを有するパノラマ展開画像を示す説明図。 レンズに鉛直方向歪みを有する環状画像を示す説明図。 全方位撮像システムによる処理を示すフローチャート。 補正後のパノラマ展開画像を示す説明図。
本発明の実施形態を図面を参照して説明する。ここでは、図1に示すように、全方位撮像システム100を用いて、被撮像体である穴H内の側壁面(以下、穴壁面ともいう)を上方から撮像する場合を例に挙げて説明する。
なお、穴Hは、例えば、燃料噴射装置(インジェクタ)を配置するために形成された穴であるが、その用途、形状、穴径、深さなどは限定されない。例えば、穴Hは、貫通穴であっても、底壁を有する穴であってもよい。また、穴Hは、穴径が一定のストレート穴であっても、穴径が漸次変化するテーパ穴であってもよい。
全方位撮像システム100は、全方位撮像装置10、画像処理装置20及び表示装置30から構成されている。
全方位撮像装置10は、周囲360度の全方位にある穴Hの側壁面を撮像して得た円形画像データを出力する。全方位撮像装置10は、360度を撮像可能な広角レンズ(全方位撮像レンズ)11、この広角レンズ11を介して入射光が入力されるイメージセンサ12などを備えている。
広角レンズ11は、イメージセンサ12の受光面の下方に配設される。これにより、イメージセンサ12の受光面には、広角レンズ11による円形の像が結像する。
イメージセンサ12は、CCDやCMOS等からなる受光素子が2次元状に配列されてなり、各受光素子は受光光量に応じた値を出力する。これにより、イメージセンサ12は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ12が生成した円状の輝度分布データはA/D変換され、円形画像データとして画像処理装置20に出力される。
画像処理装置20は、その機能ブロックとして、円形画像入力部21、画像変換部22、展開画像出力部23、及び補正データ取得部24を有している。なお、画像処理装置20は、CPU、ROM、RAM、画像メモリ等を備えた所謂マイクロコンピュータから構成されている。
全方位撮像装置10から入力された円形画像データは、円形画像入力部21を介して画像処理装置20に取り込まれる。画像処理装置20に取り込まれた円形画像データは、画像変換部22でパノラマ展開画像データに変換され、展開画像出力部23を介して表示装置30に出力される。
表示装置30に表示されたパノラマ展開画像を目視する検査員によって穴壁面の欠陥の有無等が検査される。或いは、図示しないが、パノラマ展開画像データを解析装置に出力させて、この解析装置で自動的に欠陥の有無等を判定してもよい。
ところで、図2に示すように、全方位撮像装置10から出力される円形画像データが示す円形画像には、外円と内円とに挟まれた環状の領域が存在する。以下、この領域内に存在する画像を環状画像という。
ここで、外円は、円形画像の外周側境界であり、穴Hの上側開口又は全方位撮像装置10の撮影限界を示す。内円は、穴Hの下側開口、穴Hの底面縁、穴H内の角部など、穴Hの断面円形状部分の下側端を示す。このように、内円は、穴Hが貫通穴でなくとも発現する。なお、穴H内に角部がない場合であっても、光の当て方を工夫することによって、内円を発現させることは可能である。
画像変換部22は、円形画像データのうち外円と内円との間に挟まれた環状画像データを極座標変換して、パノラマ展開画像データを生成する。しかし、画像変換部22で単に環状画像データを極座標変換しただけでは、全方位撮像装置10の光軸L1と穴Hの中心軸L2との位置ずれ(以下、中心位置ずれという。図1参照。)や広角レンズ11の鉛直方向歪みなどがそのまま反映されたパノラマ展開画像データとなる。
そこで、補正データ取得部24は、中心位置ずれや鉛直方向歪みなどを補正するための補正データを取得し、取得した補正データを画像変換部22に出力する。そして、画像変換部22は、この補正データに基づいて環状画像データをパノラマ展開画像データに変換する。
中心位置ずれがない場合には、環状画像の内心と外心との中心が一致し、同じ高さの部位を撮像したそれぞれの画像は、環状画像では全て同心円上に位置し、極座標展開したとき、水平線状になる。
しかし、実際には中心位置ずれが存在する。そのため、画像変換部22で環状画像を単に環状画像を極座標展開しただけでは、実際には同じ高さの部位を撮像したものが、水平線状ではなく、図3に示すように、波打った線状になる。そのため、中心位置ずれの補正処理に必要な補正データを補正データ取得部24が取得する。
また、歪が全くない理想的な広角レンズ11で撮影した環状画像では、等間隔の高さの穴壁面を撮像した画像が等間隔の同心円を描く。しかし、実際の広角レンズ11は鉛直方向歪みが存在するので、図4に示すように、同心円の間隔は不均一になる。そのため、画像変換部22で単に環状画像を極座標変換しただけでは、実際の間隔に対応しない間隔を有するパノラマ画像として表現される。
例えば、広角レンズ11が魚眼レンズであるとき、一般的に、被撮像体の画像は周辺ほど歪みが大きい。この歪みを軽減し、周辺の情報量を多くする方式として立体射影方式が存在する。
この立体射影方式の魚眼レンズを広角レンズ11に使用すると、被撮像体は、画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。中心部に撮像される被撮像体は、周辺部に撮像される被撮像体より画角的に小さく結像する。これに対して、パノラマ展開画像では、被撮像体は、本来の大きさのバランスで表示されることが望ましい。そこで、処理円の半径を順次大きくしながら、環状画像データを極座標展開する。
なお、処理円の中心間隔や処理円の半径を大きくする具体的な割合などを示す補正データは、広角レンズ11のレンズ特性などに応じて定まり、予め前記RAMに格納されている。そして、この補正データを補正データ取得部24が読み出し、画像変換部22に出力する。
表示装置30は、液晶ディスプレイ、有機ELディスプレイ、CRTディスプレイなどの周知の表示装置からなる。
次に、全方位撮像システム100の処理動作について図5に示すフローチャートを参照して説明する。なお、画像処理装置20内の各処理は、前記ROM内に予め格納されたプログラムに従って行われる。
まず、図1に示すように、全方位撮像装置10の先端部を穴H内に挿入して、撮像する。全方位撮像装置10が撮像して取得した円形画像データは、画像処理装置20の円形画像入力部21に出力される(STEP1)。画像処理装置20に入力された円形画像データは前記画像メモリに格納される。
そして、補正データ取得部24は、補正データを取得し、取得した補正データを画像変換部22に出力する(STEP2)。
具体的には、補正データ取得部24は、まず、画像メモリに格納された円形画像データに対して2値化処理など周知のエッジ抽出処理を行い、図2に示すような外円及び内円を抽出する(STEP2−1)。
次に、補正データ取得部24は、抽出した外円及び内円に対して周知の算出処理を行い、外円中心Oout、内円中心Oin、外円半径rout、内円半径rinをそれぞれ求め、これらからなる補正データを画像変換部22に出力する(STEP2−2)。外円中心Ooutが光軸L1に、内円中心Oinが穴Hの中心軸L2にそれぞれ相当し、外円中心Ooutと内円中心Oinとの位置ずれが中心位置ずれに相当する。
次に、補正データ取得部24は、処理円の中心間隔及び処理円の半径を大きくする割合などを示す補正データを前記RAMから読み出し、画像変換部22に出力する(STEP2−3)。
そして、画像変換部22は、補正データを用いて、環状画像データをパノラマ展開画像データに極座標変換する(STEP3)。具体的には、画像変換部22は、まず、展開処理を開始する基準となる展開処理開始中心(最初の処理円の中心)を内円中心Oinに設定する。
そして、この内円中心Oinを中心として、分解能等によって定めた角度毎に周方向に、内円半径rinを半径とした処理円上に位置する環状画像データを極座標変換して、水平方向に直線状に展開する。なお、算出された画素位置が環状画像データの最小画素の位置に一致するとは限らない。これらの位置が一致しない場合、算出された画素位置に接している割合で環状画像データ(輝度データ)を補間計算して、算出された画素位置における画像データ(輝度データ)を求めればよい。
この展開作業は、処理円中心を内円中心Oinから外円中心Ooutに順次、分解能等によって定めた間隔毎に直線状に移動させながら繰り返す(図2に矢印で示す。)。これと同時に、処理円半径を、広角レンズ11の鉛直方向歪みを補正するための補正データに基づき、内円半径rinから外円半径routに向けて順次長くする。このようにして、環状画像データを内円から外円に向って順次極座標変換する。これにより、図6に示すように、水平方向に直線状の展開画像が順次積み上がり、補正が施されたパノラマ展開画像が得られる。
その後、画像処理装置20は、得られたパノラマ展開画像を展開画像出力部23を介して表示装置30に出力する(STEP4)。その結果、表示装置30には歪みのないパノラマ展開画像を表示することができる。
以上説明したように、環状画像データ自体から中心位置ずれを補正するための補正データを取得している。そのため、上記特許文献1のように、予め中心位置ずれを補正するための補正データを保持しておく必要がなく、製品のロットに変化が生じた際や、広角レンズ11を交換する際に、補正データを新たに取得する必要がない。よって、中心位置ずれなく全方位撮像装置10の先端部を穴H内に挿入するという高精度で困難な作業を行う必要がない。また、データマッチング処理などの長時間を要する処理を行うことなく、中心位置ずれを補正したパノラマ展開画像を得ることができる。
以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、処理円中心を内円中心Oinから外円中心Ooutに順次移動させる場合について説明したが、処理円中心を外円中心Ooutから内円中心Oinに順次移動させてもよい。
10…全方位撮像装置、 11…広角レンズ、 12…イメージセンサ、 20…画像処理装置、 21…円形画像入力部、 22…画像変換部、 23…展開画像出力部、 24…補正データ取得部、 30…表示装置、 100…全方位撮像システム、 H…穴、 L1…全方位撮像装置の光軸、 L2…穴の中心軸。

Claims (2)

  1. 全方位撮像装置により断面円形状の穴の側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、前記全方位撮像装置の光軸と前記穴の中心軸との位置ずれに起因する歪みを補正する画像処理方法であって、
    前記環状画像から内円及び外円を抽出する工程と、
    抽出した前記内円及び外円の中心をそれぞれ求める工程と、
    前記極座標変換する際に基準となる処理中心を、前記内円中心と前記外円中心との間で順次移動させ、且つ処理円の半径を順次変化させながらパノラマ展開画像に変換する工程とを備えることを特徴とする画像処理方法。
  2. 前記処理中心が前記内円中心にあるときにおける前記内円の半径から、前記処理中心が前記外円中心にあるときにおける前記外円の半径に向けて、前記処理円の半径を大きくする割合を大きくすることを特徴とする請求項1に記載の画像処理方法。
JP2011224352A 2011-10-11 2011-10-11 画像処理方法 Active JP5863374B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011224352A JP5863374B2 (ja) 2011-10-11 2011-10-11 画像処理方法
US13/565,314 US8879868B2 (en) 2011-10-11 2012-08-02 Image processing method for converting an annual image
CN201210289784.5A CN103048327B (zh) 2011-10-11 2012-08-15 图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011224352A JP5863374B2 (ja) 2011-10-11 2011-10-11 画像処理方法

Publications (2)

Publication Number Publication Date
JP2013084156A JP2013084156A (ja) 2013-05-09
JP5863374B2 true JP5863374B2 (ja) 2016-02-16

Family

ID=48042118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011224352A Active JP5863374B2 (ja) 2011-10-11 2011-10-11 画像処理方法

Country Status (3)

Country Link
US (1) US8879868B2 (ja)
JP (1) JP5863374B2 (ja)
CN (1) CN103048327B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5863374B2 (ja) * 2011-10-11 2016-02-16 本田技研工業株式会社 画像処理方法
JP6076103B2 (ja) * 2013-01-23 2017-02-08 本田技研工業株式会社 画像処理方法
CN103679166B (zh) * 2013-11-22 2017-07-25 江西好帮手电子科技有限公司 一种快速获取设备中鱼眼镜头中心偏移量的方法及系统
CN104376531B (zh) * 2014-12-11 2018-01-19 重庆地质仪器厂 一种图像拼接方法与系统
CN108141530B (zh) * 2015-09-29 2020-06-30 富士胶片株式会社 图像处理装置、图像处理方法及介质
JP6647903B2 (ja) * 2016-02-13 2020-02-14 国立大学法人徳島大学 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018085552A (ja) * 2016-11-21 2018-05-31 セイコーエプソン株式会社 プロジェクターシステム
CN108469222A (zh) * 2016-11-23 2018-08-31 哈尔滨飞机工业集团有限责任公司 一种工装通孔的检测方法
CN110470247B (zh) * 2019-07-30 2021-08-31 湖北三江航天万山特种车辆有限公司 一种零件内外圆面同轴度的检测装置及检测方法
WO2021064867A1 (ja) 2019-10-01 2021-04-08 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
CN110726692A (zh) * 2019-10-23 2020-01-24 深圳市太赫兹科技创新研究院有限公司 太赫兹光谱仪的成像中心点校正方法及装置
CN114782470B (zh) * 2022-06-22 2022-09-13 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2562059B2 (ja) * 1989-10-18 1996-12-11 株式会社奥村組 坑壁の展開画像作成装置
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
US6670991B1 (en) * 1997-09-26 2003-12-30 Canon Kabushiki Kaisha Image sensing system, control method, and recording medium for controlling a camera apparatus utilizing a client device connected thereto
JP3420734B2 (ja) * 1999-03-12 2003-06-30 東京都下水道サービス株式会社 管渠内面画像の処理方法
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP3705591B2 (ja) 2002-04-10 2005-10-12 立山マシン株式会社 全方位撮像による環状画像の基準位置検出方法および装置
JP3764953B2 (ja) * 2002-04-17 2006-04-12 立山マシン株式会社 画像変換パラメータを環状画像に記録する方法
JP2004118786A (ja) * 2002-09-30 2004-04-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4570887B2 (ja) * 2004-03-17 2010-10-27 日本電産トーソク株式会社 極座標展開像を用いた検査方法
US8131113B1 (en) * 2007-11-29 2012-03-06 Adobe Systems Incorporated Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
JP5863374B2 (ja) * 2011-10-11 2016-02-16 本田技研工業株式会社 画像処理方法

Also Published As

Publication number Publication date
US8879868B2 (en) 2014-11-04
US20130089272A1 (en) 2013-04-11
CN103048327B (zh) 2015-11-04
JP2013084156A (ja) 2013-05-09
CN103048327A (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
JP5863374B2 (ja) 画像処理方法
US9292915B2 (en) Digital optical comparator
JP2003254748A (ja) ステレオ画像特性検査システム
KR20110068375A (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
JP2009139634A (ja) 顕微鏡用撮影装置
JP6529360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2010217984A (ja) 像検出装置及び像検出方法
JP2017224974A (ja) 撮像装置および撮像システム並びに外観検査装置および製造方法
KR101578029B1 (ko) 영상 왜곡 보정 장치 및 방법
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
JP2011247639A (ja) タイヤ検査装置及びタイヤ検査方法
JP6076103B2 (ja) 画像処理方法
JP2008241609A (ja) 距離計測システム及び距離計測方法
CN111127379A (zh) 光场相机2.0的渲染方法及电子设备
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP6646133B2 (ja) 画像処理装置および内視鏡
JP2018179786A (ja) 撮像装置および検査システム
JP6142655B2 (ja) 外観検査装置及び外観検査方法
JP5453328B2 (ja) 立体撮像システム、補正装置およびそのプログラム
JP2013118598A (ja) 撮像装置のシェーディング補正方法、及び撮像装置
JP5570588B2 (ja) 映像センタリング方法
JP2006125896A (ja) フラットパネルディスプレイ検査装置
JP2013232738A (ja) 画像処理装置、画像処理方法、および、画像処理用プログラム
US20230230282A1 (en) Information processing apparatus, information processing method, image capturing apparatus, storage medium
JP5057134B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151222

R150 Certificate of patent or registration of utility model

Ref document number: 5863374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150