JP6316240B2 - 測定装置及び測定方法 - Google Patents

測定装置及び測定方法 Download PDF

Info

Publication number
JP6316240B2
JP6316240B2 JP2015116956A JP2015116956A JP6316240B2 JP 6316240 B2 JP6316240 B2 JP 6316240B2 JP 2015116956 A JP2015116956 A JP 2015116956A JP 2015116956 A JP2015116956 A JP 2015116956A JP 6316240 B2 JP6316240 B2 JP 6316240B2
Authority
JP
Japan
Prior art keywords
distance
laser
image
pixel
light spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015116956A
Other languages
English (en)
Other versions
JP2017003399A (ja
Inventor
航 田中
航 田中
宏行 高橋
宏行 高橋
大輔 内堀
大輔 内堀
一嘉 川端
一嘉 川端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015116956A priority Critical patent/JP6316240B2/ja
Publication of JP2017003399A publication Critical patent/JP2017003399A/ja
Application granted granted Critical
Publication of JP6316240B2 publication Critical patent/JP6316240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像解析により被写体を測定する測定装置及び測定方法に関する。
コンクリート建造物において、コンクリート表面にひび割れが生じると、そのひび割れから水や汚れが建造物内部に浸透する。そして、その水や汚れが建造物内部の鉄筋にまで到達すると、その鉄筋が腐食して、建造物の耐久性が低下する。そのため、コンクリート建造物では、コンクリート表面を定期的に点検し、劣化した部分の補修や補強を行っている。この定期点検では、劣化部分の進行度を推定するために、コンクリート表面のひび割れ長の測定が重要となってくる。しかしながら、コンクリート建造物は、高所等に位置するケースが多く、実測によるひび割れ長の測定が困難な場合も少なくない。
そこで、遠隔にあるコンクリート建造物のひび割れ等の長さの測定を行う1つの手段として、カメラを用いて撮影したひび割れ等の被写体に対し画像解析を行うことによって、被写体の測定を行う手法が用いられている。このような画像解析による被写体の測定方法として、ステレオカメラを用いた手法が知られている(非特許文献1)。また、被写体付近にマーカを貼り付け、そのマーカを貼り付けた被写体をデジタルカメラで撮影し、その撮影画像から被写体の測定を行う手法も知られている(非特許文献2)。
古屋信幸、「組立ロボット用ステレオカメラによる3次元距離計測−カメラモデルとパラメータの幾何学的校正−」、精密工学会誌、Vol.65(1999)、No.8、P.1116―1120 佐野浩、後藤和夫、堀内宏信、大澤廣「マーカとデジタルカメラを利用したひび割れ計測システムの開発」、土と基礎、52(6)、22−24、2004年6月1日
しかしながら、ステレオカメラを用いた手法では、撮影装置が2台必要となり、作業の簡易性を損なってしまう、という問題があった。
また、マーカを貼り付けた被写体をデジタルカメラで撮影する方法においては、初回の測定時に、被写体付近にマーカを貼り付け、そのマーカ長を実測しなければならないため、作業の簡易性を損なってしまう、という問題があった。
本発明の目的は、上記の問題に鑑みてなされたものであり、画像解析による被写体の測定を簡易的に行うことができる測定装置及び測定方法を提供することにある。
上記課題を解決するため、本発明に係る測定装置は、撮影画像における被写体の実長を測定する測定装置であって、のぞき穴と、レーザ光を前記被写体がある面に対してそれぞれ照射する3つのレーザとを有する光点出力装置であって、該のぞき穴と該3つのレーザとの間の距離は、所定の距離であり、該3つのレーザは、該のぞき穴に対して横方向にそれぞれ位置する第1のレーザ及び第2のレーザと、該のぞき穴に対して該横方向に垂直な縦方向に位置する第3のレーザを含む、光点出力装置と、前記のぞき穴を通して、前記第1のレーザのレーザ光による前記面内の第1の光点と、前記第2のレーザのレーザ光による前記面内の第2の光点と、前記第3のレーザのレーザ光による前記面内の第3の光点と、前記被写体とが写り込んだ撮影画像を撮影するカメラ部と、既知の画素距離と、その既知の画素距離に対応付けられた既知の距離とを記憶する記憶部であって、該既知の画素距離は、前記撮影画像と同一倍率で撮影された画像の撮影中心点と該画像に写り込んだ所定の物体との間の画素距離であり、該既知の距離は、該画像を撮影した撮影位置と該所定の物体との間の距離である、記憶部と、前記撮影画像内の撮影中心点と前記撮影画像内の第1の光点との間の第1の画素距離と、該撮影中心と前記撮影画像内の第2の光点との間の第2の画素距離と、該撮影中心と前記撮影画像内の第3の光点との間の第3の画素距離とをそれぞれ算出し、さらに、前記撮影画像において前記被写体が占める画素を抽出する画像処理部と、被写体の実長を算出する演算処理部と、を備え、演算処理部は、前記記憶部に記憶されている前記既知の画素距離及び前記既知の距離と前記第1の画素距離を用いて前記第1のレーザと前記面内の第1の光点との間の第1の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第2の画素距離とを用いて前記第2のレーザと前記面内の第2の光点との間の第2の距離を算出し、算出した該第1の距離と該第2の距離とを用いて前記のぞき穴と前記面内の撮影中心との間の第3の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第3の画素距離とを用いて前記第3のレーザと前記面内の第3の光点との間の第4の距離を算出し前記第1の距離及び前記第2の距離と前記所定の距離とを用いて前記横方向に対する前記面の傾きを算出し、前記第3の距離及び前記第4の距離と前記所定の距離とを用いて前記縦方向に対する前記面の傾きを算出し、前記横方向に対する前記面の傾き及び前記縦方向に対する前記面の傾きを用いて前記被写体が占める各画素の画像分解能を算出し、該各画素の画像分解能を足し合わせて被写体の実長を算出する
また、上記課題を解決するため、本発明に係る測定方法は、撮影画像における被写体の実長を算出する測定方法であって、3つのレーザを前記被写体がある面に対して照射するステップであって、該3つのレーザは、のぞき穴に対して横方向にそれぞれ位置する第1のレーザ及び第2のレーザと、該のぞき穴に対して該横方向に垂直な縦方向に位置する第3のレーザを含み、該のぞき穴と該3つのレーザとの間の距離は所定の距離である、照射するステップと、前記のぞき穴を通して、前記第1のレーザのレーザ光による前記面内の第1の光点と、前記第2のレーザのレーザ光による前記面内の第2の光点と、前記第3のレーザのレーザ光による前記面内の第3の光点と、前記被写体とが写り込んだ撮影画像を撮影するステップと、前記撮影画像内の撮影中心点と前記撮影画像内の第1の光点との間の第1の画素距離と、該撮影中心と前記撮影画像内の第2の光点との間の第2の画素距離と、該撮影中心と前記撮影画像内の第3の光点との間の第3の画素距離とをそれぞれ算出するステップと、前記撮影画像において前記被写体が占める画素を抽出するステップと、既知の画素距離及び既知の距離と前記第1の画素距離を用いて前記第1のレーザと前記面内の第1の光点との間の第1の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第2の画素距離とを用いて前記第2のレーザと前記面内の第2の光点との間の第2の距離を算出し、算出した該第1の距離と該第2の距離とを用いて前記のぞき穴と前記面内の撮影中心との間の第3の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第3の画素距離とを用いて前記第3のレーザと前記面内の第3の光点との間の第4の距離を算出するステップであって、該既知の画素距離は、前記撮影画像と同一倍率で撮影された画像の撮影中心点と該画像に写り込んだ所定の物体との間の画素距離であり、該既知の距離は、該画像を撮影した撮影位置と該所定の物体との間の距離である、算出するステップと、前記第1の距離及び前記第2の距離と前記所定の距離とを用いて前記横方向に対する前記面の傾きを算出し、前記第3の距離及び前記第4の距離と前記所定の距離とを用いて前記縦方向に対する前記面の傾きを算出するステップであって、該所定の距離は、撮影中心軸と前記3つのレーザとの間のそれぞれの距離である、算出するステップと、前記横方向に対する前記面の傾き及び前記縦方向に対する前記面の傾きを用いて前記被写体が占める各画素の画像分解能を算出し、該各画素の画像分解能を足し合わせて被写体の実長を算出するステップと、を含む。
本発明に係る測定装置及び測定方法によれば、画像解析による被写体の測定を簡易的に行うことができる。
本発明の第1の実施形態に係る測定装置の構成の一例を示す図である。 本発明の第1の実施形態に係る測定装置の動作の一例を示すフローチャートである。 照射するレーザ光が1つである場合の壁面と測定装置との位置関係の一例を示す図である。 図3に示す測定条件において撮影された撮影画像の一例を示す図である。 照射するレーザ光が2つである場合の壁面と測定装置との位置関係の一例を示す図である。 図5に示す測定条件において撮影された撮影画像の一例を示す図である。 本発明の第2の実施形態に係る測定装置の構成の一例を示す図である。 光点出力装置の一例を示す平面図である。 壁面に光点出力装置を正対させて撮影した場合の撮影画像の一例を示す図である。 本発明の第2の実施形態に係る測定装置の動作の一例を示すフローチャートである。 壁面と測定装置との位置関係の一例を示す図である。 図11に示す測定条件において撮影された撮影画像の一例を示す図である。 壁面の傾きを算出する方法の一例を示す図である。 撮影画像における各画素の画像分解能を算出する方法の一例を示す図である。 撮影画像におけるひび割れ部分の一例を示す図である。 実際の測定時の撮影画像の一例を示す図である。 のぞき穴とレーザの配置関係の他の例を示す図である(その1)。 のぞき穴とレーザの配置関係の他の例を示す図である(その2)。
以下、本発明に係る実施形態について、図面を参照して説明する。以下では、コンクリート壁面のひび割れを被写体として撮影し、そのひび割れの実長を測定するものとして説明する。コンクリート壁面のひび割れは被写体の一例であって、被写体はこれに限定されるものではない。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る測定装置の構成の一例を示す図である。測定装置100は、レーザ部101と、カメラ部102と、画像処理部103と、演算処理部104とを備える。測定装置100では、レーザ部101によってコンクリート壁面に1つ又は2つのレーザ光を照射することで、ひび割れの実長を測定する。なお、以下では、測定装置100は、コンクリート壁面に正対して配置されているものとする。
レーザ部101は、ひび割れがあるコンクリート壁面に対し、レーザ光を垂直に照射する。具体的には、レーザ部101は、コンクリート壁面に対し照射するレーザ光が1つである場合、レーザ光を、カメラ部102の撮影中心軸とそのレーザ光との間の距離が所定の距離Rとなるように照射する。また、レーザ部101は、コンクリート壁面に対し照射するレーザ光が2つである場合、2つのレーザ光を、その2つのレーザ光間の距離が所定の距離Rとなるように照射する。
カメラ部102は、例えばデジタルカメラであり、ひび割れがあるコンクリート壁面を撮影し、その撮影画像を画像処理部103に出力する。撮影画像には、コンクリート壁面のひび割れと、レーザ部101が照射するレーザ光によるコンクリート壁面内のレーザ照射点(以下「光点」という)とが写り込むようにする。
画像処理部103は、カメラ部102から取得した撮影画像において、画像解析を行う。具体的には、画像処理部103は、コンクリート壁面に対し照射するレーザ光が1つである場合、撮影画像内の撮影中心点とそのレーザ光による光点との間の画素距離Gaを算出する。また、コンクリート壁面に対し照射するレーザ光が2つである場合、その2つのレーザ光による2つの光点間の画素距離Gbを算出する。画素距離とは、画素(pixel)数によって表される距離である。画像処理部103は、算出した画素距離Ga,Gbを、演算処理部104に出力する。さらに、画像処理部103は、撮影画像においてひび割れ部分が占める画素数を抽出する。
演算処理部104は、所定の距離Rと、画像処理部103から取得した画素距離Ga,Gbとを用いて、画像分解能を算出する。画像分解能とは、1画素あたりの被写体の実サイズであり、被写体の実サイズ(mm)をその被写体が占める画素数で割ることにより求められる。具体的には、演算処理部104は、コンクリート壁面に対し照射するレーザ光が1つである場合、カメラ部102の撮影中心軸とレーザ光との間の距離Rと、画像処理部103が算出した撮影画像内の撮影中心点と光点との間の画素距離Gaとを用いて、画像分解能を算出する。この場合、画像分解能は、画像分解能mpp=R/Ga[mm/pixel]となる。また、コンクリート壁面に対し照射するレーザ光が2つである場合、その2つのレーザ光間の距離Rと、画像処理部103が算出した撮影画像内の2つの光点間の画素距離Gbとを用いて、画像分解能を算出する。この場合、画像分解能は、画像分解能mpp=R/Gb[mm/pixel]となる。そして、演算処理部104は、算出した画像分解能を用いて、ひび割れの実長を算出する。具体的には、演算処理部104は、画像処理部103が抽出したひび割れ部分が占める画素数に、算出した画像分解能を乗算することによって、ひび割れの実長を算出する。
以下、本発明の第1の実施形態に係る測定方法を説明する。
図2は、本発明の第1の実施形態に係る測定装置の動作の一例を示すフローチャートである。
まず、レーザ部101は、ひび割れがある壁面に対して1つ又は2つのレーザ光を垂直に照射し(ステップS101)、カメラ部102は、そのレーザ光による光点とひび割れとが写り込むようにコンクリート壁面を撮影し(ステップS102)、その撮影画像を画像処理部103に出力する。その後、画像処理部103は、撮影画像内の撮影中心点と光点との間の画素距離Ga(照射するレーザ光が1つである場合)又は撮影画像内の2つの光点間の画素距離Gb(照射するレーザ光が2つである場合)を算出し(ステップS103)、演算処理部104は、画像処理部103が算出した画素距離Ga又はGbから画像分解能を算出する(ステップS104)。一方、画像処理部103は、撮影画像においてひび割れ部分が占める画素数を抽出する(ステップS105)。そして、演算処理部104は、画像処理部103が抽出したひび割れ部分が占める画素数に、算出した画像分解能を乗算し、ひび割れの実長を算出する(ステップS106)。以下、ステップS101〜S106の処理を、照射するレーザ光が1つである場合と、照射するレーザ光が2つである場合とについて、図面を用いて説明する。
(照射するレーザ光が1つである場合)
図3は、照射するレーザ光が1つである場合の壁面と測定装置との位置関係の一例を示す図である。壁面20は、測定対象のひび割れがあるコンクリート壁面である。測定装置100は、壁面20に正対するように配置される。レーザ部101は、1つのレーザ101aを有する。レーザ101aは、カメラ部102のカメラレンズの中心軸(撮影中心軸)との距離が、所定の距離Rとなるように配置される。また、レーザ101aは、壁面20に対し、レーザ光を垂直に照射する。ここで、壁面20において、カメラレンズの中心軸と壁面20との交点を撮影中心点21とし、レーザ光と壁面20との交点を光点22とする。カメラ部102は、測定対象となるひび割れと伴に、撮影中心点21と光点22とが写り込むように、壁面20を撮影する。次に、この測定条件で撮影された撮影画像を説明する。
図4は、図3に示す測定条件において撮影された撮影画像の一例を示す図である。撮影画像30には、図示しないひび割れと、撮影中心点31及び光点32とが写し込まれている。図4に示す撮影中心点31は、図3に示す撮影中心点21に対応し、図4に示す光点32は、図3に示す光点22に対応する。画像処理部103は、撮影画像30内の撮影中心点31と光点32との間の画素距離Gaを算出する。その後、演算処理部104は、画像処理部103が算出した画素距離Ga及び所定の距離Rを用いて、画像分解能を算出する。画像分解能は、画像分解能mpp=R/Ga[mm/pixel]と算出される。一方、画像処理部103は、撮影画像30において図示しないひび割れ部分が占める画素数を抽出する。そして、演算処理部104は、画像処理部103が抽出したひび割れ部分が占める画素数に、算出した画像分解能を乗算して、ひび割れの実長を算出する。
このように、演算処理部104は、撮影中心軸とレーザ光との間の距離Rと、撮影画像30内の撮影中心点31と光点32との間の画素距離Gaとを用いて、画像分解能を算出し、その画像分解能を用いて、撮影画像からひび割れの実長を算出する。これにより、測定装置100以外の装置を用いなくてもよいため、ひび割れの実長の測定を、簡易的に行うことができる。
(照射するレーザ光が2つである場合)
図5は、照射するレーザ光が2つである場合の壁面と測定装置との位置関係の一例を示す図である。壁面20は、測定対象のひび割れがあるコンクリート壁面である。測定装置100は、壁面に正対するように配置される。レーザ部101は、2つのレーザ101b,101cを有する。これら2つのレーザ101b,101cは、その2つのレーザ101b,101c間の距離が、所定の距離Rとなるように配置される。レーザ101b,101cは、壁面20に対し、それぞれレーザ光を垂直に照射する。ここで、壁面20において、レーザ101bによるレーザ光と壁面20との交点を光点23とし、レーザ101cによるレーザ光と壁面20との交点を光点24とする。カメラ部102は、測定対象となるひび割れと伴に、2つの光点23,24が写り込むように壁面20を撮影する。次に、この測定条件で撮影された撮影画像を説明する。
図6は、図5に示す測定条件において撮影された撮影画像の一例を示す図である。撮影画像33には、図示しないひび割れと、2つの光点34,35とが写し込まれている。図6に示す光点34は、図5に示す光点23に対応し、図6に示す光点35は、図5に示す光点24に対応する。画像処理部103は、撮影画像33内の2つの光点34,35間の画素距離Gbを算出する。その後、演算処理部104は、画像処理部103が算出した画素距離Gb及び所定の距離Rを用いて、画像分解能を算出する。画像分解能は、画像分解能mpp=R/Gb[mm/pixel]と算出される。一方、画像処理部103は、撮影画像33において図示しないひび割れ部分が占める画素数を抽出する。そして、演算処理部104は、画像処理部103が抽出したひび割れ部分が占める画素数に、算出した画像分解能を乗算して、ひび割れの実長を算出する。
このように、演算処理部104は、2つのレーザ光間の距離Rと、撮影画像33内の2つの光点34,35間の画素距離Gbとを用いて、画像分解能を算出し、その画像分解能を用いて、撮影画像からひび割れの実長を算出する。これにより、測定装置100以外の装置を用いなくてもよいため、ひび割れの実長の測定を、簡易的に行うことができる。
さらに、照射するレーザ光が2つの場合は、カメラ部102に対しレーザ部101の配置がずれても、2つのレーザ光は同じレーザ部101から照射されているため、2つのレーザ光間の距離Rに誤差が生じることがない。これにより、照射するレーザ光が2つである場合は、ひび割れの実長の測定を精度よく行うことができる。
(第2の実施形態)
本発明の第2の実施形態に係る測定装置及び測定方法では、測定装置がひび割れのあるコンクリート壁面に正対してない場合であっても、ひび割れの実長を測定することができる。以下、第2の実施形態に係る測定装置及び測定方法を説明する。
図7は、本発明の第2の実施形態に係る測定装置の構成の一例を示す図である。図7に示す構成要素で図1に示す構成要素と同様のものは、同一符号を付し、その説明を省略する。
測定装置100aは、光点出力装置110と、カメラ部102と、画像処理部103と、演算処理部104と、記憶部105とを備える。
光点出力装置110は、のぞき穴111と、レーザ112,113,114とを有する。なお、図7において、レーザ113,114の図示は省略されている。光点出力装置110について具体的に説明する。図8に光点出力装置におけるレーザ112〜114の配置の一例を示す。
のぞき穴111は、撮影用ののぞき穴である。被写体の撮影時には、のぞき穴111の位置に、カメラ部102のカメラレンズを位置させる。そして、カメラ部102は、のぞき穴111を通して、被写体を撮影する。
レーザ112〜114は、ひび割れがあるコンクリート壁面に対し、それぞれ、レーザ光を照射する。レーザ112〜114は、それぞれ、のぞき穴111からの距離が所定の距離Rとなるように配置される。また、図8に示すように、レーザ112〜114は、レーザ113とレーザ114とを結ぶ線分と、のぞき穴111とレーザ112とを結ぶ線分が垂直に交わるように、のぞき穴111を中心にT字状に配置される。なお以下では、図8に示すように、レーザ113からレーザ114への方向をx軸方向、レーザ112からのぞき穴111への方向をy軸方向、光点出力装置110に対して垂直方向をz軸方向とする。レーザ112〜114は、図8に示すz軸の方向に、レーザ光をそれぞれ照射する。
ここで、壁面に光点出力装置110を正対させて撮影した場合における撮影中心点と、レーザ112〜114による3つの光点との位置関係を説明する。図9に、壁面に光点出力装置110を正対させて撮影した場合の撮影画像の一例を示す。図9に示す撮影中心点111aの位置はのぞき穴111の位置に対応する。また、図9に示す光点112aはレーザ112によるレーザ光と壁面との交点であり、光点113aはレーザ113によるレーザ光と壁面との交点であり、光点114aはレーザ114によるレーザ光と壁面との交点である。図9に示すように、壁面に光点出力装置110を正対させて撮影した場合は、撮影中心点111aと、光点112a〜114aとのそれぞれの距離は、所定の距離Rとなる。
カメラ部102は、のぞき穴111を通して、ひび割れがあるコンクリート壁面を撮影する。撮影画像には、コンクリート壁面のひび割れと、レーザ112〜114によるコンクリート壁面内の3つの光点が写り込むようにする。
画像処理部103は、カメラ部102から取得した撮影画像内の撮影中心点と3つの光点との間の画素距離G1〜G3を算出する。画像処理部103は、算出した画素距離G1〜G3を、演算処理部104に出力する。さらに、画像処理部103は、撮影画像においてひび割れ部分が占める画素を抽出する。
演算処理部104は、記憶部105に記憶されている既知の距離D0及び既知の画素距離G0と、画像処理部103から取得した画素距離G1,G2とを用いて、レーザ113,114と、コンクリート壁面内のレーザ113,114による光点との間のそれぞれの距離D1,D2を算出する。そして、演算処理部104は、算出した距離D1,D2を用いて、のぞき穴111とコンクリート壁面内の撮影中心点との間の距離D3を算出する。また、演算処理部104は、記憶部105に記憶されている既知の距離D0及び既知の画素距離G0と、画像処理部103から取得した画素距離G3とを用いて、レーザ112と、コンクリート壁面内のレーザ112による光点との間の距離D4を算出する。さらに、演算処理部104は、所定の距離Rと算出した距離D1〜D4とを用いて、コンクリート壁面のx軸方向に対する傾きθ1とy軸方向に対する傾きθ2を算出する。そして、算出したコンクリート壁面の傾きθ1,θ2を用いて、画像処理部103が抽出したひび割れ部分が占める画素において、各画素の画像分解能を算出し、さらに、算出した各画素の画像分解能を足し合わせて、ひび割れの実長を算出する。演算処理部104の機能の詳細については後述する。
記憶部105は、既知の距離D0及び既知の画素距離G0を記憶する。画素距離G0は、予め、カメラ部102によってひび割れ測定時と同一撮影倍率で撮影された撮影画像内での撮影中心点と所定の被写体との画素距離であり、距離D0は、撮影位置とその被写体との間の距離である。
以下、本発明の第2の実施形態に係る測定方法を説明する。
図10は、本発明の第2の実施形態に係る測定装置の動作の一例を示すフローチャートである。
まず、光点出力装置110のレーザ112〜114は、測定対象のひび割れがあるコンクリート壁面に対してレーザ光を照射し(ステップS201)、カメラ部102は、のぞき穴111を通して、そのレーザ112〜114のレーザ光による3つの光点とひび割れとが写り込むように壁面を撮影し(ステップS202)、その撮影画像を画像処理部103に出力する。次に、画像処理部103は、撮影画像内の撮影中心点と、レーザ112〜114のレーザ光による3つの光点との画素距離G1〜G3を算出する(ステップS203)。そして、演算処理部104は、記憶部105に記憶されている既知の距離D0及び既知の画素距離G0と、画像処理部103から取得した画素距離G1,G2とを用いて、レーザ113,114と、コンクリート壁面内のレーザ113,114による光点との間のそれぞれの距離D1,D2を算出する。そして、演算処理部104は、算出した距離D1,D2を用いて、のぞき穴111とコンクリート壁面内の撮影中心点との間の距離D3を算出する。また、演算処理部104は、記憶部105に記憶されている既知の距離D0及び既知の画素距離G0と、画像処理部103から取得した画素距離G3とを用いて、レーザ112と、コンクリート壁面内のレーザ112による光点との間の距離D4を算出する。その後、演算処理部104は、所定の距離Rと算出した距離D1〜D4とを用いて、コンクリート壁面のx軸方向の傾きθ1とy軸方向の傾きθ2を算出する(ステップS204)。一方、画像処理部103は、撮影画像においてひび割れ部分が占める画素を抽出する(ステップS205)。そして、演算処理部104は、算出したコンクリート壁面の傾きθ1,θ2を用いて、画像処理部103が抽出したひび割れ部分が占める画素において、各画素の画像分解能を算出し(ステップS206)、その算出した各画素の画像分解能を足し合わせて、ひび割れ部分の長さを算出する(ステップS207)。以下、ステップS201〜207の処理を、図面を用いて説明する。
図11は、壁面と測定装置との位置関係の一例を示す図である。壁面200は、測定対象のひび割れがあるコンクリート壁面である。壁面200は、測定装置100aに対して傾いており、レーザ114の方がレーザ113よりも、壁面200に近い位置にある。壁面200において、のぞき穴111に位置するカメラレンズの中心軸と壁面200との交点を撮影中心点201とし、レーザ113によるレーザ光と壁面200との交点を光点203とし、レーザ114によるレーザ光と壁面200との交点を光点204とする。また、図示していないが、レーザ112によるレーザ光と壁面200との交点を光点112bとする。また、レーザ113と光点203との間の距離をD1、レーザ114と光点204との距離をD2、のぞき穴111と撮影中心点201との間の距離をD3とする。また、図示していないが、レーザ112と光点112bとの間の距離をD4とする。ここで、のぞき穴111と撮影中心点201との間の距離D3は、幾何学的に、以下の式(1)を用いて表される。
図11において、カメラ部102は、測定対象となるひび割れと伴に、撮影中心点201と光点202,203,204とが写り込むように壁面200を撮影する。次に、この測定条件で撮影された撮影画像を説明する。
図12は、図11に示す測定条件において撮影された撮影画像の一例を示す図である。撮影画像300には、図示しないひび割れと、撮影中心点301及び光点302〜304とが写し込まれている。図12に示す撮影中心点301は、図11に示す撮影中心点201に対応し、図12に示す光点303は、図11に示す光点203に対応し、図12に示す光点304は、図11に示す光点204に対応する。また、図12に示す光点302は、図11において図示されないレーザ112による光点112bに対応する。画像処理部103は、撮影画像300内の撮影中心点301と光点303との画素距離G1、撮影中心点301と光点304との間の画素距離G2、撮影中心点301と光点302との間の画素距離G3を算出する。ここで、図11に示したように、測定装置100aが壁面200に対して傾いており、レーザ114の方がレーザ113よりも壁面200に近い位置にある。そのため、遠近法の原理により、1つの撮影位置(図11の例では、撮影中心点201)から撮影した場合、その撮影位置に近いものほど撮影画像に大きく写り、その撮影位置から遠いものほど撮影画像に小さく写る。そのため、撮影画像300内において、撮影中心点301とレーザ114による光点304との間の画素距離G2の方が、撮影中心点301とレーザ113による光点303との間の画素距離G1より大きくなる。
次に、算出した画素距離G1〜G3を用いて、壁面200の傾きを算出する方法を説明する。以下では、画素距離G1,G2を用いて、図11に示す壁面200のx軸に対する傾きθ1を算出する方法を説明する。
図13は、壁面の傾きを算出する方法の一例を示す図である。図13に示す構成要素で図11に示す構成要素と同様のものは、同一符号を付し、その説明を省略する。
まず、演算処理部104は、レーザ113と光点203との間の距離D1、レーザ114と光点204との距離D2を算出する。演算処理部104は、記憶部105に記憶されている距離D0及び画素距離G0を用いて、以下の式(2),(3)により、距離D1,D2を算出する。
式(2),(3)において、画素距離G1,G2は、画像処理部103によって算出された光点303,304と撮影中心点301との間の画素距離である。また、画素距離G0は、予め、カメラ部102によってひび割れ測定時と同一撮影倍率で撮影された撮影画像内での撮影中心点と所定の被写体との間の既知の画素距離であり、距離D0は、撮影位置とその被写体との間の既知の距離である。ここで、上述したように、遠近法の原理により、1つの撮影位置から撮影した場合、その撮影位置に近いものほど撮影画像に大きく写り、その撮影位置から遠いものほど画像画面に小さく写る。つまり、撮影位置との距離が小さいものほど撮影画像での画素数は大きくなり、撮影位置との距離が大きいものほど撮影画像での画素数は小さくなる。そして、同一撮影機材において同一撮影倍率で撮影した場合、撮影位置と被写体との間の距離と、撮影画像における被写体の画素数は、反比例する。そのため、予め、同一撮影機材であるカメラ部102によって同一撮影倍率で撮影された撮影画像内での撮影中心点と所定の被写体との間の画素距離G0及び撮影位置とその被写体との間の距離D0と、算出した画素距離G1,G2とを用いることによって、式(2),(3)により、距離D1,D2は算出される。
次に、演算処理部104は、算出した距離D1,D2を用いて、θ1を算出する。図13に示すように、θ1は幾何学的に求められ、以下の式(4)によって与えられる。
なお、壁面200のy軸に対する傾きθ2も、上記と同様にして、距離D3,D4を用いて算出することができる。この場合、距離D3は、距離D1,D2を算出した後、上記の式(1)に距離D1,D2を代入して算出する。また、距離D4は、上記の式(2),(3)と同様にして、記憶部105に記憶されている既知の距離D0及び既知の画素距離G0と、画素距離G3とを用いて算出する。
次に、撮影画像においてひび割れ部分が占める各画素の画像分解能を算出する方法を説明する。まず、各画素の画像分解能を算出する方法を説明する。
図14は、撮影画像における各画素の画像分解能を算出する方法の一例を示す図である。撮影画像300は、複数の画素を有する。以下では、画素310の画像分解能を算出する方法を説明する。画素310と撮影中心点301との間において、x軸方向の画素数はx1、y軸方向の画素数はy1である。まず、画素310において、x軸方向の画像分解能を算出する方法を説明する。
画素の画像分解能は、その画素を占める被写体と撮影位置との間の距離Dに比例する。そのため、x軸方向の画像分解能mppxは、式(5)を用いて表される。

mppx=a×D 式(5)
式(5)において、aは定数である。そして、撮影画像内での画素の位置をx軸方向にdxだけ移動させた場合、移動後の画素を占める被写体の撮影位置からの距離の変化量をdDとすると、dDは、以下の式(6)により表される。

dD=dx×mppx×tanθ1 式(6)
式(6)において、傾きθ1は、壁面200のx軸方向に対する傾きである。さらに、式(6)に式(5)を代入すると、以下の式(7)が得られる。
そして、x1=0すなわち撮影中心点301では距離DがD3になることを考慮して(図11参照)、式(7)を積分すると以下の式(8)が得られる。

D=exp(a×tanθ1×x1+log(D3)) 式(8)
次に、式(8)を上記の式(5)に代入し、撮影位置と以下の式(9)を得る。

mppx=a×exp(a×tanθ1×x1+log(D3)) 式(9)
さらに、上記と同様にして、画素310のy軸方向における画像分解能mppyを算出し、以下の式(10)で表される画素310の画像分解能mppを得る。

mpp=A×exp(A×tan(θ2)×y1+A×tan(θ1)×x1+log(D3))
式(10)
式(10)において、A=mpp0/D3であり、mpp0は、撮影中心点301での画像分解能である。mpp0は、光点303,304(図11参照)での画像分解能の平均値となる。そのため、mpp0は、光点303での画像分解能(R/G1)[mm/pixel]と光点304での画像分解能(R/G2)[mm/pixel]を用いて、mpp0=(1/2)×(R/G1+R/G2)[mm/pixel]で与えられる。演算処理部104は、上記の式(10)を用いてひび割れ部分が占める各画素の画像分解能を算出する。以下、これを説明する。
図15は、撮影画像におけるひび割れ部分の一例を示す図である。図15において、ハッチングを施した画素(例えば画素311)がひび割れ部分の画素となる。画像処理部103は、例えば「NTT技術ジャーナル 2011年12月 P21〜P24」に記載されている、人間の神経回路網を模倣したニューラルネットワーク手法を用いて、ひび割れ部分の画素を抽出する。演算処理部104は、ハッチングを施した各画素の画像分解能を、上記の式(10)を用いて算出する。そして、演算処理部104は、算出したひび割れ部分が占める各画素の画像分解能を足し合わせることで、ひび割れの実長を算出する。
なお、予め、測定装置100aを壁面200に正対させて配置させた場合は、上記ステップS204の処理は行わなくてもよい。この場合は、ステップS205の処理により、抽出した撮影画像300におけるひび割れ部分が占める画素数に、画素距離G1〜G3を用いて算出した画像分解能を乗算することで、ひび割れの長さを算出する。これにより、計算コストの削減を行うことができる。
以下、測定装置100aを用いて実際にひび割れを測定した実験結果を説明する。
(実験結果)
図16は、実際の測定による撮影画像の一例を示す図である。実際の測定では、撮影画像400内の黒い紐410の長さを測定した。撮影中心点401は、図8に示すのぞき穴111の位置に対応する。また、光点402はレーザ112によるレーザ光と壁面との交点であり、光点403はレーザ113によるレーザ光と壁面との交点であり、光点404はレーザ114によるレーザ光との交点である。撮影画像400において、撮影中心点401と光点403との間の画素距離G1は172画素、撮影中心点401と光点404との間の画素距離G2は198画素であった。また、既知の値として、距離R=100mm、距離D0=1m、画素距離G0=280(pixel)を用いた。これらの値を式(2),(3)に代入すると、レーザ113と光点403との間の距離D1は1.63m、レーザ114と光点404との間の距離D2は1.41m、と算出された。また、算出した距離D1,D2と上記の式(4)とにより、壁面の傾きは、θ1=48度と算出された。また、紐410が占める各画素の画像分解能を算出し、算出した各画素の画像分解能を足し合わせることにより、紐の長さは、0.95mと算出された。
なお、のぞき穴111と3つのレーザ112〜114の配置関係について、以下に示すような、のぞき穴と3つのレーザの配置関係も採用することができる。
図17、図18は、のぞき穴とレーザの配置関係の他の例を示す図である。図17では、一辺の長さが距離Rとなる正方形の右上頂点にのぞき穴111Aが配置され、左上頂点にレーザ112Aが配置され、左下頂点にレーザ113Aが配置され、右下頂点にレーザ114Aが配置されている。また、図18では、一辺の長さが距離Rとなる正方形の左上頂点にのぞき穴111Bが配置され、左下頂点にレーザ112Bが配置され、右下頂点にレーザ113Bが配置され、右上頂点にレーザ114Bが配置されている。のぞき穴とレーザとの配置関係が、図17、図18に示すような配置関係であっても、上記と同様にして、ひび割れを測定することができる。
以上のように、壁面200に3つのレーザ光を照射して撮影し、その撮影画像300内の撮影中心点301と3つの光点302〜304との間の距離G1〜G3を用いて、壁面200の傾きを算出する。算出した壁面200の傾きを用いて、撮影画像300内のひび割れが有する各画素の画像分解能を算出し、その算出した各画素の画像分解能を足し合わせることにより、ひび割れの実長を算出する。これにより、測定装置100a以外の装置を用いなくてもよいため、ひび割れの長さの測定を、簡易的に行うことができる。
さらに、第2の実施形態では、撮影画像300内の撮影中心点301と3つの光点302〜304との間の距離G1〜G3を用いて、壁面200の傾きを算出する。これにより、測定装置100aを壁面200に正対させなくても、ひび割れの長さを測定することができる。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。また、本発明について装置を中心に説明してきたが、本発明は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
20 壁面
21 撮影中心点
22,23,24 光点
30,33 撮影画像
31 撮影中心点
32,34,35 光点
100,100a 測定装置
101 レーザ部
101a,101b,101c レーザ
102 カメラ部
102a カメラレンズ
103 画像処理部
104 演算処理部
105 記憶部
110 光点出力装置
111,111A,111B のぞき穴
112,113,114 レーザ
112A,113A,114A,112B,113B,114B レーザ
111a 撮影中心点
112a,113a,114a 光点
200 壁面
201 撮影中心点
202,203,204 光点
300 撮影画像
301 撮影中心点
302,303,304 光点
310,311 画素
400 撮影画像
401 撮影中心点
402,403,404 光点
410 紐

Claims (2)

  1. 撮影画像における被写体の実長を測定する測定装置であって、
    のぞき穴と、レーザ光を前記被写体がある面に対してそれぞれ照射する3つのレーザとを有する光点出力装置であって、該のぞき穴と該3つのレーザとの間の距離は、所定の距離であり、該3つのレーザは、該のぞき穴に対して横方向にそれぞれ位置する第1のレーザ及び第2のレーザと、該のぞき穴に対して該横方向に垂直な縦方向に位置する第3のレーザを含む、光点出力装置と、
    前記のぞき穴を通して、前記第1のレーザのレーザ光による前記面内の第1の光点と、前記第2のレーザのレーザ光による前記面内の第2の光点と、前記第3のレーザのレーザ光による前記面内の第3の光点と、前記被写体とが写り込んだ撮影画像を撮影するカメラ部と、
    既知の画素距離と、その既知の画素距離に対応付けられた既知の距離とを記憶する記憶部であって、該既知の画素距離は、前記撮影画像と同一倍率で撮影された画像の撮影中心点と該画像に写り込んだ所定の物体との間の画素距離であり、該既知の距離は、該画像を撮影した撮影位置と該所定の物体との間の距離である、記憶部と、
    前記撮影画像内の撮影中心点と前記撮影画像内の第1の光点との間の第1の画素距離と、該撮影中心と前記撮影画像内の第2の光点との間の第2の画素距離と、該撮影中心と前記撮影画像内の第3の光点との間の第3の画素距離とをそれぞれ算出し、さらに、前記撮影画像において前記被写体が占める画素を抽出する画像処理部と、
    被写体の実長を算出する演算処理部と、を備え、
    演算処理部は、
    前記記憶部に記憶されている前記既知の画素距離及び前記既知の距離と前記第1の画素距離を用いて前記第1のレーザと前記面内の第1の光点との間の第1の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第2の画素距離とを用いて前記第2のレーザと前記面内の第2の光点との間の第2の距離を算出し、算出した該第1の距離と該第2の距離とを用いて前記のぞき穴と前記面内の撮影中心との間の第3の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第3の画素距離とを用いて前記第3のレーザと前記面内の第3の光点との間の第4の距離を算出し、
    前記第1の距離及び前記第2の距離と前記所定の距離とを用いて前記横方向に対する前記面の傾きを算出し、前記第3の距離及び前記第4の距離と前記所定の距離とを用いて前記縦方向に対する前記面の傾きを算出し、
    前記横方向に対する前記面の傾き及び前記縦方向に対する前記面の傾きを用いて前記被写体が占める各画素の画像分解能を算出し、該各画素の画像分解能を足し合わせて被写体の実長を算出する、測定装置。
  2. 撮影画像における被写体の実長を算出する測定方法であって、
    3つのレーザを前記被写体がある面に対して照射するステップであって、該3つのレーザは、のぞき穴に対して横方向にそれぞれ位置する第1のレーザ及び第2のレーザと、該のぞき穴に対して該横方向に垂直な縦方向に位置する第3のレーザを含み、該のぞき穴と該3つのレーザとの間の距離は所定の距離である、照射するステップと、
    前記のぞき穴を通して、前記第1のレーザのレーザ光による前記面内の第1の光点と、前記第2のレーザのレーザ光による前記面内の第2の光点と、前記第3のレーザのレーザ光による前記面内の第3の光点と、前記被写体とが写り込んだ撮影画像を撮影するステップと、
    前記撮影画像内の撮影中心点と前記撮影画像内の第1の光点との間の第1の画素距離と、該撮影中心と前記撮影画像内の第2の光点との間の第2の画素距離と、該撮影中心と前記撮影画像内の第3の光点との間の第3の画素距離とをそれぞれ算出するステップと、
    前記撮影画像において前記被写体が占める画素を抽出するステップと、
    既知の画素距離及び既知の距離と前記第1の画素距離を用いて前記第1のレーザと前記面内の第1の光点との間の第1の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第2の画素距離とを用いて前記第2のレーザと前記面内の第2の光点との間の第2の距離を算出し、算出した該第1の距離と該第2の距離とを用いて前記のぞき穴と前記面内の撮影中心との間の第3の距離を算出し、前記既知の画素距離及び前記既知の距離と前記第3の画素距離とを用いて前記第3のレーザと前記面内の第3の光点との間の第4の距離を算出するステップであって、該既知の画素距離は、前記撮影画像と同一倍率で撮影された画像の撮影中心点と該画像に写り込んだ所定の物体との間の画素距離であり、該既知の距離は、該画像を撮影した撮影位置と該所定の物体との間の距離である、算出するステップと、
    前記第1の距離及び前記第2の距離と前記所定の距離とを用いて前記横方向に対する前記面の傾きを算出し、前記第3の距離及び前記第4の距離と前記所定の距離とを用いて前記縦方向に対する前記面の傾きを算出するステップであって、該所定の距離は、撮影中心軸と前記3つのレーザとの間のそれぞれの距離である、算出するステップと、
    前記横方向に対する前記面の傾き及び前記縦方向に対する前記面の傾きを用いて前記被写体が占める各画素の画像分解能を算出し、該各画素の画像分解能を足し合わせて被写体の実長を算出するステップと、
    を含む測定方法。
JP2015116956A 2015-06-09 2015-06-09 測定装置及び測定方法 Active JP6316240B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015116956A JP6316240B2 (ja) 2015-06-09 2015-06-09 測定装置及び測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015116956A JP6316240B2 (ja) 2015-06-09 2015-06-09 測定装置及び測定方法

Publications (2)

Publication Number Publication Date
JP2017003399A JP2017003399A (ja) 2017-01-05
JP6316240B2 true JP6316240B2 (ja) 2018-04-25

Family

ID=57752682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015116956A Active JP6316240B2 (ja) 2015-06-09 2015-06-09 測定装置及び測定方法

Country Status (1)

Country Link
JP (1) JP6316240B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6446009B2 (ja) * 2016-09-28 2018-12-26 本田技研工業株式会社 位置姿勢推定方法
JP7228341B2 (ja) 2018-06-13 2023-02-24 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06103166B2 (ja) * 1988-03-24 1994-12-14 本州四国連絡橋公団 視覚装置における実寸法計測方法
JP3532644B2 (ja) * 1995-02-03 2004-05-31 株式会社モリテックス 測距測長装置
JP2000018921A (ja) * 1998-07-06 2000-01-21 Hitachi Ltd 寸法測定方法及び装置
JP2001280960A (ja) * 2000-03-29 2001-10-10 Nkk Corp 遠隔計測方法及び装置
JP2003240512A (ja) * 2002-02-15 2003-08-27 Asia Air Survey Co Ltd コンクリート構造物の損壊写真撮影装置
JP2007213178A (ja) * 2006-02-08 2007-08-23 Nikon Corp 対象物認識システム
JP2010020738A (ja) * 2008-07-14 2010-01-28 Cubic:Kk 遠近により歪んだ写真画像を、正射投影画像に変換する方法及びシステム
JP5690329B2 (ja) * 2009-04-29 2015-03-25 コーニンクレッカ フィリップス エヌ ヴェ 光学的車両レーザ検出システム
JP5840909B2 (ja) * 2011-10-14 2016-01-06 日立Geニュークリア・エナジー株式会社 検査装置及び方法
TW201418662A (zh) * 2012-11-15 2014-05-16 Nat Applied Res Laboratories 遠距離量測裂縫之方法及其裝置
JP5468689B1 (ja) * 2013-02-19 2014-04-09 エーテック株式会社 撮像装置、該撮像装置の目盛生成方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP2017003399A (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
JP6734583B2 (ja) 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム
Perfetti et al. Fisheye photogrammetry: tests and methodologies for the survey of narrow spaces
US20150042645A1 (en) Processing apparatus for three-dimensional data, processing method therefor, and processing program therefor
JP5774451B2 (ja) 放射能3次元測定装置、放射線取扱作業管理システムおよび放射線取扱作業管理方法
JP6937642B2 (ja) 表面評価方法及び表面評価装置
JP4994259B2 (ja) 可視光を利用した正射投影画像取得システム
JP2019128175A (ja) トンネル壁面検査装置及びトンネル壁面検査プログラム
JPWO2017119202A1 (ja) 構造物の部材特定装置及び方法
KR102643295B1 (ko) 제조 또는 다른 동작 동안 물체의 라이브 계측
Taşçi Deformation monitoring in steel arch bridges through close-range photogrammetry and the finite element method
JP5388921B2 (ja) 3次元距離計測装置及びその方法
JP2012189372A (ja) 形状測定装置の校正方法、形状測定装置、校正用ターゲット
JP6316240B2 (ja) 測定装置及び測定方法
JP2005283440A (ja) 振動計測装置及びその計測方法
KR102271251B1 (ko) 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법
JP2013170831A (ja) ひずみ計測装置及びひずみ計測方法
WO2019230171A1 (ja) レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置
JP2007033040A (ja) 光切断法による3次元形状計測装置における光学ヘッド部のキャリブレーション方法及び装置
JP2014032164A (ja) デジタルカメラを用いた構造物の三次元変位測定システム
JP4236202B2 (ja) モデリング装置およびカメラパラメータの計算方法
Wojnarowski et al. Photogrammetric technology for remote high-precision 3D monitoring of cracks and deformation joints of buildings and constructions
JP2010048581A (ja) 埋金設置位置照合方法および埋金設置位置照合システム
JP2009258846A (ja) 画像処理方法、画像処理システム、画像処理装置及び画像処理プログラム
Lichti Geometric point cloud quality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180327

R150 Certificate of patent or registration of utility model

Ref document number: 6316240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150