JP6499909B2 - Obstacle detection device and method - Google Patents

Obstacle detection device and method Download PDF

Info

Publication number
JP6499909B2
JP6499909B2 JP2015088895A JP2015088895A JP6499909B2 JP 6499909 B2 JP6499909 B2 JP 6499909B2 JP 2015088895 A JP2015088895 A JP 2015088895A JP 2015088895 A JP2015088895 A JP 2015088895A JP 6499909 B2 JP6499909 B2 JP 6499909B2
Authority
JP
Japan
Prior art keywords
range
obstacle
laser device
distance
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015088895A
Other languages
Japanese (ja)
Other versions
JP2016206999A (en
Inventor
強 寺内
強 寺内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
IHI Aerospace Co Ltd
Original Assignee
IHI Corp
IHI Aerospace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, IHI Aerospace Co Ltd filed Critical IHI Corp
Priority to JP2015088895A priority Critical patent/JP6499909B2/en
Publication of JP2016206999A publication Critical patent/JP2016206999A/en
Application granted granted Critical
Publication of JP6499909B2 publication Critical patent/JP6499909B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、移動体の障害物検出装置と方法に関する。   The present invention relates to a moving object obstacle detection apparatus and method.

走行車両にレーザ装置(例えば、レーザレンジファインダ)を搭載し、前方の路面や障害物を検出して自律走行又は半自律走行を行う移動体が既に開示されている(例えば、特許文献1、2)。   A moving body in which a laser device (for example, a laser range finder) is mounted on a traveling vehicle and autonomously traveling or semi-autonomously traveling is detected by detecting a road surface or an obstacle ahead is already disclosed (for example, Patent Documents 1 and 2). ).

特開2011−150473号公報JP 2011-150473 A 特開2012−159954号公報JP 2012-159954 A

特許文献1、2の移動体は、入射光と反射光の時間差から障害物位置と路面位置とを検出するレーザ装置を搭載している。
しかし、レーザ装置が照射するレーザ光の斜め下向きの照射角度が小さい(例えば2度未満)と、路面からの反射光がほとんど検出できなくなる。そのため、従来のレーザ装置では、走行車両から近距離(例えば30m未満)の障害物は検出できるが、それ以上の遠距離の障害物は検出できないため、高速での走行が困難であった。
The moving bodies of Patent Documents 1 and 2 are equipped with a laser device that detects an obstacle position and a road surface position from a time difference between incident light and reflected light.
However, if the obliquely downward irradiation angle of the laser light emitted by the laser device is small (for example, less than 2 degrees), the reflected light from the road surface can hardly be detected. For this reason, the conventional laser device can detect an obstacle at a short distance (for example, less than 30 m) from the traveling vehicle, but cannot detect an obstacle at a longer distance than that, and thus it is difficult to travel at a high speed.

そこで、従来のレーザ装置(近距離レーザ装置)の他に、遠距離の障害物を検出するため別のレーザ装置(遠距離レーザ装置)を追加することが検討されている。
遠距離レーザ装置は、上述したように、照射するレーザ光の斜め下向きの照射角度が小さいため、路面からの反射光はほとんど検出しないが、障害物からの反射光は強度が高いためその位置を検出することができる。
しかし、路面上に白線のレーンなど、反射率が高く乱反射するものが描かれていると、遠距離レーザ装置によりその反射光を検出し、障害物として誤検出する可能性があった。
そのため、白線のレーンが連続する走行路(例えば、車両専用道路)において、白線を障害物として誤検出するため、移動体の高速走行が困難となる可能性があった。
Therefore, in addition to the conventional laser device (short-distance laser device), it has been studied to add another laser device (far-distance laser device) in order to detect a long-distance obstacle.
As described above, the long-distance laser device detects almost no reflected light from the road surface because the obliquely downward irradiation angle of the laser light to be irradiated is small, but the reflected light from the obstacle is high in intensity. Can be detected.
However, if a highly reflective surface such as a white line lane is drawn on the road surface, the reflected light may be detected by the long-range laser device and erroneously detected as an obstacle.
For this reason, since a white line is erroneously detected as an obstacle on a travel path (for example, a vehicle-dedicated road) in which white line lanes are continuous, there is a possibility that it is difficult to travel at high speed.

本発明は上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、走行車両から遠距離(例えば30m以上)の路面上に反射率が高く乱反射するもの(例えば白線)が描かれていても、遠距離の障害物を誤検出なく検出することができる障害物検出装置と方法を提供することにある。   The present invention has been developed to solve the above-described problems. That is, an object of the present invention is to detect an obstacle at a long distance without erroneous detection even if a highly reflective (for example, white line) is drawn on a road surface at a long distance (for example, 30 m or more) from a traveling vehicle. An object of the present invention is to provide an obstacle detection apparatus and method.

本発明によれば、路面を走行する走行車両に搭載された近距離レーザ装置及び遠距離レーザ装置と、
障害物位置を検出するデータ処理装置と、を備え、
前記近距離レーザ装置は、前記走行車両に近い近距離範囲に、第1レーザ光を照射して、その入射光と反射光の時間差から前記障害物位置と路面位置を検出し、
前記遠距離レーザ装置は、前記近距離範囲と重複する重複範囲と前記近距離範囲よりも遠い遠距離範囲とに、第2レーザ光を照射して、その入射光と反射光の時間差から前記障害物位置を検出し、
前記データ処理装置は、前記重複範囲での検出結果を利用して、走行車両前方のローカル環境地図を作成し、前記近距離レーザ装置及び前記遠距離レーザ装置で検出された前記障害物位置の不一致位置を抽出し、
前記重複範囲において前記不一致位置のうち直線上に位置するものを白線位置として検出し、
前記遠距離レーザ装置で検出した前記不一致位置のうち、前記白線位置の延長線上に位置する前記障害物位置を対象位置として抽出し、
前記対象位置の前記走行車両からの距離が第1閾値以上であり、検出回数が第2閾値以上であり、検出幅が第3閾値以下である場合に、前記対象位置を誤検出した前記障害物位置と判定し、
前記障害物位置を前記ローカル環境地図から消去する、ことを特徴とする障害物検出装置が提供される。
According to the present invention, a short distance laser device and a long distance laser device mounted on a traveling vehicle traveling on a road surface,
A data processing device for detecting an obstacle position,
The short distance laser device irradiates a first laser beam on a short distance range close to the traveling vehicle, detects the obstacle position and the road surface position from the time difference between the incident light and the reflected light,
The long-distance laser device irradiates a second laser beam to an overlapping range that overlaps the short-distance range and a long-distance range that is farther than the short-distance range, and the failure is determined based on a time difference between the incident light and reflected light. Detect the object position,
The data processing device creates a local environment map ahead of the traveling vehicle using the detection result in the overlapping range, and the obstacle position mismatch detected by the short-range laser device and the long-range laser device. Extract the position,
In the overlapping range, the non-coincidence position that is located on a straight line is detected as a white line position,
Of the unmatched positions detected by the long-range laser device, extract the obstacle position located on an extension line of the white line position as a target position,
The obstacle in which the target position is erroneously detected when the distance of the target position from the traveling vehicle is equal to or greater than a first threshold, the number of detections is equal to or greater than a second threshold, and the detection width is equal to or smaller than a third threshold. Judging the position,
An obstacle detection apparatus is provided, wherein the obstacle position is erased from the local environment map .

前記近距離レーザ装置は、前記第1レーザ光を斜め下向きの第1角度で前方に照射し、前記第1角度は、前記時間差から路面位置と障害物位置とを検出可能な角度範囲であり、
前記遠距離レーザ装置は、第2レーザ光を斜め下向きの第2角度で前方に照射し、前記第2角度は、路面からの反射光を検出し得ない角度範囲である。
The short-range laser device irradiates the first laser beam forward at an obliquely downward first angle, and the first angle is an angle range in which a road surface position and an obstacle position can be detected from the time difference,
The long-distance laser device irradiates the second laser light forward at an obliquely downward second angle, and the second angle is an angle range in which reflected light from the road surface cannot be detected.

前記第1角度θ1の角度範囲は、2度以上、60度以下であり、
前記第2角度θ2の角度範囲は、0度を超え、3度以下である、ことが好ましい。
The angle range of the first angle θ1 is not less than 2 degrees and not more than 60 degrees,
The angle range of the second angle θ2 is preferably greater than 0 degree and less than or equal to 3 degrees.

また本発明によれば、(A)近距離レーザ装置、遠距離レーザ装置及びデータ処理装置を準備し、
(B)前記近距離レーザ装置により、走行車両に近い近距離範囲に、第1レーザ光を照射して、その入射光と反射光の時間差から障害物位置と路面位置を検出し、
(C)前記遠距離レーザ装置により、前記近距離範囲と重複する重複範囲と前記近距離範囲よりも遠い遠距離範囲とに、第2レーザ光を照射して、その入射光と反射光の時間差から前記障害物位置を検出し、
(D)データ処理装置により、前記重複範囲での検出結果を利用して、
(D1)前記近距離レーザ装置及び前記遠距離レーザ装置で検出された前記路面位置と前記障害物位置から走行車両前方のローカル環境地図を作成し、
(D2)前記ローカル環境地図において、検出されたそれぞれの前記障害物位置を比較し、
(D3)前記比較による前記障害物位置の不一致位置を抽出し、
(E1)前記不一致位置のうち、前記重複範囲において直線上に位置するものを白線位置として検出し、
(E2)前記不一致位置のうち、前記遠距離範囲において前記白線位置の延長線上に位置する前記障害物位置を対象位置として抽出し、
(E3)前記対象位置の走行車両からの距離が第1閾値以上であり、検出回数が第2閾値以上であり、検出幅が第3閾値以下である場合に、前記対象位置を誤検出した前記障害物位置と判定し、前記障害物位置を前記ローカル環境地図から消去する、ことを特徴とする障害物検出方法が提供される。
According to the present invention, (A) a short-range laser device, a long-range laser device, and a data processing device are prepared,
(B) The short-range laser device irradiates a first laser beam to a short-range range close to the traveling vehicle, detects an obstacle position and a road surface position from a time difference between the incident light and the reflected light,
(C) By the long-distance laser device, the overlapping range overlapping the short-distance range and the long-distance range far from the short-distance range are irradiated with the second laser light, and the time difference between the incident light and the reflected light detecting said obstacle position from
(D) By using the detection result in the overlapping range by the data processing device,
(D1) Create a local environment map ahead of the traveling vehicle from the road surface position and the obstacle position detected by the short-range laser device and the long-range laser device,
(D2) Compare each detected obstacle position in the local environment map;
(D3) Extracting the inconsistent position of the obstacle position by the comparison,
(E1) Among the disagreement positions, those located on a straight line in the overlapping range are detected as white line positions,
(E2) Among the mismatched positions, the obstacle position located on an extension line of the white line position in the long distance range is extracted as a target position,
(E3) The target position is erroneously detected when the distance from the traveling vehicle of the target position is greater than or equal to the first threshold, the number of detections is greater than or equal to the second threshold, and the detection width is less than or equal to the third threshold. There is provided an obstacle detection method characterized by determining an obstacle position and deleting the obstacle position from the local environment map .

上記本発明の装置と方法によれば、データ処理装置により、重複範囲での検出結果を利用して、近距離レーザ装置及び遠距離レーザ装置で検出された路面位置と障害物位置から誤検出した障害物位置が特定され消去される。従って、走行車両から遠距離(例えば30m以上)の路面上に反射率が高く乱反射するもの(例えば白線)が描かれていても、遠距離の障害物を誤検出なく検出することができる。   According to the above-described apparatus and method of the present invention, the data processing device makes a false detection from the road surface position and the obstacle position detected by the short-range laser device and the long-range laser device using the detection result in the overlapping range. Obstacle location is identified and erased. Therefore, even when a highly reflective object (for example, a white line) is drawn on a road surface at a long distance (for example, 30 m or more) from the traveling vehicle, an obstacle at a long distance can be detected without erroneous detection.

本発明の障害物検出装置を備えた走行車両の構成図(A)とブロック図(B)である。It is the block diagram (B) with the block diagram (A) of the traveling vehicle provided with the obstacle detection apparatus of this invention. 近距離レーザ装置及び遠距離レーザ装置の計測範囲の説明図である。It is explanatory drawing of the measurement range of a short-distance laser apparatus and a long-distance laser apparatus. 近距離レーザ装置及び遠距離レーザ装置の障害物検出手段の説明図である。It is explanatory drawing of the obstacle detection means of a short-distance laser apparatus and a long-distance laser apparatus. 近距離レーザ装置の計測結果の例である。It is an example of the measurement result of a short distance laser apparatus. 遠距離レーザ装置の計測結果の例である。It is an example of the measurement result of a long-distance laser apparatus. 実環境の模式図である。It is a schematic diagram of a real environment. 本発明の障害物検出方法のフロー図である。It is a flowchart of the obstacle detection method of the present invention. 本発明の障害物検出方法の説明図である。It is explanatory drawing of the obstacle detection method of this invention.

以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.

図1は、本発明の障害物検出装置10を備えた走行車両1の構成図(A)とブロック図(B)である。
この例において、走行車両1は、車両前部に排土装置2を備え路面3を走行する作業車である。しかし、走行車両1は、排土装置2を備えた作業車に限定されず、自律走行又は半自律走行を行う移動体であってもよい。
FIG. 1 is a configuration diagram (A) and a block diagram (B) of a traveling vehicle 1 including an obstacle detection device 10 of the present invention.
In this example, the traveling vehicle 1 is a work vehicle that travels on a road surface 3 with a soil removal device 2 at the front of the vehicle. However, the traveling vehicle 1 is not limited to a work vehicle provided with the earth removing device 2, and may be a mobile body that performs autonomous traveling or semi-autonomous traveling.

図1において、本発明の障害物検出装置10は、近距離レーザ装置12、遠距離レーザ装置14、及びデータ処理装置16を備える。   In FIG. 1, the obstacle detection device 10 of the present invention includes a short-range laser device 12, a long-range laser device 14, and a data processing device 16.

近距離レーザ装置12及び遠距離レーザ装置14は、走行車両1に搭載されている。
この例において、近距離レーザ装置12は、走行車両1の排土装置2より上方に設置される。近距離レーザ装置12の設置高さH1は、遠距離レーザ装置14の設置高さH2より高いことが好ましい。設置高さH1,H2は、例えば2〜3mの範囲である。
The short distance laser device 12 and the long distance laser device 14 are mounted on the traveling vehicle 1.
In this example, the short distance laser device 12 is installed above the earth removal device 2 of the traveling vehicle 1. The installation height H1 of the short distance laser device 12 is preferably higher than the installation height H2 of the long distance laser device 14. The installation heights H1 and H2 are, for example, in the range of 2 to 3 m.

データ処理装置16は、例えばコンピュータ(PC)であり、近距離レーザ装置12及び遠距離レーザ装置14の検出データから障害物4の位置(障害物位置5)を検出する。検出データは、路面3の位置(路面位置6)と障害物4の位置(障害物位置5a,5b)である。
データ処理装置16は、この例では走行車両1に搭載されている。しかし、データ処理装置16を走行車両以外に搭載し、走行車両1を遠隔操作してもよい。
The data processing device 16 is, for example, a computer (PC), and detects the position of the obstacle 4 (obstacle position 5) from the detection data of the short-range laser device 12 and the long-range laser device 14. The detection data includes the position of the road surface 3 (road surface position 6) and the position of the obstacle 4 (obstacle positions 5a and 5b).
The data processing device 16 is mounted on the traveling vehicle 1 in this example. However, the data processing device 16 may be mounted other than the traveling vehicle, and the traveling vehicle 1 may be remotely operated.

データ処理装置16は、重複範囲B(図2参照)での検出結果を利用して、近距離レーザ装置12及び遠距離レーザ装置14で検出された検出データ(路面位置6と障害物位置5a,5b)から誤検出した障害物位置5c(図4B参照)を特定し消去する。   The data processing device 16 uses the detection result in the overlapping range B (see FIG. 2) to detect the detection data (the road surface position 6 and the obstacle position 5a, detected by the short-range laser device 12 and the long-range laser device 14). The obstacle position 5c (see FIG. 4B) erroneously detected from 5b) is specified and deleted.

図2は、近距離レーザ装置12及び遠距離レーザ装置14の計測範囲の説明図である。
近距離レーザ装置12及び遠距離レーザ装置14は、好ましくはレーザレンジファインダ(LRF)である。レーザレンジファインダによる測距原理は、レーザ光の入射光の投光から反射光の受光までの時間差を計測するタイムオブフライト方式による。
近距離レーザ装置12及び遠距離レーザ装置14は、1又は複数のレーザ光源を用い、水平方向のラインスキャン又は上下方向のフレームスキャンの組合せにより、予め設定した範囲にレーザ光を照射する。
FIG. 2 is an explanatory diagram of the measurement range of the short-range laser device 12 and the long-range laser device 14.
The short-range laser device 12 and the long-range laser device 14 are preferably laser range finders (LRF). The principle of distance measurement by the laser range finder is based on a time-of-flight method that measures the time difference from the projection of incident laser light to the reception of reflected light.
The short-range laser device 12 and the long-range laser device 14 use one or a plurality of laser light sources, and irradiate laser light in a preset range by a combination of horizontal line scan or vertical frame scan.

近距離レーザ装置12は、走行車両1に近い近距離範囲A1に、第1レーザ光L1(図3参照)を照射して、その入射光と反射光の時間差から図4Aに示す障害物位置5aと路面位置6を検出する。
近距離範囲A1は、この例において、円弧a−bと円弧c−dで囲まれる扇形領域である。
The short distance laser device 12 irradiates the short distance range A1 close to the traveling vehicle 1 with the first laser light L1 (see FIG. 3), and the obstacle position 5a shown in FIG. 4A from the time difference between the incident light and the reflected light. And the road surface position 6 are detected.
In this example, the short distance range A1 is a sector area surrounded by the arc ab and the arc cd.

遠距離レーザ装置14は、近距離範囲A1と重複する重複範囲Bと近距離範囲A1よりも遠い遠距離範囲A2とに、第2レーザ光L2(図3参照)を照射して、その入射光と反射光の時間差から図4Bに示す障害物位置5bを検出する。
遠距離範囲A2は、この例において、円弧e−fと円弧g−hで囲まれる扇形領域である。重複範囲Bは、この例において斜線範囲であり、円弧g−hと円弧i−jで囲まれる扇形領域である。
各扇形領域は、走行車両1の走行方向1aに対し左右に所定の角度範囲(例えば30度以上)を含む。各扇形領域の角度範囲は一致しなくてもよい。
The long-distance laser device 14 irradiates the overlapping range B overlapping the short-distance range A1 and the long-distance range A2 farther than the short-distance range A1 with the second laser light L2 (see FIG. 3), and the incident light. The obstacle position 5b shown in FIG. 4B is detected from the time difference between the reflected light and the reflected light.
In this example, the long distance range A2 is a fan-shaped region surrounded by the arc ef and the arc gh. The overlapping range B is a hatched range in this example, and is a sector region surrounded by the arc gh and the arc ij.
Each sector region includes a predetermined angular range (for example, 30 degrees or more) on the left and right with respect to the traveling direction 1a of the traveling vehicle 1. The angular ranges of the sector regions do not have to match.

図3は、近距離レーザ装置12及び遠距離レーザ装置14の障害物検出手段の説明図であり、(A)は近距離レーザ装置12の場合、(B)は遠距離レーザ装置14の場合を示している。   3A and 3B are explanatory views of the obstacle detection means of the short-range laser device 12 and the long-range laser device 14. FIG. 3A shows the case of the short-range laser device 12 and FIG. 3B shows the case of the long-range laser device 14. Show.

図3(A)において、近距離レーザ装置12は、第1レーザ光L1を斜め下向きの第1角度θ1で前方に照射する。第1角度θ1は、第1レーザ光L1の入射光と反射光の時間差から図4Aに示す路面位置6と障害物位置5aとを検出可能な角度範囲である。第1角度θ1の角度範囲は、例えば2度以上、60度以下であり、好ましくは3度以上である。
この場合、2点の計測点4A,4Bの高さの差が所定の閾値未満の場合に路面位置6と判断し、閾値以上の場合に障害物位置5aと判断する。この閾値は、走行車両1の走行に支障のない高さ(例えば5〜20cm)に設定する。
In FIG. 3A, the short-range laser device 12 irradiates the first laser beam L1 forward at a first angle θ1 that is obliquely downward. The first angle θ1 is an angle range in which the road surface position 6 and the obstacle position 5a shown in FIG. 4A can be detected from the time difference between the incident light and the reflected light of the first laser light L1. The angle range of the first angle θ1 is, for example, 2 degrees or more and 60 degrees or less, and preferably 3 degrees or more.
In this case, the road surface position 6 is determined when the difference in height between the two measurement points 4A and 4B is less than a predetermined threshold value, and the obstacle position 5a is determined when the difference is greater than or equal to the threshold value. This threshold value is set to a height that does not hinder the traveling of the traveling vehicle 1 (for example, 5 to 20 cm).

図3(B)において、遠距離レーザ装置14は、第2レーザ光L2を斜め下向きの第2角度θ2で前方に照射する。第2角度θ2は、路面3からの反射光を検出し得ない角度範囲である。第2角度θ2の角度範囲は、例えば0度以上、3度以下であり、好ましくは2度以下である。
この場合、計測点が遠方となり、第2レーザ光L2の入射角が浅くなるため、路面3からの反射が計測されなくなる。このような遠方計測において、計測点4Cから反射光を計測した場合に障害物位置5bと判断する。
しかし、遠距離レーザ装置14は、路面上に白線のレーンなど、反射率が高く乱反射するものが描かれていると、その反射光を検出し、障害物位置5bとして誤検出する場合がある。
In FIG. 3B, the long-distance laser device 14 irradiates the second laser light L2 forward at a second angle θ2 that is obliquely downward. The second angle θ2 is an angle range in which the reflected light from the road surface 3 cannot be detected. The angle range of the second angle θ2 is, for example, not less than 0 degrees and not more than 3 degrees, preferably not more than 2 degrees.
In this case, the measurement point becomes far away, and the incident angle of the second laser light L2 becomes shallow, so that reflection from the road surface 3 is not measured. In such remote measurement, when the reflected light is measured from the measurement point 4C, it is determined as the obstacle position 5b.
However, the long-distance laser device 14 may detect the reflected light and erroneously detect it as the obstacle position 5b when a highly reflective object such as a white line lane is drawn on the road surface.

図4Aは近距離レーザ装置12の計測結果の例、図4Bは遠距離レーザ装置14の計測結果の例である。また、図4Cは、実環境の模式図である。
図4A、図4Bにおいて、横軸は幅方向位置、縦軸は前方向位置であり、図中の数字は距離(m)を意味する。走行車両1は、幅方向位置が0m、前方向位置が0mの位置に位置する。
4A is an example of a measurement result of the short-range laser device 12, and FIG. 4B is an example of a measurement result of the long-range laser device 14. FIG. 4C is a schematic diagram of a real environment.
4A and 4B, the horizontal axis is the position in the width direction, the vertical axis is the position in the front direction, and the numbers in the drawings mean distance (m). The traveling vehicle 1 is located at a position where the width direction position is 0 m and the front direction position is 0 m.

図4Aにおいて、近距離レーザ装置12による第1レーザ光L1の照射範囲、すなわち近距離範囲A1は、およそ10mから30mの扇形範囲である。またこの図で、■は障害物位置5a、□は路面位置6である。   In FIG. 4A, the irradiation range of the first laser beam L1 by the short distance laser device 12, that is, the short distance range A1, is a fan-shaped range of about 10 m to 30 m. In this figure, ■ is an obstacle position 5a, and □ is a road surface position 6.

図4Bにおいて、遠距離レーザ装置14による第2レーザ光L2の照射範囲のうち、重複範囲Bはおよそ20mから30mの扇形範囲である。また遠距離範囲A2は、およそ30mから80mの扇形範囲である。またこの図で、■は障害物位置5bである。
なお図4Bには、路面上の白線のレーンを障害物位置5bとして誤検出した障害物位置5cが含まれている。
In FIG. 4B, the overlapping range B of the irradiation range of the second laser beam L2 by the long-range laser device 14 is a fan-shaped range of about 20 m to 30 m. The long distance range A2 is a fan-shaped range of about 30 m to 80 m. Moreover, in this figure, ■ is an obstacle position 5b.
Note that FIG. 4B includes an obstacle position 5c in which the white line lane on the road surface is erroneously detected as the obstacle position 5b.

図4Cにおいて、白線11は、路面3の中央とその両側に設けられている。また障害物4は例えばパイロンであり、両側の白線11の上に間隔を隔てて配置されている。   In FIG. 4C, the white line 11 is provided in the center of the road surface 3 and its both sides. The obstacle 4 is, for example, a pylon, and is disposed on the white lines 11 on both sides with a space therebetween.

図5は、本発明の障害物検出方法のフロー図である。この図において、(A)は全体フロー図、(B)はステップS4の部分フロー図、(C)はステップS4−4の詳細フロー図である。
また、図6は、本発明の障害物検出方法の説明図である。この図において、(A)は近距離レーザ装置12によるローカル環境地図7、(B)は遠距離レーザ装置14によるローカル環境地図8である。また、(C)は不一致位置9を示す図、(D)は白線位置9aと対象位置9bを示す図、(E)は誤検出した障害物位置5cを消去したローカル環境地図である。
以下、図5と図6を対比して、本発明の障害物検出方法を説明する。
FIG. 5 is a flowchart of the obstacle detection method of the present invention. In this figure, (A) is an overall flowchart, (B) is a partial flowchart of step S4, and (C) is a detailed flowchart of step S4-4.
FIG. 6 is an explanatory diagram of the obstacle detection method of the present invention. In this figure, (A) is a local environment map 7 by the short-range laser device 12, and (B) is a local environment map 8 by the long-range laser device 14. Further, (C) is a diagram showing the disagreement position 9, (D) is a diagram showing the white line position 9a and the target position 9b, and (E) is a local environment map in which the erroneously detected obstacle position 5c is deleted.
Hereinafter, the obstacle detection method of the present invention will be described by comparing FIG. 5 and FIG.

図5(A)において、本発明の障害物検出方法は、S1〜S4の各ステップ(工程)からなる。   In FIG. 5 (A), the obstacle detection method of the present invention includes steps (steps) S1 to S4.

ステップS1では、上述した近距離レーザ装置12、遠距離レーザ装置14及びデータ処理装置16を準備する。   In step S1, the short distance laser device 12, the long distance laser device 14, and the data processing device 16 described above are prepared.

ステップS2では、近距離レーザ装置12により、走行車両1に近い近距離範囲A1に、第1レーザ光L1を照射して、その入射光と反射光の時間差から障害物位置5aと路面位置6を検出する。
ステップS3では、遠距離レーザ装置14により、近距離範囲A1と重複する重複範囲Bと近距離範囲A1よりも遠い遠距離範囲A2とに、第2レーザ光L2を照射して、その入射光と反射光の時間差から障害物位置5bを検出する。この障害物位置5bには、誤検出した障害物位置5cが含まれている。
In step S2, the short distance laser device 12 irradiates the short distance range A1 close to the traveling vehicle 1 with the first laser light L1, and determines the obstacle position 5a and the road surface position 6 from the time difference between the incident light and the reflected light. To detect.
In step S3, the long-range laser device 14 irradiates the overlapping range B overlapping the short-range range A1 and the long-range range A2 farther than the short-range range A1 with the second laser light L2, and the incident light and The obstacle position 5b is detected from the time difference of the reflected light. The obstacle position 5b includes an erroneously detected obstacle position 5c.

ステップS4では、データ処理装置16により、重複範囲Bでの検出結果を利用して、近距離レーザ装置12及び遠距離レーザ装置14で検出された路面位置6と障害物位置5a,5bから誤検出した障害物位置5cを特定し消去する。
ステップS4により、図6(A)のローカル環境地図7と図6(B)のローカル環境地図8から、図6(E)の誤検出した障害物位置5cを消去したローカル環境地図が作成される。
In step S4, using the detection result in the overlapping range B, the data processing device 16 makes a false detection from the road surface position 6 and the obstacle positions 5a and 5b detected by the short distance laser device 12 and the long distance laser device 14. The detected obstacle position 5c is specified and deleted.
By step S4, a local environment map in which the erroneously detected obstacle position 5c in FIG. 6 (E) is deleted from the local environment map 7 in FIG. 6 (A) and the local environment map 8 in FIG. 6 (B) is created. .

図5(B)において、ステップS4は、S4−1〜S4−4の各ステップ(工程)からなる。   In FIG. 5 (B), step S4 consists of each step (process) of S4-1 to S4-4.

ステップS4−1では、近距離レーザ装置12及び遠距離レーザ装置14で検出された路面位置6と障害物位置5a,5bから走行車両前方のローカル環境地図7,8を作成する。
図6(A)のローカル環境地図7は近距離レーザ装置12の検出データにより作成し、図6(B)のローカル環境地図8は、遠距離レーザ装置14の検出データにより作成する。ローカル環境地図7,8の範囲は、走行車両1の走行方向1aに対し左右に所定の角度範囲(例えば30度以上)において共通であるのが好ましい。
In step S4-1, local environment maps 7 and 8 in front of the traveling vehicle are created from the road surface position 6 and obstacle positions 5a and 5b detected by the short distance laser device 12 and the long distance laser device 14.
The local environment map 7 in FIG. 6A is created from the detection data of the short-range laser device 12, and the local environment map 8 in FIG. 6B is created from the detection data of the long-range laser device 14. The ranges of the local environment maps 7 and 8 are preferably common in a predetermined angle range (for example, 30 degrees or more) to the left and right with respect to the traveling direction 1a of the traveling vehicle 1.

ステップS4−2では、ローカル環境地図7,8において、検出されたそれぞれの障害物位置5a,5bを比較する。
ステップS4−3では、比較による障害物位置5a,5bの不一致位置9を抽出する。図6(C)は、ローカル環境地図7,8を合成して抽出された不一致位置9を示している。
重複範囲Bにおける障害物位置5b(遠距離レーザ装置14で検出)は、同じ位置に障害物位置5a(近距離レーザ装置12で検出)がない場合に不一致位置9である。また、互いに重複しない近距離範囲A1と遠距離範囲A2における障害物位置5a,5bは、常に不一致位置9となる。
In step S4-2, the detected obstacle positions 5a and 5b in the local environment maps 7 and 8 are compared.
In step S4-3, the mismatch position 9 between the obstacle positions 5a and 5b is extracted. FIG. 6C shows a mismatch position 9 extracted by synthesizing the local environment maps 7 and 8.
The obstacle position 5b (detected by the long-range laser device 14) in the overlapping range B is the mismatch position 9 when there is no obstacle position 5a (detected by the short-range laser device 12) at the same position. In addition, the obstacle positions 5a and 5b in the short distance range A1 and the long distance range A2 that do not overlap each other are always the mismatch positions 9.

ステップS4−4では、不一致位置9から誤検出した障害物位置5cを検出し消去する。   In step S4-4, the obstacle position 5c erroneously detected from the mismatch position 9 is detected and deleted.

図5(C)において、ステップS4−4は、T1〜T3の各ステップ(工程)からなる。
ステップT1では、図6(D)に示すように、重複範囲Bにおいて不一致位置9のうち直線上に位置するものを白線位置9aとして検出する。
ステップT2では、遠距離レーザ装置14で検出した不一致位置9のうち、白線位置9aの延長線上に位置する障害物位置5bを対象位置9bとして抽出する。
ステップT3では、対象位置9bの走行車両1からの距離が第1閾値以上であり、検出回数が第2閾値以上であり、検出幅が第3閾値以下である場合に、対象位置9bを誤検出した障害物位置5cと判定し、障害物位置5cをローカル環境地図7,8から消去する。各閾値は、予め任意に設定する。
In FIG. 5C, step S4-4 includes steps (processes) T1 to T3.
In step T1, as shown in FIG. 6D, the position on the straight line among the mismatch positions 9 in the overlapping range B is detected as the white line position 9a.
In step T2, the obstacle position 5b located on the extension line of the white line position 9a is extracted as the target position 9b among the mismatch positions 9 detected by the long-range laser device 14.
In step T3, when the distance from the traveling vehicle 1 of the target position 9b is equal to or greater than the first threshold, the number of detections is equal to or greater than the second threshold, and the detection width is equal to or smaller than the third threshold, the target position 9b is erroneously detected. The obstacle position 5c is determined, and the obstacle position 5c is deleted from the local environment maps 7 and 8. Each threshold is arbitrarily set in advance.

すなわち、重複範囲Bで検出された障害物位置5bのデータと、近距離レーザ装置12で検出された障害物位置5aのデータとを用いて、重複範囲Bにおける不一致位置9を求め、その不一致位置9の情報と上述した条件とを利用して、遠距離レーザ装置14が誤検出した障害物位置5cを特定し、ローカル環境地図7,8から消去する。   That is, using the data of the obstacle position 5b detected in the overlapping range B and the data of the obstacle position 5a detected by the short-range laser device 12, the mismatch position 9 in the overlapping range B is obtained, and the mismatch position Using the information 9 and the above-described conditions, the obstacle position 5c erroneously detected by the long-range laser device 14 is specified and deleted from the local environment maps 7 and 8.

なお、白線(中央線)には以下の特徴がある。
(1)遠距離レーザ装置14の照射角度が浅いため、遠方では検出されない。この特徴を第1閾値である走行車両1からの距離に利用する。
(2)ノイズのように計測されるため、検出される位置が不規則である。この特徴を第2閾値である検出回数に利用する。
(3)幅が10cm程度である。この特徴を第3閾値である幅に利用する。
The white line (center line) has the following characteristics.
(1) Since the irradiation angle of the long-distance laser device 14 is shallow, it is not detected far away. This feature is used for the distance from the traveling vehicle 1 that is the first threshold.
(2) Since the measurement is performed like noise, the detected positions are irregular. This feature is used for the number of detections that is the second threshold.
(3) The width is about 10 cm. This feature is used for the width that is the third threshold value.

上述した本発明の装置と方法によれば、データ処理装置16により、重複範囲Bでの検出結果を利用して、近距離レーザ装置12及び遠距離レーザ装置14で検出された路面位置6と障害物位置5a,5bから誤検出した障害物位置5cが特定され消去される。従って、走行車両1から遠距離(例えば30m以上)の路面上に反射率が高く乱反射するもの(例えば白線)が描かれていても、遠距離の障害物4を誤検出なく検出することができる。   According to the above-described apparatus and method of the present invention, the data processing device 16 uses the detection result in the overlapping range B to detect the road surface position 6 and the obstacle detected by the short-range laser device 12 and the long-range laser device 14. The obstacle position 5c erroneously detected from the object positions 5a and 5b is specified and deleted. Accordingly, even when a highly reflective object (for example, a white line) is drawn on the road surface at a long distance (for example, 30 m or more) from the traveling vehicle 1, the long distance obstacle 4 can be detected without erroneous detection. .

なお本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。   Note that the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention.

A1 近距離範囲、A2 遠距離範囲、B 重複範囲、
H1,H2 設置高さ、L1 第1レーザ光、L2 第2レーザ光、
θ1 第1角度、θ2 第2角度、1 走行車両(移動体)、1a 走行方向、
2 排土装置、3 路面、4 障害物、4A,4B,4C 計測点、
5,5a,5b,5c 障害物位置、6 路面位置、
7,8 ローカル環境地図、9 不一致位置、9a 白線位置、9b 対象位置、
10 障害物検出装置、11 白線、
12 近距離レーザ装置(レーザレンジファインダ)、
14 遠距離レーザ装置(レーザレンジファインダ)、
16 データ処理装置
A1 short range, A2 long range, B overlap range,
H1, H2 installation height, L1 first laser beam, L2 second laser beam,
θ1 first angle, θ2 second angle, 1 traveling vehicle (moving body), 1a traveling direction,
2 earth removal equipment, 3 road surface, 4 obstacles, 4A, 4B, 4C measuring points,
5, 5a, 5b, 5c Obstacle position, 6 Road surface position,
7, 8 Local environment map, 9 Disagreement position, 9a White line position, 9b Target position,
10 Obstacle detection device, 11 White line,
12 Short range laser device (laser range finder),
14 Long-distance laser device (laser range finder),
16 Data processing device

Claims (4)

路面を走行する走行車両に搭載された近距離レーザ装置及び遠距離レーザ装置と、
障害物位置を検出するデータ処理装置と、を備え、
前記近距離レーザ装置は、前記走行車両に近い近距離範囲に、第1レーザ光を照射して、その入射光と反射光の時間差から前記障害物位置と路面位置を検出し、
前記遠距離レーザ装置は、前記近距離範囲と重複する重複範囲と前記近距離範囲よりも遠い遠距離範囲とに、第2レーザ光を照射して、その入射光と反射光の時間差から前記障害物位置を検出し、
前記データ処理装置は、前記重複範囲での検出結果を利用して、走行車両前方のローカル環境地図を作成し、前記近距離レーザ装置及び前記遠距離レーザ装置で検出された前記障害物位置の不一致位置を抽出し、
前記重複範囲において前記不一致位置のうち直線上に位置するものを白線位置として検出し、
前記遠距離レーザ装置で検出した前記不一致位置のうち、前記白線位置の延長線上に位置する前記障害物位置を対象位置として抽出し、
前記対象位置の前記走行車両からの距離が第1閾値以上であり、検出回数が第2閾値以上であり、検出幅が第3閾値以下である場合に、前記対象位置を誤検出した前記障害物位置と判定し、
前記障害物位置を前記ローカル環境地図から消去する、ことを特徴とする障害物検出装置。
A short-range laser device and a long-range laser device mounted on a traveling vehicle traveling on a road surface;
A data processing device for detecting an obstacle position,
The short distance laser device irradiates a first laser beam on a short distance range close to the traveling vehicle, detects the obstacle position and the road surface position from the time difference between the incident light and the reflected light,
The long-distance laser device irradiates a second laser beam to an overlapping range that overlaps the short-distance range and a long-distance range that is farther than the short-distance range, and the failure is determined based on a time difference between the incident light and reflected light. Detect the object position,
The data processing device creates a local environment map ahead of the traveling vehicle using the detection result in the overlapping range, and the obstacle position mismatch detected by the short-range laser device and the long-range laser device. Extract the position,
In the overlapping range, the non-coincidence position that is located on a straight line is detected as a white line position,
Of the unmatched positions detected by the long-range laser device, extract the obstacle position located on an extension line of the white line position as a target position,
The obstacle in which the target position is erroneously detected when the distance of the target position from the traveling vehicle is equal to or greater than a first threshold, the number of detections is equal to or greater than a second threshold, and the detection width is equal to or smaller than a third threshold. Judging the position,
An obstacle detection apparatus, wherein the obstacle position is erased from the local environment map .
前記近距離レーザ装置は、前記第1レーザ光を斜め下向きの第1角度で前方に照射し、前記第1角度は、前記時間差から前記路面位置と前記障害物位置とを検出可能な角度範囲であり、
前記遠距離レーザ装置は、第2レーザ光を斜め下向きの第2角度で前方に照射し、前記第2角度は、路面からの反射光を検出し得ない角度範囲である、ことを特徴とする請求項1に記載の障害物検出装置。
The near laser device, the first laser beam is irradiated forward at a first angle oblique downward, the first angle, with a detectable angle range and the obstacle position and the road surface position from the time difference Yes,
The long-distance laser device irradiates the second laser beam forward at an obliquely downward second angle, and the second angle is an angle range in which reflected light from the road surface cannot be detected. The obstacle detection apparatus according to claim 1.
前記第1角度θ1の角度範囲は、2度以上、60度以下であり、
前記第2角度θ2の角度範囲は、0度を超え、3度以下である、ことを特徴とする請求項2に記載の障害物検出装置。
The angle range of the first angle θ1 is not less than 2 degrees and not more than 60 degrees,
The obstacle detection apparatus according to claim 2, wherein an angle range of the second angle θ2 is greater than 0 degrees and equal to or less than 3 degrees.
(A)近距離レーザ装置、遠距離レーザ装置及びデータ処理装置を準備し、
(B)前記近距離レーザ装置により、走行車両に近い近距離範囲に、第1レーザ光を照射して、その入射光と反射光の時間差から障害物位置と路面位置を検出し、
(C)前記遠距離レーザ装置により、前記近距離範囲と重複する重複範囲と前記近距離範囲よりも遠い遠距離範囲とに、第2レーザ光を照射して、その入射光と反射光の時間差から前記障害物位置を検出し、
(D)データ処理装置により、前記重複範囲での検出結果を利用して、
(D1)前記近距離レーザ装置及び前記遠距離レーザ装置で検出された前記路面位置と前記障害物位置から走行車両前方のローカル環境地図を作成し、
(D2)前記ローカル環境地図において、検出されたそれぞれの前記障害物位置を比較し、
(D3)前記比較による前記障害物位置の不一致位置を抽出し、
(E1)前記不一致位置のうち、前記重複範囲において直線上に位置するものを白線位置として検出し、
(E2)前記不一致位置のうち、前記遠距離範囲において前記白線位置の延長線上に位置する前記障害物位置を対象位置として抽出し、
(E3)前記対象位置の走行車両からの距離が第1閾値以上であり、検出回数が第2閾値以上であり、検出幅が第3閾値以下である場合に、前記対象位置を誤検出した前記障害物位置と判定し、前記障害物位置を前記ローカル環境地図から消去する、ことを特徴とする障害物検出方法。
(A) Prepare a short-range laser device, a long-range laser device, and a data processing device,
(B) The short-range laser device irradiates a first laser beam to a short-range range close to the traveling vehicle, detects an obstacle position and a road surface position from a time difference between the incident light and the reflected light,
(C) By the long-distance laser device, the overlapping range overlapping the short-distance range and the long-distance range far from the short-distance range are irradiated with the second laser light, and the time difference between the incident light and the reflected light detecting said obstacle position from
(D) By using the detection result in the overlapping range by the data processing device,
(D1) Create a local environment map ahead of the traveling vehicle from the road surface position and the obstacle position detected by the short-range laser device and the long-range laser device,
(D2) Compare each detected obstacle position in the local environment map;
(D3) Extracting the inconsistent position of the obstacle position by the comparison,
(E1) Among the disagreement positions, those located on a straight line in the overlapping range are detected as white line positions,
(E2) Among the mismatched positions, the obstacle position located on an extension line of the white line position in the long distance range is extracted as a target position,
(E3) The target position is erroneously detected when the distance from the traveling vehicle of the target position is greater than or equal to the first threshold, the number of detections is greater than or equal to the second threshold, and the detection width is less than or equal to the third threshold. An obstacle detection method comprising: determining an obstacle position, and erasing the obstacle position from the local environment map .
JP2015088895A 2015-04-24 2015-04-24 Obstacle detection device and method Active JP6499909B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015088895A JP6499909B2 (en) 2015-04-24 2015-04-24 Obstacle detection device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015088895A JP6499909B2 (en) 2015-04-24 2015-04-24 Obstacle detection device and method

Publications (2)

Publication Number Publication Date
JP2016206999A JP2016206999A (en) 2016-12-08
JP6499909B2 true JP6499909B2 (en) 2019-04-10

Family

ID=57489929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015088895A Active JP6499909B2 (en) 2015-04-24 2015-04-24 Obstacle detection device and method

Country Status (1)

Country Link
JP (1) JP6499909B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493698B1 (en) * 2017-01-20 2023-02-01 가부시끼 가이샤 구보다 work car
JP6837903B2 (en) * 2017-04-21 2021-03-03 株式会社クボタ Work vehicle
JP6837902B2 (en) * 2017-04-21 2021-03-03 株式会社クボタ Work vehicle
JP7038355B2 (en) * 2017-02-28 2022-03-18 株式会社イージスモスジャパン Route search system and route search method
JP6870475B2 (en) * 2017-05-25 2021-05-12 日産自動車株式会社 Lane information output method and lane information output device
JP7149082B2 (en) * 2018-03-08 2022-10-06 日産自動車株式会社 Driving support method for driving support device and driving support device
JP6942666B2 (en) * 2018-03-28 2021-09-29 ヤンマーパワーテクノロジー株式会社 Work vehicle
JP2019204336A (en) * 2018-05-24 2019-11-28 東芝ライフスタイル株式会社 Autonomous traveling body
CN109215135B (en) * 2018-09-07 2019-11-08 百度在线网络技术(北京)有限公司 A kind of Obstacle Position emulation mode, device and terminal based on statistics
CN210212200U (en) * 2019-01-03 2020-03-31 华域视觉科技(上海)有限公司 Three-dimensional detection lighting system and car
CN110322692B (en) * 2019-07-09 2020-10-23 广东工业大学 Method, device and equipment for detecting repeated traffic flow data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0717342A (en) * 1993-06-30 1995-01-20 Mazda Motor Corp Obstacle detecting device for automobile
JP5042558B2 (en) * 2006-08-10 2012-10-03 富士通テン株式会社 Radar equipment
JP2008139035A (en) * 2006-11-30 2008-06-19 Yaskawa Electric Corp 3-d environment measurement device and mobile robot provided with the same
JP5604117B2 (en) * 2010-01-20 2014-10-08 株式会社Ihiエアロスペース Autonomous mobile
JP5666327B2 (en) * 2011-01-31 2015-02-12 株式会社Ihiエアロスペース Unmanned moving body and control method of unmanned moving body
JP2014021625A (en) * 2012-07-13 2014-02-03 Sharp Corp Distance measurement system
JP6011489B2 (en) * 2013-08-26 2016-10-19 トヨタ自動車株式会社 In-vehicle control device

Also Published As

Publication number Publication date
JP2016206999A (en) 2016-12-08

Similar Documents

Publication Publication Date Title
JP6499909B2 (en) Obstacle detection device and method
CN108007452B (en) Method and device for updating environment map according to obstacle and robot
US10296001B2 (en) Radar multipath processing
US11313976B2 (en) Host vehicle position estimation device
KR102286005B1 (en) Cruise control system and cruise control method thereof
US10852426B2 (en) System and method of utilizing a LIDAR digital map to improve automatic driving
US20210207977A1 (en) Vehicle position estimation device, vehicle position estimation method, and computer-readable recording medium for storing computer program programmed to perform said method
US11321950B2 (en) Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method
US10019007B2 (en) Work machine control system, work machine, and work machine management system
US9946266B2 (en) Classification of environment elements
JPH05257533A (en) Method and device for sweeping floor surface by moving robot
JP2007310595A (en) Traveling environment recognition system
KR101149800B1 (en) Detection apparatus and the method for concealed obstacle using uwb radar and stereo cameras
CN111121812B (en) Path optimization method, electronic device and storage medium
JP2016148547A (en) Detection device
GB2558752A (en) Vehicle vision
JP7327257B2 (en) Automotive sensor system
JP6183823B2 (en) Route generating apparatus and method
US20230111364A1 (en) Method for detecting crosswalk using lidar sensor and crosswalk detection device for performing the method
CN109910009A (en) Path generating method, device, system and the robot of fire inspection machine people
JP2013114610A (en) Image processing device, driving support device, image processing method, and image processing program
JP4261466B2 (en) Autonomous mobile device and object and self-position detection system
WO2024037262A1 (en) Narrow passage navigation method for robot, chip, and robot
JP2018159570A (en) Obstacle detection device and obstacle detection method
JP3954053B2 (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190318

R150 Certificate of patent or registration of utility model

Ref document number: 6499909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250