JP6271212B2 - 自律走行車両 - Google Patents

自律走行車両 Download PDF

Info

Publication number
JP6271212B2
JP6271212B2 JP2013216412A JP2013216412A JP6271212B2 JP 6271212 B2 JP6271212 B2 JP 6271212B2 JP 2013216412 A JP2013216412 A JP 2013216412A JP 2013216412 A JP2013216412 A JP 2013216412A JP 6271212 B2 JP6271212 B2 JP 6271212B2
Authority
JP
Japan
Prior art keywords
distance
vehicle
person
collision avoidance
detectable range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013216412A
Other languages
English (en)
Other versions
JP2015079368A (ja
Inventor
貴志 赤坂
貴志 赤坂
吉田 睦
睦 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2013216412A priority Critical patent/JP6271212B2/ja
Publication of JP2015079368A publication Critical patent/JP2015079368A/ja
Application granted granted Critical
Publication of JP6271212B2 publication Critical patent/JP6271212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、誘導経路などの予め定められた走路上を自律走行するゴルフカートや、農園などで農薬を散布したり収穫物を搬送したりする作業車両などの自律走行車両に係り、特に、障害物を回避するための技術に関する。
従来、この種の装置として、左右一対からなる超音波センサなどの障害物センサを前部に備えた自律走行車両がある(例えば、特許文献1参照)。
この自律走行車両は、走行経路を検出するセンサと操舵角度センサとの検出結果に基づいて制御部が操舵制御を行う。走行経路を走行中に障害物センサが障害物を検出した場合は、障害物までの距離データに基づいて制御部が緊急停止動作を行わせる。但し、旋回方向外側の障害物センサの設定危険距離を内側のものよりも短く設定するようになっている。これにより、自律走行車両が走行経路を旋回する際における走行経路外の障害物による緊急停止を防止している。
特許第2944814号公報
しかしながら、このような構成を有する従来例の場合には、次のような問題がある。
すなわち、誘導経路などの予め定められた走路上を自律走行するゴルフカートや作業車の走行経路上には、樹木などが配置されることはないので、自律走行車両における障害物は「人」であることが殆どである。ところが、従来の自律走行車両における超音波センサなどの障害物検出では、障害物の種類について判断しないので、経路上に存在するゴルフバッグや収穫物収納箱、あるいは経路の登り坂などを障害物として誤検知して誤停止することがあるという問題がある。
本発明は、このような事情に鑑みてなされたものであって、障害物を判別することにより、人以外の物体による誤停止を防止することができる自律走行車両を提供することを目的とする。
本発明は、このような目的を達成するために、次のような構成をとる。
すなわち、第1の発明は、予め定められた走行経路上を自律走行する自律走行車両であって、予め設定された領域内における物体を検出する物体検出手段と、前記物体検出手段で検出された物体までの距離を検出する距離検出手段と、前記物体検出手段で検出された物体が人であるか否かを検出する人検出手段と、前記距離検出手段で得られた距離と、前記人検出手段で得られた人であるとの情報とに基づいて、前記物体への衝突を回避する衝突回避手段と、を備え、前記衝突回避手段は、前記物体が人であると判断されても、車両が衝突せずに停止できる停止可能距離以上離れている衝突回避判断距離になるまで車両を停止させず、さらに、前記人検出手段は、人検出可能範囲が設定され、前記物体検出手段は、物体検出可能範囲が設定され、前記人検出可能範囲のうち車両に最も近い最近点までの車両からの距離は、前記物体検出可能範囲のうち車両に最も近い最近点までの車両からの距離よりも遠い関係であって、前記衝突回避手段は、車両に対して前記人検出可能範囲内にあった物体が、車両と接近して、前記人検出可能範囲の外、かつ、前記物体検出可能範囲内に位置する状態になる前に、前記人検出手段により前記物体が人であると検出されていたか否かの情報を記憶する物体情報記憶手段と、前記物体情報記憶手段からの情報が人であった場合には、車両から前記物体までの距離が前記物体検出可能範囲内であって、前記衝突回避判断距離になったときに車両を停止させる判断を行う衝突回避判断手段と、を備えているものである。
[作用・効果]第1の発明によれば、衝突回避手段は、距離検出手段で得られた距離と、人検出手段からの人であるとの情報とに基づいて衝突を回避する。物体を判別して、物体が人であるとの情報である場合にのみ、物体への衝突回避制御を行い、物体が人以外の場合には衝突回避制御を行わないので、経路上にゴルフバッグや収穫物収納箱が存在する場合や、経路が登り坂であったとしても誤検知して誤停止することを防止できる。また、人検出手段に設定されている人検出可能範囲は、車両側からみると、物体検出手段に設定されている物体検出可能範囲に含まれ、人検出可能範囲の最近点までの距離は、物体検出可能範囲の最近点までの距離よりも遠い関係にある。したがって、人検出可能範囲にて人と判断された物体が車両に近づいて人検出可能範囲から物体検出可能範囲に移動した場合には、物体を人であると判断できなくなる。しかし、物体情報記憶手段には物体が人であるか否かの情報が記憶されているので、この情報が人であった場合には、衝突回避判断手段は、衝突回避判断距離に物体が位置した際に停止させる。したがって、物体が人であると判断されてから衝突回避制御までの時間を長くすることができ、人が車両の前方の人検出可能範囲を通過するだけで衝突の危険がない場合の衝突回避制御を抑制できる。
(削除)
(削除)
また、本発明において、予め定められた走行経路上を自律走行する自律走行車両であって、予め設定された領域内における物体を検出する物体検出手段と、前記物体検出手段で検出された物体までの距離を検出する距離検出手段と、前記物体検出手段で検出された物体が人であるか否かを検出する人検出手段と、前記距離検出手段で得られた距離と、前記人検出手段で得られた人であるとの情報とに基づいて、前記物体への衝突を回避する衝突回避手段と、を備え、前記衝突回避手段は、前記物体が人であると判断されても、車両が衝突せずに停止できる停止可能距離以上離れている衝突回避判断距離になるまで車両を停止させず、さらに、前記人検出手段は、人検出可能範囲が設定され、前記物体検出手段は、物体検出可能範囲が設定され、前記人検出可能範囲のうち車両に最も近い最近点までの車両からの距離は、前記物体検出可能範囲のうち車両に最も近い最近点までの車両からの距離よりも遠い関係であって、前記衝突回避手段は、車両に対して前記人検出可能範囲内にあった物体が、車両と接近して、車両から前記物体までの距離が前記人検出可能範囲内の予め設定された減速判断距離になったときに、予め定められた速度まで減速する減速手段と、車両と前記物体とがさらに接近して前記物体が前記人検出可能範囲の外、かつ、前記物体検出可能範囲内に位置する状態になる前に、前記人検出手段により前記物体が人であると検出されていたか否かの情報を記憶する物体情報記憶手段と、前記物体情報記憶手段からの情報が人であった場合には、車両から前記物体までの距離が前記物体検出可能範囲内であって、前記衝突回避判断距離になったときに車両を停止させる判断を行う衝突回避判断手段と、を備えているものである。
[作用・効果]第2の発明によれば、衝突回避手段は、距離検出手段で得られた距離と、人検出手段からの人であるとの情報とに基づいて衝突を回避する。物体を判別して、物体が人であるとの情報である場合にのみ、物体への衝突回避制御を行い、物体が人以外の場合には衝突回避制御を行わないので、経路上にゴルフバッグや収穫物収納箱が存在する場合や、経路が登り坂であったとしても誤検知して誤停止することを防止できる。また、人検出手段に設定されている人検出可能範囲は、車両側からみると、物体検出手段に設定されている物体検出可能範囲に含まれ、人検出可能範囲の最近点までの距離は、物体検出可能範囲の最近点までの距離よりも遠い関係にある。したがって、人検出可能範囲にて人と判断された物体が車両に近づいて人検出可能範囲から物体検出可能範囲に移動した場合には、物体を人であると判断できなくなる。しかし、物体情報記憶手段には物体が人であるか否かの情報が記憶されているので、この情報が人であった場合には、衝突回避判断手段は、衝突回避判断距離に物体が位置した際に停止させる。したがって、物体が人であると判断されてから衝突回避制御までの時間を長くすることができ、人が車両の前方の人検出可能範囲を通過するだけで衝突の危険がない場合の衝突回避制御を抑制できる。また、人検知可能範囲内の所定の減速判断距離に人が位置した時点で減速手段により減速を行っているので、停止距離を短くすることができ、衝突回避制御の確度を高めることができる。
また、本発明において、前記衝突回避判断手段は、前記減速手段により減速した後、前記人が前記人検出可能範囲の外、かつ、前記物体検出可能範囲の外となった場合には、減速を解除して元の速度に戻すことが好ましい。
人が人検出可能範囲の外、かつ、物体検出可能範囲の外となった場合には、衝突回避制御が不要であるので、減速した場合であっても減速前の元の速度に戻す。したがって、減速の後に停止することなく通常走行に戻るので、走行の効率を向上させることができる。
また、本発明において、前記物体検出手段と、前記距離検出手段と、前記人検出手段は、一つのステレオカメラからの画像に基づいて検出動作を行うことが好ましい。
一つのステレオカメラからの画像に基づいて、物体の検出と、距離の検出と、人の検出を兼用するので、コストを抑制することができる。
本発明に係る自律走行車両によれば、衝突回避手段は、距離検出手段で得られた距離と、人検出手段からの人であるとの情報とに基づいて衝突を回避する。物体を判別して、物体が人であるとの情報である場合にのみ、物体への衝突回避制御を行い、物体が人以外の場合には衝突回避制御を行わないので、経路上にゴルフバッグや収穫物収納箱が存在する場合や、経路が登り坂であったとしても誤検知して誤停止することを防止できる。また、人検出手段に設定されている人検出可能範囲は、車両側からみると、物体検出手段に設定されている物体検出可能範囲に含まれ、人検出可能範囲の最近点までの距離は、物体検出可能範囲の最近点までの距離よりも遠い関係にある。したがって、人検出可能範囲にて人と判断された物体が車両に近づいて人検出可能範囲から物体検出可能範囲に移動した場合には、物体を人であると判断できなくなる。しかし、物体情報記憶手段には物体が人であるか否かの情報が記憶されているので、この情報が人であった場合には、衝突回避判断手段は、衝突回避判断距離に物体が位置した際に停止させる。したがって、物体が人であると判断されてから衝突回避制御までの時間を長くすることができ、人が車両の前方の人検出可能範囲を通過するだけで衝突の危険がない場合の衝突回避制御を抑制できる。
実施例1に係る車両の概略構成を示す正面図である。 実施例1に係る車両のブロック図である。 実施例1に係る物体検出装置のブロック図である。 実施例1に係る車両の走行制御を示すフローチャートである。 実施例1に係る人検出可能範囲と物体検出可能範囲との説明に供する模式図である。 実施例1に係る衝突回避の動作説明に供する模式図である。 実施例1に係る衝突回避の動作説明に供する模式図である。 実施例1に係る衝突回避の動作説明に供する模式図である。 実施例1に係る衝突回避の動作説明に供する模式図である。 実施例2に係る対象物検出装置のブロック図である。 実施例2に係る車両の走行制御を示すフローチャートである。 実施例2に係る衝突回避の動作説明に供する模式図である。 実施例2に係る衝突回避の動作説明に供する模式図である。 実施例2に係る衝突回避の動作説明に供する模式図である。 実施例2に係る衝突回避の動作説明に供する模式図である。 実施例2に係る衝突回避の動作説明に供する模式図である。 実施例2に係る誤検出時における衝突回避の動作説明に供する模式図である。 実施例2に係る画像センサの画像を示す模式図である。 実施例2に係る誤検出時における衝突回避の動作説明に供する模式図である。 実施例2に係る画像センサの画像を示す模式図である。 実施例2に係る誤検出時における衝突回避の動作説明に供する模式図である。 実施例2に係る画像センサの画像を示す模式図である。 実施例2に係る誤検出時における衝突回避の動作説明に供する模式図である。 実施例2に係る画像センサの画像を示す模式図である。 実施例2に係る誤検出時における衝突回避の動作説明に供する模式図である。 実施例2に係る画像センサの画像を示す模式図である。
本発明に係る自律走行車両の実施例としてゴルフカートを例にとって以下に説明する。
以下、図面を参照して本発明の実施例1について説明する。
図1は、実施例1に係る車両の概略構成を示す正面図であり、図2は、実施例1に係る車両のブロック図であり、図3は、実施例1に係る物体検出装置のブロック図である。
車両1は、誘導経路などの予め定められた走路上を自律走行するゴルフカートであって、車両本体3と、4個の車輪5とを備えている。この車両1における前後や左右は、車両1が前進する方向(紙面の手前側)を基準とする。車両本体3は、車体外装7と、図示しないシャーシや駆動部を備えている。車体外装7の前部には、一つのステレオカメラ9が取り付けられている。この車両1は、例えば、走行経路に埋設された誘導線から発せられる電磁波に誘導され、障害物との衝突を回避しつつ自律走行することができる。
なお、上述した車両1が本発明における「自律走行車両」に相当する。
車両1は、図2に示すように、物体検出装置11と、報知部13と、自動走行制御装置15と、車速制御部17と、駆動モータ19とを備えている。物体検出装置11は、車両1の前方に位置する物体を検出する。報知部13は、物体検出装置11が物体を検出した際に、運転手及び周囲に対して警報を発生する。自動走行制御装置15は、車両1が誘導線に沿って自動走行するための制御を行う。車速制御部17は、自動走行制御装置15からの指示に基づいて、駆動モータ19を操作して車速の制御を行うとともに、物体検出装置11からの指示に基づいて、駆動モータ19を操作して衝突回避制御のための停止の制御を行う。駆動モータ19は、車速制御部17の操作に基づいて後側の車輪5(不図示)の回転駆動を制御する。
ここで図3を参照して、上述した物体検出装置11の詳細について説明する。
物体検出装置11は、検出部21と、衝突回避部23とを備えている。検出部21は、一つのステレオカメラ9と、物体検出部25と、距離検出部27と、人検出部29とを備えている。
一つのステレオカメラ9は、車両1の左側に取り付けられた左画像センサ9aと、車両1の右側に取り付けられた右画像センサ9bとを備えている。左画像センサ9aと、右画像センサ9bは、CCDやCMOSなどの一般的な可視光センサで構成されており、それぞれ前方の物体を撮影する。左画像センサ9aと、右画像センサ9bは、水平方向に一定の距離をおいて取り付けられており、平行ステレオの位置関係となるように、既知の幾何条件の下で配置されている。また、左画像センサ9aと、右画像センサ9bは、それぞれ撮影された画像の各行の位置が一致するように、予めキャリブレーションが実施されている。
物体検出部25は、左画像センサ9aと右画像センサ9bからの画像から、車両1の前方に何らかの物体があるか否かを判断する。距離検出部27は、左画像センサ9aと右画像センサ9bからの画像に基づいて、例えばステレオマッチングにより視差画像を作成し、この視差画像に基づいて、実空間上における車両1から物体までの距離を検出する。距離を検出する手法としては、例えば、従来から広く用いられている平行ステレオ法が挙げられる。つまり、左画像センサ9aと右画像センサ9bとの間の距離と、左画像センサ9aと右画像センサ9bの焦点距離と、視差画像とに基づいて、車両1を基準とした相対的な距離を算出することができる。距離検出部27で検出された距離は、人検出部29と、後述する衝突回避判断部33に与えられる。
なお、上記物体検出部25は、物体を検出することができる範囲が決まっており、その範囲は、車両1を基準とした相対的なものである。ここでは、その範囲を物体検出可能範囲と称する。
人検出部29は、左画像センサ9aと右画像センサ9bとのいずれか一方から基準画像を取得し、この基準画像における、物体検出部25で検出された物体が人であるか否かを判断する。具体的には、基準画像における、物体検出部25で検出された物体を含む所定の大きさのスキャン領域において、基準画像内を複数の大きさの検出窓をラスタスキャンし、物体が人であるか否かを判断する。人であるか否かの判断は、例えば、輝度勾配・輝度強度を取り出すHOG特徴量(Histograms of Oriented Gradients)を抽出することにより行うことができる。このHOG特徴量により、検出した物体のおおまかな形状を表現することができるので、物体が人であるか否かを判断することができる。
なお、上記人検出部29は、物体が人であることを検出することができる範囲が決まっており、その範囲は、車両1を基準とした相対的なものである。ここでは、その範囲を人検出可能範囲とする。
衝突回避部23は、物体情報記憶部31と、衝突回避判断部33とを備えている。物体情報記憶部31は、物体検出部25で検出された物体が人検出部29で人であると判断された場合に、物体が人であるとの物体情報が書き込まれる。衝突回避判断部33は、距離検出部27から得られた物体までの距離情報を記憶するとともに、この距離情報と、物体情報記憶部31に記憶されている物体情報とに基づいて、通常走行を維持するか、通常走行から衝突回避制御のための停止を行うかの指示を車速制御部17に対して行う。
なお、上述した物体検出部25が本発明における「物体検出手段」に相当し、距離検出部27が本発明における「距離検出手段」に相当し、人検出部29が本発明における「人検出手段」に相当する。また、衝突回避部23が本発明における「衝突回避手段」に相当し、物体情報記憶部31が本発明における「物体情報記憶手段」に相当する。また、ステレオカメラ9と距離検出部27とが本発明における「距離検出手段」に相当し、ステレオカメラ9と人検出部29とが本発明における「人検出手段」に相当する。
次に、図4,図5を参照して、上述した車両1の走行動作について説明する。なお、図4は、実施例1に係る車両の走行制御を示すフローチャートであり、図5は、人検出可能範囲と物体検出可能範囲との説明に供する模式図である。
ここで、まず図5を参照して、物体検出部25と人検出部29の検出可能な範囲について説明する。人検出部29は、物体が人であることを検出することができる人検出可能範囲HAが設定されている。物体検出部25は、物体か否かを検出することができる物体検出可能範囲OAが設定されている。人検出可能範囲HAのうち、車両1に最も近い最近点NP1までの車両1からの距離をMin1とし、物体検出可能範囲OAのうち、車両1に最も近い最近点NP2までの車両1からの距離をMin2とする。距離Min1が距離Min2よりも車両1から遠いのは、物体を人であると検出するには、人の全体像が必要であり、車両1に近い位置では人の全体像を撮影できないからである。したがって、図5に示すように、人Hが距離Min1以上の人検出可能範囲HAに位置している場合には、人Hを人として検出可能であるが、人Hが距離Min1より車両1に近い位置であって、距離Min2以上に離れた位置にあると、人Hを人として検出することはできず、物体としてしか検出することができない。
また、車両1が通常走行時には速度V1で走行するものとした場合、車両1が衝突回避制御を行って物体に衝突せずに停止できる車両1からの距離を、ここでは停止可能距離X1とする。また、車両1が衝突回避制御を行う位置を、ここでは衝突回避判断距離R1とする。衝突回避判断距離R1は、安全のために停止可能距離X1以上に設定されている。
次に、図4を参照して走行制御について説明するが、ここでは既に車両1が通常走行を速度V1で行っているものとする。また、検出部21による物体検出、距離検出、人検出は、車両1が走行を開始する時点で所定の周期で行われているものとする。
ステップS1〜S3
ステップS1では、検出部21による物体の検出の有無に応じて処理を分岐する。つまり、物体を検出していない場合には、ステップS2にて物体情報記憶部31に物体情報として物体(人ではない)を書き込み、この処理を経てステップS1を繰り返し実行する。ステップS1において、物体が検出された場合にはステップS3に移行し、距離検出部27で検出された距離を衝突回避判断部33に記憶するとともに、報知部13により、物体が存在することの警告を行う。
ステップS4,S5
ステップS4では、人検出部29が物体を人であると検出したか否かにより処理を分岐する。物体を人であると人検出部29が検出した場合には、ステップS5にて物体情報記憶部31に物体情報として人を書き込む。その一方、人検出部29が物体を人として検出していない場合、但し、このときは物体が一度は人として認識されているが、距離Min1よりも車両1と物体とが近づいた状態である。つまり、物体が人ではあるが今現在は物体を人として認識できない距離にある状態である。この場合には、ステップS6に移行する。
ステップS6
衝突回避判断部33は、距離検出部27からの現時点の距離と衝突回避判断距離R1とを比較して、距離が衝突回避判断距離R1に達している場合には、ステップS7に移行し、そうでない場合には、ステップS1に戻って物体検出を継続する。
ステップS7,S8
衝突回避判断部33は、物体情報記憶部31の物体情報が人である場合には、ステップS8に移行して車速制御部17に停止動作を行わせる。一方、物体情報機構部31の物体情報が人でない場合には、ステップS1に戻って物体検出を継続する。
次に、図6〜図9を参照して、具体的な衝突回避の動作について説明する。なお、図6〜図9は、実施例1に係る衝突回避の動作を時間を追って説明する模式図である。
図6(t=t0の状態)では、速度V1で通常走行している車両1と人Hとの距離、つまり距離検出部27で検出された距離がr0であるとする。距離r0は、距離Min1より遠い距離であるので、物体として検出された人Hを人として検出できる。したがって、この状態では、物体情報記憶部31に物体情報として人が記憶される。なお、このときの動作は、上述したフローチャートにおいてステップS1,S3,S4,S5に相当する。
図7(t=t1の状態)では、図6よりも車両1と人Hとの距離が近くなり、距離検出部27で検出された距離がr1となる。距離r1は、距離r0より短く、距離Min1以上の位置関係である。この状態であっても、物体として検出された人Hを人として検出できる。なお、このときの動作も、上述したフローチャートにおいてステップS1,S3,S4,S5に相当する。
図8(t=t2の状態)では、図7よりも車両1と人Hとの距離が近くなり、距離検出部27で検出された距離がr2となる。距離r2は、距離r1より短く、距離Min1より近く、距離Min2以上の位置関係である。この状態では、人Hを物体としか検出することができない。このときの動作は、上述したフローチャートにおいてステップS1,S3,S4,S6に相当する。
図9(t=t3の状態)では、図8よりも車両1と人Hとの距離が近くなり、距離検出部27で検出された距離がr3となる。距離r3は、距離r2より短く、距離Min2以上であって、衝突回避判断距離R1となる位置関係である。この状態では、人Hを物体としか検出できないものの、物体情報記憶部31の物体情報が人であるので、衝突回避判断部33が衝突回避制御として停止動作をするように車速制御部17に対して指示を行う。このときの動作は、上述したフローチャートにおいてステップS1,S3,S4,S6,S7,S8に相当する。
なお、上記において人Hが単なる物体であった場合には、上述したフローチャートにおいてステップS1,S3,S4,S6,S1またはステップS1,S3,S4,S6,S7,S1を繰り返すだけで、衝突回避制御を行うことはない。
本実施例1によると、衝突回避部23は、距離検出部27で得られた距離と、人検出部29からの人であるとの情報とに基づいて衝突を回避する。物体を判別して、物体が人Hであるとの情報である場合にのみ、物体への衝突回避制御を行い、物体が人H以外の場合には衝突回避制御を行わないので、経路上にゴルフバッグや収穫物収納箱が存在する場合や、経路が登り坂であったとしても誤検知して誤停止することを防止できる。
また、人検出部29に設定されている人検出可能範囲HAは、車両1側からみると、物体検出部25に設定されている物体検出可能範囲OAに含まれ、人検出可能範囲HAの最近点NP1までの距離Min1は、物体検出可能範囲OAの最近点NP2までの距離Min2よりも遠い関係にある。したがって、人検出可能範囲HAにて人Hと判断された物体が車両1に近づいて人検出可能範囲HAから物体検出可能範囲OAに移動した場合には、物体を人Hであると判断できなくなる。しかし、物体情報記部31には物体が人Hであるか否かの情報が記憶されているので、この情報が人Hであった場合には、衝突回避判断部33は、衝突回避判断距離R1に物体が位置した際に停止させる。したがって、物体が人Hであると判断されてから衝突回避制御までの時間を長くすることができ、人Hが車両1の前方の人検出可能範囲HAを通過するだけで衝突の危険がない場合の衝突回避制御を抑制できる。
次に、図面を参照して本発明の実施例2について説明する。
図10は、実施例2に係る対象物検出装置のブロック図である。
本実施例は、車両1の概略構成は上述した実施例1と同じであるので、説明については省略する。なお、図10のブロック図のうち、上述した実施例1と異なる部分についてのみ以下に説明する。
本実施例は、衝突回避部23が減速部41を備えている点において上述した実施例1と相違する。
減速部41は、距離検出部27から得られた物体までの距離情報と、人検出部29からの物体情報とに基づいて、人検出可能範囲内にある物体が、車両1に接近して人検出可能範囲内の減速位置に相対的に近づいた場合には、予め決められた速度まで減速するように衝突回避判断部33に対して指示を行う。衝突回避判断部33は、距離検出部27から得られた物体までの距離情報を記憶するとともに、この距離情報と、物体情報記憶部31に記憶されている物体情報とに基づいて、通常走行を維持するか、通常走行から停止を行うかの指示と、減速部41からの減速指示に基づいて、通常走行から所定の速度へ減速することの指示とを車速制御部17に対して行う。また衝突回避判断部33は、減速部41からの減速指示により減速した後、物体が人検出可能範囲の外になり、がつ、物体検出可能範囲の外になった場合には、減速を解除して元の通常走行に戻すように、車速制御部17を操作する。
なお、上述した減速部41が本発明における「減速手段」に相当する。
次に、図11〜16を参照して、上述した車両1の走行動作について説明する。なお、図11は、実施例2に係る車両の走行制御を示すフローチャートであり、図12〜図16は、衝突回避の動作を時間を追って説明する模式図である。
ここで、まず図12を参照する。本実施例における車両1は、上述した実施例1(図5)と同様に、物体検出部25と人検出部29の検出可能な範囲が設定されている。つまり、実施例2における車両1において、人検出部29は、物体が人であることを検出することができる人検出可能範囲HAが設定され、物体検出部25は、物体か否かを検出することができる物体検出可能範囲OAが設定されている。また、人検出可能範囲HAのうち、車両1に最も近い最近点NP1までの車両1からの距離をMin1とすることと、物体検出可能範囲OAのうち、車両1に最も近い最近点NP2までの車両1からの距離をMin2とすることも実施例1と同様である。また、本実施例2では、車両1が通常走行時には速度V1で走行し、減速時には速度V1よりも低速の速度V2で走行するものとした場合、速度V2にて走行する車両1が物体に衝突せずに停止できる車両1からの距離を停止可能距離X2とし、車両1が衝突回避制御を行う位置を衝突回避判断距離R2とする。衝突回避判断距離R2は、安全のために停止可能距離X2以上に設定されていることも実施例1と同様である。さらに、本実施例2では、人検出可能範囲HA内にある物体が相対的に車両1に接近した際に、速度V1から速度V2に減速する位置として、人検出可能範囲HA内に減速判断距離R3を設定してある。
本実施例における衝突回避判断距離R2は、実施例1の衝突回避判断距離R1よりも車両1に近く、本実施例における停止可能距離X2は、実施例1の停止可能距離X1よりも車両1に近くなっている。これは、後述するように車両1が衝突回避制御により停止する前に、既に減速を行っているからである。
次に、図11に基づいて走行制御について説明するが、既に車両1が通常走行を速度V1で行っており、検出部21による物体検出、距離検出、人検出が所定の周期で既に行われているものとする。
ステップT1〜T4
ステップT1では、検出部21による物体の検出の有無により分岐する。つまり、物体未検出の場合には、ステップT2にて物体情報記憶部31に物体情報として物体(人ではない)を書き込み、ステップT3を経て物体検出までステップT1を繰り返し実行する。ステップT1において物体をが検出された場合には、ステップT4にて、距離検出部27で検出された距離を衝突回避判断部33に記憶するとともに、報知部13により物体が存在することの警告を行う。
ステップT5〜T8
ステップT5では、人検出部29が物体を人であると検出したか否かにより処理を分岐する。人検出部29が人を検出した場合には、ステップT6にて物体情報記憶部31に物体情報として人を書き込む。さらに、ステップT7では、距離検出部27からの距離に基づき、車両1と人との距離が減速判断距離R3であるか否かにより分岐する。距離が減速判断距離R3である場合には、ステップT8にて減速部41が衝突回避判断部33に対して減速を指示する。一方、距離が減速判断距離R3でない場合には、現在の速度を維持したままステップT1に戻る。ステップT5にて、人検出部29が物体を人として検出していない場合、但し、このときは物体が一度は人として認識されているが、距離Min1よりも車両1と物体とが近づいた状態である。つまり、物体が人ではあるが、今現在は物体を人として認識できない距離にある状態である。この場合には、ステップT9に移行する。
ステップT9
衝突回避判断部33は、距離検出部27からの距離と衝突回避判断距離R2とを比較し、距離が衝突回避判断距離R2に達した場合には、ステップT10に移行し、距離が衝突回避判断距離R2に達していない場合には、ステップT1に戻る。
ステップT10,T11
衝突回避判断部33は、物体情報記憶部31の物体情報が人である場合には、ステップT11に移行して車速制御部17に衝突回避制御を行わせて、車両1を停止させる。その一方、物体情報記憶部31の物体情報が人でない場合には、ステップT1に戻って物体検出を行う。
次に、図12〜図16を参照して、具体的な衝突回避動作について説明する。
図12(t=t0)では、速度V1で通常走行している車両1と人Hとの距離がr0であるとする。距離r0は、距離Min1より遠い距離であるので、物体として検出された人Hを人として検出できる。したがって、この状態で物体情報記憶部31に物体情報として人が記憶され、距離が減速判断距離R3ではないので、通常走行を維持する。なお、このときの動作は、上述したフローチャートにおいてステップT1,T4,T5〜T7,T1に相当する。
図13(t=t1の状態)では、図12よりも車両1と人Hとの距離が近づき、距離検出部27で検出された距離がr1となる。この距離r1は、減速判断距離R3に達しているので、減速部41が衝突回避判断部33に対して減速を指示する。衝突回避判断部33は、車速制御部17を操作して、車両1の速度をV1からV2に減速させる。なお、このときの動作は、上述したフローチャートにおいてステップT1,T4〜T8,T1に相当する。
図14(t=t2)では、図13よりも車両1と人Hとの距離が近くなり、距離検出部27で検出された距離がr2となる。距離r2は、距離r1より短く、距離Min1以上、距離Min2以上の位置関係である。この状態では、物体を人Hとして検出することができるが、減速判断距離R3以下であるので減速した速度V2で走行を維持する。なお、このときの動作は、上述したフローチャートにおいてステップT1,T4〜T7、T1に相当する。
図15(t=t3)では、図14よりも車両1と人Hとの距離が近づき、距離がr3となる。距離r3は、距離r2より短く、距離Min1より短く、距離Min2以上の位置関係である。この状態では、人Hを物体としか検出することができない。しかし、距離r3は衝突回避判断距離R2より長いので、速度V2を維持する。このときの動作は、上述したフローチャートにおいてステップT1,T4,T5,T9,T1に相当する。
図16(t=t4)では、図15よりも車両1と人Hの距離が短くなり、距離検出部27で検出された距離がr4となる。距離r4は、距離r3より短く、距離Min2以上であって、衝突回避判断距離R2となる位置関係である。この状態では、人Hを物体としか検出できないものの、物体情報記憶部31の物体情報が人であるので、衝突回避判断部33が衝突回避制御として停止動作をするように車速制御部17に対して指示を行う。このときの動作は、ステップT1,T4,T5,T9〜T11に相当する。
なお、上記において人Hが単なる物体であった場合には、上述したフローチャートにおいてステップT1、T4、T5、T9、T1またはステップT1、T4、T5、T9、T10、T1を繰り返すだけで、衝突回避制御を行うことはない。
次に、同じく実施例2に関して、図17〜図26を参照して、物体を人として誤検出した場合の動作例について説明する。なお、図17、図19,図21、図23、図25は、誤検出時における衝突回避の動作を時間を追って説明する模式図であり、図18、図20、図22、図24、図26は、画像センサの画像を示す模式図である。
なお、この例においては、走行経路が車両1からみて左方向に曲がっており、走行経路が曲がった箇所の右側であって、直線の走行経路の延長線上に物体であって人ではない樹木Oが存在しているものとする。
図17(t=t0)では、速度V1で通常走行している車両1と樹木Oとの距離がr0である。このとき車両1から前方を臨むと、図18のようになる。この距離r0は、人検出可能範囲HAのうち車両1に最も近い最近点NP1までの距離Min1及び物体検出可能範囲OAの同じく最近点NP2までの距離Min2並びに減速判断距離R3より遠い位置関係である。したがって、速度V1による通常走行が維持される。但し、ここでは、樹木Oが人として誤検出され、物体情報記憶部31に物体情報として人が記憶されているものとする。このときの動作は、上述した図11のフローチャートにおいてステップT1,T4〜T7,T1に相当する。
図19(t=t1)では、図17よりも車両1と樹木Oとの距離が近づき、距離がr1になったとする。このとき車両1から前方を臨むと、図20のようになる。この距離r1は、減速判断距離R3に達しているので、減速部41が衝突回避判断部33に対して減速を指示する。したがって、車両1の速度がV1からV2に減速される。このときの動作は、上述したフローチャートにおいてステップT1,T4〜T8,T1に相当する。
図21(t=t2)では、図19よりも車両1と樹木Oの距離が近くなり、距離がr2になったとする。このとき車両1から前方を臨むと、図22のようになる。距離r2は、距離r1より短く、距離Min1以上、減速判断距離R3以下、距離Min2以上、衝突回避判断距離R2以上である。また、この状態においても樹木Oが人として誤検出されているものとする。したがって、車両1は減速した速度V2による走行が維持される。このときの動作は、上述したフローチャートにおいてステップT1,T4〜T7,T1に相当する。
図23(t=t3)では、図21よりも車両1と樹木の距離が近くなり、距離がr3になったとする。このとき車両1から前方を臨むと、図24のようになる。距離r3は、距離r2より短く、距離Min1より短いので、この状態では、樹木Oは人である否かの判断はできないが、衝突回避判断距離R2以上である。したがって、車両1は、速度V2を維持される。このときの動作は、上述したフローチャートにおいてステップT1,T4,T5,T9,T1に相当する。
図25(t=t4)では、図23よりも車両1と樹木の距離が近くなり、距離がr4になったとする。さらに、車両1は、走行経路に沿って左方向に姿勢を変えた状態である。このとき車両1から前方を臨むと、図26のようになる。距離r4は、距離r3より短く、距離Min2以上であって、衝突回避判断距離R2以下となる関係になるが、樹木Oは、物検出可能範囲OA外となっているので、距離r4を検出することはできない。したがって、衝突回避判断部33は、距離検出部27から距離を受けとることができないので、物検出可能範囲OA外であることを知ることができ、それに基づいて車速制御部17に対して速度V1へ戻すように指示を行う。このときの動作は、上述したフローチャートにおいてステップT1〜T3に相当する。
本実施例によると、上述した実施例1での効果の他に、人検出部29に設定されている人検出可能範囲HAは、車両1側からみると、物体検出部25に設定されている物体検出可能範囲OAに含まれ、人検出可能範囲HAの最近点NP1までの距離Min1は、物体検出可能範囲OAの最近点NP2までの距離Min2よりも遠い関係にある。したがって、人検出可能範囲HAにて人と判断された人Hが車両1に近づいて人検出可能範囲HAから物体検出可能範囲OAに移動した場合には、人Hを人であると判断できなくなる。しかし、物体情報記憶部31には人Hが人であるか否かの情報が記憶されているので、この情報が人であった場合には、衝突回避判断部33は、衝突回避判断距離R2に物体が位置した際に停止させる。したがって、人Hが人であると判断されてから衝突回避制御までの時間を長くすることができ、人Hが車両1の前方の人検出可能範囲HAを通過するだけで衝突の危険がない場合の衝突回避制御を抑制できる。また、人検知可能範囲HA内の所定の減速判断距離R3に人Hが位置した時点で減速部41により減速を行っているので、停止距離を短くすることができ、衝突回避制御の確度を高めることができる。
また、樹木Oが人検出可能範囲HAの外、かつ、物体検出可能範囲OAの外となった場合には、衝突回避制御が不要であるので、減速した場合であっても減速前の元の速度V1に戻す。したがって、減速の後に停止することなく通常走行に戻るので、車両1の走行の効率を向上させることができる。また、樹木Oを人Hと誤検知しても、ぎりぎりまで衝突回避制御を行わないので、走行効率の低下を抑制できる。
本発明は、上記実施形態に限られることはなく、下記のように変形実施することができる。
(1)上述した各実施例1,2では、自律走行車両としてゴルフカートを例にとったが、本発明はこれに限定されるものではない。例えば、自律走行車両としては、工場や果樹園などで走行する無人搬送車も含まれる。
(2)上述した各実施例1,2では、自律走行車両が4輪である場合を例にとって説明したが、本発明はこのような形態に限定されない。例えば、3輪を備えた自律走行車両であっても本発明を適用することができる。
(3)上述した各実施例1,2では、駆動モータ19により走行する自律走行車両を例にとったが、本発明は駆動モータ19に限られるものではなく、エンジンによって走行する自律走行車両にも適用できる。
(4)上述した各実施例1,2では、距離検出手段と、人検出手段とを一つのステレオカメラ9で構成したが、本発明はこのような実施形態に限定されない。例えば、距離検出手段として超音波やレーザ光を用いた距離測定装置を用い、人検出手段とは別体で構成するようにしてもよい。
(5)上述した各実施例1,2では、一つのステレオカメラ9を車体外装7の前部に設けているが、本発明はこの位置への取り付けに限定されない。例えば、一つのステレオカメラ9を車体外装7の上部(屋根部)に取り付ける構成としてもよい。
1 … 車両
3 … 車両本体
5 … 車輪
7 … 車体外装
9 … ステレオカメラ
11 … 物体検出装置
15 … 自動走行制御装置
17 … 車速制御部
19 … 駆動モータ
21 … 検出部
23 … 衝突回避部
25 … 物体検出部
27 … 距離検出部
29 … 人検出部
31 … 物体情報記憶部
33 … 衝突可否判断部
OA … 物体検出可能範囲
HA … 人検出可能範囲
NP1 … 人検出可能範囲の最近点
NP2 … 物体検出可能範囲の最近点
Min1 … 最近点までの距離
Min2 … 最近点までの距離
X1 … 停止可能距離
R1 … 衝突回避判断距離

Claims (4)

  1. 予め定められた走行経路上を自律走行する自律走行車両であって、
    予め設定された領域内における物体を検出する物体検出手段と、
    前記物体検出手段で検出された物体までの距離を検出する距離検出手段と、
    前記物体検出手段で検出された物体が人であるか否かを検出する人検出手段と、
    前記距離検出手段で得られた距離と、前記人検出手段で得られた人であるとの情報とに基づいて、前記物体への衝突を回避する衝突回避手段と、
    を備え、
    前記衝突回避手段は、前記物体が人であると判断されても、車両が衝突せずに停止できる停止可能距離以上離れている衝突回避判断距離になるまで車両を停止させず、
    さらに、
    前記人検出手段は、人検出可能範囲が設定され、
    前記物体検出手段は、物体検出可能範囲が設定され、
    前記人検出可能範囲のうち車両に最も近い最近点までの車両からの距離は、前記物体検出可能範囲のうち車両に最も近い最近点までの車両からの距離よりも遠い関係であって、
    前記衝突回避手段は、
    車両に対して前記人検出可能範囲内にあった物体が、車両と接近して、前記人検出可能範囲の外、かつ、前記物体検出可能範囲内に位置する状態になる前に、前記人検出手段により前記物体が人であると検出されていたか否かの情報を記憶する物体情報記憶手段と、
    前記物体情報記憶手段からの情報が人であった場合には、車両から前記物体までの距離が前記物体検出可能範囲内であって、前記衝突回避判断距離になったときに車両を停止させる判断を行う衝突回避判断手段と、
    を備えている自律走行車両。
  2. 予め定められた走行経路上を自律走行する自律走行車両であって、
    予め設定された領域内における物体を検出する物体検出手段と、
    前記物体検出手段で検出された物体までの距離を検出する距離検出手段と、
    前記物体検出手段で検出された物体が人であるか否かを検出する人検出手段と、
    前記距離検出手段で得られた距離と、前記人検出手段で得られた人であるとの情報とに基づいて、前記物体への衝突を回避する衝突回避手段と、
    を備え、
    前記衝突回避手段は、前記物体が人であると判断されても、車両が衝突せずに停止できる停止可能距離以上離れている衝突回避判断距離になるまで車両を停止させず、
    さらに、
    前記人検出手段は、人検出可能範囲が設定され、
    前記物体検出手段は、物体検出可能範囲が設定され、
    前記人検出可能範囲のうち車両に最も近い最近点までの車両からの距離は、前記物体検出可能範囲のうち車両に最も近い最近点までの車両からの距離よりも遠い関係であって、
    前記衝突回避手段は、
    車両に対して前記人検出可能範囲内にあった物体が、車両と接近して、車両から前記物体までの距離が前記人検出可能範囲内の予め設定された減速判断距離になったときに、予め定められた速度まで減速する減速手段と、
    車両と前記物体とがさらに接近して前記物体が前記人検出可能範囲の外、かつ、前記物体検出可能範囲内に位置する状態になる前に、前記人検出手段により前記物体が人であると検出されていたか否かの情報を記憶する物体情報記憶手段と、
    前記物体情報記憶手段からの情報が人であった場合には、車両から前記物体までの距離が前記物体検出可能範囲内であって、前記衝突回避判断距離になったときに車両を停止させる判断を行う衝突回避判断手段と、
    を備えている自律走行車両。
  3. 請求項に記載の自律走行車両において、
    前記衝突回避判断手段は、前記減速手段により減速した後、前記人が前記人検出可能範囲の外、かつ、前記物体検出可能範囲の外となった場合には、減速を解除して元の速度に戻す自律走行車両。
  4. 請求項1からのいずれかに記載の自律走行車両において、
    前記物体検出手段と、前記距離検出手段と、前記人検出手段は、一つのステレオカメラからの画像に基づいて検出動作を行う自律走行車両。
JP2013216412A 2013-10-17 2013-10-17 自律走行車両 Active JP6271212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013216412A JP6271212B2 (ja) 2013-10-17 2013-10-17 自律走行車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013216412A JP6271212B2 (ja) 2013-10-17 2013-10-17 自律走行車両

Publications (2)

Publication Number Publication Date
JP2015079368A JP2015079368A (ja) 2015-04-23
JP6271212B2 true JP6271212B2 (ja) 2018-01-31

Family

ID=53010738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013216412A Active JP6271212B2 (ja) 2013-10-17 2013-10-17 自律走行車両

Country Status (1)

Country Link
JP (1) JP6271212B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886215A (zh) * 2019-02-26 2019-06-14 常熟理工学院 基于机器视觉的低速园区无人车巡航及紧急制动系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690904B2 (ja) * 2015-08-07 2020-04-28 ヤマハ発動機株式会社 自動走行車両
KR102079524B1 (ko) * 2015-07-29 2020-02-20 야마하하쓰도키 가부시키가이샤 자동 주행 차량 및 이것을 포함하는 자동 주행 시스템
KR101778558B1 (ko) 2015-08-28 2017-09-26 현대자동차주식회사 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법
US10255582B2 (en) 2016-08-18 2019-04-09 Amazon Technologies, Inc. AGV traffic management system
JP6986430B2 (ja) * 2017-12-06 2021-12-22 ヤンマーパワーテクノロジー株式会社 走行経路設定装置
AU2019404207B2 (en) * 2018-12-20 2023-12-14 Augean Robotics, Inc. Collaborative autonomous ground vehicle
JP7319541B2 (ja) * 2019-09-25 2023-08-02 シンフォニアテクノロジー株式会社 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム
CN111665852B (zh) * 2020-06-30 2022-09-06 中国第一汽车股份有限公司 一种障碍物避让方法、装置、车辆及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2991024B2 (ja) * 1994-01-28 1999-12-20 新神戸電機株式会社 自走式ゴルフカート
JPH09185412A (ja) * 1995-12-28 1997-07-15 Yaskawa Electric Corp 自律移動装置
JP4533787B2 (ja) * 2005-04-11 2010-09-01 フィグラ株式会社 作業ロボット
JP2009116860A (ja) * 2007-10-19 2009-05-28 Yamaha Motor Powered Products Co Ltd 車両
JP5418005B2 (ja) * 2009-06-16 2014-02-19 富士通株式会社 追跡システムおよび追跡方法
US20110026770A1 (en) * 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886215A (zh) * 2019-02-26 2019-06-14 常熟理工学院 基于机器视觉的低速园区无人车巡航及紧急制动系统
CN109886215B (zh) * 2019-02-26 2021-10-19 常熟理工学院 基于机器视觉的低速园区无人车巡航及紧急制动系统

Also Published As

Publication number Publication date
JP2015079368A (ja) 2015-04-23

Similar Documents

Publication Publication Date Title
JP6271212B2 (ja) 自律走行車両
US11260854B2 (en) Vehicle and method of controlling the same
US11097726B2 (en) Lane keeping assist system and method for improving safety in preceding vehicle follower longitudinal control
US9493163B2 (en) Driving support apparatus for vehicle
CN110103967B (zh) 一种车辆自动变道方法及车辆控制系统、车辆
KR101628503B1 (ko) 운전자 보조장치 및 그 작동 방법
JP7107349B2 (ja) 警報の作動タイミングを適合させるためのシステムおよび方法
JP6184923B2 (ja) 車両の移動体衝突回避装置
JP2016199262A (ja) 後退走行中の前輪軌道逸脱に基づく衝突の回避
US11351993B2 (en) Systems and methods for adapting a driving assistance system according to the presence of a trailer
KR102677702B1 (ko) 차량 및 그 제어방법
CN106794838A (zh) 用于至少半自主操纵机动车辆的方法、驾驶员辅助系统和机动车辆
JP2004362586A (ja) 車両用画像処理システム
WO2021187202A1 (en) Systems and methods for adapting activation of alerts according to curvature of a target path
JP2016164735A (ja) 障害物検出装置およびそれを備えた移動体
JP6034396B2 (ja) 車速制御装置およびそれを備えた車両
US20210074161A1 (en) Vehicle and method of controlling the same
JP2017117191A (ja) 運転支援装置
KR20200119068A (ko) 차량 및 그 제어방법
KR20210000994A (ko) 차량 및 그 제어방법
WO2021090566A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20200029806A (ko) 차량 및 그 제어방법
JP2019206318A (ja) 監視装置
KR102335987B1 (ko) 차량 주행제어 장치 및 방법
JP7274591B2 (ja) 車両制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171227

R150 Certificate of patent or registration of utility model

Ref document number: 6271212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250