JP6615725B2 - 走行速度算出装置および走行速度算出方法 - Google Patents

走行速度算出装置および走行速度算出方法 Download PDF

Info

Publication number
JP6615725B2
JP6615725B2 JP2016182014A JP2016182014A JP6615725B2 JP 6615725 B2 JP6615725 B2 JP 6615725B2 JP 2016182014 A JP2016182014 A JP 2016182014A JP 2016182014 A JP2016182014 A JP 2016182014A JP 6615725 B2 JP6615725 B2 JP 6615725B2
Authority
JP
Japan
Prior art keywords
vehicle
inter
time
speed
relative speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016182014A
Other languages
English (en)
Other versions
JP2018045620A (ja
Inventor
美彦 鈴木
俊雄 佐藤
秀樹 上野
雄介 高橋
義和 大場
泰浩 青木
浩 堺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2016182014A priority Critical patent/JP6615725B2/ja
Priority to EP17189825.7A priority patent/EP3306588A3/en
Priority to US15/698,113 priority patent/US20180082581A1/en
Priority to AU2017225071A priority patent/AU2017225071A1/en
Publication of JP2018045620A publication Critical patent/JP2018045620A/ja
Priority to AU2019202850A priority patent/AU2019202850B2/en
Application granted granted Critical
Publication of JP6615725B2 publication Critical patent/JP6615725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Description

本発明の実施形態は、走行速度算出装置および走行速度算出方法に関する。
撮像部によって前方の車両を撮像して得られた撮像画像に対して画像処理を実行して、自車両と前方の車両との車間距離を計測し、車間距離の計測結果に基づいて、交通状況の推定や運転支援を行うことを目的としたプローブ車両がある。
特開2005−301603号公報 特開2015−74426号公報 特開2007−241439号公報
このプローブ車両では、自車両が走行する車線と同一の車線を走行する前方の車両との車間距離を計測して、当該車間距離により交通量を推定しているため、車線毎に交通量が異なる場合、一定時間毎にプローブ車両が走行する車線を変更することによって、車線毎の交通量を推定する方法もあるが、交通量を推定できる時間および範囲が限定されるため、交通量の推定結果の信頼度が低下する可能性がある。また、この場合、各車線にプローブ車両を走行させる必要があり、コストがかかる。
実施形態の走行速度算出装置は、取得部と、画像処理部と、車間距離算出部と、相対速度算出部と、走行速度算出部と、判定部と、を備える。取得部は、プローブ車両が有する撮像部でプローブ車両の前方およびプローブ車両が走行する車線に隣接する隣接車線を撮像した画像と、プローブ車両の走行速度と、を含むプローブ情報を取得する。画像処理部は、取得部で取得した画像から車両を検出する。車間距離算出部は、画像検出部で検出した車両から、プローブ車両と走行する他の車両との車間距離を算出する。相対速度算出部は、先の時刻の画像から検出される車両に基づいて算出される先の車間距離と、先の時刻から所定時間後の後の時刻の画像から検出される車両に基づいて算出される後の車間距離と、に基づいて、プローブ車両に対する他の車両の相対速度を算出する。走行速度算出部は、プローブ車両の走行速度および相対速度に基づいて、他の車両の走行速度を算出する。判定部は、先の時刻の画像から検出した車両および複数の後の時刻の画像から検出した複数の車両に基づいて算出した前記相対速度の時間変化に基づいて、他の車両の入れ替わりの有無を判定する。
図1は、本実施形態にかかるプローブ車両のコックピットの構成の一例を示す図である。 図2は、本実施形態にかかるプローブ車両が有する車載装置の機能構成の一例を示すブロック図である。 図3は、本実施形態にかかるプローブ車両が有する車載装置による相対速度の算出処理の一例を説明するための図である。 図4は、本実施形態にかかる車載装置による他の車両の絶対速度の算出処理の流れの一例を示すフローチャートである。 図5は、本実施形態にかかる車載装置による他の車両の入れ替わりの有無の判定処理の流れの一例を示すフローチャートである。 図6は、本実施形態にかかる車載装置による他の車両の入れ替わりの有無の判定処理の一例を説明するための図である。 図7は、本実施形態にかかる車載装置による他の車両の入れ替わりの有無を判定する処理の一例を説明するための図である。
以下、添付の図面を用いて、本実施形態にかかる走行速度算出装置および走行速度算出方法を適用したプローブ車両について説明する。
図1は、本実施形態にかかるプローブ車両のコックピットの構成の一例を示す図である。図1に示すように、本実施形態にかかるプローブ車両は、車載装置100と、撮像部101,102と、を有する。撮像部101,102は、プローブ車両の前方を走行する他の車両等を、互いに異なるアングルから撮像可能に設けられている。本実施形態では、撮像部101,102は、プローブ車両のセンターコンソールを挟んで左右対称に設けられている。
車載装置100は、プローブ車両全体を制御する制御装置として機能する。また、車載装置100は、撮像部101,102の撮像により得られる撮像画像に基づいて、プローブ車両が走行する車線に隣接する他の車線を走行する他の車両の走行速度を算出し、当該他の車両の走行速度の算出結果等を、センターサーバ等の外部装置に送信する。センターサーバ等の外部装置は、プローブ車両から受信する他の車両の走行速度等に基づいて、プローブ車両が走行する車両に隣接する他の車線等の交通量を推定する。
図2は、本実施形態にかかるプローブ車両が有する車載装置の機能構成の一例を示すブロック図である。図2に示すように、本実施形態では、車載装置100は、カメラ画像取得部201と、画像処理部202と、車間距離解析部203と、車両入れ替わり判定部204と、時間管理部205と、相対速度算出部206と、車速検出部207と、絶対速度算出部208と、記憶部209と、を有する。
カメラ画像取得部201は、撮像部101,102の撮像により得られる撮像画像(動画像)を取得する。車速検出部207は、プローブ車両の走行速度を検出する。本実施形態では、カメラ画像取得部201および車速検出部207が、撮像部101,102の撮像により得られる動画像およびプローブ車両の走行速度を含むプローブ情報を取得する取得部として機能する。
本実施形態では、車速検出部207は、プローブ車両に搭載されかつ当該プローブ車両の走行を制御する電子制御ユニット(ECU:Engine Control Unit)から、プローブ車両の走行速度を取得する。または、車速検出部207は、プローブ車両が備える車載器が含むGPS受信機によって、受信するGPS(Global Positioning System)信号に基づいて特定されるプローブ車両の位置(例えば、プローブ車両が走行する位置の経度および緯度)の変化に基づいて、プローブ車両の走行速度を取得しても良い。または、車速検出部207は、プローブ車両が備えるカーナビゲーションシステムにより算出されるプローブ車両の走行速度を取得しても良い。
画像処理部202は、カメラ画像取得部201により取得される動画像を構成するフレームに対して画像処理を行って、当該フレームに含まれる車線および車両を検出する。車間距離解析部203は、画像処理部202により各フレームから検出した車線および車両に基づいて、プローブ車両と、当該プローブ車両が走行する車線(以下、自車線と言う)に隣接する他の車線(以下、隣接車線と言う)を走行する他の車両との車間距離を算出する。すなわち、本実施形態では、画像処理部202および車間距離解析部203が、動画像を構成するフレームに基づいて、車間距離を算出する車間距離算出部の一例として機能する。時間管理部205は、撮像部101,102の撮像によって各フレームが得られた時刻を求める。
本実施形態では、画像処理部202および車間距離解析部203は、ステレオカメラによってプローブ車両の前方および画角内に収まる隣接車線の他の車両を撮像して、他の車両の車間距離を算出しても良いし、撮像部101および撮像部102のいずれか一方(単眼カメラ)によって、プローブ車両の前方および画角内に収まる隣接車線の他の車両を撮像して、他の車両の車間距離を取得する構成としても良い。または、プローブ車両の前方を撮像可能に設けられた撮像部101,102以外に、隣接車線の他の車両を撮像可能に設けられた撮像部(プローブ車両の斜め前方、横方向、斜め後ろ方向を撮像可能な撮像部)を設け、当該撮像部により得られる動画像が含むフレームに基づいて、他の車両との車間距離を算出可能としても良い。または、特定の方向に向けた撮像部を用いず、360度カメラ(全周囲カメラ)で得られる動画像を構成するフレームに基づいて、他の車両との車間距離を算出可能としても良い。
相対速度算出部206は、動画像を構成するフレームのうち先の時刻のフレームに基づいて算出される車間距離(以下、先の車間距離と言う)と、先の時刻から所定時間(例えば、100msec)後のフレームに基づいて算出される車間距離(以下、後の車間距離と言う)とに基づいて、プローブ車両に対する他の車両の相対速度を算出する。絶対速度算出部208(走行速度算出部の一例)は、車速検出部207により検出されるプローブ車両の走行速度と、相対速度算出部206により算出される相対速度とに基づいて、他の車両の走行速度(以下、絶対速度と言う)を算出する。本実施形態では、絶対速度算出部208は、プローブ車両の走行速度に相対速度を加算した速度を、他の車両の絶対速度として算出する。
車両入れ替わり判定部204(判定部の一例)は、先の時刻のフレームおよび後の時刻のフレームに基づいて、他の車両の入れ替わりの有無を判定する。次いで、車両入れ替わり判定部204は、他の車両の入れ替わりが有ったと判定した場合、絶対速度算出部208に対して、先の車間距離および後の車間距離に基づいて算出した相対速度に基づく他の車両の絶対速度の算出を禁止する。これにより、異なる他の車両との車間距離に基づいて他の車両の絶対速度が算出されることを防止できるので、他の車両の絶対速度の算出精度を向上させることができる。
次に、図3を用いて、本実施形態にかかるプローブ車両が有する車載装置100による相対速度の算出処理について説明する。図3は、本実施形態にかかるプローブ車両が有する車載装置による相対速度の算出処理の一例を説明するための図である。
図3に示すように、時刻t0において、プローブ車両PCは位置P1を走行し、先行車両ACはプローブ車両PCが走行する自車線において位置P1より前方の位置P2を走行し、他の車両OC1は隣接車線(図3に示す例では、プローブ車両PCが走行する自車線の右側に隣接する他の車線)において位置P1より前方の位置P3を走行しているものとする。また、図3に示すように、時刻t0から所定時間(100msec)後の時刻t1において、プローブ車両PCは位置P4を走行し、先行車両ACはプローブ車両PCが走行する自車線において位置P4より前方の位置P5を走行し、他の車両OC1は隣接車線において位置P4より前方の位置P6を走行しているものとする。また、図3に示すように、時刻t1から所定時間(100msec)後の時刻t2において、プローブ車両PCは位置P7を走行し、先行車両ACはプローブ車両PCが走行する自車線において位置P7より前方の位置P8を走行し、他の車両OC1は隣接車線において位置P7より前方の位置P9を走行しているものとする。
車間距離解析部203は、時刻t0のフレームに基づいて、位置P1を走行するプローブ車両PCと、位置P3を走行する他の車両OC1との車間距離d0を算出する。また、車間距離解析部203は、時刻t1のフレームに基づいて、位置P4を走行するプローブ車両PCと、位置P6を走行する他の車両OC1との車間距離d1を算出する。ここで、時刻t0において位置P3を走行する他の車両OC1と、時刻t1において位置P6を走行する他の車両OC1とが同一の車両である場合、相対速度算出部206は、下記の式(1)に従って、プローブ車両PCと他の車両OC1との相対速度V(m/sec)を算出できる。
V=(d1−d0)/(t1−t0)・・・(1)
よって、相対速度算出部206は、下記の式(2)に従って、時刻t0におけるプローブ車両PCの走行速度v1に対して、相対速度Vを加算することによって、時刻t1における他の車両OC1の絶対速度v2を算出する。
v2=v1+((d1−d0)/(t1−t0))・・・(2)
また、車間距離解析部203は、時刻t1のフレームに基づいて、位置P4を走行するプローブ車両PCと、位置P6を走行する他の車両OC1との車間距離d1を算出する。また、車間距離解析部203は、時刻t2のフレームに基づいて、位置P7を走行するプローブ車両PCと、位置P9を走行する他の車両OC1との車間距離d2を算出する。ここで、時刻t1において位置P6を走行する他の車両OC1と、時刻t2において位置P9を走行する他の車両OC1とが同一の車両である場合、相対速度算出部206は、下記の式(3)に従って、プローブ車両PCと他の車両OC1との相対速度V(m/sec)を算出する。
V=(d2−d1)/(t2−t1)・・・(3)
よって、相対速度算出部206は、下記の式(4)に従って、時刻t1におけるプローブ車両PCの走行速度v3に対して、相対速度Vを加算することによって、時刻t2における他の車両OC1の絶対速度v4を算出する。
v4=v3+((d2−d1)/(t2−t1))・・・(4)
ところで、時刻t2において位置P7を走行するプローブ車両PCの走行速度v5と、時刻t2において位置P9を走行する他の車両OC1の絶対速度v4との関係が、v4>v5である場合、相対速度算出部206は、その速度差によって、プローブ車両PCと他の車両OC1との車間距離が長くなり、時刻t2以降の時刻において、プローブ車両PCに対する他の車両OC1の相対速度を算出できなくなる可能性がある。さらに、時刻t2においてプローブ車両PCの後方を走行していた他の車両OC2が、時刻t2以降の時刻において、撮像部101,102の画角内に入ってくることによって、他の車両の入れ替わりが発生する可能性もある。
また、時刻t2において位置P7を走行するプローブ車両PCの走行速度v5と、時刻t2において位置P9を走行する他の車両OC1の絶対速度v4との関係が、v4<v5である場合、相対速度算出部206は、その速度差によって、時刻t2以降の時刻において、プローブ車両PCが他の車両OC1を追い越してしまい、時刻t2以降の時刻において、プローブ車両PCに対する他の車両OC1の相対速度を算出できなくなる可能性がある。さらに、時刻t2において他の車両OC1の前方を走行していた他の車両が、時刻t2以降の時刻において、撮像部101,102の画角内に入ってくることによって、他の車両の入れ替わりが発生する可能性もある。
このように、プローブ車両の走行速度と他の車両の絶対速度との間に速度差がある場合、他の車両の入れ替わりが発生する。そして、他の車両の入れ替わりを検出できなかった場合、他の車両の入れ替わり前と入れ替わり後との間で、車間距離が大きく変化し、相対速度算出部206により算出される相対速度も大きく変化する。したがって、他の車両が急加速または急減速したのか、若しくは他の車両の入れ替わりが発生したのかを判別して、プローブ車両に対する他の車両の相対速度を算出する必要がある。
そこで、本実施形態では、上述したように、車両入れ替わり判定部204が、先の時刻のフレームおよび後の時刻のフレームに基づいて、他の車両の入れ替わりの有無を判定する。そして、車両入れ替わり判定部204は、他の車両の入れ替わりが有ったと判定した場合、絶対速度算出部208に対して、先の車間距離と後の車間距離に基づいて算出した相対速度に基づく他の車両の絶対速度の算出を禁止する。
具体的には、画像処理部202が、各時刻t0,t1,t2のフレームに対して画像処理を行って、当該フレームに含まれる車線および車両を検出する。車間距離解析部203は、図3に示すように、画像処理部202による車線および車両の検出結果に基づいて、各時刻t0,t1,t2における、プローブ車両PCと他の車両OC1との車間距離d0,d1,d2を算出する。
そして、相対速度算出部206は、上述したように、時刻t0の車間距離d0と時刻t1の車間距離d1の差分を、時刻t0と時刻t1の差分で除算した値を、時刻t1における相対速度Vとして算出する。相対速度算出部206は、時刻t2における相対速度Vも同様にして算出する。本実施形態では、所定時間の一例である100msec毎に、相対速度Vを算出する例について説明するが、より短い時間毎に、相対速度Vを算出しても良い。ただし、撮像部101,102の撮像により得られる撮像画像の1画素に基づいて算出可能な車間距離の閾値より短い車間距離を算出することは難しいため、車間距離が、閾値以上変化する所定時間毎に、相対速度Vを算出することが好ましい。
次に、車両入れ替わり判定部204は、所定時間毎の車間距離または相対速度の変化に連続性があるか否かに基づいて、他の車両の入れ替わりの有無を判定する。言い換えると、車両入れ替わり判定部204は、車間距離または相対速度の時間変化に基づいて、他の車両の入れ替わりの有無を判定する。具体的には、車両入れ替わり判定部204は、先の車間距離と後の車間距離との差分、または先の時刻における相対速度と後の時刻における相対速度との差分に基づいて、他の車両の入れ替わりの有無を判定する。例えば、車両入れ替わり判定部204は、先の車間距離と次の車間距離との差分、または先の時刻における相対速度と後の時刻における相対速度との差分が、所定閾値を超えた場合に、他の車両の入れ替わりが有ったと判定する。そして、車両入れ替わり判定部204は、他の車両の入れ替わりが有ったと判定した場合、絶対速度算出部208に対して、先の車間距離および後の車間距離に基づいて算出した相対速度に基づく絶対速度の算出を禁止する。
ここで、所定閾値は、車両の現実的な加減速によって所定時間で変化する車間距離または相対速度である。例えば、所定閾値は、プローブ車両が減速しかつ他の車両が加速している場合を想定し、予め設定された速度(法定速度など)の2倍の加速度で他の車両が加速または減速した場合に所定時間に変化する車間距離または相対速度にマージンを付加した値である。若しくは、所定閾値は、他の車両の入れ替わりが発生し難い加速度で他の車両が加速または減速した場合に所定時間に変化する車間距離または相対速度であっても良い。
また、車両入れ替わり判定部204は、動画像を構成するフレームから一瞬でも他の車両が検出できなくなり、当該フレームから車間距離を算出できなくなった場合に、他の車両の入れ替わりが有ったと判定する。すなわち、車両入れ替わり判定部204は、動画像を構成するフレームに基づく車間距離の算出の可否に基づいて、他の車両の入れ替わりの有無を判定する。具体的には、車両入れ替わり判定部204は、ある時刻のフレームから他の車両をできず、車間距離を算出できなかった場合、絶対速度算出部208に対して、当該時刻の車間距離に基づいて算出された相対速度に基づく絶対速度の算出を禁止する。
また、車間距離解析部203は、画像処理部202により各フレーム(例えば、図3に示す時刻t0,t1,t2のフレーム)から検出した車線および車両に基づいて、プローブ車両(例えば、図3に示すプローブ車両PC)と、先行車両(例えば、図3に示す先行車両AC)との車間距離を算出する。また、相対速度算出部206は、プローブ車両に対する他の車両の相対速度と同様にして、先の時刻におけるプローブ車両と先行車両との車間距離と、後の時刻におけるプローブ車両と先行車両との車間距離とに基づいて、プローブ車両に対する先行車両の相対速度を算出する。そして、絶対速度算出部208も、他の車両の絶対速度と同様にして、車速検出部207により検出されるプローブ車両の走行速度と、プローブ車両に対する先行車両の相対速度とに基づいて、先行車両の走行速度を算出する。その際、車両入れ替わり判定部204は、他の車両の入れ替わり有無の判定と同様にして、先の時刻のフレームおよび後の時刻のフレームに基づいて、先行車両の入れ替わりの有無を判定する。そして、車両入れ替わり判定部204は、先行車両の入れ替わりが有ったと判定した場合、絶対速度算出部208に対して、先の時刻におけるプローブ車両と先行車両との車間距離と、後の時刻におけるプローブ車両と先行車両との車間距離とに基づいて算出された相対速度に基づく先行車両の走行速度の算出を禁止する。
次に、図4を用いて、本実施形態にかかる車載装置100による他の車両の絶対速度の算出処理の流れの一例について説明する。図4は、本実施形態にかかる車載装置による他の車両の絶対速度の算出処理の流れの一例を示すフローチャートである。
外部装置から、他の車両の絶対速度の算出指示が入力された場合に、画像処理部202は、カメラ画像取得部201により取得される動画像を構成するフレームのうちある時刻(以下、処理対象時刻と言う)のフレーム(以下、処理対象フレームと言う)に対して画像処理を行って、当該処理対象フレームに含まれる車線および車両を検出する(ステップS401)。さらに、車間距離解析部203は、画像処理部202により処理対象フレームから検出した車線および車両に基づいて、プローブ車両と、他の車両との車間距離を算出する(ステップS401)。
次いで、車両入れ替わり判定部204は、処理対象時刻より所定時間前の先の時刻の車間距離と、処理対象時刻である後の時刻の車間距離と、に基づいて、他の車両の入れ替わりの有無を判定する(ステップS402)。他の車両の入れ替わりが有ったと判定した場合(ステップS403:Yes)、車両入れ替わり判定部204は、相対速度算出部206を制御して、先の時刻の車間距離と処理対象時刻の車間距離とに基づいて算出される相対速度の記憶部209への保存を行わずに、ステップS401に戻る。これより、車両入れ替わり判定部204は、絶対速度算出部208に対して、先の時刻の車間距離および処理対象時刻の車間距離に基づいて算出される相対速度に基づく他の車両の絶対速度の算出を禁止する。一方、他の車両の入れ替わりが無いと判定した場合(ステップS403:No)、相対速度算出部206は、算出した相対速度を、記憶部209に保存する(ステップS404)。
その後、画像処理部202は、算出指示が入力されてから若しくは最後に他の車両の絶対速度が算出してから、所定周期(以下、絶対速度算出周期と言う)経過したか否かを判断する(ステップS405)。絶対速度算出周期経過していないと判断した場合(ステップS405:No)、画像処理部202は、ステップS401に戻り、所定時間後の処理対象時刻のフレームに対して画像処理を行う。一方、絶対速度算出周期経過したと判断した場合(ステップS405:Yes)、相対速度算出部206は、記憶部209に記憶された相対速度のうち絶対速度算出周期内に算出された各時刻の相対速度(相対速度の算出履歴の一例)のうち、予め設定された相対速度に対する誤差が所定誤差以上の相対速度を除いて、相対速度の平均を算出する(ステップS406)。
または、相対速度算出部206は、絶対速度算出周期内に算出された各時刻の相対速度のうち、予め設定された相対速度に対する誤差が所定誤差以上の相対速度を除いて、相対速度の標準偏差を算出しても良い。または、相対速度算出部206は、絶対速度算出周期内に算出された各時刻の相対速度のうち、予め設定された相対速度に対する誤差が所定誤差以上の相対速度を除いて、相対速度の時間変化を表す近似直線を算出しても良い。
次に、相対速度算出部206は、車速検出部207から、絶対速度算出周期内の各時刻におけるプローブ車両の走行速度を取得する(ステップS407)。そして、相対速度算出部206は、絶対速度算出周期内の各時刻について、当該時刻のプローブ車両の走行速度に対して、当該時刻の相対速度を加算した速度を、当該時刻の他の車両の絶対速度として算出する(ステップS408)。さらに、絶対速度算出部208は、各時刻と、当該時刻の他の車両の絶対速度とを対応付けて、記憶部209に保存する(ステップS409)。
次に、図5および図6を用いて、図4のステップS402における、他の車両の入れ替わりの有無の判定処理の流れの一例について説明する。図5は、本実施形態にかかる車載装置による他の車両の入れ替わりの有無の判定処理の流れの一例を示すフローチャートである。図6は、本実施形態にかかる車載装置による他の車両の入れ替わりの有無の判定処理の一例を説明するための図である。
図4のステップS401において車間距離の算出処理が行われると、車両入れ替わり判定部204は、処理対象フレームに基づいて車間距離が算出できたか否かを判断する(ステップS501)。処理対象フレームに基づいて車間距離が算出できなかった場合(ステップS501:No)、車両入れ替わり判定部204は、他の車両の入れ替わりが有ったと判定する(ステップS502)。例えば、図6に示すように、所定時間(例えば、100msec)毎の各時刻t0,t1,t2,...において車間距離の算出処理が行われ、時刻t2において車間距離が算出できなかった場合、車両入れ替わり判定部204は、時刻t1と時刻t2との間で他の車両の入れ替わりが有ったと判定する。
一方、処理対象フレームに基づいて車間距離を算出できた場合(ステップS501:Yes)、車両入れ替わり判定部204は、処理対象時刻から所定時間前の先の時刻のフレームに基づいて車間距離が算出できたか否かを判断する(ステップS503)。先の時刻のフレームに基づいて車間距離が算出できなかったと判断した場合(ステップS503:No)、車両入れ替わり判定部204は、先の時刻のフレームと、処理対象フレームとの間に他の車両の入れ替わりが有ったと判定する(ステップS502)。
一方、先の時刻のフレームに基づいて車間距離が算出できたと判断した場合(ステップS503:Yes)、車両入れ替わり判定部204は、算出した車間距離が、所定距離未満であるか否かを判断する(ステップS504)。ここで、所定距離は、フレームに基づいて算出する車間距離の誤差が予め設定された誤差内となる当該車間距離の閾値である。そして、算出した車間距離が所定距離以上である場合(ステップS504:No)、車両入れ替わり判定部204は、先の時刻のフレームと処理対象フレームとの間に他の車両の入れ替わりが有ったと判定する(ステップS502)。また、算出した車間距離が所定距離未満である場合(ステップS504:Yes)、相対速度算出部206は、先の時刻のフレームに基づいて算出された車間距離と、処理対象フレームに基づいて算出された車間距離とに基づいて、プローブ車両に対する他の車両の相対速度を算出する(ステップS505)。次に、車両入れ替わり判定部204は、先の時刻におけるプローブ車両に対する他の車両の相対速度と、処理対象時刻におけるプローブ車両に対する他の車両の相対速度との差分を算出する(ステップS506)。次いで、車両入れ替わり判定部204は、算出した差分が、所定閾値を超えたか否かを判断する(ステップS507)。
そして、先の時刻における相対速度と処理対象時刻における相対速度との差分が所定閾値を超えた場合(ステップS507:Yes)、車両入れ替わり判定部204は、他の車両の入れ替わりが有ったと判定する(ステップS502)。一方、先の時刻における相対速度と処理対象時刻における相対速度との差分が所定閾値以下である場合(ステップS507:No)、車両入れ替わり判定部204は、他の車両の入れ替わりが無いと判定する(ステップS508)。
図7は、本実施形態にかかる車載装置による他の車両の入れ替わりの有無を判定する処理の一例を説明するための図である。ここでは、図7に示すように、時刻t0におけるプローブ車両と他の車両との車間距離が40mであり、時刻t0から所定時間(例えば、100msec)後の時刻t1におけるプローブ車両と他の車両との車間距離が41mであり、時刻t1から所定時間後の時刻t2におけるプローブ車両と他の車両との車間距離が42mであり、時刻t2から所定時間後の時刻t3におけるプローブ車両と他の車両との車間距離が20mであり、時刻t3から所定時間後の時刻t4におけるプローブ車両と他の車両との車間距離が21mであり、時刻t4から所定時間後の時刻t5におけるプローブ車両と他の車両との車間距離が22mであるものとする。
そして、相対速度算出部206は、動画像を構成する各時刻t0,t1,t2,...のフレームに基づいて、当該各時刻t0,t1,t2,...における、プローブ車両と他の車両との相対速度を算出する。そして、車両入れ替わり判定部204は、図7に示すように、時刻t1における相対速度:10m/secと、時刻t2における相対速度:10m/secとの差分:0m/secが、所定閾値(例えば、10m/sec)以下であるため、時刻t0から時刻t2までの間に他の車両の入れ替わりが無かったと判定する。
また、車両入れ替わり判定部204は、図7に示すように、時刻t2における相対速度:10m/secと、時刻t3における相対速度:220m/secとの差分:210m/secが、所定閾値を超えているため、時刻t2と時刻t3との間に他の車両の入れ替わりが有ったと判定する。時刻t3以降についても、同様にして、他の車両の入れ替わりの有無を判定する。
このように、本実施形態にかかるプローブ車両が有する車載装置100によれば、異なる他の車両との間で算出した相対速度に基づいて、他の車両の絶対速度が算出されることを防止できるので、他の車両の絶対速度の算出精度を向上させることができる。
また、本実施形態では、車両入れ替わり判定部204は、フレームに基づいて算出される車間距離のうち、所定距離以上の車間距離を、相対速度の算出に用いる車間距離から除外することも可能である。フレームに基づいて算出される車間距離は、プローブ車両から他の車両までの距離がある距離以上になると、誤差が大きくなる傾向がある。そこで、本実施形態では、車両入れ替わり判定部204は、車間距離解析部203により算出される車間距離のうち、所定距離(例えば、50m)以上の車間距離を、相対速度算出部206による相対速度の算出に用いる車間距離から除外するフィルタとして機能する。これにより、所定距離以上の車間距離に基づいて、絶対速度の算出されることを防止できるので、絶対速度の算出精度をさらに向上させることができる。
また、本実施形態では、車載装置100は、記憶部209に保存された各時刻における他の車両の絶対速度、およびプローブ車両の走行速度を、インターネット等のネットワークを介して、センターサーバ(外部サーバの一例)に対して送信する。ここで、センターサーバは、目的地までの車両の走行に要する旅行時間を車線単位に算出したり、旅行時間が最短となる車線の変更を指示する進路変更指示を作成したりするナビゲーションシステムを備える。これにより、高精度に算出された他の車両の絶対速度に基づいて、旅行時間の算出や進路変更指示の作成を行うことができるので、旅行時間の算出精度を向上させ、かつより適切な進路変更指示を作成できる。
また、本実施形態では、車載装置100は、記憶部209に保存される各時刻における他の車両の絶対速度を、予め設定された時間毎に、センターサーバに送信しても良い。または、車載装置100は、記憶部209に保存される各時刻における他の車両の絶対速度の平均を、予め設定された時間毎に、センターサーバに送信しても良い。
また、本実施形態では、車載装置100は、記憶部209に保存される各時刻における他の車両の絶対速度に、当該他の車両が走行する隣接車線を識別可能とする車線識別情報を付加して、予め設定された時間毎に、センターサーバに送信しても良い。これにより、センターサーバは、プローブ車両が走行する道路の車線単位の車両の走行速度を特定できる。また、本実施形態では、車載装置100は、先行車両の絶対速度も、他の車両の絶対速度と同様にして、センターサーバに送信することも可能である。
さらに、本実施形態では、車両入れ替わり判定部204は、絶対速度算出部208により算出された他の車両の絶対速度が、マイナス値であった場合、他の車両が隣接車線を逆走していると判定する。
また、本実施形態では、上述したように、車載装置100において、カメラ画像取得部201、画像処理部202、車間距離解析部203、車両入れ替わり判定部204、時間管理部205、相対速度算出部206、車速検出部207、および絶対速度算出部208が実現されているが、これに限定するものではない。例えば、外部サーバにおいて、カメラ画像取得部201、画像処理部202、車間距離解析部203、車両入れ替わり判定部204、時間管理部205、相対速度算出部206、車速検出部207、および絶対速度算出部208を実現することによって、外部サーバが他の車両の絶対速度を算出しても良い。
なお、本実施形態の車載装置100で実行されるプログラムは、ROM(Read Only Memory)等に予め組み込まれて提供される。本実施形態の車載装置100で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。
さらに、本実施形態の車載装置100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の車載装置100で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の車載装置100で実行されるプログラムは、上述した各部(カメラ画像取得部201、画像処理部202、車間距離解析部203、車両入れ替わり判定部204、時間管理部205、相対速度算出部206、車速検出部207、および絶対速度算出部208)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(Central Processing Unit)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、カメラ画像取得部201、画像処理部202、車間距離解析部203、車両入れ替わり判定部204、時間管理部205、相対速度算出部206、車速検出部207、および絶対速度算出部208が主記憶装置上に生成されるようになっている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100 車載装置
101,102 撮像部
201 カメラ画像取得部
202 画像処理部
203 車間距離解析部
204 車両入れ替わり判定部
205 時間管理部
206 相対速度算出部
207 車速検出部
208 絶対速度算出部
209 記憶部

Claims (14)

  1. プローブ車両が有する撮像部で、前記プローブ車両の前方および前記プローブ車両が走行する車線に隣接する隣接車線を撮像した画像と、前記プローブ車両の走行速度と、を含むプローブ情報を取得する取得部と、
    前記取得部で取得した画像から車両を検出する画像処理部と、
    前記画像処理部で検出した車両から、前記プローブ車両と走行する他の車両との車間距離を算出する車間距離算出部と、
    先の時刻の前記画像から検出される車両に基づいて算出される先の前記車間距離と、前記先の時刻から所定時間後の後の時刻の前記画像から検出される車両に基づいて算出される後の前記車間距離と、に基づいて、前記プローブ車両に対する前記他の車両の相対速度を算出する相対速度算出部と、
    前記プローブ車両の走行速度および前記相対速度に基づいて、前記他の車両の走行速度を算出する走行速度算出部と、
    前記先の時刻の画像から検出した車両および複数の前記後の時刻の画像から検出した複数の車両に基づいて算出した前記相対速度の時間変化に基づいて、前記他の車両の入れ替わりの有無を判定する判定部と、
    を備える走行速度算出装置。
  2. 前記判定部は、前記相対速度算出部で、前記画像処理部で検出した車両に基づいて前記車間距離の算出不可の場合、前記他の車両の入れ替わりが有りと判定する請求項1に記載の走行速度算出装置。
  3. 前記判定部は、さらに、前記車間距離のうち、所定距離以上の前記車間距離を、前記相対速度の算出に用いる前記車間距離から除外する請求項1に記載の走行速度算出装置。
  4. 前記判定部は、前記他の車両の入れ替わりが有ったと判定した場合、前記走行速度算出部に対して、前記相対速度に基づく前記他の車両の走行速度の算出を禁止する請求項1に記載の走行速度算出装置。
  5. 前記走行速度算出部は、前記相対速度の算出履歴のうち、予め設定された相対速度に対する誤差が所定誤差以上の前記相対速度を除いて、前記相対速度の平均、前記相対速度の標準偏差、または前記相対速度の時間変化を表す近似直線を算出する請求項1に記載の走行速度算出装置。
  6. 前記判定部は、さらに、前記他の車両の走行速度がマイナスである場合、前記他の車両が逆走していると判定する請求項1に記載の走行速度算出装置。
  7. 前記車間距離算出部は、前記隣接車線を走行する前記他の車両との前記車間距離を算出する請求項1に記載の走行速度算出装置。
  8. プローブ車両が有する撮像部で、前記プローブ車両の前方および前記プローブ車両が走行する車線に隣接する隣接車線を撮像した画像と、前記プローブ車両の走行速度と、を含むプローブ情報を取得し、
    取得した前記画像から車両を検出し、
    前記検出した車両から、前記プローブ車両と走行する他の車両との車間距離を算出し、
    先の時刻の前記画像から検出される車両に基づいて算出される先の前記車間距離と、前記先の時刻から所定時間後の後の時刻の前記画像から検出される車両に基づいて算出される後の前記車間距離と、に基づいて、前記プローブ車両に対する前記他の車両の相対速度を算出し、
    前記プローブ車両の走行速度および前記相対速度に基づいて、前記他の車両の走行速度を算出し、
    前記先の時刻の画像から検出した車両および複数の前記後の時刻の画像から検出した複数の車両に基づいて算出した前記相対速度の時間変化に基づいて、前記他の車両の入れ替わりの有無を判定する、
    ことを含む走行速度算出方法。
  9. 前記検出した車両に基づいて前記車間距離の算出不可の場合、前記他の車両の入れ替わりが有りと判定する請求項8に記載の走行速度算出方法。
  10. 前記車間距離のうち、所定距離以上の前記車間距離を、前記相対速度の算出に用いる前記車間距離から除外する請求項8に記載の走行速度算出方法。
  11. 前記他の車両の入れ替わりが有ったと判定した場合、前記相対速度に基づく前記他の車両の走行速度の算出を禁止する請求項8に記載の走行速度算出方法。
  12. 前記相対速度の算出履歴のうち、予め設定された相対速度に対する誤差が所定誤差以上の前記相対速度を除いて、前記相対速度の平均、前記相対速度の標準偏差、または前記相対速度の時間変化を表す近似直線を算出する請求項8に記載の走行速度算出方法。
  13. 前記他の車両の走行速度がマイナスである場合、前記他の車両が逆走していると判定する請求項8に記載の走行速度算出方法。
  14. 前記隣接車線を走行する前記他の車両との前記車間距離を算出する請求項8に記載の走行速度算出方法。
JP2016182014A 2016-09-16 2016-09-16 走行速度算出装置および走行速度算出方法 Active JP6615725B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016182014A JP6615725B2 (ja) 2016-09-16 2016-09-16 走行速度算出装置および走行速度算出方法
EP17189825.7A EP3306588A3 (en) 2016-09-16 2017-09-07 Travel speed calculation device and travel speed calculation method
US15/698,113 US20180082581A1 (en) 2016-09-16 2017-09-07 Travel speed calculation device and travel speed calculation method
AU2017225071A AU2017225071A1 (en) 2016-09-16 2017-09-07 Travel speed calculation device and travel speed calculation method
AU2019202850A AU2019202850B2 (en) 2016-09-16 2019-04-23 Travel speed calculation device and travel speed calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016182014A JP6615725B2 (ja) 2016-09-16 2016-09-16 走行速度算出装置および走行速度算出方法

Publications (2)

Publication Number Publication Date
JP2018045620A JP2018045620A (ja) 2018-03-22
JP6615725B2 true JP6615725B2 (ja) 2019-12-04

Family

ID=59829232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016182014A Active JP6615725B2 (ja) 2016-09-16 2016-09-16 走行速度算出装置および走行速度算出方法

Country Status (4)

Country Link
US (1) US20180082581A1 (ja)
EP (1) EP3306588A3 (ja)
JP (1) JP6615725B2 (ja)
AU (2) AU2017225071A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7010789B2 (ja) * 2018-08-10 2022-01-26 株式会社東芝 プローブ情報処理装置、およびプローブ情報処理方法
US10755423B2 (en) * 2018-10-18 2020-08-25 Getac Technology Corporation In-vehicle camera device, monitoring system and method for estimating moving speed of vehicle
CN113841188B (zh) * 2019-05-13 2024-02-20 日本电信电话株式会社 交通流估计装置、交通流估计方法、存储介质
CN112529935B (zh) * 2019-09-18 2023-05-16 上海高德威智能交通系统有限公司 目标车辆运动状态识别方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569926B2 (ja) * 1993-03-03 2004-09-29 株式会社デンソー 車両走行制御装置
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
JP3572448B2 (ja) * 1999-11-11 2004-10-06 日産自動車株式会社 車両用制動制御装置
JP2005145221A (ja) * 2003-11-14 2005-06-09 Nissan Motor Co Ltd 先行車追従制御装置
DE10356309A1 (de) * 2003-11-28 2005-06-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeugs
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
US7650227B2 (en) * 2004-03-17 2010-01-19 Globis Data Inc. System for using cellular phones as traffic probes
JP2007114857A (ja) * 2005-10-18 2007-05-10 Honda Motor Co Ltd 交通情報処理装置
KR101075615B1 (ko) * 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
JP4980076B2 (ja) * 2007-01-11 2012-07-18 富士重工業株式会社 車両の運転支援装置
JP2009217376A (ja) * 2008-03-07 2009-09-24 Nissan Motor Co Ltd 交通情報生成システム、交通情報生成装置、及び交通情報生成方法
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5152244B2 (ja) * 2010-04-06 2013-02-27 トヨタ自動車株式会社 追従対象車特定装置
JP2011227571A (ja) * 2010-04-15 2011-11-10 Fujitsu Ltd 情報処理方法、情報処理プログラム及び情報処理装置
JP5083388B2 (ja) * 2010-07-29 2012-11-28 トヨタ自動車株式会社 交通制御システムおよび交通管制システム
JP5743286B2 (ja) * 2012-12-28 2015-07-01 富士重工業株式会社 車両の運転支援装置
WO2015190212A1 (ja) * 2014-06-10 2015-12-17 クラリオン株式会社 車線選択装置、車両制御システム及び車線選択方法
JP6053061B2 (ja) * 2015-03-01 2016-12-27 真人 田村 車両の強制停止装置
US20170123430A1 (en) * 2015-10-30 2017-05-04 Ford Global Technologies, Llc In-path target selection during lane change
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统

Also Published As

Publication number Publication date
JP2018045620A (ja) 2018-03-22
AU2017225071A1 (en) 2018-04-05
US20180082581A1 (en) 2018-03-22
EP3306588A2 (en) 2018-04-11
AU2019202850A1 (en) 2019-05-16
AU2019202850B2 (en) 2021-01-21
EP3306588A3 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
AU2019202850B2 (en) Travel speed calculation device and travel speed calculation method
US10000208B2 (en) Vehicle control apparatus
US10353394B2 (en) Driving assistance device and driving assistance method
WO2015053335A1 (ja) 駐車車両検出装置、車両管理システム及び制御方法
JP5968064B2 (ja) 走行レーン認識装置および走行レーン認識方法
US11214258B2 (en) Driving assistance system and driving assistance device
JP6672077B2 (ja) 交通情報推定装置および交通情報推定方法
JP6941070B2 (ja) ステレオカメラ装置
US20220221550A1 (en) Technique for Determining a Relative Position between Vehicles
JP2011186737A (ja) 運転支援装置
CN109476307A (zh) 行驶控制方法及行驶控制装置
JP7043765B2 (ja) 車両走行制御方法及び装置
CN109425861B (zh) 本车位置可信度运算装置
JP6952517B2 (ja) 渋滞予測装置及びその渋滞予測方法
JP6952516B2 (ja) 渋滞予測装置及びその渋滞予測方法
JP2019060814A (ja) 自動運転の自車位置検出装置
JP2011034435A (ja) 車両位置演算装置及び車両位置演算方法
JP6047877B2 (ja) 記録装置、記録プログラム及び記録方法
JP2018136878A (ja) 危険回避支援装置、危険回避支援システム、及び危険回避支援方法
JP2017004267A (ja) 車速制御装置
WO2019139084A1 (ja) 通知装置及び車載機
JP2020091644A (ja) 障害物検出システム、障害物特定装置、及び障害物特定装置の制御方法
JP2021068315A (ja) 車線状態の推定方法及び推定システム
JP2020060414A (ja) 自車位置推定装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170814

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170815

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R150 Certificate of patent or registration of utility model

Ref document number: 6615725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150