JP6358051B2 - Transition prediction data generation device and transition prediction device - Google Patents

Transition prediction data generation device and transition prediction device Download PDF

Info

Publication number
JP6358051B2
JP6358051B2 JP2014231797A JP2014231797A JP6358051B2 JP 6358051 B2 JP6358051 B2 JP 6358051B2 JP 2014231797 A JP2014231797 A JP 2014231797A JP 2014231797 A JP2014231797 A JP 2014231797A JP 6358051 B2 JP6358051 B2 JP 6358051B2
Authority
JP
Japan
Prior art keywords
data
driving
transition
driving scene
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014231797A
Other languages
Japanese (ja)
Other versions
JP2016095707A (en
Inventor
謙太郎 人見
謙太郎 人見
誉司 坂東
誉司 坂東
一仁 竹中
一仁 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014231797A priority Critical patent/JP6358051B2/en
Publication of JP2016095707A publication Critical patent/JP2016095707A/en
Application granted granted Critical
Publication of JP6358051B2 publication Critical patent/JP6358051B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、運転シーンの遷移を予測するための遷移予測データ生成装置および遷移予測装置に関する。   The present invention relates to a transition prediction data generation device and a transition prediction device for predicting a transition of a driving scene.

上記の運転シーンの遷移を予測する技術として、周囲の車両との位置関係や信号の状態等の運転シーンをシンボルとして表現し、このシンボルの時間的な遷移をモデル化することで、次に遷移するシンボルに対応する運転シーンを予測するものが知られている(例えば、特許文献1参照)。   As a technique for predicting the transition of the above driving scene, the driving scene such as the positional relationship with the surrounding vehicles and the signal state is expressed as a symbol, and the temporal transition of this symbol is modeled. There is known one that predicts a driving scene corresponding to a symbol to be performed (see, for example, Patent Document 1).

特許第5278419号公報Japanese Patent No. 5278419

しかしながら、上記の技術では、例えば、「停車」等、頻出する運転シーンにおいて、次に遷移する運転シーンの推定精度が低くなる傾向がある。すなわち、「停車」という運転シーンは走行中の種々の運転シーンから遷移し、またこの運転シーンからは、「緩い発進」、「急加速」、「後退」等、種々の運転シーンに遷移するため、予測が難しい。   However, in the above technique, for example, in a frequent driving scene such as “stop”, there is a tendency that the estimation accuracy of the next driving scene is lowered. In other words, the driving scene of “stop” transitions from various driving scenes while traveling, and from this driving scene, transitions to various driving scenes such as “loose start”, “rapid acceleration”, “reverse”, etc. , Difficult to predict.

そこで、このような問題点を鑑み、運転シーンの遷移を予測する技術において、より精度よく運転シーンの遷移を予測できるようにすることを本発明の目的とする。   Therefore, in view of such problems, it is an object of the present invention to be able to predict the transition of the driving scene with higher accuracy in the technology for predicting the transition of the driving scene.

本発明の遷移予測データ生成装置において、車両状態取得手段は、車両の走行環境および車両の走行状態の少なくとも何れかを示す車両状態を繰り返し取得する。また、対応付データ生成手段は、予め設定された走行インターバル毎に、予め設定された複数の運転シーンのうちの1つを車両状態に応じて逐次特定し、運転シーンの出現状況を走行インターバルに対応付けた対応付データを生成する。   In the transition prediction data generation device of the present invention, the vehicle state acquisition means repeatedly acquires a vehicle state indicating at least one of the traveling environment of the vehicle and the traveling state of the vehicle. Further, the associated data generation means sequentially identifies one of a plurality of preset driving scenes according to the vehicle state for each preset driving interval, and sets the appearance of the driving scene as the driving interval. Corresponding association data is generated.

そして、分類データ生成手段は、対応付データを、それぞれの走行インターバルに含まれる運転シーンに従って分類(クラスタリング)した分類データを生成する。また、格納手段は、対応付データおよび分類データを遷移予測データとして記録手段に格納する。   The classification data generation means generates classification data obtained by classifying (clustering) the associated data according to the driving scene included in each travel interval. The storage unit stores the association data and the classification data in the recording unit as transition prediction data.

このような遷移予測データ生成装置によれば、走行インターバル毎に出現した運転シーンに従って走行インターバルを分類した分類データを生成するので、運転シーンの遷移を予測する際には、車両状態が何れの走行インターバルの分類に属するかを判定すればよい。つまり、遷移予測データ(対応付データおよび分類データ)を用いて、走行インターバルの分類に応じて頻出する運転シーンを予測することができる。よって、走行インターバルを分類することなく運転シーンを予測する構成と比較して、今後出現する運転シーンを精度よく予測することができる。   According to such a transition prediction data generation device, classification data is generated by classifying a travel interval according to a driving scene that appears for each driving interval. Therefore, when predicting a driving scene transition, any vehicle state is What is necessary is just to determine whether it belongs to the classification | category of an interval. That is, it is possible to predict a driving scene that frequently appears according to the classification of the travel interval using the transition prediction data (corresponding data and classification data). Therefore, it is possible to accurately predict a driving scene that will appear in the future as compared with a configuration that predicts a driving scene without classifying the driving interval.

なお、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。   In addition, description of each claim can be arbitrarily combined as much as possible. At this time, a part of the configuration may be excluded.

本発明が適用された遷移予測システム1の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a transition prediction system 1 to which the present invention is applied. サーバ40が実行する予測データ生成処理を示すフローチャートである。It is a flowchart which shows the prediction data generation process which the server 40 performs. 各トリップに含まれるシンボルとトリップとの関係の一例を示す説明図である。It is explanatory drawing which shows an example of the relationship between the symbol contained in each trip, and a trip. クラスタリング結果の一例を示す説明図である。It is explanatory drawing which shows an example of a clustering result. クラスタリングによる効果の一例を示す状態遷移図である。It is a state transition diagram which shows an example of the effect by clustering. 遷移予測装置5の制御部10が実行するシーン遷移予測処理を示すフローチャートである。It is a flowchart which shows the scene transition prediction process which the control part 10 of the transition prediction apparatus 5 performs.

以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
本発明が適用された遷移予測システム1は、運転シーンの遷移を予測するための遷移予測データを生成する機能、および遷移予測データを用いて運転シーンの遷移を予測する機能を備えている。遷移予測システム1は、図1に示すように、遷移予測装置5と、サーバ40とを備えている。
Embodiments according to the present invention will be described below with reference to the drawings.
[Configuration of this embodiment]
The transition prediction system 1 to which the present invention is applied has a function of generating transition prediction data for predicting a transition of a driving scene, and a function of predicting a transition of a driving scene using the transition prediction data. As illustrated in FIG. 1, the transition prediction system 1 includes a transition prediction device 5 and a server 40.

遷移予測装置5は、例えば乗用車等の車両に搭載され、この車両の運転シーンを推定し、今後、どのような運転シーンに遷移するかを予測する。遷移予測装置5は、図1に示すように、制御部10と、各種センサ21と、データベース25と、運転支援部31とを備えている。   The transition prediction device 5 is mounted on a vehicle such as a passenger car, for example, estimates a driving scene of the vehicle, and predicts what driving scene it will transition to in the future. As illustrated in FIG. 1, the transition prediction device 5 includes a control unit 10, various sensors 21, a database 25, and a driving support unit 31.

ここで、運転シーンとは、車両の環境や走行状態等の組み合わせによって表現される車両状態の少なくとも一部を示す。運転シーンとしては、例えば、「加速」であっても、緩やかな加速、急加速等の状況に応じて異なる運転シーンに分類されうる。また例えば、「停車」であっても、アイドリングストップの停車やアイドリングを行う停車等の状況に応じて異なる運転シーンに分類されうる。   Here, the driving scene indicates at least a part of a vehicle state expressed by a combination of a vehicle environment, a running state, and the like. As the driving scene, for example, even “acceleration” can be classified into different driving scenes depending on the situation such as gradual acceleration and sudden acceleration. Further, for example, even “stop” can be classified into different driving scenes depending on the situation such as idling stop or idling stop.

各種センサ21としては、車両状態を繰り返し検出するためのセンサを備えている。車両状態を検出するセンサとしては、例えば、アクセル、ブレーキ、ステアリング等の操作状態を検出するセンサ、車両の走行速度、加速度、ヨーレート等の走行状態を検出するセンサ、路面状態、気温、明るさ、渋滞の有無等の走行環境を検出するセンサを備えている。各種センサ21は、車両状態の検出結果を制御部10に送る。   The various sensors 21 include sensors for repeatedly detecting the vehicle state. Examples of the sensor that detects the vehicle state include a sensor that detects an operation state such as an accelerator, a brake, and a steering wheel, a sensor that detects a traveling state such as a traveling speed, acceleration, and yaw rate of the vehicle, a road surface state, an air temperature, a brightness, A sensor for detecting a traveling environment such as the presence or absence of traffic congestion is provided. Various sensors 21 send the detection result of the vehicle state to the control unit 10.

データベース25は、運転シーンの遷移を予測するためのデータが格納される。データベース25としては、運転シンボルDB(データベース)26、クラスタDB27、シンボル遷移モデルDB28を備えている。これらのデータベース25に格納されるデータの詳細については後述する。   The database 25 stores data for predicting driving scene transitions. As the database 25, an operation symbol DB (database) 26, a cluster DB 27, and a symbol transition model DB 28 are provided. Details of the data stored in these databases 25 will be described later.

運転支援部31は、制御部10からの指令に応じて車両の運転者に対する警報を発する警報機、或いは、制御部10からの指令に応じて運転操作に介入するブレーキ制御装置やステアリング制御装置として構成されている。   The driving support unit 31 is an alarm device that issues a warning to the vehicle driver in response to a command from the control unit 10, or a brake control device or a steering control device that intervenes in a driving operation in response to a command from the control unit 10. It is configured.

制御部10は、CPU11と、ROM、RAM等のメモリ12とを備えたコンピュータとして構成されている。制御部10(CPU11)は、メモリ12に格納されたプログラムに基づく各種処理を実施する。制御部10は、図示しない通信モジュールを介してサーバ40との間でデータのやり取りを実施可能に構成されている。   The control unit 10 is configured as a computer including a CPU 11 and a memory 12 such as a ROM or a RAM. The control unit 10 (CPU 11) performs various processes based on a program stored in the memory 12. The control unit 10 is configured to exchange data with the server 40 via a communication module (not shown).

また、制御部10は、近い将来、運転シーンが事故等の車両にとって危険な状態に遷移すると予想される場合に、運転支援部31に対して、警報や運転操作への介入を行うよう指示する。また、制御部10は、各種センサ21から得られた情報を運転挙動データとしてサーバ40に送信する。   In addition, the control unit 10 instructs the driving support unit 31 to perform an alarm or intervention for driving operation when the driving scene is predicted to shift to a dangerous state for vehicles such as accidents in the near future. . Further, the control unit 10 transmits information obtained from the various sensors 21 to the server 40 as driving behavior data.

サーバ40は、1または複数の遷移予測装置5からの要求に応じてデータの送受信を行う周知のサーバとして構成されている。また、サーバ40は、データベース41を備えている。サーバ40のデータベースにおいても、車両のデータベース25と同様に、運転シンボルDB26、クラスタDB27、シンボル遷移モデルDB28にそれぞれ対応する、運転シンボルDB42、クラスタDB43、シンボル遷移モデルDB44を備えている。   The server 40 is configured as a well-known server that transmits and receives data in response to requests from one or more transition prediction devices 5. The server 40 includes a database 41. Similarly to the vehicle database 25, the database of the server 40 includes a driving symbol DB 42, a cluster DB 43, and a symbol transition model DB 44 corresponding to the driving symbol DB 26, the cluster DB 27, and the symbol transition model DB 28, respectively.

ただし、サーバ40のデータベース41は、管理を行う全ての車両(遷移予測装置5)についてのデータが格納されるが、遷移予測装置5のデータベース25は、遷移予測装置5が搭載された車両に必要となるデータのみが格納される。つまり、遷移予測装置5のデータベース25には、この車両に関する運転シーンのデータ、遷移する運転シーンを予測するためのデータが格納されることになる。   However, the database 41 of the server 40 stores data on all vehicles (transition prediction device 5) to be managed, but the database 25 of the transition prediction device 5 is necessary for the vehicle on which the transition prediction device 5 is mounted. Only the data to be stored is stored. That is, the database 25 of the transition prediction device 5 stores driving scene data relating to the vehicle and data for predicting the transitioning driving scene.

[本実施形態の処理]
このように構成された遷移予測システム1において、サーバ40は、図2に示す予測データ生成処理を実施する。予測データ生成処理は、例えば遷移予測装置5から運転挙動データが送信されてくると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。
[Process of this embodiment]
In the transition prediction system 1 configured as described above, the server 40 performs a prediction data generation process shown in FIG. The prediction data generation process is a process that is started when driving behavior data is transmitted from the transition prediction device 5, for example, and is then a process that is repeatedly performed at regular intervals.

予測データ生成処理では、図2に示すように、まず、運転挙動データを送信してきた遷移予測装置5から運転挙動データを取得する(S10)。続いて、運転シンボルを推定することによって運転シンボルを生成する(S20)。ここで、運転シンボルとは、車両環境や車両状態の組み合わせを記号化したものである。なお、運転シンボルの推定手法としては、例えば、特許文献1に記載の手法と同様の手法を採用することができるため、この処理の詳細は省略する。   In the prediction data generation process, as shown in FIG. 2, first, driving behavior data is acquired from the transition prediction device 5 that has transmitted the driving behavior data (S10). Subsequently, a driving symbol is generated by estimating the driving symbol (S20). Here, the driving symbol is a symbolized combination of vehicle environment and vehicle state. Note that, as the driving symbol estimation method, for example, a method similar to the method described in Patent Document 1 can be adopted, and thus the details of this process are omitted.

続いて、生成したシンボルをトリップ(走行インターバル)に対応付けたシンボルデータ(対応付けデータ)として、データベース41に格納する(S40)。特に、データベース41の運転シンボルDB42に格納する。   Subsequently, the generated symbol is stored in the database 41 as symbol data (association data) associated with a trip (running interval) (S40). In particular, it is stored in the operation symbol DB 42 of the database 41.

ここで、トリップとは、本処理において一群のシンボルを取り扱う際の単位であり、例えば、各車両において、車両の運転開始から運転終了までに設定される。続いて、処理対象となるトリップが終了したか否かを判定する(S50)。   Here, the trip is a unit for handling a group of symbols in the present process, and is set, for example, from the start of driving to the end of driving in each vehicle. Subsequently, it is determined whether or not the trip to be processed has ended (S50).

処理対象となるトリップが終了してなければ(S50:NO)、S10の処理に戻る。このように、S10〜S50の処理を繰り返すことで、シンボルデータは、トリップ毎に多数の運転シンボルが対応付けられたものになる。   If the trip to be processed has not ended (S50: NO), the process returns to S10. As described above, by repeating the processes of S10 to S50, the symbol data is associated with a large number of operation symbols for each trip.

例えば、図3に示すように、シンボルデータでは、処理対象となるトリップ毎に、出現した運転シンボルがデータベース41に格納される。なお、データベース41には、運転シンボルが出現した順序についてもトリップに対応付けて格納される。   For example, as shown in FIG. 3, in the symbol data, the appearing operation symbol is stored in the database 41 for each trip to be processed. The database 41 also stores the order in which driving symbols appear in association with trips.

また、S50の処理にて、処理対象となるトリップが終了していれば(S50:YES)、運転シンボルの出現パターンについてのクラスタリングを行う(S60)。この処理では、シンボルデータを、それぞれのトリップに含まれる運転シンボルに従って分類する。   Further, if the trip to be processed is completed in the process of S50 (S50: YES), clustering is performed on the appearance pattern of the driving symbol (S60). In this process, the symbol data is classified according to the operation symbols included in each trip.

クラスタリングの手法としては、例えば、無限関係モデル( [Kemp et al., AAAI2006] C. Kemp, J.B. Tenenbaum, T.L. Griffiths, T. Yamada, N. Ueda, “Learning Systems of Concepts with an Infinite Relational Model,” National Conference on Artificial Intelligence, pp. 381-388, 2006等参照)のようなノンパラメトリッククラスタリング手法を採用することができる。無限関係モデルを利用すると、運転シンボルの共起関係を考慮して運転シンボルとトリップとを自然に分割することができる。   Clustering methods include, for example, an infinite relation model ([Kemp et al., AAAI2006] C. Kemp, JB Tenenbaum, TL Griffiths, T. Yamada, N. Ueda, “Learning Systems of Concepts with an Infinite Relational Model,” Nonparametric clustering methods such as National Conference on Artificial Intelligence, pp. 381-388, 2006) can be adopted. When the infinite relation model is used, driving symbols and trips can be naturally divided in consideration of the co-occurrence relationship of driving symbols.

また、クラスタリング時の分割数はデータから決定可能なため、予め決めておく必要はない。なお、クラスタリング手法は、無限関係モデルに限らず、k-meansやLatent Dirichlet Allocation法などの種々の手法が利用可能である。   Further, since the number of divisions at the time of clustering can be determined from the data, it is not necessary to determine in advance. Note that the clustering method is not limited to the infinite relation model, and various methods such as k-means and the Latent Dirichlet Allocation method can be used.

このようなクラスタリングを行うと、例えば、図4に示すように、類似の運転シンボルが出現する複数のトリップが、複数のグループであるクラスタD1,D2,D3…に分類される。図4に示す例では、縦軸がトリップの別、横軸が運転シンボルの別に対応しており、クラスタリングによって得られたトリップの分類(クラスタ)がD1,D2,D3…、シンボルのクラスタがC1,C2,C3…として例示されている。クラスタ毎に出現した運転シンボルが1つ1つのドットで表現されている。すなわち、ドットの数が多いシンボルのクラスタほど、そのクラスタのシンボルが出現しやすい傾向があることを示している。   When such clustering is performed, for example, as shown in FIG. 4, a plurality of trips in which similar operation symbols appear are classified into a plurality of groups of clusters D1, D2, D3. In the example shown in FIG. 4, the vertical axis corresponds to trips and the horizontal axis corresponds to driving symbols, the trip classifications (clusters) obtained by clustering are D1, D2, D3..., And the symbol cluster is C1. , C2, C3... An operation symbol that appears for each cluster is represented by a single dot. That is, a symbol cluster having a larger number of dots tends to appear more easily.

本実施形態のように、データドリブンにてクラスタリングを行うことで、同一のドライバでも違う走行ルートを通る際には違う遷移モデルを利用できる。
続いて、クラスタリングによって得られたクラスタデータ(分類データ)をデータベース41に格納する(S70)。特に、データベース41のクラスタDB43に格納する。
As in the present embodiment, by performing data-driven clustering, different transition models can be used even when the same driver passes different driving routes.
Subsequently, the cluster data (classification data) obtained by the clustering is stored in the database 41 (S70). In particular, it is stored in the cluster DB 43 of the database 41.

続いて、運転シンボルの出現順序を取得する(S80)。この処理では、運転シンボルDB42から運転シンボルの出現順序を読み出す。
そして、クラスタ毎に、ある運転シンボルの次に出現する可能性が高い運転シンボルを、クラスタに含まれるトリップ内の運転シンボルの出現順序の頻度分布に基づいて運転シンボル毎に抽出したシンボル遷移モデル(遷移データ)を生成する(S90)。
Subsequently, the appearance order of the driving symbols is acquired (S80). In this process, the appearance order of the driving symbols is read from the driving symbol DB 42.
Then, for each cluster, a symbol transition model in which an operation symbol that is likely to appear next to a certain operation symbol is extracted for each operation symbol based on the frequency distribution of the appearance order of operation symbols in trips included in the cluster ( (Transition data) is generated (S90).

このようにすると、図5(A)に示すように、例えば停車10という頻出する運転シンボルの次に、シンボル6,7,8の何れに遷移するかの確率が競合したような場合であっても、図5(B)に示すように、クラスタ毎に停車10の次に遷移する運転シンボルを推定できる。つまり、図5(B)に示す例では、1→2→10→6という遷移が生じやすいクラスタと、3→4→10→7という遷移が生じやすいクラスタと、5→10→8→9という遷移が生じやすいクラスタとにそれぞれ分割している。   In this case, as shown in FIG. 5 (A), for example, the probability of transition to the symbol 6, 7 or 8 after the frequent driving symbol of the stop 10 is competing. In addition, as shown in FIG. 5B, it is possible to estimate a driving symbol that transitions after the stop 10 for each cluster. That is, in the example shown in FIG. 5B, a cluster that is likely to undergo the transition 1 → 2 → 10 → 6, a cluster that is likely to undergo the transition 3 → 4 → 10 → 7, and 5 → 10 → 8 → 9. Each is divided into clusters that are prone to transition.

このように、各クラスタで遷移モデルを再構築することで、極めて一般的な運転シンボル(例えば停車10)の存在に関わらず、比較的少数の事例でも有効に機能する遷移モデルを構築することができる。つまり、一般的な運転シンボルの次に出現する運転シンボルであっても精度よく推定できる。   In this way, by reconstructing the transition model in each cluster, it is possible to construct a transition model that functions effectively even in a relatively small number of cases regardless of the existence of extremely general driving symbols (for example, the stop 10). it can. That is, even a driving symbol that appears next to a general driving symbol can be estimated with high accuracy.

続いて、シンボル遷移モデルをシンボル遷移モデルDB44に格納し(S100)、予測データ生成処理を終了する。
次に、車両において運転シーンの遷移を予測するシーン遷移予測処理について、図6を用いて説明する。シーン遷移予測処理は、前述の予測データ生成処理にて生成されたクラスタデータおよびシンボル遷移モデルを利用しつつ実施される。
Subsequently, the symbol transition model is stored in the symbol transition model DB 44 (S100), and the prediction data generation process is terminated.
Next, scene transition prediction processing for predicting driving scene transition in a vehicle will be described with reference to FIG. The scene transition prediction process is performed using the cluster data and the symbol transition model generated by the above-described prediction data generation process.

このため、サーバ40のデータベース41において格納されたこれらのデータのうちの、遷移予測装置5が搭載された車両の車種や車両状態に適合したデータが、遷移予測装置5にて取得された状態で、予測データ生成処理が実施される。この際、サーバ40のデータベース41から取得されたデータは、遷移予測装置5のデータベース25に格納された状態とされる。   For this reason, of these data stored in the database 41 of the server 40, in a state in which data suitable for the vehicle type and vehicle state of the vehicle on which the transition prediction device 5 is mounted is acquired by the transition prediction device 5. A prediction data generation process is performed. At this time, the data acquired from the database 41 of the server 40 is stored in the database 25 of the transition prediction device 5.

なお、予測データ生成処理が実施されている途中においてサーバ40からデータを取得する構成にすることもできる。
予測データ生成処理では、図6に示すように、まず、前述のS10〜S40の処理と同様の処理を実施する。なお、運転挙動データは各種センサ21から直接取得する。
In addition, it can also be set as the structure which acquires data from the server 40 in the middle of the prediction data generation process being implemented.
In the predicted data generation processing, as shown in FIG. 6, first, processing similar to the processing of S10 to S40 described above is performed. The driving behavior data is acquired directly from the various sensors 21.

続いて、現在のトリップにおいて出現した運転パターンが対応するクラスタを推定する(S210)。この処理では、クラスタDB27に格納されたクラスタデータにおいて出現する運転シンボルの出現状況と、現在走行中のトリップにおいて出現した運転シンボルの出現状況とを比較し、最も類似したクラスタを選択する。   Subsequently, the cluster corresponding to the driving pattern that appears on the current trip is estimated (S210). In this process, the appearance status of the driving symbol appearing in the cluster data stored in the cluster DB 27 is compared with the appearance status of the driving symbol appearing on the currently traveling trip, and the most similar cluster is selected.

続いて、最新の運転シンボル(現在時刻から最も近い時刻に認識された運転シンボル)の次に遷移すると予測されるシンボルを抽出する(S220)。この処理では、選択したクラスタにおいて、最新の運転シンボルが示す運転シーンを現在の運転シンボルとして、シンボル遷移モデルDB28において、現在の運転シンボルの次に出現する可能性が高い運転シンボルを予測シンボルとして抽出する。   Subsequently, a symbol predicted to transition next to the latest driving symbol (the driving symbol recognized at the closest time from the current time) is extracted (S220). In this process, in the selected cluster, the driving scene indicated by the latest driving symbol is used as the current driving symbol, and in the symbol transition model DB 28, the driving symbol that is likely to appear next to the current driving symbol is extracted as the predicted symbol. To do.

続いて、予測シンボルが予め設定された危険を示す運転シンボルである危険シンボルか否かを判定する(S230)。ここで、危険シンボルとは、事故等の大きな加速度を示す車両状態や、急ブレーキや急旋回等の事故になりかねないような車両状態を表す運転シンボルを示す。   Subsequently, it is determined whether or not the predicted symbol is a dangerous symbol that is a preset driving symbol indicating danger (S230). Here, the danger symbol indicates a driving symbol indicating a vehicle state that exhibits a large acceleration such as an accident or a vehicle state that may cause an accident such as a sudden braking or a sudden turn.

予測シンボルが危険シンボルであれば(S230:YES)、この予測シンボルに応じた作動を運転支援部31に実施させるよう運転支援部31に対して指示し(S240)、シーン遷移予測処理を終了する。また、予測シンボルが危険シンボルでなければ(S230:NO)、シーン遷移予測処理を終了する。   If the predicted symbol is a dangerous symbol (S230: YES), the driving support unit 31 is instructed to cause the driving support unit 31 to perform an operation corresponding to the predicted symbol (S240), and the scene transition prediction process is terminated. . If the prediction symbol is not a dangerous symbol (S230: NO), the scene transition prediction process is terminated.

[本実施形態による効果]
上記のように詳述した遷移予測システム1においてサーバ40は、車両の走行環境および車両の走行状態の少なくとも何れかを示す車両状態を繰り返し取得する。また、サーバ40は、予め設定された走行インターバル(トリップ)毎に、予め設定された複数の運転シーンのうちの1つまたは複数を車両状態に応じて逐次特定し、運転シーンの出現状況を走行インターバルに対応付けた対応付データを生成する。
[Effects of this embodiment]
In the transition prediction system 1 described in detail above, the server 40 repeatedly acquires a vehicle state indicating at least one of the traveling environment of the vehicle and the traveling state of the vehicle. Further, the server 40 sequentially identifies one or more of a plurality of preset driving scenes according to the vehicle state at each preset driving interval (trip), and travels the appearance status of the driving scene. Correspondence data associated with the interval is generated.

そして、サーバ40は、対応付データを、それぞれの走行インターバルに含まれる運転シーンに従って分類(クラスタリング)した分類データを生成する。また、サーバ40は、対応付データおよび分類データを遷移予測データとして記録手段(データベース)に格納する。   Then, the server 40 generates classification data obtained by classifying (clustering) the association data according to the driving scenes included in the respective travel intervals. The server 40 stores the association data and the classification data in the recording means (database) as transition prediction data.

このような遷移予測システム1によれば、走行インターバル毎に出現した運転シーンに従って走行インターバルを分類した分類データを生成するので、運転シーンの遷移を予測する際には、車両状態が何れの走行インターバルの分類に属するかを判定すればよい。そして、該当する分類のシンボル遷移モデルに基いて次に遷移するシンボルを予測する。つまり、遷移予測データ(対応付データおよび分類データ)を用いて、走行インターバルの分類に応じて次に遷移する運転シーンを予測することができる。よって、走行インターバルを分類することなく運転シーンを予測する構成と比較して、今後出現する運転シーンを精度よく予測することができる。   According to such a transition prediction system 1, classification data is generated by classifying a travel interval according to a driving scene that appears at each traveling interval. Therefore, when predicting a transition of a driving scene, the vehicle state is any driving interval. It may be determined whether it belongs to the category. Then, the next transition symbol is predicted based on the corresponding symbol transition model. That is, it is possible to predict a driving scene that transitions next according to the classification of the travel interval using the transition prediction data (corresponding data and classification data). Therefore, it is possible to accurately predict a driving scene that will appear in the future as compared with a configuration that predicts a driving scene without classifying the driving interval.

また、遷移予測システム1においてサーバ40は、車両状態に応じて特定した運転シーンを予め設定されたシンボルに置き換えて対応付データを生成する。
このような遷移予測システム1によれば、運転シーンをシンボルに置き換えて保持するのでデータ構成を簡素化することができる。
In the transition prediction system 1, the server 40 generates correspondence data by replacing the driving scene specified according to the vehicle state with a preset symbol.
According to such a transition prediction system 1, since the driving scene is replaced with a symbol and held, the data configuration can be simplified.

また、遷移予測システム1においてサーバ40は、運転シーンの遷移パターンを取得し、クラスタリングによって走行インターバルを分類して得られたクラスタ毎に、各運転シーンの次にそれぞれの運転シーンが出願する確率を対応付けた遷移データを生成する。そして、遷移データも記録手段に格納する。   Further, in the transition prediction system 1, the server 40 obtains the transition pattern of the driving scene, and for each cluster obtained by classifying the driving intervals by clustering, the probability that each driving scene is applied next to each driving scene is set. The associated transition data is generated. The transition data is also stored in the recording means.

このような遷移予測システム1によれば、遷移データを格納するので、運転シーンの遷移を予測する際には、走行インターバルの分類に属するかが分かれば、次に遷移する運転シーンを容易に予測することができる。   According to such a transition prediction system 1, since transition data is stored, when a transition of a driving scene is predicted, if it is known whether it belongs to the classification of the driving interval, the driving scene to be transitioned next is easily predicted. can do.

また、遷移予測システム1においてサーバ40は、対応付データに対して、無限関係モデルを用いたクラスタリングを行うことによって分類データを生成する。
このような遷移予測システム1によれば、周知のアルゴリズムを用いて容易に分類データの生成を行うことができる。
Further, in the transition prediction system 1, the server 40 generates classification data by performing clustering using the infinite relation model on the association data.
According to such a transition prediction system 1, classification data can be easily generated using a known algorithm.

また、遷移予測システム1においてサーバ40は、走行インターバルを、車両の運転開始から運転終了までに設定する。
このような遷移予測システム1によれば、走行インターバルのデータの運転者を一人に限定できるため、競合する複数の運転シーンの遷移パターンが一つの走行インターバルにおいて混在してしまうことを抑制できる。
In the transition prediction system 1, the server 40 sets the travel interval from the start of driving of the vehicle to the end of driving.
According to such a transition prediction system 1, since the driver of the data of driving | running | working interval can be limited to one person, it can suppress that the transition pattern of several competing driving scenes mixes in one driving | running | working interval.

また、遷移予測システム1においてサーバ40は、車両の走行環境および車両の走行状態の少なくとも何れかを示す車両状態を取得し、予め設定された複数の運転シーンのうちの1つを前記車両状態に応じて逐次特定し、運転シーンの出現状況を認識する。   In the transition prediction system 1, the server 40 acquires a vehicle state indicating at least one of the vehicle traveling environment and the vehicle traveling state, and sets one of a plurality of preset driving scenes to the vehicle state. In accordance with this, the appearance of the driving scene is recognized.

また、遷移予測システム1において遷移予測装置5の制御部10は、運転シーンの出現状況を走行インターバルに対応付けた対応付データを、それぞれの走行インターバルに含まれる運転シーンに従って分類した分類データ、によって分類された何れの分類に属するかを判定する。そして、現在の走行における運転シーンの出現状況が属する分類における運転シーンの遷移モデルに基づいて、次に出現する運転シーンを予測する。   In the transition prediction system 1, the control unit 10 of the transition prediction device 5 uses the association data in which the appearance state of the driving scene is associated with the travel interval, and is classified according to the driving scene included in each travel interval. It is determined to which of the classified classifications. Then, based on the transition model of the driving scene in the classification to which the appearance situation of the driving scene in the current traveling belongs, the driving scene that appears next is predicted.

このような遷移予測システム1によれば、運転シーンの出現状況に応じて分類データの何れの分類に属するかを判定し、この分類に応じて頻出する運転シーンを予測することができる。よって、走行インターバルを分類することなく運転シーンを予測する構成と比較して、今後出現する運転シーンを精度よく予測することができる。   According to such a transition prediction system 1, it is possible to determine which class of classification data belongs according to the appearance state of a driving scene, and to predict a driving scene that appears frequently according to this classification. Therefore, it is possible to accurately predict a driving scene that will appear in the future as compared with a configuration that predicts a driving scene without classifying the driving interval.

[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
[Other Embodiments]
The present invention is not construed as being limited by the above embodiment. Further, the reference numerals used in the description of the above embodiments are also used in the claims as appropriate, but they are used for the purpose of facilitating the understanding of the invention according to each claim, and the invention according to each claim. It is not intended to limit the technical scope of The functions of one component in the above embodiment may be distributed as a plurality of components, or the functions of a plurality of components may be integrated into one component. Further, at least a part of the configuration of the above embodiment may be replaced with a known configuration having the same function. Moreover, you may abbreviate | omit a part of structure of the said embodiment as long as a subject can be solved. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this invention.

上述した遷移予測システム1の他、当該遷移予測システム1の構成要素となる装置(遷移予測装置5、サーバ40)、当該遷移予測システム1としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、遷移予測方法など、種々の形態で本発明を実現することもできる。   In addition to the transition prediction system 1 described above, a device (transition prediction device 5, server 40) that is a component of the transition prediction system 1, a program for causing a computer to function as the transition prediction system 1, and a medium on which the program is recorded The present invention can also be realized in various forms such as a transition prediction method.

例えば、上記実施形態においては、走行インターバルを、車両の運転開始から運転終了までに設定したが、他の任意の時期に設定してもよい。例えば、車両の発進時から停止時までに設定してもよい。このようにすれば、比較的短い時間を走行インターバルとするので、より多くのデータを短時間で得ることができる。よって、短時間で遷移予測データを生成することができる。   For example, in the above embodiment, the travel interval is set from the start of driving to the end of driving of the vehicle, but may be set at any other time. For example, it may be set from when the vehicle starts to when it stops. In this way, since a relatively short time is used as the travel interval, more data can be obtained in a short time. Therefore, transition prediction data can be generated in a short time.

また、上記実施形態においては、予測データ生成処理においてS10〜S50の処理は、サーバ40において実施されるよう説明したが、これらの処理は車両の遷移予測装置5において実施されてもよい。この場合、サーバ40は車両の遷移予測装置5からシンボルデータを取得すればよい。   Moreover, in the said embodiment, although the process of S10-S50 was demonstrated in the server 40 in the prediction data generation process, these processes may be implemented in the transition prediction apparatus 5 of a vehicle. In this case, the server 40 may acquire symbol data from the vehicle transition prediction device 5.

また、上記実施形態では、シンボルデータ、クラスタデータ、およびシンボル遷移モデルを用いて運転シーンの遷移を予測したが、シンボル遷移モデルを用いることなく、シンボルデータおよびクラスタデータを用いて運転シーンの遷移を予測してもよい。   In the above embodiment, the driving scene transition is predicted using the symbol data, the cluster data, and the symbol transition model. However, the driving scene transition is performed using the symbol data and the cluster data without using the symbol transition model. It may be predicted.

このようにすれば、より簡素な構成で運転シーンの遷移を予測できる。
[実施形態の構成と本発明の手段との対応関係]
上記実施形態におけるサーバ40は本発明でいう遷移予測データ生成装置に相当し、上記実施形態における遷移予測装置5は本発明でいう遷移予測装置に相当する。また、サーバ40または遷移予測装置5(制御部10)が実施する処理のうちの、S20の処理は本発明でいう対応付データ生成手段および運転シーン認識手段に相当し、上記実施形態におけるS40、S70、S100の処理は本発明でいう格納手段に相当する。
In this way, the transition of the driving scene can be predicted with a simpler configuration.
[Correspondence between Configuration of Embodiment and Means of Present Invention]
The server 40 in the above embodiment corresponds to the transition prediction data generation device referred to in the present invention, and the transition prediction device 5 in the above embodiment corresponds to the transition prediction device referred to in the present invention. Of the processes performed by the server 40 or the transition prediction apparatus 5 (control unit 10), the process of S20 corresponds to the association data generation means and the driving scene recognition means referred to in the present invention. The processes of S70 and S100 correspond to storage means in the present invention.

さらに、上記実施形態におけるS60の処理は本発明でいう分類データ生成手段に相当し、上記実施形態におけるS80の処理は本発明でいう遷移パターン取得手段に相当する。また、上記実施形態におけるS90の処理は本発明でいう遷移データ生成手段に相当し、上記実施形態におけるS210の処理は本発明でいう分類判定手段に相当する。   Further, the process of S60 in the above embodiment corresponds to the classification data generation means referred to in the present invention, and the process of S80 in the above embodiment corresponds to the transition pattern acquisition means referred to in the present invention. In addition, the process of S90 in the above embodiment corresponds to the transition data generation unit referred to in the present invention, and the process of S210 in the above embodiment corresponds to the classification determination unit referred to in the present invention.

さらに、上記実施形態におけるS220の処理は本発明でいう予測手段に相当する。   Furthermore, the process of S220 in the above embodiment corresponds to the prediction means in the present invention.

1…遷移予測システム、5…遷移予測装置、6…シンボル、10…制御部、11…CPU、12…メモリ、21…各種センサ、25…データベース、26…運転シンボルDB、27…クラスタDB、28…シンボル遷移モデルDB、31…運転支援部、40…サーバ、41…データベース、42…運転シンボルDB、43…クラスタDB、44…シンボル遷移モデルDB。   DESCRIPTION OF SYMBOLS 1 ... Transition prediction system, 5 ... Transition prediction apparatus, 6 ... Symbol, 10 ... Control part, 11 ... CPU, 12 ... Memory, 21 ... Various sensors, 25 ... Database, 26 ... Driving symbol DB, 27 ... Cluster DB, 28 ... symbol transition model DB, 31 ... driving support unit, 40 ... server, 41 ... database, 42 ... driving symbol DB, 43 ... cluster DB, 44 ... symbol transition model DB.

Claims (6)

運転シーンの遷移を予測する際に用いられる遷移予測データを生成する遷移予測データ生成装置(40)であって、
車両の走行環境および車両の走行状態の少なくとも何れかを示す車両状態を繰り返し取得する車両状態取得手段(S10)と、
前記車両の走行開始から走行終了までに設定された走行インターバル毎に、予め設定された複数の運転シーンのうちの1つを前記車両状態に応じて逐次特定し、運転シーンの出現状況を走行インターバルに対応付けた対応付データを生成する対応付データ生成手段(S20)と、
前記対応付データを、それぞれの走行インターバルに含まれる運転シーンに従って分類した分類データを生成する分類データ生成手段(S60)と、
前記対応付データおよび前記分類データを前記遷移予測データとして記録手段に格納する格納手段(S40、S70、S100)と、
を備えたことを特徴とする遷移予測データ生成装置。
A transition prediction data generation device (40) that generates transition prediction data used when predicting a transition of a driving scene,
Vehicle state acquisition means (S10) for repeatedly acquiring a vehicle state indicating at least one of a traveling environment of the vehicle and a traveling state of the vehicle;
For each travel interval set from the start of travel of the vehicle to the end of travel , one of a plurality of preset driving scenes is sequentially identified according to the vehicle state, and the appearance status of the driving scene is determined as the travel interval. Association data generation means (S20) for generating association data associated with
Classification data generation means (S60) for generating classification data obtained by classifying the association data according to the driving scene included in each driving interval;
Storage means (S40, S70, S100) for storing the association data and the classification data in the recording means as the transition prediction data;
A transition prediction data generation device characterized by comprising:
請求項1に記載の遷移予測データ生成装置において、
前記対応付データ生成手段は、前記車両状態に応じて特定した運転シーンを予め設定されたシンボルに置き換えて対応付データを生成すること
を特徴とする遷移予測データ生成装置。
In the transition prediction data generation device according to claim 1,
The transition-predicted data generating device, wherein the associated data generating means generates associated data by replacing a driving scene specified according to the vehicle state with a preset symbol.
請求項1または請求項2に記載の遷移予測データ生成装置において、
運転シーンの出現順序を取得する遷移パターン取得手段(S80)と、
前記走行インターバルの分類毎に、各運転シーンの次にそれぞれの運転シーンが出現する確率を対応付けた遷移モデルデータを生成する遷移モデルデータ生成手段(S90)と、
を備え、
前記格納手段は、前記遷移モデルデータも前記記録手段に格納すること
を特徴とする遷移予測データ生成装置。
In the transition prediction data generation device according to claim 1 or 2,
Transition pattern acquisition means (S80) for acquiring the appearance order of driving scenes;
Transition model data generating means (S90) for generating transition model data in which the probability that each driving scene appears next to each driving scene for each classification of the driving interval;
With
The storage means stores the transition model data in the recording means.
請求項1〜請求項3の何れか1項に記載の遷移予測データ生成装置において、
前記分類データ生成手段は、前記対応付データに対して、無限関係モデルを用いたクラスタリングを行うことによって前記分類データを生成すること
を特徴とする遷移予測データ生成装置。
In the transition prediction data generation device according to any one of claims 1 to 3,
The classification data generation unit generates the classification data by performing clustering on the association data using an infinite relation model.
運転シーンの遷移を予測する運転シーンの遷移予測装置(5)であって、
車両の走行環境および車両の走行状態の少なくとも何れかを示す車両状態を取得する車両状態取得手段(S10)と、
予め設定された複数の運転シーンのうちの1つまたは複数を前記車両状態に応じて逐次特定し、運転シーンの出現状況を認識する運転シーン認識手段(S20)と、
運転シーンの出現状況を前記車両の走行開始から走行終了までに設定された走行インターバルに対応付けた対応付データを、それぞれの走行インターバルに含まれる運転シーンに従って分類した分類データ、によって分類された何れの分類に属するかを判定する分類判定手段(S210)と、
前記運転シーンの出現状況が属する分類における運転シーンの分布傾向に基づいて、次に出現する運転シーンを予測する予測手段(S220)と、
を備えたことを特徴とする遷移予測装置。
A driving scene transition prediction device (5) for predicting driving scene transition,
Vehicle state acquisition means (S10) for acquiring a vehicle state indicating at least one of a traveling environment of the vehicle and a traveling state of the vehicle;
Driving scene recognition means (S20) for sequentially identifying one or more of a plurality of preset driving scenes according to the vehicle state and recognizing the appearance of the driving scene;
Any of the data classified according to the driving data included in each of the driving intervals included in the correspondence data that associates the appearance of the driving scene with the driving intervals set from the start of driving to the end of driving of the vehicle. Classification determination means (S210) for determining whether it belongs to the classification of
Prediction means (S220) for predicting a driving scene that appears next based on a distribution tendency of the driving scene in the classification to which the appearance situation of the driving scene belongs;
A transition prediction apparatus comprising:
請求項5に記載の遷移予測装置において、
前記対応付データ及び前記分類データはそれぞれ、請求項1〜請求項の何れか1項に記載の遷移予測データ生成装置によって生成された前記対応付データ及び前記分類データであること
を特徴とする遷移予測装置。
In the transition prediction device according to claim 5,
The association data and the classification data are respectively the association data and the classification data generated by the transition prediction data generation device according to any one of claims 1 to 4. Transition prediction device.
JP2014231797A 2014-11-14 2014-11-14 Transition prediction data generation device and transition prediction device Active JP6358051B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014231797A JP6358051B2 (en) 2014-11-14 2014-11-14 Transition prediction data generation device and transition prediction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014231797A JP6358051B2 (en) 2014-11-14 2014-11-14 Transition prediction data generation device and transition prediction device

Publications (2)

Publication Number Publication Date
JP2016095707A JP2016095707A (en) 2016-05-26
JP6358051B2 true JP6358051B2 (en) 2018-07-18

Family

ID=56071149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014231797A Active JP6358051B2 (en) 2014-11-14 2014-11-14 Transition prediction data generation device and transition prediction device

Country Status (1)

Country Link
JP (1) JP6358051B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565882B2 (en) 2016-12-02 2019-08-28 トヨタ自動車株式会社 Prediction data generation device and vehicle control device
JP6565883B2 (en) 2016-12-02 2019-08-28 トヨタ自動車株式会社 Vehicle control device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4013712B2 (en) * 2002-09-13 2007-11-28 株式会社エクォス・リサーチ Vehicle running pattern creation device, vehicle running pattern creation method, and engine start / stop device
JP2011014037A (en) * 2009-07-03 2011-01-20 Fuji Heavy Ind Ltd Risk prediction system
JP5281990B2 (en) * 2009-08-26 2013-09-04 日本電信電話株式会社 Clustering apparatus, clustering method, and program
JP5278419B2 (en) * 2010-12-17 2013-09-04 株式会社デンソー Driving scene transition prediction device and vehicle recommended driving operation presentation device
JP5783356B2 (en) * 2011-03-30 2015-09-24 マツダ株式会社 Vehicle travel plan generation system
MX2015000832A (en) * 2012-07-17 2015-04-08 Nissan Motor Driving assistance system and driving assistance method.

Also Published As

Publication number Publication date
JP2016095707A (en) 2016-05-26

Similar Documents

Publication Publication Date Title
JP6925796B2 (en) Methods and systems, vehicles, and computer programs that assist the driver of the vehicle in driving the vehicle.
JP6307356B2 (en) Driving context information generator
US9846978B1 (en) Remaining useful life estimation of vehicle component
US8948929B2 (en) Vehicle management and control for safe driving and collision avoidance
JP6330651B2 (en) Anomaly detection device
JP2018203250A5 (en)
US10449956B2 (en) Object tracking by unsupervised learning
US11162798B2 (en) Map updates based on data captured by an autonomous vehicle
US10755565B2 (en) Prioritized vehicle messaging
JP6693321B2 (en) Ability evaluation system
CN112319456A (en) Vehicle threat detection and response
JP5895728B2 (en) Vehicle group management device
CN112287801A (en) Vehicle-mounted data processing method and device, server and readable storage medium
US20220343637A1 (en) Traffic flow machine-learning modeling system and method applied to vehicles
JP6451583B2 (en) Driving assistance device
US20210264213A1 (en) Neural network for localization and object detection
JP6358051B2 (en) Transition prediction data generation device and transition prediction device
JP6365107B2 (en) Accident information calculation device and program
US11024175B2 (en) Adaptive vehicle-infrastructure communications
US11657635B2 (en) Measuring confidence in deep neural networks
Ryder et al. An in-vehicle information system providing accident hotspot warnings
CN115520216A (en) Driving state judging method and device, computer equipment and storage medium
CN114758313A (en) Real-time neural network retraining
US10562450B2 (en) Enhanced lane negotiation
US20210209381A1 (en) Temporal cnn rear impact alert system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180604

R151 Written notification of patent or utility model registration

Ref document number: 6358051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250