JP6410162B1 - 運転支援装置、運転支援方法およびプログラム - Google Patents

運転支援装置、運転支援方法およびプログラム Download PDF

Info

Publication number
JP6410162B1
JP6410162B1 JP2017562380A JP2017562380A JP6410162B1 JP 6410162 B1 JP6410162 B1 JP 6410162B1 JP 2017562380 A JP2017562380 A JP 2017562380A JP 2017562380 A JP2017562380 A JP 2017562380A JP 6410162 B1 JP6410162 B1 JP 6410162B1
Authority
JP
Japan
Prior art keywords
driver
intention
moving
unit
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017562380A
Other languages
English (en)
Other versions
JPWO2019021355A1 (ja
Inventor
松本 直
直 松本
Original Assignee
有限会社 波多野巌松堂書店
有限会社 波多野巌松堂書店
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限会社 波多野巌松堂書店, 有限会社 波多野巌松堂書店 filed Critical 有限会社 波多野巌松堂書店
Priority to PCT/JP2017/026742 priority Critical patent/WO2019021355A1/ja
Application granted granted Critical
Publication of JP6410162B1 publication Critical patent/JP6410162B1/ja
Publication of JPWO2019021355A1 publication Critical patent/JPWO2019021355A1/ja
Active legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/10Input devices or features thereof
    • B60K2370/12Input devices or input features
    • B60K2370/133Multidirectional input devices
    • B60K2370/135Joysticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • B60W2050/0071Controller overrides driver automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • B60W2050/0073Driver overrides controller
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping

Abstract

移動手段の移動中において、操作の主導権をドライバーに与えてよい基準を提供する。少なくとも一部に運転者の意思に基づかずに運転可能な機能を備える乗用車(100)は、乗用車(100)の操作系統とは別個に設けられ、ドライバーの操作に応じてドライバーの動作意思を受け取るグリップ(1)と、グリップ(1)を介してドライバーの動作意思が、異なる意思に変化したか否かを判断し、異なる意思に変化したときに操作の主導権をドライバーに与えるか否かを判断する制御部(11)と、を有する。

Description

本発明は運転支援装置、運転支援方法およびプログラムに関する。
車両の走行制御において、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認する技術が知られている。
例えば、自動走行車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による視認行為を決定する視認行為決定部と、視認行為決定部で決定された視認行為を運転者に実行させるための制御を行う視認行為制御部と、運転者によって実行された前記視認行為を検出する運転者解析部とを備える装置が知られている。
特開2015−185088号公報 特開2016−124542号公報
自動運転制御中、突発した危機回避のため、自動運転制御からドライバーの意思により手動運転制御に切り換える際に、手動運転に切り換えた方が良い場合もあれば、自動運転のままの方がよい場合も存在する。またドライバーが運転行為をしていたとしても自動運転制御の方が安全な場合も存在する。何れにせよドライバーの運転意識を計測する必要がある。
1つの側面では、本発明は、移動手段の移動中において、操作の主導権をドライバーに与えてよい基準を提供することを目的とする。
上記目的を達成するために、開示の運転支援装置が提供される。この運転支援装置は、少なくとも一部にドライバーの意思に基づかずに運転操作可能な機能を備える移動手段が有しており、移動手段を実際に操作する操作系統とは別個に設けられた、移動手段の移動中におけるドライバーの操作に応じてドライバーの動作意思を受け取る操作部と、操作部を介してドライバーの動作意思が、異なる意思に変化した遷移過程を継続的に測定し、異なる意思に変化した測定値に基づき移動手段を操作する主導権をドライバーに与えるか否かを判断する制御部と、を有している。
1態様では、移動手段の移動中において、操作の主導権をドライバーに与えてよい基準を提供することができる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
実施の形態の乗用車を示す図である。 乗用車のフロントガラスから見える景色のイメージ図の一例である。 グリップの動作を説明する図である。 乗用車が備えるコンピュータのハードウェア構造を説明する図である。 動作部の構成を説明する図である。 動作部の位置を説明する図である。 実施の形態のコンピュータの機能を示すブロック図である。 推進方向にグリップを倒したときのフロントガラスに表示される位置マーク情報を説明する図である。 制動方向にグリップを倒したときのフロントガラスに表示される位置マーク情報を説明する図である。 左右旋回時の動作を説明する図である。 指標の位置関係を説明する図である。 運転条件を説明する図である。 図12に示す各位置におけるドライバーの運転意思、センサの振れ圧力、および制御部の運転操縦を説明する図である。 図12に示す各位置におけるドライバーの運転意思、センサの振れ圧力、および制御部の運転操縦を説明する図である。 イメージセンサの座標軸に時間軸を加えた表を示す図である。 推進、制動、左右旋回度数に時間軸を含め位置表示した図である。 第2の実施の形態の乗用車を説明する図である。 第3の実施の形態のグリップを説明する図である。
以下、実施の形態の乗用車を、図面を参照して詳細に説明する。
<実施の形態>
図1は、実施の形態の乗用車を示す図である。
実施の形態の乗用車100は、移動体の一例である。移動体としては特に限定されないが、乗用車以外には例えば貨物車、船舶や飛行機等、人間が操縦するものが挙げられる。乗用車100は、少なくとも一部に運転者の動作意思に基づかずに運転可能な機能(所謂ドライブアシスト機能など)を備えている。例えば、乗用車100は、前を走る車を検知して、自動で発進や停車を行う機能を備えている。また、ドライバーが指定した目的地に向かって道路を完全に自動運転する機能を備えている。
乗用車100に搭乗するドライバーは、目的地へ行くために「運転意思」を持つ。乗用車100に備えられた運転支援装置は、このドライバーの運転意思(運転意識、運転マインド)を認識し数値化を可能とする。ここに言う運転支援とは人間に対しても、自動運転を司る制御部に対しても支援する意味を表す。
運転意思の要素は、例えば走って行く方向と走る速度、安全のために停止する意思等が挙げられる。手動運転であればドライバーはこの意思を手や足等を使って、ハンドル、アクセルやブレーキを操作し乗用車100に伝える。本実施の形態では、乗用車100には、ドライバーの意思を伝える手段(操作部)としてグリップが設けられている。なお、グリップについては、後に詳述する。
ドライバーは、急角度で曲がる、ゆるやかに曲がる、曲がる方向、早く、遅く走る、停止したい、現状のまま等の意思を、グリップを介して乗用車100に伝えることができる。但し、グリップは、乗用車100の駆動や操舵を実際に司る装置(操作系統)には連動していない。乗用車100は、グリップを介して受け取った意思を数値化してドライバーの運転意思を判断する。
運転意思を説明するために、乗用車100は、レーザー光等の指向性の強い周波数を前方に発するイメージを例に採る。
図1中、位置Aは、乗用車100の時速0km時の1秒後の位置を示している。位置Bは、乗用車100の時速40km時の1秒後の位置(Aから11.11m離間した位置)を示している。位置Cは、乗用車100の時速80km時の1秒後の位置(Aから22.22m離間した位置)を示している。
図2は、乗用車のフロントガラスから見える景色のイメージ図の一例である。
乗用車100は、所謂ヘッドアップディスプレイ等の機能により、現在走行している時速に応じて1秒後の乗用車100の位置を示す指標20をフロントガラスに表示するイメージである。
図2(a)に示す指標20は、乗用車100の時速0km時の1秒後の位置(すなわち図1に示す位置A)を示している。図2(b)に示す指標20は、乗用車100の時速40km時の1秒後の位置(すなわち図1に示す位置B)を示している。図2(c)に示す指標20は、乗用車100の時速/80km時の1秒後の位置(すなわち図1に示す位置C)を示している。
図3は、実施の形態のグリップを説明する図である。
グリップ1は、乗用車100の左右の肘掛けアームレストの先端に折りたたみ式で装備できる。あるいはオートマチック車のギアシフトレバーにシフトチェンジ機能と兼ね添えて内蔵することもできる。その場合、運転意思入力操作とシフトチェンジ操作との混同が発生することを抑制するため、グリップ1は、位置固定ロック機構などを備えるのが好ましい。
グリップ1は、可動部分は後述する撮像素子が備える魚眼レンズ等の撮像角度の範囲内でドライバーが把持して前後左右方向(360°)に自由に傾斜させて移動させることができる。グリップ1を把持して前後左右に移動させることで、ドライバーはノッチ感覚の刻み振動が手に感じる抵抗感を掌に受けることができてもよい。
グリップ1の可動部分は手を離した状態では左右方向舵と推進制御方向の中立点が交わった点で静止する。グリップ1の可動部分と角度調節器具の接続部には衝突時に人体を守るため弾力性のある変動可能の素材で中継されていてもよい。
本実施の形態では、ドライバーがグリップ1を奥方向(図3中、上方向)に倒すと「制動」、ドライバーがグリップ1を手前方向(図3中、下方向)に倒すと「推進」、ドライバーがグリップ1を左方向に倒すと「左旋回」、ドライバーがグリップ1を右方向に倒すと「右旋回」、となる。推進が後ろ方向になっているのは、オートバイは手前旋回がアクセルとなっている事にならった。実際に推進力を乗用車100に与えると人間の体は後方に加速度の圧力がかかるので自然な感覚になると思える。
なお、移動傾斜方向は一例であり、例えば推進と制動を図3に示す方向と逆方向にしてもよい。
中立地点(図3に示す位置)に静止したグリップ1をいずれかの方向に一方向倒した段階で、始点となる。また一方向へ倒した段階から、手を離すと、可動部分は中立点に回帰する。
グリップ1は、電車のマスコンのように、各方向に複数段階(本実施の形態では倒す角度を5段階)に調整することができてもよい。
グリップ1は、傾斜する4方向の数値を制御部に伝達する。グリップ1のそれぞれの傾きと回転度合いは、後述する撮像素子により撮像され、制御部により数値化される。数値化された信号は、左右方向舵、推進、制動およびそれぞれの中立点の6つのドライバーの意思を座標軸上の数値に変換したデータとなって、後述する記憶部に記憶される。
手動運転時ドライバーが無意識にハンドルを的確に回転させるように、ドライバーは無意識の内にグリップ1を的確に傾斜させることができる。しかもその傾斜角度はドライバーの感覚によるものである。このように、あやふやな根拠による傾斜角度でも、制御部に対して、ドライバーの運転意思を的確な2つの数値で伝えることができる。
一つは行きたい方角を角度数値で示す。そしてもう一つはグリップ1を動かす度に発生する一方向から逆方向に傾斜操作を変更させる意思変更点である。
推進制動の操作と同じく、道路のカーブの度毎にドライバーは、グリップ1を左右に傾斜する。左右への行きたい方角が遷移するその度毎に、制御部は、方向角度と意思変更の始点と終点を記録する。そして制御部は自動運転のために車体に備えられたセンサや深層学習されたプログラムにより、意思変更の意味も知っていると考えられる。(例えば赤青信号、歩行者の姿や左右カーブなど)このようにして制御部は乗用車100を監視する立場のドライバーの信頼性を測る。また制御部とドライバーとの意見交換や、ドライバーからの助言を受取ることが可能になる(例えば信頼性の高いドライバーが急にグリップを制動方向に傾けた場合、何らかの危険が迫っていると制御部は判断出来る)。これらの効果はグリップ1により入力された運転意思の測定値と、移動手段に備えられたジャイロセンサ、加速度センサの測定値を比較することで得られる。人間そのものも高感度なセンサであり、機械である自動運転車は人間センサの測定値を、後述する制御部において、数値データ、画像データ、線形データなどに置き換えて比較する。
以下、乗用車100の制御を詳しく説明する。
図4は、乗用車が備えるコンピュータのハードウェア構造を説明する図である。
コンピュータ(運転支援装置)100aは、CPU(Central Processing Unit)101によって装置全体が制御されている。CPU101には、バス109を介してRAM(Random Access Memory)102と複数の周辺機器が接続されている。
RAM102は、コンピュータ100aの主記憶装置として使用される。RAM102には、CPU101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、CPU101による処理に使用する各種データが格納される。
バス109には、ハードディスクドライブ(HDD:Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、ドライブ装置106、センサ部107、および通信インタフェース108が接続されている。
ハードディスクドライブ103は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ハードディスクドライブ103は、コンピュータ100aの二次記憶装置として使用される。ハードディスクドライブ103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリ等の半導体記憶装置を使用することもできる。
グラフィック処理装置104には、モニタ104aが接続されている。グラフィック処理装置104は、CPU101からの命令に従って、画像をモニタ104aの画面に表示させる。モニタ104aとしては、CRT(Cathode Ray Tube)を用いた表示装置や、液晶表示装置等が挙げられる。
入力インタフェース105は、グリップ1やその他のポインティングデバイスから送られてくる信号をCPU101に送信する。ポインティングデバイスとしては、グリップ1以外にも例えばタッチパネル、タブレット、タッチパッド、トラックボール等が挙げられる。
ドライブ装置106は、例えば、光の反射によって読み取り可能なようにデータが記録された光ディスクや、USB(Universal Serial Bus)メモリ等の持ち運び可能な記録媒体に記録されたデータの読み取りを行う。例えば、ドライブ装置106が光学ドライブ装置である場合、レーザー光等を利用して、光ディスク200に記録されたデータの読み取りを行う。光ディスク200には、Blu−ray(登録商標)、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等が挙げられる。
センサ部107は、ジャイロセンサ107aと撮像素子107bとを有している。ジャイロセンサ107aは、乗用車100の現段階の加速度を検出する。なお、ジャイロセンサ107aの代わりに加速度センサを用いてもよいし、ジャイロセンサ107aと加速度センサの両方を用いてもよい。
撮像素子107bは、グリップ1の可動部分に対向して固定された位置に据え付けられている。
撮像素子107bは、例えばCCDやCMOSであり、グリップ1に設けられた動作部が作動する方向を撮像する。動作部については後述する。撮像素子107bが撮像した画像はCPU101に送られる。CPU101は、撮像したグリップ1の位置を電子化する。
通信インタフェース108は、ネットワーク50に接続されている。通信インタフェース108は、ネットワーク50を介して、他のコンピュータまたは通信機器との間でデータを送受信する。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
図5は、動作部の構成を説明する図である。
図5(a)は、動作部3の光源が撮像素子107bに照射する図であり、図5(b)は、受光部を側面から見た図である。
動作部3は半円球形をなしている。動作部3の外郭には直進性の強いLED光源が照射される。魚眼レンズ107cを通過した光線は撮像素子107bが備えるイメージセンサ107dに照射される。
CPU101は、方眼状に区画された位置メッシュに動作部3の現在の相対位置を記録する。
図6は、動作部の位置を説明する図である。
魚眼レンズ107cを通した画像は周囲がすぼまり円形となるが、二次元の平面図に置き換えるため、周囲を拡大、中心部を縮小している。
この図6に示すように、動作部3の位置を検出することにより、現時点のドライバーの運転意思を点に置き換えることができる。制御部11は、動作部3の位置毎にこれらの位置を検出した時間情報を加える。
グリップ1の機構は、ドライバーが手を離した状態で中立点Cに光源が位置するようになっている。その為、可動する外郭部とグリップ1を支えるスティック部との間に輪っか状等のスプリングが挟み込まれていてもよい。
さらに半円球形の光源部分には、内面が液晶のディスプレイが設けられている。ドライバーの視線からの映像をディスプレイに映写することで、撮像素子107bは、ドライバーが進もうとする方向と任意の秒数の目指す位置を撮影する。その位置は走行スピードと方向舵角度に基づきCPU101が計算する。ドライブレコーダー動画の中に数秒後の自車の姿を薄い透明の車両形体で記録することも可能となる。この画像を深層学習するためのトレーニング用正解データ素材に使用することにより、自らの運転意思を学習したプログラムを常に構成し、他車と共有する事が可能となる。
なお、撮像素子107bが複数設けられていてもよい。例えば、ドライバーの左右方向の意思と推進、制動方向の意思を別個に読み取る場合等は、撮像素子107bが2つ設けられていてもよい。
図7は、実施の形態のコンピュータの機能を示すブロック図である。
コンピュータ100aは、制御部11と記憶部12とを有している。
制御部11は、乗用車100を制御する。この制御部11により乗用車100は、ドライバーが手動で操作しなくても道路上を走行可能である。自動運転に関して制御部11が備える機能については、従来公知のものを用いることができる。
また、制御部11は、グリップ1の操作状況からグリップ1が逆の方向、又は一つの方向に遷移する瞬間を検出する。この瞬間にこそ最も強く運転意思による人間の判断が鋭く表れる。
そして、制御部11は、グリップ1の操作状況からドライバーの意識レベルを判断し、ドライバーの操作に従うか否かを判断する。この判断は、振れ圧力が同じ位置方向に発生し、終結した動きが連続して継続している実績により決定される。この判断により自動運転中であっても、ドライバーの意思により手動運転装置を操作することが制御部11により認められる。
乗用車100の限られた位置に取り付けられたセンサでは計測できない情報も、ドライバーは外界状況の認識判断により、脳内に取り込むことができる。例えば大型コンテナ車の真後ろで信号待ちをしている場合、街路のショーウインドに写ったコンテナ車の一台前の車が、信号が変わり走り出した様子も認識できる。その時点でグリップ1を推進方向に倒せば、制御部11よりも早く発進情報を座標軸に記録できる。その数秒後に制御部11自身も発進制御を行い、同時に車体の加速度センサが振れ圧力を記録すれば、制御部11は、このドライバーはしっかりと状況認識を行っていると判定できる。
記憶部12は、制御部11の演算結果を記憶する。また、記憶部12は、ドライバーの意識レベルを記憶することができる。
次に、推進、制動、左右旋回時の動作を説明する。
<推進時の動作>
図8は、推進方向にグリップを倒したときのフロントガラスに表示される位置マーク情報を説明する図である。
例えば、図8(a)に示すように、乗用車100が40km/hで走行しているときに、ドライバーがグリップ1を推進方向に1段階倒すと、フロントガラスに表示される指標20の上部に印21が1つ表示される。ドライバーが推進方向にグリップ1を倒すにつれて、印21の数が増えていく。この印21は、何キロまで加速したいかという具体的数値を示すものではない。あくまでドライバーが沢山加速したいのか、少ししか加速したくないのかという意思を示すものである。
図8(b)は、ドライバーがグリップ1を推進方向に5段階倒したときの印21を示している。
グリップ1を中立点まで戻せば、全ての印21は消える。
推進する意思の場合、ドライバーは、ゆっくりとアクセルを踏込み徐々に加速するイメージでグリップ1を手前に引く。手前にすべて引き終わった段階で時速40km/hに到達したと仮定する。
制御部11は、そのまま手を離さずに5の段階でグリップ1を保持していれば、さらに加速を行いたい意思であると判断する。また、制御部11は、ドライバーが手を離すか中立点にグリップ1を戻すことで、現在のスピードを維持する意思であると判断する。そしてもう一度グリップ1を手前に引けば、制御部11は、ドライバーが時速40km/hからさらに加速を行いたいという意思であると判断する。
推進方向にグリップ1を動かす動作は、水面をオールで漕ぐような意味を持つ。水中でオールを後ろ方向に漕げば推進力が生まれる。漕ぎきった時点でオールを水中から空中に持ち上げる。そして再び進行方向の水中にオールを沈める。このオールが空中にある過程が、グリップ1を中立地点に戻す動作に該当する。つまり時速40km/hで手前に振り切っているグリップ1を中立点に戻しても、車体は時速40km/hで巡航しており、決して時速を時速0km/hに減速する意思を表してはいないという特性を持っている。
推進方向のこの意思に左右への方向変更意思を重ね合わせることもできる。現在時速40km/hのままに左方向にカーブを曲がる意思ならば中立交差点にあるグリップ1を、単に左方向に倒すだけで良いし、カーブ後半に差しかかった時点で加速を行いたい意思ならばグリップ1を左側に倒したまま手前に引くことで、制御部11は、遠心力を打ち消す推進力を得る走行イメージを表現することができる。
<制動時の動作>
図9は、制動方向にグリップを倒したときのフロントガラスに表示される位置マーク情報を説明する図である。
制動方向にグリップ1を1段階倒すと、図9(a)に示すように、指標20の下部に矢印21が1つ表示される。
ドライバーが制動方向にグリップ1を倒すにつれて、印21の数が増えていく。
図9(b)は、ドライバーがグリップ1を制動方向に5段階倒したときの印21を示している。ドライバーがグリップ1を制動方向に5段階倒したときは、印21に加え、さらに例えば黒丸色の印22が表示される。例えばドライバーが目前の信号が赤に変わったのを認識した時に、このドライバーがグリップ1を制動方向に5段階倒して印22を表示させる操作をすれば、ドライバーが止まる意思を、制御部11に示したことになる。
このとき乗用車100は、実際に停止しなくても良い。印22は自車が数秒後には完全停車することを制御部11に事前に伝えさえすれば、停止地点までグリップ操作を省略できる。
これらの指標20および印21、22は、ドライバーの運転を妨げない位置および大きさで表示される。
なお、前述したように、グリップ1は、乗用車100の駆動や操舵を司る装置には連動していない。従って、グリップ1の傾け角度は乗用車100を制御する角度や強度を示す数値ではない。
ドライバーが制動方向に最大限グリップ1を倒すと、制御部11は、乗用車100の停止状態を含んだ制動意思であるものと判断する。実際に乗用車100が停止しなくとも、この時点で制御部11は、終点を記憶部12に記録する。ドライバーが最大限前方に倒したグリップ1から手を離すか、握った力を緩めればグリップ1は元の中立点に戻る。
先のオールの例と同じく、推進、制動ともに棒が往復する時の復路には、たとえ推進方向に棒が動いたとしても中立点までは、人間の推進意思としてカウントされない。
ところで、最大に前倒しをしたグリップ1が、さらに前方に倒れた場合、制御部11は、緊急事態が発生したものと判断する。これは推進方向の意思表示には無い特性である。
自動車は走るための機械と言えるが、最も大切な機能は止まることである。走ることは自分のためだけの行為であるが、止まることは他人の安全に関わる。
仮にグリップ1の操作による自動運転が日常になったとき、制御部11も推測できないアクシデントが発生したとする。本来であれば人間がパニックブレーキを踏むべきである。しかし、グリップ1の操作に慣れきってしまったら、咄嗟にグリップ1を前に倒すことしか実行できないかもしれない。そのときのために、最大に前倒しをしたグリップ1が、さらに前方に倒れ、緊急事態を制御部11に知らせる仕組みを備えていてもよい。機構的にはグリップ1の先端に備えた押し釦を押しながら最前方に倒す方法が挙げられる。また一定限度以上の力量でロックが外れ最前方のさらに前方にグリップ1を倒す方法も挙げられる。
<左右旋回時の動作>
左右方向へ倒す角度は実際のタイヤの切れ角度と関連付けられている。
例えば乗用車100の前輪の切れ角度(最大舵角・外輪側)が30°〜35°である場合、グリップ1を倒す角度もこの切れ角度に準じる傾斜角度を連動させることもできる。
図10は、左右旋回時の動作を説明する図である。
図10(a)に示す表は、図6に示す表と同じものである。
図10(a)に示す印23は、ドライバーの意思によるグリップ1の位置を示している。ドライバーが制動をかけながら左側に曲がる意思であることを示している。
図10(b)は、フロントガラスに表示される情報を説明する図である。
直線から左方向へのカーブが実際の道路位置である。
指標20は、一秒後の乗用車の位置を示している。指標20の位置は、制御部11がまだハンドル操作を行っていないので現在の乗用車100の位置からハンドル操作を行わないときに進行する方向の延長線上に位置している。この段階では制御部11はまだハンドルを左に切らないで、車体の向きを変えていないと見える。
ドライバーの目には左にカーブする道が見えているので、そちらの方へグリップ1を倒す。指標20aは、グリップ1を左に倒すことにより、ドライバーが意思表示したときの乗用車100の一秒後の位置を示している。
図11は、指標の位置関係を説明する図である。
図11(a)は、図10における指標20の軌跡を示し、図11(b)は、図10における指標20aの軌跡を示している。
このように人間が指標20の照射される場所を任意にイメージすることで照射位置を道路からはみ出さずに画像上に記録できる。このトレースが無意識のうちに可能となるのは、ドライバーがハンドル操作を無意識のうちに切り回すのと、グリップ1を無意識のうちに傾斜させることが、ドライバーにとって同じ作業感覚に基づいているからである。
しかもドライバーは、ハンドルを操作するときには同時にブレーキアクセル操作も行う。人間の体は加減速左右回転を三半規管や内臓の振れ圧力で感受する。内臓器官には下部延髄から脳神経である迷走神経が広く分布している。迷走神経は内臓の運動神経と副交換性の知覚神経を支配している。ジェットコースターに乗った時に腹部が浮く感覚もこの迷走神経から知覚されている。この知覚がグリップ1を操作した時の振れ圧力による車体との一体感覚をもたらす。さらに前後左右への振れ圧力(重力加速度)を操縦操作の度に予測体感する。外界の認識判断が正確で、自動運転中に車体の重心移動と同期させてグリップ1を操作することで、実際には操縦していない乗用車100を実際に操縦していると錯誤するほどの一体感が生まれる。
図11(b)に示す指標20aは、下方向に三つの矢印が表示されている。従って、体には前方向への制動圧力がかかっているはずである。しかし、その振れ圧力の数値的な度合いは、実際に制御部11が司令した制動力によって決定されるので、ドライバーが想像した振れ圧力とは異なる。あくまでもこの三つの矢印は制動をかけながら左方向にハンドルを切る意思を表している。
なぜこのようなあやふやな感覚が意味を成すかということについては、ドライバーの操作によって、制御部11は、逐次その時点でのドライバーの運転意識の状態を記録する数値として計測している理由による。
次にドライバーのグリップ操作と制御部11の操縦結果とその結果の振れ圧力を同じテーブル上で比較する図表を示す。
図12は、運転条件を説明する図である。
位置Aは、乗用車100が直進方向に定速度走行を行っている位置を示している。路面の傾斜はなく平地での走行である。位置Bは、乗用車100が停止標識14を認識した位置を示している。位置Cは、乗用車100が一時停止をした位置を示している。位置Dは、乗用車100が加速して左折している位置を示している。位置Eは、乗用車100がハンドルを戻しつつ加速している位置を示している。
位置Fは、乗用車100が直進方向に加速している位置を示している。
図13および図14は、図12に示す各位置におけるドライバーの運転意思、センサの振れ圧力、および制御部の運転操縦を説明する図である。図13中、左側からドライバーの運転意思、センサの振れ圧力、および制御部11の運転操縦を示している。
図13(a)は、位置Aでのドライバーの運転意思、センサの振れ圧力、および制御部の運転操縦を説明する図である。
ジャイロセンサの計測値は、グリップ1の左右への操作とは逆の方向に振れ圧力がかかる。
位置Aの時点で乗用車100は直進方向に定速度走行をしている。乗用車100は一定速度で走るためにわずかな加速をしている。そのため制御部11の運転操縦は推進状態にあり、ジャイロセンサは後方への振れ圧力を記録している。ドライバーの運転意思は加速でも減速でもない現在のスピード維持と直進をイメージしているので、グリップ1は中立点にある。
図13(b)に示すように、位置Bの時点でドライバーは、止まれの標識と左折地点が近づいた事を認識する。同時にドライバーは、グリップ1を一気に中立点から制動停止まで前方に倒す。例題の条件が信号とは異なる一時停止であり、停止することが必要で、直進道路であるためである。制御部11も停止地点に止まるため減速を始める。位置Bの地点では制動中なので乗用車100はまだ停止していない。もちろんドライバーが操作するグリップ1も徐々に前方向へ倒し、制御部11と同じベクトルを記録することもできる。しかし、この場合グリップ操作をワンアクションで停止位置まで倒し、操作を簡略化できる。
さらにドライバーはグリップ1を最前方へ倒したことにより、「空中を移動するオール」の原則が働き、グリップ1を手から離すか手の力を抜くだけで、中立位置にグリップ1が回帰され、実車体が減速走行中に停止中立意思を記録できる。
図13(c)に示すように、位置Cの時点でドライバーはすでに停止中立意思を示している。しかし位置Bから位置Cの移動経路に左右へのハンドル操作が必要な場合も有る。その場合、新たな運転意思ベクトルが発生する。同時に振れ圧力にも新たな重力加速度が発生する。図13にて示した運転要件に新たな要件が位置Bから位置Cの間に増えることになる。その場合でもドライバーの運転意思と振れ圧力との関係に相似形が記録される。図13の振れ圧力と制御部11の運転操作では制動状態から停止状態に移り変わる矢印が発生している。車体が完全に停止した時点で、停止したボートの「オール」は停止した水中に降ろされているイメージである
図14(a)に示すように、位置Dの時点では、制御部11はアクセルを踏みながらハンドルを左に回転させている。ドライバーはグリップ1を手前に引きながら左側に傾斜させている。図4のジャイロセンサ107aの振れ圧力はグリップ1を傾斜させた方向と逆に遠心力と推進力が働き、左折方向とは逆の右後方に重力加速度が働いている。
図14(b)に示すように、位置Eの時点では、カーブの出口に前輪が差しかかっている。そのためドライバーは左方向に傾斜させていたグリップ1を左右中立位置に戻している。このようにグリップを一つの方向から逆の方向に変節させたポイントを区切り、その時のジャイロセンサ107aが検出した加速度(実際の振れ圧力)と対比することにより、制御部11はドライバーの運転意識のレベルを測り、その操作の正確性を数値により記録し自動運転状態からドライバーへ車両を制御する権限を与える判断を行う。移動手段である車両の操作系統には、手動運転の操作系統であるハンドルアクセルブレーキなどと、自動運転の制御機能が操作するアクチュエータが行う操作との両方を含む。
ドライバーがグリップ1を操作する動作が多いほど、その区切り区間の計測時間は短くなり、計測する運転要件は増え、ドライバーを監視する制御部11の情報は多くなる。その為市街地走行であれば、制御部11はドライバーに対して綿密な観察が可能となる。しかし高速道路のような単調な道路では、運転要件が少なくなる。制御部11がドライバーを観察する情報自体が減少する。このためドライバーの運転意思読み取りの区切り区間が時間的に長くなる。市街地走行に比べ、移動距離あたりの意思確認回数が、走行速度に反比例して少なくなってしまう。つまりスピードを加速するに連れてドライバーの運転意思が計測上希薄になり、その分危険性(死傷率)が増大する。
次に、グリップ1の動作に基づき、運転意思を可視化する方法を説明する。
図15は、イメージセンサの座標軸に時間軸を加えた表を示す図である。
ある時刻(現在)を時刻Tとする。時刻Tから過去の2秒間にドライバーが操作した数値を表に示した。この2秒間という仮定は10秒間と読み替えても良い説明用の数字である。推進の欄の数字が「2」であれば推進強度は「2」の位置にあることを示している。
図15によれば、時刻Tにおいて、ドライバーがハンドルは直進、アクセルは強度「2」の強さで踏んでいる状態をイメージしてグリップ1を操作していることが分かる。
時刻T10から時間をたどって一枚の表に印を置くことで、乗用車100を制御するドライバーが車両を4方向にコントロールする意思を、時間軸も含んだ図表で形成することができる。
図16は、推進、制動、左右旋回度数に時間軸を含め位置表示した図である。
図16に示す図は、ドライバーがイメージした運転操作意思であるが、乗用車100が実際に車両をコントロールした結果の数値も同様に座標軸上に描き出すことができる。さらに時間軸を三次元の座標に置くことで、連続した曲線で運転意思と実動軌跡を立体的に描き出すことが可能となる。
次にドライバーの運転意思と乗用車100の運転意思を比較するための要素を選び出し、最終的に乗用車100を制御する制御部11を支援する方法を説明する。
例えば図16の時刻T9、T8、T7、T6の動きを見る。左右方向舵つまりハンドル操作部門ではT9から最大T6まで左にグリップ1を倒している。このT6の時点で運転意思が異なる意思に変化、遷移した時間を含めた地点となり、一つの意思の終結点であり、また始点ともなる。推進制動つまりアクセルブレーキ部門では、最大T7まで制動をかけている。このT7の時点で制動意思が異なる意思に変化、遷移した時間を含めた地点となり一つの意思の終結点であり、また始点ともなる。この場合、走行中、前方の赤信号が青に変わり、信号機で停車する前に現状スピードで巡航する意思が発生した例などが考えられる。
一つの判断動作から逆の動作に移り変わる区間が、ドライバーの運転意思と、制御部11の制御との比較ポイントになる。何故ならこの意思の変わり目地点にこそ、例えば前車のブレーキランプ、車間、前方に走行車両がいなくなったとき等、何らかの状況から読み取った判断が、ドライバーの頭脳感覚に発生しているからと推定されるからである。
この走行中絶え間ない判断による加速減速の区間をひとつひとつ制御部11が読み取ることで、制御部11は、ドライバーの信頼性を過去のデータとして蓄えることができる。
このような方法で制御部11は、自らの判断に誤りがないか、見落とした又はセンサが感知できなかった情報が無かったかを省みることも可能となる。
そして制御部11は、ドライバーの運転集中度を知ることで、乗用車100の能力自体をフォールバック機能縮減状態に落とすことも可能になる。
米国運輸省道路交通安全局(NHTSA)によって採用された6段階の自動化レベル(SAE J3016)を例に挙げると、例えば条件付き運転自動化のレベル3で運転操作を制御部11が行っているときに居眠りが発生すれば、制御部11は、警報を発し瞬時に運転自動化のレベル1に格下げをしてさらにハンドルを触る反応が無ければ路肩に避難停止を行う。
本案方式では自動運転制御が行う判断に対して、グリップ1を意図的に操作することにより、レベル4の高度運転自動化で走行中に制御部11が自動で追い越しをかけようと判断したときにドライバーの運転意識が高いか否かを判断する。ドライバーの運転意識が高ければ、追い越しをかけようとしたそのときに、急にドライバーが減速制動方向にレバーを倒せば制御部11は追い越しを取りやめる判断をすることもできる。
以上述べたように、乗用車100によれば、少なくとも一部に、移動手段を監視するドライバーの意思に基づかずに運転操作可能な制御機能が備わった乗用車100が備えるコンピュータ100aにおいて、乗用車100の操作系統とは別個に設けられ、乗用車100の移動中における乗用車100を監視するドライバーの操作に応じてドライバーの動作意思を受け取るグリップ1と、グリップ1を介して乗用車100を監視するドライバーの動作意思が、異なる意思に変化する遷移過程を継続的に測定し、異なる意思に変化した測定値に基づき乗用車100を操作する主導権をドライバーに与えるか否かを判断する制御部11と、を有する。
また、制御部11は、グリップ1の操作に基づいてドライバーの運転意識に関する情報を逐次、記憶部12に記憶し、記憶部12に記憶されたドライバーの運転意識に関する情報を用いて操作の主導権をドライバーに与えるか否かを判断するようにした。
また、制御部11は、ドライバーがグリップ1を異なる方向に移動させたポイントを検出し、検出時の乗用車100の加速度と対比することにより操作の主導権をドライバーに与えるか否かを判断するようにした。
制御部11の判断の結果。乗用車100に発生する振れ圧力と、ドライバーが認知した情報によって判断したグリップ1の動きは、その操作幅や強さ、経過時間、起動時刻、終結時刻が異なっても起点・終点が記録されるパターンには規則性、類似性が発生する。
このため乗用車100は、乗用車100が実際に制御をした重加速度の方向、強さと遷移の終始した時刻期間と、ドライバーがグリップ1を介して入力した運転意思とを比較することで、乗用車100はドライバーが正しく車両を監視しているか、秒単位で知ることができる。従って、ドライバーの運転意識のレベルを乗用車100が判断して、非常時などの運転操作を人間に権限移譲するかどうかの判断材料にすることができる。
ドライバーが乗用車100を持続的に監視していないならば、乗用車100は、ドライバーに注意を促し乗用車100を安全地帯に停止する判断ができる。
さらに不正解な入力や熱心に運転意思を車両の制御部11に伝えていない場合に、制御部11は運転制御機能の一部を縮減する判断を行うようにしてもよい。例えば追い越しをする判断を行わない、制限速度よりも速度を下げるなどが挙げられる。
さらに、乗用車100によれば、以下のような効果が期待できる。
ディープラーニングのために、収集する画像情報に、ドライバーの意思を位置マークとして上乗せ記録ができる。
例えば車線変更多発ゾーン等、運転意思情報をマップ上に記載できる。
乗用車100が追越しをする意思を表示したときに、ドライバーはその可否を、グリップ1を使い返答できる。
ドライバーは手動自動車と同じく、グリップ1を使い運転操作をしなければならない。しかし現実に車両を運転するのは制御部11であり、ドライバーの知覚の及ばない情報を読み取り、自動運転用センサの読み取った障害物情報などを基礎に運転走行を行う。誤ったグリップ1操作を人間が行ったとしても、その誤った意思が実際に車両を操作制御することはない。このためドライバーの安全を高めることができる。
自動運転をする際には行き先を事前に決定する。しかし乗用車100は、行き先を決めなくとも位置マーカーで走る方向を指定できる。従って、乗用車100は、運転意思の思うままに移動する極めて自由度の高い乗物となる。
その場その場でのドライバーの意思により、目的地への途中で自由にどこにでも立ち寄る事ができる。その場合でも自動運転のスイッチをOFFにする必要は無い。
グリップ1一本で自由に安全に車を操縦できる。グリップ1が乗用車100の運転操縦操作装置となる。
車を運転する楽しさを求めるドライバー、単に移動することを求めるドライバー、そのどちらの立場も否定することのない乗物となる。
数値化された運転意思は、すべて車両の前方を写したドライブレコーダーの動画に位置マークとして記録することができる。同じく制御部11が操作した制御結果も位置マーク画像として記録できる。その結果、車両前方を写した一つの走行動画の中に人間と自動運転制御部の二つの運転意思が同時に形成される。記憶部12は車両のエンジン始動後常に二つの画像を記録する。同時に制御部11は常に自動運転制御部の進路決定を第一基準として運転意思画像を採点する。採点結果は記憶部12に記憶される。採点方法は交通法規に従っているか、車道の幅や車線ライン上の正しい位置に位置マークを導いているか、往来する他車との車間位置、発進停止のタイミングが正しく認識されているか、などが採点基準となる。
さらに積算された加点と減点の比率が一定値を越えた場合、優良ドライバーの評価域に昇格する。優良実績点数を与えられた運転意思は、走行動画の中に位置する自動運転制御部の位置マークをホールドする事が可能となる。図16を使い説明する。時間ごとにグリップ1は外界条件に応じた操作がなされる。同時に人間は相似した振れ圧力を感じる。自動運転車の制御部はその振れ圧力を発生させる司令を操作装置に送信している。その指令値は一定時間後の自車両の位置を予め予測して決定される。この予測位置(位置マーク)はダイナミックマップ、センサ情報などにより危険が回避できる条件下で生成される。図16のT1からT10に至るグリップ1の操作が人間によってなされるには、自動運転車の制御部自体が位置マークを生成して、その位置に基づき同時にアクチュエータにより車両を制御している。人間が操作する位置マークと自動運転車の制御部が生成した位置マークが常に重なり遷移(三半規管と迷走神経の知覚に基づき)するならば人間の制御判断は優良とされる。この状態でグリップ1は自動運転制御部の位置マークを掴み動かす権限を与えられ、人間の意思で好む方向に移動できる。その人間に移動された自動運転車制御の位置マークに基づき制御部1は操作装置に指令値を送信することが可能となる。結果的に操作装置には連動していないグリップ1により、車両は制御される。この場合においても適法安全な制御の原則は守られる。この方式により、カーナビゲーションに設定された目的地以外の立ち寄り先でさえも、ある程度自由に進路を向けることが可能となる。
同時に車線の選択も手動運転時のように自由に選択が可能となり、例えば駐車場入庫渋滞を車線変更により回避するときなどの、自動運転により発生すると思われるストレスを避けることも可能となる。
ドライバーが制御部11に対して一切運転意思を伝えない場合、プログラムに規定された安全化走行を行い、車両を停止させる。例えば高速道路ではサービスエリアパーキングへ導く、市街地ならばパーキングへ導く、あるいは道路幅が一定以上の路肩での車両停止を可能にする。
また運転意思を周囲の車両等に伝達することも、交通安全上必要となる。
制御部11またはドライバーの運転意思、あるいは双方の運転意思を車体外部に伝達できる。
また、上記データとドライバーがグリップ1を傾斜させた数値データを、周囲の車両に伝達するために、乗用車100の前後のボディーやナンバープレート部分に可視光線で表示するようにしてもよい。同じくそのデータを無線通信で周囲の車に伝達するようにしてもよい。高速道路等、運転要件が少ない道路であれば、グリップ1を使い路上や周囲の要注意対象を、人間の感覚で選び出し、制御部11に知らせることができる。
なお、制御部11の制御状況や、ドライバーの意思を、ドライバーや第三者に報知するようにしてもよい。例えば、乗用車100の前後に取り付けられたナンバープレートなどに制御部11の制御状況や、ドライバーの意思を表示するようにしてもよい。
さらに、一つの走行動画の中に人間と自動運転制御部の二つの運転意思が同時に形成された画像は、自動運転車の実現に欠かすことのできないディープラーニングに画像として合成することができる。その画像は位置マークである。トレーニング用の画像に実際に人間が操縦した時の位置マークを挿入する。位置マークには推進意思と制動意思が出現する。
自動運転車の走行プログラムは深層学習により形成される。学習をさせるための「正解」のデータは熟練したドライバーが運転をした車両の撮像画像を用いることも考えられる。本案方式によれば撮像画像には上記二つの運転意思と、それぞれ制動場面、推進場面の位置マークが挿入された画像が合成可能となる。
推進意思の時の画像であればポジティブトレーニング、制動意思の時の画像であればネガティブトレーニングである。常に移り変わる動画も静止させれば一枚の画像でしか無い。静止した画像では時間軸を含めないと、推進制動の判断を与えることは出来ない。位置マークには推進意思と制動意思が静止画として記録されている。外界の視覚画像情報にはこの二つの運転に欠かすことのできない要素を常に表示することができる。スコアとして与えられた正解判断を含んだデータにより特徴量を抽出分類する処理が行われる。
つまりドライバーが教師あり学習の先生となり、安全なときのエッジと危険なときのエッジを制御部11に教えることができる。
上記の方式の結果、自動運転化のレベル概念も変動する。レベルの主体が乗用車100からドライバーになる。例えば、以下のレベル分けが考えられる。
レベル0:ドライバーはすべての手動運転装置を意のままに制御する。
レベル1.1:ドライバーはすべての自動化システムを監視する。
レベル1.2:ドライバーはすべての自動化システムから監視される。
レベル1.3:ドライバーはすべての自動化システムと常に対話を行い、ドライバーが望む制御を自動化システムに委ねる。
レベル2:ドライバーはすべての自動化システムに服従する。
<第2の実施の形態>
次に、第2の実施の形態の乗用車について説明する。
以下、第2の実施の形態の乗用車について、前述した第1の実施の形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
図17は、第2の実施の形態の操作部を説明する図である。
第2の実施の形態の乗用車は、グリップ1の機能の一部と同等の機能を有するグリップ2がハンドル3に装着されている。
図17に示すハンドル3に装着されたグリップ2の左右部分は、外回転(図17中、矢印の方向)が制動、内回転が推進。底辺部分は内回転が制動、外回転が推進である。
ハンドル部位に設置した回転パイプによりドライバーは運転意思の内、加減速の部分だけを制御部11に伝えることができる。長時間で単調な高速道路の運転中、加減速の意思だけを制御部11に伝える。高速道路では路側の白線が整備されている。また左右方向の制御は微小で神経の集中が伴う。コーナーケースの場合の対応もハンドル位置に手が添えてあった方が即座に対応できる。情報密度は低くなるが、車間距離や道路のアップダウン、追い越し車線からの割り込み等、スピードコントロール意思が働く度に、意識レベルを制御部11にリアルタイムに伝えることができる。
第2の実施の形態の乗用車によれば、第1の実施の形態の乗用車100と同様の効果が得られる。
そして、第2の実施の形態の乗用車によれば、さらに、高速度運転中にドライバーが読み込み判断する情報を減縮させて、加減速という一点だけに注意力を集中させることができる。
次に、走行距離あたりの認知判断情報を増加させる方法を説明する。
<第3の実施の形態>
次に、第3の実施の形態の操作部について説明する。
以下、第3の実施の形態の操作部について、前述した第1の実施の形態(の運転支援装置、運転支援方法およびプログラム)との相違点を中心に説明し、同様の事項については、その説明を省略する。
図18は、第3の実施の形態のグリップを示す図である。
第3の実施の形態のグリップ4の機能はグリップ1と同じである。このグリップ4は、さらにドライバーが前後左右に移動させることにより、フロントガラスに表示される印30の位置を自由に移動させることができる。
また、グリップ4は、印30のロックボタンであるボタン4aを有している。
ドライバーは、走行中に注意を向けなければならない対象に印30を重ねた後に、ボタン4aを押下することにより、制御部11に注意情報を送信することができる。
図18(b)には、一例として標識5a、走行車線の先行車両5bおよび追い越し車線の先行車両5cに3つの印30を付けた例を図示しているが、この印30の数は特に限定されず、例えば1つの印だけをフロントガラスに表示するようにしてもよい。
長距離高速走行を行うドライバーにとって、固定された一つの姿勢を取り続けることは苦痛でも有る。例えば右足でアクセルを加減しながら押し下げ続ける。自動運転実現への欲求はこのような肉体的な拘束から逃れる目的もあると思われる。しかし大切なことは高速道路であるから車両の自重と速度により、加速度的に危険性が増すという事実である。二トンに近い乗用車が木の葉のように宙を舞う動画は記憶に新しい。
しかし上記に述べたグリップ1方式でさえも、運転要件が減少する高速道路では安全性を高める要素とはなりにくい。高速道路で自動運転車に搭乗するドライバーはさらに細心の注意が求められる。自動運転車であるからちょっとした居眠りもできるかもしれない。このような幻想を持つことは禁物である。なぜなら現在考えられる自動運転車が走行できる高速道路には、必ず手動運転車が並走するからである。高速道路が自動手動混合走行領域である場合、上記グリップ1方式のドライバーは、手動運転車のドライバーに課せられた以上の安全確認作業が求められる。前方の注意要素を印30で指定することは手動運転車には無い作業である。さらに後方から追越してくる車両に対しても印30を貼付することは安全性を高めるために有効となる。仮に後方撮像カメラの画像が液晶タッチパネルに映写されるとして、その追越し車の画像部分を指でタッチすることも考えられる。制御部は現在時点で気をつける対象物を人間であるドライバーが指定することで、重点注意対象を人間と共有することが可能となる。制御部は指定された注意対象を漏らさず監視を行い走行速度、車線選択、追越し実施不実施などを判断する直接的な要素と捉える事ができる。
<具体例>
以下、実施の形態の乗用車100による運転の具体例を説明する。
乗用車100がどのような自動車社会を実現するのかをイメージしてみます。右側通行の国を想定しています。
朝、出勤のために車に乗り込みます。カーナビに登録してある勤め先を目的地にセットします。グリップ1を手前に引き駐車場から歩道のある小道に出ます。歩道の手前では一旦停止のためグリップ1を前方に最大倒します。そして人などが附近に居ない事を確認しグリップ1を手前に引きながら右に倒します。ちょうどグリップ1の頂点部分が曲がりたい方角になるように操作します。小道の右車線に車両の前部が入ったところでグリップ1を徐々に左右中立点に進行しながら戻します。幹線道路との交差点の信号は赤です。横断歩道の手前で車は一旦停止をします。すでにグリップ1は最前方に一回倒して停止意思を示してあります。信号は赤ですが右折の場合、安全を確認して右折できます。幹線道路は片側3車線です。左からの車が来ないことを確かめて、一気に一番外側の車線に進行します。先ほどと同じくグリップ1を右手前に回転傾斜しながら中立点に戻します。車体が進行方向に向き直った途端にスクールバスが停車しているのを認識しました。左後方からは中央車線を何台も車が続けて追越してゆきます。バスの後方で乗用車100は制御部11の判断で一旦停止しました。ドライバーはその後、グリップ1を左側に傾け制御部11に左車線への進路変更意思を示します。制御部11はその意思を読み取り、後方のセンサを頼りに車列が途切れるのを待ちます。ここで先程の交差点の信号が赤に変わりました。制御部11は左後方から車が来ないのを確認して左にハンドルを切り中央車線に合流しました。ここまでの時点で制御部11はドライバーが行ったグリップ1の操作で一旦停止の地点、加速減速の時期、左右方向への意思表示を測定しています。操作の適格性はダッシュボードのインジケーターに表示されています。運転車の信頼性は80%と評価されました。スクールバスを認識し、一旦停止する判断に遅れがあったことが減点の原因です。スクールバス附近に子供は居て当たり前です。
もうすぐ都市間バイパス道に入ります。ドライバーは流入路に向けてグリップ1を左に倒し、進路を制御部11に伝えます。乗用車100は、速度が時速70km/hを越した時点で高速モードを使うことができます。ハンドル下部中央の加減速入力パイプを左手で握ります。右手はグリップ1を握っています。ドライバーの好みによりグリップ1はアームレストの中から立ち上げることができる構造です。左手でグリップ1を操作したい場合には、左側のアームレストを引き出します。時速70km/hを超えるとグリップ1に付属したトリガーを引く事ができます。フロントガラスには印30が投影されています。引き金を引きながらグリップ1を動かすと外界の注意ポイントに印30を重ね合わせる事ができます。前方車両や交通標識などのターゲットに印30を合わせ、ボタン4aを押します。実際に制御部11がそれらの注意ポイントを観察していることは言うまでもありません。
さらに現在、制御部11は、実際にハンドル操作や加減速をおこなっています。ドライバーの運転意思とぴたりと重なるかどうかは分かりません。制御部11が提案をした追越しを、ドライバーが否定しているかも知れません。制御部11は双方の運転意思を比較して安全性を向上させようとしています。その双方の運転意思は、常時、法定の金属製ナンバープレートに表示されています。ナンバープレートにはLED発光体が埋め込まれており、常に現在制御部11が監視している双方の運転意思が、車体の前後に取り付けられたナンバープレートに表示されています。前後を走る乗用車との連携も発光体及び無線を仲介して容易に計ることが可能です。
会社に到着したドライバーは、今日もハンドルやブレーキ、アクセルを一度も操作していないことに気づきました。そう言えば子供の頃に読んだコミック・ブックのスーパーヒーローが運転していたコクピットにはハンドルなど無かったかも知れない。有るのは一本の操縦桿だけだったような気がする。と思いがよぎった。
以上、本発明の運転支援装置、運転支援方法およびプログラムを、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
また、本発明は、前述した各実施の形態のうちの、任意の2以上の構成(特徴)を組み合わせたものであってもよい。
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、乗用車100が有する機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記憶装置には、ハードディスクドライブ、フレキシブルディスク(FD)、磁気テープ等が挙げられる。光ディスクには、DVD、DVD−RAM、CD−ROM/RW等が挙げられる。光磁気記録媒体には、MO(Magneto-Optical disk)等が挙げられる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROM等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
また、上記の処理機能の少なくとも一部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)等の電子回路で実現することもできる。
1、2、4 グリップ
3 ハンドル
4a ボタン
11 制御部
12 記憶部
21、22、30 印
100 乗用車

Claims (7)

  1. 少なくとも一部に、移動手段を監視するドライバーの動作意思に基づかずに運転操作可能な制御機能が備わった移動手段が備える運転支援装置において、
    前記移動手段を実際に操作する操作系統には連動せずに前記操作系統とは別個に設けられ、前記移動手段の移動中における移動手段を監視するドライバーの操作に応じてドライバーの動作意思を受け取る操作部と、
    前記操作部を介して移動手段を監視するドライバーの動作意思が、異なる意思に変化する遷移過程を継続的に測定し、異なる意思に変化した測定値に基づき前記移動手段を実際に操作する主導権をドライバーに与えるか否かを判断する制御部と、を有し、
    前記操作部は、ドライバーが前記操作部を所定の推進方向に倒す段階が増えるに応じてドライバーの加速したい意思が大きくなることを前記制御部に伝達し、
    前記制御部は、前記移動手段の加速中に前記操作部が中立点に維持されると、現在のスピードを維持する意思であると判断することを特徴とする運転支援装置。
  2. 前記制御部は、前記操作部の操作に基づいてドライバーの運転意識に関する情報を逐次、記憶部に記憶し、前記記憶部に記憶されたドライバーの運転意識に関する情報を用いて操作の主導権をドライバーに与えるか否かを判断する請求項1に記載の制御装置。
  3. 前記制御部は、ドライバーが前記操作部による前記移動手段の方向角度およびドライバーの意思変更を行った点を記録し、
    ドライバーの意思が変化または遷移した点を始点および終点とみなし、
    前記始点と終点とに基づき算出した測定値を検出時の移動手段の加速度と対比することにより実際に操作する主導権をドライバーに与えるか否かを判断する請求項1または2に記載の制御装置。
  4. 少なくとも一部に、移動手段を監視するドライバーの動作意思に基づかずに運転操作可能な制御機能が備わった移動手段の制御方法において、
    コンピュータが、
    前記移動手段を実際に操作する操作系統には連動せずに前記操作系統とは別個に設けられ、前記移動手段の移動中における移動手段を監視するドライバーの操作に応じてドライバーの動作意思を、操作部を介して受け取り、
    前記操作部を介して移動手段を監視するドライバーの動作意思が、異なる意思に変化する遷移過程を継続的に測定し、
    前記操作部は、ドライバーが前記操作部を所定の推進方向に倒す段階が増えるに応じてドライバーの加速したい意思が大きくなることを伝達し、
    異なる意思に変化した測定値に基づき前記移動手段を実際に操作する主導権をドライバーに与えるか否かを判断し、前記移動手段の加速中に前記操作部が中立点に維持されると、現在のスピードを維持する意思であると判断する、
    ことを特徴とする制御方法。
  5. 少なくとも一部に移動手段を監視するドライバーの動作意思に基づかずに運転可能な機能を備える移動手段に実装されるプログラムにおいて、
    コンピュータに、
    前記移動手段を実際に操作する操作系統には連動せずに前記操作系統とは別個に設けられ、前記移動手段の移動中における移動手段を監視するドライバーの操作に応じてドライバーの動作意思を、操作部を介して受け取り、
    前記操作部を介して移動手段を監視するドライバーの動作意思が、異なる意思に変化する遷移過程を継続的に測定し、
    前記操作部は、ドライバーが前記操作部を所定の推進方向に倒す段階が増えるに応じてドライバーの加速したい意思が大きくなることを伝達し、
    異なる意思に変化した測定値に基づき前記移動手段を実際に操作する主導権をドライバーに与えるか否かを判断し、前記移動手段の加速中に前記操作部が中立点に維持されると、現在のスピードを維持する意思であると判断する、
    処理を実行させることを特徴とするプログラム。
  6. 前記制御部は、ドライバーが進もうとする方向と任意の秒数後の目指す位置を前記移動手段の走行スピードと方向舵角度に基づき進行方向に可変する位置マーク画像を形成し、
    前記移動手段を実際に操縦操作する操作系統には連動せずに前記操作系統とは別個に設けられた前記操作部を、前記移動手段に搭乗したドライバーが、認知、予測、または体感によって思い描いた判断に基づき、前後左右方向に操作を行った始点と終点とを含む運転意思の入力操作を行ない、
    前記制御部は、前記操作部の入力操作に基づいて、前記ドライバーが前記移動手段を前後左右方向へと制御を行う判断を加えた運転意思画像を、前記位置マーク画像に付加構成し、
    構成された前記位置マーク画像を、人工知能読み込み可能な走行画像に、合成し、
    人工知能が読み込み可能な機械学習用データセット画像に、前記移動手段を前後左右方向に制御する運転意思を示す属性・ラベルを、付加する請求項1ないし3のいずれかに記載の運転支援装置。
  7. 少なくとも一部に、移動手段を監視するドライバーの動作意思に基づかずに運転操作可能な制御機能が備わった移動手段が備える運転支援装置において、
    前記移動手段を実際に操作する操作系統には連動せずに前記操作系統とは別個に設けられ、前記移動手段の移動中における移動手段を監視するドライバーの操作に応じてドライバーの動作意思を受け取る操作部と、
    前記操作部を介して移動手段を監視するドライバーの動作意思が、異なる意思に変化する遷移過程を継続的に測定し、異なる意思に変化した測定値に基づき前記移動手段を実際に操作する主導権をドライバーに与えるか否かを判断する制御部と、を有し、
    前記制御部は、ドライバーが前記操作部による前記移動手段の方向角度およびドライバーの意思変更を行った点を記録し、
    ドライバーの意思が変化または遷移した点を始点および終点とみなし、
    前記始点と終点とに基づき算出した測定値を検出時の移動手段の加速度と対比することにより実際に操作する主導権をドライバーに与えるか否かを判断することを特徴とする制御装置。
JP2017562380A 2017-07-24 2017-07-24 運転支援装置、運転支援方法およびプログラム Active JP6410162B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/026742 WO2019021355A1 (ja) 2017-07-24 2017-07-24 運転支援装置、運転支援方法およびプログラム

Publications (2)

Publication Number Publication Date
JP6410162B1 true JP6410162B1 (ja) 2018-10-24
JPWO2019021355A1 JPWO2019021355A1 (ja) 2019-07-25

Family

ID=63920576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562380A Active JP6410162B1 (ja) 2017-07-24 2017-07-24 運転支援装置、運転支援方法およびプログラム

Country Status (3)

Country Link
US (1) US20200079398A1 (ja)
JP (1) JP6410162B1 (ja)
WO (1) WO2019021355A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123064A (ja) * 2008-11-21 2010-06-03 Fujio Kameda 運転支援装置
JP2016115356A (ja) * 2014-12-12 2016-06-23 ソニー株式会社 自動運転制御装置および自動運転制御方法、並びにプログラム
JP2016175613A (ja) * 2015-03-23 2016-10-06 トヨタ自動車株式会社 自動運転装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123064A (ja) * 2008-11-21 2010-06-03 Fujio Kameda 運転支援装置
JP2016115356A (ja) * 2014-12-12 2016-06-23 ソニー株式会社 自動運転制御装置および自動運転制御方法、並びにプログラム
JP2016175613A (ja) * 2015-03-23 2016-10-06 トヨタ自動車株式会社 自動運転装置

Also Published As

Publication number Publication date
WO2019021355A1 (ja) 2019-01-31
JPWO2019021355A1 (ja) 2019-07-25
US20200079398A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
JP6051162B2 (ja) 検出された物体の挙動を予測するシステム及び方法
WO2014148025A1 (ja) 走行制御装置
JP6540663B2 (ja) 車両システム
WO2017119170A1 (ja) 運転支援装置
JP2017146730A (ja) 経路決定装置
JP2001052297A (ja) 安全走行支援装置、その方法及び記録媒体
CN107444406A (zh) 车辆辅助驾驶系统及方法
CN106846906A (zh) 用于提高骑行者安全性的动态车道定位
JP6677822B2 (ja) 車両制御装置
JP6733293B2 (ja) 情報処理装置
JP6410162B1 (ja) 運転支援装置、運転支援方法およびプログラム
US11008016B2 (en) Display system, display method, and storage medium
JP2020164075A (ja) 車両制御システム
JP2020164017A (ja) 車両制御システム
JPWO2019142284A1 (ja) 車両制御装置
JP2019079363A (ja) 車両制御装置
CN106335512B (zh) 基于ar增强现实和车辆违章记录查询的驾驶辅助系统
JP2017199317A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2017151704A (ja) 自動運転装置
CN109791054A (zh) 信息输出控制装置及信息输出控制方法
JP2020164038A (ja) 車両制御システム
JP2020164077A (ja) 車両制御システム
JP2020163986A (ja) 車両制御システム
JP2020164081A (ja) 車両制御システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180521

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180913

R150 Certificate of patent or registration of utility model

Ref document number: 6410162

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150