JP6895634B2 - 情報処理システム、情報処理方法、およびプログラム - Google Patents

情報処理システム、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6895634B2
JP6895634B2 JP2016244642A JP2016244642A JP6895634B2 JP 6895634 B2 JP6895634 B2 JP 6895634B2 JP 2016244642 A JP2016244642 A JP 2016244642A JP 2016244642 A JP2016244642 A JP 2016244642A JP 6895634 B2 JP6895634 B2 JP 6895634B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
behavior
driving
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016244642A
Other languages
English (en)
Other versions
JP2018097804A (ja
Inventor
忠司 芝田
忠司 芝田
森 俊也
俊也 森
勝長 辻
勝長 辻
中野 信之
信之 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016244642A priority Critical patent/JP6895634B2/ja
Priority to US15/840,129 priority patent/US10625673B2/en
Publication of JP2018097804A publication Critical patent/JP2018097804A/ja
Application granted granted Critical
Publication of JP6895634B2 publication Critical patent/JP6895634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0237Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems circuits concerning the atmospheric environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484Personalized, e.g. from learned user behaviour or user-defined profiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/3676Overview of the route on the road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4812Detecting sleep stages or cycles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/045Occupant permissions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Description

本発明は、車両に関する情報を処理する情報処理システム、情報処理方法、およびプログラムに関する。
近年、車両の周囲の状況や前記車両の走行状態(例えば、自車両の速度や操舵・アクセル・ブレーキ・方向指示器・アクチュエータの制御情報など)に基づいて、運転者が自ら運転操作を行う手動運転と一部若しくはすべての運転操作を自動で行う自動運転とによる走行が可能な車両や完全自動運転可能な車両に関する様々な技術が提案され、実用化されている。
例えば、特許文献1には、自車両が自動操舵制御や自動加減速制御となる場合に、自動操舵制御や自動加減速制御の作動状態を視覚的にドライバに認識させる走行制御装置が開示されている。
また、特許文献2には、走行環境に応じて運転行動または車両の挙動を推定する情報処理システムが開示されている。
特開2005−67483号公報
しかしながら、上記特許文献1の走行制御装置(すなわち情報処理システム)および特許文献2の情報処理システムでは、運転者の状態を推定することが困難であるという問題がある。
そこで、本発明は、運転者の状態を推定することができる情報処理システムなどを提供する。
本発明の一態様に係る情報処理システムは、少なくとも1つのプロセッサを備える情報処理システムであって、前記少なくとも1つのプロセッサは、複数の運転者のそれぞれの個人走行履歴の類似度に基づいて、前記複数の運転者の個人走行履歴のうちの少なくとも一部の運転者の個人走行履歴をモデル化することによって、前記少なくとも一部の運転者の状態と車両の走行環境との関係を示すドライバモデルを構築する。
これにより、運転者の状態と車両の走行環境との関係を示すドライバモデルが構築されるため、このドライバモデルを用いることによって、車両の走行環境から運転者の状態を推定することができる。
例えば、前記情報処理システムは、さらに、推定対象の運転者の走行環境を取得する環境取得部を備え、前記少なくとも1つのプロセッサは、さらに、前記ドライバモデルにおいて、前記環境取得部によって取得された走行環境に関係付けられた運転者の状態を、前記推定対象の運転者の状態として推定してもよい。
また、前記情報処理システムは、さらに、前記推定対象の運転者への報知を行う報知部を備え、前記少なくとも1つのプロセッサは、さらに、推定された前記運転者の状態が危険か否かを判定し、危険と判定されたときには、前記報知部に対して、危険を回避するための情報を、前記推定対象の運転者に提示させる危険回避処理を実行してもよい。
これにより、推定された運転者の状態が危険であれば、その危険を回避するための情報がその運転者に提示されるため、その危険を事前に回避することができる。
また、前記少なくとも1つのプロセッサは、前記推定対象の運転者の視線の向きを前記運転者の状態として推定し、推定された前記視線が車両の進行を向いていない場合には、危険と判定し、前記危険回避処理を実行することにより、前記報知部が前記推定対象の運転者への警告を行ってもよい。
これにより、例えば運転者の脇見を事前に回避することができる。
また、前記少なくとも1つのプロセッサは、前記推定対象の運転者の眠気の強度レベルを前記運転者の状態として推定し、推定された前記眠気の強度レベルが閾値よりも高い場合には、危険と判定し、前記危険回避処理を実行することにより、前記報知部が予め定められた音楽を再生してもよい。
これにより、運転者の居眠りを事前に回避することができる。
また、前記少なくとも1つのプロセッサは、前記推定対象の運転者の心拍数を前記運転者の状態として推定し、推定された前記心拍数が閾値よりも高い場合には、危険と判定し、前記危険回避処理を実行することにより、前記報知部が、表示している車両の走行ルートを変更してもよい。
これにより、例えば走行車両が多い道路を迂回して運転者の心拍数の上昇を事前に抑えることができる。
また、前記少なくとも1つのプロセッサは、前記推定対象の運転者の姿勢を前記運転者の状態として推定し、推定された前記姿勢が予め定められた姿勢である場合には、危険と判定し、前記危険回避処理を実行することにより、前記報知部が前記推定対象の運転者への警告を行ってもよい。
これにより、例えば運転者が助手席の荷物を探る動作などの危険な姿勢を事前に回避することができる。
また、前記少なくとも1つのプロセッサは、前記ドライバモデルの構築では、前記少なくとも一部の運転者の状態および前記車両の走行環境と、前記車両の挙動との関係を示す前記ドライバモデルを構築し、前記ドライバモデルにおいて、推定対象の運転者の車両の走行環境と、前記推定対象の運転者の状態とに関係付けられた車両の挙動を、前記推定対象の運転者の車両の挙動として推定してもよい。
これにより、車両の走行環境だけでなく、その走行環境と運転者の状態とに応じた車両の挙動が推定されるため、より正確な車両の挙動を推定することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明によれば、運転者の状態を推定することができる。
図1は、本発明の実施の形態1に係る情報報知装置を含む車両の要部構成を示すブロック図である。 図2は、走行環境の第1の例と、それに対する報知部の表示、及び、操作部の操作について説明する図である。 図3は、報知部における表示の別の例を示す図である。 図4は、本実施の形態における情報報知処理の処理手順を示すフローチャートである。 図5は、走行環境の第1の例と、それに対する表示制御を示す図である。 図6は、走行環境の第1の例と、それに対する別の表示制御を示す図である。 図7は、走行環境の第2の例と、それに対する表示制御を示す図である。 図8は、走行環境の第3の例と、それに対する表示制御を示す図である。 図9は、走行環境の第4の例と、それに対する表示制御を示す図である。 図10は、走行環境の第5の例と、それに対する表示制御を示す図である。 図11は、図5に示した走行環境の第1の例に対する別の表示制御を示す図である。 図12は、図7に示した走行環境の第2の例に対する別の表示制御を示す図である。 図13は、本発明の実施の形態2に係る情報報知装置を含む車両の要部構成を示すブロック図である。 図14は、実施の形態2におけるタッチパネルの表示を説明する図である。 図15は、本発明の実施の形態3における報知部の表示を説明する図である。 図16は、走行履歴の一例を示す図である。 図17は、クラスタリング型のドライバモデルの構築方法を示す図である。 図18は、構築されたクラスタリング型のドライバモデルの一例を示す図である。 図19は、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。 図20は、個別適応型のドライバモデルの構築方法を示す図である。 図21は、構築された個別適応型のドライバモデルの一例を示す図である。 図22は、運転特性モデルの一例を示す図である。 図23は、本発明の実施の形態4における報知部の表示を説明する図である。 図24は、本発明の実施の形態4における報知部の表示を説明する図である。 図25は、本発明の実施の形態4における報知部の表示を説明する図である。 図26は、本発明の実施の形態4における報知部の表示を説明する図である。 図27は、走行履歴の一例を示す図である。 図28は、本変形例におけるドライバモデルの使用方法を示す図である。 図29は、本変形例におけるキャッシュの配置の一例を示すブロック図である。 図30は、本変形例におけるキャッシュの作成方法の一例を示す図である。 図31は、本変形例におけるキャッシュの作成方法の一例を示す図である。 図32は、実施の形態5における車速、車間距離、および加速度を推定するための要部構成を示すブロック図である。 図33は、実施の形態5における車速および環境パラメータを収集するタイミングを示す図である。 図34は、実施の形態6における車間距離および環境パラメータを収集するタイミングを示す図である。 図35は、実施の形態5における加速度および環境パラメータを収集するタイミングを示す図である。 図36は、実施の形態5における加速度パターンの例を示す図である。 図37は、実施の形態5における記憶部に保存された情報の一例を示す図である。 図38は、実施の形態5における記憶部に保存された情報の他の例を示す図である。 図39は、本発明の一態様に係る情報処理システムの構成を示す図である。 図40は、本発明の一態様に係る情報処理システムにおける舵角パターンの例を示す図である。 図41は、本発明の一態様に係る情報処理システムにおける舵角および環境パラメータを収集するタイミングを示す図である。 図42は、本発明の一態様に係る、車両特性モデルを構築する情報処理システムの構成を示す図である。 図43は、本発明の一態様に係る車両特性を示す図である。 図44は、本発明の一態様に係る情報処理方法のフローチャートである。 図45は、本発明の一態様の変形例に係る情報処理システムの構成を示す図である。 図46は、本発明の一態様の変形例に係る情報処理システムの危険走行履歴格納部に格納される危険走行履歴の一例を示す図である。 図47は、実施の形態6における情報処理システムの構成を示すブロック図である。 図48は、実施の形態6における車両の要部構成を示すブロック図である。 図49は、実施の形態6における走行履歴の一例を示す図である。 図50は、実施の形態6における走行履歴の他の例を示す図である。 図51は、実施の形態6における情報処理システムの処理動作を示すフローチャートである。 図52は、実施の形態6の変形例における情報処理システムの構成を示すブロック図である。 図53は、実施の形態6の変形例における走行履歴の一例を示す図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。実施の形態1〜3では、車両と運転者の操作が対立しにくい、快適な自動運転ができるように、適切に情報を伝達することができる情報報知装置、情報報知方法または情報報知プログラムを説明する。実施の形態4および5では、運転者に適した運転行動を推定することができる情報処理システム、情報処理方法およびプログラムを説明する。そして、実施の形態6では、運転者の状態を推定し、その推定された状態に応じた処理を行う情報処理システム、情報処理方法およびプログラムを説明する。
なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
(実施の形態1)
まず、実施の形態1に係る情報処理装置などに至るまでの知見について説明する。
自動運転(完全自動運転及び一部自動運転の両方を含む)中、車に運転を任せるということで、車と運転者の間の信頼関係が極めて大事であり、車両と運転者(乗員)との間に適切な情報を伝達することが必要となる。特許文献1には、運転者に対して現在の作動状態のみを報知している。
自動運転中、車両の現在の挙動(作動状態)を報知されるだけで、これから実施する挙動(例えば、特に合流前、交差点進入の前や緊急車両が近くにいた場合や周囲の他車が何らかの作動をした/しそうなときに、車両が実施しようとする車線変更、加速、減速といった挙動)について何も知らされていない状態だと、運転者が非常に不安感を抱えてしまうという第1の課題があった。
また、完全自動運転中だと、運転者が運転監視以外の他の行動を取っている可能性が高く、いきなり現在の作動状態のみ表示されても、現在の車両の周囲状況や車両の走行状態も把握できないし、運転者の意思で運転を指示しようとしてもすぐに対応できなく、運転者がスムーズに車へ指示を与えることができないという第2の課題があった。
また、運転者に現在の作動状態のみを報知しているだけで、運転者が車に対して直接手動運転を行おうとしても、すぐに切り替えられないという第3の課題があった。
また、運転者若しくは乗員によって、車が同じ動作を取るとしても、動作のタイミングや操作量は人によって異なり、実際運転者が手動運転する場合の感覚と乖離する可能性が高く、最悪な場合、自動運転中に運転者による不要な操作介入を誘発してしまうことがあるという第4の課題があった。
そこで、本発明は、完全自動運転または一部自動運転中において、上記課題のうち少なくとも1つの課題を解決することが可能な情報報知装置、情報報知方法、情報報知プログラムおよび情報処理システムについても提供する。
すなわち、本発明の一態様に係る情報報知装置は、車両の周囲の状況及び車両の走行状態を検出する検出部と、検出部が検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両制御部とを備える車両に搭載される情報報知装置であって、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得部と、実施する挙動を前記車両の挙動が更新される前に報知する報知部と、を備える。
本発明の一態様に係る情報報知方法は、車両の周囲の状況及び車両の走行状態を検出し、検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両において実行される情報報知方法であって、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得ステップと、実施する挙動を前記車両の挙動が更新される前に報知する報知ステップと、を含む。
本発明の一態様に係る情報報知プログラムは、車両の周囲の状況及び車両の走行状態を検出し、検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両においてコンピュータにより実行される情報報知プログラムであって、コンピュータを、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得手段、前記実施する挙動を前記車両の挙動が更新される前に報知する報知手段、として機能させる。
このような情報報知装置、情報報知方法または情報報知プログラムによれば、完全自動運転または一部自動運転において、車両と運転者の操作が対立しにくい、快適な自動運転ができるように、適切に情報を伝達することができる。
以下、実施の形態1に係る情報処理装置などについて、詳細に説明する。
図1は、本発明の実施の形態1に係る情報報知装置を含む車両1の要部構成を示すブロック図である。車両1は、運転者の操作を必要とせずに、運転制御の全てまたは一部を自動で行うことができる車両である。
車両1は、ブレーキペダル2と、アクセルペダル3と、ウィンカーレバー4と、ハンドル5と、検出部6と、車両制御部7と、記憶部8と、情報報知装置9とを有する。
ブレーキペダル2は、運転者によるブレーキ操作を受けつけ、車両1を減速させる。またブレーキペダル2は、車両制御部7による制御結果を受けつけ、車両1の減速の度合いに対応した量変化してもよい。アクセルペダル3は、運転者によるアクセル操作を受けつけ、車両1を加速させる。またアクセルペダル3は、車両制御部7による制御結果を受けつけ、車両1の加速の度合いに対応した量変化してもよい。ウィンカーレバー4は、運転者によるレバー操作を受けつけ、車両1の図示しない方向指示器を点灯させる。またウィンカーレバー4は、車両制御部7による制御結果を受けつけ、車両1の方向指示方向に対応する状態にウィンカーレバー4を変化させ、車両1の図示しない方向指示器を点灯させてもよい。
ハンドル5は、運転者によるステアリング操作を受けつけ、車両1の走行する方向を変更する。またハンドル5は、車両制御部7による制御結果を受けつけ、車両1の走行する方向の変更に対応した量変化してもよい。ハンドル5は、操作部51を有する。
操作部51は、ハンドル5の前面(運転者と対向する面)に設けられ、運転者からの入力操作を受け付ける。操作部51は、例えば、ボタン、タッチパネル、グリップセンサ等の装置である。操作部51は、運転者から受けつけた入力操作の情報を車両制御部7へ出力する。
検出部6は、車両1の走行状態、及び、車両1の周囲の状況を検出する。そして、検出部6は、検出した走行状態、及び、周囲の状況の情報を車両制御部7へ出力する。
この検出部6は、位置情報取得部61と、センサ62と、速度情報取得部63と、地図情報取得部64とを有する。
位置情報取得部61は、GPS(Global Positioning System)測位等により車両1の位置情報を走行状態の情報として取得する。
センサ62は、車両1の周囲に存在する他車両の位置および車線位置情報から、他車両の位置および先行車両かどうかという種別、他車両の速度と自車両の速度から衝突予測時間(TTC:Time To Collision)、車両1の周囲に存在する障害物など、車両1の周囲の状況を検出する。
速度情報取得部63は、走行状態の情報として、図示しない速度センサ等から車両1の速度や走行方向などの情報を取得する。
地図情報取得部64は、車両1が走行する道路、道路における他車両との合流ポイント、現在走行中の車線、交差点の位置などの車両1の周辺の地図情報を、車両1の周囲の状況の情報として取得する。
なお、センサ62は、ミリ波レーダ、レーザレーダやカメラなど、またそれらの組合せから構成される。
記憶部8は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク装置やSSD(Solid State Drive)などの記憶装置であり、現時点の走行環境と、次に(第1の所定時間経過後に)とり得る挙動の候補との間の対応関係を記憶する。
現時点の走行環境とは、車両1の位置、車両1が走行している道路、車両1の周囲に存在する他車両の位置および速度等によって判定される環境である。なお、瞬間的なデータのみならず、その時点の前後のデータまでを基に、例えば、他車両の位置や速度により加速中、減速中、他車両が割込んできて1秒後には衝突する可能性まで判定してもよい。これにより、他車両の行動を予測することができ、走行環境をより詳細かつ正確に把握することが可能である。挙動の候補とは、現時点の走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補である。
例えば、記憶部8は、車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境に対応付けて、車両1の加速、車両1の減速、及び、車両1の右方への車線変更の3通りの挙動の候補を予め記憶する。
また、記憶部8は、車両1と同一車線の前方を走行する車両(以下、「先行車両」と記載)が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境に対応付けて、先行車両を追い越す走行、隣の車線へ車線変更を行う走行、車両1を減速させて先行車両に追従する走行の3通りの挙動の候補を予め記憶する。
さらに、記憶部8は、それぞれの挙動の候補に対する優先順位を記憶してもよい。例えば、記憶部8は、過去の同一の走行環境において実際に採用された挙動の回数を記憶し、採用された回数の多い挙動ほど高く設定された優先順位を記憶してもよい。
車両制御部7は、例えば、LSI回路、または、車両を制御する電子制御ユニット(Electronic Control Unit:ECU)の一部として実現可能である。車両制御部7は、検出部6から取得する走行状態および周囲の状況の情報に基づいて、車両を制御し、車両制御結果に対応してブレーキペダル2、アクセルペダル3、ウィンカーレバー4、情報報知装置9を制御する。なお、車両制御部7が制御する対象は、これらに限定されない。
まず、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境を判定する。この判定には、従来提案されている様々な方法が利用され得る。
例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境が、「車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境」であると判定する。
また、例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて、走行環境の時系列が、「車両1と同一車線の前方を走行する車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境」であると判定する。
車両制御部7は、走行状態および周囲の状況を示す走行環境に関する情報を情報報知装置9の報知部92に報知させる。また、車両制御部7は、判定した走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補を記憶部8から読み出す。
車両制御部7は、読み出した挙動の候補から、現在の走行環境に最も適した挙動がどれかを判定し、現在の走行環境に最も適した挙動を第1の挙動に設定する。なお、第1の挙動は車両現在実施している挙動と同じ挙動、即ち現在実施している挙動を継続することであってもよい。そして、車両制御部7は、現在の走行環境において第1の挙動を除く他に運転者が実施可能性な挙動の候補を第2の挙動(いわゆる実施する挙動とは異なる挙動)に設定する。
例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて、最も適した挙動を第1の挙動に設定することとしてもよい。
または、車両制御部7は、複数の挙動の候補のうち、予め設定された挙動を最も適した挙動として設定してもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
そして、車両制御部7は、第1の挙動と第2の挙動の情報を情報報知装置9の報知部92に報知させる。なお、車両制御部7は第2の挙動が無いと判定した場合、第1の挙動のみを報知部92に報知させる。
なお、車両制御部7は、第1の挙動と第2の挙動の情報と、走行状態および周囲の状況の情報とを、同時に、報知部92に報知させてもよい。
さらに、車両制御部7は、操作部51が運転者から受けつけた操作の情報を取得する。車両制御部7は、第1の挙動と第2の挙動を報知してから、第2の所定時間内に操作部51が操作を受けつけたか否かを判定する。この操作は、例えば、第2の挙動に含まれる挙動の中から1つの挙動を選択する操作である。
車両制御部7は、第2の所定時間内に操作部51が操作を受けつけなかった場合、第1の挙動を実行するように車両を制御し、車両制御結果に対応してブレーキペダル2、アクセルペダル3、ウィンカーレバー4を制御する。
車両制御部7は、第2の所定時間内に操作部51が操作を受けつけた場合、受けつけた操作に対応する制御を行う。
情報報知装置9は、車両制御部7から車両1の走行に関する種々の情報を取得し、取得した情報を報知する。情報報知装置9は、情報取得部91と報知部92とを有する。
情報取得部91は、車両制御部7から車両1の走行に関する種々の情報を取得する。例えば、情報取得部91は、車両制御部7が車両1の挙動を更新する可能性があると判定した場合に、車両制御部7から第1の挙動の情報と第2の挙動の情報を取得する。
そして、情報取得部91は、取得した情報を図示しない記憶部に一時的に記憶し、必要に応じて記憶した情報を記憶部から読み出して報知部92へ出力する。
報知部92は、車両1の走行に関する情報を運転者に報知する。報知部92は、例えば、車内に設置されているカーナビゲーションシステム、ヘッドアップディスプレイ、センターディスプレイ、ハンドル5やピラーに設置されているLEDなどの発光体などのような情報を表示する表示部であってもよいし、情報を音声に変換して運転者に報知するスピーカであってもよいし、あるいは、運転者が感知できる位置(例えば、運転者の座席、ハンドル5など)に設けられる振動体であってもよい。また、報知部92は、これらの組み合わせであってもよい。
以下の説明では、報知部92が表示装置であるものとする。
この場合、報知部92とは、例えば、ヘッドアップディスプレイ(Head Up Display:HUD)、LCD(Liquid Crystal Display)、HMD(Head-Mounted DisplayまたはHelmet-Mounted Display)、眼鏡型ディスプレイ(Smart Glasses)、その他の専用のディスプレイなどである。HUDは、例えば、車両1のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面(例えば、コンバイナ)などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両1のサイドガラスまたはリアガラスであってもよい。
さらに、HUDは、ウインドシールドの表面または内側に備えられた透過型ディスプレイであってもよい。ここで、透過型ディスプレイとは、例えば、透過型の有機ELディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイである。運転者は、背景を視認すると同時に、透過型ディスプレイ上の表示を視認することができる。このように報知部92は、光を透過する表示媒体であってもよい。いずれの場合も、画像が報知部92に表示される。
報知部92は、車両制御部7から情報取得部91を介して取得した走行に関する情報を運転者に報知する。例えば、報知部92は、車両制御部7から取得した第1の挙動、及び、第2の挙動の情報を運転者に報知する。
ここで、具体的な表示内容、及び、操作部51に対してなされる操作について説明する。
図2は、走行環境の第1の例と、それに対する報知部92の表示、及び、操作部51の操作について説明する図である。
図2の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図2の(a)は、車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境であることを示している。
車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図2の(a)に示すような走行環境であると判定する。なお、車両制御部7は、図2の(a)に示す俯瞰図を生成し、第1の挙動、及び、第2の挙動の情報に加えて、生成した俯瞰図を報知部92に報知させてもよい。
図2の(b)は、図2の(a)に示した走行環境に対する報知部92の表示の一例を示している。報知部92の表示範囲のうち、右側には、車両1の挙動に関わる選択肢が表示され、左側には、手動運転に切り替えるための情報が表示される。
第1の挙動は、表示領域29a〜29c、29gのうち、強調されている表示領域29bに示されている「車線変更」である。第2の挙動は、表示領域29a、29cにそれぞれ示されている「加速」、「減速」である。また、表示領域29gには、手動運転に切替えることを示す「自動運転終了」が表示されている。
図2の(c)は、ハンドル5に設けられる操作部51の一例を示している。操作部51は、ハンドル5の右側に設けられる操作ボタン51a〜51dと、ハンドル5の左側に設けられる操作ボタン51e〜51hとを有する。なお、ハンドル5に設けられる操作部51の数や形状等はこれらに限定されない。
本実施の形態では、図2の(b)に示す表示領域29a〜29cと操作ボタン51a〜51cがそれぞれ対応し、表示領域29gと操作ボタン51gとが対応する。
この構成において、運転者は、各表示領域に表示される内容のいずれかを選択する際に、各表示領域に対応する操作ボタンを押下する。例えば、運転者が表示領域29aに表示される「加速」という挙動を選択する場合、運転者は、操作ボタン51aを押下する。
なお、図2の(b)には、各表示領域に文字の情報のみが表示されているが、次に説明するように、車両の駆動に関する記号やアイコンを表示してもよい。これにより、運転者に表示内容を一目瞭然に把握できる。
図3は、報知部92における表示の別の例を示す図である。図3に示すように、表示領域39a〜39c、39gに文字の情報とその情報を示す記号の両方が表示される。なお、記号のみが表示されてもよい。
次に、具体的な走行環境を例に挙げて、表示制御の流れについて説明する。
図4は、本実施の形態における情報報知処理の処理手順を示すフローチャートである。図5は、走行環境の第1の例と、それに対する表示制御を示す図である。
図4に示すように、検出部6は、車両の走行状態を検出する(ステップS11)。次に、検出部6は、車両の周囲の状況を検出する(ステップS12)。検出された車両の走行状態、及び、車両の周囲の状況の情報は、検出部6により車両制御部7へ出力される。
つぎに、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境を判定する(ステップS13)。図5の(a)の例の場合、車両制御部7は、現時点の走行環境が、「車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境」であると判定する。
その後、車両制御部7は、判定した走行環境の情報を情報報知装置9の報知部92に報知させる(ステップS14)。図5の(b)の例の場合、車両制御部7は、判定した走行環境の情報を情報取得部91へ出力する。報知部92は、情報取得部91から走行環境の情報を取得し、文字情報59として表示させる。なお、車両制御部7は、走行環境の情報を報知部92に表示させる代わりに、スピーカ等で音声として走行環境の情報を運転者に報知してもよい。これにより、運転者がディスプレイやモニターを見ていない、もしくは見落としている場合でも、運転者に確実に情報を伝達できる。
次に、車両制御部7は、判定した走行環境が挙動の更新の可能性があるとするか否かを判定し、更新する可能性があるとすると判定された場合、さらに第1の挙動、及び、第2の挙動の判定を行う(ステップS15)。走行環境が挙動の更新の可能性があるとするか否かの判定は、走行環境が変更したか否かによって判定される。更新後実施する挙動とは、例えば、他の車両等と衝突が発生する可能性がある場合に減速する、ACC(Adaptive Cruise Control)において先行車両が消えた場合に速度変更する、隣の車線が空いた場合に車線変更するなどが考えられる。更新するか否かを判定するときは従来技術を用いてなされる。
この場合、車両制御部7は、判定した走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補を記憶部8から読み出す。そして、車両制御部7は、挙動の候補から、現在の走行環境に最も適した挙動がどれかを判定し、現在の走行環境に最も適した挙動を第1の挙動に設定する。そして、車両制御部7は、第1の挙動を除く挙動の候補を第2の挙動に設定する。
図5の(b)の例の場合、車両制御部7は、記憶部8から、車両1の加速、車両1の減速、及び車両1の右方への車線変更の3通りの挙動の候補を読み出す。そして、車両制御部7は、左方から合流する車両の速度、及び、車両1の右方の車線の状況に基づき、車両1の右方への車線変更が最も適した挙動であると判定し、その挙動を第1の挙動に設定する。そして、車両制御部7は、第1の挙動を除く挙動の候補を第2の挙動に設定する。
次に、車両制御部7は、第1の挙動、及び、第2の挙動を情報報知装置9の報知部92に報知させる(ステップS16)。図5の(b)の例の場合、報知部92は、第1の挙動の情報である「車線変更」という文字情報を表示領域59bに強調して表示し、第2の挙動の情報である「加速」、「減速」をそれぞれ表示領域59a、59cに表示させる。
次に、車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけたか否かを判定する(ステップS17)。
例えば、車両制御部7は、現時点での走行環境が図5の(a)に示す走行環境であると判定してから、合流ポイントに到達するまでの時間を第1の所定時間と設定する。そして、車両制御部7は、第1の所定時間よりも短い第2の所定時間を、合流ポイントまでに実行される次の挙動に対する操作の受付が可能な時間として設定する。
車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけた場合(ステップS17においてYES)、受けつけた操作が自動運転終了の操作か、挙動の選択操作(いわゆる更新)かを判定する(ステップS18)。
図2にて説明したように、報知部92の各表示領域と操作部51の各操作ボタンとは対応している。運転者は、図5の(b)における自動運転終了を選択する場合、図2の(c)に示した操作ボタン51gを押下する。また、運転者は、挙動の選択を行う場合、図2の(c)に示した操作ボタン51a〜51cのいずれかを押下する。
車両制御部7は、操作部51が受けつけた操作が自動運転終了の操作である場合(つまり、操作ボタン51gが押下されたことを検知した場合)、自動運転を終了させる(ステップS19)。車両制御部7は、操作部51が受けつけた操作が挙動の選択操作である場合(つまり、操作ボタン51a〜51cのいずれかが押下された場合)、押下された操作ボタンに対応する挙動を実行するように、車両1の制御を行う(ステップS20)。
車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけなかった場合(ステップS17においてNO)、第1の挙動を実行するように、車両1の制御を行う(ステップS21)。
図6は、走行環境の第1の例と、それに対する別の表示制御を示す図である。図6の(a)は、図5の(a)と同様であるが、図6の(b)の表示制御が図5の(b)の表示制御とは異なっている。
図5の(b)を用いて説明した場合と同様に、車両制御部7は、図6の(a)に示した走行環境に対して、記憶部8から、車両1の加速、車両1の減速、及び車両1の右方への車線変更の3通りの挙動の候補を読み出す。その際、記憶部8には、車両1の右方への車線変更が最も優先される挙動として記憶されているものとする。
この場合、車両制御部7は、走行環境の情報と、第1の挙動の情報とを報知部92に報知させる。図6の(b)の場合、車両制御部7は、走行環境の情報と、第1の挙動の情報を示す文字情報69を生成し、報知部92に文字情報69を表示させる。
そして、車両制御部7は、運転者に第1の挙動の採否を促す表示を表示領域69a、69cに表示させる。また、車両制御部7は、手動運転に切り替え可能であることを示す「自動運転終了」という表示を表示領域69gに表示させる。
ここで、車両制御部7は、第1の挙動を採用することに対応する「YES」を強調して表示する。「YES」、「NO」のどちらを強調して表示するかは、予め定められていてもよいし、前回選択された選択肢を強調して表示することとしてもよいし、過去に選択された回数を記憶部8に記憶しておき、回数が多い方を報知部92が強調して表示することとしてもよい。
このように過去に選択された挙動を学習することにより、車両制御部7は、運転者に適切に情報を報知できる。また、図5の(b)の場合よりも報知部92に報知させる表示を減らすことができ、運転者の煩わしさを低減できる。
図7は、走行環境の第2の例と、それに対する表示制御を示す図である。図7の(a)は、走行環境を示す俯瞰図である。図7の(a)に示す走行環境は、前方に合流路がある点で図5の(a)、図6の(a)と同様であるが、車両1の右側に走行車両が存在する点で図5の(a)、図6の(a)と異なる。このような場合、車両制御部7は、車線変更が行えないと判断する。
そして、車両制御部7は、車両1の走行環境が図7の(a)のようなものと判定した場合、図7の(b)に示すように、判定した走行環境の情報を報知部92に文字情報79として表示させる。
さらに、車両制御部7は、記憶部8から読み出した車両1の加速、車両1の減速、及び、車両1の右方への車線変更の3通りの挙動の候補のうち、車両1の右方への車線変更はできないため、車両1の加速、及び、車両1の減速のみを選択する。
また、車両制御部7は、このままの速度で進むと合流車両と接近しすぎることを予測し、車両1の減速が最も適した挙動である、つまり、第1の挙動であると判定する。
ここで、3通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
その後、車両制御部7は、「減速」を第1の挙動として表示領域79cに表示させ、「加速」を第2の挙動として表示領域79aに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域79gに表示させる。
このような表示制御により、車両制御部7は、走行環境に応じて、その走行環境に最も適した挙動を第1の挙動として運転者に報知できる。
第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、加速挙動の情報を上方に、減速挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51a、51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。なお、車の前後・左右の挙動と対応して挙動情報の表示を配置することにより、運転者に直感的な認識と操作が可能である。
次に、前方に合流路があるという走行環境以外の走行環境の例について説明する。
図8は、走行環境の第3の例と、それに対する表示制御を示す図である。図8の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図8の(a)には、先行車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境が示されている。
車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図8の(a)に示すような走行環境であると判定する。この場合、車両制御部7は、判定した走行環境の情報を報知部92に文字情報89として表示させる。
また、車両制御部7は、判定した走行環境に対応する挙動の候補として、先行車両を追い越す走行、隣の車線へ車線変更を行う走行、車両1を減速させて先行車両を追従する走行の3通りの挙動の候補を記憶部8から読み出す。
そして、車両制御部7は、例えば、先行車両の減速後の速度が所定値より高く許容できることから、車両1を減速させて先行車両を追従する走行が最も適した挙動、つまり、第1の挙動であると判定する。
ここで、3通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
さらに、車両制御部7は、図8の(b)に示すように、第1の挙動を示す「追従」という文字情報を表示領域89cに強調して表示し、第2の挙動を示す「追い越し」、「車線変更」という文字情報をそれぞれ表示領域89a、89bに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域89gに表示させる。
第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、追い越し挙動の情報を上方に、追従挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51a、51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。
図9は、走行環境の第4の例と、それに対する表示制御を示す図である。図9の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図9の(a)は、走行環境が、車両1と同一車線の前方において、車線が減少する走行環境であることを示している。
車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図9の(a)に示すような走行環境であると判定する。この場合、車両制御部7は、判定した走行環境の情報を報知部92に文字情報99として表示させる。
また、車両制御部7は、判定した走行環境に対応する挙動の候補として、隣の車線へ車線変更を行う走行、そのまま現車線を維持する走行の2通りの挙動の候補を記憶部8から読み出す。
そして、車両制御部7は、例えば、車線減少箇所までのTTCが所定値より短いため、隣の車線へ車線変更を行う走行が最も適した挙動である、つまり、第1の挙動であると判定する。
ここで、2通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
さらに、車両制御部7は、図9の(b)に示すように、第1の挙動を示す「車線変更」という文字情報を表示領域99bに強調して表示し、第2の挙動を示す「そのまま」という文字情報を表示領域99cに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域99gに表示させる。
第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、何もしない挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。なお、図7、図8、図9に示されているように、異なる走行環境によって、表示領域にはそれぞれ異なる機能が割り当てられることで、少ない領域で情報報知や操作することができる。
上記の説明では、車両制御部7が、走行環境および周囲の状況の情報に応じて、報知部92に挙動を報知させる場合について説明したが、本発明はこれに限定されない。例えば、運転者による所定の操作があったときに、報知部92に挙動を報知させることとしてもよい。
図10は、走行環境の第5の例と、それに対する表示制御を示す図である。図10の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図10の(a)には、車両1が左方と右方にそれぞれ車線変更可能な走行環境であることを示す走行環境が示されている。
図10の(a)に示す走行環境は、図5の(a)〜図9の(a)の場合と異なり、車線の変更や車両の加速、減速が不要な通常走行が可能な走行環境である。この場合、車両制御部7は、図10の(b)の表示109に示すように、走行環境の情報を報知部92に文字情報として表示させなくともよい。
このように報知部92に文字情報が表示されていない状況において、運転者が操作部51のいずれかの操作ボタンを押下した場合、車両制御部7は、通常走行における挙動の候補を記憶部8から読み出す。
具体的には、記憶部8には、図10の(a)に示すような通常走行の走行環境に対応付けて、車両1の加速、車両1の減速、車両1の右方への車線変更、車両1の左方への車線変更の4通りの挙動の候補が記憶されている。車両制御部7は、これらを読み出し、報知部92の表示領域109a〜109dにそれぞれ表示させる。
また、車両制御部7は、手動運転に切り替えることを示す「自動運転終了」という表示を表示領域99gに表示させるとともに、挙動の更新をキャンセルすることを示す「キャンセル」という表示を表示領域109eに強調して表示させる。
以上説明した本実施の形態によれば、運転者に次に実施される挙動の候補を効果的に報知し、運転者により好ましい挙動を選択させることができる。
なお、運転者が実施したい挙動を選択する代わりに、直接ハンドルなどの手動操作をしてもよい。これにより、運転者が自分の意思により素早く手動運転操作に切り替えられる。
[変形例]
以上説明した本実施の形態では、報知部92における表示は、文字情報であるとして説明したが、本発明はこれに限定されない。例えば、挙動を示す記号を用いて運転者に視覚的に表示させてもより。以下では、運転者に視覚的に表示させる記号を用いた表示を図5および図7に対する表示を例にとって説明する。
図11は、図5に示した走行環境の第1の例に対する別の表示制御を示す図である。この例では、上述した第1の挙動が車両1の右方への車線変更であり、第2の挙動が車両1の加速、及び、車両1の減速である。
この場合、第1の挙動である「車線変更」を示す記号111が中央に大きく表示され、第2の挙動である「車両1の加速」を示す記号112、及び、「車両1の減速」を示す記号113が右方に小さく表示される。また、自動運転終了を示す記号114が左方に小さく表示される。
そして、このまま運転手により車両1の挙動の変更指示を受けつけなければ、車線変更が行われる。
図12は、図7に示した走行環境の第2の例に対する別の表示制御を示す図である。この例では、上記第1の例と異なり、車両1の右方に別の車両が走行しているため、車線変更ができない。そのため、例えば、「車両1の減速」が第1の挙動に設定され、「車両1の加速」が第2の挙動に設定される。
そして、この場合、図12の(a)に示すように、第1の挙動である「車両1の減速」を示す記号121が中央に大きく表示され、第2の挙動である「車両1の加速」を示す記号122が右方に小さく表示される。また、自動運転終了を示す記号123が左方に小さく表示される。
ここで、操作部51が運転手から「車両1の加速」を選択する操作を受けつけたものとする。この場合、図12の(b)に示すように、第1の挙動である「車両1の加速」を示す記号122’が中央に大きく表示され、第2の挙動である「車両1の減速」を示す記号121’が右方に小さく表示されることになる。
以上説明した本実施の形態によれば、運転者に次に実施される挙動の候補を効果的に報知し、運転者により好ましい挙動を選択させることができる。一方、運転者は、車両が実施する挙動や他に選択可能な挙動を把握でき、安心感を持って自動運転を継続することできる。または、運転者がスムーズに車へ指示を与えることができる。
また、本実施の形態によれば、走行環境に応じて、報知部に報知させる選択肢、つまり、第2の挙動を可変にすることができる。
(実施の形態2)
実施の形態1では、ハンドル5に設けられた操作部51によって、報知部92の表示に応じた操作を行う構成について説明した。本実施の形態では、ハンドル5に設けられる操作部51の代わりに、タッチパネルが設けられる構成について説明する。
図13は、実施の形態2に係る情報報知装置を含む車両1の要部構成を示すブロック図である。なお、図13において、図1と共通する構成には図1と同一の符号を付し、その詳しい説明を省略する。図13に示す車両1には、ハンドル5の操作部51の代わりにタッチパネル10が設けられている。
タッチパネル10は、情報の表示と入力の受付が可能な液晶パネル等からなる装置であり、車両制御部7と接続される。タッチパネル10は、車両制御部7による制御に基づいて情報を表示する表示部101と、運転者等からの操作を受けつけ、受けつけた操作を車両制御部7へ出力する入力部102とを有する。
次に、タッチパネル10の表示制御について説明する。ここでは、車両1が3車線の中央を走行中であり、右方の車線と左方の車線のいずれかに車線変更が可能である場合の表示制御について説明する。
図14は、実施の形態2におけるタッチパネル10の表示を説明する図である。図14の(a)は、タッチパネル10の表示部101の初期表示である。車両制御部7は、車両1が右方の車線と左方の車線のいずれかに車線変更が可能であると判定した場合、タッチパネル10の表示部101に図14の(a)のような表示を実行させる。ここで、表示領域121における「Touch」という表示は、タッチパネル10が運転者によるタッチ操作を受けつけ可能なモードであることを示している。
運転者は、図14の(a)に示す表示において、表示領域121をタッチするタッチ操作を行う場合、入力部102は、この操作を受けつけて、この操作が行われたことを示す情報を車両制御部7へ出力する。車両制御部7は、この情報を受けつけると、図14の(b)に示す表示を表示部101に表示させ、また、図14の(c)に示す表示を報知部92に表示させる。
図14の(b)には、車両1へ移動を指示する操作であることを示す「Move」と表示された表示領域121aが示されている。また、図14の(b)には、車両1が3車線のそれぞれを走行可能であることを示す表示領域121b〜121dが示されている。なお、表示領域121b〜121dは、それぞれ、図14の(c)に矢印X、Y、Zで示される車線での走行と対応する。
また、図14の(b)の各表示領域と、図14の(c)の各矢印とは、それぞれ、態様(例えば、色や配置など)を一致させる。これにより、運転者により理解しやすい表示となる。
さらに、矢印X、Y、Zで示される車線の太さなどを変えて、車両制御が判定した車両が実施する挙動と他に運転者が選択可能な挙動が区別できるように表示してもよい。
運転者は、表示領域121b〜121dのうち、走行したい車線に対応する表示領域に触れることによって、車両1の挙動の選択を行う。この場合、入力部102は、運転者の挙動の選択操作を受けつけて、選択された挙動の情報を車両制御部7へ出力する。そして、車両制御部7は、選択された挙動を実行するよう車両1を制御する。これにより、運転者が走行したい車線を車両1が走行することになる。
なお、運転者は、タッチパネル10に対して、タッチ操作の代わりに、スワイプ操作を行ってもよい。例えば、図14に示す例において、運転者が図14の(c)の矢印Xで示される車線への変更を行いたい場合、運転者は、タッチパネル10において右方へのスワイプ操作を行う。
この場合、入力部102は、スワイプ操作を受けつけ、スワイプ操作の内容を示す情報を車両制御部7へ出力する。そして、車両制御部7は、選択された挙動である矢印Xで示される車線への車線変更を実行するよう車両1を制御する。
さらに、車両1へ移動を指示する操作であることを示す「Move」と表示された表示領域121aが示されるときに、音声で「挙動選択」などと発話してもよい。これにより、手元のタッチパネルを見ることなく、HUDの表示のみで操作が可能となる。
また、タッチ操作やスワイプ操作の際に、選択したタッチパネルの表示領域に対応する車線の表示態様を変更し、どの車線を選択しようとしているのか選択前に確認できるようにしてもよい。例えば、表示領域bをタッチした瞬間に、車線Xの太さが拡大し、すぐに手を離せば車線Xは選択されず車線Xの太さが元の大きさに戻り、表示領域121cにタッチを移動した瞬間に、車線Yの太さが拡大し、しばらくその状態を保持すると、車線Yが選択され、車線Yが点滅することで決定されたことを伝えても良い。これにより、手元を目視せずに選択や決定の操作ができる。
なお、実施の形態1と同様に、加速、減速、追越し、そのままなどの車両制御機能を、走行環境に応じて、表示領域に割り当てても良い。
以上説明した本実施の形態によれば、操作部の代わりにタッチパネルを設けることにより、運転者に直感的な操作を行わせることができる。また、タッチパネルは、操作を受けつける表示領域の数、形状、色などを自由に変更させることができるため、ユーザインターフェースの自由度が向上する。
(実施の形態3)
実施の形態1では、第1の挙動と第2の挙動が同時に表示される場合について説明した。本実施の形態では、まず、報知部92に第1の挙動が表示され、運転者の操作を受けつけた場合に、第2の挙動が表示される構成について説明する。
本実施の形態に係る構成は、実施の形態1で説明した図1の構成において、操作部51に運転者がハンドル5を握ったか否かを検出するグリップセンサがさらに含まれた構成となる。
図15は、本発明の実施の形態3における報知部92の表示を説明する図である。図15には、図8の(a)に示した場合と同様に、車両1と同一車線の前方を走行する車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境における表示の例が示されている。
車両制御部7は、走行環境が、図8の(a)に示した走行環境であると判定すると、まず、報知部92に図15の(a)に示す表示を実行させる。
図15の(a)には、第1の所定時間が経過した後に実施される挙動の候補うち、第1の挙動である「追い越し」を示す記号131が第1の態様(例えば、第1の色)で示されている。
車両制御部7は、図15の(a)に示す表示を報知部92に実行させた後、第2の所定時間が経過した場合、記号131を第1の態様から、第1の態様とは異なる第2の態様(例えば、第1の色とは異なる第2の色)で報知部92に表示させる。ここで、第2の所定時間は、実施の形態1で説明した第2の所定時間と同様のものである。
つまり、記号131が第1の態様で示されている間、運転者は、第2の挙動の選択が可能であるが、記号131が第2の態様に変更された場合、運転者は、第2の挙動の選択が不可能になる。
また、図15の(a)には、第2の挙動が選択可能であることを示すハンドル形状の記号132が示されている。記号132が表示されている場合に運転者がハンドル5を握ることによって、第2の挙動が表示される。記号132は、第2の挙動が選択可能であることを示す表示であるが、記号131が第1の態様にて表示されることによって、運転者に第2の挙動が選択可能であることを示すこととしてもよい。この場合、記号132は、表示されなくてもよい。
また、図15の(a)には、現在、自動運転中であることを示す記号133が示されている。記号133は、自動運転で走行中であることを運転者に示す補助的な表示であるが、記号133は表示されなくてもよい。
図15の(a)の表示に対して運転者がハンドル5を握った場合、グリップセンサがそれを検出し、その検出結果の情報を車両制御部7へ出力する。この場合、車両制御部7は、図15の(b)に示す表示を報知部92に実行させる。
図15の(b)には、図15の(a)と同様に、第1の挙動である「追い越し」を示す記号131が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号134と、第2の挙動である「減速」を示す記号135が示されている。
運転者は、ハンドル5の操作部51を操作することによって、第1の挙動から第2の挙動への変更を行う。例えば、運転者は、操作部51の操作ボタン51a、または、操作ボタン51c(図2の(c)参照)を押下することによって、「車線変更」(記号134)、または、「減速」(記号135)への挙動の更新を行う。
また、図15の(b)には、車両制御部7が、車両1の挙動を学習中であることを示す記号136が示されている。記号136が表示されている場合、車両制御部7は、運転者が選択した挙動を学習する。記号136は表示されなくても構わない。また、学習は常に行っていても構わない。
つまり、車両制御部7は、運転者が選択した挙動を記憶部8に記憶し、次に同様の走行環境になった場合、記憶した挙動を第1の挙動として、報知部92に表示させる。または、車両制御部7は、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を第1の挙動として、報知部92に表示させてもよい。
また、図15の(b)には、自動運転中ではないことを示す記号137が示されている。記号137が表示されている場合、車両制御部7は、第1の所定時間経過後に行う挙動が運転者によって選択されるまで待機する。
図15の(b)に示す表示に対して、運転者が操作部51の操作ボタン51aを押下して「車線変更」を選択した場合、車両制御部7は、この選択操作の情報を受けつけ、図15の(c)に示す表示を報知部92に実行させる。
図15の(c)には、「車線変更」を示す記号134’が、第1の態様で示されている。車両制御部7は、「車線変更」を選択する選択操作の情報を受けつけた場合、この選択された挙動が次に行う挙動であると判定し、「車線変更」を示す記号134’を第1の態様で報知部92に表示させる。
また、図15の(c)の記号131’は、図15の(b)において第1の挙動として表示されていた記号131が記号134と入れ替わって表示されたものである。
また、図15の(c)に示す表示に対して、運転者が操作ボタンのいずれかを2度連続して押下した場合、運転者が前に行った選択操作をキャンセルできるようにしてもよい。この場合、車両制御部7は、操作ボタンのいずれかを2度連続して押下する操作の情報を受けつけ、図15の(c)に示す表示から図15の(b)に示す表示への変更を報知部92に実行させる。
車両制御部7は、図15の(a)に示す表示を報知部92に実行させてから、第2の所定時間が経過するまでの間に、運転者の操作に基づいて、図15の(b)、図15の(c)へと報知部92の表示を変化させる。その後、車両制御部7は、図15の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図15の(d)に示す表示を報知部92に表示させる。
なお、車両制御部7は、運転者がハンドル5から手を離したこと示す情報をグリップセンサから取得した場合に、第2の所定時間が経過する前に図15の(d)に示す表示を報知部92に表示させてもよい。
ここで、図15の(d)には、次の挙動として、運転者が選択した「車線変更」を示す記号134’が第2の態様で表示され、また、自動運転で走行中であることを示す記号133が、再び、表示された状態が示されている。
以上説明した本実施の形態によれば、車両制御部7は、運転者が次にとる挙動の更新したい場合にのみ、他の挙動の候補を確認できるように、報知部92での表示を変更する。この構成により、運転者が視認する表示を減らすことができ、運転者の煩わしさを低減できる。
(実施の形態4)
上述した実施の形態において、車両1が実行しうる複数の挙動の候補のうち最も適した挙動がどれかを判定する方法についていくつか説明した。本実施の形態では、最も適した挙動を判定する方法として、予め学習により構築されたドライバモデルを用いる場合について説明する。
ここで、ドライバモデルの構築方法について説明する。ドライバモデルは、走行環境毎の運転者による操作の傾向を各操作の頻度の情報などに基づいてモデル化したものである。ドライバモデルは、複数の運転者の走行履歴を集約し、集約した走行履歴から構築される。
運転者の走行履歴は、例えば、各走行環境に対応する挙動の候補のうち、運転者が実際に選択した挙動の頻度が、挙動の候補毎に集約された履歴である。
図16は、走行履歴の一例を示す図である。図16には、運転者xが「合流路が近づく」という走行環境において、「減速」、「加速」、「車線変更」という挙動の候補を、それぞれ、3回、1回、5回選択したことが示されている。また、図16には、運転者Xが「前方に低速車あり」という走行環境において、「追従」、「追い越し」、「車線変更」という挙動の候補を、それぞれ、2回、2回、1回選択したことが示されている。運転者yについても同様である。
運転者の走行履歴は、自動運転中に選択した挙動を集約してもよいし、運転者が手動運転中に実際に行った挙動を集約してもよい。これにより、自動運転や手動運転といった運転状態に応じた走行履歴の収集ができる。
ドライバモデルには、複数のドライバの走行履歴をクラスタリングして構築するクラスタリング型と、特定の運転者(例えば、運転者x)の走行履歴と類似する複数の走行履歴から運転者xのドライバモデルを構築する個別適応型とがある。
まず、クラスタリング型について説明する。クラスタリング型のドライバモデルの構築方法は、図16に示したような複数の運転者の走行履歴を予め集約する。そして、互いの走行履歴の類似度が高い複数の運転者、つまり、類似した運転操作傾向を有する複数の運転者をグループ化してドライバモデルを構築する。
図17は、クラスタリング型のドライバモデルの構築方法を示す図である。図17には、運転者a〜fの走行履歴が表形式で示されている。そして、運転者a〜fの走行履歴から、モデルAが運転者a〜cの走行履歴から構築され、モデルBが運転者d〜fの走行履歴から構築されることが示されている。
走行履歴の類似度は、例えば、運転者aと運転者bの走行履歴における各頻度(各数値)を頻度分布として扱い、互いの頻度分布の相関値を算出し、算出した相関値を類似度としてもよい。この場合、例えば、運転者aと運転者bの走行履歴から算出した相関値が所定値よりも高い場合に、運転者aと運転者bの走行履歴を1つのグループとする。
なお、類似度の算出については、これに限定されない。例えば、運転者aと運転者bの各走行履歴において、最も頻度の高い挙動が一致する数に基づいて、類似度を算出してもよい。
そして、クラスタリング型のドライバモデルは、例えば、各グループ内の運転者の走行履歴において、それぞれの頻度の平均を算出することによって構築される。
図18は、構築されたクラスタリング型のドライバモデルの一例を示す図である。図17で示した各グループ内の運転者の走行履歴において、それぞれの頻度の平均を算出することによって、各グループの走行履歴の平均頻度を導出する。このように、クラスタリング型のドライバモデルは、走行環境毎に定められた挙動に対する平均頻度で構築される。
なお、ドライバモデルは、算出した平均頻度から最も頻度の高いもののみで構築してもよい。図19は、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。図19に示すように、走行環境毎に最頻の挙動が選択され、選択された挙動からドライバモデルが構築される。
ここで、構築したクラスタリング型のドライバモデルの使用方法について、例を挙げて説明する。
図18に示したようなドライバモデルは、予め車両1の記憶部8に記憶される。また、車両制御部7は、運転者yが過去に運転した際の走行履歴を記憶部8に記憶しておく。なお、運転者yの検知は、車内に設置されるカメラ等(図示しない)で実行される。
そして、車両制御部7は、運転者yの走行履歴とドライバモデルの各モデルの走行履歴との類似度を算出し、どのモデルが運転者yに最も適しているかを判定する。例えば、図16に示した運転者yの走行履歴と図18に示したドライバモデルの場合、車両制御部7は、モデルBが運転者yに最も適していると判定する。
車両制御部7は、実際の自動走行の際に、モデルBの各走行環境において、最も頻度が高い挙動が運転者yに最も適した挙動、つまり、第1の挙動であると判定する。
このように、予め複数の運転者の走行履歴からドライバモデルを構築することにより、運転者により適した挙動を報知できる。
例えば、図16の示すように、運転者yの走行履歴に「前方に低速車あり」という走行環境に対する挙動の頻度が0、つまり、運転者が「前方に低速車あり」という走行環境において「追従」、「追い越し」、「車線変更」という挙動を選択したことが無い場合においても、車両制御部7は、図18に示すモデルBに基づき、「前方に低速車あり」という走行環境において、「追従」を第1の挙動として判定できる。
次に、個別適応型について説明する。個別適応型のドライバモデルの構築方法は、クラスタリング型の場合と同様に、図16に示したような複数の運転者の走行履歴を予め集約する。ここで、クラスタリング型の場合と異なる点は、運転者毎にドライバモデルを構築する点である。以下では、運転者yに対してドライバモデルを構築する例について説明する。
まず、集約した複数の運転者の走行履歴の中から、運転者yの走行履歴と類似度が高い複数の運転者の走行履歴を抽出する。そして、抽出した複数の運転者の走行履歴から運転者yのドライバモデルを構築する。
図20は、個別適応型のドライバモデルの構築方法を示す図である。図20には、図17と同様に、運転者a〜fの走行履歴が表形式で示されている。また、図20には、図16に示した運転者yの走行履歴と類似度が高い運転者c〜eの走行履歴とから運転者yのドライバモデルが構築されることが示されている。
個別適応型のドライバモデルは、抽出した各運転者の走行履歴において、それぞれの頻度の平均を算出することによって構築される。
図21は、構築された個別適応型のドライバモデルの一例を示す図である。図16に示した運転者yの走行履歴、及び、図20に示した運転者c〜eの走行履歴において、走行環境毎に、各挙動の平均頻度を導出する。このように、運転者yに対する個別適応型のドライバモデルは、各走行環境に対応する挙動の平均頻度で構築される。
ここで、構築した個別適応型のドライバモデルの使用方法について、例を挙げて説明する。
図21に示したような運転者yのドライバモデルは、予め車両1の記憶部8に記憶される。また、車両制御部7は、運転者yが過去に運転した際の走行履歴を記憶部8に記憶しておく。なお、運転者yの検知は、車内に設置されるカメラ等(図示しない)で実行される。
そして、車両制御部7は、実際の自動走行の際に、運転者yのドライバモデルの各走行環境において、最も頻度が高い挙動が運転者yに最も適した挙動、つまり、第1の挙動であると判定する。
このように、予め複数の運転者の走行履歴から運転者個人のドライバモデルを構築することにより、運転者により適した挙動を報知できる。
例えば、図16の示すように、運転者yの走行履歴に「前方に低速車あり」という走行環境に対する挙動の頻度が0、つまり、運転者が「前方に低速車あり」という走行環境において「追従」、「追い越し」、「車線変更」という挙動を選択したことが無い場合においても、車両制御部7は、図21に示すドライバモデルに基づき、「前方に低速車あり」という走行環境において、「車線変更」を第1の挙動として判定できる。
次に、運転者の運転特性(運転の癖)を取得し、運転者の嗜好に応じた自動運転を行う場合について説明する。一般に、1つの挙動(例えば、車線変更)に対する実際の動作(例えば、加速、減速の大きさ、あるいは、ハンドルの操作量)は、運転者毎に異なる。そのため、運転者の嗜好に応じた自動運転を行うことにより、運転者にとってより快適な走行が可能となる。
なお、以下の説明では、手動運転中に運転者の運転特性を取得し、取得した運転特性を自動運転の際に反映させる場合について説明するが、本発明はこれに限定されない。
車両制御部7は、運転者の車両1の各部の操作内容から、運転者の運転特性を示す特徴量を抽出し、記憶部8に記憶する。ここで、特徴量とは、例えば、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、車内センシングに関する特徴量等がある。
速度に関する特徴量は、例えば、車両の速度、加速度、減速度などがあり、これらの特徴量は、車両が有する速度センサ等から取得される。
ステアリングに関する特徴量は、例えば、ステアリングの舵角、角速度、各加速度などがあり、これらの特徴量は、ハンドル5から取得される。
操作タイミングに関する特徴量は、例えば、ブレーキ、アクセル、ウィンカーレバー、ハンドルの操作タイミングなどがあり、これらの特徴量は、それぞれ、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、ハンドル5から取得される。
車外センシングに関する特徴量は、例えば、前方、側方、後方に存在する車両との車間距離などがあり、これらの特徴量は、センサ62から取得される。
車内センシングに関する特徴量は、例えば、運転者が誰であるか、及び、同乗者が誰であるかを示す個人認識情報であり、これらの特徴量は、車内に設置されるカメラ等から取得される。
例えば、運転者が手動で車線変更を行う場合、車両制御部7は、運転者が手動で車線変更を行ったことを検知する。検知方法は、予め車線変更の操作時系列パターンをルール化しておくことにより、CAN情報などから取得した操作時系列データを解析することで検知する。その際、車両制御部7は、上述した特徴量を取得する。車両制御部7は、運転者毎に、特徴量を記憶部8に記憶し、運転特性モデルを構築する。
なお、車両制御部7は、運転者毎の特徴量に基づき、上述したドライバモデルを構築してもよい。つまり、車両制御部7は、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、車内センシングに関する特徴量を抽出し、記憶部8に記憶する。そして、記憶部8に記憶した特徴量に基づいて、走行環境毎の運転者による操作の傾向と各操作の頻度の情報を対応づけたドライバモデルを構築してもよい。
図22は、運転特性モデルの一例を示す図である。図22は、運転者毎に、特徴量が表形式で示されている。また、図22には、運転者毎に、各挙動を過去に選択した回数が示されている。特徴量についても一部のみが記載されているが、上記に挙げたいずれか、またはその全てを記載してもよい。
図22に記載の特徴量について詳細を説明する。速度の数値は、実際の速度を段階的に示している数値である。ハンドル、ブレーキ、アクセルの数値は、操作量を段階的に示している数値である。これらの数値は、例えば、過去の所定の期間内の速度、ハンドル、ブレーキ、アクセルの操作量の平均値を算出し、その平均値を段階的に表すことによって得られる。
例えば、図22において、運転者xが同乗者がいない状態で車線変更を行う場合、速さのレベルは8であり、ハンドル、ブレーキ、アクセルの操作量のレベルはそれぞれ4、6、8である。
自動運転の際は、車両制御部7は、運転者が誰か、どのような挙動が実行されるか、及び、同乗者が誰かに応じて、運転者、挙動、及び、同乗者に対応する運転特性モデルが図22に示す運転特性モデルの中から選択する。
そして、車両制御部7は、選択した運転特性モデルに対応する速度で車両1を走行させ、また、ハンドル、ブレーキ、アクセルの操作量およびそのタイミングの組み合わせで車両1を制御する。これにより、運転者の嗜好に応じた自動運転を行うことができる。なお、図22に示すような運転特性モデルの情報は、報知部92に報知させることができる。
図23は、本発明の実施の形態4における報知部92の表示を説明する図である。図23は、図5に示した走行環境の第1の例に対する表示である。
図23の(a)は、車線の変更や車両の加速、減速が不要な通常走行を行っている状態の報知部92の表示である。図23の(a)には、運転者の運転特性が「減速が多い」運転特性であることを示す記号231と、現在、自動運転中であることを示す記号232が示されている。
車両制御部7は、例えば、図22に示した運転特性モデルに含まれる各挙動を過去に選択した回数に基づいて、運転者の運転特性を判定する。この場合、車両制御部7は、例えば、運転特性から「減速」が多い(いわゆる「減速」という挙動を選択した回数が多い)運転者に対して、図23のような記号231を含む表示を報知部92に表示させる。
そして、車両制御部7が、走行環境が図5に示した第1の例の走行環境であると判定した場合、車両制御部7は、運転者の運転特性が「減速が多い」運転特性であることに基づいて、第1の挙動を「減速」と判定し、図23の(b)の表示を報知部92に実行させる。
図23の(b)には、第1の挙動である「減速」を示す記号233が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「加速」を示す記号234と、第2の挙動である「車線変更」を示す記号235が示されている。
運転者は、実施の形態1で説明したような操作により、「加速」への挙動の変更を行った場合、車両制御部7は、図23の(c)の表示を報知部92に実行させる。
図23の(c)には、選択された挙動である「加速」を示す記号234’が、第1の態様で示されている。また、記号233’は、図23の(b)において第1の挙動として表示されていた記号233が記号234と入れ替わって表示されたものである。
その後、車両制御部7は、図23の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図23の(d)に示す表示を報知部92に表示させる。ここで、図23の(d)には、次の挙動として、運転者が選択した「加速」を示す記号234’が第2の態様で表示される。
車両制御部7は、次にとる挙動が「加速」と決定した場合、運転特性モデルに含まれる「加速」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
図24は、本発明の実施の形態4における報知部92の表示を説明する図である。図24は、図7に示した走行環境の第2の例に対する表示である。なお、図24において、図23と共通する構成には図23と同一の符号を付し、その詳しい説明を省略する。図24は、図23から、「車線変更」を示す記号235が削除された図である。
前述の通り、第2の例(図7)では、第1の例(図5)と異なり、車両1の右方に別の車両が走行しているため、車線変更ができない。そのため、図24の(b)、(c)では、「車線変更」が表示されていない。また、図24の(c)の例では、図23の(c)の場合と同様に、「加速」が選択されたため、車両制御部7は、図23と同様に、運転特性モデルに含まれる「加速」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
図25は、本発明の実施の形態4における報知部92の表示を説明する図である。図25は、図8に示した走行環境の第3の例に対する表示である。
図25の(a)は、図23の(a)と同様である。車両制御部7が図8に示した第3の例の走行環境であることを判定した場合、車両制御部7は、運転者の運転特性が「減速が多い」運転特性であることに基づいて、第1の挙動を「減速」と判定し、図25の(b)の表示を報知部92に実行させる。
図25の(b)には、第1の挙動である「減速」を示す記号251が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「追い越し」を示す記号252と、第2の挙動である「車線変更」を示す記号253が示されている。
運転者は、実施の形態1で説明したような操作により、「追い越し」への挙動の変更を行った場合、車両制御部7は、図25の(c)の表示を報知部92に実行させる。
図25の(c)には、選択された挙動である「追い越し」を示す記号252’が、第1の態様で示されている。また、記号251’は、図25の(b)において第1の挙動として表示されていた記号251が記号252と入れ替わって表示されたものである。
その後、車両制御部7は、図25の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図25の(d)に示す表示を報知部92に表示させる。ここで、図25の(d)には、次の挙動として、運転者が選択した「追い越し」を示す記号252’が第2の態様で表示される。
車両制御部7は、次にとる挙動が「追い越し」と決定した場合、運転特性モデルに含まれる「追い越し」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
次に、運転者の運転特性が「減速が多い」運転特性ではない場合の表示の例を説明する。
図26は、本発明の実施の形態4における報知部92の表示を説明する図である。図26は、図5に示した走行環境の第1の例に対する表示である。なお、図26の(a)は、運転者の運転特性が「加速が多い」運転特性である場合の例を示し、図26の(b)は、運転者の運転特性が「車線変更が多い」運転特性である場合の例を示している。
図26の(a)には、運転者の運転特性が「加速が多い」運転特性であることを示す記号261が示されている。また、第1の挙動である「加速」を示す記号262が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号263と、第2の挙動である「減速」を示す記号264が示されている。
車両制御部7は、例えば、運転特性から過去に「加速」が多い(いわゆる過去に「加速」という挙動を選択した回数が多い)運転者に対して、図26の(a)のような記号261を含む表示を報知部92に実行させる。また、車両制御部7は、運転者の運転特性が「加速が多い」運転特性であることに基づいて、第1の挙動を「加速」と判定し、図26の(a)の表示を報知部92に実行させる。
図26の(b)には、運転者の運転特性が「車線変更が多い」運転特性であることを示す記号265が示されている。また、第1の挙動である「車線変更」を示す記号266が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号267と、第2の挙動である「減速」を示す記号268が示されている。
車両制御部7は、例えば、運転特性から過去に「車線変更」が多い(いわゆる過去に「車線変更」という挙動を選択した回数が多い)運転者に対して、図26の(b)のような記号265を含む表示を報知部92に実行させる。車両制御部7は、運転者の運転特性が「車線変更が多い」運転特性であることに基づいて、第1の挙動を「車線変更」と判定し、図26の(b)の表示を報知部92に実行させる。
上記は、運転特性モデルのみを使用して説明したが、ドライバモデルを加味してもよく、図23、図25、図26において、記号231は運転者の操作履歴から選択されたドライバモデルの種類を示してもよい。例えば、図5に示した走行環境の第1の例について、「減速」をよく選ぶドライバに適用するドライバモデルには図23のような記号231を含む表示を報知部92に実行させ、第1の挙動を「減速」と判定する。「加速」をよく選ぶドライバに適用するドライバモデルには図26の(a)のような記号261を含む表示を報知部92に実行させ、第1の挙動を「加速」と判定する。「車線変更」をよく選ぶドライバに適用するドライバモデルには図26の(a)のような記号261を含む表示を報知部92に実行させ、第1の挙動を「車線変更」と判定する。
以上説明した本実施の形態によれば、車の将来の挙動を決定する際に、運転者の過去の走行履歴を学習し、その結果を将来の挙動の決定に反映させることができる。また、車両制御部が車を制御する際に、運転者の運転特性(運転嗜好)を学習し、車の制御に反映させることができる。
これにより、車両が運転者若しくは乗員が嗜好するタイミングや操作量で自動運転を制御でき、実際運転者が手動運転する場合の感覚と乖離することなく、自動運転中に運転者による不要な操作介入を抑制することができる。
なお、本発明では、車両制御部7が実行する機能と同様の機能をクラウドサーバなどのサーバ装置に実行させてもよい。また、記憶部8は、車両1ではなく、クラウドサーバなどのサーバ装置にあってもよい。あるいは、記憶部8は、既に構築されたドライバモデルを記憶し、車両制御部7は、記憶部8に記憶されたドライバモデルを参照して、挙動を判定することとしてもよい。
このように、実施の形態4では、車両制御部7が、運転者の運転特性を示す特徴量の情報を取得し、記憶部8がその特徴量の情報を記憶し、車両制御部7が記憶部8に記憶された特徴量の情報に基づいて、運転者が選択した車両の挙動の傾向を、選択された各挙動の頻度で示すドライバモデルを車両の走行環境毎に構築することとした。
また、車両制御部7は、複数の運転者のうち、類似した挙動の選択を行う運転者のグループを決定し、グループ毎、車両の走行環境毎にドライバモデルを構築することとした。
また、車両制御部7は、類似した操作を行う運転者のグループ毎に各運転者が選択した挙動の頻度の平均値を算出し、運転者が選択した車両の挙動の傾向を、算出した平均値で示すドライバモデルを車両の走行環境毎に構築することとした。
また、車両制御部7は、特定の運転者が選択した車両の挙動の傾向と類似する傾向がある他の運転者が選択した車両の挙動に基づいて、上記特定の運転者が選択した車両の挙動の傾向を、選択された各挙動の頻度で示すドライバモデルを車両の走行環境毎に構築することとした。
以上により、車両制御部7は、運転者の運転傾向により適したドライバモデルを構築でき、構築したドライバモデルに基づいて、運転者に対してより適切な自動運転を行うことができる。
(ドライバモデルの変形例)
なお、上記で説明したドライバモデルは、走行環境毎の運転者による操作(挙動)の傾向を各操作の頻度の情報などに基づいてモデル化したものであったが、本発明はこれに限定されない。
例えば、ドライバモデルは、過去に走行した走行環境(つまり、シチュエーション)を示す環境パラメータと、その走行環境において運転者が実際に選択した操作(挙動)とを対応させた走行履歴に基づいて構築されてもよい。環境パラメータをドライバモデルに組み込むことにより、走行環境の検出・分類を別途行い、その分類結果をドライバモデルに入力(記憶)するという手続きを踏むことなく、選択肢を決めることが出来る。具体的には、図23、図24のような走行環境の違いを、環境パラメータとして取得し、ドライバモデルに直接入力(記憶)することにより、図23では「加速」、「減速」、「車線変更」が選択肢となり、図24では、「加速」、「減速」が選択肢となる。以下では、このようなドライバモデルを構築する場合について説明する。なお、以下に説明するドライバモデルは、シチュエーションデータベースと言い換えても良い。
ここで、本変形例におけるドライバモデルを構築するための走行履歴について説明する。図27は、走行履歴の一例を示す図である。図27には、運転者xが運転する車両が、過去に走行した走行環境を示す環境パラメータと、その走行環境において運転者が実際に選択した操作(挙動)とを対応させた走行履歴が示されている。
図27に示す走行履歴の(a)〜(c)の環境パラメータは、それぞれ、例えば、図8の(b)、図5の(b)、図7の(b)に示したようにして運転者に車両の挙動を提示した際の走行環境を示すものである。この走行履歴の環境パラメータは、センシング情報およびインフラ情報から得られる。
センシング情報は、車両が有するセンサやレーダ等が検知した情報である。インフラ情報は、GPSの情報、地図情報、路車間通信で取得される情報などである。
例えば、図27に示す走行履歴の環境パラメータは、「自車両の情報」、自車両aが走行する車線の前方を走行する車両の情報を示す「先行車両の情報」、自車両が走行する車線の側方車線の情報を示す「側方車線の情報」、自車両が走行する位置に合流車線がある場合に、その合流車線の情報を示す「合流車線の情報」、自車両の位置とその周囲の情報を示す「位置情報」などを含む。また、後方車両の情報を含めてもよい。その場合、後方車両と自車両との相対速度、車頭間距離、車頭間距離の変化率などを用いても良い。また、車両の存在の情報を含めてもよい。
例えば、「自車両の情報」は、自車両の速度Vaの情報を含む。「先行車両の情報」は、自車両に対する先行車両bの相対速度Vba、先行車両と自車両との車間距離DRba、先行車両のサイズの変化率RSbの情報を含む。
ここで、自車両の速度Vaは、自車両が有する速度センサによって検知される。相対速度Vba、車間距離DRbaは、センサやレーダ等によって検知される。サイズの変化率RSbは、RSb=−Vba/DRbaという関係式によって算出される。
「側方車線の情報」は、側方車線において自車両より後方を走行する側後方車両cの情報と、側方車線において自車両より前方を走行する側前方車両dの情報と、自車両の残存側方車線長DRdaの情報とを含む。
側後方車両の情報は、自車両に対する側後方車両の相対速度Vca、側後方車両と自車両との車頭間距離Dca、車頭間距離の変化率Rcaの情報を含む。側後方車両と自車両との車頭間距離Dcaとは、自車両(および側後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と側後方車両の先端部(車頭)との間の距離である。なお、車頭間距離は、車間距離及び車長から算出してもよい。また、車頭間距離は、車間距離に代替させてもよい。
ここで、相対速度Vca、車頭間距離Dcaは、センサやレーダ等によって検知される。車頭間距離の変化率Rcaは、Rca=Vca/Dcaという関係式によって算出される。
また、側前方車両の情報は、自車両に対する側前方車両の相対速度Vda、側前方車両と自車両との車頭間距離Dda、車頭間距離の変化率Rdaの情報を含む。側前方車両と自車両との車頭間距離Ddaは、自車両(および側前方車両)の進行方向に沿って測定される自車両の先端部(車頭)と側前方車両の先端部(車頭)との間の距離である。
相対速度Vda、車頭間距離Ddaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rdaは、Rda=Vda/Ddaという関係式によって算出される。
自車両の残存側方車線長DRdaは、側方車線への車線変更の可能性の高さを示すパラメータである。具体的には、自車両の残存側方車線長DRdaは、自車両(および側前方車両)進行方向に沿った方向において測定される自車両の先端部(車頭)と側前方車両の後端部との間の距離が、先行車両と自車両との車間距離DRbaより長い場合、自車両の先端部(車頭)と側前方車両の後端部との間の距離となり、自車両の先端部(車頭)と側前方車両の後端部との間の距離が、DRbaより短い場合、DRbaとなる。自車両の残存側方車線長DRdaは、センサやレーダ等によって検知される。
「合流車線の情報」は、自車両に対する合流車両の相対速度Vma、合流車両と自車両との車頭間距離Dma、車頭間距離の変化率Rmaの情報を含む。ここで、合流車両と自車両との車頭間距離Dmaは、自車両(および合流車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と合流車両の先端部(車頭)との間の距離である。
相対速度Vma、車頭間距離Dmaは、センサやレーダ等によって検知される。車頭間距離の変化率Rmaは、Rma=Vma/Dmaという関係式によって算出される。
図27に示す走行履歴の例では、上記で説明した速度、距離、及び変化率の数値が複数のレベルに分類され、分類されたレベルを示す数値が記憶されている。なお、速度、距離、及び変化率の数値は、レベルに分類されることなくそのまま記憶されてもよい。
位置情報は、「自車両の位置情報」、「走行車線数」、「自車両の走行車線」、「合流区間の開始・終了地点までの距離」「分岐区間の開始・終了地点までの距離」「工事区間開始・終了地点までの距離」「車線減少区間開始・終了地点までの距離」「交通事故発生地点までの距離」などの情報を含む。図27には、位置情報の例として「自車両の走行車線」(図27の走行車線)、及び「合流区間の開始・終了地点までの距離」の情報が示されている。
例えば、「自車両の位置情報」の欄には、GPSより得られた緯度・経度を示す数値情報が記憶される。「走行車線数」の欄には、走行している道の車線の数が記憶される。「自車両の走行車線」の欄には、走行している車線の位置を示す数値情報が記憶される。「合流区間の開始・終了地点までの距離」の欄には、所定の距離内に合流区間の開始・終了地点が存在する場合に、合流区間の開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に合流区間の開始・終了地点が存在しない場合、「合流区間の開始・終了地点までの距離」の欄には「0」が記憶される。
「分岐区間の開始・終了地点までの距離」の欄には、所定の距離内に分岐区間の開始・終了地点が存在する場合に、分岐区間の開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に分岐区間の開始・終了地点が存在しない場合、「分岐区間の開始・終了地点までの距離」の欄には「0」が記憶される。「工事区間開始・終了地点までの距離」の欄には、所定の距離内に工事区間開始・終了地点が存在する場合に、工事区間開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に工事区間開始・終了地点が存在しない場合、「工事区間開始・終了地点までの距離」の欄には「0」が記憶される。
「車線減少区間開始・終了地点までの距離」の欄には、所定の距離内に車線減少区間開始・終了地点が存在する場合に、車線減少区間開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に車線減少区間開始・終了地点が存在しない場合、「車線減少区間開始・終了地点までの距離」の欄には「0」が記憶される。
「交通事故発生地点までの距離」の欄には、所定の距離内に交通事故発生地点が存在する場合に、交通事故発生地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に交通事故発生地点が存在しない場合、「交通事故発生地点までの距離」の欄には「0」が記憶される。
さらに、位置情報は、自車両が走行している道の全車線のうちどの車線が合流車線、分岐車線、工事車線、減少車線、事故発生車線かの情報を含んでも良い。
なお、図27に示した走行履歴はあくまで一例であり、本発明はこれに限定されない。例えば、上記側方車線の情報が右側方車線の情報である場合、走行履歴に、その反対側である「左側方車線の情報」がさらに含まれても良い。
「左側方車線の情報」は、左側方車線において自車両より後方を走行する左側後方車両の情報と、左側方車線において自車両より前方を走行する左側前方車両の情報と、自車両の残存左側方車線長DRdaの情報とを含む。
左側後方車両の情報は、自車両に対する左側後方車両の相対速度Vfa、左側後方車両と自車両との車頭間距離Dfa、車頭間距離の変化率Rfaの情報を含む。左側後方車両と自車両との車頭間距離Dfaとは、自車両(および左側後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と左側後方車両の先端部(車頭)との間の距離である。
ここで、相対速度Vfa、車頭間距離Dfaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rfaは、Rfa=Vfa/Dfaという関係式によって算出される。
また、左側前方車両の情報は、自車両に対する左側前方車両の相対速度Vga、左側前方車両と自車両との車頭間距離Dga、車頭間距離の変化率Rgaの情報を含む。左側前方車両と自車両との車頭間距離Dgaは、自車両(および左側前方車両)の進行方向に沿って測定される自車両の先端部(車頭)と左側前方車両の先端部(車頭)との間の距離である。
ここで、相対速度Vga、車頭間距離Dgaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rgaは、Rga=Vga/Dgaという関係式によって算出される。
なお、ここでは、車両の通行が左側通行である場合について説明したが、左右を逆転させることにより右側通行の場合にも同様の処理が可能である。
また、図27に示す走行履歴は、走行車線において自車両より後方を走行する後方車両の情報を示す「後方車両の情報」を含んでもよい。
後方車両の情報は、自車両に対する後方車両の相対速度Vea、後方車両と自車両との車頭間距離Dea、車頭間距離の変化率Reaの情報を含む。後方車両と自車両との車頭間距離Deaとは、自車両(および後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と後方車両の先端部(車頭)との間の距離である。
ここで、相対速度Vea、車頭間距離Deaは、センサやレーダ等によって検知される。車頭間距離の変化率Reaは、Rea=Vea/Deaという関係式によって算出される。
なお、移動体に隠れて車頭間距離が計測できない場合などは、車頭間距離の代替として、計測できる車間距離や、車間距離に所定の車長を加えた近似値を使用しても良いし、車間距離に認識した車種ごとの車長を加えて算出してもよい。また、車頭間距離が計測できるかできないかに拘わらず、車頭間距離の代替として、計測できる車間距離や、車間距離に所定の車長を加えた近似値を使用しても良いし、車間距離に認識した車種ごとの車長を加えて算出してもよい。
走行履歴には、車両の走行環境に関する他の様々な情報が含まれていてもよい。例えば、走行履歴には、先行車両や側方車両、合流車両の大きさや種別、および自車両との相対位置の情報が含まれていてもよい。例えば、後方から接近する車両の種別をカメラセンサで認識し、車両が緊急車両である場合に車両が救急車両であることを示す情報を含めても良い。これにより、緊急車両への対応のための情報報知であることを情報報知できる。あるいは、図22で説明したような、ハンドル、ブレーキ、アクセル操作量を段階的に示した数値や、同乗者の情報などが走行履歴に含まれていてもよい。
また、運転者の走行履歴として、自動運転中に選択した挙動が集約されてもよいし、運転者が手動運転中に実際に行った挙動が集約されてもよい。これにより、自動運転や手動運転といった運転状態に応じた走行履歴の収集ができる。
また、図27の例では、走行履歴に含まれる環境パラメータが、運転者に車両の挙動を提示した際の走行環境を示すものとしたが、運転者が挙動の選択を行った際の走行環境を示すものであってもよい。あるいは、運転者に車両の挙動を提示した際の走行環境を示す環境パラメータと、運転者が挙動の選択を行った際の走行環境を示す環境パラメータとが両方とも走行履歴に含まれてもよい。
さらに、車両制御部7が、図2の(a)、図5の(a)、図6の(a)、図7の(a)、図8の(a)、図9の(a)、図10の(a)に示す俯瞰図、または図14の(c)に示す表示を生成するに伴い、第1の挙動、及び、第2の挙動が選択される要因となった、寄与度の高い環境パラメータの情報、および、その環境パラメータに関連する情報(例えば、アイコンなど)の少なくとも一つを報知情報として生成し、生成した報知情報を俯瞰図上に示すなどして報知情報を報知部92に報知させてもよい。
この場合、例えば、車両制御部7は、先行車両と自車両との車間距離DRbaや先行車両のサイズの変化率RSbの寄与度が高ければ、俯瞰図における先行車両と自車両との間に輝度を上げたり色を変えたりした領域を表示させ、報知情報を報知部92に報知させてもよい。
また、車両制御部7が、先行車両と自車両との間の領域に車間距離DRbaや変化率RSbの寄与度が高いことを示すアイコンを報知情報として表示させてもよい。さらに、車両制御部7が、報知部92に、俯瞰図上で先行車両と自車両とを結ぶ線分を報知情報として描画させるか、全ての周辺車両と自車両とを結ぶ線分を報知情報として描画させ、俯瞰図上で先行車両と自車両とを結ぶ線分を強調させてもよい。
また、車両制御部7は、俯瞰図ではなく、運転者から見える視点画像の中で、報知部92に先行車両と自車両との間に周囲の領域よりも輝度を上げたり、周囲の領域と異なる色にした領域を報知情報として表示させたりしてAR(Augmented Reality)表示を実現させてもよい。また、車両制御部7が視点画像の中で、先行車両と自車との間の領域に高い寄与度の環境パラメータを示すアイコンを報知情報として報知部92にAR表示させてもよい。
さらに、車両制御部7が視点画像の中で、先行車両と自車とを結ぶ線分を報知情報としてAR表示させるか、視点画像の中で、全ての周辺車両と自車両とを結ぶ線分を報知情報としてAR表示させ、先行車両と自車両とを結ぶ線分を強調させてもよい。
なお、寄与度の高い環境パラメータあるいはその環境パラメータに関連する情報を報知する方法は、上記に限定されない。例えば、車両制御部7は、寄与度の高い環境パラメータの対象となる先行車両を強調表示した画像を報知情報として生成し、報知部92に表示させてもよい。
また、車両制御部7が、俯瞰図またはAR表示において、寄与度の高い環境パラメータの対象となる先行車両等の方向を示す情報を報知情報として生成し、その情報を自車両または自車両の周辺に表示させてもよい。
また、例えば、車両制御部7は、寄与度が高い環境パラメータの情報あるいはその環境パラメータに関連する情報を報知する代わりに、寄与度が低い環境パラメータの対象となる先行車両等の表示輝度を低くするなどして目立たなくし、相対的に目立つようにした寄与度が高い環境パラメータの情報あるいはその環境パラメータに関連する情報を報知情報として生成し、報知部92に表示させてもよい。
次に、運転者の走行履歴に基づくドライバモデルの構築について説明する。ドライバモデルには、複数のドライバの走行履歴をクラスタリングして構築するクラスタリング型と、特定の運転者(例えば、運転者x)の走行履歴と類似する複数の走行履歴から運転者xのドライバモデルを構築する個別適応型とがある。
まず、クラスタリング型について説明する。クラスタリング型のドライバモデルの構築方法は、図27に示したような運転者の走行履歴を運転者毎に予め集約する。そして、互いの走行履歴の類似度が高い複数の運転者、つまり、類似した運転操作傾向を有する複数の運転者をグループ化してドライバモデルを構築する。
走行履歴の類似度は、例えば、運転者aと運転者bの走行履歴における挙動を所定のルールに基づいて数値化した場合に、環境パラメータの数値と挙動の数値とを要素とするベクトルの相関値から決定できる。この場合、例えば、運転者aと運転者bの走行履歴から算出した相関値が所定値よりも高い場合に、運転者aと運転者bの走行履歴を1つのグループとする。なお、類似度の算出については、これに限定されない。
次に、個別適応型について説明する。個別適応型のドライバモデルの構築方法は、クラスタリング型の場合と同様に、図27に示したような複数の運転者の走行履歴を予め集約する。ここで、クラスタリング型の場合と異なる点は、運転者毎にドライバモデルを構築する点である。例えば、運転者yに対してドライバモデルを構築する場合、運転者yの走行履歴と他の複数の運転者の走行履歴とを比較し、類似度が高い複数の運転者の走行履歴を抽出する。そして、抽出した複数の運転者の走行履歴から運転者yの個別適応型のドライバモデルを構築する。
なお、図27に示す走行履歴に基づくドライバモデル(シチュエーションデータベース)は、クラスタリング型、または、個別適応型に限定されず、例えば、全ての運転者の走行履歴を含むように構成されてもよい。
ここで、構築したドライバモデルの使用方法について、例を挙げて説明する。以下の例では、運転者xに対し、4人の運転者a〜dの走行履歴を集約したドライバモデルが用いられる場合について説明する。なお、ドライバモデルは、車両制御部7によって構築される。
図28は、本変形例におけるドライバモデルの使用方法を示す図である。図28の(a)は、運転者xが運転する車両の現時点における走行環境を示す環境パラメータである。図28の(b)は、運転者xに対するドライバモデルの一例である。
図28の(a)に示すように、現時点における走行環境を示す環境パラメータに対する挙動(操作)はブランクになる。車両制御部7は、環境パラメータを所定の間隔で取得し、環境パラメータのいずれかをトリガとして、図28の(b)に示すドライバモデルから次の挙動を判定する。
トリガとしては、例えば、合流区間の開始地点までの距離が所定の距離以下になった場合、あるいは、先行車両との相対速度が所定値以下になった場合など、車両の操作の変更が必要となる場合を示す環境パラメータをトリガとしてもよい。
車両制御部7は、図28の(a)に示す環境パラメータと、図28の(b)に示すドライバモデルのそれぞれの走行履歴の環境パラメータとを比較し、最も類似する環境パラメータに対応づけられた挙動を第1の挙動であると判定する。また、それ以外の類似する環境パラメータに対応づけられたいくつかの挙動については、第2の挙動と判定する。
環境パラメータが類似するか否かは、環境パラメータの数値を要素とするベクトルの相関値から決定できる。例えば、図28の(a)に示す環境パラメータの数値を要素とするベクトルと、図28の(b)に示す環境パラメータの数値を要素とするベクトルとから算出した相関値が所定値よりも高い場合に、これらの環境パラメータが類似すると判定される。なお、環境パラメータが類似するか否かの判定方法については、これに限定されない。
例えば、ここでは環境パラメータの類似度に基づいて挙動を決定することとしたが、まず環境パラメータの類似度の高いグループを作成し、そのグループにおける環境パラメータの統計をとり、その統計データから挙動を決定してもよい。
このように、予め複数の運転者の走行履歴から運転者個人のドライバモデルを構築することにより、運転者により適した挙動を報知できる。なお、より安全な走行履歴をデータベースに登録するため、安全な走行の基準を示す情報を記憶部8が記憶しておき、走行履歴がこの基準を満たすか否かを車両制御部7が判定し、さらに車両制御部7が、この基準を満たす走行履歴をデータベースに登録し、この基準を満たさない走行履歴をデータベースに登録しないこととしてもよい。
さらに、走行環境を示すパラメータと挙動とが対応づけられることにより、車両制御部7が、具体的な走行環境を判定することなく、つまり、走行環境のラベリングを行う事無く、精度よく次の挙動を判定できる。
なお、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を提示した際の走行環境を示す環境パラメータとを対応づけた走行履歴から構築されてもよい。あるいは、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴から構築されてもよい。
環境パラメータが、運転者により選択された挙動を車両が行った際の走行環境を示すものである場合、現時点における走行環境を示す環境パラメータから将来の走行環境を示す環境パラメータを予測し、運転者により選択された挙動を車両が行った際の走行環境を示す環境パラメータのうち、予測された環境パラメータに最も類似する環境パラメータに対応付けられた挙動を第1の挙動、それ以外の類似する環境パラメータに対応付けられたいくつかの挙動を第2の挙動であると判定してもよい。
上記予測は、例えば、現時点と現時点よりも前の時点の走行環境を示す環境パラメータから将来の時点の環境パラメータを外挿することにより行う。
あるいは、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を提示した際の走行環境を示す環境パラメータとを対応づけた走行履歴、および、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴の両方から構築されてもよい。
この場合、例えば、両者の走行履歴が図28の(b)に示したような形式で記憶され、車両制御部7は、それらから次の挙動を判定する。ここで、車両制御部7は、両者の間で優先度を設け、例えば、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴から優先的に次の挙動を判定してもよい。
なお、本発明では、車両制御部7が実行する機能と同様の機能をクラウドサーバなどのサーバ装置に実行させてもよい。特に、記憶部8は走行履歴の蓄積に伴い膨大なデータ数となるため、車両1ではなくクラウドサーバなどのサーバ装置にあってもよい。あるいは、記憶部8は、既に構築されたドライバモデルを記憶し、車両制御部7は、記憶部8に記憶されたドライバモデルを参照して、挙動を判定することとしてもよい。
なお、記憶部8がクラウドサーバに設けられる構成では、通信速度の低下・通信断などの原因により記憶部8にアクセスできない場合に備えキャッシュが設けられることが望ましい。
図29は、キャッシュの配置の一例を示すブロック図である。車両制御部7は、通信部291を通じて記憶部8に走行履歴を保存させ、通信部291を通じてキャッシュ292に記憶部8に記憶されたドライバモデル(シチュエーションデータベース)の一部を保持させる。
車両制御部7は、キャッシュ292のドライバモデルにアクセスする。このときのキャッシュの作成方法については、環境パラメータの有無で限定する方法、位置情報を用いる方法、データを加工する方法などが考えられる。以下、それぞれについて説明する。
まず、環境パラメータの有無で限定する方法について説明する。周囲の状況の比較により似た状況を抽出するには、同じ環境パラメータのみが存在する走行環境(シチュエーション)が十分にあれば可能である。従って、車両制御部7は、記憶部8に記憶された走行環境の中から同じ環境パラメータのみを持つ走行環境を抽出して、これらをソートし、キャッシュ292に保持する。
ここで、車両制御部7は、検出された状況から得られる環境パラメータが変更されたタイミングで、一次キャッシュの更新を行う。こうすることで、車両制御部7は、通信速度の低下が発生しても似た周囲の状況を抽出することが可能になる。なお、変更の有無を判断する環境パラメータは、先に挙げた全ての環境パラメータでもよいし、一部の環境パラメータでもよい。
さらに、この環境パラメータは刻一刻と変化するため、キャッシュ292内に一次キャッシュおよび二次キャッシュを用意しても良い。例えば、車両制御部7は、同じ環境パラメータを持つ走行環境を一次キャッシュに保持する。さらに、車両制御部7は、環境パラメータが一時キャッシュに保持された走行環境に一つ追加された状態にある走行環境、および、環境パラメータが一時キャッシュに保持された走行環境から一つ削減された状態にある走行環境の少なくとも一方を二次キャッシュに保持する。
このようにすることで、車両制御部7は、一時的な通信断が発生しても、キャッシュ292のデータのみで、似た状況を抽出することが可能になる。
図30を使って、この場合についてさらに具体的に説明する。センサ62により、自車両301の周囲に側前方車両302のみが存在している周囲状況303が検出されたとき、車両制御部7は、側前方車両302のみが存在している走行環境(同一の環境パラメータのみ存在する走行環境)を、全ての走行環境(シチュエーション)が記憶された記憶部8から抽出し、一次キャッシュ304に格納させる。
さらに、車両制御部7は、側前方車両302以外の車が1台だけ追加された走行環境(同一の環境パラメータに1つの環境パラメータが追加された状態にある走行環境)もしくは、側前方車両302のいない走行環境(同一の環境パラメータから1つの環境パラメータが削減された状態にある走行環境)を記憶部8から抽出し、二次キャッシュ305に格納させる。
そして、センサ62により検出された周囲状況303が変わったとき、車両制御部7は、変わった周囲状況303に対応する走行環境を二次キャッシュ305から一次キャッシュ304にコピーし、変わった周囲状況303に対応する走行環境に対し、環境パラメータが一つ追加された走行環境、及び、環境パラメータが一つ削減された走行環境を記憶部8から抽出し、二次キャッシュ305に格納することで、二次キャッシュ305を更新する。これにより、車両制御部7は、周囲状況のスムーズに比較により似た周囲状況をスムーズに抽出することが可能になる。
次に、位置情報を用いる方法について説明する。環境パラメータに位置情報が含まれている場合、車両制御部7は、その位置情報により示される位置が自車位置を中心とする一定の範囲内に含まれる走行環境(シチュエーション)を記憶部8から抽出し、キャッシュ292に格納させることが可能となる。
この場合、車両制御部7は、走行環境に対応する位置情報により示される位置が上記一定の範囲から外れたときに、キャッシュ292の更新を行う。このようにすることで、車両制御部7は、長期間の通信断が発生しても位置が一定の範囲内であれば似た周囲状況を抽出することが可能になる。
さらに、データを加工する方法について説明する。記憶部8には環境パラメータを含む操作履歴が蓄積されている。車両制御部7は、各々の環境パラメータを一定の範囲毎に分割し、多次元空間上でメッシュを作成する。そして、車両制御部7は、各々のメッシュに含まれる挙動をその種別ごとにカウントしたテーブルを作成する。
例えば、使用する環境パラメータを二つに限定して説明する。車両制御部7は、操作履歴に含まれる環境パラメータを図31の(a)のように平面状にマッピングし、これらの各々の軸を一定の範囲で分割することで、平面を複数のブロックに分ける。これをメッシュと呼ぶ。
車両制御部7は、各々のメッシュの中に含まれる挙動の個数をその種別(例えば、加速、減速、車線変更、追い越しなどの種別)ごとにカウントする。図31の(b)に各メッシュの中に含まれる挙動の個数をその種別ごとにカウントしたテーブルを示す。
車両制御部7は、この内容をキャッシュ292に保持する。そして、車両制御部7は、周囲状況の比較により似た周囲状況の抽出を行う際に、検出された環境パラメータがどのメッシュに位置するかを判別し、判別したメッシュの中に含まれる挙動のうち個数が最大である挙動を選択し、選択された挙動を報知する挙動に決定する。
例えば、車両制御部7は、検出された環境パラメータがメッシュの3番に位置すると判別したとき、3番のメッシュの中に含まれる挙動のうち最大個数を示す挙動(ここでは「加速」)の操作を報知する挙動に決定する。この方法であれば、キャッシュ292の更新タイミングはいつでもよく、キャッシュ292の容量も一定とすることができる。
これらの方法を一つもしくは複数を組み合わせることでキャッシュを作成する。ただし、上に挙げた方法は一例であり、キャッシュの作成方法はこの限りではない。
このように、実施の形態4のドライバモデル拡張の例では、車両制御部7が、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報を取得し、記憶部8がその特徴量の情報を記憶し、車両の挙動を変更する必要があると判定された場合、車両制御部7が記憶部8に記憶された特徴量の情報の中から、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
また、実施の形態4のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報は、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の少なくとも1つであることとした。
また、実施の形態4のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の両方である場合、それら両方の特徴量の情報の中から、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
また、実施の形態4のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の両方である場合、運転者が挙動の選択を行った際の特徴量の情報の中から優先的に、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
また、実施の形態4のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、車両の自動運転時、および/または、手動運転時の運転者の運転特性を示す特徴量の情報であることとした。
以上により、車両制御部7は、運転者の運転傾向により適したドライバモデルを構築でき、構築したドライバモデルに基づいて、運転者に対してより適切な自動運転を行うことができる。走行環境を示すパラメータと挙動とが対応づけられることにより、具体的な走行環境を判定する処理を要することなく、つまり、走行環境のラベリングを行うことなく、精度よく次の挙動を判定できる。
(実施の形態5)
次に実施の形態5について説明する。上記の実施の形態では、ドライバの運転行動を推定する方法について記載していたが、本実施の形態では、車速の制御、車間距離の制御、加速度の制御について記載する。車速・車間距離・加速度については、ドライバが手動運転を行っている際の運転特性(運転の癖)を収集し、自動運転時に反映させる。
具体的には、図32を用いて説明する。まず、手動運転時のデータ収集方法について記載する。
(車速の収集)
本実施の形態における車両挙動検出部282は、手動運転時に速度情報取得部63から自車の速度情報(車速)を取得し、先行車の有無をセンサ62により検出する。車両挙動検出部282は、先行車が検出できておらず、かつ定速走行になったことを検出すると、そのときの車速および環境パラメータを記憶部8,8aに保存する。例えば、図33のように、車両挙動検出部282は、速度変化すなわち加速度を求め、その加速度が一定の範囲内(閾値±A1)である状態がT1秒間続いたときの走行状態を、定速走行状態と見なす。そして、車両挙動検出部282は、定速走行状態開始時の車速と環境パラメータを取得し、記憶部8,8aに保存し、再び、定速走行状態の検索を開始する。これを繰り返すことにより記憶部8,8aに情報をためていく。環境パラメータとは、実施の形態4に記載したもので、ここでは周囲の車との車間距離/相対変化率、車線数、車線位置、車線幅、路面状態を指す。このとき車線幅は、センサもしくはインフラから取得した車線の幅の値であり、路面状態は路面の滑りやすさをセンサもしくはインフラから取得した値(例えば、正常時=0、雨天時=1、凍結時=2)である。
(車間距離の収集)
また、車両挙動検出部282は、上述のように、手動運転時に速度情報取得部63から自車の速度情報を取得し、先行車の有無をセンサ62により検出する。そして、車両挙動検出部282は、先行車を検出している状態で、かつ一定車間距離走行になったことを検出すると、そのときの車間距離および環境パラメータと合わせて記憶部8,8aに保存する。例えば、図34のように、車両挙動検出部282は、車間距離の変化を求め、その車間距離の変化が一定の範囲内(閾値±A2)である状態がT2秒間続いたときを一定車間距離走行と見なす。そして、車両挙動検出部282は、一定車間距離走行状態開始時の先行車との車間距離と環境パラメータを取得し、記憶部8,8aに保存し、再び、一定車間距離走行状態の検索を開始する。これを繰り返すことにより記憶部8,8aに情報をためる。このときの環境パラメータとは、自車の速度、周囲の車との車間距離/相対変化率(但し、先行車との車間距離は除く)、車線数、車線位置、車線幅、路面状態を指す。
(加速度の収集)
さらに、車両挙動検出部282は、手動運転時に速度情報取得部63から自車の速度情報を取得し、先行車の有無をセンサ62により検出する。そして、車両挙動検出部282は、一定の加速度以上での加速もしくは一定の加速度以下の減速を検出すると、その前後の加速度パターンを環境パラメータと合わせて記憶部8,8aに保存する。例えば、図35のように、車両挙動検出部282は、加速度が一定の閾値A3を超えた時からT3秒遡ったときの環境パラメータと閾値A4を超えるもしくは速度0になるまで(減速のとき)の区間の加速度パターンを取得し、記憶部8,8aに保存する。減速のときの環境パラメータとは、自車の速度、周囲の車との車間距離/相対変化率(但し、先行車との車間距離は除く)、車線数、車線位置、車線幅、路面状態、目標停止位置までの距離(停止する場合)、次の信号までの距離、信号の点灯状態を指す。目標停止位置までの距離は、自動運転システムが停止を判断した際の目標停止位置までの距離であり、それ以外のときには、0に設定される。次の信号までの距離は、次の信号までの距離が一定の距離以下のときに、次の信号までの実際の距離に設定され、それ以外のときには0に設定される。信号の点灯状態には、(赤=0、黄=1、青=2)などが設定される。なお、加速度パターンとは、例えば、図36のように加減速している時間、加速度のピークの位置およびピークの個数によって分類されるパターンである。あるいは、加速度パターンとは、減速もしくは加速時の平均加速度と、その中で加速度がある閾値を越える期間と、そのときの速度とを指す。
自動運転制御部281は、これらの記憶部8,8aに保存した情報(図37、図38)を用いて、ドライバにより自動運転に設定されたときに、車速/車間距離/加速度を周囲の状況に併せて制御する。その方法は、実施の形態4と同様であり、予めクライアント側が、記憶部8aに保存されたデータを、通信部291を介してクラウド上にアップロードする。クラウド側で、他のドライバの運転特性と比較し、似たドライバのグループからドライバモデルを作成する。このとき、車速/車間距離/加速度おのおのについてドライバモデルを作成しても構わないし、全てを含んだドライバモデルを作成しても構わない。作成されたドライバモデルをクライアント側に送信する。これらの作業はエンジンをかけた直後などのタイミングで行われる。
ドライバモデルは、実施の形態4に記載の方法で作成しても良いが、例えば機械学習を用いて、入力を環境パラメータとし、出力を車速/車間距離/加速度パターンとするモデルを作成してもよい。その場合、履歴から環境パラメータと車速の組み合わせを教師付きデータとして学習を行う。アルゴリズムは、ランダムフォレスト/サポートベクタマシン/勾配ブースティングなどを使う。学習して得られたモデルをドライバモデルとする。
また、あるドライバに対し、似たドライバを集めることでドライバモデルを作成する方法は、実施の形態4に記載の方法でも良いが、例えば、クラウド上の運転特性(例えば車速)のデータの分布から局所ピークを複数検出した場合、これらを複数のクラスタが混合していると解釈し、各々の局所ピークとする分布を一つのクラスタとしてモデルを作成することで複数のドライバモデルを構築する方法などがある。この方法では、クライアント側のドライバの履歴と最も合致するドライバモデルを選択し車速を推定してもよいし、合致率の高い複数のドライバモデルを使い、その平均値を使って求めても良い。
ドライバが自動運転に設定すると、自動運転制御部281はドライバモデルに環境パラメータを入力し、得られた車速/車間距離/加減速パターンに従い車両制御を行う。このようにすることで、ドライバが自動運転時の車間距離などをステアリングスイッチなどで設定する手間も省け、自分の運転に近い自動運転を実現することが出来る。
[実施の形態4および5のまとめ]
図39は、本発明の一態様に係る情報処理システムの構成を示す図である。
この情報処理システム1000は、履歴取得部1001と、モデル化部1002とを備える。
履歴取得部1001は、複数の運転者のそれぞれの個人走行履歴を取得する。これらの個人走行履歴を含む走行履歴は、例えば図16、図17、または図20に示す走行履歴であり、個人走行履歴は、図27に示す運転者xの走行履歴であってもよい。個人走行履歴は、運転者によって選択された車両の一または複数の挙動と、その一または複数の挙動のそれぞれが選択されたときの車両の走行環境とを対応付けて示す。ここで、挙動は、車両の運転行動、運転操作または作動状態などである。また、選択された車両の一または複数の挙動のそれぞれは、実施の形態1における自動運転において、運転者によって選択された第2の挙動である。あるいは、選択された車両の一または複数の挙動のそれぞれは、運転者による手動運転によって実施された挙動、すなわち手動運転によって選択された挙動であってもよい。
モデル化部1002は、その走行履歴のうち、少なくとも一部の運転者の個人走行履歴をモデル化することによって、その少なくとも一部の運転者の車両における挙動と走行環境との関係を示すドライバモデルを構築する。このドライバモデルは、例えば図18、図21または図28の(b)に示すドライバモデルである。
情報処理システム1000は、さらに、環境取得部1003と、挙動推定部1004とを備えてもよい。環境取得部1003は、推定対象の運転者の車両の走行環境を取得する。走行環境は、例えば図16、図17、または図20に示す走行環境である。なお、環境取得部1003は、図1に示す検出部6であってもよく、検出部6によって検出された情報に基づいて走行環境を生成することによって、その走行環境を取得してもよい。
挙動推定部1004は、構築されたドライバモデルにおいて、環境取得部1003によって取得された走行環境に関係付けられた挙動を、推定対象の運転者の車両の挙動として推定(または判定)する。
これにより、ドライバモデルを用いて推定対象の運転者の車両の挙動が推定されるため、その推定対象の運転者の個人走行履歴が挙動の推定に不十分であっても、その運転者の車両の挙動を適切に推定することができる。つまり、運転者に適した運転行動を推定することができる。
ここで、モデル化部1002は、クラスタリング型のドライバモデルを構築してもよい。つまり、モデル化部1002は、走行履歴のうち、互いに類似する複数の個人走行履歴からなるグループごとに、その互いに類似する複数の個人走行履歴をモデル化することによって、モデル運転者ごとの車両における挙動と走行環境との関係を示すドライバモデルを構築する。このような、クラスタリング型のドライバモデルは、例えば図18に示すドライバモデルである。
この場合、挙動推定部1004は、推定対象の運転者の個人走行履歴と類似する、挙動と走行環境との関係を有するモデル運転者をそのドライバモデルから選択する。そして、挙動推定部1004は、選択されたモデル運転者が有する、挙動と走行環境との関係において、環境取得部1003によって取得された走行環境に関係付けられた挙動を、推定対象の運転者の車両の挙動として推定する。
これにより、推定対象の運転者の個人走行履歴と類似する、挙動と走行環境との関係を有するモデル運転者が選択され、そのモデル運転者の関係を用いてその推定対象の運転者の車両の挙動が推定されるため、運転者により適した挙動(すなわち運転行動)を推定することができる。
ここで、複数の運転者のそれぞれの個人走行履歴は、走行環境ごとに、予め定められた一または複数の挙動のそれぞれの当該走行環境において選択された頻度を示してもよい。
この場合、モデル化部1002は、走行環境ごとに、予め定められた一または複数の挙動のそれぞれについて、互いに類似する複数の個人走行履歴に示されるその挙動の頻度を平均化することによって、上記互いに類似する複数の個人走行履歴をモデル化する。
これにより、モデル化を簡単に、且つ適切に行うことができる。
また、モデル化部1002は、個別適応型のドライバモデルを構築してもよい。つまり、モデル化部1002は、走行履歴のうち、推定対象の運転者の個人走行履歴に類似する複数の個人走行履歴をモデル化することによって、その推定対象の運転者に対応するドライバモデルを構築する。このような、個別適応型のドライバモデルは、例えば図21に示すドライバモデルである。
これにより、走行履歴のうち、推定対象の運転者の個人走行履歴に類似する複数の個人走行履歴がモデル化されるため、その運転者により適した挙動(すなわち運転行動)を推定することができる。
また、複数の運転者のそれぞれの個人走行履歴は、図27に示すように、一または複数の挙動のそれぞれが選択されたときの車両の走行環境を、少なくとも1つの環境パラメータのそれぞれの数値からなるパラメータセットである第1のパラメータセットとして示してもよい。
この場合、モデル化部1002は、上記少なくとも一部の運転者の個人走行履歴に示される、第1のパラメータセットに含まれる各環境パラメータの数値をモデル化することによって、その少なくとも一部の運転者の車両における挙動と第1のパラメータセットとの関係を示すドライバモデルを構築する。このとき構築されるドライバモデルは、例えば、図28の(b)に示すドライバモデルである。環境取得部1003は、その推定対象の運転者の車両の走行環境をパラメータセットとして取得する。なお、このパラメータセットも、第1のパラメータセットと同様に、少なくとも1つの環境パラメータのそれぞれの数値からなる。挙動推定部1004は、構築されたそのドライバモデルにおいて、環境取得部1003によって取得されたパラメータセットに類似する第1のパラメータセットに関連付けられた挙動を、推定対象の運転者の車両の挙動として推定する。
これにより、走行環境がパラメータ化されているため、走行環境を細分化することができ、どのような走行環境であっても、その走行環境に応じた挙動(すなわち運転行動)を推定することができる。
また、情報処理システム1000は、挙動の候補を表示する表示部1005を備えてもよい。なお、この表示部1005は、図1に示す報知部92に含まれていてもよい。また、複数の運転者のそれぞれの個人走行履歴は、さらに、運転者によって選択された車両の挙動ごとに、当該挙動が候補として表示されたときの走行環境として、少なくとも1つの環境パラメータのそれぞれの数値からなるパラメータセットである第2のパラメータセットを、当該挙動に対応付けて示してもよい。つまり、個人走行履歴には、挙動が選択されたときの走行環境である第1のパラメータセットと、その挙動が候補として表示されたときの走行環境である第2のパラメータセットとが、選択された挙動に対応付けて示されている。言い換えれば、第2のパラメータセットは、第1のパラメータセットよりも前の時点における走行環境である。なお、第1のパラメータセットは、挙動が選択されたときの走行環境であるが、その挙動が実施されたときの走行環境でもある。つまり、挙動が選択された時点における走行環境と、挙動が実施された時点における走行環境とには有意な差異はない。
この場合、モデル化部1002は、上記少なくとも一部の運転者の個人走行履歴に示される、第1のパラメータセットに含まれる各環境パラメータの数値をモデル化し、かつ、第2のパラメータセットに含まれる各環境パラメータの数値をモデル化することによって、上記少なくとも一部の運転者の車両における挙動と第1のパラメータセットと第2のパラメータとの関係を示すドライバモデルを構築する。そして、挙動推定部1004は、構築されたドライバモデルにおいて、環境取得部1003によって取得されたパラメータセットに類似する第1のパラメータセットまたは第2のパラメータセットに関係付けられた挙動を、推定対象の運転者の車両の挙動として推定する。
挙動の候補を表示するタイミング(表示タイミング)は、挙動の選択または実施のタイミング(選択タイミング)よりも前である。また、表示タイミングと選択タイミングとでは、走行環境が異なることがある。表示タイミングには、そのときの走行環境を取得することはできるが、後の選択タイミングにおける走行環境を取得することはできない。また、この表示タイミングに、挙動を推定することが望ましい。
そこで、上述のように、モデル化部1002は、選択タイミングの走行環境である第1のパラメータセットと、表示タイミングの走行環境である第2のパラメータセットと、選択された挙動との関係を示すドライバモデルを構築している。また、環境取得部1003によって取得されたパラメータセットは、表示タイミングのパラメータセットである場合と、その表示タイミングのパラメータセットから外挿などによって予測された選択タイミングのパラメータセットである場合とがある。したがって、環境取得部1003によって取得されたパラメータセットが表示タイミングのパラメータセットである場合には、挙動推定部1004は、そのパラメータセットに類似する第2のパラメータセットに関連付けられた挙動を、推定対象の運転者の車両の挙動として推定する。これにより、事前により適切な挙動(すなわち運転行動)を推定することができる。一方、環境取得部1003によって取得されたパラメータセットが選択タイミングのパラメータセットである場合には、挙動推定部1004は、そのパラメータセットに類似する第1のパラメータセットに関連付けられた挙動を、推定対象の運転者の車両の挙動として推定する。これにより、事前に、つまり表示タイミングにおいて、より適切な挙動(すなわち運転行動)を推定することができる。
このとき、挙動推定部1004は、構築されたドライバモデルにおいて、環境取得部1003によって取得されたパラメータセットに類似する第1のパラメータセットに関係付けられた挙動を優先的に、推定対象の運転者の車両の挙動として推定してもよい。
これにより、挙動の推定の処理を適切に行うことができる。
また、個人走行履歴は、図37に示すように、一または複数の挙動として一または複数種の車速での走行を示してもよい。この場合、図33に示すように、環境取得部1003は、推定対象の運転者の車両が、0を含む予め定められた範囲の加速度で第1の期間だけ継続して走行しているときの、その車両の走行環境をパラメータセットとして取得する。なお、このような走行の状態は、定速走行状態と見なされる。また、第1の期間は、例えば図33に示すT1秒である。そして、挙動推定部1004は、構築されたドライバモデルにおいて、環境取得部1003によって取得されたパラメータセットに類似する第1のパラメータセットに関連付けられた車速での走行を、推定対象の運転者の車両の挙動として推定する。また、情報処理システム1000は、さらに、挙動推定部1004によって推定された車速での走行をその車両が実施するように、その車両を制御する車両制御部1006を備える。
これにより、走行環境に応じた車速であって、かつ運転者に適した車速での走行を車両に実施させることができる。
また、個人走行履歴は、図37に示すように、一または複数の挙動として一または複数種の車間距離での走行を示してもよい。この場合、図34に示すように、環境取得部1003は、推定対象の運転者の車両が走行し、かつ、その車両と他車両との間の車間距離の単位時間当たりの変化量(車間距離変化[m/s])が、0を含む予め定められた範囲にある状態が、第2の期間だけ継続しているときの、その車両の走行環境をパラメータセットとして取得する。なお、第2の期間は、例えば図34に示すT2秒である。そして、挙動推定部1004は、構築されたドライバモデルにおいて、環境取得部1003によって取得されたパラメータセットに類似する第1のパラメータセットに関連付けられた車間距離での走行を、推定対象の運転者の車両の挙動として推定する。車両制御部1006は、挙動推定部1004によって推定された車間距離での走行を、推定対象の運転者の車両が実施するように、その車両を制御する。
これにより、走行環境に応じた車間距離であって、かつ運転者に適した車間距離での走行を車両に実施させることができる。
また、個人走行履歴は、一または複数の挙動として一または複数種の加速度パターン(例えば図36に示す加速度パターン)での走行を示してもよい。この場合、図35に示すように、環境取得部1003は、推定対象の運転者の車両の加速度の絶対値が第1の閾値を超えてから、その第1の閾値よりも低い第2の閾値以下になるまでの期間に対応する時点における、車両の走行環境をパラメータセットとして取得する。例えば、第1の閾値は、図35に示すA3の加速度閾値であり、第2の閾値は、図35に示すA4の加速度閾値である。そして、上記期間に対応する時点は、その期間から、図35に示すT3秒遡った時点である。挙動推定部1004は、構築されたドライバモデルにおいて、環境取得部1003によって取得されたパラメータセットに類似する第1のパラメータセットに関連付けられた加速度パターンでの走行を、推定対象の運転者の車両の挙動として推定する。車両制御部1006は、挙動推定部1004によって推定された加速度パターンでの走行を、推定対象の運転者の車両が実施するように、その車両を制御する。
これにより、走行環境に応じた加速度パターンであって、かつ運転者に適した加速度パターンでの走行を車両に実施させることができる。今回の例では、加速度パターンで走行を表したが、平均加速度で走行を表してもよい。
また、個人走行履歴は、一または複数の挙動として車線変更・右左折時の舵角パターン(例えば図40に示す舵角パターン)での走行を示してもよい。この場合、図41に示すように、環境取得部1003は、推定対象の運転者の車両の舵角の絶対値が第1の閾値を超えてから、0になるまでの期間に対応する時点における、車両の走行環境をパラメータセットとして取得する。例えば、第1の閾値は、図41に示すA5の舵角閾値である。挙動推定部1004は、構築されたドライバモデルにおいて、環境取得部1003によって取得されたパラメータセットに類似する第1のパラメータセットに関連付けられた舵角パターンでの走行を、推定対象の運転者の車両の挙動として推定する。車両制御部1006は、挙動推定部1004によって推定された舵角パターンでの走行を、推定対象の運転者の車両が実施するように、その車両を制御する。
これにより、走行環境に応じた舵角パターンであって、かつ運転者に適した舵角パターンでの走行を車両に実施させることができる。今回の例では、舵角パターンで走行を表したが、最大舵角と舵角の最大角速度で走行を表してもよい。
また、情報処理システム1000は、さらに、特性取得部1007を備えてもよい。特性取得部1007は、複数の運転者のそれぞれの個人運転特性を含む運転特性を取得する。個人運転特性は、例えば図22に示すように、運転者の運転によって実施された車両の一または複数の挙動と、その一または複数の挙動のそれぞれを実施するために行われた車両の運転の特徴量とを対応付けて示す。例えば、特徴量は、車両の速さであってもよく、ハンドル、ブレーキ、およびアクセルなどの操作量であってもよい。この場合、モデル化部1002は、さらに、その運転特性のうち、少なくとも一部の運転者の個人運転特性をモデル化することによって、その少なくとも一部の運転者の車両における挙動と特徴量との関係を示す運転特性モデルを構築する。なお、運転特性モデルは、ドライバモデルと同様、クラスタリング型であっても、個別対応型であってもよい。そして、車両制御部1006は、一または複数の挙動のうちの何れかの挙動が、実施対象の挙動として、運転者によって選択されたとき、または、挙動推定部1004によって推定されたときには、構築された運転特性モデルにおいて、その実施対象の挙動に関係付けられた特徴量にしたがって、推定対象の運転者の車両の挙動を制御する。例えば、図22に示すように、同乗者なしのときに、運転者xに対して挙動「車線変更」が推定されときには、速さ「8」、ハンドル「4」、ブレーキ「6」およびアクセル「8」などの特徴量にしたがって車両の挙動「車線変更」を制御する。
これにより、運転者の車両の挙動は、その運転者の運転特性、すなわち運転の癖にしたがって行われるため、その運転者により適した運転行動を行うことができる。
なお、このとき車両特性モデルを構築することもできる。
図42は、車両特性モデルを構築する情報処理システムの構成を示す図である。図43は、車両特性を示す図である。
すなわち、ブレーキ、アクセルの踏み込み量による車両挙動への影響は車両により大きく異なる。これを推定することにより、車両の制御をスムーズに行うことができる。例えば、ブレーキの踏み込んだ時の加速度と合わせて、ブレーキ踏み込み量および車両の走行環境をパラメータセットとして取得する。ここでのパラメータセットは、車種ID、車速、路面状態(滑りやすさなどを何段階かに数値化したもの)、勾配、風速(自車の進行方向に対する風速)、総積載重量(乗員含む)などである。特性取得部1007aは、複数の車両のそれぞれの個別車両特性を取得する。これらの個別車両特性を含む車両特性は、例えば図43に示す車両特性である。車両特性は、車両IDごとに、その車両IDを有する車両におけるシチュエーション記述パラメータ(特徴量)と、そのシチュエーション記述パラメータでの走行が行われたときの踏み込み量(挙動)とを対応付けて示す。
モデル化部1002は、その車両特性のうち、少なくとも一部の車両の個別車両特性をモデル化することによって、その少なくとも一部の車両における踏み込み量とシチュエーション記述パラメータとの関係を示す車両特性モデルを構築する。挙動推定部1004は、ドライバモデルなどと同様の方法で、車両特性モデルを用いて、ブレーキの踏み込み量を、推定対象の車両の挙動として推定する。つまり、挙動推定部1004は、構築された車両特性モデルにおいて、環境取得部1003によって取得されたパラメータセットおよび運転特性により推定された加速度に類似する第1のパラメータセットに関連付けられたブレーキの踏み込み量を、推定対象の車両の挙動として推定する。車両制御部1006は、挙動推定部1004によって推定されたブレーキの踏み込み量に従い、その車両を制御する。アクセルについても同様に制御することができる。
これにより、車両の挙動が車両特性の予測にしたがって行われるため、車両制御をスムーズに行うことができる。
また、情報処理システム1000は、さらに、挙動推定部1004によって推定された挙動を、その挙動が実施される前に、推定対象の運転者に報知する報知部1008を備えてもよい。なお、この報知部1008は、図1の報知部92であってもよい。
これにより、推定された挙動が報知されるため、どのような挙動が行われるのかを事前に運転者に容易に把握させることができ、その運転者の不安を解消することができる。
なお、環境取得部1003、挙動推定部1004、表示部1005、車両制御部1006、および報知部1008の全てまたは一部は、推定対象の運転者の車両に備えられていてもよく、その車両の外部に備えられていてもよい。同様に、履歴取得部1001、モデル化部1002および特性取得部1007の全てまたは一部は、推定対象の運転者の車両に備えられていてもよく、その車両の外部に備えられていてもよい。情報処理システム1000に含まれるこれらの構成要素のうち、一部の構成要素が車両に備えられ、残りの一部の構成要素が車両の外部に備えられる場合には、車両の内外にある構成要素は、例えばネットワークを介した通信を行うことによって、上述の各処理を実行する。
また、車両制御部1006は、図1に示す車両制御部7であってもよい。また、履歴取得部1001、特性取得部1007、モデル化部1002、および挙動推定部1004は、図1に示す車両制御部7に含まれていてもよい。
また、個人走行履歴および個人運転特性、例えば各車両の車両制御部1006によって生成される。車両制御部1006は、個人走行履歴または個人運転特性を、自動運転時に生成して蓄積してもよく、手動運転時に生成して蓄積してもよい。
図44は、本発明の一態様に係る情報処理方法のフローチャートである。
本発明の一態様に係る情報処理方法は、ステップS1001とステップS1002とを含む。
ステップS1001では、複数の運転者のそれぞれの個人走行履歴であって、運転者によって選択された車両の一または複数の挙動と、その一または複数の挙動のそれぞれが選択されたときの車両の走行環境とを対応付けて示す個人走行履歴を含む、走行履歴を取得する。
ステップS1002では、その走行履歴のうち、少なくとも一部の運転者の個人走行履歴をモデル化することによって、その少なくとも一部の運転者の車両における挙動と走行環境との関係を示すドライバモデルを構築する。
これにより、ドライバモデルを用いて推定対象の運転者の車両の挙動が推定されるため、その推定対象の運転者の個人走行履歴が挙動の推定に不十分であっても、その運転者の車両の挙動を適切に推定することができる。つまり、運転者に適した運転行動を推定することができる。
[実施の形態4および5の変形例]
実施の形態4および5では、運転者の車両の挙動(運転行動)を推定して、その推定された挙動が実施されるように車両を制御する。これに対して、本変形例では、例えば手動運転時において、運転者の車両の危険な挙動を推定し、その危険な挙動が実施されないように運転者に警告する点に特徴がある。
図45は、本変形例に係る情報処理システムの構成を示す図である。
本変形例に係る情報処理システム1100は、上述の情報処理システム1000と同様に、履歴取得部1001、モデル化部1002、環境取得部1003、および挙動推定部1004を備える。さらに、情報処理システム1100は、危険判定部1010、危険履歴取得部1011、走行履歴格納部1012、危険走行履歴格納部1013、および警告処理部1016を備える。
危険判定部1010は、運転者によって選択された車両の挙動を、その挙動が選択されたときの車両の走行環境と共に取得して、予め定められた判定基準に基づいてその挙動が危険か否かを判定する。危険判定部1010は、車両に備えられている場合には、その車両の挙動と走行環境を取得するだけでなく、他の車両の挙動と走行環境も取得して、その挙動が危険か否かを判定する。つまり、危険判定部1010は、複数の運転者のそれぞれについて、その運転者によって選択された車両の挙動を、その挙動が選択されたときの車両の走行環境と共に取得して、予め定められた判定基準に基づいてその挙動が危険か否かを判定する。危険判定部1010は、予め定められた判定基準としてルールベースを保持している。このルールベースには、複数種の挙動のそれぞれが危険か、危険でないかが示されている。
さらに、危険判定部1010は、危険ではないと判定した場合には、その挙動と走行環境とを含む情報を、個人走行情報として出力する。一方、危険判定部1010は、危険であると判定した場合には、その挙動と走行環境とを含む情報を、個人危険走行情報として出力する。
履歴取得部1001は、複数の運転者のそれぞれについて、危険判定部1010から出力される複数の個人走行情報からなる情報群をその運転者の個人走行履歴として取得する。そして、履歴取得部1001は、複数の運転者のそれぞれの個人走行履歴を含む走行履歴を走行履歴格納部1012に格納する。
危険履歴取得部1011は、複数の運転者のそれぞれについて、危険判定部1010から出力される複数の個人危険走行情報からなる情報群をその運転者の個人危険走行履歴として取得する。そして、危険履歴取得部1011は、複数の運転者のそれぞれの個人危険走行履歴を含む危険走行履歴を危険走行履歴格納部1013に格納する。
モデル化部1002は、上述の走行履歴を用いてドライバモデルを構築するだけでなく、上述の危険走行履歴を用いて危険ドライバモデルも構築する。つまり、モデル化部1002は、危険走行履歴のうち、少なくとも一部の運転車の個人危険走行履歴をモデル化することによって、その少なくとも一部の車両における危険な挙動と走行環境との関係を示す危険ドライバモデルを構築する。この危険ドライバモデルは、ドライバモデルと同様に、クラスタリング型であってもよく、個別適応型であってもよい。
警告処理部1016は、構築されたドライバモデルにおいて、環境取得部1003によって取得された走行環境に関係付けられた危険な挙動を、推定対象の運転者の車両の挙動として推定する。そして、警告処理部1016は、推定された危険な挙動に対する運転者への警告を行うための処理を実行する。報知部1008は、この警告処理部1016の処理に応じて、運転者への警告を行う。
図46は、危険走行履歴格納部1013に格納される危険走行履歴の一例を示す図である。
危険走行履歴は、例えば、運転者を識別するためのドライバIDごとに、そのドライバIDと、そのドライバIDの運転者の車両の走行環境と、その走行環境において選択された危険な挙動(すなわちリスク)とを示す。また、走行環境は、例えば、それぞれ環境パラメータである車速(km/h)、前方車車間距離(m)、前方車相対変化率、左前方車車間距離(m)、および左前方車相対変化率などの値からなる。なお、前方車相対変化率は、自車両と前方車との間の車頭間距離の変化率であり、左前方車相対変化率は、自車両と左前方車との間の車頭間距離の変化率である。また、リスクは、例えば、追突、車線逸脱、および右後方車との接触などである。
このような情報処理システム1100では、推定対象の運転者と類似する個人危険走行履歴の運転者が危険な運転を過去に行っている場合には、その危険な運転を行ったときの走行環境が推定対象の運転者の車両において取得されると、リスクの内容に応じた警告を行う。
例えば、前方車と追突する可能性が高い走行環境が、環境取得部1003によって取得されると、警告処理部1016は、危険な挙動として追突を推定する。その走行環境は、具体的には、車間距離とブレーキのタイミングなどを示す。警告処理部1016は、推定対象の運転者と類似する個人危険走行履歴を有する運転者がその走行環境において過去に追突していれば、その走行環境では追突の可能性が高いと判断する。そして、警告処理部1016は、例えばHUDとして構成される報知部1008に、早めのブレーキを促す警告メッセージなどを表示させる。
また、車線離脱の可能性が高い走行環境が、環境取得部1003によって取得されると、警告処理部1016は、危険な挙動として車線逸脱を推定する。その走行環境は、具体的には、車速、ブレーキのハンドルの操作量(操舵角)、車線幅、および、走行している道路のカーブ曲率などを示す。警告処理部1016は、推定対象の運転者と類似する個人危険走行履歴を有する運転者がその走行環境において、例えばカーブを曲がりきれない車線離脱を過去にしていれば、その走行環境では車線離脱の可能性が高いと判断する。そして、警告処理部1016は、例えばHUDとして構成される報知部1008に、減速を促す警告メッセージなどを表示させる。このとき、警告処理部1016は、目標とすべきハンドルの操作量(操舵角)または走行ラインなどを報知部1008に表示させてもよい。
また、車線変更によって他車両に接触する可能性が高い走行環境が、環境取得部1003によって取得されると、警告処理部1016は、危険な挙動として接触を推定する。その走行環境は、具体的には、右後方車と自車両との車間距離などを示す。警告処理部1016は、推定対象の運転者と類似する個人危険走行履歴を有する運転者がその走行環境において、右後方車との接触を過去にしていれば、その走行環境では右後方車との接触の可能性が高いと判断する。そして、警告処理部1016は、例えばHUDとして構成される報知部1008に、右後方車が接近していることを通知する警告メッセージなどを表示させる。
また、歩行者などの障害物に接触する可能性が高い走行環境が、環境取得部1003によって取得されると、警告処理部1016は、危険な挙動として接触を推定する。その走行環境は、具体的には、障害物と自車両との距離などを示す。警告処理部1016は、推定対象の運転者と類似する個人危険走行履歴を有する運転者がその走行環境において、障害物との接触(または接触の緊急回避)を過去にしていれば、その走行環境では障害物との接触の可能性が高いと判断する。そして、警告処理部1016は、例えばHUDとして構成される報知部1008に、障害物に注意を促す警告メッセージなどを表示させる。
また、右折または左折時の巻き込みの可能性が高い走行環境が、環境取得部1003によって取得されると、警告処理部1016は、危険な挙動として巻き込みを推定する。その走行環境は、具体的には、走行地点(具体的には交差点)と、障害物と自車両との距離などを示す。警告処理部1016は、推定対象の運転者と類似する個人危険走行履歴を有する運転者がその走行環境において、巻き込みを過去にしていれば、その走行環境では巻き込みの可能性が高いと判断する。そして、警告処理部1016は、例えばHUDとして構成される報知部1008に、巻き込みに注意を促す警告メッセージなどを表示させる。
このように本変形例では、例えば推定対象の運転者が手動運転しているときには、追突または車線逸脱などの危険な挙動を回避するための警告をその運転者に行うことができ、危険な挙動の発生を抑えることができる。
(実施の形態6)
実施の形態4または5では、走行環境と車両の挙動との関係を示すドライバモデルを構築したが、本実施の形態では、走行環境と運転者の状態(以下、ドライバ状態という)との関係を示すドライバモデルを構築する。このようなドライバモデルは、例えば、推定対象の運転者のドライバ状態を推定するために用いられる。
図47は、本発明の実施の形態6における情報処理システムの構成を示すブロック図である。
この情報処理システム1200は、履歴取得部1201と、モデル化部1202とを備える。これらの構成要素は、例えばサーバに配置されている。
履歴取得部1201は、車両1の推定対象の運転者の個人走行履歴を含む、複数の運転者のそれぞれの個人走行履歴を取得する。個人走行履歴は、運転者の車両に現れた走行環境ごとに、その走行環境と、その走行環境が現れた時点から所定時間経過後におけるドライバ状態とを関係付けて示す。そして、履歴取得部1201は、取得された複数の運転者のそれぞれの個人走行履歴を含む走行履歴を、モデル化部1202に出力する。
モデル化部1202は、履歴取得部1201から走行履歴を取得し、その走行履歴に含まれる、複数の運転者のそれぞれの個人走行履歴の類似度に基づいて、複数の運転者の個人走行履歴のうちの少なくとも一部の運転者の個人走行履歴をモデル化する。このモデル化によって、ドライバモデルが構築される。つまり、モデル化部1202は、そのモデル化によって、少なくとも一部の運転者のドライバ状態と車両の走行環境との関係を示すドライバモデルを構築する。なお、少なくとも一部の運転者は、1人の運転者であってもよい。また、履歴取得部1201によってM(Mは2以上の整数)人の運転者の個人走行履歴が取得された場合には、その少なくとも一部の運転者は、M人以下の運転者である。
また、モデル化部1202によって構築されるドライバモデルは、実施の形態4または5に示す、クラスタリング型のドライバモデルであってもよく、個別適応型のドライバモデルであってもよい。つまり、ドライバモデルは、推定対象の運転者の個人走行履歴に類似する、少なくとも1人の運転者の個人走行履歴から構築されたモデルである。
具体的には、個別適応型のドライバモデルを構築するときには、モデル化部1202は、推定対象の運転者の個人走行履歴と類似度(すなわち相関)が高い少なくとも1人の運転者の個人走行履歴を抽出してモデル化を行う。個人走行履歴がN個の数値からなるベクトル(N次元のベクトル)である場合、推定対象の運転者の個人走行履歴のベクトルと相関が高いベクトルを有する少なくとも1人の運転者の個人走行履歴が抽出される。そして、抽出された少なくとも1人の運転者の個人走行履歴のベクトルの平均を示すドライバモデルが構築される。
また、クラスタリング型のドライバモデルを構築するときには、モデル化部1202は、例えばK平均法などのクラスタリングによって、上述の少なくとも一部の運転者の個人走行履歴をモデル化する。個人走行履歴がN個の数値からなるベクトル(N次元のベクトル)である場合、N次元において各個人走行履歴によって示される点がクラスタリングされる。その結果、少なくとも一部の運転者の個人走行履歴の重心位置を示すドライバモデルが構築される。
情報処理システム1200は、さらに、環境取得部1203、ドライバ状態推定部1204、車両制御部1206、ドライバ状態取得部1208、および報知部1205を備える。これらの構成要素は、例えば車両1に配置されている。
環境取得部1203は、推定対象の運転者によって運転される車両1の走行環境を取得する。この走行環境は、図16〜図21に示すような「合流路が近づく」および「前方に低速車あり」などであってもよく、図27および図28に示すような少なくとも1つの環境パラメータによって示される走行環境であってもよい。
ドライバ状態取得部1208は、車両1に取り付けられて、推定対象の運転者のドライバ状態を取得するドライバモニタである。このドライバ状態取得部1208は、具体的には、運転者を撮影するカメラなどを備える。また、ドライバ状態取得部1208は、さらに、運転席に取り付けられて、運転者の姿勢または心拍数などを検出する圧力センサまたは赤外線センサを備えていてもよく、他のセンサを備えていてもよい。
ドライバ状態は、カメラの撮影画像から得られる運転者の状態、上述のセンサなどによって検出されたパラメータ、または、そのパラメータから導出される運転者の状態であってもよい。具体的には、ドライバ状態は、例えば、運転者における脇見、スピードメータなどの車室内機器への視線、眠気、生体情報、および姿勢などを含む。また、ドライバ状態取得部1208が顔認証機能を有する場合、ドライバ状態は、運転者を識別するための識別情報を含んでいてもよい。
つまり、ドライバ状態取得部1208は、カメラの撮影画像を解析することによって、運転者の視線の向きを検出する。そして、ドライバ状態取得部1208は、その視線が車室内機器に向けられた回数もしくは時間、または、視線が車両1の進行方向と異なる向きに向けられた回数もしくは時間(すなわち脇見の回数もしくは時間)などをドライバ状態として取得する。また、ドライバ状態取得部1208は、例えばADAS(advanced driver assistance system)として構成されるセンサ62によって前方危険物が検知されてから、運転者の視線がその前方危険物に向けられるまでの認知遅延時間を、ドライバ状態として取得する。また、ドライバ状態取得部1208は、上述の撮影画像を解析することによって、運転者の眠気または居眠りの回数、時間または強度レベルを、ドライバ状態として取得する。さらに、ドライバ状態取得部1208は、上述の撮影画像の解析または圧力センサなどからの出力信号の解析によって、運転者の生体情報および姿勢を、ドライバ状態として取得する。生体情報は、運転者の心拍数もしくはストレスの強度レベル、または、快もしくは不快などの感情の強度レベルなどを示す情報である。姿勢は、運転者が助手関の荷物を探る動作などの不安全姿勢の回数、または、意識喪失の回数または強度レベルなどである。
ドライバ状態推定部1204は、モデル化部1202によって構築されたドライバモデルを取得する。ドライバ状態推定部1204は、そのドライバモデルにおいて、環境取得部1203によって取得された現在の走行環境に最も類似する走行環境に関係付けられたドライバ状態を、推定対象の運転者のドライバ状態として推定する。
車両制御部1206は、環境取得部1203によって取得された走行環境ごとに、その走行環境と、その走行環境が取得されてから所定時間経過後にドライバ状態取得部1208によって取得されたドライバ状態とを関係付けて示す個人走行履歴を生成する。そして、車両制御部1206は、その個人走行履歴を例えばサーバなどに送信する。上述の履歴取得部1201は、この車両制御部1206から送信された個人走行履歴を、走行履歴に含まれる1つの個人走行履歴として取得する。
また、車両制御部1206は、ドライバ状態推定部1204によってドライバ状態が推定されると、その推定されたドライバ状態が危険か否かを判定する。危険と判定すると、車両制御部1206は危険回避処理を実行する。この危険回避処理は、例えば、ユーザへの警告を報知部1205に実行させる警告処理である。または、危険回避処理は、例えば、危険と判定されたドライバ状態が生じないようなルートの案内を報知部1205に実行させるルート案内処理である。このようなルートの案内を行う報知部1205は、例えば、カーナビゲーションシステムによって実現される。つまり、カーナビゲーションシステムが報知部1205の機能を有する。
図48は、実施の形態6における車両1の要部構成を示すブロック図である。なお、図47に示す各構成要素のうち、図1または図13に示す構成要素と同一の構成要素に対しては、図1または図13と同一の符号を付し、その詳細な説明を省略する。
本実施の形態における検出部6は、位置情報取得部61、センサ62、速度情報取得部63、および地図情報取得部64を備えるとともに、さらに、上述のドライバ状態取得部1208を備える。つまり、位置情報取得部61、センサ62、速度情報取得部63、および地図情報取得部64を含むユニットは、図47に示す環境取得部1203に相当する。また、情報報知装置9に含まれる報知部92は、図47に示す報知部1205に相当し、車両制御部7は、図47に示す車両制御部1206およびドライバ状態推定部1204を含む。
図49は、実施の形態6における走行履歴の一例を示す図である。
この図49に示す走行履歴は、図16および図17などに示す走行履歴と同様の構成を有し、所定の挙動が選択された頻度の代わりに、危険なドライバ状態が現れた頻度を示す。また、この走行履歴には、ドライバ状態取得部1208によって認識された運転者の識別情報(すなわち運転者ID)が含まれている。具体的には、この走行環境は、運転者ID「01」の運転者が、「合流路が近づく」または「車線変更」の走行環境において、スピードメータへの注視が5回あり、高ストレスになったことが10回あり、不安全姿勢になったことが2回あったことを示す。なお、高ストレスは、閾値以上の強度レベルのストレスである。また、この走行環境は、運転者ID「01」の運転者が、「市街地」または「渋滞」の走行環境において、脇見が7回あり、居眠りが3回あり、意識喪失が1回あったことなどを示す。また、この走行環境は、運転者ID「01」の運転者が、「前方に危険物あり」の走行環境において、その危険物に視線が向けられるまでの遅延(認知遅延)が4回あり、高心拍数になったことが7回あったことを示す。なお、高心拍数は、閾値以上の心拍数である。
モデル化部1202は、この図49に示す走行履歴に基づいて、複数の走行環境のそれぞれについて、少なくとも1つの危険なドライバ状態の頻度を示すドライバモデルを構築する。
ドライバ状態推定部1204は、ドライバモデルにおいて、環境取得部1203によって取得された走行環境に関連付けられた少なくとも1つのドライバ状態の頻度のうち、閾値以上の頻度のドライバ状態を、推定対象の運転者のドライバ状態として推定する。または、ドライバ状態推定部1204は、取得された走行環境に関連付けられた少なくとも1つのドライバ状態の頻度のうち、最も高い頻度のドライバ状態を、推定対象の運転者のドライバ状態として推定してもよい。この場合、車両制御部1206は、ドライバ状態推定部1204によってドライバ状態が推定されると、そのドライバ状態を危険と判定する。
ここで、図49に示す走行履歴は、危険なドライバ状態が現れた頻度を示したが、ドライバ状態をパラメータとして示してもよい。
図50は、実施の形態6における走行履歴の他の例を示す図である。
この図50に示す走行履歴は、図27および図28に示す走行履歴と同様、走行環境を複数の環境パラメータとして示すとともに、ドライバ状態を複数の状態パラメータとして示す。
例えば、走行履歴は、図50に示すように、車間距離、車速、車線逸脱度、場所、時刻、および温度などをそれぞれ環境パラメータとして示す。また、走行履歴は、脇見、眠気、ストレス、心拍数、不快度、不安全姿勢、および意識喪失をそれぞれ状態パラメータとして示す。これらの状態パラメータのうち心拍数を除くパラメータは、強度レベルであっても、回数であってもよい。
具体的には、図50に示す走行履歴は、運転者ID「01」の運転者の車両に現れた走行環境を示す環境パラメータとして、車間距離「3」、速度「5」、車線逸脱度「0」、場所「4」、時刻「6」、および気温「2」を示す。なお、これらの数値は、位置情報取得部61、センサ62、速度情報取得部63、または地図情報取得部64によって得られた数値であってもよく正規化された数値であってもよい。
また、図50に示す走行履歴は、上述の走行環境に関係付けられた状態パラメータとして、脇見「1」、眠気「5」、ストレス「2」、心拍数「5」、不快度「6」、不安全姿勢「1」、および意識喪失「0」を示す。なお、これらの数値は、ドライバ状態取得部1208によって得られた数値であってもよく正規化された数値であってもよい。
モデル化部1202は、この図50に示す走行履歴に基づいて、複数の走行環境のそれぞれについて、少なくとも1つの状態パラメータを示すドライバモデルを構築する。なお、複数の走行環境のそれぞれは、車間距離、速度および車線逸脱度などの複数の環境パラメータからなるセットである。
ドライバ状態推定部1204は、ドライバモデルにおいて、環境取得部1203によって取得された走行環境に最も類似する走行環境に関連付けられた少なくとも1つの状態パラメータを、推定対象の運転者のドライバ状態として推定する。
車両制御部1206は、ドライバ状態推定部1204によってドライバ状態が推定されると、そのドライバ状態である少なくとも1つの状態パラメータのそれぞれの数値が閾値よりも大きいか否かを判定する。そして、車両制御部1206は、何れかの状態パラメータの数値が閾値よりも大きいと判定すると、その状態パラメータに対応する種別のドライバ状態が危険と判定する。例えば、車両制御部1206は、推定された状態パラメータである眠気「5」と閾値「3」とを比較する。そして、車両制御部1206は、眠気「5」の数値が閾値「3」よりも大きいため、その状態パラメータに対応する種別のドライバ状態、つまり眠気が危険であると判定する。
図51は、実施の形態6における情報処理システム1200の処理動作を示すフローチャートである。
まず、履歴取得部1201は、複数の個人走行履歴を取得する(ステップS101)。次に、モデル化部1202は、履歴取得部1201によって取得された複数の個人走行履歴からなる走行履歴に基づいて、推定対象の運転者のドライバモデルを構築する(ステップS102)。
環境取得部1203は、推定対象の運転者の車両1における走行環境を取得する(ステップS103)。ドライバ状態推定部1204は、モデル化部1202によるモデル化によって構築されたドライバモデルにおいて、取得された走行環境に最も類似する走行環境に関係付けられているドライバ状態を、推定対象の運転者のドライバ状態として推定する(ステップS104)。
車両制御部1206は、ステップS104で推定されたドライバ状態が危険か否かを判定する(ステップS105)。ここで、車両制御部1206は、危険と判定すると(ステップS105のYes)、危険回避処理を実行する(ステップS106)。
危険回避処理を実行した後、または、ステップS105で危険でないと判定されたときには(ステップS105のNo)、車両制御部1206は、ドライバ状態の推定処理の終了条件が満たされたか否かを判定する(ステップS107)。ここで、終了条件が満たされたと判定すると(ステップS107のYes)、情報処理システム1200は、ドライバ状態の推定処理を終了する。一方、終了条件が満たされていないと判定すると(ステップS107のNo)、環境取得部1203、ドライバ状態推定部1204および車両制御部1206は、ステップS103からの処理を繰り返し実行する。
車両制御部1206は、具体的には以下の処理を危険回避処理として実行する。
[脇見]
例えば、図49または図50に示す走行環境によって構築されるドライバモデルでは、走行環境(すなわち周辺環境)と、ドライバ状態である脇見の頻度または状態パラメータとが関係付けられている。したがって、ドライバ状態推定部1204は、その脇見またはその脇見の状態パラメータを推定対象の運転者のドライバ状態として推定する場合がある。
脇見がドライバ状態として推定されると、車両制御部1206は、その脇見が危険と判定する。または、脇見の状態パラメータがドライバ状態として推定されると、車両制御部1206は、状態パラメータの数値に基づいて、脇見が危険か否を判定する。危険と判定したときには、車両制御部1206は、上述の警告処理を危険回避処理として実行する。つまり、車両制御部1206は、警告音の出力、または警告用の画像の表示を報知部1205に実行させる。
これにより、脇見が発生しやすい市街地などにおいて、推定対象の運転者が脇見をする前に、警告音などを出力することができ、推定対象の運転者の脇見を事前に抑えることができる。
[視線]
例えば、図49に示す走行環境によって構築されるドライバモデルでは、走行環境と、ドライバ状態であるスピードメータへの注視の頻度とが関係付けられている。したがって、ドライバ状態推定部1204は、スピードメータへの注視を推定対象の運転者のドライバ状態として推定する場合がある。
スピードメータへの注視がドライバ状態として推定されると、車両制御部1206は、そのスピードメータへの視線が危険と判定する。このとき、車両制御部1206は、上述の警告処理を危険回避処理として実行する。つまり、車両制御部1206は、警告音の出力、または警告用の画像の表示を報知部1205に実行させる。または、車両制御部1206は、車両1に搭載されているヘッドアップディスプレイに走行速度を表示させる処理を危険回避処理として実行してもよい。
これにより、スピードメータを注視してしまいがちな走行環境において、推定対象の運転者がスピードメータを注視してしまう前に、ヘッドアップディスプレイに走行速度が表示されるため、推定対象の運転者の前方不注意を事前に抑えることができる。
また、図49に示す走行環境によって構築されるドライバモデルでは、走行環境(具体的には「前方に危険物あり」)と、ドライバ状態である認知遅延の頻度とが関係付けられている。したがって、ドライバ状態推定部1204は、認知遅延を、推定対象の運転者のドライバ状態として推定する場合がある。
認知遅延がドライバ状態として推定されると、車両制御部1206は、そのドライバ状態である認知遅延が危険と判定する。このとき、車両制御部1206は、上述の警告処理を危険回避処理として実行する。つまり、車両制御部1206は、警告音の出力、または警告用の画像の表示を報知部1205に実行させる。
これにより、推定対象の運転者が前方の危険物に気付く前に、警告音などを出力することができ、推定対象の運転者に危険物を早く気付かせることができる。
[眠気]
例えば、図49または図50に示す走行環境によって構築されるドライバモデルでは、走行環境と、ドライバ状態である居眠りの頻度または眠気の状態パラメータとが関係付けられている。したがって、ドライバ状態推定部1204は、居眠りまたは眠気の状態パラメータを推定対象の運転者のドライバ状態として推定する場合がある。
居眠りがドライバ状態として推定されると、車両制御部1206は、その居眠りが危険と判定する。眠気の状態パラメータがドライバ状態として推定されると、車両制御部1206は、その状態パラメータの数値に基づいて、眠気が危険か否かを判定する。危険と判定したときには、車両制御部1206は、上述の警告処理を危険回避処理として実行する。つまり、車両制御部1206は、警告音の出力、または警告用の画像の表示を報知部1205に実行させる。または、車両制御部1206は、カーオーディオ機器として構成された報知部1205にハイテンポな音楽を再生させる処理を、危険回避処理として実行してもよい。
これにより、居眠りが発生しやすい渋滞などにおいて、推定対象の運転者が居眠りをする前に、警告音またはハイテンポな音楽などを出力することができ、推定対象の運転者の居眠りを事前に抑えることができる。つまり、推定対象の運転者を覚醒させることができる。
[心拍数またはストレス]
例えば、図49または図50に示す走行環境によって構築されるドライバモデルでは、走行環境と、ドライバ状態である高心拍数の頻度または心拍数の状態パラメータとが関係付けられている。したがって、ドライバ状態推定部1204は、高心拍数または心拍数の状態パラメータを推定対象の運転者のドライバ状態として推定する場合がある。
高心拍数がドライバ状態として推定されると、車両制御部1206は、その高心拍数が危険と判定する。心拍数の状態パラメータがドライバ状態として推定されると、車両制御部1206は、その状態パラメータの数値に基づいて、心拍数が危険か否かを判定する。危険と判定したときには、車両制御部1206は、上述のルート案内処理を危険回避処理として実行する。つまり、車両制御部1206は、カーナビゲーションシステムによって目的地とその目的地までのルートが設定されて表示されている場合、そのルートに代えて別のルート(すなわち迂回ルート)の案内を報知部1205に実行させる。
同様に、図49または図50に示す走行環境によって構築されるドライバモデルでは、走行環境と、ドライバ状態である高ストレスの頻度またはストレスの状態パラメータとが関係付けられている。したがって、ドライバ状態推定部1204は、高ストレスまたはストレスの状態パラメータを推定対象の運転者のドライバ状態として推定する場合がある。
高ストレスがドライバ状態として推定されると、車両制御部1206は、その高ストレスが危険と判定する。ストレスの状態パラメータがドライバ状態として推定されると、車両制御部1206は、その状態パラメータの数値に基づいて、ストレスが危険か否かを判定する。危険と判定したときには、車両制御部1206は、上述と同様に、ルート案内処理を危険回避処理として実行する。
これにより、市街地などの走行によって心拍数またはストレスが上がってしまう前に、その市街地を迂回する別ルートが表示されるため、推定対象の運転者が危険な状態に陥ることを抑えることができる。
[感情(快適または不快)]
例えば、図49または図50に示す走行環境によって構築されるドライバモデルでは、走行環境と、ドライバ状態である不快の頻度または不快度の状態パラメータとが関係付けられている。したがって、ドライバ状態推定部1204は、不快または不快度の状態パラメータを推定対象の運転者のドライバ状態として推定する場合がある。
不快がドライバ状態として推定されると、車両制御部1206は、その不快が危険と判定する。不快度の状態パラメータがドライバ状態として推定されると、車両制御部1206は、その状態パラメータの数値に基づいて、不快度が危険か否かを判定する。危険と判定したときには、車両制御部1206は、上述のルート案内処理を危険回避処理として実行する。
これにより、市街地などの走行によって不快になってしまう前に、その市街地を迂回する別ルートが表示されるため、推定対象の運転者が不快になってしまうことを抑えることができる。
[不安全姿勢]
例えば、図49または図50に示す走行環境によって構築されるドライバモデルでは、走行環境と、ドライバ状態である不安全姿勢の頻度または状態パラメータとが関係付けられている。したがって、ドライバ状態推定部1204は、不安全姿勢またはその不安全姿勢の状態パラメータを、推定対象の運転者のドライバ状態として推定する場合がある。
不安全姿勢がドライバ状態として推定されると、車両制御部1206は、その不安全姿勢が危険と判定する。不安全姿勢の状態パラメータがドライバ状態として推定されると、車両制御部1206は、その状態パラメータの数値に基づいて、不安全姿勢が危険か否かを判定する。危険と判定したときには、車両制御部1206は、上述の警告処理を危険回避処理として実行する。
これにより、車線変更などの走行において運転者が不安全姿勢になってしまう前に、警告音などを出力することができ、推定対象の運転者の不安全姿勢を事前に抑えることができる。
[意識喪失]
例えば、図49または図50に示す走行環境によって構築されるドライバモデルでは、走行環境と、ドライバ状態である意識喪失の頻度または状態パラメータとが関係付けられている。したがって、ドライバ状態推定部1204は、意識喪失またはその意識喪失の状態パラメータを、推定対象の運転者のドライバ状態として推定する場合がある。
意識喪失がドライバ状態として推定されると、車両制御部1206は、その意識喪失が危険と判定する。意識喪失の状態パラメータがドライバ状態として推定されると、車両制御部1206は、その状態パラメータの数値に基づいて、意識喪失が危険か否かを判定する。危険と判定したときには、車両制御部1206は、上述の警告処理を危険回避処理として実行する。
これにより、推定対象の運転者が意識喪失になってしまう前に、警告音などを出力することができ、その意識喪失を事前に抑えることができる。
なお、ドライバモデルにおいて、運転者の持病が走行環境に関連付けられていれば、その持病および走行環境に応じたドライバ状態を推定することができる。このような持病は、運転者による入力操作などによってドライバモデルに含められる。
[実施の形態6のまとめ]
以上のように、実施の形態6における情報処理システム1200は、少なくとも1つのプロセッサを備える情報処理システムであって、その少なくとも1つのプロセッサは、複数の運転者のそれぞれの個人走行履歴の類似度に基づいて、その複数の運転者の個人走行履歴のうちの少なくとも一部の運転者の個人走行履歴をモデル化することによって、その少なくとも一部の運転者の状態と車両の走行環境との関係を示すドライバモデルを構築する。なお、少なくとも1つのプロセッサは、モデル化部1202の機能を有する。
これにより、運転者の状態(すなわちドライバ状態)と車両の走行環境との関係を示すドライバモデルが構築されるため、このドライバモデルを用いることによって、車両1の走行環境から運転者の状態を推定することができる。
例えば、情報処理システム1200は、さらに、推定対象の運転者の走行環境を取得する環境取得部1203を備えていてもよい。少なくとも1つのプロセッサは、さらに、そのドライバモデルにおいて、環境取得部1203によって取得された走行環境に関係付けられた運転者の状態を、推定対象の運転者の状態として推定してもよい。なお、この場合、少なくとも1つのプロセッサは、ドライバ状態推定部1204の機能を有する。
また、情報処理システム1200は、さらに、推定対象の運転者への報知を行う報知部1205を備えていてもよい。少なくとも1つのプロセッサは、さらに、推定された運転者の状態が危険か否かを判定してもよい。そして、危険と判定されたときには、少なくとも1つのプロセッサは、報知部1205に対して、危険を回避するための情報を推定対象の運転者に提示させる危険回避処理を実行してもよい。なお、この場合、少なくとも1つのプロセッサは、車両制御部1206の機能を有する。
これにより、推定された運転者の状態が危険であれば、その危険を回避するための情報がその運転者に提示されるため、その危険を事前に回避することができる。
例えば、少なくとも1つのプロセッサは、推定対象の運転者の視線の向きを運転者の状態として推定してもよい。そして、少なくとも1つのプロセッサは、推定された視線が車両の進行を向いていない場合には、危険と判定し、危険回避処理を実行してもよい。その結果、報知部1205は、推定対象の運転者への警告を行う。
これにより、例えば運転者の脇見を事前に回避することができる。
また、少なくとも1つのプロセッサは、推定対象の運転者の眠気の強度レベルを運転者の状態として推定してもよい。そして、少なくとも1つのプロセッサは、推定された眠気の強度レベルが閾値よりも高い場合には、危険と判定し、危険回避処理を実行してもよい。その結果、報知部1205は、予め定められた音楽、例えばハイテンポな音楽を再生する。
これにより、運転者の居眠りを事前に回避することができる。
また、少なくとも1つのプロセッサは、推定対象の運転者の心拍数を運転者の状態として推定してもよい。そして、少なくとも1つのプロセッサは、推定された心拍数が閾値よりも高い場合には、危険と判定し、危険回避処理を実行してもよい。その結果、報知部1205は、表示している車両の走行ルートを変更する。
これにより、例えば走行車両が多い道路を迂回して運転者の心拍数の上昇を事前に抑えることができる。
また、少なくとも1つのプロセッサは、推定対象の運転者の姿勢を前記運転者の状態として推定してもよい。そして、少なくとも1つのプロセッサは、推定された姿勢が予め定められた姿勢である場合には、危険と判定し、危険回避処理を実行してもよい。その結果、報知部1205は、推定対象の運転者への警告を行う。
これにより、例えば運転者が助手席の荷物を探る動作などの危険な姿勢を事前に回避することができる。
(変形例)
ここで、図49および図50に示す走行履歴は、走行環境とドライバ状態とを関係付けて示すが、さらに挙動を走行環境およびドライバ状態に関係付けて示してもよい。
図52は、実施の形態6の変形例に係る情報処理システムの構成を示すブロック図である。
この情報処理システム1210は、履歴取得部1211と、モデル化部1212とを備える。これらの構成要素は、例えばサーバに配置されている。
履歴取得部1211は、車両1の推定対象の運転者の個人走行履歴を含む、複数の運転者のそれぞれの個人走行履歴を取得する。個人走行履歴は、運転者の車両に現れた走行環境およびドライバ状態ごとに、その走行環境およびドライバ状態と、その走行環境およびドライバ状態が現れた時点から所定時間経過後において、推定対象の運転者によって選択された車両1の挙動とを関係付けて示す。そして、履歴取得部1211は、取得された複数の運転者のそれぞれの個人走行履歴を含む走行履歴を、モデル化部1212に出力する。
モデル化部1212は、履歴取得部1211から走行履歴を取得し、その走行履歴に含まれる、複数の運転者のそれぞれの個人走行履歴の類似度に基づいて、複数の運転者の個人走行履歴のうちの少なくとも一部の運転者の個人走行履歴をモデル化する。このモデル化によって、ドライバモデルが構築される。つまり、モデル化部1212は、そのモデル化によって、少なくとも一部の運転者のドライバ状態と車両の走行環境と車両の挙動との関係を示すドライバモデルを構築する。
また、モデル化部1212によって構築されるドライバモデルは、上述と同様に、クラスタリング型のドライバモデルであってもよく、個別適応型のドライバモデルであってもよい。つまり、ドライバモデルは、推定対象の運転者の個人走行履歴に類似する少なくとも1人の運転者の個人走行履歴から構築されたモデルである。
このように、本変形例に係るモデル化部1212は、ユーザによって選択された挙動も用いてドライバモデルを構築する。
情報処理システム1210は、さらに、環境取得部1203、挙動推定部1214、車両制御部1216、ドライバ状態取得部1208、および報知部1205を備える。これらの構成要素は、例えば車両1に配置されている。
挙動推定部1214は、モデル化部1212によって構築されたドライバモデルを取得する。挙動推定部1214は、そのドライバモデルと、環境取得部1203によって取得された現在の走行環境と、ドライバ状態取得部1208によって取得された現在のドライバ状態とを用いて、推定対象の運転者の車両1の挙動として推定する。つまり、挙動推定部1214は、ドライバモデルにおいて、取得された現在の走行環境およびドライバ状態に最も類似する走行環境およびドライバ状態に関係付けられた挙動を、推定対象の運転者の車両1の挙動として推定する。
車両制御部1216は、個人走行履歴を生成する。つまり、車両制御部1216は、環境取得部1203から走行環境を取得し、ドライバ状態取得部1208からドライバ状態を取得する。そして、車両制御部1216は、その走行環境およびドライバ状態と、それらが取得された時点から所定時間経過後に運転者によって選択された挙動とを関係付けて示す個人走行履歴を生成する。
車両制御部1216は、その個人走行履歴を例えばサーバなどに送信する。上述の履歴取得部1211は、この車両制御部1216から送信された個人走行履歴を、走行履歴に含まれる1つの個人走行履歴として取得する。
図53は、実施の形態6の変形例における走行履歴の一例を示す図である。
本変形例に係る走行履歴は、図50に示す走行履歴と同様、例えば図53に示すように、走行環境を複数の環境パラメータとして示すとともに、ドライバ状態を複数の状態パラメータとして示す。そして、走行履歴は、走行環境とドライバ状態との組み合わせごとに、その組み合わせと、その組み合わせにおいてユーザによって選択された挙動とを関係付けて示す。なお、本変形例に係る走行履歴は、図49に示す走行履歴のように、複数の走行環境のそれぞれにおいて、予め定められた少なくとも1つの危険なドライバ状態が現れた頻度を示してもよい。つまり、その走行履歴は、走行環境と、少なくとも1つの危険なドライバ状態のそれぞれの頻度との組み合わせごとに、その組み合わせと、その組み合わせにおいて運転者によって選択された挙動とを関係付けて示す。
本変形例に係る車両制御部1216は、挙動推定部1214によって挙動が推定されると、その推定された挙動を車両1が実行するようにその車両1を制御する。または、車両制御部1216は、推定された挙動を報知部1205に提示させる。
このように、本変形例に係る情報処理システム1210では、少なくとも1つのプロセッサは、ドライバモデルの構築では、少なくとも一部の運転者の状態および車両の走行環境と、その車両の挙動との関係を示すドライバモデルを構築する。そして、少なくとも1つのプロセッサは、そのドライバモデルにおいて、環境取得部1203によって取得された走行環境と、取得された走行環境における推定対象の運転者の状態とに関係付けられた車両の挙動を、推定対象の運転者の車両1の挙動として推定する。なお、少なくとも1つのプロセッサは、モデル化部1212および挙動推定部1214の機能を有する。
このように、本変形例に係る情報処理システム1210では、運転者によって選択された挙動も用いてドライバモデルが構築され、そのドライバモデルを用いて推定対象の運転者の車両1の挙動が推定される。一方、上述の実施の形態4または5では、ドライバモデルの構築にドライバ状態が用いられていない。しかし、本変形例に係る情報処理システム1210では、走行環境および挙動だけでなくドライバ状態も用いてドライバモデルが構築される。したがって、走行環境およびドライバ状態に基づいて、車両1の挙動をより正確に推定することができる。
なお、本変形例では、情報処理システム1210は、実施の形態6のドライバ状態推定部1204を備えていないが、そのドライバ状態推定部1204を備えていてもよい。また、車両制御部1216は、実施の形態6の車両制御部1206の機能を有していてもよい。これにより、情報処理システム1210は、ドライバ状態を推定し、その推定されたドライバ状態に対する危険回避処理を行うことができるとともに、車両1の挙動を推定し、その推定された挙動を車両1に実行させることができる。
また、実施の形態6および本変形例では、履歴取得部1201および1211と、モデル化部1202および1212とが、サーバに配置されているが、これらの全てまたは一部は、車両1に配置されていてもよい。同様に、実施の形態6および本変形例では、ドライバ状態推定部1204と、挙動推定部1214と、車両制御部1206および1216とは、車両1に配置されているが、これらの全てまたは一部の機能は、サーバに配置されていてもよい。
以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。
上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク装置やSSD(Solid State Drive)などの記憶装置、DVD−ROM(Digital Versatile Disk Read Only Memory)やUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。
そして、プロセッサまたはCPUが、記憶装置に記憶されたプログラムをRAMにコピーし、そのプログラムに含まれる命令をRAMから順次読み出して実行することにより、上記各装置の機能が実現される。
本発明に係る情報処理システム、情報処理方法およびプログラムは、車両の運転に関する情報を処理する装置またはシステムに適用することができる。
1 車両
2 ブレーキペダル
3 アクセルペダル
4 ウィンカーレバー
5 ハンドル
6 検出部
7、1006 車両制御部
8 記憶部
9 情報報知装置
10 タッチパネル
29a〜29c、29g、39a〜39c、39g、59a〜59c、59g、69a、69c、69g、79a、79c、79g、89a〜89c、89g、99b、99c、99g、109a〜109d、109e、109g、121、121a〜121d 表示領域
51 操作部
51a〜51h 操作ボタン
59、69、79、89、99 文字情報
91 情報取得部
92、1008 報知部
101、1005 表示部
102 入力部
109 表示
111、112、113、114、121、121’、122、122’、123、131、131’、132、133、134、134’、135〜137、231、232、233、233’、234、234’、235、251、251’、252、252’、253、261、262、263、264、265、266、267、268 記号
291 通信部
292 キャッシュ
301 自車両
302 側前方車両
303 検出された周囲状況
304 一次キャッシュ
305 二次キャッシュ
1000 情報処理システム
1001 履歴取得部
1002 モデル化部
1003 環境取得部
1004 挙動推定部
1007 特性取得部

Claims (9)

  1. 報処理システムであって、
    少なくとも1つのプロセッサと、
    推定対象の運転者の走行環境を取得する環境取得部とを備え、
    前記少なくとも1つのプロセッサは、
    複数の運転者のそれぞれの、車両の走行環境と当該運転者の状態とを関連付けて示す個人走行履歴の類似度に基づいて、前記複数の運転者の個人走行履歴のうちの少なくとも一部の運転者の個人走行履歴をモデル化することによって、前記少なくとも一部の運転者の状態と車両の走行環境との関係を示すドライバモデルを構築し、
    前記ドライバモデルにおいて、前記環境取得部によって取得された走行環境に関係付けられた運転者の状態を、前記推定対象の運転者の状態として推定する、
    情報処理システム。
  2. 前記情報処理システムは、さらに、
    前記推定対象の運転者への報知を行う報知部を備え、
    前記少なくとも1つのプロセッサは、さらに、
    推定された前記運転者の状態が危険か否かを判定し、
    危険と判定されたときには、前記報知部に対して、危険を回避するための情報を、前記推定対象の運転者に提示させる危険回避処理を実行する
    請求項に記載の情報処理システム。
  3. 前記少なくとも1つのプロセッサは、
    前記推定対象の運転者の視線の向きを前記運転者の状態として推定し、
    推定された前記視線が車両の進行を向いていない場合には、危険と判定し、
    前記危険回避処理を実行することにより、前記報知部が前記推定対象の運転者への警告を行う
    請求項に記載の情報処理システム。
  4. 前記少なくとも1つのプロセッサは、
    前記推定対象の運転者の眠気の強度レベルを前記運転者の状態として推定し、
    推定された前記眠気の強度レベルが閾値よりも高い場合には、危険と判定し、
    前記危険回避処理を実行することにより、前記報知部が予め定められた音楽を再生する
    請求項またはに記載の情報処理システム。
  5. 前記少なくとも1つのプロセッサは、
    前記推定対象の運転者の心拍数を前記運転者の状態として推定し、
    推定された前記心拍数が閾値よりも高い場合には、危険と判定し、
    前記危険回避処理を実行することにより、前記報知部が、表示している車両の走行ルートを変更する
    請求項の何れか1項に記載の情報処理システム。
  6. 前記少なくとも1つのプロセッサは、
    前記推定対象の運転者の姿勢を前記運転者の状態として推定し、
    推定された前記姿勢が予め定められた姿勢である場合には、危険と判定し、
    前記危険回避処理を実行することにより、前記報知部が前記推定対象の運転者への警告を行う
    請求項の何れか1項に記載の情報処理システム。
  7. 前記少なくとも1つのプロセッサは、
    前記ドライバモデルの構築では、
    前記少なくとも一部の運転者の状態および前記車両の走行環境と、前記車両の挙動との関係を示す前記ドライバモデルを構築し、
    前記ドライバモデルにおいて、推定対象の運転者の車両の走行環境と、前記推定対象の運転者の状態とに関係付けられた車両の挙動を、前記推定対象の運転者の車両の挙動として推定する
    請求項1〜の何れか1項に記載の情報処理システム。
  8. 複数の運転者のそれぞれの、車両の走行環境と当該運転者の状態とを関連付けて示す個人走行履歴の類似度に基づいて、前記複数の運転者の個人走行履歴のうちの少なくとも一部の運転者の個人走行履歴をモデル化することによって、前記少なくとも一部の運転者の状態と車両の走行環境との関係を示すドライバモデルを構築し、
    推定対象の運転者の走行環境を取得し、
    前記ドライバモデルにおいて、取得された走行環境に関係付けられた運転者の状態を、前記推定対象の運転者の状態として推定する
    情報処理方法。
  9. 複数の運転者のそれぞれの、車両の走行環境と当該運転者の状態とを関連付けて示す個人走行履歴の類似度に基づいて、前記複数の運転者の個人走行履歴のうちの少なくとも一部の運転者の個人走行履歴をモデル化することによって、前記少なくとも一部の運転者の状態と車両の走行環境との関係を示すドライバモデルを構築し、
    推定対象の運転者の走行環境を取得し、
    前記ドライバモデルにおいて、取得された走行環境に関係付けられた運転者の状態を、前記推定対象の運転者の状態として推定する
    ことをコンピュータに実行させるプログラム。
JP2016244642A 2016-12-16 2016-12-16 情報処理システム、情報処理方法、およびプログラム Active JP6895634B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016244642A JP6895634B2 (ja) 2016-12-16 2016-12-16 情報処理システム、情報処理方法、およびプログラム
US15/840,129 US10625673B2 (en) 2016-12-16 2017-12-13 Information processing system, information processing method, and readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016244642A JP6895634B2 (ja) 2016-12-16 2016-12-16 情報処理システム、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2018097804A JP2018097804A (ja) 2018-06-21
JP6895634B2 true JP6895634B2 (ja) 2021-06-30

Family

ID=62633717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016244642A Active JP6895634B2 (ja) 2016-12-16 2016-12-16 情報処理システム、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US10625673B2 (ja)
JP (1) JP6895634B2 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10518783B2 (en) * 2015-03-31 2019-12-31 Hitachi Automotive Systems, Ltd. Automatic driving control device
US10627813B2 (en) * 2015-04-21 2020-04-21 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
US10261513B2 (en) * 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
US10538268B2 (en) * 2017-02-07 2020-01-21 Ford Global Technologies, Llc Steering-wheel control mechanism for autonomous vehicle
US10259496B2 (en) 2017-02-07 2019-04-16 Ford Global Technologies, Llc Steering-wheel feedback mechanism
US10488217B2 (en) * 2017-04-25 2019-11-26 Ford Global Technologies, Llc Method and apparatus for adaptive scaling route display
US20180348751A1 (en) * 2017-05-31 2018-12-06 Nio Usa, Inc. Partially Autonomous Vehicle Passenger Control in Difficult Scenario
US10409286B2 (en) * 2017-07-21 2019-09-10 Ford Global Technologies, Llc Highway detection systems and methods
JP6960792B2 (ja) * 2017-07-26 2021-11-05 株式会社デンソーテン 情報出力装置および情報出力方法
US10429846B2 (en) * 2017-08-28 2019-10-01 Uber Technologies, Inc. Systems and methods for communicating intent of an autonomous vehicle
JP6950432B2 (ja) * 2017-10-05 2021-10-13 トヨタ自動車株式会社 運転支援装置、情報処理装置、運転支援システム、運転支援方法
US10713940B2 (en) * 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10401862B2 (en) 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
KR101974871B1 (ko) * 2017-12-08 2019-05-03 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
JP6954850B2 (ja) * 2018-02-09 2021-10-27 トヨタ自動車株式会社 表示装置
KR102506871B1 (ko) * 2018-02-19 2023-03-08 현대자동차주식회사 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
US11237554B2 (en) * 2018-03-08 2022-02-01 Steering Solutions Ip Holding Corporation Driver readiness assessment system and method for vehicle
EP3569460B1 (en) 2018-04-11 2024-03-20 Hyundai Motor Company Apparatus and method for controlling driving in vehicle
US11084491B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11077854B2 (en) 2018-04-11 2021-08-03 Hyundai Motor Company Apparatus for controlling lane change of vehicle, system having the same and method thereof
US10843710B2 (en) 2018-04-11 2020-11-24 Hyundai Motor Company Apparatus and method for providing notification of control authority transition in vehicle
EP3552913B1 (en) 2018-04-11 2021-08-18 Hyundai Motor Company Apparatus and method for controlling to enable autonomous system in vehicle
EP3552902A1 (en) 2018-04-11 2019-10-16 Hyundai Motor Company Apparatus and method for providing a driving path to a vehicle
US11351989B2 (en) 2018-04-11 2022-06-07 Hyundai Motor Company Vehicle driving controller, system including the same, and method thereof
US11084490B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for controlling drive of vehicle
EP3552901A3 (en) 2018-04-11 2020-04-29 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11548509B2 (en) * 2018-04-11 2023-01-10 Hyundai Motor Company Apparatus and method for controlling lane change in vehicle
US11597403B2 (en) 2018-04-11 2023-03-07 Hyundai Motor Company Apparatus for displaying driving state of vehicle, system including the same and method thereof
US11334067B2 (en) 2018-04-11 2022-05-17 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11173910B2 (en) 2018-04-11 2021-11-16 Hyundai Motor Company Lane change controller for vehicle system including the same, and method thereof
US10618523B1 (en) * 2018-04-19 2020-04-14 State Farm Mutual Automobile Insurance Company Assessing driver ability to operate an autonomous vehicle
JP2019196073A (ja) * 2018-05-09 2019-11-14 トヨタ紡織株式会社 乗物乗員の活性化度合適正化システム
JP6882601B2 (ja) * 2018-05-17 2021-06-02 三菱電機株式会社 運転支援装置、運転支援方法、運転支援プログラム
US11001273B2 (en) * 2018-05-22 2021-05-11 International Business Machines Corporation Providing a notification based on a deviation from a determined driving behavior
US20200001779A1 (en) 2018-06-27 2020-01-02 drive.ai Inc. Method for communicating intent of an autonomous vehicle
JP7331850B2 (ja) * 2018-06-29 2023-08-23 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP6978992B2 (ja) * 2018-08-27 2021-12-08 日立Astemo株式会社 更新システム、電子制御装置
JP7346801B2 (ja) * 2018-08-29 2023-09-20 トヨタ自動車株式会社 車両用表示装置、表示方法及びプログラム
KR102485441B1 (ko) * 2018-09-03 2023-01-06 현대자동차주식회사 차량 및 차량 시스템
JP2020037327A (ja) * 2018-09-04 2020-03-12 トヨタ自動車株式会社 乗員報知装置
CN112639913B (zh) * 2018-09-06 2022-11-25 本田技研工业株式会社 车辆控制装置及其方法、自动驾驶车开发系统、存储介质
CN112740298B (zh) * 2018-09-28 2022-09-02 本田技研工业株式会社 信息提供系统、服务器、方法以及计算机可读取存储介质
KR102612925B1 (ko) * 2018-10-18 2023-12-13 주식회사 에이치엘클레무브 차량 긴급 제어 장치
JP6858738B2 (ja) * 2018-11-22 2021-04-14 三菱電機株式会社 自動運転制御装置および自動運転制御方法
US10703381B2 (en) * 2018-11-28 2020-07-07 International Business Machines Corporation Intelligent vehicle action decisions
WO2020144939A1 (ja) * 2019-01-11 2020-07-16 パナソニックIpマネジメント株式会社 診断システム、診断方法、プログラム及び記録媒体
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
JP7212537B2 (ja) * 2019-02-07 2023-01-25 本田技研工業株式会社 車両制御装置、車両及び車両制御方法
JP7136720B2 (ja) 2019-02-27 2022-09-13 トヨタ自動車株式会社 評価装置
JP7173702B2 (ja) * 2019-02-27 2022-11-16 トヨタ自動車株式会社 評価装置
CN110069064B (zh) * 2019-03-19 2021-01-29 驭势科技(北京)有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
CN110386145B (zh) * 2019-06-28 2020-07-07 北京理工大学 一种目标驾驶员驾驶行为实时预测系统
JP7279543B2 (ja) 2019-06-28 2023-05-23 トヨタ自動車株式会社 自動運転車両の操作装置
JP7259595B2 (ja) * 2019-06-28 2023-04-18 トヨタ自動車株式会社 自動運転車両の操作装置
JP7230717B2 (ja) * 2019-07-16 2023-03-01 株式会社Soken 車両用通知制御装置及び車両用通知制御方法
CN110807436B (zh) * 2019-11-07 2022-10-18 深圳鼎然信息科技有限公司 危险驾驶行为识别与危险事件预测方法、装置及存储介质
JP2021144505A (ja) * 2020-03-12 2021-09-24 パナソニックIpマネジメント株式会社 推定装置および推定方法
KR102424867B1 (ko) * 2020-06-09 2022-07-26 주식회사 인포카 개인화된 안전운전 보조 방법 및 시스템
JP7409239B2 (ja) * 2020-07-01 2024-01-09 トヨタ自動車株式会社 ドライバ監視システム
CN112365721B (zh) * 2020-09-14 2021-10-12 江苏大学 一种车辆异常行为识别、预警方法
CN112644514B (zh) * 2020-12-31 2022-05-10 上海商汤临港智能科技有限公司 驾驶数据的处理方法、装置、设备、存储介质及程序产品
JP2022139186A (ja) * 2021-03-11 2022-09-26 本田技研工業株式会社 情報処理装置及びプログラム
JP2022150368A (ja) * 2021-03-26 2022-10-07 パナソニックIpマネジメント株式会社 支援装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4514372B2 (ja) * 2001-08-28 2010-07-28 パイオニア株式会社 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置
JP2005067483A (ja) 2003-08-26 2005-03-17 Fuji Heavy Ind Ltd 車両の走行制御装置
JP4791874B2 (ja) * 2006-03-31 2011-10-12 株式会社エクォス・リサーチ 運転支援装置及び運転行動判定装置
JP4803490B2 (ja) * 2006-08-30 2011-10-26 株式会社エクォス・リサーチ 運転者状態推定装置及び運転支援装置
JP5041160B2 (ja) * 2008-02-29 2012-10-03 株式会社エクォス・リサーチ 運転支援装置
JP2009208739A (ja) * 2008-03-06 2009-09-17 Clarion Co Ltd 眠気覚醒装置
US9739634B2 (en) * 2008-09-30 2017-08-22 Verizon Patent And Licensing Inc. Multicomputer data transferring for transferring data between multiple computers that use the data after the transfer
JP5577609B2 (ja) * 2009-03-09 2014-08-27 日産自動車株式会社 運転支援装置
JP5691967B2 (ja) * 2011-09-22 2015-04-01 株式会社デンソー 眠気予測装置
EP2811474B1 (en) * 2012-02-01 2018-08-08 Fico Mirrors, SA Method and system for inferring the behaviour or state of the driver of a vehicle, use method and computer program for carrying out said method
US9658243B2 (en) * 2012-11-16 2017-05-23 Honda Motor Co., Ltd. System for alarming a driver using a driver state estimation device
US20140316701A1 (en) * 2013-04-18 2014-10-23 International Business Machines Corporation Control system for indicating if people can reach locations that satisfy a predetermined set of conditions and requirements
JP6057957B2 (ja) * 2013-10-30 2017-01-11 富士重工業株式会社 車両制御装置
JP5954901B2 (ja) * 2013-12-18 2016-07-20 富士重工業株式会社 車両制御装置
US9944282B1 (en) * 2014-11-13 2018-04-17 State Farm Mutual Automobile Insurance Company Autonomous vehicle automatic parking
JP6507015B2 (ja) * 2015-04-08 2019-04-24 日野自動車株式会社 運転者状態判定装置
WO2016170786A1 (ja) * 2015-04-21 2016-10-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP6827197B2 (ja) * 2016-07-22 2021-02-10 パナソニックIpマネジメント株式会社 情報推定システム及び情報推定方法

Also Published As

Publication number Publication date
US10625673B2 (en) 2020-04-21
US20180194280A1 (en) 2018-07-12
JP2018097804A (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
JP6895634B2 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6807559B2 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6731619B2 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6883766B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP6074553B1 (ja) 情報処理システム、情報処理方法、およびプログラム
WO2016170763A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム
WO2016170764A1 (ja) 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
WO2016170773A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210521

R151 Written notification of patent or utility model registration

Ref document number: 6895634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03