JP6917708B2 - 運転者監視システム - Google Patents
運転者監視システム Download PDFInfo
- Publication number
- JP6917708B2 JP6917708B2 JP2016253786A JP2016253786A JP6917708B2 JP 6917708 B2 JP6917708 B2 JP 6917708B2 JP 2016253786 A JP2016253786 A JP 2016253786A JP 2016253786 A JP2016253786 A JP 2016253786A JP 6917708 B2 JP6917708 B2 JP 6917708B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- monitoring system
- mobile terminal
- driver monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 85
- 238000000034 method Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 48
- 238000012545 processing Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 230000037007 arousal Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000036626 alertness Effects 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
- B60W60/0055—Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Studio Devices (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
Description
例えば自動運転のレベルによっては、運転者がハンドル(即ちステアリングホイール)から手を離すことができるが、そのときに、運転者がスマホ等の携帯端末(即ち携帯機)を操作していると、運転者の状態をうまく検出できないことがある。
また、自動運転でない場合でも、例えば車載カメラによる撮影状況が好ましくないときなどには、運転者の状態を把握することが難しいことがある。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
[1.第1実施形態]
[1−1.基本構成]
まず、第1実施形態の運転者監視システムの構成について説明する。
<携帯端末>
携帯端末1は、周知のように、運転者等が携帯可能な通信装置(即ち携帯機)の一種であり、外部の基地局や自車両等との間で情報の送受信が可能な装置である。
振動モータ15は、携帯端末1自身を振動させることにより、携帯端末1の使用者に警報等の情報を報知するものである。
このうち、ROM17bは、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。EEOROM17dは、電源を切断しても記憶内容を保持する必要のあるデータ(例えば認証データ)を記憶する。RAM17cは、データを一時的に格納する。CPU17aは、ROM17b等に記憶されたプログラム等に従って処理を実行する。
車両制御装置3は、各種のセンサからの情報等に基づいて、各種のアクチュエータを駆動させて車両の動作を制御したり、後述する運転者監視処理等を行う電子制御装置である。
また、車両制御装置3には、運転用センサ類25、自車両センサ類27、周辺監視装置29、スイッチ類31、ディスプレイ33、アクチュエータ類35、ナビゲーション装置37等が接続されている。
運転用センサ類25としては、運転者の状態を検出するドライバカメラ25a等の各種のセンサが挙げられる。ドライバカメラ25aは、運転席の前方に配置された例えばCCDカメラであり、運転者の顔等を撮影して、その顔画像等を車両制御装置3に送信する。
ディスプレイ33は、例えば車両のダッシュボード等に取り付けられた表示装置であり、その表示画面は、周知のようにタッチパネルとしての機能、即ち入力装置としての機能も有している。
また、上述した運転者監視システムには、携帯端末1や車両制御装置3以外に、例えばウェアラブル装置39を用いてもよい。このウェアラブル装置39では、運転者の心拍や脈拍や脳波等を検出し、その情報を、携帯端末1や車両制御装置3等に送信することができる。
[1−2.メモリの記憶内容]
次に、後述する運転者監視処理を行うために、携帯端末1や車両制御装置3のメモリに記憶される記憶内容について説明する。
図2に示すように、携帯端末1のメモリ(例えばEEPROM17d)には、携帯端末1の所有者の情報が予め登録されて記憶されている。
また、EEPROM17dには、今回の制御を行う際の通信相手の車両、即ち携帯端末1の所有者が運転が許可されている自車両の情報も記憶されている。なお、車両の情報としては、車両を区別する番号(例えば車両ID)が挙げられる。
図3に示すように、車両制御装置3のメモリ(例えばEEPROM21d)には、自車両の運転が許可されている運転者が予め登録されて記憶されている。
また、EEPROM21dには、今回の制御を行う際の通信相手の携帯端末1の情報が記憶されている。この携帯端末1の情報としては、携帯端末1を区別する番号(例えば携帯端末ID)が挙げられる。
なお、本第1実施形態では、携帯端末1の所有者は、前記車両の運転が許可されている運転者であるので、後述する運転者監視処理を実施する際には、少なくとも、携帯端末1の所有者と運転者とが一致する必要がある。
次に、各マイコン17、21にて実施される内容を、機能的に説明する。
<携帯端末>
図4に示すように、携帯端末1側のマイコン17は、処理プログラムが実行する処理内容として、即ち機能的に、第1の画像認識部41、第1の乗員状態判定部43、第1の安全制御部45、ディスプレイ制御部47、アクチュエータ制御部49、スマホアプリ部51を備えている。
なお、この第1の乗員状態判定部43は、車両制御装置3側の機能としてもよい。つまり、携帯端末1側から受信した顔画像の情報に基づいて、車両制御装置3にて、上述した状態判定を行ってもよい。
アクチュエータ制御部49は、携帯端末1自身をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ11、スピーカ13、振動モータ15をアクチュエータとして用いて、携帯端末1から運転者に対して警報を発することができる。
<車両制御装置>
図5に示すように、車両制御装置3側のマイコン17は、処理プログラムが実行する処理内容として、即ち機能的に、第2の画像認識部61、第2の乗員状態判定部63、自車両状態検出部65、周辺情報検出部67、第2の安全制御部69、自動運転制御部71を有する車両制御部73、ディスプレイ制御部75、アクチュエータ制御部77を備えている。
車両制御部73は、例えばスイッチ類31、ディスプレイ33のタッチパネル、第2の乗員状態検出部63、自車両状態検出部65、周辺情報検出部67等からの情報などに基づいて、自車両の走行を制御する。
アクチュエータ制御部77は、車両側の各種の装置をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ33、スピーカ、ランプ、駆動用や制動用や操舵用のアクチュエータ等をアクチュエータとして用いて、車両側から運転者に対して警報を発したり、情報を提供することができる。
次に、自動運転のレベルと、自動運転のレベルに応じて実施される運転者監視処理の制御内容について説明する。
また、後述する自動運転のレベルも、同様に運転者の指示により選択できるが、例えば車両側にて、自動運転が可能な条件が満たされた場合に、その満たされた条件に応じて、適宜自動的に自動運転のレベルを設定してもよい。
すことが可能な状態を示している。
する必要がない状態を示している。
本第1実施形態では、下記表3に示すように、走行状態、詳しくは自動運転のレベルに応じて警告の内容を設定し必要な情報を提供している。
そこで、例えば「運転に集中して下さい」等の警告を行う。例えば、携帯端末1側や車両側から、ディスプレイ11、33やスピーカ13等を用い、表示や音声等によって前記警告を行う。
そこで、前記レベル0と同様に、同様な装置を用いて、例えば「運転に集中して下さい」等の警告を行う。
そこで、前記と同様な装置を用いて、例えば「周囲の監視をして下さい」等の警告を行う。つまり、運転者はハンドルから手を離すことが可能であるが、周囲から目を逸らすことは適切ではないので、周囲の監視を促す警告を行う。
なお、後述するように、自動化のレベルに応じて制御が実施されるが、その制御は、前記表3等の0〜5のレベルによる区分に加え、前記表3の各レベル(例えばレベル3)を更に細かく分ける各欄のような区分に応じて制御が行われる。つまり、自動運転のレベルに応じて制御を行う場合には、前記0〜5のレベルに限定されるものではなく、0〜5のレベルよりも更に細分化された区分に応じて実施される。
次に、運転者監視システムにて実施される処理内容、即ち運転者監視処理について説明する。
なお、以下の走行前の処理は、例えば自車両のイグニッションスイッチがオンにされた時点等に開始することができる。また、以降の各フローチャートの図面では、ステップをSと記す。
図6に示すように、ステップ100では、携帯端末1のカメラ5で、携帯端末1の操作者を撮影する。
次に、走行前に車両制御装置3にて実施される事前の処理について説明する。
図7に示すように、ステップ200では、車両側のドライバカメラ25aで、運転席に着座している人の顔等を撮影する。なお、運転席に着座していることは、例えば運転席の着座センサ等から検出することができる。
ここでは、車両制御装置3が実行する運転者監視処理について、図8のフローチャートを用いて説明する。
一方、ステップ360では、運転者による操作(即ちバックアップタスク)が必要な状態又は必要となりそうな状態か否かを判定する。即ち、運転者の操作が必要な場合又は運転者の操作が必要となることが予測される場合か否かを判定する。ここで肯定判断されるとステップ390に進み、一方否定判断されるとステップ370に進む。
前記運転者によるバックアップタスクが必要な状態としては、上述したように、天候や道路状況等によって、自動運転に必要な情報が得られない状態が挙げられる。また、運転者によるバックアップタスクが必要となりそうな状態としては、自動運転に必要な情報の精度が低下する状態や、情報量が低下する状態等が挙げられる。
例えば、携帯端末1にて、前記図8に示す運転者監視処理に必要な情報を、車両制御装置3側から受信し、その情報に基づいて、前記図8に示す運転者監視処理を実施してもよい。なお、警告や情報の提供については、上述したように、携帯端末1側に行ってもよいし、車両側で行ってもよい。
以上詳述した第1実施形態によれば、以下の効果が得られる。
また、
(1a)本第1実施形態では、自車両の走行中に、例えば自動走行中に、自車両の運転者が携帯端末1の表示画面11aを見ているかどうかを、カメラ5によって撮影された画像に基づいて判定し、運転者が携帯端末1の表示画面11aを見ていると判定された場合には、警報を発することができる。
従って、運転の安全性が向上するという効果がある。
[1−7.特許請求の範囲と第1実施形態との関係]
本第1実施形態における、表示画面11a、カメラ5、携帯端末1、車両制御装置3、第1、第2の乗員状態判定部43、63、第1、第2の安全制御部45、69が、それぞれ、本発明における、表示画面、撮影装置、携帯機、車両制御装置、乗員状態判定部、安全制御部、の一例に相当する。
次に、第2実施形態について説明するが、前記第1実施形態と同様な内容については、説明を省略又は簡略化する。なお、第1実施形態と同様な構成については、同じ番号を使用して説明する。
(2a)レベル3からレベル1への切り替えの制御
レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル1の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。
(2b)レベル3からレベル2への切り替えの制御
レベル3の場合で、且つ、運転者が携帯端末1を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル2の制御に切り替えるときには、例えば「監視タスクを代わって下さい」や「前を見て運転して下さい」等の警告を行う。ここで、監視タスクとは、バックアップタスクが可能なような周囲等の監視に関する作業である。
(2c)レベル4からレベル1への切り替えの制御
レベル4の場合で、例えば運転者が携帯端末1を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル1の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。
(2d)レベル4からレベル2への切り替えの制御
レベル4の場合で、例えば運転者が携帯端末1を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル2の制御に切り替えるときには、例えば「監視タスクを代わって下さい」や「前を見て運転して下さい」等の警告を行う。
[3.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
(3c)前記実施形態では、携帯端末又は車両制御装置にて、運転者監視処理を行ったが、運転者監視処理に必要な情報を、例えば基地局等に送信し、インターネットを介して例えばサーバ側にて運転者監視処理を行い、警告等を携帯端末や車両にて実施させるようにすることもできる。
ここで、携帯端末が把持されていることは、例えば携帯端末のディスプレイがオンになって、何らかの画像等が表示されていることにより判定できる。また、携帯端末が操作されていることは、タッチパネル等により何からの操作がなされていることにより判定できる。さらに、この把持や操作を、Gセンサを用いて複合的に判断してもよい。
なお、携帯端末が把持や操作されていないときには、車両のカメラによって、運転者の状態を監視したり推定することができる。
(3i)車両のカメラで運転者の状態が把握できないとき、例えば顔画像が得られないときや目の画像が得られないときには、携帯端末のカメラを起動して撮影することができる。
(3k)運転者の状態を判定するための処理(例えば乗員状態判定部の処理)の一部又は全部を、携帯端末、自車両の制御装置(例えば自車両の動作を制御する車両制御装置)、他車両の制御装置(例えば他車両の動作を制御する車両制御装置)、及び車両以外の装置のうち、少なくとも1種にて行ってもよい(図10参照)。
(3m)また、前記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の前記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
Claims (13)
- 表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、
自車両の制御を行う車両制御装置(3)と、
の間で通信を行って、前記自車両の運転者を監視する運転者監視システムであって、
前記自車両の自動運転中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、
前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する制御を行う安全制御部(45)と、
を備え、
前記安全制御部は、前記自動運転のレベルに応じて設定された警告の内容の前記警報を発する制御を行う、運転者監視システム。 - 請求項1に記載の運転者監視システムであって、
前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、前記安全制御部にて、前記警報を発する制御を行うと共に、前記運転者の運転に利用可能な情報を提供する制御を行う、運転者監視システム。 - 表示画面(11a)と該表示画面に対向する側を撮影可能に配置された撮影装置(5)とを備えた携帯機(1)と、
自車両の制御を行う車両制御装置(3)と、
の間で通信を行って、前記自車両の運転者を監視する運転者監視システムであって、
前記自車両の自動運転中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部(43)と、
前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合において、前記運転者の操作が必要な場合又は前記運転者の操作が必要となることが予測される場合には、警報を発する制御を行う安全制御部(45)と、
を備えた運転者監視システム。 - 請求項3に記載の運転者監視システムであって、
前記安全制御部は、前記自動運転のレベルに応じて、前記警報の内容を設定する、運転者監視システム。 - 請求項3または請求項4に記載の運転者監視システムであって、
前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合において、前記運転者の操作が必要な場合又は前記運転者の操作が必要となることが予測される場合には、前記安全制御部にて、前記警報を発する制御を行うと共に、前記運転者の運転に利用可能な情報を提供する制御を行う、運転者監視システム。 - 請求項1から請求項5までのいずれか1項に記載の運転者監視システムであって、
前記乗員状態判定部は、前記撮影装置によって撮影された画像に基づいて、前記運転者の意識状態の程度を判定し、
前記安全制御部は、前記乗員状態判定部によって判定された前記運転者の意識状態の程度に基づいて、前記警報の内容の設定を行う、運転者監視システム。 - 請求項1から請求項6までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、前記自動運転が終了する条件が満たされた場合又は前記自動運転が終了することが予測される場合には、前記警報を発する、運転者監視システム。 - 請求項1から請求項7までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、前記自動運転によって前記自車両が目的地に到着した場合には、前記到着した内容に関する警報を発する、運転者監視システム。 - 請求項1から請求項8までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、前記携帯機及び前記自車両の少なく一方から、前記警報を発する、運転者監視システム。 - 請求項1から請求項9までのいずれか1項に記載の運転者監視システムであって、
前記安全制御部は、音、音声、光、振動、風、温度、及び前記自車両の走行状態の制御の少なくとも1種によって、前記警報を発する、運転者監視システム。 - 請求項1から請求項10までのいずれか1項に記載の運転者監視システムであって、
前記乗員状態判定部は、前記携帯機又は前記車両制御装置に設けられている、運転者監視システム。 - 請求項1から請求項11までのいずれか1項に記載の運転者監視システムであって、
前記運転者の状態を判定するための処理の一部又は全部は、前記携帯機、前記自車両の制御装置、他車両の制御装置、及び車両以外の装置のうち、少なくとも1種にて行う、運転者監視システム。 - 請求項12に記載の運転者監視システムであって、
前記車両以外の装置とは、クラウドサーバである、運転者監視システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/007544 WO2017150466A1 (ja) | 2016-02-29 | 2017-02-27 | 運転者監視システム |
US15/780,056 US10640123B2 (en) | 2016-02-29 | 2017-02-27 | Driver monitoring system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016037694 | 2016-02-29 | ||
JP2016037694 | 2016-02-29 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020040235A Division JP7060031B2 (ja) | 2016-02-29 | 2020-03-09 | 運転者監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017157196A JP2017157196A (ja) | 2017-09-07 |
JP6917708B2 true JP6917708B2 (ja) | 2021-08-11 |
Family
ID=59810609
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016253786A Active JP6917708B2 (ja) | 2016-02-29 | 2016-12-27 | 運転者監視システム |
JP2020040235A Active JP7060031B2 (ja) | 2016-02-29 | 2020-03-09 | 運転者監視システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020040235A Active JP7060031B2 (ja) | 2016-02-29 | 2020-03-09 | 運転者監視システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10640123B2 (ja) |
JP (2) | JP6917708B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11250514B2 (en) * | 2016-02-15 | 2022-02-15 | Allstate Insurance Company | Early notification of non-autonomous area |
JP6686869B2 (ja) * | 2016-12-22 | 2020-04-22 | 株式会社デンソー | 運転交代制御装置、及び運転交代制御方法 |
JP6702217B2 (ja) * | 2017-02-06 | 2020-05-27 | 株式会社デンソー | 自動運転装置 |
JP6897417B2 (ja) | 2017-08-16 | 2021-06-30 | 住友電気工業株式会社 | 制御装置、制御方法、およびコンピュータプログラム |
JP2019152942A (ja) * | 2018-03-01 | 2019-09-12 | 矢崎エナジーシステム株式会社 | 点呼システム |
JP6890103B2 (ja) * | 2018-05-15 | 2021-06-18 | 日本電信電話株式会社 | 測位システム、測位方法、およびプログラム |
JP7154071B2 (ja) * | 2018-09-07 | 2022-10-17 | 株式会社エヌ・ティ・ティ・データ | 運転状態監視支援システム、運転状態監視支援方法及びプログラム |
CN115567891A (zh) * | 2019-06-05 | 2023-01-03 | 华为技术有限公司 | 自动驾驶信息指示方法、自动驾驶信息获取方法、自动驾驶信息发送方法及装置 |
KR20190122606A (ko) * | 2019-10-11 | 2019-10-30 | 엘지전자 주식회사 | 차량 내 객체 모니터링 장치 및 방법 |
JP7081844B2 (ja) * | 2020-11-11 | 2022-06-07 | 株式会社コムテック | 検出システム |
JP7447853B2 (ja) * | 2021-03-22 | 2024-03-12 | トヨタ自動車株式会社 | 覚醒状態判定システム及び自動運転装置 |
CN113183971B (zh) * | 2021-06-04 | 2023-03-10 | 苏州智加科技有限公司 | 驾驶员状态监测方法、装置、车载终端及可读存储介质 |
DE102021124175A1 (de) | 2021-09-20 | 2023-03-23 | Bayerische Motoren Werke Aktiengesellschaft | Elektrofahrzeug mit Vibrationen zur Emotionalisierung von elektrischen Fahrzeugantrieben, Verfahren, Steuerung und Aktor hierfür |
WO2023148834A1 (ja) * | 2022-02-02 | 2023-08-10 | 三菱電機株式会社 | 機器状態監視装置および機器状態監視方法 |
Family Cites Families (119)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
LU75977A1 (ja) * | 1976-10-12 | 1978-05-16 | ||
US4359724A (en) * | 1980-04-28 | 1982-11-16 | Ronald R. Zimmerman | Eyelid movement detector |
JPS60592A (ja) * | 1983-06-15 | 1985-01-05 | 三菱電機株式会社 | いねむり防止装置 |
US4953111A (en) * | 1987-02-12 | 1990-08-28 | Omron Tateisi Electronics Co. | Doze detector |
US5239337A (en) * | 1990-08-20 | 1993-08-24 | Nikon Corporation | Apparatus for ordering to phototake with eye-detection |
JP3369201B2 (ja) * | 1991-10-02 | 2003-01-20 | マツダ株式会社 | 覚醒度維持装置 |
JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
US5689241A (en) * | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
US5570698A (en) * | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
JP3183161B2 (ja) * | 1996-04-12 | 2001-07-03 | 三菱自動車工業株式会社 | 覚醒度推定装置 |
US6400835B1 (en) * | 1996-05-15 | 2002-06-04 | Jerome H. Lemelson | Taillight mounted vehicle security system employing facial recognition using a reflected image |
FR2773521B1 (fr) * | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
US6661345B1 (en) * | 1999-10-22 | 2003-12-09 | The Johns Hopkins University | Alertness monitoring system |
US6478425B2 (en) * | 2000-12-29 | 2002-11-12 | Koninlijke Phillip Electronics N. V. | System and method for automatically adjusting a lens power through gaze tracking |
US7202793B2 (en) * | 2002-10-11 | 2007-04-10 | Attention Technologies, Inc. | Apparatus and method of monitoring a subject and providing feedback thereto |
US7202792B2 (en) * | 2002-11-11 | 2007-04-10 | Delphi Technologies, Inc. | Drowsiness detection system and method |
US6859144B2 (en) * | 2003-02-05 | 2005-02-22 | Delphi Technologies, Inc. | Vehicle situation alert system with eye gaze controlled alert signal generation |
US7682024B2 (en) * | 2003-03-13 | 2010-03-23 | Plant Charles P | Saccadic motion sensing |
US6989754B2 (en) * | 2003-06-02 | 2006-01-24 | Delphi Technologies, Inc. | Target awareness determination system and method |
JP4841425B2 (ja) * | 2003-06-06 | 2011-12-21 | ボルボ テクノロジー コーポレイション | 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構 |
JP4206928B2 (ja) * | 2004-01-19 | 2009-01-14 | 株式会社デンソー | 衝突可能性判定装置 |
EP1613082A1 (en) * | 2004-06-30 | 2006-01-04 | Sony Ericsson Mobile Communications AB | Face image correction |
US20060011399A1 (en) * | 2004-07-15 | 2006-01-19 | International Business Machines Corporation | System and method for controlling vehicle operation based on a user's facial expressions and physical state |
JP2006071619A (ja) * | 2004-08-03 | 2006-03-16 | Denso Corp | ナビゲーション装置およびプログラム |
JP4687266B2 (ja) * | 2004-10-20 | 2011-05-25 | 富士ゼロックス株式会社 | 注意喚起装置および方法ならびに情報処理システム |
JP2006130010A (ja) * | 2004-11-04 | 2006-05-25 | Denso Corp | 視覚認識支援装置 |
US7438418B2 (en) * | 2005-02-23 | 2008-10-21 | Eyetracking, Inc. | Mental alertness and mental proficiency level determination |
WO2006091893A2 (en) * | 2005-02-23 | 2006-08-31 | Eyetracking, Inc. | Mental alertness level determination |
JP2008531142A (ja) * | 2005-03-04 | 2008-08-14 | スリープ・ダイアグノスティックス・プロプライアタリー・リミテッド | 覚醒の測定 |
US7301465B2 (en) * | 2005-03-24 | 2007-11-27 | Tengshe Vishwas V | Drowsy driving alarm system |
JP4735310B2 (ja) | 2005-04-15 | 2011-07-27 | 株式会社デンソー | 走行支援装置 |
US7301464B2 (en) * | 2005-05-24 | 2007-11-27 | Electronic Data Systems Corporation | Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring |
US20070009139A1 (en) * | 2005-07-11 | 2007-01-11 | Agere Systems Inc. | Facial recognition device for a handheld electronic device and a method of using the same |
US20140143061A1 (en) * | 2006-11-22 | 2014-05-22 | Raj Abhyanker | Garage sales in a geo-spatial social network |
US20090015425A1 (en) * | 2007-07-13 | 2009-01-15 | Sony Ericsson Mobile Communications Ab | Camera of an electronic device used as a proximity detector |
US8560157B2 (en) * | 2007-09-19 | 2013-10-15 | Topcon Positioning Systems, Inc. | Partial manual control state for automated vehicle navigation system |
JP4966816B2 (ja) * | 2007-10-25 | 2012-07-04 | 株式会社日立製作所 | 視線方向計測方法および視線方向計測装置 |
WO2009069235A1 (ja) * | 2007-11-30 | 2009-06-04 | Pioneer Corporation | ハンズフリー通話装置、通話制御方法、通話制御プログラム、および記録媒体 |
US8340368B2 (en) * | 2008-06-11 | 2012-12-25 | Hyundai Motor Company | Face detection system |
JP4737239B2 (ja) * | 2008-06-20 | 2011-07-27 | トヨタ自動車株式会社 | 運転支援装置 |
US8552850B2 (en) * | 2010-02-17 | 2013-10-08 | Honeywell International Inc. | Near-to-eye tracking for adaptive operation |
JP5139470B2 (ja) | 2010-04-28 | 2013-02-06 | トヨタ自動車株式会社 | 眠気度推定装置および眠気度推定方法 |
US20110316666A1 (en) * | 2010-06-25 | 2011-12-29 | Kabushiki Kaisha Toshiba | Information device, computer program product and method thereof |
US10120438B2 (en) * | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
US20120306637A1 (en) * | 2011-06-01 | 2012-12-06 | Johnson Controls Technology Company | System and method for selectively altering content of a vehicle interface |
US9082235B2 (en) * | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
WO2013051307A1 (ja) * | 2011-10-06 | 2013-04-11 | 本田技研工業株式会社 | 警報装置 |
US8494481B1 (en) * | 2011-11-02 | 2013-07-23 | Amazon Technologies, Inc. | Mobile alarm device |
JP5630518B2 (ja) * | 2012-03-14 | 2014-11-26 | 株式会社デンソー | 運転支援装置 |
US20130322705A1 (en) * | 2012-05-30 | 2013-12-05 | Google Inc. | Facial and fingerprint authentication |
JP5914653B2 (ja) * | 2012-06-15 | 2016-05-11 | 株式会社日立製作所 | 刺激呈示システム |
JP2015522844A (ja) * | 2012-06-29 | 2015-08-06 | エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) | 一対の累進式眼用レンズを決定する方法 |
WO2014022906A1 (en) * | 2012-08-10 | 2014-02-13 | Cnv Systems Ltd. | Mobile device system for measurement of cardiovascular health |
DE112013004672B4 (de) * | 2012-09-25 | 2018-04-05 | Fujitsu Ten Limited | Fahrzeugseitige Vorrichtung, Kommunikationsverfahren und Programm |
EP2713307B1 (en) * | 2012-09-28 | 2018-05-16 | Accenture Global Services Limited | Liveness detection |
US9834221B2 (en) * | 2012-10-19 | 2017-12-05 | Autoliv Development Ab | Driver attentiveness detection method and device |
US10482753B2 (en) * | 2013-01-04 | 2019-11-19 | Minnesota Imaging And Engineering Llc | Infection control monitoring system |
US20140197922A1 (en) * | 2013-01-16 | 2014-07-17 | Cygnus Broadband, Inc. | System and method for positive identification on a mobile device |
JP2014154901A (ja) * | 2013-02-05 | 2014-08-25 | Nec Casio Mobile Communications Ltd | 携帯電子機器、その制御方法及びプログラム |
JP2014172554A (ja) * | 2013-03-12 | 2014-09-22 | Calsonic Kansei Corp | カメラ付き表示装置 |
US9858832B1 (en) * | 2013-03-14 | 2018-01-02 | Allstate Insurance Company | Interactive driver development |
JP2014178971A (ja) * | 2013-03-15 | 2014-09-25 | Denso Corp | 車両用衝突警報装置 |
US20140347458A1 (en) * | 2013-05-23 | 2014-11-27 | Ford Global Technologies, Llc | Cellular phone camera for driver state estimation |
US20140375810A1 (en) * | 2013-06-21 | 2014-12-25 | Digimarc Corporation | Vehicular safety methods and arrangements |
KR101470190B1 (ko) * | 2013-07-09 | 2014-12-05 | 현대자동차주식회사 | 자율주행 시스템의 고장 처리 장치 및 그 방법 |
JP6142718B2 (ja) * | 2013-07-31 | 2017-06-07 | 株式会社デンソー | 運転支援装置、および運転支援方法 |
US9571619B2 (en) * | 2013-09-04 | 2017-02-14 | Honda Motor Co., Ltd. | Electronic communication system, in-vehicle unit, and control method |
EP2848488B2 (en) * | 2013-09-12 | 2022-04-13 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
US20150116197A1 (en) * | 2013-10-24 | 2015-04-30 | Johnson Controls Technology Company | Systems and methods for displaying three-dimensional images on a vehicle instrument console |
JP6462209B2 (ja) * | 2013-12-03 | 2019-01-30 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
JP6206142B2 (ja) * | 2013-12-03 | 2017-10-04 | 日産自動車株式会社 | 情報表示装置 |
US20150164323A1 (en) * | 2013-12-16 | 2015-06-18 | Medtronic Minimed, Inc. | Secure communications between elements in a wireless network |
US9346400B2 (en) * | 2013-12-20 | 2016-05-24 | Ford Global Technologies, Llc | Affective user interface in an autonomous vehicle |
US9406177B2 (en) * | 2013-12-20 | 2016-08-02 | Ford Global Technologies, Llc | Fault handling in an autonomous vehicle |
JP2015132997A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社日本自動車部品総合研究所 | 情報提示システム、送信装置及び受信装置 |
US9580081B2 (en) * | 2014-01-24 | 2017-02-28 | Tobii Ab | Gaze driven interaction for a vehicle |
JP2015141053A (ja) * | 2014-01-27 | 2015-08-03 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援システム、自動運転支援方法及びコンピュータプログラム |
US20150221341A1 (en) * | 2014-01-31 | 2015-08-06 | Audi Ag | System and method for enhanced time-lapse video generation using panoramic imagery |
JP6213282B2 (ja) * | 2014-02-12 | 2017-10-18 | 株式会社デンソー | 運転支援装置 |
US10424199B2 (en) * | 2014-02-13 | 2019-09-24 | Mitsubishi Electric Corporation | Communication apparatus, operation assistance apparatus, and operation assistance system |
US9465388B1 (en) * | 2014-03-03 | 2016-10-11 | Google Inc. | Remote assistance for an autonomous vehicle in low confidence situations |
JP6221873B2 (ja) * | 2014-03-21 | 2017-11-01 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援装置、自動運転支援方法及びプログラム |
WO2015161244A2 (en) * | 2014-04-18 | 2015-10-22 | Gentex Corporation | Trainable transceiver and camera systems and methods |
JP6409318B2 (ja) * | 2014-04-25 | 2018-10-24 | 日産自動車株式会社 | 情報呈示装置及び情報呈示方法 |
RU2669501C2 (ru) * | 2014-04-25 | 2018-10-11 | Ниссан Мотор Ко., Лтд. | Устройство представления информации и способ представления информации |
US9820114B2 (en) * | 2014-05-09 | 2017-11-14 | Jessica Greenhut | System and method for testing blood alcohol level and transmitting the results using a mobile device |
JP2015217798A (ja) * | 2014-05-16 | 2015-12-07 | 三菱電機株式会社 | 車載情報表示制御装置 |
US9547798B2 (en) * | 2014-05-20 | 2017-01-17 | State Farm Mutual Automobile Insurance Company | Gaze tracking for a vehicle operator |
JP6265146B2 (ja) * | 2014-05-27 | 2018-01-24 | 株式会社デンソー | 注意喚起装置 |
JP6557457B2 (ja) * | 2014-07-25 | 2019-08-07 | クラリオン株式会社 | 画像表示システム、画像表示方法、及び表示装置 |
US9824578B2 (en) * | 2014-09-03 | 2017-11-21 | Echostar Technologies International Corporation | Home automation control using context sensitive menus |
KR101612824B1 (ko) * | 2014-11-20 | 2016-04-15 | 현대자동차주식회사 | Hmd를 이용한 운전자 상태 모니터링 방법 및 장치 |
US9483059B2 (en) * | 2014-11-26 | 2016-11-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method to gain driver's attention for autonomous vehicle |
CN117087697A (zh) * | 2014-12-12 | 2023-11-21 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
KR101677648B1 (ko) * | 2014-12-22 | 2016-11-18 | 엘지전자 주식회사 | 차량 제어 장치 및 그 제어 방법 |
ES2660309T3 (es) * | 2015-02-10 | 2018-03-21 | Juan Dominguez-Montes | Sistema de reproducción estereoscópica por transparencia |
WO2016151750A1 (ja) * | 2015-03-24 | 2016-09-29 | パイオニア株式会社 | 地図情報記憶装置、自動運転制御装置、制御方法、プログラム及び記憶媒体 |
KR102043060B1 (ko) * | 2015-05-08 | 2019-11-11 | 엘지전자 주식회사 | 자율 주행 장치 및 이를 구비한 차량 |
JP6573193B2 (ja) * | 2015-07-03 | 2019-09-11 | パナソニックIpマネジメント株式会社 | 判定装置、判定方法、および判定プログラム |
JP6237725B2 (ja) * | 2015-07-27 | 2017-11-29 | トヨタ自動車株式会社 | 乗員情報取得装置及び車両制御システム |
KR20170015115A (ko) * | 2015-07-30 | 2017-02-08 | 삼성전자주식회사 | 자율 주행 차량 및 자율 주행 차량 제어 방법 |
US10220705B2 (en) * | 2015-08-12 | 2019-03-05 | Madhusoodhan Ramanujam | Sharing autonomous vehicles |
US9996756B2 (en) * | 2015-08-31 | 2018-06-12 | Lytx, Inc. | Detecting risky driving with machine vision |
US10053001B1 (en) * | 2015-09-24 | 2018-08-21 | Apple Inc. | System and method for visual communication of an operational status |
DE102015220237A1 (de) * | 2015-10-16 | 2017-04-20 | Zf Friedrichshafen Ag | Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren |
EP3378722B1 (en) * | 2015-11-19 | 2024-02-21 | Sony Group Corporation | Drive assistance device and drive assistance method, and moving body |
JP2017097519A (ja) * | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法、プログラムおよび記録媒体 |
JP6641916B2 (ja) * | 2015-11-20 | 2020-02-05 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
KR20170069734A (ko) * | 2015-12-11 | 2017-06-21 | 삼성전자주식회사 | 정보 제공을 위한 전자 장치 및 방법 |
JP2017111469A (ja) * | 2015-12-14 | 2017-06-22 | 富士通株式会社 | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム |
US11250514B2 (en) * | 2016-02-15 | 2022-02-15 | Allstate Insurance Company | Early notification of non-autonomous area |
JP6369487B2 (ja) * | 2016-02-23 | 2018-08-08 | トヨタ自動車株式会社 | 表示装置 |
JP6460008B2 (ja) * | 2016-02-25 | 2019-01-30 | トヨタ自動車株式会社 | 自動運転装置 |
DE102016207353A1 (de) * | 2016-04-29 | 2017-11-02 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Detektieren eines Benutzens eines elektronischen Geräts durch einen Fahrer für ein Fahrzeug |
US10025383B2 (en) * | 2016-07-20 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Automatic pause and resume of media content during automated driving based on driver's gaze |
US20180229654A1 (en) * | 2017-02-16 | 2018-08-16 | Regents Of The University Of Minnesota | Sensing application use while driving |
US10882453B2 (en) * | 2017-04-01 | 2021-01-05 | Intel Corporation | Usage of automotive virtual mirrors |
JP7074528B2 (ja) * | 2018-03-27 | 2022-05-24 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
JP7063672B2 (ja) * | 2018-03-27 | 2022-05-09 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
-
2016
- 2016-12-27 JP JP2016253786A patent/JP6917708B2/ja active Active
-
2017
- 2017-02-27 US US15/780,056 patent/US10640123B2/en active Active
-
2020
- 2020-03-09 JP JP2020040235A patent/JP7060031B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017157196A (ja) | 2017-09-07 |
US10640123B2 (en) | 2020-05-05 |
JP2020102252A (ja) | 2020-07-02 |
US20180345980A1 (en) | 2018-12-06 |
JP7060031B2 (ja) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7060031B2 (ja) | 運転者監視システム | |
CN107415938B (zh) | 基于乘员位置和注意力控制自主车辆功能和输出 | |
CN110892351B (zh) | 车辆控制装置和车辆控制方法 | |
JP7203035B2 (ja) | 情報処理装置および情報処理方法 | |
US10192171B2 (en) | Method and system using machine learning to determine an automotive driver's emotional state | |
EP3245093B1 (en) | Cognitive load driving assistant | |
KR101655818B1 (ko) | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 | |
US20170343375A1 (en) | Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions | |
KR101730321B1 (ko) | 운전자 보조 장치 및 그 제어방법 | |
US20180000398A1 (en) | Wearable device and system for monitoring physical behavior of a vehicle operator | |
US20180229654A1 (en) | Sensing application use while driving | |
JP6733293B2 (ja) | 情報処理装置 | |
US20200160703A1 (en) | Method, Mobile User Device, and Computer Program for Producing Visual Information for at Least One Occupant of a Vehicle | |
US20190317328A1 (en) | System and method for providing augmented-reality assistance for vehicular navigation | |
US10674003B1 (en) | Apparatus and system for identifying occupants in a vehicle | |
JP2016076037A (ja) | 車両用情報提示装置 | |
JP6063854B2 (ja) | 車両用表示システム | |
JP6891926B2 (ja) | 車両システム、車両システムで実行される方法、および運転者支援システム | |
WO2017150466A1 (ja) | 運転者監視システム | |
JP2020126435A (ja) | 車両制御装置 | |
JP2020050204A (ja) | 車両の走行制御方法及び走行制御装置 | |
JP2019081450A (ja) | 表示装置、表示制御方法、及びプログラム | |
JP2019105941A (ja) | 走行支援方法及び走行支援装置 | |
CN110910611A (zh) | 提醒方法、系统、终端及车辆 | |
KR101655826B1 (ko) | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190708 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200309 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200309 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200323 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200324 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200522 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200526 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200825 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210129 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210209 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210511 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210622 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6917708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |