JP6425857B2 - 認知領域推定装置、認知領域推定方法および認知領域推定プログラム - Google Patents
認知領域推定装置、認知領域推定方法および認知領域推定プログラム Download PDFInfo
- Publication number
- JP6425857B2 JP6425857B2 JP2018525859A JP2018525859A JP6425857B2 JP 6425857 B2 JP6425857 B2 JP 6425857B2 JP 2018525859 A JP2018525859 A JP 2018525859A JP 2018525859 A JP2018525859 A JP 2018525859A JP 6425857 B2 JP6425857 B2 JP 6425857B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition area
- unit
- area
- calculation unit
- visual recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001149 cognitive effect Effects 0.000 title claims description 64
- 238000000034 method Methods 0.000 title claims description 47
- 230000000007 visual effect Effects 0.000 claims description 194
- 238000005259 measurement Methods 0.000 claims description 83
- 238000012544 monitoring process Methods 0.000 claims description 37
- 238000009434 installation Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 46
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000004434 saccadic eye movement Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000019771 cognition Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003660 reticulum Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
- B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Description
また、特許文献1において車両に搭載されたセンサ類は、自車を中心とした座標系(以下、自車座標系と称する)において周囲を監視している。そのため、車両に搭載されたセンサ類と特許文献1に係る視野推定装置とが協調して運転者の周囲認知状況を推定する際には、地図空間上に固定された地図座標系上で推定された運転者の周囲認知状況を、地図座標系内における自車の位置と姿勢を元に、自車座標系へと変換する必要がある。従って、座標変換のための計算コストが発生してしまう。
実施の形態1.
図1は、この発明の実施の形態1に係る認知領域推定装置100の構成例を示す機能ブロック図である。認知領域推定装置100は、移動体に搭載され、移動体の運転者が認知している移動体周囲の状況を推定するためのものである。以下の説明では、移動体として車両を例にあげるが、鉄道、船舶または航空機等であってもよい。
認知領域推定装置100における視線方向計測部111、頭部位置計測部112、移動量計測部113、および周囲状況監視部121は、センサ類3である。センサ類3は、カメラ、加速度センサ、ジャイロ、またはレーダ等である。センサ類3は、認知領域推定装置100が備えていてもよいし、車両に搭載されている既存のものを利用してもよい。
認知領域推定装置100における運転支援情報提示部107は、ディスプレイ4またはスピーカ5の少なくとも一方である。ディスプレイ4およびスピーカ5は、認知領域推定装置100が備えていてもよいし、車両に搭載されている既存のものを利用してもよい。
認知領域推定装置100におけるミラー類管理部102、遮蔽物管理部103、および認知領域記録部105は、メモリ2である。
メモリ2は、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、SSD(Solid State Drive)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
視線方向計測部111は、移動体である車両の運転者を監視するカメラから、カメラ画像を取得する。そして、視線方向計測部111は、カメラ画像から運転者の視線方向を推定する既知の技術等により、移動体座標系における運転者の視線方向を計測する。ここで、視線方向は、移動体座標系におけるY軸の正方向を原点として、少なくともヨー方向の視線方向が計測されるものとする。また、運転者の瞼の開閉状態などの視認状態を判別するための情報も併せて計測されることが望ましい。視線方向計測部111は、計測した視線方向の情報を、視認領域算出部101へ出力する。
なお、図1では、認知領域推定装置100が周囲状況監視部121を備える構成としたが、必ず備える必要はない。
図4は、実施の形態1に係る認知領域推定装置100の動作を示すフローチャートである。
ステップST101において、視認領域算出部101は、視線方向計測部111から受け取った視線方向の情報から、サッケード運動を検出する。視認領域算出部101は、サッケード運動が検出された場合は運転者が視認状態ではないと判定し、それ以外の場合であれば運転者が視認状態であると判定する。これは、サッケード運動中は視野内の状態が認識されないという既知の知見に鑑みた判定である。サッケード運動は、眼球が高速に移動する現象であり、簡易的には前回ステップST100を実行したときの視線方向と今回ステップST100を実行するときの視線方向との差分が、予め定められた閾値を超えた場合をサッケード運動として判定することができる。また、視線方向計測部111において、瞼の開閉状態などの視認状態の判定に寄与する付加情報が得られる場合、視認領域算出部101はこれらの付加情報を用いて視認状態の判定を行ってもよい。
視認領域算出部101は、運転者が視認状態であると判定した場合(ステップST101“Yes”)、ステップST102へ進み、視認状態でないと判定した場合(ステップST101“No”)、視認領域算出処理を終了する。
ステップST201において、認知領域算出部104は、前回ステップST200を実行したときに算出した認知領域の情報を、認知領域記録部105から取得する。なお、初回実行時には認知領域記録部105に認知領域の情報が記録されていないため、認知領域算出部104は、認知領域全域を全て0として初期化し、前回ステップST200を実行したときに算出した認知領域の情報とみなす。
なお、電子出願の関係上、アルファベット文字の上に付く「〜」を「(チルダ)」と表記する。
ステップST301において、運転状態判定部106は、ステップST200において認知領域算出部104が算出し認知領域記録部105に記録させた認知領域の情報を、認知領域記録部105から取得する。また、運転状態判定部106は、周囲状況監視部121から車両周囲の状況を示す情報を受け取り、車両周囲の状況と認知領域記録部105から取得した認知領域とを比較して運転状態を判定する。
ここで、認知度合いPRは、上記の式(3)における認知領域Rを0から1の間の値で規格化したものであり、運転者が全く認知していない場合を0、完全に認知している場合を1に対応付けることで、運転者の車両周囲の認知度合いを確率的に表現したものである。
また、実施の形態1に係る認知領域推定装置100は、移動体座標系における認知領域のみを管理する構成であるため、特許文献1に係る視野推定装置のような地図座標系を経由した演算が一切不要となる。このため、GPSより頑健なジャイロ等のセンサ類3により計測される慣性情報のみを用いて、自車位置を特定し、認知領域を推定することが可能となる。
先立って説明した特許文献1に係る視野推定装置は、運転者の周囲認知状況の推定を効率化するために、差分演算により単位時間ごとに視野範囲を更新している。しかし、車両は時々刻々と移動するため、運転者の周囲認知状況を推定すべき領域も地図座標系内において時々刻々と変化し、かつ、車両は、運転者の周囲認知状況を推定すべき領域と比較して非常に巨大な領域を移動する。このため、視野推定装置が上述した視野範囲の更新を実行するために、各更新ステップにおいて周囲認知状況を推定すべき領域を特定するための手段、およびこの領域を管理し更新処理に反映するための手段が必要になるが、このような手段については開示も示唆もされていない。このような手段を備えない場合には、駐車場等の空間的に限定された条件下以外では、事実上無限大の記憶領域が必要となるために、視野範囲の更新を実行することは現実的には困難である。
これに対し、実施の形態1に係る認知領域推定装置100は、移動体座標系にける認知領域を、有限の記憶領域内における単位時間ごとの差分演算により算出可能としたことにより、移動体座標系における効率的な認知領域の推定を可能とする効果を得る。
実施の形態2では、実施の形態1における視認領域算出処理を高精度化する構成について説明する。
そこで、実施の形態2の認知領域推定装置100は、周囲の環境条件に応じて視認領域を変更する構成とする。
視認領域は本来3次元的な分布を持つため、実施の形態1,2のように3次元空間における視認領域を算出することが望ましい。一方で、記憶領域および計算量については、2次元的な視認領域を算出するほうが効率的である。そこで、実施の形態3では、記憶領域および計算量の負荷を低減しつつ、3次元的な視認領域と同等の2次元的な視認領域を算出する構成について説明する。
実施の形態4では、実施の形態1における認知領域算出処理を高精度化する構成について説明する。
そこで、実施の形態4では、認知領域推定装置100を以下のような構成とする。
式(5)は、実施の形態4のステップST205における認知領域算出手順の具体例である。式(5)において、PSは、視認領域算出部101が算出した視認領域Sを、運転者が全く認知していない場合を0、完全に認知している場合を1に対応付けることで、確率的に表現したものである。このような構成により、認知領域算出部104が算出する認知領域Rは、常に確率としての特性が保持されるため、上式(4)における認知度合いPRとして直接使用可能な値となる。
実施の形態5では、実施の形態1における認知領域算出処理を高精度化する構成について説明する。
また、事前に車両の移動を模擬することで、短時間先における認知領域を予測したいという要求がある。例えば、交差点の右左折時においては、右左折中および右左折先において想定される認知領域を算出することで、各段階における危険物等を事前に推定し運転者に警告することが期待される。
そこで、実施の形態5では、認知領域推定装置100を以下のような構成とする。
ステップST500は、仮想軌跡を算出する処理である。ステップST500において、仮想軌跡算出部151は、仮想軌跡を算出する。図11は、ステップST500における仮想軌跡算出部151の動作の詳細を示すフローチャートである。
ステップST100,ST200,ST300の各処理は、実施の形態1の図4〜図7に示した各処理と同様である。ただし、実施の形態5の認知領域推定装置100においては、ステップST500において算出された現在より先のある時刻の仮想軌跡に対して、ステップST100,ST200,ST300の各処理を実行する点が異なる。現在より先のある時刻としては、今回ステップST500と前回ステップST500の間のある時刻を含む。
ステップST101において、視認領域算出部101は、図5のステップST101と同じ処理を行って、車両の運転者が視認状態であるか否かを判定し、判定結果を仮想軌跡算出部151へ出力する。仮想軌跡算出部151は、視認領域算出部101により運転者が視認状態であると判定された場合(ステップST101“Yes”)、ステップST501へ進み、視認状態でないと判定された場合(ステップST101“No”)、ステップST503へ進む。
また、仮想軌跡算出部151が現在より先の時刻の移動体の移動量を推定し、認知領域算出部104が仮想軌跡算出部151の算出した移動量に基づいて、現在より先の時刻の認知領域を算出する構成であってもよい。
また、仮想軌跡算出部151が現在より先の時刻の視線方向および移動量を推定し、認領域算出部101が仮想軌跡算出部151の推定した視線方向に基づいて、現在より先の時刻の視認領域を算出し、認知領域算出部104が仮想軌跡算出部151の算出した移動量に基づいて、現在より先の時刻の認知領域を算出する構成であってもよい。
さらに、仮想軌跡算出部151は、視線方向または移動量だけでなく、頭部位置の仮想軌跡を推定する構成であってもよい。
このように、認知領域推定装置100は、仮想軌跡算出部151を備えることにより、視線方向計測部111、頭部位置計測部112および移動量計測部113の計測周期が異なったとしても、計測周期に依存せずに認知領域の推定を可能とする効果を得る。
実施の形態6では、実施の形態1における運転状態判定処理を高精度化する構成について説明する。
位置・姿勢計測部161は、GPSまたは方位計等のセンサ類3から、センサ検出値を取得する。位置・姿勢計測部161は、センサ検出値から地図座標系における車両の位置と姿勢とを計測する。地図座標系とは、地図空間上に固定された座標系であり、例えば緯度経度である。位置・姿勢計測部161は、車両の位置および姿勢の情報を、地図情報管理部162へ出力する。
そこで、実施の形態6では、認知領域推定装置100を以下のような構成とする。
運転状態判定部106は、危険度合いPHの代わりに危険度合いHを用いて、または危険度合いHで更新した危険度合いPHを用いて、式(4)を計算する。危険度合いHで危険度合いPHを更新する方法として、例えば、運転状態判定部106は、危険度合いPHと危険度合いHの重み付き平均値、あるいは、危険度合いPHと危険度合いHの最大値を算出する。
Claims (13)
- 移動体を基準にした移動体座標系における前記移動体の運転者が視認している視認領域を、前記運転者の視線方向に基づいて算出する視認領域算出部と、
前記移動体座標系における前記運転者が認知している認知領域を、前記視認領域算出部が算出した視認領域に基づいて算出する認知領域算出部とを備え、
前記認知領域算出部は、前記移動体座標系における前記移動体の単位時間当たりの移動量を計測する移動量計測部が計測した単位時間当たりの移動量に基づいて、1単位時間前に算出した認知領域を移動させ、移動後の前記認知領域に前記視認領域算出部が算出した視認領域を加算することによって前記認知領域を更新する認知領域推定装置。 - 前記移動量計測部をさらに備えたことを特徴とする請求項1記載の認知領域推定装置。
- 前記移動体に設置されたミラー類の前記移動体座標系における設置位置および前記ミラー類に投影される投影領域を記録しているミラー類管理部を備え、
前記視認領域算出部は、前記ミラー類管理部が記録している前記ミラー類の設置位置に前記運転者の視線方向が含まれる場合、前記ミラー類の投影領域を前記運転者の視認領域とすることを特徴とする請求項1または請求項2記載の認知領域推定装置。 - 前記移動体の周囲を監視して運転者の視認状態に影響を与える情報を計測する周囲状況監視部を備え、
前記視認領域算出部は、前記周囲状況監視部の計測結果に基づいて、視認領域内の認知度合いの重みを調整することを特徴とする請求項1または請求項2記載の認知領域推定装置。 - 前記移動体座標系において前記移動体の周囲を監視して障害物を検出する周囲状況監視部を備え、
前記視認領域算出部は、前記周囲状況監視部が検出した障害物により死角となる死角領域を算出し、前記運転者の視認領域から前記死角領域を排除することを特徴とする請求項1または請求項2記載の認知領域推定装置。 - 前記視認領域算出部は、3次元空間における視認領域を2次元平面上に投影した場合における視認領域を模擬することを特徴とする請求項1または請求項2記載の認知領域推定装置。
- 前記認知領域算出部は、認知領域内の認知度合いを表す確率と視認領域内の認知度合いを表す確率とを加算することを特徴とする請求項1または請求項2記載の認知領域推定装置。
- 現在より先の時刻の視線方向を推定する仮想軌跡算出部を備え、
前記視認領域算出部は、前記仮想軌跡算出部が推定した視線方向に基づいて、現在より先の時刻の視認領域を算出することを特徴とする請求項1または請求項2記載の認知領域推定装置。 - 現在より先の時刻の前記移動体の移動量を推定する仮想軌跡算出部を備え、
前記認知領域算出部は、前記仮想軌跡算出部が推定した移動量に基づいて、現在より先の時刻の認知領域を算出することを特徴とする請求項1または請求項2記載の認知領域推定装置。 - 前記移動体座標系において前記移動体の周囲を監視して前記移動体の危険度合いを判定する周囲状況監視部と、
前記周囲状況監視部が判定した危険度合いおよび前記認知領域算出部が算出した認知領域を用いて、前記移動体の運転状態を判定する運転状態判定部とを備えることを特徴とする請求項1または請求項2記載の認知領域推定装置。 - 地図情報を用いて、前記移動体座標系における前記移動体の危険度合いを判定する地図情報管理部と、
前記地図情報管理部が判定した危険度合いおよび前記認知領域算出部が算出した認知領域を用いて、前記移動体の運転状態を判定する運転状態判定部とを備えることを特徴とする請求項1または請求項2記載の認知領域推定装置。 - 視認領域算出部が、移動体を基準にした移動体座標系における前記移動体の運転者が視認している視認領域を、前記運転者の視線方向に基づいて算出するステップと、
認知領域算出部が、前記移動体座標系における前記運転者が認知している認知領域を、前記視認領域算出部が算出した視認領域に基づいて算出するステップと、
前記認知領域算出部が、前記移動体座標系における前記移動体の単位時間当たりの移動量を取得するステップと、
前記認知領域算出部が、前記単位時間当たりの移動量に基づいて、1単位時間前に算出した認知領域を移動させ、移動後の前記認知領域に前記視認領域算出部が算出した視認領域を加算することによって前記認知領域を更新するステップとを備える認知領域推定方法。 - コンピュータに、
移動体を基準にした移動体座標系における前記移動体の運転者が視認している視認領域を、前記運転者の視線方向に基づいて算出する視認領域算出手順と、
前記移動体座標系における前記運転者が認知している認知領域を、前記視認領域算出手順で算出した視認領域に基づいて算出する認知領域算出手順と、
前記移動体座標系における前記移動体の単位時間当たりの移動量を取得する移動量取得手順と、
前記移動量取得手順で取得した移動量に基づいて、1単位時間前に算出した認知領域を移動させ、移動後の前記認知領域に、前記視認領域算出手順で算出した視認領域を加算することによって前記認知領域を更新する認知領域更新手順とを、実行させるための認知領域推定プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/069890 WO2018008085A1 (ja) | 2016-07-05 | 2016-07-05 | 認知領域推定装置、認知領域推定方法および認知領域推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018008085A1 JPWO2018008085A1 (ja) | 2018-09-27 |
JP6425857B2 true JP6425857B2 (ja) | 2018-11-21 |
Family
ID=60912590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018525859A Active JP6425857B2 (ja) | 2016-07-05 | 2016-07-05 | 認知領域推定装置、認知領域推定方法および認知領域推定プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10814788B2 (ja) |
JP (1) | JP6425857B2 (ja) |
CN (1) | CN109416884B (ja) |
DE (1) | DE112016006962B4 (ja) |
WO (1) | WO2018008085A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL260822B (en) * | 2018-07-26 | 2019-12-31 | Ophir Yoav | Method and system for a dynamic collision awareness envelope for a vehicle |
JP7438126B2 (ja) * | 2018-10-22 | 2024-02-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法及び情報処理システム |
DE102018008624A1 (de) * | 2018-10-31 | 2020-04-30 | Trw Automotive Gmbh | Steuerungssystem und Steuerungsverfahren zum samplingbasierten Planen möglicher Trajektorien für Kraftfahrzeuge |
CN110335306B (zh) * | 2019-04-23 | 2022-04-15 | 华中科技大学 | 注视点预测方法及装置 |
WO2022009303A1 (ja) * | 2020-07-07 | 2022-01-13 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
CN113391699B (zh) * | 2021-06-10 | 2022-06-21 | 昆明理工大学 | 一种基于动态眼动指标的眼势交互模型方法 |
JP2023034404A (ja) * | 2021-08-31 | 2023-03-13 | トヨタ自動車株式会社 | 歩行情報提供システム |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235495A (ja) * | 1995-02-24 | 1996-09-13 | Aqueous Res:Kk | 移動体用通信装置 |
JP3591192B2 (ja) * | 1996-10-25 | 2004-11-17 | トヨタ自動車株式会社 | 車両用情報提供装置 |
DE10325762A1 (de) * | 2003-06-05 | 2004-12-23 | Daimlerchrysler Ag | Bildverarbeitungssystem für ein Fahrzeug |
JP2005284473A (ja) * | 2004-03-29 | 2005-10-13 | Fuji Photo Film Co Ltd | 運転支援システム、自動車、および運転支援方法 |
JP4359546B2 (ja) * | 2004-09-06 | 2009-11-04 | 株式会社豊田中央研究所 | 交流モータの制御装置 |
EP1850595B1 (en) * | 2005-02-15 | 2016-07-13 | Panasonic Intellectual Property Management Co., Ltd. | Periphery supervising device, and periphery supervising method |
WO2008029802A1 (fr) * | 2006-09-04 | 2008-03-13 | Panasonic Corporation | Dispositif fournissant des informations de voyage |
JP4420002B2 (ja) * | 2006-09-14 | 2010-02-24 | トヨタ自動車株式会社 | 視線先推定装置 |
JP4949198B2 (ja) * | 2007-10-29 | 2012-06-06 | 三菱ふそうトラック・バス株式会社 | 車両の衝突被害軽減装置における監視対象物の検出装置 |
JP2009251761A (ja) | 2008-04-02 | 2009-10-29 | Toyota Motor Corp | 運転支援システム |
EP2312551A4 (en) * | 2008-08-05 | 2014-10-15 | Panasonic Corp | DEVICE, METHOD AND PROGRAM FOR EVALUATING A DRIVER'S AWARENESS |
JP5427421B2 (ja) * | 2009-01-19 | 2014-02-26 | 富士通コンポーネント株式会社 | タッチパネル |
JP5568761B2 (ja) | 2009-02-03 | 2014-08-13 | 富士重工業株式会社 | 視野推定装置、視野推定方法、コンピュータプログラム及び記録媒体 |
US8452528B2 (en) | 2009-05-12 | 2013-05-28 | Toyota Jidosha Kabushiki Kaisha | Visual recognition area estimation device and driving support device |
CN102111530B (zh) * | 2009-12-24 | 2013-01-02 | 财团法人工业技术研究院 | 移动物体检测装置与方法 |
US8384534B2 (en) * | 2010-01-14 | 2013-02-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Combining driver and environment sensing for vehicular safety systems |
CN201622540U (zh) * | 2010-04-23 | 2010-11-03 | 深圳市迅祥达科技有限公司 | 集成键盘型的无线鼠标 |
JP5387763B2 (ja) * | 2010-05-25 | 2014-01-15 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
JP5573418B2 (ja) | 2010-06-29 | 2014-08-20 | トヨタ自動車株式会社 | 警報装置 |
JP2012234409A (ja) * | 2011-05-02 | 2012-11-29 | Mazda Motor Corp | 車両用運転支援装置 |
JP2012242179A (ja) * | 2011-05-17 | 2012-12-10 | Sony Corp | 進行方位算出装置、進行方位算出方法及び進行方位算出プログラム並びにナビゲーション装置 |
JP5704239B2 (ja) * | 2011-08-10 | 2015-04-22 | トヨタ自動車株式会社 | 運転支援装置 |
US20130096820A1 (en) * | 2011-10-14 | 2013-04-18 | Continental Automotive Systems, Inc. | Virtual display system for a vehicle |
JP6138419B2 (ja) * | 2012-04-04 | 2017-05-31 | 株式会社ナビタイムジャパン | 経路情報提供システム、経路情報提供装置、経路情報提供方法、および、経路情報提供プログラム |
JP5888087B2 (ja) * | 2012-04-25 | 2016-03-16 | ソニー株式会社 | 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置 |
CN103863210A (zh) * | 2012-12-12 | 2014-06-18 | 华创车电技术中心股份有限公司 | 侧向视野影像显示系统 |
CN103885573B (zh) * | 2012-12-19 | 2017-03-01 | 财团法人车辆研究测试中心 | 车用显示系统的自动校正方法及其系统 |
CN103326658B (zh) * | 2013-06-18 | 2015-08-12 | 南京航空航天大学 | 一种内置式永磁同步电机无位置传感器控制方法 |
DE112013007216B4 (de) * | 2013-07-05 | 2019-03-14 | Mitsubishi Electric Corporation | Informationsanzeigevorrichtung |
JP6259680B2 (ja) | 2014-03-10 | 2018-01-10 | 株式会社デンソーアイティーラボラトリ | 安全確認判定装置、及び運転支援装置 |
CN105083291B (zh) * | 2014-04-25 | 2018-11-09 | 歌乐株式会社 | 基于视线检测的驾驶员辅助系统 |
CN104021676B (zh) * | 2014-06-25 | 2016-08-03 | 上海交通大学 | 基于车辆动态视频特征的车辆定位及车速测量方法 |
CN104121903B (zh) * | 2014-07-04 | 2017-06-30 | 沈阳航空航天大学 | 一种基于边界值问题的滚动航路规划方法 |
JP2016170688A (ja) * | 2015-03-13 | 2016-09-23 | 株式会社東海理化電機製作所 | 運転支援装置及び運転支援システム |
CN104794938B (zh) * | 2015-04-17 | 2018-09-18 | 吕栋雷 | 一种基于车车协作通信的豪车告警系统及方法 |
CN105277950B (zh) * | 2015-09-29 | 2017-09-15 | 大连楼兰科技股份有限公司 | 基于车体坐标系的激光雷达坐标转换方法 |
-
2016
- 2016-07-05 CN CN201680087180.9A patent/CN109416884B/zh active Active
- 2016-07-05 US US16/304,904 patent/US10814788B2/en active Active
- 2016-07-05 DE DE112016006962.6T patent/DE112016006962B4/de active Active
- 2016-07-05 JP JP2018525859A patent/JP6425857B2/ja active Active
- 2016-07-05 WO PCT/JP2016/069890 patent/WO2018008085A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2018008085A1 (ja) | 2018-09-27 |
CN109416884A (zh) | 2019-03-01 |
US20190275946A1 (en) | 2019-09-12 |
CN109416884B (zh) | 2021-02-19 |
WO2018008085A1 (ja) | 2018-01-11 |
DE112016006962T5 (de) | 2019-02-28 |
US10814788B2 (en) | 2020-10-27 |
DE112016006962B4 (de) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6425857B2 (ja) | 認知領域推定装置、認知領域推定方法および認知領域推定プログラム | |
EP3327464B1 (en) | Algorithm and infrastructure for robust and efficient vehicle localization | |
CN109215433B (zh) | 用于自动驾驶仿真的基于视觉的驾驶场景生成器 | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
CN107031650B (zh) | 基于驾驶员肢体语言来预测车辆运动 | |
US10365649B2 (en) | Lane curb assisted off-lane checking and lane keeping system for autonomous driving vehicles | |
EP3361278A1 (en) | Autonomous vehicle localization based on walsh kernel projection technique | |
US11230297B2 (en) | Pedestrian probability prediction system for autonomous vehicles | |
EP3405374B1 (en) | Deceleration curb-based direction checking and lane keeping system for autonomous driving vehicles | |
EP3378707A1 (en) | Collision prediction and forward airbag deployment system for autonomous driving vehicles | |
CN103874931B (zh) | 用于求取车辆的环境中的对象的位置的方法和设备 | |
US20180307233A1 (en) | System and method for trajectory re-planning of autonomous driving vehicles | |
US10232772B2 (en) | Driver assistance system | |
RU2707695C2 (ru) | Способ, система и машиночитаемые носители хранения данных для обнаружения листвы с использованием данных дальности | |
US11440471B2 (en) | Automated warning system to detect a front vehicle slips backwards | |
EP2990266A1 (en) | Generating spatial information for a heads-up display | |
KR20180094992A (ko) | 표시 장치의 제어 방법 및 표시 장치 | |
JP6259680B2 (ja) | 安全確認判定装置、及び運転支援装置 | |
EP3896490A1 (en) | Systems and methods to enhance early detection of performance induced risks for an autonomous driving vehicle | |
JP4277678B2 (ja) | 車両運転支援装置 | |
JP2015191437A (ja) | 運転支援装置 | |
EP3697659B1 (en) | Method and system for generating reference lines for autonomous driving vehicles | |
JP7371679B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
GB2609482A (en) | Method and system for creating a virtual lane for a vehicle | |
CN118289023A (zh) | 车辆控制方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180619 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180619 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180619 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6425857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |