JP6812894B2 - 周辺監視装置 - Google Patents
周辺監視装置 Download PDFInfo
- Publication number
- JP6812894B2 JP6812894B2 JP2017085150A JP2017085150A JP6812894B2 JP 6812894 B2 JP6812894 B2 JP 6812894B2 JP 2017085150 A JP2017085150 A JP 2017085150A JP 2017085150 A JP2017085150 A JP 2017085150A JP 6812894 B2 JP6812894 B2 JP 6812894B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- pedestrian
- vehicle
- peripheral monitoring
- traveling direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 title claims description 109
- 238000012806 monitoring device Methods 0.000 title claims description 32
- 238000000034 method Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 description 87
- 238000012937 correction Methods 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 22
- 101150116409 dys-1 gene Proteins 0.000 description 13
- 238000000605 extraction Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Description
車両(10)に搭載され、前記車両の進行方向の領域を撮影することにより進行方向画像を取得する。
前記進行方向画像に含まれる歩行者の当該進行方向画像における位置(画像縦位置Px及び画像横位置Py)に基づいて当該歩行者の前記車両に対する位置を表す歩行者位置値(縦位置Dx及び横位置Dy)を取得する位置取得処理を所定時間(時間間隔Ts)が経過する毎に実行する(図8のステップ825)。
前記歩行者位置値が取得される毎に当該取得された歩行者位置値に基づいて位置処理値(処理後縦位置Dpx及び処理後横位置Dpy)を決定する(図8のステップ830及び図9)。
前記位置処理値が新たに決定された時点である第1時点において当該新たに決定された位置処理値に基づいて前記車両が前記歩行者と衝突する可能性が高いか否かを判定する(図8のステップ855)。
前記第1時点にて取得された前記歩行者位置値が、前記第1時点から前記所定時間だけ前の時点である第2時点での前記位置処理値(前回縦位置Dox及び前回横位置Doy)に所定の第1限界値(第1縦限界値Dxth1及び第1横限界値Dyth1)を加えた値である第1特定値よりも大きいとき、前記第1特定値を前記第1時点での前記位置処理値として決定する(図9のステップ915及びステップ940)。
前記第1時点にて取得された前記歩行者位置値が、前記第2時点での前記位置処理値から所定の第2限界値(第2縦限界値Dxth2及び第2横限界値Dyth2)を減じた値である第2特定値よりも小さいとき、前記第2特定値を前記第1時点での前記位置処理値として決定する(図9のステップ925及びステップ950)。
前記第1時点にて取得された前記歩行者位置値が、前記第1特定値以下であり且つ前記第2特定値以上であるとき、前記第1時点にて取得された前記歩行者位置値を前記第1時点での前記位置処理値として決定する(図9のステップ930及びステップ955)。
前記位置処理部は、
前記車両の走行速度の大きさが大きくなるほど前記第1限界値及び前記第2限界値のうちの少なくとも一方の値が大きくなるように当該少なくとも一方の値を変更する。
前記カメラは、
前記車両と前記進行方向に存在する物体との距離が長いほど前記進行方向画像における当該物体の位置(画像縦位置Px)が同画像中の上方に位置するように当該進行方向画像を取得し、
前記歩行者位置取得部は、
前記歩行者位置値として前記車両と前記歩行者との前記車両進行方向の距離を表す値(縦位置Dx)を取得するように構成され、且つ、前記進行方向画像において前記歩行者の足元の位置が上方であるほど前記歩行者位置値が表す前記距離が大きくなるように、前記歩行者位置値を取得する。
前記衝突判定部は、
前記位置処理値が、前記車両が走行したときに通過すると推定される領域である経路領域(Ap)内であることを表す値であることを、前記車両が前記歩行者と衝突する可能性が高いと判定するための必要条件として採用する(条件(A)及び図8のステップ840)。
前記衝突判定部は、
前記位置処理値に基づいて所定時間(予想時間Tf)経過後の前記歩行者の前記車両に対する位置である予想位置(予想縦位置Dfx及び予想横位置Dfy)を推定し、且つ、
前記予想位置が、前記車両が走行したときに通過すると推定される領域である経路領域(Ap)内であることを表す値であることを、前記車両が前記歩行者と衝突する可能性が高いと判定するための必要条件として採用する(条件(B)及び図8のステップ840)。
周辺監視ECU20は、車両10が後進するとき、車両10の後方にいる歩行者と衝突する可能性が高ければ、車両10の運転者へその旨を告知(警告)すると共にブレーキアクチュエータ66に制動力Bfを発生させ、以て、車両10を停止させる衝突回避制御を実行する。
(A)現時点において経路領域Ap内にいる歩行者。
(B)現時点から所定の予想時間Tf(本実施形態において、2秒)が経過したときに経路領域Ap内にいる歩行者。
Dcreq=(1/2)・Vs2/Dd ……(1)
次に、周辺監視ECU20の具体的作動について説明する。周辺監視ECU20のCPU(以下、単に「CPU」とも称呼される。)は、時間間隔Tsが経過する毎に図8にフローチャートにより表された「衝突回避制御ルーチン」を実行する。
Claims (5)
- 車両に搭載され、前記車両の進行方向の領域を撮影することにより進行方向画像を取得する1つのカメラと、
前記進行方向画像に含まれる歩行者の当該進行方向画像における位置に基づいて当該歩行者の前記車両に対する位置を表す歩行者位置値を取得する位置取得処理を所定時間が経過する毎に実行する歩行者位置取得部と、
前記歩行者位置値が取得される毎に当該取得された歩行者位置値に基づいて位置処理値を決定する位置処理部と、
前記位置処理値が新たに決定された時点である第1時点において当該新たに決定された位置処理値に基づいて前記車両が前記歩行者と衝突する可能性が高いか否かを判定する衝突判定部と、
を備える周辺監視装置において、
前記位置処理部は、
前記第1時点にて取得された前記歩行者位置値が、前記第1時点から前記所定時間だけ前の時点である第2時点での前記位置処理値に所定の第1限界値を加えた値である第1特定値よりも大きいとき、前記第1特定値を前記第1時点での前記位置処理値として決定し、
前記第1時点にて取得された前記歩行者位置値が、前記第2時点での前記位置処理値から所定の第2限界値を減じた値である第2特定値よりも小さいとき、前記第2特定値を前記第1時点での前記位置処理値として決定し、
前記第1時点にて取得された前記歩行者位置値が、前記第1特定値以下であり且つ前記第2特定値以上であるとき、前記第1時点にて取得された前記歩行者位置値を前記第1時点での前記位置処理値として決定する、
ように構成された周辺監視装置。 - 請求項1に記載の周辺監視装置において、
前記位置処理部は、
前記車両の走行速度の大きさが大きくなるほど前記第1限界値及び前記第2限界値のうちの少なくとも一方の値が大きくなるように当該少なくとも一方の値を変更するように構成された周辺監視装置。 - 請求項1又は請求項2に記載の周辺監視装置において、
前記カメラは、
前記車両と前記進行方向に存在する物体との距離が長いほど前記進行方向画像における当該物体の位置が同画像中の上方に位置するように当該進行方向画像を取得するように構成され、
前記歩行者位置取得部は、
前記歩行者位置値として前記車両と前記歩行者との前記車両進行方向の距離を表す値を取得するように構成され、且つ、前記進行方向画像において前記歩行者の足元の位置が上方であるほど前記歩行者位置値が表す前記距離が大きくなるように、前記歩行者位置値を取得するように構成された、
周辺監視装置。 - 請求項1乃至請求項3の何れか一項に記載の周辺監視装置において、
前記衝突判定部は、
前記位置処理値が、前記車両が走行したときに通過すると推定される領域である経路領域内であることを表す値であることを、前記車両が前記歩行者と衝突する可能性が高いと判定するための必要条件として採用するように構成された、
周辺監視装置。 - 請求項1乃至請求項4の何れか一項に記載の周辺監視装置において、
前記衝突判定部は、
前記位置処理値に基づいて所定時間経過後の前記歩行者の前記車両に対する位置である予想位置を推定し、且つ、
前記予想位置が、前記車両が走行したときに通過すると推定される領域である経路領域内であることを表す値であることを、前記車両が前記歩行者と衝突する可能性が高いと判定するための必要条件として採用する、
ように構成された周辺監視装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017085150A JP6812894B2 (ja) | 2017-04-24 | 2017-04-24 | 周辺監視装置 |
US15/958,619 US10691960B2 (en) | 2017-04-24 | 2018-04-20 | Surrounding monitoring apparatus |
DE102018109638.0A DE102018109638A1 (de) | 2017-04-24 | 2018-04-23 | Umfeldüberwachungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017085150A JP6812894B2 (ja) | 2017-04-24 | 2017-04-24 | 周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018185557A JP2018185557A (ja) | 2018-11-22 |
JP6812894B2 true JP6812894B2 (ja) | 2021-01-13 |
Family
ID=63714368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017085150A Active JP6812894B2 (ja) | 2017-04-24 | 2017-04-24 | 周辺監視装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10691960B2 (ja) |
JP (1) | JP6812894B2 (ja) |
DE (1) | DE102018109638A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7238670B2 (ja) * | 2019-07-23 | 2023-03-14 | トヨタ自動車株式会社 | 画像表示装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4536674B2 (ja) | 2006-03-27 | 2010-09-01 | 本田技研工業株式会社 | 歩行者認識装置 |
JP5251800B2 (ja) | 2009-09-16 | 2013-07-31 | 株式会社豊田中央研究所 | 対象物追跡装置及びプログラム |
JP6337377B2 (ja) * | 2014-08-21 | 2018-06-06 | パナソニックIpマネジメント株式会社 | 検知装置、検知システム、およびプログラム |
JP2016115211A (ja) * | 2014-12-16 | 2016-06-23 | ダイムラー・アクチェンゲゼルシャフトDaimler AG | 位置認識方法 |
JP6409680B2 (ja) * | 2015-05-29 | 2018-10-24 | 株式会社デンソー | 運転支援装置、運転支援方法 |
JP6772059B2 (ja) * | 2016-12-28 | 2020-10-21 | 株式会社デンソーテン | 電子制御装置、電子制御システムおよび電子制御方法 |
-
2017
- 2017-04-24 JP JP2017085150A patent/JP6812894B2/ja active Active
-
2018
- 2018-04-20 US US15/958,619 patent/US10691960B2/en active Active
- 2018-04-23 DE DE102018109638.0A patent/DE102018109638A1/de active Granted
Also Published As
Publication number | Publication date |
---|---|
US10691960B2 (en) | 2020-06-23 |
US20180307923A1 (en) | 2018-10-25 |
DE102018109638A1 (de) | 2018-10-25 |
JP2018185557A (ja) | 2018-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10479363B2 (en) | Driving assist apparatus | |
CN108238047B (zh) | 驾驶辅助装置 | |
JP6961995B2 (ja) | 運転支援装置 | |
CN109017777B (zh) | 驾驶辅助装置 | |
US9574538B2 (en) | Idling stop control system for vehicle | |
JP6252548B2 (ja) | 車速制限装置及び車速制御装置 | |
JP5890803B2 (ja) | 車両の運転支援制御装置 | |
US8384561B2 (en) | Parking assist device | |
JP6372228B2 (ja) | 衝突予想時間算出装置 | |
JP6816658B2 (ja) | 物標情報取得装置 | |
JP6805992B2 (ja) | 周辺監視装置 | |
JP6828602B2 (ja) | 物標検出装置 | |
US20230382455A1 (en) | Collision avoidance support apparatus | |
JP6812894B2 (ja) | 周辺監視装置 | |
JP6828603B2 (ja) | 物標検出装置 | |
JP2019012345A (ja) | 右左折時衝突被害軽減装置 | |
JP6455380B2 (ja) | 車両の運転支援装置、及び運転支援方法 | |
JP7144271B2 (ja) | 道路形状認識装置 | |
CN114084163A (zh) | 用于车辆的停止范围指示装置和方法 | |
JP2007320459A (ja) | 車両の制御装置 | |
JP2020023249A (ja) | 制動力制御装置 | |
JP5915768B2 (ja) | 車両用加速抑制装置 | |
JP6082293B2 (ja) | 車両用白線認識装置 | |
JP2022009030A (ja) | 運転支援装置 | |
JP2023117563A (ja) | 走行環境認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6812894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |