JP6132412B2 - 車外環境認識装置 - Google Patents
車外環境認識装置 Download PDFInfo
- Publication number
- JP6132412B2 JP6132412B2 JP2015186781A JP2015186781A JP6132412B2 JP 6132412 B2 JP6132412 B2 JP 6132412B2 JP 2015186781 A JP2015186781 A JP 2015186781A JP 2015186781 A JP2015186781 A JP 2015186781A JP 6132412 B2 JP6132412 B2 JP 6132412B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- whiteout
- vehicle
- range
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 230000009191 jumping Effects 0.000 description 8
- 229920006395 saturated elastomer Polymers 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、自車両1内に設けられた、撮像装置110、車外環境認識装置120および車両制御装置(ECU:Engine Control Unit)130を含んで構成される。
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、記憶部152と、中央制御部154とを含んで構成される。
画像処理部160は、2つの撮像装置110それぞれからカラー画像の画像データ(第1画像および第2画像)を取得し、第1画像の一方から任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の第1画像から検索する、所謂パターンマッチングを用いて視差を導き出す。また、画像処理部160は、第2画像に対してもパターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像したカラー画像の画面横方向を示し、「垂直」は、撮像したカラー画像の画面縦方向を示す。
図4および図5は、車両特定部164の処理を説明するための説明図である。車両特定部164は、まず、第1画像に基づく距離画像212の検出領域214を、水平方向に対して複数の分割領域216に分割する。すると、分割領域216は図4(a)のような短冊形状になる。このような短冊形状の分割領域216は、本来、例えば、水平幅4画素のものが150列配列してなるが、ここでは、説明の便宜上、検出領域214を16等分したもので説明する。
ところで、第2画像は、例えば、特定の発光源(ここでは、点灯状態のブレーキランプ)を判別可能な第2露光態様で撮像した画像である。ここで、ブレーキランプのように自発光するものは、太陽や街灯の明るさに拘わらず、高いカラー値を取得することができる。特に、ブレーキランプの点灯時の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様(例えば、短時間の露光)で撮像することで、ブレーキランプに相当する画素のみを容易に抽出することが可能である。
ここで、日照条件等の外部環境によっては、ボディ、ナンバープレート、ブレーキランプカバー、リヤウインドウ等に太陽光や街灯光等が反射し、第2画像において反射光が反射した領域のカラー値が高くなる。したがって、特定した発光源候補のカラー値と固定的な閾値とを単純に比較するだけでは、反射光が反射した領域を点灯状態であるブレーキランプと誤判定しまうおそれがある。例えば、ブレーキランプが点灯していないのに、太陽光が反射した領域のカラー値が固定の閾値より高くなってしまい、ブレーキランプが点灯していると誤判定してしまうおそれがある。
図11は、白とび範囲252および非白とび範囲254に存在する発光源候補に対するカラー条件および点灯判定閾値を示す図である。詳しくは後述するように、面積変換部178は、図11に示すカラー条件を用いて発光源候補の画素数を面積に変換し、ランプ判定部180は、図11に示す点灯判定閾値を用いて、車両領域240内に位置する発光源候補が点灯状態のブレーキランプであるか否かを判定する。
次に、中央制御部154が実行する、上記した画像処理、車両特定処理、発光源候補特定処理、白とび範囲設定処理、ランプ判定処理を含む車外環境認識処理の流れについて説明する。
164 車両特定部
166 発光源候補特定部
168 白とび発光源特定部
170 形状判定部
172 移動量導出部
174 移動白とび発光源特定部
176 白とび範囲設定部
178 面積変換部
180 ランプ判定部
Claims (5)
- コンピュータが、
撮像装置により連続的に撮像された画像それぞれについて、先行車両、および、該先行車両が占有する車両領域を特定する車両特定部と、
特定された前記車両領域における、発光源の候補を発光源候補として特定する発光源候補特定部と、
特定された前記車両領域における、所定の白とびの条件を満たした領域を白とび発光源として特定する白とび発光源特定部と、
前記車両領域に対する前記白とび発光源の所定期間での移動量を導出する移動量導出部と、
前記白とび発光源の前記移動量が所定の移動量閾値以上である場合に、該白とび発光源を移動白とび発光源として特定する移動白とび発光源特定部と、
前記移動白とび発光源に対する所定の範囲を白とび範囲として設定する白とび範囲設定部と、
特定された前記発光源候補のうち、前記白とび範囲内に位置する発光源候補と、該白とび範囲以外に位置する発光源候補とでは、異なる条件に基づいて、点灯状態のランプであるか否かを判定するランプ判定部として機能することを特徴とする車外環境認識装置。 - 前記ランプ判定部は、
特定された前記発光源候補のうち、前記白とび範囲以外に位置する発光源候補に対しては、所定の強度のカラー条件を満たした画素数または画素面積に基づいて点灯状態のランプであるか否かを判定し、該白とび範囲内に位置する発光源候補に対しては、前記カラー条件より高い強度のカラー条件を満たした画素数または画素面積に基づいて点灯状態のランプであるか否かを判定することを特徴とする請求項1に記載の車外環境認識装置。 - 前記白とび発光源特定部により特定された前記白とび発光源の円形度合いを導出し、導出した円形度合いが所定の円形閾値以上である白とび発光源を抽出する形状判定部をさらに備え、
前記移動量導出部は、
前記形状判定部により抽出された白とび発光源の移動量を導出することを特徴とする請求項1または2に記載の車外環境認識装置。 - 白とび範囲設定部は、
前記移動白とび発光源を中心として垂直方向に延長した前記白とび範囲を設定することを特徴とする請求項1から3のいずれか1項に記載の車外環境認識装置。 - 前記コンピュータは、特定された前記発光源候補のうち、前記白とび範囲以外に位置する発光源候補に対しては、前記所定の強度のカラー条件を満たした画素数を計数し、該画素数を先行車両との相対距離に基づいて面積に変換し、該白とび範囲内に位置する発光源候補に対しては、該所定の強度のカラー条件より高い強度のカラー条件を満たした画素数を計数し、該画素数を前記先行車両との相対距離に基づいて面積に変換する面積変換部としてさらに機能し、
前記ランプ判定部は、変換された面積が、前記先行車両のランプが点灯しているとされる所定の点灯判定閾値以上である場合、該発光源候補を点灯状態のランプであると判定することを特徴とする請求項2に記載の車外環境認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186781A JP6132412B2 (ja) | 2015-09-24 | 2015-09-24 | 車外環境認識装置 |
CN201610831424.1A CN107045619B (zh) | 2015-09-24 | 2016-09-19 | 车外环境识别装置 |
US15/269,378 US9904860B2 (en) | 2015-09-24 | 2016-09-19 | Vehicle exterior environment recognition apparatus |
DE102016117780.6A DE102016117780B4 (de) | 2015-09-24 | 2016-09-21 | Fahrzeugaussenumgebung-Erkennungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186781A JP6132412B2 (ja) | 2015-09-24 | 2015-09-24 | 車外環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017062582A JP2017062582A (ja) | 2017-03-30 |
JP6132412B2 true JP6132412B2 (ja) | 2017-05-24 |
Family
ID=58282006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015186781A Active JP6132412B2 (ja) | 2015-09-24 | 2015-09-24 | 車外環境認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9904860B2 (ja) |
JP (1) | JP6132412B2 (ja) |
CN (1) | CN107045619B (ja) |
DE (1) | DE102016117780B4 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6236039B2 (ja) * | 2015-06-26 | 2017-11-22 | 株式会社Subaru | 車外環境認識装置 |
US10614326B2 (en) * | 2017-03-06 | 2020-04-07 | Honda Motor Co., Ltd. | System and method for vehicle control based on object and color detection |
US10380438B2 (en) * | 2017-03-06 | 2019-08-13 | Honda Motor Co., Ltd. | System and method for vehicle control based on red color and green color detection |
CN108961357B (zh) * | 2017-05-17 | 2023-07-21 | 浙江宇视科技有限公司 | 一种交通信号灯过爆图像强化方法及装置 |
US10560629B2 (en) | 2017-05-23 | 2020-02-11 | Google Llc | Systems and methods for automatic exposure in high dynamic range video capture systems |
US11403865B2 (en) * | 2017-07-25 | 2022-08-02 | Nec Corporation | Number-of-occupants detection system, number-of-occupants detection method, and program |
JP2019053619A (ja) * | 2017-09-15 | 2019-04-04 | 株式会社東芝 | 信号識別装置、信号識別方法、及び運転支援システム |
IL258413A (en) * | 2018-03-26 | 2018-05-31 | Michael Elgrably | Communicating vessels |
CN110827558B (zh) * | 2018-06-19 | 2020-12-22 | 嘉兴觅特电子商务有限公司 | 基于车速、高亮区域高度和图像的交通信号灯识别装置 |
JP6731020B2 (ja) * | 2018-09-03 | 2020-07-29 | 株式会社Subaru | 車外環境認識装置および車外環境認識方法 |
CN110570389B (zh) * | 2018-09-18 | 2020-07-17 | 阿里巴巴集团控股有限公司 | 车辆损伤识别方法及装置 |
US11222218B2 (en) * | 2019-03-11 | 2022-01-11 | Subaru Corporation | Vehicle exterior environment detection apparatus |
JP7356319B2 (ja) * | 2019-10-17 | 2023-10-04 | 株式会社Subaru | 車外環境認識装置 |
JP7381388B2 (ja) * | 2020-04-03 | 2023-11-15 | トヨタ自動車株式会社 | 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3349060B2 (ja) * | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
JPH11203446A (ja) * | 1998-01-12 | 1999-07-30 | Toyota Motor Corp | 撮影対象認識装置 |
JP4953498B2 (ja) | 2000-07-12 | 2012-06-13 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
EP2577955B1 (en) * | 2011-02-18 | 2014-07-30 | DigitalOptics Corporation Europe Limited | Dynamic range extension by combining differently exposed hand-held device-acquired images |
JP6176028B2 (ja) * | 2013-09-26 | 2017-08-09 | 株式会社デンソー | 車両制御システム、画像センサ |
US9690997B2 (en) * | 2011-06-06 | 2017-06-27 | Denso Corporation | Recognition object detecting apparatus |
JP5892876B2 (ja) * | 2011-07-28 | 2016-03-23 | クラリオン株式会社 | 車載用環境認識装置 |
US8957788B2 (en) | 2011-10-28 | 2015-02-17 | Xerox Corporation | Vehicle reverse detection method and system via video acquisition and processing |
JP5499011B2 (ja) * | 2011-11-17 | 2014-05-21 | 富士重工業株式会社 | 車外環境認識装置および車外環境認識方法 |
JP6210917B2 (ja) | 2014-03-26 | 2017-10-11 | トスレック株式会社 | ナノバブル製造装置 |
EP3158833B1 (en) * | 2014-06-19 | 2018-10-10 | Philips Lighting Holding B.V. | High-dynamic-range coded light detection |
-
2015
- 2015-09-24 JP JP2015186781A patent/JP6132412B2/ja active Active
-
2016
- 2016-09-19 CN CN201610831424.1A patent/CN107045619B/zh active Active
- 2016-09-19 US US15/269,378 patent/US9904860B2/en active Active
- 2016-09-21 DE DE102016117780.6A patent/DE102016117780B4/de active Active
Also Published As
Publication number | Publication date |
---|---|
CN107045619B (zh) | 2018-07-06 |
US9904860B2 (en) | 2018-02-27 |
JP2017062582A (ja) | 2017-03-30 |
DE102016117780A1 (de) | 2017-03-30 |
DE102016117780B4 (de) | 2018-10-04 |
US20170091566A1 (en) | 2017-03-30 |
CN107045619A (zh) | 2017-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6132412B2 (ja) | 車外環境認識装置 | |
JP6034923B1 (ja) | 車外環境認識装置 | |
JP6236039B2 (ja) | 車外環境認識装置 | |
JP6420650B2 (ja) | 車外環境認識装置 | |
JP5906224B2 (ja) | 車外環境認識装置 | |
JP5886809B2 (ja) | 車外環境認識装置 | |
JP6335037B2 (ja) | 車外環境認識装置 | |
JP5955291B2 (ja) | フィルタリング装置および環境認識システム | |
JP6259335B2 (ja) | 車外環境認識装置 | |
JP6240475B2 (ja) | 車外環境認識装置 | |
JP6329417B2 (ja) | 車外環境認識装置 | |
JP5898535B2 (ja) | 撮像ユニットの露光制御装置 | |
JP7261006B2 (ja) | 車外環境認識装置 | |
JP7229032B2 (ja) | 車外物体検出装置 | |
JP6378547B2 (ja) | 車外環境認識装置 | |
JP6174960B2 (ja) | 車外環境認識装置 | |
JP6654870B2 (ja) | 車外環境認識装置 | |
JP6335065B2 (ja) | 車外環境認識装置 | |
JP6273156B2 (ja) | 歩行者認識装置 | |
JP6412345B2 (ja) | 車外環境認識装置 | |
JP6313667B2 (ja) | 車外環境認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6132412 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |