JP6455596B2 - 灯火器検出装置及び灯火器検出方法 - Google Patents
灯火器検出装置及び灯火器検出方法 Download PDFInfo
- Publication number
- JP6455596B2 JP6455596B2 JP2017527026A JP2017527026A JP6455596B2 JP 6455596 B2 JP6455596 B2 JP 6455596B2 JP 2017527026 A JP2017527026 A JP 2017527026A JP 2017527026 A JP2017527026 A JP 2017527026A JP 6455596 B2 JP6455596 B2 JP 6455596B2
- Authority
- JP
- Japan
- Prior art keywords
- edge portion
- image
- lamp
- luminance
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 49
- 230000001360 synchronised effect Effects 0.000 claims description 51
- 238000009499 grossing Methods 0.000 claims description 26
- 238000003708 edge detection Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 description 69
- 238000012545 processing Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Description
次に、図面を参照して、本発明の実施の形態を詳細に説明する。
第1実施形態では、エッジ部における隣接する画素の間の輝度差である輝度勾配が緩やかになるように、敢えて、エッジ部の輝度差を小さく調整したうえ(S05)で、電力の交流周期と同期して輝度が変化する同期画素を抽出する(S07)。エッジ部の隣接する画素の間の輝度差である輝度勾配が滑らかになる。エッジ部の高輝度領域がカメラ画像上を移動すると、エッジ部が移動した画素の輝度はステップ応答で変化するため、広い周波数帯域で輝度値がノイズとして発生する。移動による輝度変化が大きいほど、また、移動速度が速いほど、ノイズ量が大きくなる。灯火器に供給される電力交流周期の周波数帯域にノイズが発生すると、ノイズも同期して輝度が変化する同期画素として抽出してしまう。そのため、エッジ部における隣接する画素の間の輝度差である輝度勾配が緩やかになるようにエッジ部の輝度差を小さく調整されることによって、エッジ部が画像上の位置を移動することによる画素の輝度のステップ応答によるノイズを同期画素として誤検出することが抑制されるので、同期画像に含まれるノイズが減少し、安定して灯火器を検出することができる。
第1実施形態(図2A)では、エッジ検出及び平滑処理の対象とするエッジ部に関し、それが延在する方向(水平、垂直)を限定していない。車両が走行している実走行環境において、車体は上下に振動するため、エッジ部の移動量は、水平方向よりも垂直方向が多くなる。そこで、画像処理負担を軽減してノイズを効率的に除去するために、エッジ部のうち、水平方向に連続するエッジ部のみ、その輝度差を小さく調整するようにしてもよい。
カメラ画像におけるエッジ部の位置変動の速度が速くなると、エッジ部が移動した領域にノイズが発生しやすくなる。カメラ画像におけるエッジ部の位置変動の速度が遅ければ、ノイズは発生し難いため、エッジ部を平滑化せずにそのまま残して、検出領域を広く確保することが望ましい。第2実施形態では、カメラ画像におけるエッジ部の変動速度に応じて、ノイズ抑制の必要性を判断する灯火器検出装置及び灯火器検出方法を説明する。
13 車両挙動判断回路
21 エッジ検出回路
22 エッジ平滑回路
23 基準信号設定回路
24 同期画像生成回路(同期画素抽出回路)
26 灯火器検出回路
31a、31b エッジ部
Claims (4)
- 車両に搭載され、前記車両の周囲を撮像してカメラ画像を取得する撮像部と、
前記カメラ画像の中から、所定値以上の輝度差を有するエッジ部を検出するエッジ検出回路と、
前記エッジ部の画素と前記エッジ部に隣接する画素とに対して前記エッジ部の輝度差を小さく調整した平滑画像を生成するエッジ平滑回路と、
前記平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する同期画素抽出回路と、
前記同期画素の中から、前記灯火器を検出する灯火器検出回路と、
を備えることを特徴とする灯火器検出装置。 - 前記エッジ平滑回路は、前記エッジ部のうち、水平方向に連続するエッジ部の輝度差を小さく調整することを特徴とする請求項1に記載の灯火器検出装置。
- 前記カメラ画像における前記エッジ部の位置変動の速度が基準値以上であるか否かを判断する車両挙動判断回路を更に備え、
前記同期画素抽出回路は、前記エッジ部の位置変動の速度が基準値以上である場合に、前記平滑画像の中から、前記灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、
同期画素抽出回路は、前記エッジ部の位置変動の速度が基準値未満である場合に、前記カメラ画像の中から、前記灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する
ことを特徴とする請求項1又は2に記載の灯火器検出装置。
- 車両に搭載された撮像部を用いて、前記車両の周囲を撮像してカメラ画像を取得し、
前記カメラ画像の中から、所定値以上の輝度差を有するエッジ部を検出し、
前記エッジ部の画素と前記エッジ部に隣接する画素とに対して前記エッジ部の輝度差を小さく調整した平滑画像を生成し、
前記平滑画像の中から、灯火器に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、
前記同期画素の中から、前記灯火器を検出する
ことを特徴とする灯火器検出方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/069599 WO2017006451A1 (ja) | 2015-07-08 | 2015-07-08 | 灯火器検出装置及び灯火器検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017006451A1 JPWO2017006451A1 (ja) | 2018-04-19 |
JP6455596B2 true JP6455596B2 (ja) | 2019-01-23 |
Family
ID=57685055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017527026A Active JP6455596B2 (ja) | 2015-07-08 | 2015-07-08 | 灯火器検出装置及び灯火器検出方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10074022B2 (ja) |
EP (1) | EP3321911B1 (ja) |
JP (1) | JP6455596B2 (ja) |
KR (1) | KR101920186B1 (ja) |
CN (1) | CN107851382B (ja) |
BR (1) | BR112018000133B1 (ja) |
CA (1) | CA2991471C (ja) |
MX (1) | MX364013B (ja) |
RU (1) | RU2668885C1 (ja) |
WO (1) | WO2017006451A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102233391B1 (ko) * | 2014-06-16 | 2021-03-29 | 팅크웨어(주) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 |
CN112131414A (zh) * | 2020-09-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 信号灯的图像的标注方法、装置、电子设备以及路侧设备 |
US11681780B2 (en) * | 2020-09-30 | 2023-06-20 | Nissan North America, Inc. | Annotation and mapping for vehicle operation in low-confidence object detection conditions |
CN112700410A (zh) * | 2020-12-28 | 2021-04-23 | 北京百度网讯科技有限公司 | 信号灯位置确定方法、装置、存储介质、程序、路侧设备 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03217807A (ja) * | 1990-01-23 | 1991-09-25 | Dainippon Screen Mfg Co Ltd | 合焦点条件検出方法 |
JPH05316361A (ja) * | 1992-04-24 | 1993-11-26 | Sony Corp | ブロック歪除去フィルタ |
US6611610B1 (en) * | 1997-04-02 | 2003-08-26 | Gentex Corporation | Vehicle lamp control |
EP1504276B1 (en) * | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
JP4253271B2 (ja) * | 2003-08-11 | 2009-04-08 | 株式会社日立製作所 | 画像処理システム及び車両制御システム |
JP2005301518A (ja) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | 信号機検出装置および信号機検出方法 |
JP4783431B2 (ja) * | 2006-09-28 | 2011-09-28 | パイオニア株式会社 | 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体 |
JP2008134916A (ja) * | 2006-11-29 | 2008-06-12 | Denso Corp | 車載用車両前方認識装置 |
JP4746575B2 (ja) * | 2007-03-16 | 2011-08-10 | 株式会社東芝 | 画像処理装置及びその方法 |
AU2007361004A1 (en) * | 2007-11-16 | 2009-05-22 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
CN102834309B (zh) * | 2010-02-26 | 2016-12-21 | 金泰克斯公司 | 自动车辆设备监控、报警和控制系统 |
EP2439716B1 (en) * | 2010-09-16 | 2013-11-13 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device |
JP2013097676A (ja) | 2011-11-02 | 2013-05-20 | Honda Elesys Co Ltd | 到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置 |
RU116258U1 (ru) * | 2011-11-15 | 2012-05-20 | Игорь Юрьевич Мацур | Система регулирования движения транспортных средств |
JP5399578B2 (ja) * | 2012-05-16 | 2014-01-29 | シャープ株式会社 | 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 |
JP2014006885A (ja) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 段差認識装置、段差認識方法及び段差認識用プログラム |
EP2871101B1 (en) * | 2012-07-03 | 2020-06-17 | Clarion Co., Ltd. | Vehicle surrounding monitoring device |
US9056395B1 (en) * | 2012-09-05 | 2015-06-16 | Google Inc. | Construction zone sign detection using light detection and ranging |
CN103345766B (zh) * | 2013-06-21 | 2016-03-30 | 东软集团股份有限公司 | 一种信号灯识别方法及装置 |
WO2015136594A1 (ja) * | 2014-03-10 | 2015-09-17 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
CN106062850B (zh) * | 2014-03-10 | 2018-04-06 | 日产自动车株式会社 | 信号机检测装置以及信号机检测方法 |
-
2015
- 2015-07-08 EP EP15897714.0A patent/EP3321911B1/en active Active
- 2015-07-08 KR KR1020187000796A patent/KR101920186B1/ko active IP Right Grant
- 2015-07-08 JP JP2017527026A patent/JP6455596B2/ja active Active
- 2015-07-08 US US15/742,404 patent/US10074022B2/en active Active
- 2015-07-08 WO PCT/JP2015/069599 patent/WO2017006451A1/ja active Application Filing
- 2015-07-08 CN CN201580081528.9A patent/CN107851382B/zh active Active
- 2015-07-08 BR BR112018000133-3A patent/BR112018000133B1/pt active IP Right Grant
- 2015-07-08 MX MX2018000029A patent/MX364013B/es active IP Right Grant
- 2015-07-08 RU RU2018104690A patent/RU2668885C1/ru active
- 2015-07-08 CA CA2991471A patent/CA2991471C/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3321911B1 (en) | 2019-09-11 |
EP3321911A4 (en) | 2018-07-18 |
US10074022B2 (en) | 2018-09-11 |
MX2018000029A (es) | 2018-03-15 |
JPWO2017006451A1 (ja) | 2018-04-19 |
CA2991471A1 (en) | 2017-01-12 |
EP3321911A1 (en) | 2018-05-16 |
KR20180016564A (ko) | 2018-02-14 |
WO2017006451A1 (ja) | 2017-01-12 |
MX364013B (es) | 2019-04-11 |
RU2668885C1 (ru) | 2018-10-04 |
US20180197026A1 (en) | 2018-07-12 |
CN107851382B (zh) | 2019-04-09 |
KR101920186B1 (ko) | 2018-11-19 |
CN107851382A (zh) | 2018-03-27 |
CA2991471C (en) | 2018-08-07 |
BR112018000133A2 (ja) | 2018-09-04 |
BR112018000133B1 (pt) | 2023-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6477876B2 (ja) | 信号機検出装置及び信号機検出方法 | |
JP6222343B2 (ja) | 信号機検出装置及び信号機検出方法 | |
RU2655256C1 (ru) | Устройство обнаружения светофора и способ обнаружения светофора | |
JP6233500B2 (ja) | 信号機検出装置及び信号機検出方法 | |
JP6455596B2 (ja) | 灯火器検出装置及び灯火器検出方法 | |
US9811747B2 (en) | Traffic light detecting device and traffic light detecting method | |
WO2016021037A1 (ja) | 信号機検出装置及び信号機検出方法 | |
JPWO2016021038A1 (ja) | 信号機検出装置及び信号機検出方法 | |
JP2017228131A (ja) | 反射物標検出方法及び反射物標検出装置 | |
JP2018005391A (ja) | 点滅物体検出方法及び点滅物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20171226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181203 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6455596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |