RU2014139837A - Устройство обнаружения трехмерных объектов - Google Patents

Устройство обнаружения трехмерных объектов Download PDF

Info

Publication number
RU2014139837A
RU2014139837A RU2014139837A RU2014139837A RU2014139837A RU 2014139837 A RU2014139837 A RU 2014139837A RU 2014139837 A RU2014139837 A RU 2014139837A RU 2014139837 A RU2014139837 A RU 2014139837A RU 2014139837 A RU2014139837 A RU 2014139837A
Authority
RU
Russia
Prior art keywords
image
sharpness
detecting
region
information
Prior art date
Application number
RU2014139837A
Other languages
English (en)
Other versions
RU2636120C2 (ru
Inventor
Ясухиса ХАЯКАВА
Осаму ФУКАТА
Original Assignee
Ниссан Мотор Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ниссан Мотор Ко., Лтд. filed Critical Ниссан Мотор Ко., Лтд.
Publication of RU2014139837A publication Critical patent/RU2014139837A/ru
Application granted granted Critical
Publication of RU2636120C2 publication Critical patent/RU2636120C2/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

1. Устройство обнаружения трехмерных объектов, отличающееся тем, что оно содержит:- средство захвата изображений, смонтированное на транспортном средстве и снабженное объективом для формирования изображения позади рассматриваемого транспортного средства;- средство задания областей обнаружения для задания области обнаружения для обнаружения трехмерного объекта позади рассматриваемого транспортного средства;- средство преобразования изображений для преобразования точки обзора захваченного изображения, полученного посредством средства захвата изображений, чтобы создавать изображение вида "с высоты птичьего полета";- средство обнаружения трехмерных объектов для совмещения, в виде "с высоты птичьего полета", позиций изображений вида "с высоты птичьего полета", полученных в различные моменты времени посредством средства преобразования изображений, для формирования информации форм разностных сигналов посредством подсчета числа пикселов, которые указывают предварительно определенную разность, имеющую разностное пороговое значение или больше, в разностном изображении совмещенных изображений вида "с высоты птичьего полета", чтобы формировать частотное распределение, и для обнаружения трехмерного объекта в области обнаружения на основе информации форм разностных сигналов;- средство задания опорных областей изображения для задания, в качестве опорной области изображения, области изображения, которая отличается от области обнаружения и в которой прогнозируется извлечение информации контуров объекта;- средство извлечения информации контуров для извлечения информации контуров объекта в опорной области изо

Claims (12)

1. Устройство обнаружения трехмерных объектов, отличающееся тем, что оно содержит:
- средство захвата изображений, смонтированное на транспортном средстве и снабженное объективом для формирования изображения позади рассматриваемого транспортного средства;
- средство задания областей обнаружения для задания области обнаружения для обнаружения трехмерного объекта позади рассматриваемого транспортного средства;
- средство преобразования изображений для преобразования точки обзора захваченного изображения, полученного посредством средства захвата изображений, чтобы создавать изображение вида "с высоты птичьего полета";
- средство обнаружения трехмерных объектов для совмещения, в виде "с высоты птичьего полета", позиций изображений вида "с высоты птичьего полета", полученных в различные моменты времени посредством средства преобразования изображений, для формирования информации форм разностных сигналов посредством подсчета числа пикселов, которые указывают предварительно определенную разность, имеющую разностное пороговое значение или больше, в разностном изображении совмещенных изображений вида "с высоты птичьего полета", чтобы формировать частотное распределение, и для обнаружения трехмерного объекта в области обнаружения на основе информации форм разностных сигналов;
- средство задания опорных областей изображения для задания, в качестве опорной области изображения, области изображения, которая отличается от области обнаружения и в которой прогнозируется извлечение информации контуров объекта;
- средство извлечения информации контуров для извлечения информации контуров объекта в опорной области изображения и области обнаружения;
- средство вычисления опорной резкости для вычисления величины яркости изображения в опорной области изображения в качестве опорной резкости на основе информации контуров, извлеченной в опорной области изображения; и
- средство вычисления резкости объекта для вычисления величины яркости изображения в области обнаружения в качестве резкости объекта на основе информации контуров, извлеченной в области обнаружения,
- причем средство обнаружения трехмерных объектов вычисляет конечную резкость на основе опорной резкости и резкости объекта и задает разностное пороговое значение на основе вычисленной конечной резкости.
2. Устройство обнаружения трехмерных объектов, отличающееся тем, что оно содержит:
- средство захвата изображений, смонтированное на транспортном средстве и снабженное объективом для формирования изображения позади рассматриваемого транспортного средства;
- средство задания областей обнаружения для задания области обнаружения для обнаружения трехмерного объекта позади рассматриваемого транспортного средства;
- средство преобразования изображений для преобразования точки обзора захваченного изображения, полученного посредством средства захвата изображений, чтобы создавать изображение вида "с высоты птичьего полета";
- средство обнаружения трехмерных объектов для обнаружения информации краев, имеющей предварительно определенное пороговое значение края или больше, в информации контуров, полученной из контура объекта в изображении вида "с высоты птичьего полета", полученном посредством средства преобразования изображений, и для обнаружения трехмерного объекта в области обнаружения на основе обнаруженной информации краев;
- средство задания опорных областей изображения для задания, в качестве опорной области изображения, области изображения, которая отличается от области обнаружения и в которой прогнозируется извлечение информации контуров объекта;
- средство извлечения информации контуров для извлечения информации контуров объекта в опорной области изображения и области обнаружения;
- средство вычисления опорной резкости для вычисления величины яркости изображения в опорной области изображения в качестве опорной резкости на основе информации контуров, извлеченной в опорной области изображения; и
- средство вычисления резкости объекта для вычисления величины яркости изображения в области обнаружения в качестве резкости объекта на основе информации контуров, извлеченной в области обнаружения,
- причем средство обнаружения трехмерных объектов вычисляет конечную резкость на основе опорной резкости и резкости объекта и задает пороговое значение края на основе вычисленной конечной резкости.
3. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что:
- средство задания опорных областей задает область, соответствующую изображению бампера рассматриваемого транспортного средства, корпуса для прикрепления средства захвата изображений к рассматриваемому транспортному средству или номерного знака рассматриваемого транспортного средства в качестве опорной области изображения.
4. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что:
- средство задания опорных областей задает область, соответствующую изображению, содержащему горизонт земли или горизонт воды, в качестве опорной области изображения.
5. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что оно дополнительно содержит:
- средство обнаружения источников света для обнаружения источника света, присутствующего позади рассматриваемого транспортного средства, на основе захваченного изображения, полученного посредством средства захвата изображений,
- средство задания опорных областей, задающее область, содержащую изображение источника света, обнаруженного посредством средства обнаружения источников света, в качестве опорной области изображения.
6. Устройство обнаружения трехмерных объектов по п. 5, отличающееся тем, что:
- средство обнаружения источников света обнаруживает из захваченного изображения область изображения, имеющую размер предварительно определенной области поверхности или больше, в которой разность яркости относительно окрестностей имеет предварительно определенное яркостное различие или больше в качестве области изображения, соответствующей источнику света, посредством чего обнаруживается источник света.
7. Устройство обнаружения трехмерных объектов по п. 5, отличающееся тем, что оно дополнительно содержит:
- средство вычисления степени замутнения для вычисления степени замутнения объектива на основе конечной резкости и
- средство управления для способствования обнаружению источника света посредством средства обнаружения источников света посредством уменьшения предварительно определенного яркостного различия или предварительно определенной области поверхности соразмерно более высокой степени замутнения объектива.
8. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что:
- средство извлечения информации контуров извлекает информацию краев объекта в качестве информации контуров объекта,
- средство вычисления опорной резкости вычисляет опорную резкость на основе интенсивности контура информации краев, извлеченной в опорной области изображения, и
- средство вычисления резкости объекта вычисляет резкость объекта на основе интенсивности контура информации краев, извлеченной в области обнаружения.
9. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что:
- средство извлечения информации контуров извлекает конкретный частотный компонент, полученный из изображения на основе захваченного изображения, в качестве информации контуров объекта,
- средство вычисления опорной резкости вычисляет опорную резкость на основе частотного компонента, извлеченного в опорной области изображения, и
- средство вычисления резкости объекта вычисляет резкость объекта на основе частотного компонента, извлеченного в области обнаружения.
10. Устройство обнаружения трехмерных объектов по п. 5, отличающееся тем, что:
- средство извлечения информации контуров обнаруживает область, имеющую яркость, равную предварительно определенному значению или больше, в качестве области с высокой яркостью и извлекает наклон яркости около обнаруженной области с высокой яркостью в качестве информации контуров объекта,
- средство вычисления опорной резкости вычисляет опорную резкость на основе наклона яркости около области с высокой яркостью, извлеченной в опорной области изображения, и
- средство вычисления резкости объекта вычисляет резкость объекта на основе наклона яркости на внешней границе области с высокой яркостью, извлеченной в области обнаружения.
11. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что:
- средство обнаружения трехмерных объектов вычисляет в качестве конечной резкости более высокое значение из опорной резкости и резкости объекта в результате сравнения опорной резкости и резкости объекта и задает разностное пороговое значение более высоким соразмерно с более высокой конечной с резкостью.
12. Устройство обнаружения трехмерных объектов по п. 2, отличающееся тем, что:
- средство обнаружения трехмерных объектов вычисляет в качестве конечной резкости более высокое значение из опорной резкости и резкости объекта в результате сравнения опорной резкости и резкости объекта и задает пороговое значение края более высоким соразмерно с более высокой конечной резкостью.
RU2014139837A 2012-03-02 2013-02-26 Устройство обнаружения трехмерных объектов RU2636120C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012-046670 2012-03-02
JP2012046670 2012-03-02
JP2012160775 2012-07-19
JP2012-160775 2012-07-19
PCT/JP2013/054865 WO2013129361A1 (ja) 2012-03-02 2013-02-26 立体物検出装置

Publications (2)

Publication Number Publication Date
RU2014139837A true RU2014139837A (ru) 2016-04-20
RU2636120C2 RU2636120C2 (ru) 2017-11-20

Family

ID=49082558

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014139837A RU2636120C2 (ru) 2012-03-02 2013-02-26 Устройство обнаружения трехмерных объектов

Country Status (9)

Country Link
US (1) US9754172B2 (ru)
EP (1) EP2821980A4 (ru)
JP (1) JP5787024B2 (ru)
CN (1) CN104106105B (ru)
BR (1) BR112014020753B1 (ru)
MX (1) MX341376B (ru)
MY (1) MY179728A (ru)
RU (1) RU2636120C2 (ru)
WO (1) WO2013129361A1 (ru)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448411B1 (ko) * 2010-08-19 2014-10-07 닛산 지도우샤 가부시키가이샤 입체물 검출 장치 및 입체물 검출 방법
CN109766890B (zh) * 2013-06-03 2020-11-06 支付宝(中国)网络技术有限公司 信息识别方法、设备和系统
JPWO2015162910A1 (ja) * 2014-04-24 2017-04-13 パナソニックIpマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
JP6512806B2 (ja) * 2014-12-08 2019-05-15 キヤノン株式会社 撮像装置
JPWO2016121406A1 (ja) * 2015-01-28 2017-09-07 京セラ株式会社 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
JP6602067B2 (ja) * 2015-06-18 2019-11-06 キヤノン株式会社 表示制御装置、表示制御方法、プログラム
US9997057B2 (en) * 2016-04-26 2018-06-12 John Pimentel Vehicle emergency system
DE102016116964B4 (de) * 2016-09-09 2019-05-16 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Vorrichtung zum Warnen eines Fahrzeugführers eines Fahrzeugs vor einem stationären Objekt sowie Fahrzeug mit einer solchen Vorrichtung
CN110114801B (zh) 2017-01-23 2022-09-20 富士通株式会社 图像前景检测装置及方法、电子设备
US10691957B2 (en) * 2018-02-12 2020-06-23 ITS Plus, Inc. Method for increasing the accuracy of traffic cameras using optical masking technology
JP7327596B2 (ja) * 2018-08-10 2023-08-16 カシオ計算機株式会社 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
JP7354528B2 (ja) * 2018-08-10 2023-10-03 カシオ計算機株式会社 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
JP7205234B2 (ja) * 2019-01-07 2023-01-17 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2022539936A (ja) * 2019-01-16 2022-09-14 ハイ ロボティクス カンパニー リミテッド 障害物回避方法、装置及び倉庫ロボット
JP7310750B2 (ja) * 2020-08-07 2023-07-19 トヨタ自動車株式会社 色味補正システム及び色味補正方法
JP2022069330A (ja) * 2020-10-23 2022-05-11 トヨタ自動車株式会社 制御装置、制御方法、及び街灯
SE2150168A1 (en) * 2021-02-16 2022-08-17 Husqvarna Ab Robotic work tool system and method for determining whether there is an interfering object on a camera unit of a robotic work tool
CN115797848B (zh) * 2023-01-05 2023-04-28 山东高速股份有限公司 基于高速事件预防系统中视频数据的能见度检测预警方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414054B2 (ja) 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
JP4087600B2 (ja) * 2001-12-13 2008-05-21 セコム株式会社 画像監視装置
JP2005162168A (ja) * 2003-12-05 2005-06-23 Calsonic Kansei Corp リアワイパ装置
JP2007024590A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP4676373B2 (ja) 2006-04-27 2011-04-27 株式会社デンソー 周辺認識装置、周辺認識方法、プログラム
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
WO2009036176A1 (en) * 2007-09-11 2009-03-19 Magna Electronics Imaging system for vehicle
WO2009057410A1 (ja) * 2007-10-30 2009-05-07 Nec Corporation 路面標示画像処理装置,路面標示画像処理方法及びプログラム
JP2009126270A (ja) * 2007-11-21 2009-06-11 Sanyo Electric Co Ltd 画像処理装置及び方法、運転支援システム、車両
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
JP5441462B2 (ja) * 2009-03-23 2014-03-12 オムロンオートモーティブエレクトロニクス株式会社 車両用撮像装置
JP5251927B2 (ja) * 2010-06-21 2013-07-31 日産自動車株式会社 移動距離検出装置及び移動距離検出方法
RU2432276C1 (ru) * 2010-07-07 2011-10-27 Осман Мирзаевич Мирза Способ наблюдения за дорожной ситуацией с движущегося транспортного средства (варианты)
KR101448411B1 (ko) * 2010-08-19 2014-10-07 닛산 지도우샤 가부시키가이샤 입체물 검출 장치 및 입체물 검출 방법

Also Published As

Publication number Publication date
RU2636120C2 (ru) 2017-11-20
MX341376B (es) 2016-08-18
US20150002672A1 (en) 2015-01-01
EP2821980A4 (en) 2015-05-27
BR112014020753B1 (pt) 2021-10-05
EP2821980A1 (en) 2015-01-07
WO2013129361A1 (ja) 2013-09-06
BR112014020753A2 (pt) 2021-05-25
CN104106105A (zh) 2014-10-15
JP5787024B2 (ja) 2015-09-30
CN104106105B (zh) 2016-10-05
MY179728A (en) 2020-11-12
MX2014010403A (es) 2014-09-22
JPWO2013129361A1 (ja) 2015-07-30
US9754172B2 (en) 2017-09-05

Similar Documents

Publication Publication Date Title
RU2014139837A (ru) Устройство обнаружения трехмерных объектов
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
KR102270677B1 (ko) 차량 안전 주행 장치
RU2014139676A (ru) Устройство обнаружения трехмерных объектов
CN102938057B (zh) 一种车辆阴影消除方法及装置
Gao et al. UV-disparity based obstacle detection with 3D camera and steerable filter
WO2016033036A3 (en) Methods and apparatus for three-dimensional (3d) imaging
JP2007234019A (ja) 車両画像領域特定装置およびその方法
RU2014139679A (ru) Устройство обнаружения трехмерных объектов
EP2682899A3 (en) Environment recognition device
CN107886034B (zh) 行车提醒方法、装置及车辆
RU2014139838A (ru) Устройство обнаружения трехмерных объектов
RU2015106693A (ru) Устройство обнаружения трехмерных объектов и способ обнаружения трехмерных объектов
WO2012046181A1 (en) Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision
CN103971135A (zh) 基于头肩深度信息特征的人体目标检测方法
JP2013140555A (ja) 車用色検出器
RU2014138324A (ru) Устройство обнаружения трехмерных объектов
US9367759B2 (en) Cooperative vision-range sensors shade removal and illumination field correction
US20170358089A1 (en) Object identifying apparatus
CN103413318B (zh) 靶标球镜面中心定位方法
JP6375911B2 (ja) カーブミラー検出装置
KR20140000402A (ko) 스테레오 카메라를 이용한 차량 검지 방법 및 장치
JP2013228915A (ja) 歩行者検出装置及び歩行者検出方法
KR101371875B1 (ko) 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
KR101289386B1 (ko) 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치