JP7128941B2 - 道路ミラー検出システム及び方法 - Google Patents
道路ミラー検出システム及び方法 Download PDFInfo
- Publication number
- JP7128941B2 JP7128941B2 JP2021112734A JP2021112734A JP7128941B2 JP 7128941 B2 JP7128941 B2 JP 7128941B2 JP 2021112734 A JP2021112734 A JP 2021112734A JP 2021112734 A JP2021112734 A JP 2021112734A JP 7128941 B2 JP7128941 B2 JP 7128941B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- act
- region
- road scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
110 画像取得部
120 消失点決定部
122 消失点幾何学的計算部
124 消失点レーンマーク決定部
126 光学的フローライン領域識別部
128 光学的フローライン収束決定部
130 光学的フローライン決定部
140 光学的フローライン分析部
142 画像リサイザ
150 道路ミラー画像決定部
152 光学的フローライン密度決定部
160 道路シーン
162 中心
164 1次消失点
166 レーンマーク
168 地平線
170 上部
172 下部
174 第1の領域
176 光学的フローライン
178 第2の領域
180 光学的フローライン
182 第3の領域
184 光学的フローライン
186 第4の領域
188 光学的フローライン
190 道路車両
200 道路ミラー検出方法
202 ステップ
204 ステップ
206 ステップ
208 ステップ
210 消失点決定ステップ
212 消失点決定ステップ
214 消失点決定ステップ
216 消失点決定ステップ
218 ステップ
220 ステップ
222 ステップ
224 ステップ
226 ステップ
228 ステップ
230 ステップ
232 ステップ
234 ステップ
236 ステップ
238 ステップ
240 ステップ
242 ステップ
244 ステップ
246 ステップ
248 ステップ
250 ステップ
252 ステップ
254 ステップ
256 ステップ
258 ステップ
Claims (25)
- 道路ミラー検出方法(200)であって、
道路シーンの画像を得る行為と、
前記道路シーンの前記画像内の光学的フローラインを決定する行為と、
前記道路シーンの前記画像内の前記光学的フローラインを分析する行為と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
を含む道路ミラー検出方法(200)。 - 前記光学的フローラインを決定する前記行為は、
光学的フローラインの第1のセットを含む、前記道路シーンの前記画像内の第1の領域を識別する行為と、
光学的フローラインの第2のセットを含む、前記道路シーンの前記画像内の第2の領域を識別する行為と
を含む、請求項1に記載の道路ミラー検出方法(200)。 - 前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、請求項2に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項2又は3に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを分析する前記行為は、
前記光学的フローラインの第1のセットが実質的に点に収束するか否かを決定する行為と、
前記光学的フローラインの第2のセットが実質的に前記点に収束しないか否かを決定する行為と
を含む、請求項2~4のいずれか一項に記載の道路ミラー検出方法(200)。 - 前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為を更に含む、請求項2~5のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項2~6のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項7に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像内に含まれる消失点を決定する行為を更に含む、請求項1に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、前記消失点の位置を幾何学的に計算する行為を含む、請求項9に記載の道路ミラー検出方法(200)。
- 前記消失点の前記位置を幾何学的に計算する前記行為は、前記道路シーンの前記画像の中心(162)を決定する行為を含む、請求項10に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、前記道路シーンの前記画像内の道路上のレーンマーク(166)を検出する行為を含む、請求項9~11のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、光学的フローラインの第3のセットを含む、前記道路シーンの前記画像内の第3の領域を識別する行為を含み、前記道路シーンの前記画像の前記第3の領域は、前記消失点の下方に前記道路シーンの前記画像の下部(172)を含む、請求項9~12のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、前記光学的フローラインの第3のセットが実質的に前記消失点に収束するか否かを決定する行為を更に含む、請求項13に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、光学的フローラインの第4のセットを含む、前記道路シーンの前記画像内の第4の領域を識別する行為を含み、前記道路シーンの前記画像の前記第4の領域は、前記消失点の上方に前記道路シーンの前記画像の上部(170)を含む、請求項9~14のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第1の領域を識別する行為であって、前記道路シーンの前記画像内の前記第1の領域は、光学的フローラインの第1のセットを含む、行為と、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第2の領域を識別する行為であって、前記道路シーンの前記画像内の前記第2の領域は、光学的フローラインの第2のセットを含む、行為と
を更に含む、請求項15に記載の道路ミラー検出方法(200)。 - 前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、請求項16に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項16又は17に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを分析する前記行為は、
前記光学的フローラインの第1のセットが実質的に前記消失点に収束するか否かを決定する行為と、
前記光学的フローラインの第2のセットが実質的に前記消失点に収束しないか否かを決定する行為と
を含む、請求項16~18のいずれか一項に記載の道路ミラー検出方法(200)。 - 前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為を更に含む、請求項16~19のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項16~20のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項21に記載の道路ミラー検出方法(200)。
- 道路ミラー検出方法(200)であって、
道路シーンの画像を得る行為と、
前記道路シーンの前記画像に含まれる消失点を決定する行為であって、
前記消失点の位置を幾何学的に計算する行為であって、前記道路シーンの前記画像の中心(162)を決定する行為を含む行為と、
前記道路シーンの前記画像内の道路上のレーンマーク(166)を検出する行為と、
光学的フローラインの第3のセットを含む、前記道路シーンの前記画像内の第3の領域を識別する行為であって、前記道路シーンの前記画像の前記第3の領域は、前記消失点の下方に前記道路シーンの前記画像の下部(172)を含む、行為と、
前記光学的フローラインの第3のセットが実質的に前記消失点に収束するか否かを決定する行為と
を含む行為と、
前記道路シーンの前記画像内の光学的フローラインを決定する行為であって、
光学的フローラインの第4のセットを含む、前記道路シーンの前記画像内の第4の領域を識別する行為であって、前記道路シーンの前記画像の前記第4の領域は、前記消失点の上方に前記道路シーンの前記画像の上部(170)を含む、行為と、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第1の領域を識別する行為であって、前記道路シーンの前記画像内の前記第1の領域は、光学的フローラインの第1のセットを含む、行為と、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第2の領域を識別する行為であって、前記道路シーンの前記画像内の前記第2の領域は、光学的フローラインの第2のセットを含み、
前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、行為と、
前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為と
を更に含む行為と、
前記道路シーンの前記画像内の前記光学的フローラインを分析する行為であって、
前記光学的フローラインの第1のセットが実質的に前記消失点に収束するか否かを決定する行為と、
前記光学的フローラインの第2のセットが実質的に前記消失点に収束しないか否かを決定する行為と、
前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為と
を含む行為と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
を含み、
前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含み、
前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、道路ミラー検出方法(200)。 - 道路ミラー検出システム(100)であって、
道路シーンの画像を得るように構成された画像取得部(110)と、
前記道路シーンの前記画像内の光学的フローラインを決定するように構成された光学的フローライン決定部(130)と、
前記道路シーンの前記画像内の前記光学的フローラインを分析するように構成された光学的フローライン分析部(140)と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定するように構成された道路ミラー画像決定部(150)と
を含む道路ミラー検出システム(100)。 - 請求項24に記載の道路ミラー検出システム(100)を含む道路車両(190)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2010474.1A GB2598082A (en) | 2020-07-08 | 2020-07-08 | Road mirror detection system and method |
GB2010474.1 | 2020-07-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022016359A JP2022016359A (ja) | 2022-01-21 |
JP7128941B2 true JP7128941B2 (ja) | 2022-08-31 |
Family
ID=72050347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021112734A Active JP7128941B2 (ja) | 2020-07-08 | 2021-07-07 | 道路ミラー検出システム及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7128941B2 (ja) |
GB (1) | GB2598082A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008066953A (ja) | 2006-09-06 | 2008-03-21 | Sanyo Electric Co Ltd | 画像監視装置 |
WO2009005025A1 (ja) | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
JP2010218361A (ja) | 2009-03-18 | 2010-09-30 | Zenrin Co Ltd | 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム |
JP2016110373A (ja) | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2019050462A (ja) | 2017-09-08 | 2019-03-28 | トヨタ自動車株式会社 | 映り込み判定装置及び撮影装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1033693B1 (en) * | 1999-03-01 | 2004-04-21 | Yazaki Corporation | Rear and side view monitor with camera for a vehicle |
JP3911983B2 (ja) * | 2000-09-28 | 2007-05-09 | 日産自動車株式会社 | 後方監視装置 |
JP2014106901A (ja) * | 2012-11-29 | 2014-06-09 | Aisin Seiki Co Ltd | 距離算出装置、衝突検出システム、距離算出方法、衝突検出方法、及びプログラム |
IT201600094858A1 (it) * | 2016-09-21 | 2018-03-21 | St Microelectronics Srl | Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo |
JP6944328B2 (ja) * | 2017-09-29 | 2021-10-06 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
JP7135665B2 (ja) * | 2018-09-26 | 2022-09-13 | トヨタ自動車株式会社 | 車両制御システム、車両の制御方法及びコンピュータプログラム |
-
2020
- 2020-07-08 GB GB2010474.1A patent/GB2598082A/en active Pending
-
2021
- 2021-07-07 JP JP2021112734A patent/JP7128941B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008066953A (ja) | 2006-09-06 | 2008-03-21 | Sanyo Electric Co Ltd | 画像監視装置 |
WO2009005025A1 (ja) | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
JP2010218361A (ja) | 2009-03-18 | 2010-09-30 | Zenrin Co Ltd | 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム |
JP2016110373A (ja) | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2019050462A (ja) | 2017-09-08 | 2019-03-28 | トヨタ自動車株式会社 | 映り込み判定装置及び撮影装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022016359A (ja) | 2022-01-21 |
GB2598082A (en) | 2022-02-23 |
GB202010474D0 (en) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
USRE48106E1 (en) | Detection of obstacles at night by analysis of shadows | |
US11367217B2 (en) | Image processing method and apparatus, and related device | |
US10521676B2 (en) | Lane detection device, lane departure determination device, lane detection method and lane departure determination method | |
KR102037820B1 (ko) | 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기 | |
US11486727B2 (en) | Map generation device, map generation method, and map generation computer program | |
US9460352B2 (en) | Lane boundary line recognition device | |
Berriel et al. | Ego-lane analysis system (elas): Dataset and algorithms | |
KR101517181B1 (ko) | 차선 이탈 경보 시스템 및 방법 | |
US9123242B2 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
KR102633140B1 (ko) | 주행 정보를 결정하는 방법 및 장치 | |
KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
KR101103526B1 (ko) | 스테레오 카메라를 이용한 충돌회피 방법 | |
KR101663574B1 (ko) | 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템 | |
KR102667741B1 (ko) | 3차원 객체를 표시하는 방법 및 장치 | |
JP4940177B2 (ja) | 交通流計測装置 | |
JP2006350699A (ja) | 画像処理装置及び方法 | |
WO2016189777A1 (ja) | 路面標示検出装置、障害要素検出装置、車線検出装置、車線検出方法及びプログラム | |
Hernandez et al. | Lane surface identification based on reflectance using laser range finder | |
Sebsadji et al. | Robust road marking extraction in urban environments using stereo images | |
US20230221140A1 (en) | Roadmap generation system and method of using | |
JP7128941B2 (ja) | 道路ミラー検出システム及び方法 | |
WO2021199584A1 (en) | Detecting debris in a vehicle path | |
JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
JP6718025B2 (ja) | 車両周辺の小物体領域を識別する装置及び方法 | |
JP2010271969A (ja) | 車線検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |