JP4633841B2 - 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 - Google Patents
歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 Download PDFInfo
- Publication number
- JP4633841B2 JP4633841B2 JP2008506397A JP2008506397A JP4633841B2 JP 4633841 B2 JP4633841 B2 JP 4633841B2 JP 2008506397 A JP2008506397 A JP 2008506397A JP 2008506397 A JP2008506397 A JP 2008506397A JP 4633841 B2 JP4633841 B2 JP 4633841B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- scene
- estimating
- height
- road map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 6
- 238000001914 filtration Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012776 robust process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- User Interface Of Digital Computer (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Description
Claims (8)
- 3Dシーンを経時的に捕捉するビデオ・フレームを解析して前記3Dシーンの道路図を自動的に生成する方法であって、
前記ビデオ・フレームにおける物体の位置を検出する工程と、
前記物体の3D変換パラメータを推定する工程と、
前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測する工程と、
物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成する工程と、
前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返す工程と、
前記物体のうちの1つの位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて前記3Dシーンの道路境界を推定する工程と、
前記道路図を生成する工程と、
アウトライア画素を前記道路図から除去する工程と、
前記道路図の道路上で動く物体の高さ図を推定する工程とを備える方法。 - 請求項1記載の方法であって、物体の位置を検出する工程が、フォアグラウンド物体検出処理を前記ビデオ・フレームに施す工程を備える方法。
- 請求項1記載の方法であって、道路境界を推定する工程は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求める工程を備える方法。
- コンピュータ・プログラムであって、3Dシーンを経時的に捕捉するビデオ・フレームを解析して、
前記ビデオ・フレームにおける物体の位置を検出し、
前記物体の3D変換パラメータを推定し、
前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測し、
物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成し、
前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返し、
前記物体のうちの1つの位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて3Dシーンの道路境界を推定し、
前記道路図を生成し、
アウトライア画素を前記道路図から除去し、
前記道路図の道路上で動く物体の高さ図を推定することによって前記3Dシーンの道路図を自動的に生成する機能をコンピュータに実行させるコンピュータ・プログラム。 - 請求項4記載のコンピュータ・プログラムであって、物体の位置を検出する機能が、フォアグラウンド物体検出処理を前記ビデオ・フレームに施す機能を含むコンピュータ・プログラム。
- 請求項4記載のコンピュータ・プログラムであって、道路境界を推定する機能は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求める機能を含むコンピュータ・プログラム。
- 3Dシーンを経時的に捕捉するビデオ・フレームを解析して前記3Dシーンの道路図を自動的に生成するシステムであって、
3Dシーンのビデオ・フレームを解析し、前記ビデオ・フレームにおける物体及び物体位置を検出するためのフォアグラウンド物体検出装置と、
前記物体の3D変換パラメータを推定し、前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測し、物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成し、前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返すための物体スケール予測装置と、
前記物体のうちの1つの物体の位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて前記3Dシーンの道路境界を推定し、アウトライア画素を前記道路図から除去し、前記道路図の道路上で動く物体の高さ図を推定することにより、前記道路図を生成するための道路図検出装置とを備えるシステム。 - 請求項7記載のシステムであって、前記道路図推定装置は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求めることによって道路境界を推定するシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/RU2005/000209 WO2006115427A1 (en) | 2005-04-18 | 2005-04-18 | Three-dimensional road layout estimation from video sequences by tracking pedestrians |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008538832A JP2008538832A (ja) | 2008-11-06 |
JP4633841B2 true JP4633841B2 (ja) | 2011-02-16 |
Family
ID=35840603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008506397A Expired - Fee Related JP4633841B2 (ja) | 2005-04-18 | 2005-04-18 | 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7751589B2 (ja) |
EP (1) | EP1872302B1 (ja) |
JP (1) | JP4633841B2 (ja) |
KR (1) | KR100999206B1 (ja) |
CN (1) | CN101167085B (ja) |
AT (1) | ATE477547T1 (ja) |
DE (1) | DE602005022943D1 (ja) |
WO (1) | WO2006115427A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI111755B (fi) * | 2001-11-23 | 2003-09-15 | Mapvision Oy Ltd | Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi |
US8401229B2 (en) | 2007-09-04 | 2013-03-19 | Objectvideo, Inc. | Stationary target detection by exploiting changes in background model |
JP5089545B2 (ja) * | 2008-09-17 | 2012-12-05 | 日立オートモティブシステムズ株式会社 | 道路境界検出判断装置 |
US8436872B2 (en) * | 2010-02-03 | 2013-05-07 | Oculus Info Inc. | System and method for creating and displaying map projections related to real-time images |
IL210427A0 (en) * | 2011-01-02 | 2011-06-30 | Agent Video Intelligence Ltd | Calibration device and method for use in a surveillance system for event detection |
US8565520B2 (en) | 2011-06-10 | 2013-10-22 | Microsoft Corporation | Determining foreground regions and background regions in an image |
JP6046948B2 (ja) * | 2012-08-22 | 2016-12-21 | キヤノン株式会社 | 物体検知装置及びその制御方法、プログラム、並びに記憶媒体 |
KR101726692B1 (ko) | 2012-08-24 | 2017-04-14 | 한화테크윈 주식회사 | 객체 추출 장치 및 방법 |
AU2012244276A1 (en) | 2012-10-30 | 2014-05-15 | Canon Kabushiki Kaisha | Method, apparatus and system for detecting a supporting surface region in an image |
AU2012244275A1 (en) | 2012-10-30 | 2014-05-15 | Canon Kabushiki Kaisha | Method, apparatus and system for determining a boundary of an obstacle which occludes an object in an image |
US9177245B2 (en) | 2013-02-08 | 2015-11-03 | Qualcomm Technologies Inc. | Spiking network apparatus and method with bimodal spike-timing dependent plasticity |
US9713982B2 (en) | 2014-05-22 | 2017-07-25 | Brain Corporation | Apparatus and methods for robotic operation using video imagery |
US10194163B2 (en) | 2014-05-22 | 2019-01-29 | Brain Corporation | Apparatus and methods for real time estimation of differential motion in live video |
US9939253B2 (en) | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
CN105141885B (zh) * | 2014-05-26 | 2018-04-20 | 杭州海康威视数字技术股份有限公司 | 进行视频监控的方法及装置 |
US9848112B2 (en) | 2014-07-01 | 2017-12-19 | Brain Corporation | Optical detection apparatus and methods |
US10057593B2 (en) | 2014-07-08 | 2018-08-21 | Brain Corporation | Apparatus and methods for distance estimation using stereo imagery |
KR101620580B1 (ko) * | 2014-09-04 | 2016-05-12 | 주식회사 에스원 | 달리기 감지 방법 및 시스템 |
US9870617B2 (en) * | 2014-09-19 | 2018-01-16 | Brain Corporation | Apparatus and methods for saliency detection based on color occurrence analysis |
US10197664B2 (en) | 2015-07-20 | 2019-02-05 | Brain Corporation | Apparatus and methods for detection of objects using broadband signals |
JP6597914B2 (ja) | 2016-03-29 | 2019-10-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10372970B2 (en) * | 2016-09-15 | 2019-08-06 | Qualcomm Incorporated | Automatic scene calibration method for video analytics |
CN107292234B (zh) * | 2017-05-17 | 2020-06-30 | 南京邮电大学 | 一种基于信息边缘和多模态特征的室内场景布局估计方法 |
CN107316344B (zh) * | 2017-05-18 | 2020-08-14 | 深圳市佳创视讯技术股份有限公司 | 一种虚实融合场景中漫游路径规划的方法 |
JP6936098B2 (ja) * | 2017-09-29 | 2021-09-15 | トヨタ自動車株式会社 | 対象物推定装置 |
WO2020101472A1 (en) * | 2018-11-14 | 2020-05-22 | Mimos Berhad | Method and system for counting and determining direction of movement of moving objects |
DE102018221054B4 (de) | 2018-12-05 | 2020-12-10 | Volkswagen Aktiengesellschaft | Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung |
CN112150558B (zh) * | 2020-09-15 | 2024-04-12 | 阿波罗智联(北京)科技有限公司 | 用于路侧计算设备的障碍物三维位置获取方法及装置 |
KR20220061520A (ko) | 2020-11-06 | 2022-05-13 | 서강대학교산학협력단 | 신경망을 기반으로 한 미행 검출 방법 및 이를 이용한 미행 검출 시스템 |
US11580661B2 (en) * | 2020-11-23 | 2023-02-14 | Motorola Solutions, Inc. | Device, method and system for estimating elevation in images from camera devices |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
EP1266282B1 (en) * | 2000-03-17 | 2010-04-21 | Microsoft Corporation | System and method for non-uniform scaled mapping |
CN1300032A (zh) * | 2001-01-16 | 2001-06-20 | 张建平 | 自动更新电子交通地图的方法及系统 |
US6901264B2 (en) * | 2001-04-25 | 2005-05-31 | Makor Issues And Rights Ltd. | Method and system for mobile station positioning in cellular communication networks |
GB0227566D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
GB0227565D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for generating panoramic images from video sequences |
WO2004061394A1 (ja) * | 2002-12-27 | 2004-07-22 | Matsushita Electric Industrial Co., Ltd. | 交通情報提供システム、交通情報表現方法及び装置 |
JP4744789B2 (ja) * | 2003-05-30 | 2011-08-10 | パナソニック株式会社 | 物体識別方法及び物体識別装置 |
US7660441B2 (en) * | 2004-07-09 | 2010-02-09 | Southern California, University | System and method for fusing geospatial data |
-
2005
- 2005-04-18 AT AT05802442T patent/ATE477547T1/de not_active IP Right Cessation
- 2005-04-18 EP EP05802442A patent/EP1872302B1/en active Active
- 2005-04-18 DE DE602005022943T patent/DE602005022943D1/de active Active
- 2005-04-18 JP JP2008506397A patent/JP4633841B2/ja not_active Expired - Fee Related
- 2005-04-18 US US10/581,333 patent/US7751589B2/en active Active
- 2005-04-18 KR KR1020077024011A patent/KR100999206B1/ko active IP Right Grant
- 2005-04-18 CN CN2005800495022A patent/CN101167085B/zh active Active
- 2005-04-18 WO PCT/RU2005/000209 patent/WO2006115427A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
DE602005022943D1 (de) | 2010-09-23 |
WO2006115427A1 (en) | 2006-11-02 |
KR100999206B1 (ko) | 2010-12-07 |
US20090028384A1 (en) | 2009-01-29 |
ATE477547T1 (de) | 2010-08-15 |
EP1872302B1 (en) | 2010-08-11 |
US7751589B2 (en) | 2010-07-06 |
KR20070114216A (ko) | 2007-11-29 |
EP1872302A1 (en) | 2008-01-02 |
JP2008538832A (ja) | 2008-11-06 |
CN101167085B (zh) | 2011-11-23 |
CN101167085A (zh) | 2008-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4633841B2 (ja) | 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 | |
KR102472767B1 (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
CN105957110B (zh) | 用于检测对象的设备和方法 | |
KR20120138627A (ko) | 안면 추적 장치 및 방법 | |
CN110400315A (zh) | 一种缺陷检测方法、装置及系统 | |
US20110091074A1 (en) | Moving object detection method and moving object detection apparatus | |
CN108734109B (zh) | 一种面向图像序列的视觉目标跟踪方法及系统 | |
Liu et al. | EDFLOW: Event driven optical flow camera with keypoint detection and adaptive block matching | |
CN113490965A (zh) | 图像跟踪处理方法、装置、计算机设备和存储介质 | |
Mahamuni et al. | Moving object detection using background subtraction algorithm using Simulink | |
JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20210121628A (ko) | 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템 | |
Li et al. | Fast visual tracking using motion saliency in video | |
US20200364877A1 (en) | Scene segmentation using model subtraction | |
CN115953438A (zh) | 光流估计方法及装置、芯片及电子设备 | |
CN113450385B (zh) | 一种夜间工作工程机械视觉跟踪方法、装置及存储介质 | |
Bovyrin et al. | Human height prediction and roads estimation for advanced video surveillance systems | |
KR100994366B1 (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 | |
Nunes et al. | Adaptive Global Decay Process for Event Cameras | |
RU2409854C2 (ru) | Оценка трехмерной топологии дороги на основе видеопоследовательностей посредством отслеживания пешеходов | |
CN112529943A (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
JP2021182320A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101153108B1 (ko) | 물체 추적 장치 | |
CN117593592B (zh) | 车底异物智能扫描识别系统及方法 | |
CN117593702B (zh) | 远程监控方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100721 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100820 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101019 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101117 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |