JP5453538B2 - 近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法 - Google Patents
近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法 Download PDFInfo
- Publication number
- JP5453538B2 JP5453538B2 JP2012530411A JP2012530411A JP5453538B2 JP 5453538 B2 JP5453538 B2 JP 5453538B2 JP 2012530411 A JP2012530411 A JP 2012530411A JP 2012530411 A JP2012530411 A JP 2012530411A JP 5453538 B2 JP5453538 B2 JP 5453538B2
- Authority
- JP
- Japan
- Prior art keywords
- calculating
- pixel
- image
- pedestrians
- classifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
a)画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって記画像内の対象領域(ROI)物体のフィルタリングに焦点を当てるために、道路を検出するステップと、
b)地面に対する距離に基づいて、地面以外の物体を消去するステップと、
c)ROI外の物体それぞれに関して、信号対雑音比(SNR)を計算することによって、ROI外の物体をそのような物体の形状に基づいてフィルタするステップであって、信号対雑音比が、ROI外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、
d)縦長でない物体の質量中心に対するx軸およびy軸に関する慣性モーメントを計算することによって、そのような縦長でない物体を消去するステップと、
e)分析された画像フレーム内の歩行者を、歩行者の形状に基づいて分類するステップと、
f)平均値シフトアルゴリズムを使用して、分類された歩行者の動きを追跡するステップと
を含む処理装置によって実施されるステップを含む方法。
ここで、Mは周期であり、Lは、ある時点でのサンプルの長さ/総数である。
SNR=10log(Sy/Se)
ここで、
ここで、Mxは、質量中心に対するX軸に関する慣性モーメントである。
ここで、Myは、質量中心に対するY軸に関する慣性モーメントである。
ここで、Mxyは、質量中心に対するX軸とY軸の両方に関する慣性モーメントである。
a)Kを、形状境界に沿ってサンプルすることができる候補点の総数と仮定する。等角度サンプリングが、等角度θ=2Π/Kで離隔された候補点を選択する。
b)フーリエ記述子(FD)が、複素座標関数
c)位相情報を無視することによって、かつFDの大きさ値のみを取ることによって、FDの回転不変性が実現される。
d)次いで、FDの最初の半分の大きさ値をDC成分で割ることによって、拡大縮小不変性が得られる。
#2 しきい値
a.新たな位置でターゲット候補ヒストグラムを計算し、変換された画像が、ヒストグラム均等化された画像範囲および底部を含む同じ特徴空間を有する。
b.
c.
y1<−(y0+y1)/2として、
d.
e.そうでない場合、y0<−y1と設定し、重みを導出し、次いで新たな位置で、処理装置がステップ1に進む。
本発明で提案するシステムおよび方法は、以下の利点を有する。
Claims (7)
- 車両に配設された近赤外線(IR)カメラによって捕捉された画像を使用することによって、前記車両の前方にいる歩行者を検出、分類、および追跡するための費用対効果の高い方法であって、
a)前記画像の最下行から延びる平滑領域を識別することによって特徴付けられる地面領域を消去することによって前記画像内の対象領域(ROI)物体のフィルタリングに焦点を当てるために、道路を検出するステップと、
b)地面に対する距離に基づいて、地面にある物体以外の物体を消去するステップと、
c)ROI外の物体それぞれに関して、信号対雑音比(SNR)を計算することによって、前記ROI外の物体を前記物体の形状に基づいてフィルタするステップであって、前記信号対雑音比が、前記ROI外の物体の輪郭の周期性に基づいた成分の規則性の尺度であるステップと、
d)縦長でない物体の質量中心に対するx軸およびy軸に関する慣性モーメントを計算することによって、前記縦長でない物体を消去するステップと、
e)前記分析された画像フレーム内の歩行者を、前記歩行者の形状に基づいて分類するステップと、
f)平均値シフトアルゴリズムを使用して、前記分類された歩行者の動きを追跡するステップと
を含み、
前記信号対雑音比(SNR)が、
a)各成分について外部境界を決定するステップと、
b)ブロブに関する重心を計算するステップと、
c)前記ブロブの重心から形状輪郭までの距離を計算するステップと、
d)前記形状輪郭に対する前記計算された距離のN点DFTを計算するステップと、
e)周波数成分の振幅の極大を探索し、その後、1つまたは複数の極大が周期的に生じる場合には周期を計算するステップと、
f)前記計算された距離の反復バージョンのN点DFTを計算するステップと、
g)前記形状輪郭に対する計算された距離に関するN点IDFTを計算するステップと、
h)誤差信号を計算するステップと、
i)最後に、前記誤差信号から、各成分の信号対雑音比(SNR)を計算するステップと
を含む処理装置によって実施されるステップを含む方法。 - さらに、前記歩行者の追跡データの使用によって特徴付けられる衝突を回避するために運転者に警告するためのステップを含む請求項1に記載の方法。
- 前記近IRカメラを前記車両のダッシュボードに、または前部もしくは内部もしくは上部に配設することができる請求項1に記載の方法。
- a)ソーベルの演算子を使用して、前記捕捉されたIR画像を差分処理するステップと、
b)前記差分処理された画像をしきい値処理するために、前記差分処理された画像に大津のアルゴリズムを適用するステップと、
c)平滑領域を識別することによって道路を検出し、その際、最下行画素から0−1遷移までの領域が前記平滑領域を示し、前記検出後、前記平滑領域を値「X」としてマークし、各最下行画素画像について前記マーク付けを繰り返すステップと、
d)元の画像強度を16binに分割し、次いで、最下行画素から前記画像の高さの半分まで進み、その後、前記マークされている画素をシード画素とみなし、次いで前記シード画素を選択し、その後、隣接する画素をチェックし、前記隣接する画素と前記シード画素の強度の間のユークリッド距離(D)を計算することによって、前記隣接する画素が前記シード画素と同様である場合には前記隣接する画素を前記地面領域に追加し、次いで、前記プロセスを、新たに追加される各画素について繰り返し、追加することができる画素がそれ以上ない場合には前記プロセスを停止し、最後に、前記新たに追加された画素を「X」としてマークするステップと
を含む処理装置によって実施されるステップによって前記地面領域が推定される請求項1に記載の方法。 - 前記歩行者を分類するステップが、
a)各ROIについて外部境界を見出すステップと、
b)ブロブに関する重心を計算するステップと、
c)前記境界を複素座標関数として表現するステップであって、前記表現の変換が、前記形状表現を並進に対して不変にするステップと、
d)物体とモデルの形状境界を、同数のデータ点を有するようにサンプルするステップと、
e)物体とモデルの形状境界のデータ値を比較するステップと、
f)前記比較に基づいて歩行者を分類するステップと
を含む処理装置によって実施されるステップによって行われる請求項1に記載の方法。 - 近赤外線(IR)カメラを使用することによって車両の前方にいる歩行者を検出、分類、および追跡するためのシステムであって、
a)画像を捕捉するために前記車両に配設された近IRカメラと、
b)前記車両の前方にいる歩行者を検出、分類、および追跡するために、前記捕捉された画像をリアルタイムで分析するための処理装置とを備え、
前記請求項1ないし5のいずれかに記載のステップを実施する
ことを特徴とするシステム。 - さらに、前記歩行者の追跡データを使用することによって特徴付けられる衝突を回避するために運転者に警告するための警報手段を備える請求項6に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN2785MU2009 | 2009-12-02 | ||
IN2785/MUM/2009 | 2009-12-02 | ||
PCT/IN2010/000783 WO2011067790A2 (en) | 2009-12-02 | 2010-12-02 | Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013505509A JP2013505509A (ja) | 2013-02-14 |
JP5453538B2 true JP5453538B2 (ja) | 2014-03-26 |
Family
ID=44115376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012530411A Expired - Fee Related JP5453538B2 (ja) | 2009-12-02 | 2010-12-02 | 近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8964033B2 (ja) |
EP (1) | EP2481012A2 (ja) |
JP (1) | JP5453538B2 (ja) |
CN (1) | CN102511046B (ja) |
WO (1) | WO2011067790A2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3117768B1 (en) | 2006-05-19 | 2019-11-06 | The Queen's Medical Center | Motion tracking system and method for real time adaptive imaging and spectroscopy |
US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
EP2747641A4 (en) | 2011-08-26 | 2015-04-01 | Kineticor Inc | METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION |
US8948449B2 (en) * | 2012-02-06 | 2015-02-03 | GM Global Technology Operations LLC | Selecting visible regions in nighttime images for performing clear path detection |
US9412025B2 (en) * | 2012-11-28 | 2016-08-09 | Siemens Schweiz Ag | Systems and methods to classify moving airplanes in airports |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9782141B2 (en) | 2013-02-01 | 2017-10-10 | Kineticor, Inc. | Motion tracking system for real time adaptive motion compensation in biomedical imaging |
WO2015148391A1 (en) | 2014-03-24 | 2015-10-01 | Thomas Michael Ernst | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
CN103902976B (zh) * | 2014-03-31 | 2017-12-29 | 浙江大学 | 一种基于红外图像的行人检测方法 |
CN106714681A (zh) | 2014-07-23 | 2017-05-24 | 凯内蒂科尔股份有限公司 | 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 |
CN105740862A (zh) * | 2014-10-27 | 2016-07-06 | 江苏慧眼数据科技股份有限公司 | 一种基于宏特征点描述的行人轮廓检测方法 |
CN104778725A (zh) * | 2015-04-14 | 2015-07-15 | 长兴泛亚照明电器有限公司 | 一种背景自适应更新的地下车库及隧道运动目标检测方法 |
US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
US20170032676A1 (en) * | 2015-07-30 | 2017-02-02 | Illinois Institute Of Technology | System for detecting pedestrians by fusing color and depth information |
CN105261017B (zh) * | 2015-10-14 | 2018-12-11 | 长春工业大学 | 基于路面约束的图像分割法提取行人感兴趣区域的方法 |
WO2017091479A1 (en) | 2015-11-23 | 2017-06-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN106845344B (zh) * | 2016-12-15 | 2019-10-25 | 重庆凯泽科技股份有限公司 | 人群统计方法及装置 |
CN106952293B (zh) * | 2016-12-26 | 2020-02-28 | 北京影谱科技股份有限公司 | 一种基于非参数在线聚类的目标跟踪方法 |
US10789727B2 (en) * | 2017-05-18 | 2020-09-29 | Panasonic Intellectual Property Corporation Of America | Information processing apparatus and non-transitory recording medium storing thereon a computer program |
KR20190062635A (ko) * | 2017-11-15 | 2019-06-07 | 전자부품연구원 | 객체 추적 장치 및 객체 추적 방법 |
US10467903B1 (en) * | 2018-05-11 | 2019-11-05 | Arnold Chase | Passive infra-red pedestrian detection and avoidance system |
US11062608B2 (en) | 2018-05-11 | 2021-07-13 | Arnold Chase | Passive infra-red pedestrian and animal detection and avoidance system |
US11294380B2 (en) | 2018-05-11 | 2022-04-05 | Arnold Chase | Passive infra-red guidance system |
US10750953B1 (en) | 2018-05-11 | 2020-08-25 | Arnold Chase | Automatic fever detection system and method |
JP2020086756A (ja) * | 2018-11-21 | 2020-06-04 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
CN109800683A (zh) * | 2018-12-30 | 2019-05-24 | 昆明物理研究所 | 一种基于fpga的红外行人检测方法及装置 |
CN111126178B (zh) * | 2019-12-05 | 2023-07-04 | 大连民族大学 | 红外-可见光双目行人身体多部件融合的持续距离估计方法 |
CN112288765A (zh) * | 2020-10-30 | 2021-01-29 | 西安科技大学 | 一种用于车载红外行人检测跟踪的图像处理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0171147B1 (ko) | 1995-03-20 | 1999-03-20 | 배순훈 | 그레디언트 변화를 이용한 특징점 선정장치 |
JP3263311B2 (ja) * | 1996-04-24 | 2002-03-04 | ニッタン株式会社 | 対象検知装置および対象検知方法および対象監視システム |
US7139411B2 (en) | 2002-06-14 | 2006-11-21 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
JP4228947B2 (ja) | 2003-05-20 | 2009-02-25 | 日産自動車株式会社 | 撮像装置 |
JP3922245B2 (ja) * | 2003-11-20 | 2007-05-30 | 日産自動車株式会社 | 車両周辺監視装置および方法 |
JP3903048B2 (ja) * | 2004-04-26 | 2007-04-11 | キヤノン株式会社 | 画像抽出方法 |
ES2259543B1 (es) * | 2005-02-04 | 2007-11-16 | Fico Mirrors, S.A. | Sistema para la deteccion de objetos en una zona exterior frontal de un vehiculos, aplicable a vehiculos industriales. |
JP2009508450A (ja) | 2005-09-13 | 2009-02-26 | ヴェリフィコン コーポレーション | 物体のトラッキングおよび活動分析のためのシステムおよび方法 |
JP4777196B2 (ja) * | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | 運転支援装置 |
JP4813304B2 (ja) * | 2006-09-19 | 2011-11-09 | 本田技研工業株式会社 | 車両周辺監視装置 |
-
2010
- 2010-12-02 EP EP10822866.9A patent/EP2481012A2/en not_active Withdrawn
- 2010-12-02 CN CN201080030194.XA patent/CN102511046B/zh active Active
- 2010-12-02 JP JP2012530411A patent/JP5453538B2/ja not_active Expired - Fee Related
- 2010-12-02 US US13/380,559 patent/US8964033B2/en active Active
- 2010-12-02 WO PCT/IN2010/000783 patent/WO2011067790A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20120229643A1 (en) | 2012-09-13 |
WO2011067790A3 (en) | 2011-10-06 |
WO2011067790A2 (en) | 2011-06-09 |
CN102511046B (zh) | 2015-03-25 |
EP2481012A2 (en) | 2012-08-01 |
US8964033B2 (en) | 2015-02-24 |
CN102511046A (zh) | 2012-06-20 |
JP2013505509A (ja) | 2013-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5453538B2 (ja) | 近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法 | |
US10261574B2 (en) | Real-time detection system for parked vehicles | |
Huang et al. | Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads | |
CN109977782B (zh) | 基于目标位置信息推理的跨店经营行为检测方法 | |
Barcellos et al. | A novel video based system for detecting and counting vehicles at user-defined virtual loops | |
CN103699905B (zh) | 一种车牌定位方法及装置 | |
Cheng et al. | Intelligent highway traffic surveillance with self-diagnosis abilities | |
EP2851841A2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
Liu et al. | Vision-based real-time lane marking detection and tracking | |
CN109313699B (zh) | 用于对一车辆的输入图像进行目标识别的装置和方法 | |
CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和系统 | |
JP2012221162A (ja) | 対象物検出装置及びプログラム | |
CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
Park et al. | Vision-based surveillance system for monitoring traffic conditions | |
Xiao et al. | Detection of drivers visual attention using smartphone | |
KR20150002040A (ko) | 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법 | |
Ao et al. | Detecting tiny moving vehicles in satellite videos | |
WO2017077261A1 (en) | A monocular camera cognitive imaging system for a vehicle | |
WO2022179016A1 (zh) | 车道检测方法、装置、设备及存储介质 | |
Pun et al. | A real-time detector for parked vehicles based on hybrid background modeling | |
CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和系统 | |
Kadim et al. | Real-time vehicle counting in complex scene for traffic flow estimation using multi-level convolutional neural network | |
Ng et al. | Traffic Impact Assessment System using Yolov5 and ByteTrack | |
Wibowo et al. | Implementation of Background Subtraction for Counting Vehicle Using Mixture of Gaussians with ROI Optimization | |
Teknomo et al. | Tracking algorithm for microscopic flow data collection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131015 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5453538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |