KR20150002038A - 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 - Google Patents
하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 Download PDFInfo
- Publication number
- KR20150002038A KR20150002038A KR1020130075312A KR20130075312A KR20150002038A KR 20150002038 A KR20150002038 A KR 20150002038A KR 1020130075312 A KR1020130075312 A KR 1020130075312A KR 20130075312 A KR20130075312 A KR 20130075312A KR 20150002038 A KR20150002038 A KR 20150002038A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- information
- image
- tracking
- kalman filter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- PSFDQSOCUJVVGF-UHFFFAOYSA-N harman Chemical compound C12=CC=CC=C2NC2=C1C=CN=C2C PSFDQSOCUJVVGF-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20041—Distance transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
차량 인식은 안전성과 편의성을 위한 지능형 자동차에 대한 연구에서 중요한 부분으로서 자동차의 구현에 필수적인 기술이다. 차량 인식 기술은 운전자에게 차량 충돌과 같은 위험요소를 사전에 인식시키거나 차량을 자동으로 제어하는 기술로 각광 받고 있다. 본 논문에서는 입력 영상에서 차량이 나타날 수 있는 관심 영역을 설정한 다음 미리 학습된 검출기를 통한 Haar-like와 Adaboost 알고리즘으로 차량 후보 영역을 검출하고 중복된 영역을 제거하기 위해 클러스터링 기법을 적용하고, 칼만 필터로 프레임 영상에서 차량을 추적 하고, 다시 중복된 영역에 대해 클러스터링 기법을 적용하는 방법을 제안하였다.
Description
본 발명은 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법에 관한 것으로서, 보다 구체적으로는 블랙박스 영상을 사용하여 운전과정 중 전방의 차량을 인식하는 방법에 관한 것이다.
영상 부분 중 차량이 존재할 수 있는 부분만을 관심영역(ROI, region of interest)으로 설정함으로써 영상에서 실제 차량이 존재 할 수 있는 부분을 ROI로 선택하여 해당 부분만을 처리하면 연산 량을 최대한 줄인다.
Haar like와 Adaboost 기법으로 차량후보를 추출하고 차량특징기반의 차량후보 검출한다. Haar like기법은 도로에서 차량을 인식하기 위해서 인식 대상의 모델을 생성한다. 본 보고서에서는 영상에 전처리 과정을 거쳐 추출된 특징들을 이용하는 특징 기반 기법을 이용한다. 특징 기반 기법은 영상의 밝기 값의 변화 량을 계산하고 변화 량이 심한 부분을 검출한다. 이를 바탕으로 물체의 윤곽선이나 물체의 윤곽에 근사 하는 선분, 곡선 등을 구하기도 한다.
실시간으로 차량을 검출하기 위해 간단하고 효율적인 Adaboost 알고리즘을 Haar like와 결합한다. Adaboost 알고리즘은 차량의 훈련단계에서 얻은 모델 링 된 데이터와 파라 미터들을 이용하여 물체를 판별한다. 보다 나은 인식률을 위해서 Adaboost의 약 분류기 들은 차량을 잘 인식할 수 있도록 선택된다.
수평 엣지, 수직 엣지를 이용하여 차량 후보 영역을 교정하고 그림자로 차량 후보를 결정한 후 중복되는 영역을 클러스터링 한다. Feature matching을 통해 동일한 대응점을 찾기엔 많은 연산이 필요하므로 feature들을 clustering을 통해 제거한다. 차량이라고 검출되었을 경우 칼만 필터를 이용한 Tracking 기법을 활용함으로써 불안정한 차량검출 문제를 해결한다. 칼만 필터는 대상 시스템의 확률적인 모델과 측정값을 이용하여 시스템의 상태변수를 찾아내는 최적 추정기법이다. 전단계 에서 클러스터링한 차량을 칼만 필터로 추적하여 인식할 경우 중복 영역이 다시 나타날 수 있다. 이 영역을 클러스터링하여 제거한다.
본 발명은 안전성과 편의성을 위한 지능형 자동차에 대한 연구에서 운전자에게 차량 충돌과 같은 위험 요소를 사전에 인식시키는 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법을 제공하는 데 그 목적이 있다.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법은 이미지 및 동영상 정보에서 차량을 인식하기 위한 방법에서 차량의 인식 율을 유지하면서 다양한 환경에 대해서도 차량이 이동 시에도 추적하면서 인식 및 차량의 색상 정보 및 위치 정보, 크기 정보를 고려하여 시간에 따라서 이동 거리를 추정하여 차량의 위치를 예상하는 방법 광각의 카메라를 이용하여 촬영된 영상 정보를 소프트웨어 적인 알고리즘을 통해서 제한된 하드웨어에서 영상 정보에서 소실 점, 차선 및 주변 영상 정보를 이용하여 거리를 산술하는 방법을 포함한다.
본 발명에 따르면, 차량 영상(640*360)에서 차량 전부가 ROI영역 이내에 들어있는 차량 인식, 상단에서 152pixel, 하단에서 208 pixel 떨어진 곳에 그려진 적색 라인을 기준으로, 라인아래에 있거나 라인에 걸치는 차량 수를 카운트 한다. 추적+신뢰도 비교 영상을 만들 때에는 차량 영상 ROI영역(640*120) 에서 차량 인식. 상단에서 32pixel, 하단에서 88 pixel 떨어진 곳에 그려진 적색 라인을 기준으로, 라인아래에 있거나 라인에 걸치는 차량을 인식하여 기준 영상에서의 인식한 결과와 비교한다.
테스트 결과 주행 중 촬영된 동영상(640*360) 데이터에서 모든 프레임에 대한 이미지 정보를 추출하고, 총 1444장 이미지 중에서 차량이 존재하는1358개 프레임에 대해서 평가한 결과, 총 차량 인식 율은 98.71%로 집계되었고, 정확도는 100%로서 실시간 차량 검출이 가능함을 보여 주었다. 이는 추적 알고리즘을 적용하지 않는 경우에 비해 인식률상 3.62%, 정확도상 0.08% 상승한 결과이다.
도 1은 본 발명의 차량 인식 시스템의 알고리즘 흐름도.
도 2는 블랙박스 영상 원본 이미지에 대한 도면.
도 3은 차량 검출 기준라인이 적용된 이미지에 대한 도면.
도 4는 추적 알고리즘 적용 시 차량 인식 결과 영상에 대한 도면.
도 5는 추적 알고리즘 제외 시 차량 인식 결과 영상에 대한 도면.
도 2는 블랙박스 영상 원본 이미지에 대한 도면.
도 3은 차량 검출 기준라인이 적용된 이미지에 대한 도면.
도 4는 추적 알고리즘 적용 시 차량 인식 결과 영상에 대한 도면.
도 5는 추적 알고리즘 제외 시 차량 인식 결과 영상에 대한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법을 설명한다. 도 1은 본 발명의 차량 인식 시스템의 알고리즘 흐름도이고, 도 2는 블랙박스 영상 원본 이미지에 대한 도면이며, 도 3은 차량 검출 기준라인이 적용된 이미지에 대한 도면이고, 도 4는 추적 알고리즘 적용 시 차량 인식 결과 영상에 대한 도면이며, 도 5는 추적 알고리즘 제외 시 차량 인식 결과 영상에 대한 도면이다.
현재 연구 된 차량 인식 관련 알고리즘들을 분석하고 차량 인식 관련 기술에 대해 연구 학습 한 후 각 방법의 장단 점을 정리하고 주요 알고리즘을 채택하여 차량 인식 방법을 제안 하였다. 차량을 인식함에 있어서 주로 사용되는 알고리즘은 ROI설정법, haar-like특징 추출법, Adaboost 알고리즘, 칼만 필터, 클러스터링 기법 등이 있다. 제안한 방법은 우선 입력 영상에서 차량이 나타날 수 있는 관심 영역을 설정하여 해당 영역에서만 연산을 수행함으로써 연산속도를 향상한다. 다음 미리 학습된 검출기를 통한 Haar-like와 Adaboost 알고리즘으로 차량 후보 영역을 검출한다. 중복된 영역을 제거하기 위해 클러스터링 기법을 적용하였고, 칼만 필터로 프레임 영상에서 차량을 추적 하고, 다시 중복된 영역에 대해 클러스터링을 하였다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Claims (2)
- 이미지 및 동영상 정보에서 차량을 인식하기 위한 방법에서 차량의 인식 율을 유지하면서 다양한 환경에 대해서도 차량이 이동 시에도 추적하면서 인식 및 차량의 색상 정보 및 위치 정보, 크기 정보를 고려하여 시간에 따라서 이동 거리를 추정하여 차량의 위치를 예상하는 방법 광각의 카메라를 이용하여 촬영된 영상 정보를 소프트웨어 적인 알고리즘을 통해서 제한된 하드웨어에서 영상 정보에서 소실 점, 차선 및 주변 영상 정보를 이용하여 거리를 산술하는 방법.
- 제1항에 있어서,
차량의 위치 정보 및 차선의 정보를 이용하여 이동 가능 차선 분석 및 차선의 이동 여부를 제안해주는 정보화 기기에 연동 할 수 있으며, 방향 지시에 따라서 현재 해당 방향 지시등 내에 존재하는 차량 정보의 거리가 근거리인 경우 경고 알림을 통보하며, 차량의 위치에 따른 차량의 종류, 차량의 번호, 차량의 이동 추세를 정보 단말기를 이용해서 기록할 수 있는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130075312A KR20150002038A (ko) | 2013-06-28 | 2013-06-28 | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130075312A KR20150002038A (ko) | 2013-06-28 | 2013-06-28 | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150002038A true KR20150002038A (ko) | 2015-01-07 |
Family
ID=52475556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130075312A KR20150002038A (ko) | 2013-06-28 | 2013-06-28 | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150002038A (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389830A (zh) * | 2015-10-13 | 2016-03-09 | 西北工业大学 | 基于多层检测模型和群体行为模型的车辆跟踪方法 |
| KR20160087273A (ko) * | 2015-01-13 | 2016-07-21 | 현대모비스 주식회사 | 차량 안전 주행 장치 |
| WO2018124337A1 (ko) * | 2016-12-28 | 2018-07-05 | 주식회사 에이다스원 | 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 |
| CN109573906A (zh) * | 2019-01-25 | 2019-04-05 | 江苏达力叉车有限公司 | 一种叉车安全防撞系统 |
| CN111104969A (zh) * | 2019-12-04 | 2020-05-05 | 东北大学 | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 |
| KR102319650B1 (ko) | 2020-07-28 | 2021-10-29 | 숭실대학교산학협력단 | 차량 조명 페어링 방법 및 장치 |
| KR20220014191A (ko) | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 머신 러닝 기반 차량 조명 검출 방법 및 장치 |
| KR20220014192A (ko) | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 시공간 정보를 이용한 차량 조명 추적 장치 및 방법 |
| KR20220014193A (ko) | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 가려짐을 고려한 차량 추적 방법 및 장치 |
| CN117774963A (zh) * | 2024-02-27 | 2024-03-29 | 山东云海国创云计算装备产业创新中心有限公司 | 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 |
-
2013
- 2013-06-28 KR KR1020130075312A patent/KR20150002038A/ko not_active Application Discontinuation
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160087273A (ko) * | 2015-01-13 | 2016-07-21 | 현대모비스 주식회사 | 차량 안전 주행 장치 |
| CN105389830A (zh) * | 2015-10-13 | 2016-03-09 | 西北工业大学 | 基于多层检测模型和群体行为模型的车辆跟踪方法 |
| WO2018124337A1 (ko) * | 2016-12-28 | 2018-07-05 | 주식회사 에이다스원 | 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 |
| CN109573906A (zh) * | 2019-01-25 | 2019-04-05 | 江苏达力叉车有限公司 | 一种叉车安全防撞系统 |
| CN111104969A (zh) * | 2019-12-04 | 2020-05-05 | 东北大学 | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 |
| CN111104969B (zh) * | 2019-12-04 | 2023-09-19 | 东北大学 | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 |
| KR102319650B1 (ko) | 2020-07-28 | 2021-10-29 | 숭실대학교산학협력단 | 차량 조명 페어링 방법 및 장치 |
| KR20220014191A (ko) | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 머신 러닝 기반 차량 조명 검출 방법 및 장치 |
| KR20220014192A (ko) | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 시공간 정보를 이용한 차량 조명 추적 장치 및 방법 |
| KR20220014193A (ko) | 2020-07-28 | 2022-02-04 | 숭실대학교산학협력단 | 가려짐을 고려한 차량 추적 방법 및 장치 |
| CN117774963A (zh) * | 2024-02-27 | 2024-03-29 | 山东云海国创云计算装备产业创新中心有限公司 | 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 |
| CN117774963B (zh) * | 2024-02-27 | 2024-05-24 | 山东云海国创云计算装备产业创新中心有限公司 | 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150002038A (ko) | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 | |
| KR102441085B1 (ko) | 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법 | |
| Keller et al. | The benefits of dense stereo for pedestrian detection | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| Zhao et al. | A novel multi-lane detection and tracking system | |
| US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
| US9818301B2 (en) | Lane correction system, lane correction apparatus and method of correcting lane | |
| Prioletti et al. | Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation | |
| KR101517181B1 (ko) | 차선 이탈 경보 시스템 및 방법 | |
| EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
| US10522039B2 (en) | Pedestrian recognition apparatus and method | |
| CN102982598B (zh) | 基于单个摄像头场景配置的视频人数统计方法和系统 | |
| WO2016129403A1 (ja) | 物体検知装置 | |
| US20150161796A1 (en) | Method and device for recognizing pedestrian and vehicle supporting the same | |
| KR20180042254A (ko) | 오브젝트 추적을 위한 시스템들 및 방법들 | |
| JP2015165376A (ja) | 車線認識装置及び方法 | |
| Lin et al. | Lane departure and front collision warning using a single camera | |
| US20160314363A1 (en) | Obstacle detection apparatus and method | |
| US10521679B2 (en) | Human detection device, human detection system, human detection method, and human detection program | |
| KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
| KR20140104516A (ko) | 차선 인식 방법 및 장치 | |
| KR20160126254A (ko) | 도로 영역 검출 시스템 | |
| JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| KR20150002040A (ko) | 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법 | |
| KR102164637B1 (ko) | 고속 객체 추적 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |