KR20180062683A - 이미지 피라미드를 이용한 차량 인식 장치 및 방법 - Google Patents
이미지 피라미드를 이용한 차량 인식 장치 및 방법 Download PDFInfo
- Publication number
- KR20180062683A KR20180062683A KR1020160162641A KR20160162641A KR20180062683A KR 20180062683 A KR20180062683 A KR 20180062683A KR 1020160162641 A KR1020160162641 A KR 1020160162641A KR 20160162641 A KR20160162641 A KR 20160162641A KR 20180062683 A KR20180062683 A KR 20180062683A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- interest
- distance information
- size
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012706 support-vector machine Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims description 5
- 238000010835 comparative analysis Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 229910000831 Steel Inorganic materials 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G06K9/00825—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6201—
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 차량 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 거리 정보 및 이미지 피라미드를 사용하여 보다 정밀하게 차량을 인식하는 장치 및 방법에 관한 것이다.
본 발명의 실시 예에 따른 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 장치는 주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득부, 상기 원본이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부, 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부, 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부, 상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류부, 및 상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지 피라미드를 이용한 차량 인식 장치 및 방법은 차량 인식 알고리즘을 돌려야 하는 관심영역을 줄임으로써 차량을 인식하는데 걸리는 수행 시간을 크게 단축할 수 있는 효과가 있다.
본 발명의 실시 예에 따른 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 장치는 주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득부, 상기 원본이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부, 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부, 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부, 상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류부, 및 상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지 피라미드를 이용한 차량 인식 장치 및 방법은 차량 인식 알고리즘을 돌려야 하는 관심영역을 줄임으로써 차량을 인식하는데 걸리는 수행 시간을 크게 단축할 수 있는 효과가 있다.
Description
본 발명은 차량 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 거리정보 및 이미지 피라미드를 사용하여 보다 정밀하게 차량을 인식하는 장치 및 방법에 관한 것이다.
전방 충돌 경고 시스템(Forward Collision Warning)은 전방의 이동 차량을 감지하여 충돌 위험이 있는 경우 운전자에게 경고하는 시스템이다. 이러한 전방 충돌 경고 시스템은 일반적으로 카메라를 통해 전방의 영상을 획득하고 획득한 영상에서 전방에 있는 물체들을 인식하고, 그 중에서 차량 고유의 특징을 가지는 물체를 선별함으로써 차량을 인식하게 된다.
전방 충돌 경고 시스템이 좀 더 정밀하게 동작할 수 있도록 하기 위하여 최근에는 라이더(Lidar) 센서나 레이더(Radar)를 이용하여 측정한 거리 정보를 카메라에 적용함으로써 정확성을 높이고자 하고 있다.
그런데 카메라를 이용한 물체 인식을 위해서는 상기한 것처럼 차량을 인식하기 위한 이미지 처리 알고리즘이 수행되어야 한다. 그런데 이러한 이미지 처리 알고리즘은 화면이 크다면 시간이 오래 걸려 가능한 시간 내에 차량을 인식하지 못할 수 있다. 이를 해결하고자 차량이 있을만한 관심영역(Region of Interest; ROI)을 설정하고 관심영역 내에서만 이미지 처리 알고리즘을 돌림으로써 차량은 인식하는데 드는 수행시간을 줄이려는 노력이 진행되고 있다.
본 발명은, 거리정보 및 이미지 피라미드를 이용하여 관심 영역을 줄임으로써 차량을 인식하는 데 필요한 시간을 단축하는 방법 및 장치를 제시하는 것을 기술적 과제로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 장치는 주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득부, 상기 원본이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부, 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부, 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부, 상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류부, 및 상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류를 포함할 수 있다. 이에 더하여, 차량 인식 장치는 차량 인식의 신뢰성을 강화하기 위하여 인식된 차량에 대하여 연속적인 이미지상에서의 추적을 수행하고, 일시적으로 소실된 차량의 트랙(track)을 유지할 수 있는 차량 추적부를 더 포함할 수 있다.
여기서 상기 약분류부는 차량이 포함되어 있는 특정 크기의 템플릿 이미지와 차량이 포함되어 있지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하고, 상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인할 수 있다. 좀 더 상세히 설명하면, 상기 약분류부는 MCT(Modified Census Transform) 방식을 이용하여 상기 차량이 포함되어 있는 템플릿 이미지 및 상기 차량이 포함되어 있지 않은 템플릿 이미지에서의 각 픽셀에서의 특징값을 추출하고, 양 템플릿 이미지의 각 픽셀에서의 특징값을 비교하여 특징값에 차이가 나는 픽셀의 위치를 특징점으로 생성할 수 있다.
그리고 상기 관심영역 생성부는 상기 거리정보 획득부에서 획득한 물체까지의 종방향 거리 정보를 바탕으로 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 단계 이미지를 복수 개 선정하고, 상기 선정된 단계 이미지 각각에서 상기 거리정보 획득부에 획득한 상기 물체의 위치를 중심으로 좌/우로 일정 크기를 가지는 영역을 관심영역으로 생성할 수 있다. 그리고 상기 관심영역 생성부는 수학식
I1 = floor(log(Ts x Z /(1.5fc))/log S)
I2 = floor(log(Ts x Z /(2.5fc))/log S) + 1
(여기서 Ts는 템플릿 이미지의 길이, Z는 상기 거리정보 획득부에서 획득한 종방향 거리, fc는 초점 거리(focal length), S는 상기 이미지 피라미드 내의 단계 이미지 간의 축소 비율, floor(a)는 a보다 작은 정수를 나타내는 함수)을 사용하여 I1 내지 I2 단계 이미지를 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 단계 이미지로 선정할 수 있다.
그리고 상기 약분류부는 상기 관심영역 생성부에서 생성한 관심영역을 연쇄 윈도우 스캔 방식-상기 관심영역의 꼭지점 중의 하나에서 시작하여 전 관심영역을 비교할 수 있도록 1픽셀씩 왼쪽/오른쪽 또는 위/아래로 움직여가며 비교하는 방식-으로 상기 템플릿 이미지 크기에서의 특징점과 비교하여 차량일 가능성을 확인할 수 있다.
그리고 상기 강분류부는 차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하여 놓고, 상기 약분류부에 의하여 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정할 수 있다.
상기 작업을 하기 위한 템플릿 이미지의 크기는 28x28 픽셀일 수 있고, 상기 이미지 피라미드가 포함하는 단계 이미지는 20개(n=20)일 수 있고, 상기 일정한 비율은 0.845일 수 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 방법은 주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득 단계, 상기 원본이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계, 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득 단계, 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성 단계, 상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류 단계; 및 상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류 단계를 포함할 수 있다.
여기서 상기 약분류 단계는 동일한 크기의 차량이 포함되어 있는 템플릿 이미지와 차량이 포함되어 있지 않은 템플릿 이미지를 비교분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하는 단계 및 상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인하는 단계를 포함할 수 있고, 상기 강분류 단계는 차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하는 단계 및 상기 약분류부에 의하여 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지 피라미드를 이용한 차량 인식 장치 및 방법은 차량 인식 알고리즘을 돌려야 하는 관심영역을 줄임으로써 차량을 인식하는데 걸리는 수행 시간을 크게 단축할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 전방의 차량을 검출하기 위한 차량 인식 장치의 블록도를 도시한 도면이다.
도 2는 본 발명의 일 실시 예로서 이미지 피라미드를 생성한 결과를 도시한 도면이다.
도 3은 [수학식 1]을 사용하여 거리 및 차폭에 따른 원본 이미지(210) 상에서의 차폭의 크기를 도시한 도면이다.
도 4는 관심영역 생성부(140)에서 이미지 피라미드 내에 관심 영역을 설정하는 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 특정 크기의 템플릿 이미지 내에 차량이 있는 경우의 특징을 추출하는 것을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 약분류부(150)의 연쇄 윈도우 스캔 방식을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 차량인식장치에 의한 전방 차량 검출 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시 예로서 이미지 피라미드를 생성한 결과를 도시한 도면이다.
도 3은 [수학식 1]을 사용하여 거리 및 차폭에 따른 원본 이미지(210) 상에서의 차폭의 크기를 도시한 도면이다.
도 4는 관심영역 생성부(140)에서 이미지 피라미드 내에 관심 영역을 설정하는 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 특정 크기의 템플릿 이미지 내에 차량이 있는 경우의 특징을 추출하는 것을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 약분류부(150)의 연쇄 윈도우 스캔 방식을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 차량인식장치에 의한 전방 차량 검출 방법을 도시한 흐름도이다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 일 실시 예에 따른 전방의 차량을 검출하기 위한 차량 인식 장치의 블록도를 도시한 도면이다.
도 1은 카메라 또는 이미지 센서를 이용하여 전방을 촬영한 이미지로부터 차량을 검출하기 위한 차량 인식 장치로서, 주차량에 구비되어 카메라 또는 이미지 센서로 영상 이미지를 획득하는 이미지 획득부(110), 획득한 이미지를 일정한 비율로 계속 줄인 복수 개의 이미지를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부(120), 레이더 또는 기타 거리 측정 장치를 이용하여 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부(130), 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부(140), 생성된 관심영역 내의 상기 물체가 차량일 가능성을 확인하는 약분류부(150), 및 약분류부(150)를 통과한 차량일 가능성이 있는 물체에 대하여 SVM(Support Vector Machine)을 적용하여 차량 관련 3가지 모델 중의 하나에 속하는지 분류하고, 3가지 모델 중의 하나에 해당하면 차량으로 확정하는 강분류부(160)를 포함하고, 이에 더하여 차량 인식의 신뢰성을 강화하기 위하여 인식된 타차량에 대하여 연속적인 이미지상에서의 추적을 수행하고, 일시적으로 소실된 타차량의 트랙을 유지할 수 있는 차량추적부(170)를 더 포함할 수 있다.
카메라로 획득한 영상 이미지상에서 차량을 인지하기 위하여서는 이미지를 분석하여 차량이 이미지상에 가지는 독특한 특성이 있는지 파악하여야만 한다. 그런데 차량은 위치하는 거리에 따라서 이미지상에서 서로 다른 크기로 보일 수 있어, 다양한 크기의 차량에 대하여 차량만의 독특한 특성을 찾는 것이 쉬운 일이 아니다. 그래서 본 발명에서는 이미지상에서 다양한 크기로 보이는 차량을 템플릿(template) 이미지 크기의 차량이 되도록 전체 이미지를 축소하고, 템플릿 이미지를 분석하여 차량에 의해서 나타나는 이미지 특성과 일치하면 차량으로 인식하는 방법을 사용함으로써 이미지상에 존재하는 다양한 크기의 차량을 쉽게 인식할 수 있도록 할 수 있다. 즉, 특정 크기(일 예로 28x28 픽셀)의 템플릿 이미지에 차량이 포함되어 있는 경우와 차량이 포함되어 있지 않은 경우를 비교하는 선행학습을 통하여 템플릿 이미지에 차량이 포함되어 있는 경우의 이미지 특성을 파악하고, 이를 바탕으로 차량을 인식하도록 할 수 있다.
전방의 차량 인식을 위하여 이미지 획득부(110)는 카메라나 이미지 센서를 이용하여 차량이 존재할 수 있는 전방에 대한 이미지를 계속하여 획득할 수 있다.
그리고 이미지 피라미드 생성부(120)는 이미지 획득부(110)에서 획득한 이미지를 바탕으로 복수 개의 단계 이미지를 포함하는 이미지 피라미드를 생성할 수 있다. 즉, 3m에서 120m까지의 다양한 거리에 있는 차량을 인식하기 위하여 입력 영상 이미지의 원래 크기인 (일 예로서 1280x800 픽셀(pixel))에서 시작하여 일정비율(일 예로 0.845배)로 줄이면서 복수 개의 이미지(일 예로서 20개)를 생성할 수 있다.
도 2는 본 발명의 일 실시 예로서 이미지 피라미드를 생성한 결과를 도시한 도면이다.
도 2를 참조하면, 원본 이미지(210)에 대하여 계속 일정 비율로 줄이면서 복수 개의 이미지(210 내지 270)를 생성할 수 있다. 이러한 복수 개의 이미지(210 내지 270) 내에서의 차량의 크기 변화를 좀 더 상세히 알아보면, 전술한 바처럼 본원 발명은 특정 크기의 템플릿 이미지를 분석하여 차량의 특성이 있는지 파악함으로써 차량을 인식할 수 있도록 하였기 때문에 원본 이미지상에 있는 차량을 특정 크기의 템플릿 이미지에 포함될 수 있도록 만들어 주는 것이 중요하다.
본원 발명에서 이하 설명에서 템플릿 이미지의 크기를 28x28 픽셀로 상정하여 설명할 것이나, 이는 고정된 값은 아니며 상황에 따라 변경될 수 있다. 템플릿 이미지의 크기를 28x28 픽셀로 상정하면 원본 이미지(210) 상에서 너무 멀리 있어 28x28 픽셀보다 작은 크기의 차량은 인식이 불가할 수 있다. 즉, 템플릿 크기에 따라 어느 거리까지의 차량을 인식할 수 있는 지가 결정될 수 있다.
그리고 원본 이미지(210) 상에서 보이는 차량의 차폭이 템플릿 이미지의 크기 내에 포함될 수 있다면, 이러한 차량은 원본 이미지(210)에서 차량의 존재 여부를 파악하여야 한다. 만약 원본 이미지(210) 상에서 차량의 차폭이 33(=28x1.185) 픽셀 정도의 크기로 보인다면 이러한 차량을 인식하기 위하여는 원본 이미지(210)를 1회 축소한 이미지(220)에서 차량의 존재 여부를 파악하여야 한다. 원본 이미지(210)를 1회 축소한다면 원본 이미지(210)에 있던 차량의 차폭이 33 픽셀에서 28 픽셀 정도로 줄어들어 선행학습한 차량 특성이 1회 축소한 이미지(220)에 존재할 수 있다. 만약 원본 이미지(210) 상에서 차량의 차폭이 700(<28x1.18519) 픽셀 정도라면 원본 이미지(210)를 19회 축소한 이미지(270)에서 차량의 존재 여부를 파악하여야 한다. 즉, 원본 이미지(210) 상에서의 차량의 크기에 따라 차량이 존재하는 특징을 파악할 수 있는 관심영역이 될 수 있는 이미지 피라미드의 단계가 틀릴 수 있다.
즉, 이미지 피라미드 생성부(120)는 원본 이미지(210) 상에 존재하는 차량 이미지의 크기에 따라 관심영역이 틀릴 수 있기 때문에 미리 원본 이미지(210)를 축소시킨 복수 개의 이미지를 포함하는 이미지 피라미드를 생성하여 차량인식장치의 다른 부분에서 사용하도록 할 수 있다. 특히, 원본 이미지(210) 상에 복수 개의 차량이 존재하는 경우에도 각 차량에 대하여 별도의 이미지 피라미드를 만들 필요없이 이미지 피라미드 생성부(120)에서 생성한 이미지 피라미드를 원본 이미지(210) 상에 존재하는 복수 개의 차량을 인식하는데 사용할 수 있다.
관심영역 생성부(140)는 거리정보 획득부(130)에서 획득한 종방향 거리를 바탕으로 이미지 피라미드에 관심영역을 생성할 수 있다.
거리정보 획득부(130)는 레이더 또는 기타 거리 측정 장치를 이용하여 물체에 대한 종/횡방향 거리 정보를 획득할 수 있다. 그리고 핀홀(pin-hole) 모델을 사용하는 다음 [수학식 1]을 이용하여 거리정보 획득부(130)에서 획득한 거리 정보를 바탕으로 상기 거리에 있을 수 있는 차량의 차폭 정보를 획득할 수 있다.
여기서, fc는 초점거리(focal length)로 단위를 픽셀로 할 수 있고, 일반적으로 1350의 값을 가질 수 있다. Wv는 차폭을 나타내는 것으로 대략 1.5m에서 2.5m의 크기를 가지고, Z는 거리정보 획득부(130)에서 획득한 물체까지의 종방향 거리이고, W는 m 단위를 픽셀단위로 변환한 영상 좌표계에서의 차폭의 정보를 나타낸다. 즉, W는 원본 이미지(210)상에서 보이는 차폭의 크기를 나타낼 수 있다.
도 3은 [수학식 1]을 사용하여 거리 및 차폭에 따른 원본 이미지(210)상에서의 차폭의 크기를 도시한 도면이다. 도 3을 참조하면 거리가 가까울수록 원본 이미지(210)에서 나타나는 차폭의 크기는 커짐을 알 수 있다. 일 실시 예로서 차폭이 2.5m 이고, 종방향 거리가 5m인 경우, 원본 이미지(210)에서 차량의 차폭은 675 픽셀 정도로 나타남을 알 수 있다.
이제 원본 이미지(210) 상에서 차폭이 W로 나타나는 차량을 템플릿 이미지의 크기로 줄이기 위해서는 몇 단계의 축소가 진행되어야 하는 지를 파악하여야 한다. 레이저 정보를 이용하여 획득할 수 있는 것은 물체까지의 종/횡방향 거리이지 그 거리에 존재할 수 있는 차량의 차폭에 대하여는 알 수 없다. 그러므로 원본 이미지(210)에 나타나는 차폭의 정확한 값도 알 수 없다. 다만, 원래 차량의 차폭이 1.5m 내지 2.5m임을 감안하여 종방향 거리에 따라서 원본 이미지(210)에 나타나는 차폭의 범위를 다음 [수학식 2]를 이용하여 구할 수 있다.
일 예로서 거리정보 획득부(130)에서 획득한 거리(Z)가 50m이고, fc가 1350인 경우 원본 이미지(210)에 나타나는 차폭의 범위는 상기 [수학식 2]에 의하여 40 픽셀 내지 68 픽셀일 수 있다.
차폭이 상기 범위(Wmin ~ Wmax)에 있는 경우 몇 단계의 축소를 거쳐야 특정 크기의 템플릿 이미지 내에 차량이 포함될 수 있는지는 다음 [수학식 3]을 이용하여 구할 수 있다.
여기서 Ts 는 템플릿 이미지의 크기로 단위는 픽셀이고, S는 이미지 피라미드 내의 각 단계 이미지 간의 크기 변화율을 나타내는 스케일로서 본 발명의 일 실시 예에서는 0.845일 수 있고, I는 구하고자 하는 축소 횟수를 나타낼 수 있다.
그러면 [수학식 2] 및 [수학식 3]을 이용하여 I의 범위를 다음 [수학식 4]에서 구할 수 있다.
여기서 floor(a)는 a보다 작은 정수를 나타내는 함수이다. 일 예로서 Z가 50m로 나타난 경우, I1은 2, I2는 6이 되어 2단계에서 6단계의 이미지 축소를 통하여 차량을 특정 크기의 템플릿 이미지 내에 포함되도록 할 수 있다. 이렇게 구해진 축소 범위 (I1~I2)는 이미지 피라미드의 단계별 인덱스와 대응될 수 있다. 일 예로서 원본 이미지(210)를 이미지 피라미드 상의 0단계로 하고 1번 축소한 이미지(220)를 이미지 피라미드 상의 1단계, 2번 축소한 이미지(230)를 이미지 피라미드 상의 2단계, 10번 축소한 이미지(260)를 이미지 피라미드 상의 10단계, 19번 축소한 이미지(270)를 이미지 피라미드 상의 19단계로 두면 상기 구한 I1, I2를 이용하여 이미지 피라미드 상의 I1 단계에서 I2 단계까지의 이미지를 템플릿 이미지와 비교하여 차량의 특징이 존재하면 차량이 상기 거리정보 획득부(130)에서 획득한 거리에 존재함을 인식할 수 있다. 이때 이미지 피라미드 상의 각 단계는 템플릿 이미지의 크기(28x28 픽셀일 수 있다)보다 훨씬 클 수 있기 때문에 전 영역을 전부 비교하는 것은 시간이 걸리는 작업일 수 있다. 그래서 관심영역 생성부(140)는 거리정보 획득부(130)에서 획득한 거리 정보를 바탕으로 물체가 존재할 것으로 표시된 픽셀을 중심으로 좌우로 실제 거리 3m에 해당하는 영역을 관심영역으로 설정하고 관심영역 내에서만 비교를 수행하여 차량의 존재 여부를 인식함으로써 인식 시간을 더욱 줄일 수 있다.
도 4는 관심영역 생성부(140)에서 이미지 피라미드 내에 관심 영역을 설정하는 일 예를 도시한 도면이다.
도 4를 참조하면, 카메라 또는 이미지 센서로 촬상된 이미지 내에 거리정보 획득부(130)에 의해 검출된 물체가 있는 것으로 판단되는 위치(310, 320, 330)가 표시될 수 있다. 즉, 거리정보 획득부(130)는 레이더의 반사 정보를 이용하거나 다른 거리 측정 방법을 사용하여 전방에 있는 물체의 거리 정보를 제공할 수 있다. 이 경우 전방에 있는 물체는 차량뿐만 아니라 가로수, 교통 표지판일 수 있다. 이처럼 거리정보 획득부(130)가 보내온 거리 정보는 이미지상의 특정 픽셀로 변환될 수 있고, 도 4의 예에서는 중간에 + 가 있는 원(310, 320, 330)으로 나타낼 수 있다.
특히 거리정보 획득부(130)에 의해 물체가 있는 것으로 인식된 위치(330)에 대하여 좀 더 집중해서 살펴보면 거리정보 획득부(130)는 상기 위치(330)까지의 종방향 거리가 50m 임을 알려줄 수 있다. 그러면 차량이 존재한다면 차량의 크기가 선행학습한 특정 크기의 템플릿 이미지 내에 포함될 수 있도록 하는 이미지 피라미드 내의 이미지는 상기 계산한 것처럼 이미지 피라미드의 2단계에서 6단계에 해당하는 이미지가 될 수 있다. 즉, 도 2 또는 도 4에서 2번 축소한 이미지(230), 3번 축소한 이미지(240), 4번 축소한 이미지(250), 5번 축소한 이미지(360), 및 6번 축소한 이미지(370)가 될 수 있다. 거리정보 획득부(130)에 의한 위치(330) 표시 또한 축소되면서도 축소된 이미지상에서의 차량이 존재할 수 있는 위치를 표시할 수 있다.
그리고 각 단계의 이미지에 대하여 거리정보 획득부(130)에 의한 위치(330)표시를 중심으로 좌, 우로 실제 거리 3m 정도에 해당하는 영역을 관심영역(231, 241, 251, 361, 371)으로 설정할 수 있다. 그리고 상기 관심영역 내에서 선행학습한 차량의 특징이 있는 지를 파악함으로써 차량을 인식할 수 있다.
약분류부(150)와 강분류부(160)는 생성된 관심영역 내에서 차량이 있는 지를 인식할 수 있다.
약분류부(150)는 관심영역 내에서 차량이 될 수 있는 후보 물체를 생성하기 위하여 전술한 바처럼 선행학습을 통하여 차량을 포함하고 있는 특정 크기의 템플릿 이미지와 차량을 포함하고 있지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 템플릿 이미지 내에 차량이 있는 경우의 특징을 추출할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 특정 크기의 템플릿 이미지 내에 차량이 있는 경우의 특징을 추출하는 것을 도시한 도면이다.
도 5를 참조하면 차량을 포함하는 템플릿 이미지(510)에 대하여 MCT(Modified Census Transform)을 사용하여 차량의 특징을 파악할 수 있다. MCT에 의한 차량의 특징 파악은 밝기 변화에 매우 둔감하여, 전체적인 이미지의 밝기가 변하더라도 추출되는 특징의 차이가 거의 없는 방식이다. MCT 방식(520)에 의하면 각 픽셀에 대하여 9비트로 이미지의 특징을 표현할 수 있다. MCT 방식(520)은 자신의 픽셀과 주변의 8개의 픽셀의 밝기 정도를 나타내는 값의 평균(도 5의 예에서는 (85+99+21+86+13+12+57+54+54)/9=53.4)을 기준으로 하여 평균보다 크다면 1의 값을 가지고 평균보다 작다면 0의 값을 가지도록 한다. 즉, 도 5의 예에서는 '111001011'의 특징값이 추출될 수 있다. 즉, 전술한 방법으로 각 픽셀에 대하여 9비트의 특징값이 추출될 수 있고, 이 각 픽셀에 대한 9비트의 특징값을 이용하여 템플릿 이미지(530)를 표현할 수 있다. 그리고 차량이 포함되어 있는 템플릿 이미지에 대하여 MCT 방식을 이용하여 추출한 각 픽셀에서의 특징값과, 차량이 포함되어 있지 않은 템플릿 이미지에 대하여 MCT 방식을 이용하여 추출한 각 픽셀에서의 특징값을 비교하여 차량이 포함되어 있는 경우의 이미지의 특징을 파악할 수 있다.
전술한 방식을 사용하여 차량이 포함되어 있는 템플릿 이미지의 특징을 바탕으로 거리정보 획득부(130)가 지정한 위치에서의 차량의 존재 가능성을 파악할 수 있다.
약분류부(150)는 상기 추출된 차량이 포함되어 있는 템플릿 이미지의 특징을 바탕으로 관심영역에 대하여 연쇄 윈도우 스캔(Cascaded Scan-Window)방식을 사용하여 차량의 존재 가능성을 파악할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 약분류부(150)의 연쇄 윈도우 스캔 방식을 도시한 도면이다.
도 6을 참조하면, 관심영역(231)은 일 예로서 40x40 픽셀로 표시될 수 있다. 그러면 왼쪽 제일 위부터 시작하여 템플릿 이미지의 크기(본 발명의 일 실시 예에서 28x28 픽셀)에 맞추어서 MCT 변환을 수행하고 선행학습을 통하여 추출한 차량을 포함하고 있는 경우의 특징값들과 비교할 수 있다. 일반적으로 약분류부(150)는 15단계까지의 비교를 수행할 수 있는 데, 각 단계에서는 특정 픽셀에서의 MCT 값에 대한 비교일 수 있다. 또는 그룹으로 묶여진 몇 개의 픽셀에서의 MCT 값에 대한 비교일 수 있다. 도 6의 예에서 제일 처음에 비교되는 영역(610)에서는 차량이 없기에 차량을 나타낼 수 있는 특징점이 없어 약분류부(150)에 의한 초기 단계 비교에서 바로 없음이 나타날 수 있다. 차량이 없다고 나타나면 왼쪽으로 1픽셀 이동하여 동일한 비교 작업을 수행한다. 왼쪽의 마지막 이미지 영역(620)에 대하여 비교하여 차량을 발견할 수 없으면 아래쪽을 1픽셀 이동하여 비교 작업을 수행할 수 있다. 즉 도 6의 (b) 또는 (c)에 나타나 있는 순서대로 관심영역의 이미지의 특성과 차량을 포함하고 있는 템플릿 이미지 특성을 비교하여 차량의 특징을 가지고 있는 지를 파악할 수 있다. 도 6의 예에서는 관심영역 중 비교하는 영역(630)이 차량을 포함하고 있는 템플릿 이미지의 특성과 유사하거나 일치하면 차량이 존재하는 것으로 가정할 수 있다.
만약 이미지 피라미드의 2단계 이미지에서 차량의 특징점을 발견하였다면 0단계 내지 1단계, 및 3단계 내지 19단계의 이미지에서는 차량의 특징점을 발견할 수 없게 된다. 왜냐하면, 0단계 내지 1단계에서는 이미지상에서 보이는 차량의 차폭의 크기가 템플릿 이미지에서 보이는 차폭보다 커서 유사한 특징점을 발견할 수 없고, 3단계 내지 19단계에서는 이미지에서 보이는 차량의 차폭의 크기가 템플릿 이미지에서 보이는 차폭보다 작기 때문에 유사한 특징점을 발견할 수 없다.
그러므로 이미지 피라미드의 2단계 내지 6단계의 이미지에 관심영역이 설정되어 있다면, 약분류부(150)는 상기한 방법으로 2단계의 이미지에 차량을 인식할 수 없었다면 3단계의 이미지에 대하여 동일한 방법으로 차량의 존재를 파악하게 된다. 만약 약분류부(150)가 이미지 피라미드의 특정 단계 이미지에서 차량을 인식하였다면 이미지 피라미드의 이후 단계 이미지에 대하여는 더는 비교할 필요가 없다. 만약 관심영역으로 설정된 모든 단계(전술한 예에서는 2단계 내지 6단계)의 이미지에서 차량의 특징점을 발견할 수 없다면 그 위치에는 차량이 없는 것으로 판단할 수 있다.
강분류부(160)는 약분류부(150)에서 차량으로 인식될 수 있는 것으로 선정된 물체에 대하여 최종적으로 차량인지를 판단할 수 있다.
강분류부(160)는 판단을 위하여 먼저 SVM(Support Vector Machine)을 이용한 학습을 통하여 차량과 비차량을 가장 잘 분류할 수 있는 SV(Support Vector)를 생성한다. SVM은 기계 학습 분야 중 하나로 패턴 인식, 자료 분석을 위한 모델로 사용되는데, 주로 분류와 회귀분석을 위해 사용될 수 있는 도구이다. 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만들 수 있다. 즉 본 발명에서는 SVM을 이용하여 차량과 비차량을 분류할 수 있는 분류 모델을 만들 수 있다. 특히 본 발명에서 강분류부(160)는 차량의 기하학적 특징 즉, 차폭대 높이의 비율이 유사한 차량을 묶어서 하나의 차량으로 모델링하고 분류 모델을 만들 수 있다. 이에 따라 강분류부(160)는 차량을 세단(Sedan)/SUV, 버스/트럭, 기타 특이 차량의 3가지 모델로 나누고 각각의 모델에 대하여 학습을 통하여 SV를 생성할 수 있다. 이때 차폭대 높이의 비율은 세단/SUV의 경우 1:1일 수 있고, 버스/트럭의 경우 1:1.5일 수 있고, 기타 특이 차량의 경우 1:2일 수 있다.
전술한 약분류부(150)에 의하여 차량이 존재할 것으로 판단되면 강분류부(160)는 차량이 존재할 것으로 판단된 위치에 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산할 수 있다. 입력 이미지를 셀로 분류한 후 각 셀에 대한 히스토그램을 계산하여 특징점을 계산한다. 그리고 계산된 특징점과 상기 생성한 3가지 모델에 대한 SV간의 내적을 이용하여 실제 차량 여부를 판단할 수 있다. 3가지 모델 중 하나의 모델이라도 만족하면 차량으로 판단할 수 있다.
이처럼 약분류부(150)와 강분류부(160)를 이용하여 전방을 촬영한 이미지에서 차량을 인식할 수 있다.
차량추적부(170)는 칼만필터(Kalman Filter)를 이용하여 약분류부(150)와 강분류부(160)를 이용하여 이미지 내에서 인식한 차량 중에서 연속적으로 나타나는 차량만을 추적(Tracking)하여 노이즈를 제거하고, 일시적으로 소실된 차량의 트랙(track)을 유지하여 차량의 신뢰성을 강화할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 차량인식장치에 의한 전방 차량 검출 방법을 도시한 흐름도이다.
도 7을 참조하면, 차량인식장치가 전방의 차량 검출을 위하여 먼저 카메라 또는 이미지 센서를 이용하여 차량 전방의 이미지를 획득(S710)할 수 있다. 획득한 이미지에는 거리에 따라 다양한 크기를 가지는 복수 개의 차량이 존재할 수 있기 때문에 획득한 이미지에 존재하는 다양한 크기의 차량을 인식하기 위하여 이미지 피라미드를 생성(S720)할 수 있다. 다음 거리정보 획득부(130)는 레이더 또는 기타 장치를 이용하여 차량이 있을 수 있는 위치에 대한 거리 정보를 획득(S730)하고, 거리 정보를 바탕으로 생성한 이미지 피라미드에 관심영역을 생성(S740)할 수 있다. 그리고 관심영역 내에서 약분류부(150)에 의해 차량의 가능성이 있는 후보 물체를 생성하는 약분류(S750)를 수행하고, 강분류부(160)에 의해 후보물체들을 좀 더 상세히 분석하여 차량의 가능성이 큰 물체를 분류하는 강분류(S760)를 수행하고, 차량추적부(170)에 의해 차량의 가능성이 큰 물체에 대한 추적(S770)을 진행하여 차량임을 확정할 수 있다.
이하 각 단계에 대하여 좀 더 자세히 설명한다.
차량인식장치는 주기적으로 카메라 또는 이미지 센서를 이용하여 차량 전방의 이미지를 획득(S710)할 수 있다.
이미지 피라미드 생성부(120)는 획득한 이미지를 바탕으로 이미지 피라미드를 생성(S720)할 수 있다. 이미지 피라미드는 획득한 원본 이미지(210)에 대하여 계속 일정 비율로 줄이면서 생성한 복수 개의 이미지(210 내지 270)를 포함할 수 있다. 즉, 이미지 피라미드는 원본 이미지(210)를 포함할 수 있고, 원본 이미지(210)를 가로, 세로 각각 일정 비율로 줄인 1단계 이미지(220), 1단계 이미지를 다시 가로, 세로 각각 일정 비율로 줄인 2단계 이미지(230)를 포함할 수 있다. 단계가 증가하면서 단계별로 가로, 세로 각각 일정 비율로 줄이면서 이미지를 생성할 수 있고, 이렇게 생성된 이미지들은 이미지 피라미드에 포함될 수 있다.
관심영역 생성부(140)는 거리정보 획득부(130)에서 획득한 종방향 거리를 바탕으로 이미지 피라미드 내의 특정 단계의 이미지에 관심영역을 생성(S740)할 수 있다. 관심영역 생성부(140)는 전술한 [수학식 1] 내지 [수학식 4]를 이용하여 원본 이미지(210) 상의 차량이 템플릿 이미지상의 차량 크기 정도로 축소될 수 있는 이미지 피라미드 내의 특정 단계의 이미지들을 선정할 수 있다. 전술한 예에 따르면 전방 물체까지의 종방향 거리가 50m인 경우 이미지 피라미드 내의 제2단계 내지 제6단계의 이미지에 템플릿 이미지상의 차량 크기와 유사한 크기의 차량이 존재할 수 있다. 관심영역 생성부(140)는 거리 정보를 바탕으로 이미지 피라미드 내에서 차량이 인식될 수 있는 이미지들은 선정하고, 선정된 이미지 내의 거리정보 획득부(130)에서 획득한 위치를 중심으로 좌/우로 일정 크기(가령 3m)를 가지는 영역을 관심영역으로 생성(S740)할 수 있다. 전술한 예를 따르면 제2 단계 이미지 내지 제6 단계 이미지의 5개의 이미지에 관심영역이 설정될 수 있다.
약분류부(150)는 관심영역 생성부(140)에서 생성한 관심영역 내에 차량으로 인식될 수 있는 후보 물체를 생성하는 약분류(S750)를 수행한다. 약분류는 차량의 특징점이 관심영역 내에 있는 지를 파악하는 것일 수 있다. 이를 위하여 약분류부(150)는 차량의 특징점에 대한 정보를 미리 가지고 있을 수 있다.
차량의 특징점은 차량을 포함하는 특정 크기의 템플릿 이미지와 차량을 포함하지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 획득할 수 있다. 분석에 사용되는 도구로 밝기 변화 둔감하여, 밝기가 다른 경우에도 동일 또는 유사한 특징을 제공할 수 있는 MCT(Modified Census Transform) 방식을 사용할 수 있다. 여기서 템플릿 이미지의 크기는 28x28 픽셀일 수 있다. 차량이 포함되어 있는 템플릿 이미지에 MCT를 적용하여 각 픽셀에서의 특징값을 추출하고, 차량이 없는 템플릿 이미지에 MCT를 적용하여 각 픽셀에서의 특징값을 추출하여 양자 간에 특징값에 차이가 나는 픽셀의 위치를 특징점으로 잡을 수 있다.
약분류부(150)는 상기 특징점을 바탕으로 연쇄 윈도우 스캔(Cascaded Scan-Window)방식을 사용하여 관심영역 내에 차량의 존재 가능성을 확인할 수 있는 약분류(S750)를 수행할 수 있다. 연쇄 윈도우 스캔 방식은 관심영역의 꼭지점 중의 하나에서 시작하여 전 관심영역을 비교할 수 있도록 1 픽셀씩 왼쪽/오른쪽 또는 위/아래로 움직이면서 미리 저장해 놓은 템플릿 이미지에 의한 차량의 특징점과 비교할 수 있다. 즉, 관심영역 내의 한 꼭지점에서 템플릿 이미지의 크기와 동일한 영역을 설정하고 차량이 특징점들이 동일 또는 거의 유사하게 존재하는지 비교한다. 존재하지 아니하면 설정된 영역을 1 픽셀 왼쪽/오른쪽 또는 위쪽/아래쪽으로 이동하고 다시 차량이 특징점들이 존재하는지 비교한다. 계속 1 픽셀 왼쪽/오른쪽 또는 위쪽/아래쪽으로 이동하면서 차량이 특징점을 찾기 위한 비교 작업을 수행한다. 미리 저장된 특징점과 동일 또한 유사한 영역을 찾게 되면 차량이 존재할 가능성이 클 것으로 판단하고, 차량이 존재할 가능성이 큰 위치에 대하여는 강분류(S760)를 수행할 수 있다. 일단 동일 또는 유사한 특징점을 가지는 영역을 찾으면 남은 영역에서 차량의 존재를 확인하기 위한 비교는 불필요하다.
강분류부(160)는 약분류부(150)로부터 차량이 존재할 것으로 판단되는 위치를 받으면 SVM(Support Vector Machine) 방식을 사용하여 차량의 존재 여부를 확정할 수 있다. 이를 위하여 강분류부(160)는 미리 SVM을 위한 SV(Support Vector)를 생성해 놓아야 한다. 본 발명에서는 차량의 기하학적 특징 즉, 차폭 대 높이의 비율이 유사한 차량을 묶어서 하나의 차량으로 모델링하고 이에 대하여 SV를 생성할 수 있다. 즉, 강분류부(160)는 차량을 세단(Sedan)/SUV, 버스/트럭, 기타 특이 차량의 3가지 모델로 나누고 각각의 모델에 대하여 학습을 통하여 SV를 생성하고, 이 정보를 미리 저장하여 놓을 수 있다. 이때 차폭대 높이의 비율은 세단/SUV의 경우 1:1일 수 있고, 버스/트럭의 경우 1:1.5일 수 있고, 기타 특이 차량의 겨우 1:2일 수 있다.
이후 강분류부(160)는 약분류부(150)에 의하여 차량이 존재할 것으로 판단된 위치에서 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산할 수 있다 강분류부(160)는 입력 이미지를 셀로 분류한 후 각 셀에 대한 히스토그램을 계산하여 특징점을 계산하고 계산된 특징점과 상기 생성한 3가지 모델에 대한 SV간의 내적을 이용하여 실제 차량 여부를 판단하는 강분류(S760)를 수행할 수 있다. 3가지 모델 중 하나의 모델이라도 만족하면 차량으로 확정할 수 있다.
이후 칼만필터(Kalman Filter)를 이용하여 강분류부(160)를 통과한 이미지 중 연속적으로 나타나는 차량만을 추적(Tracking)(S770)하여 노이즈를 제거하고, 일시적으로 소실된 차량의 트랙(track)을 유지하여 차량의 신뢰성을 강화할 수 있다.
전술한 것처럼 본 발명은 이미지 피라미드를 사용하여 차량의 인식을 보다 쉽고 빠르게 하기 위한 장치 및 방법을 제시한 것으로 특히 레이더 또는 기타 거리 측정 장치에 의하여 복수 개의 물체가 인식된 경우에 복수 개의 물체에 대하여 별도의 관심영역을 설정하고, 물체별 관심영역에 대하여 약분류 및 강분류를 수행하여 차량으로 인식될 수 있는지 판단함으로써 이미지상에 복수의 차량을 인식하는 데 있어서 더욱 효율적으로 사용될 수 있을 것이다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 이미지 획득부
120: 이미지 피라미드 생성부
130: 거리정보 획득부
140: 관심영역 생성부
150: 약분류부
160: 강분류부
170: 차량 추적부
120: 이미지 피라미드 생성부
130: 거리정보 획득부
140: 관심영역 생성부
150: 약분류부
160: 강분류부
170: 차량 추적부
Claims (13)
- 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 장치로서,
주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득부;
상기 원본 이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부;
전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부;
획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부;
상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류부; 및
상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류부; 를 포함하는,
차량 인식 장치. - 제 1 항에 있어서,
차량 인식의 신뢰성을 강화하기 위하여 인식된 차량에 대하여 연속적인 이미지상에서의 추적을 수행하고, 일시적으로 소실된 차량의 트랙(track)을 유지할 수 있는 차량 추적부; 를 더 포함하는,
차량 인식 장치. - 제1 항에 있어서, 상기 약분류부는,
차량이 포함되어 있는 특정 크기의 템플릿 이미지와 차량이 포함되어 있지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하고, 상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인하는,
차량 인식 장치. - 제3 항에 있어서, 상기 약분류부는,
MCT(Modified Census Transform) 방식을 이용하여 상기 차량이 포함되어 있는 템플릿 이미지 및 상기 차량이 포함되어 있지 않은 템플릿 이미지에서의 각 픽셀에서의 특징값을 추출하고, 양 템플릿 이미지의 각 픽셀에서의 특징값을 비교하여 특징값에 차이가 나는 픽셀의 위치를 특징점으로 생성하는,
차량 인식 장치. - 제3 항에 있어서, 상기 관심영역 생성부는,
상기 거리정보 획득부에서 획득한 물체까지의 종방향 거리 정보를 바탕으로 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 특정 단계 이미지를 하나 이상 선정하고, 상기 선정된 특정 단계 이미지 각각에서 상기 거리정보 획득부에 획득한 상기 물체의 위치를 중심으로 좌/우로 일정 크기를 가지는 영역을 관심영역으로 생성하는,
차량 인식 장치. - 제5 항에 있어서, 상기 관심영역 생성부는,
수학식
I1 = floor(log(Ts x Z /(1.5fc))/log S)
I2 = floor(log(Ts x Z /(2.5fc))/log S) + 1
(여기서 Ts는 템플릿 이미지의 길이, Z는 상기 거리정보 획득부에서 획득한 종방향 거리, fc는 초점 거리(focal length), S는 상기 이미지 피라미드 내의 단계 이미지 간의 축소 비율, floor(a)는 a보다 작은 정수를 나타내는 함수)을 사용하여 I1 내지 I2 단계 이미지를 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 단계 이미지로 선정하는,
차량 인식 장치. - 제5 항에 있어서, 상기 약분류부는,
상기 관심영역 생성부에서 생성한 관심영역을 연쇄 윈도우 스캔 방식-상기 관심영역의 꼭지점 중의 하나에서 시작하여 전 관심영역을 비교할 수 있도록 1픽셀씩 왼쪽/오른쪽 또는 위/아래로 움직여가며 비교하는 방식-으로 상기 템플릿 이미지 크기에서의 특징점과 비교하여 차량일 가능성을 확인하는,
차량 인식 장치. - 제1 항에 있어서, 상기 강분류부는,
차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하여 놓고,
상기 약분류부에 의하여 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정하는,
차량 인식 장치. - 제3 항 내지 제6 항 중 어느 하나의 항에 있어서,
상기 템플릿 이미지의 크기는 28x28 픽셀인,
차량 인식 장치. - 제 1 항 내지 제8 항 중 어느 하나의 항에 있어서,
상기 이미지 피라미드가 포함하는 단계 이미지는 20개(n=20)이고,
상기 일정한 비율은 0.845인,
차량 인식 장치. - 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 장치에서의 차량 인식 방법으로서,
주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득 단계;
상기 원본 이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계;
전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득 단계;
획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성 단계;
상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류 단계; 및
상기 약분류 단계에서 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류 단계; 를 포함하는,
차량 인식 방법 - 제11 항에 있어서, 상기 약분류 단계는,
동일한 크기의 차량이 포함되어 있는 템플릿 이미지와 차량이 포함되어 있지 않은 템플릿 이미지를 비교분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하는 단계; 및
상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인하는 단계; 를 포함하는,
차량 인식 방법. - 제11 항에 있어서, 상기 강분류 단계는,
차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하는 단계; 및
상기 약분류 단계에서 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정하는 단계; 를 포함하는,
차량 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160162641A KR102619326B1 (ko) | 2016-12-01 | 2016-12-01 | 이미지 피라미드를 이용한 차량 인식 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160162641A KR102619326B1 (ko) | 2016-12-01 | 2016-12-01 | 이미지 피라미드를 이용한 차량 인식 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180062683A true KR20180062683A (ko) | 2018-06-11 |
| KR102619326B1 KR102619326B1 (ko) | 2024-01-02 |
Family
ID=62601043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160162641A KR102619326B1 (ko) | 2016-12-01 | 2016-12-01 | 이미지 피라미드를 이용한 차량 인식 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102619326B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111832655A (zh) * | 2020-07-16 | 2020-10-27 | 四川大学 | 一种基于特征金字塔网络的多尺度三维目标检测方法 |
| KR102204015B1 (ko) * | 2019-10-24 | 2021-01-18 | (주) 선일일렉콤 | 영상에 기반한 주차 차단기 및 이를 통한 차량 통제 방법 |
| CN115082902A (zh) * | 2022-07-22 | 2022-09-20 | 松立控股集团股份有限公司 | 一种基于激光雷达点云的车辆目标检测方法 |
| KR20230001620A (ko) * | 2021-06-28 | 2023-01-05 | 주식회사 에프에스솔루션 | 이동 객체 검출 방법, 이를 이용하는 이동 객체 검출 장치 및 프로그램 |
| CN116894841A (zh) * | 2023-09-08 | 2023-10-17 | 山东天鼎舟工业科技有限公司 | 一种变速箱合金壳体质量视觉检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100011543A (ko) | 2008-07-25 | 2010-02-03 | 주식회사 포스코 | 연속주조용 슈라우드의 포크암 |
| US20130266177A1 (en) * | 2012-04-06 | 2013-10-10 | Stmicroelectronics (Grenoble 2) Sas | Method and Device for Detecting an Object in an Image |
| KR20140140953A (ko) * | 2013-05-30 | 2014-12-10 | 주식회사 에스원 | 얼굴 검출 방법 및 그 장치 |
| KR20150095379A (ko) * | 2014-02-13 | 2015-08-21 | 한국전자통신연구원 | 차량 후보 검출 장치 및 그 방법 |
| KR20160136145A (ko) * | 2015-05-19 | 2016-11-29 | 국방과학연구소 | 영상의 표적 추적 장치 및 방법 |
| KR20160137247A (ko) * | 2015-05-22 | 2016-11-30 | 팅크웨어(주) | 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법 |
-
2016
- 2016-12-01 KR KR1020160162641A patent/KR102619326B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100011543A (ko) | 2008-07-25 | 2010-02-03 | 주식회사 포스코 | 연속주조용 슈라우드의 포크암 |
| US20130266177A1 (en) * | 2012-04-06 | 2013-10-10 | Stmicroelectronics (Grenoble 2) Sas | Method and Device for Detecting an Object in an Image |
| KR20140140953A (ko) * | 2013-05-30 | 2014-12-10 | 주식회사 에스원 | 얼굴 검출 방법 및 그 장치 |
| KR20150095379A (ko) * | 2014-02-13 | 2015-08-21 | 한국전자통신연구원 | 차량 후보 검출 장치 및 그 방법 |
| KR20160136145A (ko) * | 2015-05-19 | 2016-11-29 | 국방과학연구소 | 영상의 표적 추적 장치 및 방법 |
| KR20160137247A (ko) * | 2015-05-22 | 2016-11-30 | 팅크웨어(주) | 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102204015B1 (ko) * | 2019-10-24 | 2021-01-18 | (주) 선일일렉콤 | 영상에 기반한 주차 차단기 및 이를 통한 차량 통제 방법 |
| CN111832655A (zh) * | 2020-07-16 | 2020-10-27 | 四川大学 | 一种基于特征金字塔网络的多尺度三维目标检测方法 |
| CN111832655B (zh) * | 2020-07-16 | 2022-10-14 | 四川大学 | 一种基于特征金字塔网络的多尺度三维目标检测方法 |
| KR20230001620A (ko) * | 2021-06-28 | 2023-01-05 | 주식회사 에프에스솔루션 | 이동 객체 검출 방법, 이를 이용하는 이동 객체 검출 장치 및 프로그램 |
| CN115082902A (zh) * | 2022-07-22 | 2022-09-20 | 松立控股集团股份有限公司 | 一种基于激光雷达点云的车辆目标检测方法 |
| CN115082902B (zh) * | 2022-07-22 | 2022-11-11 | 松立控股集团股份有限公司 | 一种基于激光雷达点云的车辆目标检测方法 |
| CN116894841A (zh) * | 2023-09-08 | 2023-10-17 | 山东天鼎舟工业科技有限公司 | 一种变速箱合金壳体质量视觉检测方法 |
| CN116894841B (zh) * | 2023-09-08 | 2023-11-28 | 山东天鼎舟工业科技有限公司 | 一种变速箱合金壳体质量视觉检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102619326B1 (ko) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10984509B2 (en) | Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product | |
| US9607400B2 (en) | Moving object recognizer | |
| KR20180062683A (ko) | 이미지 피라미드를 이용한 차량 인식 장치 및 방법 | |
| US7403659B2 (en) | Method and apparatus for differentiating pedestrians, vehicles, and other objects | |
| KR101188584B1 (ko) | 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치 | |
| US11004215B2 (en) | Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product | |
| US7466860B2 (en) | Method and apparatus for classifying an object | |
| JP2016029557A (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| CN102997900A (zh) | 外界识别方法、装置以及车辆系统 | |
| JP6583527B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| US10192444B2 (en) | Forward collision warning system and method | |
| KR101342124B1 (ko) | 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법 | |
| KR20110048962A (ko) | 차량 인식 방법 및 장치 | |
| US9064156B2 (en) | Pattern discriminating apparatus | |
| CN110235177B (zh) | 图像处理装置、图像识别装置、以及存储介质 | |
| JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| KR101205565B1 (ko) | 영상을 이용한 전후방 차량 검출 방법 | |
| US8116524B2 (en) | Method of object detection | |
| Sasaki et al. | Development of inter-vehicle distance measurement system using camera-equipped portable device | |
| Khaliluzzaman et al. | Zebra-crossing detection based on geometric feature and vertical vanishing point | |
| Varma et al. | Vision Based Advanced Driver Assistance System Using Deep Learning | |
| KR101936108B1 (ko) | 교통 표지판 탐지 방법 및 장치 | |
| Bota et al. | A framework for object detection, tracking and classification in urban traffic scenarios using stereovision | |
| CN108364027B (zh) | 一种快速的前向多车型车辆检测方法 | |
| KR101727432B1 (ko) | 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |