KR20160081190A - Method and recording medium for pedestrian recognition using camera - Google Patents
Method and recording medium for pedestrian recognition using camera Download PDFInfo
- Publication number
- KR20160081190A KR20160081190A KR1020140194613A KR20140194613A KR20160081190A KR 20160081190 A KR20160081190 A KR 20160081190A KR 1020140194613 A KR1020140194613 A KR 1020140194613A KR 20140194613 A KR20140194613 A KR 20140194613A KR 20160081190 A KR20160081190 A KR 20160081190A
- Authority
- KR
- South Korea
- Prior art keywords
- model
- pedestrian
- image
- input image
- hog
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 보행자 인식 방법 및 그 기록 매체에 관한 것으로서, 보다 상세하게는 차량에 설치된 카메라를 통해 촬영되는 영상을 판독하여 차량 근방에 보행자가 출현할 시 이를 인식할 수 있는 카메라를 이용한 보행자 인식 방법 및 그 기록 매체에 관한 것이다.
The present invention relates to a pedestrian recognition method and a recording medium thereof, and more particularly, to a pedestrian recognition method and a pedestrian recognition method using a camera that reads an image photographed through a camera installed in a vehicle and recognizes when a pedestrian appears in the vicinity of the vehicle And relates to the recording medium.
스마트 자동차란 첨단의 컴퓨터·통신·측정기술 등을 이용하여 자동으로 운행 할 수 있는 차량 즉, 자동차에 장착된 지구위치측정위성시스템(GPS) 수신기로 정확한 위도와 경도를 통보받아 계기판에 정밀한 지도를 제시하고, 현 위치에서 목적지까지 가장 효율적이면서 자율적으로 이동하는 차량을 의미한다. A smart car is a vehicle that can be operated automatically by using advanced computer, communication and measurement technology. It is informed of accurate latitude and longitude by a GPS (Global Positioning System) receiver installed in a car. And refers to the most efficient and autonomous moving vehicle from its current location to its destination.
스마트 자동차 기술은 크게 자동차 안전 기술, 자동차 편의 기술, 자율주행 3가지로 분류할 수 있다. 자동차 안전 기술은 차량 결함, 사고예방 및 회피, 충돌 등 위험상황으로부터 운전자 및 탑승자를 보호하여 교통사고 및 피해를 획기적으로 경감하는 기술이고, 자동차 편의 기술이란 자동차에 흥미를 부여하고 운전자의 편의를 극대화하여, 자동차를 가정, 사무실에 이은 제3의 주거공간으로 활용하는 기술이다. 마지막으로 자율주행은 차량에 설치된 센서, 카메라 등으로 교통신호, 차선, 장애물 등에 대한 정보를 수집하고 이를 차량에 내장된 컴퓨터가 수집해 주변 상황에 맞게 차량을 운행하는 기술을 말한다.Smart automotive technology can be largely classified into three categories: automobile safety technology, automobile comfort technology, and autonomous driving. Automobile safety technology is a technology to dramatically reduce traffic accidents and damage by protecting drivers and passengers from dangerous situations such as vehicle flaws, accident prevention and avoidance, collision, and automobile comfort technology is an interest in automobiles and maximizes driver convenience It is a technology that utilizes automobiles as the third residential space after home and office. Finally, autonomous driving refers to the technology of collecting information about traffic signals, lanes, obstacles, etc. by sensors and cameras installed in the vehicle, and collecting the information by the computer in the vehicle and operating the vehicle according to the surrounding situation.
이중 스마트 자동차의 능동 안전 기술은 외부 상황을 판단하기 위한 센서 기술이 핵심으로 작용하게 된다. 자동차에 사용되는 센서는 대당 약 160개에 이르고 있으며, 사용량이 지속적으로 증가하고 있다. 기존 차량에 사용중인 센서들을 제외한 스마트 자동차에 사용되는 주요 센서의 종류로는 RADAR, LIDAR(Light Detection And Ranging), 카메라가 있다.The active safety technology of the smart car is the sensor technology to judge the external situation. Approximately 160 sensors are used in automobiles, and the usage is continuously increasing. There are RADAR, LIDAR (Light Detection And Ranging), and camera as main sensors used in smart cars except sensors used in existing vehicles.
RADAR와 LIDAR 센서는 물체와 차량 간의 거리 정보를 알아내기 위해 사용되는데, 자동차 안전 기술의 목적은 인명 피해를 최소화하는데 있기 때문에, 단순 거리 정보만을 돌려주는 두 센서는 차량 앞에 존재하는 물체가 사람인지 여타 장애물인지 구분할 수 없는 한계가 있다. 따라서 자율 주행 자동차가 보행자의 안전을 최우선으로 하여 운행되기 위해서는 카메라를 이용한 보행자 인식이 필요하게 된다.RADAR and LIDAR sensors are used to find distance information between object and vehicle. Since the purpose of vehicle safety technology is to minimize damage to human life, two sensors that return only simple distance information are used to detect objects There is a limit that can not distinguish between obstacles. Therefore, it is necessary to recognize pedestrians using a camera in order for an autonomous vehicle to operate with the safety of the pedestrian as a top priority.
종래 카메라를 이용한 보행자 인식 방법의 경우, 단순히 보행자 영상(모델 영상)을 가지고 입력 영상과 얼마나 유사한지 판단한 후 보행자인지 아닌지 구별하도록 구성된다.In the case of the pedestrian recognition method using the conventional camera, the pedestrian image (model image) is simply determined to determine whether it is similar to the input image, and then it is configured to distinguish whether it is a pedestrian or not.
그런데, 보행자의 특징은 입은 옷, 헤어스타일 등에 의해 변화될 수 있기 때문에 단일 모델 영상의 특징만을 가지고 보행자를 검출하게 될 경우, 특정 보행자만을 검출하게 되는 오류를 범할 가능성이 있다.
However, since the characteristic of the pedestrian can be changed by clothes, hair style, and the like, if the pedestrian is detected only by the features of the single model image, there is a possibility that an error may be detected that detects only a specific pedestrian.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 카메라를 이용하여 차량 앞에 존재하는 물체가 사람인지 여타 장애물인지 구분할 수 있고, 특히 보행자의 다양한 특징에 상관없이 보행자를 정확히 인식할 수 있는 카메라를 이용한 보행자 인식 방법 및 그 기록 매체를 제공하는 것이다.
SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a pedestrian detection apparatus and a pedestrian detection method capable of distinguishing whether an object existing in front of a vehicle is a person or other obstacle by using a camera, A pedestrian recognition method using a camera which can be recognized and a recording medium therefor.
상기 목적을 달성하기 위한 본 발명에 따른 카메라를 이용한 보행자 인식 방법은, 카메라를 통해 다수의 영상(이하, '모델 영상' 이라 함)을 수집하는 제1 단계와; HOG(histogram of gradient)를 사용하여 각 모델 영상에 대해 HOG 특징을 추출하는 제2 단계와; 상기 제2 단계를 통해 추출된 상기 각 모델 영상의 HOG 특징을 기반으로, 기계 학습 알고리즘 (machine learning algorithm)을 통한 모델 학습을 수행하여 보행자 모델을 생성하는 제3 단계와; 보행자 유무의 판별이 필요한 영상(이하, '입력 영상'이라 함)을 입력받는 제4 단계와; 상기 보행자 모델의 HOG 특징과 상기 입력 영상에서 추출되는 HOG 특징 간의 유사도에 비례하여 스코어(score)값이 계산되는 스코어링(Scoring)을 수행하는 제5 단계와; 상기 제5 단계를 통해 산출되는 스코어값을 기설정된 임계값과 비교하는 제6 단계; 및 상기 제6 단계의 비교결과, 상기 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하는 제7 단계를 포함하는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided a method for recognizing a pedestrian using a camera, comprising: a first step of collecting a plurality of images (hereinafter referred to as 'model images') through a camera; A second step of extracting HOG features for each model image using a histogram of gradient (HOG); A third step of generating a pedestrian model by performing model learning through a machine learning algorithm based on the HOG feature of each of the model images extracted through the second step; A fourth step of inputting an image (hereinafter, referred to as 'input image') requiring identification of the presence or absence of a pedestrian; A fifth step of performing scoring in which a score value is calculated in proportion to the degree of similarity between the HOG feature of the pedestrian model and the HOG feature extracted from the input image; A sixth step of comparing a score value calculated through the fifth step with a preset threshold value; And a seventh step of recognizing the input image as a pedestrian image when the score value is greater than the threshold value as a result of the comparison in the sixth step.
본 발명에 따른 카메라를 이용한 보행자 인식 방법 및 그 기록 매체에 의하면, 카메라를 통해 입력된 영상에 포함된 대상이 보행자인지 여부를 판별할 수 있고, 특히 보행자의 특징을 일반화하여 보행자의 다양한 특징에 상관없이 보행자를 정확히 인식할 수 있는 효과가 있다.
According to the pedestrian recognition method and the recording medium using the camera according to the present invention, it is possible to discriminate whether the object included in the image input through the camera is a pedestrian, and in particular, to generalize the characteristics of the pedestrian, So that pedestrians can be recognized accurately.
도 1은 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 학습 단계의 흐름을 도시한 블록 순서도.
도 2는 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 인식 단계의 흐름을 도시한 블록 순서도.
도 3은 본 발명의 카메라를 통해 수집된 영상의 HOG 특징 변환을 보여주는 일례.
도 4는 본 발명에 따른 서포트 벡터 머신 학습셋을 구성하기 위한 다양한 모델 영상을 나타낸 일례.
도 5은 도 4의 "004.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례.
도 6은 도 4의 "기린3.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례.
도 7은 본 발명의 모델 영상의 HOG 특징을 기반으로 생성된 학습된 모델 영상(보행자 모델)의 일례.
도 8은 본 발명에 따른 스코어링의 흐름을 보여주는 처리 흐름도.
도 9(a) 및 (b)는 본 발명에 따른 스코어 함수의 일례.
도 10은 본 발명에 따른 가중 필터를 적용한 모습을 나타낸 일례.1 is a block flow diagram illustrating a flow of a learning step of a pedestrian recognition method using a camera according to the present invention.
BACKGROUND OF THE
3 is an example showing HOG feature transformation of an image collected through a camera of the present invention.
4 is an example showing various model images for constructing a support vector machine learning set according to the present invention.
5 is a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "004.jpg model image"
6 is a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "girin 3.jpg model image" of Fig.
7 is an example of a learned model image (pedestrian model) generated based on the HOG feature of the model image of the present invention.
8 is a process flow chart showing the flow of scoring according to the present invention.
9 (a) and 9 (b) illustrate an example of a score function according to the present invention.
10 is an example of a weight filter according to the present invention.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
또한, 본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Furthermore, although the terms first, second, etc. may be used herein to describe various components, the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.In the following, preferred embodiments, advantages and features of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 학습 단계의 흐름을 도시한 블록 순서도이고, 도 2는 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 인식 단계의 흐름을 도시한 블록 순서도이다.FIG. 1 is a block flow chart showing a flow of learning steps of a pedestrian recognition method using a camera according to the present invention, and FIG. 2 is a block flow chart showing a flow of a recognition step of a pedestrian recognition method using a camera according to the present invention.
도 1 및 도 2를 참조하면, 본 발명의 카메라를 이용한 보행자 인식 방법은 크게 학습 단계(단계 1, S10)와, 인식 단계(단계 2, S20)를 포함하여 구성된다.Referring to FIGS. 1 and 2, the pedestrian recognition method using the camera of the present invention comprises a learning step (
학습 단계(단계 1)는 카메라를 통해 영상을 수집하는 단계(단계 1-1)와, 카메라를 통해 수집된 영상의 특징을 추출하는 단계(단계 1-2)와, 수집된 영상에 포함되어 있는 잡음을 제거하는 단계(단계 1-3)와, 기계 학습 알고리즘(machine learning algorithm)을 사용하여 모델 학습을 수행(단계 1-4)함으로써 보행자 모델을 생성하는 단계(단계 1-5)를 포함한다.The learning step (step 1) includes a step of collecting an image through a camera (step 1-1), a step of extracting features of an image collected through a camera (step 1-2) (Step 1-3) of removing noise, and generating a pedestrian model (step 1-5) by performing model learning using a machine learning algorithm (steps 1-4) .
인식 단계(단계 2)는 보행자 유무의 판별이 요구되는 영상(이하, '입력 영상'이라 함)이 입력되면, 상기 학습 단계에서 구축된 보행자 모델을 기반으로 상기 입력 영상의 보행자 유무를 판별하는 단계이다.The recognition step (step 2) comprises the steps of discriminating the presence or absence of a pedestrian of the input image based on the pedestrian model constructed in the learning step, when an image (hereinafter, referred to as 'input image' to be.
세부적으로, 인식 단계(단계 2)는 영상 입력 단계(단계 2-1)와, 보행자 모델의 특징과 입력 영상에서 추출되는 특징을 이용하여 스코어링(Scoring)을 수행하는 단계(단계 2-2)와, 산출된 스코어값을 통해 보행자 유무를 판별하는 단계(단계 2-3)를 포함한다.In detail, the recognition step (step 2) includes an image input step (step 2-1), a step of performing scoring using the characteristics of the pedestrian model and features extracted from the input image (step 2-2) , And determining whether the pedestrian is present based on the calculated score value (step 2-3).
이하에서는 각 단계의 바람직한 실시예를 들어 보다 구체적으로 설명하도록 한다.Hereinafter, a preferred embodiment of each step will be described in more detail.
<단계 1-1(S11)>≪ Step 1-1 (S11)
본 발명의 단계 1-1(S11)은 보행자 모델을 생성하기 위해, 카메라를 통해 다수의 영상을 수집하는 단계이다. Step 1-1 (S11) of the present invention is a step of collecting a plurality of images through a camera to generate a pedestrian model.
단계 1-1에서 수집되는 영상들은 보행자(사람)가 표현되어 있는 영상과, 물건 내지 동물과 같은 비보행자가 표현되어 있는 영상으로 구분된다.The images collected in step 1-1 are divided into an image in which a pedestrian (person) is expressed and an image in which a non-pedestrian such as an object or an animal is expressed.
그리고, 보행자가 표현되어 있는 영상은 모델 학습 단계(S13)의 학습 세트(training set) 구성시 포지티브 이미지(positive image)로 사용되고, 비보행자가 표현되어 있는 영상은 네거티브 이미지(nagative image)로 사용된다.The image in which the pedestrian is expressed is used as a positive image in the training set construction of the model learning step S13 and the image in which the non-pedestrian is expressed is used as a negative image .
<단계 1-2(S12)>≪ Step 1-2 (S12)
본 발명의 단계 1-2(S12)는 카메라를 통해 수집된 다수의 영상에 대해 특징을 추출하는 단계로서, 각 영상의 특징은 HOG(Histogram of gradient)를 사용하여 추출하도록 구성되는 것을 특징으로 한다.Step 1-2 of the present invention is a step of extracting features of a plurality of images collected through a camera, and the feature of each image is extracted using Histogram of gradient (HOG) .
HOG(Histogram of gradient)는, 이미지를 바둑판 모양의 사각형 형태로 나누어 그 각각의 사각형 그리드(Grid) 내에 방향(Orientation)의 로컬 히스토그램을 계산하는 알고리즘을 말하며, 특히 복수 개의 픽셀로 이루어진 셀 및 상기 복수개의 셀로 이루어진 블록을 사용하여, 상기 변환된 이미지의 특징 벡터(Feature Vector)를 추출하게 된다.HOG (Histogram of Gradient) refers to an algorithm for dividing an image into a rectangular grid shape and calculating a local histogram of orientation in each of its square grid (Grid). In particular, A feature vector of the transformed image is extracted using a block of cells.
즉, HOG는 각 셀 마다 에지(edge) 픽셀들의 방향에 대한 히스토그램을 구한 후 이들 히스토그램을 일렬로 연결한 벡터로서, 히스토그램은 각도별로 나누어 축적된다. 이러한 HOG는 에지(edge)의 방향 히스토그램 템플릿으로 볼 수 있으며, 물체의 모양의 특징을 표현하는데 적합하다.That is, HOG is a vector obtained by finding the histogram of the direction of the edge pixels for each cell and connecting these histograms in a line, and the histogram is accumulated for each angle. This HOG can be viewed as an orientation histogram template of an edge and is suitable for expressing features of an object shape.
영상의 각 픽셀들에 대한 HOG 특징은 각도(방향)와 크기 성분을 갖는 HOG 특징 벡터로 구성될 수 있고, 이러한 HOG 특징의 각도와 크기는 다음의 수학식 1에 의해 도출될 수 있다.The HOG feature for each pixel of the image can be composed of a HOG feature vector having an angle (direction) and a magnitude component, and the angle and size of the HOG feature can be derived by the following equation (1).
(수학식 1에서, (In the equation (1)
i,j: 영상의 픽셀 인덱스, i, j: Pixel index of the image,
f(i,j): 영상의 인텐시티(intensity), f (i, j) is the intensity of the image,
m(i,j): 특징의 크기, m (i, j): size of feature,
θ(i,j): 특징의 각도)θ (i, j): angle of feature)
도 3은 본 발명의 카메라를 통해 수집된 영상의 HOG 특징 변환을 보여주는 일 례이다. 도 3을 참조하면, 단계 1-1(S11)에서 수집된 영상(도 3(a))들은 수학식 1에 의해 HOG 특징을 추출할 수 있고, 이렇게 추출되는 HOG 특징은 도 3(b)와 같이 시각화될 수 있다.3 is an example showing the HOG feature transformation of an image collected through the camera of the present invention. Referring to FIG. 3, the image (FIG. 3 (a)) collected in step 1-1 (S11) can extract the HOG feature according to equation (1) Can be visualized together.
<단계 1-3(S13)>≪ Step 1-3 (S13)
본 발명의 단계 1-3(S13)은 수집된 해당 영상에 포함되어 있는 잡음 즉, 배경 성분을 제거하여, 해당 영상의 HOG 특징 변환시 목적하는 대상(예컨대, 사람, 물건, 동물)만이 표현되어 있는 모델 영상을 획득하기 위한 단계이다.In step 1-3 of the present invention, only a target object (e.g., a person, an object, or an animal) is displayed at the time of HOG feature conversion of the corresponding image by removing noise included in the collected image This is the step for acquiring the model image.
모델 영상은 수집된 영상에서 원하는 대상(object)를 찾기 위한 이미지인데, 이러한 모델 영상은 목적하는 대상뿐만 아니라 배경성분도 포함되어 있기 때문에 이를 제거하기 위하여 HOG 가중 필터(weight filter)를 사용한다. The model image is an image for finding a desired object in the collected image. Since the model image includes not only the target object but also the background component, a HOG weight filter is used to remove it.
다음의 수학식 2는 이러한 배경성분의 제거를 위한 HOG 가중 필터의 수식으로서, 도 10과 같이 모델 영상이 흰색일 경우에만 HOG 가중 필터를 적용하고, 그렇지 않을 경우 '0'의 값을 할당한다.Equation (2) is a formula of a HOG weighted filter for removing such background components. The HOG weighted filter is applied only when the model image is white as shown in FIG. 10, and a value of '0' is assigned if the model image is white.
<단계 1-4(S14)>≪ Step 1-4 (S14)
본 발명의 단계 1-4(S14)은 기계 학습 알고리즘(machine learning algorithm)을 사용하여 모델 학습을 수행함으로써 보행자 모델을 생성하는 단계이다. 바람직한 실시예에 따르면, 단계 1-4(S14)의 기계 학습 알고리즘은 서포트 벡터 머신(Support Vector Machine: SVM)을 사용하도록 구성된다.Step 1-4 of the present invention is a step of generating a pedestrian model by performing model learning using a machine learning algorithm. According to a preferred embodiment, the machine learning algorithm of steps 1-4 (S14) is configured to use a support vector machine (SVM).
서포트 벡터 머신(SVM)은 기계학습의 한 종류로서, 주어진 데이터가 어떤 분류에 속하는지 분류해내기 위한 알고리즘이다. 여기서 기계학습이란 주어진 데이터를 컴퓨터에 입력하고 어떠한 특정 알고리즘을 기반으로 학습을 수행하여 판별 기준을 구축함으로써 새로운 데이터가 주어졌을 때 그 데이터가 어떠한 종류로 판별되는지를 예측하는 과정을 의미한다. A support vector machine (SVM) is a kind of machine learning, and is an algorithm for classifying a given data belonging to a classification. Here, machine learning is a process of inputting given data into a computer and building a discrimination criterion by performing learning based on a certain algorithm to predict what kind of data will be discriminated when new data is given.
예컨대, 기린과 하마의 특징 벡터가 존재한다면, 두 동물을 구분하기 위한 최적의 직선(초평면,Optimal hyper plane)을 특징 공간에 긋되 두 동물의 특징 벡터간의 거리(마진)를 최대로 하여 분류하고자 하는 것이 SVM의 목적이 된다.For example, if a feature vector of a giraffe and a hippopotamus exist, the optimal straight line (an optimal hyper plane) to distinguish the two animals is drawn in the feature space, and the distance (margin) It is the purpose of SVM.
SVM에서 각 클래스의 최외각 벡터와 서포트 벡트(support vector)를 지나는 직선을 각각 "ω·x - b = 1" 과 "ω·x - b = -1" 로 표현하게 되고, 각 클래스의 데이터는 이 직선들 위 또는 아래 영역에 존재하기 때문에, 다음의 수학식 3의 조건을 만족해야 한다.In SVM, the straight line passing through the outermost vector and support vector of each class is expressed as "ω · x - b = 1" and "ω · x - b = -1" Is present in the region above or below the straight lines, the following condition (3) must be satisfied.
여기서, 두 직선 사이의 거리는 "2 /∥ω∥" 가 되며, 두 직선 사이의 거리(마진)를 최대화하기 위해서 "∥ω∥"는 최소화되어야 한다. 일반적으로 두 변수를 가지는 함수 f(x, y)에 대한 극값은 각 변수에 대한 편미분값이 '0'이 되도록 하고, 두 개의 연립 방정식의 해로 구한다. 그런데 만약 두 변수가 제약함수 g(x,y)의 조건에서 f(x, y)의 극값을 구하고자 한다면 라그랑지 승수(Lagrange multiplier)를 이용하여 최대 혹은 최소값을 구해야 한다. SVM에서는 라그랑지 승수를 사용하여 다음의 수학식 4의 제약조건으로 "∥ω∥"의 최소값을 구하게 된다.Here, the distance between the two straight lines becomes "2 / ∥ω∥" and "∥ω∥" should be minimized in order to maximize the distance (margin) between the two straight lines. In general, the extreme value for the function f (x, y) with two variables is obtained by setting the partial differential value for each variable to be '0' and the solution of two simultaneous equations. If two variables are used to find the extremum of f (x, y) under the condition of the constraint function g (x, y), the maximum or minimum value should be obtained by using a Lagrange multiplier. In the SVM, the Lagrangian multiplier is used to obtain the minimum value of "? ||
라그랑지 함수(Lagrange function)의 일반식은 다음의 수학식 4와 같고, "∥ω∥"의 최소화를 위한 라그랑지 함수는 다음의 수학식 5와 같다.The general formula of the Lagrange function is shown in Equation 4 below, and the Lagrangian function for minimizing "? ||
(수학식 5에서,(In equation (5)
α: 라그랑지 상수, α: Lagrange constant,
yi : 입력 데이터 클래스로서, 그 식은 다음과 같음y i : the input data class, the expression is
) )
이하에서는 전술한 서포트 벡터 머신(Support Vector Machine: SVM)을 사용하여 모델 학습을 수행함으로써 보행자 모델을 생성하는 단계에 대해 상세히 설명하도록 한다.Hereinafter, the step of generating the pedestrian model by performing the model learning using the support vector machine (SVM) will be described in detail.
<단계 1-5(S15)>≪ Step 1-5 (S15)
서포트 벡터 머신을 통한 모델 학습을 위해서는 먼저 서포트 벡터 머신 학습셋(SVM training set)을 구성을 구성해야 한다.In order to learn the model through the support vector machine, the support vector machine training set (SVM training set) must be configured first.
도 4는 본 발명에 따른 서포트 벡터 머신 학습셋을 구성하기 위한 다양한 모델 영상을 나타낸 일례이다. 서포트 벡터 머신 학습셋(SVM training set)을 구성하기 위해서는 도 4와 같이 다수의 모델 영상 즉, 포지티브 이미지(positive image)와 네거티브 이미지(nagative image) 세트가 필요하다.FIG. 4 shows an example of various model images for constructing a support vector machine learning set according to the present invention. In order to construct a support vector machine training set, a plurality of model images, that is, a positive image and a set of negative images, are required as shown in FIG.
포지티브 이미지(positive image)는 트루 데이터(true data)로 분류되는 모델 영상으로서 보행자 즉 사람이 표현되어 있고, 네거티브 이미지(nagative image)는 폴스 데이터(false data)로 분류되는 모델 영상으로서 물건 내지 동물과 같은 비보행자가 표현되어 있다.A positive image is a model image classified as true data, a model image of a pedestrian, a human being, and a nagative image is classified as false data. The same non-pedestrian is expressed.
본 발명의 단계 1-5(S15)는 수집된 포지티브 이미지(positive image)와 네거티브 이미지(nagative image) 세트의 각도별 HOG 특징 값을 가지고 "true data"와 "false data"를 분류하여 학습 세트(training set)를 구성하는 것을 특징으로 한다.Step 1-5 of the present invention classifies "true data" and "false data" into HOG feature values for each angle of the collected positive image and negative image set, training set.
보다 구체적으로 설명하면, 포지티브 이미지와 네거티브 이미지의 HOG 특징에 포함될 수 있는 각도(수학식 1의 'θ')를 소정의 단위 범위로 구획하고, 이에 따라 구분되는 각각의 범위 각도별로 각 이미지의 HOG 특징을 추출하여 모델 학습을 수행하도록 구성된다.More specifically, the angle ('?' In Equation 1) that can be included in the HOG characteristic of the positive image and the negative image is divided into a predetermined unit range, and the HOG And extracts features to perform model learning.
일 실시예로서, 각도의 구분을 20°의 단위 범위로 분할하여 총 18차원의 HOG 특징 벡터를 생성하게 되면, 하나의 포지티브 이미지 또는 네거티브 이미지에 대해 18개의 모델 파라미터를 획득할 수 있게 된다.In one embodiment, by dividing the angle division into 20-degree unit ranges to generate a total 18-dimensional HOG feature vector, 18 model parameters can be obtained for one positive image or negative image.
다른 실시예로서, 각도의 구분을 30°의 단위 범위로 분할하여 총 12차원의 HOG 특징 벡터를 생성하게 되면, 하나의 포지티브 이미지 또는 네거티브 이미지에 대해 12개의 모델 파라미터를 획득할 수 있게 된다.In another embodiment, 12-dimensional HOG feature vectors are generated by dividing the angle division into 30-degree unit ranges, thereby obtaining 12 model parameters for one positive image or negative image.
이와 같이, 모델 파라미터의 개수를 결정하는 각도의 구분은 바람직하게는 10°내지 30°의 단위 범위에서 설정하는 것이 좋다.As described above, it is preferable that the angle division for determining the number of model parameters is set within a unit range of preferably 10 to 30 degrees.
환언하면, 복수 개로 구성되는 범위 각도는 "20°씩 총 18개로 구분되는 범위 각도" 내지 "30°씩 총 12개로 구분되는 범위 각도"로 구성하는 것이 바람직하다.In other words, it is preferable that the range angles composed of a plurality of angles are constituted by "range angles divided by 18 angles in total by 20 angles"
도 5는 도 4의 "004.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례이다.5 is an example of a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "004.jpg model image" of FIG.
도 5의 모델 파라미터는 단위 범위를 20°로 설정할 경우 생성되는 18개의 모델 파라미터 중 0°~ 20°범위 각도에 해당하는 모델 파라미터의 HOG 특징을 그래프로 나타낸 것이다.The model parameters in FIG. 5 are graphs of the HOG characteristics of the model parameters corresponding to the angles in the range of 0 ° to 20 ° among the 18 model parameters generated when the unit range is set to 20 °.
참고로, 도 5 그래프의 "Model X" 및 "Model Y"는 도 4의 "004.jpg 모델 이미지"의 X축 및 Y축에 각각 대한 셀 인덱스를 의미하고, 도 5 그래프의 Z축의 수치(O, 10O, ..., 700)는 "004.jpg 모델 이미지의 "0°~ 20°범위 각도의 HOG 특징 값의 크기를 의미한다.For reference, "Model X" and "Model Y" in the graph of FIG. 5 indicate cell indexes on the X and Y axes of the " 004.jpg model image " O, 10O, ..., 700) means the size of the HOG feature value in the range of 0 ° to 20 ° of the "004.jpg model image".
여기서, 도 5의 모델 파라미터의 HOG 특징은 사람에 대한 것이고, 본 발명은 보행자를 검출하기 위한 알고리즘이므로 도 5의 모델 파라미터는 서포트 벡터 머신(SVM) 학습을 위한 포지티브 샘플(positive sample)이 된다.Here, the HOG characteristic of the model parameter of FIG. 5 is for a person, and since the present invention is an algorithm for detecting a pedestrian, the model parameter of FIG. 5 becomes a positive sample for support vector machine (SVM) learning.
한편, 도 5에서 서포트 벡터 머신(SVM) 학습을 위한 특징의 차원 수는 이미지에 표현된 모델의 폭(width)과 높이(height)의 곱이 된다.Meanwhile, in FIG. 5, the number of dimensions of features for support vector machine (SVM) learning is the product of the width and height of the model expressed in the image.
도 6은 도 4의 "기린3.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례이다.Fig. 6 is an example of a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "giraffe 3.jpg model image" of Fig.
구체적으로, 도 6의 모델 파라미터는 단위 범위를 20°로 설정할 경우 생성되는 18개의 모델 파라미터 중 0°~ 20°범위 각도에 해당하는 모델 파라미터의 HOG 특징을 그래프로 나타낸 것이다.Specifically, the model parameters of FIG. 6 are graphs of the HOG characteristics of the model parameters corresponding to angles ranging from 0 ° to 20 ° among the 18 model parameters generated when the unit range is set to 20 °.
도 6의 모델 파라미터의 HOG 특징은 동물(즉, 비보행자)에 대한 것이고, 본 발명은 보행자를 검출하기 위한 알고리즘이므로 도 6의 모델 파라미터는 네거티브 샘플(nagative sample)이 된다.The HOG feature of the model parameter of Fig. 6 is for an animal (i.e., a non-pedestrian), and since the present invention is an algorithm for detecting a pedestrian, the model parameter of Fig. 6 becomes a negative sample.
이와 같이 단계 1-5(S15)에서 수집된 다수의 이미지(즉, 포지티브 이미지 및 네거티브 이미지) 각각에 대해 전술한 단위 범위에 따른 범위 각도별로 해당 이미지의 HOG 특징을 추출하여 "true data"와 "false data"로 분류된 학습 세트 (training set)를 구성하고, 이를 기초로 서포트 벡터 머신(SVM)을 사용하여 모델 학습을 수행하면 도 7과 같은 학습된 모델 영상(즉, 보행자 모델)을 생성할 수 있게 된다.In this manner, the HOG feature of the image is extracted for each of the plurality of images (i.e., the positive image and the negative image) collected in step 1-5 (step S15) false data ", and the model learning is performed using the support vector machine (SVM) on the basis of the training set, thereby generating a learned model image (ie, a pedestrian model) as shown in FIG. 7 .
결국, 본 발명에 따른 보행자 모델은 각각의 각도를 단위 범위 형태로 독립적으로 구분한 후 각각의 범위 각도별로 HOG 특징을 추출하고, 이렇게 추출된 각도별 HOG 특징을 기반으로 생성됨에 따라, 보행자 모델은 범위 각도별로 HOG 특징에 대한 정보를 갖도록 구성된다.As a result, the pedestrian model according to the present invention independently distinguishes each angle as a unit range form, extracts HOG features for each range angle, and is generated based on the extracted HOG features for each angle, And is configured to have information on the HOG characteristic by range angle.
예컨대, 도 7의 보행자 모델의 경우 단위 범위를 20°로 설정할 경우 생성되는 18개의 모델 파라미터의 HOG 특징 벡터를 이용하여 생성된 것으로서, 도 5에 대한 모델 이미지에서 설정한 셀 인덱스와 동일하게 그 가로축은 20개의 셀로 구성되고, 세로축은 30개의 셀로 구성될 수 있으며, 각 셀은 범위 각도별 HOG 특징에 대한 정보를 갖도록 구성된다. For example, in the case of the pedestrian model of Fig. 7, the HOG feature vector of 18 model parameters generated when the unit range is set to 20 [deg.] Is used, and as in the cell index set in the model image of Fig. 5, Is composed of 20 cells, and the vertical axis can be composed of 30 cells, and each cell is configured to have information on the HOG characteristic by range angle.
보행자 모델을 구성하는 각 셀은 다양한 밝기(명도)로 표현될 수 있는데, 셀의 밝기가 밝을수록 그 각도에 대한 HOG 특징의 값이 큼을 의미하는 것이다.Each cell constituting the pedestrian model can be represented by various brightness (brightness), which means that the brightness of the cell is larger as the value of the HOG characteristic for the angle is larger.
<단계 2-1(S21)>≪ Step 2-1 (S21) >
본 발명의 단계 2-1(S21)은 차량에 설치된 카메라를 통해 차량 주변의 영상을 입력받는 단계이다.Step 2-1 (S21) of the present invention is a step of receiving images around the vehicle through a camera installed in the vehicle.
카메라를 통해 촬영되는 차량 주변 영상에는 보행자가 포함되어 있거나 또는 비보행자가 포함되어 있을 수 있는 바, 상기 카메라 촬영 영상은 본 발명의 인식 방법에 따라 해당 영상에 포함된 대상이 보행자인지 아닌지 판별이 필요한 영상(이하, '입력 영상'이라 함)에 해당한다.The vehicle surroundings image taken through the camera may include pedestrians or may include non-pedestrians. According to the recognition method of the present invention, it is necessary to determine whether the object included in the image is a pedestrian or not (Hereinafter referred to as " input image ").
<단계 2-2(S22)>≪ Step 2-2 (S22) >
본 발명의 단계 2-2(S22)는 전술한 학습 단계(단계 1)를 통해 생성된 보행자 모델의 특징과 입력 영상에서 추출되는 특징을 이용하여 스코어링(Scoring)을 수행하는 단계로서, 이와 같은 스코어링(Scoring)은 학습된 모델 영상(즉, 보행자 모델)의 HOG 특징과 입력 영상의 HOG 특징이 얼마나 유사한지 판단하기 위한 척도로 사용된다. Step 2-2 (S22) of the present invention is a step of performing scoring using features of the pedestrian model generated through the learning step (Step 1) described above and features extracted from the input image, Scoring is used as a measure to determine how similar the HOG feature of the learned model image (ie, the pedestrian model) is to the HOG feature of the input image.
본 발명의 스코어링은 이의 수행을 위한 판별 기준이 되는 보행자 모델이 다수 개의 범위 각도별로 HOG 특징 정보를 갖도록 구성되는 바, 스코어링 역시 상기 각도의 분류 개수에 따라 다수 개의 스코어 값이 생성되도록 구성되는 것을 특징으로 한다.The scoring of the present invention is configured such that the pedestrian model, which serves as a criterion for performing the scoring, has HOG feature information for each of a plurality of range angles, and the scoring is also configured to generate a plurality of score values according to the number of angles to be classified .
그리고, 본 발명의 스코어링은 가우시안 함수를 기초로 입력 영상에 대한 스코어값을 산출하도록 구성되는 것을 특징으로 한다.The scoring of the present invention is characterized in that it is configured to calculate a score value for an input image based on a Gaussian function.
이하에서는 본 발명의 스코어링 및 이에 따른 보행자 판별 방법에 대해 상세히 설명하도록 한다.Hereinafter, the scoring of the present invention and the pedestrian discriminating method according to the present invention will be described in detail.
스코어링은 보행자 모델의 HOG 특징 정보를 가지고 이를 입력 영상의 HOG 특징에 매칭시켜 유사도가 높을 경우 높은 스코어값을 산출하고, 유사도가 낮을 경우 낮은 스코어값을 산출하도록 구성된다.Scoring has HOG feature information of the pedestrian model and matches it with the HOG feature of the input image to calculate a high score value when the similarity is high and a low score value when the similarity is low.
구체적으로, 스코어값은 소정 크기의 셀을 단위로 하여 입력 영상의 좌측 상단부터 우측 하단까지 상기 셀을 이동시키며 입력 영상의 모든 단위 지점 각각에 대해 스코어값을 계산하도록 구성된다. 참고로, 상기 입력 영상의 '단위 지점'이란 입력 영상에 대해 이동하는 셀의 현재 위치에 대응하는 각각의 단위 지점을 의미한다.Specifically, the score value is configured to move the cell from the upper left corner to the lower right corner of the input image in units of cells of a predetermined size, and to calculate a score value for each unit point of the input image. For reference, 'unit point' of the input image means each unit point corresponding to the current position of the moving cell with respect to the input image.
도 8은 본 발명에 따른 스코어링의 흐름을 보여주는 처리 흐름도이다. 도 8을 참조하여 보다 구체적으로 설명하면, 본 발명의 스코어링은 도 8의 (a)와 같이 셀(10)을 입력 영상(30)의 제1 단위지점에 위치시켜 해당 단위 지점의 스코어값을 산출하고, 이어서 도 8의 (b)와 같이 제1 단위지점에 바로 이웃하는 제2 단위지점에 셀(10)을 이동시켜 상기 제2 단위지점의 스코어값을 산출하고, 이어서 도 8의 (c)와 같이 제2 단위지점에 바로 이웃하는 제3 단위지점에 셀(10)을 이동시켜 상기 제3 단위지점의 스코어값을 산출하는 방식으로, 입력 영상(30)의 모든 지점(즉, 제4 단위지점,..., 제N 단위지점)에 대해 스코어값 계산을 수행하도록 구성된다.8 is a process flow chart showing the flow of scoring according to the present invention. 8, the scoring of the present invention places the
여기서, 입력 영상(30)에 대해 셀(10)이 이동할 시, 도 8의 (a),(b),(c)와 같이, 단계 1을 통해 학습된 모델 영상(즉, 도 7과 같은 보행자 모델,20) 역시 셀(10)과 동일하게 이동하여 입력 영상(30)의 각 단위 지점에 대해 상기 보행자 모델(20)의 매칭 및 스코어값 산출이 수행될 수 있도록 구성된다.When the
환언하면, 입력 영상(30)의 각 단위 지점을 기준으로 보행자 모델(20)을 상기 입력 영상에 매칭시켜 나아가며 상기 각 단위 지점별로 스코어값을 산출하도록 구성된다.In other words, the
참고로, 도 8에 도시된 보행자 모델 영상은 설명의 편의를 위해, 도 7과 같은 형태로 표현되는 학습된 모델 영상이 아닌 실제 모델 이미지로 표시하였으나, 실제 스코어링은 도 7과 같은 학습된 모델 영상을 이용하여 수행된다.For reference, the pedestrian model image shown in FIG. 8 is displayed as an actual model image instead of the learned model image expressed in the form shown in FIG. 7 for the sake of convenience of explanation. Actual scoring, however, .
한편, 입력 영상(30)의 각 단위 지점(제1 단위지점, 제2 단위지점,..., 제N 단위지점)에 대한 스코어값은 다음의 수학식 6에 의해 산출될 수 있다.On the other hand, a score value for each unit point (first unit point, second unit point, ..., N-th unit point) of the
(수학식 6에서, (In Equation 6,
score(x,y): 입력 영상의 (x,y)셀 단위지점의 점수,score (x, y): score of the (x, y) cell unit of the input image,
N: 보행자 모델의 범위 각도의 개수,N: Number of range angles of the pedestrian model,
H: 보행자 모델의 높이(Height)H: Height of pedestrian model
W: 보행자 모델의 폭(Width),W: Width of the pedestrian model,
M: 보행자 모델의 HOG 특징값,M: HOG feature value of pedestrian model,
I: 입력 영상의 HOG 특징값I: HOG characteristic value of input image
c: 상수)c: constant)
수학식 6에서 알 수 있듯이, 본 발명의 스코어링은 가우시안 함수를 바탕으로 하여, 입력 영상(30)의 각 셀(도 8의 "10")에 대응하는 단위 지점의 스코어값을 산출하도록 구성되는 것을 특징으로 한다.As can be seen from Equation (6), the scoring of the present invention is configured to calculate the score value of a unit point corresponding to each cell ("10" in FIG. 8) of the
수학식 6 및 이에 따르는 스코어링에 대해 더 설명하면, 보행자 모델의 범위 각도의 개수(N)란, 예컨대 도 5와 같이 각도의 구분을 20°의 단위 범위로 설정할 경우 상기 범위 각도의 개수(N)는 "18"이 되고, 각도의 구분을 30°의 단위 범위로 설정할 경우 상기 범위 각도의 개수(N)는 "12"가 된다.The number N of the range angles of the pedestrian model means the number N of the range angles when the angle division is set to 20 ° as shown in FIG. 5, for example, Quot; 18 ", and when the angle division is set to a unit range of 30 DEG, the number N of the range angles becomes "12 ".
그리고, 보행자 모델의 높이(H)와 폭(W)이란, 보행자 모델 생성을 위한 모델 이미지 및(또는) 이에 따라 생성되는 보행자 모델(도 7의 학습된 모델 영상)을 구성하는 셀 인덱스로 표현된다. 예컨대, "004.jpg 모델 이미지"의 Y축 셀 인덱스 (Model Y)의 최고값 "30"은 보행자 모델의 높이(H)가 되고, X축 셀 인덱스(Model X)의 최고값 "20"은 보행자 모델의 폭(W)이 될 수 있다.The height H and the width W of the pedestrian model are represented by cell indices constituting a model image for generating a pedestrian model and / or a pedestrian model (the learned model image in FIG. 7) generated thereby . For example, the highest value "30" of the Y axis cell index (Model Y) of the "004.jpg model image" is the height H of the pedestrian model and the highest value "20" (W) of the pedestrian model.
한편, 수학식 6은 가우시안 함수를 바탕으로 구성된 것인데, 구체적으로 가우시안 함수의 평균에 해당하는 변수는 "M"으로, 입력은 "I"로 대체하여 구성된다.Meanwhile, Equation (6) is constructed based on the Gaussian function. Specifically, the variable corresponding to the average of the Gaussian functions is replaced by "M" and the input is replaced by "I".
그리고, 수학식 6에서 "σ"는 보행자 모델 HOG의 크기에 따라 변화해야 되므로, "M"의 크기에 비례하여 변화할 수 있도록 상수(C)를 추가하였다.In Equation (6), "? "Has to be changed according to the size of the pedestrian model HOG, and therefore, a constant C is added so that it can be changed in proportion to the magnitude of" M ".
도 9(a) 및 (b)는 본 발명에 따른 스코어 함수의 일례이다. 구체적으로, 도 9(a)는 "M"을 500으로 설정하였을 때 입력 영상의 HOG 특징에 따른 스코어 함수의 변화를 보여 주는 그래프이고, 도 9(b)는 "M"을 50으로 설정하였을 경우 스코어 함수의 변화를 보여 주는 그래프이다. 9 (a) and 9 (b) are examples of the score function according to the present invention. Specifically, FIG. 9A is a graph showing the change of the score function according to the HOG characteristic of the input image when "M" is set to 500. FIG. 9B is a graph showing the change of the score function when "M" It is a graph showing the change of the score function.
도 9(a) 및 (b)의 차이는 모델 크기에 따라서 스코어 획득 범위가 달라지는 것이다. 결국, 이는 모델 이미지의 특징이 클수록 스코어 획득 범위를 상대적으로 넓혀주어 특징이 작은 경우에 비해 더 많은 가중치를 부여하기 위함이다.The difference between Figs. 9 (a) and 9 (b) is that the score acquisition range varies depending on the model size. As a result, the larger the feature of the model image, the wider the acquisition range of the score, so as to give more weight than the smaller feature.
전술한 바와 같이 입력 영상의 각 단위 지점(즉, 제4 단위지점,..., 제N 단위지점)에 대해 수학식 6에 따른 스코어값이 산출되면, 이를 이용하여 해당 입력 영상에 표현된 대상의 보행자 여부를 판단하게 된다.When the score value according to Equation (6) is calculated for each unit point (i.e., the fourth unit point, ..., the N-th unit point) of the input image as described above, It is determined whether or not the user is a pedestrian.
구체적으로, 다음의 조건식 1과 같이 각 단위 지점별로 산출되는 다수 개의 스코어값을 기설정된 임계값과 비교하고, 상기 비교결과 상기 다수 개의 스코어값 중 어느 하나의 스코어값이 상기 임계값보다 더 클 경우 해당 입력 영상을 보행자 영상으로 인식하도록 구성된다.Specifically, if a plurality of score values calculated for each unit point are compared with predetermined threshold values as in the following
<조건식 1><
반면, 상기 비교결과 상기 다수 개의 스코어값 모두가 상기 임계값보다 작을 경우에는 해당 입력 영상을 비보행자 영상으로 인식하게 된다.On the other hand, if all of the plurality of score values are less than the threshold value as a result of the comparison, the input image is recognized as a non-pedestrian image.
한편, 상기에서 설명 및 도시한 본 발명에 따른 카메라를 이용한 보행자 인식 방법은 컴퓨터와 같은 전기 전자 장치에 이를 실행시키기 위한 프로그램을 기록한 전기 전자 장치로 읽을 수 있는 기록 매체 형태로 제공될 수 있다.Meanwhile, the pedestrian recognition method using the camera according to the present invention can be provided in the form of a recording medium readable by an electric / electronic apparatus in which a program for executing the pedestrian recognition method is stored in an electric / electronic apparatus such as a computer.
일 례로, 상기 기록 매체는 학습 단계(S10)를 통해 획득된 보행자 모델에 대한 정보가 기록되어 있고, 인식 단계(S20)를 구성하는 세부 단계들(S21 내지 S25)을 실행시키기 위한 프로그램이 기록된 전기 전자 장치로 읽을 수 있는 매체로 제공될 수 있다.For example, in the recording medium, information on the pedestrian model obtained through the learning step S10 is recorded, and a program for executing the detailed steps S21 to S25 constituting the recognition step S20 is recorded And may be provided as a medium readable by an electric / electronic device.
또 다른 예로, 상기 기록 매체는 학습 단계(S10)을 구성하는 세부 단계(S12 내지 S15)들을 실행시키기 위한 프로그램이 기록된 전기 전자 장치로 읽을 수 있는 매체와, 인식 단계(S20)를 구성하는 세부 단계들(S21 내지 S25)을 실행시키기 위한 프로그램이 기록된 전기 전자 장치로 읽을 수 있는 매체로 제공될 수 있다.
As another example, the recording medium may include a medium readable by the electric / electronic apparatus in which a program for executing the sub-steps S12 to S15 constituting the learning step S10 is recorded, A program for executing the steps S21 to S25 may be provided as a medium readable by the recorded electric / electronic device.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.
While the preferred embodiments of the present invention have been described and illustrated above using specific terms, such terms are used only for the purpose of clarifying the invention, and it is to be understood that the embodiment It will be obvious that various changes and modifications can be made without departing from the spirit and scope of the invention. Such modified embodiments should not be understood individually from the spirit and scope of the present invention, but should be regarded as being within the scope of the claims of the present invention.
10: 셀
20: 학습된 모델 영상(보행자 모델)
30: 입력 영상10: Cell
20: learned model image (pedestrian model)
30: input image
Claims (13)
HOG(histogram of gradient)를 사용하여 각 모델 영상에 대해 HOG 특징을 추출하는 제2 단계;
상기 제2 단계를 통해 추출된 상기 각 모델 영상의 HOG 특징을 기반으로, 기계 학습 알고리즘 (machine learning algorithm)을 통한 모델 학습을 수행하여 보행자 모델을 생성하는 제3 단계;
보행자 유무의 판별이 필요한 영상(이하, '입력 영상'이라 함)을 입력받는 제4 단계;
상기 보행자 모델의 HOG 특징과 상기 입력 영상에서 추출되는 HOG 특징 간의 유사도에 비례하여 스코어(score)값이 계산되는 스코어링(Scoring)을 수행하는 제5 단계;
상기 제5 단계를 통해 산출되는 스코어값을 기설정된 임계값과 비교하는 제6 단계; 및
상기 제6 단계의 비교결과, 상기 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하는 제7 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
A first step of collecting a plurality of images (hereinafter referred to as 'model images') through a camera;
A second step of extracting HOG features for each model image using HOG (histogram of gradient);
A third step of generating a pedestrian model by performing model learning through a machine learning algorithm based on the HOG feature of each of the model images extracted through the second step;
A fourth step of inputting an image (hereinafter, referred to as an 'input image') requiring identification of the presence or absence of a pedestrian;
A fifth step of performing scoring in which a score value is calculated in proportion to the degree of similarity between the HOG feature of the pedestrian model and the HOG feature extracted from the input image;
A sixth step of comparing a score value calculated through the fifth step with a preset threshold value; And
And a seventh step of recognizing the input image as a pedestrian image when the score value is greater than the threshold value as a result of the comparison in the sixth step.
상기 제2 단계는,
상기 모델 영상에 대해 복수 개의 범위 각도로 구분하여, 각 범위 각도별로 HOG 특징을 추출하고,
상기 제3 단계는,
상기 모델 영상의 복수 개의 범위 각도별 HOG 특징을 기반으로 상기 기계 학습 알고리즘을 통한 모델 학습을 수행하여,
상기 보행자 모델은 상기 각 범위 각도별로 HOG 특징에 대한 정보를 갖도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method according to claim 1,
The second step comprises:
The HOG features are extracted for each range angle by dividing the model image into a plurality of range angles,
In the third step,
Model learning is performed through the machine learning algorithm based on HOG features of a plurality of range angles of the model image,
Wherein the pedestrian model is configured to have information on a HOG feature for each range angle.
상기 제5 단계는,
상기 입력 영상의 각 단위 지점을 기준으로 상기 보행자 모델을 상기 입력 영상에 매칭시켜 나아가며 상기 각 단위 지점별로 스코어값을 산출하도록 구성되고,
상기 제6 단계는,
상기 각 단위 지점별로 산출되는 다수 개의 스코어값을 기설정된 임계값과 비교하며,
상기 제7 단계는,
상기 제6 단계의 비교결과, 상기 다수 개의 스코어값 중 어느 하나의 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
3. The method of claim 2,
In the fifth step,
The pedestrian model is matched to the input image on the basis of each unit point of the input image, and the score value is calculated for each unit point,
In the sixth step,
A plurality of score values calculated for each unit point are compared with predetermined threshold values,
In the seventh step,
Wherein the input image is recognized as a pedestrian image when the score value of any one of the plurality of score values is greater than the threshold value as a result of the sixth step.
상기 제5 단계의 상기 각 단위 지점별로 스코어값은 가우시안 함수를 이용하여 산출되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method of claim 3,
Wherein the score value for each unit point in the fifth step is calculated using a Gaussian function.
상기 제5 단계의 상기 각 단위 지점별로 스코어값은 다음 수학식을 이용하여 산출되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
(score(x,y): 입력 영상의 (x,y)셀 단위지점의 점수,
, c: 상수, N: 보행자 모델의 범위 각도의 개수,
H: 보행자 모델의 높이(Height), W: 보행자 모델의 폭(Width), M: 보행자
모델의 HOG 특징값, I: 입력 영상의 HOG 특징값)
The method of claim 3,
Wherein the score value for each unit point in the fifth step is calculated using the following equation.
(score (x, y)): score of the (x, y) cell unit of the input image,
, c: constant, N: number of range angles of the pedestrian model,
H: Height of pedestrian model, W: Width of pedestrian model, M: Pedestrian
HOG feature value of model, I: HOG feature value of input image)
상기 복수 개의 범위 각도는 "20°씩 총 18개로 구분되는 범위 각도" 내지 "30°씩 총 12개로 구분되는 범위 각도"인 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
3. The method of claim 2,
Wherein the plurality of range angles are "range angles divided by 18 in total by 18 degrees" to "range angles divided by 12 in total by 30 degrees ".
상기 제2 단계는, HOG 가중 필터(weight filter)를 사용하여, 상기 모델 영상에 포함되어 있는 배경을 포함한 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method according to claim 1,
Wherein the second step further comprises removing a noise including a background included in the model image using a HOG weight filter.
상기 기계 학습 알고리즘은 서포트 벡터 머신(Support Vector Machine: SVM)을 사용하도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method according to claim 1,
Wherein the machine learning algorithm is configured to use a support vector machine (SVM).
상기 입력 영상을 입력받는 제1 단계;
상기 보행자 모델의 HOG 특징과 상기 입력 영상에서 추출되는 HOG 특징 간의 유사도에 비례하여 스코어(score)값이 계산되는 스코어링(Scoring)을 수행하는 제2 단계;
상기 제2 단계를 통해 산출된 스코어값을 기설정된 임계값과 비교하는 제3 단계; 및 상기 제3 단계의 비교결과, 상기 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하고, 작을 경우 비보행자 영상으로 인식하는 제4 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
Collecting a plurality of images (hereinafter referred to as 'model images') through a camera; Extracting a HOG feature for each model image using a histogram of gradient (HOG); And performing model learning through a machine learning algorithm based on the extracted HOG features of the respective model images, based on the pedestrian model obtained by the step (a) , &Quot; input image ") as a pedestrian,
A first step of receiving the input image;
A second step of performing scoring in which a score value is calculated in proportion to the degree of similarity between the HOG feature of the pedestrian model and the HOG feature extracted from the input image;
A third step of comparing the score value calculated through the second step with a preset threshold value; And a fourth step of recognizing the input image as a pedestrian image when the score value is greater than the threshold value as a result of the comparison in the third step and recognizing the input image as a non-pedestrian image when the score value is smaller than the threshold value, A Pedestrian Recognition Method Using.
상기 보행자 모델은,
상기 모델 영상에 대해 복수 개의 범위 각도로 구분하여 각 범위 각도별로 HOG 특징을 추출하고, 상기 모델 영상의 복수 개의 범위 각도별 HOG 특징을 기반으로 상기 기계 학습 알고리즘을 통한 모델 학습을 수행하여 생성됨으로써, 상기 보행자 모델은 상기 각 범위 각도별로 HOG 특징에 대한 정보를 갖도록 구성된 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
10. The method of claim 9,
In the pedestrian model,
Extracting HOG features for each range angle by dividing the model image into a plurality of range angles and performing model learning through the machine learning algorithm based on HOG features for each of a plurality of range angles of the model image, Wherein the pedestrian model is configured to have information on a HOG characteristic for each of the range angles.
상기 제2 단계는,
상기 입력 영상의 각 단위 지점을 기준으로 상기 보행자 모델을 상기 입력 영상에 매칭시켜 나아가며 상기 각 단위 지점별로 스코어값을 산출하도록 구성되고,
상기 제3 단계는,
상기 각 단위 지점별로 산출되는 다수 개의 스코어값을 기설정된 임계값과 비교하며,
상기 제4 단계는,
상기 제3 단계의 비교결과, 상기 다수 개의 스코어값 중 어느 하나의 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
11. The method of claim 10,
The second step comprises:
The pedestrian model is matched to the input image on the basis of each unit point of the input image, and the score value is calculated for each unit point,
In the third step,
A plurality of score values calculated for each unit point are compared with predetermined threshold values,
In the fourth step,
Wherein the input image is recognized as a pedestrian image when the score value of any one of the plurality of score values is greater than the threshold value as a result of the third step.
상기 제2 단계의 상기 각 단위 지점별로 스코어값은 다음 수학식을 이용하여 산출되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
(score(x,y): 입력 영상의 (x,y)셀 단위지점의 점수,
, c: 상수, N: 보행자 모델의 범위 각도의 개수,
H: 보행자 모델의 높이(Height), W: 보행자 모델의 폭(Width), M: 보행자
모델의 HOG 특징값, I: 입력 영상의 HOG 특징값)
12. The method of claim 11,
Wherein the score value for each unit point in the second step is calculated using the following equation.
(score (x, y)): score of the (x, y) cell unit of the input image,
, c: constant, N: number of range angles of the pedestrian model,
H: Height of pedestrian model, W: Width of pedestrian model, M: Pedestrian
HOG feature value of model, I: HOG feature value of input image)
A computer-readable medium having recorded thereon a program for executing any one of the methods of any one of claims 1 to 11 in an electric / electronic apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140194613A KR20160081190A (en) | 2014-12-31 | 2014-12-31 | Method and recording medium for pedestrian recognition using camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140194613A KR20160081190A (en) | 2014-12-31 | 2014-12-31 | Method and recording medium for pedestrian recognition using camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20160081190A true KR20160081190A (en) | 2016-07-08 |
Family
ID=56503459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140194613A KR20160081190A (en) | 2014-12-31 | 2014-12-31 | Method and recording medium for pedestrian recognition using camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20160081190A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180070258A (en) * | 2016-12-16 | 2018-06-26 | 기아자동차주식회사 | Method for detecting and learning of objects simultaneous during vehicle driving |
KR20180135589A (en) * | 2017-06-13 | 2018-12-21 | 현대자동차주식회사 | Apparatus for controlling power sliding door of vehicle and method thereof |
KR101999084B1 (en) * | 2019-02-15 | 2019-07-11 | 주식회사 넥스파시스템 | Determining small car and recognizing vehicle number system using vehicle feature vectors classification |
KR102052110B1 (en) * | 2018-05-24 | 2019-12-04 | 군산대학교 산학협력단 | A video surveillance apparatus for detecting agro-livestock theft based on deep learning and method thereof |
KR20220106397A (en) * | 2021-01-22 | 2022-07-29 | 박지환 | Method and device for machine learning based livestock weight prediction |
-
2014
- 2014-12-31 KR KR1020140194613A patent/KR20160081190A/en not_active Application Discontinuation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180070258A (en) * | 2016-12-16 | 2018-06-26 | 기아자동차주식회사 | Method for detecting and learning of objects simultaneous during vehicle driving |
KR20180135589A (en) * | 2017-06-13 | 2018-12-21 | 현대자동차주식회사 | Apparatus for controlling power sliding door of vehicle and method thereof |
KR102052110B1 (en) * | 2018-05-24 | 2019-12-04 | 군산대학교 산학협력단 | A video surveillance apparatus for detecting agro-livestock theft based on deep learning and method thereof |
KR101999084B1 (en) * | 2019-02-15 | 2019-07-11 | 주식회사 넥스파시스템 | Determining small car and recognizing vehicle number system using vehicle feature vectors classification |
KR20220106397A (en) * | 2021-01-22 | 2022-07-29 | 박지환 | Method and device for machine learning based livestock weight prediction |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Possatti et al. | Traffic light recognition using deep learning and prior maps for autonomous cars | |
US8634593B2 (en) | Pixel-based texture-less clear path detection | |
Keller et al. | The benefits of dense stereo for pedestrian detection | |
US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
US8890951B2 (en) | Clear path detection with patch smoothing approach | |
US8699754B2 (en) | Clear path detection through road modeling | |
US8611585B2 (en) | Clear path detection using patch approach | |
US8917904B2 (en) | Vehicle clear path detection | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
KR101982298B1 (en) | Method and apparatus for detecting sudden moving objecj appearance at vehicle | |
US9626599B2 (en) | Reconfigurable clear path detection system | |
US10867403B2 (en) | Vehicle external recognition apparatus | |
KR102044193B1 (en) | System and Method for alarming collision of vehicle with support vector machine | |
US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
CN104573646A (en) | Detection method and system, based on laser radar and binocular camera, for pedestrian in front of vehicle | |
KR20160081190A (en) | Method and recording medium for pedestrian recognition using camera | |
García-Garrido et al. | Robust traffic signs detection by means of vision and V2I communications | |
WO2014181386A1 (en) | Vehicle assessment device | |
KR20210097782A (en) | Indicator light detection method, apparatus, device and computer-readable recording medium | |
KR101687094B1 (en) | Apparatus for recognizing traffic sign and method thereof | |
CN112699748B (en) | Human-vehicle distance estimation method based on YOLO and RGB image | |
Sirbu et al. | Real-time line matching based speed bump detection algorithm | |
Álvarez et al. | Perception advances in outdoor vehicle detection for automatic cruise control | |
Ben Romdhane et al. | A lane detection and tracking method for driver assistance system | |
Hariyono et al. | Estimation of collision risk for improving driver's safety |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |