KR20160081190A - Method and recording medium for pedestrian recognition using camera - Google Patents

Method and recording medium for pedestrian recognition using camera Download PDF

Info

Publication number
KR20160081190A
KR20160081190A KR1020140194613A KR20140194613A KR20160081190A KR 20160081190 A KR20160081190 A KR 20160081190A KR 1020140194613 A KR1020140194613 A KR 1020140194613A KR 20140194613 A KR20140194613 A KR 20140194613A KR 20160081190 A KR20160081190 A KR 20160081190A
Authority
KR
South Korea
Prior art keywords
model
pedestrian
image
input image
hog
Prior art date
Application number
KR1020140194613A
Other languages
Korean (ko)
Inventor
조영완
최현규
Original Assignee
서경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서경대학교 산학협력단 filed Critical 서경대학교 산학협력단
Priority to KR1020140194613A priority Critical patent/KR20160081190A/en
Publication of KR20160081190A publication Critical patent/KR20160081190A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for recognizing a pedestrian by using a camera and a recording medium thereof, capable of determining whether or not an object positioned in front of a vehicle is a person or other obstacle by using the camera. The method for recognizing the pedestrian by using the camera comprises: a first step for collecting a model image; a second step for extracting an HOG feature for each model image by using HOG; a third step for performing model learning through a machine learning algorithm and generating a pedestrian model based on the HOG feature of each model image extracted through the second step; a fourth step for receiving an input image; a fifth step for performing scoring for calculating a score value in proportion to a similarity between the HOG feature of the pedestrian model and the HOG feature extracted in the input image; a sixth step for comparing the score value calculated through the fifth step with a predetermined threshold; and a seventh step for recognizing the input image as a pedestrian image when the score value is higher than the threshold based on a comparison result of the sixth step.

Description

카메라를 이용한 보행자 인식 방법 및 그 기록 매체{METHOD AND RECORDING MEDIUM FOR PEDESTRIAN RECOGNITION USING CAMERA}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a pedestrian recognition method using a camera,

본 발명은 보행자 인식 방법 및 그 기록 매체에 관한 것으로서, 보다 상세하게는 차량에 설치된 카메라를 통해 촬영되는 영상을 판독하여 차량 근방에 보행자가 출현할 시 이를 인식할 수 있는 카메라를 이용한 보행자 인식 방법 및 그 기록 매체에 관한 것이다.
The present invention relates to a pedestrian recognition method and a recording medium thereof, and more particularly, to a pedestrian recognition method and a pedestrian recognition method using a camera that reads an image photographed through a camera installed in a vehicle and recognizes when a pedestrian appears in the vicinity of the vehicle And relates to the recording medium.

스마트 자동차란 첨단의 컴퓨터·통신·측정기술 등을 이용하여 자동으로 운행 할 수 있는 차량 즉, 자동차에 장착된 지구위치측정위성시스템(GPS) 수신기로 정확한 위도와 경도를 통보받아 계기판에 정밀한 지도를 제시하고, 현 위치에서 목적지까지 가장 효율적이면서 자율적으로 이동하는 차량을 의미한다. A smart car is a vehicle that can be operated automatically by using advanced computer, communication and measurement technology. It is informed of accurate latitude and longitude by a GPS (Global Positioning System) receiver installed in a car. And refers to the most efficient and autonomous moving vehicle from its current location to its destination.

스마트 자동차 기술은 크게 자동차 안전 기술, 자동차 편의 기술, 자율주행 3가지로 분류할 수 있다. 자동차 안전 기술은 차량 결함, 사고예방 및 회피, 충돌 등 위험상황으로부터 운전자 및 탑승자를 보호하여 교통사고 및 피해를 획기적으로 경감하는 기술이고, 자동차 편의 기술이란 자동차에 흥미를 부여하고 운전자의 편의를 극대화하여, 자동차를 가정, 사무실에 이은 제3의 주거공간으로 활용하는 기술이다. 마지막으로 자율주행은 차량에 설치된 센서, 카메라 등으로 교통신호, 차선, 장애물 등에 대한 정보를 수집하고 이를 차량에 내장된 컴퓨터가 수집해 주변 상황에 맞게 차량을 운행하는 기술을 말한다.Smart automotive technology can be largely classified into three categories: automobile safety technology, automobile comfort technology, and autonomous driving. Automobile safety technology is a technology to dramatically reduce traffic accidents and damage by protecting drivers and passengers from dangerous situations such as vehicle flaws, accident prevention and avoidance, collision, and automobile comfort technology is an interest in automobiles and maximizes driver convenience It is a technology that utilizes automobiles as the third residential space after home and office. Finally, autonomous driving refers to the technology of collecting information about traffic signals, lanes, obstacles, etc. by sensors and cameras installed in the vehicle, and collecting the information by the computer in the vehicle and operating the vehicle according to the surrounding situation.

이중 스마트 자동차의 능동 안전 기술은 외부 상황을 판단하기 위한 센서 기술이 핵심으로 작용하게 된다. 자동차에 사용되는 센서는 대당 약 160개에 이르고 있으며, 사용량이 지속적으로 증가하고 있다. 기존 차량에 사용중인 센서들을 제외한 스마트 자동차에 사용되는 주요 센서의 종류로는 RADAR, LIDAR(Light Detection And Ranging), 카메라가 있다.The active safety technology of the smart car is the sensor technology to judge the external situation. Approximately 160 sensors are used in automobiles, and the usage is continuously increasing. There are RADAR, LIDAR (Light Detection And Ranging), and camera as main sensors used in smart cars except sensors used in existing vehicles.

RADAR와 LIDAR 센서는 물체와 차량 간의 거리 정보를 알아내기 위해 사용되는데, 자동차 안전 기술의 목적은 인명 피해를 최소화하는데 있기 때문에, 단순 거리 정보만을 돌려주는 두 센서는 차량 앞에 존재하는 물체가 사람인지 여타 장애물인지 구분할 수 없는 한계가 있다. 따라서 자율 주행 자동차가 보행자의 안전을 최우선으로 하여 운행되기 위해서는 카메라를 이용한 보행자 인식이 필요하게 된다.RADAR and LIDAR sensors are used to find distance information between object and vehicle. Since the purpose of vehicle safety technology is to minimize damage to human life, two sensors that return only simple distance information are used to detect objects There is a limit that can not distinguish between obstacles. Therefore, it is necessary to recognize pedestrians using a camera in order for an autonomous vehicle to operate with the safety of the pedestrian as a top priority.

종래 카메라를 이용한 보행자 인식 방법의 경우, 단순히 보행자 영상(모델 영상)을 가지고 입력 영상과 얼마나 유사한지 판단한 후 보행자인지 아닌지 구별하도록 구성된다.In the case of the pedestrian recognition method using the conventional camera, the pedestrian image (model image) is simply determined to determine whether it is similar to the input image, and then it is configured to distinguish whether it is a pedestrian or not.

그런데, 보행자의 특징은 입은 옷, 헤어스타일 등에 의해 변화될 수 있기 때문에 단일 모델 영상의 특징만을 가지고 보행자를 검출하게 될 경우, 특정 보행자만을 검출하게 되는 오류를 범할 가능성이 있다.
However, since the characteristic of the pedestrian can be changed by clothes, hair style, and the like, if the pedestrian is detected only by the features of the single model image, there is a possibility that an error may be detected that detects only a specific pedestrian.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 카메라를 이용하여 차량 앞에 존재하는 물체가 사람인지 여타 장애물인지 구분할 수 있고, 특히 보행자의 다양한 특징에 상관없이 보행자를 정확히 인식할 수 있는 카메라를 이용한 보행자 인식 방법 및 그 기록 매체를 제공하는 것이다.
SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a pedestrian detection apparatus and a pedestrian detection method capable of distinguishing whether an object existing in front of a vehicle is a person or other obstacle by using a camera, A pedestrian recognition method using a camera which can be recognized and a recording medium therefor.

상기 목적을 달성하기 위한 본 발명에 따른 카메라를 이용한 보행자 인식 방법은, 카메라를 통해 다수의 영상(이하, '모델 영상' 이라 함)을 수집하는 제1 단계와; HOG(histogram of gradient)를 사용하여 각 모델 영상에 대해 HOG 특징을 추출하는 제2 단계와; 상기 제2 단계를 통해 추출된 상기 각 모델 영상의 HOG 특징을 기반으로, 기계 학습 알고리즘 (machine learning algorithm)을 통한 모델 학습을 수행하여 보행자 모델을 생성하는 제3 단계와; 보행자 유무의 판별이 필요한 영상(이하, '입력 영상'이라 함)을 입력받는 제4 단계와; 상기 보행자 모델의 HOG 특징과 상기 입력 영상에서 추출되는 HOG 특징 간의 유사도에 비례하여 스코어(score)값이 계산되는 스코어링(Scoring)을 수행하는 제5 단계와; 상기 제5 단계를 통해 산출되는 스코어값을 기설정된 임계값과 비교하는 제6 단계; 및 상기 제6 단계의 비교결과, 상기 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하는 제7 단계를 포함하는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided a method for recognizing a pedestrian using a camera, comprising: a first step of collecting a plurality of images (hereinafter referred to as 'model images') through a camera; A second step of extracting HOG features for each model image using a histogram of gradient (HOG); A third step of generating a pedestrian model by performing model learning through a machine learning algorithm based on the HOG feature of each of the model images extracted through the second step; A fourth step of inputting an image (hereinafter, referred to as 'input image') requiring identification of the presence or absence of a pedestrian; A fifth step of performing scoring in which a score value is calculated in proportion to the degree of similarity between the HOG feature of the pedestrian model and the HOG feature extracted from the input image; A sixth step of comparing a score value calculated through the fifth step with a preset threshold value; And a seventh step of recognizing the input image as a pedestrian image when the score value is greater than the threshold value as a result of the comparison in the sixth step.

본 발명에 따른 카메라를 이용한 보행자 인식 방법 및 그 기록 매체에 의하면, 카메라를 통해 입력된 영상에 포함된 대상이 보행자인지 여부를 판별할 수 있고, 특히 보행자의 특징을 일반화하여 보행자의 다양한 특징에 상관없이 보행자를 정확히 인식할 수 있는 효과가 있다.
According to the pedestrian recognition method and the recording medium using the camera according to the present invention, it is possible to discriminate whether the object included in the image input through the camera is a pedestrian, and in particular, to generalize the characteristics of the pedestrian, So that pedestrians can be recognized accurately.

도 1은 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 학습 단계의 흐름을 도시한 블록 순서도.
도 2는 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 인식 단계의 흐름을 도시한 블록 순서도.
도 3은 본 발명의 카메라를 통해 수집된 영상의 HOG 특징 변환을 보여주는 일례.
도 4는 본 발명에 따른 서포트 벡터 머신 학습셋을 구성하기 위한 다양한 모델 영상을 나타낸 일례.
도 5은 도 4의 "004.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례.
도 6은 도 4의 "기린3.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례.
도 7은 본 발명의 모델 영상의 HOG 특징을 기반으로 생성된 학습된 모델 영상(보행자 모델)의 일례.
도 8은 본 발명에 따른 스코어링의 흐름을 보여주는 처리 흐름도.
도 9(a) 및 (b)는 본 발명에 따른 스코어 함수의 일례.
도 10은 본 발명에 따른 가중 필터를 적용한 모습을 나타낸 일례.
1 is a block flow diagram illustrating a flow of a learning step of a pedestrian recognition method using a camera according to the present invention.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a method for recognizing a pedestrian using a camera.
3 is an example showing HOG feature transformation of an image collected through a camera of the present invention.
4 is an example showing various model images for constructing a support vector machine learning set according to the present invention.
5 is a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "004.jpg model image"
6 is a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "girin 3.jpg model image" of Fig.
7 is an example of a learned model image (pedestrian model) generated based on the HOG feature of the model image of the present invention.
8 is a process flow chart showing the flow of scoring according to the present invention.
9 (a) and 9 (b) illustrate an example of a score function according to the present invention.
10 is an example of a weight filter according to the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

또한, 본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Furthermore, although the terms first, second, etc. may be used herein to describe various components, the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.In the following, preferred embodiments, advantages and features of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 학습 단계의 흐름을 도시한 블록 순서도이고, 도 2는 본 발명에 따른 카메라를 이용한 보행자 인식 방법의 인식 단계의 흐름을 도시한 블록 순서도이다.FIG. 1 is a block flow chart showing a flow of learning steps of a pedestrian recognition method using a camera according to the present invention, and FIG. 2 is a block flow chart showing a flow of a recognition step of a pedestrian recognition method using a camera according to the present invention.

도 1 및 도 2를 참조하면, 본 발명의 카메라를 이용한 보행자 인식 방법은 크게 학습 단계(단계 1, S10)와, 인식 단계(단계 2, S20)를 포함하여 구성된다.Referring to FIGS. 1 and 2, the pedestrian recognition method using the camera of the present invention comprises a learning step (steps 1 and S10) and a recognition step (steps 2 and S20).

학습 단계(단계 1)는 카메라를 통해 영상을 수집하는 단계(단계 1-1)와, 카메라를 통해 수집된 영상의 특징을 추출하는 단계(단계 1-2)와, 수집된 영상에 포함되어 있는 잡음을 제거하는 단계(단계 1-3)와, 기계 학습 알고리즘(machine learning algorithm)을 사용하여 모델 학습을 수행(단계 1-4)함으로써 보행자 모델을 생성하는 단계(단계 1-5)를 포함한다.The learning step (step 1) includes a step of collecting an image through a camera (step 1-1), a step of extracting features of an image collected through a camera (step 1-2) (Step 1-3) of removing noise, and generating a pedestrian model (step 1-5) by performing model learning using a machine learning algorithm (steps 1-4) .

인식 단계(단계 2)는 보행자 유무의 판별이 요구되는 영상(이하, '입력 영상'이라 함)이 입력되면, 상기 학습 단계에서 구축된 보행자 모델을 기반으로 상기 입력 영상의 보행자 유무를 판별하는 단계이다.The recognition step (step 2) comprises the steps of discriminating the presence or absence of a pedestrian of the input image based on the pedestrian model constructed in the learning step, when an image (hereinafter, referred to as 'input image' to be.

세부적으로, 인식 단계(단계 2)는 영상 입력 단계(단계 2-1)와, 보행자 모델의 특징과 입력 영상에서 추출되는 특징을 이용하여 스코어링(Scoring)을 수행하는 단계(단계 2-2)와, 산출된 스코어값을 통해 보행자 유무를 판별하는 단계(단계 2-3)를 포함한다.In detail, the recognition step (step 2) includes an image input step (step 2-1), a step of performing scoring using the characteristics of the pedestrian model and features extracted from the input image (step 2-2) , And determining whether the pedestrian is present based on the calculated score value (step 2-3).

이하에서는 각 단계의 바람직한 실시예를 들어 보다 구체적으로 설명하도록 한다.Hereinafter, a preferred embodiment of each step will be described in more detail.

<단계 1-1(S11)>&Lt; Step 1-1 (S11)

본 발명의 단계 1-1(S11)은 보행자 모델을 생성하기 위해, 카메라를 통해 다수의 영상을 수집하는 단계이다. Step 1-1 (S11) of the present invention is a step of collecting a plurality of images through a camera to generate a pedestrian model.

단계 1-1에서 수집되는 영상들은 보행자(사람)가 표현되어 있는 영상과, 물건 내지 동물과 같은 비보행자가 표현되어 있는 영상으로 구분된다.The images collected in step 1-1 are divided into an image in which a pedestrian (person) is expressed and an image in which a non-pedestrian such as an object or an animal is expressed.

그리고, 보행자가 표현되어 있는 영상은 모델 학습 단계(S13)의 학습 세트(training set) 구성시 포지티브 이미지(positive image)로 사용되고, 비보행자가 표현되어 있는 영상은 네거티브 이미지(nagative image)로 사용된다.The image in which the pedestrian is expressed is used as a positive image in the training set construction of the model learning step S13 and the image in which the non-pedestrian is expressed is used as a negative image .

<단계 1-2(S12)>&Lt; Step 1-2 (S12)

본 발명의 단계 1-2(S12)는 카메라를 통해 수집된 다수의 영상에 대해 특징을 추출하는 단계로서, 각 영상의 특징은 HOG(Histogram of gradient)를 사용하여 추출하도록 구성되는 것을 특징으로 한다.Step 1-2 of the present invention is a step of extracting features of a plurality of images collected through a camera, and the feature of each image is extracted using Histogram of gradient (HOG) .

HOG(Histogram of gradient)는, 이미지를 바둑판 모양의 사각형 형태로 나누어 그 각각의 사각형 그리드(Grid) 내에 방향(Orientation)의 로컬 히스토그램을 계산하는 알고리즘을 말하며, 특히 복수 개의 픽셀로 이루어진 셀 및 상기 복수개의 셀로 이루어진 블록을 사용하여, 상기 변환된 이미지의 특징 벡터(Feature Vector)를 추출하게 된다.HOG (Histogram of Gradient) refers to an algorithm for dividing an image into a rectangular grid shape and calculating a local histogram of orientation in each of its square grid (Grid). In particular, A feature vector of the transformed image is extracted using a block of cells.

즉, HOG는 각 셀 마다 에지(edge) 픽셀들의 방향에 대한 히스토그램을 구한 후 이들 히스토그램을 일렬로 연결한 벡터로서, 히스토그램은 각도별로 나누어 축적된다. 이러한 HOG는 에지(edge)의 방향 히스토그램 템플릿으로 볼 수 있으며, 물체의 모양의 특징을 표현하는데 적합하다.That is, HOG is a vector obtained by finding the histogram of the direction of the edge pixels for each cell and connecting these histograms in a line, and the histogram is accumulated for each angle. This HOG can be viewed as an orientation histogram template of an edge and is suitable for expressing features of an object shape.

영상의 각 픽셀들에 대한 HOG 특징은 각도(방향)와 크기 성분을 갖는 HOG 특징 벡터로 구성될 수 있고, 이러한 HOG 특징의 각도와 크기는 다음의 수학식 1에 의해 도출될 수 있다.The HOG feature for each pixel of the image can be composed of a HOG feature vector having an angle (direction) and a magnitude component, and the angle and size of the HOG feature can be derived by the following equation (1).

Figure pat00001
Figure pat00001

(수학식 1에서, (In the equation (1)

i,j: 영상의 픽셀 인덱스, i, j: Pixel index of the image,

f(i,j): 영상의 인텐시티(intensity), f (i, j) is the intensity of the image,

m(i,j): 특징의 크기, m (i, j): size of feature,

θ(i,j): 특징의 각도)θ (i, j): angle of feature)

도 3은 본 발명의 카메라를 통해 수집된 영상의 HOG 특징 변환을 보여주는 일 례이다. 도 3을 참조하면, 단계 1-1(S11)에서 수집된 영상(도 3(a))들은 수학식 1에 의해 HOG 특징을 추출할 수 있고, 이렇게 추출되는 HOG 특징은 도 3(b)와 같이 시각화될 수 있다.3 is an example showing the HOG feature transformation of an image collected through the camera of the present invention. Referring to FIG. 3, the image (FIG. 3 (a)) collected in step 1-1 (S11) can extract the HOG feature according to equation (1) Can be visualized together.

<단계 1-3(S13)>&Lt; Step 1-3 (S13)

본 발명의 단계 1-3(S13)은 수집된 해당 영상에 포함되어 있는 잡음 즉, 배경 성분을 제거하여, 해당 영상의 HOG 특징 변환시 목적하는 대상(예컨대, 사람, 물건, 동물)만이 표현되어 있는 모델 영상을 획득하기 위한 단계이다.In step 1-3 of the present invention, only a target object (e.g., a person, an object, or an animal) is displayed at the time of HOG feature conversion of the corresponding image by removing noise included in the collected image This is the step for acquiring the model image.

모델 영상은 수집된 영상에서 원하는 대상(object)를 찾기 위한 이미지인데, 이러한 모델 영상은 목적하는 대상뿐만 아니라 배경성분도 포함되어 있기 때문에 이를 제거하기 위하여 HOG 가중 필터(weight filter)를 사용한다. The model image is an image for finding a desired object in the collected image. Since the model image includes not only the target object but also the background component, a HOG weight filter is used to remove it.

다음의 수학식 2는 이러한 배경성분의 제거를 위한 HOG 가중 필터의 수식으로서, 도 10과 같이 모델 영상이 흰색일 경우에만 HOG 가중 필터를 적용하고, 그렇지 않을 경우 '0'의 값을 할당한다.Equation (2) is a formula of a HOG weighted filter for removing such background components. The HOG weighted filter is applied only when the model image is white as shown in FIG. 10, and a value of '0' is assigned if the model image is white.

Figure pat00002
Figure pat00002

<단계 1-4(S14)>&Lt; Step 1-4 (S14)

본 발명의 단계 1-4(S14)은 기계 학습 알고리즘(machine learning algorithm)을 사용하여 모델 학습을 수행함으로써 보행자 모델을 생성하는 단계이다. 바람직한 실시예에 따르면, 단계 1-4(S14)의 기계 학습 알고리즘은 서포트 벡터 머신(Support Vector Machine: SVM)을 사용하도록 구성된다.Step 1-4 of the present invention is a step of generating a pedestrian model by performing model learning using a machine learning algorithm. According to a preferred embodiment, the machine learning algorithm of steps 1-4 (S14) is configured to use a support vector machine (SVM).

서포트 벡터 머신(SVM)은 기계학습의 한 종류로서, 주어진 데이터가 어떤 분류에 속하는지 분류해내기 위한 알고리즘이다. 여기서 기계학습이란 주어진 데이터를 컴퓨터에 입력하고 어떠한 특정 알고리즘을 기반으로 학습을 수행하여 판별 기준을 구축함으로써 새로운 데이터가 주어졌을 때 그 데이터가 어떠한 종류로 판별되는지를 예측하는 과정을 의미한다. A support vector machine (SVM) is a kind of machine learning, and is an algorithm for classifying a given data belonging to a classification. Here, machine learning is a process of inputting given data into a computer and building a discrimination criterion by performing learning based on a certain algorithm to predict what kind of data will be discriminated when new data is given.

예컨대, 기린과 하마의 특징 벡터가 존재한다면, 두 동물을 구분하기 위한 최적의 직선(초평면,Optimal hyper plane)을 특징 공간에 긋되 두 동물의 특징 벡터간의 거리(마진)를 최대로 하여 분류하고자 하는 것이 SVM의 목적이 된다.For example, if a feature vector of a giraffe and a hippopotamus exist, the optimal straight line (an optimal hyper plane) to distinguish the two animals is drawn in the feature space, and the distance (margin) It is the purpose of SVM.

SVM에서 각 클래스의 최외각 벡터와 서포트 벡트(support vector)를 지나는 직선을 각각 "ω·x - b = 1" 과 "ω·x - b = -1" 로 표현하게 되고, 각 클래스의 데이터는 이 직선들 위 또는 아래 영역에 존재하기 때문에, 다음의 수학식 3의 조건을 만족해야 한다.In SVM, the straight line passing through the outermost vector and support vector of each class is expressed as "ω · x - b = 1" and "ω · x - b = -1" Is present in the region above or below the straight lines, the following condition (3) must be satisfied.

Figure pat00003
Figure pat00003

여기서, 두 직선 사이의 거리는 "2 /∥ω∥" 가 되며, 두 직선 사이의 거리(마진)를 최대화하기 위해서 "∥ω∥"는 최소화되어야 한다. 일반적으로 두 변수를 가지는 함수 f(x, y)에 대한 극값은 각 변수에 대한 편미분값이 '0'이 되도록 하고, 두 개의 연립 방정식의 해로 구한다. 그런데 만약 두 변수가 제약함수 g(x,y)의 조건에서 f(x, y)의 극값을 구하고자 한다면 라그랑지 승수(Lagrange multiplier)를 이용하여 최대 혹은 최소값을 구해야 한다. SVM에서는 라그랑지 승수를 사용하여 다음의 수학식 4의 제약조건으로 "∥ω∥"의 최소값을 구하게 된다.Here, the distance between the two straight lines becomes "2 / ∥ω∥" and "∥ω∥" should be minimized in order to maximize the distance (margin) between the two straight lines. In general, the extreme value for the function f (x, y) with two variables is obtained by setting the partial differential value for each variable to be '0' and the solution of two simultaneous equations. If two variables are used to find the extremum of f (x, y) under the condition of the constraint function g (x, y), the maximum or minimum value should be obtained by using a Lagrange multiplier. In the SVM, the Lagrangian multiplier is used to obtain the minimum value of "? ||

라그랑지 함수(Lagrange function)의 일반식은 다음의 수학식 4와 같고, "∥ω∥"의 최소화를 위한 라그랑지 함수는 다음의 수학식 5와 같다.The general formula of the Lagrange function is shown in Equation 4 below, and the Lagrangian function for minimizing "? ||

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

(수학식 5에서,(In equation (5)

α: 라그랑지 상수, α: Lagrange constant,

yi : 입력 데이터 클래스로서, 그 식은 다음과 같음y i : the input data class, the expression is

Figure pat00006
)
Figure pat00006
)

이하에서는 전술한 서포트 벡터 머신(Support Vector Machine: SVM)을 사용하여 모델 학습을 수행함으로써 보행자 모델을 생성하는 단계에 대해 상세히 설명하도록 한다.Hereinafter, the step of generating the pedestrian model by performing the model learning using the support vector machine (SVM) will be described in detail.

<단계 1-5(S15)>&Lt; Step 1-5 (S15)

서포트 벡터 머신을 통한 모델 학습을 위해서는 먼저 서포트 벡터 머신 학습셋(SVM training set)을 구성을 구성해야 한다.In order to learn the model through the support vector machine, the support vector machine training set (SVM training set) must be configured first.

도 4는 본 발명에 따른 서포트 벡터 머신 학습셋을 구성하기 위한 다양한 모델 영상을 나타낸 일례이다. 서포트 벡터 머신 학습셋(SVM training set)을 구성하기 위해서는 도 4와 같이 다수의 모델 영상 즉, 포지티브 이미지(positive image)와 네거티브 이미지(nagative image) 세트가 필요하다.FIG. 4 shows an example of various model images for constructing a support vector machine learning set according to the present invention. In order to construct a support vector machine training set, a plurality of model images, that is, a positive image and a set of negative images, are required as shown in FIG.

포지티브 이미지(positive image)는 트루 데이터(true data)로 분류되는 모델 영상으로서 보행자 즉 사람이 표현되어 있고, 네거티브 이미지(nagative image)는 폴스 데이터(false data)로 분류되는 모델 영상으로서 물건 내지 동물과 같은 비보행자가 표현되어 있다.A positive image is a model image classified as true data, a model image of a pedestrian, a human being, and a nagative image is classified as false data. The same non-pedestrian is expressed.

본 발명의 단계 1-5(S15)는 수집된 포지티브 이미지(positive image)와 네거티브 이미지(nagative image) 세트의 각도별 HOG 특징 값을 가지고 "true data"와 "false data"를 분류하여 학습 세트(training set)를 구성하는 것을 특징으로 한다.Step 1-5 of the present invention classifies "true data" and "false data" into HOG feature values for each angle of the collected positive image and negative image set, training set.

보다 구체적으로 설명하면, 포지티브 이미지와 네거티브 이미지의 HOG 특징에 포함될 수 있는 각도(수학식 1의 'θ')를 소정의 단위 범위로 구획하고, 이에 따라 구분되는 각각의 범위 각도별로 각 이미지의 HOG 특징을 추출하여 모델 학습을 수행하도록 구성된다.More specifically, the angle ('?' In Equation 1) that can be included in the HOG characteristic of the positive image and the negative image is divided into a predetermined unit range, and the HOG And extracts features to perform model learning.

일 실시예로서, 각도의 구분을 20°의 단위 범위로 분할하여 총 18차원의 HOG 특징 벡터를 생성하게 되면, 하나의 포지티브 이미지 또는 네거티브 이미지에 대해 18개의 모델 파라미터를 획득할 수 있게 된다.In one embodiment, by dividing the angle division into 20-degree unit ranges to generate a total 18-dimensional HOG feature vector, 18 model parameters can be obtained for one positive image or negative image.

다른 실시예로서, 각도의 구분을 30°의 단위 범위로 분할하여 총 12차원의 HOG 특징 벡터를 생성하게 되면, 하나의 포지티브 이미지 또는 네거티브 이미지에 대해 12개의 모델 파라미터를 획득할 수 있게 된다.In another embodiment, 12-dimensional HOG feature vectors are generated by dividing the angle division into 30-degree unit ranges, thereby obtaining 12 model parameters for one positive image or negative image.

이와 같이, 모델 파라미터의 개수를 결정하는 각도의 구분은 바람직하게는 10°내지 30°의 단위 범위에서 설정하는 것이 좋다.As described above, it is preferable that the angle division for determining the number of model parameters is set within a unit range of preferably 10 to 30 degrees.

환언하면, 복수 개로 구성되는 범위 각도는 "20°씩 총 18개로 구분되는 범위 각도" 내지 "30°씩 총 12개로 구분되는 범위 각도"로 구성하는 것이 바람직하다.In other words, it is preferable that the range angles composed of a plurality of angles are constituted by "range angles divided by 18 angles in total by 20 angles"

도 5는 도 4의 "004.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례이다.5 is an example of a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "004.jpg model image" of FIG.

도 5의 모델 파라미터는 단위 범위를 20°로 설정할 경우 생성되는 18개의 모델 파라미터 중 0°~ 20°범위 각도에 해당하는 모델 파라미터의 HOG 특징을 그래프로 나타낸 것이다.The model parameters in FIG. 5 are graphs of the HOG characteristics of the model parameters corresponding to the angles in the range of 0 ° to 20 ° among the 18 model parameters generated when the unit range is set to 20 °.

참고로, 도 5 그래프의 "Model X" 및 "Model Y"는 도 4의 "004.jpg 모델 이미지"의 X축 및 Y축에 각각 대한 셀 인덱스를 의미하고, 도 5 그래프의 Z축의 수치(O, 10O, ..., 700)는 "004.jpg 모델 이미지의 "0°~ 20°범위 각도의 HOG 특징 값의 크기를 의미한다.For reference, "Model X" and "Model Y" in the graph of FIG. 5 indicate cell indexes on the X and Y axes of the " 004.jpg model image " O, 10O, ..., 700) means the size of the HOG feature value in the range of 0 ° to 20 ° of the "004.jpg model image".

여기서, 도 5의 모델 파라미터의 HOG 특징은 사람에 대한 것이고, 본 발명은 보행자를 검출하기 위한 알고리즘이므로 도 5의 모델 파라미터는 서포트 벡터 머신(SVM) 학습을 위한 포지티브 샘플(positive sample)이 된다.Here, the HOG characteristic of the model parameter of FIG. 5 is for a person, and since the present invention is an algorithm for detecting a pedestrian, the model parameter of FIG. 5 becomes a positive sample for support vector machine (SVM) learning.

한편, 도 5에서 서포트 벡터 머신(SVM) 학습을 위한 특징의 차원 수는 이미지에 표현된 모델의 폭(width)과 높이(height)의 곱이 된다.Meanwhile, in FIG. 5, the number of dimensions of features for support vector machine (SVM) learning is the product of the width and height of the model expressed in the image.

도 6은 도 4의 "기린3.jpg 모델 이미지"로부터 생성될 수 있는 다수 개의 모델 파라미터 중 하나에 대한 HOG 특징을 그래프 형태로 나타낸 일례이다.Fig. 6 is an example of a graphical representation of HOG features for one of a plurality of model parameters that may be generated from the "giraffe 3.jpg model image" of Fig.

구체적으로, 도 6의 모델 파라미터는 단위 범위를 20°로 설정할 경우 생성되는 18개의 모델 파라미터 중 0°~ 20°범위 각도에 해당하는 모델 파라미터의 HOG 특징을 그래프로 나타낸 것이다.Specifically, the model parameters of FIG. 6 are graphs of the HOG characteristics of the model parameters corresponding to angles ranging from 0 ° to 20 ° among the 18 model parameters generated when the unit range is set to 20 °.

도 6의 모델 파라미터의 HOG 특징은 동물(즉, 비보행자)에 대한 것이고, 본 발명은 보행자를 검출하기 위한 알고리즘이므로 도 6의 모델 파라미터는 네거티브 샘플(nagative sample)이 된다.The HOG feature of the model parameter of Fig. 6 is for an animal (i.e., a non-pedestrian), and since the present invention is an algorithm for detecting a pedestrian, the model parameter of Fig. 6 becomes a negative sample.

이와 같이 단계 1-5(S15)에서 수집된 다수의 이미지(즉, 포지티브 이미지 및 네거티브 이미지) 각각에 대해 전술한 단위 범위에 따른 범위 각도별로 해당 이미지의 HOG 특징을 추출하여 "true data"와 "false data"로 분류된 학습 세트 (training set)를 구성하고, 이를 기초로 서포트 벡터 머신(SVM)을 사용하여 모델 학습을 수행하면 도 7과 같은 학습된 모델 영상(즉, 보행자 모델)을 생성할 수 있게 된다.In this manner, the HOG feature of the image is extracted for each of the plurality of images (i.e., the positive image and the negative image) collected in step 1-5 (step S15) false data ", and the model learning is performed using the support vector machine (SVM) on the basis of the training set, thereby generating a learned model image (ie, a pedestrian model) as shown in FIG. 7 .

결국, 본 발명에 따른 보행자 모델은 각각의 각도를 단위 범위 형태로 독립적으로 구분한 후 각각의 범위 각도별로 HOG 특징을 추출하고, 이렇게 추출된 각도별 HOG 특징을 기반으로 생성됨에 따라, 보행자 모델은 범위 각도별로 HOG 특징에 대한 정보를 갖도록 구성된다.As a result, the pedestrian model according to the present invention independently distinguishes each angle as a unit range form, extracts HOG features for each range angle, and is generated based on the extracted HOG features for each angle, And is configured to have information on the HOG characteristic by range angle.

예컨대, 도 7의 보행자 모델의 경우 단위 범위를 20°로 설정할 경우 생성되는 18개의 모델 파라미터의 HOG 특징 벡터를 이용하여 생성된 것으로서, 도 5에 대한 모델 이미지에서 설정한 셀 인덱스와 동일하게 그 가로축은 20개의 셀로 구성되고, 세로축은 30개의 셀로 구성될 수 있으며, 각 셀은 범위 각도별 HOG 특징에 대한 정보를 갖도록 구성된다. For example, in the case of the pedestrian model of Fig. 7, the HOG feature vector of 18 model parameters generated when the unit range is set to 20 [deg.] Is used, and as in the cell index set in the model image of Fig. 5, Is composed of 20 cells, and the vertical axis can be composed of 30 cells, and each cell is configured to have information on the HOG characteristic by range angle.

보행자 모델을 구성하는 각 셀은 다양한 밝기(명도)로 표현될 수 있는데, 셀의 밝기가 밝을수록 그 각도에 대한 HOG 특징의 값이 큼을 의미하는 것이다.Each cell constituting the pedestrian model can be represented by various brightness (brightness), which means that the brightness of the cell is larger as the value of the HOG characteristic for the angle is larger.

<단계 2-1(S21)>&Lt; Step 2-1 (S21) >

본 발명의 단계 2-1(S21)은 차량에 설치된 카메라를 통해 차량 주변의 영상을 입력받는 단계이다.Step 2-1 (S21) of the present invention is a step of receiving images around the vehicle through a camera installed in the vehicle.

카메라를 통해 촬영되는 차량 주변 영상에는 보행자가 포함되어 있거나 또는 비보행자가 포함되어 있을 수 있는 바, 상기 카메라 촬영 영상은 본 발명의 인식 방법에 따라 해당 영상에 포함된 대상이 보행자인지 아닌지 판별이 필요한 영상(이하, '입력 영상'이라 함)에 해당한다.The vehicle surroundings image taken through the camera may include pedestrians or may include non-pedestrians. According to the recognition method of the present invention, it is necessary to determine whether the object included in the image is a pedestrian or not (Hereinafter referred to as &quot; input image &quot;).

<단계 2-2(S22)>&Lt; Step 2-2 (S22) >

본 발명의 단계 2-2(S22)는 전술한 학습 단계(단계 1)를 통해 생성된 보행자 모델의 특징과 입력 영상에서 추출되는 특징을 이용하여 스코어링(Scoring)을 수행하는 단계로서, 이와 같은 스코어링(Scoring)은 학습된 모델 영상(즉, 보행자 모델)의 HOG 특징과 입력 영상의 HOG 특징이 얼마나 유사한지 판단하기 위한 척도로 사용된다. Step 2-2 (S22) of the present invention is a step of performing scoring using features of the pedestrian model generated through the learning step (Step 1) described above and features extracted from the input image, Scoring is used as a measure to determine how similar the HOG feature of the learned model image (ie, the pedestrian model) is to the HOG feature of the input image.

본 발명의 스코어링은 이의 수행을 위한 판별 기준이 되는 보행자 모델이 다수 개의 범위 각도별로 HOG 특징 정보를 갖도록 구성되는 바, 스코어링 역시 상기 각도의 분류 개수에 따라 다수 개의 스코어 값이 생성되도록 구성되는 것을 특징으로 한다.The scoring of the present invention is configured such that the pedestrian model, which serves as a criterion for performing the scoring, has HOG feature information for each of a plurality of range angles, and the scoring is also configured to generate a plurality of score values according to the number of angles to be classified .

그리고, 본 발명의 스코어링은 가우시안 함수를 기초로 입력 영상에 대한 스코어값을 산출하도록 구성되는 것을 특징으로 한다.The scoring of the present invention is characterized in that it is configured to calculate a score value for an input image based on a Gaussian function.

이하에서는 본 발명의 스코어링 및 이에 따른 보행자 판별 방법에 대해 상세히 설명하도록 한다.Hereinafter, the scoring of the present invention and the pedestrian discriminating method according to the present invention will be described in detail.

스코어링은 보행자 모델의 HOG 특징 정보를 가지고 이를 입력 영상의 HOG 특징에 매칭시켜 유사도가 높을 경우 높은 스코어값을 산출하고, 유사도가 낮을 경우 낮은 스코어값을 산출하도록 구성된다.Scoring has HOG feature information of the pedestrian model and matches it with the HOG feature of the input image to calculate a high score value when the similarity is high and a low score value when the similarity is low.

구체적으로, 스코어값은 소정 크기의 셀을 단위로 하여 입력 영상의 좌측 상단부터 우측 하단까지 상기 셀을 이동시키며 입력 영상의 모든 단위 지점 각각에 대해 스코어값을 계산하도록 구성된다. 참고로, 상기 입력 영상의 '단위 지점'이란 입력 영상에 대해 이동하는 셀의 현재 위치에 대응하는 각각의 단위 지점을 의미한다.Specifically, the score value is configured to move the cell from the upper left corner to the lower right corner of the input image in units of cells of a predetermined size, and to calculate a score value for each unit point of the input image. For reference, 'unit point' of the input image means each unit point corresponding to the current position of the moving cell with respect to the input image.

도 8은 본 발명에 따른 스코어링의 흐름을 보여주는 처리 흐름도이다. 도 8을 참조하여 보다 구체적으로 설명하면, 본 발명의 스코어링은 도 8의 (a)와 같이 셀(10)을 입력 영상(30)의 제1 단위지점에 위치시켜 해당 단위 지점의 스코어값을 산출하고, 이어서 도 8의 (b)와 같이 제1 단위지점에 바로 이웃하는 제2 단위지점에 셀(10)을 이동시켜 상기 제2 단위지점의 스코어값을 산출하고, 이어서 도 8의 (c)와 같이 제2 단위지점에 바로 이웃하는 제3 단위지점에 셀(10)을 이동시켜 상기 제3 단위지점의 스코어값을 산출하는 방식으로, 입력 영상(30)의 모든 지점(즉, 제4 단위지점,..., 제N 단위지점)에 대해 스코어값 계산을 수행하도록 구성된다.8 is a process flow chart showing the flow of scoring according to the present invention. 8, the scoring of the present invention places the cell 10 at the first unit point of the input image 30 as shown in FIG. 8A, and calculates the score value of the corresponding unit point 8 (b), the cell 10 is moved to the second unit point immediately adjacent to the first unit point to calculate the score value of the second unit point. Subsequently, as shown in FIG. 8 (c) And the score of the third unit point is calculated by moving the cell 10 to the third unit point immediately adjacent to the second unit point as shown in FIG. Point, ..., N-th unit point).

여기서, 입력 영상(30)에 대해 셀(10)이 이동할 시, 도 8의 (a),(b),(c)와 같이, 단계 1을 통해 학습된 모델 영상(즉, 도 7과 같은 보행자 모델,20) 역시 셀(10)과 동일하게 이동하여 입력 영상(30)의 각 단위 지점에 대해 상기 보행자 모델(20)의 매칭 및 스코어값 산출이 수행될 수 있도록 구성된다.When the cell 10 moves with respect to the input image 30, as shown in FIGS. 8A, 8B and 8C, the model image learned through the step 1 (that is, Model 20 is also configured to move in the same manner as the cell 10 so that matching and scoring of the pedestrian model 20 can be performed for each unit point of the input image 30.

환언하면, 입력 영상(30)의 각 단위 지점을 기준으로 보행자 모델(20)을 상기 입력 영상에 매칭시켜 나아가며 상기 각 단위 지점별로 스코어값을 산출하도록 구성된다.In other words, the pedestrian model 20 is matched to the input image on the basis of each unit point of the input image 30, and the score value is calculated for each unit point.

참고로, 도 8에 도시된 보행자 모델 영상은 설명의 편의를 위해, 도 7과 같은 형태로 표현되는 학습된 모델 영상이 아닌 실제 모델 이미지로 표시하였으나, 실제 스코어링은 도 7과 같은 학습된 모델 영상을 이용하여 수행된다.For reference, the pedestrian model image shown in FIG. 8 is displayed as an actual model image instead of the learned model image expressed in the form shown in FIG. 7 for the sake of convenience of explanation. Actual scoring, however, .

한편, 입력 영상(30)의 각 단위 지점(제1 단위지점, 제2 단위지점,..., 제N 단위지점)에 대한 스코어값은 다음의 수학식 6에 의해 산출될 수 있다.On the other hand, a score value for each unit point (first unit point, second unit point, ..., N-th unit point) of the input image 30 can be calculated by the following equation (6).

Figure pat00007
Figure pat00007

(수학식 6에서, (In Equation 6,

Figure pat00008
Figure pat00008

score(x,y): 입력 영상의 (x,y)셀 단위지점의 점수,score (x, y): score of the (x, y) cell unit of the input image,

N: 보행자 모델의 범위 각도의 개수,N: Number of range angles of the pedestrian model,

H: 보행자 모델의 높이(Height)H: Height of pedestrian model

W: 보행자 모델의 폭(Width),W: Width of the pedestrian model,

M: 보행자 모델의 HOG 특징값,M: HOG feature value of pedestrian model,

I: 입력 영상의 HOG 특징값I: HOG characteristic value of input image

c: 상수)c: constant)

수학식 6에서 알 수 있듯이, 본 발명의 스코어링은 가우시안 함수를 바탕으로 하여, 입력 영상(30)의 각 셀(도 8의 "10")에 대응하는 단위 지점의 스코어값을 산출하도록 구성되는 것을 특징으로 한다.As can be seen from Equation (6), the scoring of the present invention is configured to calculate the score value of a unit point corresponding to each cell ("10" in FIG. 8) of the input image 30 based on the Gaussian function .

수학식 6 및 이에 따르는 스코어링에 대해 더 설명하면, 보행자 모델의 범위 각도의 개수(N)란, 예컨대 도 5와 같이 각도의 구분을 20°의 단위 범위로 설정할 경우 상기 범위 각도의 개수(N)는 "18"이 되고, 각도의 구분을 30°의 단위 범위로 설정할 경우 상기 범위 각도의 개수(N)는 "12"가 된다.The number N of the range angles of the pedestrian model means the number N of the range angles when the angle division is set to 20 ° as shown in FIG. 5, for example, Quot; 18 ", and when the angle division is set to a unit range of 30 DEG, the number N of the range angles becomes "12 ".

그리고, 보행자 모델의 높이(H)와 폭(W)이란, 보행자 모델 생성을 위한 모델 이미지 및(또는) 이에 따라 생성되는 보행자 모델(도 7의 학습된 모델 영상)을 구성하는 셀 인덱스로 표현된다. 예컨대, "004.jpg 모델 이미지"의 Y축 셀 인덱스 (Model Y)의 최고값 "30"은 보행자 모델의 높이(H)가 되고, X축 셀 인덱스(Model X)의 최고값 "20"은 보행자 모델의 폭(W)이 될 수 있다.The height H and the width W of the pedestrian model are represented by cell indices constituting a model image for generating a pedestrian model and / or a pedestrian model (the learned model image in FIG. 7) generated thereby . For example, the highest value "30" of the Y axis cell index (Model Y) of the "004.jpg model image" is the height H of the pedestrian model and the highest value "20" (W) of the pedestrian model.

한편, 수학식 6은 가우시안 함수를 바탕으로 구성된 것인데, 구체적으로 가우시안 함수의 평균에 해당하는 변수는 "M"으로, 입력은 "I"로 대체하여 구성된다.Meanwhile, Equation (6) is constructed based on the Gaussian function. Specifically, the variable corresponding to the average of the Gaussian functions is replaced by "M" and the input is replaced by "I".

그리고, 수학식 6에서 "σ"는 보행자 모델 HOG의 크기에 따라 변화해야 되므로, "M"의 크기에 비례하여 변화할 수 있도록 상수(C)를 추가하였다.In Equation (6), "? "Has to be changed according to the size of the pedestrian model HOG, and therefore, a constant C is added so that it can be changed in proportion to the magnitude of" M ".

도 9(a) 및 (b)는 본 발명에 따른 스코어 함수의 일례이다. 구체적으로, 도 9(a)는 "M"을 500으로 설정하였을 때 입력 영상의 HOG 특징에 따른 스코어 함수의 변화를 보여 주는 그래프이고, 도 9(b)는 "M"을 50으로 설정하였을 경우 스코어 함수의 변화를 보여 주는 그래프이다. 9 (a) and 9 (b) are examples of the score function according to the present invention. Specifically, FIG. 9A is a graph showing the change of the score function according to the HOG characteristic of the input image when "M" is set to 500. FIG. 9B is a graph showing the change of the score function when "M" It is a graph showing the change of the score function.

도 9(a) 및 (b)의 차이는 모델 크기에 따라서 스코어 획득 범위가 달라지는 것이다. 결국, 이는 모델 이미지의 특징이 클수록 스코어 획득 범위를 상대적으로 넓혀주어 특징이 작은 경우에 비해 더 많은 가중치를 부여하기 위함이다.The difference between Figs. 9 (a) and 9 (b) is that the score acquisition range varies depending on the model size. As a result, the larger the feature of the model image, the wider the acquisition range of the score, so as to give more weight than the smaller feature.

전술한 바와 같이 입력 영상의 각 단위 지점(즉, 제4 단위지점,..., 제N 단위지점)에 대해 수학식 6에 따른 스코어값이 산출되면, 이를 이용하여 해당 입력 영상에 표현된 대상의 보행자 여부를 판단하게 된다.When the score value according to Equation (6) is calculated for each unit point (i.e., the fourth unit point, ..., the N-th unit point) of the input image as described above, It is determined whether or not the user is a pedestrian.

구체적으로, 다음의 조건식 1과 같이 각 단위 지점별로 산출되는 다수 개의 스코어값을 기설정된 임계값과 비교하고, 상기 비교결과 상기 다수 개의 스코어값 중 어느 하나의 스코어값이 상기 임계값보다 더 클 경우 해당 입력 영상을 보행자 영상으로 인식하도록 구성된다.Specifically, if a plurality of score values calculated for each unit point are compared with predetermined threshold values as in the following conditional expression 1, and if the score value of any one of the plurality of score values is greater than the threshold value And recognizes the input image as a pedestrian image.

<조건식 1><Conditional Expression 1>

Figure pat00009
Figure pat00009

반면, 상기 비교결과 상기 다수 개의 스코어값 모두가 상기 임계값보다 작을 경우에는 해당 입력 영상을 비보행자 영상으로 인식하게 된다.On the other hand, if all of the plurality of score values are less than the threshold value as a result of the comparison, the input image is recognized as a non-pedestrian image.

한편, 상기에서 설명 및 도시한 본 발명에 따른 카메라를 이용한 보행자 인식 방법은 컴퓨터와 같은 전기 전자 장치에 이를 실행시키기 위한 프로그램을 기록한 전기 전자 장치로 읽을 수 있는 기록 매체 형태로 제공될 수 있다.Meanwhile, the pedestrian recognition method using the camera according to the present invention can be provided in the form of a recording medium readable by an electric / electronic apparatus in which a program for executing the pedestrian recognition method is stored in an electric / electronic apparatus such as a computer.

일 례로, 상기 기록 매체는 학습 단계(S10)를 통해 획득된 보행자 모델에 대한 정보가 기록되어 있고, 인식 단계(S20)를 구성하는 세부 단계들(S21 내지 S25)을 실행시키기 위한 프로그램이 기록된 전기 전자 장치로 읽을 수 있는 매체로 제공될 수 있다.For example, in the recording medium, information on the pedestrian model obtained through the learning step S10 is recorded, and a program for executing the detailed steps S21 to S25 constituting the recognition step S20 is recorded And may be provided as a medium readable by an electric / electronic device.

또 다른 예로, 상기 기록 매체는 학습 단계(S10)을 구성하는 세부 단계(S12 내지 S15)들을 실행시키기 위한 프로그램이 기록된 전기 전자 장치로 읽을 수 있는 매체와, 인식 단계(S20)를 구성하는 세부 단계들(S21 내지 S25)을 실행시키기 위한 프로그램이 기록된 전기 전자 장치로 읽을 수 있는 매체로 제공될 수 있다.
As another example, the recording medium may include a medium readable by the electric / electronic apparatus in which a program for executing the sub-steps S12 to S15 constituting the learning step S10 is recorded, A program for executing the steps S21 to S25 may be provided as a medium readable by the recorded electric / electronic device.

상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.
While the preferred embodiments of the present invention have been described and illustrated above using specific terms, such terms are used only for the purpose of clarifying the invention, and it is to be understood that the embodiment It will be obvious that various changes and modifications can be made without departing from the spirit and scope of the invention. Such modified embodiments should not be understood individually from the spirit and scope of the present invention, but should be regarded as being within the scope of the claims of the present invention.

10: 셀
20: 학습된 모델 영상(보행자 모델)
30: 입력 영상
10: Cell
20: learned model image (pedestrian model)
30: input image

Claims (13)

카메라를 통해 다수의 영상(이하, '모델 영상' 이라 함)을 수집하는 제1 단계;
HOG(histogram of gradient)를 사용하여 각 모델 영상에 대해 HOG 특징을 추출하는 제2 단계;
상기 제2 단계를 통해 추출된 상기 각 모델 영상의 HOG 특징을 기반으로, 기계 학습 알고리즘 (machine learning algorithm)을 통한 모델 학습을 수행하여 보행자 모델을 생성하는 제3 단계;
보행자 유무의 판별이 필요한 영상(이하, '입력 영상'이라 함)을 입력받는 제4 단계;
상기 보행자 모델의 HOG 특징과 상기 입력 영상에서 추출되는 HOG 특징 간의 유사도에 비례하여 스코어(score)값이 계산되는 스코어링(Scoring)을 수행하는 제5 단계;
상기 제5 단계를 통해 산출되는 스코어값을 기설정된 임계값과 비교하는 제6 단계; 및
상기 제6 단계의 비교결과, 상기 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하는 제7 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
A first step of collecting a plurality of images (hereinafter referred to as 'model images') through a camera;
A second step of extracting HOG features for each model image using HOG (histogram of gradient);
A third step of generating a pedestrian model by performing model learning through a machine learning algorithm based on the HOG feature of each of the model images extracted through the second step;
A fourth step of inputting an image (hereinafter, referred to as an 'input image') requiring identification of the presence or absence of a pedestrian;
A fifth step of performing scoring in which a score value is calculated in proportion to the degree of similarity between the HOG feature of the pedestrian model and the HOG feature extracted from the input image;
A sixth step of comparing a score value calculated through the fifth step with a preset threshold value; And
And a seventh step of recognizing the input image as a pedestrian image when the score value is greater than the threshold value as a result of the comparison in the sixth step.
제1 항에 있어서,
상기 제2 단계는,
상기 모델 영상에 대해 복수 개의 범위 각도로 구분하여, 각 범위 각도별로 HOG 특징을 추출하고,
상기 제3 단계는,
상기 모델 영상의 복수 개의 범위 각도별 HOG 특징을 기반으로 상기 기계 학습 알고리즘을 통한 모델 학습을 수행하여,
상기 보행자 모델은 상기 각 범위 각도별로 HOG 특징에 대한 정보를 갖도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method according to claim 1,
The second step comprises:
The HOG features are extracted for each range angle by dividing the model image into a plurality of range angles,
In the third step,
Model learning is performed through the machine learning algorithm based on HOG features of a plurality of range angles of the model image,
Wherein the pedestrian model is configured to have information on a HOG feature for each range angle.
제2 항에 있어서,
상기 제5 단계는,
상기 입력 영상의 각 단위 지점을 기준으로 상기 보행자 모델을 상기 입력 영상에 매칭시켜 나아가며 상기 각 단위 지점별로 스코어값을 산출하도록 구성되고,
상기 제6 단계는,
상기 각 단위 지점별로 산출되는 다수 개의 스코어값을 기설정된 임계값과 비교하며,
상기 제7 단계는,
상기 제6 단계의 비교결과, 상기 다수 개의 스코어값 중 어느 하나의 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
3. The method of claim 2,
In the fifth step,
The pedestrian model is matched to the input image on the basis of each unit point of the input image, and the score value is calculated for each unit point,
In the sixth step,
A plurality of score values calculated for each unit point are compared with predetermined threshold values,
In the seventh step,
Wherein the input image is recognized as a pedestrian image when the score value of any one of the plurality of score values is greater than the threshold value as a result of the sixth step.
제3 항에 있어서,
상기 제5 단계의 상기 각 단위 지점별로 스코어값은 가우시안 함수를 이용하여 산출되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method of claim 3,
Wherein the score value for each unit point in the fifth step is calculated using a Gaussian function.
제3 항에 있어서,
상기 제5 단계의 상기 각 단위 지점별로 스코어값은 다음 수학식을 이용하여 산출되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
Figure pat00010

(score(x,y): 입력 영상의 (x,y)셀 단위지점의 점수,
Figure pat00011
, c: 상수, N: 보행자 모델의 범위 각도의 개수,
H: 보행자 모델의 높이(Height), W: 보행자 모델의 폭(Width), M: 보행자
모델의 HOG 특징값, I: 입력 영상의 HOG 특징값)
The method of claim 3,
Wherein the score value for each unit point in the fifth step is calculated using the following equation.
Figure pat00010

(score (x, y)): score of the (x, y) cell unit of the input image,
Figure pat00011
, c: constant, N: number of range angles of the pedestrian model,
H: Height of pedestrian model, W: Width of pedestrian model, M: Pedestrian
HOG feature value of model, I: HOG feature value of input image)
제2 항에 있어서,
상기 복수 개의 범위 각도는 "20°씩 총 18개로 구분되는 범위 각도" 내지 "30°씩 총 12개로 구분되는 범위 각도"인 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
3. The method of claim 2,
Wherein the plurality of range angles are "range angles divided by 18 in total by 18 degrees" to "range angles divided by 12 in total by 30 degrees &quot;.
제1 항에 있어서,
상기 제2 단계는, HOG 가중 필터(weight filter)를 사용하여, 상기 모델 영상에 포함되어 있는 배경을 포함한 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method according to claim 1,
Wherein the second step further comprises removing a noise including a background included in the model image using a HOG weight filter.
제1 항에 있어서,
상기 기계 학습 알고리즘은 서포트 벡터 머신(Support Vector Machine: SVM)을 사용하도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
The method according to claim 1,
Wherein the machine learning algorithm is configured to use a support vector machine (SVM).
카메라를 통해 다수의 영상(이하, '모델 영상' 이라 함)을 수집하는 단계; HOG(histogram of gradient)를 사용하여 상기 각 모델 영상에 대해 HOG 특징을 추출하는 단계; 및 추출된 상기 각 모델 영상의 HOG 특징을 기반으로 기계 학습 알고리즘(machine learning algorithm)을 통해 모델 학습을 수행하는 단계;에 의해 획득되는 보행자 모델을 기반으로 하여, 보행자 유무의 판별이 필요한 영상(이하, '입력 영상'이라 함)의 보행자 유무를 인식하는 방법으로서,
상기 입력 영상을 입력받는 제1 단계;
상기 보행자 모델의 HOG 특징과 상기 입력 영상에서 추출되는 HOG 특징 간의 유사도에 비례하여 스코어(score)값이 계산되는 스코어링(Scoring)을 수행하는 제2 단계;
상기 제2 단계를 통해 산출된 스코어값을 기설정된 임계값과 비교하는 제3 단계; 및 상기 제3 단계의 비교결과, 상기 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하고, 작을 경우 비보행자 영상으로 인식하는 제4 단계;를 포함하는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
Collecting a plurality of images (hereinafter referred to as 'model images') through a camera; Extracting a HOG feature for each model image using a histogram of gradient (HOG); And performing model learning through a machine learning algorithm based on the extracted HOG features of the respective model images, based on the pedestrian model obtained by the step (a) , &Quot; input image &quot;) as a pedestrian,
A first step of receiving the input image;
A second step of performing scoring in which a score value is calculated in proportion to the degree of similarity between the HOG feature of the pedestrian model and the HOG feature extracted from the input image;
A third step of comparing the score value calculated through the second step with a preset threshold value; And a fourth step of recognizing the input image as a pedestrian image when the score value is greater than the threshold value as a result of the comparison in the third step and recognizing the input image as a non-pedestrian image when the score value is smaller than the threshold value, A Pedestrian Recognition Method Using.
제9 항에 있어서,
상기 보행자 모델은,
상기 모델 영상에 대해 복수 개의 범위 각도로 구분하여 각 범위 각도별로 HOG 특징을 추출하고, 상기 모델 영상의 복수 개의 범위 각도별 HOG 특징을 기반으로 상기 기계 학습 알고리즘을 통한 모델 학습을 수행하여 생성됨으로써, 상기 보행자 모델은 상기 각 범위 각도별로 HOG 특징에 대한 정보를 갖도록 구성된 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
10. The method of claim 9,
In the pedestrian model,
Extracting HOG features for each range angle by dividing the model image into a plurality of range angles and performing model learning through the machine learning algorithm based on HOG features for each of a plurality of range angles of the model image, Wherein the pedestrian model is configured to have information on a HOG characteristic for each of the range angles.
제10 항에 있어서,
상기 제2 단계는,
상기 입력 영상의 각 단위 지점을 기준으로 상기 보행자 모델을 상기 입력 영상에 매칭시켜 나아가며 상기 각 단위 지점별로 스코어값을 산출하도록 구성되고,
상기 제3 단계는,
상기 각 단위 지점별로 산출되는 다수 개의 스코어값을 기설정된 임계값과 비교하며,
상기 제4 단계는,
상기 제3 단계의 비교결과, 상기 다수 개의 스코어값 중 어느 하나의 스코어값이 상기 임계값보다 더 클 경우 상기 입력 영상을 보행자 영상으로 인식하도록 구성되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
11. The method of claim 10,
The second step comprises:
The pedestrian model is matched to the input image on the basis of each unit point of the input image, and the score value is calculated for each unit point,
In the third step,
A plurality of score values calculated for each unit point are compared with predetermined threshold values,
In the fourth step,
Wherein the input image is recognized as a pedestrian image when the score value of any one of the plurality of score values is greater than the threshold value as a result of the third step.
제11 항에 있어서,
상기 제2 단계의 상기 각 단위 지점별로 스코어값은 다음 수학식을 이용하여 산출되는 것을 특징으로 하는 카메라를 이용한 보행자 인식 방법.
Figure pat00012

(score(x,y): 입력 영상의 (x,y)셀 단위지점의 점수,
Figure pat00013
, c: 상수, N: 보행자 모델의 범위 각도의 개수,
H: 보행자 모델의 높이(Height), W: 보행자 모델의 폭(Width), M: 보행자
모델의 HOG 특징값, I: 입력 영상의 HOG 특징값)
12. The method of claim 11,
Wherein the score value for each unit point in the second step is calculated using the following equation.
Figure pat00012

(score (x, y)): score of the (x, y) cell unit of the input image,
Figure pat00013
, c: constant, N: number of range angles of the pedestrian model,
H: Height of pedestrian model, W: Width of pedestrian model, M: Pedestrian
HOG feature value of model, I: HOG feature value of input image)
전기 전자 장치에 제1 항 내지 제11 항 중에서 선택된 어느 하나의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.

A computer-readable medium having recorded thereon a program for executing any one of the methods of any one of claims 1 to 11 in an electric / electronic apparatus.

KR1020140194613A 2014-12-31 2014-12-31 Method and recording medium for pedestrian recognition using camera KR20160081190A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140194613A KR20160081190A (en) 2014-12-31 2014-12-31 Method and recording medium for pedestrian recognition using camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140194613A KR20160081190A (en) 2014-12-31 2014-12-31 Method and recording medium for pedestrian recognition using camera

Publications (1)

Publication Number Publication Date
KR20160081190A true KR20160081190A (en) 2016-07-08

Family

ID=56503459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140194613A KR20160081190A (en) 2014-12-31 2014-12-31 Method and recording medium for pedestrian recognition using camera

Country Status (1)

Country Link
KR (1) KR20160081190A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070258A (en) * 2016-12-16 2018-06-26 기아자동차주식회사 Method for detecting and learning of objects simultaneous during vehicle driving
KR20180135589A (en) * 2017-06-13 2018-12-21 현대자동차주식회사 Apparatus for controlling power sliding door of vehicle and method thereof
KR101999084B1 (en) * 2019-02-15 2019-07-11 주식회사 넥스파시스템 Determining small car and recognizing vehicle number system using vehicle feature vectors classification
KR102052110B1 (en) * 2018-05-24 2019-12-04 군산대학교 산학협력단 A video surveillance apparatus for detecting agro-livestock theft based on deep learning and method thereof
KR20220106397A (en) * 2021-01-22 2022-07-29 박지환 Method and device for machine learning based livestock weight prediction

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070258A (en) * 2016-12-16 2018-06-26 기아자동차주식회사 Method for detecting and learning of objects simultaneous during vehicle driving
KR20180135589A (en) * 2017-06-13 2018-12-21 현대자동차주식회사 Apparatus for controlling power sliding door of vehicle and method thereof
KR102052110B1 (en) * 2018-05-24 2019-12-04 군산대학교 산학협력단 A video surveillance apparatus for detecting agro-livestock theft based on deep learning and method thereof
KR101999084B1 (en) * 2019-02-15 2019-07-11 주식회사 넥스파시스템 Determining small car and recognizing vehicle number system using vehicle feature vectors classification
KR20220106397A (en) * 2021-01-22 2022-07-29 박지환 Method and device for machine learning based livestock weight prediction

Similar Documents

Publication Publication Date Title
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
US8634593B2 (en) Pixel-based texture-less clear path detection
Keller et al. The benefits of dense stereo for pedestrian detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8890951B2 (en) Clear path detection with patch smoothing approach
US8699754B2 (en) Clear path detection through road modeling
US8611585B2 (en) Clear path detection using patch approach
US8917904B2 (en) Vehicle clear path detection
US8670592B2 (en) Clear path detection using segmentation-based method
KR101982298B1 (en) Method and apparatus for detecting sudden moving objecj appearance at vehicle
US9626599B2 (en) Reconfigurable clear path detection system
US10867403B2 (en) Vehicle external recognition apparatus
KR102044193B1 (en) System and Method for alarming collision of vehicle with support vector machine
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN104573646A (en) Detection method and system, based on laser radar and binocular camera, for pedestrian in front of vehicle
KR20160081190A (en) Method and recording medium for pedestrian recognition using camera
García-Garrido et al. Robust traffic signs detection by means of vision and V2I communications
WO2014181386A1 (en) Vehicle assessment device
KR20210097782A (en) Indicator light detection method, apparatus, device and computer-readable recording medium
KR101687094B1 (en) Apparatus for recognizing traffic sign and method thereof
CN112699748B (en) Human-vehicle distance estimation method based on YOLO and RGB image
Sirbu et al. Real-time line matching based speed bump detection algorithm
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
Hariyono et al. Estimation of collision risk for improving driver's safety

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application