KR101194152B1 - METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION - Google Patents

METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION Download PDF

Info

Publication number
KR101194152B1
KR101194152B1 KR1020100096774A KR20100096774A KR101194152B1 KR 101194152 B1 KR101194152 B1 KR 101194152B1 KR 1020100096774 A KR1020100096774 A KR 1020100096774A KR 20100096774 A KR20100096774 A KR 20100096774A KR 101194152 B1 KR101194152 B1 KR 101194152B1
Authority
KR
South Korea
Prior art keywords
pedestrian
image
collision
value
axis coordinate
Prior art date
Application number
KR1020100096774A
Other languages
Korean (ko)
Other versions
KR20120035325A (en
Inventor
이윤희
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020100096774A priority Critical patent/KR101194152B1/en
Publication of KR20120035325A publication Critical patent/KR20120035325A/en
Application granted granted Critical
Publication of KR101194152B1 publication Critical patent/KR101194152B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound

Abstract

본 발명은 보행자의 인식과 충돌 회피를 위한 기술에 관한 것이다. 더욱 상세하게는, 초음파센서와 카메라를 이용하여 보행자를 인식하고 인식된 보행자와의 충돌을 회피하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a technique for pedestrian recognition and collision avoidance. More particularly, the present invention relates to a method and a system for recognizing a pedestrian using an ultrasonic sensor and a camera and for avoiding a collision with the recognized pedestrian.

Description

보행자 충돌 회피 방법 및 그 시스템{METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION}Pedestrian collision avoidance method and its system {METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION}

본 발명은 보행자의 인식과 충돌 회피를 위한 기술에 관한 것이다. 더욱 상세하게는, 초음파센서와 카메라를 이용하여 보행자를 인식하고 인식된 보행자와의 충돌을 회피하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a technique for pedestrian recognition and collision avoidance. More particularly, the present invention relates to a method and a system for recognizing a pedestrian using an ultrasonic sensor and a camera and for avoiding a collision with the recognized pedestrian.

종래의 보행자 인식 기술에서는 카메라를 이용하여 보행자를 인식하게 되는데, 운전자가 다른 곳을 응시하고 있을 경우 갑자기 나타나는 보행자에 대해서 인지하지 못하게 되어 사고가 발생할 수 있는 문제점이 있다.In the conventional pedestrian recognition technology, a pedestrian is recognized using a camera. When a driver stares at another place, there is a problem that an accident may occur because the driver may not recognize the sudden pedestrian.

이러한 배경에서, 본 발명의 목적은, 운전자가 다른 곳을 응시하고 있을 경우에도, 갑자기 나타나는 보행자를 인식하여 차량과 보행자 간의 충돌을 방지할 수 있도록 해주는 데 있다. In this background, an object of the present invention is to recognize a pedestrian suddenly appearing even when the driver is staring at another place, thereby preventing collision between the vehicle and the pedestrian.

전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 초음파센서를 통해 거리 값에 대한 정보를 파악하고, 상기 카메라의 영상 내에서, 상기 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 상기 특정 y축 좌표값을 기준으로 상기 영상에서의 관심영역을 설정하고, 상기 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 보행자 인식부; 상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 충돌 판단부; 및 상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 제동 제어부를 포함하는 보행자 충돌 회피 시스템을 제공한다. In order to achieve the above object, in one aspect, the present invention, by identifying the information on the distance value through the ultrasonic sensor, in the image of the camera, the specific y of the image points representing the actual points apart by the distance value A pedestrian recognition unit configured to obtain an axis coordinate value, set a region of interest in the image based on the specific y-axis coordinate value, and recognize a pedestrian based on a vertical edge extracted in the set region of interest; A collision determination unit that determines whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And a braking control unit controlling the braking device to brake the vehicle when it is determined that there is a possibility of collision with the recognized pedestrian.

다른 측면에서, 본 발명은, 초음파 센서로부터 초음파데이터를 입력받고 카메라로부터 영상을 입력받는 단계; 상기 초음파데이터를 통해 거리 값에 대한 정보를 파악하고, 상기 카메라의 영상 내에서, 상기 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 상기 특정 y축 좌표값을 기준으로 상기 영상에서의 관심영역을 설정하고, 상기 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 단계; 상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 단계; 및 상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 단계를 포함하는 보행자 충돌 회피 시스템의 보행자 충돌 회피 방법을 제공한다. In another aspect, the present invention, the step of receiving the ultrasonic data from the ultrasonic sensor and an image from the camera; The information about the distance value is determined through the ultrasound data, and specific y-axis coordinate values of image points representing actual points separated by the distance value are obtained within the image of the camera, and based on the specific y-axis coordinate value Setting a region of interest in the image and recognizing a pedestrian based on a vertical edge extracted in the set region of interest; Determining whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And if it is determined that there is a possibility of collision with the recognized pedestrian provides a pedestrian collision avoidance method of the pedestrian collision avoidance system comprising the step of controlling the braking device to brake the vehicle.

이상에서 설명한 바와 같이 본 발명에 의하면, 운전자가 다른 곳을 응시하고 있을 경우에도, 갑자기 나타나는 보행자를 인식하여 차량과 보행자 간의 충돌을 방지할 수 있도록 해주는 효과가 있다.As described above, according to the present invention, even when the driver is staring at another place, there is an effect of preventing the collision between the vehicle and the pedestrian by recognizing the pedestrian suddenly appearing.

도 1은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템에서 보행자 충돌 회피를 위한 환경을 예시적으로 나타낸 도면이다.
도 3은 초음파센서를 통해 파악된 거리 값으로부터 영상에서의 특정 y축 좌표값을 구하기 위하여, 영상에서의 영상 좌표를 그라운드(Ground)에서의 실제 좌표로 변환하는 과정을 나타낸 도면이다.
도 4는 초음파센서를 통해 파악된 거리 값으로부터 영상에서의 특정 y축 좌표값을 구하고, 구해진 특정 y축 좌표값과 이를 이용하여 설정된 관심영역을 카메라의 영상에 표시한 도면이다.
도 5는 세로 에지를 추출한 결과를 나타낸 도면이다.
도 6은 세로 에지의 합을 구한 것을 나타낸 도면이다.
도 7은 세로 에지에서 피크 값을 구하고 이를 토대로 생성된 보행자 후보군을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 보행자 충돌 회피 방법에 대한 흐름도이다. 1 is a block diagram of a pedestrian collision avoidance system according to an embodiment of the present invention.
2 is a diagram illustrating an environment for pedestrian collision avoidance in the pedestrian collision avoidance system according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a process of converting image coordinates in an image into actual coordinates in the ground in order to obtain a specific y-axis coordinate value in the image from the distance value detected by the ultrasonic sensor.
4 is a view showing a specific y-axis coordinate value in an image from a distance value detected by an ultrasonic sensor, and displaying the obtained specific y-axis coordinate value and a region of interest set using the same on the image of the camera.
5 is a diagram illustrating a result of extracting a vertical edge.
6 shows the sum of the vertical edges.
7 is a diagram illustrating a pedestrian candidate group generated based on obtaining a peak value at a vertical edge.
8 is a flowchart illustrating a pedestrian collision avoidance method according to an embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."

도 1은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)에 대한 블록도이다. 1 is a block diagram of a pedestrian collision avoidance system 100 according to an embodiment of the present invention.

도 1은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)은, 초음파센서(101)와 카메라(102)를 이용하여, 보행자 충돌 회피 시스템(100)이 탑재된 차량의 전방 또는 후방에 있는 물체를 인식하고 인식된 물체가 보행자인지를 구별하여 보행자를 인식하고, 차량이 인식된 보행자와의 충돌을 회피하도록 해주는 시스템이다. 1 is a pedestrian collision avoidance system 100 according to an embodiment of the present invention, by using the ultrasonic sensor 101 and the camera 102, the front or rear of the vehicle on which the pedestrian collision avoidance system 100 is mounted. It is a system that recognizes pedestrians and recognizes pedestrians by distinguishing whether a recognized object is a pedestrian and avoids a collision with a recognized pedestrian.

이러한 보행자 충돌 회피 시스템(100)은, 초음파센서(101)와 카메라(102)를 이용하여 보행자를 인식하는 보행자 인식부(110), 인식된 보행자와 해당 차량 간의 충돌 가능성을 판단하는 충돌 판단부(120), 인식된 보행자와 해당 차량 간에 충돌 가능성이 있다고 판단되어 해당 차량을 제동시키기 위하여 제어하는 제동 제어부(130) 등을 포함한다. The pedestrian collision avoidance system 100 may include a pedestrian recognition unit 110 that recognizes a pedestrian using an ultrasonic sensor 101 and a camera 102, and a collision determination unit that determines a possibility of collision between the recognized pedestrian and the corresponding vehicle ( 120, a braking control unit 130, which is determined to have a possibility of collision between the recognized pedestrian and the vehicle, and controls to brake the vehicle.

보행자 충돌 회피를 위한 환경을 예시적으로 나타낸 도 2를 참조하면, 전술한 보행자 인식부(110)는, 초음파센서(101)를 통해, 보행자 충돌 회피 시스템(100)이 탑재된 차량(200)의 전방 또는 후방에 있는 물체와 떨어진 거리 값에 대한 정보를 파악하고, 카메라(102)의 영상 내에서, 상기 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 특정 y축 좌표값을 기준으로 영상에서의 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역 내에서 세로 에지를 추출하고 추출된 세로 에지에 근거하여 보행자를 인식한다. Referring to FIG. 2, which illustrates an environment for avoiding pedestrian collision, the pedestrian recognition unit 110 described above uses an ultrasonic sensor 101 to determine a vehicle 200 on which the pedestrian collision avoidance system 100 is mounted. Grasp information about a distance value away from an object in front or behind, obtain a specific y-axis coordinate value of image points representing actual points separated by the distance value in the image of the camera 102, and obtain a specific y-axis coordinate A region of interest (ROI) in the image is set based on the value, the vertical edge is extracted from the set region of interest, and the pedestrian is recognized based on the extracted vertical edge.

차량(200)의 전방 또는 후방에 있는 물체는, 보행자일 수도 있고 보행자가 아닌 물체일 수도 있으며, 물체가 보행자인지 아닌지를 구별하는 방법은 뒤에서 상세하게 설명한다. 또한 여기서 물체는 초음파센서(101)를 통해 감지되는 물체들(210, 220) 중 가장 가까운 곳에 있는 물체(210)일 수 있다.The object in front of or behind the vehicle 200 may be a pedestrian or an object other than a pedestrian, and a method of distinguishing whether the object is a pedestrian or not will be described in detail later. In addition, the object may be the object 210 located closest to the objects 210 and 220 detected by the ultrasonic sensor 101.

위에서 언급한 카메라(102)는 FOV(Field Of View)가 대략 150°정도일 수 있는 피쉬-아이 렌즈(Fish-Eye Lens)라고도 하는 와이드-앵글 렌즈(Wide-Angle Lens)를 이용하기 때문에, 촬영한 영상에서 왜곡이 발생할 수도 있다. Since the camera 102 mentioned above uses a wide-angle lens, also known as a fish-eye lens, which has a field of view (FOV) of about 150 °, Distortion may occur in the image.

따라서, 보행자 인식부(110)는 카메라(102)를 통해 촬영된 영상을 그대로 이용하지 않고, 촬영된 영상에 대한 왜곡 보정을 하여 얻어진 영상을 보행자 인식에 이용할 수 있다. 이때, 보행자 인식부(110)는, 일 예로서, 카메라 캘리브레이션(Camera Calibration) 기법 등을 이용하여 영상에 대한 왜곡 보정을 할 수 있다. Therefore, the pedestrian recognition unit 110 may use the image obtained by correcting the distortion of the captured image without using the image photographed by the camera 102 as it is for pedestrian recognition. In this case, the pedestrian recognition unit 110 may, for example, correct distortion of an image by using a camera calibration technique.

전술한 바와 같이, 보행자 인식을 더욱 정확하게 하기 위해서는, 초음파센서(101)를 통해 파악된 물체와 떨어진 거리 값을 이용하여 카메라(102)의 영상에서의 상기 물체가 있는 위치를 알아내야 하며, 이를 위해서, 영상좌표와 실제좌표 간의 변환 기술이 필요하다. As described above, in order to more accurately recognize the pedestrian, the position of the object in the image of the camera 102 should be determined using a distance value away from the object detected by the ultrasonic sensor 101. Therefore, a conversion technique between image coordinates and actual coordinates is required.

도 3은, 초음파센서(101)를 통해 파악된 거리 값(Vy)으로부터 영상에서의 특정 y축 좌표값(y)을 구하기 위하여, 영상에서의 영상 좌표와 그라운드(Ground)에서의 실제 좌표를 변환하는 과정을 나타낸 도면이다. FIG. 3 illustrates image coordinates in the image and actual coordinates in the ground in order to obtain a specific y-axis coordinate value y in the image from the distance value V y obtained through the ultrasonic sensor 101. A diagram illustrating a conversion process.

그라운드(Ground)에서의 실제 좌표와 영상에서의 영상 좌표 간의 변환 과정에서, 차량(200)의 전방 또는 후방에 있는 물체(210)가 있는 실제의 P`지점의 실제 좌표 (Vx, Vy, Vz)를 영상에서의 P지점의 영상 좌표 (x, y, z)로 변환하기 위하여, 하기 수학식 1을 이용할 수 있다. In the process of converting between the actual coordinates in the ground and the image coordinates in the image, the actual coordinates (Vx, Vy, Vz) of the actual point P` with the object 210 in front of or behind the vehicle 200. Equation 1 may be used to convert P to an image coordinate (x, y, z) of P point in the image.

Figure 112010064249594-pat00001
Figure 112010064249594-pat00001

상기 수학식 1를 참조하면, 초음파센서(101)에 대하여, 물체(210)가 있는 실제의 P`지점의 실제 좌표는 (Vx, Vy, Vz)일 때, Vy는 초음파센서(101)로부터 물체(210)까지의 거리 값이며, 이는 초음파센서(101)를 통해 측정될 수 있는 정보이기 때문에, Vx, Vz, x를 특정 상수 값(예: 0, 1)이라고 설정한다면, 카메라(102)의 영상 내에서, 상기 거리 값 Vy만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값인 y를 구해낼 수 있다. Referring to Equation 1, when the actual coordinates of the actual P` point where the object 210 is located with respect to the ultrasonic sensor 101 is (V x , V y , V z ), Vy is the ultrasonic sensor 101. ) Is a distance value from the object 210, which is information that can be measured through the ultrasonic sensor 101, so that if V x , V z , x is set to a certain constant value (for example, 0, 1), In an image of the camera 102, y, which is a specific y-axis coordinate value of image points representing actual points separated by the distance value V y , may be obtained.

이렇게 구해진 특정 y축 좌표값인 y를 이용하여 영상에서의 관심설정을 설정한 것을 나타낸 것이 도 4이다. 4 shows that the interest setting in the image is set using the specific y-axis coordinate value thus obtained.

도 4를 참조하면, 전술한 보행자 인식부(110)는, 음파센서(101)를 통해 전방 또는 후방에 있는 물체(210)와 떨어진 거리 값 Vy만큼 떨어진 실제지점(P'지점)들을 나타내는 영상지점(P지점)들의 영상 내에서의 특정 y축 좌표값을 갖는 제1선분(410)과, 특정 y축 좌표값보다 일정 값(H)만큼 큰 y축 좌표값을 제2선분(420) 사이의 영상을 관심영역으로 설정할 수 있다. Referring to FIG. 4, the above-described pedestrian recognition unit 110 displays images of actual points (P ′ points) separated by a distance value V y away from an object 210 in front or rearward through the sound wave sensor 101. Between the first line segment 410 having a specific y-axis coordinate value in the image of the points P and the second line segment 420, the y-axis coordinate value larger by a predetermined value (H) than the specific y-axis coordinate value. Can be set as the ROI.

위에서 언급한 일정 값(H)은, 미리 설정된 정보로서, 보행자 신장(키)으로 간주할 수 있는 실제의 값을 해당 영상에서의 값으로 대응시킨 값이다. 예를 들어, 보행자 신장(키)으로 간주할 수 있는 실제의 값이 2m로 가정한다면, 위에서 언급한 일정 값은 2m를 해당 영상에서의 값으로 대응시킨 값이 된다. The above-mentioned constant value H is preset value, and is a value obtained by mapping an actual value which can be regarded as a pedestrian height (key) to a value in a corresponding video. For example, if it is assumed that the actual value that can be regarded as a pedestrian height (key) is 2m, the above-mentioned constant value is a value obtained by mapping 2m to a value in the corresponding image.

전술한 보행자 인식부(110)는, 영상에서 설정된 관심영역 내에서 보행자 인식을 위하여, 여러 가지의 에지 추출 방식을 이용하여 세로 에지를 추출하게 되는데, 이렇게 세로 에지를 추출한 결과는 도 5를 통해 확인할 수 있으며, 이러한 세로 에지를 합한 결과는 도 6을 통해 확인할 수 있다. The above-described pedestrian recognition unit 110 extracts vertical edges using various edge extraction methods for pedestrian recognition within a region of interest set in the image. The result of extracting the vertical edges is confirmed through FIG. 5. The sum of these vertical edges can be seen through FIG. 6.

전술한 보행자 인식부(110)는, 영상에서 설정된 관심영역 내에서, 세로 에지를 추출하고 추출된 세로 에지에서 피크(Peak) 값을 구하고 구해진 피크 값에 기초하여 보행자 후보군의 정보를 생성하고, 생성된 정보로부터 보행자 후보군의 특징데이터를 추출하며, 추출된 특징데이터를 분석하여 보행자 존재 여부와 보행자 구별을 통해 보행자로 구별된 물체를 보행자로서 인식할 수 있다. The above-described pedestrian recognition unit 110 extracts a vertical edge, obtains a peak value from the extracted vertical edge, and generates information on a candidate group of pedestrians based on the obtained peak value within the ROI set in the image. Feature data of the pedestrian candidate group may be extracted from the extracted information, and the extracted feature data may be analyzed to recognize an object identified as a pedestrian as a pedestrian through the presence or absence of a pedestrian.

여기서, 보행자 후보군의 정보 생성시, 전술한 보행자 인식부(110)는, 영상에서 설정된 관심영역 내에서, 추출된 세로 에지에서 피크 값을 구하고 구해진 피크 값 사이의 부분을 선택하고, 선택된 부분의 넓이 또는 너비가 기준 넓이 범위(이는 보행자의 넓이로 간주할 수 있는 설정 범위) 또는 기준 너비 범위(이는 보행자의 너비로 간주할 수 있는 설정 범위)에 해당하는 부분만을 보행자 후보군으로 선택하여 보행자 후보군의 정보를 줄여서 생성할 수 있다. 이렇게 생성된 보행자 후보군은 도 7에서 확인할 수 있다. Here, when generating the information on the pedestrian candidate group, the aforementioned pedestrian recognition unit 110 obtains a peak value at the extracted vertical edge and selects a portion between the obtained peak values within the region of interest set in the image, and selects a width of the selected portion. Alternatively, the pedestrian candidate group information is selected by selecting only those portions whose width corresponds to the reference width range (which can be regarded as the pedestrian's width) or the reference width range (which can be regarded as the pedestrian's width). Can be generated by reducing The generated pedestrian candidate group can be confirmed in FIG. 7.

전술한 바에 따라, 보행자 인식이 완료되면, 전술한 충돌 판단부(120)는, 보행자 인식부(110)에 의해 인식된 보행자와의 거리 정보(이는 초음파센서(101)를 얻어진 거리 값일 수 있음) 및 차량 상태 정보(예: 차량 속도, 차량 진행 방향 등) 중 하나 이상에 근거하여 인식된 보행자와의 충돌 가능성이 있는지를 판단한다. As described above, when the pedestrian recognition is completed, the aforementioned collision determination unit 120, distance information with the pedestrian recognized by the pedestrian recognition unit 110 (this may be a distance value obtained by the ultrasonic sensor 101). And whether there is a possibility of collision with the recognized pedestrian based on at least one of vehicle state information (eg, vehicle speed, vehicle traveling direction, etc.).

전술한 제동 제어부(130)는, 충돌 판단부(120)에 통해서 보행자와의 충돌 가능성이 있다고 판단되면, 해당 차량의 제동장치로 하여금 차량을 제동시키도록 제동명령을 내리는 등의 제어를 수행하는 제동 제어부(130) 등을 포함한다. If the above-described braking control unit 130 determines that there is a possibility of collision with the pedestrian through the collision determination unit 120, the braking control unit performs a control such as giving a braking command to brake the vehicle by the braking device of the vehicle. The control unit 130 and the like.

본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)의 적용 예를 살펴보면, 후진 중 운전자가 다른 곳을 응시하고 있을 경우 갑자기 나타나는 보행자에 대해서 인지하지 못하게 되면 사고가 발생할 수 있는데, 이러한 상황에서, 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)은, 후진 중에, 운전자가 혹시 보지 못하는 보행자를 인식하여 차량을 멈추게 하여 보행자와 차량 간의 충돌을 방지하게 해 줄 수 있다. Looking at the application example of the pedestrian collision avoidance system 100 according to an embodiment of the present invention, if the driver is staring at another place while reversing, accidents may occur if the driver does not recognize the sudden appearance of the pedestrian. The pedestrian collision avoidance system 100 according to an embodiment of the present invention may prevent a collision between the pedestrian and the vehicle by stopping the vehicle by recognizing a pedestrian that the driver may not see while reversing.

도 8은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)의 보행자 충돌 회피 방법에 대한 흐름도이다.8 is a flowchart illustrating a pedestrian collision avoidance method of the pedestrian collision avoidance system 100 according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일 실시예에 따른 보행자 충돌 회피 방법은, 초음파센서(101)로부터 초음파데이터를 입력받고 카메라(102)로부터 영상을 입력받는 단계(S800)와, 초음파데이터를 통해 거리 값에 대한 정보를 파악하고, 카메라(102)의 영상 내에서, 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 특정 y축 좌표값을 기준으로 영상에서의 관심영역을 설정하고, 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 단계(S802)와, 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 단계(S804)와, 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 단계(S806) 등을 포함한다. Referring to FIG. 8, in the pedestrian collision avoidance method according to an exemplary embodiment of the present disclosure, the ultrasound data is input from the ultrasonic sensor 101 and the image is received from the camera 102 (S800). Determines information about the distance value, obtains specific y-axis coordinate values of image points representing actual points separated by the distance value in the image of the camera 102, and the region of interest in the image based on the specific y-axis coordinate value. Step S802 and recognizing the pedestrian based on the extracted vertical edge within the set ROI, and possibility of collision with the recognized pedestrian based on at least one of distance information and vehicle state information of the recognized pedestrian. Determining whether there is an error (S804), and if it is determined that there is a possibility of collision with the recognized pedestrian, controlling the braking device to brake the vehicle (S806) or the like. The.

이상에서 설명한 바와 같이 본 발명에 의하면, 운전자가 다른 곳을 응시하고 있을 경우에도, 갑자기 나타나는 보행자를 인식하여 차량과 보행자 간의 충돌을 방지할 수 있도록 해주는 효과가 있다.As described above, according to the present invention, even when the driver is staring at another place, there is an effect of preventing the collision between the vehicle and the pedestrian by recognizing the pedestrian suddenly appearing.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (5)

초음파센서를 통해 물체까지의 거리 값에 대한 정보를 파악하고, 상기 초음파센서로부터 측정된 상기 물체까지의 거리 값을 원소로 포함하는 실제 좌표행렬과, 미리 설정된 좌표 간 변환 행렬의 역 행렬을 행렬 곱 연산 처리를 수행하여, 카메라 영상 내에서 상기 물체가 표시된 영상지점들의 y축 좌표값을 구하며, 상기 y축 좌표값을 기준으로 상기 영상에서의 관심영역을 설정하고, 상기 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 보행자 인식부;
상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 충돌 판단부; 및
상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 제동 제어부를 포함하는 보행자 충돌 회피 시스템.Acquire information about the distance value to the object through the ultrasonic sensor, and matrix matrix multiplying the inverse matrix of the conversion matrix between the coordinates and the actual coordinate matrix containing the distance value to the object measured from the ultrasonic sensor as an element Performs arithmetic processing to obtain y-axis coordinate values of image points on which the object is displayed in the camera image, sets an ROI in the image based on the y-axis coordinate value, and extracts the extracted ROI from the set ROI. A pedestrian recognition unit recognizing a pedestrian based on a vertical edge;
A collision determination unit that determines whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And
And a braking control unit for controlling the braking device to brake the vehicle when it is determined that there is a possibility of collision with the recognized pedestrian. 제1항에 있어서,
상기 보행자 인식부는,
상기 y축 좌표값 중 특정 y축 좌표값을 갖는 제1선분과, 상기 특정 y축 좌표값보다 일정 값만큼 큰 y축 좌표값을 갖는 제2선분 사이의 영상을 상기 관심영역으로 설정하는 것을 특징으로 하는 보행자 충돌 회피 시스템. The method of claim 1,
The pedestrian recognition unit,
And setting an image between the first line segment having a specific y-axis coordinate value among the y-axis coordinate values and the second line segment having a y-axis coordinate value larger by a predetermined value than the specific y-axis coordinate value as the ROI. Pedestrian collision avoidance system. 제1항에 있어서,
상기 보행자 인식부는,
상기 설정된 관심영역 내에서, 상기 추출된 세로 에지에서 피크 값을 구하고 상기 구해진 피크 값에 기초하여 보행자 후보군의 정보를 생성하고, 상기 생성된 정보로부터 상기 보행자 후보군의 특징데이터를 추출하며, 상기 추출된 특징데이터를 분석하여 보행자 존재 여부와 보행자 구별을 통해 상기 보행자를 인식하는 것을 특징으로 하는 보행자 충돌 회피 시스템. The method of claim 1,
The pedestrian recognition unit,
Within the set region of interest, a peak value is obtained at the extracted vertical edge, the information on the pedestrian candidate group is generated based on the obtained peak value, and the feature data of the pedestrian candidate group is extracted from the generated information. Pedestrian collision avoidance system, characterized in that for analyzing the feature data to recognize the pedestrian by distinguishing between the presence and the pedestrian. 제3항에 있어서,
상기 보행자 인식부는,
상기 설정된 관심영역 내에서, 상기 추출된 세로 에지에서 피크 값을 구하고 상기 구해진 피크 값 사이의 부분을 선택하고, 상기 선택된 부분의 넓이 또는 너비가 기준 넓이 범위 또는 기준 너비 범위에 해당하는 부분만을 상기 보행자 후보군으로 선택하여 상기 보행자 후보군의 정보를 줄여서 생성하는 것을 특징으로 하는 보행자 충돌 회피 시스템. The method of claim 3,
The pedestrian recognition unit,
Within the set region of interest, a peak value is obtained at the extracted vertical edge and a portion between the obtained peak values is selected, and only the portion whose width or width of the selected portion corresponds to a reference width range or a reference width range is the pedestrian. Selecting a candidate group to reduce the information of the pedestrian candidate group generated by the collision avoidance system. 초음파 센서로부터 초음파데이터를 입력받고 카메라로부터 영상을 입력받는 단계;
입력된 상기 초음파 데이터를 토대로 물체까지의 거리 값에 대한 정보를 파악하고, 상기 물체까지의 거리 값을 원소로 포함하는 실제 좌표행렬과, 미리 설정된 좌표 간 변환 행렬의 역 행렬을 행렬 곱 연산 처리를 수행하여, 상기 카메라로부터 입력된 영상 내에서 상기 물체가 표시된 영상지점들의 y축 좌표값을 구하며, 상기 y축 좌표값을 기준으로 상기 영상에서의 관심영역을 설정하고, 상기 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 단계;
상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 단계; 및
상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 단계를 포함하는 보행자 충돌 회피 시스템의 보행자 충돌 회피 방법. Receiving ultrasound data from an ultrasound sensor and receiving an image from a camera;
Based on the input ultrasonic data, information about a distance value to an object is determined, and a matrix multiplication operation is performed on an inverse matrix of an actual coordinate matrix including a distance value to the object as an element and a transformation matrix between preset coordinates. Perform y to obtain y-axis coordinate values of image points on which the object is displayed in the image input from the camera, set a region of interest in the image based on the y-axis coordinate value, and extract within the set region of interest. Recognizing a pedestrian based on the vertical longitudinal edges;
Determining whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And
And controlling the braking device to brake the vehicle if it is determined that there is a possibility of collision with the recognized pedestrian.
KR1020100096774A 2010-10-05 2010-10-05 METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION KR101194152B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100096774A KR101194152B1 (en) 2010-10-05 2010-10-05 METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100096774A KR101194152B1 (en) 2010-10-05 2010-10-05 METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION

Publications (2)

Publication Number Publication Date
KR20120035325A KR20120035325A (en) 2012-04-16
KR101194152B1 true KR101194152B1 (en) 2012-10-26

Family

ID=46137251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100096774A KR101194152B1 (en) 2010-10-05 2010-10-05 METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION

Country Status (1)

Country Link
KR (1) KR101194152B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427032B1 (en) 2013-01-28 2014-08-05 주식회사 만도 Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2511748B (en) 2013-03-11 2015-08-12 Jaguar Land Rover Ltd Emergency braking system for a vehicle
CN107161100B (en) * 2017-05-04 2019-01-18 广东轻工职业技术学院 A kind of pedestrains safety guard method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1134629A (en) * 1997-07-24 1999-02-09 Honda Motor Co Ltd Vehicle collision avoidance control device
JP2005141517A (en) * 2003-11-07 2005-06-02 Daihatsu Motor Co Ltd Vehicle detecting method and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1134629A (en) * 1997-07-24 1999-02-09 Honda Motor Co Ltd Vehicle collision avoidance control device
JP2005141517A (en) * 2003-11-07 2005-06-02 Daihatsu Motor Co Ltd Vehicle detecting method and device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427032B1 (en) 2013-01-28 2014-08-05 주식회사 만도 Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof

Also Published As

Publication number Publication date
KR20120035325A (en) 2012-04-16

Similar Documents

Publication Publication Date Title
KR101283792B1 (en) Method and apparatus for recognizing parking lot
Zaarane et al. Distance measurement system for autonomous vehicles using stereo camera
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
JP6795027B2 (en) Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs
JP6266238B2 (en) Approaching object detection system and vehicle
KR101281260B1 (en) Method and Apparatus for Recognizing Vehicle
CN107953828B (en) Pedestrian recognition method and pedestrian recognition system for vehicle
JP4899424B2 (en) Object detection device
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
KR20180045745A (en) Apparatus and method for extracting objects in view point of moving vehicle
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
US9990710B2 (en) Apparatus and method for supporting computer aided diagnosis
US10165246B2 (en) Method and device for processing stereoscopic data
JP4937029B2 (en) Object detection apparatus and program
EP2610778A1 (en) Method of detecting an obstacle and driver assist system
JP2019016116A (en) Outside recognition device for vehicle
WO2018153915A1 (en) Determining an angular position of a trailer without target
KR20190062852A (en) System, module and method for detecting pedestrian, computer program
KR101194152B1 (en) METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION
KR20110048962A (en) Method and apparatus for recognizing vehicle
WO2018042976A1 (en) Image generation device, image generation method, recording medium, and image display system
KR20130015326A (en) Camera system and method for recognition distance using the same
WO2021204867A1 (en) A system and method to track a coupled vehicle
KR20190134303A (en) Apparatus and method for image recognition
JP5785515B2 (en) Pedestrian detection device and method, and vehicle collision determination device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150923

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 7