KR20100074413A - Pedestrian recognizing system using mono camera and control method thereof - Google Patents
Pedestrian recognizing system using mono camera and control method thereof Download PDFInfo
- Publication number
- KR20100074413A KR20100074413A KR1020080132830A KR20080132830A KR20100074413A KR 20100074413 A KR20100074413 A KR 20100074413A KR 1020080132830 A KR1020080132830 A KR 1020080132830A KR 20080132830 A KR20080132830 A KR 20080132830A KR 20100074413 A KR20100074413 A KR 20100074413A
- Authority
- KR
- South Korea
- Prior art keywords
- moving object
- image
- information
- area
- mono camera
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Abstract
Description
본 발명은 보행자 인식 시스템 및 그 제어방법에 관한 것으로서, 보다 자세하게는, 차량의 주행방향에 위치한 보행자에 대한 정보를 수집하여 차량과 보행자와의 관련 정보를 표시 및 경고하는 장치 및 방법에 관한 것이다. The present invention relates to a pedestrian recognition system and a control method thereof, and more particularly, to an apparatus and method for collecting and displaying information on a pedestrian located in a driving direction of a vehicle and displaying and warning information related to the pedestrian.
생활 필수품으로 자리 매김하고 있는 자동차의 보급과 이에 따른 교통사고의 증가로 인해, 보다 안전하고 지능적인 자동차를 원하는 소비자의 욕구와, 자동차 관련산업의 발전 추이가 접목되어, 눈, 안개, 폭우 등의 조건에서도 안정된 주행성을 확보하여 주는 지능형 안전 시스템이 개발되고 있다.With the spread of automobiles, which are becoming a necessity, and the increase in traffic accidents, consumers' desire for safer and more intelligent cars and the development of automobile-related industries have been combined with snow, fog, and heavy rain. Intelligent safety systems have been developed to ensure stable running even under conditions.
이러한 안전 운행의 보조장치의 하나로서, 차선이탈 방지장치, 졸음 운전 방지장치, 안전거리 확보를 통한 추돌 방지장치들이 개발되어 실제 차량에 적용되고 있는 상태이다.As an auxiliary device for such a safe driving, lane departure prevention devices, drowsy driving prevention devices, collision prevention devices through securing a safety distance have been developed and applied to actual vehicles.
한편, 차량에 적용되고 있는 안전 운행 보조장치의 하나로서 최근에는, 보행자를 감지하여 디스플레이해 주는 보행자 감지 장치가 차량에 장착되어 이용되고 있다. On the other hand, as a safety driving assistance device applied to a vehicle, a pedestrian detection device for detecting and displaying a pedestrian has recently been mounted and used in a vehicle.
그러나, 종래의 보행자 감지 장치는, 단순히 보행자의 움직임 검출시 보행자에 대한 화면을 모니터를 통해 출력하거나, 또는 사람이라는 표시만을 모니터를 통해 출력해 줌으로써, 운전자가 보행자의 유무 여부만을 확인할 수 있도록 하고 있다.However, the conventional pedestrian detection device allows the driver to check the presence or absence of a pedestrian by simply outputting a screen for the pedestrian through a monitor or outputting only a display of a person when the pedestrian is detected. .
즉, 종래의 보행자 감지 장치는, 보행자의 유무만을 단순히 운전자에게 통지해 주는 기능만을 수행하는 것으로서, 보행자의 출현에 따라 발생될 수 있는 위험 요소들, 예를 들어, 보행자와의 충돌 가능성, 보행자와의 거리, 충돌 가능 시간 등에 대한 정보를 제공하지 못하고 있기 때문에, 운전자가 미리 교통 사고를 예측하고 이에 반응하도록 할 수 없다는 문제점이 있다. That is, the conventional pedestrian detection device merely performs a function of simply notifying the driver of the presence or absence of a pedestrian, and may cause dangers that may occur due to the appearance of pedestrians, for example, a possibility of collision with a pedestrian, Since it does not provide information about the distance, the possible time of collision, etc., there is a problem that the driver cannot predict the traffic accident in advance and react to it.
본 발명의 목적은 상술한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 모노 카메라, 움직임 감지센서, 거리감지 센서를 이용하여 주행방향에 위치한 보행자에 대한 정보를 수집하여 차량과 보행자와의 관련 정보를 표시 및 경고를 통하여 사고를 미연에 방지하는 장치 및 방법을 제공하는 것이다. An object of the present invention is to solve the conventional problems as described above, by using the mono camera, motion sensor, distance sensor to collect information about the pedestrian located in the driving direction to obtain the relevant information between the vehicle and the pedestrian It is to provide an apparatus and a method for preventing an accident in advance through signs and warnings.
상기 목적을 달성하기 위한 본 발명에 따른 모노 카메라를 이용한 보행자 인식 시스템은, 차량 전방의 설정된 영역 내에 존재하는 이동 물체를 촬영하여 출력하는 모노 카메라, 상기 이동 물체와의 거리를 감지하기 위한 거리감지수단, 상기 모노 카메라의 영상신호에서 이동 물체의 이미지 정보를 추출하는 영상처리수단 및 상기 이미지 정보와 거리 정보를 기반으로 상기 이동 물체가 위치하는 영역정보를 산출하여 위험지역에 내에 이동 물체가 존재하는 경우 경고음 및 경고 메시지를 출력하는 경보제어수단을 포함하여 구성할 수 있다. A pedestrian recognition system using a mono camera according to the present invention for achieving the above object, a mono camera for photographing and outputting a moving object existing in the set area in front of the vehicle, distance sensing means for detecting the distance to the moving object And image processing means for extracting image information of the moving object from the image signal of the mono camera, and calculating moving area information on the moving object based on the image information and distance information, and when the moving object exists in the danger zone. It may be configured to include an alarm control means for outputting a warning sound and a warning message.
또한, 본 발명에 따른 모노 카메라를 이용한 보행자 인식 시스템 제어방법은, 차량의 시동 직후 구성요소의 자가진단을 수행하여 동작하지 않는 기능 및 구성요소를 표시하는 단계, 상기 차량 전방의 설정된 영역 내에 존재하는 이동 물체의 영상신호, 움직임 감지 신호 및 거리 정보를 수신하는 단계, 상기 영상신호에서 이동 물체의 이미지 정보를 추출하는 단계, 상기 이미지 정보, 움직임 정보 및 거 리 정보를 기반으로 상기 이동 물체가 위치하는 영역정보를 산출하는 단계 및 상기 산출결과 위험지역에 내에 이동 물체가 존재하는 경우 경고음 및 경고 메시지를 출력하는 단계를 포함하여 이루어질 수 있다. In addition, the method for controlling a pedestrian recognition system using a mono camera according to the present invention includes: performing a self-diagnosis of a component immediately after starting of a vehicle to display a function and a component that do not operate; Receiving an image signal, a motion detection signal, and distance information of a moving object, extracting image information of the moving object from the image signal, and positioning the moving object based on the image information, motion information, and distance information. And calculating a zone information and outputting a warning sound and a warning message when there is a moving object in the dangerous area.
상술한 바와 같이, 본 발명에 따른 모노 카메라를 이용한 보행자 인식 시스템 및 그 제어방법에 의하면, 차량의 주행방향에 존재하는 보행자 등의 이동 물체를 인식하여 경고하여 줌으로써 교통사고를 미연에 방지한다는 효과를 발휘한다. As described above, according to the pedestrian recognition system using the mono camera according to the present invention and a control method thereof, it is possible to prevent traffic accidents by recognizing and warning moving objects such as pedestrians existing in the driving direction of the vehicle. Exert.
또한, 본 발명에 따른 모노 카메라를 이용한 보행자 인식 시스템 및 그 제어방법에 의하면, 시동 후 주행이전에 자가진단을 통하여 시스템의 구성요소에 대한 이상여부를 미리 운전자에게 알려줌으로써, 운전자가 안전 운전을 하도록 한다는 효과도 발휘된다. In addition, according to the pedestrian recognition system using the mono camera according to the present invention and a control method thereof, by informing the driver in advance whether the components of the system through the self-diagnosis before driving after starting, so that the driver to drive safely It is also effective.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다. 또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. In addition, in describing this invention, the same code | symbol is attached | subjected and the repeated description is abbreviate | omitted.
도 1은 본 발명의 실시예에 따른 모노 카메라를 이용한 보행자 인식 시스템 의 구성을 간략하게 보인 블록도이고, 도 2는 본 발명의 실시예에 따른 모노 카메라에서 보행자를 감지하는 범위를 보인 도면이며, 도 3은 본 발명의 실시예에 따른 영상신호 처리를 위한 구성을 간략하게 보인 블록도이다. 1 is a block diagram briefly showing the configuration of a pedestrian recognition system using a mono camera according to an embodiment of the present invention, Figure 2 is a view showing a range for detecting a pedestrian in a mono camera according to an embodiment of the present invention, 3 is a block diagram briefly illustrating a configuration for processing a video signal according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 보행자 인식 시스템은 모노 카메라(110), 움직임 감지센서(120), 거리감지 센서(130), 영상처리부(140), 표시부(150) 및 경보제어부(160)를 포함한다. As shown in FIG. 1, the pedestrian recognition system according to the present invention includes a
모노 카메라(110)는 도 2에 도시한 바와 같이 차량 전방의 설정된 영역 내에 존재하는 이동 물체를 순차적으로 스캐닝하여 촬영하여 출력한다. As shown in FIG. 2, the
움직임 감지센서(120)는 차량 전방의 설정된 영역 내에 존재하는 이동 물체를 감지하는 기능을 수행하며, 일반적으로 모션 센서 등을 이용한다. The
거리감지 센서(130)는 상기 이동 물체(특히 보행자)와의 거리를 감지하기 위한 기능을 수행하는 것으로, 적외선 센서, 레이저 센서 등을 이용한다. The
영상처리부(140)는 상기 모노 카메라(110)의 영상신호에서 이동 물체의 이미지 정보를 추출하는 기능을 수행하는 것으로, 도 2에 도시한 바와 같이 상기 모노 카메라(110)의 영상신호에서 설정된 범위 내의 영상으로 분할하는 분할모듈(141), 상기 분할모듈(141)에서 분할한 영상에서 이동 물체의 이미지만을 필터링하는 필터링부(142), 상기 필터링된 이미지에서 기 설정한 특징(예를 들어 등)을 추출하는 특징추출모듈(143) 및 상기 추출된 특징을 기반으로 이동 물체의 종류(예를 들어 등)를 분류하는 뷴류모듈(144)을 포함한다. The
표시부(150)는 상기 경고 메시지 및 감지한 이동 물체의 이미지를 표시하는 데, 경보제어부(160)의 제어에 따라 상기 경고 지역에서 상기 위험 지역으로 이동 물체가 이동시, 화면 상에 표시되는 이동 물체의 이미지 색상을 변화시켜 표시한다. The
경보제어부(160)는 상기 이미지 정보 및 거리 정보 또는 움직임 감지신호 및 거리 정보 중 어느 하나를 기반으로 상기 이동 물체가 위치하는 영역정보를 산출하여 위험지역에 내에 이동 물체가 존재하는 경우 경고음 및 경고 메시지를 출력한다. The
또한, 경보제어부(160)는 상기 차량의 시동 직후 구성요소의 자가진단을 수행하여 동작하지 않는 기능 및 구성요소를 표시하는 기능을 수행한다. In addition, the
이와 같이 구성한 본 발명의 실시예에 따른 동작 과정을 첨부한 도면을 참조하여 설명하면 다음과 같다. Referring to the accompanying drawings, the operation process according to the embodiment of the present invention configured as described above is as follows.
도 4는 본 발명의 실시예에 따른 이동 물체를 감지하여 경보하기 위한 과정을 보인 흐름도이고, 도 5a, 5b는 본 발명의 실시예에 따른 화면에 표시되는 보행자의 이미지를 보인 도면이다. 4 is a flowchart illustrating a process for detecting and alerting a moving object according to an exemplary embodiment of the present invention, and FIGS. 5A and 5B illustrate an image of a pedestrian displayed on a screen according to an exemplary embodiment of the present invention.
도 4를 참조하면, 먼저 경보제어부(160)는 차량의 시동 직후 구성요소의 자가진단을 수행하여 동작하지 않는 기능 및 구성요소를 표시한다(S410). Referring to FIG. 4, first, the
이어서, 상기 경보제어부(160)는 운전자의 선택에 따라 모노 카메라(110), 움직임 감지센서(120) 및 거리감지 센서(130)의 구동을 결정하여 상기 차량 전방의 설정된 영역 내에 존재하는 이동 물체의 영상신호, 움직임 감지 신호 및 거리 정보 를 수신한다(S420). Subsequently, the
즉, 모노 카메라(110), 음직임 감지센서(120) 및 거리감지 센서(130) 또는 모노 카메라(110)와 거리감지 센서(130) 또는 움직임 감지센서(120)와 거리감지 센서(130) 중 하나의 방식을 선택하면 그에 따른 정보들을 수신한다. That is, the
이후, 단계(S420)에서 수신한 영상신호에서 추출한 이동 물체의 이미지 정보를 입력받는다(S430). Thereafter, image information of the moving object extracted from the image signal received in step S420 is received (S430).
즉, 영상처리부(140)에서 상기 영상신호에서 설정된 범위 내의 영상으로 분할한 후, 분할한 영상에서 이동 물체의 이미지만을 필터링하고, 상기 필터링된 이미지에서 기 설정한 특징을 추출한 다음 추출된 특징을 기반으로 이동 물체의 종류(예를 들어 자전거를 타고 이동하는 보행자인지, 걸어서 가는 보행자인지 등)를 분류하여 출력한 이미지 정보를 입력받는다. That is, the
단계(S420 또는 S430)에서 수신한 상기 이미지 정보, 움직임 정보 및 거리 정보(또는 이미지 정보와 거리 정보 또는 움직임 정보와 거리 정보)를 기반으로 상기 이동 물체(특히 보행자)가 위치하는 영역정보를 산출한다(S440). Based on the image information, motion information and distance information (or image information and distance information or motion information and distance information) received in step S420 or S430, area information on which the moving object (particularly a pedestrian) is located is calculated. (S440).
이어서, 단계(S440)에서 산출한 영역정보를 토대로 도 5a에 도시한 바와 같이 보행자 이미지가 포함되어 있는 경고지역(caution area)과 위험지역(risk area)으로 나뉘어 표시된 화면을 운전자에게 제공한다(S450). 이때, 운전자의 선택에 따라 도 5b에도시한 바와 같이 보행자와의 거리 정보도 표시된 화면을 제공할 수 있다. Subsequently, based on the area information calculated in step S440, as shown in FIG. 5A, a screen divided into a warning area and a risk area including a pedestrian image is provided to the driver (S450). ). In this case, according to the driver's selection, as shown in FIG. 5B, a screen displaying distance information with a pedestrian may also be provided.
이후, 단계(S450)에서 표시한 경고지역에서 보행자가 위험지역에 내로 이동 하는 경우(또는 위험지역 내에 보행자가 존재하는 경우), 운전자에게 경고음 및 경고 메시지를 출력하고(S460), 화면상에 표시된 보행자 이미지 색상을 다르게 표시하여 쉽게 운전자가 인식하도록 한다(S470). Subsequently, when the pedestrian moves into the danger area (or when there is a pedestrian in the danger area) in the warning area indicated in step S450, a warning sound and a warning message are output to the driver (S460), and displayed on the screen. The driver may easily recognize the color of the pedestrian image by displaying it differently (S470).
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여 져야만 할 것이다. Those skilled in the art will appreciate that various changes and modifications can be made without departing from the technical spirit of the present invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.
도 1은 본 발명의 실시예에 따른 모노 카메라를 이용한 보행자 인식 시스템의 구성을 간략하게 보인 블록도. 1 is a block diagram schematically showing the configuration of a pedestrian recognition system using a mono camera according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 모노 카메라에서 보행자를 감지하는 범위를 보인 도면. 2 is a view showing a range for detecting a pedestrian in a mono camera according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 영상신호 처리를 위한 구성을 간략하게 보인 블록도. 3 is a block diagram briefly illustrating a configuration for processing a video signal according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 이동 물체를 감지하여 경보하기 위한 과정을 보인 흐름도. 4 is a flowchart illustrating a process for detecting and alarming a moving object according to an embodiment of the present invention.
도 5a, 5b는 본 발명의 실시예에 따른 화면에 표시되는 보행자의 이미지를 보인 도면. 5A and 5B are views illustrating images of pedestrians displayed on a screen according to an embodiment of the present invention.
<도면의 주요 부호에 대한 설명><Description of Major Symbols in Drawing>
110 : 모노 카메라 120 : 움직임 감지센서 110: mono camera 120: motion detection sensor
130 : 거리감지 센서 140 : 영상처리부 130: distance detection sensor 140: image processing unit
141 : 분할모듈 142 : 필터링부 141: split module 142: filtering unit
143 : 특징추출모듈 144 : 분류모듈 143: feature extraction module 144: classification module
150 : 표시부 160 : 경보제어부 150: display unit 160: alarm control unit
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080132830A KR20100074413A (en) | 2008-12-24 | 2008-12-24 | Pedestrian recognizing system using mono camera and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080132830A KR20100074413A (en) | 2008-12-24 | 2008-12-24 | Pedestrian recognizing system using mono camera and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100074413A true KR20100074413A (en) | 2010-07-02 |
Family
ID=42636930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080132830A KR20100074413A (en) | 2008-12-24 | 2008-12-24 | Pedestrian recognizing system using mono camera and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20100074413A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014024247A1 (en) * | 2012-08-06 | 2014-02-13 | 三菱電機株式会社 | Vehicle approach alerting apparatus |
KR20150077051A (en) * | 2013-12-27 | 2015-07-07 | 삼성테크윈 주식회사 | Apparatus and method for preventing crash accident |
KR20160095914A (en) * | 2015-02-04 | 2016-08-12 | 경일대학교산학협력단 | Getting on and off the vihicle safty system |
-
2008
- 2008-12-24 KR KR1020080132830A patent/KR20100074413A/en not_active Application Discontinuation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014024247A1 (en) * | 2012-08-06 | 2014-02-13 | 三菱電機株式会社 | Vehicle approach alerting apparatus |
KR20150077051A (en) * | 2013-12-27 | 2015-07-07 | 삼성테크윈 주식회사 | Apparatus and method for preventing crash accident |
KR20160095914A (en) * | 2015-02-04 | 2016-08-12 | 경일대학교산학협력단 | Getting on and off the vihicle safty system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5649568B2 (en) | Driver assistance system for avoiding collision between vehicle and pedestrian | |
CN103987577B (en) | Method for monitoring the traffic conditions in the surrounding environment with signalling vehicle | |
WO2016186039A1 (en) | Automobile periphery information display system | |
EP2369552B1 (en) | Approaching object detection system | |
US20230406342A1 (en) | Vehicular driving assist system with driver monitoring | |
JP4935589B2 (en) | Status determination device and program | |
JP2005309797A (en) | Warning device for pedestrian | |
US9415736B2 (en) | Method, computer program product and system for utilizing vehicle safety equipment | |
KR101729486B1 (en) | Around view monitor system for detecting blind spot and method thereof | |
US10354525B2 (en) | Alerting system and method thereof | |
JP4259368B2 (en) | Nose view monitor device | |
KR101241861B1 (en) | System and Method for intelligent monitoring using proximity sensor and in vehicle camera | |
JP5003473B2 (en) | Warning device | |
KR20100074413A (en) | Pedestrian recognizing system using mono camera and control method thereof | |
JP2009244986A (en) | Warning notification device | |
JP4893593B2 (en) | Vehicle driving support device | |
JP2003331397A (en) | Start annunciator arrangement | |
CN109416887B (en) | Vehicle notification device for identifying control object | |
JP2005309660A (en) | Device supporting vehicle in turning right or left | |
US20220169176A1 (en) | Attention Assist for Dynamic Blind Zone with Driver State in the Loop | |
JP2018118710A (en) | Danger notification device, danger notification method, and danger notification program | |
KR101543119B1 (en) | Method for providing drive composite image | |
CN110853389B (en) | Drive test monitoring system suitable for unmanned commodity circulation car | |
KR101636301B1 (en) | System and method for anti-collision of the vehicle | |
KR20180039838A (en) | Alarm controlling device of vehicle and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |