KR101665340B1 - Apparatus for sensing forward obstacle - Google Patents
Apparatus for sensing forward obstacle Download PDFInfo
- Publication number
- KR101665340B1 KR101665340B1 KR1020150013608A KR20150013608A KR101665340B1 KR 101665340 B1 KR101665340 B1 KR 101665340B1 KR 1020150013608 A KR1020150013608 A KR 1020150013608A KR 20150013608 A KR20150013608 A KR 20150013608A KR 101665340 B1 KR101665340 B1 KR 101665340B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- pixel
- value
- obstacle
- operation control
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B60R2021/0134—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B60W2550/10—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Abstract
본 발명은 전방 장애물 감지 장치에 관한 것으로서, 상기 전방 장애물 감지장치의 한 특징은 차량이 진행하고 있는 방향의 영상에 대한 원영상 데이터를 생성하는 영상 획득부, 상기 영상 획득부에 연결되어 있고, 상기 원영상 데이터를 이용하여 장애물 후보 영상 데이터군을 생성하고, 상기 장애물 후보 영상 데이터군에서 가장 아래쪽과 가장 위쪽에 위치한 화소의 열 위치와 가장 왼쪽과 가장 오른쪽에서 위치한 화소의 행 위치를 이용하여 상기 장애물 후보 영상 데이터군이 포함된 장애물 후보 영역을 추출하고, 상기 장애물 후보 영역 중 상기 차량과 가장 인접하게 위치한 장애물 후보 영역 사이의 이격 거리를 판정하고, 판정된 이격 거리가 설정 거리 이하일 경우, 경고 신호를 출력하는 동작 제어부, 그리고 상기 동작 제어부와 연결되어 있고, 상기 경고 신호에 따라 동작하는 경고부를 포함한다. One feature of the front obstacle sensing apparatus includes an image acquiring unit that generates original image data of an image in a direction in which the vehicle is traveling, a display unit that is connected to the image acquiring unit, The obstacle candidate image data group is generated by using the original image data, and the obstacle candidate image data group is generated by using the row position of the pixel located at the lowermost and the uppermost pixel and the row position of the pixel located at the leftmost and rightmost pixel, An obstacle candidate region including the candidate video data group is extracted and a distance between the obstacle candidate region located closest to the vehicle and the obstacle candidate region is determined. If the determined distance is less than the set distance, An operation control unit connected to the operation control unit, And a warning section operating in accordance with the warning signal.
Description
본 발명은 전방 장애물 감지 장치에 관한 것이다. The present invention relates to a front obstacle sensing device.
오늘날 차량에 다양한 부가 가능이 부가되어 운전자들에게 편의를 제공하고 있다. 예를 들어, GPS(global positioning system)의 발전으로 차량 항법 시스템이 도입되어, 운전자들에게 편의 및 정보를 제공하고 있다. Today's vehicles are equipped with a variety of additional facilities to provide convenience to the driver. For example, with the development of global positioning system (GPS), a car navigation system has been introduced to provide convenience and information to drivers.
이러한, 차량 항법 시스템은 운전자들에게 현재의 위치 정보, 목적지 위치 정보, 그리고, 목적지로 가기 위한 경로 정보 등을 제공함으로써, 운전자들에게 편의를 제공할 수 있다.Such a vehicle navigation system provides drivers with convenience by providing current position information, destination location information, and route information to the destination.
이와 함께, 최근 들어 차량에서의 블랙 박스(black box) 또는 차선이탈 경고시스템(LDW; Lane Departure Warning System)등의 다양한 시스템이 탑재되고 있다.In addition, recently, various systems such as a black box or a lane departure warning system (LDW) in a vehicle have been installed.
이처럼 발전하는 차량의 제어 시스템은 차량 외부로부터 발생된 정보를 입력 받아 사고의 발생 위험을 줄이는 장치의 개발이 필요하다.It is necessary to develop a device that reduces the risk of accidents by inputting information generated from outside the vehicle.
하지만, 주행 상태인 외부 환경이 계속적으로 변화하는 상태에서 전방에 위치하는 차량을 감지하는 것이 용이하지 않다. 이에 따라, 전방에 위치하는 차량을 신뢰성 있게 감지하는 기법이 필요하다.However, it is not easy to detect a vehicle positioned ahead in a state where the external environment continuously changes in the running state. Accordingly, there is a need for a technique for reliably detecting a vehicle located ahead.
따라서 본 발명이 이루고자 하는 기술적 과제는 차량과 장애물 간의 충돌 상태를 예측하여 차량의 충돌 사고를 방지하기 위한 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to prevent collision of a vehicle by predicting a collision state between a vehicle and an obstacle.
본 발명의 한 특징에 따른 전방 장애물 감지 장치는 차량이 진행하고 있는 방향의 영상에 대한 원영상 데이터를 생성하는 영상 획득부, 상기 영상 획득부에 연결되어 있고, 상기 원영상 데이터를 이용하여 장애물 후보 영상 데이터군을 생성하고, 상기 장애물 후보 영상 데이터군에서 가장 아래쪽과 가장 위쪽에 위치한 화소의 열 위치와 가장 왼쪽과 가장 오른쪽에서 위치한 화소의 행 위치를 이용하여 상기 장애물 후보 영상 데이터군이 포함된 장애물 후보 영역을 추출하고, 상기 장애물 후보 영역 중 상기 차량과 가장 인접하게 위치한 장애물 후보 영역 사이의 이격 거리를 판정하고, 판정된 이격 거리가 설정 거리 이하일 경우, 경고 신호를 출력하는 동작 제어부, 그리고 상기 동작 제어부와 연결되어 있고, 상기 경고 신호에 따라 동작하는 경고부를 포함한다.A front obstacle sensing apparatus according to one aspect of the present invention includes an image acquiring unit that generates original image data of an image in a direction in which a vehicle is traveling, an image acquisition unit connected to the image acquiring unit, And generating an image data group based on the row positions of the pixels positioned at the leftmost and rightmost positions of the pixels located at the lowest and uppermost positions in the obstacle candidate image data group, An operation control section for extracting a candidate region and determining a distance between the obstacle candidate region located closest to the vehicle and the warning signal if the determined distance is less than a set distance, And a warning unit connected to the control unit and operating in accordance with the warning signal .
상기 동작 제어부는 상기 원영상 데이터의 일부를 추출하여 처리용 영상 데이터를 생성하고, 상기 처리용 영상 데이터를 이진화시켜 이진화 영상 데이터를 생성하며, 상기 이진화 영상 데이터를 레이블링하여 상기 장애물 후보 영상 데이터군을 획득할 수 있다.The operation control unit extracts a part of the original image data to generate processing image data, generates binary image data by binarizing the processing image data, labels the binarized image data to generate the obstacle candidate image data group Can be obtained.
상기 동작 제어부는 주행 시간이 주간일 때 상기 처리용 영상 데이터의 각 화소의 계조값이 설정 계조값 이상일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 백색을 표시하는 값으로 변환하고 상기 이진화 영상 데이터의 각 화소의 계조값이 상기 설정 계조값 미만일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 검은색을 표시하는 값으로 변환하여 상기 처리용 영상 데이터를 이진화 영상 데이터로 변환하고, 주행 시간이 야간일 때 상기 이진화 영상 데이터의 각 화소의 계조값이 설정 계조값 이상일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 검은색을 표시하는 값으로 변환하고 상기 이진화 영상 데이터의 각 화소의 계조값이 상기 설정 계조값 미만일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 백색을 표시하는 값으로 변환하여 상기 처리용 영상 데이터를 이진화 영상 데이터로 변환하는 것이 좋다.Wherein the operation control unit converts the binarization value of the corresponding pixel among '0' and '1' to a value for displaying white when the tone value of each pixel of the processing video data is equal to or greater than the set tone value when the running time is the week, Converts the binarization value of the corresponding pixel among '0' and '1' to a value for displaying black when the tone value of each pixel of the binarized image data is less than the set tone value, and converts the processing image data into binarized image data And converts the binarization value of the corresponding pixel among '0' and '1' to a value for displaying black when the tone value of each pixel of the binarized image data is equal to or greater than the set tone value when the running time is night, When the tone value of each pixel of the data is less than the set tone value, the binarization value of the corresponding pixel among '0' and '1' is converted into a value for displaying white, It is recommended to convert the image data into binary image data.
상기 동작 제어부는 상기 처리용 영상 데이터에서 주야간 판정용 영상 데이터를 추출하고, 상기 주야간 판정용 영상 데이터의 평균 계조값이 주야간 판정용 설정값 미만일 경우, 차량의 주행 시간을 야간으로 판정하고 상기 주야간 판정용 영상 데이터의 평균 계조값이 주야간 판정용 설정값 이상일 경우, 차량의 주행 시간을 주간으로 판정할 수 있다.Wherein the operation control unit extracts video data for day-and-night determination from the video data for processing, and when the average tone value of the video data for day / night determination is less than the setting value for day / night determination, When the average gradation value of the image data for day is equal to or larger than the setting value for day / night determination, the running time of the vehicle can be judged as the week.
상기 주야간 판정용 설정값은 상기 이진화 영상 데이터에서 검은색을 나타내는 화소의 총 개수와 백색을 나타내는 화소의 총 개수의 비에 따라 설정 가산치가 더해지거나 감산되어 변경되는 것이 좋다.It is preferable that the setting value for day / night determination is changed by adding or subtracting the set addition value according to the ratio of the total number of pixels showing black color and the total number of pixels showing white color in the binarized image data.
상기 동작 제어부는 장애물 후보 영역의 장애물 최좌측 화소 위치와 장애물 최우측 화소 위치가 거리계의 거리계 최좌측 화소 위치에 최우측 화소 위치에 의해 정해진 화소행의 범위 내에 위치하는 장애물 후보 영역을 최종 장애물 영역을 판정하고, 상기 차량과 상기 최종 장애물 영역 중 상기 차량에 가장 인접하게 위치한 최종 장애물 영역 간의 거리를 상기 이격 거리로 판정하는 것이 바람직하다.The operation control unit may set the obstacle candidate region located in the range of the pixel row determined by the rightmost pixel position to the leftmost pixel position of the distance system of the distance meter as the final obstacle region as the obstacle candidate left- And determine a distance between the vehicle and the final obstacle area, which is the closest to the vehicle, of the final obstacle area as the separation distance.
이러한 특징에 따르면, 차량 주행 중 전방에 위치한 장애물과의 충돌 여부를 차량 운전자에게 알려주므로, 차량의 충돌 사고 위험이 감소하여 경제적 손실뿐만 아니라 인명 피해의 위험이 크게 감소한다. According to this feature, since the vehicle driver is informed of the collision with the obstacle located in front of the vehicle during driving, the risk of collision of the vehicle is reduced, thereby greatly reducing the risk of loss of life as well as economic loss.
도 1은 본 발명의 한 실시예에 따른 전방 장애물 감지 장치의 개략적인 블록도이다.
도 2a 및 도 2b는 본 발명의 한 실시예에 따른 전방 장애물 감지 장치의 동작 순서도이다.
도 3은 본 발명의 한 실시예에 따라 원영상 데이터에서 처리용 영상 데이터를 추출하는 방식을 도시한 도면이다.
도 4는 본 발명의 한 실시예에 따라 원영상 데이터에서 주야간 판정용 영상 데이터를 추출하는 방식을 도시한 도면이다.
도 5는 본 발명의 한 실시예에서 따라 이진화 영상 데이터에서 장애물후보 영상 데이터군과 장애물후보 영역을 추출하는 방식을 도시한 도면이다.
도 6은 본 발명의 한 실시예에 따라 영상 획득부에 의해 획득한 영상 위에 거리계가 표시된 영상을 도시한 도면이다.1 is a schematic block diagram of a front obstacle sensing apparatus according to an embodiment of the present invention.
2A and 2B are operational flowcharts of a front obstacle sensing apparatus according to an embodiment of the present invention.
3 is a diagram illustrating a method of extracting image data for processing from original image data according to an embodiment of the present invention.
4 is a diagram illustrating a method of extracting image data for day / night determination from original image data according to an embodiment of the present invention.
5 is a diagram illustrating a method of extracting an obstacle candidate image data group and an obstacle candidate region from binarized image data according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an image in which a distance meter is displayed on an image obtained by the image obtaining unit according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
어떤 구성요소가 다른 구성요소에 "접속되어" 있다거나 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 접속되어 있거나 연결되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 접속되어" 있다거나 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but it should be understood that there may be other elements in between do. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
그러면 첨부한 도면을 참고로 하여 본 발명의 한 실시예에 따른 전방 장애물 감지 장치에 대하여 설명한다.A front obstacle sensing apparatus according to an embodiment of the present invention will now be described with reference to the accompanying drawings.
먼저, 도 1을 참고로 하여 본 발명의 한 실시예에 따른 전방 장애물 감지 장치의 구조에 대하여 상세하게 설명한다.First, the structure of a front obstacle sensing apparatus according to an embodiment of the present invention will be described in detail with reference to FIG.
본 실시예에 따른 전방 장애물 감지 장치는 승용차나 트럭 등과 같은 차량에 장착되어 다른 차량과의 충돌 여부를 판정하기 위한 것으로서, 블랙 박스(block box)나 차량 항법 시스템의 일부를 구성할 수 있다.The front obstacle sensing device according to the present embodiment is for mounting on a vehicle such as a passenger car or a truck and determining whether or not the vehicle collides with another vehicle, and can constitute a part of a black box or a car navigation system.
도 1에 도시한 본 발명의 한 실시예에 따른 전방 장애물 감지 장치는 영상 획득부(10), 영상 획득부(10)에 연결되어 있는 동작 제어부(20), 동작 제어부(20)에 연결되어 있는 저장부(30), 그리고 동작 제어부(20)에 연결된 표시부(40) 및 경고부(50)를 구비한다. The front obstacle sensing apparatus according to an embodiment of the present invention shown in FIG. 1 includes an
영상 획득부(10)는 차량에 장착되어 차량이 진행하는 방향의 영상(즉, 전방영상)에 대한 원영상 데이터를 획득하는 것으로, 영상 획득부(10)는 차량의 정지 또는 운행 중에 전방 영상을 연속적으로 획득하거나 정해진 시간 간격으로 전방 영상을 획득할 수 있다. The
이러한 영상 획득부(10)는 CCD(charge coupled device)와 같은 영상 입력 센서를 구비한 디지털 카메라를 이용하여 영상을 획득할 수 있다.The
따라서, 영상 입력 센서에 의하여 전방 영상에 관련된 영상 신호가 획득되면 획득한 영상 신호에 대한 신호 처리를 실시한 후 아날로그 상태의 영상 신호를 디지털 상태의 영상 데이터(이하, 이 영상 데이터를 '원영상 데이터'라 함)로 변환하여 동작 제어부(20)로 입력된다. Accordingly, when the image signal related to the forward image is acquired by the image input sensor, signal processing of the acquired image signal is performed, and then the image signal in the analog state is converted into digital image data (hereinafter referred to as 'original image data' Quot;) and input to the
이때, 원영상 데이터의 크기(즉, 해상도)는 각각 1024화소수이거나 768화소수일 수 있다.At this time, the size (i.e., resolution) of the original image data may be 1024 pixels or 768 pixels, respectively.
동작 제어부(20)는 영상 획득부(10)를 통해 해당 영상에 해당하는 원영상 데이터를 수신하여, 전방에 위치하는 장애물과의 거리가 얼마인지를 판정하여 장애물과의 거리가 설정 거리 미만일 경우, 경고부(50)를 동작시켜 운전자에게 충돌 위험을 경고한다.The
이러한 동작 제어부(20)는 도 2에 도시한 것처럼 영상 획득부(10)로부터 입력된 원영상 데이터의 일부만을 추출하여 하는 처리용 영상 데이터를 추출하는 동작, 처리용 영상 데이터를 이루는 각 화소의 계조값(즉, 화소값)과 설정값을 이용하여 처리용 영상 데이터의 각 화소의 계조값을 '1' 또는 '0'을 갖도록 이진화 처리하는 동작, 이진화 처리된 처리용 영상 데이터(이하, '이진화 영상 데이터'라 함)를 이용하여 장애물 후보에 해당하는 복수의 영상 데이터군(이하 '장애물 후보 영상 데이터군'라 함)를 추출하는 레이블링(labeling)하는 동작, 각 장애물 후보 영상 데이터군에서 가장 아래쪽과 가장 위쪽에 위치한 화소의 열 위치와 가장 왼쪽과 가장 오른쪽에서 위치를 제외한 화소의 행 위치를 이용하여 해당 장애물 후보 영상 데이터군이 포함된 복수의 장애물 후보 영역을 추출하는 동작, 복수의 장애물 후보 영역 중 현재 차량이 주행하고 있는 차선에 위치하지 않은 장애물 후보 영역을 제거하여 최종 장애물 영역을 판정하는 동작, 그리고 판정된 최종 장애물 영역에서 차량과 가장 인접하게 위치한 최종 장애물 영역을 검색해, 차량과 가장 인접한 거리에 위치한 장애물의 위치를 판정하는 동작을 수행한다.2, the
이처럼 차량과 가장 인접한 거리에 위치한 장애물의 위치가 판정되면, 동작 제어부는 판정된 거리가 설정 거리 이하일 경우, 경고부(50)로 경고 신호를 출력하여, 운전자에게 차량 충돌 위험을 경고한다.When the position of the obstacle closest to the vehicle is determined, the operation control unit outputs a warning signal to the
저장부(30)는 메모리(memory)와 같은 저장 매체로서 영상 획득부(10)를 통해 입력되는 원래 영상 데이터, 처리용 영상 데이터 등과 같이 본 예의 전방 장애물 감지 장치의 동작 중에 생성된 데이터나 신호 그리고 설정값과 설정 거리 등과 같이 동작에 필요해 미리 정해진 데이터 등이 저장되어 있다.The
표시부(40)는 액정 표시 장치(LCD, liquid crystal display)나 유기 발광 표시 장치(OLED, organic light emitting display) 등과 같이 동작 제어부(20)의 제어 동작에 의해 해당 영상을 출력한다. The
경고부(50)는 동작 제어부(20)에서 출력되는 경고 신호에 따라 동작하여 차량의 운전자에게 차량의 진행 방향에 위치한 장애물과의 충돌 상황을 경고한다.The
이러한 경고부(50)는 경고음을 출력하는 부저(buzzer)나 발광 다이오드(LED, light emitting diode)와 같은 경고등으로 이루어질 수 있다.The
다음, 도 2 내지 도 6을 참고로 하여 본 예에 따른 전방 장애물 감지 장치의 동작에 대하여 설명한다.Next, the operation of the front obstacle sensing apparatus according to this embodiment will be described with reference to Figs. 2 to 6. Fig.
먼저, 본 예의 전방 장애물 감지 장치의 동작에 필요한 전원이 공급되어 전방 장애물 감지 장치가 동작되면, 동작 제어부(20)의 동작 역시 시작된다(S10).First, when power required for operation of the front obstacle sensing apparatus of the present embodiment is supplied and the front obstacle sensing apparatus is operated, the operation of the
따라서, 동작 제어부(20)는 영상 획득부(10)로부터 인가되는 원영상 데이터를 판독하여 저장부(30)에 저장해 놓는다(S11).Accordingly, the
다음, 동작 제어부(20)는 도 2와 같은 원영상 데이터(D11)의 일부를 추출하여 처리용 영상 데이터를 추출한다(S12).Next, the
처리용 영상 데이터는 행 방향과 열 방향으로 배열되어 행렬 형태로 배열된 복수의 화소(PX)로 이루어져 있다.The processing video data is composed of a plurality of pixels PX arranged in a matrix and arranged in a row direction and a column direction.
따라서, 동작 제어부(20)는 원영상 데이터(D11)에서 처리용 영상 데이터를 추출하기 위해, 각 행마다 행 방향으로 차례로 배열되어 있는 복수의 화소를 설정된 화소행 단위수(예, 제1 화소행 단위수)로 나눠, 각 행마다 행 방향으로 나란히 위치한 복수의 화소를 복수의 단위행 화소군(예, 복수의 제1 단위행 화소군)(R1)으로 나눈다. Accordingly, in order to extract the processing image data from the original image data D11, the
그런 다음, 동작 제어부(20)는 각 제1 단위행 화소군(R1)에서 가장자리 부분에 위치한 화소를 제외한 가운데 부분에 위치한 설정 개수의 화소(PXpr)를 추출하여 복수의 예비 행방향 영상 데이터로서 저장부(30)에 저장한다. 이때, 예비 행방향 영상 데이터의 위치 즉, 해당 화소(PXpr)의 위치와 계조값은 모두 저장부(30)에 저장된다.Then, the
본 예의 경우, 각 제1 단위행 화소군(R1)에서 좌우측의 가장자리에 위치한 화소인 최외측 화소만을 제외하였지만, 좌측과 우측 각각 가장자리에서부터 제외되는 화소의 개수는 변경 가능하며, 한 예로서, 제1 화소행 단위수는 5개이고, 좌측과 우측 각각 가장자리에서부터 제외되는 화소의 개수는 각각 1개이므로, 가운데 부분에 위치한 3개의 화소(PXpr)만이 각 단위행 화소군의 예비 행방향 영상 데이터가 된다. 다음, 동작 제어부(20)는, 위에 동작과 유사하게, 열 방향으로 배열된 복수의 화소열을 설정된 화소열 단위수(예, 제1 화소열 단위수)(예를 들어, 2)로 나눠, 복수의 화소열을 복수(예, 2개)의 단위열 화소군(C11, C12)으로 나눈다.In this example, only the outermost pixels, which are located at the left and right edges of each first unit row pixel group R1, are excluded, but the number of pixels that are excluded from the left and right edges may be changed. For example, Since the number of pixels per line is 5 and the number of pixels excluded from the left and right edges is one, only three pixels PXpr located in the middle portion are preliminary row direction image data of each unit row pixel group . Next, similarly to the above operation, the
그런 다음, 동작 제어부(20)는 저장부(30)에 저장된 복수의 예비 행방향 영상 데이터(PXpr) 중에서 두 개의 단위열 화소군(C11, C12) 중 아래쪽에 위치한 단위열 화소군(C12)에 속한 예비 열방향 영상 데이터(PXpc)를 처리용 영상 데이터로서 추출하여 저장부(30)에 저장한다. 이 경우에도, 처리용 영상 데이터의 각 화소 위치와 계조값은 모두 저장부(30)에 저장된다.Then, the
이와 같이, 본 예의 경우, 영상 획득부(10)를 통해 입력된 원영상 데이터를 모두 이용하여 장애물과의 충돌 여부를 감지하는 대신 원영상 데이터의 일부를 이용하여 장애물과의 충돌 여부를 감지하므로, 처리할 영상 데이터의 양이 줄어듦으로 영상 처리 시간이 줄어들고 저장부(30)의 용량 등이 감소하여, 전방 장애물 감지 장치의 제조 비용이 감소한다.In this case, instead of detecting the collision with the obstacle by using all of the original image data inputted through the
그런 다음, 동작 제어부(20)는 원영상 데이터 중에서 두 개의 단위열 화소군(C11, C12) 중 위쪽에 위치한 단위열 화소군(C12)에 속한 원영상 데이터(이하, '주야간용 영상 데이터'라 함)를 이용하여 주야간 판정용 영상 데이터를 추출한다(S13). Then, the
주야간용 영상 데이터를 이용하여 주야간 판정용 영상 데이터를 추출하는 동작 제어부(20)는 화소행 단위수(예, 제2 화소행 단위수)와 화소열 단위수(예, 제2 화소열 단위수)중 적어도 하나의 값만 상이할 뿐, 원영상 데이터(D11)에서 처리용 영상 데이터를 추출하는 동작과 동일하다.(For example, the second pixel row unit number) and the pixel column unit number (e.g., the second pixel column unit number) by using the image data for day and night, And extracting the image data for processing from the original image data D11 is the same as the operation for extracting the image data for processing.
따라서, 동작 제어부(20)는 행 방향으로 나란히 위치한 복수의 화소를 복수의 단위행 화소군(예, 제2 복수의 단위행 화소군)(R2)으로 나누고, 열 방향으로 나란히 위치한 복수의 화소를 복수(예, 2개)의 단위열 화소군(예, 제2 단위열 화소군)(C11, C12)으로 나눈다.Therefore, the
다음, 동작 제어부(20)는 나눠진 단위열 화소군(C11, C12) 중 나머지 하나(즉 상부 쪽에 위치한 단위열 화소군)의 단위열 화소군(C11)에 속한 행방향 영상 데이터를 주야간 판정용 영상 데이터로서 추출한 후 저장부(30)에 저장한다.Next, the
본 예의 경우, 제2 화소행 단위수의 수는 7이며, 이중 각 제2 단위행 화군에서 좌우 최외측 화소를 제외하고 가운데에 연속해서 위치한 5개의 화소를 추출하여 제2 화소행 화소군으로 나누고, 제2 화소열 단위수는 2로서 제1 화소열 단위수와 동일하다.In the case of this example, the number of the second pixel row line number is 7, and the five pixels located consecutively in the center except for the left and right outmost pixels in each second unitary row group are extracted and divided into the second pixel row pixel group , The second pixel column unit number is 2 and is equal to the first pixel column unit number.
일반적으로, 영상 획득부(10)를 통해 얻어지는 촬영 영상에서 하부 쪽에 차량과 같은 전방 장애물이 위치하고 상부 쪽에는 하늘이 위치한다. Generally, a front obstacle such as a vehicle is located on the lower side of the captured image obtained through the
따라서, 처리용 영상 데이터를 추출하기 위해 나눠진 복수의 제1 단위열 화소군(C11, C12) 중 맨 아래쪽에 위치한 화소군(C11)을 선택하였지만, 주야간 판정용 영상 데이터를 추출하기 위해서 나눠진 복수의 제2 단위열 화소군(C11, C12) 중 맨 위쪽에 위치한 화소군(C12)을 선택함이 서로 상이하다. Therefore, although the pixel group C11 located at the bottom of the plurality of first unit column pixel groups C11 and C12 divided for extracting the image data for processing is selected, a plurality of pixel groups C11 and C12 And selecting the pixel group C12 located at the top of the second unit column pixel groups C11 and C12 are different from each other.
이와 같이, 도 4와 같이 원영상 데이터(D11)에서 주야간 판정용 영상 데이터가 추출되면, 동작 제어부(20)는 주야간 판정용 영상 데이터의 모든 화소에 대한 평균 계조값을 산출한다(S14).4, the
그런 다음, 동작 제어부(40)는 저장부(30)에 저장되어 있는 주야간 판정용 설정값을 읽어와 단계(S14)에서 산출된 평균 계조값과 주야간 판정용 설정값을 비교한다(S15, S16).Then, the
산출된 평균 계조값이 주야간 판정용 설정값 이상일 경우, 동작 제어부(20)는 전방 장애물 감지 장치가 장착된 차량의 현재 주행 시간을 주간으로 판정하고 현재 주행 시간을 주간으로 저장한다(S17).If the calculated average gradation value is greater than or equal to the setting value for day / night determination, the
하지만, 산출된 평균 계조값이 주야간 판정용 설정값 미만일 경우, 동작 제어부(20)는 전방 장애물 감지 장치가 장착된 차량의 현재 주행 시간을 야간으로 판정하여 현재 주행 시간을 야간으로 저장한다(S18).However, if the calculated average gradation value is less than the setting value for day / night determination, the
이때, 주야간 판정용 설정값은 초기값에서 차량의 외부 환경(즉, 밝기)에 따라 변동되는 값이다. 즉, 주간일 경우와 야간일 경우 빛의 세기가 서로 달라, 주간일 때 촬영된 영상의 원영상 데이터와 야간일 때 촬영된 영상의 원영상 데이터에서 동일한 위치에 위치한 화소의 계조값은 상이하다. 따라서, 주야간 판정용 설정값은 현재의 주행 상태(즉, 날씨의 밝고 흐림 상태)에 따라 동작 제어부(20)의 동작에 의해 변경된다.At this time, the setting value for day / night determination is a value that varies from the initial value according to the external environment (i.e., brightness) of the vehicle. That is, the intensity of light in the case of daytime and nighttime is different from each other, and the tone values of the pixels located at the same position in the original image data of the image photographed in the daytime and in the original image data of the image taken in the nighttime are different. Therefore, the setting value for day / night determination is changed by the operation of the
이처럼, 처리용 영상 데이터가 추출되고 현재 주행 시간이 주간인지 야간인지 판정되면, 동작 제어부(20)는 처리용 영상 데이터를 이루는 각 화소의 계조값과 주행 시간이 주간인지 야간인지를 이용하여 처리용 영상 데이터에 대한 이진화 처리를 실시한다.If it is determined that the image data for processing is extracted and the current running time is the daytime or the nighttime, the
따라서, 동작 제어부(20)는 처리용 영상 데이터의 이진화 처리를 위해, 저장부(30)에 저장된 값을 이용하여 현재 주행 상태가 주간인지 판단한다(S19).Accordingly, the
주행 상태가 주간일 경우, 물체가 위치하는 부분 근처에는 그림자가 형성되고 그림자 부분은 상대적으로 다른 부분에 비해 어둡게 나타난다. 이로 인해, 주간에 촬영되어 획득된 원영상 데이터에서 그림자 부분은 다른 부분에 비해 어두운 계조값을 갖게 된다. When the driving condition is daytime, a shadow is formed near the part where the object is located, and the shadow part is darker than the other parts. As a result, the shadows in the original image data acquired during the day have darker tone values than the other portions.
하지만, 주행 상태가 야간일 경우, 운행하는 차량은 전조등을 점등시킨 상태에서 주행하게 되어 차량에서 조사되는 전조등의 빛은 차량의 주행 방향으로 조사된다. However, when the driving state is nighttime, the traveling vehicle is driven with the headlights turned on, and the light of the headlights irradiated from the vehicle is irradiated in the traveling direction of the vehicle.
따라서, 해당 방향으로 주행하고 있는 차량 앞에 위치하는 물체(예, 다른 차량)로 전조등의 빛이 조사되어, 전조등의 빛을 받은 물체의 부분은 상대적으로 전조등의 빛을 조사받지 못한 다른 부분 또는 다른 물체에 빛에 밝게 나타난다.Accordingly, the light of the headlamp is irradiated to an object (e.g., another vehicle) located in front of the vehicle traveling in the corresponding direction, so that the part of the object that receives the light of the headlamp is reflected by another part or the other object In bright light.
이로 인해, 야간에 촬영되어 획득된 원영상 데이터에서 전조등의 빛을 조사받은 물체 부분은 다른 부분에 비해 밝은 계조값을 갖게 된다. As a result, the object portion irradiated with the light of the headlight from the original image data captured at night has a brightness value that is brighter than other portions.
이러한 이유로, 동작 제어부(20)는 판정된 주행 상태가 주간일 경우, 그림자 부분인 어두운 부분을 판정하기 위해 처리용 영상 데이터의 각 화소에서 해당 계조값과 설정 계조값을 비교한다(S110).For this reason, when the determined running state is the week, the
화소의 계조값이 설정 계조값 이상일 경우(S110), 동작 제어부(20)는 해당 화소를 어두운 화소로 판정하여 해당 화소의 이진화값을 검은색을 표시하는 '0' [이때의 계조값은 '0'임]으로 변환하고(S111), 그렇지 않고 설정 계조값 미만을 갖는 화소를 밝은 화소로 판정하여 해당 화소의 이진화값을 백색을 표시하는 '1'[이때의 계조값은 '255'임]로 변환한다(S112).If the tone value of the pixel is equal to or greater than the set tone value (S110), the
이러한 동작을 통해 처리용 영상 데이터의 모든 화소에 대한 이진화 처리를 실시하여, 처리용 영상 데이터에 대한 이진화 영상 데이터를 생성하여 저장부(30)에 저장한다(S110-S113).Through these operations, binarization processing is performed on all the pixels of the processing image data, and binary image data for the processing image data is generated and stored in the storage unit 30 (S110 - S113).
하지만, 판정된 주행 상태가 야간일 경우, 동작 제어부(20)는 처리용 영상 데이터의 이진화 동작을 주간일 때와는 반대로 처리한다.However, when the determined running state is nighttime, the
즉, 동작 제어부(20)는 야간일 경우 빛이 조사되고 있는 밝은 부분을 판정하기 위해 처리용 영상 데이터의 모든 화소에 대한 계조값과 설정 계조값을 각각 비교하여(S114), 계조값이 설정 계조값 이상일 경우 해당 화소의 이진화값을 백색을 표시하는 '1'으로 변환하고, 그렇지 않고 설정 계조값 미만을 갖는 화소의 이진화값을 검은색을 표시하는 '0'로 변환한다(S114-S117).That is, the
이처럼, 처리용 영상 데이터를 이루는 모든 화소의 계조값과 설정 계조값을 일일이 비교하여 처리용 영상 데이터의 모든 화소에 대한 이진화값을 '0' 또는 '1'로 이진화시킨 생성된 이진화 영상 데이터에서, 검색하기 원하는 부분(즉, 주간일 경우는 그림자 부분이고 야간일 경우는 빛을 조사받은 부분)은 백색을 나타내는 '1'로 표현되며 그렇지 않은 부분은 검은색을 나타내는 '0으로 표현된다.As described above, in the generated binarized image data obtained by binarizing the binarization value for all the pixels of the processing image data to '0' or '1' by comparing the tone value and the set tone value of all the pixels forming the processing image data, The part to be searched (that is, the part of the shadow in the case of daytime and the part of light in the case of the nighttime) is represented by '1' representing white and the part not represented by black is represented by '0'.
다음, 동작 제어부(20)는 이진화 영상 데이터를 이용하여 주야간 판정용 설정값을 조정한다(S118). Next, the
이를 위해, 동작 제어부(20)는 이진화 영상 데이터에서 검은색을 나타내는 화소의 총 개수(이하, '검은색 화소 총 개수'라 함)(B)와 백색을 나타내는 화소의 총 개수(이하, '백색 화소 총 개수'라 함)(W)를 각각 산출하여, 백색 화소 총 개수(W)를 검은색 화소 총 개수(B)로 나눠 해당 값(이하, '비율 산출 계수'라 함)(BWV)을 얻는다.For this, the
BWV = W/BBWV = W / B
따라서, 산출된 비율 산출 계수가 기준값(예, 0.02) 이하일 경우, 주간일 때는 현재의 주야간 판정용 설정값에 설정 가산치(예, 1)만큼 더하여 주야간 판정용 설정값을 증가시키고 야간일 때는 현재 주야간 판정용 설정값에 설정 가산치만큼 빼서 주야간 판정용 설정값을 감소시킨다. 이처럼, 설정 가산치만큼 더해지거나 빼져 새롭게 조정된 주야간 판정용 설정값은 저장부(30)에 저장된다.Therefore, when the calculated ratio calculation coefficient is equal to or smaller than the reference value (e.g., 0.02), the setting value for day / night determination is increased by adding the set addition value (for example, 1) The setting value for day / night determination is subtracted from the set value for day / night determination and the setting value for day / night determination is decreased. As described above, the setting value for day / night determination newly added or subtracted by the set addition value is stored in the
반대로, 비율 산출 계수가 기준값(예, 0.02)을 초과할 경우, 주간일 때는 현재의 주야간 판정용 설정값에 설정 가산치(예, 1)만큼 빼주고 야간일 때는 현재 주야간 판정용 설정값에 설정 가산치만큼 더하여, 현재 주야간 판정용 설정값을 조정해 새로운 주야간 판정용 설정값으로서 저장부(30)에 저장한다.On the contrary, when the ratio calculation coefficient exceeds the reference value (for example, 0.02), it subtracts the set value (for example, 1) for the current day / night judgment determination value in the daytime, And adjusts the current day / night determination setting value and stores it in the
이와 같이, 주야간 판정용 설정값이 날씨의 맑고 흐름에 따라 달라지는 비율 산출 계수에 따라 조정되므로, 차량의 주행 시기나 날씨의 상태가 적용된 이진화 영상 데이터가 생성되도록 한다.In this way, since the setting value for day / night determination is adjusted according to the ratio calculation coefficient that varies depending on the clear flow of the weather, the binarized image data to which the driving time and weather conditions of the vehicle are applied is generated.
그런 다음, 동작 제어부(20)는 이진화 영상 데이터를 레이블링(labeling) 처리하여 장애물 후보 영상 데이터군을 추출한 후 장애물 후보 영상 데이터군을 생성하고(S119), 이들 장애물 후보 영상 데이터군을 이용해 장애물후보 영역을 산출한다(S1110). 본 예에서, 레이블링 처리는 블랍 레이블링(Blob labeling)을 이용한다.Then, the
따라서, 도 5와 같은 이진화 영상 데이터(D12)가 존재할 때, 동작 제어부(20)는 각 화소의 화소값이 '0'에서 '1'로 변화하는 화소의 위치와 '1'에서 '0'으로 변화는 화소의 위치를 판정하여, 행 방향과 가로 방향 중 적어도 한 방향으로 화소값이 '1'인 복수의 화소가 인접하게 위치하는 있는 영역을 산출해, 이 영역 내에 위치한 복수의 화소의 영상 데이터를 장애물후보 영상 데이터군으로 생성하여 저장부(30)에 저장한다(S119). Therefore, when the binarized image data D12 as shown in FIG. 5 exists, the
도 4의 경우, 모두 네 개의 장애물후보 영상 데이터군(OCG11-OCG14)이 형성된다.In the case of FIG. 4, all four obstacle candidate image data groups OCG11-OCG14 are formed.
이때, 동작 제어부(20)는 각 장애물후보 영상 데이터군(OCG11-OCG14)에 속한 화소의 위치(즉, 행 위치와 열 위치)를 알고 있다.At this time, the
따라서, 동작 제어부(20)는 각 장애물후보 영상 데이터군(OCG11-OCG14)에서 가장 아래쪽과 가장 위쪽에 각각 위치한 화소의 열 위치(Y1, Y2)와 가장 왼쪽과 가장 오른쪽에 각각 위치한 화소의 행 위치(X1, X2)를 판정해, 두 개의 열 위치(Y1, Y2)와 두 개의 행 위치(X1, X2)의 조합으로 인해 얻어지는 총 개의 위치[(X1, Y1), (X1, Y2), (X2, Y1), (X2, Y2)]에 위치한 화소를 꼭지점으로 하여 형성된 사각형의 영역을 장애물후보 영역(OCA11-OCA14)으로 추출하여 저장부(30)에 저장한다(S120). 이때, 동작 제어부(20)는 장애물후보 영역(OCA11-OCA14) 내에 속한 화소의 위치 역시 저장부(30)에 저장한다.Accordingly, the
도 5에 도시된 복수의 장애물후보 영역(OCA11-OCA14) 중 장애물후보 영상 영역(OCA11)에서 사각형의 네 꼭지점을 형성하는 네 개의 화소는 [(PX5 ,10), (PX5 , 12), (PX9,10) 및 (PX9,12)]가 된다.(PX 5 , 10 ), (PX 5 , 12 ), and (PX 4 ), which form four vertexes of a quadrangle in the obstacle candidate
다음, 동작 제어부(20)는 결정된 장애물후보 영역(OCA) 중에서 실제로 본 예의 전방 장애물 감지 장치가 장착된 차량과 동일한 차선에서 정해진 거리 내에 위치하고 있는 장애물 후보 영역만을 선별해 최종 장애물 영역으로 판정한다.Next, the
이를 위해 동작 제어부(20)는 단계(S1110)의 동작에 의해 산출된 장애물후보 영역(OCA)이 존재하는지 판단한다(S121).To this end, the
해당 차량이 주행 도로 양측에 건물이나 나무 등이 존재하지 않고 사막 등과 같은 곳을 주행하고 전방에 다른 차량이나 장애물 등이 존재하지 않을 경우, 장애물후보 영역은 산출되지 않을 수 있다.The obstacle candidate region may not be calculated if the vehicle is traveling on a road such as a desert or the like without building or trees on both sides of the driving road and no other vehicle or obstacle is present in the front.
따라서, 이 경우, 동작 제어부(20)는 전방에 장애물이 존재하지 않는 상태로 판정하여 처음 단계로 넘어간다(S11).Therefore, in this case, the
산출된 장애물후보 영역(OCA)이 적어도 하나 존재할 경우, 동작 제어부(20)는 산출된 적어도 하나의 장애물후보 영역(OCA)이 전방의 장애물 판정 동작에 유효한 영역인지를 판단한다.When there is at least one calculated obstacle candidate area (OCA), the
따라서, 동작 제어부(20)는 저장부(30)에 저장되어 있는 거리계 데이터를 읽어와 표시부(40)로 출력하여 표시부(40)에 거리계(DI)를 표시한다(S122)(도 6 참조).Accordingly, the
이때, 표시부(40)에 표시된 거리계(DI)는 실제 주행 차량에서 주행 도로를 바라봤을 때, 실제 주행 도로의 형상을 고려해 표시부(40)에 표시한 것으로, 표시부(40)에 표시되는 거리계(DI)의 크기를 실측된 거리에 비례하게 표시한 것이다.The distance meter DI displayed on the
도 6에 도시된 것처럼 표시부(40)에 표시된 거리계(DI)는 도로의 주행 방향을 따라 가로 방향으로 구획된 복수의 가로 선(HL)과 복수의 가로선(HL)의 가운데 부분을 가로 지르는 하나의 세로선(LL)이 존재한다.6, the distance meter DI displayed on the
따라서, 거리계(DI)는 복수의 가로 선(HL)에 의해 복수의 영역으로 나눠지고, 각 영역의 세로 길이(즉, 주행 방향으로 인접한 두 가로선(HL) 간의 거리)(LL11)는 실제 도로 상에서 동일한 설정 거리(예, 2m)만큼 이격된 상태이므로, 각 영역의 세로 길이(LL1)는 비록 표시부(40)의 표시 상에서는 서로 다른 크기를 갖고 있지만 실제 도로상에서는 모두 동일한 거리이고, 한 예로, 설정 거리인 2m가 된다.Therefore, the distance meter DI is divided into a plurality of areas by the plurality of horizontal lines HL, and the vertical length of each area (i.e., the distance between two adjacent horizontal lines HL in the traveling direction) The vertical lengths LL1 of the respective regions are the same distance on the actual roads although they have different sizes on the display of the
이처럼, 표시부(40)에 거리계(DI)가 표시되면, 동작 제어부(20)는 저장부(30)에 저장된 해당 장애물 후보 영역(OCA)의 각 화소에 대한 위치 정보를 이용하여 장애물 후보 영역(OCA)에서 가장 아래쪽에 위치한 화소행의 화소에서 최좌측에 위치한 화소의 위치(이하, '장애물 최좌측 화소 위치'라 함)와 최우측에 위치한 화소의 위치(이하, '장애물 최우측 화소 위치'라 함)를 판정한다(S123).When the distance meter DI is displayed on the
다음, 동작 제어부(20)는 거리계(DI)가 표시부(40)에 표시할 때 저장부(30)에 저장된 거리계(DI)에 대한 화소의 위치 정보를 이용하여, 거리계(DI)의 가장 아래쪽 가로선(LH)에 해당하는 가장 아래 쪽 화소 행의 좌좌측 화소의 위치(이하, '거리계 최좌측 화소 위치'라 함)(PXX11,Y11)와 최우측 화소의 위치(이하, '거리계 최우측 화소 위치'라 함)(PXX12,Y11)를 읽어온다(S124).Next, the
그런 다음, 동작 제어부(20)는 장애물 최좌측 화소 위치가 거리계 최좌측 화소 위치와 동일하거나 더 오른쪽에 위치하는지 판단한다(S125).Then, the
장애물 최좌측 화소 위치가 거리계 최좌측 화소 위치와 동일하거나 더 오른쪽에 위치하는 것으로 판정되면, 동작 제어부(20)는 장애물 최우측 화소 위치가 거리계 최우측 화소 위치와 동일하거나 더 왼쪽에 위치하는지 판단한다(S127).If it is determined that the leftmost pixel position of the obstacle is equal to or further to the right of the leftmost pixel position of the distance system, the
하지만, 장애물 최좌측 화소 위치가 거리계 최좌측 화소 위치보다 왼쪽에 위치한 상태로 판정되면, 동작 제어부(20)는 해당 장애물 후보 영역(OCA)을 최종 장애물 영역으로 선택하지 않고 배제시킨다(S126).However, if it is determined that the leftmost pixel position of the obstacle is located to the left of the leftmost pixel position of the distance system, the
단계(S127)에서 장애물 최우측 화소 위치가 거리계 최우측 화소 위치와 동일하거나 더 왼쪽에 위치하는 것으로 판정되면, 동작 제어부(20)는 비로소 해당 장애물 후보 영역(OCA)을 최종 장애물 영역으로 정한다(S129).If it is determined in step S127 that the rightmost pixel position of the obstacle is equal to or further to the left of the rightmost pixel position of the distance system, the
단계(S127)에서 장애물 최우측 화소 위치가 거리계 최우측 화소 위치보다 오른쪽에 위치하는 것으로 판정되면, 동작 제어부(20)는 비로소 해당 장애물 후보 영역(OCA)을 최종 장애물 영역에서 배제시킨다(S128).If it is determined in step S127 that the rightmost pixel position of the obstacle is located to the right of the rightmost pixel position of the distance system, the
이와 같이, 동작 제어부(20)는 모든 장애물 후부 영역(OCA)에 대해 장애물 최좌측 화소 위치 및 최우측 화소 위치를 각각 거리계 최좌측 화소 위치 및 거리계 촤우측 화소 위치와 각각 비교하여, 거리계 촤좌측 화소 위치와 거리계 좌측 화소 위치에 의해 정해진 화소행의 범위(X11-X12) 내에 위치하는 장애물 후보 영역(OCA)만을 최종 장애물 영역을 선택한다(S130).In this manner, the
이때, 동작 제어부(20)는 장애물 최좌측 및 최우측 화소 위치와 거리계 최우측 및 최우측 화소 위치의 행 위치와 열 위치에서 행 위치만을 서로 비교할 수 있다. At this time, the
이처럼, 최종 장애물 영역이 판정되면, 동작 제어부(20)는 최종 장애물 영역 중에서 거리계 영역의 가장 하단부에 위치한 최종 장애물 영역을 판정하여(S131), 거리계 영역의 가장 하단부에 위치한 최종 장애물 영역(이하, 이 최종 장애물 영역을 '최인접 장애물 영역'이라 함)을 차량과 가장 인접하게 위치한 장애물로서 판정한다.When the final obstacle area is determined, the
다음, 동작 제어부(20)는 거리계 영역 내에 위치하는 최인접 장애물 영역의 위치를 이용하여 차량(즉, 본 예의 전방 장애물 감지 장치가 장착된 차량)과 최인접 장애물 영역 간의 이격 거리를 판정하고(S132). 이때, 동작 제어부(20)는 최인접 장애물 영역의 중심 화소의 위치를 기준으로 하여 차량과의 이격 거리를 산출할 수 있다.Next, the
이처럼, 최인접 장애물 영역과 차량간의 이격 거리가 산출되면, 동작 제어부(20)는 산출된 이격 거리가 설정 거리 이하인지를 판단한다(S133).When the distance between the nearest obstacle area and the vehicle is calculated, the
산출된 이격 거리가 설정 거리 이하일 경우, 동작 제어부(20)는 차량과 최인접 장애물 영역으로 표시되는 장애물과의 충돌 위험이 있는 것으로 판정하여 경고부(50)로 경고 신호를 출력한다(S134).If the calculated distance is less than the set distance, the
따라서 경고부(50)는 동작 제어부(20)로부터 인가되는 경고 신호에 의해 동작하여 차량 운전자에게 전방의 장애물과의 충돌 위험을 경고하게 된다.Therefore, the
하지만, 산출된 이격 거리가 설정 거리를 초과할 경우, 동작 제어부(20)는 차량과 해당 장애물과의 충돌 위험이 없는 것으로 판정하여 초기 단계로 리턴한다(S100).However, if the calculated distance exceeds the set distance, the
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
10: 영상 획득부 20: 동작 제어부
30: 저장부 40: 표시부
50: 경고부10: Image acquisition unit 20: Operation control unit
30: storage unit 40: display unit
50: Warning section
Claims (6)
상기 영상 획득부에 연결되어 있고, 상기 원영상 데이터를 이용하여 장애물 후보 영상 데이터군을 생성하고, 상기 장애물 후보 영상 데이터군에서 장애물 후보 영역을 추출하고, 상기 장애물 후보 영역 중 상기 차량과 가장 인접하게 위치한 장애물 후보 영역 사이의 이격 거리를 판정하고, 판정된 이격 거리가 설정 거리 이하일 경우, 경고 신호를 출력하는 동작 제어부; 및
상기 동작 제어부와 연결되어 있고, 상기 경고 신호에 따라 동작하는 경고부;를 포함하고,
상기 장애물 후보 영역 추출은, 각 행마다 행 방향으로 차례로 배열되어 있는 복수의 화소를 설정한 제1 화소행 단위수로 나누고, 각 행마다 행 방향으로 나란히 위치한 복수의 화소를 복수의 제1 단위행 화소군(R1)으로 나눈 장애물 후보 영상 데이터군에서 각 제1 단위행 화소군(R1)에서 가장 왼쪽과 가장 오른쪽에 위치한 화소를 제외한 가운데 부분에 위치한 설정 개수의 화소(PXpr)를 추출하고, 열 방향으로 배열된 복수의 화소열을 설정된 제1 화소열 단위수로 나누고, 상기 복수의 화소열을 복수의 단위열 화소군(C11, C12)으로 나눠 복수의 예비 행방향 영상 데이터(PXpr) 중에서 두 개의 단위열 화소군(C11, C12) 중 아래쪽에 위치한 단위열 화소군(C12)에 속한 예비 열방향 영상 데이터(PXpc)를 추출하는 전방 장애물 감지 장치.An image acquiring unit for generating original image data for an image in a direction in which the vehicle is traveling;
An obstacle candidate image data group, which is connected to the image acquisition unit, generates an obstacle candidate image data group using the original image data, extracts an obstacle candidate region from the obstacle candidate image data group, An operation control unit for determining a distance between the obstacle candidate areas and outputting a warning signal when the determined distance is less than a set distance; And
And an alarm unit connected to the operation control unit and operating according to the warning signal,
The obstacle candidate region extraction is performed by dividing a plurality of pixels sequentially arranged in the row direction for each row by the number of first pixel line units that are set and arranging a plurality of pixels arranged in the row direction for each row in a plurality of first unit rows The set number of pixels PXpr located in the middle portion excluding the leftmost and rightmost pixels in each first unit row pixel group R1 in the obstacle candidate candidate image data group divided by the pixel group R1 is extracted, And dividing the plurality of pixel arrays into a plurality of unit column pixel groups (C11, C12) and dividing the plurality of preliminary row direction image data (PXpr) by a predetermined number Column direction image data PXpc belonging to the unit column pixel group C12 located below the unit column pixel groups C11 and C12.
상기 동작 제어부는 상기 원영상 데이터의 일부를 추출하여 처리용 영상 데이터를 생성하고, 상기 처리용 영상 데이터를 이진화시켜 이진화 영상 데이터를 생성하며, 상기 이진화 영상 데이터를 레이블링하여 상기 장애물 후보 영상 데이터군을 획득하는 전방 장애물 감지 장치.The method of claim 1,
The operation control unit extracts a part of the original image data to generate processing image data, generates binary image data by binarizing the processing image data, labels the binarized image data to generate the obstacle candidate image data group Obtained front obstacle detection device.
상기 동작 제어부는,
주행 시간이 주간일 때 상기 처리용 영상 데이터의 각 화소의 계조값이 설정 계조값 이상일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 백색을 표시하는 값으로 변환하고 상기 이진화 영상 데이터의 각 화소의 계조값이 상기 설정 계조값 미만일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 검은색을 표시하는 값으로 변환하여 상기 처리용 영상 데이터를 이진화 영상 데이터로 변환하고,
주행 시간이 야간일 때 상기 이진화 영상 데이터의 각 화소의 계조값이 설정 계조값 이상일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 검은색을 표시하는 값으로 변환하고 상기 이진화 영상 데이터의 각 화소의 계조값이 상기 설정 계조값 미만일 경우 '0'과 '1' 중에서 해당 화소의 이진화값을 백색을 표시하는 값으로 변환하여 상기 처리용 영상 데이터를 이진화 영상 데이터로 변환하는 전방 장애물 감지 장치.3. The method of claim 2,
The operation control unit,
When the gray scale value of each pixel of the processing video data is equal to or greater than the set gray level value when the running time is the week, the binarization value of the corresponding pixel among '0' and '1' is converted into a value for displaying white, Converts the binarization value of the corresponding pixel among '0' and '1' to a value for displaying black when the tone value of each pixel is less than the set tone value, converts the processing image data into binary image data,
When the driving time is night, when the tone value of each pixel of the binarized image data is equal to or greater than the set tone value, the binarization value of the corresponding pixel among '0' and '1' is converted into a value indicating black color, And converting the binarization value of the corresponding pixel among '0' and '1' to a value for displaying white when the tone value of each pixel is less than the set tone value, and converting the processing image data into binarized image data .
상기 동작 제어부는 상기 처리용 영상 데이터에서 주야간 판정용 영상 데이터를 추출하고, 상기 주야간 판정용 영상 데이터의 평균 계조값이 주야간 판정용 설정값 미만일 경우, 차량의 주행 시간을 야간으로 판정하고 상기 주야간 판정용 영상 데이터의 평균 계조값이 주야간 판정용 설정값 이상일 경우, 차량의 주행 시간을 주간으로 판정하는 전방 장애물 감지 장치.4. The method of claim 3,
Wherein the operation control unit extracts video data for day-and-night determination from the video data for processing, and when the average tone value of the video data for day / night determination is less than the setting value for day / night determination, When the average gradation value of the image data for the vehicle is equal to or larger than the set value for day / night determination, the running time of the vehicle is determined as the week.
상기 주야간 판정용 설정값은 상기 이진화 영상 데이터에서 검은색을 나타내는 화소의 총 개수와 백색을 나타내는 화소의 총 개수의 비에 따라 설정 가산치가 더해지거나 감산되어 변경되는 전방 장애물 감지 장치.5. The method of claim 4,
Wherein the setting value for day / night determination is added or subtracted according to a ratio of the total number of pixels showing black color and the total number of pixels showing white color in the binarized image data.
상기 동작 제어부는 장애물 후보 영역의 장애물 최좌측 화소 위치와 장애물 최우측 화소 위치가 거리계의 거리계 최좌측 화소 위치에 최우측 화소 위치에 의해 정해진 화소행의 범위 내에 위치하는 장애물 후보 영역을 최종 장애물 영역을 판정하고, 상기 차량과 상기 최종 장애물 영역 중 상기 차량에 가장 인접하게 위치한 최종 장애물 영역 간의 거리를 상기 이격 거리로 판정하는 전방 장애물 감지 장치.3. The method of claim 2,
The operation control unit may set the obstacle candidate region located in the range of the pixel row determined by the rightmost pixel position to the leftmost pixel position of the distance system of the distance meter as the final obstacle region as the obstacle candidate left- And determines a distance between the vehicle and a final obstacle area located nearest to the vehicle, out of the final obstacle area as the distance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150013608A KR101665340B1 (en) | 2015-01-28 | 2015-01-28 | Apparatus for sensing forward obstacle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150013608A KR101665340B1 (en) | 2015-01-28 | 2015-01-28 | Apparatus for sensing forward obstacle |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160093169A KR20160093169A (en) | 2016-08-08 |
KR101665340B1 true KR101665340B1 (en) | 2016-10-13 |
Family
ID=56711685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150013608A KR101665340B1 (en) | 2015-01-28 | 2015-01-28 | Apparatus for sensing forward obstacle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101665340B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100260184B1 (en) | 1995-12-27 | 2000-08-01 | 정몽규 | Device and method of a car monitoring |
JP2006050451A (en) | 2004-08-06 | 2006-02-16 | Sumitomo Electric Ind Ltd | Obstacle warning system and image processing apparatus |
JP2008026998A (en) | 2006-07-18 | 2008-02-07 | Sumitomo Electric Ind Ltd | Obstacle location calculation system and method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101707978B1 (en) | 2010-04-22 | 2017-02-20 | 에스엘 주식회사 | An apparatus and method for detecting vehicles |
KR101178508B1 (en) * | 2010-07-19 | 2012-09-07 | 포항공과대학교 산학협력단 | Vehicle Collision Alarm System and Method |
-
2015
- 2015-01-28 KR KR1020150013608A patent/KR101665340B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100260184B1 (en) | 1995-12-27 | 2000-08-01 | 정몽규 | Device and method of a car monitoring |
JP2006050451A (en) | 2004-08-06 | 2006-02-16 | Sumitomo Electric Ind Ltd | Obstacle warning system and image processing apparatus |
JP2008026998A (en) | 2006-07-18 | 2008-02-07 | Sumitomo Electric Ind Ltd | Obstacle location calculation system and method |
Also Published As
Publication number | Publication date |
---|---|
KR20160093169A (en) | 2016-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220250610A1 (en) | Vehicular automated parking system | |
US11386673B2 (en) | Brake light detection | |
US9317757B2 (en) | Method and apparatus for detecting a rear vehicle light | |
US10331956B2 (en) | Vehicle vision system with detection enhancement using light control | |
CN103080978B (en) | Object recognition equipment | |
CN107054358B (en) | Inclination detection for a two-wheeled vehicle | |
CN101185084B (en) | Method and a system for detecting a road at night | |
JP6176028B2 (en) | Vehicle control system, image sensor | |
EP2549457B1 (en) | Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system | |
US20170017848A1 (en) | Vehicle parking assist system with vision-based parking space detection | |
EP2879111A1 (en) | Image processing device | |
WO2011013586A1 (en) | Road shape recognition device | |
US20180114089A1 (en) | Attachable matter detection apparatus and attachable matter detection method | |
US11710294B2 (en) | Apparatus for estimating road parameter | |
JP6512920B2 (en) | Lane detection device and method thereof, lane display device and method thereof | |
CN102779430A (en) | Vision based night-time rear collision warning system, controller, and method of operating the same | |
US20140002655A1 (en) | Lane departure warning system and lane departure warning method | |
JP4980970B2 (en) | Image pickup means adjustment device and object detection device | |
CN103718214A (en) | Moving body detection device and moving body detection method | |
JP2007147564A (en) | Image recognition device and method thereof, and own vehicle position recognition device and method | |
EP3745714A1 (en) | Display control device and display system | |
US9376052B2 (en) | Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle | |
JP3606223B2 (en) | Vehicle side image generation method and vehicle side image generation device | |
KR101665340B1 (en) | Apparatus for sensing forward obstacle | |
EP2542452B1 (en) | Method of raindrop detection on a vehicle windscreen and driving assistance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
R401 | Registration of restoration |