KR20070004300A - Rear side approach vehicle warning method and system using image recognition - Google Patents
Rear side approach vehicle warning method and system using image recognition Download PDFInfo
- Publication number
- KR20070004300A KR20070004300A KR1020050059789A KR20050059789A KR20070004300A KR 20070004300 A KR20070004300 A KR 20070004300A KR 1020050059789 A KR1020050059789 A KR 1020050059789A KR 20050059789 A KR20050059789 A KR 20050059789A KR 20070004300 A KR20070004300 A KR 20070004300A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- recognition
- mode
- signal input
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
Abstract
Description
도 1은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 방법의 흐름도.1 is a flowchart of a rear side approach vehicle warning method using image recognition according to the present invention.
도 2는 본 발명에 의한 영상인식모드 선택방법을 나타낸 순서도.2 is a flowchart illustrating a method of selecting an image recognition mode according to the present invention.
도 3a 및 도 3b는 본 발명에 의한 주간의 후측방 접근 차량 경보 방법을 나타낸 순서도 및 그에 따른 그림.Figure 3a and Figure 3b is a flow chart and a diagram showing a daytime rear approach vehicle warning method according to the present invention.
도 4a 및 도 4b는 본 발명에 의한 야간의 후측방 접근 차량 경보 방법을 나타낸 순서도 및 그에 따른 그림.Figures 4a and 4b is a flow chart and a figure showing a night rear approach vehicle warning method according to the present invention.
도 5a 내지 도 5c는 본 발명에 의한 우천시의 후측방 접근 차량 경보 방법을 나타낸 순서도 및 그에 따른 그림.Figures 5a to 5c is a flow chart showing the rear side approach vehicle warning method in rainy weather according to the present invention and a diagram thereof.
도 6은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 시스템의 블록도.6 is a block diagram of a rear side approach vehicle warning system using image recognition according to the present invention.
* 도면의 주요부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
10 : 영상신호 입력수단 11 : 좌측 카메라10: video signal input means 11: the left camera
12 : 우측 카메라 20 : 차량 인식수단12: right camera 20: vehicle recognition means
21 : 이미지 선택부 22 : 프레임 추출부21: image selection unit 22: frame extraction unit
23 : 데이터 저장부 24 : 처리부23: data storage unit 24: processing unit
30 : 차량신호 입력수단 31 : 헤드램프 스위치30: vehicle signal input means 31: headlamp switch
32 : 와이퍼 스위치 33 : 주행속도 감지센서32: Wiper switch 33: Travel speed sensor
34 : 지시등 스위치 40 : 제어수단34: indicator light switch 40: control means
50 : 경고수단 51 : 엘이디50: warning means 51: LED
52 : 스피커52: speaker
본 발명은 영상인식을 이용한 후측방 접근 차량 경보 방법 및 시스템에 관한 것으로, 더욱 상세하게는 차량에 설치된 와이퍼, 헤드램프, 차속센서 등의 주행보조장치의 동작신호에 의해 차량이 주행하는 외부환경의 조건을 판별하고, 영상처리 알고리즘을 주간과 야간 및 우천시로 구분하여 적용함으로써, 상기 외부환경의 날씨변화 및 환경변화에 즉각적으로 대응하여 후측방의 차량을 감지하고 이를 운전자에게 알려줄 수 있도록 한 것이다.The present invention relates to a rear side approach vehicle warning method and system using image recognition, and more particularly, to an external environment in which a vehicle travels by an operation signal of a driving aid such as a wiper, a head lamp, and a vehicle speed sensor installed in a vehicle. By determining the conditions and applying image processing algorithms by dividing day, night and rainy weather, the vehicle of the rear side can be detected and notified to the driver by immediately responding to weather changes and environmental changes of the external environment.
일반적으로, 자동차(이하, 차량과 혼용함)라 함은 원동기를 사용하여 궤조 또는 가선에 의하지 않고 운전되는 운송기계로서, 그 구성으로는 엔진, 연료공급장 치, 동력전달장치, 현가 및 조향장치, 제동장치, 배출장치, 공조장치, 냉각 및 윤활장치 등이 있으며, 주로 승객이나 화물의 운송을 위해 사용되고 있다.In general, a vehicle (hereinafter referred to as a vehicle) is a transport machine that is driven by a motor and not driven by rails or wires, and includes an engine, a fuel supply device, a power transmission device, a suspension device, and a steering device. There is a brake, a discharge device, an air conditioner, a cooling and a lubrication device, and is mainly used for the transportation of passengers or cargo.
상기와 같은 차량의 주행 시 가장 중요한 것은 안전주행 및 교통사고의 예방이며, 이를 위해 차량의 자세제어, 차량구성장치들의 기능제어 등을 수행하는 다양한 보조장치 및 안전벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.The most important thing when driving such a vehicle is the safety driving and the prevention of traffic accidents. To this end, various auxiliary devices and safety devices such as seat belts and airbags that perform vehicle attitude control and function control of vehicle components are provided. It is mounted on.
특히, 차량의 주행 중 차선 변경 시, 후방으로부터 접근하는 차량에 대한 거리 및 상대속도 등에 대한 인식의 부족으로 인하여 사고를 유발시키게 되는 바, 차량의 후방으로부터 접근하는 다른 차량을 감지하여 알려주는 후측방 경보 장치가 설치되어 있다.In particular, when changing lanes while the vehicle is running, an accident may be caused by a lack of awareness of the distance and relative speed of the vehicle approaching from the rear, and the rear side detecting and informing another vehicle approaching from the rear of the vehicle. An alarm device is installed.
또한, 상기 후측방 경보 장치는 운전자가 사이드 미러를 통해서 관찰이 불가능한 사각지대에서 주행하는 다른 차량을 카메라로 촬영하고, 이를 영상인식 알고리즘을 통해 분석하여 차량을 감지하며, 차선 변경 시 상기와 같은 다른 차량의 존재를 운전자에게 알려주는 것이다.In addition, the rear-side warning device photographs another vehicle running in a blind spot where the driver cannot observe through a side mirror with a camera, and analyzes it through an image recognition algorithm to detect the vehicle, and when changing lanes, It is to inform the driver of the existence of the vehicle.
그러나 종래의 카메라 영상에 기반한 후측방 차량 경보 장치는 대칭성 이론이나 패턴인식과 같은 통계적인 인식 방법을 통해 후측방으로 접근하는 차량을 인식하도록 하고 있으나, 후측방으로 차량이 접근하게 되면 접근하는 차량의 대칭성 등이 깨져버리기 때문에, 상기 대칭성 이론이나 패턴인식과 같은 통계적인 인식 방법은 후측방 경보 장치의 영상처리 알고리즘으로 부적절하였다.However, the rear-vehicle vehicle warning system based on the conventional camera image allows the vehicle to approach the rear side through statistical recognition methods such as symmetry theory or pattern recognition, but when the vehicle approaches the rear side, Since symmetry and the like are broken, statistical recognition methods such as the symmetry theory and pattern recognition are inappropriate as image processing algorithms of the rear-side warning device.
또한, 상기 카메라 영상의 인식방법을 일괄적으로 적용하고 있는 바, 상기 카메라 영상은 날씨변화 및 환경변화 등의 외부환경(주간, 야간 및 우천)에 의해 민감하게 변화됨에도 불구하고, 상기 카메라 영상을 인식하기 위한 영상처리 알고리즘이 즉각적으로 대응하지 못하는 문제점이 있었다.In addition, the method of recognizing the camera image is collectively applied, and although the camera image is sensitively changed by external environment (day, night and rainy weather) such as weather change and environment change, There was a problem that the image processing algorithm for recognition does not respond immediately.
따라서 본 발명의 목적은 상기와 같은 종래의 문제점들을 해결하기 위한 것으로, 차량에 설치된 와이퍼, 헤드램프, 차속센서 등의 주행보조장치의 동작신호에 의해 차량이 주행하는 외부환경의 조건을 판별하고, 영상처리 알고리즘을 주간과 야간 및 우천시로 구분하여 적용함으로써, 상기 외부환경의 날씨변화 및 환경변화에 즉각적으로 대응하여 후측방의 차량을 감지할 수 있는 영상인식을 이용한 후측방 접근 경보 방법 및 시스템을 제공함에 있다.Accordingly, an object of the present invention is to solve the conventional problems as described above, by determining the conditions of the external environment in which the vehicle is driven by the operation signal of the driving assistance device such as a wiper, a headlamp, a vehicle speed sensor installed in the vehicle, By applying the image processing algorithm into daytime, nighttime and rainy weather, the rear side approach alarm method and system using image recognition that can detect the rear side vehicle immediately in response to the weather change and the environment change of the external environment. In providing.
또한, 본 발명의 다른 목적은 상기 영상처리 알고리즘에 의해 차량이 감지되면 이를 운전자에게 알려주며, 차량의 차선변경(좌우 지시등의 점등)시 좌측 또는 우측 후방으로부터의 접근차량이 있을 경우 이를 운전자에게 보다 적극적으로 경보함으로써, 운전자의 안전운전을 보장할 수 있도록 한 영상인식을 이용한 후측방 접근 경보 방법 및 시스템을 제공함에 있다.In addition, another object of the present invention is to notify the driver when the vehicle is detected by the image processing algorithm, and more aggressively to the driver when there is an approach vehicle from the left or right rear when the vehicle lane change (lighting of the left and right indicator lights) The present invention provides a method and a system for rearward approaching alarm using image recognition to ensure a safe driving of a driver.
본 발명의 다른 목적은 사용상의 편리성이 개선되어 보다 상품성이 향상되도록 한 영상인식을 이용한 후측방 접근 경보 방법 및 시스템을 제공함에 있다.Another object of the present invention is to provide a method and system for rearward access warning using image recognition, which improves the convenience of use and improves the merchandise.
상기 목적을 달성하기 위한 본 발명에 따른 영상인식을 이용한 후측방 접근 경보 방법은, 차량의 일측에 설치된 하나 이상의 촬영장치로부터 좌우측 후방의 영상이미지를 입력받는 단계와, 상기 차량의 주행보조장치로부터 외부환경에 따른 차량의 주행정보를 입력받는 단계와, 상기 차량의 주행정보를 분석하여, 상기 입력된 영상이미지의 인식모드를 선택하는 단계와, 상기 선택된 인식모드에 따라 상기 영상이미지를 분석하여 차량의 이미지를 검출하는 단계와, 상기 검출된 차량의 이미지에 따른 후방정보데이터와 해당 인식모드에 따른 경보조건을 비교하는 단계 및 상기 후방정보데이터가 경보조건을 만족할 경우, 해당 경보장치를 작동시키는 단계로 이루어진 것을 특징으로 한다.In order to achieve the above object, the rear-side approach warning method using the image recognition according to the present invention comprises the steps of receiving the image image of the left and right rear from one or more photographing apparatus installed on one side of the vehicle, the external from the driving aid of the vehicle Receiving driving information of a vehicle according to an environment; analyzing driving information of the vehicle; selecting a recognition mode of the input image image; and analyzing the image image according to the selected recognition mode; Detecting an image; comparing the rear information data according to the detected image of the vehicle with an alarm condition according to the corresponding recognition mode; and if the rear information data satisfies the alarm condition, operating the corresponding alarm device. Characterized in that made.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 영상인식을 이용한 후측방 접근 경보 시스템은, 차량의 일측에 설치되어 차량의 좌우측 후방의 영상을 촬영하여 영상이미지를 출력하는 영상신호입력수단과, 상기 영상신호입력수단에서 출력된 영상이미지를 외부환경에 따른 인식모드에 의해 분석하여 차량의 이미지를 추출하며, 상기 차량에 대한 후방정보데이터를 산출하는 차량인식수단과, 외부환경에 따른 차량의 주행정보를 입력받는 차량신호입력수단과, 상기 차량신호입력수단으로부터 입력된 주행정보에 의해 영상이미지 인식모드를 선택하고, 상기 선택된 인식모드를 상기 차량인식수단으로 전송하며, 상기 차량인식수단에 의해 산출된 후방정보데이터와 경보조건을 비교한 후 그 결과에 따른 제어신호를 출력하는 제어수단 및 상기 제어수단으로부터 출력된 제어신호에 의해 작동되는 경고수단으로 구성된 것을 특징으로 한다.In addition, the rear-side approach warning system using the image recognition according to the present invention for achieving the above object is installed on one side of the vehicle image signal input means for outputting a video image by taking an image of the left and right rear of the vehicle, and Vehicle recognition means for extracting the image of the vehicle by analyzing the image image output from the image signal input means by the recognition mode according to the external environment, and calculating the rear information data for the vehicle, and driving information of the vehicle according to the external environment Selects an image image recognition mode based on the vehicle signal input means receiving the signal and driving information input from the vehicle signal input means, transmits the selected recognition mode to the vehicle recognition means, and calculates the vehicle recognition means calculated by the vehicle recognition means; Control means for comparing the rear information data and the alarm condition and outputs a control signal according to the result and the control A warning means which is operated by a control signal output from the stage characterized in that configured.
따라서 외부환경의 날씨변화 및 환경변화에 즉각적으로 대응하여 후측방의 차량을 감지하고 이를 운전자에게 알려줌으로써, 운전자의 안전운전을 보장할 수 있는 것이다.Therefore, in response to weather changes and environmental changes in the external environment, the driver of the rear side can be detected and notified to the driver, thereby ensuring the driver's safe driving.
또, 사용상의 편리성이 개선되어 보다 상품성이 향상되는 것이다.In addition, the ease of use is improved, and the merchandise is more improved.
이하에서 상기한 본 발명의 바람직한 실시 예를 첨부된 도면을 참고하여 상세히 설명하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 방법의 흐름도로서, 차량이 도로를 주행하게 되면, 상기 차량의 일측에 설치된 하나 이상의 촬영장치로부터 촬영된 좌측 또는 우측 후방의 영상이미지를 입력(S101)받는다.1 is a flowchart of a rearward approach vehicle warning method using image recognition according to the present invention. When the vehicle travels on a road, an image image of the left or right rear image captured by one or more photographing apparatuses installed on one side of the vehicle is shown. It receives an input (S101).
여기서, 상기 촬영장치는 상기 차량의 좌우측 사이드미러 일측에 설치되는 것이 바람직하나 이에 한정하는 것은 아니며, 상기 촬영장치의 크기 및 성능은 당업자의 요구에 따라 다양하게 적용될 수 있다.Here, the photographing apparatus is preferably installed on one side of the left and right side mirrors of the vehicle, but is not limited thereto. The size and performance of the photographing apparatus may be variously applied according to the needs of those skilled in the art.
또한, 상기 차량에는 방향지시등, 헤드램프, 와이퍼, 차속감지센서 등의 다양한 주행보조장치가 설치되어 있는 바, 상기 차량의 주행보조장치로부터 외부환경에 따른 차량의 주행정보를 입력(S102)받게 된다.In addition, the vehicle is provided with various driving aids such as a direction indicator, a headlamp, a wiper, and a speed sensor, and receives driving information of the vehicle according to an external environment from the driving aid of the vehicle (S102). .
예를 들어, 헤드램프가 점등되면 야간주행으로 판단하고, 와이퍼가 작동되면 우천시 주행으로 판단하게 되며, 좌우측방향지시등의 점등에 의해 좌우측으로의 차선변경을 감지할 수 있게 되는 것이다.For example, when the headlamp is turned on, it is determined as night driving, and when the wiper is operated, it is determined as driving in the rain, and lane changes to the left and right sides can be detected by turning on the left and right turn indicators.
상기와 같은 방법에 의해 차량의 주행정보를 분석하여, 현재 외부환경의 날씨변화 및 환경변화에 대하여 주간, 야간 또는 우천시임을 판단하여, 상기 입력된 영상이미지를 인식하기 위한 영상처리 알고리즘을 선택(S103)하고, 상기 선택된 인 식모드에 따라 상기 영상이미지를 분석하여 차량의 이미지를 검출(S104)한다.By analyzing the driving information of the vehicle by the above method, it is determined that the daytime, nighttime or rainy weather against the weather change and the environmental change of the current external environment, and selects an image processing algorithm for recognizing the input image image (S103). In step S104, the image of the vehicle is detected by analyzing the image according to the selected recognition mode.
여기서, 상기 주간, 야간 또는 우천시에 따라 상기 영상이미지를 분석하기 위한 영상처리 알고리즘은 당업자의 요구에 따라 다양하게 적용될 수 있으며, 바람직한 일예를 하기에서 보다 자세히 설명하기로 한다.Here, the image processing algorithm for analyzing the image image according to the day, night or rainy weather can be variously applied according to the needs of those skilled in the art, a preferred example will be described in more detail below.
상기 검출된 차량의 이미지에 의해 후방차량의 상대속도 및 접근거리 등의 후방정보데이터를 산출하고, 해당 인식모드에 따른 경보조건(주간, 야간 및 우천시 안전거리 및 제한속도 등)을 비교(S105)하며, 상기 후방정보데이터가 경보조건을 만족(안전거리 미확보, 제한속도 초과 등)할 경우, 해당 경보장치를 작동(S106)시켜 운전자에게 알려주게 되는 것이다.The rear information data such as the relative speed and the approach distance of the rear vehicle are calculated based on the detected image of the vehicle, and the alarm conditions (day, night and rainy days, safety distance and speed limit, etc.) according to the corresponding recognition mode are compared (S105). And, if the rear information data satisfies the alarm condition (unsafe distance, exceeding the speed limit, etc.), the corresponding alarm device is operated (S106) to inform the driver.
도 2는 본 발명에 의한 영상인식모드 선택방법을 나타낸 순서도로서, 상기한 바와 같이 차량의 주행보조장치인 헤드램프 및 와이퍼의 작동여부에 대한 정보를 수신(S201)받게 된다.2 is a flowchart illustrating a method for selecting an image recognition mode according to the present invention, and as described above, information on whether the headlamp and the wiper, which are driving aids of the vehicle, is operated is received (S201).
상기 헤드램프가 오프일 경우(S202), 상기 와이퍼가 작동되지 않으면(S203) 주간 모드로 판단(204)하고, 상기 와이퍼가 작동되면(S203) 주간 우천 모드로 판단(S205)한다.When the headlamp is turned off (S202), if the wiper is not operated (S203), it is determined as a day mode (204), and when the wiper is operated (S203), it is determined as a weekly rain mode (S205).
또한, 상기 헤드램프가 온일 경우(S202), 상기 와이퍼가 작동되지 않으면(S206) 야간 모드로 판단(207)하고, 상기 와이퍼가 작동되면(S206) 야간 우천 모드로 판단(S208)하며, 상기 판단된 모드를 전송(S209)하게 된다.In addition, when the headlamp is on (S202), if the wiper is not operated (S206) is determined in the night mode (207), if the wiper is operated (S206) is determined in night rain mode (S208), the determination The transmitted mode is transmitted (S209).
도 3a는 본 발명에 의한 주간의 후측방 접근 차량 경보 방법을 나타낸 순서도이고, 도 3b는 그에 따른 그림을 나타낸 것으로, 주간에 촬영되는 영상이미지는 차량의 그림자나 타이어와 같은 블랙이미지의 영상 성분을 갖게 된다. FIG. 3A is a flowchart illustrating a method of warning a rear side approach vehicle during the day according to the present invention, and FIG. 3B shows a picture according to the present invention. The image image captured during the day is an image component of a black image such as a vehicle shadow or a tire. Will have
따라서 영상이미지가 수신(S301)되면, 상기 수신된 이미지를 인버스 변환(S302)하고 임계값에 의해 이진화(S303)한다.Accordingly, when the video image is received (S301), the received image is inversely transformed (S302) and binarized (S303) by a threshold value.
그리고 인접 차선 검출에 의한 검색 영역 모델링에 의해 상기 인버스 이진 이미지로부터 검색 영역을 설정(S304)하고, 상기 인버스 이진 이미지의 기하학적 모델링(S305)을 통해 블럽 레이블링(S306) 및 병합(S307)에 의해 박스 영역을 추출하여 차량의 후보를 검출(S308)한다.Then, a search region is set from the inverse binary image by search region modeling by detecting adjacent lanes (S304), and a box is generated by blob labeling (S306) and merging (S307) through geometric modeling (S305) of the inverse binary image. The candidate region of the vehicle is detected by extracting the region (S308).
상기와 같이 검출된 다수의 차량 후보 이미지로부터 에지(Edge)의 체크에 의해 최종적으로 차량을 검출(S309)한다.The vehicle is finally detected by checking the edge from the plurality of vehicle candidate images detected as described above (S309).
상기 수신된 이미지와 검출된 차량의 이미지에 의해 상기 차량까지의 거리 및 상기 차량과의 상대속도로 이루어진 후방정보데이터를 산출(S310)하고, 상기 후방정보데이터가 경보조건을 만족(S311)할 경우, 상기 경보조건이 만족되면 시각정보를 전달하는 표시장치, 예를 들어 엘이디로 구성된 경보장치를 작동(S312)시킨다.When the rear information data consisting of the distance to the vehicle and the relative speed with the vehicle is calculated based on the received image and the detected image of the vehicle (S310), and the rear information data satisfies an alarm condition (S311). When the alarm condition is satisfied, the alarm device configured to transmit visual information, for example, an LED, operates the alarm device (S312).
여기서, 상기 엘이디는 후방차량과의 거리에 따라 녹색(안전), 주황색(접근) 적색(위험) 등으로 구분하여 출력할 수 있다.Here, the LED may be output by dividing the green (safety), orange (approaching) red (danger), etc. according to the distance to the rear vehicle.
이때, 차량의 멀티펑션스위치로부터 방향지시 신호가 입력되면 청각정보를 전달하는 음출력장치, 예를 들어 스피커로 구성된 경보장치를 작동(S312)시켜, 경보음 등을 출력하게 된다.At this time, when a direction indication signal is input from the multi-function switch of the vehicle, a sound output device for transmitting auditory information, for example, an alarm device composed of a speaker is operated (S312), and an alarm sound is output.
도 4a는 본 발명에 의한 야간의 후측방 접근 차량 경보 방법을 나타낸 순서 도이고, 도 4b는 그에 따른 그림을 나타낸 것으로, 야간에 촬영되는 영상이미지는 주간에서의 영상과 달리 차량의 그림자나 타이어와 같은 영상 성분을 찾기가 어렵게 된다.Figure 4a is a flow chart illustrating a method of warning the rear side approach vehicle at night according to the present invention, Figure 4b is a diagram according to that, the image image taken at night is different from the image of the day and the shadow of the vehicle tires and tires The same image component becomes difficult to find.
따라서 야간에서의 영상은 강렬한 광원인 후방차량의 헤드램프 영상 성분에 의해 후방차량을 검출하게 된다.Therefore, the image at night detects the rear vehicle by the headlamp image component of the rear vehicle which is an intense light source.
즉, 영상이미지가 수신(S401)되면, 상기 수신된 이미지를 이진 영상 변환(S402)하고 검색 영역을 설정(S403)한 후, 기하학적 모델링(S404)과 블럽 레이블링(S405) 및 병합(S406)에 의해 차량 후보를 검출(S207)하게 된다.That is, when an image image is received (S401), the received image is converted to binary image (S402) and a search area is set (S403), and then geometrical modeling (S404) and blob labeling (S405) and merging (S406). The vehicle candidate is detected (S207).
상기와 같이 검출된 다수의 차량 후보 이미지로부터 헤드램프 영상의 특징에 의해 최종적으로 차량을 검출(S408)한다.The vehicle is finally detected by the characteristics of the headlamp image from the plurality of vehicle candidate images detected as described above (S408).
상기 수신된 이미지와 검출된 차량의 이미지에 의해 상기 차량까지의 거리 및 상기 차량과의 상대속도를 계산(S409)하고, 상기 계산 결과가 위험으로 판단(S410)되면 경보장치를 작동(S411)시킨다.The distance to the vehicle and the relative speed between the vehicle are calculated based on the received image and the image of the detected vehicle (S409). When the calculation result is determined to be dangerous (S410), an alarm device is activated (S411). .
도 5a 및 도 5b는 본 발명에 의한 우천시의 후측방 접근 차량 경보 방법을 나타낸 순서도이고, 도 5c는 그에 따른 그림을 나타낸 것으로, 우천시에는 인버스영상에 의한 검출 방법과 헤드램프 검출 방법을 혼용한다.5A and 5B are flowcharts illustrating a rear side approach vehicle warning method in rainy weather according to the present invention, and FIG. 5C is a diagram according to the present invention. In rainy weather, a detection method using an inverse image and a headlamp detection method are used.
즉, 영상이미지가 수신(S501)되면, 상기 수신된 이미지를 인버스 변환(S502)하고 임계값에 의해 이진화(S503)한다.That is, when a video image is received (S501), the received image is inversely transformed (S502) and binarized by a threshold value (S503).
그리고 상기 인버스 이진 이미지로부터 검색 영역을 설정(S504)하고, 상기 인버스 이진 이미지의 기하학적 모델링(S505)을 통해 블럽 레이블링(S506) 및 병합 (S507)에 의해 박스 영역을 추출하여 차량의 후보를 검출(S508)한다.Then, a search region is set from the inverse binary image (S504), and a box region is extracted by blob labeling (S506) and merging (S507) through geometric modeling (S505) of the inverse binary image to detect a candidate of the vehicle ( S508).
만약, 상기와 같은 인버스 방법에 의해 차량이 검출되지 못할 경우(S510), 상기 수신된 이미지를 이진 영상 변환(S511)하고 기하학적 모델링(S512)을 한 후, 검색 영역을 추출(S514)한다.If the vehicle is not detected by the inverse method as described above (S510), the received image is binary image transformed (S511), geometrical modeling (S512), and then the search region is extracted (S514).
이때, 우천시에는 차량의 헤드램프가 도로에 반사되는 바, 상기와 같이 추출된 검색 영역에서 헤드램프 쌍 영역을 추출(S515)하여 최종적으로 차량을 검출한다.At this time, in the rain, the headlamp of the vehicle is reflected on the road, and thus, the headlamp pair region is extracted from the extracted search region (S515) and finally the vehicle is detected.
상기 수신된 이미지와 검출된 차량의 이미지에 의해 상기 차량까지의 거리 및 상기 차량과의 상대속도를 계산(S517)하고, 상기 계산 결과가 위험으로 판단(S518)되면 경보장치를 작동(S519)시키게 된다.The distance to the vehicle and the relative speed with the vehicle are calculated based on the received image and the image of the detected vehicle (S517). When the calculation result is determined to be dangerous (S518), the alarm device is activated (S519). do.
도 6은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 시스템의 블록도로서, 영상신호입력수단(10), 차량인식수단(20), 차량신호입력수단(30), 제어수단(40), 경고수단(50)으로 구성된다.6 is a block diagram of a rear-side approach vehicle warning system using image recognition according to the present invention, wherein image signal input means 10, vehicle recognition means 20, vehicle signal input means 30, and control means 40 are shown. , Warning means (50).
상기 영상신호입력수단(10)은 차량의 일측에 설치되어 차량의 좌우측 후방의 영상을 촬영하여 영상이미지를 출력하는 것으로, 상기 차량의 좌측 후방의 영상을 촬영하고, 상기 촬영된 영상이미지를 상기 차량인식수단(20)으로 전송하는 좌측카메라(11)와, 상기 차량의 우측 후방의 영상을 촬영하고, 상기 촬영된 영상이미지를 상기 차량인식수단(20)으로 전송하는 우측카메라(12)로 구성된다.The video signal input means 10 is installed at one side of the vehicle to output an image image by taking an image of the left and right rear of the vehicle, to take an image of the left rear of the vehicle, and to take the captured image image It consists of a
여기서, 상기 좌측카메라(11) 및 우측카메라(12)의 설치위치는 당업자의 요구에 따라 다양하게 적용될 수 있음은 당연하다.Here, it is obvious that the installation positions of the
상기 차량인식수단(20)은 상기 영상신호입력수단(10)에서 출력된 영상이미지를 외부환경에 따른 인식모드에 의해 분석하여 차량의 이미지를 추출하며, 상기 차량에 대한 후방정보데이터를 산출하는 것으로, 이미지선택부(21), 프레임추출부(22), 데이터저장부(23), 처리부(24)로 구성된다.The vehicle recognition means 20 extracts an image of the vehicle by analyzing the image image output from the image signal input means 10 in a recognition mode according to an external environment, and calculates rear information data for the vehicle. And an
상기 이미지선택부(21)는 상기 영상신호입력수단(10)의 좌측카메라(11) 및 우측카메라(12)에서 출력되는 영상이미지 중 어느 하나를 선택하는 것으로, 상기 제어수단(40)으로부터 전송된 선택제어신호에 의해 해당 영상이미지를 선택하게 된다.The
상기 프레임추출부(22)는 상기 이미지선택부(21)에서 선택된 영상이미지로부터 어느 하나의 화면을 추출하는 것으로, 상기 이미지선택부(21)에 의해 선택된 좌측 또는 우측 후방의 영상이미지의 일부를 정지된 이미지로 추출하는 것이다.The
상기 데이터저장부(23)는 상기 프레임추출부(22)에서 추출된 화면을 저장하는 것으로, 저장방법 및 저장장치의 구성에 대해서는 특정한 것에 한정하지 않음은 물론이다.The
상기 처리부(24)는 상기 데이터저장부(23)에 저장된 이미지를 인식모드에 의해 분석하여 차량의 이미지를 추출하고, 상기 차량에 대한 후방정보데이터를 산출하는 것으로, 상기 차량의 이미지 추출 및 후방정보데이터의 상출 방법은 상기한 방법에 의해 선택된다.The
상기 차량신호입력수단(30)은 외부환경에 따른 차량의 주행정보를 입력받는 것으로, 차량에 설치된 다양한 주행보조장치로부터 동작의 여부에 따른 신호를 전 송받는 것이다.The vehicle
상기 차량신호입력수단(30)은 바람직하게 차량에 설치된 헤드램프의 점등여부를 감지하는 헤드램프스위치(31)와, 차량에 설치된 와이퍼의 작동여부를 감지하는 와이퍼스위치(32)와, 차량의 주행속도를 감지하는 주행속도감지센서(33) 및 차량의 좌우측에 설치된 방향지시등의 점등여부를 감지하는 지시등스위치(34)를 포함하여 구성된다.The vehicle
상기 제어수단(40)은 상기 차량신호입력수단(30)으로부터 입력된 주행정보에 의해 영상이미지 인식모드를 선택하고, 상기 선택된 인식모드를 상기 차량인식수단(20)으로 전송하며, 상기 차량인식수단(20)에 의해 산출된 후방정보데이터와 경보조건을 비교한 후 그 결과에 따른 제어신호를 출력하는 것이다.The control means 40 selects an image image recognition mode based on the driving information input from the vehicle signal input means 30, transmits the selected recognition mode to the vehicle recognition means 20, and the vehicle recognition means. The rear information data calculated by (20) is compared with the alarm condition, and then a control signal is output according to the result.
여기서 상기 경보조건의 외부환경(주간, 야간, 우천시)에 따른 안전거리 및 제한속도 등을 말하며, 당업자의 요구에 따라 다양하게 적용될 수 있다.Here, it refers to the safety distance and the speed limit according to the external environment (day, night, rainy weather) of the alarm condition, it can be variously applied according to the needs of those skilled in the art.
상기 경고수단(50)은 좌우측 후방으로부터 차량이 접근하고 있음을 운전자에게 알려주기 위한 것으로, 상기 제어수단(40)으로부터 출력된 제어신호에 의해 작동되며, 시각정보를 전달하는 하나 이상의 엘이디(51) 및 상기 경고수단(50)은 청각정보를 전달하는 스피커(52)를 포함하여 구성된다.The warning means 50 is for informing the driver that the vehicle is approaching from the left and right rear, is operated by a control signal output from the control means 40, one or
상기와 같이 구성된 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 시스템의 작동을 살펴보면, 운전자가 차량을 주행하게 되면, 상기 영상신호입력수단(10)의 좌측카메라(11) 및 우측카메라(12)로부터 좌우측 후방의 영상이미지가 촬영된다.Looking at the operation of the rear-side approach vehicle warning system using the image recognition according to the present invention configured as described above, when the driver is driving the vehicle, the
또한, 운전자에 의해 조작되는 주행보조장치의 동작여부를 상기 차량신호입력수단(30)이 지속적으로 감지하게 된다.In addition, the vehicle signal input means 30 continuously detects whether the driving assistance device operated by the driver is operated.
상기 제어수단(40)은 상기 차량신호입력수단(30)의 헤드램프스위치(31)로부터 오프신호가 전송되면 주간모드를 선택하고, 상기 차량신호입력수단(30)의 헤드램프스위치(31)로부터 온신호가 전송되면 야간모드를 선택하며, 상기 차량신호입력수단(30)의 와이퍼스위치(32)로부터 온신호가 전송되면 우천모드를 선택하게 된다.The control means 40 selects the day mode when the off signal is transmitted from the
상기와 같이 선택된 모드는 차량인식수단(20)의 처리부(24)로 전송되며, 상기 처리부(24)의 모드선택부(24a)는 전송된 선택모드에 따른 알고리즘을 로딩하게 된다.The mode selected as described above is transmitted to the
이후, 상기 차량인식수단(20)의 처리부(24)는 상기 영상신호 입력수단(10)으로부터 촬영되어 전송된 이미지를 분석함에 있어, 상기 전송받은 인식모드에 따라 영상처리 알고리즘을 수행하게 된다.Subsequently, the
또한, 상기 차량인식수단은 상기 영상처리 알고리즘에 의해 검출된 차량의 이미지로부터 상기 차량과의 거리 및 상대속도 등의 후방정보데이터를 산출하게 된다.In addition, the vehicle recognition means calculates rear information data such as distance and relative speed from the vehicle from the image of the vehicle detected by the image processing algorithm.
상기 제어수단(40)은 상기 산출된 후방정보데이터와 경보조건을 비교한 후 그 결과에 따른 제어신호를 출력하며, 특히 상기 후방정보데이터에 포함된 후방차량과의 거리에 따라 서로 다른 제어신호를 출력한다.The control means 40 compares the calculated rear information data with an alarm condition and outputs a control signal according to the result. In particular, the control means 40 provides different control signals according to the distance from the rear vehicle included in the rear information data. Output
상기 제어신호를 전송받은 경고수단(50)은 상기 서로 다른 제어신호에 따라 하나 이상의 엘이디(51)를 점등하게 되며, 상기 후방차량과의 거리가 일정거리 이 상일 경우 녹색엘이디(안전)를 점등하고, 상기 후방차량과의 거리가 근거리일 경우에는 적색엘이디(위험)를 점등하게 되며, 상기와 같은 후방차량과의 거리에 따른 하나 이상의 엘이디(51)의 점등방법은 당업자의 요구에 따라 다양하게 적용될 수 있다.The warning means 50 receiving the control signal turns on one or
한편, 운전자가 멀티펑션스위치를 조작함에 따라 상기 차량신호입력수단(30)의 지시등스위치(34)로부터 좌측에 설치된 방향지시등 또는 우측에 설치된 방향지시등 중 어느 하나의 온신호가 상기 제어수단(40)으로 전송되면, 상기 제어수단(40)은 온상태로 전환된 방향지시등의 설치위치에 따른 방향제어신호를 상기 차량인식수단(20)의 이미지선택부(21)로 전송한다.On the other hand, as the driver operates the multi-function switch from the indicator
즉, 좌측 지시등이 점등되면 좌측 카메라(11)에서 촬영된 이미지를 선택하기 위한 선태제어신호를 상기 차량인식수단(20)의 이미지선택부(21)로 전송하고, 우측 지시등이 점등되면 우측 카메라(12)에서 촬영된 이미지를 선택하기 위한 선태제어신호를 상기 차량인식수단(20)의 이미지선택부(21)로 전송한다.That is, when the left indicator light is turned on, the selection control signal for selecting an image captured by the
상기 이미지선택부(21)에서 선택된 이미지는 상기와 같은 방법에 의해 영상처리되어 후방 차량과의 거리 및 상대속도가 검출되며, 상기 제어수단(40)은 상기 검출된 정보와 경보조건을 비교하게 된다.The image selected by the
만약 검출된 정보가 경보조건을 만족하게 될 경우, 상기 제어수단(40)은 경고수단(50)의 스피커(52)를 작동시키기 위한 제어신호를 출력하며, 상기 스피커(52)는 전송된 제어신호에 따라 경보음을 출력하게 된다.If the detected information satisfies the alarm condition, the control means 40 outputs a control signal for operating the
즉, 해당 차량이 차선을 유지하며 주행할 경우에는 후방에서 접근하는 차량 의 여부만을 시각적으로 알려주게 되고, 상기 해당 차량이 차선을 변경하게 되면 변경하고자 하는 차선의 후방에서 접근하는 차량이 있을 경우, 위험한 상황임을 청각적으로 알려주게 되는 것이다.That is, when the vehicle keeps the lane, only the vehicle approaching from behind is visually informed. When the vehicle changes the lane, when the vehicle approaches the rear of the lane to be changed, Hearing the situation is dangerous.
상기 본 발명은 당업자의 요구에 따라 기본 개념을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다.The present invention may be modified in various ways without departing from the basic concept according to the needs of those skilled in the art.
상술한 바와 같이 본 발명에 따르면, 차량에 설치된 와이퍼, 헤드램프, 차속센서 등의 주행보조장치의 동작신호에 의해 차량이 주행하는 외부환경의 조건을 판별하고, 영상처리 알고리즘을 주간과 야간 및 우천시로 구분하여 적용함으로써, 후측방 경보 장치의 인식 성능을 향상시켜 실용성 및 효용성을 높일 수 있는 것이다.As described above, according to the present invention, the conditions of the external environment in which the vehicle travels are determined by the operation signals of the driving aids such as the wiper, the headlamp, and the vehicle speed sensor installed in the vehicle, and the image processing algorithm is used during the day, night, and rainy days. By dividing and applying, the recognition performance of the rear side warning device can be improved, thereby increasing the practicality and utility.
따라서 빈번히 발생되는 외부환경의 날씨변화 및 환경변화 등에 대해서도 즉각적으로 대응하여 후측방 차량을 명확히 감지할 수 있는 것이다.Therefore, the rear side vehicle can be clearly detected by immediately responding to frequent weather changes and environmental changes.
또한, 상기 영상처리 알고리즘에 의해 차량이 감지되면 이를 운전자에게 알려주며, 차량의 차선변경(좌우 지시등의 점등)시 좌측 또는 우측 후방으로부터의 접근차량이 있을 경우 이를 운전자에게 보다 적극적으로 경보함으로써, 운전자의 안전운전을 보장할 수 있는 효과가 있다.In addition, when the vehicle is detected by the image processing algorithm, the driver is notified, and when there is an approach vehicle from the left or right rear when the vehicle lane change (lighting of the left and right indicator lights), the driver is alerted more aggressively. It is effective to ensure safe driving.
따라서 사용상의 편리성이 개선되어 보다 상품성이 향상되는 등의 매우 유용한 발명인 것이다.Therefore, it is a very useful invention such that the convenience in use is improved and the merchandise is more improved.
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050059789A KR100716338B1 (en) | 2005-07-04 | 2005-07-04 | Rear Side Approach Vehicle Warning Method and System using Image Recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050059789A KR100716338B1 (en) | 2005-07-04 | 2005-07-04 | Rear Side Approach Vehicle Warning Method and System using Image Recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070004300A true KR20070004300A (en) | 2007-01-09 |
KR100716338B1 KR100716338B1 (en) | 2007-05-11 |
Family
ID=37870566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050059789A KR100716338B1 (en) | 2005-07-04 | 2005-07-04 | Rear Side Approach Vehicle Warning Method and System using Image Recognition |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100716338B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100868406B1 (en) * | 2007-07-20 | 2008-11-11 | 현대자동차주식회사 | Warning system of operating method for vehicle |
DE102014009059A1 (en) | 2013-08-21 | 2015-02-26 | Mando Corporation | Side-reverse alarm system for vehicles and alarm control procedures for this |
CN105459892A (en) * | 2014-09-26 | 2016-04-06 | 通用汽车环球科技运作有限责任公司 | Alert systems and methods using transparent display |
JP2017068768A (en) * | 2015-10-01 | 2017-04-06 | アルパイン株式会社 | Vehicle detection alarm device and vehicle detection alarm method |
JP2017072881A (en) * | 2015-10-05 | 2017-04-13 | アルパイン株式会社 | Rear side vehicle warning device, method, and program |
WO2018124388A1 (en) * | 2016-12-29 | 2018-07-05 | 주식회사 캠시스 | Method and apparatus for notifying object around vehicle |
US20210001783A1 (en) * | 2019-07-05 | 2021-01-07 | Hyundai Mobis Co., Ltd. | System and method for displaying vehicle driving information |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100934942B1 (en) * | 2008-07-08 | 2010-01-06 | 신대현 | System for recoding emergency condition using avn for automobile |
KR100920283B1 (en) * | 2008-07-22 | 2009-10-08 | 한국오므론전장주식회사 | A camera control system for vehicle and method thereof |
KR101750201B1 (en) | 2016-03-28 | 2017-06-22 | 주식회사 와이즈오토모티브 | Blind spot detection device using behavior of vehicle |
CN106097610A (en) * | 2016-06-06 | 2016-11-09 | 上海交通大学 | Corner early-warning lamp |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0183299B1 (en) * | 1996-11-04 | 1999-04-15 | 삼성전자주식회사 | Navigation apparatus notifying surrounding situation of vehicle and control method thereof |
KR100207009B1 (en) * | 1997-03-27 | 1999-07-01 | 이종수 | Method and apparatus for detecting the traffic information using image processing |
KR100279942B1 (en) * | 1997-12-04 | 2001-02-01 | 심광호 | Image detection system |
JP3627914B2 (en) * | 2000-05-23 | 2005-03-09 | シャープ株式会社 | Vehicle perimeter monitoring system |
JP2004312402A (en) | 2003-04-08 | 2004-11-04 | Hitachi Ltd | System and apparatus for road monitoring |
-
2005
- 2005-07-04 KR KR1020050059789A patent/KR100716338B1/en not_active IP Right Cessation
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100868406B1 (en) * | 2007-07-20 | 2008-11-11 | 현대자동차주식회사 | Warning system of operating method for vehicle |
DE102014009059A1 (en) | 2013-08-21 | 2015-02-26 | Mando Corporation | Side-reverse alarm system for vehicles and alarm control procedures for this |
US9569970B2 (en) | 2013-08-21 | 2017-02-14 | Mando Corporation | Back-sideways alarming system for vehicle and alarming control method thereof |
CN105459892A (en) * | 2014-09-26 | 2016-04-06 | 通用汽车环球科技运作有限责任公司 | Alert systems and methods using transparent display |
JP2017068768A (en) * | 2015-10-01 | 2017-04-06 | アルパイン株式会社 | Vehicle detection alarm device and vehicle detection alarm method |
US10417505B2 (en) | 2015-10-01 | 2019-09-17 | Alpine Electronics, Inc. | Vehicle detection warning device and vehicle detection warning method |
JP2017072881A (en) * | 2015-10-05 | 2017-04-13 | アルパイン株式会社 | Rear side vehicle warning device, method, and program |
WO2018124388A1 (en) * | 2016-12-29 | 2018-07-05 | 주식회사 캠시스 | Method and apparatus for notifying object around vehicle |
US20210001783A1 (en) * | 2019-07-05 | 2021-01-07 | Hyundai Mobis Co., Ltd. | System and method for displaying vehicle driving information |
US11697380B2 (en) * | 2019-07-05 | 2023-07-11 | Hyundai Mobis Co., Ltd. | System and method for displaying vehicle driving information |
Also Published As
Publication number | Publication date |
---|---|
KR100716338B1 (en) | 2007-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100716338B1 (en) | Rear Side Approach Vehicle Warning Method and System using Image Recognition | |
US11676400B2 (en) | Vehicular control system | |
US9589464B2 (en) | Vehicular headlight warning system | |
US8121755B2 (en) | Sound-directed-outside-vehicle emitting device | |
KR101778624B1 (en) | Surround camera system for autonomous driving | |
US6360170B1 (en) | Rear monitoring system | |
US8599259B2 (en) | Exterior mirror for vehicle | |
JP2014515893A (en) | Method and apparatus for evaluating an image taken by a camera of a vehicle | |
EP2523173A1 (en) | Driver assisting system and method for a motor vehicle | |
JP2010113601A (en) | Vehicle warning apparatus | |
JP2012221303A (en) | In-vehicle lighting device for driving support and in-vehicle driving support device and driving support system | |
JP2008189148A (en) | Traveling state detection device | |
CN112339655A (en) | Adaptive control system and method for vehicle tail lamp and vehicle | |
CN113302651A (en) | Detecting sensor occlusion using compressed image data | |
EP4149809B1 (en) | Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog | |
CN113870618A (en) | Driving safety early warning system and method | |
KR101508663B1 (en) | Traffic control device using an image sensing device | |
JP2003009140A (en) | Pedestrian detector | |
WO2021161443A1 (en) | Visual recognition load value estimation device, visual recognition load value estimation system, visual recognition load value estimation method, and visual recognition load value estimation program | |
KR20220110400A (en) | Monitoring system of large vehicle based on radar sensor for enhancing collision protecting efficiency of blind spot | |
KR20220149102A (en) | Movable type smart traffic signal system | |
KR101850030B1 (en) | Apparatus and method for lane change assistance using illumination | |
KR20150117167A (en) | Apparatus and method for warnning vehicle of violation of safty light standard | |
JP7461512B2 (en) | Light distribution control system and sensing system | |
JP2015215746A (en) | Approaching vehicle detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130430 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140430 Year of fee payment: 8 |
|
LAPS | Lapse due to unpaid annual fee |