KR20220168342A - A traffic sign apparatus for school zone traffic safety - Google Patents

A traffic sign apparatus for school zone traffic safety Download PDF

Info

Publication number
KR20220168342A
KR20220168342A KR1020210077950A KR20210077950A KR20220168342A KR 20220168342 A KR20220168342 A KR 20220168342A KR 1020210077950 A KR1020210077950 A KR 1020210077950A KR 20210077950 A KR20210077950 A KR 20210077950A KR 20220168342 A KR20220168342 A KR 20220168342A
Authority
KR
South Korea
Prior art keywords
object recognition
sign
frame
safety
child protection
Prior art date
Application number
KR1020210077950A
Other languages
Korean (ko)
Other versions
KR102645892B1 (en
Inventor
황은규
Original Assignee
주식회사 인찬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인찬 filed Critical 주식회사 인찬
Priority to KR1020210077950A priority Critical patent/KR102645892B1/en
Publication of KR20220168342A publication Critical patent/KR20220168342A/en
Application granted granted Critical
Publication of KR102645892B1 publication Critical patent/KR102645892B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/075—Ramp control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F13/00—Illuminated signs; Luminous advertising
    • G09F13/04—Signs, boards or panels, illuminated from behind the insignia
    • G09F13/0418—Constructional details
    • G09F13/0472—Traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

A traffic sign apparatus for school zone traffic safety, according to an embodiment of the present invention, comprises: a signboard formed on a part of a safety sign installed in a direction across a road on an upper side of a support column; a rear image capturing device formed on a rear side of the safety sign to face a direction in which a vehicle travels and capturing an image of the rear side of the safety sign to generate rear image data of the safety sign; an object recognition processing unit which, when receiving image data from the rear side of the sign, analyzes the image data from the rear side of the sign, and provides an object recognition result when an object is recognized; and a control unit for controlling forward attention information to be displayed through the signboard according to the object recognition result received from the object recognition processing unit. Therefore, even if a driver cannot directly check the presence of the object located in front with naked eyes, the driver can check the object in advance through the safety sign.

Description

어린이 보호 구역 안전 표지판 장치{A TRAFFIC SIGN APPARATUS FOR SCHOOL ZONE TRAFFIC SAFETY}Child protection zone safety sign device {A TRAFFIC SIGN APPARATUS FOR SCHOOL ZONE TRAFFIC SAFETY}

본 발명은 어린이 보호 구역 안전 표지판 장치에 관한 것으로, 보다 상세하게는 안전 표지판의 객체가 존재하면 객체의 정보를 안전 표지판의 일부분에 표시하여 운전자가 안전 표지판을 통해 전방에 위치한 객체의 존재를 미리 확인할 수 있도록 하는 어린이 보호 구역 안전 표지판 장치에 관한 것이다.The present invention relates to a safety sign device in a child protection area, and more particularly, if an object of a safety sign exists, information about the object is displayed on a part of the safety sign so that the driver can confirm the existence of an object located in front through the safety sign in advance. It relates to a child protection zone safety sign device that enables

일반적으로 경제적 규모의 확대와 소득의 증가로 인하여 교통량의 급격한 팽창과 차량의 성능 향상에 따른 도로 교통의 고속화로 교통사고가 날로 증가하고 있음은 주지하는 바와 같고, 그 사고 형태도 대형화되어 막대한 국가적 사회적 손실을 초래하고 있음은 주지하는 사실이다.In general, it is well known that traffic accidents are increasing day by day due to the rapid expansion of traffic volume due to the expansion of economic scale and the increase in income, and the speeding up of road traffic due to the improvement of vehicle performance. It is a well-known fact that it causes losses.

한편, 자동차라는 것은 운반수단으로 사용자가 편리를 도모하고자 하는 것이 그 목적이라 할 수 있다. 이러한 목적하에 자동차는 단순한 운반수단의 차원을 넘어 자신의 생활은 물론, 사회생활에 없어서는 안 될 필수적인 요소로 자동차가 차지하는 비중은 날로 증가되고 있는 실정이다. 이와 같은 사회적인 흐름을 타고 자동차 보유대수는 계속적으로 증가하여 우리의 경우도 이미 1,000만대를 넘어선지 오래되었다.On the other hand, a car is a transportation means, and its purpose is to promote convenience for users. For this purpose, automobiles go beyond simple means of transportation and are indispensable to one's life as well as social life, and the proportion of automobiles is increasing day by day. Riding on such a social trend, the number of cars owned continues to increase, and in our case, it has long since exceeded 10 million.

전술한 바와 같이 자동차의 보유 대수로는 우리의 경우도 이미 선진국 대열에 진입하였으나 인구수에 비례하여 자동차 사고는 세계 1위라는 불명예를 안고 있다. 특히, 어린이 보호 구역 내에서의 교통사고는 어린이들은 물론 운전자의 주의가 필요함에도 불구하고 다른 지역에 비해 사고가 빈번하게 발생하고 있음은 주지의 사실이다.As described above, Korea has already entered the ranks of advanced countries in terms of the number of cars owned, but has the disgrace of being the world's number one in car accidents in proportion to the population. In particular, it is a well-known fact that traffic accidents in child protection zones occur more frequently than in other areas, despite the fact that drivers as well as children need attention.

전술한 바와 같이 어린이 보호 구역 내에서의 빈번한 사고는 어린이들의 주의력이 산만한 관계로 항시 교통사고의 위험에 노출된 상태이기도 한 이유가 되겠으나, 이보다는 차량의 운전에 앞서 보행자를 보호해야 될 의무를 안고 운전해야 할 운전자의 부주의에도 기인한다 할 수 있다.As mentioned above, frequent accidents in child protection zones are a reason why children are constantly exposed to the risk of traffic accidents due to distracted attention, but rather than this, the duty to protect pedestrians before driving a vehicle It can also be attributed to the carelessness of the driver who has to drive while holding the car.

종래의 어린이 보호 구역에는 횡단보도 전방 시점 및 종점 등에 미끄럼 방지 기능이 필요한 지점에 도 1(a)에서와 같이 암적색의 미끄럼 방지 포장을 설치해 운전자에게 어린이 보호 구역임을 인지시켜 안전사고 발생을 예방하고 있다. In the conventional child protection area, a dark red anti-slip pavement is installed at the point where an anti-skid function is required at the front start and end points of the crosswalk, as shown in FIG. .

그러나, 이러한 노력에도 불구하고 운전자의 순간 부주의와 운전 실력 과신 그리고 갑작스러운 돌발 상황에 대한 전방 부주의로 인해 어린이 보호 구역 또는 주변 도로에서의 사고가 끊이지 않고 있다.However, in spite of these efforts, accidents in child protection zones or surrounding roads continue to occur due to driver's momentary carelessness, overconfidence in driving skills, and carelessness in front of sudden unexpected situations.

한편, 도로상에는 자동차의 주행에 따른 흐름을 제어하기 위한 차량 주행에 따른 신호등, 횡단보도를 제어하기 위한 신호등, 위험 지역임을 알리는 위험 표지판, 차량의 주행 방향을 안내하기 위한 안내 표지판이나 이정표, 가로등 등과 같이 차량의 원활하고 안전한 주행을 목적으로 많은 구조물이 설치된다.On the other hand, on the road, traffic lights according to vehicle driving to control the flow of vehicles, traffic lights to control crosswalks, danger signs to inform that it is a dangerous area, guide signs or milestones to guide the driving direction of vehicles, streetlights, etc. Likewise, many structures are installed for the purpose of smooth and safe driving of vehicles.

전술한 바와 같이 차량의 원활하고 안전한 주행을 목적으로 많은 구조물 중에는 특히, 도 1(b)와 같이 학교 앞의 도로변 상에 설치되어 차량의 제한 속도나 경적 소리의 금지 등을 운전자에게 알리기 위한 교통 표지판이 설치되는데, 이러한 교통 표지판은 차량의 속도 제한 표시가 고정되어 있다.As described above, among many structures for the purpose of smooth and safe driving of vehicles, traffic signs are installed on the roadside in front of the school as shown in FIG. These traffic signs are fixed to display the speed limit of vehicles.

상기와 같은 종래 어린이 보호 구역의 안전 표시판은 단순히 어린이 보호 구역내 진입한 차량의 현재 속도를 표시하여 속도를 줄이도록 안내하는 역할 만을 수행할 뿐이어서, 안전사고 방지 효과가 크지 않다.The conventional safety display board of the child protection area as described above simply displays the current speed of the vehicle entering the child protection area and serves only to guide the vehicle to reduce speed, so the safety accident prevention effect is not great.

따라서, 단순히 운전자의 현재 속도에 대한 경각심 유도에서 그치지 않고 어린이 보호 구역내 사람 또는 동물 등의 객체 존재 여부를 포함하는 전반적인 주의 상황을 포괄적이고 직관적으로 안내할 수 있는 지능형 표지판에 대한 필요성이 대두되고 있다.Therefore, there is a need for an intelligent sign that can comprehensively and intuitively guide the overall attention situation, including the existence of objects such as people or animals in the child protection area, rather than simply inducing the driver's awareness of the current speed. .

대한민국 공개특허 KR 10-2000-053623Republic of Korea Patent Publication KR 10-2000-053623

따라서, 본 발명의 목적은 안전 표지판의 뒤쪽 도로를 촬영한 영상 데이터를 기초로 객체가 존재하면 객체 인식에 따른 경고 영상을 안전 표지판의 일부분에 표시하여 운전자가 전방에 위치한 객체의 존재를 육안으로 직접 확인하지 못하더라도 안전 표지판을 통해 미리 확인할 수 있도록 하는 어린이 보호 구역 안전 표지판 장치를 제공하는 것이다.Therefore, an object of the present invention is to display a warning image according to object recognition on a part of the safety sign when an object exists based on image data taken of the road behind the safety sign, so that the driver can directly detect the existence of the object located in front with the naked eye. It is to provide a child protection area safety sign device that allows checking in advance through safety signs even if it is not confirmed.

또한, 본 발명의 목적은 안전 표지판의 하측에 형성된 영상 조사부를 통해 객체 인식에 따른 경고 영상을 차량이 진행하는 앞쪽 도로에 표시함으로써 운전자가 공중에 떠있는 안전 표지판을 보지 못하게 되는 경우 도로 바닥면의 영상을 보고 전방에 위치한 객체의 존재를 확인할 수 있도록 하는 어린이 보호 구역 안전 표지판 장치를 제공하는 것이다. In addition, an object of the present invention is to display a warning image according to object recognition through an image irradiation unit formed on the lower side of the safety sign on the road in front of the vehicle, so that the driver cannot see the safety sign floating in the air. An object of the present invention is to provide a child protection zone safety sign device that allows the presence of an object located in front to be confirmed by viewing an image.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다. The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned above can be understood by the following description and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations indicated in the claims.

본 발명에 따른 어린이 보호 구역 안전 표지판 장치는 지지기둥의 상부측에 도로를 가로지르는 방향으로 설치된 안전 표지판의 일부분에 형성되는 전광판, 상기 안전 표지판의 뒤측에 차량 진행 방향을 향하도록 형성되어 상기 안전 표지판의 뒤측을 촬영하여 표지판 뒤측 영상 데이터를 생성하는 후방 영상 촬영 기기, 상기 후방 영상 촬영 기기로부터 표지판 뒤측 영상 데이터를 수신하면, 상기 표지판 뒤측 영상 데이터를 분석하여 객체가 인식되면 객체 인식 결과를 제공하는 객체 인식 처리부 및 상기 객체 인식 처리부로부터 수신된 객체 인식 결과에 따라 전방 주의 정보를 상기 전광판을 통해 표시되도록 제어하는 제어부를 포함할 수 있다.Child protection area safety sign device according to the present invention is formed on a part of the safety sign installed in the direction across the road on the upper side of the support pillar, the electric signboard formed on the back side of the safety sign to face the direction of vehicle travel, and the safety sign A rear image capturing device that captures the back side of the sign and generates image data of the back side of the sign, and an object that analyzes the image data of the back side of the sign and, when the image data is received from the rear image capturing device, provides an object recognition result when an object is recognized. A recognition processor and a control unit for controlling forward attention information to be displayed through the electric signboard according to an object recognition result received from the object recognition processor may be included.

또한, 어린이 보호 구역 안전 표지판 장치는 상기 안전 표지판의 하측에 형성되어 상기 전방 주의 정보를 상기 차량이 진행하는 앞쪽 도로에 표시하는 영상 조사부를 더 포함할 수 있다.In addition, the child protection area safety sign device may further include an image irradiation unit formed below the safety sign to display the forward caution information on a road ahead of the vehicle.

또한, 어린이 보호 구역 안전 표지판 장치는 상기 객체 인식 처리부는 상기 표지판 뒤측 영상 데이터 각각의 프레임 및 미리 저장된 배경 프레임 각각을 비교하여 상기 배경 프레임에 존재하지 않는 이동 객체가 상기 프레임에 존재하는 경우 해당 프레임부터 연속된 프레임을 분석하여 이동 객체의 움직임을 인식할 수 있다.In addition, in the child protection area safety sign device, the object recognition processing unit compares each frame of the image data behind the sign and each of the previously stored background frames, and if a moving object that does not exist in the background frame exists in the frame, from the corresponding frame The movement of a moving object may be recognized by analyzing consecutive frames.

또한, 어린이 보호 구역 안전 표지판 장치는 상기 객체 인식 처리부는 상기 표지판 뒤측 영상 데이터를 프레임 단위로 분석하는 과정에서 제1 프레임 및 제2 프레임 사이의 차이 프레임을 생성하고, 상기 차이 프레임을 통해 해당 촬영 영역에 존재하는 고정 객체를 결정하고, 상기 고정 객체만이 존재하는 프레임을 배경 프레임으로 미리 저장할 수 있다. In addition, in the child protection area safety sign device, the object recognition processing unit generates a difference frame between a first frame and a second frame in a process of analyzing the image data behind the sign in frame units, and through the difference frame, a corresponding shooting area It is possible to determine a fixed object existing in , and store a frame in which only the fixed object exists as a background frame in advance.

또한, 상기 객체 인식 처리부는 상기 배경 프레임을 분석하여 상기 후방 영상 촬영 기기가 향하는 방향의 배경 종류를 결정하고, 상기 배경 종류 및 상기 객체 인식 결과를 상기 제어부에 제공하고, 상기 제어부는 상기 배경 종류 및 상기 객체 인식 결과에 따라 서로 다른 종류의 전방 주의 정보를 상기 전광판을 통해 표시되도록 제어할 수 있다.In addition, the object recognition processing unit analyzes the background frame to determine the background type of the direction the rear image capturing device faces, and provides the background type and the object recognition result to the control unit, wherein the control unit determines the background type and Depending on the object recognition result, different types of forward attention information may be controlled to be displayed through the electric signboard.

또한, 상기 객체 인식 처리부는 미리 생성된 학습 모델에 뒤측 영상 데이터 각각의 프레임 및 촬영 시점을 적용하여 상기 촬영 시점에 해당하는 프레임 각각에 미리 학습된 해당 시점의 이동 객체의 정보가 존재하는지 여부 및 객체 특징점에 해당하는 객체의 정보가 존재하는지 여부를 판단하여 객체 인식 결과를 생성할 수 있다. In addition, the object recognition processor applies each frame of the rear image data and the shooting time to the pre-created learning model to determine whether or not the information of the moving object at the corresponding time learned in advance exists in each frame corresponding to the shooting time and the object An object recognition result may be generated by determining whether object information corresponding to a feature point exists.

본 발명의 일 실시예에 따르면, 안전 표지판의 뒤쪽 도로를 촬영한 영상 데이터를 기초로 객체가 존재하면 객체 인식에 따른 경고 영상을 안전 표지판의 일부분에 표시하여 운전자가 전방에 위치한 객체의 존재를 육안으로 직접 확인하지 못하더라도 안전 표지판을 통해 미리 확인할 수 있다는 장점이 있다.According to an embodiment of the present invention, if an object exists based on image data taken of the road behind the safety sign, a warning image according to object recognition is displayed on a part of the safety sign so that the driver can visually detect the existence of the object located in front. Even if it is not possible to check directly, it has the advantage of being able to check in advance through safety signs.

또한 본 발명의 일 실시예에 따르면, 안전 표지판의 하측에 형성된 영상 조사부를 통해 객체 인식에 따른 경고 영상을 차량이 진행하는 앞쪽 도로에 표시함으로써 운전자가 공중에 떠있는 안전 표지판을 보지 못하게 되는 경우 도로 바닥면의 영상을 보고 전방에 위치한 객체의 존재를 확인할 수 있다는 장점이 있다.In addition, according to an embodiment of the present invention, a warning image according to object recognition is displayed on the road in front of the vehicle through the image irradiation unit formed on the lower side of the safety sign, so that the driver cannot see the safety sign floating in the air. It has the advantage of being able to check the existence of an object located in the front by looking at the image of the floor.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다. In addition to the effects described above, specific effects of the present invention will be described together while explaining specific details for carrying out the present invention.

도 1은 종래의 어린이 보호 구역의 안전 표지판을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 정면도를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 후면도를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 내부 구조를 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치가 전방 주의 정보를 차량이 진행하는 앞쪽 도로에 표시하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치가 전방 주의 등급에 해당하는 서로 다른 전방 주의 정보를 표시하는 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 동작 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 안전 표시판 장치의 제어부의 동작 모드 개념도이다.1 is a view for explaining a safety sign of a conventional child protection area.
2 is a view for explaining a front view of a child protection zone safety sign device according to an embodiment of the present invention.
3 is a view for explaining a rear view of a child protection area safety sign device according to an embodiment of the present invention.
Figure 4 is a block diagram for explaining the internal structure of the child protection area safety sign device according to an embodiment of the present invention.
5 is an exemplary diagram for explaining a process in which the child protection area safety sign device according to an embodiment of the present invention displays forward caution information on a road in front of a vehicle.
6 is an exemplary diagram for explaining a process of displaying different forward attention information corresponding to a forward attention level by a child protection area safety sign device according to an embodiment of the present invention.
7 is an exemplary view for explaining an operation process of a child protection zone safety sign device according to an embodiment of the present invention.
8 is a conceptual diagram of an operation mode of a control unit of a safety display panel device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, the operating principle of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.

도 2는 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 정면도를 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 후면도를 설명하기 위한 도면이다.2 is a view for explaining a front view of a child protection zone safety sign device according to an embodiment of the present invention. 3 is a view for explaining a rear view of a child protection area safety sign device according to an embodiment of the present invention.

도 2 및 도 3을 참조하면, 어린이 보호 구역 안전 표지판 장치는 지지기둥(100), 안전 표지판(200), 전광판(300), 후방 영상 촬영 기기(400)를 포함한다. 2 and 3, the child protection area safety sign device includes a support pillar 100, a safety sign 200, an electronic display board 300, and a rear image recording device 400.

지지기둥(100)은 어린이 보호 구역의 도로변 상에 일정 높이로 설치된다.The support pillar 100 is installed at a certain height on the roadside of the child protection area.

안전 표지판(200)은 지지기둥(100)의 상부측에 도로를 가로지르는 방향으로 설치되어 이정표나 지역의 홍보 혹은 어린이 보호 구역을 표시하는 공익적인 도안 및 문자가 형성된다. 도 2 및 도 3에서 안전 표지판(200)은 사각형으로 도시하였으나 그 모양은 이에 한정된 것은 아니며, 실시예에 따라 모양이 삼각형, 원형 등으로 구현될 수 있다. The safety sign 200 is installed on the upper side of the support pillar 100 in a direction crossing the road to form a public interest design and text indicating a milestone or local publicity or children's protection area. 2 and 3, the safety sign 200 is illustrated as a rectangle, but its shape is not limited thereto, and the shape may be implemented as a triangle or a circle according to embodiments.

이러한 안전 표지판(200)의 후면의 둘레에는 복수의 발광 장치(미도시됨)가 형성되어 있다. 따라서, 복수의 발광 장치는 제어부(도 4, 700)의 제어에 따라 온 상태 또는 오프 상태로 변경될 수 있다.A plurality of light emitting devices (not shown) are formed around the rear surface of the safety sign 200 . Accordingly, the plurality of light emitting devices may be changed into an on state or an off state according to the control of the controller (700 in FIG. 4 ).

일 실시예에서, 복수의 발광 장치 중 일부 또는 전체는 조도 값이 특정 값 이하인 상황(예를 들어, 저녁, 비오는 날, 눈오는 날 등)인 경우 제어부(700)의 제어에 따라 온 상태로 변경되면 빛을 발광하여 후방 영상 촬영 기기(400)가 표지판 뒤측 영상 데이터를 촬영할 때 후방 영상 촬영 기기(400)의 주변이 밝아질 수 있도록 한다.In one embodiment, when some or all of the plurality of light emitting devices are changed to an on state under the control of the controller 700 in a situation where the illuminance value is less than a specific value (eg, evening, rainy day, snowy day, etc.) By emitting light, when the rear image capturing device 400 captures image data on the back side of the sign, the surroundings of the rear image capturing device 400 become bright.

다른 일 실시예에서, 복수의 발광 장치는 조도 값이 특정 값 이상인 상황(예를 들어, 낮)인 경우 제어부(700)의 제어에 따라 오프 상태로 변경되면 빛을 발광하지 않는다. In another embodiment, the plurality of light emitting devices do not emit light when they are changed to an off state under the control of the controller 700 in a situation (eg, daytime) when the illuminance value is greater than or equal to a specific value.

또한, 안전 표지판(200)의 후면에는 조도 센서(미도시됨)가 형성되어 있다. 조도 센서는 안전 표지판(200)의 후면의 조도 값을 센싱하여 조도 값을 제어부(700)에 제공한다. In addition, an illuminance sensor (not shown) is formed on the rear surface of the safety sign 200 . The illuminance sensor senses the illuminance value of the rear surface of the safety sign 200 and provides the illuminance value to the control unit 700 .

전광판(300)은 안전 표지판(200)의 일측면에 형성되며, LED가 일정 간격으로 배열되어 점멸을 통해 어린이 보호 구역 표시, 속도제한 표시 및 전방 보행자 주의 내용을 표출한다. The electronic display board 300 is formed on one side of the safety sign 200, and LEDs are arranged at regular intervals to indicate a child protection area, a speed limit, and a warning for pedestrians ahead through blinking.

즉, 전광판(300)은 제어부(700)의 제어에 따라 전방 주의 정보를 표시한다. That is, the electronic display board 300 displays forward attention information under the control of the control unit 700 .

일 실시예에서, 전광판(300)은 제어부(700)에 의해 배경 종류 및 객체 인식 결과 중 적어도 하나에 따라 전방 주의 등급이 결정되면 전방 주의 등급에 해당하는 서로 다른 전방 주의 정보를 표시할 수 있다. In an embodiment, when the forward attention level is determined by the control unit 700 according to at least one of the background type and the object recognition result, the display board 300 may display different forward attention information corresponding to the forward attention level.

상기의 도 2에서 전광판(300)은 두 개의 영역으로 구분되어 전방 주의 등급에 해당하는 서로 다른 전방 주의 정보(즉, 영상, 문구, 이미지 등)를 표출하였지만, 실시예에 따라 전광판(300)은 두 개 이상의 영역으로 구분되거나 또는 하나의 영역으로 통합되어 형성되어 전방 주의 등급에 해당하는 서로 다른 전방 주의 정보를 표출할 수 있다. In FIG. 2 above, the electronic signboard 300 is divided into two areas and expresses different forward attention information (ie, video, text, image, etc.) corresponding to the forward attention level. Divided into two or more areas or integrated into one area, different forward attention information corresponding to a forward attention level may be expressed.

일 실시예에서, 전광판(300)은 이종의 색상을 발하는 다수의 LED가 규칙적으로 배열되어 제어부(140)에 의해 결정된 전방 주의 등급에 해당하는 패턴에 따라 서로 다른 전방 주의 정보를 표출할 수 있는 것이다. In one embodiment, the electronic display board 300 has a plurality of LEDs emitting different colors regularly arranged to display different forward attention information according to a pattern corresponding to the forward attention class determined by the control unit 140. .

후방 영상 촬영 기기(400)는 도 3과 같이 안전 표지판(200)의 뒤측에 차량 진행 방향을 향하도록 형성되며 안전 표지판(200)의 뒤측을 촬영하여 표지판 뒤측 영상 데이터를 생성한다. As shown in FIG. 3 , the rear image capturing device 400 is formed on the rear side of the safety sign 200 to face the direction in which the vehicle travels, and captures the rear side of the safety sign 200 to generate rear image data of the sign.

이때, 표지판 뒤측 영상 데이터는 차량 진행 방향을 향하도록 설치되어 있기 때문에 안전 표지판(200)의 뒤측에 대한 영상을 의미할 수 있다. 이러한 표지판 뒤측 영상 데이터는 실시간으로 촬영된 영상이기 때문에 복수의 프레임으로 구성되어 있을 수 있다. 따라서, 객체 인식 처리부(600)는 후방 영상 촬영 기기(400)로부터 수신된 표지판 뒤측 영상 데이터를 프레임 단위로 분석하여 객체를 인식할 수 있는 것이다. At this time, since the image data on the back side of the sign is installed to face the vehicle traveling direction, it may mean an image of the rear side of the safety sign 200 . Since the image data behind the sign is an image captured in real time, it may consist of a plurality of frames. Accordingly, the object recognition processing unit 600 may recognize the object by analyzing the image data of the rear side of the sign received from the rear image capturing device 400 frame by frame.

영상 조사부(500)는 안전 표지판의 하측에 형성되어 전방 주의 정보를 차량이 진행하는 앞쪽 도로에 표시한다. The image irradiator 500 is formed below the safety sign and displays forward caution information on the road ahead of the vehicle.

상기와 같이, 안전 표지판(200)의 하측에 형성된 영상 조사부(500)를 통해 객체 인식에 따른 경고 영상을 차량이 진행하는 앞쪽 도로에 표시함으로써 운전자가 공중에 떠있는 안전 표지판을 보지 못하게 되는 경우 도로 바닥면의 영상을 보고 전방에 위치한 객체의 존재를 확인할 수 있다는 장점이 있다.As described above, by displaying a warning image according to object recognition through the image irradiation unit 500 formed on the lower side of the safety sign 200 on the road in front of the vehicle, when the driver cannot see the safety sign floating in the air, the road It has the advantage of being able to check the existence of an object located in the front by looking at the image of the floor.

도 4는 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 내부 구조를 설명하기 위한 블록도이다.Figure 4 is a block diagram for explaining the internal structure of the child protection area safety sign device according to an embodiment of the present invention.

도 4를 참조하면, 어린이 보호 구역 안전 표지판 장치는 전광판(300), 후방 영상 촬영 기기(400), 영상 조사부(500), 객체 인식 처리부(600) 및 제어부(700)를 포함한다. Referring to FIG. 4 , the child protection area safety sign device includes an electric signboard 300, a rear image capturing device 400, an image irradiation unit 500, an object recognition processing unit 600, and a control unit 700.

이러한 어린이 보호 구역 안전 표지판 장치는 내부의 객체 인식 처리부(600)를 통해 후방 영상 촬영 기기(400)를 통해 촬영된 표지판 뒤측 영상 데이터를 분석하여 객체를 인식할 수 있도록 구성되었으나, 실시예에 따라 외부의 객체 인식 서버(미도시됨)에 후방 영상 촬영 기기(400)를 통해 촬영된 표지판 뒤측 영상 데이터를 제공함으로써 표지판 뒤측 영상 데이터가 분석된 후 분석 결과를 수신할 수 있다. This child protection zone safety sign device is configured to recognize an object by analyzing image data of the rear side of the sign taken through the rear image capturing device 400 through the internal object recognition processing unit 600, but according to the embodiment, the external By providing the image data of the back side of the sign board photographed through the rear image capturing device 400 to the object recognition server (not shown) of the image data of the back side of the sign sign, the analysis result may be received after the image data is analyzed.

객체 인식 처리부(600)는 후방 영상 촬영 기기(400)로부터 표지판 뒤측 영상 데이터를 수신하면, 표지판 뒤측 영상 데이터를 분석하여 객체가 존재하는지 여부를 판단한다. When the object recognition processor 600 receives image data of the back side of the sign from the rear image capturing device 400, it analyzes the image data of the back side of the sign to determine whether an object exists.

이를 위해, 객체 인식 처리부(600)는 후방 영상 촬영 기기(400)로부터 표지판 뒤측 영상 데이터를 수신하면 표지판 뒤측 영상 데이터를 프레임 단위로 분석하여 이동 객체를 검출하면 객체가 인식되었음을 지시하는 객체 인식 결과를 제어부(700)에 제공하고, 이동 객체를 검출하지 않으면 객체가 인식되지 않았음을 지시하는 객체 인식 결과를 제어부(700)에 제공한다. To this end, when the object recognition processing unit 600 receives image data from the rear side of the signboard from the rear image capturing device 400, it analyzes the image data from the backside of the signboard in units of frames to detect a moving object and produces an object recognition result indicating that the object has been recognized. If a moving object is not detected, an object recognition result indicating that the object has not been recognized is provided to the controller 700.

일 실시예에서, 객체 인식 처리부(600)는 후방 영상 촬영 기기(400)로부터 수신된 표지판 뒤측 영상 데이터를 프레임 단위로 분석할 때 표지판 뒤측 영상 데이터 각각의 프레임 및 미리 저장된 배경 프레임 각각의 픽셀을 비교하여 미리 저장된 배경 프레임에 존재하지 않는 미리 정의된 이동 객체가 프레임에 존재하는 경우, 해당 프레임부터 연속된 프레임을 분석하여 이동 객체의 움직임을 인식할 수 있다. 이때, 미리 정의된 이동 객체는 자전거, 유모차, 사람, 동물, 카트 등을 포함할 수 있다. In one embodiment, the object recognition processor 600 compares each frame of image data behind the sign and pixels of each pre-stored background frame when analyzing the image data of the back of the sign received from the rear image capturing device 400 frame by frame. Accordingly, when a predefined moving object that does not exist in a prestored background frame exists in a frame, the movement of the moving object may be recognized by analyzing consecutive frames from the corresponding frame. In this case, the predefined moving object may include a bicycle, a stroller, a person, an animal, a cart, and the like.

또한, 객체 인식 처리부(600)는 위와 같이 이동 객체의 존재를 인식하는 경우, 이동 객체의 움직임 패턴을 분석하여 위와 같은 자전거, 유모차, 사람, 동물, 카트 등의 다양한 이동 객체의 종류를 자동으로 인식할 수 있다. In addition, when recognizing the presence of a moving object, the object recognition processing unit 600 automatically recognizes various types of moving objects such as bicycles, strollers, people, animals, and carts by analyzing movement patterns of the moving objects. can do.

이를 위해, 객체 인식 처리부(600)는 후방 영상 촬영 기기(400)로부터 수신된 표지판 뒤측 영상 데이터를 프레임 단위로 분석하는 과정에서 제1 프레임 및 제2 프레임 사이의 차이 프레임을 생성한 후 차이 프레임을 통해 해당 촬영 영역에 존재하는 고정 객체를 결정하고, 고정 객체만이 존재하는 프레임을 배경 프레임으로 미리 저장할 수 있다. 이때, 촬영 영역은 도로 영역 뿐만 아니라 도로 영역에 진입하는 도로 진입 영역을 포함할 수 있다. To this end, the object recognition processor 600 generates a difference frame between the first frame and the second frame in the process of analyzing the image data of the rear side of the sign received from the rear image capturing device 400 frame by frame, and then converts the difference frame Through this, it is possible to determine a fixed object existing in the corresponding capturing area, and to store a frame in which only the fixed object exists as a background frame in advance. In this case, the photographing area may include a road entry area entering the road area as well as a road area.

예를 들어, 후방 영상 촬영 기기(400)에 의해 촬영되는 표지판 뒤측 영상 데이터는 언제나 같은 촬영 영역을 촬영한 영상 데이터이기 때문에 촬영 영역에 해당하는 나무, 가드레일 등과 같은 고정 객체는 표지판 뒤측 영상 데이터의 각각의 프레임에 위치하게 될 것이다. For example, since the video data behind the sign captured by the rear imaging device 400 is always image data of the same shooting area, a fixed object such as a tree or a guardrail corresponding to the shooting area is the image data behind the sign. will be located in each frame.

따라서, 객체 인식 처리부(600)는 표지판 뒤측 영상 데이터를 프레임 단위로 분석한 후 고정 객체만 존재하는 프레임을 배경 프레임으로 미리 저장한 후에 후방 영상 촬영 기기(400)로부터 표지판 뒤측 영상 데이터를 수신한 후 이동 객체의 분석 과정에 참조될 수 있도록 한다.Therefore, the object recognition processing unit 600 analyzes the image data behind the sign in frame units, stores the frame in which only the fixed object exists as a background frame in advance, and receives the image data behind the sign from the rear image capturing device 400. It can be referenced in the analysis process of moving objects.

이와 같은 이유로, 객체 인식 처리부(600)는 후방 영상 촬영 기기(400)에 의해 촬영되는 표지판 뒤측 영상 데이터의 모든 프레임을 분석하지 않고 배경 프레임과 차이가 발생된 프레임부터 이동 객체 인식을 처리하기 때문에 데이터 처리 속도는 빨리지며 데이터 처리 양은 줄어든다는 장점이 있다.For this reason, the object recognition processing unit 600 does not analyze all frames of the image data behind the sign taken by the rear image capturing device 400, but processes moving object recognition from the frame where the difference with the background frame occurs. The advantage is that the processing speed is faster and the amount of data processing is reduced.

상기의 실시예에서, 객체 인식 처리부(600)는 배경 프레임을 분석하여 후방 영상 촬영 기기가 향하는 방향의 배경 종류를 결정하고, 상기 배경 종류 및 상기 객체 인식 결과를 상기 제어부(700)에 제공한다. In the above embodiment, the object recognition processing unit 600 analyzes the background frame to determine the background type of the direction the rear imaging device faces, and provides the background type and the object recognition result to the control unit 700 .

예를 들어, 객체 인식 처리부(600)는 배경 프레임을 분석하여 전방에 직선 도로, 횡단 보도 및 신호등이 존재하는 경우, 배경 종류가 도로라고 판단하여 배경 종류 “도로” 및 객체 인식 결과를 상기 제어부(700)에 제공한다. For example, the object recognition processing unit 600 analyzes the background frame and determines that the background type is a road when a straight road, a crosswalk, and a traffic light exist in front, and sets the background type “road” and object recognition result to the control unit ( 700) is provided.

다른 예를 들어, 객체 인식 처리부(600)는 배경 프레임을 분석하여 전방에 오르막 도로, 횡단 보도 및 신호등이 존재하는 경우, 배경 종류가 오르막 도로라고 판단하여 배경 종류 “오르막 도로” 및 객체 인식 결과를 상기 제어부(700)에 제공한다. For another example, the object recognition processing unit 600 analyzes the background frame and determines that the background type is an uphill road when there is an uphill road, a crosswalk, and a traffic light ahead, and sets the background type “uphill road” and the object recognition result. It is provided to the controller 700.

또 다른 예를 들어, 객체 인식 처리부(600)는 배경 프레임을 분석하여 전방에 내리막 도로, 횡단 보도 및 신호등이 존재하는 경우, 배경 종류가 내리막 도로라고 판단하여 배경 종류 “내리막 도로” 및 객체 인식 결과를 상기 제어부(700)에 제공한다. For another example, the object recognition processing unit 600 analyzes the background frame and determines that the background type is a downhill road when there is a downhill road, a crosswalk, and a traffic light ahead, and the background type “downhill road” and object recognition result. is provided to the controller 700.

다른 일 실시예에서, 객체 인식 처리부(600)는 미리 생성된 학습 모델에 후방 영상 촬영 기기(400)로부터 수신된 표지판 뒤측 영상 데이터 각각의 프레임 및 촬영 시점을 입력하여 미리 생성된 학습 모델로부터 객체 인식 결과를 수신할 수 있다. In another embodiment, the object recognition processing unit 600 recognizes objects from the previously created learning model by inputting each frame and photographing time point of the image data on the back of the sign received from the rear image capturing device 400 into the previously created learning model. You can receive results.

이때, 미리 생성된 학습 모델은 표지판 뒤측 영상 데이터 각각의 프레임의 촬영 시점 별 고정 객체 및 이동 객체의 정보와 객체 특징점이 딥러닝학습되어 생성된 모델이다. At this time, the pre-generated learning model is a model generated by deep learning of information on fixed objects and moving objects and object feature points for each frame of image data behind the sign.

따라서, 미리 생성된 학습 모델은 표지판 뒤측 영상 데이터 각각의 프레임 및 촬영 시점이 입력되면, 촬영 시점에 해당하는 프레임에 미리 학습된 해당 시점의 이동 객체의 정보가 존재하는지 여부 및 객체 특징점에 해당하는 객체의 정보가 존재하는지 여부를 판단하여 객체 인식 결과를 출력하게 된다. Therefore, the pre-created learning model determines whether or not there is pre-learned moving object information at that time in the frame corresponding to the shooting time and the object corresponding to the feature point of the object when each frame of the image data behind the sign and the shooting time are input. The object recognition result is output by determining whether the information of is present.

결론적으로, 객체 인식 처리부(600)는 미리 생성된 학습 모델로부터 객체 인식 결과를 수신하면, 객체 인식 결과에 따라 객체의 움직임이 검출되었다고 판단하여 객체 인식 결과를 제어부(700)에 제공한다. In conclusion, upon receiving the object recognition result from the pre-generated learning model, the object recognition processing unit 600 determines that motion of the object is detected according to the object recognition result, and provides the object recognition result to the control unit 700.

제어부(700)는 객체 인식 처리부(600)로부터 수신된 객체 인식 결과 및 배경 종류 중 적어도 하나에 따라 전방 주의 등급을 결정한 후, 전방 주의 등급에 따라 서로 다른 종류의 전방 주의 정보를 전광판(300)을 통해 표시하도록 제어한다. The control unit 700 determines a forward attention level according to at least one of the object recognition result received from the object recognition processor 600 and the type of background, and then transmits different types of forward attention information to the electronic signboard 300 according to the forward attention level. control to display.

일 실시예에서, 제어부(700)는 객체 인식 처리부(600)로부터 수신된 배경 종류가 직선 도로 또는 오르막 도로이고 객체 인식 결과가 객체 미인식을 지시하는 경우, 전방 주의 등급을 보통 등급으로 결정하고 보통 일반 등급에 해당하는 전방 주의 정보(즉, 제한 속도 및 주의 문구)를 전광판(300)을 통해 표시하도록 제어한다. In one embodiment, when the background type received from the object recognition processing unit 600 is a straight road or an uphill road and the object recognition result indicates object not recognized, the control unit 700 determines the forward attention level as normal, and determines the level as normal. Control is performed to display forward warning information (ie, speed limit and warning phrase) corresponding to the general class through the electronic display board 300 .

만일, 제어부(700)는 객체 인식 처리부(600)로부터 수신된 배경 종류가 내리막 도로이고 객체 인식 결과가 객체 미인식을 지시하는 경우, 전방 주의 등급을 보통 변경 등급으로 결정하고 보통 변경 등급에 따라 보통 일반 등급에 해당하는 전방 주의 정보를 변경한 후 변경된 전방 주의 정보를 전광판(300)을 통해 표시하도록 제어한다. If the background type received from the object recognition processor 600 is a downhill road and the object recognition result indicates object non-recognition, the control unit 700 determines the forward attention level as a normal change level, and determines the normal level according to the normal change level. After changing the forward attention information corresponding to the general class, the changed forward attention information is controlled to be displayed through the electronic display board 300 .

상기의 실시예에서, 제어부(700)는 보통 변경 등급에 따라 보통 일반 등급에 해당하는 전방 주의 정보 중 제한 속도를 미리 결정된 제한 속도보다 낮춘 후 변경된 전방 주의 정보를 전광판(300)을 통해 표시하도록 제어한다. In the above embodiment, the control unit 700 controls to display the changed forward attention information through the electric sign board 300 after lowering the speed limit among the forward caution information corresponding to the normal grade according to the normal change level below the predetermined speed limit. do.

다른 일 실시예에서, 제어부(700)는 객체 인식 처리부(600)로부터 수신된 배경 종류가 직선 도로 또는 곡선 도로이고 객체 인식 결과가 객체 인식을 지시하는 경우, 전방 주의 등급을 조심 등급으로 결정하고 조심 등급에 해당하는 전방 주의 정보(즉, 사람 이미지 및 주의 문구)를 전광판(300)을 통해 표시하도록 제어한다. In another embodiment, when the background type received from the object recognition processing unit 600 is a straight road or a curved road and the object recognition result indicates object recognition, the control unit 700 determines the forward attention level as a caution level and is careful. The front warning information corresponding to the grade (that is, a person image and a warning phrase) is controlled to be displayed through the electronic display board 300 .

또 다른 일 실시예에서, 제어부(700)는 객체 인식 처리부(600)로부터 수신된 배경 종류가 내리막 도로 또는 오르마 도로이고 객체 인식 결과가 객체 인식을 지시하는 경우, 전방 주의 등급을 위험 등급으로 결정하고 위험 등급에 해당하는 전방 주의 정보(즉, 사람 이미지 및 주의 문구)를 전광판(300)을 통해 표시하도록 제어한다. In another embodiment, when the background type received from the object recognition processor 600 is a downhill road or an uphill road and the object recognition result indicates object recognition, the control unit 700 determines the forward attention level as the risk level. and controls to display forward caution information (ie, a person image and a caution phrase) corresponding to the risk level through the electronic display board 300.

또한, 제어부(700)는 조도 센서로부터 수신된 안전 표지판(200)의 후면의 조도 값 및 배경 프레임에 있는 고정 객체 중 빛을 내는 객체가 존재하는지 여부에 따라 복수의 발광 장치 중 온 상태로 전환해야 하는 발광 장치의 개수를 결정하여 해당 발광 장치가 온 상태로 전환되도록 제어한다.In addition, the control unit 700 should switch one of the plurality of light emitting devices to an on state according to the illuminance value of the back of the safety sign 200 received from the illuminance sensor and whether there is an object emitting light among fixed objects in the background frame. Determines the number of light emitting devices to be controlled so that the corresponding light emitting devices are switched to an on state.

일 실시예에서, 제어부(700)는 조도 센서로부터 수신된 안전 표지판(200)의 후면의 조도 값이 특정 값 이하인 경우, 배경 프레임에 있는 고정 객체 중 빛을 내는 객체의 개수에 해당하는 가중치를 조도 값에 반영하여 보정된 조도 값을 산출하고, 보정된 조도 값에 따라 복수의 발광 장치 중 온 상태로 전환해야 하는 발광 장치의 개수를 결정할 수 있다. In one embodiment, the control unit 700 assigns weights corresponding to the number of objects emitting light among fixed objects in the background frame when the illuminance value of the back of the safety sign 200 received from the illuminance sensor is equal to or less than a specific value. A corrected illuminance value may be calculated by reflecting the value, and the number of light emitting devices to be switched to an on state among the plurality of light emitting devices may be determined according to the corrected illuminance value.

또한, 제어부(700)는 전광판(300)을 횡단보도 및 차량 수신 data의 유무를 검사하여 수신 대기 시간의 일부를 슬립(sleep)상태로 전환함으로써 전력 소비를 절감시킬 수 있도록 한다.In addition, the control unit 700 checks whether or not there is crosswalk and vehicle reception data on the electronic display board 300 and converts a portion of the reception standby time into a sleep state, thereby reducing power consumption.

도 8은 객체인식 신호의 수신 여부에 따른 제어부(700)에서의 시간별 동작 상태 전환 개념을 도시한 것이다. 즉, 제어부(700)는 객체인식 처리부(600)로부터 객체가 인식되어 정보가 수신되는 것을 알리는 예비신호(900)가 수신되는 경우, 슬립모드에서 웨이크업되어 정상상태로 전환한 후, 객체인식 처리부(600)로부터 전송되는 정보를 수신한 후(RX), 수신된 정보를 분석하여 전광판(300) 등에 정보를 전송(TX)하여 표시시키거나, 원격지로 정보를 송신(TX)하게 된다. FIG. 8 illustrates the concept of time-by-hour operation state switching in the control unit 700 according to whether an object recognition signal is received. That is, when the preliminary signal 900 notifying that an object is recognized and information is received from the object recognition processor 600, the control unit 700 wakes up from the sleep mode and converts to a normal state, and then the object recognition processor After receiving the information transmitted from 600 (RX), the received information is analyzed and the information is transmitted (TX) to the display board 300, etc., or the information is transmitted (TX) to a remote location.

이어, 제어부(700)는 다시 객체인식 처리부(600)로부터 정보가 수신되지 않는 경우에는 다음 예비신호(910)가 수신되기 전까지 슬립모드로 전환하게 된다.Subsequently, when information is not received from the object recognition processor 600 again, the control unit 700 switches to the sleep mode until the next preliminary signal 910 is received.

즉, 제어부(700)는 객체인식 처리부(600)로부터 정보가 수신되는 T1, T3 주기에만 웨이크업하여 정상적인 동작을 수행하고, T2 주기 동안에는 슬립모드로 전환함으로써 전력소모를 줄이게 되는 것이다. 본 발명에 따른 제어부(700)에서의 이러한 슬립모드 적용을 통해 3% 이상의 에너지를 절감시킬 수 있다. That is, the controller 700 wakes up only in cycles T1 and T3 when information is received from the object recognition processor 600 to perform normal operation, and switches to a sleep mode during cycle T2 to reduce power consumption. Through the application of such a sleep mode in the control unit 700 according to the present invention, it is possible to save energy by 3% or more.

도 5는 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치가 전방 주의 정보를 차량이 진행하는 앞쪽 도로에 표시하는 과정을 설명하기 위한 예시도이다.5 is an exemplary diagram for explaining a process in which the child protection area safety sign device according to an embodiment of the present invention displays forward caution information on a road in front of a vehicle.

도 5를 참조하면, 어린이 보호 구역 안전 표지판 장치는 안전 표지판(200)의 하측에 형성되어 있는 영상 조사부(500)를 통해 전광판(300)에서 표시되는 전방 주의 정보를 차량이 진행하는 앞쪽 도로에 표시한다. Referring to FIG. 5, the child protection area safety sign device displays forward caution information displayed on the electronic signboard 300 on the road ahead of the vehicle through the image irradiation unit 500 formed below the safety sign 200. do.

상기와 같이, 안전 표지판(200)의 하측에 형성된 영상 조사부(500)를 통해 객체 인식에 따른 경고 영상을 차량이 진행하는 앞쪽 도로에 표시함으로써 운전자가 공중에 떠있는 안전 표지판을 보지 못하게 되는 경우 도로 바닥면의 영상을 보고 전방에 위치한 객체의 존재를 확인할 수 있다는 장점이 있다.As described above, by displaying a warning image according to object recognition through the image irradiation unit 500 formed on the lower side of the safety sign 200 on the road in front of the vehicle, when the driver cannot see the safety sign floating in the air, the road It has the advantage of being able to check the existence of an object located in the front by looking at the image of the floor.

도 6은 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치가 전방 주의 등급에 해당하는 서로 다른 전방 주의 정보를 표시하는 과정을 설명하기 위한 예시도이다.6 is an exemplary diagram for explaining a process of displaying different forward attention information corresponding to a forward attention level by a child protection area safety sign device according to an embodiment of the present invention.

도 6을 참조하면, 어린이 보호 구역 안전 표지판 장치는 객체 인식 처리부(600)로부터 수신된 객체 인식 결과 및 배경 종류 중 적어도 하나에 따라 전방 주의 등급을 결정한 후, 전방 주의 등급에 따라 서로 다른 종류의 전방 주의 정보를 전광판(300)을 통해 표시하도록 제어한다. Referring to FIG. 6 , after determining a front attention level according to at least one of the object recognition result received from the object recognition processing unit 600 and the type of background, the child protection area safety sign device determines different types of fronts according to the front attention level. It controls to display caution information through the electric signboard 300.

일 실시예에서, 어린이 보호 구역 안전 표지판 장치는 객체 인식 처리부(600)로부터 수신된 배경 종류가 직선 도로 또는 오르막 도로이고 객체 인식 결과가 객체 미인식을 지시하는 경우, 전방 주의 등급을 보통 등급으로 결정하고 보통 일반 등급에 해당하는 전방 주의 정보(즉, 제한 속도 및 주의 문구)를 전광판(300)을 통해 표시하도록 제어한다. In one embodiment, the child protection area safety sign device determines the forward attention level as normal when the background type received from the object recognition processing unit 600 is a straight road or an uphill road and the object recognition result indicates object not recognized. and control to display forward warning information (ie, speed limit and warning phrase) corresponding to the general level through the electronic display board 300.

만일, 어린이 보호 구역 안전 표지판 장치는 객체 인식 처리부(600)로부터 수신된 배경 종류가 내리막 도로이고 객체 인식 결과가 객체 미인식을 지시하는 경우, 전방 주의 등급을 보통 변경 등급으로 결정하고 보통 변경 등급에 따라 보통 일반 등급에 해당하는 전방 주의 정보를 변경한 후 변경된 전방 주의 정보를 전광판(300)을 통해 표시하도록 제어한다. If the background type received from the object recognition processing unit 600 is a downhill road and the object recognition result indicates object non-recognition, the child protection area safety sign device determines the forward attention level as a normal change level and sets it to a normal change level. Accordingly, after changing forward attention information corresponding to a normal level, the changed forward attention information is controlled to be displayed through the display board 300 .

상기의 실시예에서, 어린이 보호 구역 안전 표지판 장치는 보통 변경 등급에 따라 보통 일반 등급에 해당하는 전방 주의 정보 중 제한 속도를 미리 결정된 제한 속도보다 낮춘 후 변경된 전방 주의 정보를 전광판(300)을 통해 표시하도록 제어한다. In the above embodiment, the child protection area safety sign device displays the changed forward caution information through the electric signboard 300 after lowering the speed limit of the forward caution information corresponding to the normal grade according to the normal change grade below the predetermined speed limit. control to do

다른 일 실시예에서, 어린이 보호 구역 안전 표지판 장치는 객체 인식 처리부(600)로부터 수신된 배경 종류가 직선 도로 또는 곡선 도로이고 객체 인식 결과가 객체 인식을 지시하는 경우, 전방 주의 등급을 조심 등급으로 결정하고 조심 등급에 해당하는 전방 주의 정보(즉, 사람 이미지 및 주의 문구)를 전광판(300)을 통해 표시하도록 제어한다. In another embodiment, the child protection area safety sign device determines the forward attention level as the caution level when the background type received from the object recognition processing unit 600 is a straight road or a curved road and the object recognition result indicates object recognition. and controls to display forward caution information corresponding to the caution level (ie, a person image and a caution phrase) through the electronic display board 300 .

또 다른 일 실시예에서, 어린이 보호 구역 안전 표지판 장치는 객체 인식 처리부(600)로부터 수신된 배경 종류가 내리막 도로 또는 오르마 도로이고 객체 인식 결과가 객체 인식을 지시하는 경우, 전방 주의 등급을 위험 등급으로 결정하고 위험 등급에 해당하는 전방 주의 정보(즉, 사람 이미지 및 주의 문구)를 전광판(300)을 통해 표시하도록 제어한다. In another embodiment, the child protection area safety sign device sets the forward attention level to a danger level when the background type received from the object recognition processing unit 600 is a downhill road or an uphill road and the object recognition result indicates object recognition. , and controls to display forward caution information (ie, a person image and a caution phrase) corresponding to the risk level through the electronic display board 300 .

도 7은 본 발명의 일 실시예에 따른 어린이 보호 구역 안전 표지판 장치의 동작 과정을 설명하기 위한 예시도이다.7 is an exemplary diagram for explaining an operation process of a child protection area safety sign device according to an embodiment of the present invention.

도 7을 참조하면, 안전 표지판(200)은 지지기둥(100)의 상부측에 도로를 가로지르는 방향으로 설치되어 이정표나 지역의 홍보 혹은 어린이 보호 구역을 표시하는 공익적인 도안 및 문자가 형성되어 있다. 도 7에서 안전 표지판(200)은 사각형으로 도시하였으나 그 모양은 이에 한정된 것은 아니며, 실시예에 따라 모양이 삼각형, 원형 등으로 구현될 수 있다. Referring to FIG. 7, the safety sign 200 is installed on the upper side of the support column 100 in a direction across the road, and public interest designs and letters are formed to display milestones, local publicity, or children's protection areas. . In FIG. 7 , the safety sign 200 is illustrated as a rectangle, but its shape is not limited thereto, and the shape may be implemented as a triangle or a circle according to embodiments.

이러한 안전 표지판(200)의 뒤측에 차량 진행 방향을 향하도록 형성되어 있는 후방 영상 촬영 기기(400)는 안전 표지판(200)의 뒤측을 촬영하여 표지판 뒤측 영상 데이터를 생성한다. The rear image capturing device 400 formed on the rear side of the safety sign 200 to face the direction of vehicle travel captures the rear side of the safety sign 200 and generates rear image data of the sign.

이때, 표지판 뒤측 영상 데이터는 차량 진행 방향을 향하도록 설치되어 있기 때문에 안전 표지판(200)의 뒤측에 대한 영상을 의미할 수 있다. 이러한 표지판 뒤측 영상 데이터는 실시간으로 촬영된 영상이기 때문에 복수의 프레임으로 구성되어 있을 수 있다. At this time, since the image data of the rear side of the sign is installed to face the vehicle traveling direction, it may mean an image of the rear side of the safety sign 200 . Since the image data behind the sign is an image captured in real time, it may consist of a plurality of frames.

따라서, 객체 인식 처리부(600)는 후방 영상 촬영 기기(400)로부터 수신된 표지판 뒤측 영상 데이터를 프레임 단위로 분석하여 객체를 인식할 수 있는 것이다. Accordingly, the object recognition processing unit 600 may recognize the object by analyzing the image data of the rear side of the sign received from the rear image capturing device 400 frame by frame.

전광판(300)은 안전 표지판(200)의 일측면에 형성되며, LED가 일정 간격으로 배열되어 점멸을 통해 어린이 보호 구역 표시, 속도제한 표시 및 전방 보행자 주의 내용을 표출한다. The electronic display board 300 is formed on one side of the safety sign 200, and LEDs are arranged at regular intervals to display children's protection zones, speed limits, and warnings for pedestrians ahead through blinking.

일 실시예에서, 전광판(300)은 제어부(700)에 의해 배경 종류 및 객체 인식 결과 중 적어도 하나에 따라 전방 주의 등급이 결정되면 전방 주의 등급에 해당하는 서로 다른 전방 주의 정보를 표시할 수 있다. 이러한 과정은 도 6에서 설명하였으므로 상세한 설명은 생략하기로 한다. In an embodiment, when the forward attention level is determined by the control unit 700 according to at least one of the background type and the object recognition result, the electronic display board 300 may display different forward attention information corresponding to the forward attention level. Since this process has been described with reference to FIG. 6, a detailed description thereof will be omitted.

제어부(700)는 객체 인식 처리부(600)로부터 수신된 객체 인식 결과 및 배경 종류 중 적어도 하나에 따라 전방 주의 등급을 결정한 후, 전방 주의 등급에 따라 서로 다른 종류의 전방 주의 정보를 전광판(300)을 통해 표시하도록 제어한다. 이러한 과정은 도 4에서 설명하였으므로 상세한 설명은 생략하기로 한다.The control unit 700 determines a forward attention level according to at least one of the object recognition result received from the object recognition processor 600 and the background type, and then provides different types of forward attention information to the electronic signboard 300 according to the forward attention level. control to display. Since this process has been described with reference to FIG. 4, a detailed description thereof will be omitted.

이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.As described above, the present invention has been described with reference to the drawings illustrated, but the present invention is not limited by the embodiments and drawings disclosed in this specification, and various modifications are made by those skilled in the art within the scope of the technical idea of the present invention. It is obvious that variations can be made. In addition, although the operational effects according to the configuration of the present invention have not been explicitly described and described while describing the embodiments of the present invention, it is natural that the effects predictable by the corresponding configuration should also be recognized.

100: 지지기둥,
200: 안전 표지판,
300: 전광판,
400: 후방 영상 촬영 기기,
500: 영상 조사부,
600: 객체 인식 처리부,
700: 제어부100: support column,
200: safety sign,
300: electronic display board,
400: rear imaging device,
500: image investigation unit,
600: object recognition processing unit,
700: control unit

Claims (8)

어린이 보호 구역 안전 표지판 장치에 있어서,
지지기둥의 상부측에 도로를 가로지르는 방향으로 설치된 안전 표지판의 일부분 또는 전체에 형성되는 전광판;
상기 안전 표지판의 뒤측에 차량 진행 방향을 향하도록 형성되어 상기 안전 표지판의 뒤측을 촬영하여 표지판 뒤측 영상 데이터를 생성하는 후방 영상 촬영 기기;
상기 후방 영상 촬영 기기로부터 표지판 뒤측 영상 데이터를 수신하면, 상기 표지판 뒤측 영상 데이터를 분석하여 객체가 인식되면 객체 인식 결과를 제공하는 객체 인식 처리부;
상기 객체 인식 처리부로부터 수신된 객체 인식 결과에 따라 전방 주의 정보를 상기 전광판을 통해 표시되도록 제어하는 제어부를 포함하는 것을 특징으로 하는
어린이 보호 구역 안전 표지판 장치.In the child protection zone safety sign device,
An electric sign board formed on a part or the whole of a safety sign installed in a direction crossing the road on an upper side of a support pillar;
a rear image capturing device formed on the rear side of the safety sign to face the vehicle traveling direction and capturing the rear side of the safety sign to generate rear image data of the sign;
an object recognition processor configured to analyze the video data of the rear side of the sign when receiving image data from the rear image capturing device and provide an object recognition result when an object is recognized;
Characterized in that it comprises a control unit for controlling the forward attention information to be displayed through the electric signboard according to the object recognition result received from the object recognition processing unit.
Child protection area safety signage device. 제1항에 있어서,
상기 안전 표지판의 하측에 형성되어 상기 전방 주의 정보를 상기 차량이 진행하는 앞쪽 도로에 표시하는 영상 조사부를 더 포함하는 것을 특징으로 하는
어린이 보호 구역 안전 표지판 장치.According to claim 1,
Characterized in that it further comprises an image irradiation unit formed on the lower side of the safety sign to display the forward caution information on the road ahead of the vehicle.
Child protection area safety signage device. 제1항에 있어서,
상기 객체 인식 처리부는
상기 표지판 뒤측 영상 데이터 각각의 프레임 및 미리 저장된 배경 프레임 각각을 비교하여 상기 배경 프레임에 존재하지 않는 이동 객체가 상기 프레임에 존재하는 경우 해당 프레임부터 연속된 프레임을 분석하여 이동 객체의 움직임을 인식하는 것을 특징으로 하는
어린이 보호 구역 안전 표지판 장치.According to claim 1,
The object recognition processing unit
Comparing each frame of the image data behind the sign and each of the background frames stored in advance, and recognizing the movement of the moving object by analyzing consecutive frames from the frame when a moving object that does not exist in the background frame exists in the frame characterized
Child protection area safety signage device. 제3항에 있어서,
상기 객체 인식 처리부는,
상기 이동 객체의 움직임 패턴을 분석하여 상기 이동 객체를 사람 또는 물체로 구분하는 어린이 보호 구역 안전 표지판 장치.According to claim 3,
The object recognition processing unit,
A child protection zone safety sign device for classifying the moving object as a person or an object by analyzing the movement pattern of the moving object. 제3항에 있어서,
상기 객체 인식 처리부는
상기 표지판 뒤측 영상 데이터를 프레임 단위로 분석하는 과정에서 제1 프레임 및 제2 프레임 사이의 차이 프레임을 생성하고, 상기 차이 프레임을 통해 해당 촬영 영역에 존재하는 고정 객체를 결정하고, 상기 고정 객체만이 존재하는 프레임을 배경 프레임으로 미리 저장하는 것을 특징으로 하는
어린이 보호 구역 안전 표지판 장치.According to claim 3,
The object recognition processing unit
In the process of analyzing the image data behind the sign in frame units, a difference frame between the first frame and the second frame is generated, and a fixed object existing in the corresponding shooting area is determined through the difference frame, and only the fixed object characterized in that the existing frame is stored in advance as a background frame
Child protection area safety signage device. 제3항에 있어서,
상기 객체 인식 처리부는
상기 배경 프레임을 분석하여 상기 후방 영상 촬영 기기가 향하는 방향의 배경 종류를 결정하고, 상기 배경 종류 및 상기 객체 인식 결과를 상기 제어부에 제공하고,
상기 제어부는
상기 배경 종류 및 상기 객체 인식 결과에 따라 서로 다른 종류의 전방 주의 정보를 상기 전광판을 통해 표시되도록 제어하는 것을 특징으로 하는
어린이 보호 구역 안전 표지판 장치.According to claim 3,
The object recognition processing unit
The background frame is analyzed to determine the background type of the direction the rear imaging device faces, and the background type and the object recognition result are provided to the control unit;
The control unit
Characterized in that different types of forward attention information are controlled to be displayed through the electric signboard according to the background type and the object recognition result.
Child protection area safety signage device. 제1항에 있어서,
상기 후방 영상 촬영 기기는,
상기 안전 표시판의 뒤측에 위치한 횡단 보도상 전체 영역인 제1 영역을 촬영하거나, 제1 영역과 인접하며 횡단 보도의 사각 테두리로부터 일정 이격 거리 이내로 설정되는 제2 영역을 촬영하며,
상기 제어부는,
외부 제어 신호에 따라 상기 제1 영역 또는 상기 제2 영역을 선택하고, 상기 후방 영상 촬영 기기로부터 선택된 영역에 대한 영상 촬영이 실행되도록 제어하는
어린이 보호 구역 안전 표지판 장치. According to claim 1,
The rear image recording device,
Taking a first area, which is the entire area on the crosswalk located behind the safety sign board, or taking a second area adjacent to the first area and set within a certain distance from the square edge of the crosswalk,
The control unit,
Selecting the first area or the second area according to an external control signal, and controlling the rear imaging device to capture an image of the selected area.
Child protection area safety signage device. 제1항에 있어서,
상기 객체 인식 처리부는
미리 생성된 학습 모델에 뒤측 영상 데이터 각각의 프레임 및 촬영 시점을 적용하여 상기 촬영 시점에 해당하는 프레임 각각에 미리 학습된 해당 시점의 이동 객체의 정보가 존재하는지 여부 및 객체 특징점에 해당하는 객체의 정보가 존재하는지 여부를 판단하여 객체 인식 결과를 생성하는 것을 특징으로 하는
어린이 보호 구역 안전 표지판 장치.According to claim 1,
The object recognition processing unit
By applying each frame of the rear image data and the shooting time point to the pre-created learning model, whether or not the pre-learned moving object information at that time point exists in each frame corresponding to the shooting time point and the information of the object corresponding to the object feature point Characterized in that the object recognition result is generated by determining whether
Child protection area safety signage device.
KR1020210077950A 2021-06-16 2021-06-16 A traffic sign apparatus for school zone traffic safety KR102645892B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210077950A KR102645892B1 (en) 2021-06-16 2021-06-16 A traffic sign apparatus for school zone traffic safety

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210077950A KR102645892B1 (en) 2021-06-16 2021-06-16 A traffic sign apparatus for school zone traffic safety

Publications (2)

Publication Number Publication Date
KR20220168342A true KR20220168342A (en) 2022-12-23
KR102645892B1 KR102645892B1 (en) 2024-03-11

Family

ID=84536262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210077950A KR102645892B1 (en) 2021-06-16 2021-06-16 A traffic sign apparatus for school zone traffic safety

Country Status (1)

Country Link
KR (1) KR102645892B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102686419B1 (en) * 2023-05-08 2024-07-22 주식회사 부경디엔씨 Lane Marking System for Child Protection Zones

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000053623A (en) 1999-01-26 2000-08-25 엔도 마코토 Substrate processing apparatus and substrate processing method
KR20120067901A (en) * 2010-12-16 2012-06-26 한국건설기술연구원 Back light unit for road information-image display system and road information-image display system including the same
KR101387244B1 (en) * 2013-11-18 2014-04-21 주식회사 Jbk Imagine sign dispaly apparatus
JP2017163374A (en) * 2016-03-10 2017-09-14 株式会社デンソー Traffic situation analyzer, traffic situation analyzing method, and traffic situation analysis program
KR102152237B1 (en) * 2020-05-27 2020-09-04 주식회사 와치캠 Cctv central control system and method based on situation analysis
KR102189569B1 (en) * 2020-06-24 2020-12-11 주식회사 문창 Multifunctional smart object recognition accident prevention sign guide plate and accident prevention method using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000053623A (en) 1999-01-26 2000-08-25 엔도 마코토 Substrate processing apparatus and substrate processing method
KR20120067901A (en) * 2010-12-16 2012-06-26 한국건설기술연구원 Back light unit for road information-image display system and road information-image display system including the same
KR101387244B1 (en) * 2013-11-18 2014-04-21 주식회사 Jbk Imagine sign dispaly apparatus
JP2017163374A (en) * 2016-03-10 2017-09-14 株式会社デンソー Traffic situation analyzer, traffic situation analyzing method, and traffic situation analysis program
KR102152237B1 (en) * 2020-05-27 2020-09-04 주식회사 와치캠 Cctv central control system and method based on situation analysis
KR102189569B1 (en) * 2020-06-24 2020-12-11 주식회사 문창 Multifunctional smart object recognition accident prevention sign guide plate and accident prevention method using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102686419B1 (en) * 2023-05-08 2024-07-22 주식회사 부경디엔씨 Lane Marking System for Child Protection Zones

Also Published As

Publication number Publication date
KR102645892B1 (en) 2024-03-11

Similar Documents

Publication Publication Date Title
JP6855542B2 (en) Methods, devices, equipment and storage media that provide feedback outside the vehicle
CN109272742B (en) Pedestrian crossing early warning system with pedestrian early warning upright post and control method
KR102189569B1 (en) Multifunctional smart object recognition accident prevention sign guide plate and accident prevention method using the same
US7148813B2 (en) Light emitting traffic sign having vehicle sensing capabilities
KR100982966B1 (en) Apparatus for protecting pedestrian
KR101547807B1 (en) Auxiliary safty system for traffic signal
KR101663929B1 (en) Method for preventing accident in cross road of school zone, and system of the same
KR102194543B1 (en) A complex traffic light
KR101673211B1 (en) Method for preventing accident in cross road
US11046245B2 (en) Motor vehicle comprising a lighting module for generating a symbol
KR102303200B1 (en) Smart crosswalk system and method and apparatus for the same
KR102062589B1 (en) Smart guide sign apparatus for school zone and monitoring system therewith
CA2687205A1 (en) An intersection-located driver alert system
KR101125095B1 (en) Attention device for traffic control
KR102484348B1 (en) Smart pole system that tracks the position of pedestrians in the pedestrian crossing area
KR20090028878A (en) Child protection sector multifunctional unification signpost
KR20160092965A (en) Method of preventing traffic accidents in crossroad for signal violation and overspeed, and system of the same
KR20180002976A (en) Method of controlling signal for cross road, reducing traffic accidents
KR101979389B1 (en) On boarding safety system for children's school bus and the control method thereof
KR20220168342A (en) A traffic sign apparatus for school zone traffic safety
KR102037824B1 (en) Apparatus for notifying walk signal using laser beam scanning
KR102331250B1 (en) Traffic safety warning system for Cross Road using LED and Beam Projector
KR20200089829A (en) Reversible lane operating system
KR100997484B1 (en) Pedestrian crossing traffic light and school zone traffic signal architecture
KR102617647B1 (en) Apparatus for alarming traffic situation in three-way intersection

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant