KR20210098894A - Apparatus and method for monitoring vehicle in parking lot - Google Patents
Apparatus and method for monitoring vehicle in parking lot Download PDFInfo
- Publication number
- KR20210098894A KR20210098894A KR1020210101383A KR20210101383A KR20210098894A KR 20210098894 A KR20210098894 A KR 20210098894A KR 1020210101383 A KR1020210101383 A KR 1020210101383A KR 20210101383 A KR20210101383 A KR 20210101383A KR 20210098894 A KR20210098894 A KR 20210098894A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- interest
- parking lot
- monitoring
- abnormal state
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 189
- 238000000034 method Methods 0.000 title claims description 35
- 230000002159 abnormal effect Effects 0.000 claims abstract description 76
- 238000004891 communication Methods 0.000 claims abstract description 53
- 238000012806 monitoring device Methods 0.000 claims abstract description 28
- 238000010191 image analysis Methods 0.000 claims abstract description 25
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 description 30
- 238000013135 deep learning Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G06K2209/15—
-
- G06K2209/23—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
Description
본 발명은 주차장 내 주차된 차량을 모니터링 하는 주차장 내 차량 모니터링 장치 및 방법에 관한 것이다.The present invention relates to a vehicle monitoring apparatus and method in a parking lot for monitoring a vehicle parked in the parking lot.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다. 이와 같은 차량은 정해진 목적지까지 주행 경로를 따라 주행함으로써, 탑승객이나 탑재된 물류를 목적지까지 빠르고 정확하게 운송할 수 있다.BACKGROUND ART In general, a vehicle refers to a transportation device that travels on a road or track by using fossil fuel, electricity, or the like as a power source. By driving such a vehicle along a driving route to a predetermined destination, it is possible to quickly and accurately transport passengers or loaded logistics to the destination.
운송을 마친 차량은 이후의 운송을 수행하기 전까지 정지 상태로 대기할 수 있다. 이 때, 차량은 주차의 용도로서 정해지지 않은 도로 상에 임시로 정차하거나, 주차를 위해 마련된 주차장 내에 위치함으로써 안전하게 주차를 완료할 수 있다.The vehicle that has been transported may stand by in a stationary state until further transport is performed. In this case, the vehicle can be safely parked by temporarily stopping on a road not determined for the purpose of parking, or by being located in a parking lot provided for parking.
주차장은 차량의 입차 및 출차를 효율적으로 관리하고, 주차된 차량의 보안성을 높이기 위해 복수의 카메라가 설치될 수 있다. 카메라는 주차장 내 복수의 위치에 설치되고, 주차장 내부 영상을 미리 정해진 주기마다 실시간으로 획득할 수 있다.In the parking lot, a plurality of cameras may be installed to efficiently manage the entry and exit of the vehicle, and to increase the security of the parked vehicle. The camera may be installed at a plurality of locations within the parking lot, and may acquire an image inside the parking lot in real time at predetermined intervals.
주차장 관리자는 필요에 따라 카메라에 의해 획득된 영상을 시각적으로 확인하거나, 별도의 영상 분석 수단을 이용하여 주차장 내부 영상으로부터 주차장 정보를 획득할 수 있고, 이렇게 획득된 정보는 주차장 관리에 이용될 수 있다.The parking lot manager can visually check the image obtained by the camera as needed, or obtain parking lot information from the image inside the parking lot by using a separate image analysis means, and the information obtained in this way can be used for parking lot management .
본 발명이 해결하고자 하는 과제는, 모니터링 영상 내 관심 차량의 비정상 상태를 관심 차량에 대응되는 단말기로 전송하는 주차장 내 차량 모니터링 장치 및 방법을 제공하는 것이다. An object of the present invention is to provide an apparatus and method for monitoring a vehicle in a parking lot that transmits an abnormal state of a vehicle of interest in a monitoring image to a terminal corresponding to the vehicle of interest.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved by the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 장치는, 관심 주차 영역에 대한 모니터링 영상을 수신하는 통신부, 상기 수신된 모니터링 영상 내의 피인식자에 대한 안면 인식을 수행하고, 관심 차량의 차량 번호를 획득하는 영상 분석부 및 상기 차량 번호에 근거하여 고객 정보에서 상기 관심 차량에 대응되는 단말기를 식별하며, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보를 매칭하여, 상기 관심 차량의 소유 또는 권한 여부를 판단하고, 상기 소유 또는 권한 여부에 기초하여, 상기 관심 차량에 대응되는 단말기로 상기 관심 차량에 대한 상태 알림 전송 여부를 결정하여, 결정된 상기 전송 여부에 기초해 상기 통신부를 제어하는 제어부를 포함할 수 있다.A vehicle monitoring device in a parking lot according to an embodiment of the present invention, a communication unit for receiving a monitoring image for a parking area of interest, performs facial recognition on a person to be recognized in the received monitoring image, and obtains the vehicle number of the vehicle of interest Based on the acquired image analysis unit and the vehicle number, the terminal corresponding to the vehicle of interest is identified from the customer information, and the result of performing the face recognition is matched with the face information stored in the customer information, the vehicle of interest determines whether ownership or authority of It may include a control unit that
또한, 상기 영상 분석부는, 상기 관심 차량의 비정상 상태 여부를 더 결정하고, 상기 제어부는, 상기 관심 차량이 비정상 상태라고 결정되고, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보에 기초해 상기 피인식자가 상기 관심 차량의 소유 또는 권한이 있다고 판단되는 경우, 상기 통신부가 상기 비정상 상태 알림을 전송하지 않도록 통신부를 제어할 수 있다.In addition, the image analysis unit further determines whether the vehicle of interest is in an abnormal state, and the controller determines that the vehicle of interest is in an abnormal state, and facial information pre-stored in the result of performing the face recognition and customer information. When it is determined that the recognized person owns or has authority to the vehicle of interest based on , the communication unit may control the communication unit not to transmit the abnormal state notification.
또한, 상기 영상 분석부는, 상기 관심 차량의 비정상 상태 여부를 더 결정하고, 상기 제어부는, 상기 관심 차량이 비정상 상태라고 결정되고, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보에 기초해 상기 피인식자가 상기 관심 차량의 소유 또는 권한이 없다고 판단되는 경우, 상기 통신부가 상기 비정상 상태 알림을 상기 관심 차량에 대응되는 단말기에 전송하도록 통신부를 제어할 수 있다.In addition, the image analysis unit further determines whether the vehicle of interest is in an abnormal state, and the controller determines that the vehicle of interest is in an abnormal state, and facial information pre-stored in the result of performing the face recognition and customer information. When it is determined that the recognized person does not own or have authority to the vehicle of interest, the communication unit may control the communication unit to transmit the abnormal state notification to a terminal corresponding to the vehicle of interest.
또한, 상기 영상 분석부는, 제 1 시각의 제 1 모니터링 영상을 상기 제 1 시각 이전의 제 2 시각에 수신된 제 2 모니터링 영상과 비교하여 상기 관심 차량의 비정상 상태 여부를 결정할 수 있다.Also, the image analyzer may determine whether the vehicle of interest is in an abnormal state by comparing a first monitoring image of a first time with a second monitoring image received at a second time before the first time.
본 발명의 다른 실시예에 따른 주차장 내 차량 모니터링 방법은, 관심 주차 영역에 대한 모니터링 영상을 수신하는 단계, 상기 수신된 모니터링 영상 내의 피인식자에 대한 안면 인식을 수행하고, 관심 차량의 차량 번호를 획득하는 단계, 상기 차량 번호에 근거하여 고객 정보에서 상기 관심 차량에 대응되는 단말기를 식별하며, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보를 매칭하여, 상기 관심 차량의 소유 또는 권한 여부를 판단하는 단계 및 상기 소유 또는 권한 여부에 기초하여, 상기 관심 차량에 대응되는 단말기로 상기 관심 차량에 대한 상태 알림 전송여부를 결정하는 단계를 포함한다.A vehicle monitoring method in a parking lot according to another embodiment of the present invention comprises the steps of receiving a monitoring image for a parking area of interest, performing facial recognition on a person to be recognized in the received monitoring image, and determining the vehicle number of the vehicle of interest. acquiring, identifying a terminal corresponding to the vehicle of interest from customer information based on the vehicle number, and matching the facial recognition result with facial information previously stored in the customer information to own the vehicle of interest or determining whether the vehicle is authorized, and determining whether to transmit a status notification for the vehicle of interest to a terminal corresponding to the vehicle of interest based on whether the vehicle is owned or authorized.
본 발명의 실시예에 의하면, 주차장에 주차된 차량의 비정상 상태를 차량의 소유자가 신속하게 확인할 수 있는 환경을 제공할 수 있다. 또한, 모니터링 서비스에 가입된 소유자의 단말기에 대해서만 추가적으로 모니터링 영상을 제공할 수 있으며, 이에 대하여 별도의 요율을 적용할 수 있다. 아울러, 모니터링 서비스에 가입되지 않은 차량의 소유자에 대해서도 관리 단말기 또는 정산 장치를 통해 차량의 상태를 알릴 수 있다.According to an embodiment of the present invention, it is possible to provide an environment in which the owner of the vehicle can quickly check the abnormal state of the vehicle parked in the parking lot. In addition, the monitoring image may be additionally provided only to the terminal of the owner subscribed to the monitoring service, and a separate rate may be applied thereto. In addition, even the owner of the vehicle not subscribed to the monitoring service may be notified of the vehicle status through the management terminal or the settlement device.
도 1은 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 장치의 제어 블록도이다.
도 2는 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 장치에 모니터링 영상을 제공하는 카메라를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 방법의 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 주차장 내 차량 모니터링 방법의 흐름도이다.
도 5는 본 발명의 또 다른 실시예에 따른 주차장 내 차량 모니터링 방법의 흐름도이다.1 is a control block diagram of a vehicle monitoring device in a parking lot according to an embodiment of the present invention.
2 is a view for explaining a camera that provides a monitoring image to a vehicle monitoring device in a parking lot according to an embodiment of the present invention.
3 is a flowchart of a vehicle monitoring method in a parking lot according to an embodiment of the present invention.
4 is a flowchart of a method for monitoring a vehicle in a parking lot according to another embodiment of the present invention.
5 is a flowchart of a method for monitoring a vehicle in a parking lot according to another embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.
도 1은 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 장치의 제어 블록도이고, 도 2는 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 장치에 모니터링 영상을 제공하는 카메라를 설명하기 위한 도면이다. 1 is a control block diagram of a vehicle monitoring device in a parking lot according to an embodiment of the present invention, and FIG. 2 is a view for explaining a camera that provides a monitoring image to a vehicle monitoring device in a parking lot according to an embodiment of the present invention am.
본 발명의 주차장 내 차량 모니터링 장치는 주차장 내부에 설치된 카메라를 이용하여 주차장 내 주차된 차량을 모니터링하는 장치를 의미할 수 있다. The vehicle monitoring device in the parking lot of the present invention may refer to a device for monitoring a vehicle parked in the parking lot using a camera installed in the parking lot.
주차장에는 복수의 차량이 입출차하며 주차되므로, 주차장 관리자는 이들을 효율적으로 관리할 필요가 있다. 이를 위해, 주차장 내부에는 주차 영역에 대한 복수의 카메라가 설치되고, 설치된 카메라에 의해 주차 영역에 대한 영상이 실시간으로 획득될 수 있다.Since a plurality of vehicles are parked in and out of the parking lot, the parking lot manager needs to efficiently manage them. To this end, a plurality of cameras for the parking area are installed inside the parking lot, and an image of the parking area may be acquired in real time by the installed cameras.
그러나, 주차된 차량이 외력에 의해 물리적으로 손상되거나, 소유자 이외의 사람에 의해 도난 또는 훼손되는 경우, 소유자는 추후 차량의 상태를 직접 육안으로 확인한 이후, 필요에 따라 주차장 관리자에게 주차 영역에 대한 영상을 요청할 수 있을 뿐이고, 비정상 상태의 차량에 즉각적인 조치를 취하기 어렵다.However, if the parked vehicle is physically damaged by an external force, or stolen or damaged by a person other than the owner, the owner will check the condition of the vehicle with the naked eye and, if necessary, send a video about the parking area to the parking lot manager if necessary. can only request, and it is difficult to take immediate action on a vehicle in an abnormal state.
이를 해결하기 위해, 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 장치(100)는 모니터링 영상 내 관심 차량의 비정상 상태를 관심 차량에 대응되는 단말기 T로 전송할 수 있다. 여기서, 관심 차량의 비정상 상태란 주차 영역에 주차된 차량에 비정상적인 변화가 존재하는 상태로서, 주차된 차량에 물리적인 충격이 가해져 외관상의 변화가 발생되거나, 확인되지 않은 사람에 의해 주차된 차량이 이동 또는 훼손되는 경우를 포함할 수 있다. 또한, 관심 차량의 외관상 변화에 따른 비정상 상태는 충돌에 따른 관심 차량의 움직임(흔들림, 이동 등) 발생, 충돌 등에 의한 외관 파손에 따른 외형 변화(형체, 색상, 이탈 등) 발생, 화재로 인한 연기, 불꽃 발생, 관심 차량의 창문 파손, 도어, 트렁크 열림 상태 유지, 관심 차량으로의 낙하물(물건, 천장 마감제, 하수(물) 등) 투척 및 침수 등으로 외부환경 변화 발생, 및 주차장 내 카트 등과 같은 이동 장치 접촉 발생 중 적어도 하나를 포함할 수 있다.To solve this problem, the
도 1을 참조하면, 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 장치(100)는 통신부(110), 영상 분석부(130), 저장부(120), 및 제어부(140)를 포함할 수 있다.Referring to FIG. 1 , a
통신부(110)는 주차장 내 설치된 복수의 카메라 C와 통신 가능하도록 마련될 수 있다. 구체적으로, 통신부(110)는 주차장 내 설치된 복수의 카메라 C 각각으로부터 카메라 C에 의해 획득된 주차장 내 주차된 차량에 대한 모니터링 영상을 수신할 수 있다.The
이 때, 일 실시예에 따른 카메라 C는 적어도 하나의 주차 영역에 대한 모니터링 영상을 획득할 수 있도록 주차장 내부에 설치될 수 있다. 도 2에서는 카메라 C의 촬영 영역 SI 내에 3 개의 주차 영역 SP가 포함되는 위치에 카메라 C가 설치되는 경우를 예시한다. 이 경우, 카메라 C는 3 개의 주차 영역 SP를 관심 주차 영역으로 하고, 관심 주차 영역에 대한 모니터링 영상을 획득할 수 있다.In this case, the camera C according to an embodiment may be installed inside the parking lot to acquire a monitoring image for at least one parking area. 2 exemplifies a case in which the camera C is installed at a position including three parking areas S P in the photographing area S I of the camera C. In FIG. In this case, the camera C may use three parking areas SP as a parking area of interest, and may acquire a monitoring image for the parking area of interest.
또한, 카메라 C는 미리 정해진 주기마다 모니터링 영상을 획득할 수 있다. 즉, 카메라 C는 미리 정해진 프레임 레이트에 따라 관심 주차 영역에 대하여 실시간으로 모니터링 영상을 획득할 수 있다.In addition, the camera C may acquire a monitoring image every predetermined period. That is, the camera C may acquire a monitoring image for the parking area of interest in real time according to a predetermined frame rate.
통신부(110)는 공지된 유무선 통신 방식 중 적어도 하나를 채택하여 카메라 C로부터 모니터링 영상을 수신할 수 있다. 예를 들어, 일 실시예에 따른 통신부(110)는 통신 케이블 및/또는 광 케이블에 의해 카메라 C와 연결되어, 직접 모니터링 영상을 수신할 수 있다. 이와는 달리, 다른 실시에에 따른 통신부(110)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, 5G 등과 같은 셀룰러 이동 통신 방법, 또는 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 근거리 무선 통신 방법 중 적어도 하나를 채택하여 카메라 C로부터 모니터링 영상을 수신할 수도 있다. 다만, 통신부(110)가 카메라 C와 통신하는 방법은 상술한 실시예에 한정되지 않는다.The
또한, 통신부(110)는 후술할 제어부(140)의 제어에 따라 관심 차량에 대응되는 단말기 T 및/또는 관심 차량의 주차 요금이 정산된 정산 장치 A로 관심 차량의 비정상 상태 알림을 전송할 수 있다. 이를 위해, 통신부(110)는 공지된 유무선 통신 방식 중 적어도 하나를 채택할 수 있다. 이 때, 통신부(110)는 카메라 C, 단말기 T, 및 정산 장치 A 각각에 대하여 서로 다른 통신 방식을 채택하거나, 적어도 일부에 대하여 동일한 통신 방식을 이용할 수도 있다.In addition, the
저장부(120)는 통신부(110)에 의해 수신되는 모니터링 영상을 저장하도록 마련될 수 있다. 이 때, 저장부(120)는 복수의 카메라 C에 의해 수신되는 모니터링 영상을 카메라 C 별로 저장할 수 있다. 이와는 달리, 저장부(120)는 관심 주차 영역 또는 관심 차량 별로 저장할 수 있다. 만약, 서로 다른 모니터링 영상 내에 동일한 관심 주차 영역 또는 동일한 관심 차량이 포함된다면, 저장부(120)는 해당 모니터링 영상을 동일한 관심 주차 영역 또는 동일한 관심 차량으로 분류하여 저장할 수 있다.The
또한, 저장부(120)는 통신부(110)에 의해 수신되는 모든 모니터링 영상을 저장할 수도 있고, 선택적으로 저장할 수도 있으며, 선택적으로 저장 시 저장 기간을 달리할 수도 있다. 예를 들어, 저장부(120)는 모니터링 영상 내 관심 주차 영역에 주차된 관심 차량에 대응되는 단말기 T가 모니터링 서비스에 가입된 경우에만 해당 모니터링 영상을 저장하거나, 다른 모니터링 영상보다 더 오래 저장할 수 있다.In addition, the
이를 위해, 저장부(120)는 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체로 구현될 수 있다.To this end, the
영상 분석부(130)는 통신부(110)에 의해 수신된 모니터링 영상 내 관심 주차 영역에 주차된 관심 차량의 상태를 결정하도록 모니터링 영상을 분석할 수 있다. 이를 위해, 영상 분석부(130)는 모니터링 영상으로부터 객체로서 관심 차량을 검출하고, 모니터링 영상 내 검출된 관심 차량을 분석할 수 있다. 관심 차량 검출을 위해, 일 실시예에 따른 영상 분석부(130)는 딥러닝과 같은 기계학습에 의해 생성된 객체 검출 모델을 이용할 수 있다.The
만약, 통신부(110)가 카메라 C로부터 미리 정해진 주기 마다 모니터링 영상을 순차적으로 수신하는 경우, 영상 분석부(130)는 현 주기의 모니터링 영상을 이전 주기의 모니터링 영상과 비교함으로써 모니터링 영상을 분석할 수 있다. 예를 들어, 일 실시예에 따른 영상 분석부(130)는 현 주기인 제 1 주기의 제 1 모니터링 영상으로부터 제 1 관심 차량을 검출하고, 제 1 주기 직전의 제 2 주기의 제 2 모니터링 영상 내 제 2 관심 차량을 검출한 후, 제 1 관심 차량과 제 2 관심 차량을 비교할 수 있다. If the
특히, 일 실시예에 따른 영상 분석부(130)는 제 2 관심 차량을 기준으로 제 1 관심 차량의 픽셀 영역, 픽셀 값 등을 확인함으로써, 관심 차량의 비정상 상태 여부를 결정할 수 있다. 만약, 확인된 픽셀 영역 및/또는 픽셀 값의 변화량이 기준 변화량을 초과하면, 영상 분석부(130)는 관심 차량이 비정상 상태라고 결정할 수 있다.In particular, the
이와는 달리, 다른 실시예에 따른 영상 분석부(130)는 제 1 주기 이전의 복수의 주기 각각의 모니터링 영상을 제 1 모니터링 영상과 비교할 수도 있다. 만약, 인접하는 모니터링 영상 간 관심 차량에 대한 변화량의 미분값이 기준 미분값을 초과하거나, 제 1 주기에서의 변화량이 평균 변화량으로부터 기준 범위를 초과하는 경우, 영상 분석부(130)는 관심 차량이 비정상 상태라고 결정할 수도 있다. Alternatively, the
다만, 영상 분석부(130)가 관심 차량의 비정상 상태 여부를 결정하는 방법은 상술한 실시예에 한정되지 않는다.However, the method by which the
아울러, 영상 분석부(130)는 모니터링 영상에 대하여 안면 인식을 수행할 수도 있다. 이렇게 수행된 안면 인식 결과는 추후 고객 정보에 포함된 얼굴 정보와 매칭되어, 비정상 상태 알림을 전송할지 여부를 결정하는데 이용될 수 있다. 이를 위해, 영상 분석부(130)는 딥러닝과 같은 기계학습에 의해 생성된 안면 인식 모델을 모니터링 영상에 적용하여 안면 인식을 수행할 수 있다.In addition, the
제어부(140)는 주차장 내 차량 모니터링 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 일 실시예에 따른 제어부(140)는 카메라 C로부터 모니터링 영상을 수신하도록 통신부(110)를 제어하고, 통신부(110)에 의해 수신된 모니터링 영상을 저장하도록 저장부(120)를 제어하고, 모니터링 영상을 분석하여 관심 차량의 비정상 상태 여부를 결정하도록 영상 분석부(130)를 제어할 수 있다.The
또한, 제어부(140)는 관심 차량이 비정상 상태로 결정되면, 관심 차량에 대응되는 단말기 T로 관심 차량의 비정상 상태 알림을 전송하도록 통신부(110)를 제어할 수 있다. 이하에서는 제어부(140)의 동작을 중심으로 주차장 내 차량 모니터링 장치(100)가 관심 차량의 비정상 상태 알림을 전송하는 방법을 설명한다.Also, when the vehicle of interest is determined to be in an abnormal state, the
도 3은 본 발명의 일 실시예에 따른 주차장 내 차량 모니터링 방법의 흐름도이다.3 is a flowchart of a vehicle monitoring method in a parking lot according to an embodiment of the present invention.
먼저, 주차장 내 차량 모니터링 장치(100)는 미리 정해진 주기마다 관심 주차 영역에 대한 모니터링 영상을 획득할 수 있다(S100). 구체적으로, 주차장 내 차량 모니터링 장치(100)의 통신부(110)는 주차장 내 설치된 카메라 C로부터 카메라 C에 의해 촬영된 관심 주차 영역에 대한 모니터링 영상을 수신함으로써 획득할 수 있다. 여기서, 관심 주차 영역이란 카메라 C의 촬영 영역 내에 위치하는 주차 영역 중 관심 차량이 주차된 주차 영역을 의미할 수 있다.First, the
그 다음, 주차장 내 차량 모니터링 장치(100)는 획득된 모니터링 영상을 직전 주기에서 획득된 모니터링 영상과 비교할 수 있다(S110). 이를 위해, 주차장 내 차량 모니터링 장치(100)의 영상 분석부(130)는 먼저 획득된 모니터링 영상으로부터 관심 차량을 검출할 수 있다. 일 실시예에 따른 영상 분석부(130)는 관심 차량 검출 시 딥러닝과 같은 기계학습에 의해 생성된 객체 검출 모델을 이용할 수 있다.Next, the
영상 분석부(130)는 현재 주기의 모니터링 영상과 직전 주기의 모니터링 영상 각각으로부터 검출된 관심 차량을 비교할 수 있다. 구체적으로, 영상 분석부(130)는 현재 주기 및 직전 주기 각각의 모니터링 영상으로부터 검출된 관심 차량에 대한 픽셀 영역 및 픽셀 값을 비교하고, 그 변화량을 획득할 수 있다.The
모니터링 영상의 비교 후, 주차장 내 차량 모니터링 장치(100)는 관심 주차 영역에 주차된 관심 차량이 비정상 상태인지 여부를 결정할 수 있다(S120). 예를 들어, 충돌에 따른 관심 차량의 움직임(흔들림, 이동 등) 발생, 충돌 등에 의한 외관 파손에 따른 외형 변화(형체, 색상, 이탈 등) 발생, 화재로 인한 연기, 불꽃 발생, 관심 차량의 창문 파손, 도어, 트렁크 열림 상태 유지, 관심 차량으로의 낙하물(물건, 천장 마감제, 하수(물) 등) 투척 및 침수 등으로 외부환경 변화 발생, 주차장 내 카트 등과 같은 이동 장치 접촉 발생 등과 같이 주차된 차량에 물리적인 충격이 가해져 외관상의 변화가 발생되거나, 확인되지 않은 사람에 의해 주차된 차량이 이동 또는 훼손되는 경우, 연속하는 모니터링 영상 내 관심 차량에 대한 변화량이 급격하게 증가할 수 있다. After comparing the monitoring images, the
따라서, 주차장 내 차량 모니터링 장치(100)의 영상 분석부(130)는 현재 주기의 모니터링 영상과 직전 주기의 모니터링 영상의 비교 결과를 기초로 관심 차량의 비정상 상태 여부를 결정할 수 있다. 일 실시예에 따른 영상 분석부(130)는 직전 주기의 모니터링 영상으로부터 검출된 관심 차량을 기준으로 현재 주기의 모니터링 영상으로부터 검출된 관심 차량의 픽셀 영역, 픽셀 값 등을 확인함으로써, 관심 차량의 비정상 상태 여부를 결정할 수 있다. 만약, 확인된 픽셀 영역 및/또는 픽셀 값의 변화량이 기준 변화량을 초과하면, 영상 분석부(130)는 관심 차량이 비정상 상태라고 결정할 수 있다.Accordingly, the
이와는 달리, 다른 실시예에 따른 영상 분석부(130)는 현재 주기 이전의 복수의 주기 각각의 모니터링 영상을 현재 주기의 모니터링 영상과 비교할 수도 있다. 만약, 인접하는 모니터링 영상 간 관심 차량에 대한 변화량의 미분값이 기준 미분값을 초과하거나, 현재 주기에서의 변화량이 평균 변화량으로부터 기준 범위를 초과하는 경우, 영상 분석부(130)는 관심 차량이 비정상 상태라고 결정할 수도 있다. Alternatively, the
다만, 영상 분석부(130)가 관심 차량의 비정상 상태 여부를 결정하는 방법은 상술한 실시예에 한정되지 않는다.However, the method by which the
만약, 관심 차량이 비정상 상태가 아니라면, 주차장 내 차량 모니터링 장치(100)는 반복하여 모니터링 영상을 획득하고, 이를 기초로 관심 차량이 비정상 상태인지 여부를 결정할 수 있다.If the vehicle of interest is not in an abnormal state, the
반면, 관심 차량이 비정상 상태로 결정되면, 주차장 내 차량 모니터링 장치(100)는 관심 차량의 차량 정보를 기초로 고객 정보를 확인할 수 있다(S130). 이를 위해, 주차장 내 차량 모니터링 장치(100)의 제어부(140)는 모니터링 영상으로부터 차량 정보를 추출하도록 영상 분석부(130)를 제어할 수 있다. 여기서, 차량 정보는 관심 차량을 식별하기 위한 정보로서, 차량 번호를 포함할 수 있다. 모니터링 영상으로부터 차량 정보를 검출하기 위해, 영상 분석부(130)는 딥러닝과 같은 기계학습에 의해 생성된 차량 번호 검출 모델을 이용할 수 있다. On the other hand, if the vehicle of interest is determined to be in an abnormal state, the
차량 번호를 포함하는 차량 정보가 추출되면, 제어부(140)는 해당 차량 정보에 대응되는 고객 정보를 확인할 수 있다(S130). 이를 위해, 일 실시예에 따른 제어부(140)는 저장부(120)에 미리 저장된 고객 정보 DB를 검색할 수 있다. 예를 들어, 제어부(140)는 검출된 차량 번호의 차량을 소유한 소유자의 정보를 고객 정보 DB를 검색하여 확인할 수 있다. When the vehicle information including the vehicle number is extracted, the
이와는 달리, 다른 실시예에 따른 제어부(140)는 고객 정보 DB가 구축된 외부의 서버 장치로 차량 정보를 통신부(110)를 통해 전송하고, 해당 서버 장치로부터 전송된 차량 정보에 대응되는 고객 정보를 통신부(110)를 통해 수신할 수도 있다. Unlike this, the
이 때, 확인된 고객 정보는 해당 소유자에 대한 단말기 T 정보를 포함할 수 있다. 즉, 제어부(140)는 고객 정보를 확인함으로써, 관심 차량 소유자의 단말기 T 정보를 획득할 수 있다.In this case, the verified customer information may include terminal T information about the corresponding owner. That is, the
마지막으로, 주차장 내 차량 모니터링 장치(100)는 확인된 고객 정보에 대응되는 단말기 T로 관심 차량의 비정상 상태 알림을 전송할 수 있다(S140). 구체적으로, 주차장 내 차량 모니터링 장치(100)의 제어부(140)는 확인된 고객 정보 중 단말기 T 정보에 따른 단말기 T로 관심 차량의 비정상 상태 알림을 전송하도록 통신부(110)를 제어할 수 있다.Finally, the
예를 들어, 일 실시예에 따른 제어부(140)는 단말기 T에 설치된 차량 모니터링 애플리케이션을 통해 비정상 상태 알림이 수신되도록 통신부(110)를 제어할 수 있다. 이를 수신한 단말기 T는 설치된 차량 모니터링 애플리케이션 내 팝업 알림, 소리 알림, 문자 알림, 이미지 알림, 진동 알림 등의 수단을 통해 관심 차량의 소유자에게 관심 차량의 비정상 상태를 알릴 수 있다. For example, the
이와는 달리, 다른 실시에에 따른 제어부(140)는 단말기 T의 전화번호를 통해 음성 또는 텍스트 등으로 비정상 상태 알림이 수신되도록 통신부(110)를 제어할 수도 있다. 다만, 주차장 내 차량 모니터링 장치(100)가 단말기 T에 비정상 상태 알림을 전송하는 방법은 상술한 실시예에 제한되지 않는다.Alternatively, the
이 때, 관심 차량이 비정상 상태로 결정되더라도, 제어부(140)는 확인된 고객 정보에 따라 선택적으로 비정상 상태 알림을 전송할 수도 있다. 만약, 영상 분석부가 모니터링 영상을 분석한 결과, 모니터링 영상 내 고객 정보에 포함된 얼굴 정보와 매칭되는 얼굴이 존재하는 경우, 제어부(140)는 비정상 상태 알림을 단말기 T로 전송하지 않을 수 있다. 주차장 내 차량 모니터링 장치(100)는 모니터링 영상 내 관심 차량에 발생된 변화가 관심 차량의 소유자 또는 소유자에 의해 권한이 인정된 사람에 의한 것으로 판단하고, 불필요한 알림 전송을 차단할 수 있다.In this case, even if the vehicle of interest is determined to be in an abnormal state, the
한편, 비정상 상태 알림을 단말기 T를 통해 수신한 관심 차량의 소유자는 관심 차량의 상태를 직접 확인하고자 할 수 있다. 이 경우, 관심 차량의 소유자는 단말기 T를 통해 관심 차량에 대한 모니터링 영상을 요청할 수 있고, 대응되는 모니터링 영상을 단말기 T를 통해 수신할 수 있다. Meanwhile, the owner of the vehicle of interest receiving the abnormal state notification through the terminal T may wish to directly check the state of the vehicle of interest. In this case, the owner of the vehicle of interest may request a monitoring image for the vehicle of interest through the terminal T, and may receive a corresponding monitoring image through the terminal T.
이하에서는 비정상 상태 알림 전송 후, 단말기 T에 모니터링 영상을 제공하는 방법을 설명한다.Hereinafter, a method of providing a monitoring image to the terminal T after transmission of an abnormal state notification will be described.
도 4는 본 발명의 다른 실시예에 따른 주차장 내 차량 모니터링 방법의 흐름도이다. 도 4에서는 주차장 내 차량 모니터링 장치(100)가 관심 차량의 비정상 상태 알림을 단말기 T로 전송한 이후의 동작을 예시한다.4 is a flowchart of a method for monitoring a vehicle in a parking lot according to another embodiment of the present invention. 4 exemplifies an operation after the
먼저, 주차장 내 차량 모니터링 장치(100)는 단말기 T로부터 관심 영역에 대한 모니터링 영상의 제공 요청을 수신할 수 있다(S200). 상술한 바와 같이, 비정상 상태 알림을 수신한 관심 차량의 소유자가 관심 차량의 상태를 직접 확인하고자 할 경우, 단말기 T를 통해 관심 영역에 대한 모니터링 영상의 제공 요청을 입력할 수 있다. 모니터링 영상의 제공 요청이 단말기 T에 입력되면, 주차장 내 차량 모니터링 장치(100)는 통신부(110)를 통해 단말기 T로부터 모니터링 영상의 제공 요청을 수신할 수 있다.First, the
그 다음, 주차장 내 차량 모니터링 장치(100)는 저장부(120)에 저장된 관심 영역에 대한 모니터링 영상을 확인할 수 있다(S210). 상술한 바와 같이, 저장부(120)는 복수의 카메라 C에 의해 수신되는 모니터링 영상을 카메라 C 별로 저장하거나, 관심 주차 영역, 또는 관심 차량 별로 저장할 수 있다. 이에, 제어부(140)는 모니터링 영상의 제공 요청을 전송한 단말기 T에 대응되는 관심 차량, 해당 관심 차량이 주차된 관심 주차 영역, 또는 해당 관심 주차 영역에 대하여 모니터링 영상을 촬영하는 카메라 C를 확인하고, 확인된 관심 차량, 관심 주차 영역, 또는 카메라 C에 따라 분류된 모니터링 영상을 확인할 수 있다.Next, the
마지막으로, 주차장 내 차량 모니터링 장치(100)는 확인된 모니터링 영상을 단말기 T로 전송할 수 있다(S220). 구체적으로, 주차장 내 차량 모니터링 장치(100)의 제어부(140)는 저장부(120)로부터 확인된 모니터링 영상을 단말기 T로 전송하도록 통신부(110)를 제어할 수 있다. Finally, the
이를 통해, 관심 차량의 비정상 상태 알림을 수신한 관심 차량의 소유자는 관심 차량의 상태를 시각적으로 확인할 수 있다.Through this, the owner of the vehicle of interest receiving the notification of the abnormal state of the vehicle of interest may visually check the state of the vehicle of interest.
도 4에서는 모니터링 영상의 제공 요청을 수신하면, 대응되는 모니터링 영상을 단말기 T로 제공하는 실시예를 언급하였으나, 다른 실시예에 따른 주차장 내 차량 모니터링 장치(100)는 모니터링 영상의 제공을 요청한 단말기 T가 모니터링 서비스에 가입되었는지 여부에 따라 모니터링 영상을 제공할 수도 있다. In FIG. 4 , an embodiment in which a corresponding monitoring image is provided to the terminal T when a request for providing a monitoring image is received has been described. A monitoring image may be provided depending on whether or not the user is subscribed to the monitoring service.
구체적으로, 다른 실시예에 따른 주차장 내 차량 모니터링 장치(100)의 제어부(140)는 모니터링 영상의 제공 요청을 전송한 단말기 T가 모니터링 서비스에 가입되었지 여부를 확인할 수 있다. 이를 위해, 제어부(140)는 저장부(120)에 미리 저장된 고객 정보 DB를 직접 검색하거나, 고객 정보 DB가 구축된 외부의 서버 장치로 차량 정보를 통신부(110)를 통해 전송하고, 해당 서버 장치로부터 전송된 차량 정보에 대응되는 고객 정보를 통신부(110)를 통해 수신할 수도 있다. Specifically, the
고객 정보를 수신한 후, 제어부(140)는 수신된 고객 정보 내 단말기 T 정보에 따라 해당 단말기 T가 모니터링 서비스에 가입하였는지 여부를 확인할 수 있다. 여기서, 모니터링 서비스란 별도의 이용 요금을 납부함으로써 해당 서비스에 가입된 단말기 T로 지정된 차량에 대한 모니터링 영상을 제공하는 서비스를 의미할 수 있다. After receiving the customer information, the
확인 결과 단말기 T가 모니터링 서비스에 가입된 경우, 제어부(140)는 해당 단말기 T로 관심 차량의 모니터링 영상을 전송하도록 통신부(110)를 제어할 수 있다. 반면, 단말기가 모니터링 서비스에 가입되지 않은 경우라면, 제어부(140)는 모니터링 서비스 가입 안내를 전송하도록 통신부(110)를 제어할 수도 있다.As a result of checking, when the terminal T subscribes to the monitoring service, the
한편, 도 3 및 4에서는 차량 정보에 대응되는 단말기 T가 존재하는 경우, 즉 고객 정보 DB에 등록된 고객에 대하여 주차장 내 차량 모니터링 장치(100)가 동작하는 경우를 전제로 설명하였다. 이하에서는 차량 정보에 대응되는 단말기 T가 존재하지 않는 경우, 즉 고객 정보 DB에 등록되지 않은 고객에 대하여 주차장 내 차량 모니터링 장치(100)의 동작을 설명한다.On the other hand, in FIGS. 3 and 4, the case where the terminal T corresponding to the vehicle information exists, that is, the case where the
도 5는 본 발명의 또 다른 실시예에 따른 주차장 내 차량 모니터링 방법의 흐름도이다.5 is a flowchart of a method for monitoring a vehicle in a parking lot according to another embodiment of the present invention.
먼저, 주차장 내 차량 모니터링 장치(100)는 미리 정해진 주기마다 관심 주차 영역에 대한 모니터링 영상을 획득할 수 있다(S300). 구체적으로, 주차장 내 차량 모니터링 장치(100)의 통신부(110)는 주차장 내 설치된 카메라 C로부터 카메라 C에 의해 촬영된 관심 주차 영역에 대한 모니터링 영상을 수신함으로써 획득할 수 있다. First, the
그 다음, 주차장 내 차량 모니터링 장치(100)는 획득된 모니터링 영상을 직전 주기에서 획득된 모니터링 영상과 비교할 수 있다(S310). 이를 위해, 주차장 내 차량 모니터링 장치(100)의 영상 분석부(130)는 먼저 획득된 모니터링 영상으로부터 관심 차량을 검출할 수 있다. 일 실시예에 따른 영상 분석부(130)는 관심 차량 검출 시 딥러닝과 같은 기계학습에 의해 생성된 객체 검출 모델을 이용할 수 있다.Next, the
영상 분석부(130)는 현재 주기의 모니터링 영상과 직전 주기의 모니터링 영상 각각으로부터 검출된 관심 차량을 비교할 수 있다. 구체적으로, 영상 분석부(130)는 현재 주기 및 직전 주기 각각의 모니터링 영상으로부터 검출된 관심 차량에 대한 픽셀 영역 및 픽셀 값을 비교하고, 그 변화량을 획득할 수 있다.The
모니터링 영상의 비교 후, 주차장 내 차량 모니터링 장치(100)는 관심 주차 영역에 주차된 관심 차량이 비정상 상태인지 여부를 결정할 수 있다(S320). 예를 들어, 일 실시예에 따른 영상 분석부(130)는 직전 주기의 모니터링 영상으로부터 검출된 관심 차량을 기준으로 현재 주기의 모니터링 영상으로부터 검출된 관심 차량의 픽셀 영역, 픽셀 값 등을 확인함으로써, 관심 차량의 비정상 상태 여부를 결정할 수 있다. 만약, 확인된 픽셀 영역 및/또는 픽셀 값의 변화량이 기준 변화량을 초과하면, 영상 분석부(130)는 관심 차량이 비정상 상태라고 결정할 수 있다.After comparing the monitoring images, the
이와는 달리, 다른 실시예에 따른 영상 분석부(130)는 현재 주기 이전의 복수의 주기 각각의 모니터링 영상을 현재 주기의 모니터링 영상과 비교할 수도 있다. 만약, 인접하는 모니터링 영상 간 관심 차량에 대한 변화량의 미분값이 기준 미분값을 초과하거나, 현재 주기에서의 변화량이 평균 변화량으로부터 기준 범위를 초과하는 경우, 영상 분석부(130)는 관심 차량이 비정상 상태라고 결정할 수도 있다. Alternatively, the
다만, 영상 분석부(130)가 관심 차량의 비정상 상태 여부를 결정하는 방법은 상술한 실시예에 한정되지 않는다.However, the method by which the
만약, 관심 차량이 비정상 상태가 아니라면, 주차장 내 차량 모니터링 장치(100)는 반복하여 모니터링 영상을 획득하고, 이를 기초로 관심 차량이 비정상 상태인지 여부를 결정할 수 있다.If the vehicle of interest is not in an abnormal state, the
반면, 관심 차량이 비정상 상태로 결정되면, 주차장 내 차량 모니터링 장치(100)는 주차장 관리자의 관리 단말기로 관심 차량의 비정상 상태 알림을 전송할 수 있다(S330). 여기서, 주차장 관리자의 관리 단말기는 주차장 내부의 주차 관련 정보를 수집하여 주차장 관리자에게 제공하는 원격지의 장치를 의미할 수 있다. 관리 단말기를 통해 관심 차량이 비정상 상태임을 확인한 주차장 관리자는 신속하게 관심 차량 또는 주차장 내부에 적절한 조치를 취할 수 있다.On the other hand, if the vehicle of interest is determined to be in an abnormal state, the
이와 동시에, 주차장 내 차량 모니터링 장치(100)는 관심 차량의 주차 요금이 정산되었는지 확인할 수 있다(S340). 구체적으로, 주차장 내 차량 모니터링 장치(100)의 제어부(140)는 주차장 내부에 설치된 정산 장치 A로부터 관심 차량의 주차 요금 정산 여부를 확인할 수 있다.At the same time, the
정산 장치 A는 차량 번호를 기초로 주차 요금을 정산하므로, 제어부(140)는 관심 차량의 차량 번호를 포함하는 차량 정보를 미리 획득할 수 있다. 이를 위해, 제어부(140)는 모니터링 영상으로부터 차량 정보를 추출하도록 영상 분석부(130)를 제어할 수 있다. 모니터링 영상으로부터 차량 정보를 검출하기 위해, 영상 분석부(130)는 딥러닝과 같은 기계학습에 의해 생성된 차량 번호 검출 모델을 이용할 수 있다. Since the settlement device A settles the parking fee based on the vehicle number, the
차량 정보를 검출한 후, 제어부(140)는 검출된 차량 정보를 기초로 관심 차량의 주차 요금 정산 여부를 정산 장치 A로부터 확인할 수 있다. 구체적으로, 제어부(140)는 검출된 차량 정보 내 차량 번호의 차량에 대한 주차 요금 정산 내역을 정산 장치 A로부터 확인함으로써 관심 차량의 주차 요금 정산 여부를 확인할 수 있다.After detecting the vehicle information, the
만약, 관심 차량의 주차 요금이 정산되지 않았다면, 주차장 내 차량 모니터링 장치(100)는 반복하여 이를 확인할 수 있다.If the parking fee of the vehicle of interest has not been settled, the
반면, 관심 차량의 주차 요금이 정산되었다면, 주차장 내 차량 모니터링 장치(100)는 주차 요금이 정산된 정산 장치 A로 관심 차량의 비정상 상태 알림을 전송할 수 있다(S350). 구체적으로, 주차장 내 차량 모니터링 장치(100)의 제어부(140)는 관심 차량의 주차 요금이 정산된 정산 장치 A로 관심 차량의 비정상 상태 알림을 전송하도록 통신부(110)를 제어할 수 있다.On the other hand, if the parking fee of the vehicle of interest has been settled, the
관심 차량의 정산 이후, 정산 장치 A를 통해 관심 차량이 비정상 상태임을 확인한 관심 차량의 소유자는 신속하게 관심 차량에 적절한 조치를 취할 수 있다.After settlement of the vehicle of interest, the owner of the vehicle of interest, who has confirmed that the vehicle of interest is in an abnormal state through the settlement device A, may promptly take appropriate measures for the vehicle of interest.
한편, 주차장 내 차량 모니터링 장치(100)는 모니터링 서비스에 가입하였는지 여부를 차량 입차 시에 미리 확인하고, 모니터링 서비스에 가입된 소유자의 차량에 대하여 주차 요금의 요율을 보다 높게 책정할 수도 있다. 구체적으로, 주차장 내 차량 모니터링 장치(100)는 주차장 입구에 마련된 카메라 C로부터 주차장 입구 영상을 획득하고, 이로부터 입차하는 차량의 차량 번호를 포함하는 차량 정보를 획득할 수 있다. 그 다음, 주차장 내 차량 모니터링 장치(100)는 차량 정보 내 차량 번호에 대응되는 단말기 T 정보를 고객 정보 DB로부터 확인할 수 있다. 만약 확인된 단말기 T 정보를 기초로 해당 차량 소유자의 단말기 T가 모니터링 서비스에 가입된 경우, 주차장 내 차량 모니터링 장치(100)는 해당 단말기 T에 모니터링 서비스를 제공함과 동시에, 주차 요금 정산 시 보다 높은 요율을 적용할 수 있다.On the other hand, the
또한, 주차장 내 차량 모니터링 장치(100)는 보안 모드의 설정이 가능한 모니터링 서비스를 제공할 수도 있다. 구체적으로, 관심 차량의 소유자가 단말기를 통해 보안 모드로서 보안 수준이 강화된 '경계 모드’ 또는 ‘무장 모드’설정 명령을 입력하면, 주차장 내 차량 모니터링 장치(100)는 입력된 설정 명령에 대응되는 모니터링 서비스를 제공할 수 있다. 예를 들어, '경계 모드' 설정 명령이 입력되면, 주차장 내 차량 모니터링 장치(100)는 모니터링 영상 내 관심 차량의 변화량이 기준 변화량을 초과할 것으로 예상되는 변화(예를 들어, 관심 차량에 접근하는 객체 감지 등)가 존재하는 경우, 관심 차량에 대응되는 단말기로 비정상 상태 예상 알림을 전송할 수 있다. 다른 예로, '무장 모드' 설정 명령이 입력되면, 주차장 내 차량 모니터링 장치(100)는 모니터링 영상 내 관심 차량의 변화량이 기준 변화량보다 낮은 수준의 보정 변화량을 초과하는 경우, 관심 차량에 대응되는 단말기로 강화된 비정상 상태 알림을 전송할 수도 있다. 또한, 주차장 내 차량 모니터링 장치(100)는 블랙박스 모드의 설정이 가능한 모니터링 서비스를 제공할 수도 있다. 구체적으로, 관심 차량의 소유자가 단말기를 통해 블랙박스 모드 설정 명령을 입력하면, 주차장 내 차량 모니터링 장치(100)는 모니터링 영상 내 관심 차량에 대한 모션 인식이 확인될 때에만 해당 모니터링 영상을 저장하여 저장 공간을 효율적으로 관리함과 동시에, 해당 영상을 관심 차량에 대응되는 단말기에 제공할 수 있다.In addition, the
상술한 실시예에 따른 주차장 내 차량 모니터링 장치 및 방법은, 주차장에 주차된 차량의 비정상 상태를 차량의 소유자가 신속하게 확인할 수 있는 환경을 제공할 수 있다. 또한, 모니터링 서비스에 가입된 소유자의 단말기에 대해서만 추가적으로 모니터링 영상을 제공할 수 있으며, 이에 대하여 별도의 요율을 적용할 수 있다. 아울러, 모니터링 서비스에 가입되지 않은 차량의 소유자에 대해서도 관리 단말기 또는 정산 장치를 통해 차량의 상태를 알릴 수 있다.The apparatus and method for monitoring a vehicle in a parking lot according to the above-described embodiment may provide an environment in which the owner of the vehicle can quickly check the abnormal state of the vehicle parked in the parking lot. In addition, the monitoring image may be additionally provided only to the terminal of the owner subscribed to the monitoring service, and a separate rate may be applied thereto. In addition, even the owner of the vehicle not subscribed to the monitoring service may be notified of the vehicle status through the management terminal or the settlement device.
한편, 상술한 일 실시예에 따른 주차장 내 차량 모니터링 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.On the other hand, each step included in the vehicle monitoring method in the parking lot according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform these steps.
또한, 상술한 일 실시예에 따른 주차장 내 차량 모니터링 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램으로 구현될 수도 있다.In addition, each step included in the vehicle monitoring method in the parking lot according to the above-described embodiment may be implemented as a computer program programmed to perform these steps.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.
100: 주차장 내 차량 모니터링 장치
110: 통신부
120: 저장부
130: 영상 분석부
140: 제어부100: vehicle monitoring device in the parking lot
110: communication department
120: storage
130: image analysis unit
140: control unit
Claims (8)
상기 수신된 모니터링 영상 내의 피인식자에 대한 안면 인식을 수행하고, 관심 차량의 차량 번호를 획득하는 영상 분석부; 및
상기 차량 번호에 근거하여 고객 정보에서 상기 관심 차량에 대응되는 단말기를 식별하며, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보를 매칭하여, 상기 관심 차량의 소유 또는 권한 여부를 판단하고, 상기 소유 또는 권한 여부에 기초하여, 상기 관심 차량에 대응되는 단말기로 상기 관심 차량에 대한 상태 알림 전송 여부를 결정하여, 결정된 상기 전송 여부에 기초해 상기 통신부를 제어하는 제어부를 포함하는
주차장 내 차량 모니터링 장치.a communication unit for receiving a monitoring image for a parking area of interest;
an image analysis unit that performs facial recognition on the person to be recognized in the received monitoring image and obtains the vehicle number of the vehicle of interest; and
Identifies a terminal corresponding to the vehicle of interest in the customer information based on the vehicle number, and matches the result of performing the facial recognition with facial information stored in the customer information to determine whether the vehicle of interest is owned or authorized and a controller configured to determine whether to transmit a status notification for the vehicle of interest to a terminal corresponding to the vehicle of interest based on whether the vehicle is owned or authorized, and to control the communication unit based on the determined transmission.
Vehicle monitoring device in parking lot.
상기 영상 분석부는,
상기 관심 차량의 비정상 상태 여부를 더 결정하고,
상기 제어부는,
상기 관심 차량이 비정상 상태라고 결정되고, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보에 기초해 상기 피인식자가 상기 관심 차량의 소유 또는 권한이 있다고 판단되는 경우, 상기 통신부가 상기 비정상 상태 알림을 전송하지 않도록 통신부를 제어하는
주차장 내 차량 모니터링 장치.The method of claim 1,
The image analysis unit,
Further determining whether the vehicle of interest is in an abnormal state,
The control unit is
When it is determined that the vehicle of interest is in an abnormal state, and it is determined that the person to be recognized has the ownership or authority of the vehicle of interest based on a result of performing the facial recognition and face information pre-stored in customer information, the communication unit to control the communication unit not to transmit the abnormal state notification
Vehicle monitoring device in parking lot.
상기 영상 분석부는,
상기 관심 차량의 비정상 상태 여부를 더 결정하고,
상기 제어부는,
상기 관심 차량이 비정상 상태라고 결정되고, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보에 기초해 상기 피인식자가 상기 관심 차량의 소유 또는 권한이 없다고 판단되는 경우, 상기 통신부가 상기 비정상 상태 알림을 상기 관심 차량에 대응되는 단말기에 전송하도록 통신부를 제어하는
주차장 내 차량 모니터링 장치.The method of claim 1,
The image analysis unit,
Further determining whether the vehicle of interest is in an abnormal state,
The control unit is
When it is determined that the vehicle of interest is in an abnormal state, and it is determined that the person to be recognized does not own or authority the vehicle of interest based on a result of performing the facial recognition and face information previously stored in customer information, the communication unit controlling the communication unit to transmit the abnormal state notification to a terminal corresponding to the vehicle of interest
Vehicle monitoring device in parking lot.
상기 영상 분석부는,
제 1 시각의 제 1 모니터링 영상을 상기 제 1 시각 이전의 제 2 시각에 수신된 제 2 모니터링 영상과 비교하여 상기 관심 차량의 비정상 상태 여부를 결정하는
주차장 내 차량 모니터링 장치.4. The method according to claim 2 or 3,
The image analysis unit,
Comparing a first monitoring image of a first time with a second monitoring image received at a second time before the first time to determine whether the vehicle of interest is in an abnormal state
Vehicle monitoring device in parking lot.
관심 주차 영역에 대한 모니터링 영상을 수신하는 단계;
상기 수신된 모니터링 영상 내의 피인식자에 대한 안면 인식을 수행하고, 관심 차량의 차량 번호를 획득하는 단계;
상기 차량 번호에 근거하여 고객 정보에서 상기 관심 차량에 대응되는 단말기를 식별하며, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보를 매칭하여, 상기 관심 차량의 소유 또는 권한 여부를 판단하는 단계; 및
상기 소유 또는 권한 여부에 기초하여, 상기 관심 차량에 대응되는 단말기로 상기 관심 차량에 대한 상태 알림 전송여부를 결정하는 단계를 포함하는
주차장 내 모니터링 방법.In the vehicle monitoring method in the parking lot performed by the vehicle monitoring device in the parking lot,
receiving a monitoring image for a parking area of interest;
performing facial recognition on the person to be recognized in the received monitoring image, and obtaining the vehicle number of the vehicle of interest;
Based on the vehicle number, a terminal corresponding to the vehicle of interest is identified in the customer information, and the result of performing the facial recognition is matched with the face information stored in the customer information to determine whether the vehicle of interest is owned or authorized. judging; and
determining whether to transmit a status notification for the vehicle of interest to a terminal corresponding to the vehicle of interest based on the ownership or authority
How to monitor in a parking lot.
상기 관심 차량의 비정상 상태 여부를 결정하는 단계; 및
상기 관심 차량이 비정상 상태라고 결정되고, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보에 기초해 상기 피인식자가 상기 관심 차량의 소유 또는 권한이 있다고 판단되는 경우, 상기 비정상 상태 알림을 전송하지 않는 단계를 더 포함하는
주차장 내 모니터링 방법.6. The method of claim 5,
determining whether the vehicle of interest is in an abnormal state; and
When it is determined that the vehicle of interest is in an abnormal state, and it is determined that the person to be recognized owns or has authority to the vehicle of interest based on a result of performing the face recognition and face information pre-stored in customer information, the abnormal state which further includes the step of not sending a notification
How to monitor in a parking lot.
상기 관심 차량의 비정상 상태 여부를 결정하는 단계; 및
상기 관심 차량이 비정상 상태라고 결정되고, 상기 안면 인식을 수행한 결과와 고객 정보에 기 저장되어 있는 얼굴 정보에 기초해 상기 피인식자가 상기 관심 차량의 소유 또는 권한이 없다고 판단되는 경우, 상기 통신부가 상기 비정상 상태 알림을 상기 관심 차량에 대응되는 단말기에 전송하는 단계를 더 포함하는
주차장 내 모니터링 방법.6. The method of claim 5,
determining whether the vehicle of interest is in an abnormal state; and
When it is determined that the vehicle of interest is in an abnormal state, and it is determined that the person to be recognized does not own or authority the vehicle of interest based on a result of performing the facial recognition and face information previously stored in customer information, the communication unit Further comprising the step of transmitting the abnormal state notification to a terminal corresponding to the vehicle of interest
How to monitor in a parking lot.
상기 컴퓨터 프로그램은,
제 5 항 내지 제 7 항 중 어느 한 항에 따른 방법을 제어부가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능 기록매체.A computer-readable recording medium storing a computer program, comprising:
The computer program is
8. The method according to any one of claims 5 to 7, comprising an instruction for causing the control unit to perform the method.
computer readable recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210101383A KR102477061B1 (en) | 2019-04-30 | 2021-08-02 | Apparatus and method for monitoring vehicle in parking lot |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190050837A KR102298725B1 (en) | 2019-04-30 | 2019-04-30 | Apparatus and method for monitoring vehicle in parking lot |
KR1020210101383A KR102477061B1 (en) | 2019-04-30 | 2021-08-02 | Apparatus and method for monitoring vehicle in parking lot |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190050837A Division KR102298725B1 (en) | 2019-04-30 | 2019-04-30 | Apparatus and method for monitoring vehicle in parking lot |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210098894A true KR20210098894A (en) | 2021-08-11 |
KR102477061B1 KR102477061B1 (en) | 2022-12-13 |
Family
ID=73429250
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190050837A KR102298725B1 (en) | 2019-04-30 | 2019-04-30 | Apparatus and method for monitoring vehicle in parking lot |
KR1020210101383A KR102477061B1 (en) | 2019-04-30 | 2021-08-02 | Apparatus and method for monitoring vehicle in parking lot |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190050837A KR102298725B1 (en) | 2019-04-30 | 2019-04-30 | Apparatus and method for monitoring vehicle in parking lot |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102298725B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023191542A1 (en) * | 2022-03-30 | 2023-10-05 | 라이트비전 주식회사 | Parking management system accurately identifying vehicles or using identifier without causing congestion |
KR102606412B1 (en) * | 2023-03-13 | 2023-11-29 | 이노뎁 주식회사 | Parking lot accident detection system using omnidirectional camera and method thereof |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7380633B2 (en) * | 2021-04-01 | 2023-11-15 | トヨタ自動車株式会社 | Monitoring device, monitoring method and monitoring system |
KR20220161912A (en) * | 2021-05-31 | 2022-12-07 | 라이트비전 주식회사 | Method and system for providing parking service |
CN114373164A (en) * | 2022-01-11 | 2022-04-19 | 智道网联科技(北京)有限公司 | Vehicle monitoring method and device, computer equipment and readable storage medium |
WO2023181255A1 (en) * | 2022-03-24 | 2023-09-28 | 日本電気株式会社 | Information providing device, accident information providing method, and program recording medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040013362A (en) * | 2002-08-06 | 2004-02-14 | 한명국 | Car burglarproof system using network and method thereof |
JP2008107961A (en) * | 2006-10-24 | 2008-05-08 | Hitachi Ltd | Detection system for suspicious object approaching vehicle |
JP2009048615A (en) * | 2007-07-23 | 2009-03-05 | Mitsubishi Electric Corp | Parking lot monitoring system |
KR101694001B1 (en) | 2015-05-29 | 2017-01-09 | 현대자동차주식회사 | Parking condition when vehicle crash prevention system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005001642A (en) * | 2003-04-14 | 2005-01-06 | Fujitsu Ten Ltd | Antitheft device, monitoring device, and antitheft system |
-
2019
- 2019-04-30 KR KR1020190050837A patent/KR102298725B1/en active IP Right Grant
-
2021
- 2021-08-02 KR KR1020210101383A patent/KR102477061B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040013362A (en) * | 2002-08-06 | 2004-02-14 | 한명국 | Car burglarproof system using network and method thereof |
JP2008107961A (en) * | 2006-10-24 | 2008-05-08 | Hitachi Ltd | Detection system for suspicious object approaching vehicle |
JP2009048615A (en) * | 2007-07-23 | 2009-03-05 | Mitsubishi Electric Corp | Parking lot monitoring system |
KR101694001B1 (en) | 2015-05-29 | 2017-01-09 | 현대자동차주식회사 | Parking condition when vehicle crash prevention system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023191542A1 (en) * | 2022-03-30 | 2023-10-05 | 라이트비전 주식회사 | Parking management system accurately identifying vehicles or using identifier without causing congestion |
KR102606412B1 (en) * | 2023-03-13 | 2023-11-29 | 이노뎁 주식회사 | Parking lot accident detection system using omnidirectional camera and method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20200126764A (en) | 2020-11-09 |
KR102298725B1 (en) | 2021-09-06 |
KR102477061B1 (en) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102298725B1 (en) | Apparatus and method for monitoring vehicle in parking lot | |
US10204520B2 (en) | Unmanned aerial vehicle based security system | |
KR101908611B1 (en) | Parking control method for vehicle | |
KR101625573B1 (en) | System for controlling entrance or exit of vehicle using searching images of vehicles bottom and vehicle license plate recognition | |
US20230138112A1 (en) | Artificial intelligence methods and systems for remote monitoring and control of autonomous vehicles | |
CN111311952A (en) | Control method and device for vehicle parking, computer equipment and storage medium | |
KR20150042566A (en) | Black Box for Clouding Service and Image Process Method Thereof | |
CN114999141B (en) | Storage battery car parking management method, device, equipment, system and readable storage medium | |
JP6140436B2 (en) | Shooting system | |
CN111369708A (en) | Vehicle driving information recording method and device | |
US10922826B1 (en) | Digital twin monitoring systems and methods | |
KR101525151B1 (en) | System and method for recognizing license plate | |
KR101666531B1 (en) | Patrol and vehicles management system | |
CN114701934B (en) | Security control method, device and system for elevator, cloud platform and storage medium | |
KR102039404B1 (en) | Image surveillance system and method thereof | |
KR20170062724A (en) | Method and System for providing service that manages car parking | |
KR102604069B1 (en) | Vehicle entry and exit management system | |
KR102469583B1 (en) | Method for surveillance using cameras of vehicle and system for surveillance using cameras of vehicle | |
KR102616348B1 (en) | Smart Parking Management system by AI image recognition technology | |
KR102406169B1 (en) | Parking management system and method for managing accupant vehicles and illegal parking | |
KR102612665B1 (en) | Security-enhanced unmanned parking control system using MAC address of driver's mobile terminal and method thereof | |
KR101892029B1 (en) | A system and method for event data transmission | |
KR102408808B1 (en) | System for dual recognizing license plate | |
KR102257000B1 (en) | Unmanned Space Operating System and Unmanned Space Operating Method | |
KR102408788B1 (en) | Method for dual recognizing license plate |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
GRNT | Written decision to grant |