KR102358773B1 - Smart guide device for guiding objects, system and method including the device - Google Patents
Smart guide device for guiding objects, system and method including the device Download PDFInfo
- Publication number
- KR102358773B1 KR102358773B1 KR1020210120769A KR20210120769A KR102358773B1 KR 102358773 B1 KR102358773 B1 KR 102358773B1 KR 1020210120769 A KR1020210120769 A KR 1020210120769A KR 20210120769 A KR20210120769 A KR 20210120769A KR 102358773 B1 KR102358773 B1 KR 102358773B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- object recognition
- smart
- information
- monitoring server
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 91
- 238000004891 communication Methods 0.000 claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 6
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/091—Traffic information broadcasting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
- G09F9/33—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being semiconductor devices, e.g. diodes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 스마트 안내판 장치, 스마트 안내판 장치를 포함한 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스마트 안내판 장치로 객체 인식 및 안내를 수행하고, 스마트 안내판 장치의 상태를 체크할 수 있는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method including a smart notice board device and a smart sign board device, and more particularly, to a system and method capable of performing object recognition and guidance with a smart sign board device and checking the status of the smart sign board device will be.
최근 들어, 사회 안전에 대한 인식이 고취됨에 따라 객체 인식을 이용한 카메라의 설치 및 통합관제센터시스템이 구축되고 있는 상황이다.Recently, as awareness of social safety has been raised, camera installation using object recognition and an integrated control center system are being built.
카메라의 감시대상 지역이 넓은 경우 복수의 감시카메라를 감시대상 지역의 특정 위치마다 설치하고 하나의 모니터 화면에 영역을 분할하여 표시하는 시스템이 사용되고 있으며, 하나의 모니터 화면에 동시에 표시할 수 있는 것보다 많은 채널의 감시카메라가 연결된 경우에는 주기적으로 화면에 표시되는 감시카메라의 영상을 변경하거나 화면에 표시되는 감시카메라를 관제자가 선택하면서 감시 관제하고 있다.When the monitoring target area of the camera is wide, a system is used that installs a plurality of monitoring cameras at specific locations in the monitoring target area and divides and displays the area on one monitor screen. When many channels of monitoring cameras are connected, monitoring is performed while the video of the monitoring camera displayed on the screen is periodically changed or the monitoring camera displayed on the screen is selected by the controller.
그러나 기존의 영상 감시 장비는 영상 감시 중 객체 인식 여부에 따라 단순히 발광부에 의해 위험 알림등을 제공하거나, 객체 인식한다 하더라도 객체인식 주변 날씨나 환경에 따라 객체 인식율이 떨어져 영상 감시에 적합하지 않은 경우도 있었다.However, the existing video monitoring equipment simply provides a danger notification by the light emitting unit depending on whether an object is recognized during video monitoring, or even if the object is recognized, the object recognition rate is low depending on the surrounding weather or environment, so it is not suitable for video monitoring. there was also
또한, 객체 인식을 수행하더라도 별도의 서버를 통하여 인공지능 학습을 수행하여 통신 환경이 중요하고, 많은 데이터 전송에 따른 학습 및 객체 인식 결과 전송 지연 등의 문제가 있어, 신속한 영상 확인 및 감시 기능을 제공할 수 없는 문제가 있었다.In addition, even when object recognition is performed, AI learning is performed through a separate server, so the communication environment is important, and there are problems such as delay in learning and object recognition results transmission due to large data transmission, providing rapid image confirmation and monitoring function There was a problem that couldn't be done.
게다가 기존의 영상 감시 장비는 영상 감시 기능만을 제공할 뿐, 별도의 유지보수를 위하여 이상 상태 체크를 통한 고장 진단이 가능한 장치나 기능을 포함하지 않아 영상 감시 장비 고장시 빠른 대처 및 처방을 수행하기 어려운 문제가 있었다.In addition, existing video monitoring equipment only provides video monitoring function, and for separate maintenance, it does not include a device or function capable of diagnosing failure through abnormal condition check, making it difficult to quickly respond and prescribe in case of video monitoring equipment failure. There was a problem.
따라서, 전술한 문제를 해결하기 위하여 스마트 안내판 장치와 스마트 안내판 장치를 포함한 시스템 및 방법에 대한 연구가 필요하게 되었다.Therefore, in order to solve the above-mentioned problem, research on a system and method including a smart guide device and a smart guide device is required.
본 발명의 목적은 객체 인식 및 감시가 필요한 위치에 설치되어 영상 촬영을 수행하고, 영상정보에 대해서 객체 인식 알고리즘에 의해 객체 인식을 수행하고, 촬영 영상 및 객체 인식 결과를 제공받아, 객체 인식 결과에 따라 보행자 및 차량 안내를 포함한 경고 안내 서비스를 제공하며, 객체 인식 결과에 따라 경고 안내 서비스를 시각적으로 표시하며, 스마트 안내판 장치와 통신망을 통하여 연결되는 감시서버로부터 상태 체크 신호를 수신하여, 상태 확인 신호를 전송할 수 있는 스마트 안내판 장치를 포함한 시스템 및 방법을 제공하는 것이다.It is an object of the present invention to be installed at a location where object recognition and monitoring is required, perform image capturing, perform object recognition by an object recognition algorithm on image information, receive a captured image and object recognition result, and apply the object recognition result to the object recognition result. It provides warning guidance service including pedestrian and vehicle guidance according to the result, visually displays warning guidance service according to the object recognition result, and receives a status check signal from a monitoring server connected through a smart information board device and a communication network to receive a status check signal It is to provide a system and method including a smart signboard device capable of transmitting
본 발명의 일 실시예에 따른 영상 내 객체 인식을 이용한 스마트 안내판 장치에 있어서, 객체 인식 및 감시가 필요한 위치에 설치되어 영상 촬영을 수행하고, 영상정보에 대해서 객체 인식 알고리즘에 의해 객체 인식을 수행하는 촬영부; 촬영부로부터 촬영 영상 및 객체 인식 결과를 제공받아, 객체 인식 결과에 따라 보행자 및 차량 안내를 포함한 경고 안내 서비스를 제공하는 제어부; 상기 제어부의 제어 하에 객체 인식 결과에 따라 경고 안내 서비스를 시각적으로 표시하기 위해 마련되는 표시부를 포함하며, 상기 객체 인식 알고리즘은 학습에 의해 영상의 특정 객체를 보행자 형상, 자동차 형상 또는 이륜차 형상에 대한 특징값으로 구분하고, 특징값을 추출하여 분석함으로써, 객체 여부를 인식할 수 있으며, 상기 스마트 안내판 장치는 상기 스마트 안내판 장치와 통신망을 통하여 연결되는 감시서버로부터 상태 체크 신호를 수신하여, 상태 확인 신호를 전송할 수 있는 것을 특징으로 한다.In the smart guide board device using object recognition in an image according to an embodiment of the present invention, it is installed at a location where object recognition and monitoring are required, performs image capturing, and performs object recognition by object recognition algorithm for image information. filming department; a control unit receiving a captured image and an object recognition result from the photographing unit, and providing a warning guidance service including pedestrian and vehicle guidance according to the object recognition result; and a display unit provided to visually display a warning guidance service according to an object recognition result under the control of the controller, wherein the object recognition algorithm recognizes a specific object of an image by learning a characteristic of a pedestrian shape, a car shape, or a two-wheeled vehicle shape By classifying into values, extracting and analyzing feature values, it is possible to recognize whether an object is an object, and the smart guide board device receives a status check signal from a monitoring server connected through a communication network with the smart guide board device, and provides a status check signal It is characterized in that it can be transmitted.
상기에 있어서, 객체 인식시 촬영부에 의한 촬영으로 객체 식별이 어려운 환경에서 보조적인 역할로 객체 인식에 활용할 수 있도록 하기 위해, 객체에 대한 거리 정보를 감지하는 거리 감지 센서를 구비한 센서부를 더 포함한다.In the above, in order to be used for object recognition as an auxiliary role in an environment where object identification is difficult due to photographing by the photographing unit when recognizing an object, further comprising a sensor unit having a distance detection sensor for detecting distance information about an object do.
상기 제어부는 상기 거리 정보를 토대로 클러스터링 기반 객체 검출을 수행할 수 있으며, 포인트 클라우드(point cloud)에서 비슷한 포인트(point)를 묶어주는 군집화(clustering)를 통하여 객체 후보군을 추출하고, 후보군에서 필터링을 통하여 클래시피케이션(classification)을 객체를 검출하거나, 상기 촬영부의 영상정보의 RGB 이미지와 거리 감지 센서의 포인트 클라우드 형태의 거리정보를 이용하여 feature level에서 결합하여 RGB-D 이미지를 생성함으로써, 객체 인식 알고리즘에 의해 객체 검출을 수행하는 것을 특징으로 한다.The control unit may perform clustering-based object detection based on the distance information, extract an object candidate group through clustering that binds similar points in a point cloud, and filter from the candidate group. Object recognition algorithm by generating an RGB-D image by detecting an object through classification, or combining at the feature level using the RGB image of the image information of the photographing unit and the distance information in the form of a point cloud of the distance sensor It is characterized in that object detection is performed by
상기 스마트 안내판 장치는 상기 촬영부로부터 획득된 영상정보, 센서부의 센싱정보, 객체 인식 알고리즘, 객체 인식을 위한 학습 데이터, 표시부를 통한 경고 알람 서비스를 위한 제어정보가 저장되는 저장부; 내부 통신용 프로토콜과 통신망을 통하여 감시서버와 통신하기 위한 외부 통신 프로토콜을 포함하며, 상기 감시서버로부터 상태 체크 신호를 수신하여 상태 확인 신호를 송신하는 전송부; 상기 저장부에 저장되는 데이터들이나, 감시서버 또는 관리자 단말과 통신하는 데이터들에 대해서 외부 해킹 위험으로부터 정보를 보호하기 위해, 해당 데이터들의 송/수신에 데이터 암/복호화 기술을 적용하는 보안부를 더 포함한다.The smart guide device includes: a storage unit for storing image information obtained from the photographing unit, sensing information of the sensor unit, object recognition algorithm, learning data for object recognition, and control information for a warning alarm service through the display unit; a transmission unit including an internal communication protocol and an external communication protocol for communicating with a monitoring server through a communication network, and transmitting a status check signal by receiving a status check signal from the monitoring server; In order to protect information from external hacking risks for data stored in the storage unit or data communicated with a monitoring server or manager terminal, a security unit that applies data encryption/decryption technology to transmission/reception of the data further includes do.
본 발명의 일 실시예에 따른 상기 스마트 안내판 장치를 포함한 시스템에 있어서, 상기 스마트 안내판 장치의 이상 상태 체크 기능을 수행하고, 이상, 고장과 관련된 이벤트에 대해 데이터베이스를 구축하여 차후 유지보수를 위해 활용될 수 있도록 하는 감시서버를 더 포함한다.In the system including the smart guide board device according to an embodiment of the present invention, the abnormal state check function of the smart guide board device is performed, and a database is built for events related to abnormalities and failures to be utilized for future maintenance. It further includes a monitoring server to enable it.
상기에 있어서, 상기 감시서버는 상기 스마트 안내판 장치의 전송부와 통신하기 위한 외부 통신 프로토콜이 포함되는 통신부; 상태 체크 신호를 주기적으로 통신망을 통하여 상기 스마트 안내판 장치에 전송하고, 스마트 안내판 장치의 응답 신호인 상태 확인 신호를 수신하여 상태 감시를 수행하는 상태감시부를 포함한다.In the above, the monitoring server is a communication unit including an external communication protocol for communicating with the transmission unit of the smart guide device; and a status monitoring unit for periodically transmitting a status check signal to the smart guide board device through a communication network, and receiving a status check signal that is a response signal of the smart guide board device to perform status monitoring.
상기 감시서버는 상기 스마트 안내판 장치의 이상 여부에 따라 감시 및 관리를 목적으로 주기적으로 이벤트 발생시 이벤트정보를 생성하여 관리하며, 이상 상태에 대한 이벤트 발생시 미리 설정된 관리자 단말로 경고 혹은 알람 메시지를 전송하고, 관리자 단말의 요청시 해당 이벤트정보를 제공하는 이벤트관리부; 상기 스마트 안내판 장치 또는 관리자 단말과 통신 수행하는 데이터들에 대해서 데이터 암호화를 수행하는 보호부를 포함한다.The monitoring server generates and manages event information when an event occurs periodically for the purpose of monitoring and management according to the abnormality of the smart information board device, and transmits a warning or alarm message to a preset manager terminal when an event for an abnormal state occurs, an event management unit that provides corresponding event information upon a request from a manager terminal; and a protection unit for performing data encryption on data communicating with the smart guide device or the manager terminal.
본 발명의 일 실시예에 따른 객체 안내 방법은, 스마트 안내판 장치와 통신망을 통하여 연결되는 감시서버는 스마트 안내판 장치와 통신하여 주기적으로 상태 감시를 위한 상태 체크 신호를 전송하는 단계; 상기 감시서버는 스마트 안내판 장치로부터 전송된 응답신호인 상태 확인 신호 수신을 통해 장치의 상태 이상 여부를 판단하는 단계; 상기 스마트 안내판 장치는 상기 감시서버의 상태 이상 여부 판단에 따라 정상 상태에서 스마트 안내판 장치 내에 구비되는 촬영부로부터 영상 촬영 또는 센서부로부터 거리 정보를 획득하는 단계; 상기 스마트 안내판 장치는 영상 정보 및 거리 정보를 이용하여 미리 학습된 객체인식모델로 객체를 식별 및 인식하는 단계; 상기 스마트 안내판 장치는 인식 결과에 따라 객체 대상 또는 객체 진입방향 등 경고 안내 서비스를 통하여 객체 관련 정보를 표시부를 통하여 표시하여 주변에 객체 인식 상황을 알리는 단계를 포함한다.Object guide method according to an embodiment of the present invention, the smart guide device and the monitoring server connected through a communication network, communicating with the smart guide device and periodically transmitting a status check signal for status monitoring; determining, by the monitoring server, whether the state of the device is abnormal by receiving a status check signal, which is a response signal transmitted from the smart guide device; The smart guide board device may include: acquiring image capturing from a photographing unit provided in the smart guide board device or distance information from a sensor unit in a normal state according to the determination of whether the monitoring server is abnormal; The smart guide device includes the steps of identifying and recognizing an object with a pre-learned object recognition model using image information and distance information; The smart information board device includes a step of notifying the object recognition situation around the display unit by displaying object-related information through a warning guidance service such as an object target or an object entry direction according to the recognition result.
상기 감시서버는 이상 상태로 판단시, 이상, 고장 이벤트 생성 및 관리자 단말로 알람 전송하는 단계를 더 포함한다.When the monitoring server determines that it is an abnormal state, it further includes generating an abnormality, a failure event, and transmitting an alarm to the manager terminal.
상기 객체 안내 방법은 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 의해 수행될 수 있다.The object guidance method may be performed by a computer program stored in a computer-readable recording medium.
본 발명의 스마트 안내판 장치를 포함한 시스템은 스마트 안내판 장치가 별도 서버를 구축하지 않고도 영상 촬영후 촬영된 영상에 대한 스스로 신경망 학습에 의해 객체 인식을 수행하고, 객체 인식을 바탕으로 관련 경고, 안내 서비스를 제공하는 스탠드 얼론형 장치로 활용하여 엣지 컴퓨팅 환경에서 장치 내부 통신을 통하여 서비스를 제공하기 때문에, 외부 통신 환경에 구애받지 않아 신속한 학습 및 객체 경고 안내 서비스를 수행할 수 있는 장점이 있다.The system including the smart sign board device of the present invention performs object recognition by itself by neural network learning for the captured image after the video is taken without the smart sign board device building a separate server, and provides related warning and guidance services based on object recognition. Since it is utilized as a standalone device to provide a service through device internal communication in an edge computing environment, it has the advantage of being able to perform rapid learning and object warning guidance service regardless of external communication environment.
또한, 스마트 안내판 장치는 상태 감시용 서버 통신에 의해 이상 여부를 주기적으로 체크하고, 이상 상태 발생시 미리 설정된 관리자 단말로 상태 이상에 대한 경고 혹은 알람 메시지를 전송하여 즉각적 조치를 취하고, 유지보수에 활용할 수 있는 장점이 있다.In addition, the smart information board device periodically checks whether there is an abnormality by communication with the server for state monitoring, and when an abnormal state occurs, a warning or an alarm message about the abnormal state is sent to a preset manager terminal to take immediate action, and it can be used for maintenance. there are advantages to
도 1은 본 발명의 일 실시예에 따른 스마트 안내판 장치를 포함한 시스템의 전체 구성을 보인 블록도이다.
도 2는 도 1의 스마트 안내판 장치의 내부 구성을 세부적으로 보인 블록도이다.
도 3은 도 1의 감시서버의 내부 구성을 세부적으로 보인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 스마트 안내판 장치를 포함한 시스템의 객체 안내 방법의 순서도이다.
도 5는 내지 도 9는 다양한 형태의 스마트 안내판 장치 설치 예시를 보인 도면이다.1 is a block diagram showing the overall configuration of a system including a smart guide board device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the internal configuration of the smart guide device of FIG. 1 in detail.
FIG. 3 is a block diagram showing the internal configuration of the monitoring server of FIG. 1 in detail.
4 is a flowchart of a method for guiding an object of a system including a smart guide device according to an embodiment of the present invention.
5 to 9 are views showing various types of smart guide board device installation examples.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention may add, change, delete, etc. other elements within the scope of the same spirit, and may use other degenerative inventions or the present invention. Other embodiments included within the scope of the invention may be easily proposed, but this will also be included within the scope of the invention. In addition, components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.
도 1은 본 발명의 일 실시예에 따른 스마트 안내판 장치를 포함한 시스템의 전체 구성을 보인 블록도이며, 도 2는 도 1의 스마트 안내판 장치의 내부 구성을 세부적으로 보인 블록도이며, 도 3은 도 1의 감시서버의 내부 구성을 세부적으로 보인 블록도이다.1 is a block diagram showing the overall configuration of a system including a smart guide board device according to an embodiment of the present invention, FIG. 2 is a block diagram showing the internal configuration of the smart guide board device of FIG. 1 in detail, and FIG. It is a block diagram showing the internal configuration of the monitoring server in 1 in detail.
본 발명의 스마트 안내판 장치를 포함한 시스템은 도 1에 도시된 바와 같이, 스마트 안내판 장치(100), 스마트 안내판 장치(100)의 상태를 감시하는 감시서버(200), 스마트 안내판 장치(100)의 이상 여부에 대한 알람을 전송받는 관리자 단말(400)을 포함할 수 있다.As shown in FIG. 1, the system including the smart guide device of the present invention is a
스마트 안내판 장치(100)는 별도 서버를 구축하지 않고도 영상 촬영 후 촬영된 영상에 대해 스스로 인공지능 기반의 객체인식모델의 학습에 의해 객체 인식을 수행하고, 객체 인식을 바탕으로 관련 경고, 안내 서비스를 제공하는 스탠드 얼론형 장치다.The smart
스마트 안내판 장치(100)와 연결되는 감시서버(200)는 스마트 안내판 장치(100)와의 통신에 의해 스마트 안내판 장치(100)의 이상 상태 체크 기능을 수행하고, 이상, 고장과 관련된 이벤트에 대해 데이터베이스(250)를 구축하여 차후 유지보수를 위해 활용될 수 있도록 한다.The
구체적으로 스마트 안내판 장치(100)는 교차로, 사각지대, 각종 보호구역 또는 교통사고 발생 위험구간에 설치된 촬영부로 영상을 획득하고, 스스로 신경망 학습에 의해 객체 인식 알고리즘을 이용하여 객체 인식을 수행한다.Specifically, the smart
스마트 안내판 장치(100)는 표시부(150)의 측면에 설치될 수 있으나, 필요에 따라 지주(10) 등에도 설치될 수 있으며, 카메라로 객체 인식을 할 수 있는 범위 내에서라면 어디든 설치될 수 있으며, 본 발명이 이에 한정되지 않는다.The
스마트 안내판 장치(100)는 도 2를 참조하면, 제어부(110), 촬영부(120), 센서부(130), 저장부(140), 표시부(150), 보안부(160) 및 전송부(170)를 더 포함한다.2 , the
촬영부(120)는 객체 인식 및 감시가 필요한 위치에 설치되어 영상 촬영을 수행하고, 영상정보에 대해서 객체 인식을 수행한다.The
또한 촬영부(120)는 객체 인식 알고리즘 회로가 내장된 다양한 형태의 IP 카메라, 웹캠, CCTV 등이 될 수 있으며, 카메라 형태는 고정형 카메라, 회전형 카메라, 돔형 카메라, 박스형 카메라, PTZ 카메라 등을 필요에 따라 변경하여 사용할 수 있다.In addition, the photographing
또한 객체 인식 알고리즘은 예컨대 영상의 특정 객체를 보행자 형상, 자동차 형상, 이륜차 형상 등의 특징값으로 구분하고, 이 특징값을 추출하여 분석함으로써, 객체 여부를 인식할 수 있다.In addition, the object recognition algorithm can recognize whether an object exists by classifying a specific object of an image into feature values such as a pedestrian shape, a car shape, and a two-wheeled vehicle shape, for example, and extracting and analyzing the feature values.
객체 인식 알고리즘으로 Fast R-CNN, R-FCN, YOLO(You only Look Once), 텐서플로(TensorFlow), SSD(Single Shot MultiBox Detector) 등이 있는데, 상술한 객체인식 알고리즘 중 택일하여 적용하거나 복합적으로 적용할 수 있으며, 상술한 알고리즘을 적용하여 다중 객체를 동시에 인식시켜 객체 인식 속도를 향상시킬 수도 있다.As object recognition algorithms, there are Fast R-CNN, R-FCN, You only Look Once (YOLO), TensorFlow, and Single Shot MultiBox Detector (SSD). It can be applied, and the speed of object recognition can be improved by simultaneously recognizing multiple objects by applying the above-described algorithm.
특히 YOLO는 객체 인식을 회귀로 접근하여 전체 구조를 간소화함으로써, 훈련 및 검출 속도를 향상시킬 수 있는 알고리즘으로, 카메라로부터 입력된 영상은 CNN(Convolutional Neural Network)을 거쳐 텐서(Tensor)형태로 출력된다.In particular, YOLO is an algorithm that can improve training and detection speed by approaching object recognition by regression and simplifying the overall structure. .
이 텐서는 영상을 격자 형태로 나눠 각 구역을 표현하게 되며, 이를 통해 해당 구역 객체를 인식한다. 또한 YOLO는 객체를 인식하는 빠른 처리속도와 높은 정확도가 장점이다.This tensor divides the image into a grid form to express each region, and through this, the region object is recognized. In addition, YOLO has the advantage of fast processing speed and high accuracy for recognizing objects.
특히 본 발명에서 YOLO V4를 적용하여 높은 정확도와 빠른 object detector를 학습시킬 수 있으며, Yolo V3보다 속도는 미세하게 느리지만 작은 물체 분류 정확도는 더 높은 장점이 있다. In particular, by applying YOLO V4 in the present invention, high accuracy and fast object detector can be trained, and although the speed is slightly slower than Yolo V3, the small object classification accuracy is higher.
또한, 작은 물체 분류 정확도에 의해 사람이 들고 있는 물건으로 판단되면 모두 버리고, 수레를 끌거나 지팡이를 짚거나 휠체어를 타도 사람으로 판단할 수 있도록 객체 인식 정확도를 높일 수 있으며, 여기서 검출되는 객체의 수는 분류의 정확도에 영향을 미치지 않게 된다.In addition, if it is determined that the object is held by a person by the small object classification accuracy, it is thrown away and the object recognition accuracy can be increased so that it can be determined as a person even if it is pulled a cart, a cane, or a wheelchair, and the number of detected objects does not affect the accuracy of classification.
또한, 기본적으로 객체의 추적은 영상 정보의 일부가 아닌 전체 영역에 대해 수행할 수 있으며, 배경차 기법(K-Nearest, KNN)을 통해 배경을 분리, 배경과 차이가 있는 것만 확인해 객체 추적을 진행할 수 있다.Also, basically, object tracking can be performed for the entire area, not a part of the image information, and the background is separated through the background difference technique (K-Nearest, KNN), and only the difference from the background is checked to proceed with object tracking. can
또한 촬영부(120)는 단순히 촬영을 수행하고, 촬영된 영상을 제어부(110)로 전송하여, 제어부(110)에서 상술한 객체 인식 알고리즘을 수행하여 객체 인식 여부를 판단할 수도 있다.In addition, the photographing
제어부(110)는 촬영부(120)로부터 촬영 영상 및 객체 인식 결과를 제공받아, 객체 인식 결과에 따라 보행자 및 차량 안내 등 경고 안내 서비스를 제공할 수 있다.The
구체적으로 제어부(110)는 도 5 내지 도 9를 참조하면, 진입방향, 인식한 객체 대상, 관련 안내 문구 등을 다양한 형태의 표시부(150)를 통하여 표시하도록 제어할 수 있다.Specifically, with reference to FIGS. 5 to 9 , the
예컨대 객체 인식에 따라 해당 진입로를 기준으로 다른 진입 방향으로부터 진입하는 객체 대상에 대한 주의사항을 문구, 이미지 또는 아이콘 형태로 표시하되, 진입 거리에 따라 객체 대상에 대한 문구, 이미지 또는 아이콘을 다르게 표시하거나, 현재 객체 대상의 위치로부터 잔여 거리 또는 객체 대상의 속도를 표시하도록 표시부(150)를 제어할 수도 있다.For example, according to object recognition, warnings about an object entering from a different entry direction based on the corresponding access road are displayed in the form of text, image, or icon, but depending on the entry distance, different text, images, or icons for the object are displayed or , the
또한 주의사항 문구는 진입거리가 위험구간인 경우 위험으로 표시하고, 경고구간인 경우 경고로 표시함과 아울러 각 구간에 대해서 색상을 다르게 표시할 수 있으며, 이미지 또는 아이콘은 진입 거리에 따라 이미지 또는 아이콘의 형상을 다르게 하거나 색상을 다르게 표시하는 것도 가능하다.In addition, the caution statement may indicate danger if the entry distance is a dangerous section, and a warning if it is a warning section, and display different colors for each section. It is also possible to change the shape or display a different color.
센서부(130)는 객체 인식시 촬영부(120)에 의한 촬영으로 객체 식별이 어려운 환경에서 보조적인 역할로 센서 기반으로 센싱정보를 수집하고, 객체 인식에 활용할 수 있도록 하기 위해 마련된다.The
구체적으로 센서부(130)는 거리 감지 기능을 갖는 라이다 센서가 될 수 있으며, 라이다 센서 외에도 레이저 센서 등의 거리 감지 센서, 온습도 센서, 열화상 센서 등을 추가로 활용할 수도 있다.Specifically, the
거리 감지 센서에서 감지된 객체의 거리 정보는 날씨나 주변 기상 환경에 영향을 받지 않기 때문에, 악천후 등의 기상 환경에서 촬영부(120)로부터 촬영된 영상과 거리 감지 센서의 거리 정보를 조합하여 제어부(110)에서 객체 인식 및 판별에 활용할 수 있는 것이다.Since the distance information of the object detected by the distance sensor is not affected by the weather or the surrounding weather environment, the control unit ( 110), which can be used for object recognition and discrimination.
구체적으로 제어부(110)는 거리 정보를 토대로 클러스터링 기반 객체 검출을 수행할 수 있으며, 포인트 클라우드(point cloud)에서 비슷한 포인트(point)를 묶어주는 군집화(clustering)를 통하여 객체 후보군을 추출하고, 후보군에서 필터링을 통하여 클래시피케이션(classification)을 하여 객체를 검출할 수 있다. Specifically, the
군집화는 예컨대 K-means 군집화를 사용할 수 있으며, cloud point 전체를 특정 기준점 기준을 중심으로 유클리디언 거리가 최소가 되도록 K개의 묶음으로 군집화 하는 방법이다. 수행 절차는 군집의 수 K개를 정의하여 중심을 위치시키고, 각 중심에 모인 데이터를 하나의 군집으로 묶어준다.For clustering, K-means clustering can be used, for example, and it is a method of clustering the entire cloud point into K groups so that the Euclidean distance is minimized around a specific reference point. The procedure defines the number of K clusters, locates the centroid, and groups the data collected at each centroid into one cluster.
또한 Hierarchical 군집화는 비슷한 군집끼리 묶어 가면서 최종적으로는 하나가 될 때까지 군집을 묶는 방법이다. 군집 간 거리를 기반으로 하는 알고리즘이며, K-means와는 다르게 군집의 수를 따로 정해주지 않아도 된다.Also, hierarchical clustering is a method of grouping similar clusters together until they are finally unified. It is an algorithm based on the distance between clusters, and unlike K-means, it is not necessary to set the number of clusters separately.
또한 촬영부(120)의 영상정보 RGB 이미지와 라이다 센서의 포인트 클라우드 거리정보를 이용하여 feature level에서 결합하여 RGB-D 이미지를 생성하고 객체 검출과 같은 알고리즘에 사용할 수 있다.In addition, the RGB image of the image information of the photographing
저장부(140)는 촬영부(120)로부터 획득된 영상정보, 센서부(130)의 센싱정보, 객체 인식 알고리즘, 객체 인식을 위한 학습 데이터, 표시부(150)를 통한 경고 알람 서비스를 위한 제어정보 등이 저장될 수 있다.The
표시부(150)는 제어부(110)의 제어 하에 객체 인식 결과에 따라 경고 안내 서비스를 시각적으로 표시하기 위해 마련되며, 신호등, 횡단보도, 교차로, 삼거리, 자동차전용 도로 등 도로 특색에 맞게 도 5 내지 도 9의 예시와 같이, 다양한 형태로 나타낼 수 있다.The
또한 표시부(150)는 설치 방식도 여러 형태로 구현될 수 있는 바 도 5와 같이, 지주(10)의 가로암에 전면 LED 패널 형태로 마련되고, 촬영부(120)가 내장형으로 설치되거나 도 7과 같이 촬영부(120)가 독립하여 표시부(150) 상부에 설치될 수도 있으며, 별도의 센서부(130)(라이더 센서 등)도 센싱이 용이하도록 가로암 폴대(30)에 설치될 수 있다.In addition, the
또한 제어부(110)를 포함한 나머지 구성들(저장부(140), 보안부(160) 및 전송부(170))은 지주(10)에 설치될 수 있으며, 지주(10) 내부에 선을 매립하여 표시부(150)와 연결되도록 설치될 수 있다.In addition, the remaining components including the control unit 110 (
또한 도 6은 안내 표지판(20)의 양측면에 세로바 형태로 표시부(150)가 복수개 마련될 수 있으며, 화살표 방향 표시 위치에 촬영부(120)(카메라)가 내장형으로 마련될 수 있다.In addition, in FIG. 6 , a plurality of
도 7은 쇠기둥에 설치된 어린이보호구역 안내표지판(20)에 표시부(150) 및 촬영부(120)가 매립되는 형태이며, 도 8은 도 7과 유사하나 쇠기둥이 콘크리트 지주(10)인 경우에 해당한다.7 is a form in which the
보안부(160)는 저장부(140)에 저장되는 데이터들이나, 감시서버(200) 또는 관리자 단말(400)과 통신하는 데이터들에 대해서 외부 해킹 등의 위험으로부터 정보를 보호하기 위해, 해당 데이터들의 송/수신에 데이터 암/복호화 기술을 적용할 수 있다. The
보다 구체적으로, 스마트 안내판 장치(100), 감시서버(200) 및 관리자 단말(400)에 각각 신분 증명이 가능한, 식별 정보(identification information)를 부여하여, 각 감시서버(200) 또는 관리자 단말(400)의 식별 정보를 사설 암호 키(private key)로 활용하는 경량 암호 알고리즘을 수행한다. 경량 암호 알고리즘에는 관리자 단말(400)과 같은 스마트 기기 등의 제한된 환경에서 구현하기 위해 설계된 암호 기술로서, 대칭키 암호 알고리즘인 HIGHT(HIGh security and light weigHT), LEA(Lightweight Encryption)와 해시함수인 LSH(Lightweight Secure Hash) 등을 활용할 수 있다. More specifically, by giving identification information, each of which can be identified for identification, to the
이러한 경량 암호 알고리즘을 활용하여 데이터들을 등을 암/복호화 시킴으로써 해당 데이터의 외부 유출이나 외부 해킹으로 인한 불법적인 제어 등을 막을 수 있다. 경량 암호 알고리즘은 이러한 임베디드 컴퓨팅 환경에서 적합한 경량 해시 함수(lightweight hash function)를 사용하는 것이 바람직하다.By using this lightweight encryption algorithm to encrypt/decrypt data, it is possible to prevent illegal control due to external leakage or external hacking of the data. The lightweight cryptographic algorithm preferably uses a lightweight hash function suitable for such an embedded computing environment.
경량 해시 함수란 SHA-3와 같은 표준적인 암호화 해시 알고리즘에서 일부 컴퓨팅 파워가 높게 소요되는 특징들을 제외하고도 송신 또는 수신되는 데이터의 무결성을 보장할 수 있도록 설계된 컴퓨팅 파워가 상대적으로 낮게 소모되는 해시 함수(일방향 함수)이다.A lightweight hash function is a hash function that consumes relatively low computing power designed to ensure the integrity of transmitted or received data, excluding features that require high computing power in standard cryptographic hash algorithms such as SHA-3. (one-way function).
보다 구체적으로는 이러한 경량 해시함수 중에서도 키가 없이(unkeyed) 데이터의 치환(permutation)이 가능하도록 하는 스폰지(Sponge) 알고리즘을 사용하는 것이 바람직하다.More specifically, it is preferable to use a sponge algorithm that enables permutation of data without a key (unkeyed) among these lightweight hash functions.
좀더 구체적으로 스폰지는 원본 메시지(여기서는 랜덤키의 원본 데이터)를 일정한 크기로 만든 뒤(padding), 이를 키의 생성자만 알 수 있는 특정한 기준 크기(예를 들어 특정 비트 사이즈로 분할된 원본 메시지)로 복수 개로 분할한 뒤, 복수 개로 분할된 데이터(분할된 원본 메시지)의 후단에 랜덤한 데이터들을 여러 업데이트 함수를 활용하여 교환하고, 반대편에서는 이미 알고 있는 기준 크기를 활용하여 복호화도록 구현된다.More specifically, the sponge makes the original message (here, the original data of the random key) a certain size (padding), and then converts it to a specific standard size that only the creator of the key can know (for example, the original message divided into a specific bit size). After dividing into plural pieces, random data is exchanged using several update functions at the rear end of the divided data (segmented original message), and on the other side, it is implemented to decode using a known reference size.
전송부(170)는 내부 통신용 프로토콜과, 통신망(300)을 통하여 감시서버(200)와 통신하기 위한 외부 통신 프로토콜을 포함할 수 있으며, 감시서버(200)로부터 상태 체크 신호를 수신하여 상태 확인 신호를 송신할 수 있다.The
통신의 예로는 내부 통신망(300)에 활용되는 RS-485 통신, 인트라넷, 사설망(VPN) 등을 비롯하여, 외부 통신을 위한 유무선 통신망(300) 등이 포함될 수 있다.Examples of communication may include RS-485 communication, an intranet, a private network (VPN) used in the
상태 감시 기능에 대해서는 후술할 감시서버(200)의 상태감시부(220)를 통하여 구체적으로 설명하기로 한다.The status monitoring function will be described in detail through the
나아가 스마트 안내판 장치(100)는 내부 전원 공급을 위한 전원부(미도시)가 더 포함될 수 있다.Furthermore, the smart
감시서버(200)는 도 3에 도시된 바와 같이, 통신부(210), 상태감시부(220), 이벤트관리부(230), 보호부(240), 데이터베이스(250)를 더 포함한다.The
통신부(210)는 스마트 안내판 장치(100)의 전송부(170)와 통신하기 위한 외부 통신 프로토콜이 포함된다.The
상태감시부(220)는 상태 체크 신호를 주기적으로 통신망(300)을 통하여 스마트 안내판 장치(100)에 전송하고, 장치의 응답 신호인 상태 확인 신호를 수신하여 상태 감시를 수행할 수 있다.The
구체적으로 통신환경에 따라 방식에 차이가 있지만, 무선 WIFI 등 통신 환경인 경우, PING 등의 통신 상태 명령어를 스마트 안내판 장치(100)로 전송하고 수신된 상태 확인 신호로 상태를 확인할 수 있으며, 별도의 상태 체크 신호를 생성하여 스마트 안내판 장치(100)로 전송할 수도 있으며, 응답 신호는 상태 이상 여부(alive, dead)에 대한 정보를 포함할 수 있다.Specifically, there is a difference in the method depending on the communication environment, but in the case of a communication environment such as wireless WIFI, a communication status command such as PING can be transmitted to the smart
다른 방법으로 상태감시부(220)는 hear-beat 시그널과 유사한 형태의 상태 체크 신호를 특정 기준 주기마다 보내 상태를 체크하여 이상 상황(고장 포함)에서는 시그널이 주기 내에 도착하지 못하는 점을 이용할 수도 있다.As another method, the
구체적으로, 주기 내에 시그널이 도착하지 못하면 기준 주기보다 짧은 기준 주기로 시그널을 전송하고, 그래도 만약 이상 상황이 지속된다면 고장으로 추정하거나, 시도(retry) 횟수를 카운트(count)하는 카운터를 마련하여, 현재 카운트값이 설정된 기준 카운트 값보다 높으면 고장으로 추정하도록 함으로써, 장치 관리자들에게 고장 오판을 줄이고, 유지 보수가 필요한 적정 시기에 대한 신뢰성을 높여줄 수 있도록 한다.Specifically, if the signal does not arrive within the period, the signal is transmitted with a reference period shorter than the reference period. When the count value is higher than the set reference count value, it is estimated as a failure, so that it is possible to reduce misdiagnosis of a failure for device managers and to increase the reliability of an appropriate time for maintenance.
이벤트관리부(230)는 스마트 안내판 장치(100)의 이상 여부에 따라 감시 및 관리를 목적으로 주기적으로 이벤트 발생시 이벤트정보를 생성하여 관리할 수 있으며, 이상 상태에 대한 이벤트 발생시 미리 설정된 관리자 단말(400)로 경고 혹은 알람 메시지를 전송할 수 있으며, 관리자 단말(400)의 요청시 해당 이벤트정보를 제공하여 유지 보수 등에 활용할 수 있다.The
보호부(240)는 통신 수행하는 데이터들에 대해서 외부 해킹 등의 악용 활용 등을 방지하기 위해 데이터 암호화를 수행할 수 있다.The
데이터 암호화 방식은 예컨대 HTTPS(TLS) 방식의 암호화가 될 수 있으며 상술한 경량 암호화 알고리즘을 추가로 활용하거나 대체할 수도 있다.The data encryption method may be, for example, HTTPS (TLS) encryption, and may additionally utilize or replace the above-described lightweight encryption algorithm.
데이터베이스(250)는 송수신되는 이벤트 데이터들이나 스마트 안내판 장치(100)로부터 백업용으로 송신되는 데이터들(객체인식 데이터들-영상정보, 센싱정보 등)을 저장하고 관리할 수 있으며, 이때 데이터 보호를 위해 블록체인 기반의 분산 통신망(300)을 구축하여 관리할 수 있다.The
도 4는 본 발명의 일 실시예에 따른 스마트 안내판 장치를 포함한 시스템의 객체 안내 방법의 순서도이다.4 is a flowchart of a method for guiding an object of a system including a smart guide device according to an embodiment of the present invention.
먼저 감시서버(200)는 스마트 안내판 장치(100)와 통신하여 주기적으로 상태 감시를 위한 상태 체크 신호를 전송한다(S401).First, the
감시서버(200)는 스마트 안내판 장치(100)로부터 전송된 응답신호인 상태 확인 신호 수신을 통해 장치의 상태 이상 여부를 판단한다(S402).The
감시서버(200)는 이상 상태로 판단시, 고장 이벤트 생성 및 관리자 단말(400)로 알람 전송할 수 있다(S403).When the
스마트 안내판 장치(100)는 감시서버(200)의 상태 이상 여부 판단에 따라 정상 상태에서 스마트 안내판 장치(100) 내에 구비되는 촬영부(120)로부터 영상 촬영 또는 센서부(130)로부터 거리 정보를 획득한다(S404).The smart
스마트 안내판 장치(100)는 영상 정보 및 거리 정보를 이용하여 미리 학습된 객체인식모델로 객체를 식별 및 인식할 수 있다(S405).The
스마트 안내판 장치(100)는 인식 결과에 따라 객체 대상 또는 객체 진입방향 등 경고 안내 서비스를 통하여 객체 관련 정보를 표시부(150)를 통하여 표시하여 주변에 객체 인식 상황을 알린다(S406).According to the recognition result, the smart
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 통신망(300)을 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 통신망(300)은 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. In the present specification, a 'terminal' may be a wireless communication device with guaranteed portability and mobility, for example, any type of handheld-based wireless communication device such as a smartphone, tablet PC, or notebook computer. In addition, the 'terminal' may be a wired communication device such as a PC that can be connected to another terminal or server through the
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.
10 : 지주
20 : 안내 표지판
30 : 가로암 폴대
100 : 스마트 안내판 장치
110 : 제어부
120 : 촬영부
130 : 센서부
140 : 저장부
150 : 표시부
160 : 보안부
170 : 전송부
200 : 감시서버
210 : 통신부
220 : 상태감시부
230 : 이벤트관리부
240 : 보호부
250 : 데이터베이스
300 : 통신망
400 : 관리자 단말10 : holding
20: guide sign
30: transverse arm pole
100: smart information board device
110: control unit
120: shooting unit
130: sensor unit
140: storage
150: display
160: security department
170: transmission unit
200: monitoring server
210: communication department
220: status monitoring unit
230: event management unit
240: protection
250 : database
300: communication network
400: administrator terminal
Claims (10)
객체 인식 및 감시가 필요한 위치에 설치되어 영상 촬영을 수행하고, 영상정보에 대해서 객체 인식 알고리즘에 의해 객체 인식을 수행하는 촬영부;
촬영부로부터 촬영 영상 및 객체 인식 결과를 제공받아, 객체 인식 결과에 따라 보행자 및 차량 안내를 포함한 경고 안내 서비스를 제공하는 제어부;
상기 제어부의 제어 하에 객체 인식 결과에 따라 경고 안내 서비스를 시각적으로 표시하기 위해 마련되는 표시부;
객체 인식시 촬영부에 의한 촬영으로 객체 식별이 어려운 환경에서 보조적인 역할로 객체 인식에 활용할 수 있도록 하기 위해, 객체에 대한 거리 정보를 감지하는 거리 감지 센서를 구비한 센서부;
상기 촬영부로부터 획득된 영상정보, 센서부의 센싱정보, 객체 인식 알고리즘, 객체 인식을 위한 학습 데이터, 표시부를 통한 경고 알람 서비스를 위한 제어정보가 저장되는 저장부;
내부 통신용 프로토콜과 통신망을 통하여 감시서버와 통신하기 위한 외부 통신 프로토콜을 포함하며, 상기 감시서버로부터 상태 체크 신호를 수신하여 상태 확인 신호를 송신하는 전송부;
상기 저장부에 저장되는 데이터들이나, 감시서버 또는 관리자 단말과 통신하는 데이터들에 대해서 외부 해킹 위험으로부터 정보를 보호하기 위해, 해당 데이터들의 송/수신에 스마트 안내판 장치, 감시서버 및 관리자 단말에 각각 신분 증명이 가능한, 식별 정보(identification information)를 부여하여, 각 감시서버 또는 관리자 단말의 식별 정보를 사설 암호 키(private key)로 활용하는 경량 암호 알고리즘을 이용하여 데이터 암/복호화 기술을 적용하는 보안부를 포함하며,
상기 객체 인식 알고리즘은 학습에 의해 영상의 특정 객체를 보행자 형상, 자동차 형상 또는 이륜차 형상에 대한 특징값으로 구분하고, 특징값을 추출하여 분석함으로써, 객체 여부를 인식할 수 있으며,
상기 스마트 안내판 장치는
상기 스마트 안내판 장치와 통신망을 통하여 연결되는 감시서버로부터 상태 체크 신호를 수신하여, 상태 확인 신호를 전송할 수 있도록 하되,
상기 감시서버는 상태 체크 신호를 주기적으로 통신망을 통하여 스마트 안내판 장치에 전송하고, 장치의 응답 신호인 상태 확인 신호를 수신하여 상태 감시를 수행하는 상태감시부를 포함하며,
상기 상태감시부는 hear-beat 시그널과 유사한 형태의 상태 체크 신호를 특정 기준 주기마다 보내 상태를 체크하여 이상 상황(고장 포함)에서 시그널이 주기 내에 도착하지 못하는 점을 이용하여 상태 이상 여부를 체크할 수 있으며,
상기 주기 내에 시그널이 도착하지 못하면 기준 주기보다 짧은 기준 주기로 시그널을 전송하고, 그래도 만약 이상 상황이 지속된다면 고장으로 추정하거나, 시도(retry) 횟수를 카운트(count)하는 카운터를 마련하여, 현재 카운트값이 설정된 기준 카운트 값보다 높으면 고장으로 추정하도록 하는 것을 특징으로 하는 스마트 안내판 장치.In a smart guide board device for guiding objects using object recognition in an image,
a photographing unit installed at a location requiring object recognition and monitoring to capture an image, and to perform object recognition on image information by an object recognition algorithm;
a control unit receiving a captured image and an object recognition result from the photographing unit, and providing a warning guidance service including pedestrian and vehicle guidance according to the object recognition result;
a display unit provided to visually display a warning guidance service according to an object recognition result under the control of the control unit;
a sensor unit having a distance detection sensor for detecting distance information about an object in order to use it for object recognition as an auxiliary role in an environment where object identification is difficult due to photographing by the photographing unit during object recognition;
a storage unit for storing image information obtained from the photographing unit, sensing information of the sensor unit, object recognition algorithm, learning data for object recognition, and control information for a warning alarm service through a display unit;
a transmission unit including an internal communication protocol and an external communication protocol for communicating with a monitoring server through a communication network, and transmitting a status check signal by receiving a status check signal from the monitoring server;
In order to protect information from external hacking risk for data stored in the storage unit or data communicated with the monitoring server or manager terminal, the smart information board device, monitoring server, and manager terminal respectively identify the corresponding data in transmission/reception A security unit that applies data encryption/decryption technology using a light-weight encryption algorithm that grants verification, identification information, and uses the identification information of each monitoring server or administrator terminal as a private key includes,
The object recognition algorithm classifies a specific object of an image into a feature value for a pedestrian shape, a car shape, or a two-wheeled vehicle shape by learning, and by extracting and analyzing the feature value, it is possible to recognize whether the object is an object,
The smart guide device is
By receiving the status check signal from the monitoring server connected through the smart guide device and the communication network, the status check signal can be transmitted,
The monitoring server includes a status monitoring unit that periodically transmits a status check signal to the smart guide device through a communication network, receives a status check signal that is a response signal of the device, and performs status monitoring,
The status monitoring unit sends a status check signal similar to the heart-beat signal at every specific reference cycle to check the status. there is,
If the signal does not arrive within the period, the signal is transmitted in a reference period shorter than the reference period, and if the abnormal situation persists, it is estimated as a failure or a counter is provided to count the number of retry, and the current count value If it is higher than the set reference count value, the smart guide board device, characterized in that it is estimated as a failure.
상기 제어부는
상기 거리 정보를 토대로 클러스터링 기반 객체 검출을 수행할 수 있으며, 포인트 클라우드(point cloud)에서 비슷한 포인트(point)를 묶어주는 군집화(clustering)를 통하여 객체 후보군을 추출하고, 후보군에서 필터링을 통하여 클래시피케이션(classification)을 객체를 검출하거나,
상기 촬영부의 영상정보의 RGB 이미지와 거리 감지 센서의 포인트 클라우드 형태의 거리정보를 이용하여 feature level에서 결합하여 RGB-D 이미지를 생성함으로써, 객체 인식 알고리즘에 의해 객체 검출을 수행하는 것을 특징으로 하는 스마트 안내판 장치.According to claim 1,
the control unit
Clustering-based object detection can be performed based on the distance information, and object candidate groups are extracted through clustering that binds similar points in a point cloud, and classification is performed through filtering from the candidate group. (classification) to detect an object, or
Smart, characterized in that object detection is performed by an object recognition algorithm by combining at the feature level using the RGB image of the image information of the photographing unit and the distance information in the form of a point cloud of the distance sensor to generate an RGB-D image signage device.
상기 스마트 안내판 장치의 이상 상태 체크 기능을 수행하고, 고장과 관련된 이벤트에 대해 데이터베이스를 구축하여 차후 유지보수를 위해 활용될 수 있도록 하는 감시서버
를 포함하는 스마트 안내판 장치를 포함한 시스템.[Claim 4] In a system comprising the smart guide device of claim 1 or 3,
A monitoring server that performs an abnormal state check function of the smart guide device and builds a database for failure-related events so that it can be utilized for future maintenance
A system including a smart signage device comprising a.
상기 감시서버는
상기 스마트 안내판 장치의 전송부와 통신하기 위한 외부 통신 프로토콜이 포함되는 통신부;
상태 체크 신호를 주기적으로 통신망을 통하여 상기 스마트 안내판 장치에 전송하고, 스마트 안내판 장치의 응답 신호인 상태 확인 신호를 수신하여 상태 감시를 수행하는 상태감시부
를 포함하는 스마트 안내판 장치를 포함한 시스템.6. The method of claim 5,
The monitoring server
a communication unit including an external communication protocol for communicating with the transmission unit of the smart guide device;
A status monitoring unit that periodically transmits a status check signal to the smart guide device through a communication network, and receives a status check signal that is a response signal of the smart guide device to monitor the status
A system including a smart signage device comprising a.
상기 감시서버는
상기 스마트 안내판 장치의 이상 여부에 따라 감시 및 관리를 목적으로 주기적으로 이벤트 발생시 이벤트정보를 생성하여 관리하며, 이상 상태에 대한 이벤트 발생시 미리 설정된 관리자 단말로 경고 혹은 알람 메시지를 전송하고, 관리자 단말의 요청시 해당 이벤트정보를 제공하는 이벤트관리부;
상기 스마트 안내판 장치 또는 관리자 단말과 통신 수행하는 데이터들에 대해서 데이터 암호화를 수행하는 보호부
를 포함하는 스마트 안내판 장치를 포함한 시스템.6. The method of claim 5,
The monitoring server
For the purpose of monitoring and management according to the abnormality of the smart information board device, event information is generated and managed periodically when an event occurs, and when an event for an abnormal state occurs, a warning or alarm message is transmitted to a preset manager terminal, and the request of the manager terminal an event management unit that provides relevant event information at the time;
A protection unit that performs data encryption for data communicating with the smart guide device or the manager terminal
A system including a smart signage device comprising a.
상기 감시서버는 스마트 안내판 장치로부터 전송된 응답신호인 상태 확인 신호 수신을 통해 장치의 상태 이상 여부를 판단하는 단계;
상기 스마트 안내판 장치는 상기 감시서버의 상태 이상 여부 판단에 따라 정상 상태에서 스마트 안내판 장치 내에 구비되는 촬영부로부터 영상 촬영 또는 센서부로부터 거리 정보를 획득하는 단계;
상기 스마트 안내판 장치는 영상 정보 및 거리 정보를 이용하여 미리 학습된 객체인식모델로 객체를 식별 및 인식하는 단계;
상기 스마트 안내판 장치는 인식 결과에 따라 객체 대상 또는 객체 진입방향 등 경고 안내 서비스를 통하여 객체 관련 정보를 표시부를 통하여 표시하여 주변에 객체 인식 상황을 알리는 단계
를 포함하되,
상기 스마트 안내판 장치는
객체 인식시 촬영부에 의한 촬영으로 객체 식별이 어려운 환경에서 보조적인 역할로 객체 인식에 활용할 수 있도록 하기 위해, 객체에 대한 거리 정보를 감지하는 거리 감지 센서를 구비한 센서부;
상기 촬영부로부터 획득된 영상정보, 센서부의 센싱정보, 객체 인식 알고리즘, 객체 인식을 위한 학습 데이터, 표시부를 통한 경고 알람 서비스를 위한 제어정보가 저장되는 저장부;
내부 통신용 프로토콜과 통신망을 통하여 감시서버와 통신하기 위한 외부 통신 프로토콜을 포함하며, 상기 감시서버로부터 상태 체크 신호를 수신하여 상태 확인 신호를 송신하는 전송부;
상기 저장부에 저장되는 데이터들이나, 감시서버 또는 관리자 단말과 통신하는 데이터들에 대해서 외부 해킹 위험으로부터 정보를 보호하기 위해, 해당 데이터들의 송/수신에 스마트 안내판 장치, 감시서버 및 관리자 단말에 각각 신분 증명이 가능한, 식별 정보(identification information)를 부여하여, 각 감시서버 또는 관리자 단말의 식별 정보를 사설 암호 키(private key)로 활용하는 경량 암호 알고리즘을 이용하여 데이터 암/복호화 기술을 적용하는 보안부를 포함하며,
상기 감시서버는 상태 체크 신호를 주기적으로 통신망을 통하여 스마트 안내판 장치에 전송하고, 장치의 응답 신호인 상태 확인 신호를 수신하여 상태 감시를 수행하는 상태감시부를 포함하며,
상기 상태감시부는 hear-beat 시그널과 유사한 형태의 상태 체크 신호를 특정 기준 주기마다 보내 상태를 체크하여 이상 상황(고장 포함)에서 시그널이 주기 내에 도착하지 못하는 점을 이용하여 상태 이상 여부를 체크할 수 있으며,
상기 주기 내에 시그널이 도착하지 못하면 기준 주기보다 짧은 기준 주기로 시그널을 전송하고, 그래도 만약 이상 상황이 지속된다면 고장으로 추정하거나, 시도(retry) 횟수를 카운트(count)하는 카운터를 마련하여, 현재 카운트값이 설정된 기준 카운트 값보다 높으면 고장으로 추정하도록 하는 것을 특징으로 하는 객체 안내 방법.The monitoring server connected to the smart guide device through a communication network communicates with the smart guide device and periodically transmits a status check signal for status monitoring;
Determining whether the state of the device is abnormal by the monitoring server receiving a status check signal that is a response signal transmitted from the smart guide device;
The smart guide board device may include: acquiring image capturing from a photographing unit provided in the smart guide board device or distance information from a sensor unit in a normal state according to the determination of whether the monitoring server is abnormal;
The smart guide device may include: identifying and recognizing an object with an object recognition model learned in advance using image information and distance information;
The smart information board device displays object-related information through a display unit through a warning guidance service such as an object target or an object entry direction according to the recognition result to notify the surrounding object recognition situation
including,
The smart guide device is
a sensor unit having a distance detection sensor for detecting distance information about an object in order to use it for object recognition as an auxiliary role in an environment where object identification is difficult due to photographing by the photographing unit during object recognition;
a storage unit for storing image information obtained from the photographing unit, sensing information of the sensor unit, object recognition algorithm, learning data for object recognition, and control information for a warning alarm service through a display unit;
a transmission unit including an internal communication protocol and an external communication protocol for communicating with a monitoring server through a communication network, and transmitting a status check signal by receiving a status check signal from the monitoring server;
In order to protect information from external hacking risk for data stored in the storage unit or data communicated with the monitoring server or manager terminal, the smart information board device, monitoring server, and manager terminal respectively identify the corresponding data in transmission/reception A security unit that applies data encryption/decryption technology using a light-weight encryption algorithm that grants verification, identification information, and uses the identification information of each monitoring server or administrator terminal as a private key includes,
The monitoring server includes a status monitoring unit that periodically transmits a status check signal to the smart guide device through a communication network, receives a status check signal that is a response signal of the device, and performs status monitoring,
The status monitoring unit sends a status check signal similar to the heart-beat signal at every specific reference cycle to check the status. there is,
If the signal does not arrive within the period, the signal is transmitted in a reference period shorter than the reference period, and if the abnormal situation persists, it is estimated as a failure or a counter is provided to count the number of retry, and the current count value Object guidance method, characterized in that if it is higher than the set reference count value, it is estimated as a failure.
상기 감시서버는 이상 상태로 판단시, 고장 이벤트 생성 및 관리자 단말로 알람 전송하는 단계
를 더 포함하는 객체 안내 방법.9. The method of claim 8,
When the monitoring server determines that it is in an abnormal state, generating a failure event and transmitting an alarm to the manager terminal
An object guidance method further comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210120769A KR102358773B1 (en) | 2021-09-10 | 2021-09-10 | Smart guide device for guiding objects, system and method including the device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210120769A KR102358773B1 (en) | 2021-09-10 | 2021-09-10 | Smart guide device for guiding objects, system and method including the device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102358773B1 true KR102358773B1 (en) | 2022-02-08 |
Family
ID=80252186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210120769A KR102358773B1 (en) | 2021-09-10 | 2021-09-10 | Smart guide device for guiding objects, system and method including the device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102358773B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102410770B1 (en) * | 2022-02-28 | 2022-06-22 | (주)이상기술 | Smart traffic system for right turning vehicle |
KR102450169B1 (en) * | 2022-03-28 | 2022-10-04 | 케이에스아이 주식회사 | Crosswalk Control System Employing AI |
KR102635615B1 (en) * | 2023-07-04 | 2024-02-14 | 주식회사 정우세이프티 | Signs outputting safety information and method for providing safety information of signs |
KR102674327B1 (en) * | 2023-08-16 | 2024-06-11 | 신진아이앤씨(주) | Smart safety information board system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160128169A (en) | 2015-04-28 | 2016-11-07 | 임철수 | Method and system of danger warning at intersection |
KR20200011813A (en) * | 2018-07-25 | 2020-02-04 | 안세찬 | PEDESTRIAN SAFETY MANAGEMENT SYSTEM BASED ON LiDAR SENSOR |
KR102138493B1 (en) * | 2020-05-19 | 2020-07-28 | 지에이치정보통신주식회사 | control system for sign device of road defensive driving |
KR102189569B1 (en) * | 2020-06-24 | 2020-12-11 | 주식회사 문창 | Multifunctional smart object recognition accident prevention sign guide plate and accident prevention method using the same |
KR102217434B1 (en) * | 2019-11-26 | 2021-02-23 | (주) 하나텍시스템 | IoT based traffic safety facility operation management system |
-
2021
- 2021-09-10 KR KR1020210120769A patent/KR102358773B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160128169A (en) | 2015-04-28 | 2016-11-07 | 임철수 | Method and system of danger warning at intersection |
KR20200011813A (en) * | 2018-07-25 | 2020-02-04 | 안세찬 | PEDESTRIAN SAFETY MANAGEMENT SYSTEM BASED ON LiDAR SENSOR |
KR102217434B1 (en) * | 2019-11-26 | 2021-02-23 | (주) 하나텍시스템 | IoT based traffic safety facility operation management system |
KR102138493B1 (en) * | 2020-05-19 | 2020-07-28 | 지에이치정보통신주식회사 | control system for sign device of road defensive driving |
KR102189569B1 (en) * | 2020-06-24 | 2020-12-11 | 주식회사 문창 | Multifunctional smart object recognition accident prevention sign guide plate and accident prevention method using the same |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102410770B1 (en) * | 2022-02-28 | 2022-06-22 | (주)이상기술 | Smart traffic system for right turning vehicle |
KR102450169B1 (en) * | 2022-03-28 | 2022-10-04 | 케이에스아이 주식회사 | Crosswalk Control System Employing AI |
KR102635615B1 (en) * | 2023-07-04 | 2024-02-14 | 주식회사 정우세이프티 | Signs outputting safety information and method for providing safety information of signs |
KR102674327B1 (en) * | 2023-08-16 | 2024-06-11 | 신진아이앤씨(주) | Smart safety information board system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102358773B1 (en) | Smart guide device for guiding objects, system and method including the device | |
US10558863B2 (en) | Video surveillance system and video surveillance method | |
EP4105101A1 (en) | Monitoring system, monitoring method, and monitoring device for railway train | |
US20190035104A1 (en) | Object detection and tracking | |
WO2019022935A1 (en) | Object detection sensors and systems | |
EP2903261B1 (en) | Apparatus and method for detecting event from plurality of photographed images | |
KR101688218B1 (en) | System for managing traffic flow and incidents using image detection in real time based on object recognition and method for processing thereof | |
CN110995808B (en) | Power grid infrastructure site safety dynamic management and control system based on ubiquitous power Internet of things | |
KR102162364B1 (en) | Bridge device supporting alarm format | |
KR101492473B1 (en) | Context-aware cctv intergrated managment system with user-based | |
CN106529401A (en) | Vehicle anti-tracking method, vehicle anti-tracking device and vehicle anti-tracking system | |
CN117319609A (en) | Internet of things big data intelligent video monitoring system and method | |
KR101084914B1 (en) | Indexing management system of vehicle-number and man-image | |
CN114913663B (en) | Abnormality detection method, abnormality detection device, computer device, and storage medium | |
KR102434154B1 (en) | Method for tracking multi target in traffic image-monitoring-system | |
CN113971782B (en) | Comprehensive monitoring information management method and system | |
KR20190092227A (en) | System for Serarching Using Intelligent Analyzing Video | |
KR101660254B1 (en) | recognizing system of vehicle number for parking crossing gate | |
EP3559858A1 (en) | Rgbd sensing based object detection system and method thereof | |
KR102375778B1 (en) | Multifunctional didital signage systeom based on arrificial intelligence technology | |
CN205582055U (en) | Accessible passageway safety identification system of intelligence | |
KR101415848B1 (en) | Monitering apparatus of school-zone using detection of human body and vehicle | |
KR102421043B1 (en) | Apparatus for Processing Images and Driving Method Thereof | |
KR101263894B1 (en) | Apparatus and method for tracking wanted vehicle | |
CN110516501A (en) | Face identification system exposes bright compensation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |