KR20190080142A - A system for displaying accident situation event in tunnel to panorama image and a method of displaying the same - Google Patents
A system for displaying accident situation event in tunnel to panorama image and a method of displaying the same Download PDFInfo
- Publication number
- KR20190080142A KR20190080142A KR1020170182399A KR20170182399A KR20190080142A KR 20190080142 A KR20190080142 A KR 20190080142A KR 1020170182399 A KR1020170182399 A KR 1020170182399A KR 20170182399 A KR20170182399 A KR 20170182399A KR 20190080142 A KR20190080142 A KR 20190080142A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- image
- unit
- learning
- tunnel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000013480 data collection Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims description 61
- 230000002123 temporal effect Effects 0.000 claims description 36
- 238000007405 data analysis Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract 2
- 238000012545 processing Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- H04N5/23238—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- H04N5/23293—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템 및 표시 방법에 관한 것으로, 더욱 상세하게는 기존에 설치되어 있는 CCTV의 실시간 영상 데이터를 수집하고, 이를 조감도 형태로 변환시킨 파노라마 영상 데이터를 생성하여 표시하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템 및 표시 방법에 관한 것이다.The present invention relates to a system and a display method for displaying a temporal event in a tunnel on a panoramic image, and more particularly, to a system and a method for displaying real time image data of a CCTV installed on a panoramic image, The present invention relates to a system and a display method for displaying a temporal event in a tunnel to be generated and displayed on a panoramic image.
일반적으로, 산지가 많은 지역에서는 지형적 특성으로 인해 다수의 터널이 존재하며, 이러한 지형적 특성을 극복하기 위한 터널은 그 길이가 점차 증가하고 있다. 터널 내 사고 감소를 위한 다양한 노력에도 불구하고, 터널 내 사고는 지속적으로 증가하고 있다.Generally, in many mountainous areas, there are many tunnels due to geographical characteristics, and the length of tunnels for overcoming these geographical characteristics is gradually increasing. Despite various efforts to reduce accidents in tunnels, accidents in tunnels have continued to increase.
터널 내 설치되어 있는 종래의 사고 자동감지 시스템(예를 들면, CCTV 등)의 검지 현황을 연도별로 분류해서 살펴보면, 2012년 이후부터 오 검지율이 지속적으로 증가한 것으로 나타났다. 이는, 현재 운영중인 관제 시스템들과 소프트웨어들은 터널 내 환경변화 및 감지된 영상의 품질에 매우 민감하며, 대부분의 터널에서 각 영상유고항목에 대한 자동 인식률이 장비의 노화에 의해 시간이 흐를수록 낮기 때문이다.If we look at the detection status of conventional accident automatic detection systems installed in tunnels (eg, CCTV, etc.) by year, the detection rate has been steadily increasing since 2012. This is because the currently operating control systems and software are very sensitive to environmental changes in the tunnel and the quality of the sensed image, and the automatic recognition rate for each image item in most tunnels is lower as time goes by the aging of the equipment to be.
근래에는 각 터널의 특성을 감안해 확보한 터널 내부 영상의 조도 특성을 소프트웨어에 반영해주고, 각 터널 형상을 고려해 그림자 등의 발생 특성을 파악하여 조정하면서, CCTV 장비에서 약 100m 이내에서의 감지 성능을 향상시키는 기술이 개발되고 있다.In recent years, the illumination characteristics of the tunnels have been reflected in the software in consideration of the characteristics of the tunnels, and the detection characteristics of shadows and the like have been taken into consideration for each tunnel shape to improve the detection performance within about 100 m Technology is being developed.
하지만, 현실적으로 수많은 터널 내 모든 CCTV 장비들을 일일이 최적화하는 작업은 용이하지 않으며, 최적화 조건도 시간이력과, 터널 상황에 따라 달라질 수 있다.In reality, however, it is not easy to optimize all the CCTV equipment in a large number of tunnels, and the optimization conditions can also vary depending on the time history and the tunnel situation.
따라서, 터널 내 유고상황에 대한 실시간 이벤트를 좀더 최적화된 이미지로 수신받아 용이하게 관제할 수 있는 기술이 지속적으로 요구되고 있다.Therefore, there is a continuing need for a technology capable of receiving a more optimized image of a real-time event in a tunnel and managing it easily.
이에 본 발명은 상기한 바와 같은 요구를 해소하기 위해 제안된 것으로서, 그 목적은 기존에 설치되어 있는 CCTV의 실시간 영상 데이터를 수집하고, 이를 조감도 형태로 변환시킨 파노라마 영상 데이터를 생성하여 표시함으로써, 터널 내의 유고상황을 용이하게 관제할 수 있는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템 및 표시 방법에 관한 것이다.Accordingly, the present invention has been proposed in order to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for capturing real-time image data of a CCTV installed in the past and generating and displaying panorama image data converted into a bird's- And more particularly, to a system and a display method for displaying a temporal event in a tunnel, which can be easily controlled, on a panoramic image.
상기 목적을 달성하기 위해, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템은, 터널 내의 영상들을 각각 수집하는 복수의 영상 데이터 수집부(100)와, 상기 영상 데이터 수집부(100)에 의해 수집된 영상 데이터를 파노라마 영상 데이터로 변환시켜서 생성 및 표시하는 파노라마 영상 변환부(200)와, 상기 파노라마 영상 변환부(200)에 의해 변환된 상기 파노라마 영상 데이터로 터널 내의 유고 상황을 관제하는 영상 관제부(300)를 포함한다.In order to achieve the above object, a system for displaying a temporal event in a tunnel according to the present invention on a panoramic image includes a plurality of image
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 상기 파노라마 영상 변환부(200)는, 상기 영상 데이터 수집부(100)로부터 수집된 영상 데이터를 입력받는 영상 데이터 입력부(210)와, 상기 영상 데이터 입력부(210)에 입력된 영상 데이터 중 관심 영역에 대한 영상을 딥러닝 알고리즘(Deep Learning Algorithms)으로 분석하여 변환된 딥러닝 영상 데이터를 생성하는 영상 데이터 분석부(220)와, 상기 영상 데이터 분석부(220)에 의해 생성된 딥러닝 영상 데이터를 분석 및 추론하여 판정하는 딥러닝 돌발 영상 추론부(230)와, 상기 딥러닝 돌발 영상 추론부(230)에 의해 판정된 딥러닝 영상 데이터의 다중 영상을 조합하여 파노라마 영상 데이터로 출력하는 변환된 영상 데이터 출력부(240)를 포함한다.In the system for displaying a temporal event in a tunnel according to the present invention on a panoramic image, the panoramic
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템은, 상기 영상 데이터 분석부(220)에 의해 생성된 복수의 딥러닝 학습 영상 데이터를 반복학습하는 딥러닝 학습부(250)를 더 포함하되, 상기 딥러닝 학습부(250)는 반복학습된 복수의 딥러닝 학습 영상 데이터를 생성하여 빅데이터로 저장하고, 상기 딥러닝 돌발 영상 추론부(230)가 상기 딥러닝 영상 데이터를 오차없이 분석 및 추론하도록 딥러닝 학습 영상 데이터를 제공한다.The system for displaying the temporal event in the tunnel according to the present invention on the panoramic image includes a deep
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 상기 영상 데이터 분석부(220)는 상기 관심 영역의 영상 프레임을 정형화하여 동일 크기로 펼치고 왜곡 보정을 수행한다.In addition, in the system for displaying a temporal event in a tunnel according to the present invention on a panoramic image, the
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 상기 변환된 영상 데이터 출력부(240)는 딥러닝 영상 데이터의 다중 영상을 조합시, 상기 다중 영상의 프레임이 정형화된 이미지에서 선명하지 않은 영역을 선명한 영역으로 블렌딩하여 대체하며, 상기 다중 영상끼리 겹치는 영역을 비교 분석하여 정형화된 이미지를 연결하여 파노라마 영상으로 조합한다.In a system for displaying a temporal event in a tunnel according to the present invention on a panoramic image, the transformed image
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법은, 영상 데이터 수집부(100)로부터 수집된 영상 데이터를 영상 데이터 입력부(210)에 의해 입력받는 제 1 단계(S100)와, 상기 영상 데이터 입력부(210)에 입력된 영상 데이터 중 관심 영역에 대한 영상을, 영상 데이터 분석부(220)가 딥러닝 알고리즘으로 분석하여 변환된 딥러닝 영상 데이터를 생성하는 제 2 단계(S200)와, 상기 영상 데이터 분석부(220)에 의해 생성된 딥러닝 영상 데이터를 딥러닝 돌발 영상 추론부(230)가 분석 및 추론하여 판정하는 제 3 단계(S300)와, 상기 딥러닝 돌발 영상 추론부(230)에 의해 판정된 딥러닝 영상 데이터의 다중 영상을 변환된 영상 데이터 출력부(240)가 조합하여 파노라마 영상 데이터로 출력하는 제 4 단계(S400)를 포함한다.A method of displaying a temporal event in a tunnel according to the present invention on a panoramic image includes a first step S100 of receiving image data collected from the image
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법은, 상기 영상 데이터 분석부(220)에 의해 생성된 복수의 딥러닝 학습 영상 데이터를 반복학습하는 딥러닝 학습부(250)를 더 포함하되, 상기 딥러닝 학습부(250)는 반복학습된 복수의 딥러닝 학습 영상 데이터를 생성하여 빅데이터로 저장하고, 상기 딥러닝 돌발 영상 추론부(230)가 상기 딥러닝 영상 데이터를 오차없이 분석 및 추론하도록 딥러닝 학습 영상 데이터를 제공한다.The method for displaying a temporal event in a tunnel according to the present invention on a panoramic image includes a deep
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법에서, 상기 영상 데이터 분석부(220)는 상기 관심 영역의 영상 프레임을 정형화하여 동일 크기로 펼치고 왜곡 보정을 수행한다.In addition, in the method of displaying a temporal event in a tunnel according to the present invention on a panoramic image, the
또한, 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법에서, 상기 변환된 영상 데이터 출력부(240)는 딥러닝 영상 데이터의 다중 영상을 조합시, 상기 다중 영상의 프레임이 정형화된 이미지에서 선명하지 않은 영역을 선명한 영역으로 블렌딩하여 대체하며, 상기 다중 영상끼리 겹치는 영역을 비교 분석하여 정형화된 이미지를 연결하여 파노라마 영상으로 조합하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시한다.In addition, in the method of displaying a temporal event in a tunnel on a panoramic image, the converted image
본 발명에 의하면, 기존에 설치되어 있는 CCTV의 실시간 영상 데이터를 수집하고, 이를 조감도 형태로 변환시킨 파노라마 영상 데이터를 생성하여 표시함으로써, 터널 내의 유고상황을 용이하게 관제할 수 있는 효과가 있다.According to the present invention, there is an effect of collecting real-time image data of CCTV installed in the past and generating and displaying the panoramic image data converted into bird's-eye view form, thereby easily controlling the situation in the tunnel.
도 1은 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템의 전체 구성을 나타내는 블록도.
도 2는 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템의 딥러닝 돌발 영상 추론부의 세부적인 구성을 개념적으로 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템의 딥러닝 돌발 영상 추론부의 세부적인 기능수행절차를 개념적으로 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 영상 데이터 수집부가 수집한 터널 내 영상을 나타내는 사진.
도 5는 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 딥러닝 돌발 영상 추론부에 의해 판정된 영상을 나타내는 사진.
도 6은 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 변환된 영상 데이터 출력부에 의해 출력된 조감도 타입의 파노라마 영상을 나타내는 사진.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an overall configuration of a system for displaying a temporal event in a tunnel on a panoramic image according to an embodiment of the present invention; FIG.
BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to a system and method for displaying a high-resolution event in a tunnel on a panoramic image according to an embodiment of the present invention.
FIG. 3 is an exemplary view conceptually illustrating a detailed function execution procedure of a sudden sudden sudden image deduction unit of a system for displaying a temporal event in a tunnel on a panoramic image according to an exemplary embodiment of the present invention. FIG.
FIG. 4 is a photograph illustrating a tunnel image captured by a video data collector in a system for displaying a temporal event in a tunnel on a panoramic image according to an embodiment of the present invention. FIG.
FIG. 5 is a photograph showing a video image determined by a sudden sudden sudden depression of a tunnel in a system for displaying a temporal event in a tunnel according to an embodiment of the present invention. FIG.
6 is a photograph showing a panoramic image of a bird's-eye view type output by a transformed image data output unit in a system for displaying a temporal event in a tunnel according to an embodiment of the present invention on a panoramic image.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불명료하게 한다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템의 전체 구성을 나타내는 블록도이다.FIG. 1 is a block diagram showing an overall configuration of a system for displaying a temporal event in a tunnel on a panoramic image according to an embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템은, 영상 데이터 수집부(100)와, 파노라마 영상 변환부(200)와, 영상 관제부(300)를 포함한다.1, a system for displaying a temporal event in a tunnel according to the present invention on a panoramic image includes a video
영상 데이터 수집부(100)는 복수개로 이루어지며, 터널 내의 영상들을 각각 수집한다. 이러한 영상 데이터 수집부(100)는 예를 들면, CCTV 등일 수 있다.The image
파노라마 영상 변환부(200)는 영상 데이터 수집부(100)에 의해 수집된 영상 데이터를 파노라마 영상 데이터로 변환시켜서 생성 및 표시한다.The panoramic
이러한 파노라마 영상 변환부(200)가 수집된 영상 데이터를 파노라마 영상 데이터로 변환시키는 기술과 관련해서는 후술하도록 한다.The technique for converting the collected image data into panoramic image data will be described later.
영상 관제부(300)는 파노라마 영상 변환부(200)에 의해 변환된 상기 파노라마 영상 데이터로 터널 내의 유고 상황을 관제한다. 이러한 영상 관제부(300)는 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 반영된 터널 내 영상의 품질을 개선하는 별도의 무리한 노력 없이도, 후술하는 딥러닝 알고리즘을 기반으로 생성된 고신뢰성(즉, 오감지율이 극히 낮은)의 터널 내 보정 영상을 토대로 하여, 일련의 터널 내 이동체 돌발상황에 대한 관제를 좀더 효과적으로 진행할 수 있게 된다.The
또한, 상술한 파노라마 영상 변환부(200)는 영상 데이터 입력부(210)와, 영상 데이터 분석부(220)와, 딥러닝 돌발 영상 추론부(230)와, 영상 데이터 출력부(240)를 포함한다.The panorama
영상 데이터 입력부(210)는 영상 데이터 수집부(100)로부터 수집된 영상 데이터를 입력받는다.The image
영상 데이터 분석부(220)는 영상 데이터 입력부(210)에 입력된 영상 데이터 중 관심 영역에 대한 영상을 딥러닝 알고리즘으로 분석하여 변환된 딥러닝 영상 데이터를 생성한다.The
딥러닝 돌발 영상 추론부(230)는 영상 데이터 분석부(220)에 의해 생성된 딥러닝 영상 데이터를 분석 및 추론하여 판정한다.The deep-running unexpected
변환된 영상 데이터 출력부(240)는 딥러닝 돌발 영상 추론부(230)에 의해 판정된 딥러닝 영상 데이터의 다중 영상을 조합하여 파노라마 영상 데이터로 출력한다.The converted image
한편, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템은, 영상 데이터 분석부(220)에 의해 생성된 복수의 딥러닝 학습 영상 데이터를 반복학습하는 딥러닝 학습부(250)를 더 포함한다.Meanwhile, a system for displaying a temporal event in a tunnel according to the present invention on a panoramic image includes a deep
이러한 딥러닝 학습부(250)는 반복학습된 복수의 딥러닝 학습 영상 데이터를 생성하여 빅데이터로 저장하고, 딥러닝 돌발 영상 추론부(230)가 딥러닝 영상 데이터를 오차없이 분석 및 추론하도록 딥러닝 학습 영상 데이터를 제공한다.
The deep
다음, 도 2는 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템의 딥러닝 돌발 영상 추론부의 세부적인 구성을 개념적으로 도시한 예시도이고, 도 3은 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템의 딥러닝 돌발 영상 추론부의 세부적인 기능수행절차를 개념적으로 도시한 예시도이다.FIG. 2 is a conceptual diagram illustrating a detailed configuration of a sudden sudden sudden depression of a system for displaying a temporal event in a tunnel according to an exemplary embodiment of the present invention. FIG. FIG. 8 is a diagram conceptually illustrating a detailed function execution procedure of a sudden sudden sudden depression of a system for displaying a temporal event in a tunnel according to an exemplary embodiment of the present invention; FIG.
도 2에 도시된 바와 같이, 딥러닝 돌발 영상 추론부(230)는 인터페이스 모듈(231), 유/무선 온라인망(도시 생략) 등을 매개로 하여, 영상 데이터 수집부(100)(예컨대, CCTV 등), 영상 관제부(300) 등과 통신 관계를 형성하는 운영정보 저장모듈(232), 터널 영상 빅 데이터 구성모듈(233), 이동체 위치/크기/유형 학습모듈(234), 이동체 돌발상황 처리모듈(235), 이동체 위치/크기/유형 학습확장 지원모듈(236) 등이 긴밀하게 조합된 구성을 취하게 된다.2, the deep running unintentional
이 경우, 운영정보 저장모듈(232) 측에서는 터널 내 유고 상황 관리절차에 필요한 각종 운영정보, 예를 들어, 영상 데이터 수집부(100)의 등록정보, 영상 관제부(300)의 등록정보, 각 전산모듈들의 프로세스 진행에 필요한 프로그램 소스정보, 각 전산모듈들의 통신연결에 필요한 세션정보, 각 전산모듈측 정보저장공간의 어드레스 정보 등을 자신의 정보저장공간 내에 안정적으로 저장/관리함으로써, 터널 내 유고 상황 관리절차가 별다른 문제점 없이 정상적으로 진행될 수 있도록 보조하는 역할을 수행하게 된다.In this case, the operation
이러한 기반 인프라가 갖추어진 상황 하에서, 터널 영상 빅 데이터 구성모듈(233) 측에서는 인터페이스 모듈(231), 유/무선 온라인망(도시 생략) 등을 매개로 영상 데이터 수집부(100)(예컨대, CCTV 등), 영상 관제부(300) 등과 통신을 취하여, 터널 내 소스 영상(201)을 취득하는 절차를 진행하게 된다.The tunnel image big
이렇게 하여, 터널 내 소스 영상(201)이 취득/완료되면, 터널 영상 빅 데이터 구성모듈(233) 측에서는 일련의 정보추출루틴을 진행시켜, 취득/완료된 터널 내 소스 영상(201)으로부터 관심영역(Region of interest)의 영상영역(202)을 정지영상(203)(예컨대, 초당 30 프레임)의 형태로 추출하는 절차를 진행하게 된다.When the source image 201 in the tunnel is acquired / completed, the tunnel image big
상술한 절차를 통해, 터널 내 소스 영상(201)으로부터 관심영역(Region of interest)의 영상영역(202)이 정지영상(203)(예컨대, 초당 30 프레임)의 형태로 추출/완료되면, 터널 영상 빅 데이터 구성모듈(233) 측에서는 정지영상(203)을 대상으로 일련의 정보 추출/생성 루틴을 진행시켜, 정지영상(203) 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보 등을 좌표형태로 추출하는 절차를 진행함과 아울러, 정지영상(203) 내에 포함되어 있는 이동체들의 유형정보(예컨대, 일반이동차량, 사람, 화재발생, 작업차량, 낙하물 등)를 코드화 하는 절차를 진행하게 된다.When the
이렇게 하여, 정지영상(203) 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보(예컨대, 일반이동차량, 사람, 화재 발생, 작업차량, 낙하물 등) 등이 추출/코드화 완료되면, 터널 영상 빅 데이터 구성모듈(233) 측에서는 이들을 대상으로 일련의 정보생성루틴을 진행하고, 이를 통해, 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 군이 각기 쌍을 이루어 구조화된 방대한 양의 터널 영상 빅 데이터(BDT)를 구성하는 절차를 진행하게 된다.Thus, the location information of the moving objects included in the
한편, 상술한 절차를 통해, 터널 내 소스 영상(201) 측 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 군이 각기 쌍을 이루어 구조화된 방대한 양의 터널 영상 빅 데이터(BDT)가 구성 완료되면, 이동체 위치/크기/유형 학습모듈(234) 측에서는 터널 영상 빅 데이터 구성모듈(233)과 통신을 취하면서, 일련의 영상 딥러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 터널 내 소스 영상(201) 측 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 등을 학습하는 절차를 진행하게 된다.The location information of each moving object in the
이러한 학습절차 하에서, 이동체 위치/크기/유형 학습모듈(234) 측에서는 입력정보(예컨대, 터널 내 소스 영상(201) 측 관심영역(202)에 상응하는 정지영상(203) 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보 등)를 인공신경망 내에 배정되어 있는 가중치(예컨대, 이동체 위치 가중치, 이동체 크기 가중치, 이동체 유형 가중치 등)와 반복적으로 연산하고, 이를 통해, <계산되는 이동체 위치/크기/유형 정보>와 <실제 영상 내에 존재하는 이동체 위치/크기/유형 정보>와의 오차가 최소화된 <최적 가중치(예컨대, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치 등)의 조합>을 도출해낸 후, 도출 완료된 <최적 가중치(예컨대, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치 등)의 조합>이 반영된 <이동체 위치/크기/유형 학습데이터>를 산출하는 과정을 진행하게 된다.The location information of each moving object in the
이때, 터널 내 소스 영상(201)에는 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 고스란히 반영되어 있는데, 이 경우에도, 이동체 위치/크기/유형 학습모듈(234) 측에서는 별도의 필터링 절차 없이, 터널 내 소스 영상(201)을 자신의 학습절차에 그대로 반영하게 된다.At this time, a poor environment (e.g., dust, low illuminance, low resolution, etc.) inside the tunnel is intentionally reflected in the source image 201 in the tunnel. In this case, the moving object position / size /
한편, 상술한 절차를 통해, <최적 가중치(예컨대, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치 등)의 조합>이 반영된 <이동체 위치/크기/유형 학습데이터>가 산출되는 국면에서, 이동체 돌발상황 처리 모듈(235) 측에서는 인터페이스 모듈(231), 유/무선 온라인망(도시 생략) 등을 매개로 하여, 영상 관제부(300), 영상 데이터 수집부(100) 등과 통신을 취하면서, 이 영상 관제부(300), 영상 데이터 수집부(100) 등으로부터 <현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상>을 획득하는 절차를 진행하게 된다.On the other hand, through the above-described procedure, when the <moving body position / size / type learning data> reflecting the combination of the optimum weight (for example, the combination of the optimum moving object position weight, the optimal moving object size weight, and the optimal moving object type weight) The moving object unexpected
이렇게 하여, 영상 관제부(300), 영상 데이터 수집부(100) 등으로부터 <현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상>이 획득 완료되면, 이동체 돌발상황 처리모듈(235) 측에서는 획득 완료된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출한 후, 이 관심영역영상을 이동체 위치/크기/유형 학습모듈(234)에 의해 산출된 <이동체 위치/크기/유형 학습데이터>와 입력/비교하고, 이를 통해, 관심영역영상 내 이동체들을 인식(예컨대, 사각박스형태로 이동체들의 위치와 규모를 인식)한 다음, 인식된 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)을 추론하는 절차를 진행하게 된다.In this way, when the source image in the tunnel in which the current situation of the current tunnel is reflected is obtained from the
상술한 절차를 통해, 관심영역영상 내 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)이 추론 완료되면, 이동체 돌발상황 처리모듈(235) 측에서는 추론 완료된 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)을 토대로 일련의 영상변환루틴을 진행시켜, 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)이 반영된 터널 내 보정 영상을 생성하는 절차를 진행하게 된다.If the type of the moving objects in the ROI image (e.g., vehicle, person, drop, obstacle, etc.) and type (for example, fixed running, stopped state, reverse run, fire, etc.) are inferred through the above procedure, The
이렇게 하여, 이동체들의 종류(예컨대, 차량, 사람, 낙하물, 지장물 등) 및 유형(예컨대, 정주행, 정지상태, 역주행, 화재 등)이 반영된 터널 내 보정 영상이 생성 완료되면, 이동체 돌발상황 처리모듈(235) 측에서는 인터페이스 모듈(231), 유/무선 온라인망(도시 생략) 등을 매개로 하여, 영상 데이터 수집부(100)와 통신을 취하여, 영상 관제부(300)로 전송함으로써, 터널 관제 주체 측에서, 저 품질의 터널 내 소스 영상이 아인, 고 품질의 터널 내 보정 영상을 살펴보면서, 좀더 효과적인 터널 관제 절차를 진행할 수 있도록 지원하게 된다.In this way, when a corrected image in a tunnel reflecting the type of moving objects (e.g., a vehicle, a person, a falling object, a obstacle, etc.) and type (for example, a fixed running, a stopped state, The
이와 아울러, 이동체 돌발상황 처리모듈(235) 측에서는 터널 내 보정 영상을 판독하여, 터널 내 이동체에 일련의 돌발상황이 발생하였는지를 체크하고, 만약, 터널 내 이동체에 일련의 돌발상황이 발생한 것으로 판단되는 경우, 그 즉시, 정보생성루틴을 진행시켜, 돌발상황에 상응하는 경보메시지를 생성한 후, 생성 완료된 경보메시지를 영상 관제부(300)로 전송함으로써, 터널 관제 주체 측에서, 터널 내 돌발상황을 빠르게 인지하고, 이에 신속하게 대처할 수 있도록 지원하게 된다.In addition, the moving object unexpected
이와 같이, 본 발명에서는 <영상 관제부(300), 영상 데이터 수집부(100) 등과 통신하여, 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 관심영역의 영상영역에 상응하는 정지영상을 추출하고, 추출된 정지영상 내에 포함되어 있는 이동체들의 위치정보, 이동체들의 크기정보, 이동체들의 유형정보가 쌍을 이루어 구조화되어 있는 터널 영상 빅 데이터를 구성할 수 있는 전산모듈>, <구성 완료된 터널 영상 빅 데이터를 토대로 영상 딥러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 진행시켜, 정지영상 내의 각 이동체들의 위치정보, 각 이동체들의 크기정보, 각 이동체들의 유형정보를 학습하고, 최적 이동체 위치 가중치, 최적 이동체 크기 가중치, 최적 이동체 유형 가중치의 조합이 반영된 이동체 위치/크기/유형 학습데이터를 산출할 수 있는 전산 모듈>, <영상 관제부(300), 영상 데이터 수집부(100)와 통신하여, 현재 터널 내 상황이 실시간으로 반영된 터널 내 소스 영상을 획득한 후, 획득된 터널 내 소스 영상으로부터 기 설정된 관심영역영상을 추출하고, 추출된 관심영역영상을 상기 이동체 위치/크기/유형 학습데이터와 비교하여, 관심영역영상 내 이동체들의 위치 및 규모를 인식함과 아울러, 해당 이동체들의 종류 및 유형을 추론하고, 추론된 내역이 반영된 터널 내 보정 영상을 생성한 후, 생성된 터널 내 보정 영상을 영상 관제부(300) 측으로 전송함과 아울러, 상기 터널 내 보정 영상을 체크하여, 터널 내 이동체에 돌발상황이 발생하였는지를 판단하고, 터널 내 이동체에 돌발상황이 발생한 것으로 판단되는 경우, 해당 돌발상황에 상응하는 경보메시지를 영상 관제부(300) 측으로 전송할 수 있는 전산모듈> 등을 체계적으로 배치/제공하기 때문에, 본 발명의 구현환경 하에서, 터널 관제 주체 측에서는, 터널 내부의 열악한 환경(예컨대, 먼지, 낮은 조도, 낮은 해상도 등)이 반영된 터널 내 소스 영상의 품질을 개선하는 별도의 무리한 노력 없이도, 단지, 영상 딥러닝 알고리즘(Faster regional Convolution neutral network algorithm)을 기반으로 생성된 고신뢰성(즉, 오감지율이 극히 낮은)의 터널 내 보정 영상을 토대로 하여, 일련의 터널 내 이동체 돌발상황 대처절차를 좀더 효과적으로 진행할 수 있게 된다.As described above, in the present invention, after the source image in the tunnel is acquired by communicating with the video control unit 300, the image data collecting unit 100, and the like, a stop corresponding to the image region of the ROI A computer module capable of extracting an image and configuring a tunnel image big data structured by pairing the location information of the moving objects included in the extracted still image, the size information of the moving objects, and the type information of the moving objects, Based on the tunnel image big data, the Faster regional convergence neutral network algorithm is performed to learn position information of each moving object in the still image, size information of each moving object, type information of each moving object, Size / type learning data that reflects the combination of the optimal moving object size weight, the optimal moving object size weight, and the optimal moving object type weight The source image in the tunnel in which the current situation of the tunnel is reflected in real time is obtained by communicating with the computable module, the video control unit 300 and the image data collecting unit 100, And recognizes the position and size of the moving objects in the ROI by comparing the extracted ROI image with the moving object position / size / type learning data, The corrected image in the tunnel is reflected to the video controller 300 and the corrected image in the tunnel is checked to check whether the corrected image in the tunnel is reflected in the moving object in the tunnel, If it is determined that an unexpected situation has occurred in the moving object in the tunnel, an alarm message corresponding to the unexpected situation is transmitted to the video control unit 300, (Tunneling) of the tunnels in which a poor environment (for example, dust, low illumination, low resolution, etc.) inside the tunnel is reflected on the tunnel control subject side under the implementation environment of the present invention. Without any extra effort to improve the quality of the source image, it is only possible to use a highly reliable (ie, low threshold sensitivity) tunnel image based on the Faster regional convergence neutral network algorithm So that it is possible to more effectively carry out a procedure for coping with an unexpected situation of a moving object in a series of tunnels.
한편, 앞의 각 전산모듈들과 연계 동작하는 이동체 위치/크기/유형 학습확장 지원모듈(236) 측에서는 이동체 돌발상황 처리 모듈(235)의 기능수행에 의해 터널 내 보정 영상이 생성되는 국면에서, 이동체 돌발상황 처리모듈(235)과 통신을 취하여, 이에 의해 생성된 터널 내 보정 영상을 획득하는 절차를 진행하게 된다.On the other hand, on the side of the moving object location / size / type learning
이렇게 하여, 터널 내 보정 영상이 획득 완료되면, 이동체 위치/크기/유형 학습확장 지원모듈(236) 측에서는 일련의 정보생성루틴을 진행시켜, 터널 내 보정 영상을 가공하는 절차(예컨대, 정지영상을 추출하는 절차, 이동체들의 위치정보/이동체들의 크기정보/이동체들의 유형정보 등을 구조화하는 절차 등)를 진행시켜, 터널 내 보정 영상을 상기 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형시키는 절차를 진행하게 된다.In this way, when the corrected image in the tunnel is acquired, the moving object location / size / type learning
상술한 절차를 통해, 터널 내 보정 영상이 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형 완료되면, 이동체 위치/크기/유형 학습확장 지원모듈(236) 측에서는 이동체 위치/크기/유형 학습모듈(234)과 통신을 취하면서, 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형 완료된 터널 내 보정 영상을 이동체 위치/크기/유형 학습모듈(234) 측으로 전송/입력하는 절차를 진행하게 된다.If the corrected image in the tunnel is transformed into the same format as the tunnel image big data BDT through the above procedure, the moving object location / size / type learning
물론, 상술한 절차를 통해, 터널 영상 빅 데이터(BDT)와 동일한 포맷으로 변형 완료된 터널 내 보정 영상이 입력/제공되는 상황 하에서, 이동체 위치/크기/유형 학습모듈(234) 측에서는 상기 터널 내 보정 영상을 새로운 학습자료로 활용하면서, 확장된 형태의 심화학습절차를 반복적으로 진행할 수 있게 된다.Of course, under the situation that the corrected intra-tunnel image is inputted / provided in the same format as the tunnel image big data (BDT), the moving object position / size /
한편, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 영상 데이터 분석부(220)는 상기 관심 영역의 영상 프레임을 정형화하여 동일 크기로 펼치고 왜곡 보정을 수행한다.In the system for displaying the temporal event in the tunnel according to the present invention on the panoramic image, the
또한, 변환된 영상 데이터 출력부(240)는 딥러닝 영상 데이터의 다중 영상을 조합시, 다중 영상의 프레임이 정형화된 이미지에서 선명하지 않은 영역을 선명한 영역으로 블렌딩하여 대체하며, 다중 영상끼리 겹치는 영역을 비교 분석하여 정형화된 이미지를 연결하여 파노라마 영상으로 조합하게 된다.
In addition, when the multiple images of the deep-running image data are combined, the converted image
이와 같이, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법으로는, 영상 데이터 수집부(100)로부터 수집된 영상 데이터를 영상 데이터 입력부(210)에 의해 입력받는 제 1 단계(S100)와, 영상 데이터 입력부(210)에 입력된 영상 데이터 중 관심 영역에 대한 영상을, 영상 데이터 분석부(220)가 딥러닝 알고리즘으로 분석하여 변환된 딥러닝 영상 데이터를 생성하는 제 2 단계(S200)와, 영상 데이터 분석부(220)에 의해 생성된 딥러닝 영상 데이터를 딥러닝 돌발 영상 추론부(230)가 분석 및 추론하여 판정하는 제 3 단계(S300)와, 딥러닝 돌발 영상 추론부(230)에 의해 판정된 딥러닝 영상 데이터의 다중 영상을 변환된 영상 데이터 출력부(240)가 조합하여 파노라마 영상 데이터로 출력하는 제 4 단계(S400)를 포함한다.As described above, the method of displaying the temporal event in the tunnel according to the present invention on the panoramic image includes a first step (S100) of receiving the image data collected from the image
여기서도, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법은, 영상 데이터 분석부(220)에 의해 생성된 복수의 딥러닝 학습 영상 데이터를 반복학습하는 딥러닝 학습부(250)를 더 포함하며, 딥러닝 학습부(250)는 반복학습된 복수의 딥러닝 학습 영상 데이터를 생성하여 빅데이터로 저장하고, 딥러닝 돌발 영상 추론부(230)가 딥러닝 영상 데이터를 오차없이 분석 및 추론하도록 딥러닝 학습 영상 데이터를 제공한다.Hereinafter, a method for displaying a temporal event in a tunnel according to the present invention on a panoramic image includes a deep
또한, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법에서, 영상 데이터 분석부(220)는 관심 영역의 영상 프레임을 정형화하여 동일 크기로 펼치고 왜곡 보정을 수행한다.In the method of displaying a temporal event in a tunnel according to the present invention on a panoramic image, the image
한편, 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법에서, 변환된 영상 데이터 출력부(240)는 딥러닝 영상 데이터의 다중 영상을 조합시, 다중 영상의 프레임이 정형화된 이미지에서 선명하지 않은 영역을 선명한 영역으로 블렌딩하여 대체하며, 다중 영상끼리 겹치는 영역을 비교 분석하여 정형화된 이미지를 연결하여 파노라마 영상으로 조합하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시한다.
On the other hand, in the method of displaying the temporal event in the tunnel on the panoramic image, the converted image
도 4는 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 영상 데이터 수집부가 수집한 터널 내 영상을 나타내는 사진이고, 도 5는 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 딥러닝 돌발 영상 추론부에 의해 판정된 영상을 나타내는 사진이다.FIG. 4 is a photograph illustrating a tunnel image captured by the image data collector in a system for displaying a temporal event in a tunnel according to an exemplary embodiment of the present invention. FIG. In the system for displaying the temporal situation event in the tunnel on the panoramic image, this is a picture showing the image determined by the sudden sudden sudden imaging inference unit.
도 4를 참조하면, 본 발명에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서 영상 데이터 수집부(100)에 수집된 터널 내 영상을 사진으로 확인할 수 있다. 이와 같이 수집된 터널 내 영상 중 관심 영역에 대한 영상은 파노라마 영상 변환부(200)의 영상 데이터 분석부(220)에 의해 딥러닝 알고리즘으로 분석되고, 딥러닝 돌발 영상 추론부(230)에 의해 분석 및 추론되어 도 5에 도시된 바와 같은 사진으로 판정된다.
Referring to FIG. 4, in a system for displaying a temporal event in a tunnel according to the present invention in a panoramic image, the in-tunnel image collected by the image
도 6은 본 발명의 일 실시예에 따른 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템에서, 변환된 영상 데이터 출력부에 의해 출력된 조감도 타입의 파노라마 영상을 나타내는 사진이다.FIG. 6 is a photograph showing a bird's-eye view panorama image output by the converted image data output unit in a system for displaying a temporal event in a tunnel on a panoramic image according to an embodiment of the present invention.
도 6를 참조하면, 상기 딥러닝 돌발 영상 추론부(230)에 의해 판정된 딥러닝 영상 데이터의 다중 영상은 변환된 영상 데이터 출력부(240)에 의해 조합되어 파노라마 영상 데이터로 출력됨을 확인할 수 있다.
Referring to FIG. 6, it can be confirmed that the multiple images of the deep-running image data determined by the deep-running unexpected
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
10 : 유/무선 온라인망
100 : 영상 데이터 수집부
200 : 파노라마 영상 변환부
201: 터널 내 소스 영상
202: 관심영역의 영상영역
203: 정지영상
210 : 영상 데이터 입력부
220 : 영상 데이터 분석부
230 : 딥러닝 돌발 영상 추론부
231: 인터페이스 모듈
232: 운영정보 저장모듈
233: 터널 영상 빅 데이터 구성모듈
234: 이동체 위치/크기/유형 학습모듈
235: 이동체 돌발상황 처리모듈
236: 이동체 위치/크기/유형 학습확장 지원모듈
240 : 변환된 영상 데이터 출력부
250 : 딥러닝 학습부
300 : 영상 관제부10: wired / wireless online network
100: image data collection unit
200: panoramic image conversion unit
201: source video in tunnel
202: image area of interest area
203: still image
210: video data input unit
220: image data analysis unit
230: Deep Learning Emergency Image Reasoning
231: Interface module
232: Operational information storage module
233: Tunnel image big data configuration module
234: Moving object position / size / type learning module
235: Moving object breakdown processing module
236: Mobile location / size / type learning extension support module
240: The converted video data output section
250: Deep Learning Learning Section
300: Video control unit
Claims (9)
상기 영상 데이터 수집부(100)에 의해 수집된 영상 데이터를 파노라마 영상 데이터로 변환시켜서 생성 및 표시하는 파노라마 영상 변환부(200)와,
상기 파노라마 영상 변환부(200)에 의해 변환된 상기 파노라마 영상 데이터로 터널 내의 유고 상황을 관제하는 영상 관제부(300)를 포함하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템.A plurality of image data collection units 100 for collecting images in the tunnel,
A panorama image converting unit 200 for converting the image data collected by the image data collecting unit 100 into panorama image data to generate and display the panorama image data,
Wherein the panorama image conversion unit (200) displays the panorama image in the tunnel including the video control unit (300) for controlling the panorama image data in the tunnel with the panorama image data converted by the panorama image conversion unit (200).
상기 파노라마 영상 변환부(200)는,
상기 영상 데이터 수집부(100)로부터 수집된 영상 데이터를 입력받는 영상 데이터 입력부(210)와,
상기 영상 데이터 입력부(210)에 입력된 영상 데이터 중 관심 영역에 대한 영상을 딥러닝 알고리즘(Deep Learning Algorithms)으로 분석하여 변환된 딥러닝 영상 데이터를 생성하는 영상 데이터 분석부(220)와,
상기 영상 데이터 분석부(220)에 의해 생성된 딥러닝 영상 데이터를 분석 및 추론하여 판정하는 딥러닝 돌발 영상 추론부(230)와,
상기 딥러닝 돌발 영상 추론부(230)에 의해 판정된 딥러닝 영상 데이터의 다중 영상을 조합하여 파노라마 영상 데이터로 출력하는 변환된 영상 데이터 출력부(240)를 포함하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템.The method according to claim 1,
The panorama image converting unit 200 converts the panorama image,
A video data input unit 210 receiving video data collected from the video data collecting unit 100,
An image data analyzing unit 220 for analyzing an image of a region of interest input from the image data input unit 210 by using a Deep Learning Algorithm to generate converted deep-running image data,
A deep running unexpected image inferring unit 230 for analyzing and inferring the deep running image data generated by the image data analyzing unit 220,
And a transformed image data output unit 240 that combines the multiple images of the deep running image data determined by the deep running image rejection unit 230 and outputs the combined image data as panorama image data is referred to as a panorama image .
상기 영상 데이터 분석부(220)에 의해 생성된 복수의 딥러닝 학습 영상 데이터를 반복학습하는 딥러닝 학습부(250)를 더 포함하되,
상기 딥러닝 학습부(250)는 반복학습된 복수의 딥러닝 학습 영상 데이터를 생성하여 빅데이터로 저장하고, 상기 딥러닝 돌발 영상 추론부(230)가 상기 딥러닝 영상 데이터를 오차없이 분석 및 추론하도록 딥러닝 학습 영상 데이터를 제공하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템.3. The method of claim 2,
And a deep learning learning unit (250) for repeatedly learning a plurality of deep learning learning image data generated by the image data analysis unit (220)
The deep learning learning unit 250 generates a plurality of deep learning learning image data that have been repeatedly learned and stores the deep learning learning image data as big data. The deep learning learning image generating unit 250 stores the deep learning learning image data, And the deep-learning learning image data is displayed on the panoramic image.
상기 영상 데이터 분석부(220)는 상기 관심 영역의 영상 프레임을 정형화하여 동일 크기로 펼치고 왜곡 보정을 수행하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템.3. The method of claim 2,
Wherein the image data analyzing unit 220 displays a temporal temporal event in a tunnel in which the image frame of the region of interest is shaped and spreads to the same size and performs distortion correction on the panoramic image.
상기 변환된 영상 데이터 출력부(240)는 딥러닝 영상 데이터의 다중 영상을 조합시, 상기 다중 영상의 프레임이 정형화된 이미지에서 선명하지 않은 영역을 선명한 영역으로 블렌딩하여 대체하며,
상기 다중 영상끼리 겹치는 영역을 비교 분석하여 정형화된 이미지를 연결하여 파노라마 영상으로 조합하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템.3. The method of claim 2,
The converted image data output unit 240 blends the unclear region in the image of the frame of the multiple images into a clear region and replaces it when the multiple images of the deep running image data are combined,
A system for displaying a high-definition event in a tunnel in which panorama images are combined by connecting and comparing formatted images by comparing and analyzing overlapping areas of the multiple images.
상기 영상 데이터 입력부(210)에 입력된 영상 데이터 중 관심 영역에 대한 영상을, 영상 데이터 분석부(220)가 딥러닝 알고리즘으로 분석하여 변환된 딥러닝 영상 데이터를 생성하는 제 2 단계(S200)와,
상기 영상 데이터 분석부(220)에 의해 생성된 딥러닝 영상 데이터를 딥러닝 돌발 영상 추론부(230)가 분석 및 추론하여 판정하는 제 3 단계(S300)와,
상기 딥러닝 돌발 영상 추론부(230)에 의해 판정된 딥러닝 영상 데이터의 다중 영상을 변환된 영상 데이터 출력부(240)가 조합하여 파노라마 영상 데이터로 출력하는 제 4 단계(S400)를 포함하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법.A first step S100 of receiving the image data collected from the image data collecting unit 100 by the image data inputting unit 210,
A second step S200 of analyzing the image of the region of interest inputted to the image data input unit 210 by the image data analysis unit 220 using the deep learning algorithm and generating the converted deep-running image data, ,
A third step (S300) in which the deep learning image data inferring unit 230 analyzes and infer the deep learning image data generated by the image data analyzing unit 220,
And a fourth step (S400) of combining the multiple images of the deep-running image data determined by the deep-running unexpected image inference unit 230 with the converted image data output unit 240 and outputting the combined images as panorama image data How to display my resignation event on a panoramic image.
상기 영상 데이터 분석부(220)에 의해 생성된 복수의 딥러닝 학습 영상 데이터를 반복학습하는 딥러닝 학습부(250)를 더 포함하되,
상기 딥러닝 학습부(250)는 반복학습된 복수의 딥러닝 학습 영상 데이터를 생성하여 빅데이터로 저장하고, 상기 딥러닝 돌발 영상 추론부(230)가 상기 딥러닝 영상 데이터를 오차없이 분석 및 추론하도록 딥러닝 학습 영상 데이터를 제공하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법.The method according to claim 6,
And a deep learning learning unit (250) for repeatedly learning a plurality of deep learning learning image data generated by the image data analysis unit (220)
The deep learning learning unit 250 generates a plurality of deep learning learning image data that have been repeatedly learned and stores the deep learning learning image data as big data. The deep learning learning image generating unit 250 stores the deep learning learning image data, And displaying the temporal event in the tunnel providing deep learning learning image data on the panoramic image.
상기 영상 데이터 분석부(220)는 상기 관심 영역의 영상 프레임을 정형화하여 동일 크기로 펼치고 왜곡 보정을 수행하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법.The method according to claim 6,
Wherein the image data analyzer (220) displays a temporal temporal event in a tunnel that shapes image frames of the region of interest, spreads them to the same size, and performs distortion correction on the panoramic image.
상기 변환된 영상 데이터 출력부(240)는 딥러닝 영상 데이터의 다중 영상을 조합시, 상기 다중 영상의 프레임이 정형화된 이미지에서 선명하지 않은 영역을 선명한 영역으로 블렌딩하여 대체하며,
상기 다중 영상끼리 겹치는 영역을 비교 분석하여 정형화된 이미지를 연결하여 파노라마 영상으로 조합하는 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 방법.
The method according to claim 6,
The converted image data output unit 240 blends the unclear region in the image of the frame of the multiple images into a clear region and replaces it when the multiple images of the deep running image data are combined,
And comparing the overlapping areas of the multiple images with each other to combine the formatted images into a panorama image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170182399A KR102011119B1 (en) | 2017-12-28 | 2017-12-28 | A system for displaying accident situation event in tunnel to panorama image and a method of displaying the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170182399A KR102011119B1 (en) | 2017-12-28 | 2017-12-28 | A system for displaying accident situation event in tunnel to panorama image and a method of displaying the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190080142A true KR20190080142A (en) | 2019-07-08 |
KR102011119B1 KR102011119B1 (en) | 2019-10-21 |
Family
ID=67256250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170182399A KR102011119B1 (en) | 2017-12-28 | 2017-12-28 | A system for displaying accident situation event in tunnel to panorama image and a method of displaying the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102011119B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102299778B1 (en) * | 2020-05-18 | 2021-09-07 | 김응욱 | Monitoring system for providing continuously moving picture |
CN114834501A (en) * | 2022-04-11 | 2022-08-02 | 胡文宇 | Rail transit tunnel safety prompt information system and manual blocking driving method |
KR102515050B1 (en) * | 2022-12-29 | 2023-03-30 | 주식회사 이스온 | Apparatus for Correction of Tunnel Monitoring Images and Driving Method Thereof |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000099852A (en) * | 1998-09-21 | 2000-04-07 | Oki Electric Ind Co Ltd | Monitoring system |
JP2001325695A (en) * | 2000-05-17 | 2001-11-22 | Mitsubishi Electric Corp | Traffic flow monitoring device |
KR20130070329A (en) * | 2011-12-19 | 2013-06-27 | 한국건설기술연구원 | Apparatus for combing image in surveillance camera system and method thereof |
WO2017047687A1 (en) * | 2015-09-17 | 2017-03-23 | 株式会社日立国際電気 | Monitoring system |
KR101748121B1 (en) * | 2016-08-25 | 2017-06-16 | 델리아이 주식회사 | System and method for detecting image in real-time based on object recognition |
-
2017
- 2017-12-28 KR KR1020170182399A patent/KR102011119B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000099852A (en) * | 1998-09-21 | 2000-04-07 | Oki Electric Ind Co Ltd | Monitoring system |
JP2001325695A (en) * | 2000-05-17 | 2001-11-22 | Mitsubishi Electric Corp | Traffic flow monitoring device |
KR20130070329A (en) * | 2011-12-19 | 2013-06-27 | 한국건설기술연구원 | Apparatus for combing image in surveillance camera system and method thereof |
WO2017047687A1 (en) * | 2015-09-17 | 2017-03-23 | 株式会社日立国際電気 | Monitoring system |
KR101748121B1 (en) * | 2016-08-25 | 2017-06-16 | 델리아이 주식회사 | System and method for detecting image in real-time based on object recognition |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102299778B1 (en) * | 2020-05-18 | 2021-09-07 | 김응욱 | Monitoring system for providing continuously moving picture |
CN114834501A (en) * | 2022-04-11 | 2022-08-02 | 胡文宇 | Rail transit tunnel safety prompt information system and manual blocking driving method |
KR102515050B1 (en) * | 2022-12-29 | 2023-03-30 | 주식회사 이스온 | Apparatus for Correction of Tunnel Monitoring Images and Driving Method Thereof |
Also Published As
Publication number | Publication date |
---|---|
KR102011119B1 (en) | 2019-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101942491B1 (en) | Hybrid ai cctv mediation module device consisting of road traffic situation monitoring and real time traffic information analysis | |
CN111242025B (en) | Real-time action monitoring method based on YOLO | |
KR20190080142A (en) | A system for displaying accident situation event in tunnel to panorama image and a method of displaying the same | |
KR102558704B1 (en) | Object detection method and apparatus, computer system, and readable storage medium | |
KR20140039927A (en) | Method and apparatus for detecting event from multiple image | |
CN102348102A (en) | Roof safety monitoring system and method thereof | |
KR20120071685A (en) | Adaptive accident detecting system and method thereof | |
CN116092198B (en) | Mining safety helmet identification detection method, device, equipment and medium | |
CN115953719A (en) | Multi-target recognition computer image processing system | |
CN110659627A (en) | Intelligent video monitoring method based on video segmentation | |
JPWO2020039897A1 (en) | Station monitoring system and station monitoring method | |
CN112785564B (en) | Pedestrian detection tracking system and method based on mechanical arm | |
JP2012099014A (en) | Passing vehicle monitoring system and passing vehicle monitoring device | |
CN112597853A (en) | Automatic alarm method and system based on Internet of things | |
JPWO2020003764A1 (en) | Image processors, mobile devices, and methods, and programs | |
CN116152945A (en) | Under-mine inspection system and method based on AR technology | |
KR20190049100A (en) | System and Method for Managing Unexpected Situation in Tunnel | |
CN115027904A (en) | Belt tearing detection method based on example segmentation | |
JP4680087B2 (en) | Image transmission device | |
KR20220120211A (en) | Drone image analysis system based on deep learning for traffic measurement | |
JP2001320699A (en) | Intruded object monitoring method and intruded object monitoring system | |
CN112885110A (en) | Bridge floor traffic flow full-view-field sensing system and method depending on adjacent high-rise structure | |
CN106961586B (en) | A kind of Office Area safety monitoring system based on Internet of Things | |
US20220157099A1 (en) | Drive data-recording apparatus, drive assist system, drive data-recording method, and program | |
KR20120014094A (en) | Train automatic control system and method using a rail image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |