KR102438501B1 - 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템 - Google Patents
프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템 Download PDFInfo
- Publication number
- KR102438501B1 KR102438501B1 KR1020220049583A KR20220049583A KR102438501B1 KR 102438501 B1 KR102438501 B1 KR 102438501B1 KR 1020220049583 A KR1020220049583 A KR 1020220049583A KR 20220049583 A KR20220049583 A KR 20220049583A KR 102438501 B1 KR102438501 B1 KR 102438501B1
- Authority
- KR
- South Korea
- Prior art keywords
- control service
- service providing
- definition
- frame
- cctv
- Prior art date
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 title description 3
- 238000007906 compression Methods 0.000 claims abstract description 41
- 230000006835 compression Effects 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 239000000779 smoke Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템이 제공되며, 적어도 하나의 CCTV로부터 고화질 동영상을 실시간으로 스트리밍받아 고화질 동영상 내 객체를 탐지 및 분석한 후 결과를 이벤트로 출력하는 사용자 단말 및 적어도 하나의 CCTV로부터 고화질 동영상을 실시간으로 수신하여 사용자 단말로 스트리밍하는 전송부, 고화질 동영상 내 적어도 하나의 객체를 기 설정된 딥러닝 알고리즘을 이용하여 기 설정된 중요객체, 이동객체 및 고정객체로 구분하는 구분부, 적어도 하나의 객체가 중요객체, 이동객체 및 고정객체로 구분된 경우, 중요객체, 이동객체 및 고정객체에 서로 다른 프레임 수의 압축률을 적용하여 실시간으로 압축하는 압축부를 포함하는 관제 서비스 제공 서버를 포함한다.
Description
본 발명은 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템에 관한 것으로, 영상을 이루는 프레임 내 중요객체, 이동객체 및 고정객체에 서로 다른 프레임 수를 적용하여 효율적으로 압축한 후 전송하는 시스템을 제공한다.
CCTV 데이터는 설치 장소의 영상을 지속적으로 촬영하여 객체 인지, 행동 분석과 같은 비디오 처리 알고리즘을 통한 위험상황 인지, 사고 분석 등 다양한 분석이 가능하다. 최근 설치 대수 및 화질이 증가함에 따라 대규모 스트림 데이터 발생으로 이어지는데, 대규모 스트림 데이터 처리를 위해 아파치 카프카나 스파크 스트리밍과 같은 프레임워크가 제시되었지만, 영상 데이터는 연속된 프레임으로 이루어지는데, 대량의 CCTV에서 끊임없이 발생하기 때문에 일반적인 이미지 압축기법보다 더 효율적인 데이터 압축이 요구된다. CRNN(Convolutional Recurrent Neural Network)을 활용한 객체 탐지와 같이, 이미지의 그레이스케일(GrayScale) 정보만을 사용하여 RGB 데이터를 사용할 때에 비해 낮은 사이즈의 데이터를 사용하지만, 대량의 CCTV 데이터를 처리할 경우, 그레이스케일 정보만을 사용하는 것은 여전히 대용량 스트림 데이터의 효율적인 네트워크 전송에 부적합하다.
이때, CCTV 압축영상의 처리성능을 향상시키기 위해 이동객체만을 추출하는 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2020-0013340호(2020년02월07일 공개) 및 한국공개특허 제2020-0071886호(2020년06월22일 공개)에는, 압축영상 내 모션벡터에 기초하여 영상 내 이동객체를 추출한 후, 이동객체가 존재하는 영역을 영상 분석 시스템과 연동하여 분석처리하는 구성과, 압축영상에서 이동객체를 추출할 때, ROI(Region of Interest)를 지정하여 노이즈를 감소시킨 후, 이동객체를 추출하여 이동객체가 추출된 영역에 대해서만 선별적으로 딥러닝 이미지 분류를 수행하는 구성이 각각 개시되어 있다.
다만, 전자의 경우 CCTV로부터 수신되는 영상을 압축한 후 이동객체를 추출하는 것이므로, 대규모 스트림으로 네트워크 부담은 여전한 구성만을 개시한다. 후자의 경우에도 RoI를 지정한다고 개시했지만 ROI 외의 영역에서 이동객체가 나타나는 경우 이를 추출할 확률이 낮아지게 되므로 CCTV의 본연의 기능을 압축때문에 빼앗기게 된다. CCTV와 같이 동일한 장소에 대해 지속적으로 촬영하는 경우 프레임과 프레임 사이의 데이터의 차이는, 객체의 움직임을 제외하고는 발생하지 않기 때문에, 프레임 간 차이를 전송하는 것만으로도 데이터의 크기는 크게 줄어들지만,대용량 이미지를 전송하기 위해서는 추가적인 압축을 통해 이미지 크기를 더욱 줄일 필요가 있다. 이에, 딥러닝 기반 트래킹 기술을 이용하여 중요객체, 이동객체 및 고정객체를 구분하고, 중요객체, 이동객체 및 고정객체의 압축 프레임 수를 차등화하는 플랫폼의 연구 및 개발의 요구된다.
본 발명의 일 실시예는, 블록체인 기반으로 고화질 동영상을 실시간 압축하여 업로드할 때, 중요객체, 이동객체 및 고정객체의 순으로 프레임 수를 감소시킴으로써, 중요한 객체나 이동하는 객체에 대해서는 프레임 수를 최대로 유지하고, 중요하지 않은 객체에 대해서는 프레임 수를 최소로 조절하는 방식으로 최적화하며, 프레임 내 객체를 추적할 때에는 딥러닝 기반 YOLO를 이용하여 바운딩 박스(Bounding Box)처리를 할 때 NMS(Non-Maximum Suppression)까지 바운딩 박스처리를 함으로써, 기 설정된 중요객체 및 이동객체를 구분하도록 하는, 블록체인 기반 영상압축기술을 이용한 고화질 실시간 관제 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 적어도 하나의 CCTV로부터 고화질 동영상을 실시간으로 스트리밍받아 고화질 동영상 내 객체를 탐지 및 분석한 후 결과를 이벤트로 출력하는 사용자 단말 및 적어도 하나의 CCTV로부터 고화질 동영상을 실시간으로 수신하여 사용자 단말로 스트리밍하는 전송부, 고화질 동영상 내 적어도 하나의 객체를 기 설정된 딥러닝 알고리즘을 이용하여 기 설정된 중요객체, 이동객체 및 고정객체로 구분하는 구분부, 적어도 하나의 객체가 중요객체, 이동객체 및 고정객체로 구분된 경우, 중요객체, 이동객체 및 고정객체에 서로 다른 프레임 수의 압축률을 적용하여 실시간으로 압축하는 압축부를 포함하는 관제 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 블록체인 기반으로 고화질 동영상을 실시간 압축하여 업로드할 때, 중요객체, 이동객체 및 고정객체의 순으로 프레임 수를 감소시킴으로써, 중요한 객체나 이동하는 객체에 대해서는 프레임 수를 최대로 유지하고, 중요하지 않은 객체에 대해서는 프레임 수를 최소로 조절하는 방식으로 최적화하며, 프레임 내 객체를 추적할 때에는 딥러닝 기반 YOLO를 이용하여 바운딩 박스(Bounding Box)처리를 할 때 NMS(Non-Maximum Suppression)까지 바운딩 박스처리를 함으로써, 기 설정된 중요객체 및 이동객체를 구분하도록 한다.
도 1은 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 관제 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 2는 도 1의 시스템에 포함된 관제 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 관제 서비스 제공 서버(300), 적어도 하나의 CCTV(400)를 포함할 수 있다. 다만, 이러한 도 1의 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 관제 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 관제 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 CCTV(400)와 연결될 수 있다. 또한, 적어도 하나의 CCTV(400)는, 네트워크(200)를 통하여 관제 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 프레임 최적화를 이용한 고화질 실시간 관제 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 CCTV(400)로부터 전송된 고화질 영상을 출력하는 단말일 수 있다. 사용자는, 관공서, 대형매장, 금융기관, 재난감시, 무인감시, 카지노, 보안시설, 원자력발전소, 항만, 아파트, 군사시설, 교통관제, 의료기관, 공사현장, 창고 및 터널 등의 상황을 모니터링하는 직원일 수 있으나 열거된 것으로 한정되지는 않는다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
관제 서비스 제공 서버(300)는, 프레임 최적화를 이용한 고화질 실시간 관제 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 관제 서비스 제공 서버(300)는, CCTV(400)로부터 출력되는 고화질 동영상을 실시간 압축하여 사용자 단말(100)로 전송하고, 사용자 단말(100)에서 기 설정된 이상행동 패턴을 감지하거나 각 피사체인 객체 및 객체의 행동을 태그로 출력할 수 있도록 하는 서버일 수 있다. 관제 서비스 제공 서버(300)는, 고화질 동영상을 실시간으로 압축할 때, 중요객체, 이동객체 및 고정객체를 구분하여 프레임 수를 조절하여 압축함으로써 압축 효율을 높이고 네트워크 자원을 대량으로 소모하지 않고도 고화질 동영상을 전송하는 서버일 수 있다. 압축된 고화질 동영상을 관제 서비스 제공 서버(300)는 실시간으로 블록체인 내 블록을 생성하여 저장하고 분산하는 서버일 수 있다. 이때 관제 서비스 제공 서버(300)는 압축을 실시할 때 엣지 컴퓨팅의 노드를 이용할 수 있으며 CCTV(400)와 물리적 거리가 가까운 노드를 이용하도록 지정하는 서버일 수 있다.
여기서, 관제 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 CCTV(400)는, 프레임 최적화를 이용한 고화질 실시간 관제 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 지능형 CCTV일 수 있다.
여기서, 적어도 하나의 CCTV(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 CCTV(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 CCTV(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 관제 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 관제 서비스 제공 서버(300)는, 전송부(310), 구분부(320), 압축부(330), 압축률설정부(340), 바운딩처리부(350), 증감처리부(360), 저장부(370), 분산부(380), 상황인지적용부(390), 모델링부(391) 및 엣지컴퓨팅부(393)를 포함할 수 있다.
본 발명의 일 실시예에 따른 관제 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 CCTV(400)로 프레임 최적화를 이용한 고화질 실시간 관제 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 CCTV(400)는, 프레임 최적화를 이용한 고화질 실시간 관제 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 CCTV(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 전송부(310)는, 적어도 하나의 CCTV(400)로부터 고화질 동영상을 실시간으로 수신하여 사용자 단말(100)로 스트리밍할 수 있다. 적어도 하나의 CCTV(400)는 지능형 CCTV(400)일 수 있다.
구분부(320)는, 고화질 동영상 내 적어도 하나의 객체를 기 설정된 딥러닝 알고리즘을 이용하여 기 설정된 중요객체, 이동객체 및 고정객체로 구분할 수 있다. 화재감시 관제센터라면 연기나 불꽃과 같은 화재상황이나 형상이 중요객체, 이동객체는 사람, 고정객체는 나무 등일 수 있다. 또 공장과 같이 중요기기나 물품이 있어 사람의 출입을 막아야 하는 곳이라면, 중요객체가 사람, 이동객체도 사람, 고정객체는 담 또는 벽 등일 수 있다. 즉, 가장 중요하게 설정되는 것은 이동객체일 수도 있고 중요객체일 수도 있으므로 어느 하나가 선택되면 다른 하나가 선택되지 않는 관계는 아니다. 또 이는 각 관제센터마다 각 CCTV가 설치되는 상황마다 서로 다르게 설정될 수 있으며, 각 센터별로 서로 다른 중요객체, 이동객체 및 고정객체가 설정될 수 있다. 이하에서 중요객체로 연기가 설정된 경우 객체를 탐지하는 방법을 설명한다.
<객체 탐지 알고리즘>
객체의 형태가 일정하지 않고 색의 구분도 명확하지 않는 연기라는 객체의 방향을 감지하기 위해 다양한 객체 탐지 알고리즘을 이용할 수 있는데, 그 중 객체 탐지(Object Detection) 기술 중 하나인 광학 흐름(Optical Flow) 기술을 사용할 수 있다. 이 기술은 차영상(Difference Image)의 진화 버전으로 이전 프레임에서의 특정 포인트를 추출하여 현재 프레임에서 같은 특정 포인트를 찾아 얼마만큼의 위치 변화가 있었는지를 분석하는 방식이다. 특정 포인트의 분포가 움직이는 물체 부분에 밀집되게 되어 있어 객체 위치 인식 및 추적용으로 사용된다. 그러므로 물체가 어떻게 움직이고 있는지를 판단하기에는 가장 좋은 알고리즘이다.
광학 흐름 기술 중에는 밀집 광학 흐름(Dense Optical Flow) 알고리즘과 희소 광학 흐름(Sparse Optical Flow) 알고리즘이 있다. 그중에 밀집 광학 흐름 알고리즘인 파네백(Gunnar Farneback)의 다항식 확장 알고리즘을 이용하여, 이미지에 있는 모든 픽셀을 모션 벡터로 할당하고 밀도가 높은 광학 흐름을 찾을 수 있도록 할 수 있다. 특정 포인트를 검출하는 희소 광학 흐름 알고리즘의 검출 방식보다 객체 검출에 대한 오류가 적고 움직임 데이터의 정확도가 높아진다. 희소 광학 흐름에서 가장 중요한 특정 포인트를 제대로 검출하지 못하면 객체의 움직임에 대한 정확성이 떨어진다. 하지만 밀집 광학 흐름은 모든 픽셀에 대해 밀도가 높은 광학 흐름을 찾기 때문에 정확도가 높다.
<파네백 다항식 확장 알고리즘>
파네백(Gunnar Farneback) 알고리즘의 기본 개념은 모든 포인트에서 다항식을 이미지에 일치되도록하여 이미지를 함수로 계산하는 것이다. 이미지를 이차 다항식과 각 포인트를 연관시키는 표현으로 변환한 후 다항식을 픽셀 주변 영역의 중심에 좀 더 가까운 포인트에 가중치가 적용되도록 계산한다. 이미지 일부분의 작은 변위는 같은 포인트에서 다항식 확장의 계수에 해석적으로 계산될 수 있어 해당 변위의 크기를 구할 수 있다. 예를 들어, 1 차원의 경우 이미지는 작은 변위 d의 그레이 히스토그램으로 표현된다. 임의의 점선은 포물선 곡선에서 근처의 강도 값에 맞출 수 있다. 평활 함수 I(x)와 작은 변위의 근사 결과로 얻은 2 차 다항식 f1과 f2는 이하 수학식 1과 같은 해석 공식의 관계를 갖는다.
그리고 피팅 전과 후의 계수 값이 주어지면 두 번째 관계식인 f2를 사용해 이하 수학식 2로 정의된다.
a는 대칭 행렬, b는 벡터, c는 스칼라이다. 이러한 방법을 통해 이미지를 연속적인 표면에 근사하는 해석학적 기법으로 광학 흐름을 계산할 수 있다. 이때, 연기의 진행방향을 결정하기 위하여 영상을 상하좌우 4방향으로 나눌 수 있고, 각 4 분면 영역 안에서 움직이는 객체만을 방향 데이터로 사용할 수 있다. 그래서 영역별 연기의 진행 방향을 계산하고 진행 방향에 대표 방향을 계산할 수 있다. 이러한 진행 방향 데이터를 취합해 연기의 발생 방향과 방향에 대한 확률을 계산할 수 있다.
<연기의 진행방향 검출>
연기의 방향을 분석하기 위해 화면 전체를 분석하는 것이 아니라 각각의 면에 일정 크기만큼의 ROI(Region Of Interest)를 기준으로 파네백 다항식 알고리즘을 적용하여 연기의 흐름을 검출되도록 설정할 수 있다. 4 개의 방향에 ROI가 설정된 영역만을 사용함으로 연기의 방향을 결정하는 것에 방해되는 영역인 중심부의 데이터가 제외되어 연기 검출의 정확도를 높일 수 있고, 불필요한 연산을 처리하지 않아 연산 시간이 개선되어 파네백 다항식 알고리즘의 단점을 보완할 수 있다. 이와 같은 알고리즘을 적용하여 획득한 영상을 기반으로 연기의 방향을 찾아낼 수 있다.
예를 들어, 연기의 방향이 오른쪽에서 왼쪽 위로 이동하는 영상이라면, ROI로 지정한 사각의 영역에 움직임이 있는 객체를 탐지하여 픽셀들이 움직이는 방향을 분류할 수 있다. 객체들의 방향 검출 결과 중에 가장 많은 건수를 기록한 방향을 해당 ROI의 객체 탐지방향으로 결정하고, 4 개의 ROI 중에서 가장 많은 객체가 검출된 ROI의 객체 탐지 방향이 해당 영상 프레임의 최종 방향으로 결정될 수 있다. 이러한 알고리즘으로 연기 방향 데이터를 취합하고 이미지 프로세싱으로 연기를 추적하면, 연기의 발생 위치를 확인할 수 있다.
<대용량 고화질 CCTV를 위한 압축>
상술한 방법 이외에도 본 발명의 일 실시예에서는 효율적인 CCTV 데이터 전송을 위한 이미지 압축 기법을 이용할 수 있다. 이미지 압축 기법은, CCTV의 특징인 같은 장소에 대한 촬영이 장시간 진행되는 점과, 이에 따라 발생하는 프레임 간의 데이터 변화가 작음을 고려한 압축을 진행한다. CCTV 분석에서 중요한 화면 내의 객체 데이터를 제외한 배경 데이터의 미세한 변화로 인해 발생하는 불필요한 프레임 간의 데이터 변화 차이를 제거하여 효율적인 압축을 수행한다. 또한 본 발명의 일 실시예에 따라 생성되는 압축된 데이터의 특징인 중복되는 데이터가 연속적으로 발생함을 이용하여 점진적 탐색 기법을 통해 데이터 압축을 수행할 수 있다.
<대용량 CCTV 스트림 처리를 위한 압축>
영상 데이터는 연속된 프레임으로 표현 가능하며, 대량의 CCTV에서 끊임없이 발생하기 때문에 일반적인 이미지 압축 기법보다 더 효율적인 데이터 압축이 요구된다. 효율적인 압축을 위하여 CCTV 스트림 데이터의 속성을 활용한 새로운 압축기법이 필요하다. 연속된 프레임 사이에서 발생하는 이미지 데이터 변화를 살펴보면, CCTV와 같이 동일한 장소에 대해 지속적으로 촬영하는 경우 프레임과 프레임 사이의 데이터의 차이는 객체의 움직임을 제외하고는 발생하지 않는다. 이로 인해 프레임 사이의 차이를 전송하는 것만으로도 데이터의 크기가 크게 줄어든다. 그러나 대용량의 이미지를 전송하기 위해서는 추가적인 압축을 통해 이미지의 크기를 더욱 줄일 필요가 있다.
<프레임 데이터 간의 차이 임계값 설정>
프레임 사이의 객체의 움직임을 제외한 미세하게 변화하는 값은 객체 감지와 같은 영상 처리에 영향을 미치지 않는다. 결과 값에 영향이 미미한 값들을 제거하기 위하여 프레임 데이터 변화의 임계값을 설정하고, 임계값 이하의 변화가 일어난 픽셀에 대해서는 변화가 없는 것으로 나타낼 수 있다. 이를 통해 이미지 압축 효율이 증가하여, 전송되는 데이터의 크기를 줄이게 된다. 이에, 임계값에 따른 데이터 크기 변화를 이용한 이미지 압축 기법을 이용할 수 있다. 예를 들어, 프레임 사이의 차이를 구한 경우 객체의 변화만이 뚜렷하게 나타나게 된다. 이외의 배경에서는 데이터의 차이가 없거나 미세하게 나타나게 된다. 객체 데이터를 제외한 나머지 프레임 사이의 미세한 차이는 프레임 사이의 변하지 않는 데이터의 배경 데이터의 오차이다.
비디오 프로세싱에서 의미를 갖지 않는 배경에서 발생하는 미세한 오차는 설정된 임계값을 통해 임계값을 넘지 못하는 경우 이전 프레임과 변화가 없는 부분으로 설정할 수 있다. 임계값을 설정하기 위하여 본 발명의 일 실시예에서, 변화량 α를 설정하고 임계값을 통해 줄어드는 데이터의 크기 변화량이 α이하가 되는 시점의 임계값을 압축에 사용할 수 있다.
<점진적 객체 바운더리 압축 알고리즘>
CCTV 데이터를 사용한 영상 처리에서 중요하게 사용되는 부분은 객체 데이터이다. 상술한 임계값을 통해 배경 데이터가 제거된 프레임 데이터에서 객체 바운더리를 탐색하고, 객체 바운더리 내의 데이터만을 전송함으로서 네트워크에 전송되는 데이터의 양을 감소시킬 수 있다. CCTV에 나타나는 객체는 매순간 움직이기 때문에 변화하는 바운더리를 탐지하여 갱신해야한다. 우선, 점진적 객체 바운더리 압축 기법은, 임계값을 통해 객체 이외의 데이터가 제거된 이미지에서 객체 데이터가 존재하는 바운더리를 탐지한다. 탐지된 바운더리를 기준으로 다음 프레임의 객체 영역을 탐지한다. 이때 시간의 경과에 따라 객체의 변형이나 이동이 발생하기 때문에 기존의 바운더리 주변까지 객체 데이터를 탐지한다. 마지막으로 탐지된 새로운 객체 바운더리를 네트워크를 통해 전송하고 다음 프레임의 객체 바운더리 탐지를 위해 사용하는 작업을 반복한다. 이때, 객체 데이터가 존재하는 부분의 데이터만을 전송하게 되어 화면의 대부분이 변화가 없는 배경 데이터로 구성되는 CCTV 데이터에서 데이터 크기의 감소가 가능해진다. 추가로 객체 바운더리를 적용하여 객체 데이터를 제외한 배경 데이터를 제거한 경우 압축률은 더욱 커질 수 있다.
압축부(330)는, 적어도 하나의 객체가 중요객체, 이동객체 및 고정객체로 구분된 경우, 중요객체, 이동객체 및 고정객체에 서로 다른 프레임 수의 압축률을 적용하여 실시간으로 압축할 수 있다. 압축률설정부(340)는, 중요객체, 이동객체 및 고정객체의 순으로 프레임 수를 감소시켜 압축하도록 설정할 수 있다. 각 영상은 프레임으로 구성되고 30FPS(Frames Per Second, 초당 프레임 수)라면, 초(Sec) 당 30 컷의 사진이라는 의미이다. 이때, 30FPS 중 YOLO의 객체 트래킹을 이용하여 바운딩 박스부터 NMS까지 박스 처리를 한 후, 객체를 구분 후 블록 프레임 프로그램에서 설정된 중요객체와 이동객체에 관하여 프레임을 최대로 유지하고, 중요하지 않은 고정된 객체, 즉 고정객체에 관해서는 프레임 수를 조절하여 영상을 출력할 수 있다. 예를 들어, 중요객체에는 30FPS, 이동객체에는 20 내지 30FPS, 고정객체에는 1 내지 10 FPS를 적용할 수 있다.
덧붙여서, 압축부(330)는 프레임 분할 스레드(Thread)를 이용하여 영상정보의 크기를 줄일 수 있도록 한다. 즉, 프레임을 블록 단위로 분할하여 비교하는 프레임 블록화 방법을 이용하고, 스레드를 이용하여 구현할 수 있다. 가공된 모든 데이터들은 ARIA 암호화 알고리즘에 의해 암호화되어 저장될 수 있고, 최근 국책사업에 참여한 모 기업에서 유출한 개인정보 유출사건의 이슈가 발생하지 않으며, 영상정보에 대한 기밀성이 보장된다. 본 발명의 일 실시예에 따른 영상처리과정은 영상가공 및 암호화를 진행하며, 가공된 데이터는 사용자 단말(100)로 전송되어 복호화 및 영상복원을 실행하여 원본을 재생할 수 있다.
본 발명의 일 실시예에 따른 영상 가공 방법은 프레임의 상관관계를 이용한 방법으로 비교 대상 프레임과 현재 재생되는 프레임을 비교하여 의미 있는 픽셀의 값만을 추출하여 저장한다. 이것은 고정된 위치에서 같은 장소를 연속적으로 촬영하는 CCTV가 다른 영상들보다 픽셀값이 중복된다는 점을 이용한 방법이다. 이 방법을 이용하면 중복되는 프레임을 제외하고 의미있는 프레임만을 추출하여 기존 중복되는 프레임에 합성하기 때문에 프레임 용량을 대폭 줄일 수 있다. 이에 따라, CCTV(400)로 촬영을 하고 기준 프레임을 60초마다 생성한다고 가정했을 때, 촬영을 시작으로 프레임을 수신하여 비교 대상 프레임과 현재 프레임 간의 차이를 구한 후, 그 값을 블록화시킨다. 이때 프레임 간의 차이 값과 블록화는 효율성을 고려하여 16 분할 스레드를 기반으로 하여 설계될 수 있다. 그 후 블록화된 프레임이 정렬되며 각 블록의 첫 좌표(기준 프레임)를 파일에 저장해둔다. 이후에 ARIA 암호 알고리즘을 이용하여 기준이 되는 각 프레임 데이터에 대해 암호화를 수행하여 사용자 단말(100)로 보내고, 가공된 블록 정렬 데이터들도 사용자 단말(100)로 전송할 수 있다.
<16분할 스레드>
동영상이란 각각의 정지된 화면 즉, 프레임을 빠르게 지나가게 하여 마치 움직이는 것처럼 보이도록 하는 기술이다. 프레임의 상관관계란 연속된 프레임이 약간의 차이가 있을 때 배경은 똑같지만 움직이는 물체가 있는 부분이 두 프레임의 차이를 말한다. 프레임의 상관관계를 이용하여 픽셀 차이를 구하기 위해 종래에는 주로 두 프레임 전체를 픽셀 단위로 비교하는 방법을 사용해 왔지만, 이 방법은 비교하는데 많은 시간이 소요되기 때문에 보다 효율적인 프레임 비교를 위해서 본 발명의 일 실시예에서는 이미지를 16분할하여 처리하는 방법을 이용할 수 있다.
즉, 비교 대상 프레임(기준 프레임)과 현재 재생되는 프레임을 비교하여 의미 있는 내용을 추출한다. 두 프레임과의 비교에서 움직이는 물체가 없는 고정된기준 프레임은 추출하지 않고, 움직이는 물체가 존재하는 경우 두 프레임의 픽셀의 차이만을 구하는 방법이다. 이때 픽셀 차이를 비교하여 중복되는 데이터는 제거되고, 의미 있는 데이터만을 가변적인 블록으로 구성하게 된다. 다시 말해서 픽셀 차이를 비교한 후, 같은 부분은 흰색으로 채우고 움직이는 물체(기준 프레임과 다른 부분)만 이미지에 채운다. 프레임을 블록 단위로 분할하는 이유는 의미있는 픽셀의 값을 객체화시켜서 빠르고 정확하게 처리하기 위한 것이며, 이때 값을 가지지 않은 블록은 의미가 없으므로 연산에서 제외된다.
픽셀, 즉 프레임 간의 차이 값을 구하는 것과 프레임 블록화는 둘 다 영역을 지정한 후 수행이 가능하기 때문에 전체영역을 16 분할하여 동시에 스레드를 이용할 수 있다. 따라서 각 분할된 영역의 스레드는 동 시간대에 프레임 간의 차이 값 구하기와 프레임 블록화가 수행되고 모든 영역에 대한 작업이 끝났을 때 다음 프레임의 작업을 수행하게 된다. 이렇게 16분할 스레드를 설계함으로써 영상 처리 속도를 증대하여 현재 프레임과 다음 프레임 간의 속도 간섭을 막을 수 있다. 스레드는 CPU 내에서 실행되는 최소의 프로그램 단위로서 스레드 ID, 레지스터들의 집합, 스택, 프로그램 카운터 등과 같은 정보들로 구성된다. 멀티 스레드는 동일 프로세스 내에서도 메모리 공유가 가능하므로 효율적인 데이터 처리가 가능함은 물론 시스템의 자원 낭비를 줄인다. 본 발명의 일 실시예에서는 많은 스레드가 실행될 때 데이터의 데이터 처리의 효율성을 고려하여 16 분할하여 영상을 처리할 수 있다. 이때, 동기를 맞추기 위해 Locked를 이용할 수 있고, 하나의 프로세스에 속한 16 개의 스레드는 메모리 등의 자원을 공유하여 병렬처리가 가능하므로 처리속도가 매우 빨라진다.
<기준 프레임 지정>
기준 프레임 지정은 지정된 장소를 촬영하는 CCTV 영상의 특성을 이용하여 지정된 시간마다 기준 이미지를 생성한다. 기준 이미지가 지정되면 그 이후의 프레임들은 이 기준 이미지와 픽셀을 비교하게 된다. 기준 이미지와 이후 프레임의 배경 밝기가 같고 움직이는 물체가 있다고 가정했을 때, 이전과 중복되는 부분에 대해서는 픽셀의 차이가 없으므로 이 부분은 흰색으로 채우고 움직이는 물체만을 추출하여 이미지에 채운다. 비교를 위한 이미지 파일들의 크기를 절약하기 위하여 일정 시간마다 생성하는 기준 이미지를 이용한다. 예를 들어, 기준 이미지는 60초 마다 생성이 되며, 이 파일은 암호화되어 저장된다.
<프레임 블록화 및 블록 정렬>
픽셀 차이를 비교하여 중복되는 데이터가 제거되면 의미있는 데이터만을 가변적인 블록으로 구성한다. 이때, 픽셀이 같은 부분은 흰색으로 채우고 기준 프레임과 달라지는 부분만을 채우고 일정한 크기로 블록화 한다. 만일 이 수준의 값보다 더욱 정밀한 움직임이나 데이터를 추출하고자 한다면 픽셀 비교의 기준 값을 더 낮추거나 블록의 크기를 줄여서 데이터를 추출하면 된다. 블록화를 한 후 각 블록들을 좌측 상단부터 차례대로 채운다. 이때 각 블록의 원래 위치를 찾을 수 있도록 각 블록의 앞에 좌표 값을 넣어준다. 블록화와 블록정렬은 전체 이미지를 블록 크기별로 탐색하여 수행한다. 탐색한 값이 흰색이 아닐 경우에만 값을 저장하여 블록화하고. 그 블록의 첫 번째 좌표를 저장하고 블록들을 정렬한다. 이러한 과정을 통하여 이미지를 가공했을 때, 불필요한 데이터를 줄여 이미지 파일의 크기를 기존의 원본 이미지 파일 크기보다 줄일 수 있다. 정렬할 때에는 각 블록의 첫 좌표가 파일에 저장되며 사용자 단말(100)에서 읽어들일 때 같이 읽어들여서 블록을 재배치 할 때 사용한다.
<사용자 인터페이스>
이미지를 영상으로 재생시키려면 각 이미지를 촬영할 때의 처리속도(Frame Per Second, FPS)를 알아야 실제 촬영 영상과 동일한 영상을 볼 수 있다. FPS를 모른다면 영상이 너무 빠르거나 느리고 영상 재생 중 누락되는 부분이 있을 수 있다. 그렇기 때문에 CCTV촬영을 하면서 FPS를 이미지 파일에 같이 저장해야 한다. CCTV 영상 촬영 후 가공된 이미지 파일들이 저장된다. 이때 이미지들은 블록화 및 블록정렬 후에 저장되기 때문에 Viewer에서는 이미 전송된 각 블록들, 즉 조각들의 좌표, 즉 각각의 기준 프레임에 대한 좌표를 찾아야 한다. 그리고 블록 좌표에 맞춰 기준 이미지 파일에 정렬된 블록을 연결하여 원래 영상을 재생한다.
<기준 프레임의 암호화>
본 발명의 일 실시예에 따른 ARIA 암호 알고리즘을 기반으로 하여 암호화 및 복호를 수행할 수 있다. 대칭키 알고리즘인 ARIA는 블록의 길이가 128비트이며, 128/192/256비트인 키의 길이를 가변적으로 사용할 수 있다. 또한, 키의 크기에 따라 각각 10/12/14번의 라운드를 반복하여 암호화를 실행한다. 암호화 엔진은 암호화와 복호화를 수행하는 라운드 모듈과 키 값을 생성하기 위한 스케줄러로 구성될 수 있다. 라운드 함수의 모듈은 키 덧셈(AddRoundKey 함수), 치환 계층(SubstLayer 함수), 그리고 확산 계층(DiffLayer 함수) 등 크게 세 부분으로 구성될 수 있다. 라운드 함수의 키 덧셈은 128 비트의 라운드 키와 128 비트의 입력 값에 대해 비트 별로 XOR 연산을 수행한다. 치환 계층은 2 종류로 구성되며, 이들 각 계층은 8비트의 입력과 출력 S-box 그리고 그들에 대한 역변환 구조를 가진다. 확산 함수를 수행하는 확산 계층은 16×16 인볼루션(Involution) 구조이며, 행렬 연산을 실행할 수 있다.
바운딩처리부(350)는, 기 설정된 딥러닝 알고리즘의 객체 트래킹(Object Tracking)을 이용하여 생성된 바운딩 박스(Bounding Box) 중 NMS(Non-Maximum Suppression)로 제거되는 바운딩 박스까지 남겨둔 후 중요객체, 이동객체 및 고정객체를 구분하도록 할 수 있다. 본 발명의 일 실시예에서는, 최신 객체 검출기, 예를 들어 YOLO를 물체 중심으로 관리하는 방법을 이용할 수 있다. 이하의 상황인지(Context-Awareness) 개념에서는 가용할 수 있는 영상 DB를 통해 배경 객체들을 미리 학습하고, 알고 있는 카테고리의 객체 검출 기반으로 입력 영상에서 중요한 영역을 학습 범주별로 나눌 수 있다는 가정에서 시작된다. 그리고 움직이지만 관심 없는 영역을 동적배경으로 판단해, 전통적 배경 모델 갱신에서 제외하는 것을 고려할 수 있다. 가정하는 동적배경 상황은 실제 정적배경 위에 다양한 동적배경 객체들이 합쳐진 것으로 해석한다. 그리고 정적배경에서 움직이는 배경객체들은 객체별로 학습할 수 있다는 것을 이용하는 것이다. 반복되는 동적 패턴에서도 고정 카메라에서 고유한 정적배경에 대해 신뢰도를 측정하며, 충분한 관찰을 확보할 수 있다.
학습 과정에서 배경 물체로 인지된 객체들은 영역의 신뢰도에 반영하지 않는다. 따라서, 그러한 동적객체들이 상대적으로 적은 영상들이 많은 구간에서 신뢰도가 높은 배경 모델링이 이루어진다. 평가 단계에서는 전혀 학습되지 않은 물체를 배경 차분만으로 검출한다. 예를 들어, YOLO 검출기에서 사전에 학습된 MS COCO DB에서 사람, 자동차, 버스, 자전거, 오토바이를 알고 있는 5 종 배경 객체로 고려하는 것을 가정한다. 비정상적인 교통 흐름을 만들어 낼 수 있는 비정형 낙하물을 관심 있는 전경으로 고려하고 있기 때문에, 학습된 동적객체를 배경 학습에서 제외하려는 것이다. 따라서, 동적배경 객체가 나타나는 영역은 가려짐에 의해 배경 샘플을 모을 수 없는 상황으로 간주하고 배경 학습에서 완전히 무시한다. 또, 학습 신뢰도 점수를 점차 낮추어 오랜 기간 동안 배경 객체가 영상에 존재하고 있는 경우, 다시 충분한 샘플이 모일 때까지 해당 영역에서는 낙하물 검출을 하지 않게 된다.
객체 인지 기반 배경 차분 방법론은 추출 대상은 학습할 수 없지만, 배경에서 반복되는 개체들은 학습할 수 있을 때 적용할 수 있다. 본 발명의 일 실시예는 예를 들어, 교통 CCTV에서의 비정형 낙하물을 탐지하는 것을 가정할 수 있다. 관심 대상인 비정형 낙하물이 혼잡한 도로에 놓여 있을 때, 이를 배경 차분을 통해 구할 수 있다. 먼저 도로 위에 움직이는 차들은 정적배경에 대한 근본적인 문제로 확인된다. 본 발명의 일 실시예에서는 이를 데이터 기반 객체 인지를 통해 차별적으로 학습을 진행할 수 있다. 결과적으로 움직이는 차가 존재하는 도로 위에서 학습된 배경과 큰 차이를 보이는 영역만 낙하물로 탐지, 즉 원활한 교통 흐름을 방해하는 물체로 표시할 수 있다. 이와 같이, 본 발명의 일 실시예는 동적배경 객체를 학습하여, 실제로 학습이 어려운 전경 객체를 찾아낼 수 있게 되고 중복된 부분이나 관심이 없는 객체에 대해서는 제거하여 압축률은 높이면서 해상도도 떨어지지 않게 할 수 있다.
증감처리부(360)는, 중요객체 및 이동객체에 대해서는 디폴트로 설정된 프레임 수를 유지하고, 고정객체에 대해서는 디폴트로 설정된 프레임 수보다 감소시켜 고화질 동영상을 출력할 수 있다. 사용자 단말(100)은, 적어도 하나의 CCTV(400)로부터 고화질 동영상을 실시간으로 스트리밍받아 고화질 동영상 내 객체를 탐지 및 분석한 후 결과를 이벤트로 출력할 수 있다.
저장부(370)는, 고화질 동영상이 압축된 압축 동영상을 블록체인을 이루도록 블록을 생성하여 저장할 수 있다. 분산부(380)는, 블록을 블록체인을 이루는 적어도 하나의 노드에 분산저장할 수 있다. 이때, 블록체인은 폐쇄형 블록체인이고, 블록체인은 이더리움 기반 블록체인일 수 있다.
상황인지적용부(390)는, CCTV(400) 데이터셋(DataSet)을 이용하여 적어도 하나의 인공지능 알고리즘을 학습 및 검증함으로써 모델링을 수행하고, 적어도 하나의 인공지능 알고리즘 중 상황인지(Context Awareness) 기반으로 검출률이 가장 높은 어느 하나의 인공지능알고리즘을 선택하여 객체의 이벤트를 추출할 수 있다.
모델링부(391)는, 중요객체, 이동객체 및 고정객체에 대하여 이미지 라벨링이 된 학습 데이터셋 및 검증 데이터셋으로 기 설정된 딥러닝 알고리즘을 학습 및 검증함으로써 모델링할 수 있다.
엣지컴퓨팅부(393)는, 고화질 동영상을 중요객체, 이동객체 및 고정객체에 대하여 서로 다른 프레임 수를 적용하여 압축할 때 엣지 컴퓨팅(Edge Computing) 기반 노드에서 압축을 실시하도록 할 수 있다.
이하, 상술한 도 2의 관제 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) 관제 서비스 제공 서버(300)는 CCTV(400)가 설치된 각 건물, 구역, 공장, 창고별로 중요객체, 이동객체 및 고정객체를 각각 설정하거나 지정하고, (b)와 같이 각 중요객체, 이동객체 및 고정객체에 대한 프레임 수를 적용하여, (c)와 같이 실시간 압축을 실시할 때, 차분 영상에 대한 블록화 및 이 기록을 뷰어(Viewer)에 저장함으로써 이후 기준 프레임을 기준으로 차분 블록만을 추가하여 출력할 수 있도록 한다. 또, 이 과정을 각 엣지노드나 클라우드를 기반으로 수행할 수 있도록 주변 노드를 탐색하여 컴퓨팅 자원을 이용할 수 있고, (d) 그 결과로 압축된 영상을 블록체인을 이루는 적어도 하나의 노드에 저장함으로써 위변조를 방지할 수 있다. 이의 기본개념 및 적용분야에 대해서는 도 4에 기재 및 도시되어 있다.
이와 같은 도 2 내지 도 4의 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 관제 서비스 제공 서버는, 적어도 하나의 CCTV로부터 고화질 동영상을 실시간으로 수신하여 사용자 단말로 스트리밍한다(S5100).
그리고, 관제 서비스 제공 서버는, 고화질 동영상 내 적어도 하나의 객체를 기 설정된 딥러닝 알고리즘을 이용하여 기 설정된 중요객체, 이동객체 및 고정객체로 구분한다(S5200).
또, 관제 서비스 제공 서버는, 적어도 하나의 객체가 중요객체, 이동객체 및 고정객체로 구분된 경우, 중요객체, 이동객체 및 고정객체에 서로 다른 프레임 수의 압축률을 적용하여 실시간으로 압축한다(S5300).
상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (10)
- 적어도 하나의 CCTV로부터 고화질 동영상을 실시간으로 스트리밍받아 상기 고화질 동영상 내 객체를 탐지 및 분석한 후 결과를 이벤트로 출력하는 사용자 단말; 및
상기 적어도 하나의 CCTV로부터 고화질 동영상을 실시간으로 수신하여 상기 사용자 단말로 스트리밍하는 전송부, 상기 고화질 동영상 내 적어도 하나의 객체를 기 설정된 딥러닝 알고리즘을 이용하여 기 설정된 중요객체, 이동객체 및 고정객체로 구분하는 구분부, 상기 적어도 하나의 객체가 중요객체, 이동객체 및 고정객체로 구분된 경우, 상기 중요객체, 이동객체 및 고정객체에 서로 다른 프레임 수의 압축률을 적용하여 실시간으로 압축하는 압축부, 상기 중요객체, 이동객체 및 고정객체의 순으로 프레임 수를 감소시켜 압축하도록 설정하는 압축률설정부를 포함하는 관제 서비스 제공 서버;를 포함하며,
상기 중요객체에는 30 FPS(Frames Per Second)를 적용하고,
상기 이동객체에는 20 FPS ~ 30 FPS 중 어느 하나의 FPS를 적용하고,
상기 고정객체에는 1 FPS ~ 10 FPS 중 어느 하나의 FPS를 적용하는 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 삭제
- 제 1 항에 있어서,
상기 관제 서비스 제공 서버는,
상기 기 설정된 딥러닝 알고리즘의 객체 트래킹(Object Tracking)을 이용하여 생성된 바운딩 박스(Bounding Box) 중 NMS(Non-Maximum Suppression)로 제거되는 바운딩 박스까지 남겨둔 후 상기 중요객체, 이동객체 및 고정객체를 구분하도록 하는 바운딩처리부;
를 더 포함하는 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 관제 서비스 제공 서버는,
상기 중요객체 및 이동객체에 대해서는 디폴트로 설정된 프레임 수를 유지하고, 상기 고정객체에 대해서는 상기 디폴트로 설정된 프레임 수보다 감소시켜 상기 고화질 동영상을 출력하는 증감처리부;
를 더 포함하는 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 관제 서비스 제공 서버는,
상기 고화질 동영상이 압축된 압축 동영상을 블록체인을 이루도록 블록을 생성하여 저장하는 저장부;
를 더 포함하는 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 제 5 항에 있어서,
상기 관제 서비스 제공 서버는,
상기 블록을 상기 블록체인을 이루는 적어도 하나의 노드에 분산저장하는 분산부;
더 포함하고,
상기 블록체인은 폐쇄형 블록체인이고, 상기 블록체인은 이더리움 기반 블록체인인 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 적어도 하나의 CCTV는 지능형 CCTV인 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 관제 서비스 제공 서버는,
CCTV 데이터셋(DataSet)을 이용하여 적어도 하나의 인공지능 알고리즘을 학습 및 검증함으로써 모델링을 수행하고, 상기 적어도 하나의 인공지능 알고리즘 중 상황인지(Context Awareness) 기반으로 검출률이 가장 높은 어느 하나의 인공지능알고리즘을 선택하여 객체의 이벤트를 추출하는 상황인지적용부;
를 더 포함하는 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 관제 서비스 제공 서버는,
상기 중요객체, 이동객체 및 고정객체에 대하여 이미지 라벨링이 된 학습 데이터셋 및 검증 데이터셋으로 상기 기 설정된 딥러닝 알고리즘을 학습 및 검증함으로써 모델링하는 모델링부;
를 더 포함하는 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 관제 서비스 제공 서버는,
상기 고화질 동영상을 상기 중요객체, 이동객체 및 고정객체에 대하여 서로 다른 프레임 수를 적용하여 압축할 때 엣지 컴퓨팅(Edge Computing) 기반 노드에서 압축을 실시하도록 하는 엣지컴퓨팅부;
를 더 포함하는 것을 특징으로 하는 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220049583A KR102438501B1 (ko) | 2022-04-21 | 2022-04-21 | 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220049583A KR102438501B1 (ko) | 2022-04-21 | 2022-04-21 | 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102438501B1 true KR102438501B1 (ko) | 2022-09-01 |
Family
ID=83282060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220049583A KR102438501B1 (ko) | 2022-04-21 | 2022-04-21 | 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102438501B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024135900A1 (ko) * | 2022-12-23 | 2024-06-27 | 한국전자기술연구원 | 프레임 비율이 다른 모달리티의 정합 처리를 위한 뉴럴 네트워크 및 이를 적용한 데이터 처리 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101704775B1 (ko) * | 2016-02-03 | 2017-02-08 | (주)비상정보통신 | 다중해상도 영상 처리 장치 및 영상 처리 방법 |
| KR20190083295A (ko) * | 2018-01-03 | 2019-07-11 | 동성이엔지앤디자인 | 블록체인을 활용한 cctv영상의 디지털 증거 무결성 및 진본성 확보방법 및 시스템 |
| KR20220023726A (ko) * | 2020-08-21 | 2022-03-02 | 주식회사 리얼타임테크 | 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법 |
-
2022
- 2022-04-21 KR KR1020220049583A patent/KR102438501B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101704775B1 (ko) * | 2016-02-03 | 2017-02-08 | (주)비상정보통신 | 다중해상도 영상 처리 장치 및 영상 처리 방법 |
| KR20190083295A (ko) * | 2018-01-03 | 2019-07-11 | 동성이엔지앤디자인 | 블록체인을 활용한 cctv영상의 디지털 증거 무결성 및 진본성 확보방법 및 시스템 |
| KR20220023726A (ko) * | 2020-08-21 | 2022-03-02 | 주식회사 리얼타임테크 | 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024135900A1 (ko) * | 2022-12-23 | 2024-06-27 | 한국전자기술연구원 | 프레임 비율이 다른 모달리티의 정합 처리를 위한 뉴럴 네트워크 및 이를 적용한 데이터 처리 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shidik et al. | A systematic review of intelligence video surveillance: Trends, techniques, frameworks, and datasets | |
| US20200364443A1 (en) | Method for acquiring motion track and device thereof, storage medium, and terminal | |
| KR102139582B1 (ko) | 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법 | |
| CN112183353B (zh) | 一种图像数据处理方法、装置和相关设备 | |
| KR101964683B1 (ko) | 스마트 영상처리장치 및 그 장치의 구동방법 | |
| CN112804188B (zh) | 一种可伸缩视觉计算系统 | |
| KR102333143B1 (ko) | 무인 계수 서비스 제공 시스템 | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN109815839B (zh) | 微服务架构下的徘徊人员识别方法及相关产品 | |
| KR102296274B1 (ko) | 사용자 학습 기반 딥러닝 객체 인식 서비스 제공 방법 | |
| Zeng et al. | A face recognition system based on cloud computing and AI edge for IOT | |
| KR101954717B1 (ko) | 고속분석 영상처리장치 및 그 장치의 구동방법 | |
| US20210312587A1 (en) | Distributed image analysis method and system, and storage medium | |
| KR102438501B1 (ko) | 프레임 최적화를 이용한 고화질 실시간 관제 서비스 제공 시스템 | |
| CN110022466A (zh) | 一种基于智慧大数据的视频分析平台及其控制方法 | |
| CN111079864A (zh) | 一种基于优化视频关键帧提取的短视频分类方法及系统 | |
| CN115002414A (zh) | 监测方法、装置及服务器和计算机可读存储介质 | |
| CN106529497A (zh) | 一种图像采集设备的定位方法及装置 | |
| Giorgi et al. | Privacy-Preserving Analysis for Remote Video Anomaly Detection in Real Life Environments. | |
| Yang et al. | Evolving graph-based video crowd anomaly detection | |
| KR102336480B1 (ko) | 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법 | |
| CN116310922A (zh) | 石化厂区监控视频风险识别方法、系统、电子设备及存储介质 | |
| KR102218255B1 (ko) | 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 | |
| Gnouma et al. | A two-stream abnormal detection using a cascade of extreme learning machines and stacked auto encoder | |
| KR102398788B1 (ko) | 블록체인 기반 영상압축기술을 이용한 고화질 실시간 관제 서비스 제공 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |