KR102549073B1 - 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템 - Google Patents
분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템 Download PDFInfo
- Publication number
- KR102549073B1 KR102549073B1 KR1020210071876A KR20210071876A KR102549073B1 KR 102549073 B1 KR102549073 B1 KR 102549073B1 KR 1020210071876 A KR1020210071876 A KR 1020210071876A KR 20210071876 A KR20210071876 A KR 20210071876A KR 102549073 B1 KR102549073 B1 KR 102549073B1
- Authority
- KR
- South Korea
- Prior art keywords
- analysis
- stream
- server
- video
- image
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 299
- 238000000034 method Methods 0.000 title abstract description 17
- 238000010191 image analysis Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
실시예에 따른 분석 중계 서버의 분석 영상 중계 방법은 (a) 스트림 영상에 대한 분석 요청을 복수의 분석 서버로 전송하는 단계; (b) 상기 분석 요청에 따라 상기 복수의 분석 서버 각각에서 상기 스트림 영상이 디코딩되고, 상기 디코딩된 스트림 영상 각각이 상기 복수의 분석 서버 각각에서 상이한 종류의 분석 알고리즘을 이용해 분석된 분석 결과들을 상기 복수의 분석 서버로부터 수신하는 단계; (c) 상기 분석 결과들을 통합한 통합 정보를 생성하는 단계; 및 (d) 상기 통합 정보를 인코딩하여 스트림 영상 재생 장치로 전송하는 단계;를 포함할 수 있다.
Description
본 발명은 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템에 관한 것으로, 보다 구체적으로 스트림 영상에 대해 복수의 분석 서버 각각에서 분석된 결과들을 통합하여 스트림 영상 재생 장치로 전송하기 위한, 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템에 관한 것이다.
현재 보안용 CCTV가 전국 곳곳에 설치되어 객체를 촬영한 영상으로부터 사람, 차량 등 찾고자 하는 특정 객체를 검출할 수 있다.
이러한 CCTV의 영상 제공으로 경찰청, 국정원 등 모든 종류의 단체에서 해당 영상으로부터 검출된 특정 객체에 대한 정보를 유용하게 제공받을 수 있게 된다.
그런데, 일반적으로 CCTV에서 제공되는 영상은 실시간 스트림 영상으로 제공되어 재생 단말단에서 재생하는 과정에서 해당 영상이 일부 끊기거나 오류가 발생하는 등의 문제가 종종 있어왔다.
특히, CCTV에서 제공되는 실시간 스트림 영상은 그 성격상 용량이 매우 방대하므로, 객체를 검출하기 위해서 별도의 분석 서버가 구비되어야 하는 필요성이 있다.
그런데, 만일 재생 단말단과 별개로 분석 서버가 구비되도록 하고, 특히 분석 서버의 개수가 많을 경우, 분석 서버로부터 전송된 결과를 출력하고자 할 때 위와 같은 영상의 끊김 형상은 보다 자주 발생할 것이다.
이와 같이 실시간 재생되는 스트림 영상에 있어서 영상의 불연속 재생을 경험하게 되면 사용자는 불편함을 호소하게 되는 문제점이 있게 된다.
본 발명은 스트림 영상에 대해 각 분석 서버들에서 분석된 결과들을 통합하여 스트림 영상 재생 장치로 전송하도록 함으로써 영상이 끊김없이 실시간 재생될 수 있도록 하는 방법을 제공하고자 하는 데에 그 목적이 있다.
본 발명은 특히 지능형 CCTV를 이용해 촬영된 영상으로부터 장기 실종자, 장애인, 치매 환자 등을 인공 지능형 영상 분석 시스템을 통해 효과적으로 찾도록 하는 것을 목적으로 한다.
실시예에 따른 분석 중계 서버의 분석 영상 중계 방법은 (a) 스트림 영상에 대한 분석 요청을 복수의 분석 서버로 전송하는 단계; (b) 상기 분석 요청에 따라 상기 복수의 분석 서버 각각에서 상기 스트림 영상이 디코딩되고, 상기 디코딩된 스트림 영상 각각이 상기 복수의 분석 서버 각각에서 상이한 종류의 분석 알고리즘을 이용해 분석된 분석 결과들을 상기 복수의 분석 서버로부터 수신하는 단계; (c) 상기 분석 결과들을 통합한 통합 정보를 생성하는 단계; 및 (d) 상기 통합 정보를 인코딩하여 스트림 영상 재생 장치로 전송하는 단계;를 포함할 수 있다.
상기 디코딩된 스트림 영상 각각은 객체 단위로 구성되어 각각 하나의 객체 영역만을 포함할 수 있다.
상기 상이한 종류의 분석 알고리즘은 상기 객체의 속성 별로 정의될 수 있다.
상기 디코딩된 스트림 영상 각각은 복수의 객체 영역을 포함하고, 상기 분석 결과들은 상기 복수의 객체 영역 중, 상기 복수의 분석 서버 각각의 대상 알고리즘에 해당하는 객체 영역에 대해서만 상기 복수의 분석 서버 각각에서 선별적으로 분석을 수행하여 획득되는 것일 수 있다.
상기 통합 정보가 기 저장된 분석 대상 객체에 해당하는 정보인지 여부를 판별하는 단계;를 더 포함하고, 상기 통합 정보가 상기 기 저장된 분석 대상 객체에 해당하는 정보인 것으로 판별하는 경우 상기 (d)를 수행할 수 있다.
상기 상이한 종류의 분석 알고리즘은 인공 지능 기반의 스트림 영상 분석 모델로 구현되고, 상기 (b)는, 상기 복수의 분석 서버 각각에서 상기 인공 지능 기반의 스트림 영상 분석 모델을 이용하여 상기 디코딩된 스트림 영상 각각으로부터 출력한 상기 분석 결과들을 상기 복수의 분석 서버로부터 수신할 수 있다.
상기 분석 결과들은 상기 디코딩된 스트림 영상 각각에 포함된 객체 영역의 좌표값, 객체의 식별 정보, 및 객체의 크기 정보 중 적어도 하나를 포함할 수 있다.
실시예에 따른 분석 영상 중계 시스템의 분석 영상 중계 방법은, (a) 분석 중계 서버에 의해, 스트림 영상에 대한 분석 요청을 복수의 분석 서버로 전송하는 단계; (b) 상기 복수의 분석 서버 각각에 의해, 상기 분석 요청에 따라 상기 스트림 영상을 디코딩하는 단계; (c) 상기 복수의 분석 서버 각각에 의해, 상기 디코딩된 스트림 영상 각각을 상이한 종류의 분석 알고리즘을 이용해 분석한 분석 결과들을 출력하는 단계; (d) 상기 복수의 분석 서버 각각에 의해, 상기 분석 결과들을 통합 서버로 전송하는 단계; (e) 상기 통합 서버에 의해, 상기 분석 결과들을 통합한 통합 정보를 생성하는 단계; 및 (f) 상기 통합 서버에 의해, 상기 통합 정보를 인코딩하여 스트림 영상 재생 장치로 전송하는 단계;를 포함할 수 있다.
상기 디코딩된 스트림 영상 각각은 객체 단위로 구성되어 각각 하나의 객체 영역만을 포함할 수 있다.
상기 상이한 종류의 분석 알고리즘은 상기 객체의 속성 별로 정의될 수 있다.
실시예에 따른 분석 중계 서버는 스트림 영상에 대한 분석 요청을 복수의 분석 서버로 전송하고, 상기 분석 요청에 따라 상기 복수의 분석 서버 각각에서 상기 스트림 영상이 디코딩되어 생성된 디코딩된 스트림 영상 각각이 상기 복수의 분석 서버 각각에서 상이한 종류의 분석 알고리즘을 이용해 분석된 분석 결과들을 상기 복수의 분석 서버로부터 수신하는 통신부; 및 상기 분석 결과들을 통합한 통합 정보를 생성하고, 상기 통합 정보를 인코딩하여 스트림 영상 재생 장치로의 전송을 제어하는 제어부;를 포함할 수 있다.
실시예에 따르면, 분석 중계 서버, 복수의 분석 서버, 통합 서버를 포함하는 분석 영상 중계 시스템에 있어서, 상기 분석 중계 서버는 스트림 영상에 대한 분석 요청을 상기 복수의 분석 서버로 전송하고, 상기 복수의 분석 서버 각각은 상기 스트림 영상을 디코딩하여 생성된 디코딩된 스트림 영상 각각을 상이한 종류의 분석 알고리즘을 이용해 분석한 분석 결과들을 통합 서버로 전송하고, 상기 통합 서버는 상기 분석 결과들을 통합하여 생성한 통합 정보를 인코딩하여 스트림 영상 재생 장치로 전송할 수 있다.
본 발명에 따르면, 동일 객체에 대해 복수의 분석 서버 각각에서 동일 객체를 정의할 수 있는 상이한 속성과 관련된 분석 결과들을 출력하도록 함으로써, 하나의 서버에서 모든 분석 결과들을 출력하지 않고 분산 처리되도록 하여 처리 속도가 향상되며 효율적인 처리가 가능해진다.
본 발명에 따르면, 각 분석 서버에 복수의 객체가 포함된 동일 영상이 전송되더라도, 각 분석 서버가 처리 대상 객체를 선별하여 대응하는 알고리즘을 이용하여 분석을 수행하도록 함으로써, 하나의 영상에 복수의 객체가 포함된 경우에도 빠른 속도로 분산 처리하여 분석을 수행할 수 있게 된다.
분석 서버에서 출력한 각 분석 결과들을 통합한 통합 정보를 별도로 생성하여 하나의 경로를 통해 스트림 영상 재생 장치로 전송하도록 함으로써, 각 분석 결과들을 별개의 분석 서버로부터 획득하였더라도 통합적으로 관리할 수 있게 된다.
또한, 이로서, 각 분석 결과들이 서로 다른 타이밍에 비동기화 재생으로 인한 시간적인 불일치가 존재하지 않고, 통합적으로 한번에 동기화되어 재생될 수 있도록 하여 시간적인 일치가 자동으로 이루어질 수 있게 된다.
도 1은 실시예에 따른 분석 영상 중계 시스템을 설명하기 위한 도면이다.
도 2는 실시예에 따른 분석 영상 중계 시스템을 설명하기 위한 도면이다.
도 3은 실시예에 따른 분석 중계 서버의 블록도이다.
도 4는 실시예에 따른 분석 중계 서버의 분석 영상 중계 방법을 설명하기 위한 순서도이다.
도 5, 도 6, 도 8은 실시예에 따른 분석 영상 중계 방법을 설명하기 위해 참조되는 도면이다.
도 7은 다른 실시예에 따른 스트림 영상의 분석 중계 시스템을 설명하기 위한 도면이다.
도 2는 실시예에 따른 분석 영상 중계 시스템을 설명하기 위한 도면이다.
도 3은 실시예에 따른 분석 중계 서버의 블록도이다.
도 4는 실시예에 따른 분석 중계 서버의 분석 영상 중계 방법을 설명하기 위한 순서도이다.
도 5, 도 6, 도 8은 실시예에 따른 분석 영상 중계 방법을 설명하기 위해 참조되는 도면이다.
도 7은 다른 실시예에 따른 스트림 영상의 분석 중계 시스템을 설명하기 위한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도 1은 실시예에 따른 분석 영상 중계 시스템을 설명하기 위한 도면이다.
도 1에 도시한 바와 같이, 분석 영상 중계 시스템은 IP 카메라(10), 분석 중계 서버(20), 분석 서버(30), 및 스트림 영상 재생 장치(40) 사이의 데이터 송수신으로 구성된다.
실시예에 따른 분석 영상 중계 시스템은 VRS(Video Response System)에 기반하여 구현될 수 있다.
IP 카메라(10)는 객체를 촬영하여 실시간 스트림 영상을 생성할 수 있다. 실시예에 따르면, IP 카메라(10)는 CCTV 용 카메라, 스마트폰 카메라, 웹캠(webcam) 등 실시간 영상을 생성하여 제공할 수 있는 모든 종류의 네트워크 카메라를 포함할 수 있다.
분석 중계 서버(20)는 영상을 스트리밍 형태로 제공할 수 있다.
분석 중계 서버(20)는 통신부(230)를 통해 IP 카메라(10), 분석 서버(30), 및 스트림 영상 재생 장치(40)와 데이터 송수신을 수행할 수 있다.
분석 중계 서버(20)는 IP 카메라(10)로부터 제공되는 실시간 스트림 영상을 인코딩하여 분석 서버(30)로 전송할 수 있다.
분석 서버(30)는 분석 중계 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 디코딩된 스트림 영상을 생성하고, 디코딩된 스트림 영상으로부터 인공 지능 기반의 스트림 영상 분석 모델을 통해 분석 결과들을 출력할 수 있다.
분석 중계 서버(20)는 복수의 분석 서버(30)에서 출력된 분석 결과들을 통합하여 통합 정보를 생성하고, 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로 전송할 수 있다.
스트림 영상 재생 장치(40)는 영상을 재생하는 플레이어 어플리케이션을 구동할 수 있는 개인용 컴퓨터, 스마트폰 등 모든 종류의 장치를 포함할 수 있다.
스트림 영상 재생 장치(40)는 분석 중계 서버(20)로부터 수신한 통합 정보를 디스플레이부(미도시)에 출력할 수 있다.
도 2는 실시예에 따른 분석 영상 중계 시스템을 설명하기 위한 도면이고, 도 3은 실시예에 따른 분석 중계 서버(20)의 블록도이다.
이하, 도 2 및 도 3을 함께 참조하여 설명한다.
도 2에 도시한 바와 같이, 분석 중계 서버(20)는 IP 카메라(10)로부터 스트림 영상을 수신하여 저장부(220)에 저장할 수 있다(S1). 그리고, 저장된 스트림 영상에 대하여 블록화하여 병렬 인코딩 처리를 수행한 후, 처리 결과를 통신부(230)를 통해 분석 서버(30)에 전송할 수 있다.
실시예에 따르면, 인코딩된 스트림 영상은 스토리지(NAS, 50)로도 전송되어 스틸컷 이미지나 크롭된 객체별 이미지의 형태로 스토리지(NAS, 50)에 저장될 수 있다.
실시예에 따라 도 3을 함께 참조하면, 인코딩 모듈(211)은 IP 카메라(10)로부터 전송되는 스트림 영상들을 실시간 스트리밍 프로토콜(Real-Time Streaming Protocol, RTSP), 라우팅 테이블 프로토콜(Routing Table Protocol, RTP), 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP), 전송 제어 프로토콜/인터넷 프로토콜(Transport Control Protocol / Internet Protocol, TCP/IP), 하이퍼텍스트 전송 규약(HyperText Transfer Protocol, HTTP), H.264(동영상 압축 규격의 하나로, 비디오 데이터의 기록, 압축 및 배포를 위한 포맷), H.265(ITU-T VCEG에서 추진 중인 차세대 비디오 부호화 표준) 및 MPEG4(Moving Picture Experts Group 4) 중 적어도 하나의 표준 방식을 이용하여 스트림 영상들을 패킷 단위로 수신한 후, 수신된 스트림 영상 패킷에서 헤더를 제외한 페이로드에서 바이트 단위로 구분하는 디코딩을 수행할 수 있다.
인코딩 모듈(211)은 디코딩된 스트림 영상 데이터에 해당하는 영상의 프레임에 대해서 미리 설정된 단위 화소 면적(예, 64×64)으로 블록화하고 블록화된 데이터에 대한 인코딩을 병렬 처리 수단을 통해서 수행함으로써, 인코딩 처리 속도를 개선하여 고속으로 움직이는 객체가 출현 시 프레임 누락 현상을 방지할 수 있게 된다.
참고로, 본 발명의 스트림 영상은 오디오 및 비디오 정보를 함께 포함하는 것으로 정의될 수 있다.
분석 중계 서버(20)는 인코딩된 스트림 영상에 대한 분석 요청을 인코딩된 스트림 영상과 함께 복수의 분석 서버(30a, 30b, …, 30n, 30)로 전송할 수 있다(s2).
실시예에 따라 도 5 및 도 6을 참조하면, 복수의 IP 카메라(10, 10-1, …, 10-n)가 복수의 위치에 배치되어 동일 객체를 촬영하는 경우, 분석 중계 서버(20)는 복수의 위치에서 획득된 복수의 영상을 함께 인코딩할 수 있다. (여기서, 복수의 위치란 객체의 이동에 따른 상이한 장소를 의미한다.) 즉, 복수의 영상 각각은 객체의 위치 정보를 출력할 수 있고, 실시예에 따라 해당 객체의 위치 정보를 자막의 형태로 출력할 수 있다. 그리고, 인코딩된 스트림 영상은 복수의 위치 정보를 함께 포함할 수 있다.
실시예에 따르면, 분석 중계 서버(20)는 영상을 객체별로 구분하여 생성할 수 있다. 즉, 영상을 관심 대상인 사람, 차량 등 객체별로 구분하여 별개로 생성할 수 있다. 예를 들어, 도 6의 객체는 관심 대상인 특정 사람일 수 있고, 동일 사람에 대해 복수의 장소에서 생성되는 복수의 영상을 먹싱하여 인코딩을 수행할 수 있다. 이에 따라 객체 단위로 인코딩 영상이 생성될 수 있다. 그리고, 객체 단위로 생성된 인코딩 영상은 객체가 이동한 복수의 장소 정보를 출력할 수 있다.
다른 실시예에 따르면, 분석 중계 서버(20)는 복수의 객체의 영역을 포함하는 영상을 인코딩하여 분석 서버(30)로 전송할 수 있다.
한편, 분석 서버(30)는 분석 중계 서버(20)로부터 인코딩된 스트림 영상을 수신하여 분석함으로써 분석 결과들을 출력할 수 있다.(s3)
구체적으로, 분석 서버(30)는 스트림 영상에 대한 분석 요청에 따라 분석 중계 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 디코딩된 스트림 영상을 생성하고, 디코딩된 스트림 영상을 이용해 디코딩된 스트림 영상에 포함된 특정 객체 영역의 분석 결과들을 출력할 수 있다.
분석 서버(30)는 디코딩된 스트림 영상에 포함된 해당 특정 객체가 메모리(미도시)에 기 저장된 특정 객체와 매핑하는 지 여부를 판단하여, 매핑할 경우 해당 특정 객체와 관련된 분석 결과들을 출력하여 스트림 영상 재생 장치(40)로 제공할 수 있다.
여기서, 특정 객체는 검출 대상이 되는 것으로 미리 정해진 객체를 의미한다.
실시예에 따르면, 분석 결과들은 영상 프레임과 특성 정보를 포함하고, 패킷화되어 전송될 수 있다.
실시예에 따르면 특성 정보는 객체의 좌표값, 객체의 식별 정보, 및 객체의 크기 정보 중 적어도 하나를 포함할 수 있다.
실시예에 따르면, 객체의 좌표값은 바운딩 박스에 대응하는 2차원 좌표값(X,Y 좌표값, Width, Height)일 수 있다.
실시예에 따르면, 복수의 분석 서버(30) 각각은 상이한 종류의 분석 알고리즘을 이용해 디코딩된 스트림 영상 각각을 분석할 수 있다.
실시예에 따르면, 복수의 분석 서버(30) 각각은 분석 중계 서버(20)로부터 수신한 객체 단위로 구성된 인코딩된 스트림 영상을 각각 디코딩하여 객체 단위로 구성된 디코딩된 스트림 영상 각각을 생성하고, 하나의 객체 영역만을 포함하는 각각의 디코딩된 스트림 영상에 대해 객체의 속성 별로 정의된 상이한 종류의 알고리즘을 이용해 분석할 수 있다.
예를 들어, 각 디코딩된 스트림 영상에 포함된 객체가 사람인 경우, 복수의 분석 서버(30) 각각 중 제1 분석 서버는 사람의 안면 인식 알고리즘을 이용한 분석 결과들(예> 안면의 좌표, 안면 식별 정보, 안면의 크기 정보 등)을 출력하고, 제2 분석 서버는 사람의 홍채 인식 알고리즘을 이용한 분석 결과들(예> 홍채의 좌표, 홍채 식별 정보, 홍채의 크기 정보 등)을 출력하며, 제3 분석 서버는 사람의 행동 패턴 인식 알고리즘을 이용한 분석 결과들(예> 사람의 좌표, 사람 식별 정보, 사람의 크기 정보 등)을 출력할 수 있다.
만일, 각 디코딩된 스트림 영상에 포함된 객체가 차량인 경우, 복수의 분석 서버(30) 각각 중 제1 분석 서버는 차량의 번호 인식 알고리즘을 이용한 분석 결과들(예> 차량의 좌표, 차량 식별 정보, 차량의 크기 정보 등)을 출력하고, 제2 분석 서버는 차량의 종류 인식 알고리즘을 이용한 분석 결과들을 출력하며, 제3 분석 서버는 차량의 제조사 인식 알고리즘을 이용한 분석 결과들을 출력할 수 있다.
즉, 본 발명에 따르면, 동일 객체에 대해 복수의 분석 서버(30) 각각에서 동일 객체를 정의할 수 있는 상이한 속성과 관련된 분석 결과들을 출력하도록 함으로써, 하나의 서버에서 모든 분석 결과들을 출력하지 않고 분산 처리되도록 하여 처리 속도가 향상되며 효율적인 처리가 가능해진다.
특히, 각 디코딩된 스트림 영상은 하나의 객체 영역만을 포함하도록 구성되므로, 각 객체별 별도의 분석 서버(30)에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있게 된다.
한편, 다른 실시예에 따르면, 복수의 분석 서버(30) 각각은 분석 중계 서버(20)로부터 수신한 복수의 객체 영역을 포함하는 인코딩된 스트림 영상을 각각 디코딩하여 복수의 객체 영역을 포함하는 디코딩된 스트림 영상 각각을 생성하고, 각각의 디코딩된 스트림 영상에 대해 각 분석 서버별, 취급하는 대상 알고리즘에 해당하는 객체 영역에 대해서 각각 선별적으로 분석을 수행하여 분석 결과들을 출력할 수 있다.
즉, 객체의 종류 별 별도의 분석 서버(30)에서 분석이 수행될 수 있다.
예를 들어, 각 디코딩된 스트림 영상에 포함된 복수의 객체가 사람과 차량을 포함하고 있을 경우, 제1 분석 서버는 사람의 특성 인식 알고리즘을 이용한 분석 결과들(사람의 좌표, 사람의 크기, 사람 식별 정보 등)을 출력하고, 제2 분석 서버는 차량의 특성 인식 알고리즘을 이용한 분석 결과들(차량의 좌표, 차량의 크기, 차량 식별 정보 등)을 출력할 수 있다.
참고로, 여기서 제1 분석 서버와 제2 분석 서버는 각각 하나 또는 복수 개 일 수 있고, 제1 분석 서버가 복수 개 인 경우, 제1-1 분석 서버는 사람의 안면 인식 알고리즘을 이용한 분석 결과들을 출력하고, 제1-2 분석 서버는 사람의 홍채 인식 알고리즘을 이용한 분석 결과들을 출력하며, 제1-3 분석 서버는 사람의 행동 패턴 인식 알고리즘을 이용한 분석 결과들을 출력할 수 있다. 또한, 제2-1 분석 서버는 차량의 번호 인식 알고리즘을 이용한 분석 결과들을 출력하고, 제2-2 분석 서버는 차량의 종류 인식 알고리즘을 이용한 분석 결과들을 출력하며, 제2-3 분석 서버는 차량의 제조사 인식 알고리즘을 이용한 분석 결과들을 출력할 수 있다.
본 발명에 따르면, 이와 같이 각 분석 서버(30)에 복수의 객체가 포함된 동일 영상이 전송되더라도, 각 분석 서버(30)가 처리 대상 객체를 선별하여 대응하는 알고리즘을 이용하여 분석을 수행하도록 함으로써, 하나의 영상에 복수의 객체가 포함된 경우에도 빠른 속도로 분산 처리하여 분석을 수행할 수 있게 된다.
다만, 본 발명에서 사람과 차량은 객체의 종류 중 하나로 예시하였으며, 본 발명은 이에 제한되지 않고 사물 등 모든 종류의 유형의 객체를 포함할 수 있다.
한편, 실시예에 따르면, 각 분석 서버(30)는 인공 지능 기반의 스트림 영상 분석 모델을 이용해 디코딩된 스트림 영상에 대한 분석 결과들을 출력할 수 있다.
즉, 전술한 안면 인식 알고리즘, 홍채 인식 알고리즘, 행동 패턴 인식 알고리즘, 차량의 번호 인식 알고리즘, 차량의 종류 인식 알고리즘, 및 차량의 제조사 인식 알고리즘 중 적어도 하나는 각각 인공 지능 기반의 스트림 영상 분석 모델로 구현될 수 있다.
이하, 안면 인식과 관련하여 인공 지능 기반의 스트림 영상 분석 모델로 구현된 경우를 기술하나, 기타 다른 알고리즘의 경우에도 이와 동일/유사하게 적용될 수 있다.
도 8을 함께 참조하면, 분석 서버(30)는 신경망에 대한 학습을 통해 스트림 영상 분석 모델을 생성하고, 생성한 스트림 영상 분석 모델을 이용해 객체로부터 객체와 관련된 분석 결과들을 출력하는 추론 과정을 수행할 수 있다.
이를 위하여, 우선 분석 서버(30)의 제어부(미도시)는 미리 스트림 영상에 대한 데이터 셋트를 생성할 수 있다.
제어부(미도시)는 생성한 데이터 셋트를 딥러닝 알고리즘에 적용 가능하도록 전처리할 수 있다.
예를 들어, 이미지 자르기(crop), 평행 이동 하기(shift), 뒤집기(flipping), 색상 조정 등의 전처리를 수행할 수 있다.
제어부(미도시)는 전처리된 데이터 셋트를 미리 준비된 신경망에 입력시키고, 특정 객체의 특성 정보를 신경망으로부터 출력시키는 기계 학습을 반복적으로 수행하여 스트림 영상 분석 모델을 구축할 수 있다.
실시예에 따르면 전처리된 데이터 셋트를 입력으로 하는 합성곱 신경망(Convolutional Neural Networks)과, 합성곱 신경망의 출력을 입력으로 하는 완전 연결 심층 신경망(Fully Connected Neural Networks)에 대한 기계 학습을 통해 스트림 영상 분석 모델을 구축할 수 있다.
실시예에 따르면, 전처리된 데이터 셋트를 합성곱 신경망이 입력받아 객체의 특징을 분석한 특징 패턴 정보를 출력할 수 있다.
또한, 합성곱 신경망에서 출력된 특징 패턴 정보는 완전 연결 심층 신경망에 입력되어 학습을 수행함으로써 분류된 객체에 해당하는 분석 결과들을 출력하는 스트림 영상 분석 모델이 구축될 수 있다.
구체적으로, 합성곱 신경망은 스트림 영상에 커널을 이용해 특징 패턴 정보를 나타내는 피쳐맵을 출력할 수 있고, 이 과정에서 스트림 영상에 대한 풀링과 드롭아웃을 수행할 수 있다.
그리고, 전처리된 데이터 셋트를 이용해 상기 신경망들을 통해 출력된 결과와 트레이닝 데이터를 상기 신경망들을 통해 출력한 결과와의 오차를 비교하여 신경망의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 과정을 통해 학습될 수 있다.
즉, 특징 패턴 정보가 완전 연결 심층 신경망에 입력되어 상기 학습을 통해 분류된 객체에 해당하는 분석 결과들이 출력될 수 있다.
참고로, 도 8을 참조하면, 합성곱 신경망을 이용해 스트림 영상으로부터 커널을 이용해 특징 패턴 정보를 출력하고, 특징 패턴 정보가 완전 연결 심층 신경망에 입력되어 트럼프 얼굴, 워싱턴 얼굴, 클린턴 얼굴.. 중 분류된 트럼프 얼굴에 대응하는 특성 정보(트럼프 얼굴 식별 정보, 2차원 좌표값(X,Y 좌표값, Width, Height)..)가 출력될 수 있다.
실시예에 따르면, 상기 학습의 경우, 스트림 영상으로부터 특정 객체가 사람인지 여부를 1차적으로 검출하고, 사람으로 판별되면 2차적으로 사람의 얼굴에 대한 안면 인식 정보를 검출하도록 구현될 수도 있다.
본 발명에서는 신경망으로 CNN과 FCNN을 이용한 것을 예시하였으나, 이는 일 실시예에 불과하고, DNN(Deep Neural Network)이나 RNN(Recurrent Neural Network) 등 다양한 신경망을 이용하는 경우에도 본 발명이 동일/유사하게 적용될 수 있다.
제어부(미도시)는 스트림 영상 속 특정 객체가 검출하고자 하는 객체가 맞을 경우, 구축된 스트림 영상 분석 모델을 통해 추론 과정을 수행하여 특정 객체에 대한 특성 정보를 출력할 수 있다.
실시예에 따르면, 제어부(미도시)는 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 분석 서버(30)에 탑재될 수 있다.
예를 들어, NPU(Neural Processing Unit)와 같은 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작되거나, 기존의 범용 프로세서(예: CPU 또는 Application Processor) 또는 그래픽 전용 프로세서(예: GPU(Graphic Processing Unit) 또는 VPU(Visual Processing Unit))의 일부로 제작되어 분석 서버(30)에 탑재될 수도 있다.
본 발명에 따르면, 이와 같이 스트림 영상을 객체 단위로 구별하여 생성하고, 각 객체의 속성 별 또는 각 객체의 종류 별 별도의 분석 서버(30)에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있게 된다.
한편, 실시예에 따르면, 각 분석 서버(30)에서 출력된 분석 결과들은 스토리지(NAS, 50)로도 전송되어 실시간 스트리밍 영상재생 프로세스와 별개로 추후 사용자 요청에 의해 영상을 다시 반복하여 재생하기 위해 활용될 수 있다. 이에 대한 내용은 후술한다.
한편, 복수의 분석 서버(30)는 분석 결과들을 각각 분석 중계 서버(20)로 전송할 수 있다(s4).
그리고, 분석 중계 서버(20)는 분석 결과들을 하나로 통합한 통합 정보를 생성하고, 생성한 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로 전송할 수 있다(s5, s6).
인코딩된 통합 정보는 TCP/IP 프로토콜 등을 통해 패킷 단위로 전송될 수 있다.
실시예에 따르면, 각 분석 서버(30)가 분석한 분석 결과들이 검색 대상이 되는 객체에 대응하는 경우에만 각 분석 결과들을 분석 중계 서버(20)로 전송하기 때문에, 분석 중계 서버(20)는 별도로 검색 대상의 적합성 여부를 판별하지 않고 바로 통합 정보만을 생성하여 인코딩한 후 스트림 영상 재생 장치(40)로 전송할 수 있다.
한편, 다른 실시예에 따르면, 각 분석 서버(30)가 분석한 분석 결과들이 비검색 대상 객체에 대응하는 정보까지 포함하는 경우, 2차적으로 필터링을 다시 할 수 있다.
이 경우, 분석 중계 서버(20)는 통합 정보가 저장부(220)에 기 저장된 분석 대상이 되는 객체에 해당하는 정보인지 여부를 판별하여, 통합 정보가 상기 분석 대상이 되는 객체에 해당하는 정보인 것으로 판별하는 경우 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로 전송할 수 있다.
구체적으로, 분석 중계 서버(20)는 검색 대상에 대한 정보를 미리 저장부(220)에 기록하고, 통합 정보가 검색 대상에 대한 정보인 것으로 판별하는 경우 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로 전송할 수 있다.
반면, 분석 중계 서버(20)는 통합 정보가 저장부(220)에 기 저장된 분석 대상 영상에 해당하는 정보가 아닌 것으로 판별하는 경우 스트림 영상만을 스트림 영상 재생 장치로 전송하여 재생되도록 할 수 있다.
즉, 본 발명에 따르면, 각 분석 서버(30)에서 출력한 각 분석 결과들을 별도의 경로를 통해 개별적으로 스트림 영상 재생 장치(40)로 전송하는 것이 아닌, 각 분석 서버(30)에서 출력한 각 분석 결과들을 통합한 통합 정보를 별도로 생성하여 하나의 경로를 통해 스트림 영상 재생 장치(40)로 전송하도록 함으로써, 각 분석 결과들을 별개의 분석 서버(30)로부터 획득하였더라도 통합적으로 관리할 수 있게 된다.
또한, 이로서, 각 분석 결과들이 서로 다른 타이밍에 비동기화 재생으로 인한 시간적인 불일치가 존재하지 않고, 통합적으로 한번에 동기화되어 재생될 수 있도록 하여 시간적인 일치가 자동으로 이루어질 수 있게 된다.
한편, 지금까지는 실시간 스트림 영상 재생을 위한 분석 중계(s1 내지 s6)에 대하여 기술하였으나, 스토리지(50)에 저장된 정보들을 이용하여 스트림 영상 재생이 종료된 이후에도 사용자 요청에 의해 동일 영상을 다시 재생할 수 있다.
예를 들어, 분석 중계 서버(20)로부터 전송된 스트림 영상은 스토리지(NAS, 50)로도 전송되어 스틸컷 이미지나 크롭된 객체별 이미지의 형태로 저장될 수 있고, 이와 더불어, 분석 서버(30)에서 출력된 분석 결과들 또한 스토리지(NAS, 50)로 전송되어 저장될 수 있다.
이 때, 사용자가 이미 실시간으로 재생되었던 스트림 영상이나 특정 객체에 대해 다시 재생하고자 하는 경우, 해당 요청 정보가 스트림 영상 재생 장치(40)를 통해 WAS(Web Application Server, 미도시)를 경유하여 스토리지(50)로 전송되고, 스트림 영상 재생 장치(40)는 스토리지(50)로부터 상기 요청 정보에 대응하는 스틸컷 이미지나 객체별 이미지, 그리고 분석 결과들을 수신하여 동일 영상을 필요에 의해 다시 재생할 수 있다.
다만, 다른 실시예에 따르면, 스토리지(50)는 스틸컷 이미지나 크롭된 객체별 이미지를 저장하고, 별도의 저장 서버(미도시)에서 분석 서버(30)에서 출력된 특성 정보를 별도로 보관하고 있다가 상기 사용자 요청에 의해 각 정보들이 재생에 활용될 수 있다.
스트림 영상 재생 장치(40)는 분석 중계 서버(20)로부터 인코딩된 통합 정보를 수신할 수 있다. 구체적으로, 스트림 영상 재생 장치(40)는 인코딩된 통합 정보에 대한 수신 완료 패킷을 분석 중계 서버(20)로 전송하여 인코딩된 통합 정보가 재전송되지 않도록 할 수 있다.
스트림 영상 재생 장치(40)는 수신한 인코딩된 통합 정보를 디코딩할 수 있다.
이에 따라, 영상 프레임과 특성 정보를 포함하는 분석 결과들이 스트림 영상 재생 장치(40)에 출력될 수 있다.
이 때, 검색된 객체 상에 해당 좌표값에 대응하는 바운딩 박스를 렌더링하여 출력할 수 있다.
실시예에 따르면, 바운딩 박스와 함께 특성 정보(객체의 좌표값(즉, 바운딩 박스에 대응하는 2차원 좌표값(X,Y 좌표값, Width, Height)), 객체의 식별 정보, 객체의 크기 정보 등)도 함께 렌더링되어 스트림 영상 재생 장치(40)의 디스플레이부(미도시)에 출력될 수 있다.
도 3은 실시예에 따른 분석 중계 서버(20)의 블록도이고, 도 4는 실시예에 따른 분석 중계 서버(20)의 동작을 설명하는 순서도이다.
도 3 및 도 4를 함께 참조하면, 인코딩 모듈(211)은 IP 카메라(10)로부터 스트림 영상을 수신하여 저장부(220)에 저장할 수 있다. 그리고, 저장된 스트림 영상에 대하여 블록화하여 병렬 인코딩 처리를 수행할 수 있다.
통신부(230)는 처리 결과를 스트림 영상에 대한 분석 요청과 함께 복수의 분석 서버(30)로 전송할 수 있다(s410).
복수의 분석 서버(30) 각각에서 스트림 영상을 디코딩하여 상이한 종류의 분석 알고리즘을 이용해 분석된 분석 결과들을 출력하면, 통신부(230)는 분석 결과들을 복수의 분석 서버(30) 각각으로부터 수신할 수 있다(s420).
제어부(210)는 통합 영상 생성 모듈(212)을 통해 분석 결과들을 하나로 통합한 통합 정보를 생성하고(s430), 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로의 전송을 제어할 수 있다(s440).
도 7은 다른 실시예에 따른 스트림 영상의 분석 중계 시스템을 설명하기 위한 도면이다.
도 7의 실시예는 도 2에서 전술한 내용이 동일/유사하게 적용될 수 있다.
도 7은 별도의 통합 서버(60)를 포함하는 경우를 예시하는 것으로, s11 내지 s31은 도 2의 s1 내지 s3과 동일/유사하게 적용될 수 있다.
도 7의 실시예에 따르면, 별도의 통합 서버(60)를 배치하여 분석 중계 서버(20) 대신 분석 결과 통합 및 인코딩 전송의 과정을 수행하도록 하여 스트림 영상의 실시간 수신 및 처리에 따른 분석 중계 서버(20)의 업무 로드를 분산시켜 처리 속도가 보다 빨라지고 원할한 처리가 가능해진다.
도 7에 따르면, 복수의 분석 서버(30)는 분석 결과들을 각각 통합 서버(60)로 전송할 수 있다(s41).
그리고, 통합 서버(60)는 분석 결과들을 하나로 통합한 통합 정보를 생성하고, 생성한 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로 전송할 수 있다(s51, s61).
인코딩된 통합 정보는 TCP/IP 프로토콜 등을 통해 패킷 단위로 전송될 수 있다.
실시예에 따르면, 각 분석 서버(30)가 분석한 분석 결과들이 검색 대상이 되는 객체에 대응하는 경우에만 각 분석 결과들을 통합 서버(60)로 전송하기 때문에, 통합 서버(60)는 별도로 검색 대상의 적합성 여부를 판별하지 않고 바로 통합 정보만을 생성하여 인코딩한 후 스트림 영상 재생 장치(40)로 전송할 수 있다.
한편, 다른 실시예에 따르면, 각 분석 서버(30)가 분석한 분석 결과들이 비검색 대상 객체에 대응하는 정보까지 포함하는 경우, 2차적으로 필터링을 다시 할 수 있다.
이 경우, 통합 서버(60)는 통합 정보가 저장부(미도시)에 기 저장된 분석 대상이 되는 객체에 해당하는 정보인지 여부를 판별하여, 통합 정보가 상기 분석 대상이 되는 객체에 해당하는 정보인 것으로 판별하는 경우 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로 전송할 수 있다.
구체적으로, 통합 서버(60)는 검색 대상에 대한 정보를 미리 저장부(미도시)에 기록하고, 통합 정보가 검색 대상에 대한 정보인 것으로 판별하는 경우 통합 정보를 인코딩하여 스트림 영상 재생 장치(40)로 전송할 수 있다.
반면, 분석 중계 서버(20)는 통합 정보가 저장부(미도시)에 기 저장된 분석 대상 영상에 해당하는 정보가 아닌 것으로 판별하는 경우 스트림 영상만을 스트림 영상 재생 장치로 전송하여 재생되도록 할 수 있다.
즉, 본 발명에 따르면, 각 분석 서버(30)에서 출력한 각 분석 결과들을 별도의 경로를 통해 개별적으로 스트림 영상 재생 장치(40)로 전송하는 것이 아닌, 각 분석 서버(30)에서 출력한 각 분석 결과들을 통합한 통합 정보를 별도로 생성하여 하나의 경로를 통해 스트림 영상 재생 장치(40)로 전송하도록 함으로써, 각 분석 결과들을 별개의 분석 서버(30)로부터 획득하였더라도 통합적으로 관리할 수 있게 된다.
또한, 이로서, 각 분석 결과들이 서로 다른 타이밍에 비동기화 재생으로 인한 시간적인 불일치가 존재하지 않고, 통합적으로 한번에 동기화되어 재생될 수 있도록 하여 시간적인 일치가 자동으로 이루어질 수 있게 된다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (12)
- (a) 스트림 영상에 대한 분석 요청을 복수의 분석 서버로 전송하는 단계;
(b) 상기 분석 요청에 따라 상기 복수의 분석 서버 각각에서 상기 스트림 영상이 디코딩되고, 상기 디코딩된 스트림 영상 각각이 상기 복수의 분석 서버 각각에서 상이한 종류의 분석 알고리즘을 이용해 분석된 분석 결과들을 상기 복수의 분석 서버로부터 수신하는 단계;
(c) 상기 분석 결과들을 통합한 통합 정보를 생성하는 단계; 및
(d) 상기 통합 정보를 인코딩하여 스트림 영상 재생 장치로 전송하는 단계;를 포함하고,
상기 디코딩된 스트림 영상 각각은 객체 단위로 구성되어 각각 하나의 객체의 영역만을 포함하고,
상기 상이한 종류의 분석 알고리즘은 상기 하나의 객체의 속성 별로 정의되고,
상기 하나의 객체는 동일 객체를 나타내며,
상기 통합 정보는 상기 하나의 객체의 상기 복수의 분석 서버 각각에서 상기 상이한 종류의 분석 알고리즘을 이용해 분석된 상이한 분석 결과가 통합되어 생성된 것이고,
상기 통합 정보 생성에 의해 상기 분석 결과들은 동기화되고 ,
상기 (d)는,
상기 통합 정보가 기 저장된 분석 대상 객체에 해당하는 정보인지 여부를 판별하여, 상기 통합 정보가 상기 기 저장된 분석 대상 객체에 해당하는 정보인 것으로 판별하는 경우, 상기 통합 정보를 인코딩하여 상기 스트림 영상 재생 장치로 전송하고,
상기 분석 결과들은 상기 디코딩된 스트림 영상 각각에 포함된 상기 하나의 객체의 영역의 좌표값, 상기 하나의 객체의 식별 정보, 및 상기 하나의 객체의 크기 정보를 포함하며,
상기 스트림 영상과 상기 분석 결과들은 상기 스트림 영상 재생 장치를 통해 실시간 재생되고,
상기 스트림 영상은 스토리지로도 전송되어 크롭된 객체 이미지의 형태로 상기 스토리지에 저장되고, 상기 분석 결과들은 또한 상기 스토리지로도 전송되어 상기 스토리지에 저장되고,
상기 스토리지에 저장된 상기 크롭된 객체 이미지 및 상기 분석 결과들은 상기 실시간 재생의 종료 이후에 사용자 요청에 의해 상기 스트림 영상 재생 장치를 통해 다시 재생되는,
분석 중계 서버의 분석 영상 중계 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 상이한 종류의 분석 알고리즘은 인공 지능 기반의 스트림 영상 분석 모델로 구현되고,
상기 (b)는,
상기 복수의 분석 서버 각각에서 상기 인공 지능 기반의 스트림 영상 분석 모델을 이용하여 상기 디코딩된 스트림 영상 각각으로부터 출력한 상기 분석 결과들을 상기 복수의 분석 서버로부터 수신하는,
분석 중계 서버의 분석 영상 중계 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210071876A KR102549073B1 (ko) | 2021-06-03 | 2021-06-03 | 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210071876A KR102549073B1 (ko) | 2021-06-03 | 2021-06-03 | 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220163577A KR20220163577A (ko) | 2022-12-12 |
| KR102549073B1 true KR102549073B1 (ko) | 2023-06-29 |
Family
ID=84391520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210071876A KR102549073B1 (ko) | 2021-06-03 | 2021-06-03 | 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102549073B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101793636B1 (ko) * | 2017-05-31 | 2017-11-03 | 주식회사 투윈스컴 | 통합 지능형 cctv 영상 처리 시스템 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101782339B1 (ko) * | 2016-01-29 | 2017-10-12 | 케이에스아이 주식회사 | 다중객체 영상분석 및 그 결과 제공을 위한 영상분석 시스템 |
-
2021
- 2021-06-03 KR KR1020210071876A patent/KR102549073B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101793636B1 (ko) * | 2017-05-31 | 2017-11-03 | 주식회사 투윈스컴 | 통합 지능형 cctv 영상 처리 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220163577A (ko) | 2022-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6963467B2 (ja) | ビデオシーケンスにおける動作認識 | |
| US11089214B2 (en) | Generating output video from video streams | |
| US9305331B2 (en) | Image processor and image combination method thereof | |
| US11748870B2 (en) | Video quality measurement for virtual cameras in volumetric immersive media | |
| US11373685B2 (en) | Event/object-of-interest centric timelapse video generation on camera device with the assistance of neural network input | |
| US9805267B2 (en) | Video processing system with photo generation and methods for use therewith | |
| US10224073B2 (en) | Auto-directing media construction | |
| KR102549073B1 (ko) | 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템 | |
| US20230319249A1 (en) | Systems and methods for improved delivery and display of 360-degree content | |
| CN113068059B (zh) | 视频直播方法、装置、设备及存储介质 | |
| KR102500923B1 (ko) | 스트림 영상 재생 장치 및 스트림 영상 재생 시스템 | |
| US11910038B2 (en) | Crop-based compression of videos | |
| Kajak | Impact of video compression on the performance of object detection algorithms in automotive applications | |
| US20190130651A1 (en) | Generating virtual reality and augmented reality content for a live event | |
| US20240062385A1 (en) | Method, apparatus, and non-transitory computer-readable storage medium storing a program for monitoring motion in video stream | |
| US20230276111A1 (en) | Video processing | |
| KR20180058155A (ko) | 패턴 인식기반 동적 적응형 스트리밍 cctv 시스템 및 그 방법 | |
| KR20230001453A (ko) | 사용자 선호도 기반의 트레일러 영상 생성 방법 및 이를 위한 사용자 단말기 | |
| Wong et al. | Audio-visual recognition system insusceptible to illumination variation over internet protocol | |
| Cymbalák et al. | Mechanism for video streaming control related to tracked speaker position |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |