KR20220163574A - 스트림 영상 재생 장치 및 스트림 영상 재생 시스템 - Google Patents

스트림 영상 재생 장치 및 스트림 영상 재생 시스템 Download PDF

Info

Publication number
KR20220163574A
KR20220163574A KR1020210071873A KR20210071873A KR20220163574A KR 20220163574 A KR20220163574 A KR 20220163574A KR 1020210071873 A KR1020210071873 A KR 1020210071873A KR 20210071873 A KR20210071873 A KR 20210071873A KR 20220163574 A KR20220163574 A KR 20220163574A
Authority
KR
South Korea
Prior art keywords
stream
stream video
image
stream image
analysis server
Prior art date
Application number
KR1020210071873A
Other languages
English (en)
Other versions
KR102500923B1 (ko
Inventor
한준섭
윤태형
Original Assignee
주식회사 지미션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지미션 filed Critical 주식회사 지미션
Priority to KR1020210071873A priority Critical patent/KR102500923B1/ko
Publication of KR20220163574A publication Critical patent/KR20220163574A/ko
Application granted granted Critical
Publication of KR102500923B1 publication Critical patent/KR102500923B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

실시예에 따른 스트림 영상 재생 장치는 디스플레이부; 및 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 스트리밍 서버로부터 전송된 상기 스트림 영상이 분석 서버에서 디코딩되어 생성된 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하기 위한 제어부;를 포함할 수 있다.

Description

스트림 영상 재생 장치 및 스트림 영상 재생 시스템{Stream video playback device and stream video playback system}
본 발명은 스트림 영상 재생 장치 및 스트림 영상 재생 시스템에 관한 것으로, 보다 구체적으로 실시간 스트림 영상을 재생하는 장치와 동일 스트림 영상에 대한 분석을 수행하는 장치가 별개인 경우에도 스트림 영상이 끊기지 않고 연속적으로 재생될 수 있는 환경을 제공하기 위한, 스트림 영상 재생 장치 및 스트림 영상 재생 시스템에 관한 것이다.
현재 보안용 CCTV가 전국 곳곳에 설치되어 객체를 촬영한 영상으로부터 사람, 차량 등 찾고자 하는 특정 객체를 검출할 수 있다.
이러한 CCTV의 영상 제공으로 경찰청, 국정원 등 모든 종류의 단체에서 해당 영상으로부터 검출된 특정 객체에 대한 정보를 유용하게 제공받을 수 있게 된다.
그런데, 일반적으로 CCTV에서 제공되는 영상은 실시간 스트리밍 영상으로 제공되어 재생 단말단에서 재생하는 과정에서 해당 영상이 일부 끊기거나 오류가 발생하는 등의 문제가 종종 있어왔다.
특히, CCTV에서 제공되는 실시간 스트리밍 영상은 그 성격상 용량이 매우 방대하므로, 객체를 검출하기 위해서 별도의 분석 서버가 구비되어야 하는 필요성이 있다.
그런데, 만일 재생 단말단과 별개로 분석 서버가 구비되도록 하게 된다면, 위와 같은 영상의 끊김 형상은 보다 자주 발생할 것이다.
이와 같이 실시간 재생되는 스트리밍 영상에 있어서 영상의 불연속 재생을 경험하게 되면 사용자는 불편함을 호소하게 되는 문제점이 있게 된다.
따라서, 별도의 분석 서버에서 객체를 검출하는 환경을 제공하면서도, 이와 함께 해당 검출 정보를 재생 단말단에서 정확한 타이밍에 수신하여 영상이 연속적으로 재생될 수 있도록 해야하는 니즈가 있다.
본 발명에 따르면, 위와 같은 니즈가 반영되어 도출된 것으로, 별도의 분석 서버를 마련하여 해당 분석 서버를 통해 객체에 대한 특성 정보를 생성하도록 하면서도, 스트림 영상 재생 장치가 해당 특성 정보를 참조하여 스트림 영상을 재생하는 데 있어서 연속적으로 재생될 수 있도록 하는 데에 그 목적이 있다.
구체적으로, 스트림 영상 재생 장치가 스트리밍 서버로부터 직접 수신한 영상과 분석 서버를 경유하여 획득된 영상의 특성 정보를 참조하는데 있어서, 각 영상간 타임 스탬프 정보의 일치 여부를 참조하여 영상 간 동기화를 수행할 수 있게 되어, 실시간 스트림 영상이 끊기지 않고 재생될 수 있도록 하는 데에 그 목적이 있다.
본 발명에 따르면, 1차적으로 동기화를 수행하고, 상황에 따라 2차적으로 다시 사용자에 의한 조정 명령이 반영된 결과로 동기화를 수행하도록 함으로써, 사용자는 끊기지 않는 스트림 영상을 제공받을 수 있도록 하는 데에 그 목적이 있다.
본 발명에 따르면, 스트림 영상을 객체 단위로 구별하여 생성하고, 각 객체별 종류에 따라 상이한 분석 서버에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있도록 하는 데에 그 목적이 있다.
실시예에 따른 스트림 영상 재생 장치는 디스플레이부; 및 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 스트리밍 서버로부터 전송된 상기 스트림 영상이 분석 서버에서 디코딩되어 생성된 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하기 위한 제어부;를 포함할 수 있다.
상기 제어부는, 상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력할 수 있다.
상기 제어부는, 사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성하고, 상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력할 수 있다.
상기 스트림 영상은 객체 단위로 구별되어 생성된 것일 수 있다.
다른 실시예에 따른 스트림 영상 재생 시스템은 영상을 스트리밍 형태로 제공하는 스트리밍 서버; 상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 출력하는 분석 서버; 및 상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 상기 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력하는 스트림 영상 재생 장치;를 포함할 수 있다.
상기 스트림 영상 재생 장치는, 상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력할 수 있다.
상기 스트림 영상 재생 장치는, 사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성하고, 상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력할 수 있다.
상기 스트림 영상은 객체 단위로 구별되어 생성된 것일 수 있다.
상기 분석 서버는 복수 개이고, 상기 복수 개의 분석 서버마다 상이한 종류의 객체에 대응하는 좌표 정보를 출력할 수 있다.
상기 분석 서버는, 신경망을 학습하여 생성된 스트림 영상 분석 모델을 통해 상기 제2 스트림 영상을 이용하여 상기 제2 스트림 영상에 포함된 상기 객체의 좌표 정보를 출력할 수 있다.
본 발명에 따르면, 스트림 영상 재생 장치가 스트리밍 서버로부터 직접 수신한 영상과 분석 서버를 경유하여 획득된 영상의 특성 정보를 참조하는데 있어서, 각 영상간 타임 스탬프 정보의 일치 여부를 참조하여 영상 간 동기화를 수행할 수 있게 되어, 실시간 스트림 영상이 끊기지 않고 재생될 수 있게 된다.
본 발명에 따르면, 1차적으로 동기화를 수행하고, 상황에 따라 2차적으로 다시 사용자에 의한 조정 명령이 반영된 결과로 동기화를 수행하도록 함으로써, 사용자는 끊기지 않는 스트림 영상을 제공받을 수 있게 된다.
본 발명에 따르면, 스트림 영상을 객체 단위로 구별하여 생성하고, 각 객체별 종류에 따라 상이한 분석 서버에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있게 된다.
도 1은 실시예에 따른 스트림 영상 재생 시스템을 설명하기 위한 도면이다.
도 2는 실시예에 따른 스트림 영상 재생 시스템을 통한 스트림 영상 재생 방법을 설명하기 위한 도면이다.
도 3은 실시예에 따른 스트리밍 서버(20)의 블록도이다.
도 4는 실시예에 따른 스트림 영상 재생 장치(30)의 블록도이다.
도 5는 실시예에 따른 스트림 영상 재생 장치(30)의 재생 방법을 설명하기 위한 순서도이다.
도 6 및 도 7은 실시예에 따라 객체 별로 생성되는 스트림 영상을 설명하기 위해 참조되는 도면이다.
도 8은 실시예에 따른 분석 서버(40)의 블록도이다.
도 9는 실시예에 따른 분석 서버(40)의 동작 수행을 설명하기 위한 도면이다.
도 10은 실시예에 따른 스트림 영상 재생 장치(30)를 통해 출력되는 렌더링 화면의 예시이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도 1은 실시예에 따른 스트림 영상 재생 시스템을 설명하기 위한 도면이다.
도 1에 도시한 바와 같이, 스트림 영상 재생 시스템은 IP 카메라(10), 스트리밍 서버(20), 스트림 영상 재생 장치(30), 및 분석 서버(40) 사이의 데이터 송수신으로 구성된다.
IP 카메라(10)는 객체를 촬영하여 실시간 스트림 영상을 생성할 수 있다. 실시예에 따르면, IP 카메라(10)는 CCTV 용 카메라, 스마트폰 카메라, 웹캠(webcam) 등 실시간 영상을 생성하여 제공할 수 있는 모든 종류의 네트워크 카메라를 포함할 수 있다.
스트리밍 서버(20)는 영상을 스트리밍 형태로 제공할 수 있다.
스트리밍 서버(20)는 통신부(230)를 통해 IP 카메라(10), 분석 서버(40), 및 스트림 영상 재생 장치(30)와 데이터 송수신을 수행할 수 있다.
스트리밍 서버(20)는 IP 카메라(10)로부터 제공되는 실시간 스트림 영상을 인코딩하여 분석 서버(40) 및 스트림 영상 재생 장치(30)로 전송할 수 있다.
분석 서버(40)는 통신부(430)를 통해 스트리밍 서버(20), 분석 중개 서버(50), 및 스트림 영상 재생 장치(30)와 데이터 송수신을 수행할 수 있다.
분석 서버(40)는 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 제2 스트림 영상으로부터 스트림 영상 분석 모델을 통해 제2 스트림 영상에 포함된 특정 객체의 좌표 정보를 출력할 수 있다.
스트림 영상 재생 장치(30)는 영상을 재생하는 플레이어 어플리케이션을 구동할 수 있는 개인용 컴퓨터, 스마트폰 등 모든 종류의 장치를 포함할 수 있다.
스트림 영상 재생 장치(30)는 통신부(340)를 통해 스트리밍 서버(20), 분석 서버(40), 및 분석 중개 서버(50)와 데이터 송수신을 수행할 수 있다.
스트림 영상 재생 장치(30)는 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 분석 서버(40)로부터 제2 스트림 영상에 포함된 특정 객체의 좌표 정보를 수신하여, 제1 스트림 영상에 포함된 객체에 분석 서버(40)로부터 수신한 객체의 좌표 정보를 렌더링하여 출력할 수 있다.
도 2는 실시예에 따른 스트림 영상 재생 시스템을 통한 스트림 영상 재생 방법을 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 스트리밍 서버(20)는 IP 카메라(10)로부터 스트림 영상을 수신하여 저장부(220)에 저장할 수 있다(S1). 그리고, 저장된 스트림 영상 에 대하여 블록화하여 병렬 인코딩 처리를 수행한 후, 처리 결과를 스트림 영상 재생 장치(30) 및 분석 서버(40)에 전송할 수 있다.
구체적으로 도 3을 함께 참조하면, 인코딩 모듈(211)은 IP 카메라(10)로부터 전송되는 스트림 영상들을 실시간 스트리밍 프로토콜(Real-Time Streaming Protocol, RTSP), 라우팅 테이블 프로토콜(Routing Table Protocol, RTP), 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP), 전송 제어 프로토콜/인터넷 프로토콜(Transport Control Protocol / Internet Protocol, TCP/IP), 하이퍼텍스트 전송 규약(HyperText Transfer Protocol, HTTP), H.264(동영상 압축 규격의 하나로, 비디오 데이터의 기록, 압축 및 배포를 위한 포맷), H.265(ITU-T VCEG에서 추진 중인 차세대 비디오 부호화 표준) 및 MPEG4(Moving Picture Experts Group 4) 중 적어도 하나의 표준 방식을 이용하여 스트림 영상들을 패킷 단위로 수신한 후, 수신된 스트림 영상 패킷에서 헤더를 제외한 페이로드에서 바이트 단위로 구분하는 디코딩을 수행할 수 있다.
인코딩 모듈(211)은 디코딩된 스트림 영상 데이터에 해당하는 영상의 프레임에 대해서 미리 설정된 단위 화소 면적(예, 64×64)으로 블록화하고 블록화된 데이터에 대한 인코딩을 병렬 처리 수단을 통해서 수행함으로써, 인코딩 처리 속도를 개선하여 고속으로 움직이는 객체가 출현 시 프레임 누락 현상을 방지할 수 있게 된다.
참고로, 본 발명의 스트림 영상은 오디오 및 비디오 정보를 함께 포함하는 것으로 정의될 수 있다.
영상 전송 제어 모듈(212)는 인코딩된 스트림 영상을 스트림 영상 재생 장치(30) 및 분석 서버(40) 각각에 대한 전송을 제어할 수 있다.
즉, 본 발명에 따르면, 인코딩된 스트림 영상을 스트림 영상 재생 장치(30) 및 분석 서버(40)에 함께 전송하고, 이를 수신한 스트림 영상 재생 장치(30)에서 영상에 포함된 객체의 좌표 정보를 추출하는 것이 아닌, 별도의 분석 서버(40)에서 객체의 좌표 정보를 추출한 후에 해당 결과를 스트림 영상 재생 장치(30)에 전송하여, 스트림 영상 재생 장치(30)를 통해 추출된 객체의 좌표 정보가 스트림 영상에 렌더링되어 출력되는 것을 특징으로 한다.
이로써, 객체의 좌표 정보 등의 특성 정보 추출은 별도의 서버 장비에서 인공 지능을 이용해 빠르게 이루어지도록 하여, 스트림 영상 재생 장치(30)의 작업 로드가 줄어들고 보다 빠른 처리가 가능해진다.
특히, 스트림 영상의 특성 상 많은 용량의 영상과 객체의 좌표 정보를 추출해서 객체를 식별하게 되므로, 이는 스트림 영상 재생 장치(30)보다 분석 서버(40)에서 별도로 이루어짐이 바람직하다. 더욱이, 본 발명의 경우, 분석 서버(40)도 식별 대상이 되는 객체의 종류마다 별도로 구비되도록 함으로써, 보다 빠르고 효율적인 작업 처리가 가능해진다.
다만, 객체의 좌표 정보 추출이 스트림 영상 재생 장치(30)에서 직접 수행되는 것이 아니므로, 영상 간 타임 스탬프를 확인하여 서로 간에 동기화를 시키는 과정이 필요하며, 이에 대한 자세한 내용은 후술한다.
한편, 실시예에 따라 도 6 및 도 7을 참조하면, 복수의 IP 카메라(10, 10-1, …, 10-n)가 복수의 위치에 배치되어 동일 객체를 촬영하는 경우, 스트리밍 서버(20)는 복수의 위치에서 획득된 복수의 영상을 함께 인코딩할 수 있다. (여기서, 복수의 위치란 객체의 이동에 따른 상이한 장소를 의미한다.) 즉, 복수의 영상 각각은 객체의 위치 정보를 출력할 수 있고, 실시예에 따라 해당 객체의 위치 정보를 자막의 형태로 출력할 수 있다.
실시예에 따르면, 스트리밍 서버(20)는 영상을 객체별로 구분하여 생성할 수 있다. 즉, 영상을 관심 대상인 사람, 차량 등 객체별로 구분하여 별개로 생성할 수 있다. 예를 들어, 도 7의 객체는 관심 대상인 특정 사람일 수 있고, 동일 사람에 대해 복수의 장소에서 생성되는 복수의 영상을 먹싱하여 인코딩을 수행할 수 있다. 이에 따라 객체 단위로 인코딩 영상이 생성될 수 있다. 그리고, 객체 단위로 생성된 인코딩 영상은 객체가 이동한 복수의 장소 정보를 출력할 수 있다.
한편, 객체 단위로 생성된 인코딩 영상은 스트림 영상 재생 장치(30) 및 분석 서버(40)에 각각 전송될 수 있고, 분석 서버(40)는 해당 인코딩 영상을 디코딩하여 후술할 s2의 과정을 수행하고, 스트림 영상 재생 장치(30)는 해당 인코딩 영상을 디코딩하여 후술할 s4를 수행할 수 있다.
한편, 분석 서버(40)는 스트리밍 서버(20)로부터 인코딩된 스트림 영상을 수신하여 처리할 수 있다.(s2)
구체적으로, 분석 서버(40)는 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 제2 스트림 영상을 이용해 제2 스트림 영상에 포함된 특정 객체의 좌표 정보를 출력할 수 있다.
여기서, 특정 객체는 검출 대상이 되는 것으로 미리 정해진 객체를 의미한다.
구체적으로, 분석 서버(40)는 제2 스트림 영상에 포함된 해당 특정 객체가 메모리(420)에 기 저장된 특정 객체와 매핑하는 지 여부를 판단하여, 매핑할 경우 해당 특정 객체의 좌표 정보를 출력하여 스트림 영상 재생 장치(30)로 제공할 수 있다.
도 8을 참조하면, 제어부(410)는 제2 스트림 영상으로부터 스트림 영상 분석 모델을 통해 특정 객체의 좌표 정보를 출력할 수 있다.
도 9를 함께 참조하면, 제어부(410)는 신경망에 대한 학습을 통해 스트림 영상 분석 모델을 생성하고, 생성한 스트림 영상 분석 모델을 이용해 객체로부터 객체의 좌표값을 출력하는 추론 과정을 수행할 수 있다.
실시예에 따라 객체의 좌표값, 객체의 식별 정보, 객체의 크기 정보, 및 검출의 신뢰도 값 중 적어도 하나(이하, 특성 정보로 정의한다.)를 출력할 수 있다.
이를 위하여, 우선 제어부(410)는 미리 제2 스트림 영상에 대한 데이터 셋트를 생성할 수 있다.
제어부(410)는 생성한 데이터 셋트를 딥러닝 알고리즘에 적용 가능하도록 전처리할 수 있다.
예를 들어, 이미지 자르기(crop), 평행 이동 하기(shift), 뒤집기(flipping), 색상 조정 등의 전처리를 수행할 수 있다.
제어부(410)는 전처리된 데이터 셋트를 미리 준비된 신경망에 입력시키고, 특정 객체의 특성 정보를 신경망으로부터 출력시키는 기계 학습을 반복적으로 수행하여 스트림 영상 분석 모델을 구축할 수 있다.
실시예에 따르면 전처리된 데이터 셋트를 입력으로 하는 합성곱 신경망(Convolutional Neural Networks)과, 합성곱 신경망의 출력을 입력으로 하는 완전 연결 심층 신경망(Fully Connected Neural Networks)에 대한 기계 학습을 통해 스트림 영상 분석 모델을 구축할 수 있다.
실시예에 따르면, 전처리된 데이터 셋트를 합성곱 신경망이 입력받아 객체의 특징을 분석한 특징 패턴 정보를 출력할 수 있다.
또한, 합성곱 신경망에서 출력된 특징 패턴 정보는 완전 연결 심층 신경망에 입력되어 학습을 수행함으로써 분류된 객체에 해당하는 특성 정보를 출력하는 스트림 영상 분석 모델이 구축될 수 있다.
구체적으로, 합성곱 신경망은 제2 스트림 영상에 커널을 이용해 특징 패턴 정보를 나타내는 피쳐맵을 출력할 수 있고, 이 과정에서 제2 스트림 영상에 대한 풀링과 드롭아웃을 수행할 수 있다.
그리고, 전처리된 데이터 셋트를 이용해 상기 신경망들을 통해 출력된 결과와 트레이닝 데이터를 상기 신경망들을 통해 출력한 결과와의 오차를 비교하여 신경망의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 과정을 통해 학습될 수 있다.
즉, 특징 패턴 정보가 완전 연결 심층 신경망에 입력되어 상기 학습을 통해 분류된 객체에 해당하는 특성 정보가 출력될 수 있다.
참고로, 도 9를 참조하면, 합성곱 신경망을 이용해 제2 스트림 영상으로부터 커널을 이용해 특징 패턴 정보를 출력하고, 특징 패턴 정보가 완전 연결 심층 신경망에 입력되어 트럼프 얼굴, 워싱턴 얼굴, 클린턴 얼굴.. 중 분류된 트럼프 얼굴에 대응하는 특성 정보(트럼프 얼굴 식별 정보, 2차원 좌표값(X,Y 좌표값, Width, Height)..)가 출력될 수 있다.
실시예에 따르면, 상기 학습의 경우, 제2 스트림 영상으로부터 특정 객체가 사람인지 여부를 1차적으로 검출하고, 사람으로 판별되면 2차적으로 사람의 얼굴, 자세, 이동 방향 등의 사람 관련 정보를 검출하도록 구현될 수도 있다.
한편, 미도시 하였으나, 도 9의 과정을 이용해 제2 스트림 영상으로부터 차량 번호에 대응하는 특성 정보가 출력될 수 있다.
이 경우, 제2 스트림 영상으로부터 특정 객체가 차량인지 여부를 1차적으로 검출하고, 차량으로 판별되면 2차적으로 차량의 번호를 검출하도록 구현될 수도 있다.
본 발명에서는 신경망으로 CNN과 FCNN을 이용한 것을 예시하였으나, 이는 일 실시예에 불과하고, DNN(Deep Neural Network)이나 RNN(Recurrent Neural Network) 등 다양한 신경망을 이용하는 경우에도 본 발명이 동일/유사하게 적용될 수 있다.
제어부(410)는 제2 스트림 영상 속 특정 객체가 검출하고자 하는 객체가 맞을 경우, 구축된 스트림 영상 분석 모델을 통해 추론 과정을 수행하여 특정 객체에 대한 특성 정보를 출력할 수 있다.
실시예에 따르면, 제어부(410)는 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 분석 서버(40)에 탑재될 수 있다.
예를 들어, NPU(Neural Processing Unit)와 같은 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작되거나, 기존의 범용 프로세서(예: CPU 또는 Application Processor) 또는 그래픽 전용 프로세서(예: GPU(Graphic Processing Unit) 또는 VPU(Visual Processing Unit))의 일부로 제작되어 분석 서버(40)에 탑재될 수도 있다.
한편, 실시예에 따르면, 스트림 영상 재생 시스템은 복수의 분석 서버(40)를 포함할 수 있고, 각 분석 서버마다 상이한 종류의 객체에 대응하는 특성 정보를 생성하도록 구현할 수 있다.
즉, 제1 분석 서버는 제2 스트림 영상 중 사람만을 분석하도록 구현되고, 제2 분석 서버는 제2 스트림 영상 중 차량만을 분석하도록 구현될 수도 있다.
이에 따르면, 제1 분석 서버를 통해 제2 스트림 영상 중 특정 객체인 사람에 대한 좌표값이 추출되고, 제2 분석 서버를 통해 제2 스트림 영상 중 특정 객체인 차량에 대한 좌표값이 추출되도록 구현할 수 있다.
즉, 스트리밍 서버(20)에서 스트림 영상이 객체 단위로 생성되고, 상기 객체별 대응하는 분석 서버(40)가 해당 객체에 대한 특성 정보를 출력하도록 구현하는 것이다. 그리고, 스트리밍 서버(20)로부터 객체 단위로 생성된 스트림 영상을 수신한 스트림 영상 재생 장치(30)는 해당 스트림 영상을 재생 시, 객체별 대응하는 분석 서버(40)에서 분석된 특성 정보를 함께 출력할 수 있는 것이다.
본 발명에 따르면, 이와 같이 스트림 영상을 객체 단위로 구별하여 생성하고, 각 객체별 별도의 분석 서버(40)에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있게 된다.
한편, 분석 서버(40)에서 출력된 특성 정보는 분석 중개 서버(50)를 통해 스트림 영상 재생 장치(30)로 전송될 수 있다(s3).
실시예에 따르면, 분석 서버(40)에서 출력된 특성 정보는 별도의 저장 서버(70)에 DB로 저장될 수 있고, 스틸컷 이미지나 크롭된 객체별 이미지 등은 별도의 스토리지(NAS, 60)에 저장될 수 있다. 그리고, 별도의 저장 서버(70)와 별도의 스토리지(NAS, 60)에 저장된 정보들은 실시간 스트리밍 영상 재생 프로세스와 별개로 추후 사용자 요청에 의해 영상을 다시 반복하여 재생하기 위해 활용될 수 있다. 그리고, 이에 대한 자세한 내용은 후술한다.
한편, 스트림 영상 재생 장치(30)는 스트리밍 서버(20)로부터 인코딩된 스트림 영상을 수신하여 처리할 수 있다.(s4)
도 4와 도 5를 함께 참조하면, 제어부(310)는 인코딩된 스트림 영상을 스트리밍 서버(20)로부터 수신할 수 있다(s310). 구체적으로, 제어부(310)는 스트림 영상 패킷에 대한 수신 완료 패킷을 스트리밍 서버(20)ㄹ쟈ㅕ로 전송하여 스트림 영상 패킷이 재전송되지 않도록 할 수 있다.
제어부(310)는 수신한 인코딩된 스트림 영상을 디코딩하여 제1 스트림 영상을 생성할 수 있다(s320).
구체적으로, 제어부(310)는 소정의 시간 이후에 재생될 제1 스트림 영상을 메모리(320)에 버퍼링할 수 있다. 즉, 제어부(310)는 소정의 시간 이후부터 버퍼링된 제1 스트림 영상의 재생을 제어할 수 있다.
제어부(310)는 재생될 제1 스트림 영상의 디코딩 시각을 결정하여 각 영상마다 결정된 시간 정보를 삽입할 수 있다.
여기서, 결정된 시간 정보는 타임 스탬프(Time Stamp) 정보로 관리할 수 있다. 타임 스탬프 정보는 UTC (Coordinated Universal Time)를 참조하여 제공될 수 있다.
제어부(310)는 분석 서버(40)로부터 제2 스트림 영상에 포함된 객체의 좌표 정보를 수신할 수 있다.(s330)
여기서, 제2 스트림 영상은 분석 서버(40)가 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 생성된 것일 수 있다.
실시예에 따르면, 분석 서버(40)는 제2 스트림 영상의 디코딩 시각을 결정하여 각 영상마다 결정된 시간 정보를 삽입할 수 있다.
여기서, 결정된 시간 정보는 타임 스탬프(Time Stamp) 정보로 관리할 수 있다. 타임 스탬프 정보는 UTC (Coordinated Universal Time)를 참조하여 제공될 수 있다.
분석 서버(40)가 스트림 영상 분석 모델을 통해 제2 스트림 영상으로부터 객체의 좌표 정보를 추출하여 스트림 영상 재생 장치(30)로 전송하면, 스트림 영상 재생 장치(30)는 해당 객체의 좌표 정보를 분석 서버(40)로부터 수신할 수 있다.
실시예에 따르면, 제2 스트림 영상의 타임 스탬프 정보도 함께 스트림 영상 재생 장치(30)로 전송될 수 있다.
실시예에 따르면, 분석 서버(40)로부터 수신한 제2 스트림 영상에 포함된 객체의 좌표 정보 및/또는 타임 스탬프 정보는 스트림 영상 재생 장치(30)에 소정 시간 버퍼링될 수 있다.
제어부(310)는 제1 스트림 영상에 포함된 객체에 분석 서버(40)로부터 수신한 객체의 좌표 정보를 디스플레이부(330)를 통해 렌더링하여 출력할 수 있다.(s340)
제어부(310)는 제1 스트림 영상에 포함된 특정 객체에 분석 서버(40)로부터 수신한 제2 스트림 영상에 포함된 상기 특정 객체의 좌표 정보를 출력할 수 있다.
참고로, 여기서 특정 객체는 검출 대상이 되는 것으로 미리 정해진 객체를 의미한다.
제어부(310)는 상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프를 서로 비교하여, 제1 타임 스탬프와 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 제1 스트림 영상에 포함된 객체에 제2 스트림 영상에 포함된 상기 객체의 좌표 정보를 출력할 수 있다.
바람직하게는, 두 타임 스탬프 정보가 일치하거나 거의 근사치인 경우 상기 과정을 수행할 수 있다.
본 발명에 따르면, 이와 같이 스트림 영상 재생 장치(30)가 스트리밍 서버(20)로부터 직접 수신한 영상과 분석 서버(40)를 경유하여 획득된 영상의 특성 정보를 참조하는데 있어서, 각 영상간 타임 스탬프 정보의 일치 여부를 참조하여 영상 간 동기화를 수행할 수 있게 되어, 실시간 스트림 영상이 끊기지 않고 재생될 수 있게 된다.
특히, 실시예에 따르면, 제어부(310)는 사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성할 수 있다.
스트림 영상 재생 장치(30)가 스트림 영상을 재생하는 과정에서 간혹 스트림 영상의 객체가 분석 서버(40)로부터 수신한 객체의 좌표 정보와 매핑하지 않는 경우가 발생할 수 있을 수 있다. 예를 들어, 시스템을 재부팅하거나 시스템에 오류가 생기는 등 기타 외부 환경적인 요인에 의해 동기화가 잘 이루어지지 않는 경우가 발생할 수 있는 것이다.
본 발명에 따르면, 이 경우, 스트림 영상 재생 장치(30)에 제공되는 영상 재생 어플리케이션을 통해 사용자로부터 이러한 동기화를 다시 수행하기 위한 소정의 조정 명령을 입력받을 수 있고, 이에 따라 제어부(310)가 제1 스트림 영상의 제1 타임 스탬프에 상기 조정 명령을 반영하여 새로운 디코딩 타임에 대응하는 결과값을 생성할 수 있다.
이어서, 제어부(310)는 상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 객체에 상기 분석 서버(40)로부터 수신한 상기 객체의 좌표 정보를 상기 디스플레이부(330)에 렌더링하여 출력할 수 있다.
이 때, 도 10과 같이 객체 상에 해당 좌표값에 대응하는 바운딩 박스를 렌더링하여 출력할 수 있다.
실시예에 따르면, 바운딩 박스와 함께 특성 정보(객체의 좌표값(즉, 바운딩 박스에 대응하는 2차원 좌표값(X,Y 좌표값, Width, Height)), 객체의 식별 정보, 객체의 크기 정보, 검출의 신뢰도 값 등)도 함께 렌더링되어 디스플레이부(330)에 출력될 수 있다.
본 발명에 따르면, 이와 같이 1차적으로 동기화를 수행하고, 상황에 따라 2차적으로 다시 사용자에 의한 조정 명령이 반영된 결과로 동기화를 수행하도록 함으로써, 사용자는 끊기지 않는 스트림 영상을 제공받을 수 있게 된다.
한편, 지금까지는 실시간 스트림 영상 재생(s1 내지 s4)에 대하여 기술하였으며, 저장 서버(70)와 스토리지(60)에 저장된 정보들을 이용하여 스트림 영상 재생이 종료된 이후에도 사용자 요청에 의해 동일 영상을 다시 재생할 수 있다.
다시 도 2를 참조하여 설명하면, 구체적으로, 저장 서버(70)는 분석 서버(40)에서 출력된 특성 정보를 별도로 보관하고, 스토리지(60)는 스틸컷 이미지나 크롭된 객체별 이미지를 보관할 수 있다.
그리고, 사용자가 이미 실시간으로 재생되었던 스트림 영상이나 특정 객체에 대해 다시 재생하고자 하는 경우, 해당 요청 정보가 스트림 영상 재생 장치(30)를 통해 WAS(Web Application Server, 80)를 경유하여 스토리지(60)와 저장 서버(70)로 전송되고, 스트림 영상 재생 장치(30)는 스토리지(60)와 저장 서버(70)로부터 상기 요청 정보에 대응하는 스틸컷 이미지나 객체별 이미지, 그리고 특성 정보를 수신하여 동일 영상을 필요에 의해 다시 재생할 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 디스플레이부; 및
    스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 스트리밍 서버로부터 전송된 상기 스트림 영상이 분석 서버에서 디코딩되어 생성된 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하기 위한 제어부;를 포함하는,
    스트림 영상 재생 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하는,
    스트림 영상 재생 장치.
  3. 제 1항에 있어서,
    상기 제어부는,
    사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성하고,
    상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하는,
    스트림 영상 재생 장치.
  4. 제 1항에 있어서,
    상기 스트림 영상은 객체 단위로 구별되어 생성된 것인,
    스트림 영상 재생 장치.
  5. 영상을 스트리밍 형태로 제공하는 스트리밍 서버;
    상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 출력하는 분석 서버; 및
    상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 상기 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력하는 스트림 영상 재생 장치;를 포함하는,
    스트림 영상 재생 시스템.
  6. 제 5항에 있어서,
    상기 스트림 영상 재생 장치는,
    상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력하는,
    스트림 영상 재생 시스템.
  7. 제 5항에 있어서,
    상기 스트림 영상 재생 장치는,
    사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성하고,
    상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하는,
    스트림 영상 재생 시스템.
  8. 제 5항에 있어서,
    상기 스트림 영상은 객체 단위로 구별되어 생성된 것인,
    스트림 영상 재생 시스템.
  9. 제 5항에 있어서,
    상기 분석 서버는 복수 개이고,
    상기 복수 개의 분석 서버마다 상이한 종류의 객체에 대응하는 좌표 정보를 출력하는,
    스트림 영상 재생 시스템.
  10. 제 5항에 있어서,
    상기 분석 서버는,
    신경망을 학습하여 생성된 스트림 영상 분석 모델을 통해 상기 제2 스트림 영상을 이용하여 상기 제2 스트림 영상에 포함된 상기 객체의 좌표 정보를 출력하는,
    스트림 영상 재생 시스템.
KR1020210071873A 2021-06-03 2021-06-03 스트림 영상 재생 장치 및 스트림 영상 재생 시스템 KR102500923B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210071873A KR102500923B1 (ko) 2021-06-03 2021-06-03 스트림 영상 재생 장치 및 스트림 영상 재생 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210071873A KR102500923B1 (ko) 2021-06-03 2021-06-03 스트림 영상 재생 장치 및 스트림 영상 재생 시스템

Publications (2)

Publication Number Publication Date
KR20220163574A true KR20220163574A (ko) 2022-12-12
KR102500923B1 KR102500923B1 (ko) 2023-02-17

Family

ID=84391499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071873A KR102500923B1 (ko) 2021-06-03 2021-06-03 스트림 영상 재생 장치 및 스트림 영상 재생 시스템

Country Status (1)

Country Link
KR (1) KR102500923B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120097785A (ko) * 2011-02-25 2012-09-05 주식회사 틴로봇 인터랙티브 미디어 매핑 시스템 및 그 방법
KR101718373B1 (ko) * 2012-12-25 2017-03-21 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 재생 방법, 단말 및 시스템
KR20190019407A (ko) * 2017-08-17 2019-02-27 주식회사 케이티 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말
KR20200079697A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120097785A (ko) * 2011-02-25 2012-09-05 주식회사 틴로봇 인터랙티브 미디어 매핑 시스템 및 그 방법
KR101718373B1 (ko) * 2012-12-25 2017-03-21 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 재생 방법, 단말 및 시스템
KR20190019407A (ko) * 2017-08-17 2019-02-27 주식회사 케이티 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말
KR20200079697A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법

Also Published As

Publication number Publication date
KR102500923B1 (ko) 2023-02-17

Similar Documents

Publication Publication Date Title
US11748870B2 (en) Video quality measurement for virtual cameras in volumetric immersive media
US9305331B2 (en) Image processor and image combination method thereof
TWI694716B (zh) 用於播放經記錄視訊之方法與系統
US20190045119A1 (en) Generating Output Video from Video Streams
CN104777912B (zh) 一种弹幕展示方法、装置及系统
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
JP2009510877A (ja) 顔検出を利用したストリーミングビデオにおける顔アノテーション
JP2009542124A (ja) マルチメディアを取り込むための組み込み機器
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
US20180213185A1 (en) Method and system for monitoring a scene based on a panoramic view
CN113572975B (zh) 视频播放方法、装置及系统、计算机存储介质
US11546556B2 (en) Redundant array of inexpensive cameras
KR102500923B1 (ko) 스트림 영상 재생 장치 및 스트림 영상 재생 시스템
US10783670B2 (en) Method for compression of 360 degree content and electronic device thereof
KR102549073B1 (ko) 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템
CN113068059B (zh) 视频直播方法、装置、设备及存储介质
TWI482470B (zh) 數位看板播放系統、即時監看系統及其即時監看之方法
CN106973307A (zh) 一种视频设备访问方法及装置
WO2018120857A1 (zh) 一种基于流媒体技术的视频数据的处理方法及装置
US20240062385A1 (en) Method, apparatus, and non-transitory computer-readable storage medium storing a program for monitoring motion in video stream
KR102540817B1 (ko) 머신러닝 기반 실시간 비디오 방송 품질 평가 방법, 장치 및 프로그램
CN116708389B (zh) 在线考试的多端监控方法、终端设备及可读存储介质
Wang Low-Latency Adaptive Media Streaming: From 2D to 6-DoF
KR20180058155A (ko) 패턴 인식기반 동적 적응형 스트리밍 cctv 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant