KR102190483B1 - Ai 기반의 영상 압축 및 복원 시스템 - Google Patents

Ai 기반의 영상 압축 및 복원 시스템 Download PDF

Info

Publication number
KR102190483B1
KR102190483B1 KR1020190046955A KR20190046955A KR102190483B1 KR 102190483 B1 KR102190483 B1 KR 102190483B1 KR 1020190046955 A KR1020190046955 A KR 1020190046955A KR 20190046955 A KR20190046955 A KR 20190046955A KR 102190483 B1 KR102190483 B1 KR 102190483B1
Authority
KR
South Korea
Prior art keywords
image
data
resolution
image data
file
Prior art date
Application number
KR1020190046955A
Other languages
English (en)
Other versions
KR20190130479A (ko
Inventor
장경익
Original Assignee
주식회사 지디에프랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지디에프랩 filed Critical 주식회사 지디에프랩
Priority to PCT/KR2019/004894 priority Critical patent/WO2019209007A1/ko
Publication of KR20190130479A publication Critical patent/KR20190130479A/ko
Application granted granted Critical
Publication of KR102190483B1 publication Critical patent/KR102190483B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

본 발명의 실시 예에 따른 영상 압축 및 복원 시스템은 획득된 영상 데이터를 인공신경망 기반의 영상 학습을 통해 압축하여 저장하고, 사용자 요청에 따라 압축된 영상의 압축을 해제하여 해상도를 복원하여 사용자 기기에 제공하는 영상 처리 서버 및 상기 영상 처리 서버로 영상 데이터를 전송하도록 제어하고, 상기 영상 처리 서버에서 수행된 영상 학습 및 복원이 수행된 결과물을 수신하는 사용자 기기를 포함하여 구성될 수 있다.

Description

AI 기반의 영상 압축 및 복원 시스템{System for compressing and restoring picture based on AI}
본 발명은 AI 기반의 영상 압축 및 복원 시스템에 관한 것이다.
동영상 비디오 서비스 실시를 목적으로 콘텐츠를 제작할 시점에는 한 가지 해상도로만 콘텐츠를 제작하게 된다. 그러나 동영상 서비스를 이용하는 단말기의 종류와, 그 단말기에서 사용하는 디스플레이 장치의 지원 해상도에 따라 동영상 콘텐츠는 해상도를 낮추어 서비스되기도 한다. 또한 동영상 콘텐츠를 스트리밍할 시 네트워크 환경이 불안정하여 데이터 송수신의 끊김이 발생될 우려가 있는 경우에도 서비스되는 동영상 콘텐츠의 해상도가 낮춰질 수 있다.
이처럼, 일상 생활에 있어서, 실제 제작되었을 당시의 동영상의 해상도와 용량은 다양한 상황과 환경적 요구에 의해 낮춰지고 압축될 수 있다. 그러나 이러한 데이터 용량 감소를 위해 해상도를 저하시켜서 전달된 동영상 데이터는 추후 다시 원래의 해상도로 복원하기가 어렵다는 문제가 있었다.
해상도를 개선하는 업스케일링 기법으로는 종래에 양선형 보간법과 바이큐빅 보간법 등이 주로 사용되고 있긴 하나, 이와 같은 종래의 영상 보간 기법은 기존의 화소만이 아닌 주변 화소의 패턴에 따라 임의의 화소를 추가하는 방식으로 구현되므로, 이미지의 뭉개짐 현상이 발생될 가능성이 높아 업스케일링 기법으로 적절하지 못하다.
본 발명은 이러한 문제를 해결하기 위해 고안된 것으로, 원본 동영상 데이터를 기반으로 인공 신경망 학습을 수행한 데이터를 기반으로 하여, 해당 동영상의 저화질 압축파일을 효과적으로 복원하기 위한 목적이 있다.
본 발명의 실시 예에 따른 영상 압축 및 복원 시스템은 획득된 영상 데이터를 인공신경망 기반의 영상 학습을 통해 압축하여 저장하고, 사용자 요청에 따라 압축된 영상의 압축을 해제하여 해상도를 복원하여 사용자 기기에 제공하는 영상 처리 서버 및 상기 영상 처리 서버로 영상 데이터를 전송하도록 제어하고, 상기 영상 처리 서버에서 수행된 영상 학습 및 복원이 수행된 결과물을 수신하는 사용자 기기를 포함하여 구성될 수 있다.
본 발명의 실시 예는 동영상 데이터의 해상도 및 용량을 낮추는 압축 동작을 수행하고, 압축된 파일의 해상도를 인공신경망 기반의 연산을 통해 간편하게 원본 수준의 해상도로 복원할 수 있어 저장공간을 보다 효율적으로 이용할 수 있다.
본 발명은 해상도가 복원된 동영상 데이터를 기반으로 사용자가 요청한 이미지 객체에 대한 정보를 효과적으로 추출하고, 사용자에게 제공할 수 있다.
본 발명은 재생시간이 길고, 고화질인 대용량의 동영상 데이터라 하더라도 추후 정보 검색을 위해 많은 양의 데이터를 저장 및 보관할 수 있게 된다.
도 1은 본 발명의 실시 예에 따른 AI 기반 영상 압축 및 복원 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 영상 처리 서버의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 데이터 판단부의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 AI 영상 복원부의 구성에 대하여 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 영상 복원 및 데이터화 동작의 순서를 도시한 순서도이다.
도 6은 본 발명의 실시 예에 따른 오토스케일링 동작을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어'있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어'있다거나 '직접 접속되어'있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 AI 기반 영상 압축 및 복원 시스템의 구성을 도시한 도면이다.
발명의 실시 예에 따른 영상 압축 및 복원 시스템의 구성은 영상 압축 및 복원 기능을 수행하는 영상 처리 서버 100, 상기 영상 처리 서버 100에 촬영한 영상을 제공하는 영상 촬영 장치 200, 상기 영상 처리 서버 100에서 수행된 영상 처리 결과물을 제공받는 사용자 기기 300 및 연동 서버 400를 포함할 수 있다. 상기 영상 촬영 장치 200는 드론 201, CCTV 202와 등을 포함할 수 있다.
일 실시 예에 따라 상기 영상 촬영 장치 200 그리고 상기 연동 서버 400는 예컨대, 상기 영상 처리 서버 100에서 수행되는 영상 처리 결과물을 필요로 하는 기관 또는 단체 측 서버일 수 있다.
상기 영상 처리 서버 100는 영상 촬영 장치 200로부터 동영상 데이터를 획득할 수 있으며, 획득된 동영상 데이터의 압축 및 복원 기능을 수행할 수 있다. 또한 상기 영상 처리 서버 100는 사용자 기기 300의 사용자측 또는 연동 서버 400의 기관 또는 단체 측에 클라우드 서비스를 제공할 수 있다.
상기 영상 처리 서버 100는 기존의 클라우드 서버에서 제공하는 일반적인 클라우드 서비스를 제공할 수 있을 뿐 아니라, 영상 데이터의 해상도를 자동으로 다운스케일링하여 저장 및 관리하는 동작을 개시한다. 이러한 다운스케일링을 통해 상기 영상 처리 서버 100는 획득된 동영상의 용량을 줄일 수 있게 되므로 클라우드 서버의 저장공간을 보다 효과적으로 활용할 수 있게 된다. 또한 상기 영상 처리 서버 100는 용량이 압축되어 저장된 다운스케일링 파일을 추후 사용자 측에서 다운로드 내지는 스트리밍 요청할 경우 압축된 파일을 복원하게 되는데, 이 때 일반적인 압축 해제 방식과 달리 인공신경망을 활용한 업스케일링 과정을 통해 복원하게 된다.
도면에는 도시되지 않았지만, 상기 영상 촬영장치 200에는 카메라, 스마트 폰 등의 사용자 기기 등이 포함될 수 있으며, 이는 상기 영상 처리 서버 100를 이용하는 개인 사용자 또는 기관, 단체의 요구에 따라 영상 데이터를 촬영하고 이를 영상 처리 서버 100로 자동 전송할 수 있다. 또한 상기 사용자 기기 300 또는 연동 서버 400는 영상 데이터를 영상 처리 장치 100로 전송하도록 영상 촬영 장치 200를 제어할 수도 있다.
본 발명의 실시 예에 따른 영상 처리 서버 100에서 제공하는 영상 처리 및 클라우드 서비스는 개인 사용자(사용자 기기 300 측) 뿐 아니라, 기관 및 단체(예, 연동 서버 400)에 의해서도 활용될 수 있으나, 설명의 편의를 위해 이하에서는 영상처리 서버 100의 서비스를 이용하는 대상을 모두 '사용자'로 지칭하기로 한다.
이하에서는 본 발명의 실시 예에 따른 영상 처리 서버의 구조와 상기 영상 처리 서버에서 구현하는 기술 동작에 대하여 보다 자세히 살펴보기로 한다.
도 2는 본 발명의 실시 예에 따른 영상 처리 서버의 구성을 도시한 도면이다.
상기 영상 처리 서버 100는 통신부 110, 저장부 120 및 제어부 130를 포함하여 구성될 수 있다.
상기 통신부 110는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 실시 예에 따른 상기 통신부 110는 영상 촬영 장치 200, 사용자 기기 300, 연동 서버 400 와의 데이터 통신 기능을 수행할 수 있다. 구체적으로 상기 통신부 300는 영상 촬영장치 200, 내지는 사용자 기기 300와 연동 서버 400로부터 수신되는 영상 데이터(원본 영상 데이터)를 수신할 수 있다. 그리고 상기 통신부 110는 상기 사용자 기기 300 또는 연동 서버 400로부터 영상 처리 서버 100의 영상에 대한 AI 학습 동작 또는 AI 영상 복원 동작에 대한 요청 신호를 수신할 수 있다. 그리고 상기 통신부 110는 영상 처리 서버 100내에 존재하는 영상으로부터 특정 이미지 객체에 대한 정보의 요청 신호를 사용자 기기 300 또는 연동 서버 400측으로부터 수신할 수 있다. 그리고, 상기 통신부 110는 영상 복원 동작 이후의 영상 데이터를 사용자 기기 300 또는 연동 서버 400측으로 제공하기 위한 데이터 통신을 수행할 수 있다. 그리고 상기 통신부 110는 복원된 영상 데이터에 기반한 객체 추출 및 데이터화 동작을 요청하는 신호, 그에 대한 응답 신호 그리고 결과 데이터(객체 추출 결과 데이터)를 사용자 기기 300 또는 연동 서버 400측으로 제공하기 위한 데이터 통신 동작을 수행할 수 있다.
상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
본 발명의 실시 예에 따른 상기 저장부 120는 raw 영상 DB 121과 학습 영상 DB 122를 포함하여 구성될 수 있다. 먼저 상기 raw 영상 DB 121는 영상 학습을 수행하기 전 영상 촬영 장치 200 또는 사용자 기기 300(또는 연동 서버 400)로부터 획득된 raw 영상 데이터를 일시 저장할 수 있다. 다양한 실시 예에 따라 저장소의 기능을 효율적으로 사용하기 위해 상대적으로 용량을 많이 차지하는 raw 영상 데이터는 기 설정된 시간 이후 또는 기 설정된 조건(예, 영상 학습의 결과물인 다운스케일링 파일과 신경망 파일의 생성이 확인되는 경우)이 만족되면, 자동으로 삭제될 수 있다.
상기 학습 영상 DB 122는 영상 학습의 결과물로 생성되는 다운스케일링 파일과 신경망 파일을 저장할 수 있다. 이 때 상기 학습 영상 DB 122는 추후 사용자가 특정 동영상을 선택하여 재생하고자 할 시, 즉시 해상도를 복원하는 동작을 수행할 수 있도록 하기 위해, 다운스케일링 파일과 신경망 파일의 이름을 동일하게 설정하여 저장할 수 있다.
이 밖에도 상기 학습 영상 DB 122는 각 동영상 파일에 대응하는 신경망 파일 뿐 아니라, 임의의 동영상 데이터 셋을 기반으로 학습된 결과물인 범용 신경망 파일을 저장할 수 있다.
상기 제어부 130는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 제어부에 의해 구동될 수 있다. 메모리는 상기 사용자 단말 및 서버 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 제어부와 데이터를 주고 받을 수 있다.
본 발명의 실시 예에 따른 상기 제어부 130는 데이터 판단부 131, AI 학습 지원부 132, AI 영상 복원부 133, 객체 데이터화부 134를 포함하여 구성될 수 있다.
상기 데이터 판단부 131는 외부로부터 수신되는 Raw 영상에 대한 정보를 판단할 수 있다. 구체적으로, 상기 데이터 판단부 131는 외부의 영상 촬영 장치 200로부터 수신되는(다양한 실시 예에 따라, 사용자 기기 300 또는 연동 서버 400로부터 영상이 수신될 수도 있음) 영상 파일에 대한 메타 정보(예, 해상도, 용량, 이름, 키 등)를 추출하고 동일한 분류 항목에 대응하는 파일들끼리 분류할 수 있다.
이밖에도 상기 데이터 판단부 131는 영상 처리 서버 100에 등록된 회원과 관련된 데이터를 관리할 수 있다. 상기 데이터 판단부 131는 영상 데이터 제공자, 영상 촬영 장치 식별값, 회원 등록 정보, 사용 이력 등과 관련된 관리 정보를 판단할 수 있다.
상기 데이터 판단부 131는 영상 데이터를 제공하는 측과 영상 데이터의 메타 정보에 기반하여 영상 데이터를 식별하고 분류할 수 있다. 일 실시 예에 따라 상기 데이터 판단부 131는 기 설정된 기준(예, 영상 데이터 제공 장치 속성, 회원의 속성(예, 개인 또는 기관 여부), 서비스 이용 등급, 이용 목적 중 적어도 하나를 포함할 수 있음)에 기반하여 획득된 동영상을 영상 처리(예, 영상 학습을 통한 영상 압축, 영상 복원 등)이전에 분류할 수 있다. 구체적으로 예를 들면, 상기 데이터 판단부 131는 B 등급 회원의 경우 해당 회원이 영상 처리 서버 100에 업로드한 동영상 데이터를 2종류의 해상도(예, 540p 이상 또는 이하)를 기준으로 분류하고, A 등급 회원은 4종류의 해상도(예, 270p, 540p, 720p, 1080p)를 기준으로 분류하도록 제어할 수 있다. 이와 같은 동영상의 해상도별 분류동작은 영상 학습에 대한 전처리를 위해 요구될 수 있다.
상기 데이터 판단부 131는 해상도 판단부 131a와 영상 종류 판단부 131b를 통해 주로 해상도 기반의 분류 또는 영상 종류 기반의 분류 동작을 수행할 수 있다.
본 발명의 실시 예에 따른 상기 제어부 130의 구성 중 AI 학습 지원부 132는 획득된 동영상 데이터를 대상으로 AI 기반의 영상 학습을 통한 압축 기능을 지원할 수 있다. 구체적으로, 상기 AI 학습 지원부 132는 획득된 동영상 파일로부터 다운스케일링 파일과, 다운스케일링 파일을 추후 원본 수준으로 화질을 복원하기 위해 요구되는 파일인 신경망 파일을 생성할 수 있다. 이 때 상기 다운스케일링 파일은 곧 압축 파일을 의미하며, 본 발명의 실시 예에 따라 상기 AI 학습 지원부 132는 이러한 영상 학습을 수행하는 방식으로 동영상 파일 압축을 수행할 수 있다. 이러한 AI 영상 학습에 의해 다운스케일되어 압축된 동영상 파일은 추후 AI 영상 복원부 133에서 신경망 파일에 기반하여 수행되는 복원 작업에 의해 해상도가 복원(압축 해제)이 이루어질 수 있다.
상기 AI 학습 지원부 132에서 실시하는 영상학습은 일 실시 예에 따라 적어도 하나의 히든 레이어를 포함하도록 구현된 멀티레이어 퍼셉트론을 이용하여 수행될 수 있다. 기본적으로, 퍼셉트론은 다수의 신호를 입력(input)받아서 하나의 신호를 출력(output)할 수 있다.
인공신경망 모델을 이용한 연산 과정에서 요구되는 weight와 bias는 역전파 기법을 통해 적정 값으로 산출될 수 있다. 본 발명의 실시 예에 따른 AI 기반의 영상 학습 과정은 이러한 역전파 기법을 통해 적정 weight와 bias 데이터를 추출하게 된다. 본원 발명에서 해상도 개선 및 압축된 파일의 복원을 위해 인공신경망을 통해 산출하는 신경망 파일은 이러한 weight데이터와 bias 데이터에 관한 정보 등을 포함할 수 있다.
본 발명의 실시 예에 따른 영상 학습 과정은 기본 데이터 셋(일 실시 예에 따라 임의의 다양한 이미지 또는 동영상 데이터들로 구성될 수 있음)을 통해 기본 신경망 파일을 생성한 후 수행될 수 있다. 간단하게 설명하면, 상기 AI 학습 지원부 132는 새롭게 학습시킬 영상의 저화질 버전(다운스케일링) 데이터를 인공신경망 알고리즘에 인풋 값으로 투입하고, 상기 기본 신경망 파일을 이용한 인공 신경망 연산 과정을 수행하였을 때 결과값이 인풋 값으로 투입된 영상의 원본 영상과 기준 목표치 이상의 일치율을 달성하는지 확인한다. 이 때 기준 목표치 이상의 일치율이 달성되지 않으면, 상기 AI 학습 지원부 132는 기준치 이상의 일치율을 달성하도록 하는 인공 신경망의 파라미터들을 산출하기 위한 역전파 기법을 수행하는 과정을 다수 회 거쳐 적정 파라미터들(Weight, Bias 등)을 획득할 수 있다.
이러한 과정을 거쳐 획득된 적정 파라미터들의 값을 저장한 파일은 신경망 파일이 되고, 이러한 신경망 파일을 통한 인공신경망 연산을 수행했을 때 원본 데이터로 복원되는 인풋 데이터는 다운스케일링 파일이 된다. 즉, 상기 AI 영상 학습 지원부 132는 임의의 동영상 데이터(원본)를 대상으로 영상 학습을 수행한 결과, 원본 데이터에 비해 해상도 및 용량이 낮은 '다운스케일링 파일'과, 상기 다운스케일링 파일을 원본 영상으로 복원하는데 요구되는 파일인 '신경망 파일'을 생성할 수 있게 된다.
상기 AI 영상 복원부 133는 영상 학습 결과로 생성된 다운스케일링 파일을 신경망 파일에 기반하여 업스케일링하여 복원(압축 해제)할 수 있다. 상기 AI 영상 복원부 133는 업스케일링이 완료되어 화질이 복원된 데이터를 사용자 요청에 따라 사용자 기기 300측에 제공할 수 있다. 예를 들어 상기 AI 영상 복원부 133는 사용자가 영상 처리 서버 100가 제공하는 클라우드 서비스를 이용할 수 있으며, 클라우드에 기 저장되어 있는 동영상 파일을 다운로드하거나 재생(스트리밍)하기 위한 요청을 상기 영상 처리 서버 100측에 요청하면, 이에 대응하여 상기 AI 영상 복원부 133는 기 저장된 다운스케일링 파일을 신경망 파일을 통해 화질 복원(압축 해제)할 수 있다.
상기 객체 데이터화부 134는 상기 AI 영상 복원부 133에 의해 복원된 영상 데이터 또는 해당 영상을 구성하는 각 프레임의 이미지 데이터를 기반으로 목표한 객체 데이터를 추출할 수 있다. 이 때 상기 객체 데이터란 사람, 자동차, 숫자, 등과 같이 사용자에 의해 검출을 요청받은 특정 객체를 의미할 수 있다.
즉, 상기 객체 데이터화부 134는 복원된 영상으로부터 자동차, 사람, 자동차 번호판 등의 객체를 자동으로 추출하고, 추출된 정보를 데이터화하여 기록 및 저장할 수 있다. 이와 같이 추출되어 저장된 객체 데이터는 추후 정기적 또는 사용자 요청시 사용자 측에 전달될 수 있다.
일 실시 예에 따라 상기 객체 데이터화부 134는 객체의 개수, 횟수 등과 같이 개별 객체에 대한 구체적 식별이 요구되지 않는 경우와, 특정 용의자의 안면, 자동차 번호 등과 같이 구체적 식별이 요구되는 경우로 나누어 객체 검출 과정을 수행할 수 있다. 예컨대, 사용자가 특정 거리의 인파 또는 교통량을 파악하기 위한 목적으로 객체 데이터를 얻기 원함에 따라, 상기 객체 데이터화부 134는 화질 복원된 영상 데이터로부터 사람으로 인식되는 객체의 수 또는 자동차로 인식되는 객체의 수만을 체크하고 데이터화할 수 있다. 반면, 사용자가 범죄 차량의 번호를 CCTV 영상으로부터 확인하고자 하는 경우와 같이 객체의 구체 정보가 요구되는 경우, 상기 객체 데이터화부 134는 화질이 복원된 영상 데이터로부터 차량들의 번호로 인식되는 데이터들을 추출하고, 이를 리스트화할 수 있다. 이에 따라 사용자는 영상에 존재하는 다수의 차량들 중 자신이 탐색하고자 하는 번호를 갖는 차량이 존재하는지 여부를 즉각적으로 알 수 있게 된다.
이하에서는 상기 제어부 130의 구성 요소들 중 데이터 판단부 131의 세부 구성에 대하여 설명하기로 한다.
도 3은 본 발명의 실시 예에 따른 데이터 판단부의 구성을 도시한 도면이다.
도 3에서 도시되는 바와 같이, 본 발명의 실시 예에 다른 상기 데이터 판단부 131는 해상도 판단부 131a와 영상 종류 판단부 131b를 포함하여 구성될 수 있다.
상기 데이터 판단부 131는 AI 연산을 통해 영상 학습의 전처리를 위해 영상의 종류를 판단하고 구분할 수 있다. 그리고 상기 데이터 판단부 131는 AI 연산을 통해 영상의 해상도 복원 시, 효과적인 데이터 확인 및 적정 복원 모드 내지는 복원 옵션을 선택하기 위해 영상 데이터의 종류 구분을 수행할 수 있다. 또한 상기 데이터 판단부 131는 해상도 복원 동작이 수행된 이후, 복원된 영상 데이터로부터 객체 인식 및 인식된 객체 항목에 대한 데이터화 동작의 효과적인 수행을 위해 영상 데이터의 종류 구분 동작을 수행할 수 있다.
상기 해상도 판단부 131a는 획득된 데이터를 해상도에 기반하여 분류하는 동작을 수행할 수 있다. 먼저, 상기 해상도 판단부 131a는 영상학습의 가능 여부를 판단하기 위해 획득된 영상 데이터를 해상도에 따라 분류할 수 있다. 예를 들면, 판단 대상 영상 데이터의 해상도가 기준값(예,720p)이상인 경우에 한하여 학습 가능한 것으로 설정된 경우, 상기 해상도 판단부 131a는 획득 영상 데이터의 해상도가 기준값(720p) 이상인지 여부를 확인할 수 있다.
또는 본 발명의 다양한 실시 예에 따라 영상 학습 시 인풋 데이터의 해상도가 일괄적으로 특정 값을 갖도록 규격화될 수 있다. 이 경우 상기 해상도 판단부 131a는 획득된 영상 데이터의 해상도가 기 설정된 기준값(예, 720p)인지 여부를 확인하고, 기준값 미만인 데이터는 별도 영상 학습을 수행하지 않는 데이터 그룹으로 판단하고, 해상도가 기준값에 해당하는 데이터는 별도의 전처리 과정없이 영상 학습을 수행하는 그룹으로 판단할 수 있다. 기준값보다 더 높은 해상도 값을 갖는 데이터의 경우 상기 해상도 판단부 131a는 해상도를 기준값으로 데이터 변환하는 전처리 동작을 수행한 이후 영상 학습을 수행하는 그룹으로 분류할 수 있다.
다양한 실시 예에 따라 상기 데이터 판단부 131는 획득된 데이터 뿐 아니라, 본 발명의 실시 예에 따른 형식으로 기 압축된 다운스케일링 파일을 획득할 수도 있다. 이에 따라, 상기 해상도 판단부 131a는 획득된 다운스케일링 파일을 업스케일링 및 압축 해제하기 위하여 요구되는 적정 신경망 파일을 추출하기 위해 상기 획득된 영상 데이터를 해상도에 따라 분류할 수 있다.
상기 영상 종류 판단부 131b는 획득된 영상 데이터의 종류를 판단하고 이를 기반으로 획득된 영상 데이터를 분류 및 군집화할 수 있다. 상기 영상 종류 판단부 131b는 예컨대, 촬영 장치, 촬영 용도, 관람 목적의 유무 등의 기준에 따라 영상 데이터의 종류를 구분할 수 있다. 그리고 상기 영상 데이터의 종류는 파일의 메타 정보(예, 촬영 기기 식별값 등)로부터 확인될 수도 있고, 키프레임 기반의 임의의 썸네일 이미지(코덱의 기본적 기능에 의해 키프레임이 추출될 수 있음) 등에 기반하여 확인될 수도 있다. 예를 들면, 상기 영상 종류 판단부 131b는 획득된 영상 데이터가 애니메이션인지 여부를 키프레임의 썸네일 이미지에 기반하여 판단 및 구분할 수 있다.
상기 영상 종류 판단부 131b는 키프레임을 통해 확인되는 배경 이미지의 변화율에 기반하여 촬영 장치가 CCTV, 블랙박스와 같이 부착형 장치인지 드론, 스마트폰 등과 같은 이동형 장치인지 여부를 판단할 수 있다. 이에 따라 상기 영상 종류 판단부 131b는 촬영 장치의 종류(부착형 또는 이동형)에 기반하여 분류할 수 있다. 상기 영상 종류 판단부 131b는 수신되는 영상 데이터의 메타 데이터에 포함된 촬영 기기 정보를 통해 보다 쉽게 촬영 장치별 영상 데이터 구분 동작을 수행할 수도 있다.
상기 영상 종류 판단부 131b는 사용자가 기 설정한 용도에 기반하여 영상 데이터를 구분 및 분류할 수 있다. 이와 같이 소정의 기준에 기반하여 종류가 구분된 영상 데이터는 데이터화 작업 또한 구분된 그룹별로 수행할 수 있다.
일 실시 예에 따라 상기 영상 종류 판단부 131b는 획득된 데이터의 해상도가 학습 가능한 수준인 경우에 영상 학습 전 단계의 전처리 동작 및 객체 데이터화 동작을 위한 데이터 분류를 수행할 수 있다. 그리고 상기 영상 종류 판단부 131b는 획득된 데이터의 해상도가 학습 불가능한 수준인 경우, 먼저 AI 영상 복원부 133에 의해 영상 복원을 수행한 후 객체 데이터화부 134의 객체 데이터화 동작을 수행하기 위한 분류 동작을 수행할 수 있다.
상기 영상 종류 판단부 131b는 이러한 영상 데이터의 종류별 구분 동작을 통해 객체 데이터화부 134에서 수행할 동작(사용자의 요청에 대응하는 데이터 추출 동작)을 효과적으로 수행할 수 있는 환경을 마련할 수 있다. 구체적으로 예를 들면, 상기 영상 종류 판단부 131b는 사용자의 영상 처리 목적이 차량 번호판 탐색인 경우, 해당 사용자에 의해 수신된 영상 데이터들(예, 블랙박스, CCTV의 도로 촬영 영상, 개인 방송용 인물 촬영 영상 등이 있다고 가정) 중에서 블랙박스, CCTV 영상만을 추출하여 구분할 수 있다. 이에 따라 상기 객체 데이터화부 134는 차량 번호판 탐색을 위해 자동으로 미리 구분된 블랙박스, CCTV영상 데이터로 군집화된 데이터 그룹을 선택하고, 이를 대상으로 객체 추출 및 데이터화 동작을 수행할 수 있다. 이에 따라 상기 객체 데이터화부 134는 사용자 요청을 신속하게 이행할 수 있게 된다.
도 4는 본 발명의 실시 예에 따른 AI 영상 복원부의 구성에 대하여 도시한 도면이다.
도 4에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 AI 영상 복원부 133는 영상 종류 기반 적용부 133a와 해상도 기반 적용부 133b를 포함하여 구성될 수 있다.
기본적으로 상기 AI 영상 복원부 133는 AI 학습 지원부 132에서 영상 학습의 결과물로 생성된 신경망 파일(압축 해제를 위한 메타 파일)을 이용하여 AI 연산을 통해 다운스케일링 파일(압축파일)을 원래 상태로 복원하는 동작을 수행할 수 있다. 그리고 이 때 상기 AI 영상 복원부 133는 해상도를 복원하고자 하는 영상 데이터에 대응하는 신경망 파일에 저장된 파라미터 데이터를 적용하여 인공신경망 알고리즘을 구동하는 방식으로 영상 데이터의 해상도 복원 동작을 수행할 수 있다. 이 때 인공 신경망의 종류는 예컨대 SRCNN 등이 해당될 수 있다.
상기 영상 종류 기반 적용부 133a는 영상의 종류 정보에 따라 AI 영상 복원 동작에 관한 설정값(예, 인공 신경망의 활성 함수 종류 및 신경망 파일, 복원 결과물의 최종 해상도 등)을 결정하고, 그에 대응한 영상 복원 동작을 수행할 수 있다. 상기 영상 종류 기반 적용부 133a는 예컨대, 압축 영상의 해상도 복원에 요구되는 신경망 파일 항목을 선택하는 동작, 해상도 복원과 관련된 영상 종류에 따른 설정값 선택 등의 동작을 수행할 수 있다.
구체적으로 상기 영상 종류 기반 적용부 133a는 영상의 종류가 CCTV 등의 관람 목적이 없는 자료와, 영화, 애니메이션 등의 관람 목적이 있는 자료로 구분될 수 있다. 또는 상기 영상 종류 기반 적용부 133a는 데이터 추출 목적이 있는 자료와 그렇지 않은 자료를 구분할 수도 있다.
그리고 상기 영상 종류 기반 적용부 133a는 이러한 영상 데이터의 구분 정보에 기반하여, 영상 데이터의 해상도 복원 수준을 결정할 수 있다. 예를 들어, 상기 영상 종류 기반 적용부 133a는 관람 목적이 없는 자료의 경우 해당 영상 데이터에 특정하여 학습된 신경망 파일이 아닌, 범용 신경망 파일을 적용하여 영상 복원을 수행할 수 있다. 반면, 상기 영상 종류 기반 적용부 133a는 관람 목적이 있는 자료의 경우, 해당 영상 데이터를 대상으로 학습된 신경망 파일을 검색 및 추출하여 영상 복원을 수행할 수 있다. 이는 관람 목적이 있는 영화 또는 드라마 등의 영상 데이터에 대하여는 상대적으로 원본 데이터와의 일치율이 중요하게 여겨질 수 있다는 점을 반영한 동작일 수 있다. 그러나 이는 일 실시 예일 뿐이며, 다른 방식의 차등 적용이 충분히 가능하다. 이처럼 상기 영상 종류 기반 적용부 133a는 영상 종류에 기반하여 영상 복원 과정에서 선택해야하는 설정 데이터를 다르게 적용할 수 있으며, 이에 따라 복원 동작의 효율성을 부여할 수 있다.
상기 해상도 기반 적용부 133b는 복원 대상인 영상 데이터의 해상도에 기반하여 복원 동작에 관한 설정값(예, 인공 신경망의 활성 함수 종류 및 신경망 파일, 복원 결과물의 최종 해상도 등)를 차등 설정할 수 있다. 예컨대, 상기 해상도 기반 적용부 133b는 서비스 정책에 따라 이용자들이 지불한 요금 또는 이용자들이 선택한 서비스의 종류에 따라 목표 해상도를 다르게 설정(예, A 서비스의 경우, 270p를 4K까지 해상도 복원하고, B서비스의 경우, 270p를 FHD까지 해상도 복원하도록 설정)할 수 있다.
이 밖에도 상기 해상도 기반 적용부 133b는 복원 수행 전 해상도의 종류에 대응하는 목표 해상도를 지정하고, 목표 해상도로의 복원 동작을 수행하기 위해 적절한 신경망 파일을 탐색하고 적용할 수 있다. 예컨대, 상기 해상도 기반 적용부 133b는 획득된 복원용 영상 데이터(예, 다운스케일링 파일)을 대상으로 자동으로 업스케일링을 수행하되, 270p는 FHD(1080p)로, 540p는 4K(2060p)로, 720p는 5K(2880p)로, 1080p는 4320p로 업스케일링(또는 압축 해제)를 수행할 수 있다.
이와 같은 자동 업스케일링 동작에 대한 도식은 도 6을 통해 도시되고 있다.
도 6은 본 발명의 실시 예에 따른 오토스케일링 동작을 도시한 도면이다.
도 6에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 해상도 기반 적용부 133b는 획득되는 영상 데이터의 해상도에 따른 자동 업스케일링 동작을 수행할 수 있다. 이 때 해상도에 따른 분류 동작은 데이터 판단부 131의 해상도 판단부 131a에 의해 이루어질 수 있고, 분류된 영상 데이터를 각각의 목표 해상도로 업스케일링하는 동작은 AI 영상 복원부 133의 해상도 기반 적용부 133b를 통해 수행될 수 있다.
이하에서는 도 5를 참조하여, 본 발명의 실시 예에 따른 영상 복원 동작 및 데이터화 동작에 대하여 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 영상 복원 및 데이터화 동작의 순서를 도시한 순서도이다.
본 발명의 실시 예에 따른 영상 처리 서버 100의 제어부 130는 먼저 외부의 영상 촬영 장치 200로부터 영상 데이터를 수신하는 505동작을 수행할 수 있다.
이에 따라 상기 제어부 130는 수신된 영상 데이터를 확인하고, 해당 영상 데이터를 업스케일링하여 해상도를 복원하는 510동작을 수행할 수 있다. 본 발명의 다양한 실시 예에 따라, 해상도 업스케일링(또는 업스케일링 및 객체 인식)이 주요 목적인 경우, 또는 획득된 영상 데이터 원본의 해상도가 기 설정값 이하인 경우, 별도의 영상학습(다운스케일링 파일 및 신경망 파일 생성 동작)은 생략되고, 바로 업스케일링 동작을 진행할 수 있다.
이러한 영상 데이터의 해상도 복원이 수행된 이후, 상기 제어부 130(객체 데이터화부 134)는 복원된 영상 데이터 내지는 해당 영상 데이터의 각 프레임 이미지들로부터 객체 인식 수행 및 인식된 객체를 분류하는 515동작을 수행할 수 있다. 구체적으로, 상기 제어부 130는 복원된 이미지로부터 특정 기법(예, YOLO; You Only Look Once, 딥러닝 기반 실시간 객체 탐색 기법 등)을 이용한 객체 탐색을 수행할 수 있다. 이 결과로 상기 제어부 130는 이미지 객체를 추출할 뿐 아니라, 추출된 이미지 객체를 항목별로 구분할 수 있다. 예컨대, 상기 제어부 130는 복원된 영상 데이터로부터 추출되는 객체를 소정의 기준에 따라 사람, 자동차 등으로 구분할 수 있다. 또는 상기 제어부 130는 보다 상세한 분류 기준에 따라 남자, 여자, 어른, 어린이 등의 항목으로 추출된 사람 객체를 구분할 수 있다.
이후 상기 제어부 130는 인식된 객체 정보를 데이터화(예, 리스트화)하고 출력하는 520동작을 수행할 수 있다. 실시간으로 검출되고 식별되는 객체 이미지를 사용자가 직접 놓치지 않고 캐치하기 어려우므로, 상기 제어부 130는 인식된 객체 정보를 리스트화하여 사용자에게 제공할 수 있다. 이러한 동작은 추후 사용자가 영상 데이터에서 특정 객체(예, 자동차)의 유무를 확인하기 위해 영상 데이터를 직접 확인하는 대신, 데이터화된 자료들을 통해 검색하도록 할 수 있다. 이에 따라 사용자는 보다 효과적인 방법으로 영상 데이터로부터의 객체 검색 작업을 수행할 수 있는 효과가 있다.
또한, 도면에는 도시되지 않았지만, 본 발명의 실시 예에 따른 영상 처리 서버 100의 제어부 130는 보다 다양한 방식으로 사용자에게 효과적인 데이터 저장 및 관리기능을 제공할 수 있다. 일 실시 예에 따라, 상기 제어부 130는 잔여용량 제어부(미도시)를 포함할 수 있으며, 이를 통해 자동으로 각 사용자(계정)에게 할당된 잔여 용량(예, 클라우드 용량)을 확인하고, 신규 업로드된 영상 데이터를 압축하여 저장하되, 확인된 잔여 용량에 대응하여 상기 영상 데이터의 압축률(다운스케일링 파일의 원본 대비 용량 감소 정도)을 자동 설정할 수 있다. 만약, 특정 사용자에게 잔여 용량이 얼마 남지 않은 것으로 판단되는 경우, 상기 영상 처리 서버 100로 수신된 영상 데이터의 다운스케일링 수준을 향상 시키도록 제어할 수도 있다. 이와 같이 상기 영상 처리 서버 100는 다양한 실시 예에 따라 저장소의 잔여 용량 수준을 실시간으로 확인하고, 저장소 상황에 대응하여 자동으로 영상 처리 수준을 설정하기 위해 다운스케일링 목표치 등의 설정값을 변경할 수 있다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 영상 처리 서버
110 : 통신부
120 : 저장부
130 : 제어부
131 : 데이터 판단부
132 : AI 학습 지원부
133 : AI 영상 복원부
134 : 객체 데이터화부
200 : 영상 촬영 장치
300 : 사용자 기기
400 : 연동 서버

Claims (9)

  1. 획득된 영상 데이터를 인공신경망 기반의 영상 학습을 통해 압축하여 저장하고, 사용자 요청에 따라 압축된 영상의 압축을 해제하여 해상도를 복원하고 사용자 기기에 제공하는 영상 처리 서버; 및
    상기 영상 처리 서버로 영상 데이터를 전송하도록 제어하고, 상기 영상 처리 서버에서 수행된 영상 학습 및 복원이 수행된 결과물을 수신하는 사용자 기기;를 포함하되,
    상기 영상 처리 서버는
    상기 영상 데이터를 기반으로 영상 학습을 수행하여, 상기 영상 데이터의 해상도와 용량을 저감한 압축파일인 다운스케일링 파일과, 상기 다운스케일링 파일을 인공 신경망 연산을 통해 복원하는 데 요구되는 파일인 신경망 파일을 생성하는 제어부;를 포함하고,
    상기 제어부는
    영상 데이터를 영상 데이터 제공 장치의 속성, 회원의 속성, 서비스 이용 등급, 이용 목적 중 적어도 하나에 기반하여 분류하는 데이터 판단부;를 포함하고,
    상기 데이터 판단부는
    영상 학습의 가능 여부를 판단하기 위해 해상도가 기준값 이상인지 여부를 판단하며, 기준값 미만인 영상 데이터에 대하여는 영상 학습을 수행하지 않는 그룹으로 분류하고, 기준값 이상인 데이터는 영상 학습을 수행하는 그룹으로 분류하되, 기준값보다 높은 해상도를 갖는 데이터는 해상도를 기준값으로 변환하는 전처리를 수행하는 해상도 판단부; 및
    영상 데이터의 메타 데이터에 포함된 촬영 장치 정보를 기반으로 촬영 장치별 분류를 수행하는 영상 종류 판단부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  2. 제 1항에 있어서,
    상기 영상 처리 서버는
    영상 데이터를 외부로부터 수신하는 데이터 통신부;
    및
    영상 학습의 결과로 생성된 상기 다운스케일링 파일과 상기 신경망 파일을 저장하는 저장부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 제어부는
    원본 영상 데이터를 기 설정된 해상도로 낮춘 다운스케일링 파일과, 다운스케일링 파일을 복원하는 데 요구되는 파일인 신경망 파일을 생성하는 AI 학습 지원부;를 포함하되,
    상기 신경망 파일은
    상기 다운스케일링 파일을 대상으로 인공신경망 연산을 수행하였을 때 원본 영상 데이터와의 일치율이 기준치 이상이 되도록 하는 인공신경망 파라미터로 구성되는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  6. 제 1항에 있어서,
    상기 제어부는
    영상 학습 결과로 생성된 다운스케일링 파일의 해상도를 인공신경망 연산을 통해 복원하는 AI 영상 복원부;를 포함하되,
    영상 데이터의 종류에 따라 AI 영상 복원 동작에 관한 설정값을 결정하고, 결정된 설정값을 적용하여 영상 복원 동작을 수행하는 영상 종류 기반 적용부;
    영상 데이터의 해상도에 대응하여 복원 동작에 관한 설정값을 결정하고, 결정된 설정값을 적용하여 영상 복원 동작을 수행하는 해상도 기반 적용부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  7. 제 1항에 있어서,
    상기 제어부는
    영상 데이터의 해상도 복원이 수행된 이후, 복원된 영상 데이터의 각 프레임 이미지들로부터 특정 이미지 객체를 추출하고, 추출된 이미지 객체의 항목을 리스트화하는 객체 데이터화부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  8. 제 1항에 있어서,
    상기 제어부는
    각 사용자에게 할당된 잔여 용량을 확인하고, 신규 업로드된 영상 데이터를 압축하여 저장하되, 확인된 잔여 용량에 대응하여 상기 영상 데이터의 압축률을 자동 설정하는 잔여 용량 제어부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  9. 제 1항에 있어서,
    상기 영상 처리 서버는
    영상 데이터를 수신하여 저장하는 클라우드 서비스를 제공하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
KR1020190046955A 2018-04-24 2019-04-22 Ai 기반의 영상 압축 및 복원 시스템 KR102190483B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/004894 WO2019209007A1 (ko) 2018-04-24 2019-04-23 Ai 기반의 영상 압축 및 복원 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180047305 2018-04-24
KR1020180047305 2018-04-24

Publications (2)

Publication Number Publication Date
KR20190130479A KR20190130479A (ko) 2019-11-22
KR102190483B1 true KR102190483B1 (ko) 2020-12-11

Family

ID=68731071

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020190046953A KR102082815B1 (ko) 2018-04-24 2019-04-22 인공지능 기반 해상도 개선 시스템
KR1020190046955A KR102190483B1 (ko) 2018-04-24 2019-04-22 Ai 기반의 영상 압축 및 복원 시스템
KR1020190046954A KR102082816B1 (ko) 2018-04-24 2019-04-22 스트리밍 파일의 해상도 개선 방법
KR1020190046957A KR102179436B1 (ko) 2018-04-24 2019-04-22 변화 매크로블록 추출 기법을 이용한 동영상 화질 개선 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190046953A KR102082815B1 (ko) 2018-04-24 2019-04-22 인공지능 기반 해상도 개선 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020190046954A KR102082816B1 (ko) 2018-04-24 2019-04-22 스트리밍 파일의 해상도 개선 방법
KR1020190046957A KR102179436B1 (ko) 2018-04-24 2019-04-22 변화 매크로블록 추출 기법을 이용한 동영상 화질 개선 시스템

Country Status (4)

Country Link
US (2) US20210160556A1 (ko)
EP (1) EP3787302A4 (ko)
JP (1) JP7385286B2 (ko)
KR (4) KR102082815B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018179A1 (ko) * 2021-08-10 2023-02-16 삼성전자 주식회사 어플리케이션에 따라 ai 기반으로 영상을 재생하는 전자 장치 및 이에 의한 영상 재생 방법
KR102647960B1 (ko) * 2023-10-11 2024-03-15 주식회사 지솔 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009490A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
JP2020524418A (ja) * 2018-05-21 2020-08-13 ジーディーエフラボ カンパニー リミテッド Ａｉ映像学習プラットフォームベースのｖｏｄサービスシステム
US20190392312A1 (en) * 2018-06-21 2019-12-26 Deep Force Ltd. Method for quantizing a histogram of an image, method for training a neural network and neural network training system
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
EP4060998A4 (en) * 2019-11-15 2023-11-15 Korea Advanced Institute of Science and Technology SYSTEM AND METHOD FOR LIVE VIDEO INGESTION
KR102524547B1 (ko) * 2019-11-28 2023-04-24 울산과학기술원 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR20210127412A (ko) * 2020-04-14 2021-10-22 삼성전자주식회사 Ai 다운스케일 장치 및 그 동작방법, 및 ai 업스케일 장치 및 그 동작방법
CN113556496B (zh) * 2020-04-23 2022-08-09 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
US11436703B2 (en) * 2020-06-12 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call
KR20220081648A (ko) * 2020-12-09 2022-06-16 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US11943271B2 (en) 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
KR102271371B1 (ko) * 2020-12-24 2021-06-30 전남대학교산학협력단 네트워크 트래픽 절감을 위한 모바일 엣지 컴퓨팅 기반 슈퍼-레졸루션 스트리밍 영상 전송 시스템
CN112802338B (zh) * 2020-12-31 2022-07-12 山东奥邦交通设施工程有限公司 一种基于深度学习的高速公路实时预警方法及系统
KR102537163B1 (ko) * 2021-06-16 2023-05-26 주식회사 엘지유플러스 단말기, 클라우드 서버 및 클라우드 증강현실(ar) 플랫폼의 영상 송수신 시스템 및 그 방법
WO2023286881A1 (ko) * 2021-07-12 2023-01-19 엘지전자 주식회사 영상표시장치 및 이를 포함하는 시스템
KR102634627B1 (ko) * 2021-12-14 2024-02-08 주식회사 카이 라이브 스트리밍 방법 및 장치
CN114845138A (zh) * 2022-04-26 2022-08-02 三星电子（中国）研发中心 自适应流媒体的超分辨率重建方法和装置及服务器
KR102596384B1 (ko) * 2023-02-22 2023-10-30 진병선 인공 지능 연산을 위한 신경망 처리 유닛이 구비된 카메라 장비

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040045030A1 (en) * 2001-09-26 2004-03-04 Reynolds Jodie Lynn System and method for communicating media signals
US20170347061A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Machine Learning for Visual Processing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293454A (en) * 1989-03-08 1994-03-08 Sharp Kabushiki Kaisha Learning method of neural network
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
JP4784190B2 (ja) 2005-07-28 2011-10-05 カシオ計算機株式会社 コンテンツ再生装置、コンテンツ配信装置及びプログラム
CN101053249B (zh) 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
US9602814B2 (en) * 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
KR101344828B1 (ko) * 2012-02-27 2013-12-26 (주)티그레이프 디지털 콘텐츠 유통 방법 및 시스템
US9940539B2 (en) 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
KR102450971B1 (ko) 2015-05-08 2022-10-05 삼성전자주식회사 객체 인식 장치 및 방법
US9609307B1 (en) * 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
JP2017103744A (ja) 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
KR101803471B1 (ko) * 2016-02-15 2017-12-01 성균관대학교 산학협력단 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법
JP6689656B2 (ja) 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
US10432685B2 (en) * 2016-05-31 2019-10-01 Brightcove, Inc. Limiting key request rates for streaming media
KR101780057B1 (ko) 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치
CN106791927A (zh) 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
US10970819B2 (en) 2017-05-26 2021-04-06 Rakuten, Inc. Image processing device, image processing method, and image processing program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040045030A1 (en) * 2001-09-26 2004-03-04 Reynolds Jodie Lynn System and method for communicating media signals
US20170347061A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Machine Learning for Visual Processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018179A1 (ko) * 2021-08-10 2023-02-16 삼성전자 주식회사 어플리케이션에 따라 ai 기반으로 영상을 재생하는 전자 장치 및 이에 의한 영상 재생 방법
KR102647960B1 (ko) * 2023-10-11 2024-03-15 주식회사 지솔 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템

Also Published As

Publication number Publication date
JP7385286B2 (ja) 2023-11-22
KR20190130480A (ko) 2019-11-22
EP3787302A4 (en) 2022-04-20
JP2021522723A (ja) 2021-08-30
KR20190130478A (ko) 2019-11-22
KR102082815B1 (ko) 2020-02-28
EP3787302A1 (en) 2021-03-03
US20210058653A1 (en) 2021-02-25
US20210160556A1 (en) 2021-05-27
KR102179436B1 (ko) 2020-11-16
KR20190140825A (ko) 2019-12-20
US11095925B2 (en) 2021-08-17
KR102082816B1 (ko) 2020-02-28
KR20190130479A (ko) 2019-11-22

Similar Documents

Publication Publication Date Title
KR102190483B1 (ko) Ai 기반의 영상 압축 및 복원 시스템
CN108683826B (zh) 视频数据处理方法、装置、计算机设备和存储介质
WO2018150083A1 (en) A method and technical equipment for video processing
CN110633669B (zh) 家居环境中基于深度学习的移动端人脸属性识别方法
WO2021164216A1 (zh) 一种视频编码方法、装置、设备及介质
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN111970509A (zh) 一种视频图像的处理方法、装置与系统
KR102130076B1 (ko) 특징 영역의 학습 중요도를 바탕으로 스트리밍 파일의 해상도를 개선하는 방법
US11736532B2 (en) Automating digital forensic evidence collection
US20190370553A1 (en) Filtering of false positives using an object size model
US20210092403A1 (en) Object manipulation video conference compression
WO2019209007A1 (ko) Ai 기반의 영상 압축 및 복원 시스템
CN113507611B (zh) 图像存储方法、装置、计算机设备和存储介质
KR20220070866A (ko) 딥러닝 기술이 적용된 영상 개선 방법, 장치 및 프로그램
US11403734B2 (en) Systems and methods for converting low resolution images into high resolution images
US11336902B1 (en) Systems and methods for optimizing video encoding
CN114677584A (zh) 一种双注意力机制配电站水浸识别方法及系统
CN114040223A (zh) 一种图像处理方法及系统
CN109101646B (zh) 数据处理方法、装置、系统及计算机可读介质
KR102130078B1 (ko) 해상도 향상도를 바탕으로 인공지능 파라미터를 변경하는 시스템
KR102130077B1 (ko) 격자 생성 패턴 정보를 바탕으로 해상도를 개선하는 시스템
CN115086730B (zh) 签约视频生成方法、系统、计算机设备及介质
CN112418792B (zh) 一种城市精细化信息处理方法、装置及系统
KR20170097392A (ko) 비디오 저장 장치에서 수행되는 비디오 스토리지 절감 방법, 비디오 저장 장치 및 비디오 저장 서버
CN112990473A (zh) 一种模型训练方法、装置及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant