KR20200075710A - Fec 파라미터 결정을 위한 dnn 모델 선택 장치 - Google Patents

Fec 파라미터 결정을 위한 dnn 모델 선택 장치 Download PDF

Info

Publication number
KR20200075710A
KR20200075710A KR1020190032233A KR20190032233A KR20200075710A KR 20200075710 A KR20200075710 A KR 20200075710A KR 1020190032233 A KR1020190032233 A KR 1020190032233A KR 20190032233 A KR20190032233 A KR 20190032233A KR 20200075710 A KR20200075710 A KR 20200075710A
Authority
KR
South Korea
Prior art keywords
dnn
dnn model
size
symbol
packet
Prior art date
Application number
KR1020190032233A
Other languages
English (en)
Inventor
이종만
김재우
박현
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020190032233A priority Critical patent/KR20200075710A/ko
Publication of KR20200075710A publication Critical patent/KR20200075710A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/25—Error detection or forward error correction by signal space coding, i.e. adding redundancy in the signal constellation, e.g. Trellis Coded Modulation [TCM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Abstract

FEC 파라미터 결정을 위한 DNN 모델 선택 장치가 제공된다. DNN 모델 선택 장치는, 멀티미디어 전송 프로토콜 알고리즘을 이용하여 산출되는, 네트워크 상태 정보를 각각 설정된 테스트 범위 내에서 가변하면서 최대 throughput이 가능한 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)의 조합을 (심볼 크기, 심볼 개수, 패킷 크기)로 이루어진 실제값으로서 저장하는 실제값 저장부와, DNN 학습에 사용되는 계층 개수 및 각 계층에 대한 뉴론의 개수 중 적어도 하나가 다른 m개의 상이한 DNN 모델들을 생성하는 DNN 모델 생성부와, m개의 DNN 모델들 별로 네트워크 상태 정보를 각각 설정된 테스트 범위 내에서 가변하면서 입력하여, m개의 DNN 모델들마다 n개의 (심볼 크기', 심볼 개수', 패킷 크기')로 이루어진 예측값을 산출하는 예측값 산출부와, m개의 DNN 모델들 별로 예측값과 실제값을 비교하여 최적 DNN 모델을 선택하는 DNN 모델 선택부를 포함한다.

Description

FEC 파라미터 결정을 위한 DNN 모델 선택 장치{DNN model selecting apparatus for determining FEC parameter}
본 발명은 FEC 파라미터 결정을 위한 DNN 모델 선택 장치에 관한 것으로서, 보다 상세하게는, 네트워크 상태와 비디오 인코딩을 고려하여 FEC 변수를 동적으로 가변하여 데이터를 전송하도록 할 수 있는 FEC 파라미터 결정을 위한 DNN 모델 선택 장치에 관한 것이다.
최근 컴퓨터와 통신기술이 발달함에 따라 음성 및 영상 등의 멀티미디어 데이터를 네트워크를 통해 실시간적으로 전송할 수 있는 서비스에 대한 요구가 증가하고 있고, 이러한 요구를 만족시킬 수 있는 멀티미디어 처리 기술과 전송 기술에 대한 연구가 활발하게 진행되고 있다.
기존의 통신 서비스가 인터넷을 통한 FTP(File Transfer Protocol), Tenet, e-mail과 같은 텍스트 위주의 서비스였다면, 최근에는 유튜브, IPTV와 같은 멀티미디어 데이터의 실시간 전송을 요구하는 다양한 서비스들이 등장하였다. 특히, UHD(Ultra High Definition) 이상의 영상을 지원하는 기기들이 보편화 되면서, 고품질의 영상 송수신에 대한 요구가 증가하고 있다. 그러나, 전송해야 할 전체 데이터가 크게 커진 만큼 스트리밍 서비스 간에 패킷 손실 및 비트 에러(bit error)의 가능성도 크게 증가하고 있다.
이러한 문제점을 보완하기 위해 사용되는 대표적인 방법으로 응용계층에서의 전방오류정정(FEC: Forward Error Correction) 기술이 있으며, 최근까지 전방오류정정 기술을 기반으로 한 다양한 영상 스트리밍 기술들이 연구되고 있다.
그러나, 기존의 FEC 매개변수 결정 알고리즘은 가변 데이터에 대해 고정된 방법(fixed method)으로, 적응적 송수신 데이터에 대한 FEC 매개변수를 결정하는 데에는 한계가 있다. 즉, 기존의 멀티미디어 전송 프로토콜의 가장 큰 단점은, 랩터 인코딩 매개변수를 결정하는 FEC 매개변수 결정 알고리즘을 사용하는 경우, 패킷의 크기 변경이 불가능하다는 것이다.
멀티미디어 전송 시 FEC 엔코더가 동일한 엔코딩 블록 크기를 사용한다고 가정하였을 때 패킷의 크기 변경이 불가능하면, 패킷 개수도 변경이 불가능하여 고정된다. 패킷 개수는 인코딩 블록의 코드율 뿐만 아니라 throughput에도 큰 영향을 주는 매개변수이므로, 통신 환경에 따라 FEC 매개변수를 적응적으로 조정할 수 있는 기술이 필요하다.
국내 공개특허 제10-2018-0052651호(2018.05.18. 공개)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 심층 신경망 구조를 적용하여 인코딩 블록에서 패킷 크기를 동적으로 조정할 수 있는 FEC 파라미터 결정을 위한 DNN 모델 선택 장치를 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 순방향 오류 정정(FEC: Forward Error Correction)을 이용한 초협대역 멀티미디어 전송 장치는, 영상데이터를 송수신하는 동안 발생하는 네트워크 상태 정보를 제공하는 네트워크 정보 제공부; 상기 영상데이터를 비디오 인코딩률에 기반하여 인코딩하는 비디오 인코더; 상기 네트워크 정보 제공부로부터 제공되는 네트워크 상태 정보를 최적 DNN 모델에 입력하여 상기 영상데이터의 FEC 인코딩 시 적용할 FEC 매개변수들을 상기 네트워크 상태 정보에 따라 동적으로 가변 출력하는 FEC 변수 제어부; 상기 FEC 변수 제어부에서 가변 출력되는 FEC 매개변수들을 이용하여 상기 인코딩된 비디오데이터를 FEC 인코딩하여 패킷을 생성하는 FEC 인코딩 및 패킷 생성부; 및 상기 생성된 패킷을 무선으로 전송하는 통신 인터페이스부;를 포함한다.
상기 네트워크 상태 정보는, 패킷 손실률(PLR: Packet Loss Rate) 및 데이터 레이트(Data Rate)를 포함하고, 상기 FEC 매개변수들은, 심볼 크기(s, symbol size), 심볼 개수(k, symbol number) 및 패킷 크기(p, packet size)를 포함하고, 상기 FEC 변수 제어부는, 상기 패킷 손실률 및 데이터 레이트에 따라 동적으로 패킷 크기를 산출하고, 상기 FEC 인코딩 및 패킷 생성부는, 상기 FEC 변수 제어부에서 동적으로 산출된 패킷 크기에 기반하여 상기 인코딩된 비디오데이터를 FEC 인코딩한 후 패킷을 생성한다.
상기 비디오 인코더는, 상기 인코딩 시 적용된 비디오 인코딩률 정보를 상기 FEC 변수 제어부로 제공하고, 상기 FEC 변수 제어부는, 상기 비디오 인코더로부터 입력되는 상기 비디오 인코딩률 정보를 상기 네트워크 상태 정보와 함께 상기 최적 DNN 모델로 입력하여 상기 FEC 매개변수들을 동적으로 가변 출력한다.
상기 최적 DNN 모델은, DNN 모델 선택 장치에 의해 선택되며, 상기 DNN 모델 선택 장치는, 멀티미디어 전송 프로토콜 알고리즘을 이용하여 산출되는, 상기 네트워크 상태 정보를 각각 설정된 테스트 범위 내에서 가변하면서 최대 throughput이 가능한 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)의 조합을 (심볼 크기, 심볼 개수, 패킷 크기)로 이루어진 실제값으로서 저장하는 실제값 저장부; DNN 학습에 사용되는 계층 개수 및 각 계층에 대한 뉴런의 개수 중 적어도 하나가 다른 m개의 상이한 DNN 모델들을 생성하는 DNN 모델 생성부; 상기 m개의 DNN 모델들 별로 상기 네트워크 상태 정보를 각각 설정된 테스트 범위 내에서 가변하면서 입력하여, 상기 m개의 DNN 모델들마다 n개의 (심볼 크기', 심볼 개수', 패킷 크기')로 이루어진 예측값을 산출하는 예측값 산출부; 및 상기 m개의 DNN 모델들 별로 상기 예측값과 상기 실제값을 비교하여 상기 최적 DNN 모델을 선택하는 DNN 모델 선택부;를 포함한다.
상기 DNN 모델 선택부는, MSE(Mean Square Error) 방식을 이용하여 상기 심볼 크기에 대한 MSE값, 상기 심볼 개수에 대한 MSE값 및 상기 패킷 크기에 대한 MSE값을 산출하고, 상기 산출된 MSE값들을 더한 결과가 가장 작은 DNN 모델을 상기 최적 DNN 모델로서 선택한다.
한편, 본 발명의 다른 실시 예에 따르면, 순방향 오류 정정(FEC: Forward Error Correction)을 이용한 초협대역 멀티미디어 전송 방법은, (A) 전자장치가, 영상데이터를 송수신하는 동안 발생하는 네트워크 상태 정보를 수집 또는 산출하는 단계; (B) 상기 전자장치가, 상기 영상데이터를 비디오 인코딩률에 기반하여 인코딩하는 단계; (C) 상기 전자장치가, 상기 (A) 단계에서 제공되는 네트워크 상태 정보를 최적 DNN 모델에 입력하여 상기 영상데이터의 FEC 인코딩 시 적용할 FEC 매개변수들을 상기 네트워크 상태 정보에 따라 동적으로 가변 출력하는 단계; (D) 상기 전자장치가, 상기 (C) 단계에서 가변 출력되는 FEC 매개변수들을 이용하여 상기 인코딩된 비디오데이터를 FEC 인코딩하여 패킷을 생성하는 단계; 및 (E) 상기 전자장치가, 상기 (D) 단계에서 생성된 패킷을 전송하는 단계;를 포함한다.
상기 네트워크 상태 정보는, 패킷 손실률(PLR: Packet Loss Rate) 및 데이터 레이트(Data Rate)를 포함하고, 상기 FEC 매개변수들은, 심볼 크기(s, symbol size), 심볼 개수(k, symbol number) 및 패킷 크기(p, packet size)를 포함하고, 상기 (C) 단계는, 상기 전자장치가, 상기 패킷 손실률, 데이터 레이트에 따라 동적으로 패킷 크기를 산출하고, 상기 (D) 단계는, 상기 전자장치가, 상기 (C) 단계에서 동적으로 산출된 패킷 크기에 기반하여 상기 인코딩된 비디오데이터를 FEC 인코딩한 후 패킷을 생성한다.
상기 (B) 단계에서, 상기 전자장치는, 상기 인코딩 시 적용된 비디오 인코딩률 정보를 제공하고, 상기 (C) 단계에서, 상기 전자장치는, 상기 (B) 단계로부터 입력되는 상기 비디오 인코딩률 정보를 상기 네트워크 상태 정보와 함께 상기 최적 DNN 모델로 입력하여 상기 FEC 매개변수들을 상기 네트워크 상태 정보와 상기 비디오 인코딩률 정보에 따라 가변 출력한다.
상기 (A) 단계 이전에, (F) DNN 모델 선택 장치가, 멀티미디어 전송 프로토콜 알고리즘을 이용하여 상기 네트워크 상태 정보 및 상기 비디오 인코딩률을 각각 설정된 테스트 범위 내에서 가변하면서 산출된, 최대 throughput이 가능한 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)의 조합을 (심볼 크기, 심볼 개수, 패킷 크기)로 이루어진 실제값으로서 저장하는 단계; (G) 상기 DNN 모델 선택 장치가, DNN 학습에 사용되는 계층 개수 및 각 계층에 대한 뉴론의 개수 중 적어도 하나가 다른 m개의 상이한 DNN 모델들을 생성하는 단계; (H) 상기 DNN 모델 선택 장치가, 상기 m개의 DNN 모델들 별로 상기 네트워크 상태 정보 및 상기 비디오 인코딩률을 각각 설정된 테스트 범위 내에서 가변하면서 입력하여, 상기 m개의 DNN 모델들마다 n개의 (심볼 크기', 심볼 개수', 패킷 크기')로 이루어진 예측값을 산출하는 단계; 및 (I) 상기 DNN 모델 선택 장치가, 상기 m개의 DNN 모델들 별로 상기 예측값과 상기 실제값을 비교하여 상기 최적 DNN 모델을 선택하는 단계;를 포함한다.
본 발명에 따르면, FEC 매개변수 결정 시 심층 신경망 구조를 적용하여 인코딩 블록에서 패킷 크기를 동적으로 변화함으로써 PSNR(Peak Signal to Noise Ratio)의 최적화 및 전송 효율을 최대화할 수 있다.
또한, 본 발명에 따르면, OSI 계층 중 네트워크 계층에 해당하는 네트워크 상태 정보와 어플리케이션 계층에 해당하는 비디오 인코딩률 정보를 입력받아 DNN 학습을 수행하며, 이로써, 네트워크 상태 정보와 비디오 인코딩률에 따라 동적으로 가변하는 심볼 크기, 심볼 개수 및 패킷 크기를 출력함으로써, 데이터 전송 시 사용하는 패킷 크기를 네트워크와 어플리케이션의 상태에 따라 적응적으로 조정할 수 있다.
또한, 본 발명에 따르면, 최초로 영상품질 및 영상전송효율 최적화를 수행하기 위해 예를 들어, (32-32-16-16) DNN 구조를 사용할 수 있으며, 이로써, PLR(Packet Loss Rate)과 DR(Data Rate), Video Encoding Rate에 따라 적절한 패킷 크기를 선택하여 throughput을 개선할 수 있다. 즉, 본 발명에 따르면, 동일한 네트워크 환경기준으로 PSNR이 유사한 수준에서 더 많은 영상데이터를 보낼 수 있으며, 이는 제한된 네트워크 자원 또는 혼잡한 트래픽 환경에서 영상전송효율을 개선할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 초협대역 멀티미디어 전송 장치(100)를 도시한 블록도,
도 2는 본 발명의 실시 예에 따른 DNN 모델 선택 장치를 도시한 도면,
도 3은 DNN 모델 선택부에 의해 선택된 최적 DNN 모델, 즉, 5개의 완전 연결 신경망 구조를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 순방향 오류 정정을 이용한 초협대역 영상데이터 전송 방법을 설명하기 위한 흐름도, 그리고,
도 5는 본 발명의 실시 예에 따른 DNN 모델 선택 방법을 설명하기 위한 흐름도이다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사항에 부합하는 의미와 개념으로 해석되어야 할 것이다.
또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 1 및 도 2에 도시된 장치들(100, 200)의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 생성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 장치들(100, 200)은 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.
또한, 본 발명의 실시 예에 따른 상기 장치들(100, 200)은 마이크로 프로세서, 메모리, FPGA(Field Programmable Gate Array), ASIC(Application Specific Integrated Circuit) 등 프로그램의 설치 및 실행이 가능한 전자 장치를 사용하여 구현될 수 있다.
도 1은 본 발명의 실시 예에 따른 초협대역 멀티미디어 전송 장치(100)를 도시한 블록도이다.
도 1에 도시된 장치(100)는 관제 센터 또는 관제 센터와 무선통신하는 감시정찰기, 감시용 비행체 등 영상을 포함하는 멀티미디어 데이터를 송수신할 수 있는 군장비시설에 설치될 수 있다.
도 1을 참조하면, 본 발명의 실시 예에 따른 초협대역 멀티미디어 전송 장치(100)는 네트워크 정보 제공부(110), 비디오 인코더(120), FEC 변수 제어부(130), FEC 인코딩 및 패킷 생성부(140) 및 통신 인터페이스부(150)를 포함한다.
네트워크 정보 제공부(110)는 영상데이터를 송수신하는 동안 발생하는 네트워크 상태 정보를 취합 또는 산출하여 FEC 변수 제어부(130)에게 제공한다. 네트워크 상태 정보는, 패킷 손실률(PLR: Packet Loss Rate), 데이터 레이트(DR: Data Rate), 지연(Relay), 대역폭 등 네트워크 통신과 관련된 다수의 정보를 포함할 수 있다. 이러한 네트워크 상태 정보를 획득하는 방식은 주지된 다양한 기술들 중 하나를 사용할 수 있다.
비디오 인코더(120)는 전송할 영상데이터를 비디오 인코딩률에 기반하여 인코딩한다. 또한, 비디오 인코더(120)는 영상데이터의 인코딩에 사용한 비디오 인코딩률(VER: Video Encoding Rate)을 FEC 변수 제어부(130)에게 제공한다.
FEC 변수 제어부(130)는 네트워크 정보 제공부(110)로부터 제공되는 네트워크 상태 정보와 비디오 인코딩률(VER)을 최적 DNN 모델에 입력하여 영상데이터의 FEC 인코딩 시 적용할 FEC 매개변수들을 네트워크 상태 정보에 따라 동적으로 가변 출력할 수 있다.
FEC 변수 제어부(130)는 다수의 네트워크 상태 정보 중 패킷 손실률(PLR)과 데이터 레이트(DR)를 최적 DNN 모델의 입력으로 사용할 수 있으며, 이는 일 예로서 변경가능함은 물론이다.
또한, FEC 변수 제어부(130)에 의해 동적으로 가변되는 FEC 매개변수들은 랩터 인코딩 블록의 심볼 크기(s, symbol size), 심볼 개수(k, symbol number) 및 패킷 크기(p, packet size)를 포함한다. 심볼 크기, 심볼 개수 및 패킷 크기는 최적의 영상 품질 및 전송 효율에 영향을 미치는 변수들 중 하나이다.
FEC 변수 제어부(130)에서 사용하는 최적 DNN 모델은 도 2를 참조하여 후술할 DNN 모델 선택 장치(200)에 의해 학습 및 선택된 모델이다.
FEC 인코딩 및 패킷 생성부(140)는 FEC 변수 제어부(130)에서 패킷 손실률(PLR), 데이터 레이트(DR) 및 비디오 인코딩률(VER)에 따라 동적으로 가변 출력되는 FEC 매개변수들을 이용하여, 비디오 인코더(120)에서 인코딩된 비디오 데이터를 FEC 인코딩하고 FEC 매개변수들에 포함된 패킷 크기에 따라 패킷을 생성할 수 있다. 즉, FEC 인코딩 및 패킷 생성부(140)는 FEC 변수 제어부(130)에서 동적으로 산출된 패킷 크기에 기반하여, 인코딩된 비디오 데이터를 FEC 인코딩한 후 패킷을 생성한다.
통신 인터페이스부(150)는 FEC 인코딩 및 패킷 생성부(140)에서 생성된 패킷을 무선으로 타겟에게 전송하고, 전송과 관련된 통신 결과를 네트워크 정보 제공부(110)에게 제공한다.
도 2는 본 발명의 실시 예에 따른 DNN 모델 선택 장치(200)를 도시한 도면이다.
도 2에 도시된 DNN 모델 선택 장치(200)는 관제 센터의 서버에 구비되거나 별도의 컴퓨터 장치로 구현되어 DNN 모델을 학습 및 선택할 수 있으며, 선택된 최적의 DNN 모델을 영상데이터 전송 장치(100)에 설치 및 실행가능하도록 설계할 수 있다. DNN 모델 선택 장치(200)는 AL-FEC(Application Layer FER) 파라미터 결정을 위한 최적의 DNN 모델을 선택할 수 있다.
도 2를 참조하면, 본 발명의 실시 예에 따른 DNN 모델 선택 장치(200)는 실제값 저장부(210), DNN 모델 생성부(220), 예측값 산출부(230) 및 DNN 모델 선택부(240)를 포함한다.
실제값 저장부(210)는 멀티미디어 전송 프로토콜 알고리즘을 이용하여 산출된, 네트워크 상태 정보와 비디오 인코딩률(VER)을 각각 설정된 테스트 범위 내에서 가변하면서 최대 throughput이 가능한 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)의 조합을 (심볼 크기, 심볼 개수, 패킷 크기)(이하, (s, k, p)라 한다)로 이루어진 실제값으로서 저장할 수 있다.
실제값 저장부(210)에 네트워크 상태 정보와 비디오 인코딩률에 따라 저장된 (s, k, p) 조합, 즉, 다수의 실제값들은 DNN 구조의 최적 모델 파라미터를 찾기 위한 DNN 학습 샘플로 사용될 수 있다. DNN 학습 샘플로 사용되기 위한 실제값들은 PC와 같은 별도의 전자장치(미도시) 또는 DNN 모델 선택 장치(200)가 멀티미디어 전송 프로토콜 알고리즘을 실행하여 추출할 수 있다. 이하에서는 전자장치(미도시)가 추출하는 경우를 예로 들어 설명한다.
먼저, 전자장치(미도시)는 샘플을 추출하기 위해 패킷 손실률(PLR), 데이터 레이트(DR) 및 비디오 인코딩률(VER)을 각각 정해진 단위(Unit Step)로 변경하면서 최대 throughput이 가능한 (s, k, p) 조합을 추출한다. 샘플 추출 시 적용한 패킷 손실률(PLR), 데이터 레이트(DR) 및 비디오 인코딩률(VER)의 범위는 [표 1]과 같다.
Database Test range Unit step
Packet Loss Rate(PLR) 0.001%~0.04% 0.001% or 0.002%
Data Rate(DR) 0.1Mbps ~ 1Mbps 0.05Mbps
Video Encoding Rate(VER) 0.1Mbps ~ 1Mbps 0.1Mbps
[표 1]에서 보여지는 테스트 범위(Test Range)와 변경 단위(Unit Step)는 DNN 모델을 학습하고 최적의 DNN을 선택하기 위해 사용하는 일 예로서, 이에 한정되지 않고 변경가능함은 물론이다.
샘플 추출에 사용되는 멀티미디어 전송 프로토콜 알고리즘은 멀티미디어 전송 프로토콜에서 FEC 매개변수를 결정하기 위한 기존 알고리즘으로서, 간단히 설명하면 다음과 같다.
먼저, 전자장치(미도시)는 최적의 영상품질 및 전송효율을 위한 랩터 인코딩 블록의 심볼 크기(s), 심볼 개수(k), 그리고, 코드율(c) 등의 문제 정의를 수행한다.
그리고, 전자장치(미도시)는 위에서 정의한 문제의 해를 찾기 위해 전역 탐색 기반의 알고리즘을 사용한다. 즉, 알고리즘에서는 사용 가능한 (s,k)의 조합을 생성하고, 이 조합 내에서 throughput을 최대화하는 s, k 그리고 c를 탐색한다. 유한한 개수의 사용 가능한 (s, k) 조합을 제공하며, c는 주어진 (s, k) 조합과 네트워크 상태, 즉, 패킷 손실률(PLR)에 따라 결정 가능한 값이다.
매개 변수 결정 알고리즘은 아래와 같다.
첫째, 전자장치(미도시)는 매개 변수 후보가 저장되는 집합을 초기화하고, 사용 가능한 모든 (s, k)의 조합을 생성한다.
둘째, 전자장치(미도시)는 생성된 (s, k) 조합 중 하나를 선택하고, 선택된 (s, k) 기준으로 랩터 인코딩 블록에 해당되는 패킷의 개수 및 랩터 디코딩에 필요한 최소한의 패킷 개수, 패킷 손실률(PLR)을 고려하여 코드율(c)를 결정한다.
셋째, 전자장치(미도시)는 선택된 (s, k) 조합에 대해 수신단 버퍼 언더플로우를 방지할 수 있는지 계산한다.
넷째, 전자장치(미도시)는 위에서 결정된 (s, k) 조합과 c, 그리고, 고정된 패킷 크기(p)로 응용계층의 throughput을 계산한다. 즉, 전자장치(미도시)는 심볼 크기(s)와 심볼 개수(k)의 조합으로 최대의 랩터 인코딩 블록크기를 찾는다.
다섯째, 전자장치(미도시)는 (s, k) 조합에 대해 위 과정을 수행하였다면 Mcnd에 있는 매개변수 후보를 위 문제의 해로 반환한다. 만약 아직 탐색하지 않은 (s, k) 조합이 있다면 상술한 동작을 반복한다.
전자장치(미도시)는 상술한 동작을 패킷 손실률(PLR), 데이터 레이트(DR) 및 비디오 인코딩률(VER)을 각각 정해진 단위(Unit Step)로 변경하면서, 변경된 패킷 손실률(PLR), 데이터 레이트(DR) 및 비디오 인코딩률(VER)에 대해 최대 throughput이 가능한 (s, k, p) 조합을 추출한다.
예를 들어, 먼저, 전자장치(미도시)는 (PLR, DR, VER)=(0.1, 0.1, 0.0001)인 경우 최대 throughput이 가능한 (s, k, p) 조합을 추출하고, 다음으로 (PLR, DR, VER)=(0.1, 0.1, 0.0002)인 경우 최대 throughput이 가능한 (s, k, p) 조합을 추출하고, 이러한 방식에 의해 마지막으로 (PLR, DR, VER)=(1, 1, 0.04)인 경우 최대 throughput이 가능한 (s, k, p) 조합을 추출한다.
상술한 동작에 의해 추출되는 실제값들은 실제값 저장부(210)에 저장된다.
DNN 모델 생성부(220)는 DNN 학습에 사용되는(즉, DNN 구조의) 계층 개수 및 각 계층에 대한 뉴론의 개수 중 적어도 하나가 다른 m개의 상이한 DNN 모델들을 생성한다. 최적의 모델 파라미터를 찾기 위해, 즉, 최적 DNN 모델을 선택하기 위해, DNN 모델 생성부(220)는 3개, 5개, 그리고 7개의 계층 개수와, 64개, 32개, 16개, 8개 및 4개의 각 계층에 대한 뉴론의 개수를 이용하여 DNN 모델을 생성할 수 있으며, 이 때 사용된 계층 개수와 뉴론의 개수는 일 예로서 이에 한정되지 않는다.
일반적인 DNN 구조는 하위 계층에서 상위 계층으로 갈수록 차원이 축소(dimensionality reduction)된다. 따라서, DNN 모델 생성부(220)는 계층이 상위로 갈수록 뉴론의 개수가 감소하는 형태로 모델을 구성할 수 있다.
예측값 산출부(230)는 DNN 모델 생성부(220)에서 생성된 m개의 DNN 모델들 별로 네트워크 상태 정보(PLR, DR)와 비디오 인코딩률(VER)을 각각 설정된 테스트 범위 내에서 가변하면서 입력하여, m개의 DNN 모델들마다 (심볼 크기', 심볼 개수', 패킷 크기')(이하, (s', k', p')라 한다)로 이루어진 n개의 예측값들을 산출할 수 있다.
예측값 산출부(230)가 예측값들을 산출하기 위해 사용하는 네트워크 상태 정보(PLR, DR)와 비디오 인코딩률(VER)의 테스트 범위와 변경 단위는 전자장치(미도시)가 실제값들 추출시 사용한 값과 동일하다.
DNN 구조의 최적 모델 파라미터를 찾기 위해 전자장치(미도시)에서 추출된 다수의 샘플들(즉, 실제값들)이 실제값 저장부(210)에 저장되고, 예측값 산출부(230)에서 각 DNN 모델 별로 예측값들이 산출되면, DNN 모델 선택부(240)는 m개의 DNN 모델들 별로 산출된 예측값과 저장된 실제값을 비교하여 오차가 가장 적은 최적 DNN 모델을 선택할 수 있다.
DNN 모델 선택부(240)는 평균 자승 오차(MSE: Mean Square Error) 방식을 이용하여 심볼 크기(s)에 대한 MSE값, 심볼 개수(k)에 대한 MSE값 및 패킷 크기(p)에 대한 MSE값을 산출하고, 산출된 MSE값들을 더한 결과가 가장 작은 DNN 모델을 최적 DNN 모델로서 선택할 수 있다.
예를 들어, 예측값 산출부(230)는 실험을 위해 제안 DNN 구조를 Matlab기반 딥러닝 라이브러리인 MatConvNet에 구현한다. DNN 모델 선택부(240)는 제안 방법의 학습을 위해 ADAM 최적화 방법을 사용하고, 총 500번 세대(epoch)만큼 학습을 수행한다. 학습률(learning rate)은 0.0001, 가중치 부식(weight decay)값은 0.0001을 사용하며, 학습 시 미니 배치의 크기는 32로 설정한다. 이러한 설정값은 실험을 위한 일 예로서 이에 한정되지 않는다.
DNN 모델 선택부(240)는 학습을 위한 비용 함수로서, 예측된 (s', k', p')와 실제값 (s, k, p)간 MSE를 사용하며, 비용함수(J)는 [수학식 1]과 같다.
Figure pat00001
[수학식 1]에서 s, k, p가 가질 수 있는 값은 각각 s={16, 32, 64, 128}, k={128, 256, 512}, p={32, 64, 128}이다. 각 파라미터 값의 동적 범위가 다르면, 결과적으로 비용함수를 최적화시 각 파라미터마다 다른 가중값을 갖게 된다. 이를 해결하기 위해 예측값 산출부(230)와 DNN 모델 선택부(240)는 log 스케일로 치환된 s, k, p 값에 대해 학습을 수행하고, 최적 DNN 모델을 선택한다.
상술한 동작에 의하면, DNN 모델 선택부(240)는 m개의 DNN 모델들 중 제1DNN 모델에 의해 예측된 n개의 예측값(s1', k1', p1')들과 실제값 저장부(210)에 저장된 n개의 실제값(s, k, p)들에 대해서, s1'과 s의 MSE값, k1'과 k의 MSE값, p1'과 p의 MSE값을 각각 산출하고, 산출된 MSE값들을 더하여 제1DNN 모델에 대한 MSE1을 산출한다.
이러한 방식으로 DNN 모델 선택부(240)는 m개의 모든 DNN 모델들에 대한 MSE를 산출한다. [표 2]는 DNN 모델 선택부(240)에서 m개의 DNN 모델들에 대한 Test Dataset에서의 MSE 성능을 보여준다.
계층(layer) 개수 계층 당
뉴런(neuron) 개수		 MSE (testing data set)
s의 MSE k의 MSE p의 MSE (s+k+p)의 MSE
5 64-64-32-32 0.633. 0.005 0.552 1.191
5 32-32-16-16 0.634 0.006 0.548 1.189
5 16-16-8-8 0.577 0.139 0.580 1.295
5 8-8-4-4 0.625 0.020 0.609 1.254
7 32-32-32-16-16-16 0.640 0.006 0.575 1.220
3 16-8 0.592 0.122 0.555 1.269
[표 2]를 참조하면, DNN 모델에 사용하는 계층 개수는 5이고, 각 계층 별 뉴런의 개수는 각각 32개, 32개, 16개, 16개인 경우 산출된 MSE가 가장 작음을 알 수 있다. 따라서, DNN 모델 선택부(240)는 영상 품질 및 영상전송효율의 최적화를 수행하기 위해 (32-32-16-16) DNN 구조를 최적 DNN 모델로서 선택할 수 있으며, 선택된 최적 DNN 모델은 FEC 변수 제어부(130)에 적용되어 FEC 매개변수들을 동적으로 산출하는데 사용될 수 있다. (32-32-16-16) DNN 구조는 일 예로서 네트워크 상태에 따라 또는 샘플 개수 등 환경에 따라서 변경될 수 있다.
도 3은 DNN 모델 선택부(240)에 의해 선택된 최적 DNN 모델, 즉, 5개의 완전 연결 신경망 구조를 도시한 도면이다.
도 3을 참조하면, 심층신경망의 입력 변수는 OSI 계층 중 네트워크 계층(또는 IP 계층)에 해당하는 패킷 손실률(PLR)과 데이터 레이트(DR), 그리고, 응용 계층에 해당하는 비디오 인코딩률(VER)이고, 출력 변수는 랩터 인코딩 파라미터인 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)임을 알 수 있다.
본 발명의 실시 예에 따라 선택된 최적 DNN 모델은 5개의 완전 연결 계층(Fully Connected Layer)으로 구성되며, 비선형성 확보를 위해 각각의 완전 연결 계층의 출력이 ReLU(Rectified Liner Unit)를 통과하도록 한다.
ReLU는, 음수 입력값을 0으로, 그렇지 않은 입력값은 그대로 통과시키는 맵핑 함수이다. 숨겨진 계층 1과 계층 2는 32개의 벡터(뉴런)로 구성되고, 숨겨진 계층 3과 계층 4는 16개의 벡터로 구성된다. ReLU를 통과한 i번째 완전 연결 계층은 [수학식 2]와 같이 표현된다.
Figure pat00002
[수학식 2]에서,
Figure pat00003
및
Figure pat00004
은 i번째 완전 연결 계층의 입력 및 출력,
Figure pat00005
및
Figure pat00006
는 완전 연결 계층의 모델 파라미터로, 학습을 통해 결정된다.
도 4는 본 발명의 실시 예에 따른 순방향 오류 정정을 이용한 초협대역 영상데이터 전송 방법을 설명하기 위한 흐름도이다.
도 4의 초협대역 영상데이터 전송 방법을 수행하기 위한 전자장치(100)는 도 1 내지 도 3을 참조하여 설명한 초협대역 멀티미디어 전송 장치(100)일 수 있다.
도 4를 참조하면, 전자장치(100)는 영상데이터를 송수신하는 동안 발생하는 네트워크 상태 정보를 수집 또는 산출한다(S410). 네트워크 상태 정보는 패킷 손실률(PLR), 데이터 레이트(DR), 지연, 대역폭 등 다양한 정보를 포함한다.
전자장치(100)는 영상데이터를 비디오 인코딩률(VER)에 기반하여 인코딩한다(S420).
전자장치(100)는 S410단계에서 취득되는 네트워크 상태 정보 중 패킷 손실률(PLR)과 데이터 레이트(DR), 그리고, S420단계에서 사용되는 비디오 인코딩률(VER)을 최적 DNN 모델에 입력하여 영상데이터의 FEC 인코딩 시 적용할 FEC 매개변수들을 패킷 손실률(PLR), 데이터 레이트(DR), 비디오 인코딩률(VER)에 따라 동적으로 가변 출력한다(S430). FEC 매개변수들은, 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)를 포함한다.
전자장치(100)는, S430단계에서 가변 출력되는 FEC 매개변수들을 이용하여 S420단계에서 인코딩된 비디오데이터를 FEC 인코딩하여 S430단계에서 정해진 패킷 크기에 따라 패킷을 생성한다(S440).
전자장치(100)는 S440단계에서 생성된 패킷을 타겟으로 전송한다(S450).
도 5는 본 발명의 실시 예에 따른 DNN 모델 선택 방법을 설명하기 위한 흐름도이다.
도 5의 DNN 모델 선택 방법은 도 2를 참조하여 설명한 DNN 모델 선택 장치(200)에 의해 수행될 수 있으므로, 구체적인 동작 설명은 생략한다.
DNN 모델 선택 장치(200)는, 전자장치(미도시)에서 멀티미디어 전송 프로토콜 알고리즘을 이용하여 산출된 (s, k, p)로 이루어진 실제값을 저장한다(S510). S510단계에서, 전자장치(미도시)는, 멀티미디어 전송 프로토콜 알고리즘을 이용하여 네트워크 상태 정보(PLR, DR) 및 비디오 인코딩률(VER)을 각각 설정된 테스트 범위 내에서 가변하면서 산출된, 최대 throughput이 가능한 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)의 조합을 (s, k, p)로 이루어진 실제값으로서 추출한다.
DNN 모델 선택 장치(200)는 DNN 학습에 사용되는 계층 개수 및 각 계층에 대한 뉴론의 개수 중 적어도 하나가 다른 m개의 상이한 DNN 모델들을 생성한다(S520).
DNN 모델 선택 장치(200)는 S520단계에서 생성된 m개의 DNN 모델들 별로 네트워크 상태 정보(PLR, DR) 및 비디오 인코딩률(VER)을 각각 설정된 테스트 범위 내에서 가변하면서 입력하여, m개의 DNN 모델들마다 (s', k', p')로 이루어진 n개의 예측값들을 산출한다(S530).
DNN 모델 선택 장치(200)는 m개의 DNN 모델들 별로 예측값과 실제값을 비교하여 최소 비용 함수를 갖는 최적 DNN 모델을 선택한다(S540).
한편, 기존 멀티미디어 전송 프로토콜을 이용하는 알고리즘에서는 고정된 패킷 크기로 랩터 FEC를 적용하여 전송제어를 수행한다. 하지만, 패킷 크기가 고정된 상태에서는 전송효율의 한계가 있다.
이에 기존 멀티미디어 전송 프로토콜의 단점을 극복하기 위해, 본 발명의 실시 예에서는 DNN 구조를 적용하였으며, 패킷 손실률(PLR)과 데이터 레이트(DR), 비디오 인코딩률(VER)에 따라 적절한 패킷 크기를 선택하여 throughput을 개선할 수 있다. 즉, 본 발명의 실시 예는 동일한 네트워크 환경기준으로 PSNR(Peak Signal-to-Noise Ratio)이 유사한 수준에서 더 많은 영상데이터를 보낼 수 있다. 이는 제한된 네트워크 자원 또는 혼잡한 트래픽 환경에 적용할 경우 영상 전송 효율을 개선시킬 수 있다.
상술한 본 발명에 따른 순방향 오류 정정을 이용한 초협대역 영상데이터 전송 장치의 초협대역 영상데이터 전송 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다.
따라서, 본 발명은 순방향 오류 정정을 이용한 초협대역 영상데이터 전송 방법을 구현하기 위하여 상기 영상데이터 전송 장치를 제어하는 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.
100: 초협대역 멀티미디어 전송 장치
110: 네트워크 정보 제공부
120: 비디오 인코더
130: FEC 변수 제어부
140: FEC 인코딩 및 패킷 생성부
200: DNN 모델 선택 장치
210: 실제값 저장부
220: DNN 모델 생성부
230: 예측값 산출부
240: DNN 모델 선택부

Claims (2)

  1. 멀티미디어 전송 프로토콜 알고리즘을 이용하여 산출되는, 네트워크 상태 정보를 각각 설정된 테스트 범위 내에서 가변하면서 최대 throughput이 가능한 심볼 크기(s), 심볼 개수(k) 및 패킷 크기(p)의 조합을 (심볼 크기, 심볼 개수, 패킷 크기)로 이루어진 실제값으로서 저장하는 실제값 저장부;
    DNN 학습에 사용되는 계층 개수 및 각 계층에 대한 뉴론의 개수 중 적어도 하나가 다른 m개의 상이한 DNN 모델들을 생성하는 DNN 모델 생성부;
    상기 m개의 DNN 모델들 별로 상기 네트워크 상태 정보를 각각 설정된 테스트 범위 내에서 가변하면서 입력하여, 상기 m개의 DNN 모델들마다 n개의 (심볼 크기', 심볼 개수', 패킷 크기')로 이루어진 예측값을 산출하는 예측값 산출부; 및
    상기 m개의 DNN 모델들 별로 상기 예측값과 상기 실제값을 비교하여 상기 최적 DNN 모델을 선택하는 DNN 모델 선택부;를 포함하는 것을 특징으로 하는 FEC 파라미터 결정을 위한 DNN 모델 선택 장치.
  2. 제1항에 있어서,
    상기 DNN 모델 선택부는,
    MSE(Mean Square Error) 방식을 이용하여 상기 심볼 크기에 대한 MSE값, 상기 심볼 개수에 대한 MSE값 및 상기 패킷 크기에 대한 MSE값을 산출하고, 상기 산출된 MSE값들을 더한 결과가 가장 작은 DNN 모델을 상기 최적 DNN 모델로서 선택하는 것을 특징으로 하는 FEC 파라미터 결정을 위한 DNN 모델 선택 장치.
KR1020190032233A 2019-03-21 2019-03-21 Fec 파라미터 결정을 위한 dnn 모델 선택 장치 KR20200075710A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190032233A KR20200075710A (ko) 2019-03-21 2019-03-21 Fec 파라미터 결정을 위한 dnn 모델 선택 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190032233A KR20200075710A (ko) 2019-03-21 2019-03-21 Fec 파라미터 결정을 위한 dnn 모델 선택 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157028A Division KR102006292B1 (ko) 2018-12-07 2018-12-07 Fec를 이용한 초협대역 멀티미디어 전송 장치 및 방법, 그리고, fec 파라미터 결정을 위한 dnn 모델 선택 장치

Publications (1)

Publication Number Publication Date
KR20200075710A true KR20200075710A (ko) 2020-06-26

Family

ID=71136916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190032233A KR20200075710A (ko) 2019-03-21 2019-03-21 Fec 파라미터 결정을 위한 dnn 모델 선택 장치

Country Status (1)

Country Link
KR (1) KR20200075710A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052651A (ko) 2015-09-03 2018-05-18 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052651A (ko) 2015-09-03 2018-05-18 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치

Similar Documents

Publication Publication Date Title
CN111431941B (zh) 一种基于移动边缘计算的实时视频码率自适应方法
WO2020239126A1 (en) Methods and systems for relaying feature-driven communications
WO2021026944A1 (zh) 基于粒子群和神经网络的工业无线流媒体自适应传输方法
CN112911608B (zh) 一种面向边缘智能网络的大规模接入方法
Lee et al. Performance analysis of local exit for distributed deep neural networks over cloud and edge computing
CN103686218A (zh) 一种MIMO-OFDM系统下基于QoE的跨层优化视频传输方法及系统
KR102006292B1 (ko) Fec를 이용한 초협대역 멀티미디어 전송 장치 및 방법, 그리고, fec 파라미터 결정을 위한 dnn 모델 선택 장치
Zhang et al. Predictive and adaptive deep coding for wireless image transmission in semantic communication
Mu et al. AMIS: Edge computing based adaptive mobile video streaming
Behravesh et al. Machine learning at the mobile edge: The case of dynamic adaptive streaming over http (dash)
US20130243082A1 (en) Rate optimisation for scalable video transmission
WO2021231301A1 (en) Scalable active learning using one-shot uncertainty estimation in bayesian neural networks
KR20200075710A (ko) Fec 파라미터 결정을 위한 dnn 모델 선택 장치
KR20200075709A (ko) Fec를 이용한 초협대역 멀티미디어 전송 방법
Araújo et al. A hybrid energy-aware video bitrate adaptation algorithm for mobile networks
Acimovic et al. Efficient distributed multiresolution processing for data gathering in sensor networks
Smirnov et al. Real-time data transmission optimization on 5G remote-controlled units using deep reinforcement learning
Gong et al. Adaptive bitrate video semantic communication over wireless networks
CN113852817B (zh) 自适应码率传输服务器、码率确定方法、传输系统及方法
CN115695810A (zh) 一种基于语义通信的低比特率图像压缩编码方法
CN116491115A (zh) 用于视频编码的具有反馈控制的速率控制机器学习模型
KR101976324B1 (ko) 영상 처리 장치 및 영상 처리 방법
Meng et al. Fastconv: Fast learning based adaptive bitrate algorithm for video streaming
Naresh et al. Deep reinforcement learning with importance weighted a3c for qoe enhancement in video delivery services
Cao et al. Deep learning in network-level performance prediction using cross-layer information

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right