KR102211556B1 - 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법 - Google Patents

네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법 Download PDF

Info

Publication number
KR102211556B1
KR102211556B1 KR1020190131152A KR20190131152A KR102211556B1 KR 102211556 B1 KR102211556 B1 KR 102211556B1 KR 1020190131152 A KR1020190131152 A KR 1020190131152A KR 20190131152 A KR20190131152 A KR 20190131152A KR 102211556 B1 KR102211556 B1 KR 102211556B1
Authority
KR
South Korea
Prior art keywords
image
reconstructed
evaluation
reconstructed image
mos
Prior art date
Application number
KR1020190131152A
Other languages
English (en)
Inventor
김진술
에케이엠 아시크자만
이동수
오승민
김상우
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020190131152A priority Critical patent/KR102211556B1/ko
Application granted granted Critical
Publication of KR102211556B1 publication Critical patent/KR102211556B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/46—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation

Abstract

네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법이 제공된다. 상기 시스템은 적어도 하나 이상의 이미지가 저장된 클라우드 서버; 특정 이미지에 대한 이미지 프레임을 추출하는 이미지 프레임 추출장치; 오토인코더를 기반으로 상기 특정 이미지를 압축하여 재구축 이미지를 생성하고, 심층 학습 컨볼루션 뉴럴 네트워크(DCNN) 기반으로 상기 재구축 이미지에 대한 품질을 평가하는 이미지 평가장치; 및 상기 재구축 이미지를 디스플레이하는 사용자 단말기; 를 포함할 수 있다.

Description

네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법 {IMAGE QUALITY ASSESMENT SYSTEM FOR NETWORK SERVICE AND METHOD THEREOF}
본 발명은 4K UHD(Ultra High Definition) 비디오의 체감 품질(QoE, Quality of Experienc) 측정을 위한 오토인코더(AutoEncoder) 및 심층 학습 컨볼류션 뉴럴 네트워크(DCNN, Deep learning Convolutional Neural Network) 기반으로 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법에 관한 것이다.
최근 HD(High Definition) 해상도를 지원하는 방송 시스템이 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자가 고해상도, 고화질의 영상에 익숙해지고 있다.
이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한, HDTV와 더불어 HDTV의 4배 이상의 해상도를 지원하는 UHD(Ultra High Definition)에 대한 관심이 증대되면서, 더욱 높은 해상도, 고화질의 영상에 대한 압축 기술이 요구되고 있다.
특히, 4K와 같은 초고해상도 비디오 혹은 높은 프레임 레이트(frame rate)의 대용량 비디오를 부호화하여, 방송 서비스나 VOD(Video on Demand) 서비스에 활용하기 위해서는 고속 부호화기가 필수적이다. 이러한 고속 부호화기를 구현하기 위해서는 효과적인 분산 병렬처리가 중요한 기술이다.
종래의 분산 부호화의 경우, 영상을 화면 분할하여 각각의 분할된 화면을 독립적으로 부호화한다. 즉, 하나의 분할 영상의 부호화 시 다른 분할 영상을 참조하지 않는다. 이와 같이 부호화된 영상을 복호화할 경우, 복호화된 영상은 분할 영상의 경계에서 화질의 저하가 발생하는 경우가 있었다.
그리고, 네트워크 미디어의 급속한 발전과 함께, VOD(video on demand), 웹 TV, 및 화상 전화와 같은 서비스들은 이미 광대역 네트워크 및 무선 네트워크의 주된 서비스가 되었으며, 이는 운영자가 전송되는 비디오들의 서비스 품질을 모니터링하고, 사용자의 미디어 서비스에 대한 경험 요구들(experience demands)을 보장하기 위한 조절을 수행하기 위해 대응 조치들을 시기 적절하게 취할 것을 요구한다. 네트워크 비디오 품질 평가는 네트워크 비디오 응용에서 매우 중요한 기술이다. 즉, 현대의 고해상도 비디오 스트리밍 서비스의 급속한 발전과 함께 체감 품질(QoE)을 제공하는 것은 모든 미디어 스트리밍 플랫폼을 위한 중요한 서비스가 되었다.
그러나 종래기술의 경우 체감 품질(QoE)에 NR-IQA(No Reference-Image Quality Assessment)를 제공해야 하는데, 이는 거대한 연산 과부하 및 종종 부정확한 결과를 초래할 수 밖에 없었다.
한국공개특허 제10-2014-0027080호, 2014.03.06
본 발명이 해결하고자 하는 과제는 4K UHD(Ultra High Definition) 비디오의 체감 품질(QoE, Quality of Experienc) 측정을 위한 오토인코더(AutoEncoder) 및 심층 학습 컨볼류션 뉴럴 네트워크(DCNN, Deep learning Convolutional Neural Network) 기반으로 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 네트워크 서비스를 위한 이미지 품질 평가 시스템은, 적어도 하나 이상의 이미지가 저장된 클라우드 서버; 특정 이미지에 대한 이미지 프레임을 추출하는 이미지 프레임 추출장치; 오토인코더를 기반으로 특정 이미지를 압축하여 재구축 이미지를 생성하고, 심층 학습 컨볼루션 뉴럴 네트워크(DCNN) 기반으로 재구축 이미지에 대한 품질을 평가하는 이미지 평가장치; 및 재구축 이미지를 디스플레이하는 사용자 단말기; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 이미지 프레임 추출장치는, 무작위 시점에서 특정 이미지를 추출할 수 있다.
본 발명의 일 실시예에 있어서, 이미지 평가장치는, 특정 이미지를 압축하여 재구축 이미지를 생성하고, 참조 이미지없이(NR-IQA) 평균평가점(MOS)을 산출하여 이미지의 품질을 평가하는 이미지 평가 제어부; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 이미지 평가 제어부는, 신경망에서 특정 이미지에 대한 원본 이미지를 처리하는 오토엔코더모듈; 및 신경망에서 오토엔코더모듈에 의해 처리된 재구축 이미지를 분류하는 합성곱신경망모듈; 을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 오토엔코더모듈은, 특정 이미지에 대한 원본 이미지의 특징을 추출하여 재구축 이미지를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 오토엔코더모듈은, 특정 이미지에 대한 원본 이미지를 부호화(Encode)하여 부호화데이터를 생성하는 인코더수단; 부호화데이터를 압축하여 불필요한 특징이 제거된 압축된 특징을 단계적으로 학습하는 압축파일학습수단; 및 압축된 부호화데이터를 복호화(Decode)하여 재구축 이미지를 생성하는 디코더수단; 을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 합성곱신경망모듈은, 합성곱과 이단추출법(sub-sampling)을 반복하여 재구축 이미지의 데이터 양을 감소 및 특징을 추출하여 신경망에서 분류하여 평균평가점(MOS)을 산출할 수 있다.
본 발명의 일 실시예에 있어서, 합성곱신경망모듈은, 재구축 이미지를 합성곱 계층으로 구성하는 합성곱계층수단; 재구축 이미지의 특징을 추출하는 맥스풀링수단; 재구축 이미지를 주성분분석(Principal Component Analysis)으로 처리하는 일차원데이터처리수단; 재구축 이미지를 부분별 필터를 이용하여 분석하여 n개의 Class로 분류하는 분류레이어수단; 및 재구축 이미지에 대한 평균평가점(MOS)을 산출하는 평균평가점(MOS)산출수단; 을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 이미지 평가장치는, 재구축 이미지의 평균평가점(MOS)에 따라 이미지 품질에 대응하도록 특정 대역폭을 실시간으로 할당하는 대역폭할당부; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 사용자 단말기는, 대역폭할당부를 통해 할당된 특정 대역폭을 통해 재구축 이미지를 디스플레이할 수 있다.
본 발명의 일 실시예에 있어서, 적어도 하나 이상의 이미지는 4K UHD(Ultra High Definition) 비디오를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명의 다른 일실시예에 따른 네트워크 서비스를 위한 이미지 품질 평가 방법은, 이미지 평가장치는 신경망에서 특정 이미지에 대한 원본 이미지의 특징을 추출하여 재구축 이미지를 생성하는 단계; 및 이미지 평가장치가 참조 이미지없이(NR-IQA) 심층 학습 컨볼류션 뉴럴 네트워크(DCNN, Deep learning Convolutional Neural Network) 기반으로 신경망에서 오토엔코더모듈에 의해 처리된 재구축 이미지를 분류하여 평균평가점(MOS)을 산출하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 재구축 이미지를 생성하는 단계는, 이미지 평가장치가 특정 이미지에 대한 원본 이미지를 부호화(Encode)하여 부호화데이터를 생성하는 단계; 이미지 평가장치가 부호화데이터를 압축하여 불필요한 특징이 제거된 압축된 특징을 단계적으로 학습하는 단계; 및 이미지 평가장치가 압축된 부호화데이터를 복호화(Decode)하여 재구축 이미지를 생성하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 재구축 이미지를 분류하여 평균평가점(MOS)을 산출하는 단계는, 이미지 평가장치가 합성곱과 이단추출법(sub-sampling)을 반복하여 재구축 이미지의 데이터 양을 감소 및 특징을 추출하여 신경망에서 분류하여 평균평가점(MOS)을 산출할 수 있다.
본 발명의 일 실시예에 있어서, 재구축 이미지를 분류하여 평균평가점(MOS)을 산출하는 단계는, 이미지 평가장치가 재구축 이미지를 합성곱 계층으로 구성하는 단계; 이미지 평가장치가 재구축 이미지의 특징을 추출하는 단계; 이미지 평가장치가 재구축 이미지를 주성분분석(Principal Component Analysis)으로 처리하는 단계; 이미지 평가장치가 재구축 이미지를 부분별 필터를 이용하여 분석하여 n개의 Class로 분류하는 단계; 및 이미지 평가장치가 재구축 이미지에 대한 평균평가점(MOS)을 산출하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 재구축 이미지를 분류하여 평균평가점(MOS)을 산출하는 단계는, 이미지 평가장치가 분류 등급에 따라 평균평가점(MOS)을 평가하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 사용자 단말기가 재구축 이미지에 대응하여 평균평가점(MOS)에 따라 이미지 품질에 대응하도록 실시간 할당된 특정 대역폭을 통해 재구축 이미지를 디스플레이하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 이미지프레임 추출장치가 4K UHD(Ultra High Definition) 비디오를 포함하는 적어도 하나 이상의 이미지를 포함하는 클라우드 서버로부터 특정 이미지를 획득하여 특정 이미지에 대한 이미지 프레임을 무작위 시점에서 추출하는 단계; 를 포함할 수 있다.
본 발명의 일실시예에 따른 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 네트워크 서비스를 위한 이미지 품질 평가 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 심층 학습 컨볼루션 신경망을 기반으로 이미지를 사용자에게 전송하는 경우, 사용자에게 높은 체감 품질을 제공할 수 있다. 특히, 적은 인터넷 대역폭으로도 높은 체감 품질을 제공할 수 있다 즉, 느린 인터넷 환경에서도 고화질 영상을 감상할 수 있다.
본 발명에 따르면, 신경망을 통해 자율 학습하는 DCCN 서비스는 네트워크 효율성을 향상시키고, 트래픽 집중 시에도 속도 저하가 발생하지 않으므로 고품질의 서비스 제공이 가능하다.
본 발명에 따르면, 사용자가 사용할 수 있는 대역폭을 균형적으로 제공함으로서, 부하현상이 적어질 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 네트워크 서비스를 위한 이미지 품질 평가 시스템을 설명하기 위한 개념도이다.
도 2는 도 1에 도시된 네트워크 서비스를 위한 이미지 품질 평가 시스템의 상세 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 네트워크 서비스를 위한 이미지 품질 평가 방법을 설명하기 위한 도면이다.
도 4는 도 3에 도시된 원본 이미지 및 재구축 이미지를 설명하기 도면이다.
도 5 및 도 6은 도 3에 도시된 오토인코더를 수행하는 단계를 설명하기 위한 도면이다.
도 7 및 도 8은 도 3에 도시된 합성곱신경망을 이용하여 평균평가점(MOS)을 산출하는 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 분류 등급에 따라 산출된 평균평가점(MOS)을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)” 및/또는 “포함하는(comprising)”은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, “및/또는”은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 “제1”, “제2” 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 네트워크 서비스를 위한 이미지 품질 평가 시스템을 설명하기 위한 개념도이고, 도 2는 도 1에 도시된 네트워크 서비스를 위한 이미지 품질 평가 시스템의 상세 구성을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예인 네트워크 서비스를 위한 이미지 품질 평가 시스템(1)은 클라우드 서버(10), 이미지프레임 추출장치(20), 이미지 평가장치(30) 및 사용자 단말기(40)를 포함할 수 있다.
여기서, 클라우드 서버(10), 이미지프레임 추출장치(20), 이미지 평가장치(30) 및 사용자 단말기(40)는 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다. 무선통신망은 다양한 원거리 통신 방식이 지원될 수 있으며, 예를 들어 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), BLE(Bluetooth Low Energy), 지그비(Zigbee), RF(Radio Frequency), LoRa(Long Range) 등과 같은 다양한 통신 방식이 적용될 수 있으나 이에 한정되지 않으며 널리 알려진 다양한 무선통신 또는 이동통신 방식이 적용될 수도 있다.
클라우드 서버(10)는 컴퓨터 또는 스마트폰 등의 내부 저장 공간이 아닌 외부 서버로써, 다양한 자료를 저장하고 있다.
본 실시예에서, 클라우드 서버(10)는 심층 학습 컨볼류션 뉴럴 네트워크(DCNN, Deep learning Convolutional Neural Network) 기반으로 이미지를 DCNN 모델에 따른 이미지 학습 및 학습 결과를 이용하여 이미지 품질 평가가 가능한 서버를 말한다. 여기서, 클라우드 서버(10)는 적어도 하나 이상의 이미지를 포함할 수 있다. 이때, 이미지는, 4K UHD(Ultra High Definition) 비디오를 포함할 수 있지만, 이에 한정하는 것은 아니다.
이미지프레임 추출장치(20)는 클라우드 서버(10)에 포함된 적어도 하나 이상의 이미지로부터 무작위 시점에서 특정 이미지에 대한 이미지 프레임을 추출할 수 있다. 이때, 특정 이미지는 사용자의 요구사항에 적합한 이미지일 수 있다.
이미지 평가장치(30)는 오토인코더(Autoencoder) 및 심층 학습 컨볼루션 뉴럴 네트워크 (DCNN) 기반으로 특정 이미지에 대한 품질을 평가할 수 있다.
도 2에 도시된 바와 같이, 이미지 평가장치(30)는 데이터송신부(31), 데이터베이스부(32), 모니터링부(33), 대역폭할당부(34) 및 이미지평가제어부(35)를 포함할 수 있다.
데이터송신부(31)는 이미지프레임 추출장치(20)로부터 특정 이미지를 수신받고, 학습하여 압축되어 생성된 재구축 이미지(Reconstruction Image)를 사용자 단말기(40)로 전송할 수 있다.
실시예에 따라, 데이터송신부(31)는 특정 이미지를 클라우드 서버(10)로부터 수신받을 수 있다.
데이터베이스부(32)는 이미지프레임 추출장치(20)와 이미지 평가장치(30) 사이의 송수신되는 데이터 및 이미지 평가장치(30)와 사용자 단말기(40) 사이의 송수신되는 데이터를 저장할 수 있다.
데이터베이스부(32)는 이미지프레임 추출장치(20)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 데이터베이스부(32)는 이미지프레임 추출장치(20)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이미지프레임 추출장치(20)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.
모니터링부(33)는 이미지프레임 추출장치(20)의 동작 상태를 실시간으로 모니터링할 수 있다. 이에 따라, 이미지프레임 추출장치(20)의 오류가 발생하는 경우, 관리자가 즉각적으로 대처할 수 있다.
실시예에 따라, 모니터링부(33)는 클라우드 서버(10), 이미지프레임 추출장치(20), 이미지 평가장치(30) 및 사용자 단말기(40) 사이에 서로 송수신되는 데이터 및 동작 상태를 화면을 통해 모니터링할 수 있다.
대역폭할당부(34)는 재구축 이미지에 대하여 산출된 평균평가점(MOS)에 따라 이미지 품질에 대응하는 대역폭을 실시간으로 할당할 수 있다.
일반적으로, 대역폭의 낭비가 발생하지 않으면서 사용자가 원활하게 사용할 수 있도록 데이터 지연을 방지하기 위해 우선순위에 따라 일정한 대역폭으로 할당하여 네트워크 자원을 일정 대역폭을 할당하여 원활한 데이터 전송을 유지한다.
하지만, 이미지 품질을 평가하여 산출된 평균평가점(MOS)에 따라 대역폭을 할당함으로써, 적은 인터넷 대역폭으로도 높은 체감 품질을 제공할 수 있다.
이미지평가제어부(35)는 이미지를 압축하여 재구축 이미지를 생성하고, 참조 이미지없이(NR-IQA, No Reference-Image Quality Assessment) 평균평가점(MOS, Mean Opinion Score)을 산출하DU 이미지의 품질을 평가하여 할 수 있다.
이미지평가제어부(35)는 이미지입력모듈(350), 오토엔코더모듈(352), 합성곱신경망모듈(354) 및 이미지출력모듈(356)을 포함할 수 있다.
이미지입력모듈(350)은 이미지프레임 추출장치(20)로부터 획득한 특정 이미지를 입력받을 수 있다.
이미지출력모듈(356)은 특정 이미지가 압축 및 학습되어 생성된 재구축 이미지를 사용자 단말기(40)로 출력할 수 있다.
오토엔코더모듈(352)은 특정 이미지에 대한 원본 이미지(Raw Image)의 특징을 추출하여 재구축 이미지를 생성하기 위해 특정 이미지를 처리하는 모듈로써, 인코더수단(3520), 압축파일학습수단(3522) 및 디코더수단(3524)을 포함할 수 있다. 즉, 오토엔코더모듈(352)은 신경망의 각층을 단계적으로 학습해서 최종 출력이 최초 입력을 재현하도록 하는 것이다. 종래에는 신경망(neural network)이 다층인 경우 학습이 제대로 이루어지지 않는 문제점이 있었다. 이에 오토인코더방식을 이용함으로써, 신경망의 각층을 단계적으로 학습하므로 신경망(neural network)이 다층이더라도 효율적인 학습이 이루어질 수 있다.
인코더수단(3520)은 특정 이미지에 대한 원본 이미지를 부호화(Encode)하여 부호화데이터를 생성할 수 있다.
압축파일학습수단(3522)은 부호화데이터로부터 불필요한 특징을 제거하여 압축하고, 압축된 특징(Compressed Feature)을 단계적으로 학습할 수 있다.
다시 말하면, 압축파일학습수단(3522)은 원본 이미지의 모든 특징들(Features)을 학습할 수 있다. 즉, 압축파일학습수단(3522)은 원본 이미지에서 불필요한 특징들을 제거한 압축된 특징(Compressed Features)들을 학습할 수 있다.
디코더수단(3524)는 압축된 부호화데이터를 복호화(Decode)하여 재구축 이미지를 생성할 수 있다.
합성곱신경망모듈(354)은 합성곱과 이단추출법(sub-sampling)을 반복하여 재구축 이미지의 데이터 양을 감소 및 특징을 추출하여 신경망에서 분류하여 평균평가점(MOS)을 산출하는 모듈로써, 합성곱계층수단(3540), 맥스풀링수단(3541), 일차원데이터처리수단(3542), 분류레이어수단(3543) 및 평균평가점(MOS)산출수단(3544)를 포함할 수 있다.
합성곱계층수단(3540)은 재구축 이미지를 합성곱 계층으로 구성할 수 있다.
맥스풀링수단(3541)은 재구축 이미지의 특징을 추출함으로써, 정확성이 더욱 향상될 수 있다. 즉, DCNN에서 변수를 줄이기 위해 맥스풀링수단(3541)은 재구축 이미지 내에서 최대값만을 취하거나, 또는 평균값 혹은 대표 값을 선택할 수 있다.
일차원데이터처리수단(3542)은 재구축 이미지를 주성분분석(Principal Component Analysis)으로 처리할 수 있다.
분류레이어수단(3543)은 재구축 이미지를 부분별 필터(Kernel, Neuron)를 이용하여 분석하여 n개의 Class로 분류할 수 있다. 즉, 분류레이어수단(3543)은 원본 이미지 대신 압축된 재구축 이미지를 입력값으로 사용함으로써, 더욱 높은 분류효과가 나타날 수 있다.
평균평가점(MOS)산출수단(3544)은 재구축 이미지에 대한 평균평가점(MOS)을 산출할 수 있다.
이미지출력모듈(356)은 오토엔코더모듈(352)을 통해 생성된 재구축 이미지를 사용자 단말기(40)로 출력할 수 있다.
이와 같은 이미지 평가장치(30)는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
사용자 단말기(40)는 사용자에 의해 선택된 특정 이미지를 디스플레이할 수 있다. 즉, 특정 이미지는 압축되어 생성된 재구축 이미지로써, 사용자 단말기(40)는 이미지 품질에 대응하는 특정 대역폭을 통해 디스플레이할 수 있다.
이와 같은 사용자 단말기(40)는 클라우드 서버(10) 및 이미지 평가장치(30)와의 통신을 지원하는 각종 휴대 가능한 전자통신기기를 포함할 수 있다. 예를 들어, 별도의 스마트 기기로써, 스마트폰(Smart phone), PDA(Personal Digital Assistant), 테블릿(Tablet), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display)등 포함) 및 각종 IoT(Internet of Things) 단말과 같은 다양한 단말을 포함할 수 있지만 이에 한정하는 것은 아니다.
이와 같은 구조를 갖는 본 발명의 일실시예에 따른 네트워크 서비스를 위한 이미지 품질 평가 시스템(1)의 동작은 다음과 같다.
도 3은 본 발명의 일실시예에 따른 네트워크 서비스를 위한 이미지 품질 평가 방법을 설명하기 위한 도면이고, 도 4는 도 3에 도시된 원본 이미지 및 재구축 이미지를 설명하기 도면이며, 도 5 및 도 6은 도 3에 도시된 오토인코더를 수행하는 단계를 설명하기 위한 도면이고, 도 7 및 도 8은 도 3에 도시된 합성곱신경망을 이용하여 평균평가점(MOS)을 산출하는 단계를 설명하기 위한 도면이며, 도 9는 본 발명의 일실시예에 따른 분류 등급에 따라 산출된 평균평가점(MOS)을 설명하기 위한 도면이다.
우선, 도 3에 도시된 바와 같이, 외부 서버인 클라우드 서버(10)는 4K UHD(Ultra High Definition) 비디오가 포함된 적어도 하나 이상의 이미지를 사용자의 요청에 의해 이미지프레임 추출장치(20)로 전송할 수 있다(S100).
다음으로, 이미지프레임 추출장치(20)는 수신받은 4K UHD(Ultra High Definition) 비디오가 포함된 적어도 하나 이상의 이미지로부터 무작위 시점에서 특정 이미지에 대한 이미지 프레임을 추출할 수 있다(S110).
다음으로, 이미지 평가장치(30)는 신경망에서 원본 이미지를 수신할 수 있다(S120).
예를 들어, 이미지 평가장치(30)의 이미지입력모듈(350)을 통해 도 4(a)와 같은 원본 이미지를 수신할 수 있다.
다음으로, 이미지 평가장치(30)는 오토인코더를 수행하여 신경망에서 특정 이미지에 대한 원본 이미지를 처리할 수 있다(S130).
구체적으로, 오토엔코더모듈(352)은 특정 이미지에 대한 원본 이미지를 부호화(Encode)하여 부호화데이터를 생성할 수 있다(S200).
예를 들어, 도 5에 도시된 바와 같이, 인코더수단(3520)이 부호화데이터를 생성할 수 있다.
다음, 오토엔코더모듈(352)은 부호화데이터를 압축하여 불필요한 특징이 제거된 압축된 특징을 단계적으로 학습할 수 있다(S210).
예를 들어, 도 6에 도시된 바와 같이, 압축파일학습수단(3522)이 부호화데이터를 압축하여 불필요한 특징이 제거된 압축된 특징을 단계적으로 학습할 수 있다
다음, 오토엔코더모듈(352)은 압축된 부호화데이터를 복호화(Decode)하여 재구축 이미지를 생성할 수 있다(S220).
예를 들어, 도 6에 도시된 바와 같이, 디코더수단(3524)이 압축된 부호화데이터를 복호화(Decode)하여 재구축 이미지를 생성할 수 있다.
다음으로, 이미지 평가장치(30)는 신경망에서 특정 이미지에 대한 원본 이미지의 특징을 추출하여 생성된 재구축 이미지를 출력할 수 있다(S140).
예를 들어, 이미지 평가장치(30)의 이미지출력모듈(356)을 통해 도 4(b)와 같은 재구축 이미지를 출력할 수 있다.
다음으로, 이미지 평가장치(30)는 심층 학습 컨볼류션 뉴럴 네트워크(DCNN, Deep learning Convolutional Neural Network) 기반으로 신경망에서 오토엔코더모듈에 의해 처리된 재구축 이미지를 분류하여 평균평가점(MOS)을 산출할 수 있다(S150). 즉, 이미지 평가장치(30)의 합성곱신경망모듈(354)은 이미지 평가장치가 합성곱과 이단추출법(sub-sampling)을 반복하여 재구축 이미지의 데이터 양을 감소 및 특징을 추출하여 신경망에서 분류하여 평균평가점(MOS)을 산출할 수 있다.
구체적으로, 도 7을 참조하면, 합성곱신경망모듈(354)은 재구축 이미지를 합성곱 계층으로 구성할 수 있다(S300).
예를 들어, 합성곱계층수단(3540)은 도 8에 도시된 바와 같이 재구축 이미지를 합성곱 계층으로 구성할 수 있다.
다음, 합성곱신경망모듈(354)은 이미지 평가장치가 재구축 이미지의 특징을 추출할 수 있다(S310).
예를 들어, 맥스풀링수단(3541)은 도 8에 도시된 바와 같이 재구축 이미지의 특징을 추출할 수 있다.
다음, 합성곱신경망모듈(354)은 재구축 이미지를 주성분분석(Principal Component Analysis)으로 처리할 수 있다(S320).
예를 들어, 일차원데이터처리수단(3542)은 도 8에 도시된 바와 같이 재구축 이미지를 주성분분석(Principal Component Analysis)으로 처리할 수 있다.
다음, 합성곱신경망모듈(354)은 재구축 이미지를 부분별 필터를 이용하여 분석하여 n개의 Class로 분류할 수 있다(S330).
예를 들어, 분류레이어수단(3543)은 도 8에 도시된 바와 같이 재구축 이미지를 부분별 필터를 이용하여 분석하여 n개의 Class로 분류할 수 있다.
다음, 합성곱신경망모듈(354)은 재구축 이미지에 대한 평균평가점(MOS)을 산출할 수 있다(S340).
예를 들어, 평균평가점(MOS)산출수단(3544)은 은 도 8에 도시된 바와 같이 재구축 이미지에 대한 평균평가점(MOS)을 산출할 수 있다.
다음으로, 이미지 평가장치(30)는 분류 등급에 따라 평균평가점(MOS)을 평가할 수 있다(S160).
예를 들어, 이미지 평가장치(30)는 도 9에 도시된 바와 같이 분류 등급에 따라 평균평가점(MOS)을 산출할 수 있다. 0 분류등급(Classification Class)인 경우 평균평가점(MOS)은 0.0-0.99이고, 1 분류등급(Classification Class)인 경우 평균평가점(MOS)은 2.00-2.99이며, 2 분류등급(Classification Class)인 경우 평균평가점(MOS)은 3.00-3.99이고, 3 분류등급(Classification Class)인 경우 평균평가점(MOS)은 4.00-4.99일 수 있다.
다음으로, 이미지 평가장치(30)는 재구축 이미지의 평균평가점(MOS)에 따라 이미지 품질에 대응하도록 특정 대역폭을 실시간으로 할당할 수 있다.
마지막으로, 사용자 단말기(40)는 할당된 특정 대역폭을 통해 재구축 이미지를 디스플레이할 수 있다(S180).
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 클라우드 서버
20 : 이미지 프레임 추출장치
30 : 이미지 평가장치
40 : 사용자 단말기

Claims (19)

  1. 적어도 하나 이상의 이미지가 저장된 클라우드 서버;
    특정 이미지에 대한 이미지 프레임을 추출하는 이미지 프레임 추출장치;
    오토인코더를 기반으로 상기 특정 이미지를 압축하여 재구축 이미지를 생성하고, 심층 학습 컨볼루션 뉴럴 네트워크(DCNN) 기반으로 상기 재구축 이미지에 대한 품질을 평가하는 이미지 평가장치; 및
    상기 재구축 이미지를 디스플레이하는 사용자 단말기; 를 포함하고,
    상기 이미지 평가장치는,
    상기 특정 이미지를 압축하여 상기 재구축 이미지를 생성하고, 참조 이미지없이(NR-IQA) 평균평가점(MOS)을 산출하여 이미지의 품질을 평가하는 이미지 평가 제어부; 를 포함하며,
    상기 이미지 평가 제어부는,
    신경망에서 상기 특정 이미지에 대한 원본 이미지를 처리하는 오토엔코더모듈; 및
    상기 신경망에서 상기 오토엔코더모듈에 의해 처리된 상기 재구축 이미지를 분류하는 합성곱신경망모듈; 을 포함하고,
    상기 합성곱신경망모듈은,
    교번적으로 배치되는 2개 이상의 합성곱계층수단 및 2개 이상의 맥스풀링수단;
    상기 2개 이상의 합성곱계층수단 및 상기 2개 이상의 맥스풀링수단을 통과한 상기 재구축 이미지를 주성분분석(Principal Component Analysis)으로 처리하는 일차원데이터처리수단;
    상기 일차원데이터처리수단을 통과한 상기 재구축 이미지를 부분별 필터를 이용하여 분석하여 n개의 Class로 분류하는 분류레이어수단; 및
    상기 분류레이어수단을 통과한 상기 재구축 이미지에 대한 상기 평균평가점(MOS)을 산출하는 평균평가점(MOS)산출수단;을 포함하며,
    상기 합성곱계층수단은 상기 재구축 이미지를 합성곱 계층으로 구성하고, 상기 맥스풀링수단은 상기 재구축 이미지의 특징을 추출하는,
    네트워크 서비스를 위한 이미지 품질 평가 시스템.
  2. 제1항에 있어서,
    상기 이미지 프레임 추출장치는,
    무작위 시점에서 상기 특정 이미지를 추출하는, 네트워크 서비스를 위한 이미지 품질 평가 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 오토엔코더모듈은,
    상기 특정 이미지에 대한 원본 이미지의 특징을 추출하여 상기 재구축 이미지를 생성하는, 네트워크 서비스를 위한 이미지 품질 평가 시스템.
  6. 제5항에 있어서,
    상기 오토엔코더모듈은,
    상기 특정 이미지에 대한 원본 이미지를 부호화(Encode)하여 부호화데이터를 생성하는 인코더수단;
    상기 부호화데이터를 압축하여 불필요한 특징이 제거된 압축된 특징을 단계적으로 학습하는 압축파일학습수단; 및
    상기 압축된 부호화데이터를 복호화(Decode)하여 상기 재구축 이미지를 생성하는 디코더수단; 을 포함하는, 네트워크 서비스를 위한 이미지 품질 평가 시스템.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 이미지 평가장치는,
    상기 재구축 이미지의 상기 평균평가점(MOS)에 따라 이미지 품질에 대응하도록 특정 대역폭을 실시간으로 할당하는 대역폭할당부; 를 포함하는, 네트워크 서비스를 위한 이미지 품질 평가 시스템.
  10. 제9항에 있어서,
    상기 사용자 단말기는,
    상기 대역폭할당부를 통해 할당된 특정 대역폭을 통해 상기 재구축 이미지를 디스플레이하는, 네트워크 서비스를 위한 이미지 품질 평가 시스템.
  11. 제1항에 있어서,
    상기 적어도 하나 이상의 이미지는 4K UHD(Ultra High Definition) 비디오를 포함하는, 네트워크 서비스를 위한 이미지 품질 평가 시스템.
  12. 이미지 평가장치는 신경망에서 특정 이미지에 대한 원본 이미지의 특징을 추출하여 재구축 이미지를 생성하는 단계; 및
    상기 이미지 평가장치가 참조 이미지없이(NR-IQA) 심층 학습 컨볼류션 뉴럴 네트워크(DCNN, Deep learning Convolutional Neural Network) 기반으로 상기 신경망에서 오토엔코더모듈에 의해 처리된 상기 재구축 이미지를 분류하여 평균평가점(MOS)을 산출하는 단계; 를 포함하고
    상기 재구축 이미지를 분류하여 평균평가점(MOS)을 산출하는 단계는,
    상기 이미지 평가장치가 상기 재구축 이미지를 합성곱 계층으로 구성하는 단계;
    상기 이미지 평가장치가 상기 재구축 이미지의 특징을 추출하는 단계;
    상기 이미지 평가장치가 상기 재구축 이미지를 합성곱 계층으로 구성하는 단계;
    상기 이미지 평가장치가 상기 재구축 이미지의 특징을 추출하는 단계;
    상기 이미지 평가장치가 상기 재구축 이미지를 주성분분석(Principal Component Analysis)으로 처리하는 단계;
    상기 이미지 평가장치가 상기 재구축 이미지를 부분별 필터를 이용하여 분석하여 n개의 Class로 분류하는 단계; 및
    상기 이미지 평가장치가 상기 재구축 이미지에 대한 상기 평균평가점(MOS)을 산출하는 단계; 를 포함하는,
    네트워크 서비스를 위한 이미지 품질 평가 방법.
  13. 제12항에 있어서,
    상기 재구축 이미지를 생성하는 단계는,
    상기 이미지 평가장치가 상기 특정 이미지에 대한 원본 이미지를 부호화(Encode)하여 부호화데이터를 생성하는 단계;
    상기 이미지 평가장치가 상기 부호화데이터를 압축하여 불필요한 특징이 제거된 압축된 특징을 단계적으로 학습하는 단계; 및
    상기 이미지 평가장치가 상기 압축된 부호화데이터를 복호화(Decode)하여 상기 재구축 이미지를 생성하는 단계; 를 포함하는, 네트워크 서비스를 위한 이미지 품질 평가 방법.
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 재구축 이미지를 분류하여 평균평가점(MOS)을 산출하는 단계는,
    상기 이미지 평가장치가 분류 등급에 따라 평균평가점(MOS)을 평가하는 단계; 를 포함하는, 네트워크 서비스를 위한 이미지 품질 평가 방법.
  17. 제12항에 있어서,
    사용자 단말기가 상기 재구축 이미지에 대응하여 상기 평균평가점(MOS)에 따라 이미지 품질에 대응하도록 실시간 할당된 특정 대역폭을 통해 상기 재구축 이미지를 디스플레이하는 단계; 를 포함하는, 네트워크 서비스를 위한 이미지 품질 평가 방법.
  18. 제12항에 있어서,
    이미지프레임 추출장치가 4K UHD(Ultra High Definition) 비디오를 포함하는 적어도 하나 이상의 이미지를 포함하는 클라우드 서버로부터 상기 특정 이미지를 획득하여 상기 특정 이미지에 대한 이미지 프레임을 무작위 시점에서 추출하는 단계; 를 포함하는, 네트워크 서비스를 위한 이미지 품질 평가 방법.
  19. 하드웨어인 컴퓨터와 결합되어, 제12항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190131152A 2019-10-22 2019-10-22 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법 KR102211556B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190131152A KR102211556B1 (ko) 2019-10-22 2019-10-22 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190131152A KR102211556B1 (ko) 2019-10-22 2019-10-22 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102211556B1 true KR102211556B1 (ko) 2021-02-03

Family

ID=74571786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190131152A KR102211556B1 (ko) 2019-10-22 2019-10-22 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102211556B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165371A (ja) * 2011-01-21 2012-08-30 Ntt Docomo Inc 複数のビデオを評価する方法及び評価サーバー
KR20140027080A (ko) 2010-12-10 2014-03-06 도이체 텔레콤 악티엔 게젤샤프트 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치
KR20160103398A (ko) * 2015-02-24 2016-09-01 삼성전자주식회사 이미지의 품질 측정 방법 및 장치
KR20170000767A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템
KR102027389B1 (ko) * 2019-03-20 2019-10-01 (주)브이엠에스 오토인코더와 딥러닝을 이용한 기계 장비 고장 진단 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140027080A (ko) 2010-12-10 2014-03-06 도이체 텔레콤 악티엔 게젤샤프트 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치
JP2012165371A (ja) * 2011-01-21 2012-08-30 Ntt Docomo Inc 複数のビデオを評価する方法及び評価サーバー
KR20160103398A (ko) * 2015-02-24 2016-09-01 삼성전자주식회사 이미지의 품질 측정 방법 및 장치
KR20170000767A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템
KR102027389B1 (ko) * 2019-03-20 2019-10-01 (주)브이엠에스 오토인코더와 딥러닝을 이용한 기계 장비 고장 진단 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yahui Shan, et al, "Output-based Speech Quality Assessment Using Autoencoder and Support Vector Regression", Speech Communication (2019), doi: https://doi.org/10.1016/j.specom.2019.04.002.* *

Similar Documents

Publication Publication Date Title
US10499056B2 (en) System and method for video processing based on quantization parameter
CN108696761B (zh) 一种图片文件处理方法及其设备、系统
US11700518B2 (en) Methods and systems for relaying feature-driven communications
US9565439B2 (en) System and method for enhancing data compression using dynamic learning and control
US20150189269A1 (en) Recursive block partitioning
KR101491591B1 (ko) 웹앱 가상화 서비스를 제공하는 가상화 서버 및 웹앱 가상화 서비스 제공을 위한 데이터 전송방법
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
CN113115067A (zh) 直播系统、视频处理方法及相关装置
KR20210018668A (ko) 딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템
CN108347602B (zh) 用于无损压缩视频数据的方法和装置
CN104837019A (zh) 基于支持向量机的avs到hevc优化视频转码方法
CN114513655A (zh) 直播视频质量评价方法、视频质量的调整方法及相关装置
CN109151503B (zh) 一种图片文件处理方法及其设备
CN107295360B (zh) 视频传输方法及装置
CN111263160A (zh) 一种适应无线传输动态变化的视频编码处理方法和装置
Zhang et al. Mfvp: Mobile-friendly viewport prediction for live 360-degree video streaming
KR102211556B1 (ko) 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법
Alreshoodi et al. Fuzzy logic inference system‐based hybrid quality prediction model for wireless 4kUHD H. 265‐coded video streaming
KR102150671B1 (ko) 영상 부호화/복호화 방법 및 장치
CN113191945A (zh) 一种面向异构平台的高能效图像超分辨率系统及其方法
CN104333765A (zh) 一种视频直播流的处理方法及处理装置
KR102120681B1 (ko) 심층 신경망의 압축을 위한 입력 영상의 채널 감축 장치 및 방법
CN117768655A (zh) 音视频或图像分层压缩方法和装置
CN110582022A (zh) 视频编解码方法和装置及存储介质
US20230319285A1 (en) Machine learning based content-aware image frame encoding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant