KR101932130B1 - 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법 - Google Patents

원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101932130B1
KR101932130B1 KR1020160178781A KR20160178781A KR101932130B1 KR 101932130 B1 KR101932130 B1 KR 101932130B1 KR 1020160178781 A KR1020160178781 A KR 1020160178781A KR 20160178781 A KR20160178781 A KR 20160178781A KR 101932130 B1 KR101932130 B1 KR 101932130B1
Authority
KR
South Korea
Prior art keywords
new frame
image
quality
quality setting
file size
Prior art date
Application number
KR1020160178781A
Other languages
English (en)
Other versions
KR20180074964A (ko
Inventor
허의남
변준영
박준영
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020160178781A priority Critical patent/KR101932130B1/ko
Publication of KR20180074964A publication Critical patent/KR20180074964A/ko
Application granted granted Critical
Publication of KR101932130B1 publication Critical patent/KR101932130B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level

Abstract

본 발명은 이미지의 품질을 유지하면서 시스템의 응답속도를 감소시키도록 이미지 압축의 품질을 동적으로 제어하는 기술로서, 일실시예에 따른 영상 처리 방법은 입력된 새로운 프레임에 대해 이전 프레임에 대비하여 변화된 부분을 기록하는 단계, 상기 기록된 부분에 대해 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량 중에서 적어도 하나에 기초하여, 품질 설정을 선택하는 단계, 및 상기 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩하는 단계를 포함한다.

Description

원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING QUALITY OF EXPERIENCE OF REMOTE DISPLAY}
본 발명은 이미지의 품질을 유지하면서 시스템의 응답속도를 감소시키도록 이미지 압축의 품질을 동적으로 제어하는 기술로서, 낮은 대역폭 환경에서 대화형 어플리케이션을 위한 원격 디스플레이의 체감 품질을 향상시킬 수 있는 기술적 사상에 관한 것이다.
네트워크 환경에서 화면 정보를 효율적으로 전송하기 위해서는 압축하여 사이즈를 줄이는 것이 필요하다.
화면 정보를 압축하고 재구성하는 기술로 첫째, 디스플레이 콘텐츠를 간단한 그리기 명령들로 표현하여 클라이언트에게 전송하는 기술을 고려할 수 있다. 클라이언트는 전달받은 정보를 해석하고 변환하여 명령을 실행한 후 화면을 재구성한다. 이러한 방법은 대체적으로 서버/클라이언트 모델과 운영체제에 대한 지식을 필요로 하며 각 플랫폼마다 그리기와 관련된 명령집합을 다르게 가지고 있는 경우가 많아서 멀티플랫폼 환경에서의 구현이 어렵다.
화면 정보를 압축하고 재구성하는 다른 기술로, 화면 내용을 픽셀단위로 캡쳐하고 다양한 압축 기술을 수행한 후 인코딩된 화면을 클라이언트로 보내는 기술을 고려할 수 있다. 클라이언트는 미리 약속된 알고리즘을 사용하여 전송 받은 데이터를 정확하게 압축해제 및 재구성을 한다. 이 기술은 운영체제에 대한 종속성이 적고 개발과정이 간단하며 배포비용도 절감되어 첫 번째 방법에 비해 더욱 합리적이다.
한편, RFC 6143은 RAW, CopyRect, RRE, Hextile, TRLE, ZRLE 등을 포함하는 RFB 프로토콜을 기본 인코딩 방법으로 정의하고 있다. 그 중에서 낮은 대역폭 환경에서 많이 활용되는 Tight 인코딩 방법은 다른 기본 인코딩 방법들에 비해 더욱 효율적인 압축을 제공한다. 이 인코더는 네트워크 사용량을 줄이기 위하여 픽셀단위 데이터의 압축에 초점을 맞추고 있다. 그리고 사용자에게 압축 환경을 설정할 수 있게 하여 이미지의 품질과 낮은 응답시간 사이의 trade-off를 할 수 있게 해준다.
그러나 수동으로 품질을 조정하는 것만으로는 이미지 품질과 응답 시간 모두의 요구사항을 만족시키기 어렵다. 화면 정보가 빠르게 변화하는 환경에서 높은 품질로 설정을 하게 되면 응답시간이 지연되어 병목현상이 발생한다. 반면에 낮은 품질로 설정하였는데 화면이 변하지 않거나 작은 부분만 업데이트 되는 경우 네트워크 대역폭을 모두 활용하지 않으면서 이미지를 저품질로 생성한다.
다른 기술로, TurboVNC는 사용자가 일정 기간 동안 어플리케이션과의 상호 작용을 멈추면 현재 화면의 이미지를 압축하지 않고 자동으로 전송하는 ‘Lossless Refresh’ 메커니즘을 제안했다. 이 기술은 이미지의 품질이 매우 중요한 어플리케이션에서 유용하게 사용되고 있다. 하지만 두 가지의 문제점을 가지고 있다.
첫째, 무손실 이미지를 보내기 위해 사용자와 서버간의 상호작용이 없는 적절한 대기시간을 선택하는 것이 어렵다.
둘째, 무손실 이미지를 전송하는 것은 상당히 오랜 시간이 걸린다. 대역폭이 제한된 환경에서 이러한 작업이 발생하게 되면 전송되는 시간동안 사용자는 어플리케이션과 상호작용을 하지 못하게 된다. 이는 User Experience(UX)에 안 좋은 영향을 미치게 된다.
한국출원특허 제2008-0100764호 "점유 대역폭의 감소를 위한 영상 부호화 방법 및 장치, 그리고 영상 복호화 방법 및 장치" 한국출원특허 제2003-0076290호 "영상 송수신 대역폭 및 화질 조절기능을 갖는 아이피 영상단말기 및 이의 제어방법"
본 발명은 네트워크 대역폭 요구사항을 줄임과 동시에 높은 프레임 속도와 낮은 응답시간으로 높은 이미지 품질을 유지하는 것을 목적으로 한다.
본 발명은 대화형 응용프로그램을 사용하는 동안 사용자에게 더 나은 경험을 제공함으로써 모바일 클라우드 컴퓨팅 서비스의 개발을 가속화하는 것을 목적으로 한다.
일실시예에 따른 영상 처리 방법은 입력된 새로운 프레임에 대해 이전 프레임에 대비하여 변화된 부분을 기록하는 단계, 상기 기록된 부분에 대해 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량 중에서 적어도 하나에 기초하여, 품질 설정을 선택하는 단계, 및 상기 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩하는 단계를 포함한다.
일실시예에 따른 영상 처리 방법은 파일크기 추론 모델을 생성하는 단계를 더 포함하고, 상기 품질 설정을 선택하는 단계는, 상기 생성된 파일크기 추론 모델에 기초하여 각 품질 설정에서 사용하는 데이터의 양을 계산하는 단계, 및 상기 계산된 데이터의 양을 더 고려하여 상기 품질 설정을 선택하는 단계를 포함한다.
일실시예에 따른 상기 파일크기 추론 모델을 생성하는 단계는, JPEG 압축에 대한 벤치마크를 수행하여 이미지 압축 알고리즘의 파일크기를 추론하는 파일크기 추론 모델을 생성하는 단계를 포함한다.
일실시예에 따른 영상 처리 방법은 상기 선택된 품질 설정이 적용된 상기 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하는 단계를 더 포함한다.
일실시예에 따른 영상 처리 방법은 상기 판단 결과, 초과하지 않은 경우에 상기 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩할 수 있다.
일실시예에 따른 영상 처리 방법은 상기 판단 결과, 초과한 경우에 상기 새로운 프레임을 정제(Refinement)하는 단계를 더 포함하고, 상기 새로운 프레임을 인코딩하는 단계는, 상기 정제된 새로운 프레임을 인코딩하는 단계를 포함할 수 있다.
일실시예에 따른 상기 새로운 프레임을 정제(Refinement)하는 단계는, 네트워크 대역폭의 할당량, 현재 이미지의 품질, 화면 영역의 움직임정보를 고려하여 상기 새로운 프레임을 정제(Refinement)하는 단계를 포함할 수 있다.
일실시예에 따른 상기 새로운 프레임을 정제(Refinement)하는 단계는, 화면 영역의 움직임정보를 고려하되, 이미지 품질이 낮거나 수정될 가능성이 낮은 영역에 우선순위를 부여하는 단계, 및 상기 부여된 우선순위를 고려하여 상기 새로운 프레임을 정제(Refinement)하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는 입력된 새로운 프레임에 대해 이전 프레임에 대비하여 변화된 부분을 기록하는 기록부, 상기 기록된 부분에 대해 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량 중에서 적어도 하나에 기초하여, 품질 설정을 선택하는 선택부, 및 상기 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩하는 인코딩부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는 파일크기 추론 모델을 생성하는 추론 모델 생성부를 더 포함하고, 상기 추론 모델 생성부는, JPEG 압축에 대한 벤치마크를 수행하여 이미지 압축 알고리즘의 파일크기를 추론하는 파일크기 추론 모델을 생성하고, 상기 선택부는, 상기 품질 설정을 선택하기 위해, 상기 생성된 파일크기 추론 모델에 기초하여 각 품질 설정에서 사용하는 데이터의 양을 계산하고, 상기 계산된 데이터의 양을 더 고려하여 상기 품질 설정을 선택할 수 있다.
일실시예에 따른 영상 처리 방법은 정제부를 더 포함하고, 상기 정제부는 상기 선택된 품질 설정이 적용된 상기 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하여, 초과한 경우에 상기 새로운 프레임을 정제(Refinement)하고, 상기 인코딩부는, 상기 정제된 새로운 프레임을 인코딩할 수 있다.
일실시예에 따른 상기 정제부는, 상기 새로운 프레임을 정제(Refinement)하되, 네트워크 대역폭의 할당량, 현재 이미지의 품질, 화면 영역의 움직임정보를 고려하여 상기 새로운 프레임을 정제(Refinement)할 수 있다.
일실시예에 따른 영상 처리 장치는 프로세서를 포함하고, 상기 프로세서는, 입력된 새로운 프레임에서 이전 프레임에 대비하여 변화된 부분을 추출하고, 상기 변화된 부분에 대한 품질, 네트워크 대역폭 할당량, 상기 변화된 부분에 대한 동작 기록을 고려하여 우선 순위를 부여하며, 모션 히스토리 이미지(MHI)와 품질 히스토리 이 미지(QHI)를 사용하여 효과적으로 매개 변수를 구성하고 저장하고, 상기 우선 순위 및 상기 매개 변수를 이용해서 상기 새로운 프레임을 인코딩할 수 있다.
일실시예에 따르면, 네트워크 대역폭 요구사항을 줄임과 동시에 높은 프레임 속도와 낮은 응답시간으로 높은 이미지 품질을 유지할 수 있다.
일실시예에 따르면, 대화형 응용프로그램을 사용하는 동안 사용자에게 더 나은 경험을 제공함으로써 모바일 클라우드 컴퓨팅 서비스의 개발을 가속화 할 수 있다.
도 1은 일실시예에 따른 영상 처리 방법을 설명하는 도면이다.
도 2는 일실시예에 따른 품질 설정을 위한 방법을 설명하는 도면이다.
도 3은 일실시예에 따른 영상 처리 장치를 설명하는 도면이다.
도 4는 다른 일실시예에 따른 영상 처리 장치를 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 영상 처리 방법을 설명하는 실시예(100)이다.
일실시예에 따른 영상 처리 방법은 네트워크 대역폭 요구사항을 줄임과 동시에 높은 프레임 속도와 낮은 응답시간으로 높은 이미지 품질을 유지할 수 있다. 또한, 대화형 응용프로그램을 사용하는 동안 사용자에게 더 나은 경험을 제공함으로써 모바일 클라우드 컴퓨팅 서비스의 개발을 가속화 할 수 있다.
이를 위해, 일실시예에 따른 영상 처리 방법은 입력되는 새로운 프레임(101)에 대해 이전 프레임과의 차이를 검출할 수 있다(102). 즉, 입력된 새로운 프레임에서 이전 프레임에 대비하여 변화된 부분을 식별하여 메모리나 버퍼에 기록할 수 있다.
다음으로, 일실시예에 따른 영상 처리 방법은 변화된 부분과 변화되지 않은 블록들을 분류하여(103), 기준 프레임 업데이트를 수행할 수 있다(104). 기준 프레임 업데이트는 변화된 부분에 대해 원격 디스플레이의 체감 품질을 저하시키지 않도록 변화된 부분과 관련된 프레임을 기준 프레임으로 설정하고, 설정된 기준 프레임에 대해서만 업데이트를 수행할 수 있다.
한편, 일실시예에 따른 영상 처리 방법은 분류된 블록들에 대해서 수정된 블록들과 수정되지 않은 블록들을 구분하여 병합할 수 있다(105). 또한, 일실시예에 따른 영상 처리 방법은 업데이트된 영역의 경우 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량에 따라 최상의 품질 설정을 선택한다(단계 106). 품질 설정과 관련된 과정은 이하 도 2를 통해 보다 상세히 설명한다.
일실시예에 따른 영상 처리 방법은 선택된 품질 설정이 적용된 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하고(107), 판단 결과에 따라 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩할 수 있다(108).
예를 들어, 영상 처리 방법은 기준 대역폭을 초과한 경우에 정제 프로세스(109)를 수행함으로써, 원격 디스플레이의 체감 품질을 향상시킬 수 있다. 일실시예에 따른 영상 처리 방법은 화면 영역의 움직임정보를 고려하되, 이미지 품질이 낮거나 수정될 가능성이 낮은 영역에 우선순위를 부여하고, 부여된 우선순위를 고려하여 새로운 프레임을 정제(Refinement)할 수 있다.
한편, 일실시예에 따른 영상 처리 방법은 기준 대역폭을 초과한 경우에 인코딩 프로세스(108)를 수행할 수 있다.
한편, 최상의 품질 설정을 선택하기 위해서, 일실시예에 따른 영상 처리 방법은 JPEG 압축에 대한 벤치마크를 수행하여 이미지 압축 알고리즘의 파일크기 추론 모델을 구성할 수 있다(110). 파일 크기에 대한 화질 설정 및 이미지 영역의 영향을 분석한 후 결과를 통해 JPEG 파일 크기를 추론하는 모델을 이용할 수 있다.
일실시예에 따른 영상 처리 방법은 이 모델을 적용하여 각 품질 설정에서 사용하는 데이터의 양을 대략적으로 계산할 수 있으므로 주어진 네트워크 대역폭 할당량에 가장 적합한 품질 설정을 선택할 수 있다.
파일크기 추론 모델은 각각의 픽셀에 대해 추정된 압축 크기를 산출함으로써, 추론할 수 있다.
각각의 픽셀에 대해 추정된 압축 크기는 [수학식 1]을 통해 산출할 수 있다.
[수학식 1]
Figure 112016127130779-pat00001
[수학식 1]에서,
Figure 112016127130779-pat00002
는 각각의 픽셀에 대해 추정된 압축 크기로 해석될 수 있고,
Figure 112016127130779-pat00003
는 이미지 영역으로 해석될 수 있으며, C1, C2, C3는 계수로 해석될 수 있다. 일실시예에 따른 영상 처리 방법은 이미지 영역과 품질 설정이 주어진 경우, JPEG 벤치마크 데이터에 대한 nonlinear least-squares를 사용하여 JPEG의 파일크기를 추정하는 모델을 구성하여 1에서 100까지의 품질설정에 대한 계수를 얻을 수 있다.
대역폭이 제한된 환경에서 큰 화면 영역을 업데이트해야 하는 경우에는 클라이언트 측에 저품질의 이미지를 전송하지만 압축 품질이 낮은 설정을 선택할 수 있다. 이 문제에 대한 일반적인 해결책은 클라이언트에서 일정기간 동안 활동이 감지되지 않으면 현재 프레임을 압축하지 않고 원본 그대로(Refresh 프레임) 보내는 것이다. 그러나 Refresh 프레임의 전송이 진행되는 중에는 고품질 프레임의 긴 전송 시간으로 인해 클라이언트 네트워크 대역폭이 마비가 된다. 따라서 그 동안에는 일부 영역을 업데이트하는 것이 불가능하여 사용자의 인터렉션(interaction)에 안 좋은 영향을 미칠 수 있다. 이 문제를 해결하기 위하여 일실시예에 따른 영상 처리 방법은 정제 프로세스(109)를 통해 전체 프레임 대신 화면의 적절한 부분만 선택적으로 업데이트하고 수정하여 시스템의 응답시간에 대한 부정적인 영향을 최소화할 수 있다. 이로써 사용자의 인터렉션에 대해 연속적인 흐름을 보장할 수 있다.
이를 위해 일실시예에 따른 영상 처리 방법은 네트워크 대역폭의 할당량, 현재 이미지의 품질, 화면 영역의 움직임정보를 고려하여 수정하는 영역을 선택할 수 있다. 일실시예에 따른 영상 처리 방법은 모션 히스토리 이미지(Motion History Image, MHI, 111)와 품질 히스토리 이미지(Quality History Image, QHI, 112)를 수집하여 현재 이미지의 품질, 화면 영역의 움직임정보를 고려하여 수정하는 영역을 선택할 수 있다.
이러한 우선순위 계산 방법은 이미지 품질이 낮고 가까운 미래에 수정 될 가능성이 낮은 영역에 우선순위를 부여한다. 계산 복잡도를 줄이기 위해 움직임 이력(motion history) 이미지와 품질 기록 이미지를 사용하여 효과적으로 매개 변수를 구성하고 저장한다.
일실시예에 따른 영상 처리 방법은 정제 프로세스를 위해, [수학식 2]를 이용할 수 있다.
[수학식 2]
Figure 112016127130779-pat00004
[수학식 2]에서, 1{?E} 은 1{참}=1이고 1{거짓}=0이 되는 인디케이터(indicator) 함수로 해석될 수 있다. 또한,
Figure 112016127130779-pat00005
는 현재 시스템의 타임스탬프로 해석될 수 있고,
Figure 112016127130779-pat00006
는 가장 최근의 블록 업데이트에서 기록된 타임스탬프로 해석될 수 있으며,
Figure 112016127130779-pat00007
는 블록을 압축하는데 사용된 마지막 품질 설정으로 해석될 수 있다.
Figure 112016127130779-pat00008
와
Figure 112016127130779-pat00009
는 클라이언트가 원하는 품질 설정과 본 기술에서 정의한 최소 품질의 설정으로 해석될 수 있다. 한편,
Figure 112016127130779-pat00010
는 두 변수간의 가중 계수로 해석될 수 있고,
Figure 112016127130779-pat00011
는 저품질 블록의 우선순위를 증가시키기 위한 대기시간의 최대값으로 해석될 수 있다. 또한, 블록이
Figure 112016127130779-pat00012
보다 긴 시간 동안 선택되지 않으면 첫 번째 항의 제곱항 내의 값이 1.0을 초과하게 되어 해당 블록의 우선순위 점수를 기하급수적으로 증가시킬 수 있다.
일실시예에 따른 영상 처리 방법은 무작위로 화면의 업데이트를 진행하기 때문에 정제 프로세스(109)를 위해서는 타임스탬프와 블록품질을 관리하는 효율적인 메커니즘이 필요하다.
일실시예에 따른 영상 처리 방법은 모션 히스토리 이미지(111)와 품질 히스토리 이미지(112)라는 두 개의 행렬을 정의할 수 있다. 또한, 일실시예에 따른 영상 처리 방법은 스캔 화면을 겹치지 않는 sXs의 블록으로 분할하면 그 블록을 기본 스캔 단위로 지정할 수 있다. 이러한 속성을 이용하면 원본 프레임 크기(W, H) 대신 모션 히스토리 이미지(111)와 품질 히스토리 이미지(112)의 크기를 [수학식 3]과 같이, 줄일 수 있다.
[수학식 3]
w =
Figure 112016127130779-pat00013
, h =
Figure 112016127130779-pat00014
일실시예에 따른 영상 처리 방법은 차이점 검출 단계(102)를 거친 후 블록 분류 결과를 블록 클래스 이미지(Block Class Image, BCI)라는 행렬에 보관할 수 있다. 이 블록 클래스 이미지는 모션 히스토리 이미지(111) 및 품질 히스토리 이미지(112)와 동일한 크기(w, h)를 갖는다.
블록 클래스 이미지는 [수학식 4]를 통해 산출할 수 있다.
[수학식 4]
Figure 112016127130779-pat00015
[수학식 4]에서 D는 차이 행렬이며
Figure 112016127130779-pat00016
은 변경되거나 변경되지 않은 블록을 분류하기 위한 임계값으로 해석될 수 있다.
또한, 일실시예에 따른 영상 처리 방법은 블록 클래스 이미지를 사용하여 모션 히스토리 이미지(111)를 [수학식 5]로, 품질 히스토리 이미지(112)를 [수학식 6]으로 산출할 수 있다.
[수학식 5]
Figure 112016127130779-pat00017
[수학식 6]
Figure 112016127130779-pat00018
[수학식 5] 및 [수학식 6]에서 MHI는 모션 히스토리 이미지(111)로 해석될 수 있고, QHI는 품질 히스토리 이미지(112)로 해석될 수 있으며,
Figure 112016127130779-pat00019
는 시스템 타임스탬프이며 Q는 화면의 블록을 압축하기 위해 선택된 품질 설정으로 해석될 수 있다.
도 2는 일실시예에 따른 품질 설정을 위한 방법을 설명하는 도면이다.
일실시예에 따른 영상 처리 방법은 품질 설정은 위해, 파일크기 추론 모델, 수정 부분에 대한 목록, 네트워크 대역폭에 대한 정보를 수집할 수 있다(201). 다음으로, 일실시예에 따른 영상 처리 방법은 추정 크기(Q)가 쿼터(quota) 이상인지 여부를 판단할 수 있다(202). 만약, 202의 판단 결과 추정 크기(Q)가 쿼터(quota) 이상인 경우라면, 품질에 쿼터(quota)를 적용할 수 있다(203). 또한, 202의 판단 결과 추정 크기(Q)가 쿼터(quota) 이하라면, 품질에 쿼터(quota)를 적용하지 않고 배드 블록으로 표시할 수 있다(204).
도 3은 일실시예에 따른 영상 처리 장치(300)를 설명하는 도면이다.
일실시예에 따른 영상 처리 장치(300)은 기록부(310), 선택부(320), 및 인코딩부(330)를 포함할 수 있다.
일실시예에 따른 기록부(310)는 입력된 새로운 프레임에 대해 이전 프레임에 대비하여 변화된 부분을 기록할 수 있다.
일실시예에 따른 선택부(320)는 기록된 부분에 대해 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량 중에서 적어도 하나에 기초하여, 품질 설정을 선택할 수 있다. 예를 들어, 선택부(320)는 생성된 파일크기 추론 모델에 기초하여 각 품질 설정에서 사용하는 데이터의 양을 계산하고, 계산된 데이터의 양을 더 고려하여 품질 설정을 선택할 수 있다.
일실시예에 따른 인코딩부(330)는 선택된 품질 설정을 적용하여 새로운 프레임을 인코딩할 수 있다.
인코딩부(330)는 선택된 품질 설정이 적용된 상기 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하고, 초과하지 않은 경우에만 선택된 품질 설정을 적용하여 새로운 프레임을 인코딩할 수 있다.
도 4는 다른 일실시예에 따른 영상 처리 장치를 설명하는 도면이다.
일실시예에 따른 영상 처리 장치(400)은 기록부(410), 선택부(420), 및 인코딩부(430) 뿐만 아니라, 추론모델 생성부(440)와 정제부(450)를 더 포함할 수 있다.
일실시예에 따른 기록부(410)는 입력된 새로운 프레임에 대해 이전 프레임에 대비하여 변화된 부분을 기록할 수 있고, 선택부(420)는 기록된 부분에 대해 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량 중에서 적어도 하나에 기초하여, 품질 설정을 선택할 수 있다. 예를 들어, 선택부(420)는 생성된 파일크기 추론 모델에 기초하여 각 품질 설정에서 사용하는 데이터의 양을 계산하고, 계산된 데이터의 양을 더 고려하여 품질 설정을 선택할 수 있다.
일실시예에 따른 인코딩부(430)는 선택된 품질 설정을 적용하여 새로운 프레임을 인코딩할 수 있다. 특히, 인코딩부(430)는 선택된 품질 설정이 적용된 상기 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하고, 초과하지 않은 경우에만 선택된 품질 설정을 적용하여 새로운 프레임을 인코딩할 수 있다.
또한, 일실시예에 따른 추론 모델 생성부(440)는 파일크기 추론 모델을 생성할 수 있다. 예를 들면, 추론 모델 생성부(440)는 JPEG 압축에 대한 벤치마크를 수행하여 이미지 압축 알고리즘의 파일크기를 추론하는 파일크기 추론 모델을 생성할 수 있다. 이때, 선택부(420)는 품질 설정을 선택하기 위해, 생성된 파일크기 추론 모델에 기초하여 각 품질 설정에서 사용하는 데이터의 양을 계산할 수 있다. 또한, 계산된 데이터의 양을 더 고려하여 상기 품질 설정을 선택할 수 있다.
일실시예에 따른 정제부(45)는 선택된 품질 설정이 적용된 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하여, 초과한 경우에 새로운 프레임을 정제(Refinement)할 수 있다. 이때, 인코딩부(430)는 정제된 새로운 프레임을 인코딩할 수 있다. 일실시예에 따른 정제부(45)는 새로운 프레임을 정제(Refinement)하되, 네트워크 대역폭의 할당량, 현재 이미지의 품질, 화면 영역의 움직임정보를 고려하여 새로운 프레임을 정제(Refinement)할 수 있다.
결국, 본 발명을 이용하면, 네트워크 대역폭 요구사항을 줄임과 동시에 높은 프레임 속도와 낮은 응답시간으로 높은 이미지 품질을 유지할 수 있다. 뿐만 아니라, 대화형 응용프로그램을 사용하는 동안 사용자에게 더 나은 경험을 제공함으로써 모바일 클라우드 컴퓨팅 서비스의 개발을 가속화 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 영상 처리 방법 101: 새로운 프레임
102: 차이 검출 103: 블록들 분류
104: 기준 프레임 업데이트 105: 수정된 블록들 병합
106: 품질 설정 선택 107: 대역폭 초과
108: 인코딩 109: 정제 프로세스
110: 파일크기 추론 모델 111: 모션 히스토리 이미지
112: 품질 히스토리 이미지 113: 배드품질 블록들 순위

Claims (13)

  1. 입력된 새로운 프레임에 대해 이전 프레임에 대비하여 변화된 부분을 기록하는 단계;
    상기 기록된 부분에 대해 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량 중에서 적어도 하나에 기초하여, 품질 설정을 선택하는 단계;
    상기 선택된 품질 설정이 적용된 상기 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하는 단계; 및
    상기 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩하는 단계를 포함하고,
    상기 판단 결과, 초과하지 않은 경우에 상기 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩하고,
    초과한 경우에 상기 새로운 프레임을 정제(Refinement)하는 단계를 더 포함하고,
    상기 새로운 프레임을 인코딩하는 단계는 상기 판단 결과 초과한 경우에는 상기 정제된 새로운 프레임을 인코딩하고,
    상기 새로운 프레임을 정제하는 단계는
    화면 영역의 움직임정보를 고려하되, 이미지 품질이 낮거나 수정될 가능성이 낮은 영역에 우선순위를 부여하는 단계; 및
    상기 부여된 우선순위를 고려하여 상기 새로운 프레임을 정제하는 단계를 포함하고,
    상기 우선순위를 부여하는 단계는
    상기 변화된 부분을 기록하는 단계를 통해 도출된 블록 분류 결과가 저장된 블록 클래스 이미지(BCI)로부터 산출된 모션 히스토리 이미지(MHI) 및 품질 히스토리 이미지(QHI)를 사용하여 효과적으로 매개 변수를 구성하고 저장하여 상기 우선순위를 부여하는 영상 처리 방법.
  2. 제1항에 있어서,
    파일크기 추론 모델을 생성하는 단계
    를 더 포함하고,
    상기 품질 설정을 선택하는 단계는,
    상기 생성된 파일크기 추론 모델에 기초하여 각 품질 설정에서 사용하는 데이터의 양을 계산하는 단계; 및
    상기 계산된 데이터의 양을 더 고려하여 상기 품질 설정을 선택하는 단계
    를 포함하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 파일크기 추론 모델을 생성하는 단계는,
    JPEG 압축에 대한 벤치마크를 수행하여 이미지 압축 알고리즘의 파일크기를 추론하는 파일크기 추론 모델을 생성하는 단계
    를 포함하는 영상 처리 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 영상 처리를 위한 영상 처리 장치에 있어서,
    입력된 새로운 프레임에 대해 이전 프레임에 대비하여 변화된 부분을 기록하는 기록부;
    상기 기록된 부분에 대해 프레임 버퍼 업데이트 데이터 및 네트워크 대역폭 할당량 중에서 적어도 하나에 기초하여, 품질 설정을 선택하는 선택부;
    상기 선택된 품질 설정이 적용된 상기 새로운 프레임이 기준 대역폭을 초과했는지 여부를 판단하여, 초과한 경우에 상기 새로운 프레임을 정제(Refinement)하는 정제부; 및
    상기 선택된 품질 설정을 적용하여 상기 새로운 프레임을 인코딩하는 인코딩부를 포함하고,
    상기 인코딩부는,
    상기 정제된 새로운 프레임을 인코딩하고,
    상기 정제부는
    화면 영역의 움직임정보를 고려하되, 이미지 품질이 낮거나 수정될 가능성이 낮은 영역에 우선순위를 부여하고, 상기 부여된 우선순위를 고려하여 상기 새로운 프레임을 정제하고,
    상기 우선순위는 상기 변화된 부분을 기록하는 기록부로부터 도출된 블록 분류 결과가 저장된 블록 클래스 이미지(BCI)로부터 산출된 모션 히스토리 이미지(MHI) 및 품질 히스토리 이미지(QHI)를 사용하여 효과적으로 매개 변수를 구성하고 저장하여 부여되는 것을 특징으로 하는 영상 처리 장치.
  10. 제9항에 있어서,
    파일크기 추론 모델을 생성하는 추론 모델 생성부
    를 더 포함하고,
    상기 추론 모델 생성부는, JPEG 압축에 대한 벤치마크를 수행하여 이미지 압축 알고리즘의 파일크기를 추론하는 파일크기 추론 모델을 생성하고,
    상기 선택부는, 상기 품질 설정을 선택하기 위해, 상기 생성된 파일크기 추론 모델에 기초하여 각 품질 설정에서 사용하는 데이터의 양을 계산하고, 상기 계산된 데이터의 양을 더 고려하여 상기 품질 설정을 선택하는 것을 특징으로 하는 영상 처리 장치.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020160178781A 2016-12-26 2016-12-26 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법 KR101932130B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160178781A KR101932130B1 (ko) 2016-12-26 2016-12-26 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160178781A KR101932130B1 (ko) 2016-12-26 2016-12-26 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180074964A KR20180074964A (ko) 2018-07-04
KR101932130B1 true KR101932130B1 (ko) 2018-12-24

Family

ID=62912788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160178781A KR101932130B1 (ko) 2016-12-26 2016-12-26 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101932130B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337554B1 (ko) * 2021-07-27 2021-12-13 한국과학기술원 사용자 데이터에 기반한 사용자 맞춤형 추천 시스템 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086550A (ja) 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd 表示画面更新システム
JP2006246153A (ja) * 2005-03-04 2006-09-14 Toshiba Corp 画面転送装置、画面転送システム、画面転送方法、およびプログラム
JP2015177446A (ja) * 2014-03-17 2015-10-05 日本電気株式会社 制御装置、画面送信サーバ、出力画面の品質制御方法および制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086550A (ja) 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd 表示画面更新システム
JP2006246153A (ja) * 2005-03-04 2006-09-14 Toshiba Corp 画面転送装置、画面転送システム、画面転送方法、およびプログラム
JP2015177446A (ja) * 2014-03-17 2015-10-05 日本電気株式会社 制御装置、画面送信サーバ、出力画面の品質制御方法および制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Biao Song, et al. An optimized hybrid remote display protocol using GPU-assisted M-JPEG encoding and novel high-motion detection algorithm. The Journal of Supercomputing. 2013.*

Also Published As

Publication number Publication date
KR20180074964A (ko) 2018-07-04

Similar Documents

Publication Publication Date Title
US20160021533A1 (en) Method and device for image and video transmission over low-bandwidth and high-latency transmission channels
US20200344497A1 (en) Method and apparatus for processing multimedia file, storage medium, and electronic apparatus
EP3410302B1 (en) Graphic instruction data processing method, apparatus
CN110166796B (zh) 视频帧的处理方法、装置、计算机可读介质及电子设备
EP2905963A1 (en) Encoding control device and encoding control method
WO2020038127A1 (zh) 解码方法、装置、电子设备以及存储介质
CN111185003A (zh) 实时云应用托管方法、装置、服务器和存储介质
US20170272545A1 (en) Method and system for transmitting remote screen
EP2827597B1 (en) Adaptive content delivery
JP2022509191A (ja) 映像デコーディング制御方法、装置、電子機器及び記憶媒体
CN111343503B (zh) 视频的转码方法、装置、电子设备及存储介质
CN112866746A (zh) 一种多路串流云游戏控制方法、装置、设备及存储介质
US9948691B2 (en) Reducing input processing latency for remotely executed applications
WO2021092821A1 (en) Adaptively encoding video frames using content and network analysis
Polakovič et al. Adaptive multimedia content delivery in 5G networks using DASH and saliency information
KR101932130B1 (ko) 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법
CN117201862B (zh) 一种基于多屏幕协同的实时互动方法及相关装置
CN114040257A (zh) 一种自适应视频流传输播放方法、装置、设备及存储介质
CN112350998B (zh) 一种基于边缘计算的视频流传输方法
CN111836092A (zh) 一种虚拟桌面的数据处理方法、装置及相关组件
CN112804527B (zh) 图像输出方法、装置及计算机可读存储介质
US20140099039A1 (en) Image processing device, image processing method, and image processing system
CN116193197A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN107920275B (zh) 视频播放方法、装置、终端及存储介质
CN114501084B (zh) 播放器的起播方法、装置、设备和介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant