KR102140398B1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR102140398B1
KR102140398B1 KR1020190062203A KR20190062203A KR102140398B1 KR 102140398 B1 KR102140398 B1 KR 102140398B1 KR 1020190062203 A KR1020190062203 A KR 1020190062203A KR 20190062203 A KR20190062203 A KR 20190062203A KR 102140398 B1 KR102140398 B1 KR 102140398B1
Authority
KR
South Korea
Prior art keywords
frame
video packets
packets
image
value
Prior art date
Application number
KR1020190062203A
Other languages
English (en)
Inventor
정영호
강영은
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020190062203A priority Critical patent/KR102140398B1/ko
Application granted granted Critical
Publication of KR102140398B1 publication Critical patent/KR102140398B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 처리 장치는, 인코더, 헤더 정보 독출부, 움직임 예측부, 중요도 결정부, 및 영상 패킷 선택부를 포함한다. 인코더는 영상 데이터를 복수의 프레임 그룹들로 분할하고, 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성한다. 헤더 정보 독출부는 복수의 영상 패킷들 각각의 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출한다. 움직임 예측부는 복수의 영상 패킷들 각각의 프레임 타입 및 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 복수의 프레임 그룹들 각각의 움직임 예측값을 생성한다. 중요도 결정부는 복수의 프레임 그룹들 각각의 움직임 예측값 및 복수의 영상 패킷들 각각의 프레임 타입에 기초하여 복수의 영상 패킷들 각각의 중요도를 결정한다. 영상 패킷 선택부는 무선 통신 네트워크의 데이터 전송율에 기초하여 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력한다.

Description

영상 처리 장치 및 영상 처리 방법{IMAGE PROCESSING DEVICE AND METHOD OF PROCESSING IMAGE}
본 발명은 영상 처리 기술에 관한 것으로, 보다 상세하게는 무선 통신 네트워크를 통해 영상 데이터를 전송하는 영상 전송 장치에 포함되는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
일반적으로 무선 통신 시스템에서는 잡음(noise), 페이딩(fading), 및 심볼간 간섭(Inter-Symbol Interference; ISI) 등이 원인이 되어 링크(link) 성능이 저하되는 현상이 발생한다. 또한, 수많은 기기가 제한된 무선 통신 자원을 랜덤하게 이용함으로써 채널 상황(예를 들어, 데이터 전송율, 자원 할당량)이 시시각각으로 변동된다.
이러한 가변적인 무선 통신 시스템 환경에서 영상 신호를 수신하는 사용자가 느끼는 체감 품질(Quality of Experience; QoE)은 낮을 수 밖에 없는데, 이를 향상시키기 위한 다양한 노력이 있다.
대표적인 예로, 인코딩 비트 레이트(bit rate)를 채널 상황에 맞게 가변하는 기술이 있다.
그러나, 실시간으로 채널의 비트 레이트를 반영하여 인코딩을 다시 수행하는 경우, 반복적인 인코딩 연산으로 인해 지연 시간이 길어지는 문제점이 있다.
또한, 복수의 비트 레이트들에 대응되는 복수의 인코딩 데이터를 미리 저장해두고 전송에 이용하는 경우, 상기 복수의 인코딩 데이터 저장으로 인한 메모리 자원의 낭비가 발생하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은 데이터 전송율이 변동되는 무선 통신 네트워크 환경에서 최적의 영상 데이터를 전송하기 위한 영상 처리 장치를 제공하는 것이다.
본 발명의 다른 목적은 데이터 전송율이 변동되는 무선 통신 네트워크 환경에서 최적의 영상 데이터를 전송하기 위한 영상 처리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 데이터 전송율이 변동되는 무선 통신 네트워크 환경에서 최적의 영상 데이터를 전송하는 영상 전송 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 데이터 전송율이 변동되는 무선 통신 네트워크 환경에서 최적의 영상 데이터를 전송하는 영상 전송 방법을 제공하는 것이다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 처리 장치는, 인코더, 헤더 정보 독출부, 움직임 예측부, 중요도 결정부, 및 영상 패킷 선택부를 포함한다. 상기 인코더는 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성한다. 상기 헤더 정보 독출부는 상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출한다. 상기 움직임 예측부는 상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성한다. 상기 중요도 결정부는 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정한다. 상기 영상 패킷 선택부는 무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력한다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 전송 장치는, 인코더, 헤더 정보 독출부, 움직임 예측부, 중요도 결정부, 영상 패킷 선택부, 및 전송부를 포함한다. 상기 인코더는 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성한다. 상기 헤더 정보 독출부는 상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출한다. 상기 움직임 예측부는 상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성한다. 상기 중요도 결정부는 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정한다. 상기 영상 패킷 선택부는 무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력한다. 상기 전송부는 상기 선택 영상 패킷들 각각을 복수의 단위 블록들로 나누고, 상기 복수의 단위 블록들 각각에 대해 채널 인코딩을 수행하여 상기 무선 통신 네트워크를 통해 전송한다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무선 통신 시스템에서의 영상 처리 방법에서, 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하고, 상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하고, 상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하고, 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하고, 상기 무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력한다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무선 통신 시스템에서의 영상 전송 방법에서, 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하고, 상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하고, 상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하고, 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하고, 상기 무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하고, 상기 선택 영상 패킷들 각각을 복수의 단위 블록들로 나누고, 상기 복수의 단위 블록들 각각에 대해 채널 인코딩을 수행하여 상기 무선 통신 네트워크를 통해 전송한다.
본 발명의 실시예들에 따른 영상 처리 장치 및 영상 처리 방법은 복수의 영상 패킷들 각각의 중요도를 빠른 속도로 정확하게 추정할 수 있다.
따라서 본 발명의 실시예들에 따른 영상 처리 장치를 포함하는 영상 전송 장치는 무선 통신 네트워크의 가변되는 데이터 전송율에 기초하여, 복수의 영상 패킷들 중에서 상대적으로 낮은 중요도를 갖는 영상 패킷들은 제외하고 상대적으로 높은 중요도를 갖는 영상 패킷들만을 선택하여 무선 통신 네트워크를 통해 전송하므로, 영상 송수신 기기의 사용자가 느끼는 체감 품질은 효과적으로 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 무선 통신 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 전송 장치를 나타내는 블록도이다.
도 3은 도 2의 영상 전송 장치에 포함되는 영상 처리 장치의 일 예를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 5는 도 3의 영상 처리 장치에 포함되는 인코더에 의해 생성되는 프레임 그룹(Group of Pictures; GOP)의 일 예를 나타내는 도면이다.
도 6은 도 3의 영상 처리 장치에 포함되는 움직임 예측부의 동작을 설명하기 위한 도면이다.
도 7은 도 2의 영상 전송 장치에 포함되는 영상 처리 장치의 다른 예를 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 영상 전송 방법을 나타내는 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 무선 통신 시스템을 나타내는 도면이다.
도 1을 참조하면, 무선 통신 시스템(10)은 영상 송수신 기기들(20, 30)을 포함한다.
영상 송수신 기기들(20, 30)은 무선 통신 네트워크(40)를 통해 영상 데이터를 송수신한다.
무선 통신 네트워크(40)는 임의의 종류의 무선 통신망일 수 있다.
일 실시예에 있어서, 무선 통신 네트워크(40)는 LTE, LTE-Advanced, WCDMA, HSPA, GSM, CDMA2000 등과 같은 이동 통신망에 상응할 수 있다.
도 1에는 예시적으로 영상 송수신 기기(20)는 기지국 서버인 것으로 도시되고, 영상 송수신 기기(30)는 모바일 단말기인 것으로 도시되나, 본 발명은 이에 한정되지 않는다. 실시예들에 따라 영상 송수신 기기들(20, 30) 각각은 무선 통신 네트워크(40)를 통해 영상 데이터를 송수신할 수 있는 임의의 기기일 수 있다.
또한, 도 1에는 예시적으로 두 개의 영상 송수신 기기들(20, 30)이 무선 통신 네트워크(40)에 연결된 것으로 도시되어 있으나, 실질적으로 수많은 기기들이 무선 통신 네트워크(40)에 연결되어 통신을 수행한다.
이와 같이, 수많은 기기들이 무선 통신 네트워크(40)의 제한된 무선 통신 자원을 랜덤하게 이용하여 통신을 수행하므로, 무선 통신 네트워크(40)의 데이터 전송율(data rate)은 시시각각으로 변동될 수 있다.
따라서 무선 통신 네트워크(40)의 데이터 전송율이 저하된 상태에서 영상 송수신 기기(20)가 영상 송수신 기기(30)로 영상 데이터를 전송하는 경우, 상기 영상 데이터의 랜덤한 일부는 손실된 상태로 영상 송수신 기기(30)에 도달될 수 있다. 이 때, 상기 영상 데이터에서 중요한 부분이 손실되는 경우, 상기 영상 데이터를 수신하는 영상 송수신 기기(30)의 사용자가 느끼는 체감 품질(Quality of Experience; QoE)은 현저하게 감소될 수 있다.
후술하는 바와 같이, 본 발명의 실시예들에 따른 영상 전송 장치는 영상 데이터에 기초하여 생성되는 복수의 영상 패킷들 각각의 중요도를 추정한 후, 무선 통신 네트워크(40)의 가변되는 데이터 전송율에 따라서, 상기 복수의 영상 패킷들 중에서 상대적으로 낮은 중요도를 갖는 영상 패킷들은 제외하고 상대적으로 높은 중요도를 갖는 영상 패킷들만을 선택하여 전송한다.
따라서 영상 송수신 기기들(20, 30) 각각이 본 발명의 실시예들에 따른 영상 전송 장치를 포함하는 경우, 영상 데이터의 송수신 시에 영상 송수신 기기들(20, 30)의 사용자가 느끼는 체감 품질(QoE)은 효과적으로 향상될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 전송 장치를 나타내는 블록도이다.
도 2에 도시된 영상 전송 장치(100)는 도 1의 무선 통신 시스템(10)에 포함되는 영상 송수신 기기들(20, 30) 각각에 포함될 수 있다.
도 2를 참조하면, 영상 전송 장치(100)는 영상 처리 장치(200) 및 전송부(300)를 포함할 수 있다.
영상 처리 장치(200)는 영상 데이터(IDATA)를 인코딩하여 복수의 영상 패킷들을 생성할 수 있다.
전송부(300)는 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)을 파악하여 영상 처리 장치(200)에 제공할 수 있다.
영상 처리 장치(200)는 상기 복수의 영상 패킷들 각각의 중요도를 추정한 후, 전송부(300)로부터 수신되는 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)에 따라서, 상기 복수의 영상 패킷들 중에서 상대적으로 낮은 중요도를 갖는 영상 패킷들은 제외하고 상대적으로 높은 중요도를 갖는 영상 패킷들만을 선택하여 선택 영상 패킷들(S_IPKTs)로서 출력할 수 있다.
전송부(300)는 영상 처리 장치(200)로부터 수신되는 선택 영상 패킷들(S_IPKTs) 각각을 복수의 단위 블록들로 나누고, 상기 복수의 단위 블록들 각각에 대해 채널 인코딩을 수행하여 FEC(Forward Error Correction) 블록들(FEC_BLKs)을 생성할 수 있다.
이후, 전송부(300)는 FEC 블록들(FEC_BLKs) 각각에 물리 레이어(PHY Layer)의 자원 블록(resource block)을 매핑하여 FEC 블록들(FEC_BLKs)을 무선 통신 네트워크(40)를 통해 전송할 수 있다.
영상 처리 장치(200)의 상세 구성 및 동작에 대해서는 도 3 내지 8을 참조하여 후술한다.
도 3은 도 2의 영상 전송 장치에 포함되는 영상 처리 장치의 일 예를 나타내는 블록도이다.
도 3을 참조하면, 영상 처리 장치(200)는 인코더(encoder)(210), 헤더 정보 독출부(220), 움직임 예측부(230), 중요도 결정부(240), 및 영상 패킷 선택부(250)를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 4에 도시된 영상 처리 방법은 도 3의 영상 처리 장치(200)를 통해 수행될 수 있다.
이하, 도 1 내지 4를 참조하여 영상 처리 장치(200)의 상세 구성 및 동작과 영상 처리 장치(200)에 의해 수행되는 영상 처리 방법에 대해 상세히 설명한다.
인코더(210)는 영상 데이터(IDATA)를 복수의 프레임 그룹(Group of Pictures; GOP)들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들(IPKTs)을 생성할 수 있다(단계 S100).
구체적으로, 인코더(210)는 영상 데이터(IDATA)를 인코딩하여 영상 데이터(IDATA)를 상기 복수의 프레임 그룹들로 분할할 수 있다.
도 5는 도 3의 영상 처리 장치에 포함되는 인코더에 의해 생성되는 프레임 그룹의 일 예를 나타내는 도면이다.
도 5에 도시된 바와 같이, 복수의 프레임 그룹(GOP)들 각각은 복수의 프레임들(I, P, B)을 포함할 수 있다.
이 때, 프레임 그룹(GOP)에 포함되는 복수의 프레임들(I, P, B)은 속성에 따라 I 프레임(I), P 프레임(P), 및 B 프레임(B)로 구분될 수 있다.
I 프레임(I)은 전후의 프레임과는 상관없이 I 프레임(I) 자체의 정보만을 이용하여 부호화된 프레임에 상응할 수 있다.
P 프레임(P)은 프레임들 간의 순방향 예측 부호화를 통해 얻어지는 프레임에 상응하고, B 프레임(B)은 프레임들 간의 양방향 예측 부호화를 통해 얻어지는 프레임에 상응할 수 있다.
이와 같이, I 프레임(I)은 P 프레임(P) 및 B 프레임(B)을 부호화하는데 이용되고, P 프레임(P)은 B 프레임(B)을 부호화하는데 이용되므로, 일반적으로 영상의 움직임 정도가 크지 않은 경우, I 프레임(I), P 프레임(P), 및 B 프레임(B)의 순서로 데이터의 크기가 클 수 있다.
도 5에는 예시적으로 프레임 그룹(GOP)이 하나의 I 프레임(I), 두 개의 P 프레임(P), 및 여섯 개의 B 프레임(B)를 포함하는 것으로 도시되어 있으나, 본 발명은 이에 한정되지 않는다. 실시예들에 따라서, 인코더(210)로부터 생성되는 프레임 그룹(GOP)에 포함되는 프레임들의 종류 및 개수는 다양하게 구현될 수 있다.
다시 도 3을 참조하면, 인코더(210)는 프레임 그룹(GOP)에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스(slice)로 구분할 수 있다.
일 실시예에 있어서, 인코더(210)는 하나의 프레임 전체를 하나의 슬라이스로 구분할 수 있다. 상술한 바와 같이, I 프레임(I), P 프레임(P), 및 B 프레임(B)의 크기는 서로 다르므로, 이 경우, 슬라이스들의 사이즈는 서로 다를 수 있다.
다른 실시예에 있어서, 인코더(210)는 하나의 프레임을 일정한 사이즈를 갖는 복수의 슬라이스들로 구분할 수 있다.
한편, 인코더(210)는 프레임 그룹(GOP)에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 해당 슬라이스에 대한 다양한 정보를 포함하는 헤더를 슬라이스에 부가하여 영상 패킷(IPKT)을 생성할 수 있다.
따라서, 도 3에 도시된 바와 같이, 인코더(210)는 영상 데이터(IDATA)를 인코딩하여 복수의 영상 패킷들(IPKTs)을 생성하며, 복수의 영상 패킷들(IPKTs) 각각은 하나의 슬라이스 및 상기 슬라이스에 대한 다양한 정보를 포함하는 헤더를 포함할 수 있다.
예를 들어, 복수의 영상 패킷들(IPKTs) 각각의 헤더는, 상응하는 영상 패킷의 손실에 의해 영향을 받는 프레임의 개수에 대한 정보, 상기 상응하는 영상 패킷이 포함되는 프레임의 타입에 대한 정보, 상기 상응하는 영상 패킷에 포함된 매크로 블록(macroblock)의 개수, 프레임의 경계로부터 상기 상응하는 영상 패킷에 포함된 매크로 블록까지의 거리에 대한 정보, 상기 상응하는 영상 패킷에 포함되는 비트 수에 대한 정보, 상기 상응하는 영상 패킷이 최대 비트 수를 포함하는지 여부에 대한 정보, 상기 상응하는 영상 패킷이 전체 프레임을 포함하는지 여부에 대한 정보, 및 상기 상응하는 영상 패킷의 매크로 블록당 비트 수의 평균값에 대한 정보 등을 포함할 수 있다.
인코더(210)는 영상 데이터(IDATA)를 인코딩하여 생성되는 복수의 영상 패킷들(IPKTs)을 헤더 정보 독출부(220) 및 영상 패킷 선택부(250)에 제공할 수 있다.
헤더 정보 독출부(220)는 복수의 영상 패킷들(IPKTs) 각각의 상기 헤더에 포함되는 복수의 헤더 정보들 중에서, 상응하는 영상 패킷의 프레임 타입(F_TYPE) 및 상기 상응하는 영상 패킷의 비트 수(BIT_NUM)를 독출할 수 있다(단계 S200).
움직임 예측부(230)는 복수의 영상 패킷들(IPKTs) 각각의 프레임 타입(F_TYPE) 및 비트 수(BIT_NUM)에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값(MEV)을 생성할 수 있다(단계 S300).
도 6은 도 3의 영상 처리 장치에 포함되는 움직임 예측부의 동작을 설명하기 위한 도면이다.
도 6에서, 제1 그래프(A)는 축구 경기 영상과 같이 영상의 움직임 정도가 상대적으로 큰 영상 데이터에서, 하나의 프레임 그룹에 포함되는 I 프레임(I)들의 전체 비트 수의 합, B 프레임(B)들의 전체 비트 수의 합, 및 P 프레임(P)들의 전체 비트 수의 합의 평균 분포 비율을 나타내고, 제2 그래프(B)는 영상의 움직임 정도가 평균적인 영상 데이터에서, 하나의 프레임 그룹에 포함되는 I 프레임(I)들의 전체 비트 수의 합, B 프레임(B)들의 전체 비트 수의 합, 및 P 프레임(P)들의 전체 비트 수의 합의 평균 분포 비율을 나타내고, 제3 그래프(C)는 영상의 움직임 정도가 상대적으로 작은 영상 데이터에서, 하나의 프레임 그룹에 포함되는 I 프레임(I)들의 전체 비트 수의 합, B 프레임(B)들의 전체 비트 수의 합, 및 P 프레임(P)들의 전체 비트 수의 합의 평균 분포 비율을 나타낸다.
상술한 바와 같이, I 프레임(I)은 전후의 프레임과는 상관없이 I 프레임(I) 자체의 정보만을 이용하여 부호화된 프레임에 상응하고, P 프레임(P)은 프레임들 간의 순방향 예측 부호화를 통해 얻어지는 프레임에 상응하고, B 프레임(B)은 프레임들 간의 양방향 예측 부호화를 통해 얻어지는 프레임에 상응하므로, 제3 그래프(C)에 도시된 바와 같이, 영상의 움직임 정도가 작은 영상 데이터의 경우, 일반적으로 하나의 프레임 그룹에서 I 프레임(I)들의 비트 수의 합은 B 프레임(B)들의 비트 수의 합보다 매우 크다.
그러나 영상의 움직임 정도가 증가할수록 인접하는 프레임들 사이에 공통으로 포함되는 영역의 크기가 줄어들게 되므로, B 프레임(B)의 비트 수가 증가하게 된다.
따라서, 제2 그래프(B)에 도시된 바와 같이, 영상의 움직임 정도가 어느 정도 증가하는 경우, 하나의 프레임 그룹에서 I 프레임(I)들의 비트 수의 합과 B 프레임(B)들의 비트 수의 합의 차이가 많이 줄어들게 되고, 제1 그래프(A)에 도시된 바와 같이, 영상의 움직임 정도가 매우 큰 경우, 하나의 프레임 그룹에서 B 프레임(B)들의 비트 수의 합이 I 프레임(I)들의 비트 수의 합보다 크게 된다.
이와 같이, 하나의 프레임 그룹에서 영상의 움직임 정도는 상기 하나의 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값에 비례하고, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값에 반비례할 수 있다.
따라서 움직임 예측부(230)는 n(은 양의 정수)번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값에 비례하고, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값에 반비례하는 크기를 갖는 값을 상기 n번째 프레임 그룹의 움직임 예측값(MEV)으로 결정할 수 있다.
일 실시예에 있어서, 움직임 예측부(230)는 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값을 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 움직임 예측값(MEV)으로 결정할 수 있다.
다른 실시예에 있어서, 움직임 예측부(230)는 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)와 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값을 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 움직임 예측값(MEV)으로 결정할 수 있다.
또 다른 실시예에 있어서, 움직임 예측부(230)는 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값을 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)와 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 움직임 예측값(MEV)으로 결정할 수 있다.
또 다른 실시예에 있어서, 움직임 예측부(230)는 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)와 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값을 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)와 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs) 각각의 비트 수(BIT_NUM)를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 움직임 예측값(MEV)으로 결정할 수 있다.
다시 도 3을 참조하면, 중요도 결정부(240)는 상기 복수의 프레임 그룹들 각각의 움직임 예측값(MEV) 및 복수의 영상 패킷들(IPKTs) 각각의 프레임 타입(F_TYPE)에 기초하여 복수의 영상 패킷들(IPKTs) 각각의 중요도(IMPs)를 결정할 수 있다(단계 S400).
상술한 바와 같이, I 프레임(I)은 전후의 프레임과는 상관없이 I 프레임(I) 자체의 정보만을 이용하여 부호화된 프레임에 상응하고, P 프레임(P)은 프레임들 간의 순방향 예측 부호화를 통해 얻어지는 프레임에 상응하고, B 프레임(B)은 프레임들 간의 양방향 예측 부호화를 통해 얻어지는 프레임에 상응하므로, 영상의 움직임 정도가 작은 일반적인 경우에는, I 프레임(I), P 프레임(P), 및 B 프레임(B)의 순서로 중요도가 높은 것이 일반적이다.
그러나 도 6을 참조하여 상술한 바와 같이, 영상의 움직임 정도가 증가할수록 인접하는 프레임들 사이에 공통으로 포함되는 영역의 크기가 줄어들게 되므로, B 프레임(B)의 비트 수가 증가하게 된다.
따라서 영상의 움직임 정도가 증가할수록 B 프레임(B)의 중요도 역시 증가하고, 영상의 움직임 정도가 크게 증가하는 경우 B 프레임(B)의 중요도는 I 프레임(I)의 중요도 보다 높은 것으로 추정할 수 있다.
따라서 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)보다 높게 결정할 수 있다.
한편, 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 상기 제1 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)보다 높게 결정할 수 있다.
일 실시예에 있어서, 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 상기 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 제1 값으로 결정하고, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제1 값보다 작은 제2 값으로 결정하고, 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제2 값보다 작은 제3 값으로 결정할 수 있다.
한편, 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 상기 제1 기준값보다 작거나 같고 상기 제1 기준값보다 작은 제2 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제1 값으로 결정하고, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제2 값으로 결정하고, 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제3 값으로 결정할 수 있다.
한편, 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 상기 제2 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제1 값으로 결정하고, 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제2 값으로 결정하고, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 중요도(IMP)를 상기 제3 값으로 결정할 수 있다.
영상 패킷 선택부(250)는 중요도 결정부(240)로부터 복수의 영상 패킷들(IPKTs) 각각의 중요도(IMPs)를 수신할 수 있다.
또한, 영상 패킷 선택부(250)는 도 2에 도시된 영상 전송 장치(100)의 전송부(300)로부터 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)을 수신할 수 있다.
영상 패킷 선택부(250)는 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)에 기초하여 복수의 영상 패킷들(IPKTs) 중에서 상대적으로 낮은 중요도(IMP)를 갖는 영상 패킷들(IPKTs)은 제외하고 상대적으로 높은 중요도(IMP)를 갖는 영상 패킷들(IPKTs)을 선택 영상 패킷들(S_IPKTs)로서 출력할 수 있다(단계 S500).
예를 들어, 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)이 영상 데이터(IDATA)에 상응하는 복수의 영상 패킷들(IPKTs)을 모두 전송하는 데에 필요한 제1 전송율보다 높거나 같은 경우, 영상 패킷 선택부(250)는 영상 데이터(IDATA)에 상응하는 복수의 영상 패킷들(IPKTs) 전체를 선택 영상 패킷들(S_IPKTs)로서 출력할 수 있다.
이에 반해, 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)이 상기 제1 전송율보다 a(a는 100 이하의 양의 실수) 퍼센트만큼 낮은 경우, 영상 데이터(IDATA)의 상기 복수의 프레임 그룹들 각각에 대해, 상기 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서 중요도(IMP)가 낮은 순서대로 상기 프레임 그룹의 전체 비트 수의 a 퍼센트에 해당하는 비트 수에 상응하는 영상 패킷들(IPKTs)을 제외하고 나머지 영상 패킷들(IPKTs)만을 선택 영상 패킷들(S_IPKTs)로서 출력할 수 있다.
도 7은 도 2의 영상 전송 장치에 포함되는 영상 처리 장치의 다른 예를 나타내는 블록도이다.
도 7을 참조하면, 영상 처리 장치(200a)는 인코더(210), 헤더 정보 독출부(220), 움직임 예측부(230), 중요도 결정부(240), 및 영상 패킷 선택부(250)를 포함할 수 있다.
도 7의 영상 처리 장치(200a)는 도 3의 영상 처리 장치(200)와 비교할 때, 헤더 정보 독출부(220) 및 중요도 결정부(240)의 세부 동작만 상이하고 나머지 구성 및 동작은 동일하다.
따라서 도 3과 관련하여 중복되는 설명은 생략하고, 여기서는 헤더 정보 독출부(220) 및 중요도 결정부(240)의 동작에 대해서만 상세히 설명한다.
헤더 정보 독출부(220)는 복수의 영상 패킷들(IPKTs) 각각의 상기 헤더에 포함되는 복수의 헤더 정보들 중에서, 상응하는 영상 패킷의 프레임 타입(F_TYPE), 상기 상응하는 영상 패킷의 비트 수(BIT_NUM), 및 상기 상응하는 영상 패킷의 손실에 의해 영향을 받는 프레임의 개수를 나타내는 RNF(Related Number of Frames) 값(RNF_V)을 독출할 수 있다.
중요도 결정부(240)는 헤더 정보 독출부(220)로부터 복수의 영상 패킷들(IPKTs) 각각의 프레임 타입(F_TYPE), 비트 수(BIT_NUM), 및 RNF 값(RNF_V)을 수신하고, 움직임 예측부(230)로부터 상기 복수의 프레임 그룹들 각각의 움직임 예측값(MEV)을 수신할 수 있다.
중요도 결정부(240)는 상기 복수의 프레임 그룹들 각각의 움직임 예측값(MEV) 및 복수의 영상 패킷들(IPKTs) 각각의 프레임 타입(F_TYPE)에 기초하여 복수의 영상 패킷들(IPKTs) 각각의 가중치를 결정할 수 있다.
상술한 바와 같이, I 프레임(I)은 전후의 프레임과는 상관없이 I 프레임(I) 자체의 정보만을 이용하여 부호화된 프레임에 상응하고, P 프레임(P)은 프레임들 간의 순방향 예측 부호화를 통해 얻어지는 프레임에 상응하고, B 프레임(B)은 프레임들 간의 양방향 예측 부호화를 통해 얻어지는 프레임에 상응하므로, 영상의 움직임 정도가 작은 일반적인 경우에는, I 프레임(I), P 프레임(P), 및 B 프레임(B)의 순서로 중요도가 높은 것이 일반적이다.
그러나 도 6을 참조하여 상술한 바와 같이, 영상의 움직임 정도가 증가할수록 인접하는 프레임들 사이에 공통으로 포함되는 영역의 크기가 줄어들게 되므로, B 프레임(B)의 비트 수가 증가하게 된다.
따라서 영상의 움직임 정도가 증가할수록 B 프레임(B)의 중요도 역시 증가하고, 영상의 움직임 정도가 크게 증가하는 경우 B 프레임(B)의 중요도는 I 프레임(I)의 중요도 보다 높은 것으로 추정할 수 있다.
따라서 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 상기 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 제1 가중값으로 결정하고, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제1 가중값보다 작은 제2 가중값으로 결정하고, 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제2 가중값보다 작은 제3 가중값으로 결정할 수 있다.
한편, 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 상기 제1 기준값보다 작거나 같고 상기 제1 기준값보다 작은 제2 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제1 가중값으로 결정하고, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제2 가중값으로 결정하고, 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제3 가중값으로 결정할 수 있다.
한편, 중요도 결정부(240)는 상기 n번째 프레임 그룹의 움직임 예측값(MEV)이 상기 제2 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서, 프레임 타입(F_TYPE)이 I 프레임(I)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제1 가중값으로 결정하고, 프레임 타입(F_TYPE)이 P 프레임(P)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제2 가중값으로 결정하고, 프레임 타입(F_TYPE)이 B 프레임(B)에 상응하는 영상 패킷들(IPKTs)의 상기 가중치를 상기 제3 가중값으로 결정할 수 있다.
이후, 중요도 결정부(240)는 복수의 영상 패킷들(IPKTs) 각각의 상기 가중치, RNF 값(RNF_V), 및 비트 수(BIT_NUM)에 기초하여 복수의 영상 패킷들(IPKTs) 각각의 중요도(IMPs)를 결정할 수 있다.
예를 들어, 중요도 결정부(240)는 복수의 영상 패킷들(IPKTs) 각각의 상기 가중치, RNF 값(RNF_V), 및 비트 수(BIT_NUM)를 서로 곱한 값을 복수의 영상 패킷들(IPKTs) 각각의 중요도(IMPs)로 결정할 수 있다.
영상 패킷 선택부(250)는 중요도 결정부(240)로부터 복수의 영상 패킷들(IPKTs) 각각의 중요도(IMPs)를 수신할 수 있다.
또한, 영상 패킷 선택부(250)는 도 2에 도시된 영상 전송 장치(100)의 전송부(300)로부터 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)을 수신할 수 있다.
영상 패킷 선택부(250)는 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)에 기초하여 복수의 영상 패킷들(IPKTs) 중에서 상대적으로 낮은 중요도(IMP)를 갖는 영상 패킷들(IPKTs)은 제외하고 상대적으로 높은 중요도(IMP)를 갖는 영상 패킷들(IPKTs)을 선택 영상 패킷들(S_IPKTs)로서 출력할 수 있다.
예를 들어, 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)이 영상 데이터(IDATA)에 상응하는 복수의 영상 패킷들(IPKTs)을 모두 전송하는 데에 필요한 제1 전송율보다 높거나 같은 경우, 영상 패킷 선택부(250)는 영상 데이터(IDATA)에 상응하는 복수의 영상 패킷들(IPKTs) 전체를 선택 영상 패킷들(S_IPKTs)로서 출력할 수 있다.
이에 반해, 무선 통신 네트워크(40)의 데이터 전송율(D_RATE)이 상기 제1 전송율보다 a(a는 100 이하의 양의 실수) 퍼센트만큼 낮은 경우, 영상 데이터(IDATA)의 상기 복수의 프레임 그룹들 각각에 대해, 상기 프레임 그룹에 포함되는 영상 패킷들(IPKTs) 중에서 중요도(IMP)가 낮은 순서대로 상기 프레임 그룹의 전체 비트 수의 a 퍼센트에 해당하는 비트 수에 상응하는 영상 패킷들(IPKTs)을 제외하고 나머지 영상 패킷들(IPKTs)만을 선택 영상 패킷들(S_IPKTs)로서 출력할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 전송 방법을 나타내는 순서도이다.
도 8에 도시된 영상 전송 방법은 도 2의 영상 전송 장치(100)를 통해 수행될 수 있다.
도 8의 영상 전송 방법은 도 4의 영상 처리 방법에서 일부 단계(S600)를 더 포함하여 수행되므로, 도 4와 관련하여 중복되는 설명은 생략한다.
도 1 내지 8을 참조하면, 전송부(300)는 영상 처리 장치(200)로부터 선택 영상 패킷들(S_IPKTs)을 수신할 수 있다.
전송부(300)는 선택 영상 패킷들(S_IPKTs) 각각을 복수의 단위 블록들로 나누고, 상기 복수의 단위 블록들 각각에 대해 채널 인코딩을 수행하여 무선 통신 네트워크(40)를 통해 전송할 수 있다(단계 S600).
예를 들어, 전송부(300)는 선택 영상 패킷들(S_IPKTs) 각각을 상기 복수의 단위 블록들로 나누고, 상기 복수의 단위 블록들 각각에 대해 채널 인코딩을 수행하여 FEC 블록들(FEC_BLKs)을 생성할 수 있다.
이후, 전송부(300)는 FEC 블록들(FEC_BLKs) 각각에 물리 레이어(PHY Layer)의 자원 블록(resource block)을 매핑하여 FEC 블록들(FEC_BLKs)을 무선 통신 네트워크(40)를 통해 전송할 수 있다.
도 1 내지 8을 참조하여 상술한 바와 같이, 본 발명의 실시예들에 따른 영상 처리 장치(200)는 복수의 영상 패킷들(IPKTs) 각각의 헤더에 포함되는 복수의 헤더 정보들 중에서, 상응하는 영상 패킷의 프레임 타입(F_TYPE) 및 상기 상응하는 영상 패킷의 비트 수(BIT_NUM)에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값(MEV)을 생성하고, 상기 복수의 프레임 그룹들 각각의 움직임 예측값(MEV) 및 복수의 영상 패킷들(IPKTs) 각각의 프레임 타입(F_TYPE)에 기초하여 복수의 영상 패킷들(IPKTs) 각각의 중요도(IMPs)를 결정할 수 있다.
따라서 본 발명의 실시예들에 따른 영상 처리 장치(200)는 복수의 영상 패킷들(IPKTs) 각각의 중요도(IMP)를 빠른 속도로 정확하게 추정할 수 있다.
따라서 본 발명의 실시예들에 따른 영상 처리 장치(200)를 포함하는 영상 전송 장치(100)는 무선 통신 네트워크(40)의 가변적인 데이터 전송율(D_RATE)에 기초하여, 복수의 영상 패킷들(IPKTs) 중에서 상대적으로 낮은 중요도(IMP)를 갖는 영상 패킷들(IPKTs)은 제외하고 상대적으로 높은 중요도(IMP)를 갖는 영상 패킷들(IPKTs)만을 선택하여 무선 통신 네트워크(40)를 통해 전송하므로, 영상 송수신 기기(20, 30)의 사용자가 느끼는 체감 품질(QoE)은 효과적으로 향상될 수 있다.
본 발명은 무선 통신 네트워크를 통해 영상 데이터를 전송할 때 사용자가 느끼는 체감 품질(Quality of Experience; QoE)을 향상시키는 데에 유용하게 이용될 수 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 무선 통신 시스템 20, 30: 영상 송수신 기기
40: 무선 통신 네트워크 100: 영상 전송 장치
200: 영상 처리 장치 210: 인코더
220: 헤더 정보 독출부 230: 움직임 예측부
240: 중요도 결정부 250: 영상 패킷 선택부
300: 전송부

Claims (24)

  1. 삭제
  2. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 움직임 예측부는,
    n(은 양의 정수)번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 비례하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 반비례하는 크기를 갖는 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 영상 처리 장치.
  3. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 움직임 예측부는,
    n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값을 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 영상 처리 장치.
  4. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 움직임 예측부는,
    n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수와 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값을 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 영상 처리 장치.
  5. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 움직임 예측부는,
    n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값을 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수와 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 영상 처리 장치.
  6. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 움직임 예측부는,
    n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수와 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값을 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수와 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값으로 나눈 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 영상 처리 장치.
  7. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 중요도 결정부는,
    n번째 프레임 그룹의 상기 움직임 예측값이 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도보다 높게 결정하고,
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제1 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도보다 높게 결정하는 영상 처리 장치.
  8. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 중요도 결정부는,
    n번째 프레임 그룹의 상기 움직임 예측값이 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 제1 값으로 결정하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제1 값보다 작은 제2 값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제2 값보다 작은 제3 값으로 결정하는 영상 처리 장치.
  9. 제8 항에 있어서, 상기 중요도 결정부는,
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제1 기준값보다 작거나 같고 상기 제1 기준값보다 작은 제2 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제1 값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제2 값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제3 값으로 결정하는 영상 처리 장치.
  10. 제9 항에 있어서, 상기 중요도 결정부는,
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제2 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제1 값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제2 값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제3 값으로 결정하는 영상 처리 장치.
  11. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부를 포함하고,
    상기 헤더 정보 독출부는, 상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 손실에 의해 영향을 받는 프레임의 개수를 나타내는 RNF(Related Number of Frames) 값을 더 독출하고,
    상기 중요도 결정부는, 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 가중치를 결정하고, 상기 복수의 영상 패킷들 각각의 상기 가중치, 상기 RNF 값, 및 상기 비트 수에 기초하여 상기 복수의 영상 패킷들 각각의 상기 중요도를 결정하는 영상 처리 장치.
  12. 제11 항에 있어서, 상기 중요도 결정부는,
    n번째 프레임 그룹의 상기 움직임 예측값이 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 가중치를 제1 가중값으로 결정하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제1 가중값보다 작은 제2 가중값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제2 가중값보다 작은 제3 가중값으로 결정하는 영상 처리 장치.
  13. 제12 항에 있어서, 상기 중요도 결정부는,
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제1 기준값보다 작거나 같고 상기 제1 기준값보다 작은 제2 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제1 가중값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제2 가중값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제3 가중값으로 결정하는 영상 처리 장치.
  14. 제13 항에 있어서, 상기 중요도 결정부는,
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제2 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제1 가중값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제2 가중값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제3 가중값으로 결정하는 영상 처리 장치.
  15. 제14 항에 있어서, 상기 중요도 결정부는,
    상기 복수의 영상 패킷들 각각의 상기 가중치, 상기 RNF 값, 및 상기 비트 수를 서로 곱한 값을 상기 복수의 영상 패킷들 각각의 상기 중요도로 결정하는 영상 처리 장치.
  16. 영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 인코더;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 헤더 정보 독출부;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 움직임 예측부;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 중요도 결정부;
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 영상 패킷 선택부; 및
    상기 선택 영상 패킷들 각각을 복수의 단위 블록들로 나누고, 상기 복수의 단위 블록들 각각에 대해 채널 인코딩을 수행하여 상기 무선 통신 네트워크를 통해 전송하는 전송부를 포함하고,
    상기 움직임 예측부는,
    n(은 양의 정수)번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 비례하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 반비례하는 크기를 갖는 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 영상 전송 장치.
  17. 삭제
  18. 무선 통신 시스템에서의 영상 처리 방법에서,
    영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 단계;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 단계; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 단계를 포함하고,
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값을 생성하는 단계는,
    n(은 양의 정수)번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 비례하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 반비례하는 크기를 갖는 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 단계를 포함하는 영상 처리 방법.
  19. 무선 통신 시스템에서의 영상 처리 방법에서,
    영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 단계;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 단계; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 단계를 포함하고,
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 상기 중요도를 결정하는 단계는,
    n번째 프레임 그룹의 상기 움직임 예측값이 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도보다 높게 결정하는 단계; 및
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제1 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도보다 높게 결정하는 단계를 포함하는 영상 처리 방법.
  20. 무선 통신 시스템에서의 영상 처리 방법에서,
    영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 단계;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 단계; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 단계를 포함하고,
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 상기 중요도를 결정하는 단계는,
    n번째 프레임 그룹의 상기 움직임 예측값이 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 제1 값으로 결정하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제1 값보다 작은 제2 값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제2 값보다 작은 제3 값으로 결정하는 단계;
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제1 기준값보다 작거나 같고 상기 제1 기준값보다 작은 제2 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제1 값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제2 값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제3 값으로 결정하는 단계; 및
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제2 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제1 값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제2 값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 중요도를 상기 제3 값으로 결정하는 단계를 포함하는 영상 처리 방법.
  21. 무선 통신 시스템에서의 영상 처리 방법에서,
    영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 손실에 의해 영향을 받는 프레임의 개수를 나타내는 RNF 값을 독출하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 단계;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 단계; 및
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 단계를 포함하고,
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 상기 중요도를 결정하는 단계는,
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 가중치를 결정하는 단계; 및
    상기 복수의 영상 패킷들 각각의 상기 가중치, 상기 RNF 값, 및 상기 비트 수에 기초하여 상기 복수의 영상 패킷들 각각의 상기 중요도를 결정하는 단계를 포함하는 영상 처리 방법.
  22. 제21 항에 있어서, 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 상기 가중치를 결정하는 단계는,
    n번째 프레임 그룹의 상기 움직임 예측값이 제1 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 가중치를 제1 가중값으로 결정하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제1 가중값보다 작은 제2 가중값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제2 가중값보다 작은 제3 가중값으로 결정하는 단계;
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제1 기준값보다 작거나 같고 상기 제1 기준값보다 작은 제2 기준값보다 큰 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제1 가중값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제2 가중값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제3 가중값으로 결정하는 단계; 및
    상기 n번째 프레임 그룹의 상기 움직임 예측값이 상기 제2 기준값보다 작거나 같은 경우, 상기 n번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제1 가중값으로 결정하고, 상기 프레임 타입이 P 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제2 가중값으로 결정하고, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들의 상기 가중치를 상기 제3 가중값으로 결정하는 단계를 포함하는 영상 처리 방법.
  23. 제22 항에 있어서, 상기 복수의 영상 패킷들 각각의 상기 가중치, 상기 RNF 값, 및 상기 비트수에 기초하여 상기 복수의 영상 패킷들 각각의 상기 중요도를 결정하는 단계는,
    상기 복수의 영상 패킷들 각각의 상기 가중치, 상기 RNF 값, 및 상기 비트 수를 서로 곱한 값을 상기 복수의 영상 패킷들 각각의 상기 중요도로 결정하는 단계를 포함하는 영상 처리 방법.
  24. 무선 통신 시스템에서의 영상 전송 방법에서,
    영상 데이터를 복수의 프레임 그룹들로 분할하고, 상기 복수의 프레임 그룹들 각각에 포함되는 복수의 프레임들 각각을 적어도 하나의 슬라이스로 구분한 후, 슬라이스들 각각에 대한 정보를 포함하는 헤더를 상응하는 슬라이스에 부가하여 복수의 영상 패킷들을 생성하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 헤더로부터 상응하는 영상 패킷의 프레임 타입 및 비트 수를 독출하는 단계;
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 움직임 예측값을 생성하는 단계;
    상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값 및 상기 복수의 영상 패킷들 각각의 상기 프레임 타입에 기초하여 상기 복수의 영상 패킷들 각각의 중요도를 결정하는 단계;
    무선 통신 네트워크의 데이터 전송율에 기초하여 상기 복수의 영상 패킷들 중에서 상대적으로 높은 중요도를 갖는 영상 패킷들을 선택 영상 패킷들로서 출력하는 단계; 및
    상기 선택 영상 패킷들 각각을 복수의 단위 블록들로 나누고, 상기 복수의 단위 블록들 각각에 대해 채널 인코딩을 수행하여 상기 무선 통신 네트워크를 통해 전송하는 단계를 포함하고,
    상기 복수의 영상 패킷들 각각의 상기 프레임 타입 및 상기 비트 수에 기초하여 프레임 그룹 별로 영상의 움직임 정도를 예측하여 상기 복수의 프레임 그룹들 각각의 상기 움직임 예측값을 생성하는 단계는,
    n(은 양의 정수)번째 프레임 그룹에 포함되는 영상 패킷들 중에서, 상기 프레임 타입이 B 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 비례하고, 상기 프레임 타입이 I 프레임에 상응하는 영상 패킷들 각각의 상기 비트 수를 합한 값에 반비례하는 크기를 갖는 값을 상기 n번째 프레임 그룹의 상기 움직임 예측값으로 결정하는 단계를 포함하는 영상 전송 방법.
KR1020190062203A 2019-05-27 2019-05-27 영상 처리 장치 및 영상 처리 방법 KR102140398B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190062203A KR102140398B1 (ko) 2019-05-27 2019-05-27 영상 처리 장치 및 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190062203A KR102140398B1 (ko) 2019-05-27 2019-05-27 영상 처리 장치 및 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR102140398B1 true KR102140398B1 (ko) 2020-07-31

Family

ID=71834787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190062203A KR102140398B1 (ko) 2019-05-27 2019-05-27 영상 처리 장치 및 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102140398B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225184A1 (ko) * 2021-04-19 2022-10-27 삼성전자주식회사 서버 및 그 제어 방법
WO2023017873A1 (ko) * 2021-08-09 2023-02-16 김승모 영상 인코딩 품질학습 및 예측 시스템
CN117615137A (zh) * 2024-01-15 2024-02-27 北京铁力山科技股份有限公司 一种视频处理方法、装置、设备以及存储介质
WO2024066649A1 (zh) * 2022-09-30 2024-04-04 腾讯科技（深圳）有限公司 一种视频处理方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080086764A (ko) * 2007-03-23 2008-09-26 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치
KR101976324B1 (ko) * 2018-06-21 2019-05-07 한국항공대학교산학협력단 영상 처리 장치 및 영상 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080086764A (ko) * 2007-03-23 2008-09-26 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치
KR101976324B1 (ko) * 2018-06-21 2019-05-07 한국항공대학교산학협력단 영상 처리 장치 및 영상 처리 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225184A1 (ko) * 2021-04-19 2022-10-27 삼성전자주식회사 서버 및 그 제어 방법
WO2023017873A1 (ko) * 2021-08-09 2023-02-16 김승모 영상 인코딩 품질학습 및 예측 시스템
WO2024066649A1 (zh) * 2022-09-30 2024-04-04 腾讯科技（深圳）有限公司 一种视频处理方法及相关设备
CN117615137A (zh) * 2024-01-15 2024-02-27 北京铁力山科技股份有限公司 一种视频处理方法、装置、设备以及存储介质
CN117615137B (zh) * 2024-01-15 2024-04-09 北京铁力山科技股份有限公司 一种视频处理方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
KR102140398B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP5081891B2 (ja) プロポーショナルフェア型スケジューラ、不完全なｃｑｉフィードバックを用いたスケジューリング方法
JP5069316B2 (ja) ワイヤレス通信モードをスイッチするための機器および方法
US9998338B2 (en) System and method for dynamic effective rate estimation for real-time video traffic
JP5044017B2 (ja) 通信システムにおけるチャネル品質情報の通信のための方法および装置
JP4852616B2 (ja) 無線通信ネットワークにおける無線資源の選択
TWI430609B (zh) 頻道狀態資訊回授
US20150250001A1 (en) Circuit arrangement and method of determining a priority of packet scheduling
JP2005525718A (ja) 高速ダイナミックリンクアダプテーションのためのシステムおよび方法
WO2011015252A1 (en) Multicast scheduling and link adaptation
WO2006075208A1 (en) Hsdpa parameters adjustment based on cqi age
US9106911B2 (en) Wireless communication device and wireless communication method
Fidler et al. Capacity–delay–error boundaries: A composable model of sources and systems
Ramli et al. Video streaming performance under well-known packet scheduling algorithms
US8982722B1 (en) Determining wireless communication gain
CN109769258B (zh) 基于安全urllc通信协议的资源优化方法
WO2019117246A1 (ja) 受信機、通信システム、可用帯域推定方法及びプログラムを記憶した記憶媒体
US8385280B2 (en) Scheduling method, base station and computer program product
Chuah et al. Energy minimization for wireless video transmissions with deadline and reliability constraints
KR101976324B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN107659375B (zh) 反馈方法及装置
Mehmeti et al. Resource allocation for improved user experience with live video streaming in 5G
WO2010085212A1 (en) Method and system for linear network coding in broadcast systems
JP3970807B2 (ja) 無線通信装置
Efimushkina et al. Analytical model in discrete time for cross-layer video communication over LTE

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant