KR102037165B1 - 영상 처리 장치 및 그 영상 처리 방법 - Google Patents

영상 처리 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
KR102037165B1
KR102037165B1 KR1020180034461A KR20180034461A KR102037165B1 KR 102037165 B1 KR102037165 B1 KR 102037165B1 KR 1020180034461 A KR1020180034461 A KR 1020180034461A KR 20180034461 A KR20180034461 A KR 20180034461A KR 102037165 B1 KR102037165 B1 KR 102037165B1
Authority
KR
South Korea
Prior art keywords
importance
information
header information
image
header
Prior art date
Application number
KR1020180034461A
Other languages
English (en)
Other versions
KR20190112449A (ko
Inventor
정영호
강영은
손기범
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020180034461A priority Critical patent/KR102037165B1/ko
Publication of KR20190112449A publication Critical patent/KR20190112449A/ko
Application granted granted Critical
Publication of KR102037165B1 publication Critical patent/KR102037165B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access, e.g. scheduled or random access
    • H04W74/002—Transmission of channel access control information
    • H04W74/006—Transmission of channel access control information in the downlink, i.e. towards the terminal

Abstract

무선 통신 시스템에서 영상 처리 방법이 개시된다. 영상 처리 방법은, 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제1 중요도 추정 모델을 생성하는 과정, 복수의 영상 패킷의 헤더 각각에 포함되는 상기 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 상기 중요도 정보에 기초하여 제2 중요도 추정 모델을 생성하는 과정, 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 상기 제1 헤더 정보와 동일한 정보 타입을 가지는 제3 헤더 정보와, 상기 제1 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제1 중요도 추정 값을 결정하는 과정, 상기 제1 영상 패킷의 헤더에 포함되는 상기 적어도 하나의 헤더 정보에서 획득되고, 상기 제2 헤더 정보와 동일한 정보 타입을 가지는 제4 헤더 정보와, 상기 제2 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제2 중요도 추정 값을 결정하는 과정 및 상기 제1 중요도 추정 값 및 상기 제2 중요도 추정 값에 기초하여, 상기 제1 영상 패킷의 중요도 값을 결정하는 과정을 포함한다.

Description

영상 처리 장치 및 그 영상 처리 방법 {IMAGE PROCESSING APPARATUS AND METHOD THEROF}
본 발명은 영상 처리 장치 및 그 영상 처리 방법에 대한 것으로, 보다 상세하게는 영상 신호의 전송 손실을 최소화하는 영상 처리 장치 및 그 영상 처리 방법에 대한 것이다.
일반적으로 무선 통신 시스템에서는 잡음 (noise), 페이딩 (fading) 및 심볼간 간섭 (ISI: inter-symbol interference) 등이 원인이 되어 링크 (link) 성능이 저하되는 현상이 발생한다. 또한, 수많은 기기가 제한된 무선 통신 자원을 랜덤하게 이용함으로써 채널 상황 (예를 들어, 데이터 전송율, 자원 할당량)이 시시각각으로 변동된다.
이러한 가변적인 무선 통신 시스템 환경에서 영상 신호를 수신하는 사용자가 느끼는 체감 품질 (QoE: quality of experience, 이하 QoE)은 낮을 수밖에 없는데, 이를 향상시키기 위한 다양한 노력이 있다.
대표적으로, 영상 프레임에 통신 자원을 할당함에 있어, 영상 프레임의 우선 순위를 고려하는 방법이 있다.
변동되는 채널 상황에서, 인코딩 연산으로 인한 지연 및 메모리 자원의 낭비 없이 QoE를 만족시키기 위한 방안에 대한 필요성이 대두 되었다. 본 발명은 가변적인 무선 채널 상태에 적응하여 최적의 영상 신호를 전송하는 영상 처리 장치 및 그 영상 처리 방법을 제공한다.
본 발명의 다양한 실시 예에 따른 영상 처리 방법은, 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제1 중요도 추정 모델을 생성하는 과정, 복수의 영상 패킷의 헤더 각각에 포함되는 상기 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 상기 중요도 정보에 기초하여 제2 중요도 추정 모델을 생성하는 과정, 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 상기 제1 헤더 정보와 동일한 정보 타입을 가지는 제3 헤더 정보와, 상기 제1 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제1 중요도 추정 값을 결정하는 과정, 상기 제1 영상 패킷의 헤더에 포함되는 상기 적어도 하나의 헤더 정보에서 획득되고, 상기 제2 헤더 정보와 동일한 정보 타입을 가지는 제4 헤더 정보와, 상기 제2 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제2 중요도 추정 값을 결정하는 과정 및 상기 제1 중요도 추정 값 및 상기 제2 중요도 추정 값에 기초하여, 상기 제1 영상 패킷의 중요도 값을 결정하는 과정을 포함한다.
본 발명의 일 실시 예에 따른 영상 처리 장치는, 송수신기 및 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제1 중요도 추정 모델을 생성하고, 복수의 영상 패킷의 헤더 각각에 포함되는 상기 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 상기 중요도 정보에 기초하여 제2 중요도 추정 모델을 생성하고, 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 상기 제1 헤더 정보와 동일한 정보 타입을 가지는 제3 헤더 정보와, 상기 제1 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제1 중요도 추정 값을 결정하고, 상기 제1 영상 패킷의 헤더에 포함되는 상기 적어도 하나의 헤더 정보에서 획득되고, 상기 제2 헤더 정보와 동일한 정보 타입을 가지는 제4 헤더 정보와, 상기 제2 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제2 중요도 추정 값을 결정하고, 상기 제1 중요도 추정 값 및 상기 제2 중요도 추정 값에 기초하여, 상기 제1 영상 패킷의 중요도 값을 결정하는 프로세서를 포함한다.
본 발명의 다양한 실시 예에 따르면, 영상 스트리밍 서비스에서 영상 패킷의 중요도에 기초하여 무선 통신 자원을 할당함으로써 스트리밍 영상에 대한 체감품질을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 신호 송수신 시스템의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 FEC 블록을 인코딩하는 과정을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 기지국의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 영상 패킷의 중요도 추정 모델 생성 방법에 대한 흐름도이다.
도 5는 본 발명의 다른 실시 예에 따른 영상 패킷의 중요도 추정 모델의 생성 방법에 대한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 영상 패킷의 중요도 결정 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 영상 패킷의 헤더 정보를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 제1 중요도 추정 모델을 생성하는 방법에 대한 흐름도이다.
도 9는 본 발명의 다른 실시 예에 따른 제1 중요도 추정 모델을 생성하는 방법에 대한 흐름도이다.
도 10은 본 발명의 다른 실시 예에 따른 영상 패킷의 중요도 결정 방법에 대한 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 영상 처리 방법의 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작원리를 상세히 설명한다. 또한, 발명에 대한 실시 예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 하기에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 사용된 용어들의 정의는 본 명세서 전반에 걸친 내용 및 이에 상응한 기능을 토대로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 영상 신호 송수신 시스템(10)의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 영상 신호 송수신 시스템(10)은 영상 처리 장치들(100, 200)을 포함한다. 예를 들어, 영상 처리 장치(100, 200)는 기지국(100) 또는 단말(200)일 수 있다.
영상 처리 장치들(100, 200)은 영상 데이터를 처리할 수 있다. 구체적으로, 영상 처리 장치들(100, 200)은 영상 데이터를 인코딩할 수 있다. 일 예로, 영상 처리 장치 들(100, 200)은 영상 프레임 그룹으로부터 복수의 전송 블록을 인코딩할 수 있다. 이 경우, 영상 처리 장치들(100, 200)은 인코딩된 복수의 전송 블록에 기설정된 자원 블록을 매핑하고, 매핑된 인코딩된 복수의 전송 블록을 송신할 수 있다. 일 예로, 인코딩된 전송 블록은 하나 이상의 전송 블록에 매핑될 수 있다. 여기서, 전송 블록은 순방향 오류 정정 (Forward Error Correction 또는 Graceful Degradation-FEC, 이하, 'FEC'라 지칭함) 블록일 수 있다. 이하에서, 전송 블록의 일 예인 FEC 블록을 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시 예에 따른 FEC 블록을 인코딩하는 과정을 도시한다.
도 2를 참조하면, 영상 프레임은 하나 이상의 영상 슬라이스로 구성될 수 있다. 여기서, 하나의 영상 슬라이스(20)는 하나의 슬라이스 헤더(20-1)를 포함할 수 있다. 하나의 영상 슬라이스(20)는 복수의 정보 블록(21)으로 분할될 수 있다. 또한, 복수의 정보 블록(21) 각각에는 물리 헤더(21-1)가 부착되어 소스 블록(22)이 생성된다. 소스 블록(22) 각각은 채널 인코딩을 통해 FEC 블록(23)으로 인코딩된다. 인코딩된 FEC 블록(23)에는 무선 통신 자원 (이하, 자원 블록)이 할당된다.
영상 처리 장치들(100, 200)은 상대방 영상 처리 장치에서 송신되는 전송 블록을 수신하여 영상 데이터를 디코딩할 수 있다. 또한, 영상 처리 장치들(100, 200)은 디코딩된 영상 데이터를 렌더링하여 디스플레이할 수 있다.
영상 처리 장치들(100, 200)은 기지국(100) 및 단말(200)에 제한되지 않고, 영상 데이터를 처리할 수 있는 모든 전자 기기일 수 있다. 예를 들어, 영상 처리 장치들(100, 200)은 MP3, 카메라, 노트북 등일 수 있다.
영상 처리 장치들(100, 200) 각각은 통신망을 통해 신호를 송수신할 수 있다. 통신망은 영상 처리 장치들(100, 200)이 서로 접속하기 위한 경로를 제공한다. 여기서, 통신망은 WCDMA, HDPA, 3G, 4G 등 이동 통신망과, 블루투스(Bluethooth), 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망 등을 포함한다.
구체적으로, 영상 처리 장치들(100, 200)은 복수의 영상 패킷 (예를 들어, 영상 슬라이스 (20))의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 헤더 정보와 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 중요도를 추정하기 위한 중요도 추정 모델을 생성할 수 있다.
또한, 영상 처리 장치들(100, 200)은 생성된 중요도 추정 모델에 기초하여, 복수의 영상 패킷에서 임의로 선택된 영상 패킷의 헤더의 중요도를 추정할 수 있다.
일 예로, 영상 처리 장치들(100, 200)은 상기 임의로 선택된 영상 패킷의 헤더에 포함되는 헤더 정보를 상기 생성된 중요도 추정 모델에 입력하여 상기 임의로 선택된 영상 패킷의 중요도를 결정할 수 있다.
이를 통해, 영상 처리 장치들(100, 200)은 중요도 추정 모델을 통해 임의로 선택된 영상 패킷의 중요도를 정확도 높게 결정할 수 있다. 영상 처리 장치들(100, 200)은 한정된 전송 블록으로 정해진 영상 데이터를 송신하면서도, 사용자가 느끼는 체감 품질인 QoE(Quality of Experience)를 최대로 이끌어 낼 수 있다. 이하에서, 다양한 도면을 참조하여 영상 처리 장치의 영상 처리 방법에 대한 실시 예들을 상세히 설명한다.
도 3은 본 발명의 일 실시 예에 따른 기지국(100)의 구성을 설명하기 위한 블록도이다.
이하에서, 설명의 편의를 위해 도 3의 각 구성(110, 120, 및 130)이 기지국(100)에 포함된 경우를 예로 들어 설명하지만, 기지국(100)의 각 구성(110, 120, 및 130)은 단말(200)에 포함될 수 있음은 물론이다. 이 경우, 기지국(100)이 하는 동작과 기능들은 단말(200)에서도 동일 유사하게 수행 가능하다.
도 3에 따르면, 기지국(100)은 인코더(110), 통신부(120) 및 프로세서(130)를 포함한다.
인코더(110)는 영상 데이터를 인코딩한다. 이 경우, 인코더(110)는 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득할 수 있다. 구체적으로, 인코더(110)는 송신 오류를 정정하기 위하여, 영상 데이터를 적어도 하나의 영상 프레임 그룹으로 그룹화하여 인코딩을 수행할 수 있다. 여기서, 영상 프레임 그룹은 영상 프레임의 집합인 것으로 정의한다. 다시 말해, 영상 프레임 그룹은 적어도 하나의 영상 프레임을 포함하는 GoP (Group of Picture)이다.
이 경우, 인코더(110)는 영상 데이터를 일정한 또는 다양한 크기의 영상 프레임 그룹으로 분할할 수 있다. 여기서, 분할된 각 영상 프레임 그룹에 포함되는 복수의 프레임은 각각의 속성에 따라 다르게 정의될 수 있다. 예를 들어, 분할된 각 영상 프레임 그룹에 포함되는 프레임들을 각각 I 프레임, P 프레임, B 프레임으로 정의할 수 있다. 여기서, I 프레임은 전후의 프레임 (또는 픽쳐)과는 상관없이 I 프레임 자체의 정보만을 이용하여 부호화된 프레임일 수 있다. 또한, P 프레임은 프레임 간의 순방향 예측 부호화를 통해 얻어지는 프레임을 의미하고, B 프레임은 픽쳐 간 양방향 예측 부호화를 얻어지는 프레임일 수 있다. 이와 같이, I 프레임은 P 프레임을 부호화하는데 이용되고, P 프레임은 B 프레임을 부호화하는데 이용되므로, I 프레임, P 프레임, B 프레임의 순서로 중요도가 높다. 또한, 중요도 순서와 동일하게, I 프레임, P 프레임, B 프레임의 순서로 데이터 크기가 큰 것이 보통이다.
이하에서는, 본 발명에 따른 다양한 실시 예로, 영상 데이터가 I 프레임, P 프레임, B 프레임으로 구성된 영상 프레임 그룹으로 인코딩된 경우를 예로 들어 설명한다. 여기서, I 프레임, P 프레임, B 프레임으로 인코딩되는 방식은 설명을 위해 예시를 든 것일 뿐, 영상 데이터를 그룹화하여 인코딩하는 다양한 방식에 본 개시가 적용될 수 있음은 물론이다. 또한, 본 개시의 다양한 실시 예에서, 영상 데이터를 예를 들어 설명하지만, 영상 데이터뿐만 아니라, 오디오, DIMS(Dynamic and Interactive Multimedia Scenes), 텍스트 등의 멀티미디어 데이터에 적용될 수 있음은 물론이다.
통신부(120)는 채널을 통하여 영상 데이터를 전송한다. 여기서, 통신부(120)는 적어도 하나의 송수신기를 포함하거나, 적어도 하나의 송신기와 적어도 하나의 수신기를 포함할 수 있다. 구체적으로, 통신부(120)는 인코딩된 영상 데이터 즉, 적어도 하나의 영상 프레임 데이터를 기설정된 단위의 블록으로 나눌 수 있다. 그 후, 통신부(120)는 나누어진 블록들을 각 블록 별로 오류 정정 코딩 및 변조하여 전송한다. 예를 들어, 통신부(120)는 오류 정정 방법으로 순방향 오류 정정(Forward Error Correction 또는 Graceful Degradation-FEC, 이하, 'FEC'라 지칭함) 방법을 이용할 수 있으며 변조 방식으로 QPSK, 16QAM, 64QAM 등을 이용할 수 있다. 이 경우, 통신부(120)는 크기가 조정된 영상 프레임 그룹에 대해 오류 정정 코딩 및 변조를 수행하여 이를 송신할 수 있다.
프로세서(130)는 기지국(100)을 전반적으로 제어한다. 특히, 프로세서(130)는 영상 처리를 위해 다양한 기능을 수행한다.
본 발명의 다양한 실시 예에 따르면, 프로세서(130)는 영상 패킷 (예를 들어, 영상 슬라이스(20))의 중요도 값을 결정할 수 있다. 여기서, 결정되는 중요도는 후에 설명될 영상 패킷에 대한 중요도 추정 모델을 생성하기 위한 기초가 된다.
도 4를 참조하면, 프로세서(130)는 영상 패킷의 헤더 정보를 획득할 수 있다. 여기서, 영상 패킷의 헤더 정보는, i번째 영상 패킷 슬라이스의 손실에 의해 영향을 받는 영상 프레임의 개수에 대한 정보 (
Figure 112018029808358-pat00001
: related number of frames), 상기 영상 패킷에 대응되는 영상 프레임의 타입에 대한 정보 (I, P, B 타입 중 하나: IsIframe, IsPframe, IsBframe), 단일 슬라이스에 포함된 매크로 블록의 개수 (NumMBs: the number of macro block), 영상 프레임의 경계로부터 해당 슬라이스에 포함된 매크로 블록까지의 거리에 대한 정보 (DevFromBdr: deviation from boundary range), 해당 슬라이스에 포함되는 비트 수에 대한 정보 (NumBits), 해당 슬라이스 가 최대 비트 수를 포함하는지 여부에 대한 정보 (IsFullUnit), 해당 슬라이스 가 전체 영상 프레임을 포함하는지 여부에 대한 정보 (IsWholeFrame), 해당 슬라이스에 포함되는 매크로 블록당 비트 수의 평균 값에 대한 정보 (NumBitsPerMB) 중 적어도 하나일 수 있다.
또한, 프로세서(130)는 영상 패킷의 중요도를 결정할 수 있다(410).
예를 들면, 프로세서(130)는 헤더 정보가 획득된 영상 패킷을 제외한 나머지 영상 패킷에 기초하여 영상을 생성할 수 있다. 여기서, 프로세서(130)는 상기 헤더 정보가 획득된 영상 패킷을 제외한 나머지 영상 패킷에 기초하여 생성된 영상과 상기 헤더 정보가 획득된 영상 패킷이 포함된 영상 패킷 전체에 기초하여 생성된 영상을 비교하여, 상기 헤더 정보가 획득된 영상 패킷을 제외한 나머지 영상 패킷에 기초하여 생성된 영상의 열화도 (utility)를 판단할 수 있다. 여기서, 열화도가 클수록 영상 패킷의 중요도가 낮고, 열화도가 작을수록 영상 패킷의 중요도가 높게 설정될 수 있다. 일 예로, 영상 패킷의 중요도는, 영상의 품질에 대한 정보인 VQM (video quality metric) 또는 신호의 최대 전력과 잡음 전력의 비율에 대한 정보인 PSNR (peak signal-to-noise ratio)로 정의될 수 있다. 여기서, VQM은 통신 시스템을 통해 영상이 전송된 후, 왜곡 등이 발생한 상태의 품질과 관련된다. VQM은 원본과 손실된 영상 사이의 왜곡을 이용해 측정한다. VQM은 손실이 적을수록 품질이 좋은 것이므로 VQM 값이 작을수록 품질이 좋다. 또한, PSNR은 신호가 가질 수 있는 최대 전력에 대한 잡음의 전력을 나타낸다. PSNR은 주로 영상 또는 동영상 손실 압축에서 화질 손실 정보를 평가할 때 사용된다. PSNR은 신호의 전력에 대한 고려 없이 평균 제곱 오차를 이용해서 계산할 수 있다. PSNR 값이 클수록 품질이 좋다.
프로세서(130)는 획득된 영상 패킷의 헤더 정보 및 결정된 영상 패킷의 중요도에 기초하여 영상 패킷의 중요도 추정 모델을 생성할 수 있다(420).
본 발명의 일 실시 예에 따르면, 영상 패킷의 중요도 추정 모델은 머신 러닝 (또는 기계 학습)을 통해 추정 가능하다. 여기서, 머신 러닝은 공지의 기술인 랜덤 포레스트(random forest)를 이용하여 수행될 수 있다. 랜덤 포레스트는 분류, 회귀 분석 등에 사용되는 앙상블 학습 방법의 일종으로, 훈련 과정에서 구성한 다수의 결정 트리로부터 부류(분류) 또는 평균 예측치(회귀 분석)를 출력함으로써 동작한다. 랜덤 포레스트는 훈련 과정에서 구성한 다수의 결정 트리로부터 분류 또는 평균 예측 값을 출력함으로써 동작한다. 여기서, 결정 트리란 계층 구조로 이루어진 노드들과 에지들의 집합으로 구성된다. 랜덤 포레스트는 결정을 내리기 위해 사용하는 트리로를 이용하여 복잡한 문제를 간단한 문제들로 이루어진 계층 구조형태로 나누기 위한 기술이다.
랜덤 포레스트는 매개변수로 트리의 개수 및 최대 허용 깊이를 가진다. 여기서, 매개변수의 변경에 따라 랜덤 포레스트의 연산 속도도 변경될 수 있다.
트리의 개수는 포레스트를 몇 개의 트리로 구성할지 결정한다. 트리의 수가 적은 경우, 트리 구성 및 테스트 시간이 짧아진다. 다만, 이 경우 일반화 능력이 저하되어 정확도가 감소할 수 있다. 트리의 수가 많은 경우, 트리 구성 및 테스트 시간이 증가하지만, 일반화 능력이 우수해져 정확도가 증가할 수 있다.
최대 허용 깊이는 하나의 트리에서 루트 노드부터 종단 노드까지 노드 개수이다. 노드가 적은 경우 과소 적합이 발생하고, 노드가 많은 경우 과대 적합이 발생할 수 있다.
랜덤 포레스트의 훈련(또는 학습) 및 분석 과정은 다음과 같은 세 과정을 포함할 수 있다.
과정 1. k 개의 훈련 데이터 집합을 생성한다.
과정 2. k 개의 트리들을 훈련한다.
과정 3. 각 트리의 결과를 평균하여 결과를 도출한다.
이하에서, 랜덤 포레스트의 훈련 및 분석 과정은 도 5를 참조하여 상세히 설명한다.
도 5는 본 발명의 다른 실시 예에 따른 영상 패킷의 중요도 추정 모델의 생성 방법에 대한 흐름도이다.
도 501을 참조하면, 프로세서(130)는 트레이닝 데이터(501)(훈련 데이터 집합 또는 훈련 데이터 집합에서 선택된 데이터)를 판단한다(과정 1). 여기서, 트레이닝 데이터는 기설정되어 있거나, 사용자로부터 입력 받거나, 프로세서(130)가 기설정된 조건에 따라 생성할 수 있다. 여기서, 기설정된 조건이란, 일 예로, 트레이닝 데이터의 수가 3개로 제한된 경우, 프로세서(130)는 영상 패킷의 헤더 정보들 중 3개를 선택할 수 있다.
프로세서(130)는 복수개의 샘플(502-1, 502-2, ..., 502-3)을 설정하고, 복수개의 샘플(502-1, 502-2, ..., 502-3) 각각에 대해 트리(503-1, 503-2, ..., 503-3)를 훈련한다(과정 2). 일 예로, 샘플은 총 영상 패킷의 수가 2000개인 경우, 각 샘플은 500개씩 설정될 수 있다. 여기서, 샘플은 영상 패킷이 중복되어 선택될 수도 있고 중복되지 않을 수도 있다.
프로세서(130)는 기설정된 조건에 따라 트리 훈련을 종료할 수 있다. 일 예로, 기설정된 조건은 기설정된 시간을 만족하는 경우, 기설정된 노드 수를 만족하는 경우, 더 이상 트리가 확장되지 않는 조건을 만족하는 경우 등일 수 있다.
프로세서(130)는 테스트를 수행할 수 있다(과정 3, 분석 과정), 프로세서(130)는 테스트 데이터(507)을 각 트리(503-1, 503-2, ..., 503-3)에 입력할 수 있다. 일 예로, 테스트 데이터(507)는 트레이닝 데이터(501)와 동일한 타입의 영상 패킷의 헤더 정보일 수 있다. 이 경우, 테스트 데이터(507)는 트레이닝 데이터(501)와 동일하지 않은 값일 수 있다. 각 트리(503-1, 503-2, ..., 503-3)에 대해 추정 값(504-1, 504-2, ..., 504-3) 값이 출력되면, 프로세서(130)는 추정 값(504-1, 504-2, ..., 504-3) 값의 평균 값(506)을 계산할 수 있다. 일 예로, 평균 값(506)이 도 4의 과정 410에서 도출된 영상 패킷의 중요도의 결과와 근사한 값을 가지는 경우(평균 값(506) 및 도 4의 과정 410에서 도출된 영상 패킷의 중요도의 결과가 기설정된 차이 값 내에 있는 경우)), 프로세서(130)는 테스트의 결과가 적합하다고 판단될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 영상 패킷의 중요도 결정 방법에 대한 흐름도이다.
프로세서(130)는 영상 패킷의 헤더 정보를 획득할 수 있다(610). 여기서, 영상 패킷은 훈련된 트리를 이용해 영상 패킷의 중요도를 판단하고자 하는 대상 영상 패킷이다.
프로세서(130)는 획득된 헤더 정보를 중요도 추정 모델(예를 들어, 도 5에서 생성된 각 샘플에 대한 트리들)에 입력할 수 있다(620).
프로세서(130)는 영상 패킷의 중요도를 결정할 수 있다(630). 예를 들어, 프로세서(130)는 도 5에서 생성된 각 샘플에 대한 추정 값들을 평균하여 최종 영상 패킷의 중요도를 결정할 수 있다.
프로세서(130)는 서로 다른 헤더 정보의 집합으로 훈련시킨 두 세트 이상의 트리를 이용하여 영상 패킷의 중요도를 결정할 수도 있다. 이하에서, 도 7 내지 10을 참조하여, 영상 패킷의 중요도를 결정하는 다른 실시 예를 상세히 설명한다.
도 7은 본 발명의 일 실시 예에 따른 영상 패킷의 헤더 정보를 도시한다.
도 7에 따르면, 영상 패킷의 헤더 정보(70)는 RNF, NumBits, NumMBs, IsIframe, Is Pframe을 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 제1 중요도 추정 모델을 생성하는 방법에 대한 흐름도이다.
프로세서(130)는 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제1 중요도 추정 모델을 생성할 수 있다. 여기서, 제1 헤더 정보는 영상 패킷의 헤더 정보(70)의 첫 번째 내지 다섯 번째 정보(RNF, NumBits, NumMBs, IsIframe, Is Pframe)일 수 있다.
구체적으로, 프로세서(130)는 영상 패킷의 헤더 정보(70)의 첫 번째 내지 다섯 번째 정보 및 영상 패킷의 중요도에 기초하여 트리를 훈련시킬 수 있다(810). 여기서, 트리 훈련은 도 5에서 상술한 설명에 따라 수행될 수 있다. 일 예로, 프로세서(130)는 복수의 영상 패킷 집합에서 선택된 복수의 영상 패킷 샘플을 선정할 수 있다. 프로세서(130)는 복수의 영상 패킷 샘플 각각에 대응되는 트리를 훈련시킬 수 있다. 이 경우, 영상 패킷의 헤더 정보(70)의 첫 번째 내지 다섯 번째 정보 및 영상 패킷의 중요도는 복수의 영상 패킷 샘플 각각에 대응되는 각각의 트리를 훈련시키는 입력 값이 될 수 있다.
상술한 훈련 결과, 프로세서(130)는 영상 패킷에 대한 제1 중요도 추정 모델을 생성할 수 있다(820).
도 9는 본 발명의 다른 실시 예에 따른 제1 중요도 추정 모델을 생성하는 방법에 대한 흐름도이다.
프로세서(130)는 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제2 중요도 추정 모델을 생성할 수 있다. 여기서, 제2 헤더 정보는 영상 패킷의 헤더 정보(70)의 첫 번째 및 두 번째 정보(RNF, NumBits)일 수 있다.
구체적으로, 프로세서(130)는 영상 패킷의 헤더 정보(70)의 첫 번째 및 두 번째 정보와, 영상 패킷의 중요도에 기초하여 트리를 훈련시킬 수 있다(910). 여기서, 트리 훈련은 도 5에서 상술한 설명에 따라 수행될 수 있다. 일 예로, 프로세서(130)는 복수의 영상 패킷 집합에서 선택된 복수의 영상 패킷 샘플을 선정할 수 있다. 프로세서(130)는 복수의 영상 패킷 샘플 각각에 대응되는 트리를 훈련시킬 수 있다. 이 경우, 영상 패킷의 헤더 정보(70)의 첫 번째 및 두 번째 정보와, 영상 패킷의 중요도는 복수의 영상 패킷 샘플 각각에 대응되는 각각의 트리를 훈련시키는 입력 값이 될 수 있다.
상술한 훈련 결과, 프로세서(130)는 영상 패킷에 대한 제2 중요도 추정 모델을 생성할 수 있다(920).
도 10은 본 발명의 다른 실시 예에 따른 영상 패킷의 중요도 결정 방법에 대한 흐름도이다.
프로세서(130)는 제1 영상 패킷(영상 패킷의 중요도 결정의 대상이 되는 영상 패킷)의 제3 헤더 정보를 판단한다(1010). 여기서, 제3 헤더 정보는 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득될 수 있다(예를 들어, 영상 패킷의 헤더 정보(70)의 첫 번째 내지 다섯 번째 정보(RNF, NumBits, NumMBs, IsIframe, Is Pframe)). 또한, 제3 헤더 정보는 제1 헤더 정보와 동일한 정보 타입일 수 있다.
프로세서(130)는 상기 생성된 제1 중요도 추정 모델에 기초하여(1020), 제1 영상 패킷의 제1 중요도 추정 값을 결정할 수 있다(1030).
또한, 프로세서(130)는 제1 영상 패킷(영상 패킷의 중요도 결정의 대상이 되는 영상 패킷)의 제4 헤더 정보를 판단한다(1010). 여기서, 제4 헤더 정보는 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득될 수 있다(예를 들어, 영상 패킷의 헤더 정보(70)의 첫 번째 및 두 번째 정보(RNF, NumBits). 또한, 제4 헤더 정보는 제2 헤더 정보와 동일한 정보 타입일 수 있다.
프로세서(130)는 상기 생성된 제2 중요도 추정 모델에 기초하여(1040), 제1 영상 패킷의 제2 중요도 추정 값을 결정할 수 있다(1050)
프로세서(130)는 상기 제1 중요도 추정 값 및 상기 제2 중요도 추정 값에 기초하여, 제1 영상 패킷의 중요도 값을 결정할 수 있다(1060). 이 경우, 제1 영상 패킷의 중요도 값은, 상기 제1 중요도 추정 값 및 상기 제2 중요도 추정 값의 평균 값으로 계산될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 영상 처리 방법의 흐름도이다.
먼저, 영상 처리 방법은, 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제1 중요도 추정 모델을 생성하는 과정, 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제2 중요도 추정 모델을 생성하는 과정, 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 제1 헤더 정보와 동일한 정보 타입을 가지는 제3 헤더 정보와, 제1 중요도 추정 모델에 기초하여 제1 영상 패킷의 제1 중요도 추정 값을 결정하는 과정, 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 제2 헤더 정보와 동일한 정보 타입을 가지는 제4 헤더 정보와, 제2 중요도 추정 모델에 기초하여 제1 영상 패킷의 제2 중요도 추정 값을 결정하는 과정 및 제1 중요도 추정 값 및 제2 중요도 추정 값에 기초하여, 제1 영상 패킷의 중요도 값을 결정하는 과정을 포함할 수 있다.
여기서, 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보는, i번째 영상 패킷 슬라이스의 손실에 의해 영향을 받는 영상 프레임의 개수에 대한 정보 (
Figure 112018029808358-pat00002
: related number of frames), 영상 패킷에 대응되는 영상 프레임의 타입에 대한 정보 (I, P, B 타입 중 하나: IsIframe, IsPframe, IsBframe), 단일 슬라이스 에 포함된 매크로 블록의 개수 (NumMBs: the number of macro block), 영상 프레임의 경계로부터 해당 슬라이스에 포함된 매크로 블록까지의 거리에 대한 정보 (DevFromBdr: deviation from boundary range), 해당 슬라이스에 포함되는 비트 수에 대한 정보 (NumBits), 해당 슬라이스가 최대 비트 수를 포함하는지 여부에 대한 정보 (IsFullUnit), 해당 슬라이스가 전체 영상 프레임을 포함하는지 여부에 대한 정보 (IsWholeFrame), 해당 슬라이스에 포함되는 매크로 블록 당 비트 수의 평균 값에 대한 정보 (NumBitsPerMB) 중 적어도 하나일 수 있다.
또한, 복수의 영상 패킷 각각에 대한 상기 중요도 정보는, 영상의 품질에 대한 정보인 VQM (video quality metric) 및 신호의 최대 전력과 잡음 전력의 비율에 대한 정보인 PSNR (peak signal-to-noise ratio) 중 적어도 하나일 수 있다.
여기서, 제1 중요도 추정 모델 및 제2 중요도 추정 모델은, 복수의 결정 트리를 이용하는 랜덤 포레스트 (random forests) 방식에 기초하여 추정될 수 있다.
또한, 제1 헤더 정보에 포함되는 적어도 하나의 헤더 정보의 타입 및 상기 제2 헤더 정보에 포함되는 적어도 하나의 헤더 정보의 타입은 동일할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 영상 처리 방법은 컴퓨터로 실행 가능한 프로그램 코드로 구현되어 다양한 비 일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 프로세서에 의해 실행되도록 각 서버 또는 기기들에 제공될 수 있다.
일 예로, 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제1 중요도 추정 모델을 생성하는 과정, 복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 복수의 영상 패킷 각각에 대한 중요도 정보에 기초하여 제2 중요도 추정 모델을 생성하는 과정, 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 제1 헤더 정보와 동일한 정보 타입을 가지는 제3 헤더 정보와, 제1 중요도 추정 모델에 기초하여 제1 영상 패킷의 제1 중요도 추정 값을 결정하는 과정, 제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 제2 헤더 정보와 동일한 정보 타입을 가지는 제4 헤더 정보와, 제2 중요도 추정 모델에 기초하여 제1 영상 패킷의 제2 중요도 추정 값을 결정하는 과정 및 제1 중요도 추정 값 및 제2 중요도 추정 값에 기초하여, 제1 영상 패킷의 중요도 값을 결정하는 과정을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
기지국: 100 단말: 200
인코더: 110 통신부: 120
프로세서: 130

Claims (10)

  1. 무선 통신 시스템에서 영상 처리 방법에 있어서,
    복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 중요도 정보를 입력으로 하는 기계학습 알고리즘에 기초하여 제1 중요도 추정 모델을 생성하는 과정;
    복수의 영상 패킷의 헤더 각각에 포함되는 상기 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 상기 중요도 정보를 입력으로 하는 기계학습 알고리즘에 기초하여 제2 중요도 추정 모델을 생성하는 과정;
    제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 상기 제1 헤더 정보와 동일한 정보 타입을 가지는 제3 헤더 정보와, 상기 제1 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제1 중요도 추정 값을 결정하는 과정;
    상기 제1 영상 패킷의 헤더에 포함되는 상기 적어도 하나의 헤더 정보에서 획득되고, 상기 제2 헤더 정보와 동일한 정보 타입을 가지는 제4 헤더 정보와, 상기 제2 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제2 중요도 추정 값을 결정하는 과정; 및
    상기 제1 중요도 추정 값 및 상기 제2 중요도 추정 값에 기초하여, 상기 제1 영상 패킷의 중요도 값을 결정하는 과정;을 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 복수의 영상 패킷의 헤더 각각에 포함되는 상기 적어도 하나의 헤더 정보는,
    i번째 영상 패킷 슬라이스의 손실에 의해 영향을 받는 영상 프레임의 개수에 대한 정보, 상기 영상 패킷에 대응되는 영상 프레임의 타입에 대한 정보, 단일 슬라이스에 포함된 매크로 블록의 개수, 영상 프레임의 경계로부터 해당 슬라이스에 포함된 매크로 블록까지의 거리에 대한 정보, 해당 슬라이스에 포함되는 비트 수에 대한 정보, 해당 슬라이스가 최대 비트 수를 포함하는지 여부에 대한 정보, 해당 슬라이스가 전체 영상 프레임을 포함하는지 여부에 대한 정보, 해당 슬라이스에 포함되는 매크로 블록당 비트 수의 평균 값에 대한 정보 중 적어도 하나인, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 복수의 영상 패킷 각각에 대한 상기 중요도 정보는,
    영상의 품질에 대한 정보인 VQM (video quality metric) 및 신호의 최대 전력과 잡음 전력의 비율에 대한 정보인 PSNR (peak signal-to-noise ratio) 중 적어도 하나인, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 제1 중요도 추정 모델 및 상기 제2 중요도 추정 모델은,
    복수의 결정 트리를 이용하는 랜덤 포레스트 (random forests) 방식에 기초하여 추정되는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 제1 헤더 정보에 포함되는 적어도 하나의 헤더 정보의 타입 및 상기 제2 헤더 정보에 포함되는 적어도 하나의 헤더 정보의 타입은 동일한, 영상 처리 방법.
  6. 영상 처리 장치에 있어서,
    송수신기; 및
    복수의 영상 패킷의 헤더 각각에 포함되는 적어도 하나의 헤더 정보에서 획득된 제1 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 중요도 정보를 입력으로 하는 기계학습 알고리즘에 기초하여 제1 중요도 추정 모델을 생성하고,
    복수의 영상 패킷의 헤더 각각에 포함되는 상기 적어도 하나의 헤더 정보에서 획득된 제2 헤더 정보 및 상기 복수의 영상 패킷 각각에 대한 상기 중요도 정보를 입력으로 하는 기계학습 알고리즘에 기초하여 제2 중요도 추정 모델을 생성하고,
    제1 영상 패킷의 헤더에 포함되는 적어도 하나의 헤더 정보에서 획득되고, 상기 제1 헤더 정보와 동일한 정보 타입을 가지는 제3 헤더 정보와, 상기 제1 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제1 중요도 추정 값을 결정하고,
    상기 제1 영상 패킷의 헤더에 포함되는 상기 적어도 하나의 헤더 정보에서 획득되고, 상기 제2 헤더 정보와 동일한 정보 타입을 가지는 제4 헤더 정보와, 상기 제2 중요도 추정 모델에 기초하여 상기 제1 영상 패킷의 제2 중요도 추정 값을 결정하고,
    상기 제1 중요도 추정 값 및 상기 제2 중요도 추정 값에 기초하여, 상기 제1 영상 패킷의 중요도 값을 결정하는 프로세서;을 포함하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 복수의 영상 패킷의 헤더 각각에 포함되는 상기 적어도 하나의 헤더 정보는,
    i번째 영상 패킷 슬라이스의 손실에 의해 영향을 받는 영상 프레임의 개수에 대한 정보, 상기 영상 패킷에 대응되는 영상 프레임의 타입에 대한 정보, 단일 슬라이스에 포함된 매크로 블록의 개수, 영상 프레임의 경계로부터 해당 슬라이스에 포함된 매크로블록까지의 거리에 대한 정보, 해당 슬라이스에 포함되는 비트 수에 대한 정보, 해당 슬라이스가 최대 비트 수를 포함하는지 여부에 대한 정보, 해당 슬라이스 가 전체 영상 프레임을 포함하는지 여부에 대한 정보, 해당 슬라이스에 포함되는 매크로 블록당 비트 수의 평균 값에 대한 정보 중 적어도 하나인, 영상 처리 장치.
  8. 제6항에 있어서,
    상기 복수의 영상 패킷 각각에 대한 상기 중요도 정보는,
    영상의 품질에 대한 정보인 VQM (video quality metric) 및 신호의 최대 전력과 잡음 전력의 비율에 대한 정보인 PSNR (peak signal-to-noise ratio) 중 적어도 하나인, 영상 처리 장치.
  9. 제6항에 있어서,
    상기 제1 중요도 추정 모델 및 상기 제2 중요도 추정 모델은,
    복수의 결정 트리를 이용하는 랜덤 포레스트 (random forests) 방식에 기초하여 추정되는, 영상 처리 장치.
  10. 제6항에 있어서,
    상기 제1 헤더 정보에 포함되는 적어도 하나의 헤더 정보의 타입 및 상기 제2 헤더 정보에 포함되는 적어도 하나의 헤더 정보의 타입은 동일한, 영상 처리 장치.
KR1020180034461A 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법 KR102037165B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180034461A KR102037165B1 (ko) 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180034461A KR102037165B1 (ko) 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20190112449A KR20190112449A (ko) 2019-10-07
KR102037165B1 true KR102037165B1 (ko) 2019-10-29

Family

ID=68422436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034461A KR102037165B1 (ko) 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102037165B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079057A (ja) * 2015-10-09 2017-04-27 フィッシャー−ローズマウント システムズ，インコーポレイテッド 分散型工業パフォーマンス監視及び分析

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079057A (ja) * 2015-10-09 2017-04-27 フィッシャー−ローズマウント システムズ，インコーポレイテッド 分散型工業パフォーマンス監視及び分析

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:YUEH_LUN CHANG ET AL.,

Also Published As

Publication number Publication date
KR20190112449A (ko) 2019-10-07

Similar Documents

Publication Publication Date Title
US10834664B2 (en) Facilitating an enhanced two-stage downlink control channel in a wireless communication system
CA2878327C (en) Methods for quality-aware adaptive streaming over hypertext transfer protocol
JP4335905B2 (ja) さまざまなタイプの複数のアプリケーションに対する送信ポリシを決定する装置および方法
CN105830415B (zh) 用于管理媒体流的方法、无线通信设备和基站设备
EP2888845B1 (en) Device and method for adaptive rate multimedia communications on a wireless network
KR102140398B1 (ko) 영상 처리 장치 및 영상 처리 방법
Ju et al. QoE-based cross-layer design for video applications over LTE
US9106911B2 (en) Wireless communication device and wireless communication method
Felici-Castell et al. Adaptive live video streaming on low-cost wireless multihop networks for road traffic surveillance in smart cities
CN106937381B (zh) 网络侧设备及下行数据传输方法
KR102037165B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
Triki et al. NEWCAST: Anticipating resource management and QoE provisioning for mobile video streaming
KR101827427B1 (ko) 영상 신호 송신 장치 및 그 영상 신호 송신 방법
JP6807956B2 (ja) パケットドメイン内の音声サービスをスケジューリングするための方法および装置
Mehmeti et al. Resource allocation for improved user experience with live video streaming in 5G
KR102095207B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR101976324B1 (ko) 영상 처리 장치 및 영상 처리 방법
Triki et al. Anticipating resource management and QoE for mobile video streaming under imperfect prediction
CN110113139B (zh) 一种下行业务信道发送方法、用户终端和基站
Efimushkina et al. Analytical model in discrete time for cross-layer video communication over LTE
US10813112B2 (en) Application aware scheduling and resource management
Chandur et al. Quality of experience aware video scheduling in LTE networks
Go et al. Application-aware MCS level selection method for cross-layered retransmission scheme
Acelas et al. Evaluation of the MDC and FEC over the quality of service and quality of experience for video distribution in ad hoc networks
JP4629116B2 (ja) 協調的無線ネットワークの送受信機装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant