KR20190112483A - 영상 처리 장치 및 그 영상 처리 방법 - Google Patents

영상 처리 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
KR20190112483A
KR20190112483A KR1020180034517A KR20180034517A KR20190112483A KR 20190112483 A KR20190112483 A KR 20190112483A KR 1020180034517 A KR1020180034517 A KR 1020180034517A KR 20180034517 A KR20180034517 A KR 20180034517A KR 20190112483 A KR20190112483 A KR 20190112483A
Authority
KR
South Korea
Prior art keywords
frame
transport blocks
blocks
block
transport
Prior art date
Application number
KR1020180034517A
Other languages
English (en)
Other versions
KR102095207B1 (ko
Inventor
정영호
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020180034517A priority Critical patent/KR102095207B1/ko
Publication of KR20190112483A publication Critical patent/KR20190112483A/ko
Application granted granted Critical
Publication of KR102095207B1 publication Critical patent/KR102095207B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

무선 통신 시스템에서 영상 처리 방법이 개시된다. 영상 처리 방법은, 복수의 영상 프레임에 대응되는 복수의 전송 블록을 인코딩하는 과정, 상기 복수의 전송 블록에 대한 기설정된 중요도 및 상기 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여, 상기 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하는 과정 및 상기 결정된 자원 블록의 개수에 기초하여, 상기 복수의 전송 블록을 송신하는 과정을 포함한다.

Description

영상 처리 장치 및 그 영상 처리 방법 {IMAGE PROCESSING APPARATUS AND METHOD THEROF}
본 발명은 영상 처리 장치 및 그 영상 처리 방법에 대한 것으로, 보다 상세하게는 영상 신호의 전송 손실을 최소화하는 영상 처리 장치 및 그 영상 처리 방법에 대한 것이다.
일반적으로 무선 통신 시스템에서는 잡음 (noise), 페이딩 (fading) 및 심볼간 간섭 (ISI: inter-symbol interference) 등이 원인이 되어 링크(link) 성능이 저하되는 현상이 발생한다. 또한, 수많은 기기가 제한된 무선 통신 자원을 랜덤하게 이용함으로써 채널 상황 (예를 들어, 데이터 전송율, 자원 할당량)이 시시각각으로 변동된다.
이러한 가변적인 무선 통신 시스템 환경에서 영상 신호를 수신하는 사용자가 느끼는 체감 품질 (QoE: quality of experience, 이하 QoE)은 낮을 수밖에 없는데, 이를 향상시키기 위한 다양한 노력이 있다.
대표적으로, 영상 프레임에 통신 자원을 할당함에 있어, 영상 프레임의 우선 순위를 고려하는 방법이 있다.
변동되는 채널 상황에서, 인코딩 연산으로 인한 지연 및 메모리 자원의 낭비 없이 QoE를 만족시키기 위한 방안에 대한 필요성이 대두 되었다. 본 개시는 가변적인 무선 채널 상태에 적응하여 최적의 영상 신호를 전송하는 영상 처리 장치 및 그 영상 처리 방법을 제공한다.
본 발명의 다양한 실시 예에 따른 영상 처리 방법은, 복수의 영상 프레임에 대응되는 복수의 전송 블록을 인코딩하는 과정, 상기 복수의 전송 블록에 대한 기설정된 중요도 및 상기 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여, 상기 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하는 과정 및 상기 결정된 자원 블록의 개수에 기초하여, 상기 복수의 전송 블록을 송신하는 과정을 포함한다.
본 발명의 다양한 실시 예에 따른 영상 처리 장치는, 복수의 영상 프레임에 대응되는 복수의 전송 블록을 인코딩하는 인코더 및 상기 복수의 전송 블록에 대한 기설정된 중요도 및 상기 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여, 상기 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하고, 상기 결정된 자원 블록의 개수에 기초하여, 상기 복수의 전송 블록을 송신하는 프로세서를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 영상 스트리밍 서비스에서 무선 통신 환경의 상황에 따라 무선 통신 자원을 가변 할당하여 영상에 대한 체감 품질을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 신호 송수신 시스템의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 FEC 블록을 인코딩하는 과정을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 기지국의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 전송 블록에 대한 블록 디코딩 에러율을 도시한다.
도 5는 본 발명의 일 실시 예에 따른 전송 블록에 대한 블록 디코딩 에러율의 변화를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 복수의 FEC 블록을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법의 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작원리를 상세히 설명한다. 또한, 발명에 대한 실시 예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 하기에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 사용된 용어들의 정의는 본 명세서 전반에 걸친 내용 및 이에 상응한 기능을 토대로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 영상 신호 송수신 시스템(10)의 전체적인 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 영상 신호 송수신 시스템(10)은 영상 처리 장치들(100, 200)을 포함한다. 여기서, 영상 처리 장치(100, 200)는 기지국(100) 및 단말(200) 중 적어도 하나일 수 있다.
영상 처리 장치들(100, 200)은 영상 데이터를 처리할 수 있다. 구체적으로, 영상 처리 장치들(100, 200)은 영상 데이터를 인코딩할 수 있다. 일 예로, 영상 처리 장치 들(100, 200)은 영상 프레임 그룹으로부터 복수의 전송 블록을 인코딩할 수 있다. 이 경우, 영상 처리 장치들(100, 200)은 인코딩된 복수의 전송 블록을 기설정된 자원 블록을 매핑하고, 매핑된 인코딩된 복수의 전송 블록을 송신할 수 있다. 일 예로, 인코딩된 전송 블록은 하나 이상의 전송 블록에 매핑될 수 있다. 여기서, 전송 블록은 순방향 오류 정정 (Forward Error Correction 또는 Graceful Degradation-FEC, 이하, 'FEC'라 지칭함) 블록일 수 있다. 이하에서, 전송 블록의 일 예인 FEC 블록을 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시 예에 따른 FEC 블록을 인코딩하는 과정을 도시한다.
도 2를 참조하면, 영상 프레임은 하나 이상의 영상 슬라이스로 구성될 수 있다. 여기서, 하나의 영상 슬라이스(20)는 하나의 슬라이스 헤더(20-1)를 포함할 수 있다. 하나의 영상 슬라이스(20)는 복수의 정보 블록(21)으로 분할될 수 있다. 또한, 복수의 정보 블록(21) 각각에는 물리 헤더(21-1)가 부착되어 소스 블록(22)이 생성된다. 소스 블록(22) 각각은 채널 인코딩을 통해 FEC 블록(23)으로 인코딩된다. 인코딩된 FEC 블록(23)에는 무선 통신 자원 (이하, 자원 블록)이 할당된다.
영상 처리 장치들(100, 200)은 전송 블록을 통해 수신된 영상 데이터를 디코딩할 수 있다. 또한, 영상 처리 장치들(100, 200)은 디코딩된 영상 데이터를 렌더링하여 디스플레이할 수 있다.
영상 처리 장치들(100, 200)은 기지국(100) 및 단말(200)에 제한되지 않고, 영상 데이터를 처리할 수 있는 전자 기기에는 모두 해당될 수 있다. 예를 들어, 영상 처리 장치들(100, 200)은 MP3, 카메라, 노트북 등일 수 있다.
영상 처리 장치들(100, 200) 각각은 통신망을 통해 신호를 송수신할 수 있다. 통신망은 영상 처리 장치들(100, 200)이 서로 접속하기 위한 경로를 제공한다. 여기서, 통신망은 WCDMA, HDPA, 3G, 4G 등 이동 통신망과, 블루투스(Bluethooth), 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망 등을 포함한다.
상술한 바와 같이, 영상 처리 장치들(100, 200)은 현재 통신 채널 상태를 고려하여, 인코딩된 영상 프레임들의 전송 블록에 대한 중요도와 전송 블록들의 에러율에 기초하여 전송 블록을 송신하는데 할당되는 자원 블록의 개수를 결정할 수 있다.
이를 통해, 영상 처리 장치들(100, 200)은 한정된 전송 블록으로 정해진 영상 데이터를 송신하면서도, 사용자가 느끼는 체감 품질인 QoE (Quality of Experience)를 최대로 이끌어 낼 수 있다. 이하에서, 다양한 도면을 참조하여 영상 처리 장치의 영상 처리 방법에 대한 실시 예들을 상세히 설명한다.
도 3은 본 발명의 일 실시 예에 따른 기지국(100)의 구성을 설명하기 위한 블록도이다.
이하에서, 설명의 편의를 위해 기지국(100)을 예로 들어 설명하지만, 기지국(100)의 각 구성에 대한 설명은 단말(200)에게도 동일 또는 유사하게 적용될 수 있을 것이다.
도 3에 따르면, 기지국(100)은 인코더(110), 통신부(120) 및 프로세서(130)를 포함한다.
인코더(110)는 영상 데이터를 인코딩한다. 이 경우, 인코더(110)는 영상 데이터를 인코딩하여 적어도 하나의 영상 프레임 그룹을 획득할 수 있다. 구체적으로, 인코더(110)는 송신 오류를 정정하기 위하여, 영상 데이터를 적어도 하나의 영상 프레임 그룹으로 그룹화하여 인코딩을 수행할 수 있다. 여기서, 영상 프레임 그룹은 영상 프레임의 집합인 것으로 정의한다. 다시 말해, 영상 프레임 그룹은 적어도 하나의 영상 프레임을 포함하는 GoP (Group of Picture)이다.
이 경우, 인코더(110)는 영상 데이터를 일정한 또는 다양한 크기의 영상 프레임 그룹으로 분할할 수 있다. 여기서, 분할된 각 영상 프레임 그룹에 포함되는 복수의 프레임은 각각의 속성에 따라 다르게 정의될 수 있다. 예를 들어, 분할된 각 영상 프레임 그룹에 포함되는 프레임들을 각각 I 프레임, P 프레임, B 프레임으로 정의할 수 있다. 여기서, I 프레임은 전후의 프레임 (또는 픽쳐)과는 상관없이 I 프레임 자체의 정보만을 이용하여 부호화된 프레임일 수 있다. 또한, P 프레임은 프레임 간의 순방향 예측 부호화를 통해 얻어지는 프레임을 의미하고, B 프레임은 픽쳐 간 양방향 예측 부호화를 얻어지는 프레임일 수 있다. 이와 같이, I 프레임은 P 프레임을 부호화하는데 이용되고, P 프레임은 B 프레임을 부호화하는데 이용되므로, I 프레임, P 프레임, B 프레임의 순서로 중요도가 높다. 또한, 중요도 순서와 동일하게, I 프레임, P 프레임, B 프레임의 순서로 데이터 크기가 큰 것이 보통이다.
이하에서는, 본 발명에 따른 다양한 실시 예로, 영상 데이터가 I 프레임, P 프레임, B 프레임으로 구성된 영상 프레임 그룹으로 인코딩된 경우를 예로 들어 설명한다. 여기서, I 프레임, P 프레임, B 프레임으로 인코딩되는 방식은 설명을 위해 예시를 든 것일 뿐, 영상 데이터를 그룹화하여 인코딩하는 다양한 방식에 본 개시가 적용될 수 있음은 물론이다. 또한, 본 개시의 다양한 실시 예에서, 영상 데이터를 예를 들어 설명하지만, 영상 데이터뿐만 아니라, 오디오, DIMS(Dynamic and Interactive Multimedia Scenes), 텍스트 등의 멀티미디어 데이터에 적용될 수 있음은 물론이다.
통신부(120)는 채널을 통하여 영상 데이터를 전송한다. 구체적으로, 통신부(120)는 인코딩된 영상 데이터 즉, 적어도 하나의 영상 프레임 데이터를 기설정된 단위의 블록으로 나눌 수 있다. 그 후, 통신부(120)는 나누어진 블록들을 각 블록 별로 오류 정정 코딩 및 변조하여 전송한다. 예를 들어, 통신부(120)는 오류 정정 방법으로 순방향 오류 정정(Forward Error Correction 또는 Graceful Degradation-FEC, 이하, 'FEC'라 지칭함) 방법을 이용할 수 있으며 변조 방식으로 QPSK, 16QAM, 64QAM 등을 이용할 수 있다. 이 경우, 통신부(120)는 크기가 조정된 영상 프레임 그룹에 대해 오류 정정 코딩 및 변조를 수행하여 이를 송신할 수 있다.
프로세서(130)는 기지국(100)을 전반적으로 제어한다. 특히, 프로세서(130)는 영상 처리를 위해 다양한 기능을 수행한다.
프로세서(130)는 복수의 전송 블록 각각에 자원 블록을 할당할 수 있다.
전송 블록에 최적의 자원을 할당하는 방법은 아래의 수학식 1과 연관된다.
Figure pat00001
여기서, F는 총 프레임의 개수, f는 프레임의 인덱스,
Figure pat00002
는 f 번째 프레임의 FEC 블록의 개수, i는 FEC 블록의 인덱스,
Figure pat00003
는 FEC 블록의 중요도(또는, 가중치, utility),
Figure pat00004
는 FEC 블록의 비트 수 (고정된 값일 수 있음),
Figure pat00005
는 할당되는 자원 블록의 수, BLER은 블록 디코딩 오류율이다.
상기 수학식 1은
Figure pat00006
를 찾기 위한 optimization problem에 해당한다.
일 예로, optimization problem을 해결하기 위한 방법으로 exhaustive search 방법이 있다. exhaustive search는 공지된 방법으로 여기서 상세한 설명은 생략한다.
프로세서(130)는 복수의 전송 블록 각각에 대한 중요도를 판단할 수 있다.
여기서, 복수의 전송 블록 각각에 대한 중요도는 복수의 전송 블록 각각의 기초가 된 복수의 영상 프레임의 기설정된 중요도에 따라 결정될 수 있다.
일 예로, 복수의 영상 프레임은 적어도 하나의 I 프레임, 적어도 하나의 P 프레임 및 적어도 하나의 B 프레임에서 선택된 적어도 하나의 프레임을 포함할 수 있다. 이 경우, I 프레임, P 프레임, B 프레임의 순서대로 프레임의 중요도가 기설정될 수 있다.
다른 예로, 복수의 전송 블록 중 제1 전송 블록이 I 프레임에 기초한 것인 경우, 상기 제1 전송 블록의 중요도는 10으로 설정될 수 있다. 다른 예로, 복수의 전송 블록 중 제2 전송 블록이 P 프레임에 기초한 것인 경우, 상기 제2 전송 블록의 중요도는 4로 설정될 수 있다. 또 다른 예로, 복수의 전송 블록 중 제3 전송 블록이 B 프레임에 기초한 것인 경우, 상기 제3 전송 블록의 중요도는 1로 설정될 수 있다. 여기서, 중요도 10, 4, 1은 상대적인 값일 수 있다.
프로세서(130)는 복수의 영상 프레임의 중요도에 기초하여 복수의 전송 블록의 중요도를 판단할 수 있다. 일 예로, 복수의 영상 프레임 중 I 프레임에 기초하여 인코딩된 전송 블록은 I 프레임의 기설정된 중요도와 동일한 중요도로 판단될 수 있다. 다른 예로, 복수의 영상 프레임 중 P 프레임에 기초하여 인코딩된 전송 블록은 P 프레임의 기설정된 중요도와 동일한 중요도로 판단될 수 있다. 또 다른 예로, 복수의 영상 프레임 중 B 프레임에 기초하여 인코딩된 전송 블록은 B 프레임의 기설정된 중요도와 동일한 중요도로 판단될 수 있다.
프로세서(130)는 복수의 전송 블록에 대한 블록 디코딩 에러율 (BLER: block error rate)을 판단할 수 있다. 이하에서, 블록 디코딩 에러율에 대한 예를 도 3을 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따른 전송 블록에 대한 블록 디코딩 에러율을 도시한다.
도 4의 표(40)는 MCS (modulation and coding scheme)에 따른 전송 블록에 대한 블록 디코딩 에러율을 도시한다. 여기서, 전송 블록에 대한 블록 디코딩 에러율은 전송 블록에 기설정된 개수의 자원 블록의 개수를 할당하는 경우의 블록 디코딩 에러율일 수 있다.
일 예로, MCS의 인덱스가 18이고, SNR (signal to noise ratio)이 11dB이고, 전송 블록에 18개의 자원 블록이 할당되는 경우, 블록 디코딩 에러율은 82%일 수 있다. 다른 예로, MCS의 인덱스가 18이고, SNR이 11dB이고, 전송 블록에 21개의 자원 블록이 할당되는 경우 블록 디코딩 에러율은 65%로 감소한다. 여기서, 전송 블록에 자원 블록이 많이 할당되는 경우 블록 디코딩 에러율은 감소함을 알 수 있다.
프로세서(130)는 표(40)를 참조하여, 복수의 전송 블록에 대한 블록 디코딩 에러율을 판단할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 전송 블록에 대한 블록 디코딩 에러율의 변화를 도시한다.
도 5를 참조하면, 기준
Figure pat00007
에서, 할당되는 자원의 블록 수
Figure pat00008
가 1개에서 2개 또는 1개에서 3개로 증가하는 경우 블록 디코딩 에러율은 감소한다.
프로세서(130)는 복수의 전송 블록에 대한 중요도와 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정할 수 있다. 이 경우, 복수의 전송 블록들 각각에 할당되는 자원 블록의 개수는, 복수의 전송 블록 중 하나의 중요도 및 복수의 전송 블록 중 상기 하나에 대한 블록 디코딩 에러율을 곱한 값에 기초하여 결정될 수 있다. 이하에서, 상술한 도 4 및 도 6을 참조하여, 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하는 예를 상세히 설명한다.
도 6은 본 발명의 일 실시 예에 따른 복수의 FEC 블록을 도시한다.
도 6에 기초하면, 복수의 FEC 블록들은, I 프레임에 기초한 FEC 블록들(601, 602, 603), P 프레임에 기초한 FEC 블록들(606, 607), B 프레임에 기초한 FEC 블록들(604, 605, 608)을 포함한다. 여기서, 복수의 FEC 블록들의 기초가 된 I, P, B 영상 프레임들은 하나의 GoP에 포함될 수 있다.
먼저, 프로세서(130)는 최고 중요도를 가지는 FEC 블록에 자원 블록의 최소 개수(
Figure pat00009
)를 할당할 수 있다.
예를 들어, 도 4 및 6을 참조하면, 프로세서(130)는 자원 블록의 최소 개수인 18을 중요도 10으로 설정된 I 프레임(601)에 할당할 수 있다. 여기서, 도 6에서, I 프레임(601)은 I 프레임들(601, 602, 603) 중 가장 작은 인덱스 값을 가지므로, I 프레임들(601, 602, 603) 중 I 프레임(601)에 자원 블록이 우선적으로 할당될 수 있다.
다음으로, 프로세서(130)는 아래의 수학식 2 및 3에 기초하여 나머지 자원 블록들을 할당할 수 있다.
Figure pat00010
여기서,
Figure pat00011
는 FEC 블록의 중요도(또는, 가중치, utility),
Figure pat00012
는 FEC 블록의 비트 수 (고정된 값일 수 있음),
Figure pat00013
는 자원 블록의 최소 개수이다. 이 경우,
Figure pat00014
은
Figure pat00015
기설정된 값(예를 들어, 0.5)보다 작은 경우일 수 있다.
Figure pat00016
여기서,
Figure pat00017
는 FEC 블록의 중요도(또는, 가중치, utility),
Figure pat00018
는 FEC 블록의 비트 수 (고정된 값일 수 있음),
Figure pat00019
는 이전에 할당된 자원 블록의 개수),
Figure pat00020
는 할당되는 자원 블록의 변화량이다.
프로세서(130)는 수학식 2 및 수학식 3을 비교하여 자원 블록들을 FEC 블록에 할당할 수 있다.
예를 들어, 수학식 2 및 수학식 3의 결과는 FEC 블록에 할당되는 자원 블록당 블록 디코딩 에러율이 개선되는 정도일 수 있다. 이 경우, 수학식 2 및 수학식 3의 결과에는 FEC 블록의 중요도가 함께 고려됨으로써, 수학식 2 및 수학식 3의 결과는 FEC 블록의 중요도에 따른 블록 디코딩 에러율의 개선 정도(이하, 블록 디코딩 에러율의 개선 정도)일 수 있다.
상술한 예를 고려하면, 프로세서(130)가 FEC 블록(601)에 전송 블록 18개를 할당한 후, 프로세서(130)는, i) 나머지 FEC 블록들(602 내지 608)에 신규로 자원 블록 18개(
Figure pat00021
)를 할당하는 경우, ii) FEC 블록(601)에 자원 블록을 3개 더 할당하는 경우(도 4의 표(40)에서, SNR=11인 경우, FEC 블록(601)에 기할당된 자원 18개에서 자원 블록 3개를 더 할당하는 경우) 각각에 대한 블록 디코딩 에러율의 개선 정도를 판단할 수 있다.
구체적으로, 상기 i)의 경우, 프로세서(130)는 FEC 블록(602 내지 608) 대하여 수학식 2를 계산한다. 일 예로, FEC 블록(602) 대한 수학식 2의 계산 결과는 10(1-0.65)/18=0.194이다. 일 예로, FEC 블록(604) 대한 수학식 2의 계산 결과는 1(1-0.65)/18=0.0194이다. 일 예로, FEC 블록(606) 대한 수학식 2의 계산 결과는 4(1-0.65)/18=0.0778이다.
상기 ii)의 경우, 예를 들어, 자원 블록 18개를 기할당한 FEC 블록(601)에 추가적인 자원 블록 3개를 할당하는 경우(도 4의 표(40)에서, SNR=11인 경우, 프로세서(130)는 수학식 3의 결과인 10x(0.82-0.65)/3=0.56을 도출할 수 있다.
상기 i) 및 ii)에 따라, 프로세서(130)는 FEC 블록들(601 내지 608) 각각에 대한 블록 디코딩 에러율의 개선 정도를 판단할 수 있다. 이 경우, FEC 블록들(601 내지 608)에 대한 는 블록 디코딩 에러율의 개선 정도는 FEC 블록(601)에 추가적인 자원 블록 3개를 할당하는 경우에 가장 크므로, 프로세서(130)는 FEC 블록(601)에 추가적인 자원 블록 3개를 할당할 수 있다.
FEC 블록(601)에 추가적인 자원 블록 3개를 할당한 후, 프로세서(130)는 상기 i) 및 ii)와 같은 절차를 반복하여, 다음 자원 블록이 할당될 FEC를 판단할 수 있다. 이러한 과정은, FEC 블록들(601 내지 608)에 할당되도록 기설정된 자원이 모두 소진될 때까지 반복될 수 있다.
상술한 바와 같이, FEC 블록들에 자원 블록을 할당함에 있어, FEC 블록의 중요도를 고려함으로써, 제한된 자원 블록을 이용하면서도 최대한의 QoE를 만족시킬 수 있다.
도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법의 흐름도이다.
먼저, 영상 처리 방법은, 복수의 영상 프레임에 대응되는 복수의 전송 블록을 인코딩하는 과정(710), 복수의 전송 블록에 대한 기설정된 중요도 및 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여, 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하는 과정(720) 및 결정된 자원 블록의 개수에 기초하여, 복수의 전송 블록을 송신하는 과정(730)을 포함할 수 있다.
여기서, 복수의 전송 블록은, 순방향 오류 정정 (forward error correction) 블록이다.
또한, 복수의 전송 블록의 중요도는, 복수의 전송 블록 각각의 기초가 된 복수의 영상 프레임의 기설정된 중요도에 따라 결정될 수 있다.
이 경우, 복수의 영상 프레임은, 적어도 하나의 I 프레임, 적어도 하나의 P 프레임 및 적어도 하나의 B 프레임 중 선택된 적어도 둘 이상의 프레임을 포함하고, I 프레임, P 프레임, B 프레임의 순서대로 프레임의 중요도가 기설정될 수 있다.
구체적으로, 적어도 하나의 I 프레임 간의 우선순위, 적어도 하나의 P 프레임 간의 우선순위 및 적어도 하나의 B 프레임 간의 우선순위는, 각 프레임의 인덱스의 순서에 따라 결정될 수 있다.
또한, 복수의 전송 블록들 각각에 할당되는 자원 블록의 개수는, 복수의 전송 블록 중 하나의 중요도 및 복수의 전송 블록 중 상기 하나에 대한 블록 디코딩 에러율을 곱한 값에 기초하여 결정될 수 있다.
이 경우, 전송 블록에 대한 블록 디코딩 에러율은, 전송 블록에 기설정된 개수의 자원 블록의 개수를 할당하는 경우의 블록 디코딩 에러율일 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 영상 처리 방법은 컴퓨터로 실행 가능한 프로그램 코드로 구현되어 다양한 비 일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 프로세서에 의해 실행되도록 각 서버 또는 기기들에 제공될 수 있다.
일 예로, 복수의 영상 프레임에 대응되는 복수의 전송 블록을 인코딩하는 과정 복수의 전송 블록에 대한 기설정된 중요도 및 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여, 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하는 과정 및 결정된 자원 블록의 개수에 기초하여, 복수의 전송 블록을 송신하는 과정을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
기지국: 100 단말: 200
인코더: 110 통신부: 120
프로세서: 130

Claims (14)

  1. 무선 통신 시스템에서 영상 처리 방법에 있어서,
    복수의 영상 프레임에 대응되는 복수의 전송 블록을 인코딩하는 과정;
    상기 복수의 전송 블록에 대한 기설정된 중요도 및 상기 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여, 상기 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하는 과정; 및
    상기 결정된 자원 블록의 개수에 기초하여, 상기 복수의 전송 블록을 송신하는 과정;을 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 복수의 전송 블록은,
    순방향 오류 정정 (forward error correction) 블록인, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 복수의 전송 블록의 중요도는,
    상기 복수의 전송 블록 각각의 기초가 된 상기 복수의 영상 프레임의 상기 기설정된 중요도에 따라 결정되는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 복수의 영상 프레임은,
    적어도 하나의 I 프레임, 적어도 하나의 P 프레임 및 적어도 하나의 B 프레임 중 선택된 적어도 둘 이상의 프레임을 포함하고,
    상기 I 프레임, 상기 P 프레임, 상기 B 프레임의 순서대로 프레임의 중요도가 기설정되는, 영상 처리 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 I 프레임 간의 우선순위, 상기 적어도 하나의 P 프레임 간의 우선순위 및 상기 적어도 하나의 B 프레임 간의 우선순위는, 각 프레임의 인덱스의 순서에 따라 결정되는, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 복수의 전송 블록들 각각에 할당되는 상기 자원 블록의 개수는,
    상기 복수의 전송 블록 중 하나의 중요도 및 상기 복수의 전송 블록 중 상기 하나에 대한 블록 디코딩 에러율을 곱한 값에 기초하여 결정되는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 전송 블록에 대한 블록 디코딩 에러율은,
    상기 전송 블록에 기설정된 개수의 자원 블록의 개수를 할당하는 경우의 블록 디코딩 에러율인, 영상 처리 방법.
  8. 무선 통신 시스템에서 영상 처리 장치에 있어서,
    복수의 영상 프레임에 대응되는 복수의 전송 블록을 인코딩하는 인코더; 및
    상기 복수의 전송 블록에 대한 기설정된 중요도 및 상기 복수의 전송 블록에 대한 블록 디코딩 에러율에 기초하여, 상기 복수의 전송 블록 각각에 할당되는 자원 블록의 개수를 결정하고, 상기 결정된 자원 블록의 개수에 기초하여, 상기 복수의 전송 블록을 송신하는 프로세서;를 포함하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 복수의 전송 블록은,
    순방향 오류 정정 (forward error correction) 블록인, 영상 처리 장치.
  10. 제8항에 있어서,
    상기 복수의 전송 블록의 중요도는,
    상기 복수의 전송 블록 각각의 기초가 된 상기 복수의 영상 프레임의 상기 기설정된 중요도에 따라 결정되는, 영상 처리 장치.
  11. 제8항에 있어서,
    상기 복수의 영상 프레임은,
    적어도 하나의 I 프레임, 적어도 하나의 P 프레임 및 적어도 하나의 B 프레임 중 선택된 적어도 둘 이상의 프레임을 포함하고,
    상기 I 프레임, 상기 P 프레임, 상기 B 프레임의 순서대로 프레임의 중요도가 기설정되는, 영상 처리 장치.
  12. 제8항에 있어서,
    상기 적어도 하나의 I 프레임 간의 우선순위, 상기 적어도 하나의 P 프레임 간의 우선순위 및 상기 적어도 하나의 B 프레임 간의 우선순위는, 각 프레임의 인덱스의 순서에 따라 결정되는, 영상 처리 장치.
  13. 제8항에 있어서,
    상기 복수의 전송 블록들 각각에 할당되는 상기 자원 블록의 개수는,
    상기 복수의 전송 블록 중 하나의 중요도 및 상기 복수의 전송 블록 중 상기 하나에 대한 블록 디코딩 에러율을 곱한 값에 기초하여 결정되는, 영상 처리 장치.
  14. 제8항에 있어서,
    상기 전송 블록에 대한 블록 디코딩 에러율은,
    상기 전송 블록에 기설정된 개수의 자원 블록의 개수를 할당하는 경우의 블록 디코딩 에러율인, 영상 처리 장치.
KR1020180034517A 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법 KR102095207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180034517A KR102095207B1 (ko) 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180034517A KR102095207B1 (ko) 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20190112483A true KR20190112483A (ko) 2019-10-07
KR102095207B1 KR102095207B1 (ko) 2020-03-31

Family

ID=68422413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034517A KR102095207B1 (ko) 2018-03-26 2018-03-26 영상 처리 장치 및 그 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102095207B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060115216A (ko) * 2005-05-04 2006-11-08 삼성전자주식회사 멀티미디어 스트리밍 송신 장치 및 방법
KR101043301B1 (ko) * 2003-06-04 2011-06-22 로오데운트쉬바르츠게엠베하운트콤파니카게 가변 블록할당으로 이동무선장치의 오류율 판정방법 및검사장치
KR20120125268A (ko) * 2009-12-29 2012-11-14 텔레콤 이탈리아 소시에떼 퍼 아찌오니 전송 전력 및 물리적 자원 블록들의 개수를 기반으로 하는 적응적 스케줄링 데이터 전송
KR20140123397A (ko) * 2013-04-12 2014-10-22 주식회사 케이티 코드 블록 분할 방법 및 그 기지국
KR20150003905A (ko) * 2012-06-04 2015-01-09 알까뗄 루슨트 무선 패킷 데이터 송신들의 페이로드 세분화를 위한 장치, 방법 및 컴퓨터 판독 가능 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101043301B1 (ko) * 2003-06-04 2011-06-22 로오데운트쉬바르츠게엠베하운트콤파니카게 가변 블록할당으로 이동무선장치의 오류율 판정방법 및검사장치
KR20060115216A (ko) * 2005-05-04 2006-11-08 삼성전자주식회사 멀티미디어 스트리밍 송신 장치 및 방법
KR20120125268A (ko) * 2009-12-29 2012-11-14 텔레콤 이탈리아 소시에떼 퍼 아찌오니 전송 전력 및 물리적 자원 블록들의 개수를 기반으로 하는 적응적 스케줄링 데이터 전송
KR20150003905A (ko) * 2012-06-04 2015-01-09 알까뗄 루슨트 무선 패킷 데이터 송신들의 페이로드 세분화를 위한 장치, 방법 및 컴퓨터 판독 가능 매체
KR20140123397A (ko) * 2013-04-12 2014-10-22 주식회사 케이티 코드 블록 분할 방법 및 그 기지국

Also Published As

Publication number Publication date
KR102095207B1 (ko) 2020-03-31

Similar Documents

Publication Publication Date Title
US20220312401A1 (en) Methods and apparatus for sending and receiving second stage sci, storage medium, sending ue, and receiving ue
US9356751B2 (en) Data transmission method, base station, and user equipment
KR101292889B1 (ko) 이동통신 시스템에서 제어 채널 송/수신 방법 및 장치
KR100988177B1 (ko) 품질 및 레이트 정보에 기초하여 멀티미디어 콘텐츠를 리사이징하기 위한 방법 및 시스템
US8036125B2 (en) Apparatus and method for transmitting multimedia stream using virtual machines based on a number of transmissions at a data rate
US20070149229A1 (en) Apparatus, method and computer program product providing optimized coding performance with power sequences
TWI653871B (zh) 基於傳輸時間間隔以設定分割臨界值的資料傳輸方法和裝置
WO2017031692A1 (zh) 视频下载方法、装置及系统
CN105830415B (zh) 用于管理媒体流的方法、无线通信设备和基站设备
JP2013059048A (ja) 品質及びレート情報に基づいてマルチメディアコンテンツのサイズを変更するための方法及びシステム
US20070177553A1 (en) Apparatus, method and computer program product providing efficient signaling of user allocations in an optimum manner
US8837271B1 (en) Method and system for sharing a downlink resource block among multiple users
KR102140398B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6139686B2 (ja) ダウンリンク制御情報を送信するための方法、ネットワーク側装置、およびユーザ機器
US9106911B2 (en) Wireless communication device and wireless communication method
WO2016187756A1 (zh) 一种用于资源分配的方法、装置、系统以及基站
KR101684925B1 (ko) 기지국 및 단말의 통신 방법
JP2008271321A (ja) 無線リソース割当装置および方法
KR101827427B1 (ko) 영상 신호 송신 장치 및 그 영상 신호 송신 방법
US10708905B2 (en) Decoding downlink control channels for 5G wireless communication systems
KR102571954B1 (ko) 전송 방법, 장치 및 시스템
KR102095207B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
CN108365929A (zh) 传输数据的方法和装置以及传输信息的方法和装置
US20120009967A1 (en) Radio communication system, base station apparatus, terminal apparatus, and radio communication method for radio communication system
KR102462200B1 (ko) 자원 가격 책정을 갖는 대시에서 분배된 병목 조정을 위한 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant