KR20040073628A - 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템 - Google Patents

영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템 Download PDF

Info

Publication number
KR20040073628A
KR20040073628A KR1020030009280A KR20030009280A KR20040073628A KR 20040073628 A KR20040073628 A KR 20040073628A KR 1020030009280 A KR1020030009280 A KR 1020030009280A KR 20030009280 A KR20030009280 A KR 20030009280A KR 20040073628 A KR20040073628 A KR 20040073628A
Authority
KR
South Korea
Prior art keywords
channel
code rate
source
coding
video
Prior art date
Application number
KR1020030009280A
Other languages
English (en)
Other versions
KR100937099B1 (ko
Inventor
김재균
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020030009280A priority Critical patent/KR100937099B1/ko
Publication of KR20040073628A publication Critical patent/KR20040073628A/ko
Application granted granted Critical
Publication of KR100937099B1 publication Critical patent/KR100937099B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 채널 대역폭이 주어진 경우, 소스 부호화와 채널 부호화에 목표 비트량을 적절히 분배하여 종단간 왜곡량을 최소화하는 소스-채널 결합 부호화의 부호율 결정 방법을 제공하는데 그 목적이 있다.
본 발명에 따르면, 사전에 주어진 네트워크의 손실율과 그 값에 인접하는 임의의 두 값에 대하여 평균값을 얻기 위하여 테스트-런을 수행하는 제 1 단계; 상기 테스트-런의 수행 결과로부터 최대 PSNR을 나타내는 부호율과 평균 잔여 손실 확률을 계산하는 제 2 단계; 초기 소스 부호율, 초기 채널 부호율을 부호화하고 패킷화하여 채널을 통하여 전송하는 제 3 단계; 상기 패킷 전송 중에 피드백 정보에 의하여 채널의 패킷 손실 확률에 변화가 있다고 판단되면, 대응 부호율을 찾는 제 4 단계; 를 포함하는 것을 특징으로 하는 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법이 제공된다.

Description

영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법 및 이를 이용한 영상 전송 시스템 {Method for the code rate decision of joint source-channel coding for lossy channels and video transfering system using thereof}
본 발명은 인터넷을 통한 영상 전송에서 소스-채널 결합 부호화(JSCC : Joint Source Channel Coding)의 부호율 결정 방법에 관한 것으로서, 특히, 인터넷을 통하여 영상을 전송할 때, 전송하는 동안 시간에 따라 변화하는 패킷 손실에 의하여 재생 화질이 급격하게 열화되는 것을 방지하기 위하여 종단간 영상의 평균 왜곡을 최소화시킬 수 있도록 소스-채널 결합 부호화를 적용하여 부호율을 적응적으로 결정하는 방법에 관한 것이다.
인터넷을 통하여 영상을 전송할 때, 네트워크의 상태에 따라 패킷은 손실되거나 과도한 지연을 경험할 수 있다. 이러한 지연에 의하여 패킷이 수신단에 너무 늦게 들어오면, 이미 복호 시간을 놓친 영상 패킷은 쓸모가 없게 되며, 이는 손실된 것과 같은 효과를 가진다.
이러한 패킷 손실에 대응하여 복호 화질을 향상시키기 위해서는 오류 제어를 할 필요가 있다. 지금까지 다양한 오류 제어 방법이 사용되고 있지만, 대부분의 실시간 영상 전송에는 고정된 부호율(r = k/n, k = 정보 심볼의 길이, n = 전송 프레임의 길이, n-k = 패리티 심볼의 길이)을 사용하는 FEC(Forward Error Correction) 방법이 주로 사용되고 있다.
그러나, 네트워크에서의 패킷 손실 확률은 시간에 따라 변화하기 때문에 고정된 부호율(Code Rate)의 채널 코드를 사용하는 것은 비효율적이다. 패킷 손실이 적은 경우에는 채널 부호화로 인한 중복성 때문에 채널의 사용이 비효율적이 되며, 반대로 패킷 손실이 큰 경우에는 원신호를 완전하게 복구하기에는 충분치 않을 수 있다.
한편 종래의 부호율 결정 방법들의 대부분은 채널 오류에 의하여 발생되는 왜곡의 양을 손실 확률의 함수로 모델링하거나, 채널 대역폭과 손실 확률을 변수로 가지는 최적화 문제를 푸는 방식으로 접근하였다.
그러나, 상기 방법들에 의하여 최적화 문제를 풀거나, 채널 오류에 의한 왜곡 모델을 실제 왜곡량으로 잘 근사화하기 위해서는 많은 계산량이 필요하게 되며, 종단간 왜곡이 대단히 복잡한 확률 과정에 따라 움직이므로 정확한 왜곡 모델을 얻는 것이 어렵다는 문제점이 있다.
즉, 종래의 최적화 문제를 푸는 방법은 많은 계산을 필요로 하여 실용성이 떨어지며, 기존의 왜곡 추정 방법은 여전히 많은 계산량을 요구하거나 추정 성능이 많이 떨어진다는 문제점이 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 채널 대역폭이 주어진 경우, 소스 부호화와 채널 부호화에 목표 비트량을 적절히 분배하여 종단간 왜곡량을 최소화하는 소스-채널 결합 부호화의 부호율 결정 방법을 제공하는데 그 목적이 있다.
도 1은 본 발명에 적용되는 소스-채널 결합 부호화를 사용하는 영상 전송 시스템의 개략적인 구성도이고,
도 2는 결합 왜곡과 결합 PSNR(Peak - Signal - to - Noise Ratio)의 일반적인 형상을 나타낸 그래프이고,
도 3은 패킷 손실 및 총 채널 가용 대역폭에 따른 결합 PSNR(dB)의 측정치를 나타낸 그래프이고,
도 4는 최적 부호율에서의 잔여 패킷 손실 확률을 나타낸 그래프이고,
도 5는 임의의 n(=k/r)에 대하여 계산된그래프와 도 3의로 측정된쌍을 비교한 그래프이고,
도 6은 모든 PL에 대하여 최대 PSNR을 나타내는 최적의 부호율 r0들과 본 발명에서 제안하는 방법에 의하여 얻어진 부호율을 비교한 그래프이고,
도 7은 전체 계산 방법과 본 발명에서 제안하는 방법, 고정 부호율(FixedCode Rate) 방법의 평균 결합 PSNR을 비교한 그래프이고,
도 8은 본 발명의 일 실시예에 따른 부호율 결정 방법을 개괄적으로 나타낸 흐름도이다.
앞서 설명한 바와 같은 목적을 달성하기 위한 본 발명에 따르면, 영상 전송시 시간에 따라 변화하는 패킷 손실에 의하여 재생 화질이 급격하게 열화되는 것을 방지하기 위하여 종단간 영상의 평균 왜곡을 최소화시킬 수 있도록 하는 소스-채널 결합 부호화의 부호율 결정 방법에 있어서, 사전에 주어진 네트워크의 손실율과 그 값에 인접하는 임의의 두 개의,에 대하여을 얻기 위하여 테스트-런을 수행하는 제 1 단계; 상기 테스트-런의 수행 결과로부터 최대 PSNR을 나타내는 부호율 r0와 평균 잔여 손실 확률를 계산하는 제 2 단계; 초기 소스 부호율 Rs, 초기 채널 부호율 Rc를 부호화하고 패킷화하여 채널을 통하여 전송하는 제 3 단계; 상기 제 3 단계의 패킷 전송 중에 피드백 정보에 의하여 PL에 변화가 있다고 판단되면, 동일한에 대한 대응 부호율 r*를 찾는 제 4 단계; 를 포함하는 것을 특징으로 하는 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법이 제공된다.
또한, 소스-채널 결합 부호화의 부호율 결정 방법을 이용한 소스-채널 결합부호화 영상 전송 시스템에 있어서, 입력되는 영상을 부호율 결정부로부터 결정된 소스 부호율 Rs(t)로 부호화하는 영상 부호기; 상기 영상 부호기로부터 생성된 비트 스트림을 일정한 크기로 잘라 패킷화하고, RS(n,k) 채널 부호를 사용하여 k 개의 영상 패킷마다 n-k 개의 패리티 패킷을 부가하여 n 개의 패킷을 하나의 전송 프레임으로 생성하는 채널 부호기; 상기 채널 부호기로부터 생성된 고정 길이의 패킷들을 네트워크를 통하여 전달할 수 있도록 해당 프로토콜 처리를 거쳐 네트워크로 전송하는 네트워크 적용 프로토콜부; 상기 네트워크를 통하여 수신한 패킷들을 프로토콜 처리를 거친 후, 전송 과정 중에 유입된 채널 오류를 정정하는 채널 복호기; 상기 채널 복호기로부터 신호를 입력받아 영상을 복호하는 영상 복호기; 상기 네트워크를 통하여 전달된 패킷들로부터 네트워크의 상태를 분석하여 송신부측으로 피드백시키는 채널 상태 분석부; 상기 피드백되어 온 정보로부터 현재 시점에서 가용한 채널 대역폭, 패킷 손실 확률 등에 대한 정보를 추출 또는 추정하여 부호율 결정부로 전송하는 채널 상태 추정부; 를 포함하고, 상기 부호율 결정부는, 상기 채널 상태 추정부로부터 입력받은 정보로부터 소스 부호화와 채널 부호화에 할당할 부호율 Rs(t) 및 Rc(t)를 결정하는 것을 특징으로 하는 소스-채널 결합 부호화 영상 전송 시스템이 제공된다.
또한, 영상 전송시 시간에 따라 변화하는 패킷 손실에 의하여 재생 화질이 급격하게 열화되는 것을 방지하기 위하여 종단간 영상의 평균 왜곡을 최소화시킬 수 있도록 하는 소스-채널 결합 부호화의 부호율 결정 방법을 실행시킬 수 있는 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 사전에 주어진 네트워크의 손실율과 그 값에 인접하는 임의의 두 개의,에 대하여을 얻기 위하여 테스트-런을 수행하는 제 1 단계; 상기 테스트-런의 수행 결과로부터 최대 PSNR을 나타내는 부호율 r0와 평균 잔여 손실 확률를 계산하는 제 2 단계; 초기 소스 부호율 Rs, 초기 채널 부호율 Rc를 부호화하고 패킷화하여 채널을 통하여 전송하는 제 3 단계; 상기 제 3 단계의 패킷 전송 중에 피드백 정보에 의하여 PL에 변화가 있다고 판단되면, 동일한에 대한 대응 부호율 r*를 찾는 제 4 단계; 를 포함하는 소스-채널 결합 부호화의 부호율 결정 방법을 실행시킬 수 있는 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
도 1은 본 발명에 적용되는 소스-채널 결합 부호화를 사용하는 영상 전송 시스템의 개략적인 구성도로서, 본 시스템의 송신측에서는 수신측 또는 네트워크의 노드로부터 네트워크에 대한 채널 상태 정보를 알 수 있다고 가정한다.
시간 t에서 종단간 총 왜곡을 D(t), 가용 총 채널 대역폭이 R(t) = Rs(t) + Rc(t)라고 하자. 그렇다면, 오류 정정을 위한 채널 부호화에 Rc(t)를 할당한 후 채널 오류에 의하여 야기되는 왜곡의 총량을 Dc(Rc(t))와, Rs(t)로 영상(소스) 부호화한 후에 발생된 소스 왜곡 Ds(Rs(t))가 서로 독립이라고 가정하면, D(t)는 아래의 [수학식 1]과 같이 표현될 수 있다.
여기서, Dc(t)는 FEC에 의하여 정정되지 아니한 잔여 오류에 의하여 발생된 왜곡과 이 왜곡이 시공간 방향으로 연속 영상들에게 전파되는 오류를 포함한다.
한편, Ds(Rs(t))의 통계적 특성은 대부분 양자화 과정에 의하여 발생되는 왜곡이므로, 어느 정도 추정이 가능한 양이지만, Dc(Rc(t))는 확률 과정(Stochastic Process)에 의해서만 파악될 수 있으므로, 사전에 추정하는 것이 매우 어렵다.
소스 부호화한 후에 비디오 비트 스트림은 채널 부호화를 위하여 고정 길이의 패킷으로 패킷화된다. 본 발명에서는 채널 부호화를 위하여 k 개의 정보(Information) 심볼 당 n-k 개의 패리티(Parity) 심볼을 덧붙여 n 개의 심볼로 만드는 RS(n,k) 부호를 사용한다. 이때, r=k/n을 부호율(Code Rate)이라 하고, n을 전송 프레임(Transmission Frame)의 크기라 한다. 전송되는 패킷에 순서 번호가 주어지는 경우, 이 부호는 n-k 개의 심볼 오류까지 정정할 수 있다. 본 발명에서는 하나의 패킷이 하나의 심볼을 구성한다고 가정한다.
만일, n-k 개 이상의 오류가 발생하는 경우에는 그 전송 프레임은 복구될 수 없다. 그러나, 비디오 패킷의 경우 매 패킷마다 픽쳐 헤더 또는 슬라이스 헤더를 가지게 하면, 올바로 수신된 비디오 패킷은 재생에 사용될 수 있는 정보이므로 폐기할 필요가 없다. 따라서, 채널에서의 패킷 손실 확률보다 이 채널을 통과한 후의 영상 패킷 손실 확률이 더 작거나 같게 된다. 픽쳐 헤더나 슬라이스 헤더는 영상 정보에 비하여 크기가 작기 때문에 적은 오버 헤드로 전송할 수 있으나, 이 경우 중복 사용으로 인한 약간의 오버 헤드는 감수해야 한다.
전송 프레임의 크기가 n이고, 채널에서의 패킷 손실 확률이 PL로 주어지고, n 개의 패킷을 전달하였을 때, 채널에서 e 개의 패킷이 손실될 확률을라고 하면, 채널 부호화 이후의 잔여 손실 확률,은 아래의 [수학식 2]와 같이 된다.
여기서, r = k/n이다.
한편, 상기은 채널에서의 손실 특성이 독립적(Independent)인지, 군집적(Bursty)인지에 따라서 달라진다. 본 발명에서는 채널의 손실 특성이 독립적이라고 가정한다. 하지만 제안된 방법은 군집적인 경우에 대해서도 수정없이 적용이 가능하다.
도 1에 도시된 영상 부호기(소스 부호기)는 입력되는 영상을 부호율 결정부로부터 결정된 소스 부호율 Rs(t)로 부호화한다. 소스 부호화 과정으로부터 발생하는 왜곡의 양은 Ds(Rs(t))이다. 채널 부호기는 상기 영상 부호기로부터 생성된 비트 스트림을 일정한 크기로 잘라 패킷화하고, RS(n,k) 채널 부호를 사용하여 k 개의 영상 패킷마다 n-k 개의 패리티 패킷을 부가하여 n 개의 패킷을 하나의 전송 프레임으로 생성한다. 네트워크 적용 프로토콜부는 상기 채널 부호기로부터 생성된 고정 길이의 패킷들을 네트워크를 통하여 전달할 수 있도록 해당 프로토콜 처리를 거쳐 네트워크로 전송한다.
수신측에서는 채널을 통하여 수신한 패킷들을 프로토콜 처리를 거친 후, 채널 복호기로 전달하여 전송 과정 중에 유입된 채널 오류를 정정한 후에 영상 복호기(소스 복호기)로 전송한다. 채널 상태 분석부는 네트워크를 통하여 전달된 패킷들로부터 네트워크의 상태를 분석하여 송신부측으로 피드백시킨다. 네트워크의 상태에 관한 정보로는 전송 지연, 지연 지터, 패킷 손실율 등이 포함된다.
한편, 송신부측의 채널 특성 추정부는 상기 수신부측으로부터 피드백되어 온 정보로부터 현재 시점에서 가용한 채널 대역폭, 패킷 손실 확률 등에 대한 정보를 추출 또는 추정하여 부호율 결정부로 전송한다. 부호율 결정부는 상기 채널 상태 추정부로부터 입력받은 정보로부터 본 발명에서 제안한 방법에 의하여 소스 부호화와 채널 부호화에 할당할 부호율 Rs(t) 및 Rc(t)를 결정한다.
도 2는 결합 왜곡과 결합 PSNR(Peak - Signal - to - Noise Ration)의 일반적인 형상을 나타낸 그래프로서, 사용자에게 주어진 총 가용 채널 비트율,와 채널에서의 패킷 손실율이 고정되어 있는 경우, 손실 채널을 통하여 영상을 전송할 때, 종단간 결합 왜곡 D와 결합 PSNR = 10 log102552/D 의 모습을 보여 주고 있다.
도 2에서 가장 작은 종단간 왜곡을 나타내는 소스 부호율 R0가 최적 소스 부호율이라 할 수 있다. R0를 기준으로 왼쪽 부분은 손실된 대부분의 패킷을 채널 부호에 의하여 복구함으로써, 종단간 왜곡은 소스 부호율이 증가함에 따라 감소함을 알 수 있다. R0의 오른쪽 부분은 해당 채널 부호의 오류 정정 능력으로는 채널에서 발생하는 채널 오류에 효과적으로 대응할 수 없어 소스 부호율이 증가할수록 왜곡량이 증가함을 나타낸다. 즉, 소스 부호율이 증가할수록 더 많은 영상 패킷이 생성되고, 더 많은 영상 패킷이 손실되어 왜곡량이 급격하게 증가하는 것이다.
도 3은 패킷 손실 및 총 채널 가용 대역폭에 따른 결합 PSNR(dB)의 측정치를 나타낸 그래프로서, 소스 부호화율로, 채널 부호율로, 채널 부호로 RS(20,k), 패킷 크기는 300 바이트, 영상 부호화는 H.263, 총 가용 대역폭을 각각 1, 2 Mbps로 하고, 소스 - 채널 결합 부호화를 적용한 경우, 측정된 평균 결합 PSNR 값을 보여주고 있다. 측정된 평균 결합 PSNR 값은 시험 영상 Foreman 300 프레임에 대한 평균 결합 PSNR이다.
채널 복호를 한 후, 잔여 패킷 오류에 의하여 오류가 발생한 영상 블록은 평균 영상의 밝기 128로 치환하였다.
도 3에서, 임의의 PL과 총 가용 채널 대역폭 R에 대한 평균 결합 PSNR 그래프는 최적 부호율 r0인 최대 결합 PSNR(r0, PL) 값을 가지고 있다. r0를 초과하는 부호율에서 평균 결합 PSNR은 채널 부호화의 오류 정정 능력을 벗어나기 때문에 급격하게 감소함을 알 수 있다.
이러한 관찰로부터 주어진 R과 PL에 대하여 결합 PSNR 그래프를 이용하면, 아래의 [수학식 3]처럼 최대의 평균 결합 PSNR에 대응하는 부호율 r0를 구함으로써, 최적의 부호율을 할당할 수 있다.
도 4는 최적 부호율에서의 잔여 패킷 손실 확률을 나타낸 그래프이다.
일반적으로 모든 R과 PL에 대하여 결합 PSNR 그래프를 얻는 과정은 대단히 많은 계산량을 필요로 하므로 비현실적이다. 그런데, 도 4와 같이 도 3의 r0에서의 잔여 손실 확률값들이 그들의 평균값를 기준으로 집중된다는 사실에 주목하자.는 주로 주어진 R에 대한 영상의 특성, 채널 손실 모델 및 사용된 채널 부호의 구조 (n,k)에 의하여 결정되고, PL에는 별로 민감하지 않다.
값은 PL과 r0에 비례한다. 도 3에서 총 가용 채널 대역폭에 대하여 PL이 커질 때에는 r0는 작아지고, PL이 작아지면 r0가 커지기 때문에은 거의 일정한 값에 머무르게 된다. 이러한 관찰은 임의의 n(=k/r)에 대하여 계산된그래프와 도 3의로 측정된쌍의 그래프를 비교해 보면 입증된다.
도 5는 임의의 n(=k/r)에 대하여 계산된그래프와 도 3의로 측정된쌍을 비교한 그래프로서, 고정된에 대하여 측정된 값들이 아주 근사적으로 계산된 값을 추정해 냄을 알 수 있다. 이로부터 최대 결합 PSNR 들에서의 잔여 손실 확률값이 그들의 평균값을 중심으로 밀집함이 검증된다.
이러한 관찰을 이용하면 주어진 패킷 손실 확률에 대하여 모든 R과 PL에 대한 결합 PSNR 값을 구하거나,를 해석적으로 구하지 않아도 부호율 r을 결정할 수 있다. 본 발명에서는 상술한 분석 결과를 이용하여 실용적인 부호율 결정 방법을 제안한다.
제안하는 방법의 기본 아이디어는 최대 결합 PSNR 점에서의 잔여 오류 확률들이 그들의 평균값을 중심으로 매우 밀접하게 위치한다는 결합 PSNR 그래프의 특성으로부터 사전에 몇 개의 PL에 대하여 시험적으로을 구한 다음, 이를 기준으로 임의의 PL에 대하여이에 근접하는 부호율 r0를 결정하면, 고려되는 모든 PL에 대하여 최대 결합 PSNR을 계산하는 전체 계산(Full Search) 방식이 나타내는 최적의 부호율을 근사적으로 추정할 수 있다는 것이다.
이러한 방식의 동작 절차는 다음과 같다.
먼저, 초기 단계로서, 사전에 주어진 네트워크의 손실율과 그 값에 인접하는 임의의 두 개의,에 대하여을 얻기 위하여 테스트-런을 수행한다. 그리고, 최대 PSNR을 나타내는 부호율 r0와 평균 잔여 손실 확률를 각각, 아래의 [수학식 4] 및 [수학식 5]를 통하여 구한다.
여기서,는 상기 [수학식 2]로부터 주어진다.
그 다음, 주어진에 대하여 초기 부호율은이므로, 초기 소스 부호율 Rs, 초기 채널 부호율 Rc를,로 부호화하고 패킷화하여 채널을 통하여 전송한다.
패킷 전송 중에 피드백 정보에 의하여 PL에 변화가 있다고 판단되면, 아래의 [수학식 6]과 같이 동일한에 대한 대응 부호율 r*를 찾는다.
상술한 방법의 성능을 평가하기 위하여 다음과 같은 모의 실험을 수행하였다. 실험 환경은 다음과 같다.
- 시험 영상 : Foreman(CIF 규격) 300 프레임
- 부호화 알고리즘 : H.263 TMN-8
- 총 가용 채널 대역폭 : 1 Mbps
- 사용된 채널 부호 : RS(n,k) 부호, n=20
- 슬라이스 구조 : 3 slices/frame
- 강제 INTRA MB(Macro-Block)갱신율 : 1/60 (frame-1)
- 영상 패킷의 유료 부하 크기 : 300 바이트
- 하위 프로토콜 오버헤드 고려하지 아니함.
- 픽쳐 헤더(Picture Header)와 슬라이스 헤더(Slice Header)는 손실되지 않는다고 가정.
- 영상 복호기에서 패킷 손실로 재생이 안 되는 프레임은 이전 프레임을 반복 재생함.
- 영상 복호기에서 오류 감춤(Error Concealment) 사용 안 함.
도 6은 모든 PL에 대하여 최대 PSNR을 나타내는 최적의 부호율 r0들과 본 발명에서 제안하는 방법에 의하여 얻어진 부호율을 비교한 그래프이다.
제안한 방법에 의하여 첫 패킷 손실 확률인 PL= 1, 2, 3 %에 대하여 평균 잔여 손실 확률은 1.9x10-4이었다. 두 방법에 의하여 얻어진 부호율이 매우 유사함을 알 수 있으며, 부호율의 차이는 0.05 이하에 불과하였다.
도 7은 전체 계산 방법과 본 발명에서 제안하는 방법, 고정 부호율(Fixed Code Rate) 방법의 평균 결합 PSNR을 비교한 그래프로서, 부호율에 따른 평균 결합 PSNR은 그 차이가 매우 근소함을 알 수 있다.
반면 고정된 부호율 값을 사용하는 경우의 평균 결합 PSNR 값은 부호율을 적응적으로 변화시킨 본 발명에 비하여 훨씬 떨어짐을 확인할 수 있다. 이는 채널의 상태가 변화하는 경우 적응적으로 부호율을 변화시켜야 더 좋은 성능을 얻음을 입증하는 결과이다.
도 8은 본 발명의 일 실시예에 따른 부호율 결정 방법을 개괄적으로 나타낸 흐름도로서, 이를 상세히 설명하면, 다음과 같다.
먼저, 스텝 S801에서, 사전에 주어진 네트워크의 손실율과 그 값에 인접하는 임의의 두 개의및을 입력받아, 스텝 S802에서, 상기 입력값에 대하여을 얻기 위해 테스트-런을 수행한다. 그 후, 스텝 S803 및 스텝S804에서, 최대 PSNR을 나타내는 부호율및 평균 잔여 손실 확률를 상기 [수학식 4] 및 [수학식 5]에 의하여 계산한다.
그리고, 스텝 S805에서, 주어진에 대하여 초기 부호율은이므로, 초기 소스 부호율및 초기 채널 부호율를 부호화하고, 패킷화하여 채널을 통해 전송한다.
이어서, 스텝 S806에서, 패킷 전송 중에 피드백 정보에 의하여에 변화가 있는지 여부를 판단한다.
상기 스텝 S806에서의 판단 결과, 변화가 있으면, 스텝 S807에서, 상기 [수학식 6]에 의하여 동일한에 대한 대응 부호율를 찾는다.
마지막으로, 스텝 S808에서, 소스 부호율및 초기 채널 부호율를 부호화하고, 패킷화하여 소스 부호기와 채널 부호기로 전송한다.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 본 발명에 의할 때의 효과를 정리해 보면, 다음과 같다.
첫째, 가능한 모든 R과 PL에 대하여 일일이 평균 결합 PSNR 그래프를 얻지 않아도 된다.
둘째, 채널 오류에 의한 영상의 종단간 왜곡에 대한 모델링이 필요없다.
셋째, 채널의 상태가 변화하더라도, 간단한 계산만으로 최적 부호율에 근접하는 부호율을 선택함으로써, 종단간에 최대 평균 결합 PSNR에 접근하는 화질을 제공할 수 있다.
넷째, 패킷 손실이 군집적(Bursty Loss)으로 발생하는 인터넷 채널에서도 수정없이 적용 가능하다.
다섯째, 비트 오류가 독립적, 군집적으로 발생하는 무선 채널에 대해서도 수정없이 적용 가능하다.

Claims (7)

  1. 영상 전송시 시간에 따라 변화하는 패킷 손실에 의하여 재생 화질이 급격하게 열화되는 것을 방지하기 위하여 종단간 영상의 평균 왜곡을 최소화시킬 수 있도록 하는 소스-채널 결합 부호화의 부호율 결정 방법에 있어서,
    사전에 주어진 네트워크의 손실율과 그 값에 인접하는 임의의 두 개의,에 대하여을 얻기 위하여 테스트-런을 수행하는 제 1 단계;
    상기 테스트-런의 수행 결과로부터 최대 PSNR을 나타내는 부호율 r0와 평균 잔여 손실 확률를 계산하는 제 2 단계;
    초기 소스 부호율 Rs, 초기 채널 부호율 Rc를 부호화하고 패킷화하여 채널을 통하여 전송하는 제 3 단계; 및
    상기 제 3 단계의 패킷 전송 중에 피드백 정보에 의하여 PL에 변화가 있다고 판단되면, 동일한에 대한 대응 부호율 r*를 찾는 제 4 단계;
    를 포함하는 것을 특징으로 하는 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법.
  2. 제 1 항에 있어서,
    상기 제 2 단계에서, 최대 PSNR을 나타내는 r0는 아래의 [식 1]에 의하여 결정하는 것을 특징으로 하는 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법.
    [식 1]
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 2 단계에서, 평균 잔여 손실 확률는 아래의 [식 2]에 의하여 결정하는 것을 특징으로 하는 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법.
    [식 2]
    여기서,의 수식이 성립하고, r = k/n이다.
  4. 제 3 항에 있어서,
    상기 제 3 단계에서, 초기 소스 부호율 Rs, 초기 채널 부호율 Rc를 부호화하고 패킷화하는 것은 아래의 [식 3]에 의하여 결정하는 것을 특징으로 하는 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법.
    [식 3]
    ,
  5. 제 4 항에 있어서,
    상기 제 4 단계에서, 대응 부호율 r*를 찾는 것은 아래의 [식 4]에 의하는 것을 특징으로 하는 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법.
    [식 4]
  6. 소스-채널 결합 부호화의 부호율 결정 방법을 이용한 소스-채널 결합 부호화 영상 전송 시스템에 있어서,
    입력되는 영상을 부호율 결정부로부터 결정된 소스 부호율 Rs(t)로 부호화하는 영상 부호기;
    상기 영상 부호기로부터 생성된 비트 스트림을 일정한 크기로 잘라 패킷화하고, RS(n,k) 채널 부호를 사용하여 k 개의 영상 패킷마다 n-k 개의 패리티 패킷을부가하여 n 개의 패킷을 하나의 전송 프레임으로 생성하는 채널 부호기;
    상기 채널 부호기로부터 생성된 고정 길이의 패킷들을 네트워크를 통하여 전달할 수 있도록 해당 프로토콜 처리를 거쳐 네트워크로 전송하는 네트워크 적용 프로토콜부;
    상기 네트워크를 통하여 수신한 패킷들을 프로토콜 처리를 거친 후, 전송 과정 중에 유입된 채널 오류를 정정하는 채널 복호기;
    상기 채널 복호기로부터 신호를 입력받아 영상을 복호하는 영상 복호기;
    상기 네트워크를 통하여 전달된 패킷들로부터 네트워크의 상태를 분석하여 송신부측으로 피드백시키는 채널 상태 분석부; 및
    상기 피드백되어 온 정보로부터 현재 시점에서 가용한 채널 대역폭, 패킷 손실 확률 등에 대한 정보를 추출 또는 추정하여 부호율 결정부로 전송하는 채널 상태 추정부; 를 포함하고,
    상기 부호율 결정부는, 상기 채널 상태 추정부로부터 입력받은 정보로부터 소스 부호화와 채널 부호화에 할당할 부호율 Rs(t) 및 Rc(t)를 결정하는 것을 특징으로 하는 소스-채널 결합 부호화 영상 전송 시스템.
  7. 영상 전송시 시간에 따라 변화하는 패킷 손실에 의하여 재생 화질이 급격하게 열화되는 것을 방지하기 위하여 종단간 영상의 평균 왜곡을 최소화시킬 수 있도록 하는 소스-채널 결합 부호화의 부호율 결정 방법을 실행시킬 수 있는 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    사전에 주어진 네트워크의 손실율과 그 값에 인접하는 임의의 두 개의,에 대하여을 얻기 위하여 테스트-런을 수행하는 제 1 단계;
    상기 테스트-런의 수행 결과로부터 최대 PSNR을 나타내는 부호율 r0와 평균 잔여 손실 확률를 계산하는 제 2 단계;
    초기 소스 부호율 Rs, 초기 채널 부호율 Rc를 부호화하고 패킷화하여 채널을 통하여 전송하는 제 3 단계; 및
    상기 제 3 단계의 패킷 전송 중에 피드백 정보에 의하여 PL에 변화가 있다고 판단되면, 동일한에 대한 대응 부호율 r*를 찾는 제 4 단계;
    를 포함하는 소스-채널 결합 부호화의 부호율 결정 방법을 실행시킬 수 있는 컴퓨터로 읽을 수 있는 기록 매체.
KR1020030009280A 2003-02-14 2003-02-14 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템 KR100937099B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030009280A KR100937099B1 (ko) 2003-02-14 2003-02-14 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030009280A KR100937099B1 (ko) 2003-02-14 2003-02-14 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템

Publications (2)

Publication Number Publication Date
KR20040073628A true KR20040073628A (ko) 2004-08-21
KR100937099B1 KR100937099B1 (ko) 2010-01-15

Family

ID=37360615

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030009280A KR100937099B1 (ko) 2003-02-14 2003-02-14 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템

Country Status (1)

Country Link
KR (1) KR100937099B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703063B1 (ko) * 2005-11-24 2007-04-06 주식회사 문화방송 이미지 전송 장치 및 이미지 수신 장치
WO2008000822A2 (fr) * 2006-06-29 2008-01-03 Thales Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil
FR2903272A1 (fr) * 2006-06-29 2008-01-04 Thales Sa Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil.
CN100515021C (zh) * 2006-12-30 2009-07-15 中国科学院计算技术研究所 基于图像质量和码率约束的jpeg2000码率控制方法
US8089892B2 (en) 2005-12-15 2012-01-03 Thomson Licensing Adaptive joint source and channel coding scheme for H.264 video multicasting over wireless networks
KR101309615B1 (ko) * 2009-12-01 2013-09-23 한국전자통신연구원 소스-채널 결합 부호화 방법 및 이를 적용한 위성 방송 시스템
WO2015101280A1 (zh) * 2013-12-31 2015-07-09 深圳市大富科技股份有限公司 一种信道的码率分配方法及系统
CN106254873A (zh) * 2016-08-31 2016-12-21 广州市百果园网络科技有限公司 一种视频编码方法及视频编码装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223573A (ja) * 1995-02-06 1996-08-30 Texas Instr Inc <Ti> 映像の画質制御方法
JP2000032365A (ja) 1998-07-14 2000-01-28 Matsushita Electric Ind Co Ltd エラーレイト検出回路と受信端末装置
US7010730B1 (en) 2000-11-01 2006-03-07 Sunrise Telecom Incorporated System and method for testing the upstream channel of a cable network

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703063B1 (ko) * 2005-11-24 2007-04-06 주식회사 문화방송 이미지 전송 장치 및 이미지 수신 장치
US8089892B2 (en) 2005-12-15 2012-01-03 Thomson Licensing Adaptive joint source and channel coding scheme for H.264 video multicasting over wireless networks
US9066158B2 (en) 2005-12-15 2015-06-23 Thomson Licensing Adaptive joint source and channel coding scheme for H.264 video multicasting over wireless networks
US8300708B2 (en) 2006-06-29 2012-10-30 Thales Method allowing compression and protection parameters to be determined for the transmission of multimedia data over a wireless data channel
WO2008000822A3 (fr) * 2006-06-29 2009-02-05 Thales Sa Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil
FR2903272A1 (fr) * 2006-06-29 2008-01-04 Thales Sa Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil.
KR101380505B1 (ko) * 2006-06-29 2014-04-01 탈레스 무선 채널을 통한 멀티미디어 데이터의 송신을 위한 보호 및 압축 파라미터들의 결정 방법
WO2008000822A2 (fr) * 2006-06-29 2008-01-03 Thales Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil
CN100515021C (zh) * 2006-12-30 2009-07-15 中国科学院计算技术研究所 基于图像质量和码率约束的jpeg2000码率控制方法
KR101309615B1 (ko) * 2009-12-01 2013-09-23 한국전자통신연구원 소스-채널 결합 부호화 방법 및 이를 적용한 위성 방송 시스템
US8707126B2 (en) 2009-12-01 2014-04-22 Electronics And Telecommunications Research Institute Source-channel combined coding method and satellite broadcasting system using the same
WO2015101280A1 (zh) * 2013-12-31 2015-07-09 深圳市大富科技股份有限公司 一种信道的码率分配方法及系统
CN106254873A (zh) * 2016-08-31 2016-12-21 广州市百果园网络科技有限公司 一种视频编码方法及视频编码装置

Also Published As

Publication number Publication date
KR100937099B1 (ko) 2010-01-15

Similar Documents

Publication Publication Date Title
JP5277177B2 (ja) ビデオテレフォニー品質評価方法及び装置
KR101125846B1 (ko) 패킷 기반의 영상 프레임 전송 방법 및 장치
AU2007313931B2 (en) Dynamic modification of video properties
Boyce Packet loss resilient transmission of MPEG video over the Internet
CA2656453C (en) Method allowing compression and protection parameters to be determined for the transmission of multimedia data over a wireless data channel
US8798144B2 (en) System and method for determining encoding parameters
US20060188025A1 (en) Error concealment
EP2347599B1 (en) Method and system for determining a quality value of a video stream
KR100541526B1 (ko) 멀티미디어 데이터의 전송품질 측정방법 및 장치
US20150296224A1 (en) Perceptually driven error correction for video transmission
CN111093083B (zh) 数据传输方法及装置
US20050063473A1 (en) Method and apparatus for transmitting and receiving coded packet and program therefor
KR20050105630A (ko) 동영상 화질 평가시스템 및 방법
KR100937099B1 (ko) 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템
JP2002504289A (ja) フレーム内相関を利用した情報源制御形通信路復号
JP2009212842A (ja) 動画伝送装置
KR20070043361A (ko) 시변 이동무선 채널 특성에서 비디오 전송시 소스-채널부호율을 결정하는 송수신 장치 및 그 방법
KR101703133B1 (ko) 실시간 소스-채널 복합부호화 방법 및 그 장치
CN113301387A (zh) 数据编解码方法、相关设备及系统
EP1182876B1 (en) Method for video transmission over a network
KR100830965B1 (ko) 채널 적응적 인트라 업데이트를 이용한 영상부호화 장치 및방법
Jeong et al. A new joint source-channel modeling Approach for adaptive FEC code rate decision
US20230262209A1 (en) System and method for determining video codec performance in real-time communcation over internet
Gao et al. A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC
Lee et al. Estimation of accurate effective loss rate for FEC video transmission

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130107

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 11