KR20020073683A - 비디오 전송 시스템의 에러 복구 방법 - Google Patents

비디오 전송 시스템의 에러 복구 방법 Download PDF

Info

Publication number
KR20020073683A
KR20020073683A KR1020010013424A KR20010013424A KR20020073683A KR 20020073683 A KR20020073683 A KR 20020073683A KR 1020010013424 A KR1020010013424 A KR 1020010013424A KR 20010013424 A KR20010013424 A KR 20010013424A KR 20020073683 A KR20020073683 A KR 20020073683A
Authority
KR
South Korea
Prior art keywords
packet loss
intra
transmission system
error recovery
loss rate
Prior art date
Application number
KR1020010013424A
Other languages
English (en)
Other versions
KR100425676B1 (ko
Inventor
정영안
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0013424A priority Critical patent/KR100425676B1/ko
Priority to US10/098,794 priority patent/US6944223B2/en
Publication of KR20020073683A publication Critical patent/KR20020073683A/ko
Application granted granted Critical
Publication of KR100425676B1 publication Critical patent/KR100425676B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 인터넷을 통한 실시간 동영상 전송 시스템에서 패킷 손실률을 고려한 인트라 부호화 기법을 도입하여 패킷 지연 및 손실로 인해 발생되는 화질 저하를 방지할 수 있도록 한 것이다. 이를 위해, 패킷 손실률에 따라 리프레쉬 레이트를 적응적으로 조절하고, 상기 패킷 손실률이 일정치 이상일 때 계수가 없는 인터 블록에 대해 카운트하여 그 카운트값이 일정치에 도달될 때 그 모드를 인트라 모드로 부호화 할 수 있게 하며, 상기 패킷 손실률이 일정치 이하일 때 계수가 없는 인터 블록에 대한 카운트 동작을 생략하여 부호화 효율을 높이고 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상을 방지할 수 있게 하였다.

Description

비디오 전송 시스템의 에러 복구 방법{ERROR RECOVERY METHOD FOR VIDEO TRANSMISSION SYSTEM}
본 발명은 인터넷을 통한 실시간 동영상 전송 시스템에서 에러를 복구하는 기술에 관한 것으로, 특히 패킷 손실률을 고려한 인트라 부호화 기법을 도입하여 패킷 지연 및 손실로 인해 발생되는 화질 저하를 방지할 수 있도록 한 비디오 전송 시스템의 에러 복구 방법에 관한 것이다.
일반적으로, 인터넷을 통해 실시간으로 동영상을 서비스할 때, 인터넷의 비동시성(Non-isochronous nature)으로 인하여 패킷 지연 및 손실이 발생되고, 이에 의해 수신측 화면의 영상이 깨지는 현상이 나타난다. 이러한 문제는 수신측에서의 후처리 즉, 에러 은닉(error concealment)을 통해 어느 정도 해결할 수 있지만, 근본적인 에러 복구(error recovery) 기법 없이는 고품질의 동영상 서비스를 제공하는데 어려움이 있다.
이러한 문제점을 해결하기 위하여, 재전송 및 FEC(Forward Error Correction) 등과 같은 에러 복구 기법들이 제안되었으나, 이러한 방법들은 많은 지연시간을 유발시켜 사실상 실시간 처리에 적당하지 못하다.
한편, 통상의 H.263 표준에서 계수가 있는 블록을 전송할 때 최소 132번째마다 강제적으로 인트라(INTRA) 모드로 부호화하는 인트라 부호화 기법이 있는데, 이 방법의 원래 목적은 IDCT 에러의 누적을 막기 위한 것이었다. 하지만, 이전 영상의 참조가 필요 없다는 특징으로 인하여 대부분의 예측 비디오 부호화를 이용하는 시스템에 적용되어 에러를 복구하거나 시간적인(temporal) 에러의 전파(propagation)를 없애기 위한 대안으로 사용되어 왔다.
그러나, 이와 같은 종래의 인트라 부호화 기법은 패킷의 손실이 없는 즉, 에러가 없는 상황만을 고려한 것이므로 이러한 기법을 그대로 적용하는 것은 효율적인 에러 복구 측면에서 적절하지 못한 문제점이 있었다. 더욱이 빠른 움직임이나 장면 전화 발생 시 해당 영상 블록이 깨지면서 배경 영역(즉, NOT CODED 블록)이 된 경우 그 부분은 인트라 업데이트(INTRA UPDATE)가 되지 않는 문제점이 발생되고, 네트워크 상황을 전혀 고려하지 않은 고정된 리프레쉬 레이트(refresh rate)를 갖게 되므로, 고화질의 비디오 전송을 위한 에러 복구 방법으로 부족함이 있었다.
따라서, 본 발명의 목적은 패킷 손실률과 네트워크의 상황을 고려할 수 있고, 에러에 보다 강건한 비디오 전송을 보장하고, 우수한 품질의 동영상 서비스가 가능한 비디오 전송 시스템의 에러 복구 방법을 제공함에 있다.
도 1은 패킷 손실률을 고려한 적응적인 인트라 리프레쉬 레이트 그래프.
도 2는 본 발명에서 매크로 블록에 대한 카운트 방법의 알고리즘.
도 3은 본 발명에 의한 에러 복구 방법의 설명도.
본 발명에 의한 비디오 전송 시스템의 에러 복구 방법은, 패킷 손실률에 따라 리프레쉬 레이트를 적응적으로 조절하는 제1과정과; 상기 패킷 손실률이 일정치 이상일 때 계수가 없는 인터 블록에 대해 카운트하여 그 카운트값이 일정치에 도달될 때 그 모드를 인트라 모드로 부호화 할 수 있게 하는 제2과정과; 상기 패킷 손실률이 일정치 이하일 때 계수가 없는 인터 블록에 대한 카운트 동작을 생략하여 부호화 효율을 높이고, 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상을 방지하는 제3과정으로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 1 내지 도 3을 참조하여 상세히 설명하면 다음과 같다.
본 발명에서는 계수가 있는 블록을 전송할 때 132번째 마다 리프레쉬하는 방법 대신에, 패킷 손실률에 따라 적응적으로 리프레쉬 레이트를 조절하도록 하였다.
도 1에서 보는 바와 같이, 패킷 손실률(PLR)이 클수록 리프레쉬 레이트(refresh rate)는 선형적으로 작아지는 것을 알 수 있다. 즉, 인트라 업데이트율이 높아진다. 예를 들어, 패킷 손실률이 0(에러가 없는 상황)이면, 리프레쉬 레이트는 132, 50%이면 66, 100%이면 0이다. 만약, 모든 패킷이 사라지는 100%의 패킷 손실률일 경우에는 모든 매크로 블록이 인트라 모드로 부호화 되는 효과가 있다.
또한, 리프레쉬를 위한 카운팅일 경우, 기존에는 인트라 모드 및 계수가 있는 인터(즉, CODED 블록)모드에 대해 카운트값을 하나씩 증가시키는 방법을 사용하지만, 본 발명에서는 실험적으로 리프레쉬 레이트가 66보가 작은 경우 즉, PLR이 50%보다 큰 경우 계수가 없는 인터(즉, NOT CODED) 블록에 대해서도 카운트하여 그 카운트값이 일정치에 도달될 때 인트라 모드로 부호화 할 수 있게 하였다. 그 이유는 패킷 손실률이 큰 경우에 배경 영역(NOT CODED 블록)에 대한 에러의 전파(에러 블록이 배경 영역이 되어 그대로 계속 남아 있는 현상)를 방지하기 위함이다. 그러나, PLR이 50%보다 작은 경우에는 배경 영역에 대하여 카운트하지 않음으로써 부호화 효율(인트라 업데이트일 경우 부호화 비트가 늘어남)이 향상되고, 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상이 방지되도록 하였다.
MB 리프레쉬 패턴은 H.263 표준에서는 정하지 않았는데, 본 발명에서는 램덤 함수를 사용하여 에러 복구의 효율이 좀더 향상된다.
도 2에서 도시한 바와 같이, 초기값은 0에서 최대값 사이의 랜덤한 값을 사용함으로써, 블록이 순차적으로 업데이트되는 현상을 방지할 수 있고, 랜덤하게 업데이트 됨으로써 좀 더 나은 화질 향상을 기대할 수 있다.
한편, 도 3은 본 발명의 에러 복구 방법에 대한 전체적인 처리과정을 도식적으로 나타낸 것이다. PLR에 따라 리프레쉬 레이트는 가변된다. 즉, PLR이 높으면 리프레쉬 레이트는 작아지고, 인트라 업데이트될 매크로 블록의 수는 증가하게 된다. 따라서, PLR 즉, 패킷 손실률에 따라 적응적으로 에러의 전파를 막는 동시에, 에러 복구를 수행함으로써 화질을 향상시킬 수 있게 된다.
이상에서 상세히 설명한 바와 같이 본 발명은, 패킷 네트워크 특히 인터넷을 통한 실시간 동영상 서비스 시 패킷 지연 및 손실에 의한 에러를 효율적으로 복구함으로써 화질이 저하되는 것을 방지할 수 있는 효과가 있다. 특히 패킷 손실률을 고려한 효율적인 인트라 부호화 기법을 제공함으로써 네트워크의 상황을 고려할 수 있고, 에러에 보다 강건한 전송이 가능하고 고품질의 실시간 동영상 서비스가 가능하게 되는 효과가 있다.

Claims (3)

  1. 패킷 손실률에 따라 리프레쉬 레이트를 적응적으로 조절하는 제1과정과; 상기 패킷 손실률이 일정치 이상일 때 계수가 없는 인터 블록에 대해 카운트하여 그 카운트값이 일정치에 도달될 때 그 모드를 인트라 모드로 부호화 할 수 있게 하는 제2과정과; 상기 패킷 손실률이 일정치 이하일 때 계수가 없는 인터 블록에 대한 카운트 동작을 생략하여 부호화 효율을 높이고, 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상을 방지하는 제3과정으로 이루어지는 것을 특징으로 하는 비디오 전송 시스템의 에러 복구 방법.
  2. 제1항에 있어서, 리프레쉬 레이트는 매크로 블록이 순차적으로 업데이트되는 현상을 방지하고, 랜덤하게 업데이트 되도록 하기 위하여, 초기값은 0에서 최대값 사이의 랜덤한 값을 사용하는 것을 특징으로 하는 비디오 전송 시스템의 에러 복구 방법.
  3. 제1항에 있어서, 패킷 손실률의 일정치는 50%인 것을 특징으로 하는 비디오 전송 시스템의 에러 복구 방법.
KR10-2001-0013424A 2001-03-15 2001-03-15 비디오 전송 시스템의 에러 복구 방법 KR100425676B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2001-0013424A KR100425676B1 (ko) 2001-03-15 2001-03-15 비디오 전송 시스템의 에러 복구 방법
US10/098,794 US6944223B2 (en) 2001-03-15 2002-03-14 Effective error recovery method using packet loss rate of networks in realtime video transfer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0013424A KR100425676B1 (ko) 2001-03-15 2001-03-15 비디오 전송 시스템의 에러 복구 방법

Publications (2)

Publication Number Publication Date
KR20020073683A true KR20020073683A (ko) 2002-09-28
KR100425676B1 KR100425676B1 (ko) 2004-04-03

Family

ID=19706977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0013424A KR100425676B1 (ko) 2001-03-15 2001-03-15 비디오 전송 시스템의 에러 복구 방법

Country Status (2)

Country Link
US (1) US6944223B2 (ko)
KR (1) KR100425676B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035012A (ko) * 2002-10-18 2004-04-29 엘지전자 주식회사 동영상 코덱 및 이를 이용한 동영상 코덱의 에러방지방법
KR100474269B1 (ko) * 2002-03-09 2005-03-09 엘지전자 주식회사 동영상의 부호화 방법
KR100727994B1 (ko) * 2005-10-06 2007-06-14 삼성전자주식회사 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치
KR100926826B1 (ko) * 2003-06-30 2009-11-12 주식회사 케이티 비디오 비트열의 전송 오류에 대비하기 위한 변환부호장치 및 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796499B2 (en) * 2003-12-05 2010-09-14 Telefonaktiebolaget L M Ericsson (Publ) Method of and system for video fast update
US8437405B1 (en) 2004-12-08 2013-05-07 Nvidia Corporation System and method for intra refresh implementation
US7617436B2 (en) * 2005-08-02 2009-11-10 Nokia Corporation Method, device, and system for forward channel error recovery in video sequence transmission over packet-based network
US20080115185A1 (en) * 2006-10-31 2008-05-15 Microsoft Corporation Dynamic modification of video properties
US20080201752A1 (en) * 2007-02-16 2008-08-21 At&T Knowledge Ventures, L.P. Multicast data packet recovery system
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
US8929443B2 (en) * 2009-01-09 2015-01-06 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over IP networks
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
FI20095273A0 (fi) * 2009-03-17 2009-03-17 On2 Technologies Finland Oy Digitaalinen videokoodaus
EP2302845B1 (en) 2009-09-23 2012-06-20 Google, Inc. Method and device for determining a jitter buffer level
EP2405661B1 (en) 2010-07-06 2017-03-22 Google, Inc. Loss-robust video transmission using two decoders
US8630412B2 (en) 2010-08-25 2014-01-14 Motorola Mobility Llc Transport of partially encrypted media
US8477050B1 (en) 2010-09-16 2013-07-02 Google Inc. Apparatus and method for encoding using signal fragments for redundant transmission of data
CN102547411A (zh) * 2010-12-14 2012-07-04 康佳集团股份有限公司 流视频的传输和播放方法及其实现装置
US8751565B1 (en) 2011-02-08 2014-06-10 Google Inc. Components for web-based configurable pipeline media processing
US9014265B1 (en) 2011-12-29 2015-04-21 Google Inc. Video coding using edge detection and block partitioning for intra prediction
CN102572446B (zh) * 2012-01-10 2014-02-26 宁波大学 一种多视点视频整帧丢失错误隐藏方法
US9210424B1 (en) 2013-02-28 2015-12-08 Google Inc. Adaptive prediction block size in video coding
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
CN103475884B (zh) * 2013-09-12 2016-08-24 宁波大学 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
US9293119B2 (en) 2014-01-06 2016-03-22 Nvidia Corporation Method and apparatus for optimizing display updates on an interactive display device
US9383851B2 (en) 2014-01-06 2016-07-05 Nvidia Corporation Method and apparatus for buffering sensor input in a low power system state
US9804826B2 (en) 2014-12-05 2017-10-31 Nvidia Corporation Parallelization of random number generators
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
CN107682705B (zh) * 2017-09-26 2020-05-12 杭州电子科技大学 基于mv-hevc框架的立体视频b帧错误隐藏方法
CN108711153B (zh) * 2018-05-29 2021-09-14 北京小鸟科技股份有限公司 一种数字视频图像畸变检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0152018B1 (ko) * 1992-09-02 1998-10-15 윤종용 강제리프레쉬를 포함하는 dpcm 부호화방법
KR970003100B1 (ko) * 1993-08-31 1997-03-14 대우전자 주식회사 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법
JP3294510B2 (ja) * 1996-09-27 2002-06-24 シャープ株式会社 動画像符号化装置及び動画像復号装置
US6151636A (en) * 1997-12-12 2000-11-21 3Com Corporation Data and media communication through a lossy channel using signal conversion
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US7046910B2 (en) * 1998-11-20 2006-05-16 General Instrument Corporation Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
US6434195B1 (en) * 1998-11-20 2002-08-13 General Instrument Corporaiton Splicing of video data in progressively refreshed video streams
JP3840020B2 (ja) * 1999-12-14 2006-11-01 株式会社東芝 動画像符号化装置
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
JP2004532540A (ja) * 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474269B1 (ko) * 2002-03-09 2005-03-09 엘지전자 주식회사 동영상의 부호화 방법
KR20040035012A (ko) * 2002-10-18 2004-04-29 엘지전자 주식회사 동영상 코덱 및 이를 이용한 동영상 코덱의 에러방지방법
KR100926826B1 (ko) * 2003-06-30 2009-11-12 주식회사 케이티 비디오 비트열의 전송 오류에 대비하기 위한 변환부호장치 및 방법
KR100727994B1 (ko) * 2005-10-06 2007-06-14 삼성전자주식회사 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치

Also Published As

Publication number Publication date
KR100425676B1 (ko) 2004-04-03
US20020159525A1 (en) 2002-10-31
US6944223B2 (en) 2005-09-13

Similar Documents

Publication Publication Date Title
KR100425676B1 (ko) 비디오 전송 시스템의 에러 복구 방법
EP1657935B1 (en) Video coding
JP4644939B2 (ja) 動画像符号化装置および動画像符号化方法
US7693220B2 (en) Transmission of video information
KR100728587B1 (ko) 하이브리드 에러 은닉 방법
US10264254B2 (en) Image coding and decoding method, image data processing method, and devices thereof
US20110249127A1 (en) Estimating Video Quality Corruption in Lossy Networks
JP2008527811A (ja) 一連のフレームを予測的にコード化する装置
Wang et al. Error resilient video coding using unequally protected key pictures
Setton et al. Video streaming with SP and SI frames
JP2001156643A (ja) 画像符号化装置および方法
Chiou et al. Error-resilient transcoding using adaptive intra refresh for video streaming
JP3779066B2 (ja) 動画像符号化装置
Chon et al. Improving compressed video sign language conversations in the presence of data loss
MUSTAFA et al. ERROR RESILIENCE OF H. 264/AVC CODING STRUCTURES FOR DELIVERY OVER WIRELESS NETWORKS
AU2015268694B2 (en) Image coding and decoding method, image data processing method, and devices thereof
Gao et al. A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC
KR100961756B1 (ko) 적응적인 부가 영상 정보를 활용한 오류 강인 부호화 방법
Liu et al. Error-resilience packet scheduling for low bit-rate video streaming over wireless channels
Milani et al. Joint optimization of source-channel video coding using the H. 264 encoder and FEC codes
JP2000197055A (ja) 画像通信装置およびロ―カルデコ―ド処理方法
Siruvuri et al. Adaptive error resilience for video streaming
EP1648171A1 (en) A method of encoding and decoding of data packets using length field
Chuaywong et al. Aaptive quality control for real-time MPEG-4 video communications
Chuaywong et al. Adaptive quality control for multimedia communications.

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070221

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee