KR20040085181A - 움직임 벡터 특성에 기초한 비디오의 같지 않은 에러 보호 - Google Patents

움직임 벡터 특성에 기초한 비디오의 같지 않은 에러 보호 Download PDF

Info

Publication number
KR20040085181A
KR20040085181A KR10-2004-7012373A KR20047012373A KR20040085181A KR 20040085181 A KR20040085181 A KR 20040085181A KR 20047012373 A KR20047012373 A KR 20047012373A KR 20040085181 A KR20040085181 A KR 20040085181A
Authority
KR
South Korea
Prior art keywords
error protection
vectors
video stream
stream
video
Prior art date
Application number
KR10-2004-7012373A
Other languages
English (en)
Inventor
로버트 아. 코헨
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=27732578&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20040085181(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040085181A publication Critical patent/KR20040085181A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

본 발명에 따른 제 1 실시예에서, 데이터 송신 방법이 제공된다. 멀티미디어 스트림은 전자 매체를 통해 수신된다. 스트림 내에는 많은 벡터가 있다. 이 벡터들에 기초하여 복수의 에러 보호 유닛이 멀티미디어 스트림에 더해진다.

Description

움직임 벡터 특성에 기초한 비디오의 같지 않은 에러 보호{UNEQUAL ERROR PROTECTION OF VIDEO BASED ON MOTION VECTOR CHARACTERISTICS}
멀티 미디어는 네트워크로 송신될 수 있는 데이터 타입의 하나이다. 멀티 미디어는 텍스트, 그래픽, 음성 또는 비디오를 일컫는다. 대역폭을 더욱 효과적으로 사용하기 위하여 멀티 미디어는 네트워크로 송신될 때에 비트 스트림으로 압축된다. 일반적으로, 비디오(멀티 미디어의 한 타입인)는 프레임의 예측 코딩과 가변 길이 코드워드를 사용하는 압축 알고리듬을 사용한다. 이것은 고도의 압축을 얻는데 사용된다. 그러나, 예측 코딩이 시간적으로 비디오의 미래 프레임에 전파되는비디오의 재구성에 있어서 에러를 일으키기 때문에, 압축된 비디오 비트 스트림은 또한 송신시의 에러에 더 민감하게 된다. 또한, 가변 길이 코드워드의 사용은 디코더가 비트 에러의 존재시 인코더와의 동기를 잃게 할 수 있다. 네트워크를 통한 송신에 있어서 비트 스트림을 더욱 견고하게(robust) 하기 위해, 에러 보호는 비디오 스트림의 다른 부분에 더해진다.
비디오 송신의 한 방식은 MPEG을 가지고 이루어진다. MPEG 형식은 시간적인 방향으로 프레임에서 프레임으로의 움직임을 예측하고, 공간 방향으로의 임의의 중복(redundance)을 체계화하기 위해 DCT(Discrete Cosine Transform)를 사용함으로써, 비디오를 비디오 패킷으로 구성되는 비트 스트림으로 압축한다. 비디오 패킷은 헤더로 시작하고 이 다음에 움직임 정보, 텍스쳐(texture) 정보, 및 스터핑(stuffing) 비트가 뒤따른다. MPEG은 비디오를 I, P 또는 B 프레임들(Intra, Predicted 또는 Bidirectional frames)로 분할한다.
I 프레임들은 내부 코드화된다(intra coded). 즉, 다른 프레임들과의 아무런 관계없이 재구성될 수 있다. P 프레임들은 마지막 I 프레임이나 P 프레임으로부터 순방향으로 예측된다. B 프레임들은 마지막/다음 I 프레임이나 P 프레임으로부터 순방향 및 역방향으로 예측된다. I 프레임에 존재하는 물체(object)는 움직임 벡터에 의해 P 또는 B 프레임에서 예측된다. MPEG에서, 움직임 벡터들은 수평 및 수직 성분을 가지고, 이는 I 프레임으로부터 P 또는 B 프레임으로 물체에 관한 움직임의 크기와 방향을 보여준다.
압축된 비디오 스트림이 송신 중에 발생하는 에러들에 대해 좀더 견고하게되도록 하기 위해, 에러의 탐지, 억제, 및 숨김을 가능하게 하는 몇가지 에러 정정 도구들이 사용된다. 이러한 도구들은 재동기화 형성기, 헤더 확장 코드들, 데이터 분할, 및 가변 길이 코딩을 포함한다. MPEG 기반의 비디오는 비디오를 헤더, 움직임 벡터들, 및 DCT 값들과 같은 중요도가 다른 부분들로 분할함으로써 송신하는 동안 보호될 수 있다. 리드 솔로몬 이레이저(Reed Solomon Erasure) 코드 또는 피드백 기반의 보호 방식(예를 들어, 타입 Ⅰ 또는 Ⅱ 하이브리드 ARQ)이 또한 견고성을 개선하기 위해 비디오 부분들에 더해질 수 있다. 하지만, 에러 보호의 강도가 데이터 분할 타입에만 기초하므로, 이들 에러 보호 방법들은 데이터 스트림에 실제로 포함된 데이터를 무시한다. 이는 비디오 스트림의 중요하지 않은 부분들을 코딩하는데 있어서 오버헤드(overhead)의 증가를 초래한다.
컴퓨터는 네트워크, 예를 들어 클라이언트-서버 네트워크나 P2P 네트워크(peer-to-peer network)로 운용될 수 있다. 위 2가지 형식의 통신 네트워크에서 컴퓨터는 물리적으로 또는 무선 접속으로 서로 데이터를 교환한다. 물리적 접속(예를 들어, 구리선 또는 광섬유 케이블을 상호 연결하여)으로 송신된 데이터는 무선 접속으로(예를 들어, 라디오파 또는 적외선파) 송신된 데이터보다 에러율이 낮다. 예를 들어, 물리적 접속은 일반적으로 10-3보다 낮은 BER(bit error rate)을 가지는 한편, 무선 접속은 대략 10-1에서 10-3BER로 훨씬 혹독한 상태를 가진다.
도 1은 본 발명의 일 실시예의 블록도를 도시하는 도면.
도 2는 각각 물체를 포함하는, MPEG 비디오의 I 프레임, P 프레임, 및 B 프레임을 도시하는 도면.
도 3은 P와 B 프레임들에 존재하는 제 1 및 제 2 움직임 벡터를 도시하는 도면.
본 발명에 따른 제 1 실시예에는 데이터 송신 방법이 제공된다. 멀티미디어 스트림이 전자 매체를 통해 수신된다. 스트림 내에는 복수의 벡터들이 있다. 이 벡터들에 기초하여, 복수의 에러 보호 유닛들이 멀티미디어 스트림에 더해진다.
본 발명에 따른 제 2 실시예에는 데이터 송신 방법이 제공된다. 비디오 스트림이 전자 매체를 통해 수신된다. 스트림은 복수의 벡터들을 포함한다. 중요도가 벡터들에 할당된다. 이 중요도에 기초하여, 복수의 에러 보호 유닛들이 비디오 스트림에 더해진다. 또한, 중요도에 기초하여 비디오 스트림이 분할된다.
본 발명에 따른 제 3 실시예에는 데이터 송신 방법이 제공된다. 비디오 송신이 발생한다. 비디오 송신은 비디오 스트림으로 변환되고, 비디오 스트림은 복수의벡터들을 포함한다. 각 벡터들에 중요도가 할당된다. 이 중요도에 기초하여, 복수의 에러 보호 유닛들이 비디오 스트림에 할당된다. 또한, 이 중요도에 기초하여, 비디오 스트림이 분할된다.
본 발명의 제 4 실시예에는, 시스템이 제공된다. 움직임 벡터 추출기는 비디오 스트림으로부터 하나 또는 그 이상의 움직임 벡터들을 추출한다. 분석 소프트웨어 도구는 움직임 벡터들 각각에 중요도를 할당한다. 또한, 분석 소프트웨어 도구는 할당된 중요도에 기초하여 에러 보호를 추가하기 위해 에러 보호 제어기를 제어하고, 할당된 중요도에 기초하여 비디오 스트림을 분할하기 위해 비디오 스트림 분할기를 제어한다. 비디오 스트림 분할기는 비디오 스트림을 분할한다. 에러 보호 제어기는 에러 보호를 비디오 스트림에 더한다. 송신기는 비디오 스트림을 디바이스로 보낸다.
본 발명에 따른 일 실시예에서, 비디오는 인코드되거나 인코드된 포맷으로 네트워크를 통해 도착된다. 인코드된 비디오에 존재하는 움직임 벡터들이 제거된다. 움직임 벡터들이 분석된다. 이 분석에 기초하여, 에러 보호가 비디오 스트림에 더해지고, 이 비디오 스트림은 분할된다.
도 1은 본 발명의 일 실시예에 따른 시스템(1)의 블록도를 도시하는 도면이다. 비디오는 비디오 인코더(100)(예를 들어, 라이브 비디오)에 의해 인코드되거나 저장된 비디오 비트 스트림(예를 들어, 사전 압축된 비디오)으로서 도착한다. 특정 실시예에서, 저장된 비디오는 클라이언트 서버 네트워크에서 서버나 P2P 네트워크에 있는 동등 계층(peer)으로부터 도달할 수 있다.
인코드된 비디오나 저장된 비디오 스트림은 비디오 스트림으로부터 움직임 벡터들(MV들)이 추출되는 움직임-벡터 추출기(110)를 통과한다. 바람직하게, 움직임 벡터 추출기는 비트 스트림 파서(parser)로서 동작한다. 움직임 벡터들은 제시간에 P 프레임이나 B 프레임으로 진행할 때 I 프레임에 존재하는 물체의 움직임을 보여주기 위해, MPEG(예를 들어, MPEG-2와 MPEG-4)에서 사용된다. I, P, 및 B 프레임에서의 물체와 관련될 때의 움직임 벡터들이 도 3에 도시되어 있다.
그 다음, 움직임 벡터들은 분석 소프트웨어 도구(120)에서 분석된다. 특정 프레임들이나, 비디오 스트림을 포함하는 특정 프레임들의 부분들은 "중요함"이라는 라벨이 붙는 것이 바람직하다. 예를 들어, 특정 프레임들(예를 들어, 움직임 벡터들)의 어느 부분들이 가장 잃어버릴 것 같은지에 대한 예측이 이루어진다. 그러면, 그러한 부분들에 "중요함"이라는 라벨이 붙여질 수 있다.
인코드된 비디오는 비디오 스트림 분할기(130)에 의해 분할된다. 예를 들어, 비디오 스트림은 텍스쳐 데이터, 장면 데이터, 및/또는 움직임 데이터로 분할될 수있다. 분석 소프트웨어 도구(120)로부터 얻어진 결과들은 비디오 스트림에 대해 행해지는 분할의 타입을 제어하는데 사용될 수 있다. 예를 들어, 분석 소프트웨어 도구(120)는 프레임의 특정 섹션(예를 들어, 상부)에서의 물체들의 움직임을 탐지할 수 있다. 그러면, 미래의 프레임들이 분할되어 미래의 프레임들에서의 동일한 특정 섹션이 다른 섹션(예를 들어, 프레임의 하부)보다 더 많은 에러 보호를 수신한다.
에러 보호는 에러 보호 제어기(140)에 의해, 분석 소프트웨어 도구(120)로 얻어진 결과들에 기초한 비디오 스트림에 더해진다. 본질적으로, 에러 보호가 시퀀스 내부의 데이터에 의존하는 전체 비디오 시퀀스에 적용된다. 따라서, 대역폭은 중요하지 않은 비디오의 부분들 또는 타입들에 에러 보호를 적용함으로써 낭비되지 않는다. 또한, 대역폭은 에러 보호 없이 수신기에서 숨겨질 수 있었던 비디오의 부분들 또는 타입들에서 낭비되지 않는다. 예를 들어, 비디오 스트림이 패킷들로 분리될 때, UEP(unequal error protection; 같지 않은 에러 보호)가 분석에 기초한 데이터에 적용될 수 있다. 더 많은 에러 보호가 "중요함"이라는 라벨이 붙은 비디오 스트림의 부분들에 부가되는 것이 바람직하다. 예를 들어, "중요한" 구역들에서의 패킷들이나 MPEG 비디오 헤더들은 보다 양호한 에러 정정 코드(예를 들어, 리드-솔로몬 코드)의 형태로 더 많은 보호를 받거나 또는 비디오 스트림에서의 다른 곳에서 그 데이터 부분이 반복될 수 있다(중복). 본 발명의 또다른 실시예에서, 분석 소프트웨어 도구(120)는 인접한 구역을 탐지할 수 있거나 프레임들의 시퀀스에 걸쳐 선형으로 이동하는 "블롭(blob)"을 탐지할 수 있다. 그러면, 수신기(미도시)가 프레임들을 잃어버리는 것으로 인해 발생하는 선형 움직임 구역들에서의 에러들을 숨길 수 있으므로, 시스템(1)은 에러 보호의 레벨이나 프레임들의 시퀀스를 송신하는데 사용된 패킷들의 일부에 주어진 우선 순위를 감소시킬 수 있다.
분석 소프트웨어 도구(120)는 또한 특정 데이터 요소들을 그것들이 움직임 벡터들과 관련이 있을 때 계산할 수 있다. 예를 들어, 총 에너지(또는 분산) 데이터 요소, 평균 또는 분산 데이터 요소, 글로벌 방향 측정 요소, 인접 방향 데이터 요소(예를 들어, 프레임의 유사한 부분의 표현), 또는 랜덤 잡음 데이터 요소가 계산될 수 있다. 총 에너지 데이터 요소는 전체 프레임 필드에 존재하는 데이터 요소들의 순 합을 보여주는데 사용될 수 있다. 평균 또는 분산 데이터 요소는 특정 물체의 총 또는 지향성 움직임을 측정하는데 사용될 수 있다. 글로벌 방향 측정 데이터 요소는 카메라의 패닝(panning)을 가리키는데 사용될 수 있다. 전체 프레임이 동일한 방향으로 움직이는 복수의 데이터 요소들을 가질 때, 인접 방향 데이터 요소가 사용될 수 있다. 랜덤 잡음 데이터 요소는 "중요하지 않은" 잡음을 존재를 가리키는데 사용될 수 있다. 그러면, 에러 보호나 비디오 스트림의 분할은 얻어지는 데이터 요소들에 기초할 수 있다.
송신기(150)는 물리적 또는 무선 매체를 통해 하나 또는 그 이상의 디바이스(예를 들어, 수신기)에 비디오 스트림을 보낸다. 디바이스들은 네트워크 상에 위치하는 것이 바람직하다. 피드백 타입의 보호기가 사용되는 본 발명의 일 실시예에서, 네트워크로부터의 피드백을 다루기 위해서는 움직임 벡터 분석이 사용될 수 있다. 그러한 일 실시예에서, 송신기(150)는 분석기 소프트웨어 도구(120)로 비디오 스트림을 다시 보낼 수 있다. 피드백은 또한 주어진 에러 보호의 타입의 영향을 미치기 위해 사용될 수 있다. 예를 들어, 수신기(미도시)가 움직임이 분석 소프트웨어 도구(120)로 올바르게 재생되지 않음을(예를 들어, 에러로 인해) 가리키는 데이터를 피드백하면, 시스템(1)은 수신기로부터의 피드백과 스트림에서의 움직임 벡터들의 타입 모두에 기초하여 비디오 스트림에 주어진 보호 레벨을 증가시키거나 변경시킬 수 있다. 시스템(1)은 또한 피드백의 특정 타입들을 무시하기 위해 프로그램될 수 있다. 예를 들어, 수신기(미도시)가 패킷이 분실되었음을 탐지하여 도 1의 시스템(1)으로 재송신 요청을 보내면, 시스템(1)은 그 요청을 무시하도록 프로그램될 수 있다. 수신기는 에러를 숨기는데 있어 받아들일 수 있는 행위를 할 것이기 때문에, 요청이 무시될 수 있다. 따라서, 시스템(1)은 패킷을 재송신하지 않는다.
도 2는 각각 물체(300)를 포함하는 MPEG 비디오의 I 프레임(310), P 프레임(330), 및 B 프레임(320)을 보여준다. 알 수 있는 바와 같이, 물체(300)는 프레임들을 통해 오른쪽 아래쪽으로 움직인다.
도 3은 P 및 B 프레임들(330, 320)에 존재하는 제 1 및 제 2 움직임 벡터(400, 410)를 보여준다. 제 1 움직임 벡터(400)는 양의 수평 크기와 음의 수직 크기를 가진다. I 프레임(310)으로부터 P 프레임(330)으로의 물체(300)의 움직임을 예측하기 위해 제 1 움직임 벡터(400)가 사용된다. 제 2 움직임 벡터(410)는 음의 수평 크기와 양의 수직 크기를 가진다. 제 2 움직임 벡터(410)는 I 프레임(310)으로부터 B 프레임(320)으로의 물체(300)의 움직임을 예측하기 위해 사용된다. I 프레임(310)은 물체(300)가 I 프레임(310)으로 코드화되었기 때문에, 움직임 벡터를포함하고 있지 않다.
예를 들어, 물체나 관심점인 "유사한" 움직임 벡터들을 가지는 특정 구역들은 유사한 움직임 벡터들을 인식함으로써 프레임에서 인식될 수 있다. 예를 들어, 프레임은 모두 동일한 크기를 가지고 45°방향 위를 가리키는 움직임 벡터들의 한 세트를 포함할 수 있고, 이는 물체가 그 방향으로 움직이는 것을 나타낸다. 그 다음, 움직임 벡터들의 세트에 기초하여 데이터(예를 들어, 움직임 벡터들, 헤더들, 및 텍스쳐 데이터)에 에러 탐지나 정정 코드들을 더함으로써, 에러 보호가 구현될 수 있다.
앞선 설명부에서, 본 발명은 특정 예시적인 실시예들을 참조하여 설명되었다. 그러나, 후술하는 청구범위에 기재된 본 발명의 더 넓은 정신과 범위를 벗어나지 않으면서 다양한 수정과 변형이 이루어질 수 있음이 명백해질 것이다. 따라서, 상세한 설명과 도면들은 제한적인 의미라기보다는 예시적인 방식으로 고려되어야 한다.
본 발명은 전자 매체를 통해 수신되고, 복수의 벡터를 포함하는 멀티미디어 스트림과 같은 데이터를 송신하는데 있어서, 에러를 보호하는데 이용할 수 있다.

Claims (10)

  1. 데이터 송신 방법으로서,
    전자 매체를 통해, 복수의 벡터들을 포함하는 멀티미디어 스트림을 수신하는 단계와,
    상기 스트림은 상기 벡터들에 기초하여, 상기 멀티미디어 스트림으로 복수의 에러 보호 유닛을 부가하는 단계를 포함하는, 데이터 송신 방법.
  2. 제 1항에 있어서, 각 벡터에 중요도를 할당하는 단계를 더 포함하고, 상기 부가하는 단계는 상기 중요도에 기초하여 상기 에러 보호 유닛을 부가하는 단계를 더 포함하는, 데이터 송신 방법.
  3. 제 1항에 있어서, 전자 매체를 통해 상기 에러 보호 유닛을 가진 상기 멀티미디어 스트림을 송신하는 단계를 더 포함하는, 데이터 송신 방법.
  4. 제 1항에 있어서, 상기 멀티미디어 스트림은 비디오 스트림인, 데이터 송신 방법.
  5. 제 1항에 있어서, 상기 멀티미디어 스트림은 MPEG 포맷인, 데이터 송신 방법.
  6. 제 1항에 있어서, 상기 벡터들은, 총 에너지(또는 변동) 데이터 요소, 평균 또는 변동 데이터 요소, 글로벌 방향 측정 데이터 요소, 및 복수의 작은 랜덤 움직임 데이터 요소들로 이루어지는 그룹으로부터 하나 또는 그 이상의 데이터 요소들을 형성하기 위해 사용되고, 상기 에러 보호 유닛은 상기 데이터 요소들에 기초하여 상기 멀티미디어 스트림에 부가되는, 데이터 송신 방법.
  7. 제 1항에 있어서, 한 방향에 기초한 벡터들로부터 복수의 유사한 벡터들을 선택하는 단계와 상기 유사한 벡터들에 기초하여 에러 보호 유닛을 부가하는 단계를 더 포함하는, 데이터 송신 방법.
  8. 제 1항에 있어서, 상기 벡터들에 기초하여 상기 멀티미디어 스트림에 UEP(unequal error protection)를 부가하는 단계를 더 포함하는, 데이터 송신 방법.
  9. 시스템으로서,
    비디오 스트림으로부터 하나 또는 그 이상의 움직임 벡터들을 추출하는 움직임-벡터 추출기;
    상기 비디오 스트림을 분할하는 비디오 스트림 분할기;
    상기 비디오 스트림에 에러 보호를 부가하는 에러 보호 제어기;
    상기 움직임 벡터들 각각에 중요도를 할당하고, 상기 할당된 중요도에 기초하여 에러 보호를 부가하도록 상기 에러 보호 제어기를 제어하며, 상기 할당된 중요도에 기초하여 상기 비디오 스트림을 분할하기 위해 상기 비디오 스트림 분할기를 제어하는 분석 소프트웨어 도구; 및
    상기 비디오 스트림을 디바이스에 보내는 송신기를 포함하는, 시스템.
  10. 컴퓨터를 제어하도록 동작하는 컴퓨터 실행 가능한 처리 단계들을 내부에 저장한 컴퓨터 판독 가능한 매체로서, 상기 단계는
    전자 매체를 통해 복수의 벡터들을 포함하는 멀티미디어 스트림을 수신하는 단계와,
    상기 벡터들에 기초하여 상기 멀티미디어 스트림에 복수의 에러 보호 유닛을 부가하는 단계를 포함하는, 컴퓨터 판독 가능한 매체.
KR10-2004-7012373A 2002-02-15 2003-02-12 움직임 벡터 특성에 기초한 비디오의 같지 않은 에러 보호 KR20040085181A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/077,059 2002-02-15
US10/077,059 US6952450B2 (en) 2002-02-15 2002-02-15 Unequal error protection of video based on motion vector characteristics
PCT/IB2003/000541 WO2003069916A1 (en) 2002-02-15 2003-02-12 Unequal error protection of video based on motion vector characteristics

Publications (1)

Publication Number Publication Date
KR20040085181A true KR20040085181A (ko) 2004-10-07

Family

ID=27732578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7012373A KR20040085181A (ko) 2002-02-15 2003-02-12 움직임 벡터 특성에 기초한 비디오의 같지 않은 에러 보호

Country Status (9)

Country Link
US (1) US6952450B2 (ko)
EP (1) EP1479244B1 (ko)
JP (1) JP2005518162A (ko)
KR (1) KR20040085181A (ko)
CN (1) CN1633813B (ko)
AT (1) ATE412312T1 (ko)
AU (1) AU2003202789A1 (ko)
DE (1) DE60324255D1 (ko)
WO (1) WO2003069916A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180035140A (ko) * 2016-09-26 2018-04-05 삼성디스플레이 주식회사 비디오 송신 방법 및 데이터 송신기

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676722B2 (en) * 2004-03-31 2010-03-09 Sony Corporation Multimedia content delivery using pre-stored multiple description coded video with restart
FR2875974A1 (fr) * 2004-09-28 2006-03-31 Thomson Licensing Sa Procede et dispositif de codage d'une sequence d'images sources
CN1845611A (zh) * 2005-04-08 2006-10-11 华为技术有限公司 基于h.264的视频传输保护方法
JP2008546238A (ja) * 2005-05-19 2008-12-18 ノキア コーポレイション Ｄｖｂ−ｈ送信システムにおいてプライオリティ表示されたデータグラムに不等のエラー保護を与えるシステム及び方法
CN1984332B (zh) * 2005-12-14 2010-05-26 财团法人工业技术研究院 数据及图像编码之方法与系统
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
KR101509257B1 (ko) 2008-03-18 2015-04-08 한국전자통신연구원 광대역 고주파수 무선 시스템에서 다양한 형태의 비압축 동영상 신호 전송을 위한 차별적 오류 보호 방법 및 그 장치
US8520726B2 (en) 2008-03-18 2013-08-27 Electronics And Telecommunications Research Institute Method and apparatus for unequal error protection in transmitting uncompressed video with various type over wideband high frequency wireless system
JP5142828B2 (ja) 2008-05-29 2013-02-13 キヤノン株式会社 送信装置、送信方法及びプログラム
JP5344541B2 (ja) * 2008-06-03 2013-11-20 キヤノン株式会社 データ送信装置、送信方法及びプログラム
US8804821B2 (en) * 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
US8838680B1 (en) 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US10034023B1 (en) 2012-07-30 2018-07-24 Google Llc Extended protection of digital video streams
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US10075671B2 (en) 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
US10523895B2 (en) 2016-09-26 2019-12-31 Samsung Display Co., Ltd. System and method for electronic data communication

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1333420C (en) * 1988-02-29 1994-12-06 Tokumichi Murakami Vector quantizer
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
DE69736661D1 (de) * 1997-01-31 2006-10-26 Victor Company Of Japan Vorrichtung zur Videocodierung und -decodierung mit Bewegungskompensation
US6141448A (en) * 1997-04-21 2000-10-31 Hewlett-Packard Low-complexity error-resilient coder using a block-based standard
DE19828712A1 (de) 1998-06-29 1999-12-30 Bosch Gmbh Robert Verfahren zur Einbindung von audiovisueller codierter Information
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
US6519004B1 (en) * 1998-10-09 2003-02-11 Microsoft Corporation Method for transmitting video information over a communication channel
US6223324B1 (en) 1999-01-05 2001-04-24 Agere Systems Guardian Corp. Multiple program unequal error protection for digital audio broadcasting and other applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180035140A (ko) * 2016-09-26 2018-04-05 삼성디스플레이 주식회사 비디오 송신 방법 및 데이터 송신기

Also Published As

Publication number Publication date
JP2005518162A (ja) 2005-06-16
EP1479244B1 (en) 2008-10-22
WO2003069916A1 (en) 2003-08-21
EP1479244A1 (en) 2004-11-24
AU2003202789A1 (en) 2003-09-04
CN1633813A (zh) 2005-06-29
US6952450B2 (en) 2005-10-04
US20030156645A1 (en) 2003-08-21
DE60324255D1 (de) 2008-12-04
CN1633813B (zh) 2010-09-01
ATE412312T1 (de) 2008-11-15

Similar Documents

Publication Publication Date Title
KR20040085181A (ko) 움직임 벡터 특성에 기초한 비디오의 같지 않은 에러 보호
KR100932692B1 (ko) 가변 레이트 변조를 사용하는 비디오의 전송
KR101125846B1 (ko) 패킷 기반의 영상 프레임 전송 방법 및 장치
JP5463733B2 (ja) 動画像データの符号変換伝送システム及び符号伝送方法
US9210436B2 (en) Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus
US20060188025A1 (en) Error concealment
CN101729898A (zh) 视频编码、解码方法与视频编码、解码装置
Stockhammer et al. Video coding and transport layer techniques for H. 264/AVC-based transmission over packet-lossy networks
Pham et al. Motion-energy-based unequal error protection for H. 264/AVC video bitstreams
EP1961232B1 (en) Feedback and frame synchronization between media encoders and decoders
Lee et al. Adaptive UEP and packet size assignment for scalable video transmission over burst-error channels
US7603610B2 (en) Coding a video data stream with unequal error protection based activity
US7583693B2 (en) Signal coding
Argyropoulos et al. Robust transmission of multi-view video streams using flexible macroblock ordering and systematic LT codes
US7627184B2 (en) Content distribution/reception device, content transmission/reception method, and content distribution/reception program
Wang et al. Error resilient video coding using flexible reference frames
JPWO2003092295A1 (ja) 動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラム
Soldani et al. Multiple description coding versus transport layer FEC for resilient video transmission
JP4182347B2 (ja) 画像データ通信システム及び画像データ通信方法
KR101703133B1 (ko) 실시간 소스-채널 복합부호화 방법 및 그 장치
WO2002019709A1 (en) Dual priority video transmission for mobile applications
Madhavi et al. Unequal error protection of embedded multimedia objects for packet-erasure channels
Wang et al. Error resilient video coding with tree structure motion compensation and data partitioning
WO2001015458A2 (en) Dual priority video transmission for mobile applications
KR100418482B1 (ko) 동영상 복호시의 오류 은닉을 위한 움직임 벡터 정보의제공 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid