KR101125846B1 - 패킷 기반의 영상 프레임 전송 방법 및 장치 - Google Patents

패킷 기반의 영상 프레임 전송 방법 및 장치 Download PDF

Info

Publication number
KR101125846B1
KR101125846B1 KR1020070028871A KR20070028871A KR101125846B1 KR 101125846 B1 KR101125846 B1 KR 101125846B1 KR 1020070028871 A KR1020070028871 A KR 1020070028871A KR 20070028871 A KR20070028871 A KR 20070028871A KR 101125846 B1 KR101125846 B1 KR 101125846B1
Authority
KR
South Korea
Prior art keywords
frame
inter prediction
error
error correction
data
Prior art date
Application number
KR1020070028871A
Other languages
English (en)
Other versions
KR20080086764A (ko
Inventor
권세안
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070028871A priority Critical patent/KR101125846B1/ko
Priority to US11/876,951 priority patent/US8233539B2/en
Priority to CN2008100881329A priority patent/CN101272495B/zh
Publication of KR20080086764A publication Critical patent/KR20080086764A/ko
Application granted granted Critical
Publication of KR101125846B1 publication Critical patent/KR101125846B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H03M13/356—Unequal error protection [UEP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

본 발명은 패킷 기반의 영상 프레임의 전송 방법에 관한 것으로, 입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 부호화하고, 부호화된 인트라 또는 인터 예측 프레임에 대하여 서로 다른 오류 내성 알고리즘을 적용하고, 적용된 오류 내성 알고리즘에 따라 프레임에 전방향 오류 정정을 수행하여, 영상 프레임 전송에서 프레임의 특성에 맞는 최적화된 오류 정정 처리를 할 수 있고, 따라서 모바일 환경에서 보다 간단하면서도 효율적으로 에러에 강인한 영상 스트리밍 서비스를 구현할 수 있다.

Description

패킷 기반의 영상 프레임 전송 방법 및 장치{Method for transmitting image frame data based on packet system and apparatus thereof}
도 1은 종래 기술에 따른, 영상 프레임 전송 방법을 나타내는 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른, 패킷 기반의 영상 프레임 전송 방법을 설명하기 위한 플로우 차트이다.
도 3은 주기적인 참조 매크로블록을 포함하는 P 프레임을 나타내는 도면이다.
도 4는 네트워크 추상 계층의 헤더 데이터 구조를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 패킷 기반의 영상 프레임 전송 방법을 구체적으로 설명하기 위한 플로우 차트이다.
도 6은 본 발명의 일 실시예에 따른, I/P 프레임에 오류 내성 알고리즘이 적용된 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른, I 프레임에 전방향 오류 정정을 수행한 예를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른, P 프레임에 전방향 오류 정정을 수행한 예를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른, P 프레임에 전방향 오류 정정을 수행한 예를 나타내는 도면이다.
도 10은 본 발명의 다른 실시예에 따른, 영상 프레임의 패킷 기반 전송 장치를 설명하기 위한 기능 블록도이다.
본 발명은 패킷 기반의 영상 프레임 전송 방법 및 장치에 관한 것으로, 보다 구체적으로는 입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 서로 다른 오류 내성 알고리즘을 적용하고 각각의 프레임에 전방향 오류 정정을 수행하는 영상 프레임 전송 방법 및 그 장치에 관한 것이다.
유무선 네트워크 환경에서 특히, 무선 네트워크인 경우에 동영상 스트리밍은 통신 채널이 시간에 따라 변하고, 버스트 에러(burst error)가 빈번히 일어나기 때문에, 동영상 화질에 대한 QoS(Quality of Service) 및 QoE(Quality of Experience)의 보장이 어렵다.
또한 일반적으로 정해진 시간 내에 입력을 받아들이고 출력을 내고, 외부와 상호작용을 하는 등의 시스템 작동이 시간적인 특성에 좌우되는 실시간 시스템(real-time system) 스트리밍에서는 동영상이 수신 단말에서 표현(presentation)될 수 있는 시간이 한정되어 있으므로 일반적으로 재전송(ARQ)에 의한 QoS의 보장 또한 어렵다.
따라서, 에러 채널(error channel) 환경에서 A/V를 전송하는데 있어서 에러에 강인하게 하는 다양한 방법이 논의되고 있으며, 특히 모바일 환경(IPTV, mobile TV 등 IP network을 기반으로 비디오 스트림을 전송하는 모든 분야)에서는 이는 시대적인 요구 사항이 되고 있다.
패킷 기반의 네트워크 환경에서, 전방향 오류 정정(FEC: Forward Error Correction)은 전송 데이터에서 발생한 오류의 검출뿐만 아니라 수정도 가능하도록 부호화하여 수신 측에서 오류 수정을 할 수 있도록 하는 방식으로, 일반적으로 네트워크 환경에서 오류가 발생한 경우 수신단은 재전송(ARQ)을 요구하게 되나, 스트리밍(streaming)과 같이 대부분의 A/V 데이터는 RTP/UDP로 데이터 전송을 하기 때문에 재전송을 할 수 없는 상황이 발생한다. 만약 재전송을 하더라도 화면에 표시해 주어야 하는 시간보다 패킷이 늦게 도착하면 그 패킷은 손실된 것과 같은 결과가 된다. 이와 같이 재전송이 부적절한 경우에 전방향 오류 정정 방식을 취한다.
도 1은 종래 기술에 따른, 영상 프레임 전송 방법을 나타내는 기능 블록도이다.
도 1을 참조하면 송신단(110)과 수신단(120)의 네트워크 시스템에 있어서, 송신단(110)은 소스 영상(111)이 입력되면 영상 인코더(112)에서 부호화하고, 부호화된 영상 데이터를 전송하기 위해 이를 패킷처리부(113)에서 RTP 패킷화한다. 다음으로 FEC 처리부(114)가 오류 정정에 필요한 코드 등을 삽입하는 작업을 수행하고, 최종적으로 네트워크 인터페이부(115)를 통해 외부로 전송된다. 이와 같은 과정과 반대의 과정으로, 수신단(120)에서는 네트워크 인터페이스부(121), FEC 처리 부(122), 패킷처리부(123), 영상 디코더(124)의 순서로 프로세스가 이루어지고, 최종적으로 디스플레이부(125)를 통해 영상 데이터는 재생된다.
이때, 송신단(110)에서 영상 인코더(112)는 인접한 N개의 영상 데이터 블록에 대해 움직임을 예측하고, 네트워크 채널 환경을 보고 받아 인트라 갱신(intra-updating) 비율을 조절할 수 있다. 인트라 갱신이란, 전송된 프레임간에 에러가 전파(propagation)되는 것을 막기 위해 일부 매크로블록에 대해 인트라 부호화(intra coding)를 수행하는 기법이다.
또한, FEC 처리부(114)는 프레임간 움직임과 채널 환경을 보고받아 FEC 부호화 방식을 결정할 수 있다. 종래의 전송 방법에서는 비트율(bit-rate), 패킷손실율(packet loss rate), 버스트 에러(burst error) 길이에 따라 미리 결정된 동작 테이블(operating table)을 이용하여 고정된 인트라 갱신 비율과 FEC 방식을 적용하였다.
이러한 종래 기술에는 몇 가지 문제점이 있는데, 먼저 종래 기술은 비디오 인코더, 특히 H.264에 적용되는 오류 내성(error resilient) 기법을 고려하지 않고 있다는 점이다. 참고로, 이러한 오류 내성 알고리즘은 여분의 데이터를 슬라이스 단위로 전송하는 redundant slice, 사전 정의된 규칙에 따라 인트라 부호화가 수행되는 intra refresh, 오류가 생긴 매크로블록과 유사한 매크로블록이 참조 영상에 있다면 해당 매크로블록을 포함하는 픽처를 이용해 복원하는 spare picture, 하나의 픽처를 8개 이하의 슬라이스 그룹으로 나누는 FMO(Flexible Macroblock Ordering), 복수의 참조 영상 중 선택하여 오류 전파를 방지하는 multiple reference picture, 오류 확률을 기반으로 잡음의 전파과정을 모델링하는 기법의 draft noise modeling, 부호기에서 복수개의 복호기를 가정하여 통계적으로 오류를 계산하는 multiple decoder 등이 있다.
다음으로 비디오 데이터 전송에서 일반적으로 GOP(Group Of Pictures)의 구조는 I 프레임 다음에 다수의 P 프레임이 위치하는 방식으로, 특정 간격마다 I 프레임이 들어가는데, 여기서 I 프레임과 P 프레임은 그 속성이 전혀 다르므로 이에 최적화하여 오류 정정 처리를 수행할 필요가 있다는 점이다.
마지막으로 기존 방식에서는 실시간(real-time) 전송에 초점을 맞추고 있기 때문에 VOD(video on demand)와 같이 미리 저장되어 있는 컨텐츠에 적용하기에는 무리가 있고, 반대로 VOD에만 초점이 맞춰져 있는 경우는 네트워크 환경에서 적응적으로 FEC를 적용하는데 문제가 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위하여 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 서로 다른 오류 내성 알고리즘을 적용하고, 각각의 프레임에 전방향 오류 정정을 수행하여 적응적으로 오류 정정된 영상 프레임의 전송 방법 및 장치를 제공하는 것이다.
상기 기술적 과제는 본 발명에 따라, 패킷 기반의 영상 프레임 전송 방법에 있어서, 입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 부호화하는 단 계와 상기 부호화된 인트라 또는 인터 예측 프레임에 대하여 서로 다른 오류 내성(error resilience) 알고리즘을 적용하는 단계와 상기 적용된 오류 내성 알고리즘에 따라 상기 프레임에 전방향 오류 정정(FEC: Forward Error Correction)을 수행하는 단계를 포함하는 것을 특징으로 하는 전송 방법에 의해 달성된다.
상기 입력된 영상을 인트라 예측 프레임으로 부호화하는 경우에, 상기 오류 내성 알고리즘은 유연한 매크로블록 순서(FMO: Flexible Macroblock Ordering) 방식인 것이 바람직하며, 상기 전방향 오류 정정을 수행하는 단계는, 선형 블록 코드(RS code: Reed-Solomon code)를 삽입하고, 상기 선형 블록 코드는 상기 프레임이 전송될 때의 패킷의 버스트 에러(burst error) 개수, 전송 대역폭(bandwidth) 또는 상기 패킷의 에러율(error rate)에 따라 결정되는 것이 바람직하다.
상기 입력된 영상을 인터 예측 프레임으로 부호화하는 경우에, 상기 오류 내성 알고리즘은 데이터 분할(DP: Data Partitioning) 방식인 것이 바람직하며, 상기 전방향 오류 정정을 수행하는 단계는, 상기 인터 예측 프레임의 움직임 변화량을 계산하는 단계와 상기 계산된 움직임 변화량에 따라 상기 인터 예측 프레임 내에 전방향 오류 정정을 수행하는 단계와 상기 인터 예측 프레임을 포함하는 복수개의 인터 예측 프레임에 대하여 각각의 상기 데이터 분할에 전방향 오류 정정을 수행하는 단계를 더 포함하는 것이 바람직하다.
본 발명의 다른 분야에 따르면, 상기 목적은 영상 프레임의 패킷 기반 전송 장치에 있어서, 입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 부호화하는 영상 인코더와 상기 인코더에서 부호화된 인트라 또는 인터 예측 프레임에 대 하여 서로 다른 오류 내성 알고리즘을 적용하는 전처리부와 상기 전처리부로부터 입력 받은 프레임에 전방향 오류 정정을 수행하는 후처리부를 포함하는 것을 특징으로 하는 전송 장치에 의해서도 달성된다.
상기 영상 인코더에서 입력된 영상을 인트라 예측 프레임으로 부호화하는 경우에, 상기 전처리부의 상기 오류 내성 알고리즘은 유연한 매크로블록 순서 방식인 것이 바람직하다.
상기 후처리부에서 상기 전처리부로부터 입력 받은 프레임에 선형 블록 코드를 삽입하고, 상기 선형 블록 코드는 상기 프레임이 전송될 때의 패킷의 버스트 에러 개수, 전송 대역폭 또는 상기 패킷의 에러율에 따라 결정되는 것이 바람직하다.
상기 영상 인코더에서 상기 입력된 영상을 인터 예측 프레임으로 부호화하는 경우에, 상기 전처리부의 오류 내성 알고리즘은 데이터 분할 방식인 것이 바람직하다.
상기 전처리부의 데이터 분할 방식은, 상기 인터 예측 프레임의 움직임 벡터값을 포함하는 제1 데이터 분할, 인트라 예측의 잔차값을 포함하는 제2 데이터 분할 및 인터 예측의 잔차값을 포함하는 제3 데이터 분할로 분류되는 것이 바람직하다.
상기 후처리부는, 상기 인터 예측 프레임의 움직임 변화량을 계산하는 움직임 변화량 계산부와 상기 계산된 움직임 변화량에 따라 상기 인터 예측 프레임 내에 전방향 오류 정정을 수행하는 제1 오류 정정부와 상기 인터 예측 프레임을 포함하는 복수개의 인터 예측 영상 프레임에 대하여 각각의 상기 데이터 분할에 전방향 오류 정정을 수행하는 제2 오류 정정부를 더 포함하는 것이 바람직하다.
상기 움직임 변화량 계산부는, 상기 인터 예측 프레임 내에서 0이 아닌 움직임 벡터를 갖는 매크로블록의 수, 상기 인터 예측 프레임 내의 매크로블록의 움직임 벡터의 평균값 및 상기 인터 예측 프레임의 패킷 크기값 중 적어도 어느 하나로부터 상기 움직임 변화량을 계산하는 것이 바람직하다.
상기 제1 오류 정정부는, 상기 인터 예측 프레임의 움직임 변화량이 소정의 임계값보다 큰 경우에 오류 정정을 수행하고, 상기 제2 오류 정정부는, 상기 복수개의 인터 예측 영상 프레임 중에서 상기 소정의 임계값보다 큰 움직임 변화량을 갖는 프레임의 수, 상기 복수개의 인터 예측 프레임 내의 매크로블록의 움직임 벡터의 평균값 및 상기 인터 예측 프레임의 패킷 크기값 중 적어도 어느 하나로부터 결정되는 선형 블록 코드에 기초하여 오류 정정을 수행하는 것이 바람직하다.
아울러 상기 제2 오류 정정부는, 상기 제1 데이터 분할에 대하여 최우선적으로 강인한 오류 정정을 수행하는 것이 바람직하다.
나아가, 본 발명에 따른 패킷 기반의 영상 프레임 전송 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른, 패킷 기반의 영상 프레임 전송 방법을 설명하기 위한 플로우 차트이다.
먼저 개괄적으로 본 발명의 전송 방법을 살펴보면, 입력된 영상을 인트라 또 는 인터 예측 프레임으로 구분하여 부호화하고(210), 이렇게 부호화된 인트라 또는 인터 예측 프레임에 대하여 서로 다른 오류 내성(error resilience) 알고리즘을 적용한 후(220), 단계 220에서 적용된 오류 내성 알고리즘의 종류에 따라 상기 프레임에 전방향 오류 정정(FEC: Forward Error Correction)을 수행하게 된다. 즉, 부호화되는 영상 데이터가 인트라 예측 프레임인지, 인터 예측 프레임인지에 따라 위에서 언급한 H.264에서 적용할 수 있는 오류 내성 알고리즘을 달리 적용하고, 아울러 이렇게 인트라 또는 인터 예측 프레임으로서 속성이 다른 각각의 프레임에 맞게 전방향 오류 정정(FEC)를 수행하게 된다. 각 인트라/인터 예측 프레임에 대한 오류 내성 알고리즘 및 전방향 오류 정정의 동작 과정은 아래에서 후술한다.
도 3은 주기적인 참조 매크로블록을 포함하는 P 프레임을 나타내는 도면이다.
본 발명에서 인트라 예측 프레임은 I 프레임이며, 인터 예측 프레임은 P 프레임 또는 B 프레임을 포함할 수 있으나, 이하에서 설명의 용이함을 위해 인터 예측 프레임은 P 프레임인 경우만을 예시하여 설명한다.
부호화된 프레임의 GOP 구조상 I 프레임 뒤에 P 프레임이 연속적으로 나오므로, 이전 프레임으로부터 예측을 하는 P 프레임에서 발생한 에러는 다음 I 프레임이 나오기 전까지 계속해서 전파(propagation)된다. 이를 방지하기 위해 여러 가지 방법이 존재하는데, 여기서는 P 프레임에 주기적으로 일정수의 인트라 매크로블록을 삽입하는 방법과 주기적으로 일정수의 매크로블록은 바로 이전 프레임이 아닌 다른 프레임으로부터 예측을 하는 방법 둘 중 하나를 사용할 것을 제안한다.
도 3에서 시간상의 순서로 I 프레임(310)과 P 프레임들(320 내지 360)이 나타나 있는데, 일반적으로 P 프레임(320, 340, 360)은 바로 이전 I 프레임 또는 P 프레임을 참조하나, 일정수의 매크로블록은 바로 이전 프레임이 아닌 다른 프레임을 참조할 수 있다는 것을 알 수 있다(330, 350).
도 4는 네트워크 추상 계층의 헤더 데이터 구조를 나타내는 도면이다.
네트워크 추상 계층(NAL: Network Abstraction Layer)의 유닛에는 1byte로 구성된 도 4와 같은 헤더(header)가 존재한다.
error_flag(410)는 NAL 유닛의 에러를 체크하는 비트로 항상 0이어야 한다.
nal_ref_idc(420)는 임의로 NAL 유닛의 중요도에 따라 우선순위를 줄 수 있는 필드이다. 예를 들어, SPS(sequence parameter set), PPS(picture parameter set)과 같이 중요한 NAL에는 nal_ref_idc(420) 값을 "b11"로 설정하여 최우선순위임을 나타내고, IDR(I-frame)과 후술할 제1 데이터 분할(data partitioning A) NAL에는 "b10"을, 제2 데이터 분할(data partitioning B) 및 제3 데이터 분할(data partitioning C)에는 "b01"을 할당하여 우선순위를 정할 수 있다.
nal_unit_type(430)은 NAL의 종류가 어떤 것인지를 알려 주는 필드로, H.264 표준에 정의되어있는 값을 사용한다. 예를 들어 IDR은 "5", 제1 내지 제3 데이터 분할(data partitioning A,B,C)은 각각 "2", "3", "4"이다.
이렇게 NAL 헤더만 분석하더라도 어떤 종류의 데이터인지를 알 수 있으므로, 오류 정정 과정에 있어서 각 데이터의 종류에 맞게 적응적으로 작업을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른, 패킷 기반의 영상 프레임 전송 방법을 구체적으로 설명하기 위한 플로우 차트이다.
도 5를 참조하면, 소스 영상이 입력(510)되면 부호화 과정을 수행함에 있어서, 입력된 영상을 인트라 또는 인터 예측 방식으로 부호화하게 된다(520).
참고로, I 프레임은 전후의 화면과는 관계없이 그 화면 내에서 독립적으로 부호화하여 얻어진 프레임이다. 즉, 다른 참조 영상으로부터 예측코딩을 하지 않은 프레임이다. 따라서 I 프레임은 하나의 프레임내에 있는 정보만을 이용하여 부호화되기 때문에 영상의 전송과 에러은닉(error concealment)도 이에 맞추어 이루어져야 한다. H.264에서 이런 특성을 반영할 수 있는 기법은 FMO(flexible macroblock ordering)이다. FMO는 영상을 매크로블록 단위로 여러 조각으로 나누어 코딩하기 때문에, 영상의 상관관계를 고려하여 분리하면 나중에 에러가 발생 하더라도 이를 은닉하기가 쉽다. 또한 I 프레임은 데이터의 정보량이 많기 때문에, 여러 조각으로 나누어야 MTU(maximum transper unit) 크기에 맞출 수 있다. FMO기법으로는 하나의 프레임을 최대 8개의 그룹으로 나눌 수 있는데, 만약 8개의 그룹으로 나누어도 데이터 크기가 MTU 보다 크다면 하나의 슬라이스당 매크로블록의 개수를 제한하는 방식으로 다시 슬라이스를 분리할 수 있다. H.264에서는 이렇게 나누어진 데이터를 NAL(network abstraction layer) 유닛으로 코딩한다. 이렇게 코딩된 NAL은 뒤에 RTP 패킷을 통하여 네트워크로 전송된다.
　 P 프레임은 이전 영상과 현재영상과의 차이를 이용하여 예측코딩을 하기 때문에, P 프레임에 있어서 움직임 벡터(motion vector)는 중요한 요소이다. H.264 에서 이런 특성을 반영할 수 있는 기법은 데이터 분할(data partitioning)인데, 이를 적용하면 하나의 프레임이 3개의 NAL 단위로 나뉘어진다. 구체적으로 살펴보면, 움직임 벡터와 기타 헤더정보에 해당하는 데이터를 포함하는 제1 데이터 분할(data partitioning A), 인트라 매크로블록의 잔차값(residual value)로 구성되는 제2 데이터 분할(data partitioning B), 인터 매크로블록의 잔차값으로 구성되는 제3 데이터 분할(data partitioning C)로 나뉘어진다.
따라서 단계 530에서는, 상기 단계 520에서의 판단결과 I 프레임과 같은 인트라 예측 프레임으로 부호화하는 경우에 전처리 과정을 수행하는데, 오류 내성 알고리즘(error resilience)으로 유연한 매크로블록 순서(FMO) 방식을 적용한다. 적용결과, I 프레임은 예를 들어 8개(k=7)의 슬라이스로 나뉘고, 이후 단계 540에서 전방향 오류 정정 처리로서, 선형 블록 코드(R-S code: Reed-Solomon code)을 삽입하게 된다.
R-S code는 리드(Reed)와 솔로몬(Solomon)이 제안한 군집 형태의 오류를 정정할 수 있는 비(非)이진 BCH 부호의 하나로, R-S(n, k, t) = R-S(204, 188, 8) 리드 솔로몬 부호는 입력이 k=188바이트일 때 n-k=16바이트를 붙여 전송하면 t=8바이트의 오류를 완벽하게 정정함을 나타낸다. 연집 오류(burst error) 정정이 뛰어나 이동 통신 시스템, 대역 확산 시스템, 메모리와 같은 디지털 저장 매체의 오류 정정에 널리 적용되고 있으며, DVB(device video broadcast)에서는 전송 표준으로 채택된 전방형 오류 정정 방식이다. 이러한 선형 블록 코드(R-S code)는 상기 프레임이 전송될 때의 패킷의 버스트 에러(burst error) 개수, 전송 대역폭(bandwidth) 또는 상기 패킷의 에러율(error rate)에 따라 결정되어 진다.
인트라 예측 프레임에 대하여 상기 설명한 바와 같이, FMO가 적용되고 R-S 코드가 삽입된 결과는 이하 도 6 및 도 7에서 살펴본다.
한편, 단계 520의 판단 결과, 입력 영상을 인터 예측 프레임으로 부호화하는 경우에 오류 내성 알고리즘은 데이터 분할(DP: Data Partitioning) 방식을 적용한다(550). 따라서 상술한 바와 같이, P 프레임은 움직임 벡터와 기타 헤더정보에 해당하는 데이터를 포함하는 제1 데이터 분할(data partitioning A), 인트라 매크로블록의 잔차값(residual value)로 구성되는 제2 데이터 분할(data partitioning B), 인터 매크로블록의 잔차값으로 구성되는 제3 데이터 분할(data partitioning C)로 나뉘어진다(560).
이렇게 나뉘어진 각 데이터 분할에 대하여, 전방향 오류 정정을 수행하기 위해 해당 P 프레임의 움직임 변화량의 많고 적음을 알 필요가 있다(570). 이렇게 움직임 변화량에 대한 정보가 필요한 이유는, P 프레임이 움직임 예측(motion estimation)을 기본으로 하는 인터 프레임 예측 부호화 방식으로 얻어지기 때문이다. 따라서 가장 중요한 정보가 움직임 벡터(motion vector)에 대한 정보이다. 움직임 변화량에 대하여, 움직임이 적은 프레임은 데이터가 손실되어도 실제 사용자의 눈에 띄지 않도록 하는 에러 은닉이 용이하나, 움직임이 클수록 에러 은닉은 힘들어진다. 따라서 움직임 변화량을 계산하여 다음 동작 과정인 오류 정정에 이용하여야 이러한 움직임에 따른 적응적 부호화가 가능해진다.
이러한 움직임 변화량을 계산함에 있어서, 기존의 방법에서는 움직임을 예측 하기 위해 이전 프레임과 현재 프레임 간의 차이에서 오차를 계산하는 방법을 사용하였다. 본 발명에서는 이 방법 이외에 0이 아닌 움직임 벡터(non-zero MV)를 갖는 매크로블록의 수, P 프레임 내의 매크로블록의 움직임 벡터의 평균값, P 프레임의 패킷 크기값을 계산하여 이것을 기준으로 움직임을 예측할 수 있는 방법을 제안한다. 이러한 방법은 기존의 방법에서처럼 따로 계산을 할 필요가 없이, 부호화 중에 자연히 계산되어지기 때문에 알고리즘의 복잡도가 감소하는 장점이 있다.
다음으로 P 프레임에 전방향 오류 정정(forward error correction)을 수행한다(580). 네트워크 채널은 에러가 발생할 확률이 높기 때문에 전송 패킷을 잃어버릴 확률이 그만큼 높다. 일반적으로 MAC/PHY 계층에서 에러 보호를 하긴 하지만, 재전송(re-transmission)이 없고, 손상된 패킷에 대해 에러 전파(error propagation)가 빈번히 일어나는 동영상 스트림의 특성상 에러 보호(error protection)를 강화해 주어야 한다.
따라서 단계 580에서, 움직임 변화량에 따라 P 프레임 내에 전방향 오류 정정을 수행하고, 또한 복수개의 P 프레임에 대하여 제1 내지 제3 데이터 분할(data partitioning A,B,C) 각각에 대하여 다시 전방향 오류 정정을 수행한다.
도 6은 본 발명의 일 실시예에 따른, I/P 프레임에 오류 내성 알고리즘이 적용된 예를 나타내는 도면이다.
본 발명은 기본적으로 I 프레임과 P 프레임을 구분하여, 전방향 에러 정정(FEC)을 가변적으로 수행한다. I 프레임(610)의 경우, FMO방식(620)으로 부호화되어 있고 기본적으로 8(k=7)개로 나뉘었기 때문에 8의 배수로 된 패킷이 생성된 다(630). 따라서 I 프레임은 R-S(n,8)의 방식으로 FEC 부호화한다. 여기서 n의 값은 네트워크의 상황에 따라 다르게 적용된다. 네트워크 정보를 피드백(feedback) 받아서 이용할 수 있는 상황이면 에러가 없을 때, n=9 가 될 것이고 에러가 많을 때는 n의 값이 커질 것이다. 일반적으로 패킷의 버스트 에러 개수와 네트워크의 패킷 에러 비율에 따라 n의 값이 정해진다. 아울러, n의 최대값은 전송 대역폭에 맞추어 정해져야 한다.
　 P 프레임의 경우, I 프레임에 비해 패킷 크기도 작고 분리된 패킷의 영상의 특성도 다르다. P 프레임(640, 650)은 제1 내지 제3 데이터 분할(data partitioning A,B,C)로 나뉘어져(670, 680) 각각 전방향 에러 정정 처리된다.
도 7은 본 발명의 일 실시예에 따른, I 프레임에 전방향 오류 정정을 수행한 예를 나타내는 도면이다.
도 7을 참조하면, 8개의 하위 슬라이스로 나뉘어진 NAL 데이터(710)에 전방향 오류 정정으로 R-S 코드를 삽입하면, 화살표 우측과 같이 나타날 수 있다(720, 730). 추가된 R-S 코드(730)는 m+1(m=n-k-1)개이다.
도 8은 본 발명의 일 실시예에 따른, P 프레임에 전방향 오류 정정을 수행한 예를 나타내는 도면이다.
도 8을 참조하면, 후처리 단계에서는 상술한 움직임 변화량을 계산하고 이를 이용하여 각 데이터 분할(data partitioning)마다 FEC를 다르게 적용한다(870). 다시 말해, 움직임 변화량에 따라서 P 프레임 내에 전방향 오류 정정을 1차적으로 수행하고(840, 850, 860), 또한 복수개의 P 프레임에 대하여 제1 내지 제3 데이터 분할(data partitioning A,B,C) 각각에 대하여 다시 2차적으로 전방향 오류 정정을 수행한다(871, 872). 물론 이와 같은 순서는 반대가 될 수도 있다.
물론 이때 추가되는 각 데이터 분할에 대한 R-S 코드(871, 872) 길이의 상한값은 수신단의 버퍼 크기에 맞게 미리 결정되어야 된다.
도 9는 본 발명의 일 실시예에 따른, P 프레임에 전방향 오류 정정을 수행한 예를 나타내는 도면이다.
도 9를 참조하면, 각 P 프레임에 대해서(910 내지 930), 움직임의 변화량이 임계값(threshold)보다 크면 FEC를 적용하고(XOR 기법, 940,960), 작으면 FEC를 생략할 수도 있다(950). 아울러 각 데이터 분할에 대해서, k개의 프레임에 대해 움직임이 많은 프레임의 수에 따라 그 수가 많으면 FEC를 강화하고 적으면 FEC를 줄일 수 있으며(R-S(n,k) 기법, 970,980), k개의 프레임 내의 매크로블록의 움직임 벡터의 평균값, k개의 프레임의 패킷 크기값 등으로부터도 결정할 수 있다.
한편, 제1 내지 제3 데이터 분할(data partitioning A,B,C) 중에서 가장 우선순위가 높은 제1 데이터 분할에 FEC를 좀더 집중하고, 나머지 제2, 제3 데이터 분할에는 상대적으로 약한 FEC를 적용할 수도 있다.
도 10은 본 발명의 다른 실시예에 따른, 영상 프레임의 패킷 기반 전송 장치를 설명하기 위한 기능 블록도이다.
도 10을 살펴보면, 본 발명의 전송 장치는 크게 소스 영상(1100), 입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 부호화하는 영상 인코더(1200), 인코더에서 부호화된 인트라 또는 인터 예측 프레임에 대하여 다른 오류 내성 알고 리즘을 적용하는 전처리부(1300)와 전처리부로부터 입력 받은 프레임에 전방향 오류 정정을 수행하는 후처리부(1400)로 구성된다.
후처리부(1400)는 다시 인터 예측 프레임의 움직임 변화량을 계산하는 움직임 변화량 계산부(motion level classifier, 1410)와 계산된 움직임 변화량에 따라 상기 인터 예측 프레임 내에 전방향 오류 정정을 수행하는 제1 오류 정정부(1420)와 인터 예측 프레임을 포함하는 복수개의 인터 예측 영상 프레임에 대하여 각각의 상기 데이터 분할에 전방향 오류 정정을 수행하는 제2 오류 정정부(1430)를 더 포함할 수 있다.
실시간(real-time) 인코딩인 경우는 위와 같지만, VOD(video on demand)의 경우라면 미리 인코딩된 데이터를 사용하므로, 영상 인코더(1200)가 필요 없게 된다. 이 경우 계산량에 따라 송신 단 시스템이 충분한 성능을 보장한다면, 압축 부호화된 영상으로부터 움직임 변화량 계산부(1410)가 해당 입력 영상 프레임의 움직임을 계산할 수 있다.
이렇게 전송된 패킷 기반의 데이터는 수신단에서 송신과정의 역과정으로 복호화, 해제 처리가 된다. 동영상 수신단 시스템에서 에러 은닉(error concealment) 방식은, I 프레임의 경우에 FMO로 나누어진 패킷이 전송되므로 만약 일부 패킷을 일어버렸을 경우 공간적 은닉(spatial concealment) 기법을 적용하고, P 프레임의 경우에 움직임 벡터를 잃어버렸을 경우 공간적 은닉(spatial concealment)과 시간적 은닉(temporal concealment) 기법을 적절히 조합하여 사용할 수 있다.
본 발명에 따른 패킷 기반의 영상 프레임 전송 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크와 같은 마그네틱 저장매체와 CD-ROM, 광 데이터 저장장치와 같은 광학적 판독매체 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
　 이상에서 설명한 바와 같이 본 발명에 의한 패킷 기반의 영상 프레임 전송 방법 및 장치에 따르면, 영상 데이터 전송에서 일반적으로 I 프레임/P 프레임의 특성에 맞는 최적화된 오류 정정 처리를 수행할 수 있다. 따라서 기존의 방법에 비 해 간단하면서도 효율적으로 모바일 환경(IP mobile TV)에서 에러에 강인한 영상 스트리밍 서비스를 구현할 수 있다.

Claims (21)

  1. 패킷 기반의 영상 프레임 전송 방법에 있어서,
    입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 부호화하는 단계와;
    상기 부호화된 인트라 또는 인터 예측 프레임에 대하여 서로 다른 오류 내성(error resilience) 알고리즘을 적용하는 단계와;
    상기 적용된 오류 내성 알고리즘에 따라 상기 프레임에 전방향 오류 정정(FEC: Forward Error Correction)을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 프레임 전송 방법.
  2. 제1항에 있어서,
    상기 입력된 영상을 인트라 예측 프레임으로 부호화하는 경우에, 상기 오류 내성 알고리즘은 유연한 매크로블록 순서(FMO: Flexible Macroblock Ordering) 방식인 것을 특징으로 하는 영상 프레임 전송 방법.
  3. 제2항에 있어서,
    상기 전방향 오류 정정을 수행하는 단계는, 선형 블록 코드(RS code: Reed-Solomon code)를 삽입하고, 상기 선형 블록 코드는 상기 프레임이 전송될 때의 패킷의 버스트 에러(burst error) 개수, 전송 대역폭(bandwidth) 또는 상기 패킷의 에러율(error rate)에 따라 결정되는 것을 특징으로 하는 영상 프레임 전송 방법,
  4. 제1항에 있어서,
    상기 입력된 영상을 인터 예측 프레임으로 부호화하는 경우에, 상기 오류 내성 알고리즘은 데이터 분할(DP: Data Partitioning) 방식인 것을 특징으로 하는 영상 프레임 전송 방법.
  5. 제4항에 있어서,
    상기 데이터 분할 방식은,
    상기 인터 예측 프레임의 움직임 벡터값을 포함하는 제1 데이터 분할, 인트라 예측의 잔차값(residual data)을 포함하는 제2 데이터 분할 및 인터 예측의 잔차값을 포함하는 제3 데이터 분할로 분류되는 것을 특징으로 하는 영상 프레임 전송 방법.
  6. 제5항에 있어서,
    상기 전방향 오류 정정을 수행하는 단계는,
    상기 인터 예측 프레임의 움직임 변화량을 계산하는 단계와;
    상기 계산된 움직임 변화량에 따라 상기 인터 예측 프레임 내에 전방향 오류 정정을 수행하는 단계와;
    상기 인터 예측 프레임을 포함하는 복수개의 인터 예측 프레임에 대하여 각 각의 상기 데이터 분할에 전방향 오류 정정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 프레임 전송 방법.
  7. 제6항에 있어서,
    상기 움직임 변화량은, 상기 인터 예측 프레임 내에서 0이 아닌 움직임 벡터를 갖는 매크로블록의 수, 상기 인터 예측 프레임 내의 매크로블록의 움직임 벡터의 평균값 및 상기 인터 예측 프레임의 패킷 크기값 중 적어도 어느 하나로부터 계산되는 것을 특징으로 하는 영상 프레임 전송 방법.
  8. 제7항에 있어서,
    상기 인터 예측 프레임 내에 전방향 오류 정정을 수행하는 단계는,
    상기 움직임 변화량이 소정의 임계값보다 큰 경우에 수행하는 것을 특징으로 하는 영상 프레임 전송 방법.
  9. 제8항에 있어서,
    상기 복수개의 인터 예측 프레임에 대하여 각각의 상기 데이터 분할에 전방향 오류 정정을 수행하는 단계는,
    상기 움직임 변화량에 따라 선형 블록 코드를 삽입하고, 상기 선형 블록 코드는 상기 복수개의 인터 예측 프레임 중에서 상기 소정의 임계값보다 큰 움직임 변화량을 갖는 프레임의 수, 상기 복수개의 인터 예측 프레임 내의 매크로블록의 움직임 벡터의 평균값 및 상기 인터 예측 프레임의 패킷 크기값 중 적어도 어느 하나로부터 결정되는 것을 특징으로 하는 영상 프레임 전송 방법.
  10. 제9항에 있어서,
    상기 복수개의 인터 예측 프레임에 대하여 각각의 상기 데이터 분할에 전방향 오류 정정을 수행하는 단계는, 상기 제1 데이터 분할에 대하여 최우선적으로 강인한 오류 정정을 수행하는 것을 특징으로 하는 영상 프레임 전송 방법.
  11. 패킷 기반의 영상 프레임 전송 장치에 있어서,
    입력된 영상을 인트라 또는 인터 예측 프레임으로 구분하여 부호화하는 영상 인코더와;
    상기 인코더에서 부호화된 인트라 또는 인터 예측 프레임에 대하여 서로 다른 오류 내성 알고리즘을 적용하는 전처리부와;
    상기 적용된 오류 내성 알고리즘에 따라 상기 전처리부로부터 입력 받은 프레임에 전방향 오류 정정을 수행하는 후처리부를 포함하는 것을 특징으로 하는 영상 프레임 전송 장치.
  12. 제11항에 있어서,
    상기 영상 인코더에서 입력된 영상을 인트라 예측 프레임으로 부호화하는 경우에,
    상기 전처리부의 상기 오류 내성 알고리즘은 유연한 매크로블록 순서 방식인 것을 특징으로 하는 영상 프레임 전송 장치.
  13. 제12항에 있어서,
    상기 후처리부에서 상기 전처리부로부터 입력 받은 프레임에 선형 블록 코드를 삽입하고, 상기 선형 블록 코드는 상기 프레임이 전송될 때의 패킷의 버스트 에러 개수, 전송 대역폭 또는 상기 패킷의 에러율에 따라 결정되는 것을 특징으로 하는 영상 프레임 전송 장치,
  14. 제11항에 있어서,
    상기 영상 인코더에서 상기 입력된 영상을 인터 예측 프레임으로 부호화하는 경우에, 상기 전처리부의 오류 내성 알고리즘은 데이터 분할 방식인 것을 특징으로 하는 영상 프레임 전송 장치.
  15. 제14항에 있어서,
    상기 전처리부의 데이터 분할 방식은,
    상기 인터 예측 프레임의 움직임 벡터값을 포함하는 제1 데이터 분할, 인트라 예측의 잔차값을 포함하는 제2 데이터 분할 및 인터 예측의 잔차값을 포함하는 제3 데이터 분할로 분류되는 것을 특징으로 하는 영상 프레임 전송 장치.
  16. 제15항에 있어서,
    상기 후처리부는,
    상기 인터 예측 프레임의 움직임 변화량을 계산하는 움직임 변화량 계산부와;
    상기 계산된 움직임 변화량에 따라 상기 인터 예측 프레임 내에 전방향 오류 정정을 수행하는 제1 오류 정정부와;
    상기 인터 예측 프레임을 포함하는 복수개의 인터 예측 프레임에 대하여 각각의 상기 데이터 분할에 전방향 오류 정정을 수행하는 제2 오류 정정부를 더 포함하는 것을 특징으로 하는 영상 프레임 전송 장치.
  17. 제16항에 있어서,
    상기 움직임 변화량 계산부는, 상기 인터 예측 프레임 내에서 0이 아닌 움직임 벡터를 갖는 매크로블록의 수, 상기 인터 예측 프레임 내의 매크로블록의 움직임 벡터의 평균값 및 상기 인터 예측 프레임의 패킷 크기값 중 적어도 어느 하나로부터 상기 움직임 변화량을 계산하는 것을 특징으로 하는 영상 프레임 전송 장치.
  18. 제17항에 있어서,
    상기 제1 오류 정정부는, 상기 인터 예측 프레임의 움직임 변화량이 소정의 임계값보다 큰 경우에 오류 정정을 수행하는 것을 특징으로 하는 영상 프레임 전송 장치.
  19. 제18항에 있어서,
    상기 제2 오류 정정부는, 상기 복수개의 인터 예측 프레임 중에서 상기 소정의 임계값보다 큰 움직임 변화량을 갖는 프레임의 수, 상기 복수개의 인터 예측 프레임 내의 매크로블록의 움직임 벡터의 평균값 및 상기 인터 예측 프레임의 패킷 크기값 중 적어도 어느 하나로부터 결정되는 선형 블록 코드에 기초하여 오류 정정을 수행하는 것을 특징으로 하는 영상 프레임 전송 장치.
  20. 제19항에 있어서,
    상기 제2 오류 정정부는, 상기 제1 데이터 분할에 대하여 최우선적으로 강인한 오류 정정을 수행하는 것을 특징으로 하는 영상 프레임 전송 장치.
  21. 제1항 내지 제10항 중 어느 한 항에 기재된 영상 프레임 전송 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020070028871A 2007-03-23 2007-03-23 패킷 기반의 영상 프레임 전송 방법 및 장치 KR101125846B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070028871A KR101125846B1 (ko) 2007-03-23 2007-03-23 패킷 기반의 영상 프레임 전송 방법 및 장치
US11/876,951 US8233539B2 (en) 2007-03-23 2007-10-23 Method and apparatus for transmitting packet-based image frame
CN2008100881329A CN101272495B (zh) 2007-03-23 2008-01-03 用于传输基于分组的图像帧的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070028871A KR101125846B1 (ko) 2007-03-23 2007-03-23 패킷 기반의 영상 프레임 전송 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080086764A KR20080086764A (ko) 2008-09-26
KR101125846B1 true KR101125846B1 (ko) 2012-03-28

Family

ID=39774665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070028871A KR101125846B1 (ko) 2007-03-23 2007-03-23 패킷 기반의 영상 프레임 전송 방법 및 장치

Country Status (3)

Country Link
US (1) US8233539B2 (ko)
KR (1) KR101125846B1 (ko)
CN (1) CN101272495B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772472B1 (ko) * 2017-04-20 2017-08-30 한화시스템(주) 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345295B1 (ko) * 2007-06-11 2013-12-27 삼성전자주식회사 인트라 픽처만을 이용한 동영상 시퀀스의 부호화시의비트율 제어 방법 및 장치
US8332736B2 (en) * 2007-11-29 2012-12-11 Texas Instruments Incorporated Decoder with resiliency to handle errors in a received data stream
US8281377B1 (en) * 2008-04-15 2012-10-02 Desktone, Inc. Remote access manager for virtual computing services
KR101118591B1 (ko) * 2008-12-11 2012-02-27 한국전자통신연구원 트랜스코더
US20100226441A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Frame Capture, Encoding, and Transmission Management
US20100225655A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Concurrent Encoding/Decoding of Tiled Data
US8638337B2 (en) * 2009-03-16 2014-01-28 Microsoft Corporation Image frame buffer management
US20110085592A1 (en) * 2009-10-13 2011-04-14 Ching-Lung Chang Video frame loss recovery scheme
KR101142982B1 (ko) * 2010-02-22 2012-05-08 한국과학기술원 송신국, 송신국의 패킷 송신 방법, 수신국, 그리고 수신국의 손실 복구 방법
CN102783234B (zh) * 2010-05-03 2015-11-25 上海贝尔股份有限公司 无线网络中用于发送缓冲状态报告的方法和装置
JP5672932B2 (ja) * 2010-10-13 2015-02-18 富士ゼロックス株式会社 通信装置、通信システム及びプログラム
US10362327B2 (en) 2011-01-14 2019-07-23 Sony Corporation B-picture syntax change for generalized bi-prediction in high efficiency video coding (HEVC)
KR101744355B1 (ko) 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US10728575B2 (en) * 2011-06-07 2020-07-28 Interdigital Vc Holdings, Inc. Method for encoding and/or decoding images on macroblock level using intra-prediction
US8615698B1 (en) * 2011-09-28 2013-12-24 Google Inc. Skewed orthogonal coding techniques
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
CN103379320B (zh) * 2012-04-16 2016-11-23 华为技术有限公司 视频图像码流处理方法和设备
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US10034023B1 (en) 2012-07-30 2018-07-24 Google Llc Extended protection of digital video streams
TWI505699B (zh) * 2012-11-23 2015-10-21 Inst Information Industry 資料串流傳輸方法
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US20150124873A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Chroma Down-Conversion and Up-Conversion Processing
CN104506959A (zh) * 2014-12-15 2015-04-08 广东威创视讯科技股份有限公司 一种h264码流分包传输方法及系统
US9781488B2 (en) * 2015-07-30 2017-10-03 Adi Rozenberg Controlled adaptive rate switching system and method for media streaming over IP networks
CN109446967B (zh) * 2018-10-22 2022-01-04 深圳市梦网视讯有限公司 一种基于压缩信息的人脸检测方法和系统
KR102140398B1 (ko) * 2019-05-27 2020-07-31 한국항공대학교산학협력단 영상 처리 장치 및 영상 처리 방법
KR102330781B1 (ko) * 2020-01-17 2021-11-24 주식회사 와이젯 무선 환경 영상처리 방법
CN112529895B (zh) * 2020-12-23 2023-07-25 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030008685A (ko) * 2001-07-19 2003-01-29 에스케이 텔레콤주식회사 영상 압축 시스템에서 오류 전파 방지를 위한 공간 예측방법
US20060146940A1 (en) 2003-01-10 2006-07-06 Thomson Licensing S.A. Spatial error concealment based on the intra-prediction modes transmitted in a coded stream

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
JP3658011B2 (ja) * 1994-04-19 2005-06-08 キヤノン株式会社 画像符号化装置及びその方法、並びに画像復号化装置及びその方法
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
US6317462B1 (en) * 1998-10-22 2001-11-13 Lucent Technologies Inc. Method and apparatus for transmitting MPEG video over the internet
US7133455B2 (en) * 2000-12-29 2006-11-07 Intel Corporation Providing error resilience and concealment for video data
AU2002326713B2 (en) * 2001-08-23 2006-12-14 Polycom, Inc. System and method for video error concealment
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
US20040057465A1 (en) * 2002-09-24 2004-03-25 Koninklijke Philips Electronics N.V. Flexible data partitioning and packetization for H.26L for improved packet loss resilience
US20050013274A1 (en) * 2003-03-05 2005-01-20 Harri Pekonen System and method for data transmission and reception
KR20050076155A (ko) * 2004-01-19 2005-07-26 삼성전자주식회사 영상 프레임의 에러 은닉 장치 및 방법
US7228154B2 (en) * 2004-11-03 2007-06-05 Sony Corporation Method and system for processing wireless digital multimedia
US9661376B2 (en) * 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030008685A (ko) * 2001-07-19 2003-01-29 에스케이 텔레콤주식회사 영상 압축 시스템에서 오류 전파 방지를 위한 공간 예측방법
US20060146940A1 (en) 2003-01-10 2006-07-06 Thomson Licensing S.A. Spatial error concealment based on the intra-prediction modes transmitted in a coded stream

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772472B1 (ko) * 2017-04-20 2017-08-30 한화시스템(주) 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법

Also Published As

Publication number Publication date
CN101272495B (zh) 2012-05-23
US8233539B2 (en) 2012-07-31
US20080232472A1 (en) 2008-09-25
KR20080086764A (ko) 2008-09-26
CN101272495A (zh) 2008-09-24

Similar Documents

Publication Publication Date Title
KR101125846B1 (ko) 패킷 기반의 영상 프레임 전송 방법 및 장치
US6490705B1 (en) Method and apparatus for receiving MPEG video over the internet
US6317462B1 (en) Method and apparatus for transmitting MPEG video over the internet
US8856624B1 (en) Method and apparatus for dynamically generating error correction
Boyce Packet loss resilient transmission of MPEG video over the Internet
US20060188025A1 (en) Error concealment
US20050013249A1 (en) Redundant packets for streaming video protection
KR20030011211A (ko) 대화형 비디오 전송을 위한 순방향 에러 정정에 근거한손실 복구 방법 및 시스템
US20110268175A1 (en) Differential protection of a live scalable media
KR101286419B1 (ko) 데이터 패킷 처리 방법 및 장치
Cote et al. Error resilience coding
Hussain et al. Adaptive video-aware forward error correction code allocation for reliable video transmission
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
US20130346831A1 (en) Method of generating forward error correction packet and server and client apparatus employing the same
Ababneh et al. Survey of error correction mechanisms for video streaming over the internet
Wang et al. Error resilient video coding using flexible reference frames
Porter et al. HYBRID TCP/UDP video transport for H. 264/AVC content delivery in burst loss networks
Zhang et al. A real-time forward error correction of changing redundant packets' position for video transmission
Purandare et al. Impact of bit error on video transmission over wireless networks and error resiliency
Zhao et al. RD-Based Adaptive UEP for H. 264 Video Transmission in Wireless Networks
Gao et al. A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC
Nazir et al. Rate adaptive selective segment assignment for reliable wireless video transmission
Frescura et al. Backward-compatible interleaving technique for robust JPEG2000 wireless transmission
Nazir Scalable Video Streaming with Fountain Codes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee