KR101957539B1 - 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬 - Google Patents

엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬 Download PDF

Info

Publication number
KR101957539B1
KR101957539B1 KR1020137032246A KR20137032246A KR101957539B1 KR 101957539 B1 KR101957539 B1 KR 101957539B1 KR 1020137032246 A KR1020137032246 A KR 1020137032246A KR 20137032246 A KR20137032246 A KR 20137032246A KR 101957539 B1 KR101957539 B1 KR 101957539B1
Authority
KR
South Korea
Prior art keywords
refresh
intra
macroblock
image
error
Prior art date
Application number
KR1020137032246A
Other languages
English (en)
Other versions
KR20140028059A (ko
Inventor
알베르토 두에나스
프랜시스코 론세로 이즈퀴에르도
고르카 가르시아
Original Assignee
캐비엄, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐비엄, 엘엘씨 filed Critical 캐비엄, 엘엘씨
Publication of KR20140028059A publication Critical patent/KR20140028059A/ko
Application granted granted Critical
Publication of KR101957539B1 publication Critical patent/KR101957539B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 전송 시스템은 인코더와 디코더를 포함한다. 데이터는 영상 인코딩 및 전송 도중 분실될 수도 있으며, 이는 디코더에 의한 영상 이미지 복원에서 에러를 일으킨다. 리턴 채널은, 디코더에 의해 검출된 에러가 인코더에 가용하게 되도록 인코더와 디코더를 커플링한다. 수신되지 않은 이미지의 비율에 따라, 리프레쉬 동작이 수행된다. 온-디맨드 인트라-리프레쉬 동작은, 리프레쉬가 필요한 이미지의 비율이 특정 레벨 이하인 경우 수행된다. 랜덤 인트라-리프레쉬 동작은, 리프레쉬가 필요한 이미지의 비율이 레벨을 초과하는 경우 수행된다.

Description

엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬{ON-DEMAND INTRA-REFRESH FOR END-TO-END CODED VIDEO TRANSMISSION SYSTEMS}
본 발명은 네트워크를 통해 영상 신호를 전달하는 방법과 관련된다. 보다 상세하게는, 본 발명은 전송 에러가 발생하여, 정보의 일부가 유실되거나 손상된 경우, 이미지의 부분에 인트라-프레임 예측을 도입함으로써, 이미지 품질에 영향을 줄이는 방법과 관련된다.
네트워크를 통해 영상 컨텐츠를 전송하기 전에, 영상 프레임은 데이터를 인코딩하기 위한 알고리즘을 사용하여 압축된다. 인코딩할 데이터의 양을 감소시키기 위해, 알려진 영상 전송 시스템은 예측 프로세스를 사용할 수도 있다. 통상의 영상 압축 표준은 두 개의 주 예측 방식을 고려할 수도 있다. 하나의 방식은 영상 프레임의 일부 각각에 대한 현재 위치까지 코딩된 현재 프레임의 정보를 사용하는 인트라-프레임 예측이다. 다시 말하면, 인트라-프레임 예측은 현재 프레임으로부터의 정보를 사용한다.
다른 방식은 인터-프레임 예측이다. 인터-프레임 예측은 현재 프레임의 일부 각각에 대한 이전의 또는 미래 코딩된 이미지 프레임으로부터의 정보를 사용하고, 더 높은 압축률을 달성하기 위해 프레임들 사이의 일시적인 중복을 이용한다. 장면이 일 장면에서 다음 장면까지 현저히 변하지 않는다면, 인터-프레임 예측은 동일하게 남는 매크로블록 (macroblock) 을 예측함으로써 인코딩 부하를 감소시킨다.
각각의 방식은 결점을 갖는다. 방식 각각에 대한 압축 효율은 넓은 범위의 적용과 장면들 (scenario) 에 따라 상이하다. 예컨대 대역폭 및 레이턴시(latency)와 같은 시스템 요구 사항에 따라, 인트라-프레임으로 예측된 프레임의 사용은 용인가능한 수준의 품질 또는 수행 레벨에 있어서 바람직하지 않을 수도 있다. 예를 들어, 인트라-프레임 인코딩은 매크로블록 각각에 대한 로우 (raw) 픽셀을 인코딩하는 것을 요구할 수도 있다. 영상 전송 시스템에서 대역폭은 결과적으로 증가할 수도 있다. 압축 비율이 낮을수록 레이턴시 제한을 갖는 시스템은 블록을 잃는 것에 직면할 수도 있으며, 인트라-프레임 인코딩은 인터-프레임 인코딩 보다 더 많은 비트를 소모하는 경향이 있다. 따라서, 인터-프레임 예측이 더 나은 선택일 수도 있다.
반면, 인트라-프레임 예측은 에러 내성 목적에 있어서 필요할 수도 있다. 영상 전송 시스템은 디코딩된 이미지에서 나타나는 에러들을 도입한다. 디코딩 후, 가능한 데이터 유실 또는 데이터의 손상에 의해 에러가 발생한다. 다수의 시스템은 종종 눈에 띄는 에러의 시작을 방지하기 위해 인트라-프레임을 도입하나, 비트 레이트가 크게 뛰거나 (spike upward), 품질 레벨이 용인 가능한 레벨 이하로 떨어질 수 있기 때문에, 이 프로세스는 낮은 레이턴시 시스템에서 실현가능하지 않을 수도 있다.
도 1a와 도 1b에 도시된 바와 같이, 인트라-프레임의 사용은 영상 전송에 부정적인 영향을 야기한다. 도 1a 또는 도 1b에 도시된 영상들은 에러가 영상 전송 내에서 발생된 경우 발생될 수도 있다. 도 1a는 완전한 인트라-프레임 리프레쉬에 대해 시간이 흐르는 동안의 일정한 비트 레이트를 가지는 시스템 내에서 디코딩된 비디오의 품질을 나타내는 그래프를 도시한다. 도 1a에서, 비트 레이트는 영상의 품질이 변동되는 동안 프로세스 전반에서 일정하다. 점선 (102) 은 전송에서 어떤 에러도 없는 영상 컨텐츠의 품질 레벨을 나타낸다. 점선 (102) 은 일정하게 유지되거나 영상 품질에 어떤 눈에 띄는 저하 없이 시간이 흐르며 작은 범위 내에서 대략적으로 유지된다.
선 (104) 은 에러 (112) 가 발생된 경우 영상 품질을 나타내며, 인트라-프레임 리프레쉬 이미지가 도입된다. 선 (104) 은 또한 에러 (112) 가 발생하거나 검출되는 시간까지 일정하게 유지된다. 그 후, 품질의 레벨이 현저히 감소되며, 사용자에게 눈에 띄는 문제를 야기한다. 이미지는 품질의 하락에 의해 왜곡되거나 그늘질 수도 있다. 이 하락은 시스템 제한에 의해 가능하게 요구되는 일정한 비트레이트에 대한 필요에 의해 발생된다. 선 (106) 은 네트워크 비트 레이트 용량을 나타낸다. 비트레이트가 선 (106) 이하에 유지되는 동안은, 영상 전송 시스템 내에서 레이턴시 문제가 발생하지 않는다.
점선 (108) 은 영상 전송 시스템 내에서의 에러 없는 비트 레이트를 나타낸다. 점선 (108) 은 시간이 흐르며 일정하게 유지되며, 내트워크 내에서 어떤 문제도 야기하지 않는 합리적인 범위 내에서 유지된다. 선 (110) 은 에러 (112) 가 발생한 경우 비트 레이트를 나타낸다. 위의 선 (104) 과는 다르게, 선 (110) 은 에러 (112) 에도 불구하고 값이 변동되지 않는다. 따라서, 네트워크 상에 발생하는 레이턴시 문제는 발생하지 않으며, 인트라-프레임 리프레쉬 이미지를 도입하는 결과로 품질에 눈에 띄는 하강이 발생한다.
도 1b는 완전한 인트라-프레임 리프레쉬에 대해 시간이 흐르는 동안 일정한 품질 레벨을 갖는 비트 레이트의 변동을 나타내는 그래프 (120) 를 도시한다. 점선 (102) 과 점선 (108) 은 에러가 발생하지 않는 장면들 동안 일정하게 유지되며, 인트라-프레임 리프레쉬는 필요하지 않다. 품질이 도 1b에서 일정하게 유지되므로, 선 (104) 은 또한 시간이 흐르며 일정하게 유지된다. 비트 레이트에 대한 선 (110) 은 그러나 인트라-프레임 리프레쉬 이미지를 핸들링하는데 필요한 증가된 코딩에 의해 극적으로 증가한다. 수신된 데이터의 복잡성은 새로운 이미지에 의해 증가하며 비트 레이트는, 에러 (112) 에서의 선 (106) 에 의해 도시된 것과 같이, 이 증가를 핸들하도록 네트워크 용량을 초과한다. 레이턴시는 영상 전송 시스템에 도입될 것이다. 낮은 레이턴시 시스템에 있어서, 버퍼링 문제 또한 발생할 수 있다.
따라서, 인트라-프레임 리프레쉬 이미지의 사용은, 네트워크 비트 레이트 용량을 초과하지 않으며 일정한 품질 레벨을 원하는 시스템에 적합하지 않을 수도 있다. 낮은 레이턴시 영상 전송 시스템에 있어서, 인트라-프레임 예측은 한번 에러가 발생하면 손산된 이미지를 복구할 수도 있다. 인트라-프레임 예측의 사용은 손상된 데이터로부터 야기되는 아티팩트 (artifacts) 를 제거할 수도 있으며, 디코딩된 영상 컨텐츠의 원하는 품질 레벨을 회복한다. 프레임은 인코더에 의해 슬라이스들 또는 세그먼트들로 분해될 수도 있으며 별도로 인코딩될 수도 있다. 그러나 이 프로세스는 프레임을 통해 이동하는 왜곡을 야기할 수도 있으며 영상 컨텐츠의 품질을 감소시킨다. 인트라-예측된 슬라이스들은 분명하게 눈에 띈다. 더욱이, 품질이 유지된다면, 비트 레이트는 레이턴시와 함께 증가할 수도 있으나 인트라-프레임 리프레쉬 이미지와 함께하는 것과 같이 증가하지는 않을 수도 있다.
도 2a 및 2b는 이미지의 세그먼트들 동안 인트라-프레임 예측에 의해 야기된 부정적 영향들을 나타낸다. 도 2a는 부분적인 인트라-프레임 리프레쉬에 대해 시간이 흐르는 동안 일정한 비트 레이트를 갖는 영상 전송 시스템 내에서 디코딩된 영상 품질을 도시하는 그래프 (200) 를 도시한다. 점선 (202) 은 전송에서 어떤 에러도 없는 시간이 흐르는 동안의 영상 컨텐츠의 품질을 나타낸다. 선 (204) 은 에러 (212) 가 발생된 경우 영상 컨텐츠의 품질을 나타낸다. 에러 (212) 는, 에러를 포함하는 세그먼트만이 인트라 -프레임 예측을 사용하여 인코딩되도록, 인트라-프레임 세그먼트 리프레쉬를 야기할 수도 있다.
선 (204) 은 품질에서 하강하나, 도 1a에서의 선 (104) 과 같이 현저히 하강하지는 않는다. 그러나, 선 (204) 은 일 기간 보다 품질에서 감소한다. 품질은, 이미지의 일부가 왜곡되거나 그늘지도록, 이 시간들에서 전송된 세그먼트 동안 피해를 입는다 (suffer). 이 행위는, 세그먼트가 인트라-프레임 예측을 사용하여 회복되는 동안 저 품질 이미지를 야기한다. 점선 (208) 이 영상 전송 시스템에서 나타나는 어떤 에러들도 없는 비트 레이트를 나타내는 동안, 선 (206) 은, 네트워크 비트 레이트 용량을 나타낸다. 선 (210) 은 에러 (212) 가 발생할 경우 비트 레이트를 나타낸다. 도 1a에서의 선 (110) 과 같이, 선 (210) 은 에러 (212) 에 의해 현저히 변동되지 않으며 선 (206) 아래에서 유지된다.
도 2b는 일부의 인트라-프레임 예측된 리프레쉬에 대해 시간이 흐르는 동안 일정한 품질을 갖는 영상 전송 시스템 내에서 비트 레이트 변동을 나타내는 그래프 (220) 를 도시한다. 도 2a에 도시된 바와 같이, 점선 (202) 및 점선 (208) 은, 영상 전송 시스템에서 에러가 발생하지 않으므로, 시간이 흐르는 동안 일정하게 유지된다. 또한, 선 (204) 은 영상 이미지에서 거의-일정한 품질에 대한 필요에 의해 일정하게 유지된다. 선 (210) 은 에러 (212) 에 의해 증가한다는 것을 나타낸다. 도 1b에서의 선 (110) 과 같이 현저하지는 않지만, 선 (210) 은 선 (206) 에 나타난 것과 같이 네트워크 비트 레이트 용량을 초과한다. 따라서, 에러 (212) 가 발생하면, 레이턴시 문제가 비트 레이트 변동에 의해 생길 것이다.
본 발명의 실시예들은 엔드-투-엔드 (end-to-end) 코딩된 영상 전송 시스템을 위한 온-디맨드 (on-demand) 인트라-리프레쉬를 개시한다. 시스템은, 인트라-프레임 리프레쉬 프레임 또는 이미지의 사용을 감소시키거나 제거하는 동안 에러 내성과 품질 퍼포먼스 사이의 타협을 제공하기 위한 것이다. 개시된 시스템은 영상 이미지의 부분에서 인트라-프레임을 소개한다. 전체 프레임은, 맵의 일부 각각이 에러가 발생한 경우 리프레쉬되도록 독립적으로 요청될 수 있게, 랜덤 매크로블록 (macroblcok) 으로 테이블에서 매핑 (mapped) 된다.
개시된 시스템은, 디코더측이 이미지의 어떤 일부가 리프레쉬되어야만 하는지 인코더에 알려줄 수 있도록 디코더로부터 리턴 채널을 포함한다. 인코더와 디코더는 랜덤 리프레쉬와 요청된 리프레쉬가 발생하는 경우, 설정 (establish) 하기 위한 프로토콜을 사용할 수도 있다. 또한, 프로토콜은 프레임 각각에서 리프레쉬되는 이미지의 비율을 제어할 수도 있다. 이 제어 메커니즘은, 리프레쉬되는 이미지의 부분이 전체 인트라-프레임 리프레쉬 프레임을 사용함으로써 발견된, 유사한 품질 소멸 (laplse) 또는 비트 레이트 변동을 야기하는 시나리오를 피하기 위한 것이다.
바람직한 실시예에 따르면, 영상 전송 시스템이 개시된다. 영상 전송 시스템은 디코딩된 이미지의 매크로블록 내에서 에러를 검출하도록 디코더 내에 에러 검출기를 포함한다. 영상 전송 시스템은 또한 리턴 연결로 에러 검출기와 커플링된 인코더 내의 에러 분석 모듈 (error resolution module) 을 포함한다. 에러 분석 모듈은 에러를 갖는 매크로블록의 비율을 결정한다. 영상 전송 시스템은 또한 매크로블록의 비율에 기초하여 디코딩된 이미지를 리프레쉬하도록 인코더 내의 리프레쉬 툴 (tool) 을 포함한다.
또한, 바람직한 실시예에 따라, 영상 전송 시스템 내의 이미지를 리프레쉬하기 위한 방법이 도시된다. 방법은 디코더에서 이미지 내의 매크로블록에서 에러를 검출하는 단계를 포함한다. 방법은 또한 디코더와의 리턴 연결을 갖는 인코더에서 매크로블록 내의 에러를 수신하는 단계를 포함한다. 방법은 또한 매크로블록에서의 에러가 비율을 초과하는지를 결정하는 단계를 포함한다. 방법은 또한, 매크로블록에서의 에러가 비율과 동일하거나 비율을 초과하지 않는다면, 온-디맨드 인트라-리프레쉬를 수행하는 단계를 포함한다. 방법은 또한 매크로블록에서의 에러가 비율을 초과한다면, 랜덤 인트라-리프레쉬를 수행하는 단계를 포함한다.
또한, 바람직한 실시예에 따라, 영상 전송 시스템 내의 이미지를 인트라-리프레쉬하기 위한 방법이 개시된다. 방법은 이미지 내의 매크로블록에서의 식별된 에러를 수신하는 단계를 포함한다. 또한 방법은 식별된 에러에 대응하여 인트라-리프레쉬 프로세스를 수행하는 단계를 포함한다. 또한, 방법은 이미지에 대한 매크로블록 세트를 리프레쉬하는 단계를 포함한다.
본 발명의 충분한 이해를 제공하기 위해 본 명세서의 일부를 구성하면서 첨부된 도면이 포함된다. 아래에 실린 도면들은 본 발명의 실시예들을 도시하며, 상세한 설명과 함께, 특허청구범위 및 그의 등가물들에 의해 개시되는 바와 같은, 본 발명의 원리를 설명하기 위해 제공된다.
도 1a는 완전한 인트라-프레임 리프레쉬에 대해 시간이 흐르는 동안의 일정한 비트 레이트를 가지는 시스템 내에서 디코딩된 영상 품질을 도시하는 그래프이다.
도 1b는 완전한 인트라-프레임 리프레쉬에 대해 시간이 흐르는 동안 일정한 품질 레벨을 갖는 비트 레이트의 변동을 도시하는 그래프이다.
도 2a는 부분적인 인트라-프레임 리프레쉬에 대해 시간이 흐르는 동안 일정한 비트 레이트를 갖는 영상 전송 시스템 내에서 디코딩된 영상 품질을 도시하는 그래프이다.
도 2b는 부분적인 인트라-프레임 예측 리프레쉬에 대해 시간이 흐르는 동안 일정한 품질을 가지는 영상 전송 시스템 내의 비트 레이트 변동을 도시하는 그래프이다.
도 3은 개시된 실시예들에 따른 영상 신호 데이터를 전송하고 수신하기 위한 시스템을 도시한다.
도 4는 개시된 실시예들에 따른 인코더 및 디코더의 블록 다이어그램을 도시한다.
도 5는 개시된 실시예들에 따른 영상 전송 시스템 내의 이미지를 리프레쉬하기 위한 흐름도를 도시한다.
도 6은 개시된 실시예들에 따른 랜덤 인트라-리프레쉬에 속하는 이미지를 도시한다.
도 7은 개시된 실시예들에 따른 온-디맨드 인트라-리프레쉬 및 매크로블록 테이블에 속하는 이미지를 도시한다.
본 발명의 양상들이 첨부된 실시예들에 개시된다. 본 발명의 목적 범위 또는 정신으로부터 벗어남 없이 본 발명의 대안적인 실시예들 및 그들의 등가물들이 고안된다. 이하에 개시된 유사한 구성요소들은 도면에서 유사한 도면 부호로 표시됨을 주목해야 한다.
도 3은 개시된 실시예들에 따른 영상 신호 데이터를 전송 및 수신하기 위한 시스템 (300) 을 도시한다. 시스템 (300) 은 정보를 공유하기 위한 네트워크 상에서 연결되는 디바이스의 집합 또는 임의의 시스템일 수 있다. 영상 신호를 전송할 때에 매우 적은 또는 무 (無) 레이턴시 (latency) 가 구현되도록, 영상 컨텐츠는 실시간으로 전달될 수 있다. 영상 신호는 시청자에게 전달되는 이미지들의 프레임을 포함한다. 이를 테면, 낮은 레이턴시 영상 전송 시스템이 시큐리티 (security) 모니터링을 위해 바람직하다.
디지털 미디어 서버 (302) 는 전송될 영상 컨텐츠를 생성한다. 디지털 미디어 서버 (302) 는 영상 데이터를 캡쳐하는 임의의 디바이스, 콘솔, 카메라 등일 수 있다. 예를 들어, 디지털 미디어 서버 (302) 는 디스크 또는 다른 매체 상에 저장된 영상게임을 실행하는 게이밍 콘솔이다. 게임을 실행함으로부터 생성되는 컨텐츠는 사용자가 실시간으로 시청하고 상호작용하도록 디스플레이된다. 대안적으로, 디지털 미디어 서버 (302) 는 인코딩될 이미지로서 영상 데이터를 캡쳐하는 컴퓨터, 영상 레코더, 디지털 카메라, 스캐너 등이다.
압축되지 않은 데이터 신호 (304) 는 디지털 미디어 서버 (302) 로부터 인코더 (306) 로의 출력이다. 인코더 (306) 는 시스템 (300) 내에서 전송을 위해 신호 (304) 를 인코딩하거나 압축할 수 있다. 인코더 (306) 는 아래에서 더 상세하게 개시된다. 인코더 (306) 는 압축되지 않은 데이터 신호 (304) 내의 이미지를 네트워크 (318) 상에서 변형가능한 데이터로 변형시키기 위한 공지의 양자화 및 코딩 기술을 이용할 수 있다. 이러한 변형 시에, 일부 데이터는 손실되거나 변경될 수 있다.
인코더 (306) 는 코딩된 신호 (308) 를 버퍼 (310) 로 출력한다. 신호가 시스템 (300) 을 통해 전송될 수 있을 때까지 버퍼 (310) 는 신호 (308) 로부터 데이터를 저장한다. 네트워크 비트 레이트가 신호 (308) 의 변형을 허용하지 않는다면, 신호가 트랜스시버 (314) 에 의해 전송될 수 있는 시간까지 버퍼 (310) 는 데이터를 홀딩한다. 버퍼 (310) 는 트랜스시버 (314) 로 신호 (312) 를 출력한다.
트랜스시버 (314) 는 네트워크 (318) 상에서 신호 (316) 를 전송한다. 네트워크 (318) 는, 네트워크 (318) 상에서 영상 데이터를 시청자에게 전달하는 무선 또는 유선 네트워크 같은, 데이터를 전송하고 수신하는 임의의 디바이스의 집합일 수 있다. 대안적으로, 네트워크 (318) 는 실시간 영상을 보여주는 원격 카메라로부터 신호 (316) 를 수신하는 컴퓨터의 네트워크일 수 있다.
트랜스시버 (320) 는 신호 (316) 를 수신하고, 신호(322) 를 버퍼 (324) 로 출력한다. 신호는 버퍼 (310) 로부터 디코더 (328) 까지 흐를 (stream) 수 있다. 디코더 (328) 는 압축되지 않은 신호 (330) 를 생성하기 위해 신호 (326) 를 디코딩하거나 압축 해제할 수 있다. 디코더 (328) 또한 아래에서 더 상세하게 개시된다. 디코터 (328) 는 또한 압축되지 않은 신호 내에서 그들 스스로를 나타내는 신호 (316) 내의 에러를 검출할 수 있다. 디코더 (328) 는 리턴 채널 (329) 를 경유하여 인코더 (306) 에 커플링될 수 있다.
바람직하게는, 압축되지 않은 신호 (330) 는 코딩 프로세스에 기인한 약간의 변형이 있는 압축되지 않은 신호 (304) 의 고품질 카피이다. 디지털 미디어 렌더러 (332) 는 압축되지 않은 신호 (330) 를 수신하고 사용자에게 영상 데이터 컨텐츠를 디스플레이한다. 디지털 미디어 렌더러 (332) 는 1,280x720 픽셀 (720p) 또는 1,920x1,080 픽셀 (1080i/1080p) 의 디스플레이 해상도를 가지는 고화질 텔레비전일 수 있다.
시스템 (300) 은 다양한 제한 및 파라미터와 관련이 있다. 시스템 (300) 은 네트워크 (318) 상에서 일정한 비트 레이트로 전송한다. 이러한 비트 레이트는 같은 시간 기간 동안 유지되나, 특정한 환경 하에서 변경될 수 있다. 버퍼 (310) 가 충진될 (fill up) 때에, 데이터가 네트워크 (318) 상에서 송신될 때에 시스템 (300) 내에서 레이턴시가 유발되는 지연 또는 집적 시간이 일어날 수 있다.
도 4는 개시된 실시예들에 따른 인코더 (306) 및 디코더 (328) 의 블록 다이어그램을 도시한다. 도시된 바와 같이, 인코더 (306) 는 압축되지 않은 데이터 신호 (304) 를 수신하고, 코딩된 신호 (308) 를 생성한다. 디코더 (328) 는 코딩된 신호 (326) 를 수신하고 압축되지 않은 데이터 신호 (330) 를 생성한다. 압축되지 않은 데이터 신호 (330) 는 바람직하게는 압축되지 않은 데이터 신호 (304) 의 고품질 표현 (representation) 이다. 인코더 (306) 및 디코더 (328) 는 도시된 것과는 다른 특징을 포함하며, 공지의 인코더 및 디코더의 일부를 포함할 수 있다.
디코더 (328) 는 코딩된 신호 (326) 내의 데이터를 수신하고, 압축되지 않은 데이터 신호 (330) 를 위해 프레임 내에서 이미지를 복원한다. 특정한 수의 프레임이 초당 60 프레임과 같은, 시간 기간 동안 수신되어야 한다. 데이터의 역 (inverse) 변형에서, 에러가 일어날 수 있고, 데이터가 손실될 수 있다. 이러한 데이터는 생성된 (resulting) 이미지의 일부가 유실 (missing) 되거나 불-이해되지 (incomprehensible) 않도록 인코더 (306) 에 의해 리프레쉬 (refresh) 될 수 있다.
디코더 (328) 는 이미지 내의 에러를 식별하고 검출하는 에러 검출기 (402) 를 포함한다. 아래에서 더 상세히 개시된 바와 같이, 영상 이미지는 인코더 (306) 에 의해 인코딩된 매크로블록 내에서 깨질 수 있다. 디코더 (328) 는 각 매크로블록에 대한 데이터를 디코딩한다. 이러한 프로세스 동안, 일부 매크로블록이 손실되거나 그들이 리프레쉬되기 필요한 지점으로 변경될 수 있다. 더욱이, 매크로블록 그룹은 손실될 수 있고, 또는 영상 이미지의 세그먼트 (segment) 및 에러 내에 있을 수 있다. 디코더 (328) 가 각 이미지를 복원하는 동안 에러 검출기 (402) 는 문제가 있는 매크로블록을 알린다.
디코더 (328) 는 리턴 채널 (329) 을 경유하여 인코더 (306) 에 커플링된다. 에러 검출기 (402) 는 리턴 채널 (329) 내의 리턴 연결 (404) 을 이용하여 인코더 (306) 와 소통한다. 리턴 연결 (404) 은 에러 검출기 (402) 가 인코더 (306) 에 대한 에러를 식별하는 것이 필요할 때에 생성되는 애드-호크 (ad-hoc) 일 수 있다. 디코더 (328) 가 이용 상태에 있지 않다면, 리턴 연결 (404) 는 비활성화된 것일 (disabled) 수 있다.
인코더 (306) 는 에러 검출기 (402) 에 커플링되는 에러 분석 모듈 (406) 을 포함한다. 에러 분석 모듈 (406) 은 디코더 (328) 내에서 이미지 프레임을 복원할 때에 에러 또는 일련의 에러가 발생하였다는 표시를 수신한다. 에러 분석 모듈 (406) 은 이후에 에러에 의해 영향을 받은 이미지 내에서 매크로블록의 비율에 따라 행동 방침 (a course of action) 을 수행한다 (undertakes). 이러한 프로세스는 아래에서 더 상세하게 개시된다.
매크로블록의 비율이 특정한 양보다 더 크다면, 인코더 (306) 는 디코더 (328) 에서 프레임 내의 이미지를 리프레쉬하기 위해 랜덤 인트라-리프레쉬 툴 (408) 을 이용한다. 큰 에러에 대해, 리프레쉬된 부분은 전체 인트라-리프레쉬 프레임을 이용하는 것과 관련된 문제를 유발할 수 있다. 품질은 현저하게 저하되고, 또는 비트 레이트 변동 (fluctuation) 이 레이턴시 문제를 유발할 수 있다. 이러한 시나리오에서, 이미지 내에서 리프레쉬될 랜덤 매크로블록이 선택된다. 랜덤 매크로블록을 이용하는 것은, 현저한 비트 레이트 변동을 예방하면서 영상 품질의 현저한 변화를 방지한다. 이러한 프로세스는 도 5에 더 상세하게 개시된다.
에러 분석 모듈 (406) 이 이미지 내의 에러 비율이 특정한 양 아래에 있다고 결정한다면, 인코더 (306) 는 에러 검출기 (402) 에 의해 식별된 매크로블록을 리프레쉬하기 위해 온-디맨드 (on-demand) 인트라-리프레쉬 툴 (410) 을 이용할 수 있다. 랜덤 인트라-리프레쉬 툴 (408) 과는 달리, 온-디맨드 인트라-리프레쉬 툴 (410) 은 오직 그들과 관련된 전송 에러를 가지는 매크로블록을 리프레쉬한다. 따라서, 디코더 (328) 에 의해 타겟팅된 매크로블록이 시스템 (300) 내에서 전송될 때에만, 인코더 (306) 의 리프레쉬 동작이 영상 품질의 현저한 저하 또는 현저한 비트 레이트 변동을 유발하지 아니한다.
어느 매크로블록이 리프레쉬될 것인지 결정하기 위해 온-디맨드 인트라-리프레쉬 툴 (410) 은 에러를 가지는 이미지를 리프레쉬하는 동안 매크로블록 테이블 (412) 에 접근한다. 이미지의 일부를 리프레쉬할 때에 온-디맨드 인트라-리프레쉬 툴 (410) 을 위한 참고를 제공하기 위해, 인코더 (306) 는 매크로블록 테이블 (412) 로 이미지의 각 매크로블록을 매핑 (map) 한다. 디코더 (328) 는 에러가 있는 또는 사용할 수 없는 이미지의 일부 또는 영역을 지정하며, 온-디맨드 인트라-리프레쉬 툴 (410) 은 이미지의 손실된 일부에 가장 적합한 매크로블록 테이블 (412) 로부터 매크로블록을 결정한다.
따라서, 온-디맨드 인트라-리프레쉬 툴 (410) 을 이용하여, 디코더 (328) 는 이미지의 어느 부분이 리프레쉬되어야 하는지를 결정한다. 디코더 (328) 는 리프레쉬에 대한 요청과 함께 그 자신의 테이블을 채울 수 있고, 인코더 (306) 로 송신할 수 있다. 테이블이 온-디맨드 인트라-리프레쉬를 위해 허용되는 비율 또는 양을 초과한다면, 에러 분석 모듈 (406) 랜덤 인트라-리프레쉬 툴 (408) 을 가능하게 한다. 역으로, 랜덤 인트라-리프레쉬 툴 (408) 은 어느 매크로블록이 리프레쉬될 것인지를 결정하나, 디코더 (328) 는 아니다. 사실, 일부 리턴 툴이 시스템 (300) 내에서 항상 이용가능하도록 리턴 채널 (329) 이 이용가능하지 않을 때에 랜덤 인트라-리프레쉬 툴 (408) 은 그의 기능을 수행할 수 있다.
도 5는 개시된 실시예들에 따른 영상 전송 시스템 (300) 내의 이미지를 리프레쉬하기 위한 흐름도 (500) 를 도시한다. 흐름도 (500) 에 개시된 프로세스는 도 3 및 도 4에 도시된 본 발명의 디바이스 및 구성요소와 관련하여 이용될 수 있다.
단계 502는 에러 검출기 (402) 에 의해 디코더 (328) 에 의해 복원된 이미지 내의 에러를 검출함으로써 이행된다. 에러는 이미지 내의 하나 이상의 매크로블록을 포함할 수 있다. 단계 504는 디코더 (328) 에 의해 테이블 요청을 기입함으로써 이행된다. 테이블 요청은 이미지 내의 에러 상황에 의해 타협된 (compromised) 매크로블록을 식별해야 한다. 또한, 테이블 요청은 이미지 내에서 에러 조건을 갖는 블록의 비율을 도시할 수 있어야 한다.
단계 506은 인코더 (306) 에서 테이블 요청을 수신함으로써 이행된다. 구체적으로, 에러 분석 모듈 (406) 은 에러 검출기 (402) 로부터 요청을 수신한다. 단계 508은 임의의 에러가 요청에 의해 식별되는지 여부를 결정함으로써 이행된다. 그렇지 않다면, 단계 510이 인트라-리프레쉬 동작을 수행하지 않음으로써 이행된다. 본질적으로, 디코더 (328) 는 인코더 (306) 로부터 리프레쉬된 임의의 매크로블록이 없이 이미지를 복원한다.
단계 508이 에러가 이미지 내에 있다고 결정한다면, 단계 512는 디코더 (328) 에 의해 식별된 에러가 특정된 비율을 초과하는지 여부를 결정함으로써 이행된다. 예를 들어, 비율이 40%일 수 있다. 따라서, 테이블 요청에서 식별된 바와 같이 이미지가 40%보다 더 많은 리프레쉬된 매크로블록을 필요로 한다면, 영상 품질은 현저하게 저하될 것이고, 또는 비트 레이트 변동에 기인하여 레이턴시 문제가 발생할 것이다. 온-디맨드 인트라-리프레쉬에 관한 행동은 전체 이미지의 인트라-프레임 리프레쉬를 송신하는 것과 유사할 것이다.
따라서, 단계 512가 '예'라면, 단계 514는 랜덤 인트라-리프레쉬 동작을 수행함으로써 이행된다. 단계 516이 인코더 (306) 에 의해 리프레쉬될 이미지 내의 랜덤 매크로블록을 생성함으로써 이행된다. 단계 518은 디코더 (328) 에 대해 무작위로 선택된 매크로블록을 리프레쉬함으로써 이행된다.
단계 514 내지 518이 도 6에서 더 상세하게 개시될 수 있다. 도 6은 개시된 실시예들에 따른 랜덤 인트라-리프레쉬가 이루어진 이미지 (600) 를 도시한다. 랜덤 인트라-리프레쉬 툴 (408) 은 이미지 (600) 내의 리프레쉬를 위해 무작위로 선택된 매크로블록이 이루어진다.
이미지 (600) 는 매크로블록 (650) 내에서 깨질 수 있다. 매크로블록 (650) 은 8 대 8 또는 16 대 16과 같은 픽셀의 설정 수를 포함한다. 이미지 (600) 내의 모든 픽셀이 전송을 위해 인코딩되도록 각 매크로블록은 인코더 (306) 에 의해 코딩된다. 각각이 이미지 (600) 의 다른 부분을 나타낼 때에 매크로블록에 대한 파라미터가 다를 것이다. 예를 들어, 이미지 (600) 는 사람 (602), 구조 (604) 및 소스 (606) 를 포함할 수 있다. 각 매크로블록은 디코더 (328) 에 의해 복원되는 동작 벡터, 색상 및 휘도에 대한 값을 포함할 것이다.
단계 512에서 결정된 바와 같이, 이미지 (600) 내의 에러는 매우 커서 온-디맨드 리프레쉬가 실현 가능하지 (feasible) 않다. 따라서, 랜덤 인트라-리프레쉬 툴 (408) 은 이미지 품질과 타협하지 않도록 또는 현저한 비트 레이트 변동을 초래하지 않도록, 리프레쉬를 위해 랜덤 매크로블록 (650) 을 선택한다. 제1 예에서, 무작위로 선택된 매크로블록 (610) 은 인코더 (306) 에 의해 리프레쉬를 위해 선택된다. 매크로블록 (610) 은 리프레쉬되고, 또는 다시 코딩되고, 디코더 (328) 로 송신되어, 이미지 (600) 내에서 검출된 에러를 완화시킨다 (mitigate). 다른 랜덤 인트라-리프레쉬가 필요하다면, 랜덤 인트라-리프레쉬 툴 (408) 은 이미지 (600) 내의 매크로블록 (620) 을 무작위로 선택할 수 있다. 랜덤 인트라-리프레쉬를 이용하여, 이미지 (600) 의 충분한 부분이 검출된 에러를 극복하기 위해 리프레쉬된다.
단계 512가 '아니오'라면, 단계 520은 온-디맨드 인트라-리프레쉬 툴 (410) 및 매크로블록 테이블 (412) 을 이용하여 이미지에 대한 온-디맨드 인트라-리프레쉬 동작을 수행함으로써 이행된다. 단계 522는 매크로블록 테이블 (412) 내에 에러를 갖는 것으로 디코더 (328) 에 의해 표시된 매크로블록을 식별함으로써 이행된다. 테이블 요청은 매크로블록 테이블 (412) 내에서 매크로블록을 매칭해야 한다. 단계 524는 매크로블록 테이블 (412) 로부터의 매크로블록을 이용하여 이미지를 리프레쉬함으로써 이행된다.
단계 520 내지 524는 도 7에서 더 상세하게 개시될 수 있다. 도 7은 개시된 실시예들에 따른 온-디맨드 인트라-리프레쉬 및 매크로블록 테이블 (412) 과 관련된 이미지 (600) 를 도시한다. 위에 개시된 바와 같이, 이미지 (600) 는 매크로블록 (650) 을 포함한다. 매크로블록 테이블 (412) 은 또한 매크로블록 (650) 에 대응하는 이미지 (600) 로부터 매핑된 매크로블록 (710) 을 포함한다.
도 7 내의 이미지 (600) 는 에러 부분 (702) 을 포함한다. 에러 부분 (702) 내의 매크로블록 (650) 은 디코더 (328) 에 의해 수신될 때에 손실되거나 이용가능하지 않다. 에러 검출기 (402) 는 분석 모듈 (406) 에 대한 에러 부분 (702) 내의 매크로블록을 식별한다. 에러 부분 (702) 이 큰 비율의 이미지 (600) 를 포함하지 않기 때문에, 인코더 (306) 는 그의 매크로블록을 인트라-리프레쉬할 수 있다.
따라서, 랜덤 인트라-리프레쉬 툴 (408) 은 에러 부분 (702) 에 대응하는 바와 같은 매크로블록 테이블 (402) 내의 리프레쉬 부분 (704) 을 식별한다. 인코더 (306) 는 리프레쉬 부분 (704) 내의 매크로블록 (710) 을 리프레쉬함으로써 에러 부분 (702) 을 교정한다. 바람직하게는, 매크로블록 (710) 의 수는 랜덤 인트라-리프레쉬와 관련된 것보다 더 적고, 따라서 품질 관점 (perspective) 에서 덜 현저하게 되고, 현저한 비트 레이트 변동을 나타내지 않는다.
매크로블록 (650) 은 인트라-매크로블록 또는 인터-매크로블록일 수 있다.
따라서, 개시된 실시예들은 복원된 이미지 내의 에러를 식별하기 위해 온-디맨드 인트라-리프레쉬 툴 및 동작에 따른 랜덤 인트라-리프레쉬 툴 및 동작을 이용한다. 개신된 실시예들은 현저한 비트 레이트 변동 또는 레이턴시를 유발하는 것 또는 영상 이미지의 품질을 감소시키는 것 없이 에러 조건을 이동시킨다. 인트라-프레임 이미지의 이용이 필요하지 않다.
본 발명의 목적 범위 또는 정신으로부터 벗어남이 없이, 다양한 수정예 및 변형예가 개인적 카드 커버의 개시된 실시예에서 이루어질 수 있다. 따라서, 본 발명은 임의의 특허청구범위의 및 그들의 등가물의 목적 범위 내에 있도록 제공된 위와 같은 개시된 실시예들의 수정예 및 변형예를 커버하려는 의도를 가진다.

Claims (18)

  1. 디코딩된 이미지의 매크로블록 내에서의 에러를 검출하기 위한 디코더 내의 에러 검출기;
    리턴 연결로 상기 에러 검출기에 커플링된 인코더 내의 에러 분석 모듈 (error resolution module) 로서, 상기 에러 분석 모듈은,
    에러를 갖는 매크로블록의 비율을 결정하고,
    전체 디코딩된 이미지의 인트라-프레임 리프레쉬와 비슷한 온-디맨드 인트라-리프레쉬 부하를 나타내는 문턱값과 상기 비율을 비교하고,
    상기 비율이 상기 문턱값을 초과한다면 랜덤 인트라-리프레쉬 폴리시를 리프레쉬 폴리시로 지정하고, 상기 랜덤 인트라-리프레쉬 폴리시는 에러 부분에 대응하는 리프레쉬 부분의 매크로블록을 리프레쉬하고,
    상기 비율이 상기 문턱값과 동일하거나 미만이라면 온-디맨드 인트라-리프레쉬 폴리시를 리프레쉬 폴리시로 지정하고, 랜덤 인트라-리프레쉬 폴리시와 온-디맨드 인트라-리프레쉬 폴리시 간의 비트 레이트 변동이 크지 않도록, 상기 온-디맨트 인트라-리프레쉬 폴리시는 전송 에러를 갖는 매크로블록만을 리프레쉬하는, 상기 에러 분석 모듈; 및
    상기 리프레쉬 폴리시에 기초하여 상기 디코딩된 이미지를 리프레쉬하기 위한 상기 인코더 내의 리프레쉬 툴을 포함하는, 영상 전송 시스템.
  2. 제 1 항에 있어서,
    상기 디코딩된 이미지에 대응하는 매크로블록을 저장하기 위한 매크로블록 테이블을 더 포함하는, 영상 전송 시스템.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 인코더에 연결된 버퍼로서, 상기 버퍼의 크기는 상기 디코딩된 이미지에 대응하는, 상기 버퍼를 더 포함하는, 영상 전송 시스템.
  6. 영상 전송 시스템 내에서 이미지를 리프레쉬하기 위한 방법으로서,
    디코더에서 상기 이미지 내의 매크로블록에서 에러를 검출하는 단계;
    상기 디코더와의 리턴 연결을 갖는 인코더에서 상기 매크로블록에서의 상기 에러를 수신하는 단계;
    상기 매크로블록에서의 상기 에러가 전체 이미지의 인트라-프레임 리프레쉬와 비슷한 온-디맨드 인트라-리프레쉬 부하를 나타내는 비율을 초과하는지를 결정하는 단계;
    상기 매크로블록에서의 상기 에러가 상기 비율과 동일하거나 초과하지 않는다면, 온-디맨드 인트라-리프레쉬를 수행하는 단계로서, 상기 온-디맨드 인트라-리프레쉬는 전송 에러를 갖는 매크로블록만을 리프레쉬하는, 상기 온-디맨드 인트라-리프레쉬를 수행하는 단계; 및
    상기 매크로블록에서의 상기 에러가 상기 비율을 초과한다면, 랜덤 인트라-리프레쉬를 수행하는 단계로서, 랜덤 인트라-리프레쉬 폴리시는 상기 랜덤 인트라-리프레쉬 폴리시와 온-디맨드 인트라-리프레쉬 폴리시 간의 비트 레이트 변동이 크지 않도록, 에러 부분에 대응하는 리프레쉬 부분의 매크로블록을 리프레쉬하는, 상기 랜덤 인트라-리프레쉬를 수행하는 단계를 포함하는, 이미지 리프레쉬 방법.
  7. 제 6 항에 있어서,
    에러가 상기 매크로블록에서 검출되지 않는다면, 인트라-리프레쉬를 수행하지 않는 단계를 더 포함하는, 이미지 리프레쉬 방법.
  8. 제 6 항에 있어서,
    에러를 갖는 상기 매크로블록으로 테이블 요청을 기입하는 단계를 더 포함하는, 이미지 리프레쉬 방법.
  9. 제 8 항에 있어서,
    상기 이미지에서의 상기 매크로블록을 포함하는 매핑된 테이블과 상기 테이블 요청을 비교하는 단계를 더 포함하는, 이미지 리프레쉬 방법.
  10. 제 6 항에 있어서,
    상기 온-디맨드 인트라-리프레쉬를 수행하는 단계는 상기 이미지의 상기 매크로블록의 상기 에러에 대응하는 테이블에서의 매크로블록을 식별하는 단계를 포함하는, 이미지 리프레쉬 방법.
  11. 제 10 항에 있어서,
    상기 식별된 매크로블록을 사용하여 상기 이미지를 리프레쉬하는 단계를 더 포함하는, 이미지 리프레쉬 방법.
  12. 제 6 항에 있어서,
    상기 랜덤 인트라-리프레쉬를 수행하는 단계는 상기 이미지의 매크로블록 랜덤 세트를 생성하는 단계를 포함하는, 이미지 리프레쉬 방법.
  13. 제 12 항에 있어서,
    상기 매크로블록 랜덤 세트를 리프레쉬하는 단계를 더 포함하는, 이미지 리프레쉬 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020137032246A 2011-05-04 2012-05-04 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬 KR101957539B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/067,050 US9025672B2 (en) 2011-05-04 2011-05-04 On-demand intra-refresh for end-to end coded video transmission systems
US13/067,050 2011-05-04
PCT/US2012/036648 WO2012151549A1 (en) 2011-05-04 2012-05-04 On-demand intra-refresh for end-to-end coded video transmission systems

Publications (2)

Publication Number Publication Date
KR20140028059A KR20140028059A (ko) 2014-03-07
KR101957539B1 true KR101957539B1 (ko) 2019-03-12

Family

ID=47090226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137032246A KR101957539B1 (ko) 2011-05-04 2012-05-04 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬

Country Status (5)

Country Link
US (1) US9025672B2 (ko)
JP (1) JP5784823B2 (ko)
KR (1) KR101957539B1 (ko)
CN (1) CN103733615B (ko)
WO (1) WO2012151549A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6642573B2 (ja) * 2015-06-24 2020-02-05 ソニー株式会社 符号化装置、復号装置及び伝送制御方法
CN106488229B (zh) * 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
WO2017183204A1 (ja) * 2016-04-22 2017-10-26 株式会社日立製作所 動画像符号化装置および動画像符号化方法
WO2019180869A1 (ja) * 2018-03-22 2019-09-26 株式会社Ｈｙｓエンジニアリングサービス 画像伝送システム、画像送信装置及び画像受信装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100150230A1 (en) 2008-12-17 2010-06-17 Apple Inc. Video coding system using sub-channels and constrained prediction references to protect against data transmission errors

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252761A1 (en) * 2003-06-16 2004-12-16 Dilithium Networks Pty Limited (An Australian Corporation) Method and apparatus for handling video communication errors
TW200627967A (en) * 2004-07-15 2006-08-01 Qualcomm Inc Methods and apparatus for spatial error concealment
US8948266B2 (en) * 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
US9661376B2 (en) * 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
US8767839B2 (en) * 2007-01-22 2014-07-01 Qualcomm Incorporated Error filter to differentiate between reverse link and forward link video data errors
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
US8259794B2 (en) * 2008-08-27 2012-09-04 Alexander Bronstein Method and system for encoding order and frame type selection optimization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100150230A1 (en) 2008-12-17 2010-06-17 Apple Inc. Video coding system using sub-channels and constrained prediction references to protect against data transmission errors

Also Published As

Publication number Publication date
US20120281766A1 (en) 2012-11-08
CN103733615A (zh) 2014-04-16
JP5784823B2 (ja) 2015-09-24
JP2014519247A (ja) 2014-08-07
WO2012151549A1 (en) 2012-11-08
CN103733615B (zh) 2017-02-15
KR20140028059A (ko) 2014-03-07
US9025672B2 (en) 2015-05-05

Similar Documents

Publication Publication Date Title
CA2440154C (en) Picture encoding method and apparatus and picture decoding method and apparatus
US9414086B2 (en) Partial frame utilization in video codecs
US20130268621A1 (en) Transmission of video utilizing static content information from video source
US20060188025A1 (en) Error concealment
KR101640872B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
US9300956B2 (en) Method and apparatus for redundant video encoding
CN101742289B (zh) 视频码流压缩方法、系统及装置
KR20060122665A (ko) 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
CN103533356A (zh) 视频数据传输方法和装置
KR101957539B1 (ko) 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬
US20110299605A1 (en) Method and apparatus for video resolution adaptation
US20120281756A1 (en) Complexity change detection for video transmission system
US20120281757A1 (en) Scene change detection for video transmission system
US20120033727A1 (en) Efficient video codec implementation
US20080069202A1 (en) Video Encoding Method and Device
TW201701667A (zh) 動態影像預測解碼裝置、動態影像預測解碼方法
WO2013130252A1 (en) Flicker reduction circuit and method for compressed video transmission
CN101754001A (zh) 视频数据优先级确定方法、装置和系统
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
WO2021082799A1 (zh) 一种视频会议辅流处理方法及装置
CN107835422B (zh) 一种基于显著性的hevc多描述图像编码算法
Fitzek et al. VideoMeter tool for YUV bitstreams
US8358694B2 (en) Effective error concealment in real-world transmission environment
KR100669621B1 (ko) 동영상 디코더의 참조 영상 변경 제어방법
Polec et al. Detection of transmission errors in block coded images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant