KR20140028059A

KR20140028059A - 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬

Info

Publication number: KR20140028059A
Application number: KR1020137032246A
Authority: KR
Inventors: 알베르토 두에나스; 프랜시스코 론세로 이즈퀴에르도; 고르카 가르시아
Original assignee: 캐비엄, 인코포레이티드
Priority date: 2011-05-04
Filing date: 2012-05-04
Publication date: 2014-03-07
Also published as: CN103733615A; JP2014519247A; US20120281766A1; KR101957539B1; JP5784823B2; US9025672B2; WO2012151549A1; CN103733615B

Abstract

영상 전송 시스템은 인코더와 디코더를 포함한다. 데이터는 영상 인코딩 및 전송 도중 분실될 수도 있으며, 이는 디코더에 의한 영상 이미지 복원에서 에러를 일으킨다. 리턴 채널은, 디코더에 의해 검출된 에러가 인코더에 가용하게 되도록 인코더와 디코더를 커플링한다. 수신되지 않은 이미지의 비율에 따라, 갱신 동작이 수행된다. 온-디멘드 인트라-갱신 동작은, 갱신이 필요한 이미지의 비율이 특정 레벨 이하인 경우 수행된다. 랜덤 인트라-갱신 동작은, 갱신이 필요한 이미지의 비율이 레벨을 초과하는 경우 수행된다.

Description

엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬{ON-DEMAND INTRA-REFRESH FOR END-TO-END CODED VIDEO TRANSMISSION SYSTEMS}

본 발명은 네트워크를 통해 영상 신호를 전달하는 방법과 관련된다. 보다 상세하게는, 본 발명은 전송 에러가 발생하여, 정보의 일부가 유실되거나 손상된 경우, 이미지의 부분에 인트라-프레임 예측을 도입함으로써, 이미지 품질에 영향을 줄이는 방법과 관련된다.

네트워크를 통해 영상 컨텐츠를 전송하기 전에, 영상 프레임은 데이터를 인코딩하기 위한 알고리즘을 사용하여 압축된다. 인코딩할 데이터의 양을 감소시키기 위해, 알려진 영상 전송 시스템은 예측 프로세스를 사용할 수도 있다. 통상의 영상 압축 표준은 두 개의 주 예측 방식을 고려할 수도 있다. 하나의 방식은 영상 프레임의 일부 각각에 대한 현재 위치까지 코딩된 현재 프레임의 정보를 사용하는 인트라-프레임 예측이다. 다시 말하면, 인트라-프레임 예측은 현재 프레임으로부터의 정보를 사용한다.

다른 방식은 인터-프레임 예측이다. 인터-프레임 예측은 현재 프레임의 일부 각각에 대한 이전의 또는 미래 코딩된 이미지 프레임으로부터의 정보를 사용하고, 더 높은 압축률을 달성하기 위해 프레임들 사이의 일시적인 중복을 이용한다. 장면이 일 장면에서 다음 장면까지 현저히 변하지 않는다면, 인터-프레임 예측은 동일하게 남는 매크로블록 (macroblock) 을 예측함으로써 인코딩 부하를 감소시킨다.

각각의 방식은 결점을 갖는다. 방식 각각에 대한 압축 효율은 넓은 범위의 적용과 장면들 (scenario) 에 따라 상이하다. 예컨대 대역폭 및 레이턴시(latency)와 같은 시스템 요구 사항에 따라, 인트라-프레임으로 예측된 프레임의 사용은 용인가능한 수준의 품질 또는 수행 레벨에 있어서 바람직하지 않을 수도 있다. 예를 들어, 인트라-프레임 인코딩은 매크로블록 각각에 대한 로우 (raw) 픽셀을 인코딩하는 것을 요구할 수도 있다. 영상 전송 시스템에서 대역폭은 결과적으로 증가할 수도 있다. 압축 비율이 낮을수록 레이턴시 제한을 갖는 시스템은 블록을 잃는 것에 직면할 수도 있으며, 인트라-프레임 인코딩은 인터-프레임 인코딩 보다 더 많은 비트를 소모하는 경향이 있다. 따라서, 인터-프레임 예측이 더 나은 선택일 수도 있다.

반면, 인트라-프레임 예측은 에러 내성 목적에 있어서 필요할 수도 있다. 영상 전송 시스템은 디코딩된 이미지에서 나타나는 오류들을 접하게 한다. 디코딩 후, 에러가 가능한 데이터 유실 또는 데이터의 손상에 의해 발생한다. 다수의 시스템은 종종 눈에 띄는 에러의 시작을 방지하기 위해 인트라-프레임을 도입하나, 비트 레이트가 크게 뛰거나 (spike upward), 품질 레벨이 용인 가능한 레벨 이하로 떨어질 수 있기 때문에, 이 프로세스는 낮은 레이턴시 시스템에서 실현가능하지 않을 수도 있다.

도 1a와 도 1b에 도시된 바와 같이, 인트라-프레임의 사용은 영상 전송에 부정적인 영향을 야기한다. 도 1a 또는 도 1b에 도시된 영상들은 에러가 영상 전송 내에서 발생된 경우 발생될 수도 있다. 도 1a는 완전한 인트라-프레임 갱신에 대해 시간이 흐르는 동안의 일정한 비트 레이트를 가지는 시스템 내에서 디코딩된 비디오의 품질을 나타내는 그래프를 도시한다. 도 1a에서, 비트 레이트는 영상의 품질이 변동되는 동안 프로세스 전반에서 일정하다. 점선 (102) 은 전송에서 어떤 에러도 없는 영상 컨텐츠의 품질 레벨을 나타낸다. 점선 (102) 은 일정하게 유지되거나 영상 품질에 어떤 눈에 띄는 저하 없이 시간이 흐르며 작은 범위 내에서 대략적으로 유지된다.

선 (104) 은 오류 (112) 가 발생된 경우 영상 품질을 나타내며, 인트라-프레임 갱신 이미지가 도입된다. 선 (104) 은 또한 에러 (112) 가 발생하거나 검출되는 시간까지 일정하게 유지된다. 그 후, 품질의 레벨이 현저히 감소되며, 사용자에게 눈에 띄는 문제를 야기한다. 이미지는 품질의 하락에 의해 왜곡되거나 그늘질 수도 있다. 이 하락은 시스템 제한에 의해 가능하게 요구되는 일정한 비트레이트에 대한 필요에 의해 발생된다. 선 (106) 은 네트워크 비트 레이트 용량을 나타낸다. 비트레이트가 선 (106) 이하에 유지되는 동안은, 영상 전송 시스템 내에서 레이턴시 문제가 발생하지 않는다.

점선 (108) 은 영상 전송 시스템 내에서의 에러 없는 비트 레이트를 나타낸다. 점선 (108) 은 시간이 흐르며 일정하게 유지되며, 내트워크 내에서 어떤 문제도 야기하지 않는 합리적인 범위 내에서 유지된다. 선 (110) 은 에러 (112) 가 발생한 경우 비트 레이트를 나타낸다. 위의 선 (104) 과는 다르게, 선 (110) 은 에러 (112) 에도 불구하고 값이 변동되지 않는다. 따라서, 네트워크 상에 발생하는 레이턴시 문제는 발생하지 않으며, 인트라-프레임 갱신 이미지를 도입하는 결과로 품질에 눈에 띄는 하강이 발생한다.

도 1b는 완전한 인트라-프레임 갱신에 대해 시간이 흐르는 동안 일정한 품질 레벨을 갖는 비트 레이트의 변동을 나타내는 그래프 (120) 를 도시한다. 점선 (120) 과 점선 108) 은 에러가 발생하지 않는 장면들 동안 일정하게 유지되며, 인트라-프레임 갱신은 필요하지 않다. 품질이 도 1b에서 일정하게 유지되므로, 선 (104) 은 또한 시간이 흐르며 일정하게 유지된다. 비트 레이트에 대한 선 (110) 은 그러나 인트라-프레임 갱신 이미지를 핸들링하는데 필요한 증가된 코딩에 의해 극적으로 증가한다. 수신된 데이터의 복잡성은 새로운 이미지에 의해 증가하며 비트 레이트는, 에러 (112) 에서의 선 (106) 에 의해 도시된 것과 같이, 이 증가를 핸들하도록 네트워크 용량을 초과한다. 레이턴시는 영상 전송 시스템에 도입될 것이다. 낮은 레이턴시 시스템에 있어서, 버퍼링 문제 또한 발생할 수 있다.

따라서, 인트라-프레임 갱신 이미지의 사용은, 네트워크 비트 레이트 용량을 초과하지 않으며 일정한 품질 레벨을 원하는 시스템에 적합하지 않을 수도 있다. 낮은 레이턴시 영상 전송 시스템에 있어서, 인트라-프레임 예측은 한번 에러가 발생하면 손산된 이미지를 복구할 수도 있다. 인트라-프레임 예측의 사용은 손상된 데이터로부터 야기되는 아티팩트 (artifacts) 를 제거할 수도 있으며, 디코딩된 영상 컨텐츠의 원하는 품질 레벨을 회복한다. 프레임은 인코더에 의해 슬라이스들 또는 세그먼트들로 분해도리 수도 있으며 별도로 인코딩될 수도 있다. 그러나 이 프로세스는 프레임을 통해 이동하는 왜곡을 야기할 수도 있으며 영상 컨텐츠의 품질을 감소시킨다. 인트라-예측된 슬라이스들은 분명하게 눈에 띈다. 더욱이, 품질이 유지된다면, 비트 레이트는 레이턴시와 함께 증가할 수도 있으나 인트라-프레임 갱신 이미지와 함께하는 것과 같이 증가하지는 않을 수도 있다.

도 2a 및 2b는 이미지의 세그먼트들 동안 인트라-프레임 예측에 의해 야기된 부정적 영향들을 나타낸다. 도 2a는 부분적인 인트라-프레임 갱신에 대해 시간이 흐르는 동안 일정한 비트 레이트를 갖는 영상 전송 시스템 내에서 디코딩된 영상 품질을 도시하는 그래프 (200) 를 도시한다. 점선 (202) 은 전송에서 어떤 에러도 없는 시간이 흐르는 동안의 영상 컨텐츠의 품질을 나타낸다. 선 (204) 은 에러 (212) 가 발생된 경우 영상 컨텐츠의 품질을 나타낸다. 에러 (212) 는, 에러를 포함하는 세그먼트만이 인트라 -프레임 예측을 사용하여 인코딩되도록, 인트라-프레임 세그먼트 갱신을 야기할 수도 있다.

선 (204) 은 품질에서 하강하나, 도 1a에서의 선 (104) 과 같이 현저히 하강하지는 않는다. 그러나, 선 (204) 은 일 기간 보다 품질에서 감소한다. 품질은, 이미지의 일부가 왜곡되거나 그늘지도록, 이 시간들에서 전송된 세그먼트 동안 피해를 입는다 (suffer). 이 행위는, 세그먼트가 인트라-프레임 예측을 사용하여 회복되는 동안 저 품질 이미지를 야기한다. 점선 (208) 이 영상 전송 시스템에서 나타나는 어떤 에러들도 없는 비트 레이트를 나타내는 동안, 선 (206) 은, 네트워크 비트 레이트 용량을 나타낸다. 선 (210) 은 에러 (212) 가 발생할 경우 비트 레이트를 나타낸다. 도 1a에서의 선 (110) 과 같이, 선 (210) 은 에러 (212) 에 의해 현저히 변동되지 않으며 선 (206) 아래에서 유지된다.

도 2b는 일부의 인트라-프레임 예측된 갱신에 대해 시간이 흐르는 동안 일정한 품질을 갖는 영상 전송 시스템 내에서 비트 레이트 변동을 나타내는 그래프 (220) 를 도시한다. 도 2a에 도시된 바와 같이, 점선 (202) 및 점선 (208) 은, 영상 전송 시스템에서 에러가 발생하지 않으므로, 시간이 흐르는 동안 일정하게 유지된다. 또한, 선 (204) 은 영상 이미지에서 거의-일정한 품질에 대한 필요에 의해 일정하게 유지된다. 선 (210) 은 에러 (212) 에 의해 증가한다는 것을 나타낸다. 도 1b에서의 선 (110) 과 같이 현저하지는 않지만, 선 (210) 은 선 (206) 에 나타난 것과 같이 네트워크 비트 레이트 용량을 초과한다. 따라서, 에러 (212) 가 발생하면, 레이턴시 문제가 비트 레이트 변동에 의해 생길 것이다.

본 발명의 실시예들은 엔드-투-엔드 (end-to-end) 코딩된 영상 전송 시스템을 위한 온-디멘드 (on-demand) 인트라-갱신을 개시한다. 시스템은, 인트라-프레임 갱신 프레임 또는 이미지의 사용을 감소시키거나 제거하는 동안 에러 내성과 품질 퍼포먼스 사이의 타협을 제공하기 위한 것이다. 개시된 시스템은 영상 이미지의 부분에서 인트라-프레임을 소개한다. 전체 프레임은, 맵의 일부 각각이 에러가 발생한 경우 갱신되도록 독립적으로 요청될 수 있게, 랜덤 매크로블록 (macroblcok) 으로 테이블에서 매핑 (mapped) 된다.

개시된 시스템은, 디코더측이 이미지의 어떤 일부가 갱신되어야만 하는지 인코더에 알려줄 수 있도록 디코더로부터 리턴 채널을 포함한다. 인코더와 디코더는 렌덤 갱신과 요청된 갱신이 발생하는 경우, 설정 (establish) 하기 위한 프로토콜을 사용할 수도 있다. 또한, 프로토콜은 프레임 각각에서 갱신되는 이미지의 비율을 제어할 수도 있다. 이 제어 메커니즘은, 갱신되 이미지의 부분이 전체 인트라-프레임 갱신 프레임을 사용함으로써 발견된, 유사한 품질 소멸 (laplse) 또는 비트 레이트 변동을 야기하는 시나리오를 피하기 위한 것이다.

바람직한 실시예에 따르면, 영상 전송 시스템이 개시된다. 영상 전송 시스템은 디코딩된 이미지의 매크로블록 내에서 에러를 검출하도록 디코더 내에 에러 검출기를 포함한다. 영상 전송 시스템은 또한 리턴 연결로 에러 검출기와 커플링된 인코더 내의 에러 해상도 모듈을 포함한다. 에러 해상도 모듈은 에러를 갖는 매크로블록의 비율을 결정한다. 영상 전송 시스템은 또한 매크로블록의 비율에 기초하여 디코딩된 이미지를 갱신하도록 인코더 내의 갱신 툴 (tool) 을 포함한다.

또한, 바람직한 실시예에 따라, 영상 전송 시스템 내의 이미지를 갱신하기 위한 방법이 도시된다. 방법은 디코더에서 이미지 내의 매크로블록에서 에러를 검출하는 단계를 포함한다. 방법은 또한 디코더와의 리턴 연결을 갖는 인코더에서 매크로블록 내의 에러를 수신하는 단계를 포함한다. 방법은 또한 매크로블록에서의 에러가 비율을 초과하는지를 결정하는 단계를 포함한다. 방법은 또한, 매크로블록에서의 에러가 비율과 동일하거나 비율을 초과하지 않는다면, 온-디멘드 인트라-갱신을 수행하는 단계를 포함한다. 방법은 또한 매크로블록에서의 에러가 비율을 초과한다면, 랜덤 인트라-갱신을 수행하는 단계를 포함한다.

또한, 바람직한 실시예에 따라, 영상 전송 시스템 내의 이미지를 인트라-갱신하기 위한 방법이 개시된다. 방법은 이미지 내의 매크로블록에서의 식별된 에러를 수신하는 단계를 포함한다. 또한 방법은 식별된 에러에 대응하여 인트라-갱신 프로세스를 수행하는 단계를 포함한다. 또한, 방법은 이미지에 대한 매크로블록 세트를 갱신하는 단계를 포함한다.

본 발명의 충분한 이해를 제공하기 위해 본 명세서의 일부를 구성하면서 첨부된 도면이 포함된다. 아래에 실린 도면들은 본 발명의 실시예들을 도시하며, 상세한 설명과 함께, 특허청구범위 및 그의 등가물들에 의해 개시되는 바와 같은, 본 발명의 원리를 설명하기 위해 제공된다.
도 1a는 완전한 인트라-프레임 갱신에 대해 시간이 흐르는 동안의 일정한 비트 레이트를 가지는 시스템 내에서 디코딩된 영상 품질을 도시하는 그래프이다.
도 1b는 완전한 인트라-프레임 갱신에 대해 시간이 흐르는 동안 일정한 품질 레벨을 갖는 비트 레이트의 변동을 도시하는 그래프이다.
도 2a는 부분적인 인트라-프레임 갱신에 대해 시간이 흐르는 동안 일정한 비트 레이트를 갖는 영상 전송 시스템 내에서 디코딩된 영상 품질을 도시하는 그래프이다.
도 2b는 부분적인 인트라-프레임 예측 갱신에 대해 시간이 흐르는 동안 일정한 품질을 가지는 영상 전송 시스템 내의 비트 레이트 변동을 도시하는 그래프이다.
도 3은 개시된 실시예들에 따른 영상 신호 데이터를 전송하고 수신하기 위한 시스템을 도시한다.
도 4는 개시된 실시예들에 따른 인코더 및 디코더의 블록 다이어그램을 도시한다.
도 5는 개시된 실시예들에 따른 영상 전송 시스템 내의 이미지를 갱신하기 위한 흐름도를 도시한다.
도 6은 개시된 실시예들에 따른 랜덤 인트라-갱신에 속하는 이미지를 도시한다.
도 7은 개시된 실시예들에 따른 온-디맨드 인트라-갱신 및 매크로블록 테이블에 속하는 이미지를 도시한다.

본 발명의 양상들이 첨부된 실시예들에 개시된다. 본 발명의 목적 범위 또는 정신으로부터 벗어남 없이 본 발명의 대안적인 실시예들 및 그들의 등가물들이 고안된다. 이하에 개시된 유사한 구성요소들은 도면에서 유사한 도면 부호로 표시됨을 주목해야 한다.

도 3은 개시된 실시예들에 따른 영상 신호 데이터를 전송 및 수신하기 위한 시스템 (300) 을 도시한다. 시스템 (300) 은 정보를 공유하기 위한 네트워크 상에서 연결되는 디바이스의 집합 또는 임의의 시스템일 수 있다. 영상 신호를 전송할 때에 매우 적은 또는 무 (無) 레이턴시 (latency) 가 구현되도록, 영상 컨텐츠는 실시간으로 전달될 수 있다. 영상 신호는 시청자에게 전달되는 이미지들의 프레임을 포함한다. 이를 테면, 낮은 레이턴시 영상 전송 시스템이 시큐리티 (security) 모니터링을 위해 바람직하다.

디지털 미디어 서버 (302) 는 전송될 영상 컨텐츠를 생성한다. 디지털 미디어 서버 (302) 는 영상 데이터를 캡쳐하는 임의의 디바이스, 콘솔, 카메라 등일 수 있다. 예를 들어, 디지털 미디어 서버 (302) 는 디스크 또는 다른 매체 상에 저장된 영상게임을 실행하는 게이밍 콘솔이다. 게임을 실행함으로부터 생성되는 컨텐츠는 사용자가 실시간으로 시청하고 상호작용하도록 디스플레이된다. 대안적으로, 디지털 미디어 서버 (302) 는 인코딩될 이미지로서 영상 데이터를 캡쳐하는 컴퓨터, 영상 레코더, 디지털 카메라, 스캐너 등이다.

압축되지 않은 데이터 신호 (304) 는 디지털 미디어 서버 (302) 로부터 인코더 (306) 로의 출력이다. 인코더 (306) 는 시스템 (300) 내에서 전송을 위해 신호 (304) 를 인코딩하거나 압축할 수 있다. 인코더 (306) 는 아래에서 더 상세하게 개시된다. 인코더 (306) 는 압축되지 않은 데이터 신호 (304) 내의 이미지를 네트워크 (318) 상에서 변형가능한 데이터로 변형시키기 위한 공지의 양자화 및 코딩 기술을 이용할 수 있다. 이러한 변형 시에, 일부 데이터는 손실되거나 변경될 수 있다.

인코더 (306) 는 코딩된 신호 (308) 를 버퍼 (310) 로 출력한다. 신호가 시스템 (300) 을 통해 전송될 수 있을 때까지 버퍼 (310) 는 신호 (308) 로부터 데이터를 저장한다. 네트워크 비트 레이트가 신호 (308) 의 변형을 허용하지 않는다면, 신호가 트랜스시버 (314) 에 의해 전송될 수 있는 시간까지 버퍼 (310) 는 데이터를 홀딩한다. 버퍼 (310) 는 트랜스시버 (314) 로 신호 (312) 를 출력한다.

트랜스시버 (314) 는 네트워크 (318) 상에서 신호 (316) 를 전송한다. 네트워크 (318) 는, 네트워크 (318) 상에서 영상 데이터를 시청자에게 전달하는 무선 또는 유선 네트워크 같은, 데이터를 전송하고 수신하는 임의의 디바이스의 집합일 수 있다. 대안적으로, 네트워크 (318) 는 실시간 영상을 보여주는 원격 카메라로부터 신호 (316) 를 수신하는 컴퓨터의 네트워크일 수 있다.

트랜스시버 (320) 는 신호 (316) 를 수신하고, 신호(322) 를 버퍼 (324) 로 출력한다. 신호는 버퍼 (310) 로부터 디코더 (328) 까지 흐를 (stream) 수 있다. 디코더 (328) 는 압축되지 않은 신호 (330) 를 생성하기 위해 신호 (326) 를 디코딩하거나 압축 해제할 수 있다. 디코더 (328) 또한 아래에서 더 상세하게 개시된다. 디코터 (328) 는 또한 압축되지 않은 신호 내에서 그들 스스로를 나타내는 신호 (316) 내의 에러를 검출할 수 있다. 디코더 (328) 는 리턴 채널 (329) 를 경유하여 인코더 (306) 에 커플링될 수 있다.

바람직하게는, 압축되지 않은 신호 (330) 는 코딩 프로세스에 기인한 약간의 변형이 있는 압축되지 않은 신호 (304) 의 고품질 카피이다. 디지털 미디어 렌더러 (332) 는 압축되지 않은 신호 (330) 를 수신하고 사용자에게 영상 데이터 컨텐츠를 디스플레이한다. 디지털 미디어 렌더러 (332) 는 1,280x720 픽셀 (720p) 또는 1,920x1,080 픽셀 (1080i/1080p) 의 디스플레이 해상도를 가지는 고화질 텔레비전일 수 있다.

시스템 (300) 은 다양한 제한 및 파라미터와 관련이 있다. 시스템 (300) 은 네트워크 (318) 상에서 일정한 비트 레이트로 전송한다. 이러한 비트 레이트는 같은 시간 기간 동안 유지되나, 특정한 환경 하에서 변경될 수 있다. 버퍼 (310) 가 충진될 (fill up) 때에, 데이터가 네트워크 (318) 상에서 송신될 때에 시스템 (300) 내에서 레이턴시가 유발되는 지연 또는 집적 시간이 일어날 수 있다.

도 4는 개시된 실시예들에 따른 인코더 (306) 및 디코더 (328) 의 블록 다이어그램을 도시한다. 도시된 바와 같이, 인코더 (306) 는 압축되지 않은 데이터 신호 (304) 를 수신하고, 코딩된 신호 (308) 를 생성한다. 디코더 (328) 는 코딩된 신호 (326) 를 수신하고 압축되지 않은 데이터 신호 (330) 를 생성한다. 압축되지 않은 데이터 신호 (330) 는 바람직하게는 압축되지 않은 데이터 신호 (304) 의 고품질 표현 (representation) 이다. 인코더 (306) 및 디코더 (328) 는 도시된 것과는 다른 특징을 포함하며, 공지의 인코더 및 디코더의 일부를 포함할 수 있다.

디코더 (328) 는 코딩된 신호 (326) 내의 데이터를 수신하고, 압축되지 않은 데이터 신호 (330) 를 위해 프레임 내에서 이미지를 복원한다. 특정한 수의 프레임이 초당 60 프레임과 같은, 시간 기간 동안 수신되어야 한다. 데이터의 역 (inverse) 변형에서, 에러가 일어날 수 있고, 데이터가 손실될 수 있다. 이러한 데이터는 생성된 (resulting) 이미지의 일부가 유실 (issing) 되거나 불-이해되지 (incomprehensible) 않도록 인코더 (306) 에 의해 갱신 (refresh) 될 수 있다.

디코더 (328) 는 이미지 내의 에러를 식별하고 검출하는 에러 검출기 (402) 를 포함한다. 아래에서 더 상세히 개시된 바와 같이, 영상 이미지는 인코더 (306) 에 의해 인코딩된 매크로블록 내에서 깨질 수 있다. 디코더 (328) 는 각 매크로블록에 대한 데이터를 디코딩한다. 이러한 프로세스 동안, 일부 매크로블록이 손실되거나 그들이 갱신되기 필요한 지점으로 변경될 수 있다. 더욱이, 매크로블록 그룹은 손실될 수 있고, 또는 영상 이미지의 세그먼트 (segment) 및 에러 내에 있을 수 있다. 디코더 (328) 가 각 이미지를 복원하는 동안 에러 검출기 (402) 는 문제가 있는 매크로블록을 알린다.

디코더 (328) 는 리턴 채널 (329) 을 경유하여 인코더 (306) 에 커플링된다. 에러 검출기 (402) 는 리턴 채널 (329) 내의 리턴 연결 (404) 을 이용하여 인코더 (306) 와 소통한다. 리턴 연결 (404) 은 에러 검출기 (402) 가 인코더 (306) 에 대한 에러를 식별하는 것이 필요할 때에 생성되는 애드-호크 (ad-hoc) 일 수 있다. 디코더 (328) 가 이용 상태에 있지 않다면, 리턴 연결 (404) 는 비활성화된 것일 (disabled) 수 있다.

인코더 (306) 는 에러 검출기 (402) 에 커플링되는 에러 해상도 모듈 (406) 을 포함한다. 에러 해상도 모듈 (406) 은 디코더 (328) 내에서 이미지 프레임을 복원할 때에 에러 또는 일련의 에러가 발생하였다는 표시를 수신한다. 에러 해상도 모듈 (406) 은 이후에 에러에 의해 영향을 받은 이미지 내에서 매크로블록의 비율에 따라 행동 방침 (a course of action) 을 수행한다 (undertakes). 이러한 프로세스는 아래에서 더 상세하게 개시된다.

매크로블록의 비율이 특정한 양보다 더 크다면, 인코더 (306) 는 디코더 (328) 에서 프레임 내의 이미지를 갱신하기 위해 랜덤 인트라-갱신 툴 (408) 을 이용한다. 큰 에러에 대해, 갱신된 부분은 전체 인트라-갱신 프레임을 이용하는 것과 관련된 문제를 유발할 수 있다. 품질은 현저하게 저하되고, 또는 비트 레이트 변동 (fluctuation) 이 레이턴시 문제를 유발할 수 있다. 이러한 시나리오에서, 이미지 내에서 갱신될 랜덤 매크로블록이 선택된다. 랜덤 매크로블록을 이용하는 것은, 현저한 비트 레이트 변동을 예방하면서 영상 품질의 현저한 변화를 방지한다. 이러한 프로세스는 도 5에 더 상세하게 개시된다.

에러 해상도 모듈 (406) 이 이미지 내의 에러 비율이 특정한 양 아래에 있다고 결정한다면, 인코더 (306) 는 에러 검출기 (402) 에 의해 식별된 매크로블록을 갱신하기 위해 온-디맨드 (on-demand) 인트라-갱신 툴 (410) 을 이용할 수 있다. 랜덤 인트라-갱신 툴 (408) 과는 달리, 온-디맨드 인트라-갱신 툴 (410) 은 오직 그들과 관련된 전송 에러를 가지는 매크로블록을 갱신한다. 따라서, 디코더 (328) 에 의해 타겟팅된 매크로블록이 시스템 (300) 내에서 전송될 때에만, 인코더 (306) 의 갱신 동작이 영상 품질의 현저한 저하 또는 현저한 비트 레이트 변동을 유발하지 아니한다.

어느 매크로블록이 갱신될 것인지 결정하기 위해 온-디맨드 인트라-갱신 툴 (410) 은 에러를 가지는 이미지를 갱신하는 동안 매크로블록 테이블 (412) 에 접근한다. 이미지의 일부를 갱신할 때에 온-디맨드 인트라-갱신 툴 (410) 을 위한 참고를 제공하기 위해, 인코더 (306) 는 매크로블록 테이블 (412) 로 이미지의 각 매크로블록을 매핑 (map) 한다. 디코더 (328) 는 에러가 있는 또는 사용할 수 없는 이미지의 일부 또는 영역을 지정하며, 온-디맨드 인트라-갱신 툴 (410) 은 이미지의 손실된 일부에 가장 적합한 매크로블록 테이블 (412) 로부터 매크로블록을 결정한다.

따라서, 온-디맨드 인트라-갱신 툴 (410) 을 이용하여, 디코더 (328) 는 이미지의 어느 부분이 갱신되어야 하는지를 결정한다. 디코더 (328) 는 갱신에 대한 요청과 함께 그 자신의 테이블을 채울 수 있고, 인코더 (306) 로 송신할 수 있다. 테이블이 온-디맨드 인트라-갱신을 위해 허용되는 비율 또는 양을 초과한다면, 에러 해상도 모듈 (406) 랜덤 인트라-갱신 툴 (408) 을 가능하게 한다. 역으로, 랜덤 인트라-갱신 툴 (408) 은 어느 매크로블록이 갱신될 것인지를 결정하나, 디코더 (328) 는 아니다. 사실, 일부 리턴 툴이 시스템 (300) 내에서 항상 이용가능하도록 리턴 채널 (329) 이 이용가능하지 않을 때에 랜덤 인트라-갱신 툴 (408) 은 그의 기능을 수행할 수 있다.

도 5는 개시된 실시예들에 따른 영상 전송 시스템 (300) 내의 이미지를 갱신하기 위한 흐름도 (500) 를 도시한다. 흐름도 (500) 에 개시된 프로세스는 도 3 및 도 4에 도시된 본 발명의 디바이스 및 구성요소와 관련하여 이용될 수 있다.

단계 502는 에러 검출기 (402) 에 의해 디코더 (328) 에 의해 복원된 이미지 내의 에러를 검출함으로써 이행된다. 에러는 이미지 내의 하나 이상의 매크로블록을 포함할 수 있다. 단계 504는 디코더 (328) 에 의해 테이블 요청을 충진함으로써 이행된다. 테이블 요청은 이미지 내의 에러 상황에 의해 타협된 (compromised) 매크로블록을 식별해야 한다. 또한, 테이블 요청은 이미지 내에서 에러 조건을 갖는 블록의 비율을 도시할 수 있어야 한다.

단계 506은 인코더 (306) 에서 테이블 요청을 수신함으로써 이행된다. 구체적으로, 에러 해상도 모듈 (406) 은 에러 검출기 (402) 로부터 요청을 수신한다. 단계 508은 임의의 에러가 요청에 의해 식별되는지 여부를 결정함으로써 이행된다. 그렇지 않다면, 단계 510이 인트라-갱신 동작을 수행하지 않음으로써 이행된다. 본질적으로, 디코더 (328) 는 인코더 (306) 로부터 갱신된 임의의 매크로블록이 없이 이미지를 복원한다.

단계 508이 에러가 이미지 내에 있다고 결정한다면, 단계 512는 디코더 (328) 에 의해 식별된 에러가 특정된 비율을 초과하는지 여부를 결정함으로써 이행된다. 예를 들어, 비율이 40%일 수 있다. 따라서, 테이블 요청에서 식별된 바와 같이 이미지가 40%보다 더 많은 갱신된 매크로블록을 필요로 한다면, 영상 품질은 현저하게 저하될 것이고, 또는 비트 레이트 변동에 기인하여 레이턴시 문제가 발생할 것이다. 온-디맨드 인트라-갱신에 관한 행동은 전체 이미지의 인트라-프레임 갱신을 송신하는 것과 유사할 것이다.

따라서, 단계 512가 '예'라면, 단계 514는 랜덤 인트라-갱신 동작을 수행함으로써 이행된다. 단계 516이 인코더 (306) 에 의해 갱신될 이미지 내의 랜덤 매크로블록을 생성함으로써 이행된다. 단계 518은 디코더 (328) 에 대해 무작위로 선택된 매크로블록을 갱신함으로써 이행된다.

단계 514 내지 518이 도 6에서 더 상세하게 개시될 수 있다. 도 6은 개시된 실시예들에 따른 랜덤 인트라-갱신이 이루어진 이미지 (600) 를 도시한다. 랜덤 인트라-갱신 툴 (408) 은 이미지 (600) 내의 갱신을 위해 무작위로 선택된 매크로블록이 이루어진다.

이미지 (600) 는 매크로블록 (650) 내에서 깨질 수 있다. 매크로블록 (650) 은 8 대 8 또는 16 대 16과 같은 픽셀의 설정 수를 포함한다. 이미지 (600) 내의 모든 픽셀이 전송을 위해 인코딩되도록 각 매크로블록은 인코더 (306) 에 의해 코딩된다. 각각이 이미지 (600) 의 다른 부분을 나타낼 때에 매크로블록에 대한 파라미터가 다를 것이다. 예를 들어, 이미지 (600) 는 사람 (602), 구조 (604) 및 소스 (606) 를 포함할 수 있다. 각 매크로블록은 디코더 (328) 에 의해 복원되는 동작 벡터, 색상 및 휘도에 대한 값을 포함할 것이다.

단계 512에서 결정된 바와 같이, 이미지 (600) 내의 에러는 매우 커서 온-디맨드 갱신이 실현 가능하지 (feasible) 않는다. 따라서, 랜덤 인트라-갱신 툴 (408) 은 이미지 품질과 타협하지 않도록 또는 현저한 비트 레이트 변동을 초래하지 않도록, 갱신을 위해 랜덤 매크로블록 (650) 을 선택한다. 제1 예에서, 무작위로 선택된 매크로블록 (610) 은 인코더 (306) 에 의해 갱신을 위해 선택된다. 매크로블록 (610) 은 갱신되고, 또는 다시 코딩되고, 디코더 (328) 로 송신되어, 이미지 (600) 내에서 검출된 에러를 완화시킨다 (mitigate). 다른 랜덤 인트라-갱신이 필요하다면, 랜덤 인트라-갱신 툴 (408) 은 이미지 (600) 내의 매크로블록 (620) 을 무작위로 선택할 수 있다. 랜덤 인트라-갱신을 이용하여, 이미지 (600) 의 충분한 부분이 검출된 에러를 극복하기 위해 갱신된다.

단계 512가 '아니오'라면, 단계 520은 온-디맨드 인트라-갱신 툴 (410) 및 매크로블록 테이블 (412) 을 이용하여 이미지에 대한 온-디맨드 인트라-갱신 동작을 수행함으로써 이행된다. 단계 522는 매크로블록 테이블 (412) 내의 에러를 가질 때에 디코더 (328) 에 의해 표시된 매크로블록을 식별함으로써 이행된다. 테이블 요청은 매크로블록 테이블 (412) 내에서 매크로블록을 매칭해야 한다. 단계 524는 매크로블록 테이블 (412) 을 이용하여 이미지를 갱신함으로써 이행된다.

단계 520 내지 524는 도 7에서 더 상세하게 개시될 수 있다. 도 7은 개시된 실시예들에 따른 온-디맨드 인트라-갱신 및 매크로블록 테이블 (412) 과 관련된 이미지 (600) 를 도시한다. 위에 개시된 바와 같이, 이미지 (600) 는 매크로블록 (650) 을 포함한다. 매크로블록 테이블 (412) 은 또한 매크로블록 (650) 에 대응하는 이미지 (600) 로부터 매핑된 매크로블록 (710) 을 포함한다.

도 7 내의 이미지 (600) 는 에러 부분 (702) 을 포함한다. 에러 부분 (702) 내의 매크로블록 (650) 은 디코더 (328) 에 의해 수신될 때에 손실되거나 이용가능하지 않다. 에러 검출기 (402) 는 해상도 모듈 (406) 에 대한 에러 부분 (702) 내의 매크로블록을 식별한다. 에러 부분 (702) 이 큰 비율의 이미지 (600) 를 포함하지 않기 때문에, 인코더 (306) 는 그의 매크로블록을 인트라-갱신할 수 있다.

따라서, 랜덤 인트라-갱신 툴 (408) 은 에러 부분 (702) 에 대응하는 바와 같은 매크로블록 테이블 (402) 내의 갱신 부분 (704) 을 식별한다. 인코더 (306) 는 갱신 부분 (704) 내의 매크로블록 (710) 을 갱신함으로써 에러 부분 (702) 을 교정한다. 바람직하게는, 매크로블록 (710) 의 수는 랜덤 인트라-갱신과 관련된 것보다 더 적고, 따라서 품질 관점 (perspective) 에서 덜 현저하게 되고, 현저한 비트 레이트 변동을 나타내지 않는다.

매크로블록 (650) 은 인트라-매크로블록 또는 인터-매크로블록일 수 있다.

따라서, 개시된 실시예들은 복원된 이미지 내의 에러를 식별하기 위해 온-디맨드 인트라-갱신 툴 및 동작에 따른 랜덤 인트라-갱신 툴 및 동작을 이용한다. 개신된 실시예들은 현저한 비트 레이트 변동 또는 레이턴시를 유발하는 것 또는 영상 이미지의 품질을 감소시키는 것 없이 에러 조건을 이동시킨다. 인트라-프레임 이미지의 이용이 필요하지 않다.

본 발명의 목적 범위 또는 정신으로부터 벗어남이 없이, 다양한 수정예 및 변형예가 개인적 카드 커버의 개시된 실시예에서 이루어질 수 있다. 따라서, 본 발명은 임의의 특허청구범위의 및 그들의 등가물의 목적 범위 내에 있도록 제공된 위와 같은 개시된 실시예들의 수정예 및 변형예를 커버하려는 의도를 가진다.

Claims

디코딩된 이미지의 매크로블록 내에서의 에러를 검출하기 위한 디코더 내의 에러 검출기;
리턴 연결로 상기 에러 검출기에 커플링된 인코더 내의 에러 해상도 모듈로서, 상기 에러 해상도 모듈은 에러를 갖는 매크로블록의 비율을 결정하는, 상기 에러 해상도 모듈; 및
상기 매크로블록의 비율에 기초하여 상기 디코딩된 이미지를 갱신하도록 상기 인코더 내의 갱신 툴을 포함하는, 영상 전송 시스템.
제 1 항에 있어서,
상기 디코딩된 이미지에 대응는 매크로블록을 저장하기 위한 매크로블록 테이블을 더 포함하는, 영상 전송 시스템.
제 1 항에 있어서,
상기 갱신 툴은 상기 에러 검출기에 의해 식별된 상기 디코딩된 이미지 내의 매크로블록을 갱신하는 온-디멘드 인트라-갱신 툴을 포함하는, 영상 전송 시스템.
제 1 항에 있어서,
상기 갱신 툴은 상기 디코딩된 이미지 내의 매크로블록을 랜덤하게 갱신하기 위한 랜덤 인트라-갱신 툴을 포함하는, 영상 전송 시스템.
제 1 항에 있어서,
상기 인코더에 연결된 버퍼로서, 상기 버퍼의 크기는 상기 디코딩된 이미지에 대응하는, 상기 버퍼를 더 포함하는, 영상 전송 시스템.
영상 전송 시스템 내에서 이미지를 갱신하기 위한 방법으로서,
디코더에서 상기 이미지 내의 매크로블록에서 에러를 검출하는 단계;
상기 디코더과의 리턴 연결을 갖는 인코더에서 상기 매크로블록에서 상기 에러를 수신하는 단계;
상기 매크로블록에서의 상기 에러가 비율을 초과하는지를 결정하는 단계;
상기 매크로블록에서의 상기 에러가 상기 비율과 동일하거나 초과한다면, 온-디멘드 인트라-갱신을 수행하는 단계; 및
상기 매크로블록에서의 상기 에러가 상기 비율을 초과한다면, 랜덤 인트라-갱신을 수행하는 단계를 포함하는, 이미지 갱신 방법.
제 6 항에 있어서,
에러가 상기 매크로블록에서 검출되지 않는다면, 인트라-갱신을 수행하지 않는 단계를 더 포함하는, 이미지 갱신 방법.
제 6 항에 있어서,
에러를 갖는 상기 매크로블록과 테이블 요청을 제출하는 단계를 더 포함하는, 이미지 갱신 방법.
제 8 항에 있어서,
상기 이미지에서의 상기 매크로블록을 포함하는 매핑된 테이블과 상기 테이블 요청을 비교하는 단계를 더 포함하는, 이미지 갱신 방법.
제 6 항에 있어서,
상기 온-디멘드 인트라-갱신을 수행하는 단계는 상기 이미지의 상기 매크로블록의 상기 에러에 대응하는 테이블에서의 매크로블록을 식별하는 단계를 포함하는, 이미지 갱신 방법.
제 11 항에 있어서,
상기 식별된 매크로블록을 사용하여 상기 이미지를 갱신하는 단계를 더 포함하는, 이미지 갱신 방법.
제 6 항에 있어서,
상기 랜덤 인트라-갱신을 수행하는 단계는 상기 이미지의 매크로블록 렌덤 세트를 생성하는 단계를 포함하는, 이미지 갱신 방법.
제 12 항에 있어서,
상기 매크로블록 렌덤 세트를 갱신하는 단계를 더 포함하는, 이미지 갱신 방법.
제 6 항에 있어서,
상기 검출하는 단계는 상기 이미지 내의 상기 매크로블록에서의 상기 에러를 검출하기위한 에러 검출기를 사용하는 단계를 포함하는, 이미지 갱신 방법.
영상 전송 시스템에서의 이미지를 인트라-갱신하기 위한 방법으로서,
상기 이미지 내의 매크로블록에서의 식별된 에러를 수신하는 단계;
상기 식별된 에러에 대응하여 인트라-갱신 프로세스를 수행하는 단계; 및
상기 이미지에 대한 매크로블록 세트를 갱신하는 단계를 포함하는, 인트라-갱신 방법.
제 15 항에 있어서,
상기 인트라-갱신 프로세스를 수행하는 단계는 상기 식별된 에러를 갖는 상기 매크로블록을 갱신함으로써 온-디멘드 인트라-갱신 프로세스를 수행하는 단계를 포함하는, 인트라 갱신 방법.
제 15 항에 있어서,
상기 인트라-갱신 프로세스를 수행하는 단계는 상기 이미지 내의 마크로블록의 랜덤 세트를 갱신함으로써, 랜덤 인트라=갱신 프로세스를 수행하는 단계를 포함하는, 인트라 갱신 방법.
제 15 항에 있어서,
상기 이미지를 갱신하기 위해 디코더로부터 인코더로의 리턴 연결을 구축하는 단계를 더 포함하는, 인트라 갱신 방법.