KR20030005223A - 스케일링가능한 비디오 트랜스코딩을 위한 방법 및 장치 - Google Patents

스케일링가능한 비디오 트랜스코딩을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20030005223A
KR20030005223A KR1020027011909A KR20027011909A KR20030005223A KR 20030005223 A KR20030005223 A KR 20030005223A KR 1020027011909 A KR1020027011909 A KR 1020027011909A KR 20027011909 A KR20027011909 A KR 20027011909A KR 20030005223 A KR20030005223 A KR 20030005223A
Authority
KR
South Korea
Prior art keywords
macroblocks
signal
coding error
motion
energy
Prior art date
Application number
KR1020027011909A
Other languages
English (en)
Inventor
바라우에릭
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030005223A publication Critical patent/KR20030005223A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, MPEG-2 비디오 표준에 따라 코딩된 입력 비디오 신호(103)를 트랜스코딩하는 스케일링가능한 비디오 트랜스코딩 방법에 관한 것으로, 4개의 트랜스코딩 아키텍쳐들을 발생시킨다. 스케일링가능성(scalability)은 코딩 에러(119)의 움직임 보상(128) 및 재구축(118)이 수행되는지 여부를 결정하는 2개의 스위치들 (120 및 130)에 의해 얻어진다. 이와같이 정의된 각각의 아키텍쳐는 서로 다른 처리 복잡성을 가지며, 이용가능한 전체적 처리 자원들은, 이들 4개의 아키텍쳐들중 하나에 따라 상기 프레임들의 부분들의 트랜스코딩에서 프레임들의 그룹에 따라 최적으로 이용되고 최소화될 수 있고, 한편 트랜스코딩된 신호(109)의 양호한 비디오 품질을 보장한다. 상기 코딩 에러의 에너지 예측에 기초한 상기 스위치들의 비용-효율이 높은 제어 전략이 또한 제안된다.

Description

스케일링가능한 비디오 트랜스코딩을 위한 방법 및 장치{Method and device for scalable video transcoding}
코딩된 데이터 신호를 트랜스코딩하는 것은 비디오 브로드캐스팅의 분야에서 중요한 기능이 되었다. 예를 들어, MPEG-2 표준에 따라 코딩된 입력 비디오 신호가 제한된 대역폭의 전송 채널상에서 브로드캐스팅되어야만 할 때, 트랜스코딩 방법은 결과적인 출력 비디오 신호가 상기 제한된 대역폭내에 맞는 감소된 비트레이트(bitrate)를 갖도록 상기 입력 비디오 신호에 적용될 수 있다.
트랜스코딩 방법은 유럽특허출원 EP 제0 690 392 A1호에 제안된다. 상기 특허출원은 코딩된 데이터 신호를 수정하는 방법 및 이에 대응하는 장치를 서술한다. 특히, 이 방법은 MPEG-2 표준에 따라 코딩된 입력 비디오 신호의 비트레이트를 감소시키기 위해 이용된다.
본 발명은 출력된 비디오 신호를 발생시키기 위해 입력 코딩된 비디오 신호에서 데이터를 수정하는 방법에 관한 것으로, 각각의 비디오 신호는 코딩된 비디오 프레임들의 시퀀스에 대응하는, 상기 데이터 수정 방법은 적어도,
- 현재의 입력 코딩된 비디오 프레임으로부터 디코딩된 데이터 신호를 산출하는 에러 디코딩 단계와,
- 수정된 신호로부터 상기 출력 비디오 신호에 의해 운반된 출력 비디오 프레임을 산출하는 재-인코딩 단계로서, 상기 수정된 신호는 움직임-보상된 신호와 상기 디코딩된 데이터 신호사이의 가산하는 서브-단계로부터 발생되는, 상기 재-인코딩 단계와,
- 상기 출력 비디오 프레임의 코딩 에러를 산출하는 재구축(reconstruction) 단계와,
- 이전의 출력 비디오 프레임의 저장된 코딩 에러로부터 상기 움직임-보상된 신호를 산출하는 움직임-보상 단계를 포함한다.
본 발명은 또한 상기 방법을 실행하는 트랜스코딩 장치에 관한 것이다. 본 발명은 예를 들어 비디오 브로드캐스팅의 분야에서 이용될 수 있다.
도 1은 본 발명에 따른 트랜스코딩 아키텍쳐의 일반적 실시예를 도시한 도면.
도 2는 본 발명에 따른 시간 예측기(temporal predictor)의 에너지 예측을 도시한 도면.
도 3은 본 발명에 따른 제 1 트랜스코딩 아키텍쳐를 도시한 도면.
도 4는 본 발명에 따른 제 2 트랜스코딩 아키텍쳐를 도시한 도면.
도 5는 본 발명에 따른 제 3 트랜스코딩 아키텍쳐를 도시한 도면.
도 6은 본 발명에 따른 제 4 트랜스코딩 아키텍쳐를 도시한 도면.
도 7은 GOP에 따른 재구축된 매크로블록들의 수의 변화를 도시한 도면.
본 발명의 목적은 코딩된 데이터 신호의 데이터를 수정하는 방법을 제공하는 것이고, 이 방법은 최대량의 처리 자원(Processing Resource)들이 있을 때, 더 양호한 렌더링 품질(rendering quality)을 갖는 수정된 비디오 신호를 발생시키는 것을 가능케 한다.
종래 기술의 방법은 트랜스코딩된 비디오 프레임들상의 품질 변동(quality drift)을 회피하는 움직임 보상 브랜치(motion compensation branch)를 포함하는 트랜스코딩 아키텍쳐에 기초한다. 이러한 움직임 보상 브랜치는 상기 재구축 및 움직임 보상 단계들을 포함한다. 고품질 트랜스코딩이지만, 이러한 아키텍쳐는 움직임 보상 브랜치가 이산 코사인 변환(DCT), 역 이산 코사인 변환(IDCT), 역 양자화(IQ) 및 움직임 보상(COMP) 단계들을 요구하기 때문에 복잡하다. 따라서, 그와같은 아키텍쳐는 대량의 처리 자원들을 갖는 비디오 장치들에 전용된다.
그러므로, 소비자 제품들과 같이 제한된 처리 자원들을 갖는 비디오 장치들로, 종래 기술의 방법을 구현할 수 없다.
움직임 보상 브랜치가 계산상의 부하 (computational load)를 감소시키기 위해 억제되어, 소위 재양자화 아키텍쳐(requantization architecture)로 될 수 있지만, 이것은 트랜스코딩된 비디오 신호 품질을 손상하게될 것이다. 또한, 이 경우에, 재양자화 아키텍쳐는 비용-효율이 높아, 처리 자원들이 최적으로 이용되지 않는다. 즉 처리자원들이 모두 이용되지 않는다.
종래 기술 방법의 제한들을 해결하기 위해, 본 발명에 따라 데이터를 수정하는 방법은,
- 상기 재구축 단계와 상기 재-인코딩 단계 사이에 삽입된, 상기 재구축 단계를 활성화하는 제 1 스위칭 단계와,
- 상기 가산하는 서브-단계와 상기 움직임-보상 단계 사이에 삽입된, 상기 움직임-보상 단계를 활성화하는 제 2 스위칭 단계를 포함하고,
상기 스위칭 단계들은 상기 입력 코딩된 비디오 신호를 수정하기 위한 4개의 아키텍쳐들을 정의하는 스케일링가능한 방법을 정의하는 제어 전략에 의해 독립적으로 제어되는 것을 특징으로 한다.
이 방법은 다음의 4개의 트랜스코딩 아키텍쳐들을 정의하는 것을 가능케 하며, 이것들은 입력 비디오 신호의 트랜스코딩동안 택일적으로 활성화된다.
- 재양자화 아키텍쳐 : 움직임 보상 브랜치가 종래 기술의 트랜스코딩 아키텍쳐에서 억제되고,
- 재구축 아키텍쳐 : 움직임 보상 단계가 종래 기술의 트랜스코딩 아키텍쳐에서 억제되고,
- 움직임-보상 아키텍쳐 : 재구축 단계가 종래 기술의 트랜스코딩 아키텍쳐에서 억제되고,
- 고품질 아키텍쳐 : 종래기술의 트랜스코딩 아키텍쳐에 대응한다.
이런 방식으로, 트랜스코딩 방법은 4개의 아키텍쳐들이 정의될 수 있으므로 스케일링가능하게 된다. 이와같이 정의된 각각의 아키텍쳐는 서로 다른 처리 복잡성을 가지며, 이용가능한 전체적 처리 자원들은, 종래 기술의 방법에서처럼 이용되지 않은 처리 자원들이 없이, 이러한 4개의 아키텍쳐들중 하나에 따라 상기 입력 비디오 신호의 트랜스코딩 부분들에서 최적으로 이용될 수 있다.
처리 자원들의 이러한 최적화된 이용은, 상기 스위칭 단계들을 활성화하며, 시스템이 매크로블록마다 서로 다른 트랜스코딩 아키텍쳐를 적용하는 것을 허용하는, 비용-효율이 높은 제어 처리에 기초한다. 이 목적을 위해, 본 방법은 매크로블록 레벨에서 수행되는 상기 제 1 스위칭 단계의 제어 전략이,
- 상기 코딩 에러의 에너지의 제 1 예측 서브-단계로서, 상기 코딩 에러 에너지는 출력 비디오 프레임의 모든 재-인코딩된 매크로블록들에 대해 예측되는, 상기 제 1 예측 서브-단계와,
- 상기 코딩 에러를 정의하는 매크로블록들 중에서, 주어진 임계값(threshold) 이하의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 1 세트를 식별하는 제 1 선택 서브-단계로서, 매크로블록들의 상기 제 1 세트의 코딩 에러는 수정된 저장된 코딩 에러를 발생시키기 위해 제로 값으로 설정되는, 상기 제 1 선택 서브-단계와,
- 상기 코딩 에러를 정의하는 매크로블록들 중에서, 상기 주어진 임계값 이상의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 2 세트를 식별하는, 제 2 선택 서브-단계를 포함하고,
상기 제 1 스위칭 단계는 매크로블록들의 상기 제 2 세트에 대한 재구축 단계를 활성화하는 것을 특징으로 한다.
본 방법은, 매크로블록 레벨에서 수행된, 상기 제 2 스위칭 단계의 제어 전략이,
- 상기 움직임-보상된 신호의 에너지의 제 2 예측 서브-단계로서, 상기 에너지는 매크로블록 레벨에서 예측되는 상기 제 2 예측 서브-단계와,
- 상기 움직임-보상된 신호내에서, 상기 주어진 임계값 이상의 예측된 에너지를 갖는 매크로블록들의 제 3 세트를 식별하는 제 3 선택 서브-단계로서, 상기 제 2 스위칭 단계는 상기 디코딩된 데이터 신호를 정의하는 각각의 매크로블록에 대해 움직임-보상 단계를 활성화하고, 상기 움직임-보상된 매크로블록은 매크로블록들의 상기 제 3 세트에 속하는, 상기 제 3 선택 서브-단계를 포함하는 것을 또한 특징으로 한다.
이러한 제어 처리는 결과적인 트랜스코딩된 출력 비디오 신호에서 품질 변동을 도입할 수 있는 입력 비디오 신호에서 이들 매크로블록들에 대해서만 움직임 보상 및/또는 재구축 단계들을 수행할 수 있다.
이러한 트랜스코딩 방법 및 상기 방법을 구현하는 그에 대응하는 트랜스코딩 장치는 주어진 양의 처리 자원들에 대해 트랜스코딩된 신호의 양호한 비디오 품질을 얻는 것을 가능케 한다.
본 발명의 상세한 설명들 및 다른 측면들은 하기에 주어질 것이다.
본 발명의 특정 측면들은 하기에 서술된 실시예들을 참조하여 이제 설명될 것이고, 첨부된 도면들과 연결되어 고려될 것이며, 동일한 부분들 또는 서브-단계들은 동일한 방식으로 지정된다.
본 발명은 MPEG-2 입력 코딩된 비디오 신호들의 트랜스코딩에 잘 적응되지만, 예를 들어 MPEG-4, H.261 또는 H.263 표준들에 서술된 것과 같은 블록-기반 압축 방법에 의해 인코딩된 임의의 코딩된 신호에 적용될 수 있다는 것이 그 분야의 숙련된 자들에게 분명할 것이다.
본 발명은 입력 및 출력 코딩된 비디오 신호들이 MPEG-2 국제 비디오 표준(동화상 전문가 그룹(Moving Pictures Experts Group), ISO/IEC 13818-2)에 따른다고 가정하여 하기에 상세히 서술될 것이다. 비디오 프레임들은 매크로블록들이라 불리는 16*16 픽셀들의 인접한 정사각형 영역들로 분할된다고 가정된다.
도 1은 본 발명에 따른 트랜스코딩 장치의 일반적인 실시예를 도시한다. 이러한 트랜스코딩 장치는 다음의 기능적 단계들을 포함하는 트랜스코더 배열에 기초한다.
- 현재의 입력 코딩된 비디오 신호(103)로부터 디코딩된 데이터 신호(102)를 산출하는 에러 디코딩 단계(101). 이 단계는 신호(103)에 포함된 적어도 DCT 계수들과 움직임 벡터들의 가변 길이 디코딩(VLD)(104)을 포함한다. 이 단계는 디코딩된 DCT 계수들(105)과 움직임 벡터들(106)을 얻는 것을 허용하는, 예를 들어 허프만 코드들의 역 룩-업 테이블(inverse look-up table of Huffman codes)에 의한, 엔트로피 디코딩으로 구성된다. 상기 단계(104)에 연속되어, 역 양자화(IQ)(107)가 상기 디코딩된 데이터 신호(102)를 산출하기 위해 상기 디코딩된 계수들(105)상에서 수행된다. 이러한 역 양자화(107)는 상기 입력 신호(103)에 포함된 양자화 인자로 상기 DCT 디코딩된 계수들(105)을 곱하는 것에 존재한다. 대부분의 경우들에서,이러한 역 양자화는 매크로블록 레벨에서 수행되는데, 상기 양자화 인자가 매크로블록마다 변할 수 있기 때문이다. 디코딩된 신호(102)는 주파수의 도메인(frequential domain)에 있다.
- 상기 입력 비디오 신호(103)의 트랜스코딩으로부터 발생되는 신호에 따라 출력 비디오 신호(109)를 산출하는 재-인코딩 단계(108). 상기 재-인코딩(108)은, 가산하는 서브-단계(111)에 의한, 상기 디코딩된 데이터 신호(102)의 움직임 보상된 신호(112)로의 가산으로부터 발생되는 수정된 신호(110)에 작용한다. 상기 재-인코딩 단계(108)는 양자화(Q)(113)를 직렬로 포함한다. 이러한 양자화(113)는 양자화된 DCT 계수들(114)을 산출하기 위해 새로운 양자화 인자에 의해 신호(110)에 포함된 DCT 계수들을 분할하는 것에 존재한다. 이러한 새로운 양자화 인자는 상기 입력 코딩된 비디오 신호(103)의 트랜스코딩에 의해 수행된 수정을 특징으로 하는데, 예를 들어, 큰 양자화 인자가 상기 입력 코딩된 비디오 신호(103)의 비트레이트 감소를 일으킬 수 있기 때문이다. 상기 양자화(113)에 연속하여, 가변 길이 코딩(VLC)(115)이 엔트로피 코딩된 DCT 계수들(116)을 얻기 위해 상기 계수들(114)에 적용된다. VLD 처리와 유사하게, VLC 처리는 허프만 코드를 각각의 계수(114)와 연관시키는 룩-업 테이블에 존재한다. 그다음에, 계수들(116)은 상기 입력 비디오 신호(109)에 의해 운반된 트랜스코딩된 프레임들을 구성하기 위해 버퍼(117)에 축적된다.
- 상기 출력 비디오 신호(109)의 코딩 에러(119)를 산출하기 위한 재구축 단계(118). 이 재구축 단계는 양자화(113)에 의해 도입된 코딩 에러를 정량화하는 것을 가능케 한다. 다음 단락에서 설명될 바와같이, 현재의 트랜스코딩된 비디오 프레임의 그와같은 코딩 에러는 출력 비디오 신호(109)에서 품질 변동을 회피하기 위해 다음 비디오 프레임의 트랜스코딩에 대해 고려될 수 있다. 이러한 재구축 단계는 제 1 스위칭 단계(120)에 의해 상기 재-인코딩 단계(108)에 접속된다. 상기 제 1 스위칭 단계(120)는 스위치가 개방된다면 상기 재구축 단계(118)를 상기 재-인코딩 단계(108)로부터 고립시키고, 스위치가 폐쇄된다면 코딩 에러의 재구축을 가능케 한다. 이러한 제 1 스위칭 단계는 다음 단락에서 설명될 바와같이 개방 또는 폐쇄 모드를 선택하기 위해 제어 프로세스(121)에 의해 제어된다. 상기 제 1 스위칭 단계가 폐쇄된다면, 신호들(110 및 114)은 동시에 상기 재구축 단계 (118)로 송신된다. 그 경우에 역 양자화(IQ)(122)는 상기 신호(114)상에서 수행되며, 신호(123)를 발생시킨다. 그다음에, 감산 서브-단계(124)는 신호(110)와 신호 (123)사이에서 수행된다. 결과적인 신호(125)는 양자화(113)에 의해 야기된, 주파수 도메인에서의, 상기 코딩 에러에 대응한다. 그다음에, IDCT 단계(126)는 픽셀 도메인에서 상기 코딩 에러(119)를 얻기 위해 상기 신호(125)상에서 수행된다. 매크로블록 레벨에서 수행된 상기 재구축 단계(118)를 예시하기 위해, 신호(110)에 의해 운반된 현재의 매크로블록은, 신호에 의해 운반된 코딩 에러 매크로블록에 의해 정량화된 상기 수정된 매크로블록의 품질의 손실을 신호(114)에 의해 운반된 수정된 매크로블록에서 트랜스코딩한 이후에 발생된다. 입력된 현재의 비디오 프레임의 트랜스코딩동안, 매크로블록의 재구축이 활성화된다면, 결과적인 코딩 에러(119)는 다음의 입력 비디오 프레임의 트랜스코딩동안 이용되기 위해 메모리(127)에 저장된다. 다른경우에는, 어떤 재구축도 수행되지 않는 매크로블록들의 코딩 에러는 제로 값으로 설정되고 상기 메모리(127)에 저장된다.
- 이전의 트랜스코딩된 비디오 프레임에 대하여 저장된 코딩 에러(129)로부터 상기 움직임-보상된 신호(112)를 산출하기 위한 움직임-보상 단계(128). 이러한 움직임-보상 단계(128)는 제 2 스위칭 단계(130)에 의해 상기 가산하는 서브-단계(111)에 접속된다. 상기 제 2 스위치 단계(130)는, 스위치가 개방된다면 상기 가산하는 서브-단계(111)로부터 상기 움직임 보상 단계(128)를 고립시키거나, 또는 스위치가 폐쇄된다면 코딩 에러의 움직임-보상을 릴리스(release)한다. 이러한 제 2 스위칭 단계는 제어 프로세스(131)에 의해 제어되고, 다음 단락에서 설명되는 바와같이, 시스템이 개방 또는 폐쇄 모드를 선택하는 것을 허용한다. 상기 제 2 스위칭 단계가 폐쇄된다면, 신호(112)는 상기 가산하는 서브-단계(111)로 송신된다. 그 경우에, 움직임-보상(132)은, 움직임 벡터들(106)을 이용하여, 상기 저장된 코딩 에러(129)에 기초하여 수행된다. 그와같은 움직임 보상(132)은 픽셀 도메인에서 수행되고, 결과적인 픽셀에 기초한 움직임-보상된 신호(133)는 DCT 단계(134)를 통과하여 결과적인 주파수의 움직임-보상된 신호(frequential motion-compensated signal)(112)는 상기 코딩된 데이터 신호(102)에 가산될 수 있다.
따라서, 4개의 트랜스코딩 아키텍쳐들이 2개의 스위칭 단계들(120 및 130)에 의해 상기 서술된 이러한 일반적 아키텍쳐로부터 유도될 수 있다.
- 재양자화 아키텍쳐와,
- 재구축 아키텍쳐와,
- 움직임-보상 아키텍쳐와,
- 고품질 아키텍쳐.
따라서, 트랜스코딩된 매크로블록들의 최상의 비디오 품질을 얻기 위한 기준뿐 아니라 계산상의 부하를 최소화하기 위한 기준도 고려하는데 있어서, 이들 4개의 아키텍쳐들중 하나를 트랜스코딩될 주어진 매크로블록에 인가하는 것을 가능케 하는 스케일링가능한 트랜스코딩 방법이 얻어진다.
재구축 스위치 전략(121)은 각각의 트랜스코딩된 매크로블록의 코딩 에러 에너지의, 재구축 없는, 비용-효율이 높은 예측에 기초한다. 게다가, 상기 코딩 에러의 에너지는 트랜스코딩에 의해 입력 비디오 신호에 부과된 열화의 양을 나타내므로, 이것은 재구축을 요구할 매크로블록들을 검출하기 위한 관련된 기준이어서, 이러한 코딩 에러는 후속되는 트랜스코딩된 프레임들에서 매크로블록들을 통해 전파하지 않을 것이며, 그에 의해 품질 변동이 회피된다.
상기 재구축 스위치 전략(121)의 원리는, 따라서, 높은 에너지를 갖는 코딩 에러 매크로블록들만을 재구축하는 것이다.
다음의 표기들을 채택한다.
- Mmax는 비디오 프레임내의 매크로블록들의 수이고,
- NBrecon은 트랜스코딩된 비디오 프레임내의 재구축된 매크로블록들의 수이고,
- i는 1<I<Mmax를 검증하는 비디오 프레임내의 매크로블록의 랭크(rank)이고(i는 상기 비디오 프레임내의 한 쌍의 수평 및 수직 지수들을 함축적으로 언급한다),
- Xi는 신호(110)에 의해 운반된 랭크 i를 갖는 매크로블록을 정의하는 계수들을 언급하고,
- Yi는 신호(114)에 의해 운반된 랭크 i를 갖는 매크로블록을 정의하는 계수들을 언급하고,
- YDQi는 신호(123)에 의해 운반된 랭크 i를 갖는 매크로블록을 정의하는 계수들을 언급하고,
-zi는 신호(119)에 의해 운반된 랭크 i를 갖는 매크로블록을 정의하는 계수들을 언급하고,
- Zi는 신호(125)에 의해 운반된 랭크 i를 갖는 매크로블록을 정의하는 계수들을 언급하고,
- IQ(s)는 신호 s의 역 양자화된 신호이고,
-는 신호 s의 예측된 에너지이고,
- E(s)는 신호 s의 에너지이고,
- Qout는 단계(113)에서 이용된 양자화 인자이다.
주어진 매크로블록 zi의 코딩 에러 에너지는 다음과 같이 예측된다. 신호의 예너지가 픽셀 도메인에서와 같이 주파수의 도메인에서 동일하다는 것을 표시하는,파스발 정리(Parseval theorem)는 다음 식과 같이 된다는 것을 함축한다.
E(zi)=E(Zi)
E(zi)=E(Xi-YDQi)
E(zi)=E(Xi-IQ(Yi)) 식 (1)
MPEG-2 비디오 표준에 따라, 다음 식과 같이 될 수 있다.
IQ(Yi)=(2*Yi+k)*Wi*Qout/32 식 (2)
여기서 Wi는 가중된 행렬이고,
k = 0 INTRA 매크로블록들에 대해서
sign(Yi) 비-INTRA 매크로블록들에 대해서
k가 0으로 설정되고 Wi가 16(즉, 편평한 행렬(flat matrix))으로 설정된다면, 상기 코딩 에러 예측는 다음 식에 따라 값을 구할 수 있다.
식 (3)
이러한 에너지 예측은 IDCT 단계(126)와 IQ 단계(122)가 수행되지 않으므로 비용-효율적이다.
현재의 트랜스코딩된 비디오 프레임을 고려하여, 식 (3)에 따른 에너지 예측이 상기 현재의 비디오 프레임내의 모든 트랜스코딩된 매크로블록들상에서 먼저 수행된다. 이런 방식으로, 한 세트의 Mmax예측된 코딩 에러 에너지 값들이 얻어진다.예측된 코딩 에러 에너지들의 이러한 세트는 주어진 임계값 Ec 이하의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 1 세트와 상기 주어진 임계값 Ec 이상의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 2 세트를 결정하기 위해 오름차순 (increasing order)으로 저장된다. 그다음에, 재구축 단계는, NBrecon매크로블록들을 포함하는 매크로블록들의 상기 제 2 세트상에서만, 상기 스위치(120)를 폐쇄함으로써, 수행된다. 그다음에, 신호(119)에 의해 운반된, 결과적인 재구축된 매크로블록들은 메모리(127)에 저장된다. 병렬로, 재구축된 매크로블록들의 예측된 코딩 에너지들과 랭크들이 보조 메모리에 저장된다.
상기 에너지 임계값 Ec는 고정된 값으로 설정될 수 있으며, 프레임간의 변화하는 수의 재구축된 매크로블록들 NBrecon을 발생시킨다. 상기 임계값은 또한 트랜스코딩 플랫폼에서 이용가능한 처리 자원들을 고려하도록 결정될 수 있다. 따라서, 이것은, P=100*NBrecon/Mmax로, 임의의 프레임내의 매크로블록들의 주어진 퍼센티지 P보다 더 많이 재구축하지 않도록 결정될 수 있다. 이러한 마지막 경우에, 에너지 임계값 Ec는 가장 낮은 에너지를 갖는 상기 제 2 세트내의 매크로블록의 에너지에 대응한다.
상기 제 1 세트의 매크로블록들은 작은 코딩 에러를 갖는 것으로 가정되므로, 재구축은 다음 단계에서 이들 매크로블록들(스위치(121) 개방)에 대해 수행되지 않고, 그것들의 코딩 에러는 제로 값으로 설정된다. 비-재구축된 매크로블록들의 랭크들은, 재구축된 매크로블록들과 같이, 상기 보조 메모리에 저장된다.
현재의 프레임의 모든 매크로블록들상에서 수행된 재구축 이후에 얻어진 코딩 에러와 대조하여, 메모리(127)에 저장된 수정된 코딩 에러는 재구축만이 매크로블록들의 상기 제 2 세트에 대해 수행되고 매크로블록들의 상기 제 1 세트는 제로값으로 설정된다는 점에서 얻어진다. 이러한 저장된 수정된 코딩 에러는 상기 현재의 프레임의 트랜스코딩이 아닌 다음 프레임의 트랜스코딩동안 품질 변동 보정을 위해 이용된다는 것을 유의해야 한다.
움직임-보상 스위칭 전략(131)은 움직임-보상이 수행될 수 있는 신호(102)에 의해 운반된 각각의 매크로블록의 신호(112)에 의해 운반된 시간 예측기 매크로블록의 비용-효율이 높은 에너지 예측에 기초한다. 물론, 이러한 움직임-보상은 INTRA 모드에 따라 코딩된 비디오 프레임에 관련되지 않지만, 이전의 프레임, 예를 들어 P 및 B 모드들에 따라 코딩된 비디오 프레임들에만 관련된다. 움직임-보상된 매크로블록이라 또한 불리는, 상기 시간 예측기의 에너지는 어떤 움직임-보상도 트랜스코딩동안 수행되지 않는다면 품질 변동을 도입할 수 있는 신호(102)에 의해 운반된 매크로블록들을 검출하는 관련된 기준이다.
상기 움직임 보상 스위칭 전략(131)의 원리는 시간 예측기의 에너지가 높은 신호(102)에 의해 운반된 입력 매크로블록들에 대해 움직임-보상을 수행하는 것이다.
도 2에 도시된 바와같이, 시간 예측기는 상기 수정된 저장된 코딩 에러를 나타내는 움직임 벡터(106)에 의해 지시된 매크로블록(PRED)이고, 상기 매크로블록 (PRED)은 일반적인 경우에 4개의 인접한 매크로블록들을 오버랩한다. 트랜스코딩이기대되는 신호(102)에 의해 운반된 입력 매크로블록과 연관된 그와같은 움직임 벡터는 상기 매크로블록(PRED)에 의해 오버랩된 매크로블록들의 지수들을 검색하는 것을 가능하게 하며, 따라서 그것들의 저장된 예측된 코딩 에러 에너지를 검색하는 것을 가능하게 한다. 상기 시간 예측기 매크로블록의 예측된 에너지는 다음식에 따라 상기 보조 메모리에 저장된 상기 4개의 매크로블록들에 대한 예측된 코딩 에러 에너지들의 가중된 평균으로부터 결정된다.
식 (4)
- K는, 1/2 픽셀 좌표들을 갖는 움직임 벡터들(106)에 대해, 상기 4개의 인접한 매크로블록들상에서 수행되는 픽셀 보간을 고려하는 보정 인자이고,
- v1 및 h1은 매크로블록(PRED)에 의해 오버랩된 랭크 1을 갖는 매크로블록의 픽셀들의 수이다.
따라서,의 계산은 신호(102)에 의해 운반된 각각의 비-INTRA 입력 매크로블록 i에 대해 수행된다. 그다음에, 이러한 예측된 값은 상기 에너지 임계값 Ec와 비교된다.이면, 스위치(130)는 상기 입력 매크로블록의 트랜스코딩동안 개방된채로 유지되어, 움직임 보상은 수행되지 않는다. 그러나,이면, 스위치(130)는 상기 입력 매크로블록의 트랜스코딩동안 폐쇄된채로 유지되어, 움직임-보상은, 신호(114)(및 108)에 의해 운반된 결과적인 트랜스코딩된 매크로블록들의 양호함 품질을 보장하도록 품질 변동을 회피하면서, 수행된다.
본 발명에 따라, 많은 에너지 계산들이 수행될 수 있다. 예를 들어, 에너지 계산은, 에너지 예측이 기대되는 매크로블록을 정의하는 값들(주파수 또는 픽셀에 기초한 값들)의 세트에 적용된, 2차 에너지(quadratic energy)로 또한 알려진, 표준(L2)에 기초할 수 있다. 유사하게, 그와같은 계산은 표준(L1)을 이용하는데 있어 또한 수행될 수 있고, 이것은 더 적은 처리 수단을 요구한다. 도 3은 본 발명에 따라 도 1에 도시된 일반적인 트랜스코딩 아키텍쳐로부터 유도된 재양자화 아키텍쳐에 대응한다.
이것은 신호(102)에 의해 운반된 입력된 현재의 매크로블록이 재구축되거나 움직임-보상되지 않으므로 덜 비용이 든다. 결과적으로, 트랜스코딩은 재-인코딩 (108)이 뒤따르는 디코딩(101)으로 구성된다. 그와같은 아키텍쳐는 스위치들(120 및 130)의 개방을 통해 정의되고, 상기 스위치들은 상기에 서술된 전략에 따라 제어된다. 이러한 아키텍쳐가 트랜스코딩된 매크로블록들에서 품질의 주요한 손실을 일반적으로 도입할지라도, 품질의 어떤 손실도 본 발명의 상황에서의 이용에서는 기대되지 않는데, 낮은 예측된 코딩 에러 에너지고 낮은 시간 예측기 에너지를 갖는 입력 목표로 된 매크로블록들 상에서만 수행되기 때문이다.
도 4는 본 발명에 따른 도 1에 도시된 일반적인 트랜스코딩 아키텍쳐로부터 유도된 재구축 아키텍쳐에 대응한다.
재양자화 아키텍쳐에서와 같이, 입력된 현재의 매크로블록의 트랜스코딩은 재-인코딩(108)이 뒤따르는 디코딩(101)에 존재한다. 그와같은 아키텍쳐는 스위치(130)의 개방시에 스위치(120)의 폐쇄를 통해 정의되며, 상기 스위치들은 상기에 서술된 전략에 따라 제어된다. 재양자화 아키텍쳐로 얻어진 것과 동일한 비디오 품질이 트랜스코딩된 매크로블록들에 대해 기대된다. 높은 예측된 코딩 에러 에너지를 갖는 트랜스코딩된 매크로블록들은 재구축되며 메모리(127)에 저장되어, 이것들은 다음의 입력 비디오 프레임의 매크로블록들의 트랜스코딩동안 시간 예측기들로서 이용될 수 있다.
도 5는 본 발명에 따라 도 1에 도시된 일반적인 트랜스코딩 아키텍쳐로부터 유도된 움직임-보상 아키텍쳐에 대응한다.
입력된 현재의 매크로블록의 트랜스코딩은 디코딩(101)에 존재하며, 이것은 디코딩된 데이터 신호(102)를 발생시키고, 이 신호는 움직임 보상(128)으로부터 발생되는 움직임 보상된 신호(112)에 가산된다. 그와같은 아키텍쳐는 스위치(120)의 개방 및 스위치(130)의 폐쇄를 통해 정의되고, 상기 스위치들은 상기에 서술된 전략에 따라 제어된다. 이전의 트랜스코딩된 비디오 프레임의 저장된 코딩 에러 매크로블록들상에서 수행되는 움직임 보상(128)은 품질 변동을 회피하여, 트랜스코딩된 프레임들의 일정한 비디오 품질이 출력 비디오 신호(109)에서 한 프레임에서 다음 프레임까지 얻어진다.
도 6은 본 발명에 따라 도 1에 도시된 일반적인 트랜스코딩 아키텍쳐로부터 유도된 고품질 아키텍쳐에 대응한다.
움직임-보상 아키텍쳐에서와 같이, 입력된 현재의 매크로블록의 트랜스코딩은 움직임 보상(128)으로부터 발생하는 움직임-보상된 신호(112)에 가산된 디코딩된 데이터 신호(102)를 발생시키는 디코딩(101)에 존재한다. 그와같은 아키텍쳐는 스위치들(120 및 130)의 폐쇄를 통해 정의되고, 상기 스위치들은 상기에 서술된 전략에 따라 제어된다. 이전의 트랜스코딩된 비디오 프레임의 저장된 코딩 에러 매크로블록들 상에서 수행된 움직임 보상(128)은 품질 변동을 회피하여, 트랜스코딩된 프레임들의 일정한 비디오 품질이 출력 비디오 신호(109)에서 한 프레임에서 다음 프레임까지 얻어진다. 동시에, 트랜스코딩된 매크로블록들에 대한 임의의 코딩 에러는 다음의 입력 비디오 프레임의 트랜스코딩동안 움직임 보상에 의한 가능한 미래의 이용을 고려하여 재구축되고 저장된다.
상기에 언급된 바와 같이, 프레임당 재구축된 코딩 에러 매크로블록들의 수 NBrecon를 설정하는 것은 에너지 임계값 Ec를 정의하는 것을 가능케 하며, 움직임 보상은 시간 예측기들이 상기 에너지 임계값 이상의 예측된 에너지를 갖는 입력 매크로블록들에 대해서만 수행된다.
Ec가 매우 낮은 값을 갖는다면, 대부분의 코딩 에러 매크로블록들은 재구축될 것이고, 대부분의 입력 매크로블록들은 움직임-보상될 것이고, 고품질의 트랜스코딩된 프레임들이지만 값비싼 솔루션이 될 것이다. 대조적으로, Ec가 높은 값을 갖는다면, 대부분의 코딩 에러 매크로블록들은 재구축되지 않을 것이고, 대부분의 입력 매크로블록들은 움직임-보상되지 않을 것이며, 열등한 품질의 트랜스코딩된 프레임들이지만 값비싼 솔루션이 될 것이다.
이때, 비용과 품질사의 최상의 타협을 얻는 방법이 제안된다. 이것은, 코딩에러 매크로블록들이 재구축되거나 움직임-보상되지 않는다면, 단계(113)에 의해 야기된 양자화 에러가 GOP(화상들의 그룹(Group Of Piictures))내에서 프레임에서 프레임으로 전파하는 것을 고려한다. GOP내의 이러한 에러 전파는 P 및 B 프레임들(즉, 시간적으로 예측된 프레임들)에 의해 악화되지만, 새로운 GOP의 각각의 시작부분(즉, INTRA 프레임상에서)에서 정지한다. 또한, 다음의 시간적으로 예측된 프레임들에 대한 시간 참조로서 작용하는 GOP내의 제 1 시간적으로 예측된 프레임은 마지막 프레임들보다 더 중요한데, 여기서 에러 전파는 더 작은 수의 프레임들을 통해 퍼질 것이기 때문이다. 따라서 수 NBrecon은 GOP내의 프레임 위치와 상관될 수 있어, NBrecon은 GOP를 따라 감소하는 값을 가지며, 한편 처리 자원들에 대해 허용되는 것의 범위에서 재구축된 매크로블록들의 평균 수를 유지한다.
12개의 프레임들(11개의 시간적으로 예측된 프레임들이 뒤따르는 하나의 INTRA 프레임)을 포함하는 GOP에 따른 NBrecon의 변화는 도 7에 도시된다. 이러한 숫자는 제 1 프레임에 대한 최대값 NBmax에서 마지막 프레임에 대한 최소값 NBmin까지 변한다. 이런 방식으로, 더 많은 매크로블록들이 움직임 보상의 활성화를 통해 다음의 트랜스코딩된 프레임들의 양호한 품질을 보장하려는 목적으로 GOP의 시작부분에서 재구축된다. 그러나, 더 적은 매크로블록들은, 계산상의 부하를 가능한 많이. 그러나 현저한 품질의 손실없이, 감소시키려는 목적으로 GOP의 종료부분에서 재구축된다. 따라서, 양호하고 일정한 품질은 처리 자원들이 최적으로 이용되는 동안 GOP를 따라 얻어진다.
본 발명의 특정한 실시예에서, 스위치들(120 및 130)은 매크로블록 레벨 대신에 프레임 레벨에서 구현된다. 이 경우에, 주어진 입력 프레임의 전체적 매크로블록들은 4개의 상술된 트랜스코딩된 아키텍쳐들중 하나에 따라 트랜스코딩된다. 이러한 전략이 더 거친 스케일가능성 레벨(a coarser scalability level)이 되더라도, 이것은 비용-효율이 높은 솔루션인데, 제어 전략들(121 및 131)만이 각각의 프레임의 시작부분에서 스위칭 단계들(120 및 130)을 갱신해야 하기 때문이다.
입력 코딩된 비디오 신호를 트랜스코딩하는 이러한 스케일가능한 방법은 트랜스코딩 장치에서 몇몇 방식들로 구현될 수 있다. 트랜스코딩 장치는 MPEG-2 코딩된 비디오 신호상에서 비트레이트 변화를 수행하기 위해 브로드캐스킹 장치에 대응할 수 있지만, 셋-톱 박스 또는 DVD(디지털 비디오 디스크)와 같은 소비자 제품에 택일적으로 대응할 수 있고, 여기서 비트레이트 변화는 MPEG-2 코딩된 비디오 신호를 저장 또는 재복사하기 위해 수행된다.
재료의 관점에서, 이러한 스케일링가능한 방법은 배선된 전자 회로들에 의해 또는, 택일적으로 컴퓨터-판독가능 매체에 저장된 한 세트의 명령들에 의해 구현될 수 있고, 상기 명령들은 상기 회로들의 적어도 한 부분을 대체하고, 상기 대체된 회로들에서 이행된 것과 동일한 기능들을 실행하기 위해 컴퓨터 또는 디지털 프로세서의 제어하에 실행된다. 본 발명은 또한 상기에 서술된 방법의 단계들 또는 몇몇 단계들을 수행하기 위한 컴퓨터-실행가능한 명령들을 포함하는 소프트웨어 모듈을 포함하는 컴퓨터-판독가능 매체에 관한 것이다.
본 발명에 따라, 메모리 공간(127)의 최적화가 제안된다. 최적화는, 제로 값으로 된 코딩 에러 매크로블록들이 아닌, 재구축된 코딩 에러 매크로블록들만을 상기 메모리에 저장하는 것에 존재한다. 따라서, 상기 메모리는 NBmax재구축된 매크로블록들만을 저장하기 위해 할당될 수 있고, 이것은 Mmax매크로블록들을 수신하기 위해 할당된 메모리 공간과 비교되는 실질적인 이득을 나타낸다.

Claims (14)

  1. 출력 비디오 신호를 발생시키는 입력 코딩된 비디오 신호의 데이터를 수정하는 방법으로서, 각각의 비디오 신호는 코딩된 비디오 프레임들의 시퀀스에 대응하고,
    - 현재의 입력 코딩된 비디오 프레임으로부터 디코딩된 데이터 신호를 산출하는 에러 디코딩 단계와,
    - 수정된 신호로부터, 상기 출력 비디오 신호에 의해 운반된, 출력 비디오 프레임을 산출하는 재-인코딩 단계로서, 상기 수정된 신호는 움직임 보상된 신호와 상기 디코딩된 데이터 신호사이의 가산하는 서브-단계로부터 발생되는, 상기 재-인코딩 단계와,
    - 상기 출력 비디오 프레임의 코딩 에러를 산출하는 재구축 단계와,
    - 이전의 출력 비디오 프레임의 저장된 코딩 에러로부터 상기 움직임-보상된 신호를 산출하는 움직임-보상 단계를 적어도 포함하는, 상기 데이터 수정 방법에 있어서,
    - 상기 재구축 단계와 상기 재-인코딩 단계 사이에 삽입된, 상기 재구축 단계를 활성화하는 제 1 스위칭 단계와,
    - 상기 가산하는 서브-단계와 상기 움직임-보상 단계 사이에 삽입된, 상기 움직임-보상 단계를 활성화하는 제 2 스위칭 단계를 포함하고,
    상기 스위칭 단계들은 상기 입력 코딩된 비디오 신호를 수정하는 4개의 아키텍쳐들을 정의하는 스케일링가능한 방법을 정의하는 제어 전략에 의해 독립적으로 제어되는 것을 특징으로 하는, 데이터 수정 방법.
  2. 제 1 항에 있어서,
    매크로블록 레벨에서 수행되는, 상기 제 1 스위칭 단계의 제어 전략은,
    - 상기 코딩 에러의 에너지의 제 1 예측 서브-단계로서, 상기 코딩 에러 에너지는 출력 비디오 프레임의 모든 재-인코딩된 매크로블록들에 대해 예측되는, 상기 제 1 예측 서브-단계와,
    - 상기 코딩 에러를 정의하는 매크로블록들 중에서, 주어진 임계값 이하의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 1 세트를 식별하는 제 1 선택 서브-단계로서, 매크로블록들의 상기 제 1 세트의 코딩 에러는 수정된 저장된 코딩 에러를 발생시키기 위해 제로 값으로 설정되는, 상기 제 1 선택 서브-단계와,
    - 상기 코딩 에러를 정의하는 매크로블록들 중에서, 상기 주어진 임계값 이상의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 2 세트를 식별하는 제 2 선택 서브-단계를 포함하고,
    상기 제 1 스위칭 단계는 매크로블록들의 상기 제 2 세트에 대한 재구축 단계를 활성화하는 것을 특징으로 하는, 데이터 수정 방법.
  3. 제 2 항에 있어서,
    상기 매크로블록 레벨에서 수행되는, 상기 제 2 스위칭 단계의 제어 전략은,
    - 상기 움직임-보상된 신호의 에너지의 제 2 예측 서브-단계로서, 상기 에너지는 상기 매크로블록 레벨에서 예측되는 상기 제 2 예측 서브-단계와,
    - 상기 움직임-보상된 신호내에서, 상기 주어진 임계값 이상의 예측된 에너지를 갖는 매크로블록들의 제 3 세트를 식별하는 제 3 선택 서브-단계를 포함하고,
    상기 제 2 스위칭 단계는 상기 디코딩된 데이터 신호를 정의하는 각각의 매크로블록에 대해 상기 움직임-보상 단계를 활성화하고, 상기 움직임-보상된 매크로블록은 매크로블록들의 상기 제 3 세트에 속하는 것을 특징으로 하는, 데이터 수정 방법.
  4. 제 2 항에 있어서,
    상기 코딩 에러의 에너지의 제 1 예측 서브-단계는 상기 수정된 신호로부터 양자화 인자에 의해 곱해진 상기 출력 비디오 신호의 감산이후에 얻어진 신호의 에너지 계산에 존재하는 것을 특징으로 하는, 데이터 수정 방법.
  5. 제 3 항에 있어서,
    상기 움직임-보상된 신호의 에너지의 제 2 예측 서브-단계는, 상기 수정된 코딩 에러를 정의하는 4개의 인접한 매크로블록들에 관한 4개의 이전에 예측된 코딩 에러 에너지 값들의 가중된 평균에 존재하는 것을 특징으로 하는, 데이터 수정 방법.
  6. 제 3 항에 있어서,
    상기 움직임-보상 단계는, 상기 제 2 스위칭 단계에 의해 활성화될 때, 상기 수정된 저장된 코딩 에러에 기초하여 수행되는 것을 특징으로 하는, 데이터 수정 방법.
  7. 제 1 항에 있어서,
    상기 제 1 스위칭 단계는 GOP상에서 감소하는 수의 재구축된 매크로블록들을 얻도록 활성화되는 것을 특징으로 하는, 데이터 수정 방법.
  8. 제 1 항에 있어서,
    상기 스위칭 단계들은 상기 프레임 레벨에서 제어되고, 주어진 입력 코딩된 비디오 프레임은 상기 4개의 아키텍쳐들중 하나에 따라 수정되는 것을 특징으로 하는, 데이터 수정 방법.
  9. 출력 비디오 신호를 발생시키기 위해 입력 코딩된 비디오 신호에서 데이터를 수정하는 트랜스코딩 장치로서, 각각의 비디오 신호는 코딩된 비디오 프레임들의 시퀀스에 대응하고,
    - 현재의 입력 코딩된 비디오 프레임으로부터 디코딩된 데이터 신호를 산출하는 디코딩 수단과,
    - 수정된 신호로부터, 상기 출력 비디오 신호에 의해 운반된, 출력 비디오프레임을 산출하는 재-인코딩 수단으로서, 상기 수정된 신호는 상기 디코딩된 데이터 신호에 움직임-보상된 신호를 가산하는 가산 수단으로부터 발생되는, 상기 재-인코딩 수단과,
    - 상기 출력 비디오 프레임의 코딩 에러를 산출하는 재구축 수단과,
    - 이전의 출력 비디오 프레임의 저장된 코딩 에러에 기초하여 상기 움직임-보상된 신호를 산출하는 움직임-보상 수단을 적어도 포함하는, 상기 트랜스코딩 장치에 있어서,
    - 상기 재구축 수단과 상기 재-인코딩 수단사이에 삽입된, 상기 재구축 수단을 활성화하는 제 1 스위칭 수단과,
    - 상기 가산 수단과 상기 움직임-보상 수단사이에 삽입된, 상기 움직임-보상 수단을 활성화하는 제 2 스위칭 수단을 포함하고,
    상기 스위칭 수단은 상기 입력 코딩된 비디오 프레임들을 수정하는 4개의 아키텍쳐들을 정의하는 스케일링가능한 트랜스코딩 장치를 정의하는 제어 수단에 의해 독립적으로 제어되는 것을 특징으로 하는, 트랜스코딩 장치.
  10. 제 9 항에 있어서,
    상기 제 1 스위칭 수단의 제어 수단들은,
    - 상기 코딩 에러의 에너지를 예측하는 제 1 예측 수단으로서, 상기 코딩 에러 에너지는 출력 비디오 프레임의 모든 재-인코딩된 매크로블록들에 대해 예측되는, 상기 제 1 예측 수단과,
    - 상기 코딩 에러를 정의하는 매크로블록들 중에서, 주어진 임계값 이하의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 1 세트를 식별하는 제 1 선택 수단으로서, 매크로블록들의 상기 제 1 세트의 코딩 에러는 수정된 저장된 코딩 에러를 발생시키도록 제로 값으로 설정되는, 상기 제 1 선택 수단과,
    - 상기 코딩 에러를 정의하는 매크로블록들 중에서, 상기 주어진 임계값 이상의 예측된 코딩 에러 에너지를 갖는 매크로블록들의 제 2 세트를 식별하는 제 2 선택 수단을 포함하고,
    상기 제 1 스위칭 수단은 매크로블록들의 상기 제 2 세트에 대한 재구축 수단을 활성화하는 것을 특징으로 하는, 트랜스코딩 장치.
  11. 제 10 항에 있어서,
    상기 제 2 스위칭 수단의 제어 수단들은,
    - 상기 움직임-보상된 신호의 에너지를 예측하는 제 2 예측 수단으로서, 상기 에너지는 상기 매크로블록에서 예측되는 상기 제 2 예측 수단과,
    - 상기 움직임-보상된 신호내에서, 상기 주어진 임계값 이상의 예측된 에너지를 갖는 매크로블록들의 제 3 세트를 식별하는 제 3 선택 수단을 포함하고,
    상기 제 2 스위칭 수단은 상기 디코딩된 데이터 신호를 정의하는 각각의 매크로블록에 대해 움직임 보상 수단을 활성화하고, 상기 움직임-보상된 매크로블록은 매크로블록들의 상기 제 3 세트에 속하는 것을 특징으로 하는, 트랜스코딩 장치.
  12. 제 10 항에 있어서,
    상기 수정된 코딩 에러는, 재구축된 매크로블록들만을 저장하기 위해 용량이 할당된 메모리에 저장되는 것을 특징으로 하는, 트랜스코딩 장치.
  13. MPEG-2 비디오 표준에 따라 코딩된 입력 코딩된 비디오에서 데이터를 수정하는 셋-톱 박스 제품으로서,
    제 1 항 내지 제 8 항중 어느 한 항에 청구된 방법의 서브-단계들과 단계들을 구현하는 셋-톱 박스 제품.
  14. 코딩된 비디오 신호에서 데이터를 수정하는 트랜스코딩 장치를 위한 컴퓨터 프로그램 제품으로서,
    상기 장치로 로딩될 때, 상기 장치가 제 1 항 내지 제 8 항중 어느 한 항에 청구된 방법을 실행하도록 하는 한 세트의 명령들을 포함하는 컴퓨터 프로그램 제품.
KR1020027011909A 2001-01-12 2002-01-10 스케일링가능한 비디오 트랜스코딩을 위한 방법 및 장치 KR20030005223A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01400087.1 2001-01-12
EP01400087 2001-01-12

Publications (1)

Publication Number Publication Date
KR20030005223A true KR20030005223A (ko) 2003-01-17

Family

ID=8182595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027011909A KR20030005223A (ko) 2001-01-12 2002-01-10 스케일링가능한 비디오 트랜스코딩을 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US6968007B2 (ko)
EP (1) EP1354481A2 (ko)
JP (1) JP2004518342A (ko)
KR (1) KR20030005223A (ko)
WO (1) WO2002056598A2 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100480977C (zh) * 2001-11-29 2009-04-22 松下电器产业株式会社 记录装置、记录程序和记录方法
US20040136457A1 (en) * 2002-10-23 2004-07-15 John Funnell Method and system for supercompression of compressed digital video
US7079578B2 (en) * 2002-10-28 2006-07-18 Scopus Network Technologies Ltd. Partial bitstream transcoder system for compressed digital video bitstreams
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
US7965770B2 (en) * 2004-03-31 2011-06-21 Intel Corporation Shared logic for decoding and deinterlacing of compressed video
US7460668B2 (en) * 2004-07-21 2008-12-02 Divx, Inc. Optimized secure media playback control
US20060109900A1 (en) * 2004-11-23 2006-05-25 Bo Shen Image data transcoding
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US20070201554A1 (en) * 2006-02-24 2007-08-30 Samsung Electronics Co., Ltd. Video transcoding method and apparatus
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US7515710B2 (en) * 2006-03-14 2009-04-07 Divx, Inc. Federated digital rights management scheme including trusted systems
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
GB0619570D0 (en) * 2006-10-04 2006-11-15 Univ Bristol Complexity scalable video transcoder and encoder
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US20080205389A1 (en) * 2007-02-26 2008-08-28 Microsoft Corporation Selection of transrate and transcode processes by host computer
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR20100106327A (ko) 2007-11-16 2010-10-01 디브이엑스, 인크. 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조
US8997161B2 (en) * 2008-01-02 2015-03-31 Sonic Ip, Inc. Application enhancement tracks
WO2010080911A1 (en) 2009-01-07 2010-07-15 Divx, Inc. Singular, collective and automated creation of a media guide for online content
US20100223649A1 (en) * 2009-03-02 2010-09-02 Jason Robert Suitts Automated Assessment of Digital Video Encodings
WO2011068668A1 (en) 2009-12-04 2011-06-09 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
CN102656885B (zh) * 2009-12-14 2016-01-27 汤姆森特许公司 合并编码比特流
RU2010135495A (ru) 2010-08-24 2012-02-27 ЭлЭсАй Корпорейшн (US) Видеотранскодер с гибким управлением качеством и сложностью
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US9955195B2 (en) 2011-08-30 2018-04-24 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US9247317B2 (en) 2013-05-30 2016-01-26 Sonic Ip, Inc. Content streaming with client device trick play index
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
US10560215B1 (en) 2017-03-27 2020-02-11 Amazon Technologies, Inc. Quality control service using input quality metrics
US10778354B1 (en) * 2017-03-27 2020-09-15 Amazon Technologies, Inc. Asynchronous enhancement of multimedia segments using input quality metrics
US10310928B1 (en) 2017-03-27 2019-06-04 Amazon Technologies, Inc. Dynamic selection of multimedia segments using input quality metrics

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9608271D0 (en) * 1996-04-22 1996-06-26 Electrocraft Lab Video compession
US6434197B1 (en) * 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
US6532593B1 (en) * 1999-08-17 2003-03-11 General Instrument Corporation Transcoding for consumer set-top storage application
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6904094B1 (en) * 2000-09-20 2005-06-07 General Instrument Corporation Processing mode selection for channels in a video multi-processor system
JP2004512784A (ja) * 2000-10-24 2004-04-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ エンベッドフィルタによるトランスコーディング方法及びトランスコーディング装置
FR2823943A1 (fr) * 2001-04-24 2002-10-25 Koninkl Philips Electronics Nv Procede de detection de bruit dans un flux de donnees video codees

Also Published As

Publication number Publication date
WO2002056598A3 (en) 2002-10-17
US20030035488A1 (en) 2003-02-20
EP1354481A2 (en) 2003-10-22
JP2004518342A (ja) 2004-06-17
US6968007B2 (en) 2005-11-22
WO2002056598A2 (en) 2002-07-18

Similar Documents

Publication Publication Date Title
US6968007B2 (en) Method and device for scalable video transcoding
EP0690392B1 (en) Method and device for transcoding a sequence of coded digital signals
US7782955B2 (en) Transcoder and transcoding method operating in a transform domain for video coding schemes possessing different transform kernels
KR101362590B1 (ko) 화상 처리 장치 및 방법
US20070098067A1 (en) Method and apparatus for video encoding/decoding
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
WO2003007619A1 (en) Method and device for generating a scalable coded video signal from a non-scalable coded video signal
KR20020051929A (ko) 비디오 데이터 스트림 변환 방법
JP2005507587A (ja) 空間的にスケーラブルな圧縮
JP2007524309A (ja) ビデオ復号の方法
JP2008154155A (ja) 動画像符号化装置
JP2001145113A (ja) 画像情報変換装置及び方法
KR100541623B1 (ko) 움직임 보상을 이용한 예측 코딩 방법 및 장치
EP1433329A2 (en) Method and device for video transcoding
JP2003304538A (ja) 画像符号化装置、画像復号化装置及びそれらの方法
KR19980017213A (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
WO2011155376A1 (ja) 符号化装置および符号化方法
JPH07135657A (ja) 符号化方法と符号化装置
KR100710338B1 (ko) 멀티 포맷 비디오 디코더 및 디블로킹 필터링 방법
Kalva et al. Complexity estimation of the H. 264 coded video bitstreams
KR100927389B1 (ko) 스케일가능하지 않은 코딩된 비디오 신호로부터 스케일가능한 코딩된 비디오 신호를 생성하는 방법
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JPH1127674A (ja) 飛越し走査された動画像の可逆符号化方式
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム
KR0144295B1 (ko) 오버랩된 움직임 보상장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application