KR20060130570A

KR20060130570A - 비트스트림을 인코딩 또는 디코딩하는 방법 및 장치

Info

Publication number: KR20060130570A
Application number: KR1020067010305A
Authority: KR
Inventors: 아드리안 제이. 반 리스트; 마인 반 더 빈; 알폰스 에이. 엠. 엘. 브루커스
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-11-28
Filing date: 2004-11-23
Publication date: 2006-12-19
Also published as: EP1692874A2; WO2005052935A2; JP2007520918A; CN1886991A; WO2005052935A3; US20070064937A1

Abstract

본 발명은 콘텐츠 신호들에 대한 비트스트림들을 재인코딩하는 시스템에 관한 것이다. 재인코더(101)는 예를 들면 MPEG-2 인코딩된 신호를 포함하는 비트스트림을 수신한다. 수신기(109)는 비트스트림을 추출 프로세서(111)에 제공하고, 추출 프로세서(111)는 비트스트림으로부터 비필수적 정보를 추출하여 여전히 MPEG-2와 호환되는 감소된 비트스트림을 생성한다. 구체적으로는 고주파 변환 계수일 수 있는 비필수적 정보는 비-MPEG-2 인코딩 원리를 사용하여 재인코드 프로세서(113)에서 재인코딩된다. 인코딩은 보다 효율적인 인코딩을 가져오게 하는 비필수적 정보의 특징에 대해 최적화될 수 있다. 재인코딩된 데이터는 결합 프로세서(115)에 의해서, 감소된 비트스트림의 사용자 데이터 부분에 삽입된다. 따라서, 비트스트림의 크기 면에서 효과적 감소가 달성될 수 있다. 디코더(107)는 사용자 데이터 부분으로부터 재인코딩된 데이터를 추출할 수 있고, 원 비필수적 정보를 재생성하고 이를 감소된 비트스트림에 삽입한다. 구체적으로, 원 비트스트림이 재생성될 수 있다. 비트스트림의 크기를 증가시키지 않는 가역 비트스트림 워터마킹에 본 방식이 사용될 수 있다.

비트스트림, 콘텐츠 신호, 인코딩, 비필수적 정보, 워터마크

Description

비트스트림을 인코딩 또는 디코딩하는 방법 및 장치{Method and apparatus for encoding or decoding a bitstream}

본 발명은 비트스트림을 인코딩 및/또는 디코딩하기 위한 방법 및 장치에 관한 것으로, 특히 MPEG(Motion Picture Expert Group) 인코딩된 비트스트림의 인코딩 및/또는 디코딩에 관한 것이나, 이에 국한되는 것은 아니다.

저작권물의 불법 배포는 저작권 소유자에게서 이 저작권물에 대한 합법적 로열티를 앗아가며, 이 불법 배포하는 저작권물 공급자에게 계속적인 불법 배포를 조장하는 이익을 제공할 수 있다. 예를 들면, 인터넷에 의해 제공되는 전송의 용이함에 비추어, 정교한 렌더링들 또는 제한된 배포 권한을 갖는 그외 다른 저작물과 같은 저작권이 보호되는 콘텐츠물은 광범하게 불법 배포되기가 쉽다.

특히, 음악 또는 비디오 아이템들과 같은 콘텐츠 아이템들은 현재 상당량의 무단 배포 및 복제를 끌고 있다. 이것은 늘어나고 있는, 배포 및 복제의 새로운 기술들에 의해 제공되는 실현성 및 가능성에 특히 기인한다. 예를 들면, 압축된 오디오 파일들을 저장 및 전송하기 위한 MP3 포맷은 오디오 기록들의 광범한 배포를 가능하게 하였다. 예를 들면, 곡의 30 또는 30 메가바이트 PCM(Pulse Code Modulation) 오디오 기록은 3 또는 4 메가바이트 MP3 파일로 압축될 수 있다. 인터 넷에 통상적인 56kbps 다이얼-업 연결을 사용해서, 이 파일은 수분 내에 사용자의 컴퓨터에 다운로드될 수 있다. 이것은, 예를 들면, 악의적 당사자가 MP3 인코딩된 곡을 다운로딩하기 위한 다이렉트 다이얼-인 서비스를 제공하게 한다. 이어서, MP3 인코딩된 곡의 불법 복제는 소프트웨어 또는 하드웨어 디바이스들에 의해 렌더링될 수 있거나 압축 해제되어, 통상의 CD 플레어에서 재생을 위한 기록 가능의 CD에 저장될 수 있다.

디지털 워터마크들은 위에 언급한 시나리오들에 따라 복제방지를 위해 사용될 수 있다. 그러나, 디지털 워터마크들의 사용은 복제방지로 국한되지 않고 소위 법적 추적에도 사용될 수 있는데, 이 경우 워터마크들은, 예를 들면 전자 콘텐츠 배송 시스템을 통해 배포된 파일들 내에 임베딩되어, 예를 들면 인터넷에서 불법 복제된 콘텐츠를 추적하는데 사용된다. 또한, 워터마크들은 방송국들(예를 들면, 광고방송)을 모니터하거나 인증 목적 등에 사용될 수 있다.

워터마크들은 비압축된 신호들에 주로 임베딩되고, 이를 위한 몇가지 기술들이 공지되어 있다. 또한, 코딩된 비트스트림에 직접 워터마킹 임베딩을 적용하는 기술들이 제안되어 있다. 이 기술은 통상 비트스트림 워터마킹이라고 한다. 이에 대한 예는 스틴호프(Steenhof)의 미국 특허 출원 제 2003/00167756 호에 개시되어 있다.

비트스트림 워터마킹은 일반적으로 몇가지 단점과 연관되어 있다. 예를 들면, 워터마크는 비트스트림 내 특정의 비트들을 수정함으로써 임베딩될 수 있는데, 그러나, 이러한 수정으로 정보를 유실하게 되기 때문에 워터마크가 임베딩된 비트스트림의 품질이 저하되는 결과를 초래할 수 있다. 이에 대안적으로 또는 추가적으로, 워터마크들은 정보를 추가함으로써, 구체적으로는 데이터 비트들을 현존 비트스트림에 추가함으로써 도입될 수 있다. 통상 이것은 비트스트림의 크기를 증가시키게 될 것이다.

가역 워터마크 임베딩으로서 공지된 기술이 제안되어 있다. 이것은 원 신호가 복원 과정에서 비트씩 정확하게 복원될 수 있게 디지털 신호에 데이터(즉, 워터마크)를 임베딩하는 기술이다. 따라서, 워터마킹으로 인한 어떠한 정보도 유실되지 않을 것이고 비트스트림에 의해 표현되는 신호의 품질은 보존될 수 있다.

특정의 가역 워터마킹 기술의 예로서, 각각의 인코딩된 이산 코사인 변환(DCT) 계수에 2를 곱하고 최하위 비트(least significant bit)에 워터마크를 임베딩함으로써 JPEG 또는 MPEG 비트스트림에 워터마크를 삽입시키는 것이 제안되었다. 이것은 원 신호가 복원될 수 있게 하며 워터마크가 추출될 수 있게 한다. 그러나, 불가피하게 결과적인 비트스트림의 크기를 현저하게 증가시킨다. 특히, MPEG 비트스트림의 크기 증가는 임베딩된 데이터의 크기를 훨씬 초과할 수도 있다. 이것은 MPEG에서 더 큰 레벨들이 더 긴 코드 워드들로 인코딩되는 것에 기인한다. 따라서, 1비트를 임베딩하는 것이 잠재적으로 MPEG 스트림의 크기를 예를 들면 3비트만큼 증가시킬 수 있다.

인터넷과 같은 데이터 네트워크들의 진보와 증가된 보급은 소유권자의 허가로 또는 허가없이 콘텐츠 아이템들의 배포 및 복제의 가능성을 상당히 증가시켰다. 따라서, 소유권자들이 콘텐츠 아이템들을 안전하게 배포하고 콘텐츠 아이템들에 대한 액세스를 제어하기가 점점 더 어렵게 되었다. 비록 워터마킹이 콘텐츠를 추적하고 모니터하는데 유용할지라도, 제어의 융통성과 기회들은 상대적으로 제한된다. 예를 들면, 동일 콘텐츠 아이템의 상이한 버전들을 상이한 범주들의 사용자들에 배송하는 것이 바람직할 수도 있다. 워터마킹은 상이한 버전들의 콘텐츠 아이템에 대응하는 상이한 비트스트림들 내에 임베딩된 상이한 워터마크들에 의해 이를 허용한다. 그러나, 이것은 2 이상의 비트스트림을 생성할 것을 요구하고 이는 배포뿐만 아니라 인코딩 프로세스의 복잡성을 증가시킬 수 있다.

그러므로, 향상된 성능 및 융통성을 가능하게 하는 비트스트림들을 인코딩하는 향상된 시스템이 이점이 있을 것이며, 특히, 증가된 융통성, 상이한 범주들의 사용자들에 대해 용이한 커스터마화, 감소된 비트스트림 크기들, 감소된 배포 대역폭 요건들, 향상된 인코딩 품질 및/또는 향상된 워터마킹을 가능하게 하는 인코딩 시스템이 이점이 있을 것이다.

따라서, 본 발명은 하나 이상의 상술된 문제들을 단일로 또는 임의의 조합으로 완화 또는 제거하고자 하는 것이다.

발명의 제 1 특징에 따라서, 입력 비트스트림을 수신하는 단계; 감소된 비트스트림을 생성하기 위해 상기 입력 비트스트림으로부터 비필수적 정보를 추출하는 단계; 상기 비트스트림 내 상기 비필수적 정보에 대해 사용된 규칙과 상이한 인코딩 규칙에 따라 재인코딩된 데이터를 생성하기 위해 상기 비필수적 정보를 재인코딩하는 단계; 및 상기 재인코딩된 데이터를 상기 감소된 비트스트림과 연관된 사용자 데이터 요소에 포함시키는 단계를 포함하는, 입력 신호의 입력 비트스트림을 인코딩하는 방법이 제공된다.

비필수적 정보는, 감소된 비트스트림이 입력 신호의 인코딩에 대응하게 하면서도 입력 비트스트림으로부터 제거될 수 있는 정보일 수 있다. 구체적으로, 감소된 입력 비트스트림의 포맷은 원 입력 비트스트림에 따른다. 이러한 제약은 비호환 플레이어들(예를 들면, 재인코딩된 데이터를 해석하는데 적합하지 않은 플레이어들)도 감소된 비트스트림을 제공할 수 있게 한다.

비필수적 정보는 특정의 애플리케이션의 요건에 맞게 임의의 적합한 알고리즘 또는 기준에 따라 선택된다. 따라서, 비필수 정보는 구체적으로는 감소된 비트스트림이 입력 비트스트림에 관하여 약간만 감소된 품질을 가져오게 하는 비교적 적은 량의 정보이거나 예를 들면 상당히 매우 인지될 수 있는 품질 저하를 가져오게 하는 상당량의 정보일 수도 있다. 사용자 데이터 요소는 데이터 부분, 파일, 비트스트림 또는 감소된 비트스트림의 인코딩 데이터의 부분이 아닌 그외 다른 데이터 요소이다.

입력 신호는 오디오 신호 및/또는 비디오 신호와 같은 콘텐츠 신호일 수 있고, 입력 비트스트림을 구체적으로, 적합한 인코딩 표준에 따른 입력 신호의 인코딩을 포함할 수 있다. 재인코딩은 예를 들면 비필수적 정보(또는 이의 부분들)의 무손실 재인코딩을 포함하고, 이로써 재인코딩된 데이터는 비필수적 정보의 모든 정보를 보존할 것이다. 이것은 디코더에서 감소된 비트스트림과 결합될 수 있는 비필수적 정보를 디코더가 정확하게 재생하여 정확한 복제(전송 에러들과 같은 에러들에 의해 야기된 차이들은 제외)를 재생하게 할 것이다. 재인코딩은 대안적으로 또는 추가적으로 비필수적 정보(또는 이들의 부분들)의 유실성 인코딩을 포함할 수 있고 이에 의해서 비필수적 정보의 일부가 유실될 수도 있다. 그러나, 이것은 매우 작은, 아마도 인지 불가의 품질 감소만이 일어나게 하면서 현저한 비트스트림 크기 감소를 가져오게 하는 매우 효율적 재인코딩을 가능하게 할 것이다.

프로세스의 단계들은 반복될 수 있다. 따라서 감소된 비트스트림은 후속 재인코딩을 위한 입력 비트스트림으로서 사용될 수 있다.

본 발명은 입력 신호의 인코딩의 증가된 융통성을 가능하게 하며 구체적으로 콘텐츠 신호의 인코딩의 증가된 효율, 융통성 및 차별화를 가능하게 한다. 구체적으로, 사용자 데이터 요소에 재인코딩된 데이터를 임베딩하는 것은 적응적 및 등급적 인코딩의 제공을 포함하지 않는 인코딩 표준에 따를 수 있게 한다. 예를 들면, 본 발명은, MPEG 인코딩된 비트스트림들이 감소된 비트스트림으로서, 그리고 디코더가 정확하게 원 비트스트림을 재생할 수 있게 하는 원 비트스크림보다 작은 크기를 또한 갖는 사용자 데이터 요소로서 재인코딩되게 한다. 비필수적 정보의 재인코딩에 따라서, 본 발명은, 예를 들면, 감소된 비트스트림 크기들, 비트스트림 크기를 증가시킴이 없이 워터마크 또는 추가 데이터의 임베딩 및/또는 재인코딩된 데이터 등에 액세스 권한에 따라서 상이한 사용자들에게 품질의 차별화를 가능하게 한다.

본 발명의 특징에 따라서, 사용자 데이터 요소는 감소된 비트스트림의 사용자 데이터 부분이다. 사용자 데이터 요소는 인코딩되지 않은 데이터에 대해 사용되는 감소된 비트스트림의 데이터 부분에 포함될 수도 있다. 예를 들면, 감소된 비트스트림이 MPEG-2 표준에 따라 인코딩된다면, 사용자 데이터 요소는 MPEG-2 표준에 명시된 바와 같은 사용자 데이터 부분일 수 있다.

본 발명의 또 다른 특징에 따라서, 사용자 데이터 요소는 별도의 비트스트림에 포함된다. 이 특징은 예를 들면 재인코딩된 데이터의 분배를 용이하게 할 수 있다. 또한, 예를 들면 감소된 비트스트림이 자유로 분배되고 사용자 데이터 요소는 특정의 수신인들에게만 분배되는 보다 복잡한 분배 방식들을 가능하게 한다. 재인코딩된 데이터가 통상적으로 감소된 비트스트림보다 훨씬 적은 크기를 갖기 때문에, 이것은 분배를 상당히 용이하게 할 수 있고 특정 수신인들만이 원 신호를 재생할 수 있게 할 수 있다.

본 발명의 또 다른 특징에 따라서, 비필수적 정보를 추출하는 단계는 입력 비트스트림으로부터 비필수적 정보에 대응하는 비필수적 데이터를 제거하는 단계를 포함한다. 이 특징은 적합한 구현을 가능하게 하며 비필수적 정보를 추출하는 간단하면서도 고 성능의 프로세스를 제공한다. 결과적인 비트스트림 크기 감소가 달성될 수 있다.

본 발명의 또 다른 특징에 따라서, 비필수적 정보를 추출하는 단계는 상기 감소된 비트스트림의 양자화 레벨들을 수정하는 단계를 포함한다. 이 특징은 적합한 구현을 가능하게 하며 비필수적 정보를 추출하는 간단하면서도 고 성능의 프로세스를 제공한다.

본 발명의 또 다른 특징에 따라서, 재인코딩 단계는 상기 비필수적 정보의 압축을 포함한다. 구체적으로, 비필수적 정보는 입력 비트스트림 내 비필수적 정보의 표현에 사용되는 것보다 적은 비트들을 필요로 하게 재인코딩될 수 있다. 이것은 감소된 비트스트림과 재인코딩된 데이터의 결합된 크기가 입력 비트스트림의 비트스트림 크기 미만으로 되게 한다.

본 발명의 또 다른 특징에 따라서, 비필수적 정보는 상기 입력 신호에 연관된 하위 데이터 값들에 대응한다. 하위 데이터 값들은 예를 들면 데이터 값들의 하위 비트들, 고주파 인코딩 계수들 또는 낮은 값 데이터 값들일 수 있다. 따라서, 하위 데이터 값들은 인코딩 신호의 인지되는 품질에 소소한 영향만을 미치면서 입력 비트스트림에서 제거될 수 있는 값들일 수 있다. 이 특징은 추출될 수 있는 적합한 비필수적 정보를 확인하는 적합한 기준을 제공할 수 있다.

본 발명의 또 다른 특징에 따라서, 본 방법은 입력 신호에 연관된 인지모델에 응답하여 상기 비필수적 정보를 결정하는 단계를 더 포함한다. 이것은 비필수적 정보의 추출이 인코딩된 신호의 인지되는 품질에 원하는 영향을 가하게 하는데 적합하게 한다. 따라서, 일부 실시예들에서, 비필수적 정보는 재인코딩된 데이터의 사용에 의해서만 보수될 수 있는 원하는 높은 품질 저하(예를 들면 색 정보의 제거)를 달성하게 선택될 수 있다. 다른 예들에서, 비필수적 정보는 예를 들면 비트스트림에 워터마크를 임베딩할 때와 같은 낮은 인지(또는 인지불가의)의 품질 저하를 달성하게 선택될 수 있다.

본 발명의 또 다른 특징에 따라서, 본 방법은 사용자 데이터 요소에 재인코딩된 데이터의 존재의 표시를 상기 사용자 데이터 요소에 포함하는 단계를 더 포함한다. 이것은 사용자 데이터 요소 및 재인코딩된 데이터가 입수될 수 있는 감소된 비트스트림의 수신인들과 통신하는 간단한 용이한 구현 및 실현 방법을 제공한다.

본 발명의 또 다른 특징에 따라서, 방법은 상기 사용자 데이터 요소에 추가 데이터를 포함하는 단계를 더 포함한다. 이 특징은 추가 정보가 사용자 데이터 요소의 수신기들에 전달될 수 있게 한다. 추가 데이터는 입력 신호 또는 감소된 비트스트림에 관계된 것이지만 이것으로 한정되는 것은 아니며 예를 들면 사용자 가입정보, 버전 정보, 소스 정보 등에 관계될 수 있다. 그러므로, 다수의 추가 기능들, 인핸스먼트 및 서비스들이 가능할 수 있다. 재인코딩이 비트스트림 크기가 감소될 수 있게 하므로, 추가 데이터는 데이터의 증가된 량을 초래함이 없이 포함될 수도 있을 것이며 따라서 분배 요건은 증가하지 않을 수 있다.

본 발명의 또 다른 특징에 따라서, 상기 추가 데이터는 워터마크를 포함한다. 따라서, 본 발명은 비필수적 정보의 재인코딩이 바람직하게는 임베딩되는 추가 데이터를 보상하며 바람직하게는 원 비트스트림이 정밀하게 재생되게 할 수 있는 워터마크를 비트스트림에 임베딩하는 방법을 가능하게 한다. 따라서 품질 저하 또는 비트스트림 크기의 증가가 전혀 없이 비트스트림 워터마크 임베딩이 제공될 수 있다.

본 발명의 또 다른 특징에 따라서, 청구된 방법은 추가적 데이터의 적어도 일부를 암호화하는 단계를 더 포함한다. 이러한 특징은 추가적 데이터에 대한 액세스를 제한할 수 있으며, 그와 연관된 특징들 및 기능이 제어 및 제한되도록 한다.

본 발명의 또 다른 특징에 따라서, 추가 데이터는 취소 데이터; 디지털 권한 관리정보 데이터; 및 체크섬 데이터로 구성된 그룹에서 선택된 데이터를 포함한다. 이들 데이터 요소들은 인코딩된 신호들의 분배 및 관리에 있어 특히 이점이 있고 특히 인터넷과 같은 대형 네트워크들에서 콘텐츠 신호들에 대한 분배 및 액세스 제어를 위한 적합한 서비스들을 가능하게 하거나 용이하게 하는 서비스들을 가능하게 한다.

본 발명의 또 다른 특징에 따라서, 상기 비필수적 정보를 재인코딩하는 단계는 암호화를 포함한다. 이것은 재인코딩된 데이터에의 액세스가 제약되게 함으로써 콘텐츠 아이템들에의 액세스의 관리에 실질적으로 향상된 융통성 및 성능을 가능하게 한다. 예를 들면, 감소된 비트스트림 및 사용자 데이터 요소를 포함하는 단일 비트스트림은 자유로 분배될 수 있다. 모든 수신기들은 감소된 비트스트림에 기초해서만(프리뷰) 감소된 품질로 인코딩된 콘텐츠 아이템을 표시할 수 있다. 그러나, 완전한 품질 표현은 재인코딩된 데이터에의 액세스 권한을 갖는 수신기들로 한정된다. 구체적으로, 비필수적 정보의 재인코딩은 입력 비트스트림으로서 추출된 비필수적 데이터 값들을 암호화하는 것을 포함하거 이들로 구성될 수 있다. 따라서, 이들 데이터 값들은 적합한 암호 해독 키(들)을 갖는 유닛들에 의해서 감소된 비트스트림에만 재삽입될 수 있다. 따라서, 콘텐츠에의 액세스는 간단히 암호 해독 키들의 안전한 분배에 의해 제어될 수 있다.

바람직하게 입력 비트스트림은 입력 신호의 MPEG 인코딩된 비트스트림이다. MPEG 인코딩 표준은 구체적으로는 비디오 입력 신호 및/또는 오디오 입력 신호용이다.

본 발명의 또 다른 특징에 따라서, 비필수적 정보는 고주파 변환 계수들에 대응한다. 전형적으로, MPEG 인코딩의 DCT의 고주파 계수들은 저주파 계수들보다 낮은 인지적 정보를 포함한다. 그러므로, 비필수적 정보의 추출에 연관된 품질 저하가 감소될 수 있다.

본 발명의 또 다른 특징에 따라서, 상기 추출단계는 상기 비트스트림의 런-레벨 쌍들을 추출하는 단계를 포함한다. 이것은 적합하고 간단하고 고성능의 구현을 제공한다.

본 발명의 또 다른 특징에 따라서, 런-레벨 쌍들의 적어도 일부는 블록 끝 표시 바로 전의 런-레벨 쌍들이다. 이것은 특히 적합하고 용이한 구현을 가능하게 한다.

본 발명의 또 다른 특징에 따라서, 비필수적 쌍들을 재인코딩하는 단계는 MPEG에 대해 명시된 것과는 다른 런 렌스 값 대 데이터 워드 연관을 사용하여 런-레벨 쌍들을 재인코딩하는 단계를 포함한다. 구체적으로, 특히 추출되는 런 렝스 쌍들의 특징들에 특히 적합한 런 렝스 값 대 데이터 워드 연관이 사용될 수도 있다. 따라서 이들 런 렝스 쌍들의 보다 효율적인 인코딩이 달성되어 전제 데이터가 감소되게 할 수 있다.

본 발명의 또 다른 특징에 따라서, 감소된 비트스트림 입력 비트스트림은 둘 다 동일 인코딩 표준에 따른 것이다. 예를 들면, 입력 비트스트림과 감소된 비트스트림 둘 다는 MPEG 인코딩된 비트스트림들일 수 있다. 바람직하게, 비필수 정보는 감소된 품질에도 불구하고 나머지 비트스트림이 여전히 유효 MPEG 인코딩된 비트스트림이도록 데이터 값들을 제거함으로써 MPEG 인코딩된 비트스트림으로부터 추출된다.

바람직하게, 재인코딩된 데이터와 감소된 비트스트림의 결합 데이터 레이트는 입력 비트스트림의 데이터 레이트 이하이다.

본 발명의 제 2 특징에 따라서, 상기 입력 신호에 대한 감소된 비트스트림을 포함하는 입력 비트스트림을 수신하는 단계; 상기 입력 신호와 연관된 인코딩된 데이터를 포함하는 사용자 데이터 요소를 수신하는 단계; 상기 사용자 데이터 요소로부터 상기 인코딩된 데이터를 추출하는 단계; 상기 감소된 비트스트림 내 상기 입력 신호의 인코딩과 호환되는 인핸스먼트 데이터를 생성하기 위해서 상기 인코딩된 데이터를 재인코딩하는 단계; 및 상기 감소된 비트스트림과 상기 인핸스먼트 데이터를 결합함으로써 출력 비트스트림을 생성하는 단계를 포함하는, 입력 신호에 대한 입력 비트스트림을 디코딩하는 방법이 제공된다.

본 발명의 제 3 특징에 따라서, 상기 입력 비트스트림을 수신하는 수단; 감소된 비트스트림을 생성하기 위해 상기 입력 비트스트림으로부터 비필수적 정보를 추출하는 수단; 상기 비트스트림 내 상기 비필수적 정보에 대해 사용된 규칙과 상이한 인코딩 규칙에 따라 재인코딩된 데이터를 생성하기 위해 상기 비필수적 정보를 재인코딩하는 수단; 및 상기 재인코딩된 데이터를 상기 감소된 비트스트림과 연관된 사용자 데이터 요소에 포함시키는 수단을 포함하는, 입력 신호의 입력 비트스트림을 인코딩하는 장치가 제공된다.

본 발명의 제 4 특징에 따라서, 입력 신호에 대한 감소된 비트스트림을 포함하는 입력 비트스트림을 수신하는 수단; 상기 입력 신호에 대한 인코딩된 데이터를 포함하는 사용자 데이터 요소를 수신하는 수단; 상기 사용자 데이터 요소로부터 상기 인코딩된 데이터를 추출하는 수단; 상기 감소된 비트스트림 내 상기 입력 신호의 인코딩과 호환되는 인핸스먼트 데이터를 생성하기 위해서 상기 인코딩된 데이터를 재인코딩하는 수단; 및 상기 감소된 비트스트림과 상기 인핸스먼트 데이터를 결합함으로써 출력 비트스트림을 생성하는 수단을 포함하는, 입력 신호에 대한 입력 비트스트림을 디코딩하는 장치가 제공된다.

본 발명의 제5 특징에 따라서, 콘텐츠 신호의 인코딩에 대응하는 감소된 미트스트림 부분 및 상기 감소된 비트스트림 부분의 인코딩 포맷과는 다른 포맷으로 인코딩된 상기 입력 신호에 대해 인코딩된 데이터를 포함하는 사용자 데이터 부분을 포함하는, 비트스트림이 제공된다.

본 발명의 이들 및 다른 면들, 특징들 및 이점들은 이하 기술되는 실시예(들)로부터 명백할 것이며 이들을 참조로 기술한다.

본 발명의 실시예를 도면을 참조하여, 단지 예에 의해서만 기술한다.

도 1은 본 발명의 실시예에 따른 비트스트림 분배 시스템의 블록도.

도 2는 MPEG-2 인코딩 표준에 따른 런-레벨 쌍들의 가변 길이 코딩을 위한 테이블의 예.

도 3은 본 발명의 실시예에 따른 런-레벨 쌍들의 인코딩을 위한 테이블.

다음 설명은 비디오 콘텐츠 신호들의 MPEG-2 인코딩된 비트스트림에 적용할 수 있는 본 발명의 실시예에 중점을 두나 본 발명은 이 적용에 한정되는 것은 아니고 많은 다른 인코딩된 비트스트림들 및 신호들에 적용될 수 있음을 알 것이다.

도 1은 본 발명의 실시예에 따라 비트스트림 분배 시스템(100)의 블록도이다.

비트스트림 분배 시스템(100)은 비트스트림 소스(103)에 결합된 재인코더를 포함한다. 비트스트림 소스(103)는 콘텐츠 신호를 인코딩함으로써 비트스트림을 생성하고, 구체적으로 본 실시예에서, 비트스트림(103)은 콘텐츠 비디오 신호를 인코딩함으로써 MPEG-2 인코딩된 비트스트림을 생성한다. 비트스트림 소스(103)는 인코딩된 비트스트림을 재인코더(101)에 공급한다. 다른 실시예들에서, 비트스트림 소스(103)는 재인코더 내 포함될 수도 있음을 알 것이다. 또한, 비트스트림 소스(103)는 인코딩된 비트스트림을 재인코더에 공급하기 위한 임의의 적합한 수단일 수 있고 자체에 인코딩 자체를 수행하기 기능을 포함할 필요는 없음을 알 것이다. 예를 들면, 비트스트림 소스(103)는 복수의 외부 소스들에 결합된 네트워크일 수 있다.

재인코더(101)는 재인코더(101)에서 다른 네트워크 요소들에 출력 비트스트림을 분배할 수도 있는 네트워크(105)에 결합된다. 구체적으로, 네트워크(105)는 인터넷일 수 있다. 비트스트림 소스(103)는 네트워크(105)의 일부일 수 있음을 알 것이다.

비트스트림 분배 시스템(100)은 네트워크(105)에 또한 결합되는 디코더(107)를 더 포함한다. 따라서, 재인코더(101)의 출력 비트스트림은 네트워크에 의해 디코더(107)에 분배될 수 있다. 디코더(107)는 수신된 비트스트림을 디코딩하여 사용자에게 적합한 디스플레이(도시생략)에 표시될 수 있는 비디오 신호를 생성한다. 부가적으로 또는 대안적으로, 디코더는 수신된 비트스트림을 디코딩하여 수정된 비트스트림을 생성할 수도 있다.

재인코더(101)는 비트스트림 소스(103)로부터 입력 비트스트림을 수신하는 수신기(109)를 포함한다. 구체적으로 수신기(109)는 네트워크 인터페이스일 수 있다.

수신기(109)는 비트스트림으로부터 비필수적 정보를 추출하게 동작하는 추출 프로세서(111)에 결합된다. 구체적으로, 추출 프로세서(111)는 인코딩 정보의 제거에 기인하여 감소된 품질을 갖는 감소된 비트스트림이 생성되게 비트스트림에서 인코딩 정보를 제거할 수 있다. 비필수적 정보를 결정하여 추출하기 위한 임의의 적합한 방법, 기준 또는 알고리즘이 사용될 수 있음을 알 것이다. 비필수적 모든 정보가 제거되는 것이 아니라 특정 애플리케이션에 원하는 효과를 달성하기 위해 필요한 정보만 제거되는 것이 바람직하다는 것을 알 것이다.

기술된 실시예에서, 비필수적 정보는 입력된 비트스트림에서 특정의 비필수적 데이터를 제거함으로써 추출되고 특히 저하된 품질에도 불구하고 여전히 결과적 인 감소된 비트스트림이 원 신호의 유효 MPEG 인코딩된 비트스트림이 되도록 데이터가 제거된다. 그러므로, 본 실시예에서 비필수적 정보는 제거될 수도 있으면서도 여전히 결과적인 감소된 비트스트림이 원 신호의 유효 인코딩된 표현이 되게 할 수 있는 정보인 것으로 간주된다. 특정의 실시예에서, 비필수적 데이터를 제거함으로써 얻어진 감소된 비트스트림은 여전히, 표준 MPEG-2 디코더들에 의해 디코딩될 수 있는 유효 MPEG-2 인코딩된 비트스트림이다.

추출 프로세서(111)는 재인코더 프로세서(113)에 결합되고 이 프로세서는 추출 프로세서(111)로부터 추출된 비필수적 정보를 수신하고 이 비필수적 정보를 다시 인코딩하여 재-인코딩된 데이터를 생성하게 동작한다. 비필수적 정보를 재인코딩하는데 사용되는 인코딩 규칙들은 입력된 비트스트림에서 이 정보의 인코딩에 사용되었던 인코딩 규칙들과는 다르다. 구체적으로, 본 실시예에서, 재인코딩은 MPEG-2와는 호환되지 않을 수 있다.

따라서, 재인코드 프로세서(113)에서 비필수적 정보의 재인코딩은 인코딩 표준으로 한정되지 않고 비필수적 정보의 특정의 특징들에 대해 최적화될 뿐만 아니라 특정의 애플리케이션의 요망 및 요건을 특정하게 충족하게 선택될 수 있다. 예를 들면, 비필수적 정보는 통상적으로 입력 비트스트림의 나머지 부분과는 다른 특징들을 갖게 선택될 것이다. 예를 들면, 비필수적 정보는 비교적 낮은 데이터 값들을 갖는 경향이 있다. 따라서, 재인코딩은 낮은 데이터 값들의 인코딩에 최적화될 수 있고, 이로써 인코딩은 보다 효율적이게 된다. 이것은 비필수적 정보를 표현하는데 필요한 비트들의 수를 감소시킬 수 있게 한다. 특정의 실시예에서, 비필수적 정보의 재인코딩은 유실이 없다. 즉 비필수적 정보는 재인코딩된 데이터로부터 정확하게 재생성될 수 있다.

재인코더(101)는 추출 프로세서(111) 및 재인코드 프로세서(113)에 결합되는 결합 프로세서(115)를 더 포함한다. 결합 프로세서(115)는 추출 프로세서(111)로부터는 감소된 비트스트림과 재인코드 프로세서(113)로부터는 재인코딩된 데이터를 수신한다. 본 실시예에서, 결합 프로세서(115)는 감소된 비트스트림과 연관된 사용자 데이터 요소에 재인코딩된 데이터를 포함하게 동작한다. 결합 프로세서(115)는 네트워크(105)에 결합되어 다른 네트워크들에 사용자 데이터 요소와 감소된 비트스트림을 분배한다.

사용자 데이터 요소와 감소된 비트스트림의 분배는 이들이 함께 분배되는 결합된 분배일 수 있거나, 예를 들면 감소된 비트스트림은 자유로이 분배되고 사용자 데이터 요소는 선택된 네트워크 요소들 또는 사용자들에게만 분배되는 개별 분배일 수 있다.

특정의 기술된 실시예에서, 감소된 비트스트림 및 사용자 데이터 요소를 결합하여 단일의 비트스트림을 생성한다. 구체적으로, 재인코딩된 데이터는 MPEG-2 인코딩된 감소된 비트스트림의 사용자 데이터 부분 내에 포함된다. 따라서, 사용자 데이터 요소는 감소된 비트스트림의 사용자 데이터 부분일 수 있다.

비필수적 정보의 추출 및 재인코딩은 비필수적 정보의 재인코딩이 비필수적 정보의 특징들 및 특정의 애플리케이션에 대해 최적화될 수 있기 때문에 적응성이 증대되게 함을 알 것이다. 이 재인코딩은 입력 비트스트림의 인코딩 표준에 부합해 야 하는 것으로 한정되는 것은 아니다. 예를 들면, 재인코딩은 보다 효율적인 압축이 되게 하고 결합된 비트스트림 크기가 감소되도록 최적화될 수 있다. 동시에, 결합된 비트스트림은 표준에 따라 인코딩된 본 기술된 실시예 내에 있고 MPEG-2 디코딩은 감소된 비트스트림에 기초하여 표준 MPEG-2 디코더에 의해 수행될 수 있다. 따라서, 표준 디코더는 여전히, 비필수적 정보의 추출에 기인해서 품질이 감소하여 있어도 유효한 시각적 신호를 여전히 생성할 수 있다.

또한, 재인코딩된 데이터는 이 데이터를 사용하게 동작하는 디코더로 하여금 감소된 비트스트림의 신호의 품질을 향상시키게 한다. 도 1은 이를 달성할 수 있는 디코더(107)의 원리를 도시한 것이다.

본 실시예에서, 디코더(107)는 네트워크(105)를 통해 재인코더(101)로부터 결합된 비트스트림을 수신한다. 따라서, 디코더(107)는 결합된 비스트림을 수신하고 감소된 비트스트림 및 더 인코딩된 데이터를 포함하는 사용자 데이터 요소 둘 다를 수신하게 동작하는 디코더 수신기(117)를 포함한다. 다른 실시예들에서, 감소된 비트스트림 및 사용자 데이터 요소는 개별적으로 분배되어 수신될 수 있음을 알 것이다.

디코더 수신기(117)는 수신된 사용자 데이터 요소가 공급되는 사용자 데이터 요소 프로세서(119)에 결합된다. 사용자 데이터 요소 프로세서(119)는 사용자 데이터 요소로부터 인코딩된 데이터를 추출한다. 임의의 실시예들에서, 사용자 데이터 요소 프로세서(119)는 디코더 수신기(117)의 일부일 수도 있고 구체적으로는 결합된 스트림으로부터 사용자 데이터 요소 및 감소된 비트스트림을 추출할 수 있음을 알 것이다. 구체적으로, 사용자 데이터 요소 프로세서(119)는 수신된 MPEG-2에 준한 비트스트림을 처리하여 모든 사용자 데이터 부분들의 데이터를 추출할 수도 있다.

사용자 데이터 요소 프로세서(119)는, 인코딩된 데이터를 다시 인코딩하여 감소된 비트스트림으로 입력 신호의 인코딩에 호환된 인핸스먼트 데이터를 생성하는 재인코딩 유닛(121)에 결합된다. 본 실시예에서 재인코딩 유닛(121)은 구체적으로는 인코딩된 데이터로부터 재인코더에 의해 추출된 비필수적 정보를 재생한다. 따라서, 이 실시예에서 인핸스먼트 데이터는 감소된 비트스트림에서 제거된 비필수적 정보에 해당한다. 재인코더 내의 재인코드 프로세서(113)의 재인코딩에서 유실이 없는 본 실시예에서, 인핸스먼트 데이터는 원 비필수적 정보에 정확하게 대응할 수 있다.

디코더(107)는 디코더 수신기(117) 및 재인코딩 유닛(121)에 결합되는 비트스트림 생성기(123)를 더 포함한다. 비트스트림 생성기(123)는 감소된 비트스트림과 인핸스먼트 데이터를 결합함으로써 출력 비트스트림을 생성하게 동작한다. 구체적으로, 추출 프로세서(111)가 단순히 입력 비트스트림에서 데이터값들을 제거하는 본 실시예에서, 비트스트림 생성기(123)는 인핸스먼트 데이터를 감소된 비트스트림의 적절한 위치들에 삽입하여 비트스트림 소스(103)의 원 비트스트림에 대응하는 출력 비트스트림을 생성함으로써 출력 비트스트림을 생성할 수 있다. 처리오류 및 통신 오류가 없으면, 원 비트스트림은 디코더(107)에서 정확하게 생성될 수 있음을 알 것이다.

따라서, 디코더(107)는 수정된 비트스트림을 생성할 수 있다. 어떤 실시예들에서 디코더는 또한, 인코딩된 비디오 신호를 재생성하여 이를 사용자에게 제공할 수도 있다.

따라서, 도 1의 비트스트림 분배 시스템(100)은 입력 비트스트림이 보다 유연하고 효율적으로 인코딩될 수 있는 시스템을 제공할 수 있다. 구체적으로, 이것은 비트스트림 크기를 감소시킬 수 있고/있거나 추가의 데이터를 비트스트림에 포함되게 할 수 있게 한다. 또한 시스템은 야기된 품질 저하가 적합한 디코더에서 보상될 수 있게 하는데 구체적으로는 무손실 인코딩이 재인코더에서 사용된다면, 원 비트스트림은 정확하게 재생성될 수 있다.

또한, 시스템은 유연하고 등급에 의한 콘텐츠 분배를 제공할 수 있는데 이 경우 비트스트림은 표준 디코더들에서는 소정의 품질 레벨로 디코딩되고 사용자 데이터 요소의 재인코딩된 데이터에 액세스할 수 있고 이를 처리하는 기능을 구비한 디코더들에선 보다 높은 품질 레벨로 디코딩될 수 있다. 따라서, 시스템은 콘텐츠 신호들을 관리하고 이들에의 액세스를 제어하는 증가된 융통성 및 기능을 제공할 수 있다.

MPEG-2 비트스트림에 워터마크를 가역적으로 임베딩하는 것에 관한 특정의 실시예를 도 1의 비트스트림 분배 시스템(100)을 참조하여 상세히 기술한다.

독립적으로 압축되는 프레임인 소위 인트라프레임(intraframe)에서 DCT(이산 코사인 변환) 계수들의 인코딩을 참조하여 실시예를 기술한다.

인트라프레임의 압축은 8x8 화소 블록들로의 프레임의 세그먼트화를 포함한 다. 8x8 블록들에 2차원 DCT 변환이 수행됨으로써 8x8 블록들의 DCT 계수들로 된다. DCT 계수들은 입력 블록의 수평 및 수직 공간 주파수들에 관한 정보를 포함한다. 제로 수평 및 제로 수직 주파수에 대응하는 계수는 DC 계수라고 한다. 통상적으로, 자연 이미지들에 있어서, 이들 계수들의 분포는 균일하지 않고 변환은 에너지를 저주파 계수들에 집중시키는 경향이 있다.

DCT 계수들은 선택된 양자화 레벨들을 사용하여 양자화된다. 각 계수에 적용되는 양자화 정도는 지각적 왜곡(perceptual distortion)의 영향에 의해 정해진다. 실제로, 이것은 고주파 계수들은 저주파 계수들보다는 조야하게 양자화됨을 의미한다. 선택된 양자화 레벨들의 정보는 MPEG 비트스트림에 인코딩된다.

이어서 DCT 계수들은 1차원 시퀀스로 정렬되는데, 즉 DCT 계수들의 2차원 8x8 블록은 64계수들의 1차원 어레이에 매핑된다. 구체적으로, MPEG에 있어 매핑은 8x8 블록의 DCT 계수들을 통하는 지그재그 경로에 대응한다. 따라서, 1차원 어레이는 일반적으로 2차원 공간 주파수들의 순서로 배열된 주파수들을 갖는다. 양자화된 DCT 계수들의 매핑은 에너지가 저주파 계수들로 클러스터링되는 것을 활용한다.

이어서 1차원 어레이의 DCT 계수들은 가변 길이 코드(Variable-Length Code; VLC)를 사용하여 엔트로피 코딩된다. 이 단계에서, 실제적 압축이 행해진다. VLC는 VLC 런-레벨 쌍들을 특정 비트 시퀀스들로 변환하기 위한 고정된 테이블을 사용한다. MPEG에 사용되는 테이블의 예를 도 2에 도시하였다. 따라서, 각 VLC 코드 워드는 특정 레벨의 제로가 아닌 계수가 동반된 제로들의 런(즉, 제로가 아닌 DCT 계수 앞의 제로 값의 DCT 계수들의 수)를 나타낸다. VCL 코딩은 제로들의 짧은 런들이 긴 것들보다 많고 작은 계수들이 큰 것들보다 많음을 안다. 이것은 발생한 다양한 VLC코드들에 상이한 길이들의 코드 워드들을 할당한다.

가변길이 코딩 프로세스를 보다 상세히 예시하기 위해서, 다음과 같은 DCR 계수열을 고찰한다.

-7,6,5,0,0,0,-2,-1,0,1,0,...,0.

VLC코딩 방법에 이어, 이 열은 다음의 런-레벨 쌍들에 매핑된다.

(0,-7),(0,6),(0,5),(3,-2),(0,-1),(1,1),EOB

이 표기에서, 쌍의 첫 번째 숫자는 두 번째 숫자의 값 앞의 제로들의 수를 나타낸다. 제로들의 마지막 런은 블록의 끝(EOB) 마커로 교체된다. 도 2의 표를 사용하여, 런-레벨 쌍들은 비트 스트림으로 변환된다. 특정의 예에서 런-레벨들은 다음의 코드로 변환될 것이다.

0001001/0001010/111010/001001101/101/0100/0110/EOB.

이 특정의 실시예에서, 추출 프로세서(111)는 위에 기술된 인코딩된 MPEG 비트스트림을 수신할 것이다. 이것은 비필수적 정보를 추출할 수 있을 것이며 구체적으로는 인코딩된 비트스트림으로부터 데이터를 특정의 런-레벨 쌍들에 대한 코드 워드들의 형태로 제거할 것이다. 앞에서 언급한 바와 같이, 고주파 DCT 계수들은 낮은 크기를 가져 신호의 인지적 품질에 비교적 낮은 영향을 미치는 경향이 있다. 현 실시예에서, 고주파 변환 계수들은 수신된 비트스트림으로부터 제거되는데, 구체적으로는 블록의 끝 전의 마지막 런-레벨 쌍들에 대한 코드 워드들이 비트스트림으로부터 제거된다. 따라서, 위의 특정의 예에서 런-레벨 쌍 (1,1)에 대응하는 코 드 워드 0110이 비트스트림에서 제거된다. 따라서서, 원 비트스트림보다 고주파 정보를 덜 갖는 감소된 비트스트림이 생성된다. 그러나, 비트스트림은 감소된 크기를 가지며 품질 저하는 비교적 적을 것이다.

임의의 적합한 런-레벨 쌍이든 스트림이 아직 유효한 MPEG 스트림이라면 제거될 수도 있을 것임에 유의한다. 그러나, 고주파들에 대응하는 계수들은 이것이 최소의 인지적 왜곡을 야기하므로 바람직하다.

제거된 런-레벨 쌍들(이 예에서는 런-레벨 쌍 (1,1))은 재인코드 프로세서(113)에 공급되고 여기서 이들은 도 2의 MPEG-2 표준 VLC와는 다른 인코딩 방식을 사용하여 재인코딩된다.

구체적으로, 재인코딩은 MPEG-2에서 사용되는 것과는 다른 런-레벨 쌍과 코드 워드와의 연관에 기초하여 VLC를 사용할 수도 있다. 예를 들면, 고주파들에 대응하는 계수들의 특징들 및 통계들은 모든 계수들에 연관된 특징들 및 통계들과는 다르다. 예를 들면, 다양한 비디오열들에 대해서 8x8 블록 내 마지막 런-레벨 쌍들의 실험적 평가는 이들 중 약 90% 런-레벨 쌍들이 1의 레벨을 가지며 0과 13사이의 런을 갖음을 보여주었다. 따라서, 이를 고려하면, 런-레벨들과 코드 워드들 간의 보다 효율적인 연관이 생성될 수 있다. 도 3은 제거된 런-레벨 쌍들을 재인코딩하는데 적합할 수 있는 런-레벨 쌍들의 인코딩을 위한 테이블을 도시한 것이다. 도 2와 도 3과의 비교는 다수의 빈번하게 발생하는 런-레벨 쌍들이 현저히 적은 수의 비트들로 표현될 수 있음을 보이고 있다. 구체적으로, 도 3의 모든 런-레벨 쌍들은 4비트로 표현되고 도 2의 동일 런-레벨 쌍들은 최대 8비트의 코드 워드들로 인코딩 된다. 그러므로, 재인코드 프로세서(113)로부터의 재인코딩된 데이터와 함께 감소된 비트스트림은 통상적으로 원 비트스트림의 것보다 작은 전체 크기를 가질 것이다. 또한, 어떠한 정보도 유실되지 않았으며 적합한 디코더가 원 비트스트림을 정확하게 재생할 수 있다.

재인코딩에 대한 다른 방식들이 사용될 수 있음을 알 것이다. 예를 들면, VLC 변환에 대해 고정된 테이블을 사용하는 대신에, 이미지(들)의 통계들에 기초하여 적응형 테이블이 사용될 수 있다.

특정의 실시예에서, 재인코딩된 런-레벨 쌍들은 결합 프로세서(115)에 의해, 감소된 비트스트림에 재 삽입된다. 구체적으로, 재인코딩된 런-레벨 쌍들은 MPEG-2 비트스트림의 사용자 데이터 부분에 삽입된다. 따라서, 종래의 디코더는 재인코딩된 런-레벨 쌍들을 무시하고 감소된 비트스트림에 기초하여 신호를 디코딩할 것이다. 따라서, 감소된 품질에 있을지라도 신호는 여전히 생성될 수 있다. 그러나, 향상된 디코더는 사용자 데이터 부분에서 재인코딩된 코드 워드들을 추출하게 동작할 수도 있다. 이어서, 디코더는 재인코딩된 코드 워드들로부터 런-레벨 쌍들을 재생할 수 있고 결국 MPEG-2 표준에 따라(즉, 도 2의 표를 사용하여) 이들을 재인코딩한다. 결과로 나온 런-레벨 쌍 코드 워드들은 추출 프로세서(111)에 의해 제거된 것들과 동일하고 감소된 비트스트림에 삽입되어 원 비트스트림을 재생할 수 있다. 따라서, 품질의 손실없이 비트스트림 크기 감소가 달성될 수 있다.

또한, 재인코더(101)는 사용자 데이터 부분에 다른 데이터를 포함하게 동작할 수도 있다. 구체적으로, 재인코더는 사용자 데이터 부분에 워터마크를 삽입할 수 있다. 따라서, 워터마크가 비트스트림에 임베딩될 수 있는 가역 비트스트림 워터마킹 시스템이 제공된다. 표준 디코더에서, 워터마크 임베딩에 따라 약간의 품질 저하가 나타나나 본 기술된 방식과 호환되는 디코더에 있어서는 워터마크가 검출될 수 있고 원 비트스트림은 정밀하게 재생성될 수 있다. 또한, 이것은 비트스트림의 크기의 어떠한 증가도 없이 달성될 수 있다.

비필수적 정보의 추출에 있어서는 입력 비트스트림의 특정의 데이터가 반드시 제거될 것을 필요로 하지 않는 것에 유의한다. 그보다는, 예를 들면, 비필수적 정보는 사용된 인코딩 파라미터들의 수정을 통해 데이터값들을 수정함으로써 추출될 수 있다. 예를 들면, 일부 또는 모든 계수들의 양자화 레벨은 변경될 수 있다. 이것은 조악한 양자화를 초래할 수 있고 따라서 비필수적 정보가 유실될 수 있어 따라서 감소된 비트스트림이 될 수 있다. 보다 미세한 양자화 레벨들에 관계된 정보가 인코딩되어 디코더에 의한 사용을 위해서 사용자 데이터 요소에 저장될 수 있다.

일부 실시예들에서, 사용자 데이터 요소는 사용자 데이터 요소 내 재인코딩된 데이터의 존재의 표시를 더 포함할 수 있다. 예를 들면, 재인코딩된 데이터가 포함되어 있음을 나타내기 위해 간단한 플래그가 설정될 수 있다. 따라서, 디코더는 사용자 데이터 부분에 이 플래가 있는지에 대해 모든 입력되는 비트스트림들을 체크할 수도 있다. 플래그가 검출되지 않는다면 표준 디코딩으로 진행하고 플래그가 검출되면, 인핸스먼트 데이터를 생성하여 이를 비트스트림과 함께 포함하는 것으로 진행한다.

비필수적 정보를 결정하여 선택하는 임의의 적합한 방법이 사용될 수 있음을 알 것이다. 예를 들면, 비필수적 정보는 입력 신호에 연관된 지각 모델에 응답하여 결정될 수 있다. 따라서, 제거될 비필수적 정보는 구체적으로는 비트스트림의 인지가능한 품질에 원하는 영향을 달성하게 선택될 수도 있다.

비필수적 정보를 재인코딩하기 위한 임의의 적합한 방법 또는 규칙이 사용될 수도 있음을 알 것이다. 예를 들면, 재인코딩은 유실이 없어 원 비트스트림을 정밀하고 정확하게 재생하게 할 수도 있다. 그러나, 재인코딩은 정보가 유실되는 유실성 재인코딩일 수도 있다. 이것은 매우 효율적인 인코딩을 제공할 수 있고 비트스트림의 크기의 감축이 증대되게 할 수 있다.

또한, 본 기술된 단계들은 적합할시 반복될 수 있음을 알 것이다. 예를 들면, 블록 끝 표시자들 전의 마지막 런-레벨 쌍들의 제거 및 재인코딩에 이어, 감소된 비트스트림에 동일 프로세스가 적용됨으로써, 감소된 비트스트림 내 블록 끝 표시자들 전의 마지막 런-레벨 쌍들을 추출하여 재인코딩할 수 있다.

일부 실시예들에서, 비필수적 정보의 재인코딩은 비필수적 정보를 나타내는 데이터의 암호화를 포함하거나 이것으로 구성될 수 있다. 따라서, 사용자 데이터 요소에 포함된 재인코딩된 데이터는 암호화되어 암호 해독 키에 액세스할 수 있는 사용자들 또는 디코더들만이 액세스할 수 있다. 이들 실시예들에서, 비필수적 정보는 추출되어 비트스트림의 품질을 소정의 품질 레벨로 떨어뜨릴 수 있다. 예를 들면, 추출 프로세서(111)는 비트스트림에서 모든 컬러 정보를 추출하여, 감소된 비트스트림이 흑백 신호만을 포함하게 하도록 동작할 수 있다. 컬러 정보는 암호화되 어, 감소된 비트스트림의 사용자 데이터 부분에 포함될 수 있다. 따라서, 재인코더(101)로부터 비트스트림을 수신하는 디코더는 흑백 신호를 생성할 수 있다. 그러나, 풀 컬러 신호는 디코더가 사용자 데이터 요소의 데이터를 이용하는 기능을 포함하고 필요로 되는 암호 해독 키를 갖고 있을 경우에만 생성될 수 있다.

이것은 콘텐츠 아이템에 대한 등급적 및 정교한 분배 및 액세스 제어를 할 수 있게 하여준다. 예를 들면, 감소된 비트스트림 및 암호화된 재인코딩된 데이터를 포함하는 비트스트림은 예를 들면 인터넷에 자유로이 분배될 수 있다. 이것은 콘텐츠 아이템의 감소된 품질 프리뷰를 가능하게 할 것이다. 주어진 사용자는 지불의 대가로 적합한 암호화 키를 얻기 위해 콘텐츠 제공자에 접촉할 수 있다. 따라서, 콘텐츠에의 액세스는 콘텐츠 아이템 자체의 분배를 제어함에 의해서가 아니라 암호화 키들의 암호화 및 분배에 의해 제어될 수 있다.

임의의 적합한 암호화 및 해독 알고리즘이 사용될 수 있음을 알 것이다. 임의의 적합한 암호 해독 키 분배, 제어 또는 관리 프로세스도 적용될 수 있음을 또한 알 것이다.

이들 실시예들에서 암호화 및 데이터 압축 둘 다를 포함하는 것이 바람직하나 반드시는 아님을 알 것이다. 이것은 구체적으로는 결합된 프리뷰/완전한 품질의 콘텐츠 아이템이 증가된 비트스트림 크기 없이 생성될 수 있게 한다.

일부 실시예들에서, 사용자 데이터 부분에 포함된 추가 데이터 및 재인코딩된 데이터 둘 다가 암호화된다. 따라서, 적합한 암호 해독 키를 갖는 호환적 디바이스만이 추가 데이터에 액세스할 수 있다. 추가 데이터는 구체적으로는 다음 중 하나 이상을 포함할 수 있다.

- 취소 정보. 취소 정보는 콘텐츠가 비교적 쉽게 복제될 수 있게 특정 비밀들(예를 들면 디바이스 암호화 키들)이 누설된 디바이스들을 스위치 오프 하는데 사용될 수 있다. 디바이스가 취소되었을 때는 특정 호환적 콘텐츠를 더 이상 표시할 수 없다.

- 디지털 권한 관리 정보. 이것은 디지털 콘텐츠에 관계된 동작들을 수행하는 권한들에 관계된 정보에 관계된 것이다. 권한의 예들은 "1회만 플레이', "1회만 복제', '복제 불가' 등이다.

- 강건한 체크섬. 이것은 신호 변환의 정확한 동작을 검증하는데 사용될 수 있는 데이터에 관계된 것이다.

포함될 수 있는 추가 데이터의 다른 예들은 오디오 인핸스먼트 데이터, 오디오 인코딩 정보(예를 들면 OSC 스테레오 데이터를 위한 최적 코딩), 비디오 인핸스먼트 데이터, 2D에서 3D 비디오로의 변환을 지원하는 데이터, 등을 포함한다.

실시예들은 역으로 호환되는 재인코더(즉, 리거시 디바이스는 예를 들면 워터마크된 또는 암호화된 스트림들의 재생에 사용할 수 있다)로부터 비트스트림의 이점을 제공할 수 있다. 또한, 사용자 데이터 요소 내 정보는 암호면에서 안전하게 할 수 있다. 이 데이터를 제거하는 것이 비교적 쉬울지라도, 저하된 품질 대가가 항상 있게 될 것이다. 이러한 품질 저하의 양은 특정 애플리케이션들의 제작자 또는 콘텐츠 제공자에 의해 조정될 수 있다. 즉 신호의 품질은 스케일링할 수 있다. 또한, 암호화는 비트스트림의 크기의 증가없이 달성될 수 있는 이점이 있다.

위에 설명된 바는 감소된 비트스트림에 사용자 데이터 요소를 포함시키는 것에 중점을 두었으나, 사용자 데이터 요소는 별도의 파일 또는 비트스트림으로 분배되는 것을 포함하여 임의의 적합한 방식으로 저장 및 분배될 수 있음을 알 것이다.

본 발명은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 어떤 조합을 포함하여 임의의 적합한 형태로 구현될 수 있다. 그러나, 바람직하게, 본 발명은 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들에서 동작하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현된다. 본 발명의 실시예의 요소들 및 성분들은 임의의 적합한 방식으로 물리적으로, 기능적으로 논리적으로 구현될 수 있다. 사실 기능은 단일 유닛으로 또는 복수의 유닛들로 또는 그외 다른 기능유닛들의 일부로서 구현될 수 있다. 따라서, 본 발명은 단일 유닛으로 구현되거나 상이한 유닛들과 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.

본 발명을 바람직한 실시예에 관련하여 기술하였으나, 여기 개시된 구체적인 형태로 국한되게 한 것은 아니다. 그보다는, 본 발명의 범위는 첨부한 청구항들에 의해서만 한정된다. 청구항들에서, '포함하다', 용어는 그 외 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 또한, 개별적으로 나열되었어도, 복수의 수단, 요소들 또는 방법의 단계들은 예를 들면 단일의 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개개의 특징들이 상이한 청구항들에 포함되어 있을지라도, 이들은 가능하게 이점이 있게 조합될 수도 있고, 상이한 청구항들 내 포함이, 특징들의 조합이 실현불가하고/하거나 이점이 없음을 의미하는 것은 아니다. 또한, 단수표시는 복수를 배제하는 것은 아니다. 따라서, 단수 표시, '제1', '제2' 등은 복수를 배제 하지 않는다.

Claims

입력 신호의 입력 비트스트림을 인코딩하는 방법으로서:

상기 입력 비트스트림을 수신하는 단계;

감소된 비트스트림을 생성하기 위해 상기 입력 비트스트림으로부터 비필수적 정보(non-essential information)를 추출하는 단계;

상기 비트스트림 내 상기 비필수적 정보에 대해 사용된 규칙과 상이한 인코딩 규칙에 따라 재인코딩된 데이터를 생성하기 위해 상기 비필수적 정보를 재인코딩하는 단계; 및

상기 재인코딩된 데이터를 상기 감소된 비트스트림과 연관된 사용자 데이터 요소에 포함시키는 단계를 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 사용자 데이터 요소는 상기 감소된 비트스트림의 사용자 데이터 부분인, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 사용자 데이터 요소는 별도의 비트스트림에 포함되는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 비필수적 정보를 추출하는 단계는 상기 입력 비트스트림으로부터 상기 비필수적 정보에 대응하는 비필수적 데이터를 제거하는 단계를 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 비필수적 정보를 추출하는 단계는 상기 감소된 비트스트림의 양자화 레벨들(quantisation levels)을 수정하는 단계를 포함하는, 입력 비트스트림 인코딩 방법.
제 3 항에 있어서, 상기 재인코딩 단계는 상기 비필수적 정보의 압축을 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 비필수적 정보는 상기 입력 신호와 연관된 하위 데이터 값들(less significant data values)에 대응하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 입력 신호와 연관된 지각 모델(perceptual model)에 응답하여 상기 비필수적 정보를 결정하는 단계를 더 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 사용자 데이터 요소 내에 재인코딩된 데이터의 존재의 표시를 상기 사용자 데이터 요소에 포함하는 단계를 더 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 사용자 데이터 요소에 추가 데이터를 포함하는 단계를 더 포함하는, 입력 비트스트림 인코딩 방법.
제 10 항에 있어서, 상기 추가 데이터는 워터마크(watermark)를 포함하는, 입력 비트스트림 인코딩 방법.
제 10 항에 있어서, 상기 추가 데이터의 적어도 일부를 암호화하는 단계를 더 포함하는, 입력 비트스트림 인코딩 방법.
제 10 항에 있어서,

상기 추가 데이터는:

a. 취소 데이터(revocation data);

b. 디지털 권한 관리 정보 데이터; 및

c. 체크섬 데이터(checksum data)로 구성된 그룹에서 선택된 데이터를 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 비필수적 정보를 재인코딩하는 단계는 암호화를 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 입력 비트스트림은 상기 입력 신호의 MPEG 인코딩된 비트스트림인, 입력 비트스트림 인코딩 방법.
제 15 항에 있어서, 상기 비필수적 정보는 고주파 변환 계수들(higher frequency transform coefficients)에 대응하는, 입력 비트스트림 인코딩 방법.
제 15 항에 있어서, 상기 추출 단계는 상기 비트스트림의 런-레벨 쌍들(run-level pairs)을 추출하는 단계를 포함하는, 입력 비트스트림 인코딩 방법.
제 17 항에 있어서, 상기 런-레벨 쌍들 중 적어도 일부는 블록 끝 표시 바로 전의 런-레벨 쌍들인, 입력 비트스트림 인코딩 방법.
제 17 항에 있어서, 상기 비필수적 쌍들을 재인코딩하는 단계는, MPEG에 대해 명시된 것과 상이한 런 렝스 값 대 데이터 워드 연관(run length value to data word association)을 사용하여 상기 런-레벨 쌍들을 재인코딩하는 단계를 포함하는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 감소된 비트스트림 및 상기 입력 비트스트림 모두는 동일한 인코딩 표준에 따르는, 입력 비트스트림 인코딩 방법.
제 1 항에 있어서, 상기 재인코딩된 데이터와 상기 감소된 비트스트림의 결합 데이터 레이트는 상기 입력 비트스트림의 데이터 레이트 이하인, 입력 비트스트림 인코딩 방법.
제 1 항에 따른 방법을 수행할 수 있게 하는 컴퓨터 프로그램.
제 22 항에 청구된 컴퓨터 프로그램을 포함하는 기록 캐리어.
입력 신호에 대한 입력 비트스트림을 디코딩하는 방법으로서:

상기 입력 신호에 대한 감소된 비트스트림을 포함하는 입력 비트스트림을 수신하는 단계;

상기 입력 신호와 연관된 인코딩된 데이터를 포함하는 사용자 데이터 요소를 수신하는 단계;

상기 사용자 데이터 요소로부터 상기 인코딩된 데이터를 추출하는 단계;

상기 감소된 비트스트림 내 상기 입력 신호의 인코딩에 호환되는 인핸스먼트 데이터를 생성하기 위해 상기 인코딩된 데이터를 재인코딩하는 단계; 및

상기 감소된 비트스트림과 상기 인핸스먼트 데이터를 결합함으로써 출력 비트스트림을 생성하는 단계를 포함하는, 입력 비트스트림 디코딩 방법.
제 24 항에 있어서, 상기 사용자 부분의 상기 인코딩된 데이터는 상기 감소 된 비트스트림의 인코딩 포맷과 호환되지 않는 포맷으로 인코딩되는, 입력 비트스트림 디코딩 방법.
제 24 항에 있어서, 상기 인코딩된 데이터는 암호화되고, 상기 재인코딩 단계는 상기 인코딩된 데이터를 암호 해독하는 단계를 포함하는, 입력 비트스트림 디코딩 방법.
제 24 항에 있어서, 상기 입력 비트스트림은 상기 입력 신호의 MPEG 인코딩을 포함하는, 입력 비트스트림 디코딩 방법.
제 24 항에 있어서, 상기 사용자 데이터 요소로부터 추가 데이터를 추출하는 단계를 더 포함하는, 입력 비트스트림 디코딩 방법.
제24항에 있어서, 상기 추가 데이터는 워터마크인, 입력 비트스트림 디코딩 방법.
제 24 항에 있어서, 상기 사용자 데이터 요소는 상기 입력 비트스트림의 사용자 데이터 부분인, 입력 비트스트림 디코딩 방법.
제 24 항에 따른 방법을 수행할 수 있게 하는 컴퓨터 프로그램.
제 28 항에 청구된 컴퓨터 프로그램을 포함하는 기록 캐리어.
입력 신호의 입력 비트스트림을 인코딩하는 장치(101)로서:

상기 입력 비트스트림을 수신하는 수단(109);

감소된 비트스트림을 생성하기 위해 상기 입력 비트스트림으로부터 비필수적 정보를 추출하는 수단(111);

상기 비트스트림 내 상기 비필수적 정보에 대해 사용된 규칙과 상이한 인코딩 규칙에 따라 재인코딩된 데이터를 생성하기 위해 상기 비필수적 정보를 재인코딩하는 수단(113); 및

상기 재인코딩된 데이터를 상기 감소된 비트스트림과 연관된 사용자 데이터 요소에 포함시키는 수단(115)을 포함하는, 입력 비트스트림 인코딩 장치(101).
입력 신호에 대한 입력 비트스트림을 디코딩하는 장치(107)로서:

상기 입력 신호와 연관된 감소된 비트스트림을 포함하는 상기 입력 비트스트림을 수신하는 수단(117);

상기 입력 신호에 대한 인코딩된 데이터를 포함하는 사용자 데이터 요소를 수신하는 수단(117);

상기 사용자 데이터 요소로부터 상기 인코딩된 데이터를 추출하는 수단(119);

상기 감소된 비트스트림 내 상기 입력 신호의 인코딩과 호환되는 인핸스먼트 데이터를 생성하기 위해 상기 인코딩된 데이터를 재인코딩하는 수단(121); 및

상기 감소된 비트스트림과 상기 인핸스먼트 데이터를 결합함으로써 출력 비트스트림을 생성하는 수단(123)을 포함하는, 입력 비트스트림 디코딩 장치(107).
콘텐츠 신호의 인코딩에 대응하는 감소된 비트스트림 부분 및 상기 감소된 비트스트림 부분의 인코딩 포맷과 상이한 포맷으로 인코딩된 상기 입력 신호에 대한 인코딩된 데이터를 포함하는 사용자 데이터 부분을 포함하는, 비트스트림.