KR20120127605A - 디지털 비디오 스트림 내부의 정보 및/또는 애플리케이션 데이터를 전달하기 위한 방법, 및 이러한 비디오 스트림을 생성하고 재생하기 위한 관련 디바이스들 - Google Patents

Abstract

본 발명은 디지털 비디오 콘텐트 제작, 배포 및 디스플레이 시스템들에 관한 것이다. 본 발명은 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법을 기술하는데, 상기 디지털 비디오 스트림은 디스플레이를 위해 의도되지 않은 정보 및/또는 애플리케이션 데이터와, 디스플레이될 영상을 포함하는 적어도 하나의 프레임을 포함하고, 상기 적어도 하나의 프레임은 상기 영상의 픽셀들의 수를 초과하는 다수의 픽셀들을 포함한다. 이 방법은 상기 정보 및/또는 애플리케이션 데이터를 상기 영상에 의해 점유되지 않는 상기 프레임의 픽셀들에 입력하는 것을 규정한다. 본 발명은 또한 그 프레임들 내에 정보 및/또는 애플리케이션 데이터를 운반하는 비디오 스트림을 재생하기 위한 방법에 관한 것이다.

Description

디지털 비디오 스트림 내부의 정보 및/또는 애플리케이션 데이터를 전달하기 위한 방법, 및 이러한 비디오 스트림을 생성하고 재생하기 위한 관련 디바이스들{METHOD FOR TRANSPORTING INFORMATION AND/OR APPLICATION DATA INSIDE A DIGITAL VIDEO STREAM, AND RELATIVE DEVICES FOR GENERATING AND PLAYING SUCH VIDEO STREAM}

본 발명은 일반적으로 디지털 비디오 콘텐츠들의 제작 및 디스플레이에 관한 것이다.

특히, 본 발명은 디지털 비디오 콘텐츠들 내부의 정보 및/또는 애플리케이션 데이터를 전달하기 위한 비디오 코딩 및 디코딩 기술들의 사용과, 이러한 콘텐츠들을 생성하고 재생하기 위하여 사용된 디바이스들에 관한 것이다.

본 발명은 바람직하게 그리고 유리하게 디지털 입체 비디오 스트림들의 코딩 및 디코딩에 적용될 수 있고, 따라서 상기 입체 비디오 스트림들을 생성하고 재생하기 위하여 사용된 디바이스들에서 구현된다.

알려진 바와 같이, 디지털 포맷으로의 비디오 콘텐츠들의 배포는 이러한 콘텐츠들을 방송하는 것 또는 이러한 콘텐츠들을 대량 메모리들에 저장하는 것에 앞서 비트 레이트를 감소시키기 위하여 코딩(압축) 기술들의 채택을 필요로 한다.

이러한 콘텐츠들을 재생하기 위하여, 사용자는 따라서 인코더에 의해 수행된 것들에 역의 동작들로 주로 이루어진 압축해제 기술들을 적용할 적합한 디코딩 디바이스를 사용할 것이다.

상기 비디오 콘텐츠들은 상이한 포맷들을 가질 수 있다. 예컨대, 기록 자료들은 역사적인 4:3 포맷을 특징으로 하는 반면, 보다 최근의 콘텐츠들은 16:9 포맷이 될 수 있다. 영화 제작들로부터 초래되는 콘텐츠들은 심지어 더 넓은 포맷들을 가질 수 있다. 이러한 콘텐츠들은 상이한 스크린 포맷들을 특징으로 하는 디스플레이 디바이스들 상에서 재생될 수 있다. 이 결과, 특정 전달 네트워크 또는 대량 메모리 상에서 이러한 콘텐츠들의 배포는, 관객의 선호도들에 또한 의존할 수 있는, 디스플레이 적응 및 최적화 기술들의 채택을 수반한다.

예컨대, 4:3 콘텐츠들은, 관객이 변형되지 않은 영상을 보기를 선호한다면, 두 개의 수직 블랙 밴드들을 삽입함으로써 16:9 디스플레이 디바이스들 상에 디스플레이될 수 있다.

디스플레이 디바이스가 이러한 적응 및 최적화 기술들을 적절하게 적용할 수 있기 위하여, 디스플레이 디바이스는 수신된 영상의 포맷을 기술하는 정보를 제공받아야 한다.

이러한 점은 2차원(2D) 콘텐츠들의 세계에서만 필요한 것은 아니다; 사실 이러한 요건은 입체 콘텐츠들(3D)에 관해 더 많이 느껴진다.

예컨대, 입체 비디오 스트림들은, 우측 영상과 좌측 영상이 적절하게 배열되고 비디오를 보는 사용자의 우측 눈과 좌측 눈 각각을 위해 의도되는, 복합 영상들을 포함할 수 있다. "사이드-바이-사이드"("side-by-side") 포맷에서, 두 개의 우측 및 좌측 영상들은 수평으로 서브샘플링되고(subsampled), 복합 영상의 좌측 절반과 우측 절반을 점유하도록 배열된다. "탑-바텀"("top-bottom") 포맷에서, 우측 및 좌측 영상들은 수직으로 서브샘플링되고, 복합 영상의 상부 및 하부 절반들에 배열된다.

디스플레이 디바이스는 차례로 입체 영상을 디스플레이하기 위하여 상이한 기술들을 사용한다. 상기 디바이스들이 사용중인 기술들에 따라 비디오들을 정확하게 디스플레이하는 것을 허용하기 위하여, 디스플레이될 비디오 스트림 내의 복합 영상 포맷을 신호로 알리는 것이 적합하다. 사실, 우측 및 좌측 영상들을 재구성하는 것이 가능하도록, 디코더는 이들이 복합 영상 내에서 어떻게 배열되는지를 알아야만 하고; 그렇지 않을 경우 이들을 재구성하고 3D 콘텐츠들이 정확하게 디스플레이되도록 허용하는 것은 가능하지 않을 것이다.

정보 및/또는 애플리케이션 데이터를 비디오 스트림들에 입력하기 위한 많은 방법들이 오늘날 사용 가능하다.

아날로그 텔레비전에서, 예컨대 이러한 종류의 데이터는 수직 귀선 기간(vertical blanking interval)들에 입력되었다. 디지털 텔레비전으로의 전환하면서, 이들 귀선 기간들은 제거되었고, 데이터는 비디오 부분과 분리된 비디오 스트림의 적당한 섹션들에 의해 전달된다. 예컨대, 적당한 시그널링 테이블들(signalling tables)이 MPEG2 전달 스트림 내에서 사용되는 것으로 알려져 있고, 이러한 테이블들은 2D 영상들의 포맷에 관한 정보를 포함한다.

헤더들이 또한, 인코딩된 디지털 비디오 스트림 내의 시그널링 데이터를 전달하기 위하여 사용되는 것으로 알려져 있다.

이러한 정보 및/또는 애플리케이션 데이터는, 인코더와 디코더 사이의 배포 체인의 그 섹션에서만 제공되고 사용 가능하다. 사실 제작 레벨에서, 비디오 콘텐츠들은, 이들이 심지어 감소된 주파수(슬로우 모션 디스플레이)에서 조차 품질에서 어떠한 손실도 없이 후속적으로 프로세싱되거나 재생되는 것을 허용하기 위하여, 비디오 콘텐츠들은 압축되지 않는다(또는 낮은 압축 레이트들로만 압축된다).

본 발명의 목적은 디지털 비디오 콘텐트 내에 정보 및/또는 애플리케이션 데이터를 전달하기 위한 대안적인 방법 및 대안적인 시스템을 제공하는 것이다. 특히, 본 발명은 2D 및 3D 콘텐츠들에 대한 구별 없이 적용될 수 있는 데이터 전달 방법을 제공하는 것을 목표로 한다.

본 발명의 다른 목적은 정보 및/또는 애플리케이션 데이터가 심지어 디지털 비디오 콘텐츠들을 제작할 때에도 사용되도록 허용하는, 정보 및/또는 애플리케이션 데이터를 전달하기 위한 방법 및 시스템을 제공하는 것이다.

본 발명의 이들 및 다른 목적들은, 본 설명의 통합 부분으로서 의도되는 첨부된 청구항들에서 설명된 특징들을 병합하는, 비디오 스트림 내에서 정보 및/또는 애플리케이션 데이터를 전달하기 위한 방법 및 시스템(및 이러한 방법들을 구현하는 디바이스들)을 통해 달성된다.

특히, 본 발명의 기초의 하나의 사상은 데이터, 특히 디지털 입체 비디오 스트림의 특징들, 예컨대 이들의 포맷에 관한 정보를 비디오 스트림을 구성하는 프레임들의 일부 영역들에 입력하는 것이다. 특히, 정보 및/또는 애플리케이션 데이터는 유용한 시각적 정보, 즉 디스플레이될 영상에 속한 정보를 전혀 포함하지 않는 프레임 라인들에 입력된다. 이러한 방식으로, 정보 및/또는 애플리케이션 데이터는 영상(역시 프레임에 포함된)과 함께 이동하고, 따라서 비디오와 관련된 메타데이터의 손실을 야기할 수 있는 임의의 송신 시스템의 변화들에 저항할 수 있다.

정보 및/또는 애플리케이션 데이터가 디스플레이될 영상의 픽셀들과 혼합되지 않기 때문에, 정보 및/또는 애플리케이션 데이터는 눈에 보이지 않으며, 관객을 방해하지 않는다.

유리하게, 정보 및/또는 애플리케이션 데이터는 프레임의 첫 번째 또는 마지막 라인들에 입력되어, 시각 정보(예, 복합 영상)가 비시각 정보(정보 및/또는 애플리케이션 데이터)로부터 쉽게 분리되도록 허용한다.

정보 및/또는 애플리케이션 데이터를 첫 번째 또는 마지막 8개 라인들에 입력하는 선택은, 고-품위 콘텐츠들(2D 또는 3D이든 간에)의 H.264 압축의 경우에 특히 적당하다. 상기 H.264 코딩은 ITU-T 문서 "H.264 Advanced video coding for generic audiovisual services"에 기술되어 있다.

H.264 코딩 포맷에 따라, 비디오 스트림을 구성하는 각 영상은 16×16 픽셀들의 크기의 소위 말하는 "매크로블록들"로 분리된다. 각 매크로블록은 16×16 픽셀 휘도 매트릭스를 포함하는 반면, 이러한 휘도 매트릭스와 동일한 영역을 담당하는 8×8 픽셀 매트릭스들은 두 개의 색차 신호들(낮은 해상도를 갖는)을 위해 사용된다. 결과적으로, 1920×1080 픽셀 영상은, 1080이 16으로 나누어질 수 있는 수가 아니기 때문에 필요한 1920×1088 픽셀들의 매트릭스, 즉 바닥에 8개 라인들이 더해진 상태의 매트릭스로 표현될 수 있는 반면, 각 영상은 매크로블록들의 전체 수로 분리되어야만 한다. 그러므로 본 발명은 정보 및/또는 애플리케이션 데이터를 송신하기 위하여 실제 영상에 의해 점유되지 않는 8개 라인들을 사용한다.

본 발명의 다른 목적들 및 장점들은, 비제한적인 예를 통해 공급되는 본 발명의 몇 가지 실시예들의 다음의 설명으로부터 더 자명해질 것이다.

일부 선호되고 유리한 실시예들은 이제 첨부된 도면들을 참조하여 비제한적인 예를 통해 기술될 것이다.

본 발명은 디지털 비디오 콘텐트 내에 정보 및/또는 애플리케이션 데이터를 전달하기 위한 대안적인 방법 및 대안적인 시스템을 제공하며, 2D 및 3D 콘텐츠들에 대한 구별 없이 적용될 수 있는 데이터 전달 방법을 제공한다.

도 1은 비디오 콘텐츠들의 생성으로부터 결실에 이르는 다양한 단계들의 흐름도를 도시한다.
도 2는 본 발명의 제 1 실시예에 따라 입체 비디오 스트림을 생성하고 배포하기 위한 시스템을 도시한다.
도 3a 및 도 3b는 본 발명에 따라 입체 비디오 스트림을 재생하기 위한 시스템의 두 가지 예들을 도시한다.
도 4는 본 발명의 제 2 실시예에 따라 입체 비디오 스트림을 생성하고 배포하기 위한 시스템을 도시한다.
도 5는 본 발명의 제 3 실시예에 따라 입체 비디오 스트림을 생성하고 배포하기 위한 시스템을 도시한다.
도 6은 본 발명의 제 4 실시예에 따라 입체 비디오 스트림을 생성하고 배포하기 위한 시스템을 도시한다.
도 7은 본 발명의 제 5 실시예에 따라 입체 비디오 스트림을 생성하고 배포하기 위한 시스템을 도시한다.
도 8은 본 발명의 제 6 실시예에 따라 입체 비디오 스트림을 생성하고 배포하기 위한 시스템을 도시한다.
도 9는 본 발명의 제 7 실시예에 따라 입체 비디오 스트림을 생성하고 배포하기 위한 시스템을 도시한다.

도면들은 본 발명의 상이한 양상들 및 실시예들을 도시하고, 적합하다면 다양한 도면들에서 유사한 구조들, 구성요소들, 재료들 및/또는 요소들은 유사한 참조 번호들에 의해 지정된다.

도 1은 디지털 비디오 콘텐츠들의 생성으로부터 결실에 이르는 프로세스를 개략적으로 도시한다.

제 1 단계(100)에서, 콘텐츠들이 생성되고 프로세싱된다; 이 단계는 제작으로 불리고, 비디오 카메라들에 의한 영상 획득, 컴퓨터 그래픽에 의한 비디오 콘텐츠들의 생성, 믹싱, 획득된 영상들의 편집, 및 이들을 고품질의 마스터(즉, 압축을 전혀 갖지 않거나 낮은 압축을 갖는)에 기록과 같은 단계들을 포함할 수 있다.

후속적으로, 이렇게 제작된 비디오 콘텐츠들은, 비트 레이트를 감소시키기 위하여, 그리고 이들이 사용자를 위해 (예, DVD들 또는 블루레이들과 같은 광 매체 상에) 기록되거나 또는 방송 또는 원거리 통신 네트워크를 통해 배포되는 것을 허용하기 위하여, 인코딩된다. 이러한 단계는 배포로 불리고, 도 1에서 참조번호 200에 의해 지정된다.

배포된 비디오 콘텐츠들이 적당한 디코더들(예, DVD 판독기들 또는 셋톱-박스들)에 의해 디코딩되고 스크린상에 디스플레이되는, 본 설명의 목적을 위한 결실 단계(300)로서 언급되는 마지막 단계가 그 후 수행된다.

도 2는 본 발명의 제 1 실시예에 따라 입체 비디오 스트림들(2)을 생성하기 위한 시스템을 개략적으로 도시한다. 도 2는 도 1을 참조로 위에서 기술한 제작 및 배포 단계들에 기여하는 일부 기술적인 항목들을 도시한다.

이 시스템은 두 쌍들의 비디오 카메라들(3a 및 3b)을 포함한다; 물론 비디오 카메라들의 쌍들의 이러한 수는 오로지 비제한적인 예인데, 왜냐하면 이러한 수는 한 쌍의 비디오 카메라들로부터 10개 쌍들의 비디오 카메라들 및 심지어 그 초과에 이르는 범위일 수 있기 때문이다. 마찬가지로, 비디오 카메라들의 쌍은 두 개의 영상들을 획득할 수 있는 단일 디바이스에 집적될 수 있다.

각 쌍에 대해, 두 개의 비디오 카메라들은 두 개의 상이한 시각들로부터 영상들을 획득한다. 그 후, 비디오 카메라들은 우측 영상 시퀀스(4)와 좌측 영상 시퀀스(5)를 생성하고, 이들은 멀티플렉서(6)에 의해 수신되고, 대응하는 비디오 스트림들의 프레임들에 입력된다. 멀티플렉서(6)는 시퀀스들(4 및 5)에 속한 한 쌍의 우측 및 좌측 영상들을, 이후 디렉션 믹서(10; direction mixer)에 출력되는 복합 영상(C)으로 결합한다. 일 실시예에서 멀티플렉서(6)에 의해 생성된 복합 영상(C)은 1080×1920 픽셀 영상이다.

믹서(10)의 출력 신호는 압축을 위해 인코더(8)에 직접 보내질 수 있거나, 또는 코딩에 앞서 기록되어, 추가의 제작-후 프로세싱을 거칠 수 있다.

이러한 이유로, 도 2에서 복합 영상을 프로세싱하기 위해 사용된 편집 및 제작-후 시스템(7)은 점선으로 표시된다.

아마도 시스템(7)에 의해 프로세싱되는 복합 영상은 인코더(8)에 공급되고, 인코더(8)는 이를 압축하고 송신 및/또는 기록을 위해 적당한 포맷으로 인코딩한다.

바람직한 실시예에 있어서, 인코더(8)는 아래에서 상세하게 기술될, 비디오 스트림에 데이터를 입력(예, 시그널링)하기 위하여 적합하게 수정된 H.264 인코더이다.

인코더(8)는 그 후 1088×1920 매트릭스들에 의해 송신될 프레임들의 시퀀스를 포함하는 비디오 스트림을 생성하고, 1088×1920 매트릭스들 내에서 첫 번째 1080개 라인들은 수신된 입력 복합 영상(C0)을 포함하고, 마지막 8개 라인들 중 하나 또는 그 초과의 라인들은 정보 및/또는 애플리케이션 데이터를 포함한다.

도 2의 예에 있어서, 시스템은 인코더(8)에 정보 및/또는 애플리케이션 데이터로서 프레임에 입력될 정보를 제공하는 수단(9)을 포함한다.

일 실시예에서 수단(9)은 정보 및/또는 애플리케이션 데이터가 프레임에 수동으로 입력되는 것을 허용하는 수단이다; 예컨대, 이러한 수단은 프레임 내에 배치될 데이터를 수동으로 입력하기 위하여 사용자에 의해 제어되는 개인용 컴퓨터일 수 있다. 대안적으로 삽입 수단(9)은, 사용자가 비디오 스트림에 의해 프레임 내에서 운반되어야만 할 정보를 제공하는 것을 허용하도록 인코더(8)에 적당하게 연결된, 키보드 또는 터치 스크린 입력 주변기기와 같은 데이터 입력 디바이스에 국한될 수 있다.

인코더(8)에 공급된 정보는 다양한 종류들의 것일 수 있고, 상이한 기능들을 가질 수 있다. 특히, 이러한 정보는 우측 및 좌측 영상들을 재구성하기 위하여 디코더에 의해 사용되고, 따라서 프레임 패키징 정보(즉, 복합 영상 내에서 우측 및 좌측 영상들의 배치)를 포함할 수 있다.

위의 정보를 삽입 수단(9)으로부터 수신할 때, 인코더(8)는, 입력 복합 영상과, 우측 및 좌측 영상들이 정확하게 디스플레이될 수 있도록 디코더가 이들을 재구성하는 것을 허용할 정보 및/또는 애플리케이션 데이터, 둘 모두를 포함하는 비디오 스트림을 출력한다.

인코더(8)에 의해 생성된 입체 비디오 스트림(2)은 그 후 적당한 매체(DVD, 블루레이, 대량 메모리, 하드 디스크, 등)에 기록되거나, 또는 방송 또는 원거리 통신 네트워크와 같은 통신 네트워크를 통해 송신될 수 있다.

도 2의 예에서 H.264 표준의 현재의 규격들에 따라 코딩되는 출력 신호는, 디코딩 시간에 영상을 적절하게 범위를 정하도록(잘라내도록) 디코더에 지령하는 지시들(크로핑 윈도우(cropping window), 즉 영상의 범위를 정하는 윈도우)을 포함할 수 있다. 바람직한 실시예에 따라, 인코더(8)는, 부가적인 라인들이 폐기되기 전에 분석되어야만 한다는 것을 디코더에 통보하기 위하여 적당한 한 가지 정보(a piece of information)를 메타데이터에 삽입한다. 이러한 메타데이터는 예컨대 H.264 코딩의 NAL(Network Abstraction Layer) 유닛들과 같은 적당한 데이터 패킷들 내에 배치될 수 있다.

이제 배포 체인의 다른 단부, 즉 수신 및 디스플레이/재생 측을 논의해 보자. 도 3a는 도 2의 시스템에 의해 제작되고 배포된 비디오 콘텐츠들을 재생하기 위한 시스템(3000)을 개략적으로 도시한다.

시스템(3000)은 획득 블록(3110)을 통해 비디오 스트림(2)을 획득하는 디코더(3100)를 포함한다. 획득 블록(3110)은 하나 또는 그 초과의 다음 사항을 포함할 수 있다: 무선을 통해(예, 지상파 또는 위성 네트워크를 통해) 방송된 비디오 스트림을 수신하기 위한 튜너, 케이블(동축 케이블, 광 섬유, 이중 케이블, 등)에 의해 송신된 비디오 스트림을 수신하기 위한 데이터 입력, 광 매체(예, DVD 또는 블루레이) 상의 또는 대량 메모리 상의 비디오 신호로서 기록된 비디오 스트림을 판독하기 위한 판독기.

블록(3110)에 의해 획득된 비디오 스트림은, 디코딩된 비디오 스트림(2)으로부터 추출된 두 개(우측 및 좌측)의 영상 시퀀스들을 출력하는, 디코딩 블록(3120), 특히 수정된 H.264 디코더에 의해 디코딩된다.

디코딩 블록(3120)은, 비디오 스트림에 포함된 메타데이터를 분석하기 위한 유닛(3121), 수신된 프레임들(예, H.264 코딩에서 I, B 또는 P 유형의 영상들)을 일시적으로 저장하기 위한 하나 또는 그 초과의 레지스터들(3122), 프레임들에 포함된 복합 영상들을 재구성하고 이들을 정확한 시간 순서로 배열하기 위한 프레임 재구성 유닛(3123), 및 수신된 프레임들에 포함된 비시각 정보(정보 및/또는 애플리케이션 데이터)에 기초하여 재구성된 복합 영상들에 포함된 우측 및 좌측 영상들을 추출하기 위한 우측 및 좌측 영상 추출 유닛(3124)을 포함한다. 디코더(3100)는 또한 비디오 스트림(2)으로부터 추출된 우측 및 좌측 영상 시퀀스들을 디스플레이 디바이스(3200)에 제공하는 출력 인터페이스(3130)를 포함한다.

인터페이스(3130)는, HDMI(High Definition Multimedia Interface), 두 개의 비디오 스트림들(우측 영상 시퀀스를 위한 하나와 좌측 영상 시퀀스를 위한 하나), 예컨대 두 개의 VGA 또는 SVGA 스트림들을 출력하는 인터페이스, 또는 두 개의 RGB 스트림들을 출력하는 인터페이스가 될 수 있다.

메타데이터가 부가적인 라인들 내의 정보 및/또는 애플리케이션 데이터의 존재에 관한 한 가지 정보를 포함하는, 도 2와 도 3a를 참조하여 위에서 기술된 실시예는, 이러한 데이터가 없다면 디코더가 이를 분석하는 것을 생략할 수 있는 장점을 제공한다. 다른 한 편으로, 이러한 해결책은 인코더에 의해 수행되는 동작들의 증가된 복잡도와 보다 더 복잡한 스트림 디코딩 프로세스를 수반한다.

대안적인 실시예에서, 인코더는 코딩된 스트림에 어떠한 메타데이터도 부가하지 않고, 부가적인 라인들을 폐기하기 전에 이들의 콘텐트를 분석하는 것을 디코더에 남겨둔다. 이러한 해결책은 인코더와 코딩된 비디오 스트림의 구조를 단순화시키지만, 우측 및 좌측 영상들을 추출하기 위하여 정보 및/또는 애플리케이션 데이터를 포함하는 부가적인 라인들 및/또는 열들의 콘텐트를 먼저 분석해야만 하는 디코더, 특히 추출 유닛(3124)에 의해 부담되는 계산 부하를 증가시킨다.

전용 메타데이터의 부재시, 정보 및/또는 애플리케이션 데이터는 예컨대 디코더 레벨에서 영상의 재구성시에 (크로핑 윈도우의 메타데이터와 같은 메타데이터에 의해 표시되는 바와 같이) 동시에 발생하지 않는 이들 프레임의 라인들 및/또는 열들에서 탐색될 수 있다. 일 실시예에서 데이터는 균일하지 않은 픽셀들을 포함하는 이들 부가적인 라인들 및/또는 열들에서 검색된다.

도 3b에 도시된 추가 실시예에 있어서, 디코더(3100)는 추출 유닛(3124)을 포함하지 않는다는 점에서, 도 3a에 도시된 것과 다르다. 이 실시예에서, 디코더는 오로지 복합 영상들에 다중화된 채 남아 있는, 우측 및 좌측 영상들을 추출함이 없이 비디오 스트림을 디코딩한다.

복합 영상들은, 인터페이스(3130)와 유사하지만 압축해제된 복합 영상들을 포함하는 프레임들을 갖는 단일 비디오 스트림을 출력하는 인터페이스(3131)에 의해 송신된다. 이 실시예에서, 우측 및 좌측 영상들의 추출은, 이러한 목적을 위하여 적당한 수단을 장착한 디스플레이 디바이스(3200)에 의해 수행되는 작업이다.

다음은 도 2의 시스템의 다수의 변형들을 기술할 것이고, 이들 모두는 본 발명에 따라 비디오 스트림들을 생성하고 배포하는데 적당하다.

도 4의 예에 있어서, 비디오 카메라들은 1080×1920 픽셀들로 이루어지는 영상들을 생성하고, 멀티플렉서(60)는 1088×1920 픽셀 매트릭스들로 이루어지는 프레임들의 시퀀스(C1)를 생성하는데, 복합 영상은 첫 번째 1080개의 라인들을 점유하고, 마지막 8개 라인들의 픽셀들은 예컨대 모두 블랙 또는 그레이이다.

특히, 정보 및/또는 애플리케이션 데이터가 전달되도록 허용하는 8개의 부가적인 라인들은 멀티플렉서(60)의 보드(board)에서 생성되고, 멀티플렉서(60)는 두 개의 우측 및 좌측 비디오 스트림들을 수신하고 복합 영상들(C1)을 포함하는 입체 비디오 스트림을 출력한다.

시스템의 상이한 멀티플렉서들(60)에 의해 생성된 프레임(C1)은 디렉션 믹서(10)에 의해 수신되고, 디렉션 믹서(10)는 그 후 H.264 압축을 위해 필요한 포맷과 호환되는 1088×1920 픽셀들 크기의 영상들의 시퀀스를 출력한다.

디스플레이되지 않을 정보를 포함하는 (즉, 복합 영상을 포함하지 않는) C1의 8개 라인들은, 따라서 제작 단계 도중에 생성되고, 시그널링 데이터 입력 시스템(90)을 통해 믹서(10)의 출력에서 입력되는 데이터를 전달하기 위한 이러한 단계에서 곧바로 사용된다. 도 2의 수단(9)과 같이, 시스템(90)은 조작자가 정보 및/또는 애플리케이션 데이터를 (예컨대, 컴퓨터 또는 키보드를 통해) 수동으로 입력하는 것을 허용한다. 이 데이터는 다중화 단계에서 복합 영상(C1)에 부가되는 8개 라인들 중 하나 또는 그 초과 라인들에 입력된다. 시스템(90)은 따라서 1088×1920 프레임들(C1a)을 출력하는데, 1080 라인들은 시각 정보, 즉 디스플레이될 영상을 포함하고, 나머지 8개 라인들은 시스템(90)에 의해 입력되는 데이터를 포함하는 비시각 정보(즉, 디스플레이되지 않을)를 포함한다.

시스템(90)에 의해 출력된 영상(C1a)은 편집 및 제작 후 시스템(70; 생략되었기 때문에 점선(4)으로 표시됨)에 의해 프로세싱될 수 있고, 여전히 1088×1920 픽셀들의 크기를 유지하는 영상들(C2)로 수정될 수 있다.

시스템(70)은 시스템(7)과 유사하고, 오로지 차이점은 1088×1920 픽셀 영상들을 관리할 수 있다는 점이다.

아마도 시스템(70)에 의해 영상들(C2)로 수정되는 영상들(C1a)은 인코더(80; 바람직하게는 H.264 유형의)에 의해 수신되고, 인코더(80)는 이들을 압축하고 입체 비디오 스트림(2)을 생성한다. 비디오 스트림을 인코딩할 때 정보 및/또는 애플리케이션 데이터가 프레임에 입력되는 도 2의 예와는 달리, 도 4의 예에서 데이터는 제작 단계에서 입력된다.

바람직하게, 만약 정보 및/또는 애플리케이션 데이터가 제작 단계에서 입력되면, 이 데이터는 다양한 종류들의 것일 수 있고, 상이한 기능들을 가질 수 있다. 특히, 이러한 데이터는 우측 및 좌측 영상들을 재구성하기 위하여 디코더에 의해 사용되고, 따라서 이러한 데이터는 특히 프레임 패키징 정보(즉, 복합 영상 내에서 우측 및 좌측 영상들의 배치에 관한 정보)를 포함하지만, 또한 슈팅 파라미터들에 관한 정보를 포함할 수 있다. 비디오 카메라에 의해 취해진 영상들은 컴퓨터 그래픽 방법들을 사용함으로써 생성된 영상들과 결합될 수 있기 때문에, 정보 및/또는 애플리케이션 데이터는, 실제 및 인공 영상들 사이의 적절한 매칭을 보장하도록, 비디오 카메라 슈팅이 어떻게 수행되었는지에 대한 한 가지 정보를 포함할 수 있다. 예컨대 상기 한 가지 정보는 두 개(우측 및 좌측)의 비디오 카메라들 사이의 거리에 관련될 수 있고, 이 거리는 사람의 눈들 사이의 평균 거리와 항상 동일한 것은 아니며; 또한 상기 한 가지 정보는 두 개의 비디오 카메라들이 평행한지 또는 수렴하는지(일부 경우들에서 사람의 눈들의 거동의 모방이 존재하고, 이는 근처의 물체에 초점을 맞출 때 수렴하는 경향이 있다)의 여부를 지시할 수 있다.

위에서 기술한 한 가지 정보는 또한, 상이한 소스들로부터 유래되는 두 개의 영상들이 함께 결합될 때, 어느 소스들이 필수적으로 컴퓨터들의 것이 아닌지 뿐만 아니라 비디오 카메라들의 것이 아닌지도 확인하는데 유용하며, 결과적인 영상은 그 자체로 "가간섭성"이고, 따라서 보기에 유쾌하다. 사실, 상이한 슈팅 파라미터들을 갖는 제작된 영상들을 함께 결합하는 것은 이상하고 불쾌한 효과들을 초래할 수 있다.

도 5는 도 4의 예의 변형인데, 여기에서 멀티플렉서(600)는, 복합 영상(미리 한정된 포맷, 예컨대 1080개의 라인들과 1920개의 열들로 포맷된)을 입력하기 위하여 필요한 것보다 더 많은 수의 라인들을 사용하는 것에 더하여, 부가적인 라인들에 또한 정보 및/또는 애플리케이션 데이터를 입력한다.

하나 또는 그 초과의 데이터 입력 시스템(900; 도 5의 예에서 오직 하나지만, 멀티플렉서 당 하나까지 더 많은 시스템이 제공될 수 있다)은 멀티플렉서(600)에 연결되고, 멀티플렉서(600)의 출력에서 프레임(C1a)의 비시각 라인들에 입력될 정보 및/또는 애플리케이션 데이터를 제공한다. 이러한 데이터는 도 4의 시스템(90)에 의해 입력된 데이터와 동일한 유형의 것일 수 있다. 이러한 방식으로, 멀티플렉서(600)에 의해 출력된 프레임(C1a)은 실질적으로 도 4의 시스템(90)에 의해 출력된 것들에 대응하고, 압축 및 가능하게는 편집 및 제작 후 프로세스들을 통해 동일한 방식으로 처리될 수 있다.

도 6의 예에서, 멀티플렉서(6)는 도 2에 도시된 것과 동일한 유형의 것이다; 그러므로 멀티플렉서(6)는 비디오 카메라들로부터 비디오 스트림들을 수신하고, 이들을 복합 영상들을 포함하는 프레임들을 갖는 입체 비디오 스트림으로 결합한다.

정보 및/또는 애플리케이션 데이터를 위한 8개의 라인들은 편집 및 제작 후 시스템(70)에 의해 생성되고, 시스템(70)은 따라서 복합 영상과 정보 및/또는 애플리케이션 데이터, 둘 모두를 포함하는 프레임들의 시퀀스를 생성한다. 정보 및/또는 애플리케이션 데이터는 도 4를 참조하여 기술된 수단(90)과 유사한 수단(9000)에 의해 제공된 정보를 사용하여 생성된다.

도 2의 예에서와 같이, 인코더(80)는 프레임들의 시퀀스(C2)를 압축하고 이들을 기록 및/또는 송신을 위해 출력한다.

도면들에 도시되지 않은 추가 실시예에 있어서, 정보 및/또는 애플리케이션 데이터를 위한 8개의 라인들은 편집 시스템에 의해 복합 영상에 부가되지만, 정보 및/또는 애플리케이션 데이터는 인코더 레벨에서, 예컨대 도 2를 참조하여 기술된 유형의 수단을 통해 이들 8개 라인들에 입력된다.

또 다른 실시예에 있어서, 정보 및/또는 애플리케이션 데이터로서 사용된 데이터는, 비디오 카메라들에 의해 생성된 비디오 스트림들과 관련된, 또는 멀티플렉서에 의해 출력된 비디오 스트림과 관련된, 또는 편집 및 제작 후 시스템에 의해 출력된 비디오 스트림과 관련된 메타데이터로부터 자동적으로 얻어진다. 이러한 해결책은 어떠한 수동 입력도 필요로 하지 않는다는 점에서 특히 유리한 것이 된다. 이러한 해결책은 또한 유리한 것으로 보이는데, 왜냐하면 획득 시스템들(비디오 카메라들)로부터 전달 시스템들(파일 포맷들, 예컨대 MXF-Material Exchange Format) 및 워크플로우 관리/파일링 시스템들(Digital Asset Management)에 이르는, 오디오비디오 콘텐츠들의 전문 제작을 위해 사용된 많은 도구들이 "핵심들"("essences"; 즉 실제 비디오 신호들)을 주목하고 기술하기 위한 메타데이터를 사용하기 때문이고; 그러므로 이러한 메타데이터는 간혹 입체 스트림을 제작하는 보드 또는 인코더에 사용 가능하다.

보다 양호한 명확성을 위해 그리고 무엇이든 어떠한 제한도 없이, 도 7은 정보 및/또는 애플리케이션 데이터에 관한 정보가 삽입 수단(9)을 필요로 하지 않고 자동적으로 입력되는 도 2의 시스템을 도시한다. 인코더(800)는 그 입력에서 복합 영상(C) 및 관련된 메타데이터를 수신하고, 그 후 메타데이터를 추출하고, 복합 영상에 부가된 8 개의 라인들에 입력되고 입체 비디오 스트림의 프레임 내에서 송신될 정보 및/또는 애플리케이션 데이터를 생성하기 위하여 메타데이터를 프로세싱한다.

합성 프로세싱 활동들이 예컨대 상이한 소스들로부터의 영상들을 결합하는 것과 같은 제작 환경에서 발생할 수 있는 것이 지적되어야만 하는데, 일부 영상들은 기록물로부터 또는 상이한 프레임 패키징 포맷(복합 영상 내의 두 개의 우측 및 좌측 영상들의 패키징)을 사용하는 상이한 브로드캐스터로부터 유래한다. 이러한 후자의 경우, 포맷 변환은 영상들을 함께 결합하기 위하여 필요할 것이다.

제작 환경에서 순환하는 모든 비디오 신호들상에서 위에서 제안한 바와 같은 (프레임 패키징 포맷을 규정하는) 정보 및/또는 애플리케이션 데이터의 사용은 변환 프로세스가 자동화되는 것을 허용한다.

제작 환경을 빠져나가 배포 환경으로 진행하는 결과적인 비디오 스트림은 관련된 시그널링을 갖는 단일 프레임 패키징 포맷을 가질 것이다.

위에서 기술된 예들에서, 두 개의 비디오 카메라들(3a 또는 3b)에 의해 획득된 우측 및 좌측 영상들은 곧바로 복합 영상으로 결합된다.

그러나 본 발명의 목적을 위해 이것은 필수적인 것은 아니고, 우측 및 좌측 영상들의 시퀀스들은 독립적으로 인코더로 이동할 수 있다.

이것은 비디오 카메라들의 쌍들(3a 및 3b)에 의해 획득된 우측 및 좌측 영상들이 디렉션 믹서(10)에 의해 수신되는 도 8의 예를 통해 도시되는데, 디렉션 믹서(10)는 우측 및 좌측 영상들을 위해 두 개의 별도의 비디오 스트림들을 출력한다.

디렉션 믹서(10)에 의해 선택된 우측 및 좌측 영상들은 편집 및 제작 후 시스템(7000)에 보내지고, 여기에서 이들은 예컨대 특별한 효과들의 부가를 통해 프로세싱된다. 대안적으로, 영상들은 직접 인코더/멀티플렉서(8000)에 보내진다. 만약 존재한다면, 편집 및 제작 후 시스템(7000)은 두 개의 우측 및 좌측 비디오 스트림들을 독립적으로 인코더/멀티플렉서(8000)로 보낼 것이다.

인코더/멀티플렉서(8000)는, 입력 비디오 스트림들을, 복합 영상에 시각 정보, 즉 디스플레이될 정보를 운반하지 않는 특정 수(특히 8개의)의 라인들에 배치된 정보 및/또는 애플리케이션 데이터(이 예에서 삽입 수단(9)으로부터 수신되지만, 대안적으로 위에서 기술한 바와 같이 자동적으로 얻어질 수 있는)를 더한 것을 포함하는 프레임들을 갖는 단일 입체 비디오 스트림(2)으로 결합한다. 인코더/멀티플렉서(8000)는 예컨대 임의의 포맷(탑-바텀, 사이드-바이-사이드, 등)에 따라 우측 및 좌측 영상들을 결합할 수 있고, 그 후 이들을 H.264 코딩에 따라 인코딩할 수 있다.

도 9를 참조하여 본 명세서에서 기술된 추가 실시예에 있어서, 인코더(8001)는 H.264 표준의 부록 H에 기술된 MVC(Multi View Coding)에 따라 입체 스트림을 인코딩한다. 실제 복합 영상을 생성하는 대신에, 이 표준은 기본 영상(기본 층), 예컨대 우측 영상과, 우측 영상과 좌측 영상 사이의 차이(강화 층)를 송신하는 것을 규정한다. 이 기술의 하나의 가능한 예는 소위 말하는 2D 플러스 델타 코딩이다. 본 실시예에 있어서, 프레임 패키징에 관련되는 정보 및/또는 애플리케이션 데이터는 필요하지 않은데, 왜냐하면, 프레임 패키징이 존재하지 않기 때문이다. 더욱이, H.264 압축된 신호는 모든 필요한 메타데이터를 포함하여, 유용한 정보를 디스플레이 디바이스에 입력하기 위한 8개의 부가적인 라인들을 사용하는 것이 엄격하게 필요하지 않게 된다. 그러나 본 발명자들은, 이러한 경우에 층들 중 어느 하나 또는 모두의 영상들에 시그널링을 입력하는 것이 유용하며 유리하게 보이는 것을 관찰하였다. 특히, 정보 및/또는 애플리케이션 데이터를 제작 레벨에서 입력하는 것이 유리하다.

도 9의 예에서, 믹서(10)에 의해 출력된 비디오 스트림들은 데이터 입력 시스템(9000)에 의해 수신되고, 데이터 입력 시스템(9000)은 입력 비디오 스트림들의 각 프레임의 라인들의 수를 증가시키고, 정보 및/또는 애플리케이션 데이터를 부가된 라인들에 입력한다. 바람직하게, 비디오 카메라들은 1080×1920 픽셀들의 크기의 프레임들을 갖는 비디오 스트림들을 생성하고, 시스템(9000)은 이 크기를 1088×1920 픽셀들로 증가시키고; 정보 및/또는 애플리케이션 데이터는 그 후 부가된 라인들에 입력된다. 이러한 데이터는 프레임에 포함된 영상이 우측 또는 좌측 눈을 위해 의도된 영상에 관한 것인지를 지시할 수 있고, 영상이 어떻게 획득되었는지에 관한 정보(예, 한 쌍의 두 개의 비디오 카메라들 사이의 공간 관계들), 영상 포맷(4:3 또는 16:9), 등을 제공할 수 있다. 이러한 정보는 또한 바람직하게 배포 환경 내에서 보존되는데, 왜냐하면 프로그램이 제작된 후 많은 햇수가 지나간 후, 고품질의 마스터가 더 이상 취득 가능하지 않고, 따라서 그러한 프로그램이 예컨대 소위 말하는 "회고 프로그램"으로 사용되기 위하여 회복되려 한다면, 상기 구 프로그램이 더 새로운 콘텐츠들과 적절하게 결합될 수 있도록 슈팅 파라미터들을 아는 것이 유용할 상황이 간혹 발생하기 때문이다.

시스템(9000)은 자동적으로 위에서 기술된 입력 비디오 스트림들로부터 데이터를 자동적으로 얻을 수 있거나, 그렇지 않을 경우 시스템(9000)은 데이터를 수동으로 입력하는 조작자에 의해 제어되는 적당한 데이터 입력 주변기기로부터 데이터를 수신할 수 있다.

데이터 입력 시스템(9000)에 의해 수정된 영상들은 인코더(8001), 또는 (만약 존재한다면) 도 9에 도시된 편집 및 제작 후 시스템에 보내질 수 있다.

위에서 기술된 예들로부터, 본 발명에 따른 방법을 통해 생성된 입체 비디오 스트림(2)이 유용한 시각 정보(복합 영상 또는 MVC 영상들)와 유용한 시각 정보를 전혀 포함하지 않는 프레임의 영역에 입력된 정보 및/또는 애플리케이션 데이터를 포함하는 것은 자명하다.

일 실시예에서, 정보 및/또는 애플리케이션 데이터는 입체 비디오 스트림의 모든 프레임들에 입력된다.

다른 실시예에서, 정보 및/또는 애플리케이션 데이터는 오로지 입체 비디오 스트림의 프레임들 중 일부에 입력된다. 바람직하게, 정보 및/또는 애플리케이션 데이터를 전혀 포함하지 않는 프레임들에서, 유용한 시각 정보를 전혀 포함하지 않는 라인들은 동일한 컬러, 특히 그레이 또는 블랙의 픽셀들로 채워진다. 마찬가지로, 또한 이러한 데이터를 포함하는 프레임들에서도, 데이터를 위해 사용되지 않는 부가적인 라인들(또는 이들의 부분들)은 바람직하게 동일한 컬러, 특히 블랙 또는 그레이의 픽셀들을 포함한다.

정보 및/또는 애플리케이션 데이터는, 모든 프레임들 내에 포함되는지 또는 오로지 이들의 부분들 내에 포함되든지, 신호를 디코딩하고 디스플레이를 위해 우측 및 좌측 영상들을 정확하게 재구성하기 위하여 디코더에 의해 사용될 수 있다.

예컨대 H.264 코딩에 따라 압축된 입체 스트림(2)을 수신할 때, 디코더는 이를 압축해제하고, 프레임들로부터 정보/애플리케이션 데이터를 추출한다. 후속적으로, 상기 데이터에 포함된 정보는 비디오 스트림에 의해 전달된 영상들을 추출하고 및/또는 재구성하기 위하여 사용될 수 있다. 특히, 이러한 데이터는 우측 및 좌측 영상들을 재구성하기 위하여 유용할 수 있어서, 우측 및 좌측 영상들은 3D 콘텐츠들이 관객에 의해 적절하게 얻어지는 방식으로 우측 및 좌측 영상들을 제공할 디스플레이 시스템, 예컨대 텔레비전 세트 또는 비디오 프로젝터에 공급될 수 있다.

일 실시예에 있어서, 디코더는 표현 포맷, 즉 디스플레이 디바이스의 입력에서 필요한 포맷을 알고 있고, 이 포맷은 디스플레이를 위해 사용된 포맷(예, 라인 교체, 프레임 교체, 등)에 대응하거나 대응하지 않을 수 있다. 이 경우, 디코더는, 만약 필요하다면, 부가적인 라인들에 입력된 정보 및/또는 애플리케이션 데이터에 기초하여 전달 포맷으로부터 표현 포맷으로의 변환을 수행할 수 있다.

제 1 실시예에 있어서, 디코더는 디스플레이 디바이스의 입력에서 필요한 포맷을 알고 있는데, 왜냐하면 디코더 또는 디스플레이 디바이스 중 하나가 제작되었을 때, 이러한 정보는 프로그램되었고, 예컨대 전용 메모리 영역에 영구적으로 입력되었기 때문이다. 이러한 해결책은 디코더가 디스플레이 디바이스 내에 내장될 때, 따라서 이들 사이에서 엄격하게 관련될 때 특히 유리하다.

다른 실시예에 있어서, 표현 포맷 정보는 디스플레이 디바이스에 의해 디코더로 송신되고, 디코더는 이를 전용 메모리 영역에 로딩한다. 이는, 디코더가 디스플레이 디바이스와는 별개의 디바이스이고, 양방향 데이터 교환을 허용하는 인터페이스에 의해 이들 사이에서 쉽게 관련될 수 있을 때는 언제든지 특히 유리하다. 3D 콘텐츠들은 따라서 어떠한 에러 위험도 없이 그리고 사용자의 개입을 필요로 하지 않고도 정확하게 디스플레이될 수 있다.

다른 실시예에 있어서, 이러한 정보는 사용자에 의해 수동으로 디코더에 제공된다.

본 발명의 특징들 및 장점들은 본 발명의 소수의 실시예들의 위의 설명으로부터 자명하고, 본 발명의 보호 범주는 첨부된 청구항들에 의해 한정된다. 따라서, 당업자가 비디오 스트림들 내에서 데이터를 전달하고 비디오 스트림들을 디코딩하기 위하여 상술한 방법들 및 시스템들에 대한 많은 변경들과 변형들을 행할 수 있음은 명백하다.

본 명세서에서 기술된 시스템이 또한 아래에서 상세하게 기술된 것들과 같은 2D 또는 3D 비디오 콘텐츠들의 제작 및 배포를 위한 다른 비전문적인 장치들 또는 모델들에 적용될 수 있음은 자명하다. 예컨대, 본 발명을 구현하는 이미지 획득 디바이스는 사진 카메라, 비디오 카메라, 또는 비디오 영상들을 캡쳐하여 이들을 바로 그 동일한 장치에서 또는 다른 장치들에서 후속적으로 디스플레이하기 위하여 대량 메모리에 저장하도록 적응된 모바일 전화기에 병합될 수 있다.

이 때문에, 캡쳐된 비디오 스트림은 상이한 재생 및 시각화 장치(예, 모니터를 갖는 PC, 텔레비전 세트, 휴대용 멀티미디어 플레이어, 등)에 상이한 방식들(예, 한 장치로부터 다른 장치로 데이터 저장 매체를 전달함으로써, 무선 또는 유선 LAN 네트워크를 통해, 인터넷을 경유하여, 블루투스를 경유하여, 셀룰러 네트워크를 통한 MMS와 같은 송신에 의해, 등)로 전달될 수 있다. 더욱이 이러한 프레임에서, 본 명세서에서 도시된 비디오 콘텐츠들의 제작, 배포 및 결실로 이루어지는 동일한 개략적 모델이 여전히 적용될 수 있고, 다루어지는 기술적인 문제점이 동일하며, 본 발명의 동일한 기술적 해결책이 당업자에게 자명할 오로지 소수의 변화들을 가지고 적용될 수 있다.

더욱이, 기술자는 본 발명의 상이한 실시예들을 참조하여 위에서 기술된 것들 중에서 상이한 방법들, 시스템들 및 디바이스들의 특징들을 함께 결합할 수 있다.

특히, 비디오 스트림을 생성하기 위한 방법의 다양한 단계들(편집, 다중화, 코딩, 등)이 별도의 디바이스들을 통해, 또는 임의의 수단에 의해 집적되거나 및/또는 함께 연결된 디바이스들을 통해 구현될 수 있음은 자명하다. 예컨대, 두 개의 비디오 카메라들과 획득된 비디오들을 수신하는 멀티플렉서는 하나 또는 그 초과의 렌즈들을 장착한 단일 입체 비디오 카메라에 포함될 수 있다.

더 일반적으로, 비디오 스트림에 데이터를 입력하기 위한 시스템을 제공하는 것이 가능하고 유리하다는 것이 강조되어야 하는데, 이러한 시스템은,

- 하나 또는 그 초과의 비디오 스트림들을 수신하기 위한 입력 유닛,

- 상기 하나 또는 그 초과의 비디오 스트림들의 영상들을 포함하는 프레임들을 생성하기 위한 프로세싱 유닛-상기 프레임들은 상기 소스 영상들의 픽셀들의 수보다 더 큰 다수의 픽셀들을 포함한다-,

- 상기 프레임들에 입력될 정보 및/또는 애플리케이션 데이터를 획득하도록 적응된 획득 수단과, 상기 정보 및/또는 애플리케이션 데이터를 상기 영상들에 의해 점유되지 않은 상기 프레임들의 픽셀들에 입력하도록 적응된 삽입 수단을 포함한다. 상기 픽셀들은 상기 프레임들의 주변의 라인들 및/또는 열들을 점유할 수 있다.

이러한 시스템의 유닛들 및 수단들은 단일 장치에 집적될 수 있거나 또는 상이한 장치들에 속할 수 있다.

본 명세서에서 도시된 실시예들이 1920×1080 포맷, 즉 H.264 코딩에서 코딩된 영상의 크기에서의 증가를 필요로 하는 가장 일반적인 포맷에 관한 것임이 지적되어야 한다. 이러한 상황은 상이한 영상 포맷들 및 상이한 코딩 시스템들에 대해서 발생할 수 있고 유사하게 이용될 수 있다.

본 발명은 오로지 H.264 코딩을 참조하여 기술되었지만, 예컨대 원래의 크기가 영상이 전체 수의 매크로블록들로 분리되는 것을 허용하지 않기 때문에, 또는 임의의 다른 이유로, 인코더에 공급될 영상의 크기에서의 증가를 필요로 하는 다른 비디오 압축 기술들에도 동일하게 적용될 수 있다. 이러한 상황은 예컨대 현재 연구 및 개발되고 있는 H.264 코딩의 계승자(소위 말하는 H.265/HVC와 같은)에서 발생할 수 있다. 프레임이 시각 정보, 즉 디스플레이될 영상의 픽셀들을 전혀 포함하지 않는다면, 정보 및/또는 애플리케이션 데이터가 프레임 포맷에 의존하여 프레임의 임의의 라인들 및/또는 열들에 입력될 수 있음은 마찬가지로 자명하다.

정보 및/또는 애플리케이션 데이터는 심지어 입체 영상의 포맷팅에, 및/또는 입체 슈팅 모드에 속하지 않는 다양한 종류들의 정보를 전달할 수 있다. 예컨대, 정보 및/또는 애플리케이션 데이터는, 비디오 스트림이 오로지 세계의 주어진 지역에, 예컨대 오로지 미국에 또는 오로지 유럽에 위치하거나 배포된 디코더에 의해서만 디코딩되는 것을 허용하도록, 비디오 스트림의 의도된 용도를 시그널링하기 위해 사용될 수 있다. 그러므로 정보 및/또는 애플리케이션 데이터는, 이들이 입력되는 영상들과 상관되든지 또는 그렇지 않든 간에, 임의의 유형의 정보를 운반할 수 있고, 예컨대 디코더 또는 디스플레이 디바이스 레벨에서 실행가능한 애플리케이션들을 위해 사용될 수 있다.

더욱이, 상술한 실시예들에서 정보 및/또는 애플리케이션 데이터를 운반하는 프레임들이 입체 영상들을 포함할지라도, 본 발명이 2D 영상들 또는 소위 말하는 "멀티뷰" 표현들에 마찬가지로 적용될 수 있음은 위의 설명으로부터 자명하다. 사실, 정보 및/또는 애플리케이션 데이터는, 더욱이 디지털 2D 비디오 스트림들에서 디스플레이될 영상들의 픽셀들을 전혀 포함하지 않는 프레임 라인들 및/또는 열들에 입력될 수 있다.

2: 입체 비디오 스트림들 3a,3b: 카메라들
4: 우측 영상 시퀀스 5: 좌측 영상 시퀀스
6,60,600: 멀티플렉서 7,70,700,7000,7001: 편집 및 제작 후 시스템
8,80,800,8000,8001: 인코더 9,90,900,9000: 삽입 수단
10: 믹서 3000: 재생 시스템
3100: 디코더 3110: 획득 블록
3120: 디코딩 블록 3121: 분석 유닛
3122: 레지스터들 3123: 프레임 재생 유닛
3124: 영상 추출 유닛 3130: 출력 인터페이스
3200: 디스플레이 디바이스

Claims (46)

1. 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법으로서,
   상기 디지털 비디오 스트림은 디스플레이를 위해 의도되지 않은 정보 및/또는 애플리케이션 데이터와, 디스플레이될 영상을 포함하는 적어도 하나의 프레임을 포함하고, 상기 적어도 하나의 프레임은 상기 영상의 픽셀들의 수를 초과하는 다수의 픽셀들을 포함하며, 상기 정보 및/또는 애플리케이션 데이터는 상기 영상에 의해 점유되지 않는 상기 프레임의 픽셀들에 입력되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
2. 제 1항에 있어서,
   - 상기 영상을 제 1 프레임에 삽입하는 단계,
   - 상기 제 1 프레임보다 더 큰 프레임을 얻기 위하여 라인들 및/또는 열들을 상기 제 1 프레임에 부가하는 단계,
   - 상기 정보 및/또는 애플리케이션 데이터를 상기 더 큰 프레임에 삽입하는 단계
   를 포함하는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
3. 제 1항 또는 제 2항에 있어서,
   상기 라인들 및/또는 열들은 상기 데이터를 삽입하는 동일한 디바이스에 의해 부가되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
4. 제 1항 또는 제 2항에 있어서,
   상기 라인들 및/또는 열들은 상기 데이터를 입력하는 디바이스가 아닌 별개의 디바이스에 의해 부가되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
5. 제 2항 또는 제3항 또는 제 4항에 있어서,
   상기 부가된 라인들 및/또는 열들은 상기 더 큰 프레임의 주변의 라인들 및/또는 열들인, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
6. 제 2항 내지 제 5항 중 어느 한 항에 있어서,
   상기 부가된 라인들 및/또는 열들은 상기 더 큰 프레임의 근처의 라인들 및/또는 열들인, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
7. 제 2항 내지 제 6항 중 어느 한 항에 있어서,
   상기 정보 및/또는 애플리케이션 데이터는 상기 부가된 라인들 및/또는 열들의 전부를 또는 단지 일부만을 점유하는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
8. 제 2항 내지 제 7항 중 어느 한 항에 있어서,
   상기 더 큰 프레임은, 전체 수의 매크로블록들로 분리될 수 있는 방식으로 크기 설정되고, 상기 매크로블록의 크기는 상기 비디오 스트림을 인코딩하기 위하여 사용된 코딩 알고리즘에 의존하는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
9. 제 1항 내지 제 8항 중 어느 한 항에 있어서,
   디스플레이될 상기 영상은 입체(stereoscopic) 비디오 스트림의 복합 영상인, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
10. 제 1항 내지 제 8항 중 어느 한 항에 있어서,
    상기 영상은 우측 영상 또는 좌측 영상이고, 상기 비디오 스트림은 상기 우측 및 좌측 영상들 사이의 차이를 포함하는 적어도 하나의 제 2 프레임을 포함하는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
11. 제 2항 내지 제 10항 중 어느 한 항에 있어서,
    상기 라인들 및/또는 열들은 상기 비디오 스트림을 압축하는 인코더의 상류에 위치된 디바이스에 의해 부가되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
12. 제 2항 내지 제 10항 중 어느 한 항에 있어서,
    상기 데이터는 상기 비디오 스트림을 압축하는 인코더에 의해 입력되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
13. 제 12항에 있어서,
    상기 인코더는 메타데이터를 상기 비디오 스트림에 입력하고, 상기 메타데이터는 상기 부가된 라인들 및/또는 열들 내에서 데이터의 존재를 지시하도록 적응된 한 가지 정보(a piece of information)를 포함하는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
14. 제 1항 내지 제 13항 중 어느 한 항에 있어서,
    상기 데이터는 상기 비디오 스트림의 프레임 포맷이 전달 포맷으로부터 표현(presentation) 포맷으로 자동적으로 프로세싱 및/또는 변환되는 것을 허용하도록 적응되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
15. 제 1항 내지 제 14항 중 어느 한 항에 있어서,
    상기 데이터는 상기 영상의 포맷에 관한 것이고, 특히 영상이 2D 영상인지 또는 3D 영상인지를 표시하는 식별자, 종횡비, 프레임 패키징, 슈팅 모드로 이루어지는 그룹에 포함된 것들 중에서 하나 또는 그 초과의 항목들을 포함하는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
16. 제 2항 내지 제 15항 중 어느 한 항에 있어서,
    상기 데이터는 자동적으로 입력되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
17. 제 16항에 있어서,
    상기 데이터는 상기 영상이 얻어지는 비디오 스트림과 관련된 메타데이터로부터 얻어지는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
18. 제 2항 내지 제 15항 중 어느 한 항에 있어서,
    상기 데이터는 조작자에 의해 수동으로 입력되는, 디지털 비디오 스트림 내의 데이터를 전달하기 위한 방법.
19. 데이터를 비디오 스트림에 입력하기 위한 디바이스로서,
    - 영상을 수신하기 위한 입력 유닛,
    - 상기 비디오 스트림의 프레임을 생성하기 위한 프로세싱 유닛 ? 상기 프레임은 상기 영상을 포함하고, 상기 영상의 픽셀들의 수를 초과하는 다수의 픽셀들을 포함함 ?
    을 포함하고, 상기 비디오 스트림에 입력될 정보 및/또는 애플리케이션 데이터를 획득하도록 적응된 획득 수단 및 상기 정보 및/또는 애플리케이션 데이터를 상기 영상에 의해 점유되지 않는 상기 프레임의 픽셀들에 입력하도록 적응된 삽입 수단을 포함하는, 데이터를 비디오 스트림에 입력하기 위한 디바이스.
20. 제 19항에 있어서,
    상기 입력 유닛은 상기 영상을 포함하는 제 1 프레임을 수신하도록 적응되고,
    상기 프로세싱 유닛은, 상기 제 1 프레임보다 더 큰 프레임을 얻기 위하여, 라인들 및/또는 열들을 상기 제 1 프레임에 부가하도록 적응되며, 그리고
    상기 삽입 수단은 상기 정보 및/또는 애플리케이션 데이터를 상기 더 큰 프레임에 입력하도록 적응되는,
    데이터를 비디오 스트림에 입력하기 위한 디바이스.
21. 제 19항 또는 제 20항에 있어서,
    상기 부가된 라인들 및/또는 열들은 상기 더 큰 프레임 주변의 및/또는 근처의 라인들 및/또는 열들인, 데이터를 비디오 스트림에 입력하기 위한 디바이스.
22. 제 19항 내지 제 21항 중 어느 한 항에 있어서,
    상기 정보 및/또는 애플리케이션 데이터는 상기 부가된 라인들 및/또는 열들의 전부를 또는 단지 일부만을 점유하는, 데이터를 비디오 스트림에 입력하기 위한 디바이스.
23. 제 19항 내지 제 22항 중 어느 한 항에 있어서,
    상기 획득 수단은 비디오 스트림과 관련된 메타데이터로부터 상기 정보 및/또는 애플리케이션 데이터를 얻도록 적응되며, 상기 영상은 상기 비디오 스트림으로부터 얻어지는, 데이터를 비디오 스트림에 입력하기 위한 디바이스.
24. 제 19항 내지 제 23항 중 어느 한 항에 있어서,
    수동으로 조작되는 데이터 입력 유닛으로의 연결을 위한 인터페이스를 더 포함하는, 데이터를 비디오 스트림에 입력하기 위한 디바이스.
25. 제 19항 내지 제 24항 중 어느 한 항에 있어서,
    코딩 알고리즘에 따라 상기 비디오 스트림을 인코딩하기 위한 수단을 더 포함하고, 상기 더 큰 프레임은 전체 수의 매크로블록들로 분리될 수 있는 방식으로 크기 설정되고, 상기 매크로블록들의 크기는 상기 코딩 알고리즘에 의존하는, 데이터를 비디오 스트림에 입력하기 위한 디바이스.
26. 제 25항에 있어서,
    상기 인코딩 수단은 메타데이터를 상기 인코딩된 비디오 스트림에 입력하도록 적응되고, 상기 메타데이터는 상기 부가된 라인들 및/또는 열들 내에서 데이터 존재를 표시하도록 적응된 한 가지 정보를 포함하는, 데이터를 비디오 스트림에 입력하기 위한 디바이스.
27. 제 19항 내지 제 26항 중 어느 한 항에 따른 디바이스를 포함하는, 멀티플렉서 디바이스.
28. 제 19항 내지 제 27항 중 어느 한 항에 따른 디바이스를 포함하는, 영상 획득 장치, 특히, 비디오 카메라 또는 사진 카메라.
29. 디스플레이를 위해 의도되지 않은 정보 및/또는 애플리케이션 데이터와, 디스플레이될 영상을 포함하는 적어도 하나의 프레임을 포함하는 디지털 비디오 스트림으로서,
    상기 적어도 하나의 프레임은 상기 영상의 픽셀들의 수를 초과하는 다수의 픽셀들을 포함하고, 상기 정보 및/또는 애플리케이션 데이터는 상기 영상에 의해 점유되지 않는 상기 프레임의 픽셀들에 할당되는, 디지털 비디오 스트림.
30. 제 29항에 있어서,
    상기 영상은 함께 다중화된 우측 영상 및 좌측 영상을 포함하는 복합 영상인, 디지털 비디오 스트림.
31. 제 29항 또는 제 30항에 있어서,
    상기 비디오 스트림은 ITU-T H.264 코딩 표준, "H.264 Advanced video coding for generic audiovisual services"에 따라 인코딩되는, 디지털 비디오 스트림.
32. 제 31항에 있어서,
    상기 비디오 스트림은 ITU-T H.264 코딩 표준, "H.264 Advanced video coding for generic audiovisual services"의 부록 H에 따라 인코딩되는, 디지털 비디오 스트림.
33. 제 29항 내지 제32항 중 어느 한 항에 있어서,
    상기 데이터는 상기 적어도 하나의 프레임 주변의 라인들 및/또는 열들에 배치되는, 디지털 비디오 스트림.
34. 제 29항 내지 제33항 중 어느 한 항에 있어서,
    상기 영상에 의해 점유되지 않는 상기 프레임의 상기 픽셀들 내의 데이터의 존재를 표시하도록 적응된 한 가지 정보를 포함하는 메타데이터를 더 포함하는, 디지털 비디오 스트림.
35. 비디오 스트림을 디코딩하기 위한 방법으로서,
    상기 비디오 스트림은 제 29항 내지 제34항 중 어느 한 항에 따른 비디오 스트림이고, 상기 방법은,
    - 상기 정보 및/또는 애플리케이션 데이터를 추출하는 단계,
    - 상기 영상을 추출하는 단계
    를 포함하는, 비디오 스트림을 디코딩하기 위한 방법.
36. 제 35항에 있어서,
    상기 정보 및/또는 애플리케이션 데이터는 상기 비디오 스트림에 입력된 메타데이터 내에 포함된 정보를 사용함으로써 추출되는, 비디오 스트림을 디코딩하기 위한 방법.
37. 제 36항에 있어서,
    - 특히 크로핑 윈도우(cropping window) 정보에 의하여, 크로핑될 프레임의 라인들 및/또는 열들을 찾는 단계,
    - 크로핑될 상기 라인들 및/또는 열들 내의 상기 정보 및/또는 애플리케이션 데이터를 검색하는 단계,
    - 상기 정보 및/또는 애플리케이션 데이터를 추출하는 단계
    를 더 포함하는, 비디오 스트림을 디코딩하기 위한 방법.
38. 제 35항 내지 제37항 중 어느 한 항에 있어서,
    상기 정보 및/또는 애플리케이션 데이터는 픽셀 값들에 의해 인코딩되고, 상기 방법은,
    - 상기 부가적인 라인들 및/또는 열들 중에서 불균일한 픽셀들을 포함하는 것들을 검색하는 단계,
    - 불균일한 픽셀들을 포함하는 상기 라인들 및/또는 열들로부터 상기 정보 및/또는 애플리케이션 데이터를 추출하는 단계
    를 포함하는, 비디오 스트림을 디코딩하기 위한 방법.
39. 제 35항 내지 제38항 중 어느 한 항에 있어서,
    상기 비디오 스트림은, 특히 적어도 하나의 복합 영상 또는 한 쌍의 우측 및 좌측 영상들을 포함하는 입체 비디오 스트림인, 비디오 스트림을 디코딩하기 위한 방법.
40. 제 35항 내지 제39항 중 어느 한 항에 있어서,
    디코딩될 상기 비디오 스트림의 프레임들은 전달 포맷이고, 상기 전달 포맷은 상기 추출된 데이터를 기초로 결정되고, 상기 비디오 스트림의 상기 프레임들의 상기 포맷은 상기 전달 포맷으로부터 표현 포맷으로 자동적으로 변환되는, 비디오 스트림을 디코딩하기 위한 방법.
41. 입체 비디오 스트림을 디코딩하기 위한 디바이스에 있어서,
    제 35항 내지 제40항 중 어느 한 항에 따른 방법을 구현하도록 적응된 수단을 포함하는, 입체 비디오 스트림을 디코딩하기 위한 디바이스.
42. 제 41항에 따른 방법을 구현하도록 적응된 비디오 스트림을 디스플레이하기 위한 디바이스.
43. 디스플레이 디바이스 상에 디스플레이를 위해 의도된 출력 비디오 스트림의 프레임들의 포맷으로 입력 비디오 스트림의 프레임들의 포맷을 변환하기 위한 디바이스에 있어서,
    제 1항 내지 제18항 중 어느 한 항의 방법에 따라 상기 입력 비디오 스트림에 입력된 정보 및/또는 애플리케이션 데이터를 기초로, 상기 입력 비디오 스트림을 상기 출력 비디오 스트림으로 변환하도록 적응된 수단
    을 포함하는, 입력 비디오 스트림의 프레임들의 포맷을 변환하기 위한 디바이스.
44. 제 43항에 있어서,
    상기 디바이스는, 상기 디바이스가 제작되거나 조립될 때 입력된 설정들에 기초하여, 상기 디스플레이 디바이스의 입력에서 사용될 포맷의 지식을 획득하는, 입력 비디오 스트림의 프레임들의 포맷을 변환하기 위한 디바이스.
45. 제 43항에 있어서,
    상기 디바이스는, 상기 디스플레이 디바이스로부터 수신된 정보에 기초하여, 상기 디스플레이 디바이스의 입력에서 사용될 표현 포맷의 지식을 획득하는, 입력 비디오 스트림의 프레임들의 포맷을 변환하기 위한 디바이스.
46. 제 43항에 있어서,
    상기 디바이스는, 사용자에 의해 수동으로 입력된 정보에 기초하여, 상기 디스플레이 디바이스의 입력에서 사용될 표현 포맷의 지식을 획득하는, 입력 비디오 스트림의 프레임들의 포맷을 변환하기 위한 디바이스.

Images