KR20140021563A - 입체 영상을 생성, 전송 및 수신하는 방법 및 장치 - Google Patents

Abstract

본 발명은 입체 한쌍의 좌측 및 우측 영상들의 모든 픽셀들을 통합시키는 합성 영상을, 아티팩트들 없이 효율적으로 압축될 수 있도록 압축 동안에 블록들 내 세그먼트화를 매칭시키는 타일-형식으로 생성하는 방법에 관련한다.

Description

입체 영상을 생성, 전송 및 수신하는 방법 및 장치{METHOD FOR GENERATING, TRANSMITTING AND RECEIVING STEREOSCOPIC IMAGES, AND RELATED DEVICES}

본 발명은 멀티미디어 분야에 관련하고, 특정하게는, 디스플레이 장치에서 적절하게 처리될때, 관찰자에게 3-차원으로 인식되는 영상들의 시퀀스들을 생성하는 비디오 스트림들과 같은 입체 비디오 스트림들을 생성, 전송 및 수신하는 방법 및 장치에 관련한다.

더욱 상세하게는, 본 발명은 청구항 1항의 전제부에 따라 입체 비디오 스트림들을 생성하는 방법에 관련한다.

공지되었듯이, 3-차원의 인식은, 두개의 영상들, 즉 뷰어의 우측 눈을 위한 영상 및 뷰어의 좌측 눈을 위한 영상을 재생함으로써 획득될 수 있다.

따라서, 입체 비디오 스트림은, 이후부터 우측 영상 및 좌측 영상으로써 각각 지칭되는, 대상 또는 장면에 대한 우측 및 좌측 관점에 따라, 영상들의 두개의 시퀀스들에 대한 정보를 전송한다.

입체 비디오 스트림에 의해 점유되는 대역을 제한하기 위한 방법으로써, 우측 및 좌측 영상들을 입체 비디오 스트림의 프레임으로 구성되는 합성 영상으로 멀티플렉싱하는 것으로 공지되어 있다.

멀티플렉싱 방법들은 또한, 우측 및 좌측 영상들을 더 작은 영역들로 분할한 후 합성 영상 내에 포함시키는 것으로써 공지되어 있다.

예를 들어, 특허 출원(WO2008/153863)은 우측 및 좌측 영상들의 70% 스케일링을 수행한 후 스케일링된 영상들이 8x8 픽셀들의 블록들로 분할되는 방법을 개시한다.

각각의 스케일링된 영상의 블록들은 대략 합성 영상의 절반과 동일한 영역으로 소형화될 있다.

다른 방법은, 특허 출원(WO2008/153863)에서 우측 및 좌측 영상 각각에 사선 스케일링을 적용함으로써 원본 영상이 평행사변형으로 변형되는 내용이 개시된다. 그후 두개의 평행사변형들은 삼각형 영역들로 분해되고, 직사각형 합성 영상이 구성되는데, 이때 두 개의 평행사변형들을 분해함으로써 획득된 직사각형 영역들은 재구성 및 재배열된다. 우측 및 좌측 영상들의 삼각형 영역들은, 그것들이 합성 영상의 사선에 의해 구분되는 식으로, 구성된다.

멀티플렉싱 단계 이후, 입체 비디오 스트림은, 예컨대 MPEG-2 또는 H.264 표준들에 의해 채용되는 것들과 같이 당업자에게 잘 공지된 압축 알고리듬들에 따라 압축된다.

그러한 압축 알고리듬들은 합성 영상을, 이후부터 매크로블록들로 지칭되는, 사전정의된 수치들을 갖는 픽셀들의 블록들로 분할시킨다.

매크로 블록들은, 예컨대, 공간적 상관성을 활용하기 위한 이산적 코사인 변환(DCT), 시간 상관성을 활용하기 위한 인접 프레임들간의 차와 움직임 보상의 부호화, 통계 리던던시를 감소시키기 위한 가변 길이 부호들(VLC), 가정 덜 중요한 정보를 제거하기 위한 DCT 계수 양자화와 같이, 비디오 스트림의 비트 레이트를 감소시키려는 목적으로, 일련의 처리 단계들을 거치게 된다.

H.264 표준의 경우에, 블록들은 정사각형화되어 16x16 픽셀들의 크기를 갖고; 다른 표준들은 예컨대, MPEG-2 및 JPEG 표준들을 위한 8x8 픽셀들과 같이, 다른 크기의 매크로 블록들을 이용한다.

본 출원인에 의해 실행된 여러개의 실험적 분석들을 통해, 매크로 블록들로의 분할을 이용하는 그러한 압축 알고리듬들은, 특허 출원(WO2008/153863)의 방법들로 생성된 합성 영상들에 적용될때, 특정하게는 합성 영상이 많은 불연속성을 나타내는 지점들에서, 가시적 아티팩트들을 갖는 압축된 영상들을 생성할 수 있다는 것을 보여주었다.

이러한 문제는, 우측 및 좌측 영상들이 분해되어 들어가는 영역들이 작아지면 질수록 더 크게 부각되는데, 이러한 상태는 사실, 영역 에지들을 따라 상당한 불연속성의 생성을 의미한다.

따라서, 특허 출원(WO2008/153863)의 멀티플렉싱 방법은 상당한 압축 아티팩트들을 생성할 수 있다.

그러므로, 본 발명의 목적은 종래 기술에서 발생한 몇몇 문제점들을 해결할 수 있는 입체 비디오 스트림을 생성하는 방법을 제공하는 것이다. 특정하게는 본 발명의 하나의 목적은, 즉 감소된 개수의 압축 아티팩트들을 생성하도록, 특정하게 추후 압축에 적합한 입체 비디오 스트림을 생성하는 방법을 제공하는 것이다.

본 발명의 다른 목적은 방대한 계산상의 자원들을 필요치 않는 입체 비디오 스트림을 생성하는 방법을 제공하는 것이다.

본 발명의 이러한 목적들 및 다른 목적들은, 본 발명의 상세한 설명의 중요 부분으로써 간주되는 첨부된 청구항들에서 설명된 특징들을 통합하는 입체 비디오 스트림을 생성하는 방법 및 시스템을 통해 달성된다.

본 발명에 기초한 일반적 개념은 입체 비디오 스트림의 한쌍의 우측 및 좌측 영상들을 포함하는 합성 영상을 생성하는 방법으로 구성된다.

그러한 방법은 합성 영상의 매크로 블록들의 격자 정의를 제공하는데, 이때 격자의 각 매크로 블록은 다수의 인접 픽셀들을 포함한다. 한 쌍의 우측 및 좌측 영상들 중 하나의 영상은, 요소 영역들로 지칭되며 다수의 연속 픽셀들을 포함하는 다수의 영역들로 분해된다. 그후, 이러한 요소 영역들은 다른 대응하는 영역들을 생성하기 위한 방식으로 처리되는데, 상기 대응 영역들은 파생 영역들로 지칭되며 대응하는 요소 영역의 최소한 모든 픽셀들을 포함하고 정수 개수의 매크로 블록들로 분해될 수 있다. 그후, 비-분해된 영상 및 파생 영역들은, 자신들의 모든 에지들이 앞서 정의된 격자의 매크로 블록들의 에지들과 일치하는 방식으로, 합성 영상에 포함되어진다.

그러한 방법은 압축 아티팩트들에 훨씬 덜 영향을 받으면서 낮은 계산 비용이 요구되는 입체 비디오 스트림을 생성한다.

본 발명의 일양상에 따라, 우측 및 좌측 영상들은 임의의 스케일링 동작들, 즉 영상들의 모든 픽셀들을 디스플레이 되도록 컨테이너 프레임 내에 위치시키는 동작의 수행 없이, 컨테이너 프레임 내에 포함된다.

유리하게, 우측 영상 및 좌측 영상 중 하나는 합성 영상 내에서 이용가능한 공간 및 변화되지 않고 남은 다른 영상에 의해 점유된 공간을 고려함으로써, 가능한 최저 개수의 영역들로 분해된다.

이는 제한된 계산 자원들을 필요로 하고, 이에 의해 본 발명의 방법을 구현하는 장치들의 비용면에서의 이점을 가져온다.

유리하게, 매크로 블록들은 16x16 픽셀들의 크기를 갖는다. 이러한 해결책은 특정하게는, 대개 현재 고화질 TV(H.264 표준)에 대해 이용되는 압축 알고리듬의 사용에 적합하다.

본 발명은 또한, 합성 영상을 생성하기 위한 상기 방법의 구현을 허용하는 시스템에 관련한다.

특정하게는, 본 발명에 따라, 그러한 시스템은: 상기 한쌍의 우측 및 좌측 영상들 중 하나의 영상을 다수의 연속 픽셀들을 포함하는 다수의 요소 영역들로 분해하기 위한 분해기 모듈, 상기 요소 영역들을 대응하는 파생 영역들을 생성하기 위한 방식으로 처리하기 위한 처리 모듈, 합성 영상 생성기 모듈을 포함할 수 있는데, 상기 생성기 모듈은 합성 영상의 매크로 블록들의 격자를 정의하고, 상기 한쌍의 비-분해된 영상 및 상기 합성 영상 내의 상기 파생 영역들을 비-분해된 영상 및 파생 영역들의 모든 에지들을 상기 격자의 매크로 블록들의 에지와 일치시키는 방식으로 배열하도록 적응된다.

다른 양상에 따라, 본 발명은 또한, 합성 영상(특정하게는 매크로 블록 격자의 정의에 기초하여, 위에서-설명된 유형의 방법 및/또는 시스템에 따라 생성된 합성 영상)으로부터 발생하는 한쌍의 영상들을 재구축하기 위한 방법 및 시스템에 관련한다.

일실시예에서, 한쌍의 영상들을 재구축하기 위한 상기 방법은 합성 영상의 연속 매크로 블록들의 단일 그룹을 복사함으로써 한쌍의 영상들 중 제 1 영상을 생성하는 것을 제공한다. 반대로, 다른쪽 영상은, 합성 영상의 다수의 파생 영역들이 추출되고 각각의 파생 영역은 상기 격자의 매크로 블록들의 에지들에 대응하는 에지들을 갖는 프로세스에 의해 생성된다. 파생 영역들은 대응하는 요소 영역들을 생성하도록 처리되는데(예컨대, 회전들을 통해 복사 및/또는 변형되는데), 이때 요소 영역의 모든 픽셀들은 파생 영역의 픽셀들에 대응한다. 그후, 영상은 요소 영역들을 함께 결합시킴으로써 생성된다.

다른 양상에 따라, 본 발명은 매크로 격자의 정의에 기초하여 압축 및 압축해제 프로세스를 거친 합성 영상으로부터 발생하는 한쌍의 우측 및 좌측 영상들을 재구축하기 위한 시스템에 관련한다. 상기 시스템은: 상기 합성 영상의 영역으로부터 연속 픽셀들의 단일 그룹을 복사함으로써 상기 한쌍의 우측 및 좌측 영상들 중 제 1 영상을 생성하기 위한 제 1 추출기 모듈; 압축해제된 합성 영상으로부터 다수의 파생 영역들을 추출하도록 적응된 제 2 추출기 모듈 - 상기 파생 영역 각각은 격자의 매크로 블록들의 에지들에 대응하며 상기 픽셀들의 단일 그룹 내에 포함되지 않은 다수의 픽셀들을 포함함 -; 대응하는 합성 영역들을 생성하기 위한 방식으로 상기 파생 영역들을 처리하기 위해 상기 추출기 모듈에 기능적으로 연결된 처리 모듈; 상기 한쌍의 우측 및 좌측 영상들 중 하나의 영상을 생성하기 위해 상기 요소 영역들을 함께 결합시키도록 적응되고 상기 처리 모듈에 기능적으로 연결된 제 2 재조립기 모듈을 포함한다.

본 발명의 다른 목적들 및 이점들은 하기의 상세한 설명에서 더욱 명확해질 것이다.

본 발명의 몇몇 선호되는 그리고 유리한 실시예들이 첨부된 도면들을 참조하여 비-제한적 예의 방식으로 지금부터 설명될 것이다.

도 1은 입체 비디오 스트림을 생성하기 위한 시스템의 블록도.
도 2는 합성 영상의 제 1 유형도.
도 3은 합성 영상의 제 2 유형도.
도 4는 도 1의 장치에 의해 실행되는 방법의 흐름도.
도 5는 합성 영상에 포함되어지는 영상의 분해의 제 1 형태도.
도 6은 본 발명의 제 1 실시예에 따라 도 2에 도시된 타입의 합성 영상을 구성하는 제 1 단계를 도시하는 도면.
도 7은 도 6의 완료된 합성 영상을 도시한 도면.
도 8은 합성 영상에 포함되어지는 영상의 분해의 제 2 형상을 도시한 도면.
도 9는 본 발명의 제 2 실시예에 따라 도 3에 도시된 타입의 합성 영상을 구성하는 제 1 단계를 도시한 도면.
도 10은 도 9의 완료된 합성 영상을 도시한 도면.
도 11은 합성 영상에 포함되어지는 영상의 분해의 제 3 형상을 도시한 도면.
도 12는, 도 11에 표시된 영역들이 포함되어 들어가는 합성 영상을 도시한 도면.
도 13a, 13b 및 13c는 합성 영상을 생성하기 위한 다른 엘리먼트들 및 단계들의 다른 실시예를 도시한 도면들.
도 14a 및 14b는 합성 영상의 다른 실시예를 도시한 도면.
도 15a 및 15b는 합성 영상의 또다른 실시예를 도시한 도면.
도 16은 본 발명의 방법에 따라 생성된 합성 영상을 수신하기 위한 수신기의 블록도.
도 17은 도 4의 흐름도에 도시된 방법에 따라 합성 영상에 멀티플렉싱되는 우측 및 좌측 영상들을 재구축하기 위한 방법의 흐름도.

매크로 블록들을 포함하는 프레임들을 도시하는 도면들에서, 명료성과 가독성을 위해, 도시된 매크로 블록들의 개수의 실제보다 더 적다.

위에서-언급된 도면들은 본 발명의 상이한 양상들 및 실시예들을 도시하고, 필요할시에는, 다양한 도면들에서 유사한 구성들, 컴포넌트들, 재료들 및/또는 엘리먼트들이 동일한 또는 유사한 참조 번호로써 지정된다.

도 1은 압축 모듈(106)에 연결된 패커 디바이스(100)를 포함하고, 압축된 입체 비디오 스트림(107)을 생성하기 위한 시스템(1)의 블록도를 도시한다. 대체 실시예에서, 압축 모듈(106) 및 패커 디바이스(100)는 동일한 장치 내에 포함될수 있다.

패커 디바이스(100)는, 각각 좌측 눈(L) 및 우측 눈(R)에 대해 의도되는 예컨대, 두개의 비디오 스트림들과 같은 두개의 영상 시퀀스들(102, 103)을 수신한다.

패커 디바이스(100)는 두개의 시퀀스들(102, 103)의 두개의 영상들을 멀티플렉싱하는 것을 포함하는 입체 비디오 스트림을 생성하기 위한 방법을 구현하도록 허용한다.

우측 및 좌측 영상들의 멀티플렉싱하는 방법을 실행하기 위해, 패커(100)는 입력 영상(도 1의 예에서는 우측 영상(R))을, 각각의 입력 영상의 하나의 영역에 대응하는 다수의 서브-영상들로 분해하기 위한 분해기 모듈(104)을 포함한다. 도 1의 실시예에서, 우측 영상(R)은 세개의 서브-영상들(R1, R2, R3), 즉 가능한 가장 적은 개수의 직사각형 서브-영상들로 분해된다. 조립기 모듈(105)은 비-분해된 영상, 및 분해기 모듈(104)에 의해 출력되고 모듈(108)에 의해 처리 가능한(이후에 설명됨) 서브-영상들(R1, R2 및 R3) 을 수신한다.

그후, 조립기 모듈(105)은 영상(L) 및 수신된 서브-영상들(R1, R2 및 R3)을 패커(100)에 의해 출력된 단일 합성 영상(C)에 포함시킴으로써 컨테이너 프레임을 구축한다.

패커(100)에 의해 출력된 합성 영상들(C)의 시퀀스는 압축해제된 입체 비디오 스트림(101)으로 구성된다.

압축 모듈(106)은 입체 비디오 스트림(101)을 수신하여 그것을 압축한다. 그후, 압축 모듈(106)은 압축되지 않은 입체 비디오 스트림(101)보다 더 낮은 비트 레이트를 갖는 압축된 입체 비디오 스트림(107)을 생성한다.

압축 모듈은 비디오 스트림(101)을 수신하고 그것을 예컨대 MPEG 표준들(MPEG 2, MPEG 4 또는 H.264)에 의해 이용되는 압축 알고리듬들과 같은 그 자체로 공지된 압축 알고리듬들에 따라 처리한다.

압축 모듈(106)에 의해 이용된 알고리듬들은, 압축되어질 영상을 예컨대 16x16 또는 8x8과 같은 사전 결정된 수치들을 갖는 픽셀들의 연속 블록들과 같은 규칙적 격자의 매크로 블록들로 분해함으로써 동작한다. 그후, 단일 매크로 블록들은 여기에서는 설명되지 않을 공지된 기술들에 따라 처리된다.

도 2는 비디오 스트림(101)의 합성 영상(200)의 제 1 예로써, 상기 합성 영상은 1920x1088 픽셀들의 크기를 가짐으로써, 정수 개수의, 16x16 픽셀들의 정사각형 매크로 블록들로 분해될 수 있다. 명확성을 위해, 도 2의 예는 실제보다 훨씬 적은, 다수의 매크로 블록들(201)을 도시한다. 매크로 블록들을 포함하는 다른 모든 도면에서도 동일하게 적용된다.

매크로 블록들(201)은 서로 중첩되지 않고 합성 영상(200)의 모든 픽셀들을 커버함으로서, 규칙적 격자를 형성한다.

만일 압축 모듈(106)에 의해 수신된 합성 영상(C)이, 정수 개수의 동일한 크기를 갖는 매크로 블록들로 분할되기에 적합하지 않은 크기를 가지면, 압축 모듈(106)은 그러한 영상을 모든 동일한 수치들을 갖는 정수 개수의 매크로 블록들로 분해 가능하도록 하기 위해, 그러한 수신된 합성 영상에 얼마간의 픽셀들을 추가할 것이다. 이러한 추가된 픽셀들은 임의의 값들의 채도 및 휘도를 가질 수 있다.

예를 들어, 도 3은 1920x1080 픽셀들의 크기를 갖는, 즉 1080p 타입의 비디오 스트림 프레임(1920x1080 픽셀들을 갖는 순차형(progressive format))의 합성 영상(300)을 도시하는데, 이때 마지막 행의 매크로 블록들은 다른 모든 매크로 블록들의 절반 크기의 수직 수치를 갖는다. 합성 영상(300)을 수신하면, 압축 모듈(106)은, 수신된 영상이 특정하게는 수직 수치를 따라, 정수 개수의 비-중첩 매크로 블록들로 완전히 분할될 수 없다고 결정한다.

그 결과, 압축 모듈(106)은 합성 영상(300)의 하단 에지 아래에 1920 픽셀들의 8개의 행들(303)을 추가함으로써, 새로운 합성 영상(302)을 획득하게 되고, 이러한 영상은 16x16 크기를 갖으면서 8160개의 매크로 블록들(301)로 정확히 분할될 수 있는, 1920x1088 픽셀들의 크기를 갖는 수정된 합성 영상으로써 지칭된다. 실제 구현 예에서, 추가된 8개의 행들(303)의 모든 픽셀들은 초록색으로써 인식되는 그러한 채도 및 휘도값들을 갖는다. 마지막으로, 압축 모듈(106)은 압축 알고리듬들을 수정된 합성 영상(302)에 적용한다.

위의 동작 모드의 결과로써, 영상(302)의 하단에는, 더 큰 불연속성(원본 영상(300)의 마지막 8개의 행들과 추가된 8개의 행들(303)간의 전이)을 나타내는 매크로 블록들이 존재할 것이다. 이는, 다음 압축 단계에서, 수신기에서 압축해제된 합성 영상 내에서 자신들을 나타내는 아티팩트들, 및 그로 인해 수신기 그 자체에서 재구축된 영상들(L 및 R)(이후부터는 Lout 및 Rout로 지칭됨) 내에서 또한 자신들을 나타내는 아티팩트들을 유발할 수 있다. 그럼에도 불구하고 그러한 아티팩트들은, 만일 그들이 영상들(Lout 및 Rout)의 에지들에 존재하면, 별로 가시적이지 않지만, 만일 영역들(R)로 분할된 영상의 재구성 프로세스로 인해 아티팩트들이 그러한 재조립된 영상(Rout) 내부에 존재하면, 그러한 아티팩트들은 매우 가시적일 수 있게 된다.

패커(100)에 의해 구현된 멀티플렉싱 방법의 일예가 지금부터 도 4 및 5를 참조하여 설명될 것이다.

방법은 단계(400)에서 시작하고; 그 후(단계(401)), 컨테이너 프레임(C) 및 각각의 매크로 블록 격자가 정의된다.

일실시예에서, 도 6의 예를 참조하여 도시된 바와 같이, 좌측 영상(L)이 컨테이너 프레임(C) 내로 포함되고 상부 좌측 코너에 위치된다. 이는 영상(L)의 1280x720 픽셀들을 컨테이너 프레임(C)의 처음 720개의 행들의 처음 1280 픽셀들로 구성되는 영역(C1) 내에 복사함으로써 획득된다.

이하의 설명에서는 영상을 프레임 내에 포함시키거나, 픽셀들을 하나의 프레임에서 다른 프레임으로 전달 또는 복사하는 것이 참조될때, 동일한 픽셀들을 소스 영상으로써 포함하는 새로운 프레임을 (하드웨어 및/또는 소프트웨어 수단을 이용하여) 생성하는 절차를 실행하는 것을 의미한다는 것이 이해된다.

소스 영상(또는 소스 영상의 픽셀들의 그룹)을 타겟 영상 내에 재생산하기 위한 (소프트웨어 및/또는 하드웨어)기술들은 본 발명의 목적에 관해서 중요치 않은 것으로써 간주되고, 더 이상의 여기에서는 논의되지 않을 것이며, 당업자에게는 그 자체로 잘 공지되어 있다.

두개의 입력 영상들(우측 및 좌측 영상들)의 다른 영상(501)은 도 5에 도시된 바와 같이, 다수의 영역들로 분해된다(단계(402)). 도 5의 예에서, 분해된 영상(501)은 720p 비디오 스트림의 프레임(R), 즉 1280x720 픽셀들의 해상도를 갖는 순차형이다.

영상(501)은 우측 눈에 대해 의도되는 영상들을 전달하는 비디오 스트림(103)으로부터 비롯되고, 세 개의 직사각형 영역들(R1', R2' 및 R3')로 분해됨으로써, 이러한 영역들 각각은 예컨대, 서로 중첩하지 않으면서 16x16 픽셀들의 크기를 갖는 정수개의 다중 매크로 블록들을 포함한다. R1', R2' 및 R3' 각각은 이하에서 설명되는 특정 실시예에서 획득되는 영역들(R1, R2 및 R3) 및 프레임(C)을 지정한다.

영상(501)의 분해는 그러한 영상을 동일한 크기의 두개의 부분들로 분할한 후, 이러한 두개의 부분들 중 하나를 두개의 다른 부분들로 재분할함으로써 획득된다.

영역(R1')은 640x720 픽셀들의 크기를 갖고, 각 행의 처음 640 픽셀들 모두를 취함으로써 획득된다.

영역(R2')은 640x360 픽셀들의 크기를 갖고, 처음 368개의 행을 중 641에서 1280까지의 픽셀들을 취함으로써 획득된다.

영역(R3')은 640x352 픽셀들의 크기를 갖고, 영상(R)의 남아있는 픽셀들, 즉 마지막 352개의 행들 중 641에서 1280까지의 픽셀들을 취함으로써 획득된다.

분해 단계는, 서브-영상들(R1', R2' 및 R3')을 출력하는 모듈(104)에 의해 실행된다.

결과적으로, 조립기 모듈(105)은 우측 및 좌측 입력 영상들에 관한 정보를 포함하는 합성 영상(C)을 구축하고; 아래에서 설명된 예에서, 상기 합성 영상(C)은 출력 입체 비디오의 프레임이며, 이에 따라 그러한 영상은 컨테이너 프레임(C')으로써도 지칭된다.

이러한 실시예에서, 컨테이너 프레임(C')은 도 2를 참조하여 앞서 설명된 유형, 즉 규칙적 격자에 의해 정수 개수의 16x16 매크로 블록들로 완전히 분해될 수 있는 1920x1088 픽셀들의 영상이다.

더욱 일반적으로, 요소 영역들로 지칭되는 영역들(R1, R2 및 R3)은, 대응하는 요소 영역의 최소한 모든 픽셀들을 포함하는 대응하는 파생 영역들을 생성하기 위한 방식으로 처리될 수 있다(단계(403)). 이러한 단계는 도 1에서 점선으로 그려진 모듈(108)에 의해 실행된다. 도 5 및 도 7을 참조하여 앞서 설명된 실시예에서, 영역들(R1', R2' 및 R3')의 처리는 발생하지 않는다. 그 결과, 요소 영역들(R1, R2 및 R3) 및 파생 영역들(R1der, R2der 및 R3der)이 동일한, 단계(403)가 존재하지 않는다. 추가하여, 이러한 실시예에서, 도 1의 처리 모듈(108)은 분해기 모듈(104)에 의해 생성된 요소 영역들을 조립기 모듈(105)로 전송하는 작업만을 실행한다.

본 발명의 다양한 실시예들을 도시하는 도면들 및 내용이 복잡해지는 것을 방지하기 위해셔, 파생 영역들이, 요소 영역과 동일할 때에는, Rider, Ri'der, Ri"der, Ri"'der 및 Ri""der 대신 Ri, Ri', Ri", Ri"' 및 Ri"" 로써 간단히 지정되는데, 이때 인덱스는 1 내지 4의 값들을 가질 수 있다. 아포스트로피가 없는 참조번호(R1, R2, R3, R4 및 C)는 또한, 본 발명의 특정 실시예와 상관없이, 일반적 요소 영역 및 프레임 또는 합성 영상을 표시할때에만 이용될 것이다.

대체 실시예들에서, 하나 또는 다수의 파생 영역들의 형성을 유도하는 동작들은 회전들, 인버전들, 픽셀 추가들 등일 수 있고, 분해기 모듈(104)과 조립기 모듈(105) 사이에 위치되는 처리 모듈(108)에 의해 실행된다.

도 7의 예를 다시 보면, 컨테이너 프레임은, 변화되지 않고 비-분해된 좌측 영상을 컨테이너 프레임(C') 내에 우선 포함시킴으로써 조립된다(단계 (404)). 특정하게는, 좌측 영상(L)이, 자신의 모든 에지들이 컨테이너 프레임(C')의 매크로 블록들의 에지들과 동일하게 되는 방식으로, 컨테이너 프레임 내에 포함된다.

영역(R')은 처음 720개의 행들의 마지막 640개 픽셀들(영역(C2'))에, 즉 앞서 복사된 영상(L) 옆에 복사된다.

영역들(R2' 및 R3')은 역역(C1') 아래, 즉 마지막 368개의 행들의 처음 640개 픽셀들 및 721에서 1072까지의 행들의 다음 640 픽셀들을 각각 포함하는 영역들(C3' 및 C4') 내에 각각 복사된다.

만일 영역들(R2' 및 R3')이 동일한 크기(즉, 둘다 640x360)라면, 하단에서의 매크로 블록들의 마지막 행은 내부적 불연속성을 갖는 매크로 블록들을 포함하게 되는데, 그러한 블록들은 영역들(R2' 및 R3')에 속하는 8개의 행들에, 전형적으로 모두 동일한 픽셀들을 포함하는 하단에 추가된 8개의 행들이 더해져서 구성된다는 것이 인지되어야겠다. 도 5 및 도 7을 참조하면, 동일한 크기를 갖는 영역들(R2 및 R3)을 갖는 그러한 상황은, R의 우측 하단 에지(R3의 아티팩트들)에서뿐만 아니라 R의 중앙(R2'의 하위 에지에 속하는 아티팩트들)에 위치될 수 있는 아티팩트들을 갖기 쉬운 픽셀들이 될 수 있다는 것이 이해될 수 있다.

그후, 패커에 의해 형성된 컨테이너 프레임들(C)은 압축 모듈(106)로 전달되고, 그러한 모듈은 프레임들을 단계(405)에서 압축함으로써, 압축된 입체 비디오 스트림(107)이 생성된다. 방법은 압축된 입체 비디오 스트림의 전송 또는 저장이 일어나면서 단계(406)에서 종료한다.

도 5에 도시된 해결책에 대한 대체예로써, 영역들(R2' 및 R3')은 본 발명의 효율에 대한 제한없이, 컨테이너 프레임(C') 내 픽셀들의 그룹에 의해 구분된 분리 영역들(즉, 중첩되지 않고 이웃하지도 않는)로 복사될 수 있다.

위에서-설명된 멀티플렉싱 예는, 만일 H.264 인코더들에게 비디오 스트림을 1088- 행 형식과는 반대의 1080-행 형식으로 운반할 수 있는 입력 HD-SDI(고 화질-직렬 디지털 인터페이스)가 제공되면, 이용될 수 없다. 따라서 동일한 발명적 개념을 이용하는 다른 가능한 멀티플렉싱 방법들이 아래에서 설명될 것이며, 이는 상기 인터페이스와 호환가능하다.

도 5에 대한 대체예로써의 실시예에서, 우측 영상은 가능한 가장 적은 개수가 아닌 다수의 직사각형 영역들로 분해될 수 있다. 이러한 종류의 해결책은 도 8에 도시되는데, 이때 영상(801)(비디오 스트림(103)으로부터 발생)은 네 개의 직사각형 영역들(R1", R2", R3" 및 R4")로 분해되고, 이러한 영역들 각각은 정수 개수의 16x16 매크로 블록들을 포함한다.

일실시예에서, 영상(801)은 그러한 영상을 두개의 동일한 크기의 부분들로 분할한 후, 이러한 두개의 부분들 중 하나를 세개의 동일한 부분들로 다시 분할함으로써 분해된다.

영역(R1")은 640x720 픽셀들의 크기를 가지고, 각각의 행에서 처음 640 픽셀들 모두를 취함으로써 획득된다.

영역(R2")은 640x240 픽셀들의 크기를 가지고, 처음 240개의 행들에서 641에서 1280까지의 픽셀들을 취함으로서 획득된다.

영역(R3")은 640x240 픽셀들의 크기를 가지고, 241에서 480까지의 행들에서 641에서 1280까지의 픽셀들을 취함으로써 획득된다.

마지막으로, 영역(R4")은 640x240 픽셀들의 크기를 가지고, 영상(801)의 남아있는 픽셀들, 즉 481에서 720까지의 행들에서 641에서 1280까지의 픽셀들을 취함으로써 획득된다.

도 9 및 도 10을 참조하여 아래에서 설명된 예에서, 영상(801)이 도 3의 영상(300)(즉, 정수 개수의 비-중첩 16x16 매크로 블록들로 완전히 분해될 수 없는 영상)을 참조하여 앞서 설명된 타입의 컨테이너 프레임(C") 내에 포함된다. 특정하게는, 컨테이너 프레임(C")은 1920x1080 픽셀들의 크기를 갖는다.

도 4의 예에서, 멀티플렉싱 방법은, 컨테이너 프레임(C")이 압축 단계 동안에 분해되어 들어가는 16x16 매크로 블록들의 격자 정의를 제공한다.

격자는 상부 좌측 코너에서의 첫번째 픽셀에서 시작하여 정의된다. 뒤이어, 컨테이터 프레임(C")은 하위 에지에서 비-정수개의 매크로 블록들을 포함한다. 사실, 이러한 매크로 블록들의 그룹은 남아있는 매크로 블록들의 절반 수치의 수직 수치를 갖는다.

도 9의 예에서, 좌측 영상(L)이, 자신의 모든 에지들이 컨테이너 프레임(C")의 매크로 블록들의 에지와 일치하는 방식으로, 상부 좌측 코너에서 컨테이너 프레임(C") 내에, 변화됨 없이 포함된다. 이는 영상(L)의 1280x720 픽셀들을 컨테이너 프레임(C")의 처음 720개의 행들의 처음 1280 픽셀들로 구성되는 영역(C1")에 복사함으로써 획득된다.

그 결과, 모듈(104)에 의해 분해된 영상(801)은 컨테이너 프레임(C") 내에 포함된다. 이는 분해된 영상의 픽셀들을 컨테이너 프레임(C") 내 영상(L)에 의해 점유되지 않은 영역들, 즉 영역(C1") 외부에 복사함으로써 모듈(105)에 의해 달성된다.

우측 영상(801)이 분해되어져 들어간 영역들(R1", R2", R3" 및 R4")에 대응하는 네개의 서브-영상들은, 자신들이 중첩하지 않고 자신들의 에지들이 컨테이너 프레임(C")의 매크로 블록들의 에지들과 일치하는 방식으로, 컨테이너 프레임(C")내에 포함된다.

이러한 예에서도 역시, 영역들(R1", R2",R3" 및 R4")은 어떠한 변경 없이 프레임(C")의 각 영역들에 복사되고; 이에 의해, 복사된 영역들은 요소 영역들과 일치한다.

모듈(105)에 의해 출력된 컨테이너 프레임(C")의 예는 도 10에서 개략적으로 도시된다.

영역(R1")은 처음 720개의 행들의 마지막 640 픽셀들(영역 C2"), 즉 앞서 복사된 영상(L) 옆에 복사된다.

영역들(R2", R3") 각각은 영역(C1") 아래에, 각각이 721에서 960까지의 행들의 처음 640 픽셀들 및 721에서 960까지의 행들의 다음번 640 픽셀들을 포함하는 영역들(C3" 및 C4")에 복사된다. 영역(R4")은 영역(C2") 아래에, 721에서 960까지의 행들의 마지막 640 픽셀들에 해당하는 영역(C5")에 복사된다. 따라서, 마지막 120개의 행들을 비어있게 된다.

도 4에 도시된 바와 같이, 패커(100)에 의해 생성된 컨테이너 프레임(C")은 압축 모듈(106)을 통해, 압축된 입체 비디오 스트림으로 처리된다.

압축 알고리듬들을 적용하기 전에, 압축 모듈(106)은 컨테이너 프레임(C") 하단에 1920 픽셀들의 8개의 행들을 추가함으로써, 규칙적 격자의 매크로 블록들로 분해될 수 있는 수정된 컨테이너 프레임을 획득하게 된다.

내 개의 영역들로의 영상(801)의 분해 및 그것들의 프레임(C") 내로의 이후 배열은 수정된 컨테이너 프레임의 하단의 매크로 블록들의 마지막 행들로 하여금 유용하지 않은 정보를 포함하도록 유발시킨다. 따라서, 압축 모듈(106)에 의해 추가된 8개의 행들에 의해 잠재적으로 생성된 불연속성은 재구성된 영상 상에는 아티팩트들을 생성하지 않게 된다.

도 10에 도시된 해결책에 대한 대체예로써, 영역들(R2", R3" 및 R4")은 컨테이너 프레임(C") 내에서 영역들(L 및 R1")과 분리된 영역들, 즉 상기 영역들(L 및 R1")과 중첩하지 않고 이웃하지도 않는 영역들에 복사될 수 있다.

특정하게는, 영역들(R2", R3" 및 R4")은 영역들(L 및 R1") 및 컨테이너 프레임(C")의 하단 에지와 분리되어서 정렬될 수 있다. 대체하여, 영역들(R2", R3" 및 R4")은 서로 정렬되지 않은 위치들에서 상이한 높이들로 배열될 수 있다.

특정 상황들에서는 효율적이고 유리할지라도, 위에서-설명된 멀티플렉싱 방법은, 영상(R)을 네개의 직사각형 영역들, 즉 컨테이너 프레임 및 영상들(R 및 L)의 수치들을 고려할때 필요한 최소 개수보다 하나 더 많은 영역들로 분할한다는 단점을 갖는다.

본 발명에 따른 멀티플렉싱 방법의 실시예의 다른 예는 도 11 및 도 12를 참조하여 지금부터 설명될 것이다.

720p 비디오 스트림의 시퀀스(103)으로부터 취해진 영상(901)은 세개의 직사각형 영역들(R1"', R2"', R3"')로 분해된다. 특정하게는, 영상(901)은 영상을 두개의 동일한 크기의 부분들로 분할한 후 이러한 두개의 부분들 중 하나를 다시 두개의 동일한 부분들로 분할함으로써 분해된다.

영역(R1"')은 640x720 픽셀들의 크기를 가지고, 각 행의 처음 640 픽셀들 모두를 취함으로써 달성된다.

영역(R2"')은 640x360 픽셀들의 크기를 가지고, 처음 360개의 행들의 641에서 1280까지의 픽셀들을 취함으로써 획득된다.

영역(R3"')은 640x360 픽셀들의 크기를 가지고, 361에서 720까지의 행들의 641에서 1280까지의 픽셀들을 취함으로써 획득된다.

위에서-설명된 예들에서와 같이, 우측 영상을 분해하는 단계는, 이러한 특정한 경우에, 세 개의 영역들(R1"', R2"', R3"')에 해당하는 세개의 서브-영상들을 출력하는 모듈(104)에 의해 실행된다.

그후, 합성 영상(C"'), 또는 컨테이너 프레임(C"')은, 수신된 두개의 우측 및 좌측 영상들의 정보를 포함하도록 구성된다.

이러한 예에서, 컨테이너 프레임(C"')은, 특정하게 1920x1080 픽셀들의 크기를 가지는 도 3의 영상(300)을 참조하여 앞서 설명된 타입의 합성 영상이다.

좌측 영상(L)은 도 7 및 도 10의 예들을 참조하여 설명된 바와 같이, 상부 좌측 코너에서 컨테이너 프레임(C"') 내에 어떠한 변경없이 포함된다.

그후, 모듈(104)에 의해 분해된 영상(901)은 컨테이너 프레임(C"') 내 영상(L)에 의해 점유되지 않은 영역들 내에 포함된다.

모듈(105)에 의해 출력된 컨테이너 프레임(C"')의 예는 도 12에 도시된다.

영역(R1"')은 처음 720개의 행들의 마지막 640 픽셀들, 즉 앞서 복사된 영상(L)의 옆에 복사된다.

영역들(R2"' 및 R3"')은 좌측 프레임(L)에 의해 점유된 영역 아래에, 각각 721에서 1080까지의 행들의 처음 640 픽셀들 및 721에서 1080까지의 행들의 다음 640 픽셀들을 포함하는 영역에 복사된다.

그후, 컨테이너 프레임(C"')은 압축 모듈(106)로 전달되는데, 상기 모듈은 컨테이너 프레임 자체의 하단에 1920 픽셀들의 8개의 행들(1200)을 추가함으로써, 정수 개수의 비-중첩하는 16x16 매크로 블록들로 완벽하게 분할가능한 1920x1088 픽셀들의 크기를 갖는 수정된 프레임(1201)을 획득하게 된다.

압축 단계 동안의 임의의 왜곡을 회피하기 위해, 버퍼 영역(Rc2)가 영역(R2"') 아래, 즉 수정된 프레임(1201)의 마지막 8개의 행들(추가된 행들)의 처음 640 픽셀들 내에 포함된다.

도 13a, 13b 및 13c에 도시된 실시예의 특정 예에서, 버퍼 영역(Rc2)은 영역(R3"')의 처음 8개의 행들의 복사이다. 모듈(108)에 의해 수행된 이러한 처리에 의해, 영역(R2"')은 640x368 픽셀들의 크기를 갖는 파생 영역(R2"'der)으로 변형된다. 영역(R2"'der)은 영역(R2"') 및 버퍼 영역(Rc2)을 포함하기 때문에, 정수 개수의 매크로 블록들로 완벽하게 분할가능하고; 또한 자신의 에지들이 격자 프레임(1201)의 매크로 블록들의 에지들과 일치하도록 위치된다.

영역(R3"')은 또한 자신에게 8-행 버퍼 영역(Rc3)을 추가시켜 처리됨으로써 정수 개수의 매크로 블록들에 의해 분할가능한 파생 영역(R3"'der)을 획득하게 된다.

일실시예에서, 버퍼 영역(Rc3)은, 예컨대 모든 값들이 동일한 초록색에 해당하는 것과 같이 임의적 픽셀 값들을 가질 수 있는데, 왜냐하면 발생하는 최종 불연속성은, 재구축된 우측 영상의 에지에 위치함으로써 사용자에 의해 별로 인식되지 않은 압축 아티팩트들을 생성하기 때문이다.

마지막으로, 수정된 컨테이너 프레임들(1201)을 포함하는 입체 비디오 스트림은 압축 모듈(106)에 의해 압축된다.

본 발명은 위에서-설명된 예시적 실시예들로만 제한되지 않고, 당업자라면, 예컨대 도 14a 및 14b가 가능한 상이한 버퍼 영역(Rc2)을 표시하는 것과 같이 위에서-설명된 방법에 대한 다수의 변화들을 이룰수 있음이 자명할 것이다.

도 13a 내지 13c의 예에서와 같이, 요소 영역들은 도 11을 참조하여 앞서 설명된 영역들이다. 마찬가지로 이러한 경우에도, 파생 영역(R2"'der)은 요소 영역(R2"') 및 버퍼 영역(Rc2)을 포함함으로써, 640x368 픽셀들의 크기를 갖는다.

버퍼 영역(Rc2)은 영역(R2"')의 하단 에지에 추가되고, 반대 순서로 배열된, 즉 행 359는 버퍼 영역(Rc2)의 첫번째 행에 대응하고 행(358)은 버퍼 영역(Rc2)의 두번째 행에 대응하는 식으로 배열된, 영역(R2"')의 352에서 359까지의 행들에 대응하는 픽셀들을 포함한다.

파생 영역(R2"')을 획득하는 다른 방식은 도 15a 및 도 15b를 참조하여 지금부터 설명될 것이다. 마찬가지로 이러한 경우에도, 요소 영역들은 도 11을 참조하여 앞서 설명된 영역들이다. 영역(R2"')은, 이후에 640 픽셀들의 8개의 행들을 갖는 버퍼 영역(Rc2)이 추가되는 하단 에지에, 영역(R2"'inv)을 획득하기 위해 자신의 하단 에지에 대해 먼저 인버팅된다. 버퍼 영역(Rc2)의 픽셀들의 값들은 임의적인데; 예컨대, 모든 값들이 동일한 초록색에 해당할 수 있다. 이러한 방식으로, 640x368 픽셀들의 크기를 갖는 영역(R2"'der)이 획득하고, 그러한 영역은 수정된 컨테이너 프레임(1201)의 마지막 368개의 행들의 처음 640 픽셀들 내에 포함된다. R2"의 마지막 하위 매크로 블록들에 나타난 불연속성은, 실행된 인버전으로 인해, 재구축된 영상(R)의 상부 우측 에지에 나타남으로써 뷰어에 의해 거의 인식되지 않는 압축 아티팩트들을 생성한다.

도 15a 및 15b의 예에서, 요소 영역(R2"')으로부터 파생 영역(R2"'der)을 획득하기 위해 실행된 처리는 버퍼 영역의 추가 뿐만 아니라, R2"'의 예비 업-다운 인버전을 포함한다.

성분 영상들의 처리에 관해 위에서 설명된 기술들을 요약하기 위해, 요소 영역을 파생 영역으로 스위칭하도록, 처리는 요소 영역의 회전들, 업-다운 또는 우-좌 인버전들 및/또는 임의적 픽셀들을 포함하거나 다른 요소 영역으로부터 취해진 버퍼 영역의 추가로 구성될 수 있다. 이러한 처리는 이후의 압축 프로세스에 의해 생기는 아티팩트들을 감소시키거나, 그러한 아티팩트들을 재구축된 영상(Rout)의 에지로 이동시키는 것을 목적으로 한다.

다른 실시예에서, 합성 영상 내에서 이용가능하게 남겨진 공간은, 디멀티플렉서 레벨로 즉, 합성 영상이 형성되어왔던 방식을 고려하여 우측 및 좌측 영상들을 재구축하는데 필요할 수 있는 임의의 형태의 신호를 포함시키거나, 디코더에 의해 생성된 그래픽 항목들(예컨대, 서브타이틀)의 적절한 위치들에 대해 디코더에게 명령어들을 제공하기 위한 깊이 맵(depth map)과 같은 임의의 종류의 메타데이터를 포함시키는데 이용될 수 있다.

이러한 실시예에서, 우측 또는 좌측 영상들에 의해 또는 그것들의 일부들에 의해 점유되지 않은 컨테이너 프레임의 영역은 신호를 수신하기 위해 이용된다. 2진 신호의 경우에, 이러한 신호 영역의 픽셀들은 예를 들어, 서로 멀리 동떨어진 값들(예컨대, 검은색 및 흰색)로 특성화되는 두개의 색들로 색을 가지게 됨으로써, 신호 정보를 운반하는 예컨대 선형 또는 2-차원과 같은 임의의 종류의 바코드를 생성하게 된다.

바람직하게, 프레임 내에 포함되어지는 영상은 영상(예컨대, 위의 예에서는 R)을 가장 적은 개수의 직사각형 영역들로 분해할 필요를 고려하여 분해된다.

도 16은 수신된 입체 비디오 스트림을 압축해제하고 두개의 우측(Rout) 및 좌측(Lout) 영상들을 재구축함으로써, 그것들을 3D 컨텐츠의 실행을 허용하는 디스플레이 디바이스(예컨대, 텔레비전 세트, 모니터 또는 프로젝터)에서 이용가능하도록 하게 하는, 수신기(1100)의 블록도이다. 수신기(1100)는 텔레비전 세트 내에 설치된 셋-톱-박스 또는 수신기일 수 있다.

수신기(100)에 대해 이하에서 설명된 바와 같은 유사한 고려사항들 역시, 압축된 입체 비디오 스트림을 판독하여, 컨테이너 프레임 내로 멀티플렉싱된 우측 및 좌측 영상들을 추출하도록 처리하는 판독기(예컨대, DVD 판독기)에 적용할 것이다.

도 16을 다시 살펴보면, 수신기는 압축된 입체 비디오 스트림(1101)을 수신(케이블 또는 안테나를 통해)하고 그것을 압축해제 모듈(1102)을 통해 압축해제하는데, 이에 의해 프레임들(C)에 대응하는 컨테이너 프레임들(Cout)의 시퀀스를 포함하는 비디오 스트림을 획득하게 된다. 만일 이상적 채널이 존재하거나 또는 컨테이너 프레임들이 대용량 메모리 또는 데이터 매체(블루-레이, CD, DVD)로부터 오류없이 판독중이라면, 프레임들(Cout)은 압축 프로세서에 의해 발생된 임의의 아티팩트들을 제외한, 두개의 우측 및 좌측 영상들에 대한 정보를 운반하는 컨테이너 프레임들(C)에 해당한다.

그후, 이러한 프레임들(Cout)은 도 16 및 도 17을 참조하여 아래에서 설명된 바와 같은 영상 재구성 방법을 실행하는 재구성 모듈(1103)에 제공된다.

재구성 모듈(1103)은 분해된 영상을 위한 추출기 모듈(1106), 처리 모듈(1107), 재조립기 모듈(1108) 및 비-분해된 영상을 위한 추출기 모듈(1109)을 포함한다.

재구성 프로세스는, 압축해제된 컨테이너 프레임(Cout)이 수신될때, 단계(1300)에서 시작한다. 이러한 예에서, 컨테이너 프레임은 도 7을 참조하여 앞서 설명된 프레임이다.

추출기 모듈(1109)은 압축해제된 프레임의 처음 1280x720 픽셀들(영역(C1'))을 예컨대 720p 스트림과 같이 컨테이너 프레임보다 더 작은 새로운 프레임 내로 복사함으로써 좌측 영상(L)을 추출한다(단계(1301)). 그렇게 재구축(Lout)된 좌측 영상(L)은 수신기(1100)로 출력된다(단계(1302)).

그결과, 추출기 모듈(1106)은 컨테이너 프레임(Cout)으로부터 우측 영상(R)을 추출한다.

우측 영상을 추출하는 단계는 프레임(Cout)(R1'를 포함)에 존재하는 영역(C2')을 추출함으로써(단계 1303) 시작한다. 더욱 상세하게는, 추출기 모듈(1106)은 컨테이너 프레임의 1281에서 1920까지의 열들 및 처음 720개의 행들의 픽셀들을 추출한 후, 그것들을 재조립기 모듈(1108)에 전달한다. 그후 상기 재조립기 모듈은 추출된 픽셀들을 재구축된 영역(Rout)을 나타내는 새로운 프레임의 대응하는 처음 640x720 픽셀들에 포함시킨다.

그후 영역(C3')이 추출되고(단계 1304); 영역(C3')(소스 영역(R2')에 대응함)의 픽셀들이 압축해제된 프레임(Cout)으로부터 선택된다. 더욱 상세하게는, 컨테이너 프레임(Cout)의 1에서 640까지의 열들 및 마지막 368개의 행들의 픽셀들이 영상(Rout)의 처음 368개의 행들의 641에서 1280까지의 열들 내로 복사된다.

R3'가 고려되는 한은(단계 1305), 영역(C4')의 픽셀들이 선택된다. 더욱 상세하게는, 컨테이너 프레임(Cout)의 마지막 352개의 행들의 641에서 1280까지의 열들의 픽셀들이 영상(Rout)의 마지막 352개의 행들의 641에서 1280까지의 열들 내로 복사된다.

이때, 우측 영상(Rout)이 완전하게 재구축되어 재조립기 모듈에 의해 출력될 수 있다(단계 1307).

따라서, 컨테이너 프레임(Cout) 내에 포함된 우측 및 좌측 영상들을 재구축하기 위한 프로세스가 완료된다(단계 1308).

상기 프로세스는 수신기(1100)에 의해 수신된 비디오 스트림의 각 프레임에 대해 반복되고, 이에 의해 출력은 우측 영상 및 좌측 영상 각각에 대해 두개의 비디오 스트림들(1104 및 1105)로 구성될 것이다.

이러한 실시예에서, 영역들(R1, R2 및 R3)이 컨테이너 프레임으로부터 추출되어, 간단한 픽셀 복사 동작들을 통해 프레임(Rout) 내에 포함된다.

더욱 일반적으로는, 컨테이너 프레임으로부터 추출된 영역들은, 이후에 프레임(Rout) 내에 포함되는 대응하는 요소 영역들을 생성하도록 추가의 처리 단계들을 거쳐야만 하는 파생 영역들이다.

이러한 처리 단계들은 요소 영역들로부터 파생 영역들을 획득하기 위해 생성 측 상에서 실행되는 처리 단계들의 반대 과정이고, 이에 의해 회전들, 인버전들 및 버퍼 픽셀들과 같은 픽셀들의 제거를 포함할 수 있다.

처리 단계들은, 추출기 모듈(1106)과 재조립기 모듈(1108) 사이에 위치되는 처리 모듈(1107)에 의해 실행된다.

도 7 및 도 16을 참조하여 설명된 예에서, 추출된 영역들은 요소 영역들과 일치하고, 따라서 처리 모듈(1107)은 모듈(1106)에 의해 추출된 픽셀들을 모듈(1108)로 간단히 전달한다. 도 17의 블록도 역시 이러한 경우를 참조한다.

반대로, 단계들(1302, 1303, 1304)에서 추출된 영역들이 요소 영역들과 일치하지 않는 파생 영역들이면, 단계(1306)는 파생 영역들로부터 요소 영역들을 획득하기 위해 필요한 동작들을 포함할 수 있다. 그러나, 마찬가지로 그러한 경우에도, 재구축 영상(Rout)은 단계(1307)에서 출력될 수 있다.

위에서 설명된 우측 및 좌측 영상들을 재구축하기 위한 프로세서는, 디멀티플렉서(1100)가 어떻게 컨테이너 프레임(C)이 구축되었는지를 알아서 우측 및 좌측 영상들을 추출할 수 있다는 가정에 기초한다.

물론, 이는 멀티플렉싱 방법이 표준화되었을 때에만 가능하다.

컨테이너 프레임이 위에서-설명된 방법들 중 임의의 하나, 또는 첨부된 청구항들의 대상인 해결책들을 활용하는 방법들 중 임의의 하나에 따른 임의의 방식으로 생성될 수 있다는 사실을 고려할 때, 어떻게 합성 영상의 컨텐츠가 언패킹되어야만 하는지와 어떻게 우측 및 좌측 영상들을 재구축하는지를 알기 위해 디멀티플렉서는 합성 영상의 사전정의된 영역 내에 포함된 신호 정보(예컨대, 앞서 설명된 바와 같은 바 코드)를 사용할 수 있다.

신호를 디코딩한 후, 디멀티플렉서는 변화되지 않은 영상(예컨대, 위에서-설명된 예들에서는 좌측 영상)의 위치 뿐만 아니라, 다른 영상(예컨대, 위에서-설명된 예들에서는 우측 영상)이 분해되어 들어간 영역들의 위치들 및 임의의 변형들(회전, 인버전 등)을 알게 될 것이다.

이러한 정보를 가지고, 디멀티렉서는 변화되지 않은 정보(예컨대, 좌측 정보)를 추출하고 분해된 영상(예컨대, 우측 영상)을 재구축할 수 있다.

변화되지 않은 영상을 추출하고 분해된 영상을 추출하고 재구축하는데 필요한 정보 또한 합성 프레임 내에는 포함되어 있지 않지만 압축된 비디오 스트림의 다른 부분들에 포함된 메타데이터의 형태로 전송될 수 있다. 이러한 정보는 또한, 만일 패킹 형식이 공지되면, 디코더에서 자동으로 추론될 수 있어서, 패킹 형식의 식별자를 전송하는것 만으로 충분할 수 있다.

본 발명이 지금까지 몇몇 선호되고 유리한 실시예들을 참조하여 설명되었을지라도, 상기 실시예들로만 제한되지 않으며, 대상 또는 장면의 두개의 상이한 관점들(우측 및 좌측)에 대한 두개의 영상들을 합성 영상으로 결합시키고자 하는 당업자에게는 상기 실시예들에 대해 다수의 변형들이 이루어질 수 있음은 자명하다.

예를 들어, 위에서-설명된 디바이스들, 특정하게는 디바이스(100) 및 수신기(1100)을 구현하는 전자 모듈들은 다양하게 세분화되고 분산될 수 있고; 더욱이, 그것들은 하드웨어 모듈들의 형태 또는, 특정하게는 수신된 입력 프레임들을 일시적으로 분류하기 위한 적합한 메모리 영역들이 장착된 비디오 프로세서와 같은 프로세서에 의해 구현되는 소프트웨어 알고리듬들로써 제공될 수 있다. 따라서, 이러한 모듈들은 본 발명에 따른 영상 멀티플렉싱 및 디멀티플렉싱 방법들의 비디오 처리 단계들 중 하나 또는 다수를 병렬로 또는 직렬로 실행할 수 있다.

선호되는 실시예들이 두개의 720p 비디오 스트림들을 하나의 1080p 비디오 스트림으로 멀티플렉싱하도록 참조할지라도, 다른 형식들 역시 아용될 수 있다는 것 역시 자명하다.

마지막으로, 본 발명은 본 발명의 보호 범주 내에서 위에서-설명된 멀티플렉싱 프로세서들 중 하나를 역변환시킴으로써 우측 및 좌측 영상이 합성 영상으로부처 추출되도록 허용하는 임의의 디멀티플렉싱 방법에 관련한다는 것이 명확하다.

Claims (27)

1. 장면에 대한 한쌍의 우측 영상(R) 및 좌측 영상(L)을 포함하는 입체 비디오 스트림의 합성 영상을 생성하는 방법으로서,
   상기 우측 영상(R) 및 좌측 영상(L)은 관찰자의 우측 눈 및 좌측 눈에 의해 관찰될때, 그러한 영상들이 각각 관찰자로 하여금 상기 장면을 3-차원으로 인식하게끔 하며,
   상기 방법은:
   상기 한쌍의 우측(R) 및 좌측(L) 영상들의 모든 픽셀들을 포함하는 합성 영상(C)을 생성하는 단계를 포함하고,
   상기 방법은:
   상기 합성 영상(C)의 격자의 매크로 블록들을 정의하는 단계(401) - 상기 격자의 각 매크로 블록은 다수의 인접 픽셀들을 포함함 -;
   상기 한쌍의 우측 영상 및 좌측 영상 중 하나의 영상을 다수의 연속 픽셀들을 포함하는 다수의 요소 영역들(component regions)(Ri)로 분해하는 단계(402);
   상기 요소 영역들(Ri)을 대응하는 파생 영역들(Rider)의 생성을 위한 방식으로 처리하는 단계(403) - 상기 파생 영역들(Rider)은 대응하는 요소 영역의 최소한 모든 픽셀들을 포함하고, 정수 개수의 매크로 블록들로 분해될 수 있음 -; 및
   상기 한쌍 중 비-분해된 영상 및 상기 합성 영상(C) 내 상기 다수의 파생 영역들(Rider)을, 상기 비-분해된 영상 및 상기 파생 영역들의 모든 에지들이 상기 격자의 매크로 블록들의 에지들과 일치하는 방식으로, 배열하는 단계(404)를 특징으로 하는, 합성 영상 생성 방법.
2. 제 1 항에 있어서,
   상기 요소 영역들 및 상기 비-분해된 영상은 정수 개수의 상기 격자의 매크로 블록들로 분해될 수 있는, 합성 영상 생성 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 파생 영역들 중 적어도 하나는 상기 요소 영역들 중 하나와 동일한, 합성 영상 생성 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 파생 영역들 중 적어도 하나는 대응하는 요소 영역을 회전 및/또는 인버팅(inverting)시켜서 획득되는, 합성 영상 생성 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 합성 영상의 에지들과 일치하는 파생 영역들 중 적어도 하나의 에지들은 분해된 영상의 에지들에 대응하는, 합성 영상 생성 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 다수의 파생 영역들 중 적어도 하나의 파생 영역은 다수의 픽셀들을 대응하는 요소 영역에 추가함으로써 획득되고, 상기 다수의 픽셀들은 상기 대응하는 요소 영역에 접해 있는 상이한 요소 영역의 부분인, 합성 영상 생성 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 요소 영역의 부분이 선택되고, 상기 선택된 부분은 인버팅되며, 상기 인버팅된 부분은 상기 요소 영역의 하나의 에지에 추가되는, 합성 영상 생성 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 분해된 영상은 상기 합성 영상 내에서 이용가능한 공간 및 상기 비-분해된 영상에 의해 점유된 공간을 고려함으로써 최소 개수의 직사각형 요소 영역들로 분해되는, 합성 영상 생성 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 합성 영상 내에서 이용가능하도록 남겨진 공간의 적어도 일 부분은 디멀티플렉서 레벨에서 우측 및 좌측 영상들을 재구축하는데 필요한 신호를 포함시키는데 이용되는, 합성 영상 생성 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 합성 영상을 상기 매크로 블록 격자에서 정의된 바와 같은 매크로 블록들로 분해하는 압축 프로세스에 의해 상기 합성 영상을 압축하는 단계(405)를 포함하는 합성 영상 생성 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 파생 영역들은 직사각형 형태를 갖는, 합성 영상 생성 방법.
12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 매크로 블록들은 정사각형 형태, 특정하게는 16x16 픽셀들의 크기를 갖는, 합성 영상 생성 방법.
13. 매크로 블록 격자의 정의에 기초하여 압축 및 압축해제 프로세스를 거친 합성 영상(C)으로부터 발생하는 한쌍의 영상들(Lout, Rout)을 재구축하는 방법으로서,
    압축해제된 합성 영상의 연속 픽셀들의 단일 그룹을 복사함으로써 상기 한쌍의 영상들 중 제 1 영상(Lout)을 생성하는 단계(1302);
    상기 압축해제된 합성 영상의 다수의 파생 영역들(Rider)을 추출하는 단계(1303, 1304, 1305) - 상기 다수의 파생 영역들의 각 파생 영역은 상기 격자의 매크로 블록들의 에지들과 대응하고, 상기 픽셀들의 단일 그룹 내에 포함되지 않는 다수의 픽셀들을 포함함 -;
    상기 다수의 파생 영역들(Rider)을, 대응하는 요소 영역들(Ri)을 생성하기 위한 방식으로 처리하는 단계(1306) - 요소 영역의 모든 픽셀들은 파생 영역의 픽셀들에 대응함 -; 및
    상기 요소 영역들을 결합시킴으로써 상기 한쌍의 영상들 중 제 2 영상(Rout)을 생성하는 단계(1307)
    를 포함하는 영상 재구축 방법.
14. 제 13 항에 있어서,
    상기 요소 영역들 중 적어도 하나는 대응하는 파생 영역을 회전 및/또는 인버팅시켜서 획득되는, 영상 재구축 방법.
15. 제 13 항 또는 제 14 항에 있어서,
    상기 제 2 영상은 상기 파생 영역들을, 합성 영상의 에지들과 일치하는 파생 영역들 중 적어도 하나의 에지들이 상기 제 2 영상의 에지들에 대응하는 방식으로, 처리함으로써 생성되는, 영상 재구축 방법.
16. 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 요소 영역은 대응하는 파생 영역의 에지에 인접한 부분을 제거함으로써 대응하는 파생 영역으로부터 획득되는, 영상 재구축 방법.
17. 제 13 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 파생 영역들 및 상기 픽셀들의 단일 그룹은 상기 압축해제된 합성 영상의 영역 내에 위치된 한가지 정보에 기초하여 추출되는, 영상 재구축 방법.
18. 제 13 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 압축된 합성 영상은 청구항 1 항 내지 12 항 중 임의의 한 항에 따른 방법에 의해 생성된 합성 영상을 압축함으로써 생성되는, 영상 재구축 방법.
19. 장면에 대한 한쌍의 우측 영상(R) 및 좌측 영상(L)을 포함하는 입체 비디오 스트림의 합성 영상을 생성하는 시스템(100)으로서,
    상기 우측 영상(R) 및 좌측 영상(L)은 관찰자의 우측 눈 및 좌측 눈에 의해 관찰될때, 그러한 영상들이 각각 관찰자로 하여금 상기 장면을 3-차원으로 인식하게끔 하며,
    상기 시스템은:
    상기 한쌍의 우측 영상 및 좌측 영상 중 하나의 영상을 다수의 연속 픽셀들을 포함하는 다수의 요소 영역들(Ri)로 분해하기 위한 분해기 모듈(104);
    상기 요소 영역들을 다수의 대응하는 파생 영역들(Rider)의 생성을 위한 방식으로 처리하기 위한 처리 모듈(108); 및
    합성 영상 생성기 모듈(105) - 상기 생성기 모듈은 합성 영상의 격자의 매크로 블록들을 정의하고, 상기 한쌍의 영상들 중 비-분해된 영상 및 합성 영상 내 상기 다수의 파생 영역들을, 비-분해된 영상 및 파생 영역들의 모든 에지들을 상기 격자의 매크로 블록들의 에지들과 일치시키는 방식으로, 배열하도록 적응됨 -
    을 포함하는 합성 영상 생성 시스템.
20. 제 19 항에 있어서,
    상기 합성 영상(C)을 압축하기 위해(106) 상기 생성기 모듈에 동작가능하게 연결된 압축 유닛을 포함하는 합성 영상 생성 시스템.
21. 제 19 항 내지 제 20 항에 있어서,
    제 1 항 내지 제 12 항 중 하나의 항에 따른 방법을 구현하도록 적응된 수단을 포함하는 합성 영상 생성 시스템.
22. 매크로 블록 격자의 정의에 기초하여 압축 및 압축해제 프로세스를 거친 합성 영상으로부터 발생하는 한쌍의 우측 영상(Rout) 및 좌측 영상(Lout)을 재구축하는 시스템(1100)으로서,
    압축해제된 합성 영상의 영역으로부터 연속 픽셀들의 단일 그룹을 복사함으로써 상기 한쌍의 우측(Rout) 및 좌측(Lout) 영상들 중 제 1 영상을 생성하기 위한 제 1 추출기 모듈(1109);
    상기 압축해제 모듈(1102)의 출력에 동작가능하게 연결되고 압축해제된 합성 영상의 다수의 파생 영역들(Rider)을 추출하도록(1303, 1304, 1305) 적응된 제 2 추출기 모듈(1106) - 상기 다수의 파생 영역들의 각 파생 영역은 상기 격자의 매크로 블록들의 에지들에 대응하는 에지들을 가지고, 상기 픽셀들의 단일 그룹 내에 포함되지 않은 다수의 연속 픽셀들을 포함함 -;
    요소 영역의 모든 픽셀들이 파생 영역의 픽셀들에 대응되는 대응하는 파생 영역들(Ri)을 생성하기 위한 방식으로 상기 파생 영역들을 처리하기 위한, 상기 제 2 추출기 모듈(1106)에 동작가능하게 연결된 처리 모듈(1107); 및
    상기 처리 모듈(1107)에 동작가능하게 연결되며, 상기 한쌍의 우측(Rout) 및 좌측(Lout) 영상들 중 제 2 영상을 재조립하기 위해 상기 요소 영역들을 함께 결합시키도록 적응된 재조립기 모듈(1108)
    을 포함하는 영상 재구축 시스템.
23. 제 22 항에 있어서,
    제 13 항 내지 제 18 항 중 임의의 한 항에 따른 방법을 구현하도록 적응된 수단을 포함하는 영상 재구축 시스템.
24. 제 23 항에 있어서,
    압축된 합성 영상을 압축해제하고 상기 합성 영상을 출력하기 위한 압축해제 모듈(1102)을 포함하는, 영상 재구축 시스템.
25. 제 22 항 또는 제 23 항 또는 제 24 항에 따른 시스템을 포함하는 셋-톱-박스.
26. 제 22 항 또는 제 23 항 또는 제 24 항에 따른 시스템을 포함하는 텔레비전 세트.
27. 제 1 항 내지 제 12 항 중 임의의 한 항에 따른 방법에 의해 생성된 적어도 하나의 합성 영상(C)을 포함하는 것을 특징으로 하는 입체 비디오 스트림(1101).
    
    

Images