KR101788584B1 - 스테레오스코픽 이미지들을 생성하고, 송신하고, 수신하기 위한 방법 및 관련 디바이스들 - Google Patents
스테레오스코픽 이미지들을 생성하고, 송신하고, 수신하기 위한 방법 및 관련 디바이스들 Download PDFInfo
- Publication number
- KR101788584B1 KR101788584B1 KR1020127019043A KR20127019043A KR101788584B1 KR 101788584 B1 KR101788584 B1 KR 101788584B1 KR 1020127019043 A KR1020127019043 A KR 1020127019043A KR 20127019043 A KR20127019043 A KR 20127019043A KR 101788584 B1 KR101788584 B1 KR 101788584B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- composite
- pixels
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 239000002131 composite material Substances 0.000 claims abstract description 98
- 238000007906 compression Methods 0.000 claims description 23
- 230000006835 compression Effects 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 우측 이미지(R) 및 좌측 이미지(L)에 관한 정보를 포함하는 합성 이미지들(C)을 포함하는 스테레오스코픽(steroscopic) 비디오 스트림(101)을 생성하기 위한 방법과 관련된다. 방법에 따라, 픽셀들은 우측 이미지(R)로부터 그리고 좌측 이미지(L)로부터 선택되고, 그 후 선택된 픽셀들은 스테레오스코픽 비디오 스트림의 합성 이미지(C)로 입력된다. 방법은 또한 상기 2개의 이미지들 중 하나의 이미지를 변화되지 않은 채로 남겨두고 다른 이미지를 다수의 픽셀들을 포함하는 구역들(R1, R2, R3)로 나눔으로써, 우측 이미지(R)의 픽셀들 및 좌측 이미지(L)의 모든 픽셀들을 합성 이미지(C)로 입력하는 단계를 제공한다. 상기 구역들은 후속하여 합성 이미지(C)로 입력된다. 발명은 상기 방법들이 구현되도록 허용하는 디바이스들 뿐 아니라, 합성 이미지로부터 시작되는 우측 및 좌측 이미지들을 복원하기 위한 방법과 관련된다.
Description
본 발명은 스테레오스코픽 비디오 스트림들, 즉, 시각화 디바이스에서 적절히 프로세싱될 때, 시청자에 의해 3차원으로서 인지되는 이미지들의 시퀀스들을 생성하는 비디오 스트림들의 생성, 저장, 송신, 수신 및 재생에 관한 것이다.
공지된 바와 같이, 3-차원의 인지는 2개의 이미지들(시청자의 우측 눈에 대한 하나와 시청자의 좌측 눈에 대한 다른 하나)을 재생함으로써 획득될 수 있다.
그러므로 스테레오스코픽 비디오 스트림은 대상물 또는 장면의 우측 및 좌측 관점들에 대응하는 이미지들의 2개의 시퀀스들에 관한 정보를 전송한다.
발명은 특히 스테레오스코픽 비디오 스트림의 프레임(이하에서 또한 컨테이너 프레임으로서 지칭됨)을 나타내는 합성 이미지 내의 우측 및 좌측 관점들의 2개의 이미지들(이하에서 우측 이미지 및 좌측 이미지들로서 지칭됨)을 멀티플렉싱하기 위한 디바이스 및 방법과 관련된다.
게다가, 발명은 또한 상기 합성 이미지를 디멀티플렉싱하기 위한, 즉, 멀티플렉싱 디바이스에 의하여 입력되는 우측 및 좌측 이미지들을 그로부터 추출하기 위한 디바이스 및 방법과 관련된다.
공지된 바와 같이, 3-차원의 인지는 2개의 이미지들(시청자의 우측 눈에 대한 하나와 시청자의 좌측 눈에 대한 다른 하나)을 재생함으로써 획득될 수 있다.
그러므로 스테레오스코픽 비디오 스트림은 대상물 또는 장면의 우측 및 좌측 관점들에 대응하는 이미지들의 2개의 시퀀스들에 관한 정보를 전송한다.
발명은 특히 스테레오스코픽 비디오 스트림의 프레임(이하에서 또한 컨테이너 프레임으로서 지칭됨)을 나타내는 합성 이미지 내의 우측 및 좌측 관점들의 2개의 이미지들(이하에서 우측 이미지 및 좌측 이미지들로서 지칭됨)을 멀티플렉싱하기 위한 디바이스 및 방법과 관련된다.
게다가, 발명은 또한 상기 합성 이미지를 디멀티플렉싱하기 위한, 즉, 멀티플렉싱 디바이스에 의하여 입력되는 우측 및 좌측 이미지들을 그로부터 추출하기 위한 디바이스 및 방법과 관련된다.
텔레비전 신호 송신 및 브로드캐스팅 네트워크들(지상파 네트워크 또는 위성 네트워크)이 과부하들을 겪는 것을 방지하기 위하여, 우측 및 좌측 이미지들을 스테레오스코픽 비디오 스트림의 단일 합성 이미지로 멀티플렉싱하는 것이 본 기술분야에 알려져 있다.
제1 예는 소위 사이드-바이-사이드(side-by-side) 멀티플렉싱이며, 여기서 우측 미지 및 좌측 이미지는 수평적으로 언더샘플링(undersample)되고, 스테레오스코픽 비디오 스트림의 동일한 프레임에서 사이드-바이-사이드 정렬된다.
이 타입의 멀티플렉싱은 수직 해상도가 변화되지 않은 채로 남겨지는 동안 수평 해상도가 절반이 된다는 단점을 갖는다.
다른 예는 소위 최상부-바닥부 멀티플렉싱이며, 여기서 우측 이미지 및 좌측 이미지는 수직으로 언더샘플링되고, 스테레오스코픽 비디오 스트림의 동일한 프레임에서 하나가 다른 하나의 최상부 상에 정렬된다.
이 타입의 멀티플렉싱은 수평 해상도가 변화되지 않은 채로 남겨지는 동안 수직 해상도가 절반이 된다는 단점을 갖는다.
예를 들어, 특허 출원 WO03/088682에 개시된 것과 같은 다른 더 정교한 방법들이 또한 존재한다. 이 출원은 우측 및 좌측 이미지들을 구성하는 픽셀들의 수를 데시메이팅(decimate)하기 위한 체스보드 샘플링(chessboard sampling)의 사용을 설명한다. 우측 및 좌측 이미지들의 프레임들에 대하여 선택되는 픽셀들은 "기하학적으로" 사이드-바이-사이드 포맷(개별적인 픽셀들을 제거함으로써 열 1에서 생성되는 블랭크들이 열 2에서 픽셀들로 채워지는 등)으로 압축된다. 스크린 상에 이미지를 나타내기 위한 디코딩 단계 동안에, 우측 및 좌측 이미지들의 프레임들은 그들의 원본 포맷으로 다시 되돌려지고, 분실된 픽셀들은 적절한 보간(interpolation) 기법들을 적용함으로써 복원된다(reconstruct). 이 방법은 수평 해상도와 수직 해상도 사이에 비율이 일정하게 유지되도록 허용하지만, 이것은 대각선 해상도를 감소시키고, 또한 그렇지 않으면 없을 고주파수 공간 스펙트럼 컴포넌트들을 도입함으로써 이미지의 픽셀들 사이에 상관(correlation)을 변경한다. 이것은 압축된 비디오 스트림의 비트-레이트를 또한 증가시키면서, 후속 압축 단계(예를 들어, MPEG2 또는 MPEG4 또는 H.264 압축)의 효율을 감소시킬 수 있다.
우측 및 좌측 이미지들을 멀티플렉싱하기 위한 추가적인 방법들이 특허 출원 WO2008/153863으로부터 공지된다.
이러한 방법들 중 하나는 우측 및 좌측 이미지들의 70% 스케일링(scaling)의 실행을 제공한다; 스케일링된 이미지들은 그 후 8×8 픽셀들의 블록들로 나뉘어진다.
각각의 스케일링된 이미지의 블록들은 합성 이미지를 적절히 반으로 나눈 것과 동일한 영역으로 컴팩트화(compacted)될 수 있다.
이 방법은 블록들의 재분배가 고주파수 공간 스펙트럼 컴포넌트들을 도입함으로써 이미지를 구성하는 블록들 사이에 공간 상관을 변경하고, 이에 의하여 압축 효율을 감소시킨다는 단점을 갖는다.
게다가, 스케일링 동작들 및 각각의 이미지의 다수의 블록들로의 분할은 높은 계산 비용을 수반하고, 그러므로 멀티플렉싱 및 디멀티플렉싱 디바이스들의 복잡성을 증가시킨다.
이러한 방법들 중 다른 방법은 각각의 우측 및 좌측 이미지에 대각선 스케일링을 적용하여, 원본 이미지는 평행 사변형으로 변형된다. 2개의 평행 사변형들은 그 후 삼각형 구역들로 나뉘어지고, 직사각형 합성 이미지가 구성되며, 여기서 2개의 평행 사변형들을 나눔으로써 획득된 삼각형 구역은 재구성되고 재정렬된다. 우측 및 좌측 이미지들의 삼각형 구역들은 구역들이 합성 이미지의 사선에 의해 분리되는 방식으로 구성된다.
최상부-바닥부 및 사이드-바이-사이드 해법들과 유사하게, 이 해법은 또한 수평 해상도와 수직 해상도 사이에 비율(밸런스)을 변경하는 단점을 겪는다. 또한, 스테레오스코픽 프레임 내에 재정렬되는 다수의 삼각형 구역들로의 세분은 통신 채널을 통한 송신 이전에, 후속 압축 단계(예를 들어, MPEG2, MPEG4 또는 H.264)로 하여금 삼각형 구역들 사이에 경계선 영역들에서 아티팩트(artifact)들을 생성하게 한다. 상기 아티팩트들은 예를 들어, H.264 표준에 따른 압축 프로세스에 의하여 실행되는 운동 추정 프로시져에 의해 생성될 수 있다.
이 해법의 추가적 단점은 우측 및 좌측 이미지들을 스케일링하기 위한 동작들에 의하여 그리고 삼각형 구역들을 세그먼트화하고 로토트랜스레이팅(rototranslating)하기 위한 후속 동작들에 의하여 요구되는 계산적 복잡성에 관련된다.
본 발명의 목적은 종래 기술의 단점들을 극복하도록 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하고 디멀티플렉싱하기 위한 멀티플렉싱 방법 및 디멀티플렉싱 방법(관련된 디바이스들 뿐 아니라)을 제공하는 것이다.
특히, 본 발명의 하나의 목적은 수평 해상도와 수직 해상도 사이에 밸런스를 보존하도록 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하고 디멀티플렉싱하기 위한 멀티플렉싱 방법 및 디멀티플렉싱 방법(및 관련된 디바이스들)을 제공하는 것이다.
본 발명의 다른 목적은 왜곡 또는 아티팩트들의 생성을 최소화하면서 높은 압축 레이트가 후속하여 적용되도록 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하기 위한 멀티플렉싱 방법(및 관련된 디바이스)을 제공하는 것이다.
본 발명의 추가적인 목적은 감소된 계산 비용에 의해 특징화되는 멀티플렉싱 방법 및 디멀티플렉싱 방법(및 관련된 디바이스들)을 제공하는 것이다.
본 발명의 이러한 그리고 다른 목적들은 본 발명의 설명의 통합된 부분으로서 의도되는, 첨부된 청구항들에서 진술된 피쳐들을 통합하는 우측 및 좌측 이미지들을 멀티플렉싱하고 디멀티플렉싱하기 위한 멀티플렉싱 방법 및 디멀티플렉싱 방법(및 관련된 디바이스들)을 통해 달성된다.
제1 예는 소위 사이드-바이-사이드(side-by-side) 멀티플렉싱이며, 여기서 우측 미지 및 좌측 이미지는 수평적으로 언더샘플링(undersample)되고, 스테레오스코픽 비디오 스트림의 동일한 프레임에서 사이드-바이-사이드 정렬된다.
이 타입의 멀티플렉싱은 수직 해상도가 변화되지 않은 채로 남겨지는 동안 수평 해상도가 절반이 된다는 단점을 갖는다.
다른 예는 소위 최상부-바닥부 멀티플렉싱이며, 여기서 우측 이미지 및 좌측 이미지는 수직으로 언더샘플링되고, 스테레오스코픽 비디오 스트림의 동일한 프레임에서 하나가 다른 하나의 최상부 상에 정렬된다.
이 타입의 멀티플렉싱은 수평 해상도가 변화되지 않은 채로 남겨지는 동안 수직 해상도가 절반이 된다는 단점을 갖는다.
예를 들어, 특허 출원 WO03/088682에 개시된 것과 같은 다른 더 정교한 방법들이 또한 존재한다. 이 출원은 우측 및 좌측 이미지들을 구성하는 픽셀들의 수를 데시메이팅(decimate)하기 위한 체스보드 샘플링(chessboard sampling)의 사용을 설명한다. 우측 및 좌측 이미지들의 프레임들에 대하여 선택되는 픽셀들은 "기하학적으로" 사이드-바이-사이드 포맷(개별적인 픽셀들을 제거함으로써 열 1에서 생성되는 블랭크들이 열 2에서 픽셀들로 채워지는 등)으로 압축된다. 스크린 상에 이미지를 나타내기 위한 디코딩 단계 동안에, 우측 및 좌측 이미지들의 프레임들은 그들의 원본 포맷으로 다시 되돌려지고, 분실된 픽셀들은 적절한 보간(interpolation) 기법들을 적용함으로써 복원된다(reconstruct). 이 방법은 수평 해상도와 수직 해상도 사이에 비율이 일정하게 유지되도록 허용하지만, 이것은 대각선 해상도를 감소시키고, 또한 그렇지 않으면 없을 고주파수 공간 스펙트럼 컴포넌트들을 도입함으로써 이미지의 픽셀들 사이에 상관(correlation)을 변경한다. 이것은 압축된 비디오 스트림의 비트-레이트를 또한 증가시키면서, 후속 압축 단계(예를 들어, MPEG2 또는 MPEG4 또는 H.264 압축)의 효율을 감소시킬 수 있다.
우측 및 좌측 이미지들을 멀티플렉싱하기 위한 추가적인 방법들이 특허 출원 WO2008/153863으로부터 공지된다.
이러한 방법들 중 하나는 우측 및 좌측 이미지들의 70% 스케일링(scaling)의 실행을 제공한다; 스케일링된 이미지들은 그 후 8×8 픽셀들의 블록들로 나뉘어진다.
각각의 스케일링된 이미지의 블록들은 합성 이미지를 적절히 반으로 나눈 것과 동일한 영역으로 컴팩트화(compacted)될 수 있다.
이 방법은 블록들의 재분배가 고주파수 공간 스펙트럼 컴포넌트들을 도입함으로써 이미지를 구성하는 블록들 사이에 공간 상관을 변경하고, 이에 의하여 압축 효율을 감소시킨다는 단점을 갖는다.
게다가, 스케일링 동작들 및 각각의 이미지의 다수의 블록들로의 분할은 높은 계산 비용을 수반하고, 그러므로 멀티플렉싱 및 디멀티플렉싱 디바이스들의 복잡성을 증가시킨다.
이러한 방법들 중 다른 방법은 각각의 우측 및 좌측 이미지에 대각선 스케일링을 적용하여, 원본 이미지는 평행 사변형으로 변형된다. 2개의 평행 사변형들은 그 후 삼각형 구역들로 나뉘어지고, 직사각형 합성 이미지가 구성되며, 여기서 2개의 평행 사변형들을 나눔으로써 획득된 삼각형 구역은 재구성되고 재정렬된다. 우측 및 좌측 이미지들의 삼각형 구역들은 구역들이 합성 이미지의 사선에 의해 분리되는 방식으로 구성된다.
최상부-바닥부 및 사이드-바이-사이드 해법들과 유사하게, 이 해법은 또한 수평 해상도와 수직 해상도 사이에 비율(밸런스)을 변경하는 단점을 겪는다. 또한, 스테레오스코픽 프레임 내에 재정렬되는 다수의 삼각형 구역들로의 세분은 통신 채널을 통한 송신 이전에, 후속 압축 단계(예를 들어, MPEG2, MPEG4 또는 H.264)로 하여금 삼각형 구역들 사이에 경계선 영역들에서 아티팩트(artifact)들을 생성하게 한다. 상기 아티팩트들은 예를 들어, H.264 표준에 따른 압축 프로세스에 의하여 실행되는 운동 추정 프로시져에 의해 생성될 수 있다.
이 해법의 추가적 단점은 우측 및 좌측 이미지들을 스케일링하기 위한 동작들에 의하여 그리고 삼각형 구역들을 세그먼트화하고 로토트랜스레이팅(rototranslating)하기 위한 후속 동작들에 의하여 요구되는 계산적 복잡성에 관련된다.
본 발명의 목적은 종래 기술의 단점들을 극복하도록 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하고 디멀티플렉싱하기 위한 멀티플렉싱 방법 및 디멀티플렉싱 방법(관련된 디바이스들 뿐 아니라)을 제공하는 것이다.
특히, 본 발명의 하나의 목적은 수평 해상도와 수직 해상도 사이에 밸런스를 보존하도록 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하고 디멀티플렉싱하기 위한 멀티플렉싱 방법 및 디멀티플렉싱 방법(및 관련된 디바이스들)을 제공하는 것이다.
본 발명의 다른 목적은 왜곡 또는 아티팩트들의 생성을 최소화하면서 높은 압축 레이트가 후속하여 적용되도록 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하기 위한 멀티플렉싱 방법(및 관련된 디바이스)을 제공하는 것이다.
본 발명의 추가적인 목적은 감소된 계산 비용에 의해 특징화되는 멀티플렉싱 방법 및 디멀티플렉싱 방법(및 관련된 디바이스들)을 제공하는 것이다.
본 발명의 이러한 그리고 다른 목적들은 본 발명의 설명의 통합된 부분으로서 의도되는, 첨부된 청구항들에서 진술된 피쳐들을 통합하는 우측 및 좌측 이미지들을 멀티플렉싱하고 디멀티플렉싱하기 위한 멀티플렉싱 방법 및 디멀티플렉싱 방법(및 관련된 디바이스들)을 통해 달성된다.
본 발명에 근거한 일반적 아이디어는 그 픽셀들의 개수가 멀티플렉싱될 2개의 이미지들, 예를 들어, 우측 이미지 및 좌측 이미지의 픽셀들의 합산을 초과하거나 그와 동일한 합성 이미지로 2개의 이미지들을 입력하는 것이다.
제1 이미지(예를 들어, 좌측 이미지)의 픽셀들이 어떠한 변화들도 겪지 않고 합성 이미지로 입력되는 반면, 제2 이미지는 합성 이미지의 자유 영역들에서 그 픽셀들이 정렬되는 구역들로 세분된다.
이 해법은 2개의 이미지들 중 하나가 변화되지 않은 채로 남겨져, 복원된 이미지의 더 나은 품질을 초래하는 장점들을 제공한다.
바람직하게, 제2 이미지는 그 후 픽셀들 사이에서 공간적 상관을 최대화하고 압축 단계(phase) 동안에 아티팩트들의 생성을 감소시키도록, 가능한 가장 적은 수의 구역들로 나뉜다.
바람직한 실시예에서, 제2 이미지의 구역들은 단지 트랜슬레이션 또는 로토트랜슬레이션(rototranslation)에 의해 합성 이미지로 입력되고, 따라서 수평 해상도와 수직 해상도 사이의 비율을 변화되지 않은 채로 남겨둔다.
추가적 실시예에서, 제2 이미지가 나뉜 구역들 중 적어도 하나는 정반사성 반전 동작을 겪는데, 즉, 하나의 축(특히, 한 면)에 대해 뒤집히고, 2개의 우측 및 좌측 이미지들의 상동(homologous) 픽셀들, 즉, 동일한 행 및 열에 위치설정된 2개의 이미지들의 픽셀들 사이에 존재하는 강한 상관으로 인하여 테두리 면 상에 동일하거나 유사한 픽셀들을 갖는 다른 이미지의 한 면상에 합성 이미지의 면들 중 하나가 접하도록 합성 이미지에 정렬된다.
이 해법은 경계선 영역에 아티팩트들의 생성을 감소시키는 장점을 제공한다. 더욱 바람직하게, 제2 이미지가 세분되는 구역들은 직사각형 형태를 갖는다; 대각선 방향들로 합성 이미지를 가로지르는 경계선 영역들과 정렬되는 삼각형 구역들을 사용하는 해법과 비교하여, 특히 후자가 픽셀들의 정사각형 블록들(예를 들어, H.264 표준에 대해 16×16)에 따라 작동한다면, 이 선택은 후속 압축에 의해 생성되는 아티팩트들의 감소를 제공한다.
특히 바람직한 실시예에 따라, 아티팩트들의 형성은 합성 이미지로 리던던시(redundancy)를 도입함으로써, 즉, 픽셀들의 몇몇 그룹들을 여러 번 카피함으로써 추가로 감소되거나 심지어 완전히 제거된다. 특히, 이것은 합성 이미지로 입력될 기본(basic) 이미지를 이러한 구역들의 픽셀들의 전체 수가 나뉘어질 이미지들의 픽셀들의 수를 초과하는 그러한 치수들을 갖는 구역들로 나눔으로써 획득된다. 즉, 이미지는 구역들로 나뉘며, 구역들 중 적어도 2개는 공동으로 이미지 부분을 포함한다. 공통 이미지 부분은 디스어셈블리된 이미지에서 서로에 인접한 구역들 사이의 경계선 영역이다. 이 공통 부분의 크기는 바람직하게는 합성 이미지에 후속하여 적용될 압축의 타입에 좌우되고, 디스어셈블리된 이미지가 복원될 때 부분적으로 또는 완전히 제거될 버퍼(buffer) 영역으로서 작용할 수 있다. 압축이 버퍼 영역들 또는 적어도 그것의 최외곽 부분을 제거함으로써 상기 구역들의 경계선 영역들에서 아티팩트들을 도입할 수 있기 때문에, 임의의 아티팩트들을 제거하고 원래의 것에 대해 충실한 이미지를 복원하는 것이 가능하다.
본 발명의 추가적인 목적들 및 장점들은 발명의 몇몇 실시예들에 대한 다음의 설명으로부터 더욱 명백해질 것이며, 실시예들은 비제한적 실시예에 의해 제공된다.
상기 실시예들은 첨부 도면들을 참고하여 설명될 것이다.
제1 이미지(예를 들어, 좌측 이미지)의 픽셀들이 어떠한 변화들도 겪지 않고 합성 이미지로 입력되는 반면, 제2 이미지는 합성 이미지의 자유 영역들에서 그 픽셀들이 정렬되는 구역들로 세분된다.
이 해법은 2개의 이미지들 중 하나가 변화되지 않은 채로 남겨져, 복원된 이미지의 더 나은 품질을 초래하는 장점들을 제공한다.
바람직하게, 제2 이미지는 그 후 픽셀들 사이에서 공간적 상관을 최대화하고 압축 단계(phase) 동안에 아티팩트들의 생성을 감소시키도록, 가능한 가장 적은 수의 구역들로 나뉜다.
바람직한 실시예에서, 제2 이미지의 구역들은 단지 트랜슬레이션 또는 로토트랜슬레이션(rototranslation)에 의해 합성 이미지로 입력되고, 따라서 수평 해상도와 수직 해상도 사이의 비율을 변화되지 않은 채로 남겨둔다.
추가적 실시예에서, 제2 이미지가 나뉜 구역들 중 적어도 하나는 정반사성 반전 동작을 겪는데, 즉, 하나의 축(특히, 한 면)에 대해 뒤집히고, 2개의 우측 및 좌측 이미지들의 상동(homologous) 픽셀들, 즉, 동일한 행 및 열에 위치설정된 2개의 이미지들의 픽셀들 사이에 존재하는 강한 상관으로 인하여 테두리 면 상에 동일하거나 유사한 픽셀들을 갖는 다른 이미지의 한 면상에 합성 이미지의 면들 중 하나가 접하도록 합성 이미지에 정렬된다.
이 해법은 경계선 영역에 아티팩트들의 생성을 감소시키는 장점을 제공한다. 더욱 바람직하게, 제2 이미지가 세분되는 구역들은 직사각형 형태를 갖는다; 대각선 방향들로 합성 이미지를 가로지르는 경계선 영역들과 정렬되는 삼각형 구역들을 사용하는 해법과 비교하여, 특히 후자가 픽셀들의 정사각형 블록들(예를 들어, H.264 표준에 대해 16×16)에 따라 작동한다면, 이 선택은 후속 압축에 의해 생성되는 아티팩트들의 감소를 제공한다.
특히 바람직한 실시예에 따라, 아티팩트들의 형성은 합성 이미지로 리던던시(redundancy)를 도입함으로써, 즉, 픽셀들의 몇몇 그룹들을 여러 번 카피함으로써 추가로 감소되거나 심지어 완전히 제거된다. 특히, 이것은 합성 이미지로 입력될 기본(basic) 이미지를 이러한 구역들의 픽셀들의 전체 수가 나뉘어질 이미지들의 픽셀들의 수를 초과하는 그러한 치수들을 갖는 구역들로 나눔으로써 획득된다. 즉, 이미지는 구역들로 나뉘며, 구역들 중 적어도 2개는 공동으로 이미지 부분을 포함한다. 공통 이미지 부분은 디스어셈블리된 이미지에서 서로에 인접한 구역들 사이의 경계선 영역이다. 이 공통 부분의 크기는 바람직하게는 합성 이미지에 후속하여 적용될 압축의 타입에 좌우되고, 디스어셈블리된 이미지가 복원될 때 부분적으로 또는 완전히 제거될 버퍼(buffer) 영역으로서 작용할 수 있다. 압축이 버퍼 영역들 또는 적어도 그것의 최외곽 부분을 제거함으로써 상기 구역들의 경계선 영역들에서 아티팩트들을 도입할 수 있기 때문에, 임의의 아티팩트들을 제거하고 원래의 것에 대해 충실한 이미지를 복원하는 것이 가능하다.
본 발명의 추가적인 목적들 및 장점들은 발명의 몇몇 실시예들에 대한 다음의 설명으로부터 더욱 명백해질 것이며, 실시예들은 비제한적 실시예에 의해 제공된다.
상기 실시예들은 첨부 도면들을 참고하여 설명될 것이다.
도 1은 우측 이미지 및 좌측 이미지를 합성 이미지로 멀티플렉싱하기 위한 디바이스의 블록도를 도시한다.
도 2는 도 1의 디바이스에 의하여 실행되는 방법의 흐름도이다.
도 3은 합성 이미지에 입력될 이미지의 디스어셈블리의 제1 형태를 도시한다.
도 4는 본 발명의 일 실시예에 따른 합성 이미지를 구성하는 제1 단계를 도시한다.
도 5는 도 4의 완전한 합성 이미지를 도시한다.
도 6은 합성 이미지로 입력될 이미지의 디스어셈블리의 제2 형태를 도시한다.
도 7은 도 6의 이미지를 포함하는 합성 이미지를 도시한다.
도 8은 합성 이미지로 입력될 이미지의 디스어셈블리의 제3 형태를 도시한다.
도 9는 도 8의 이미지를 포함하는 합성 이미지를 도시한다.
도 10은 본 발명의 방법에 따라 생성되는 합성 이미지를 수신하기 위한 수신기의 블록도를 도시한다.
도 11은 도 8의 방법에 따라 디스어셈블리되고 도 10의 수신기에 의하여 수신되는 합성 이미지로 입력되는 이미지를 복원하는 몇몇 단계들을 도시한다.
도 12는 도 9에 도시된 타입의 합성 이미지로 멀티플렉싱된 우측 및 좌측 이미지들을 복원하기 위한 방법의 흐름도이다.
도 13은 본 발명의 제4 실시예에 따른 합성 이미지를 도시한다.
도 14a 내지 14f는 도 13의 합성 이미지로 이들을 입력하기 위하여 실행되는 상이한 프로세싱 단계들에서의 우측 이미지 및 좌측 이미지를 도시한다.
도 2는 도 1의 디바이스에 의하여 실행되는 방법의 흐름도이다.
도 3은 합성 이미지에 입력될 이미지의 디스어셈블리의 제1 형태를 도시한다.
도 4는 본 발명의 일 실시예에 따른 합성 이미지를 구성하는 제1 단계를 도시한다.
도 5는 도 4의 완전한 합성 이미지를 도시한다.
도 6은 합성 이미지로 입력될 이미지의 디스어셈블리의 제2 형태를 도시한다.
도 7은 도 6의 이미지를 포함하는 합성 이미지를 도시한다.
도 8은 합성 이미지로 입력될 이미지의 디스어셈블리의 제3 형태를 도시한다.
도 9는 도 8의 이미지를 포함하는 합성 이미지를 도시한다.
도 10은 본 발명의 방법에 따라 생성되는 합성 이미지를 수신하기 위한 수신기의 블록도를 도시한다.
도 11은 도 8의 방법에 따라 디스어셈블리되고 도 10의 수신기에 의하여 수신되는 합성 이미지로 입력되는 이미지를 복원하는 몇몇 단계들을 도시한다.
도 12는 도 9에 도시된 타입의 합성 이미지로 멀티플렉싱된 우측 및 좌측 이미지들을 복원하기 위한 방법의 흐름도이다.
도 13은 본 발명의 제4 실시예에 따른 합성 이미지를 도시한다.
도 14a 내지 14f는 도 13의 합성 이미지로 이들을 입력하기 위하여 실행되는 상이한 프로세싱 단계들에서의 우측 이미지 및 좌측 이미지를 도시한다.
적절한 곳에서 유사한 구조물들, 컴포넌트들, 물질들 및/또는 엘리먼트들은 유사한 참조기호들에 의해 지정된다.
도 1은 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 디바이스(100)의 블록도를 도시한다.
도 1에서, 디바이스(100)는 각각 좌측 눈(L)에 대해 그리고 우측 눈(R)에 대하여 의도된 이미지들(102 및 103) 중 2개의 시퀀스들, 예를 들어, 2개의 비디오 스트림들을 수신한다.
디바이스(100)는 2개의 시퀀스들(102 및 103)의 2개의 이미지들을 멀티플렉싱하기 위한 방법을 구현하도록 허용한다.
우측 및 좌측 이미지들을 멀티플렉싱하기 위한 방법을 구현하기 위해, 디바이스(100)는 입력 이미지(도 1의 예에서 우측 이미지)를 다수의 서브이미지들로 나누기 위한 디스어셈블러 모듈(104)을 포함하고, 다수의 서브이미지들 각각은 수신된 이미지의 한 구역에 대응하고, 어셈블리 모듈(105)은 수신된 이미지들의 픽셀들을 그것의 출력에서 제공될 단일 합성 이미지로 입력할 수 있다.
디바이스(100)에 의하여 구현되는 멀티플렉싱 방법의 일 예는 이제 도 2를 참고하여 설명될 것이다.
방법은 단계(200)에서 시작된다. 후속하여(단계(201)), 2개의 입력 이미지들(우측 및 좌측)은 도 3에 도시된 바와 같이 다수의 구역들로 나뉜다. 도 3의 실시예에서, 디스어셈블리된 이미지는 비디오 스트림(720p)의 프레임(R), 즉, 1280×720 픽셀들, 25/30 fps(frames per second)의 해상도를 갖는 프로그레시브 포맷이다.
도 3의 프레임(R)은 우측 눈에 대하여 의도된 이미지들을 운반하는 비디오 스트림(103)으로부터 나오며, 3개의 구역들(R1, R2 및 R3)로 디스어셈블리된다.
이미지(R)의 디스어셈블리는 동일한 사이즈의 2개의 부분들로 그것을 분할함으로써 획득되고, 후속하여 이러한 부분들 중 하나를 동일한 사이즈의 2개의 부분들로 세분함으로써 획득된다. 구역(R1)은 640×720 픽셀들의 사이즈를 가지며, 각각의 행의 제1의 640 픽셀들 전부를 취함으로써 획득된다. 구역(R2)은 640×360 픽셀들의 사이즈를 가지며, 제1의 360 행들의 픽셀들(641 내지 720)을 취함으로써 획득된다. 구역(R3)은 640×360 픽셀들의 사이즈를 가지며, 이미지(R)의 나머지 픽셀들, 즉, 마지막 360 행들의 픽셀들(641 내지 720)을 취함으로써 획득된다.
도 1의 예에서, 이미지(R)를 동작은 모듈(104)에 의하여 실행되며, 모듈(104)은 입력 이미지(R)(이 경우에는 프레임(R))를 수신하고, 3개의 구역들(R1, R2 및 R3)에 대응하는 3개의 서브이미지들(즉, 픽셀들의 3개의 그룹들)을 출력한다. 후속하여(단계들(202 및 203)), 우측 및 좌측 입력 이미지들 양자에 관한 정보를 포함하는 합성 이미지(C)가 구성되고, 본 명세서에 설명된 예에서, 상기 합성 이미지(C)는 출력 스테레오스코픽 비디오 스트림의 프레임이며, 따라서 이것은 컨테이너 프레임으로서 또한 지칭될 수 있다.
우선(단계(202)), 디바이스(100)에 의하여 수신되고 디바이스(105)에 의하여 디스어셈블리되지 않는 입력 이미지(도 1의 예에서 좌측 이미지(L))는 2개의 입력 이미지들 양자의 픽셀들 전부를 포함하는 방식으로 크기설정되는 컨테이너 프레임으로 변화되지 않고 입력된다. 예를 들어, 입력 이미지들이 1280×720 픽셀들의 사이즈를 갖는다면, 그 후 양자 모두를 포함하는데 적합한 컨테이너 프레임은 1920×1080 픽셀들의 프레임, 예를 들어, 1080p 타입(1920×1080 픽셀들, 25/30 fps를 갖는 프로그레시브 포맷)의 비디오 스트림의 프레임일 것이다.
도 4의 예에서, 좌측 이미지(L)는 컨테이너 프레임(C)에 입력되고 상부 좌측 코너에 위치설정된다. 이것은 컨테이너 프레임(C)의 제1 720 행들의 제1 1280 픽셀들로 구성되는 영역(C1)으로 이미지(L)의 1280×720 픽셀들을 카피함으로써 획득된다.
하기의 설명에서 이미지를 프레임으로 입력하는 것 또는 하나의 프레임으로 다른 프레임으로 픽셀들을 전달하거나 카피하는데 대한 참조가 이루어질 때, 이것이 (하드웨어 및/또는 소프트웨어 수단을 사용함으로써) 소스 이미지와 동일한 픽셀들을 포함하는 새로운 프레임을 생성하는 프로시져를 실행하는 것을 의미함이 이해된다.
소스 이미지(또는 소스 이미지의 픽셀들의 그룹)을 타겟 이미지로 재생하기 위한 (소프트웨어 및/또는 하드웨어) 기법들은 그들이 그 자체로 본 기술분야의 당업자에게 알려졌기 때문에 본 발명의 목적들에 대해 중요하지 않은 것으로 고려되고, 더 추가로 본 명세서에 논의되지 않을 것이다.
다음 단계(203)에서, 모듈(104)에 의하여 단계(201)에서 디스어셈블리되는 이미지는 컨테이너 프레임으로 입력된다. 이것은 디스어셈블리된 이미지의 픽셀들을 이미지(L)에 의하여 점유되지 않은 그것의 영역들, 즉, 영역(C1) 외부에 있는 영역들에서 컨테이너 프레임(C)으로 카피함으로써 모듈(105)에 의하여 달성된다.
가능한 최상의 압축을 획득하고, 비디오 스트림을 압축해제할 때 아티팩트들의 생성을 감소시키기 위하여, 모듈(104)에 의하여 출력되는 서브이미지들의 픽셀들은 개별적인 공간적 관계들을 보존함으로써 카피된다. 다시 말해, 구역들(R1, R2 및 R3)은 오로지 트랜슬레이션 및/또는 로테이션 동작들에 의하여 어떠한 변형도 겪지 않고 프레임(C)의 개별적인 영역들로 카피된다.
모듈(105)에 의하여 출력되는 컨테이너 프레임(C)의 예가 도 5에 도시된다. 구역(R1)은 제1 720 행들(영역(C2))의 마지막 640 픽셀들로 즉, 이전에 카피된 이미지(L) 옆에 카피된다.
구역들(R2 및 R3)은 영역(C1) 아래에, 즉, 영역들(C3 및 C4)에 각각 카피되며, 영역들(C3 및 C4)은 각각 마지막 360 행들의 제1 640 픽셀들 및 그 다음의 640 픽셀들을 포함한다.
도 5에 도시된 해법에 대한 바람직한 대안으로서, 구역들(R2 및 R3)은 경계선 구역들을 감소시키도록, 픽셀들의 그룹에 의하여 구분되는 분리된 영역들(즉, 중첩하지 않고 이웃하지도 않는)에서 컨테이너 프레임(C)으로 카피될 수 있다.
컨테이너 프레임으로 이미지들(L 및 R)을 입력하기 위한 동작들은 수평 해상도와 수직 해상도 사이의 밸런스에 대한 임의의 변경들을 암시하지 않는다.
일 실시예에서, 프레임(C)의 나머지 픽셀들에 동일한 RGB 값들이 할당된다; 예를 들어, 상기 나머지 픽셀들은 모두 블랙일 수 있다.
추가적 실시예에서, 합성 이미지에서 이용가능하게 남겨진 공간은, 예를 들어, 합성 이미지가 형성된 방법을 표시하는, 디멀티플렉서 레벨에서 우측 및 좌측 이미지들을 복원하는데 필요한 임의의 타입의 신호를 입력하기 위하여 사용될 수 있다.
이 실시예에서, 우측 또는 좌측 이미지들에 의하여 또는 그것의 일부에 의하여 점유되지 않은 컨테이너 프레임의 구역은 신호를 수신하기 위하여 사용된다. 이 신호 구역의 픽셀들은 신호 정보를 운반하는 예를 들어, 임의의 종류의, 예컨대, 선형 또는 2-차원적인 바코드를 생성하도록 2개의 색상들(예를 들어, 블랙과 화이트)로 착색된다.
컨테이너 프레임으로의 2개의 입력 이미지들 모두의(그리고 아마도 또한 신호의) 전달이 완료되면, 디바이스(100)에 의하여 구현되는 방법은 종료되고, 컨테이너 프레임은 압축되고, 통신 채널을 통해 송신되고 및/또는 적절한 매체(예를 들어, CD, DVD, 블루-레이, 매스 메모리 등)로 레코딩될 수 있다.
상기 설명된 멀티플렉싱 동작들은 하나의 구역 또는 이미지의 픽셀들 사이의 공간적 관계를 변경하지 않기 때문에, 디바이스(100)에 의하여 출력되는 비디오 스트림은 이미지가 중요한 아티팩트들을 생성하지 않고 송신된 것에 대해 매우 신뢰성 있게 복원될 우수한 가능성들을 유지하면서 상당히(to a considerable extent) 압축될 수 있다. 추가적 실시예들을 설명하기 이전에, 합성 이미지에서 이용가능한 공간 및 컨테이너 프레임으로 변화되지 않고 입력된 좌측 이미지에 의해 점유되는 공간을 고려하여, 프레임(R)의 3개의 구역들(R1, R2 및 R3)로의 분할은 구역들의 가능한 가장 작은 개수로의 프레임(R)의 분할에 대응한다는 점이 지적되어야 한다.
상기 가장 작은 개수는 즉, 좌측 이미지에 의하여 컨테이너 프레임(C)에서 이용가능하게 남겨진 공간을 점유하기 위해 필요한 구역들의 최대 개수이다.
따라서 일반적으로 이미지가 디스어셈블리되어야 하는 구역들의 최소 개수는 소스 이미지들(우측 및 좌측 이미지들)의 그리고 타겟 합성 이미지(컨테이너 프레임(C))의 포맷의 함수로서 정의된다.
바람직하게, 프레임으로 입력될 이미지는 이미지(예를 들어, 상기 예에서 R)를 가장 작은 개수의 직사각형 구역들로 나누기 위한 필요성을 고려함으로써 디스어셈블리된다.
추가적 실시예에서, 우측 이미지(R)는 도 6에 도시된 바와 같이 디스어셈블리된다.
구역(R1')은 도 3의 구역(R1)에 대응하고, 따라서 이미지의 720 행들 모두의 제1 640 픽셀들을 포함한다.
구역(R2')은 구역(R1')에 인접한 픽셀들의 320 열들을 포함하는 반면, 구역(R3')은 픽셀들의 마지막 320 열들을 포함한다.
따라서 컨테이너 프레임(C)은 도 7에 도시된 바와 같이 구성될 수 있으며, 구역들(R2' 및 R3')은 구역(R1') 및 이미지(L) 아래의 영역들(C3' 및 C4')에서 정렬되도록 90°만큼 터닝된다.
따라서 회전된 구역들(R2' 및 R3')은 320 행들의 720 픽셀들을 점유한다; 그에 따라, 영역들(C3' 및 C4')은 구역(R1')으로부터 그리고 이미지(L)로부터 카피된 픽셀들을 포함하는 영역들(C1 및 C2)로부터 분리된다.
바람직하게, 영역들(C3' 및 C4')은 적어도 하나의 세이프가드 라인(safeguard line)에 의하여 다른 영역들(C1 및 C2)로부터 분리된다. 특히, 구역들(R2' 및 R3')의 픽셀들을 컨테이너 프레임(C)의 마지막 행들로 카피하는 것이 바람직하고 선호된다.
이 경우에 컨테이너 프레임은 1080 행들로 만들어지기 때문에, 도 7의 실시예에서 회전된 구역들(R2' 및 R3')은 세이프가드 스트립 40 픽셀들 높이만큼 구역(R1') 및 상기 이미지(L)로부터 분리된다.
도 7의 예에서, 구역들(R2' 및 R3')은 서로로부터 분리되어, 구역들은 우측 및 좌측 이미지들로부터 나오지 않는 미리 규정된 색상(예를 들어, 화이트 또는 블랙)의 픽셀들에 의하여 둘러싸인다. 이러한 방식으로, 우측 및 좌측 이미지들로부터 나오는 픽셀들을 포함하는 구역들 사이의 경계선 영역들은 감소되는 한편, 또한 이미지 압축에 의하여 야기되는 임의의 아티팩트들은 감소하고 압축 레이트는 최대화된다.
(도 7을 참고하여 설명된 바와 같이) R2' 및 R3'를 컨테이너 프레임(C)의 마지막 행들로 위치설정하는 것의 대안으로서, 바람직한 실시예에서 R2' 및 R3'는 세이프가드 스트립 32 픽셀 행들 높이가 L의 바닥부 에지와 R2' 및 R3'의 상부 에지 사이에 남겨지는 방식으로 위치설정된다. 이것은 R2' 및 R3'의 바닥부 에지와 C의 바닥부 에지 사이에 제2 세이프가드 스트립 8 픽셀 행들 높이를 제공한다. 컨테이너 프레임의 폭을 추가로 이용함으로써, 우측 이미지 또는 좌측 이미지 중 어느 것으로부터도 나오지 않는 픽셀에 의해서 완전히 둘러싸이게 되는 방식으로, R2' 및 R3'를 위치설정하는 것이 가능하다.
도 8 및 9를 참고하여 여기에 설명되는 추가적 실시예에서, 모듈(104)은 픽셀들의 총 합계가 디스어셈블리된 이미지의 합계를 초과하는 3개의 서브이미지들(R1", R2" 및 R3")을 추출한다.
구역(R1")은 도 6의 구역(R1')에 대응하는 반면, R2" 및 R3"은 구역들(R2' 및 R3')의 영역 더하기 이미지 압축 단계 동안 아티팩트들의 생성을 최소화시키도록 허용하는 부가적인 영역(Ra2 및 Ra3)을 포함한다.
따라서 세그먼트(R1")는 640×720 픽셀들의 사이즈를 갖고 디스어셈블리될 프레임(R)의 제1 열들을 점유하는 구역이다.
세그먼트(R3")는 디스어셈블리될 프레임(R)의 마지막 열들을 점유하고, 중앙 구역(R2")상에 접한다. 좌측면(R2"상에 접하는 것) 상에서 R3"는 구역(R2")과 공동으로 픽셀들을 포함하는 버퍼 스트립(Ra3)을 포함한다. 다시 말해, R2"의 마지막 열들 및 R3"의 제1 열(버퍼 스트립(Ra3)을 구성하는)은 같은 공간을 차지한다. 바람직하게, 버퍼 스트립(Ra3)의 사이즈는 컨테이너 프레임(C)에 그리고 일반적으로 그것을 포함하는 비디오 스트림에 후속하여 적용될 압축의 타입의 함수로서 선택된다. 특히, 상기 스트립은 압축 프로세스에서 사용되는 기본적인 프로세싱 유닛의 사이즈의 두 배인 사이즈를 갖는다. 예를 들어, H.264 표준은 16×16 픽셀들의 매크로블록들로 이미지를 디스어셈블링하는 것을 제공하며, 픽셀들 각각은 이 표준의 기본적인 프로세싱 유닛을 나타낸다. 이 가정에 기반하여, 스트립(Ra3)은 32 픽셀들의 폭을 갖는다. 따라서 세그먼트(R3")는 352 (320+32)×720 픽셀들의 사이즈를 갖고, 이미지(R)의 마지막 352 열들의 픽셀들을 포함한다. 세그먼트(R2")는 디스어셈블리될 이미지(R)의 중앙 부분을 점유하고, 그것의 좌측 면 상에 스트립(Ra3)과 동일한 사이즈를 갖는 버퍼 스트립(Ra2)을 포함한다. H.264 압축 표준을 고려하는 예에서, 따라서 스트립(Ra2)은 32 픽셀들 폭이며, 구역(R1")과 공동으로 픽셀들을 포함한다. 따라서 세그먼트(R2")는 352×720 픽셀들의 사이즈를 가지고, 프레임(R)의 열들 608(R1"의 640-32) 내지 978의 픽셀들을 포함한다.
(도 8에 보여지는) 모듈(104)에 의하여 출력되는 구역들(R1", R2" 및 R3")에 관한 3개의 서브이미지들은 그 후 도 9에 도시된 바와 같이 컨테이너 프레임(C)으로 입력된다. 구역들(R2" 및 R3")은 90°만큼 터닝되고, 픽셀들은 이미지들(L 및 R1")의 픽셀들을 포함하는 영역들(C1 및 C2)로부터 영역들(C3" 및 C4")을 분리하는 특정 개수의 세이프가드 픽셀들을 제공함으로써 프레임(C)(C3" 및 C4"로 지정된 영역들)의 마지막 행들로 카피된다. 도 9에 도시된 경우에, 이 세이프가드 스트립은 8 픽셀들 폭이다.
따라서 획득된 프레임(C)은 후속하여 압축되고, 저장 매체(예를 들어, DVD)에 송신되거나 저장된다. 이러한 목적으로, 이미지 또는 비디오 신호를 압축하도록 적응되는 압축 수단이 압축된 이미지 또는 비디오 신호를 레코딩 및/또는 송신하기 위한 수단과 함께 제공된다.
도 10은 수신된 컨테이너 프레임(압축되었다면)을 압축해제시키고, 2개의 우측 및 좌측 이미지들을 복원하며, 3D 콘텐츠의 결실을 허용하는 시각화 디바이스(예를 들어, 텔레비전 세트)에 대해 이미지들을 이용가능하게 하는 수신기(1100)의 블록도를 도시한다. 수신기(1100)는 텔레비전 세트에 내장된 수신기 또는 셋-탑-박스일 수 있다. 수신기(1100)에 대하여 이루어지는 동일한 리마크들은 또한 판독기(예를 들어, DVD 판독기)에 적용가능하며, 상기 판독기는 컨테이너 프레임(아마도 압축된)을 판독하고, 판독기에 의해 판독되는 컨테이너 프레임(아마도 압축된)으로 입력된 우측 및 좌측 이미지들에 대응하는 프레임들의 하나의 쌍을 획득하기 위하여 그것을 프로세싱한다.
다시 도 10을 참고하여, 수신기는 (케이블 또는 안테나를 통해) 압축된 스테레오스코픽 비디오 스트림(1101)을 수신하고, 압축해제 모듈(1102)에 의하여 그것을 압축해제하며, 이에 의하여 프레임들(C)에 대응하는 프레임들(C)의 시퀀스를 포함하는 비디오 스트림을 획득한다. 이상적 채널이 존재한다면 또는 컨테이너 프레임들이 매스 메모리 또는 데이터 매체(블루-레이, CD, DVD)로부터 판독된다면, 프레임들(C)은 압축 프로세스에 의하여 도입되는 임의의 아티팩트들을 제외하고, 우측 및 좌측 이미지들에 관한 정보를 운반하는 컨테이너 프레임들(C)에 대응한다.
이러한 프레임들(C)은 그 후 복원 모듈(1103)에 공급되고, 복원 모듈(1103)은 도 11 및 12를 참고하여 하기에서 설명되는 바와 같이 이미지 복원 방법을 실행한다.
비디오 스트림이 압축되지 않았다면, 압축해제 모듈(1102)은 생략될 수 있고, 비디오 신호가 복원 모듈(1103)에 직접 공급될 수 있다.
압축해제된 컨테이너 프레임(C)이 수신될 때, 복원 프로세스는 단계(1300)에서 시작된다. 복원 모듈(1103)은 압축해제된 프레임의 제1 720×1080 픽셀들을 컨테이너 프레임보다 작은 새로운 프레임, 예를 들어, 720p 스트림의 프레임으로 카피함으로써 좌측 이미지(L)를 추출한다(단계(1301)). 따라서 복원된 이미지(L)는 수신기(1100)에 출력된다(step 1302).
후속하여, 방법은 컨테이너 프레임(C)으로부터 우측 이미지(R)를 추출하는 것을 제공한다.
우측 이미지를 추출하는 단계는 프레임(C)에 포함되는 영역(R1")의 일부를 카피함으로써 시작된다(단계(1303)). 더욱 상세하게, R1"의 제1 624(640-16) 열들의 픽셀들은 도 11에 도시된 바와 같이, 복원된 이미지(Rout)를 나타내는 새로운 프레임의 대응하는 제1 624 열들로 카피된다. 사실상, 이것은 예를 들어, H.264 압축 표준에 의하여 실행되는 운동 추정 프로시져의 효과를 통해, 아티팩트들의 생성을 가장 심하게 겪는 R1"의 16 열들을 복원 단계로부터 제거한다.
그 후 R2"의 중앙 부분이 추출된다(단계(1304)). (전술한 바와 같이, 도 9의 프레임(C)에 대응하는) 압축해제된 프레임(C)으로부터, (소스 구역(R2")에 대응하는) 영역(C3")의 픽셀들이 선택되고, 멀티플렉서(100)에서 실행된 것과 반대되는 90° 회전이 이루어지며, 이는 원래의 행/열 조건, 즉, 도 8에 도시된 것으로 픽셀들을 다시 돌려놓는다. 이 때에, R2"의 제1 및 마지막 열여섯 개(16) 열들이 제거되고, 나머지 352-32=320 픽셀 열들은 R1"으로부터 막 카피된 것들에 인접한 자유 열들로 카피된다.
구역(R2")의 16개 최외곽 열들을 컷팅함으로써, 아티팩트들의 형성이 발생할 가능성이 가장 높은 그러한 열들은 제거된다. 컷 영역의 폭(이 경우에 16 열들)은 사용된 압축의 타입에 좌우된다. 상기 영역을 바람직하게는 압축 프로세스에 의하여 사용되는 기본적인 프로세싱 유닛과 동일하다; 본 명세서에 설명된 경우에, H.264 표준은 16×16 픽셀들의 블록들에 작용하고, 따라서 16개의 열들이 컷팅될 것이다.
R3"와 관련하여(단계(1305)), 구역(C4")의 픽셀들이 프레임(C)으로부터 추출되고, 서브이미지(R3")는 원본 행/열 포맷으로 다시 되돌려진다(도 8 참고). 그 후, 제1 16 픽셀 열들은 제거되고(영역(Ra3)의 절반에 대응), 나머지 352-16=336 픽셀 열들은 복원된 이미지의 좌측 상에 마지막 자유 열들로 카피된다. R2"와 유사하게, 또한 R3"에서 컷 영역은 압축 프로세스에 의해 사용되는 기본적인 프로세싱 유닛과 동일하다.
물론, 구역들(R2" 및 R3") 양자에 대해 회전 동작들이 가상 방식으로 실행될 수 있는데, 즉, 도 8에 도시된 컷팅될 16개 열들에 대응하는 영역(C3")(R2"라면, R3"라면 C4")의 마지막 16 행들을 제외하고, 새로운 프레임(Rout)의 열의 영역(C3")(R2"라면, R3"라면C4")의 행의 픽셀들을 복원된 프레임으로 카피함으로써 해당 픽셀들의 추출의 관점에서 동일한 결과가 획득될 수 있다. 이때, 우측 이미지(Rout)는 완전히 복원되었고, 출력될 수 있다(단계(1306)).
따라서 컨테이너 프레임(C)에 포함되는 우측 및 좌측 이미지들을 복원하기 위한 프로세스가 완료된다(단계(1307)). 수신기(1100)에 의하여 수신되는 비디오 스트림의 각각의 프레임에 대해 상기 프로세스가 반복되어, 출력은 각각 우측 이미지에 대한 그리고 좌측 이미지에 대한 2개의 비디오 스트림들(1104 및 1105)로 구성될 것이다.
도 10, 11 및 12를 참고하여 상기 설명된 우측 및 좌측 이미지들을 복원하기 위한 프로세스는 디멀티플렉서(1100)가 컨테이너 프레임(C)이 내장된 방법을 알고, 따라서 우측 및 좌측 이미지들을 추출할 수 있다는 가정에 기반한다.
물론, 이것은 멀티플렉싱 방법이 표준화된다면 가능하다.
컨테이너 프레임이 상기 설명된 방법들 중 임의의 하나의 방법 또는 첨부된 청구항들의 대상인 해법을 이용하는 방법들 중 임의의 방법으로 생성될 수 있다는 사실을 고려하기 위해, 디멀티플렉서는 합성 이미지의 컨텐츠가 분석(unpack)되어야 하는 방법 및 우측 및 좌측 이미지들을 복원하는 방법을 알기 위해 합성 이미지(예를 들어, 이전에 설명된 바와 같이, 바코드)의 미리 규정된 구역에 포함되는 시그널링 정보를 사용한다.
상기 신호를 디코딩한 이후, 디멀티플렉서는 다른 이미지가 디스어셈블리된(예를 들어, 상기 설명된 예들에서 우측 이미지) 구역들의 임의의 변화(회전, 트랜슬레이션 등) 및 위치들 뿐 아니라, 변화되지 않은 이미지(예를 들어, 상기 설명된 예들에서 좌측 이미지)의 위치를 알 것이다.
이 정보로, 따라서 디멀티플렉서는 변화되지 않은 이미지(예를 들어, 좌측 이미지)를 추출하고, 디스어셈블리된 이미지(예를 들어, 우측 이미지)를 복원할 수 있다.
본 발명이 지금까지 몇몇 선호되는 및 바람직한 실시예들을 참고로 예증되었으나, 본 발명이 상기 실시예들로 제한되지 않으며, 대상물 또는 장면의 2개의 상이한 관점들(우측 및 좌측)과 관련된 2개의 이미지들을 합성 이미지로 결합하기 원하는 본 기술분야의 당업자들에 의해 실시예들에 대한 다수의 변화들이 이루어질 수 있다는 것이 명백하다.
예를 들어, 상기 설명된 디바이스들, 특히, 디바이스(100) 및 수신기(1100)를 제공하는 전자 모듈들은 다양하게 세분되고 분포될 수 있다; 더 나아가, 그들은 하드웨어 모듈들 또는 프로세서, 특히, 수신된 입력 프레임들을 임시적으로 저장하기 위하여 적절한 메모리 영역들이 구비된 비디오 프로세서에 의해 구현되는 소프트웨어 알고리즘의 형태로 제공될 수 있다. 따라서 이러한 모듈들은 본 발명에 따른 이미지 멀티플렉싱 및 디멀티플렉싱 방법들의 비디오 프로세싱 단계들 중 하나 이상을 동시에 또는 연속적으로 실행할 수 있다. 바람직한 실시예들이 2개의 720p 비디오 스트림들을 하나의 1080p 비디오 스트림으로 멀티플렉싱하는 것을 나타내지만, 다른 포맷들이 마찬가지로 사용될 수 있다는 것이 또한 명백하다.
합성 이미지를 생성하기 위한 상이한 해법들은 특정 장점들을 가질 수 있기 때문에, 발명은 또한 합성 이미지의 특정 타입의 어레인지먼트(arrangement)로 제한되지 않는다.
예를 들어, 도 1 내지 12를 참고하여 상기 설명된 실시예들은 그들이 단지 트랜슬레이션 또는 로토트랜슬레이션 동작들을 실행하고, 따라서 단지 적은 계산 전력을 요구한다는 장점을 제공한다.
대안적으로, 도 13에 도시된 타입의 합성 이미지를 획득하기 위하여 상기 로테이션 및/또는 트랜슬레이션 동작들 외에도, 이미지들이 또한 정반사성 반전 동작들 처리되는 것으로 생각된다.
상동 픽셀들을 포함하는 구역들 사이에 경계선 페리미터(boundary perimeter)들을 최대화하고, 그에 의하여 그들 사이에 존재하는 강한 상관을 이용하고 후속 압축에 의해 도입되는 아티팩트들을 최소화시키기 위한 목적으로 이러한 부가적인 동작들이 실행된다. 도 13 및 14의 예에서, 그들이 일반적으로 약간 상이하더라도, 2개의 우측 및 좌측 이미지들이 동일한 것으로 명확히 가정되었다.
이 도면에서, 좌측 이미지(L)(도 14a에 도시된)는 제1 720 행들의 마지막 1280 픽셀들을 점유하도록, 컨테이너 프레임(C)의 상부 우측 코너에 위치설정된다. 이전에 설명된 예들에서와 같이, 따라서 이미지(L)는 컨테이너 프레임(C)으로 변화되지 않고 카피된다.
대신에, 우측 이미지(R)는 도 3의 예에 따라 디스어셈블리된다; 도 14b는 3개의 구역들(R1, R2 및 R3)로 나뉘어진 이미지(R)를 도시한다.
후속하여, 몇몇 구역들(도 14의 구역들(Rl 및 R3))은 정반사성 반전 동작을 겪는다; 반전은 수직 축(즉, 이미지의 열에 평행한)에 관해 또는 수평 축(즉, 이미지의 행에 평행한)에 대해 또는 수평 축(즉, 이미지의 열에 평행한)에 관해 발생할 수 있다.
수직 축에 대한 반전의 경우에, 열 N의 픽셀들(여기서, N은 1과 1080 사이의 정수이며, 1080은 이미지의 열들의 수임)은 열 1080+1-N으로 카피된다.
수평 축에 대한 반전의 경우에, 행 M의 픽셀들(여기서, M은 1과 720 사이의 정수이며, 720은 이미지의 행들의 수임)은 행 720+1-N으로 카피된다.
도 14c 및 14d는 이미지(R)로부터 추출된 구역(R1) 및 수직 축에 대해, 특히, 수직 면에 대해 반전된 (R1rot)를 도시한다.
반전된 구역(R1inv)은 제1 640 픽셀 행들의 제1 640 픽셀들로 입력된다. 도 13의 예에서 보여지는 바와 같이, R1inv이 컨테이너 프레임(C)으로 회전되어 입력될 때, L 상에 접하는 R1inv의 픽셀들은 R1inv상에 접하는 L의 픽셀들과 매우 유사하다. 이러한 픽셀들 사이의 공간적 상관은 아티팩트들의 형성을 감소시키는 장점을 갖는다.
도 14e 및 14f는 도 14b의 이미지(R) 및 수평 축에 대해, 특히, 수평 면에 대해 반전된 (R3inv)로부터 추출된 구역(R3)을 도시한다. 구역(R3inv)은 마지막 360 행들의 마지막 640 픽셀들로 입력된다. R3inv과 L 사이의 경계선 구역들의 픽셀들이 높은 공간적 상관을 갖는 픽셀들이기 때문에, 이것은 아티팩트들의 생성을 감소시킨다. 이 경계선 구역의 픽셀들은 사실상 이미지의 유사하거나 동일한 부분들을 감소시킨다.
컨테이너 프레임(C)은 그 후 구역(R2)을 입력함으로써 완료된다.
어떤 경우든, R 또는 L의 다른 구역에서 상동 픽셀들로 이루어진 경계선 구역과 R2의 경계선 구역과 매칭시키는 것이 가능하지 않을 것이기 때문에, 이 예에서, R2는 반전되고 및/또는 회전되지 않는다.
마침내, 우측 이미지 및 좌측 이미지가 본 발명의 보호 범위 내에 있는 상기 설명된 멀티플렉싱 프로세스들 중 하나를 반전시킴으로써 합성 이미지로부터 추출되도록 허용하는 임의의 디멀티플렉싱 방법과 관련되는 것이 또한 명백하다.
따라서 발명은 다음의 단계들을 포함하는, 합성 이미지로부터 시작되는 이미지들의 쌍을 생성하기 위한 방법과 관련된다:
- 상기 합성 이미지의 구역으로부터 인접한 픽셀들의 하나의 단일 그룹을 카피함으로써 상기 우측 및 좌측 이미지들 중 제1 이미지(예를 들어, 좌측 이미지)를 생성하는 단계,
- 상기 합성 이미지의 상이한 구역들로부터 인접한 픽셀들의 다른 그룹들을 카피함으로써 제2 이미지(예를 들어, 우측 이미지)를 생성하는 단계.
일 실시예에 따라, 상기 제2 이미지를 생성하기 위한 정보는 상기 합성 이미지의 영역으로부터 추출된다. 상기 정보는 바람직하게 바코드에 따라 인코딩된다.
우측 및 좌측 이미지들을 생성하기 위한 방법의 일 실시예에서, 합성 이미지에서 디스어셈블리된 이미지의 생성은 상기 상이한 구역들 중 하나의 구역의 픽셀들의 그룹의 정반사성 반전의 적어도 하나의 단계를 포함한다.
우측 및 좌측 이미지들을 생성하기 위한 방법의 일 실시예에서, 합성 이미지에서 디스어셈블리된 이미지의 생성은 복원될 이 이미지의 픽셀들을 포함하는 합성 이미지의 구역들 중 하나의 구역으로부터 픽셀들을 제거하는 적어도 하나의 단계를 포함한다. 특히, 픽셀들은 이 구역의 경계선 영역으로부터 제거된다.
일 실시예에서, 합성 이미지의 상이한 구역들로부터 디스어셈블리된 이미지는 복원될 이미지의 픽셀들을 포함하는 픽셀 구역들이 단지 트랜슬레이션 및/또는 회전 동작들로 처리됨으로써 복원된다.
도 1은 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 디바이스(100)의 블록도를 도시한다.
도 1에서, 디바이스(100)는 각각 좌측 눈(L)에 대해 그리고 우측 눈(R)에 대하여 의도된 이미지들(102 및 103) 중 2개의 시퀀스들, 예를 들어, 2개의 비디오 스트림들을 수신한다.
디바이스(100)는 2개의 시퀀스들(102 및 103)의 2개의 이미지들을 멀티플렉싱하기 위한 방법을 구현하도록 허용한다.
우측 및 좌측 이미지들을 멀티플렉싱하기 위한 방법을 구현하기 위해, 디바이스(100)는 입력 이미지(도 1의 예에서 우측 이미지)를 다수의 서브이미지들로 나누기 위한 디스어셈블러 모듈(104)을 포함하고, 다수의 서브이미지들 각각은 수신된 이미지의 한 구역에 대응하고, 어셈블리 모듈(105)은 수신된 이미지들의 픽셀들을 그것의 출력에서 제공될 단일 합성 이미지로 입력할 수 있다.
디바이스(100)에 의하여 구현되는 멀티플렉싱 방법의 일 예는 이제 도 2를 참고하여 설명될 것이다.
방법은 단계(200)에서 시작된다. 후속하여(단계(201)), 2개의 입력 이미지들(우측 및 좌측)은 도 3에 도시된 바와 같이 다수의 구역들로 나뉜다. 도 3의 실시예에서, 디스어셈블리된 이미지는 비디오 스트림(720p)의 프레임(R), 즉, 1280×720 픽셀들, 25/30 fps(frames per second)의 해상도를 갖는 프로그레시브 포맷이다.
도 3의 프레임(R)은 우측 눈에 대하여 의도된 이미지들을 운반하는 비디오 스트림(103)으로부터 나오며, 3개의 구역들(R1, R2 및 R3)로 디스어셈블리된다.
이미지(R)의 디스어셈블리는 동일한 사이즈의 2개의 부분들로 그것을 분할함으로써 획득되고, 후속하여 이러한 부분들 중 하나를 동일한 사이즈의 2개의 부분들로 세분함으로써 획득된다. 구역(R1)은 640×720 픽셀들의 사이즈를 가지며, 각각의 행의 제1의 640 픽셀들 전부를 취함으로써 획득된다. 구역(R2)은 640×360 픽셀들의 사이즈를 가지며, 제1의 360 행들의 픽셀들(641 내지 720)을 취함으로써 획득된다. 구역(R3)은 640×360 픽셀들의 사이즈를 가지며, 이미지(R)의 나머지 픽셀들, 즉, 마지막 360 행들의 픽셀들(641 내지 720)을 취함으로써 획득된다.
도 1의 예에서, 이미지(R)를 동작은 모듈(104)에 의하여 실행되며, 모듈(104)은 입력 이미지(R)(이 경우에는 프레임(R))를 수신하고, 3개의 구역들(R1, R2 및 R3)에 대응하는 3개의 서브이미지들(즉, 픽셀들의 3개의 그룹들)을 출력한다. 후속하여(단계들(202 및 203)), 우측 및 좌측 입력 이미지들 양자에 관한 정보를 포함하는 합성 이미지(C)가 구성되고, 본 명세서에 설명된 예에서, 상기 합성 이미지(C)는 출력 스테레오스코픽 비디오 스트림의 프레임이며, 따라서 이것은 컨테이너 프레임으로서 또한 지칭될 수 있다.
우선(단계(202)), 디바이스(100)에 의하여 수신되고 디바이스(105)에 의하여 디스어셈블리되지 않는 입력 이미지(도 1의 예에서 좌측 이미지(L))는 2개의 입력 이미지들 양자의 픽셀들 전부를 포함하는 방식으로 크기설정되는 컨테이너 프레임으로 변화되지 않고 입력된다. 예를 들어, 입력 이미지들이 1280×720 픽셀들의 사이즈를 갖는다면, 그 후 양자 모두를 포함하는데 적합한 컨테이너 프레임은 1920×1080 픽셀들의 프레임, 예를 들어, 1080p 타입(1920×1080 픽셀들, 25/30 fps를 갖는 프로그레시브 포맷)의 비디오 스트림의 프레임일 것이다.
도 4의 예에서, 좌측 이미지(L)는 컨테이너 프레임(C)에 입력되고 상부 좌측 코너에 위치설정된다. 이것은 컨테이너 프레임(C)의 제1 720 행들의 제1 1280 픽셀들로 구성되는 영역(C1)으로 이미지(L)의 1280×720 픽셀들을 카피함으로써 획득된다.
하기의 설명에서 이미지를 프레임으로 입력하는 것 또는 하나의 프레임으로 다른 프레임으로 픽셀들을 전달하거나 카피하는데 대한 참조가 이루어질 때, 이것이 (하드웨어 및/또는 소프트웨어 수단을 사용함으로써) 소스 이미지와 동일한 픽셀들을 포함하는 새로운 프레임을 생성하는 프로시져를 실행하는 것을 의미함이 이해된다.
소스 이미지(또는 소스 이미지의 픽셀들의 그룹)을 타겟 이미지로 재생하기 위한 (소프트웨어 및/또는 하드웨어) 기법들은 그들이 그 자체로 본 기술분야의 당업자에게 알려졌기 때문에 본 발명의 목적들에 대해 중요하지 않은 것으로 고려되고, 더 추가로 본 명세서에 논의되지 않을 것이다.
다음 단계(203)에서, 모듈(104)에 의하여 단계(201)에서 디스어셈블리되는 이미지는 컨테이너 프레임으로 입력된다. 이것은 디스어셈블리된 이미지의 픽셀들을 이미지(L)에 의하여 점유되지 않은 그것의 영역들, 즉, 영역(C1) 외부에 있는 영역들에서 컨테이너 프레임(C)으로 카피함으로써 모듈(105)에 의하여 달성된다.
가능한 최상의 압축을 획득하고, 비디오 스트림을 압축해제할 때 아티팩트들의 생성을 감소시키기 위하여, 모듈(104)에 의하여 출력되는 서브이미지들의 픽셀들은 개별적인 공간적 관계들을 보존함으로써 카피된다. 다시 말해, 구역들(R1, R2 및 R3)은 오로지 트랜슬레이션 및/또는 로테이션 동작들에 의하여 어떠한 변형도 겪지 않고 프레임(C)의 개별적인 영역들로 카피된다.
모듈(105)에 의하여 출력되는 컨테이너 프레임(C)의 예가 도 5에 도시된다. 구역(R1)은 제1 720 행들(영역(C2))의 마지막 640 픽셀들로 즉, 이전에 카피된 이미지(L) 옆에 카피된다.
구역들(R2 및 R3)은 영역(C1) 아래에, 즉, 영역들(C3 및 C4)에 각각 카피되며, 영역들(C3 및 C4)은 각각 마지막 360 행들의 제1 640 픽셀들 및 그 다음의 640 픽셀들을 포함한다.
도 5에 도시된 해법에 대한 바람직한 대안으로서, 구역들(R2 및 R3)은 경계선 구역들을 감소시키도록, 픽셀들의 그룹에 의하여 구분되는 분리된 영역들(즉, 중첩하지 않고 이웃하지도 않는)에서 컨테이너 프레임(C)으로 카피될 수 있다.
컨테이너 프레임으로 이미지들(L 및 R)을 입력하기 위한 동작들은 수평 해상도와 수직 해상도 사이의 밸런스에 대한 임의의 변경들을 암시하지 않는다.
일 실시예에서, 프레임(C)의 나머지 픽셀들에 동일한 RGB 값들이 할당된다; 예를 들어, 상기 나머지 픽셀들은 모두 블랙일 수 있다.
추가적 실시예에서, 합성 이미지에서 이용가능하게 남겨진 공간은, 예를 들어, 합성 이미지가 형성된 방법을 표시하는, 디멀티플렉서 레벨에서 우측 및 좌측 이미지들을 복원하는데 필요한 임의의 타입의 신호를 입력하기 위하여 사용될 수 있다.
이 실시예에서, 우측 또는 좌측 이미지들에 의하여 또는 그것의 일부에 의하여 점유되지 않은 컨테이너 프레임의 구역은 신호를 수신하기 위하여 사용된다. 이 신호 구역의 픽셀들은 신호 정보를 운반하는 예를 들어, 임의의 종류의, 예컨대, 선형 또는 2-차원적인 바코드를 생성하도록 2개의 색상들(예를 들어, 블랙과 화이트)로 착색된다.
컨테이너 프레임으로의 2개의 입력 이미지들 모두의(그리고 아마도 또한 신호의) 전달이 완료되면, 디바이스(100)에 의하여 구현되는 방법은 종료되고, 컨테이너 프레임은 압축되고, 통신 채널을 통해 송신되고 및/또는 적절한 매체(예를 들어, CD, DVD, 블루-레이, 매스 메모리 등)로 레코딩될 수 있다.
상기 설명된 멀티플렉싱 동작들은 하나의 구역 또는 이미지의 픽셀들 사이의 공간적 관계를 변경하지 않기 때문에, 디바이스(100)에 의하여 출력되는 비디오 스트림은 이미지가 중요한 아티팩트들을 생성하지 않고 송신된 것에 대해 매우 신뢰성 있게 복원될 우수한 가능성들을 유지하면서 상당히(to a considerable extent) 압축될 수 있다. 추가적 실시예들을 설명하기 이전에, 합성 이미지에서 이용가능한 공간 및 컨테이너 프레임으로 변화되지 않고 입력된 좌측 이미지에 의해 점유되는 공간을 고려하여, 프레임(R)의 3개의 구역들(R1, R2 및 R3)로의 분할은 구역들의 가능한 가장 작은 개수로의 프레임(R)의 분할에 대응한다는 점이 지적되어야 한다.
상기 가장 작은 개수는 즉, 좌측 이미지에 의하여 컨테이너 프레임(C)에서 이용가능하게 남겨진 공간을 점유하기 위해 필요한 구역들의 최대 개수이다.
따라서 일반적으로 이미지가 디스어셈블리되어야 하는 구역들의 최소 개수는 소스 이미지들(우측 및 좌측 이미지들)의 그리고 타겟 합성 이미지(컨테이너 프레임(C))의 포맷의 함수로서 정의된다.
바람직하게, 프레임으로 입력될 이미지는 이미지(예를 들어, 상기 예에서 R)를 가장 작은 개수의 직사각형 구역들로 나누기 위한 필요성을 고려함으로써 디스어셈블리된다.
추가적 실시예에서, 우측 이미지(R)는 도 6에 도시된 바와 같이 디스어셈블리된다.
구역(R1')은 도 3의 구역(R1)에 대응하고, 따라서 이미지의 720 행들 모두의 제1 640 픽셀들을 포함한다.
구역(R2')은 구역(R1')에 인접한 픽셀들의 320 열들을 포함하는 반면, 구역(R3')은 픽셀들의 마지막 320 열들을 포함한다.
따라서 컨테이너 프레임(C)은 도 7에 도시된 바와 같이 구성될 수 있으며, 구역들(R2' 및 R3')은 구역(R1') 및 이미지(L) 아래의 영역들(C3' 및 C4')에서 정렬되도록 90°만큼 터닝된다.
따라서 회전된 구역들(R2' 및 R3')은 320 행들의 720 픽셀들을 점유한다; 그에 따라, 영역들(C3' 및 C4')은 구역(R1')으로부터 그리고 이미지(L)로부터 카피된 픽셀들을 포함하는 영역들(C1 및 C2)로부터 분리된다.
바람직하게, 영역들(C3' 및 C4')은 적어도 하나의 세이프가드 라인(safeguard line)에 의하여 다른 영역들(C1 및 C2)로부터 분리된다. 특히, 구역들(R2' 및 R3')의 픽셀들을 컨테이너 프레임(C)의 마지막 행들로 카피하는 것이 바람직하고 선호된다.
이 경우에 컨테이너 프레임은 1080 행들로 만들어지기 때문에, 도 7의 실시예에서 회전된 구역들(R2' 및 R3')은 세이프가드 스트립 40 픽셀들 높이만큼 구역(R1') 및 상기 이미지(L)로부터 분리된다.
도 7의 예에서, 구역들(R2' 및 R3')은 서로로부터 분리되어, 구역들은 우측 및 좌측 이미지들로부터 나오지 않는 미리 규정된 색상(예를 들어, 화이트 또는 블랙)의 픽셀들에 의하여 둘러싸인다. 이러한 방식으로, 우측 및 좌측 이미지들로부터 나오는 픽셀들을 포함하는 구역들 사이의 경계선 영역들은 감소되는 한편, 또한 이미지 압축에 의하여 야기되는 임의의 아티팩트들은 감소하고 압축 레이트는 최대화된다.
(도 7을 참고하여 설명된 바와 같이) R2' 및 R3'를 컨테이너 프레임(C)의 마지막 행들로 위치설정하는 것의 대안으로서, 바람직한 실시예에서 R2' 및 R3'는 세이프가드 스트립 32 픽셀 행들 높이가 L의 바닥부 에지와 R2' 및 R3'의 상부 에지 사이에 남겨지는 방식으로 위치설정된다. 이것은 R2' 및 R3'의 바닥부 에지와 C의 바닥부 에지 사이에 제2 세이프가드 스트립 8 픽셀 행들 높이를 제공한다. 컨테이너 프레임의 폭을 추가로 이용함으로써, 우측 이미지 또는 좌측 이미지 중 어느 것으로부터도 나오지 않는 픽셀에 의해서 완전히 둘러싸이게 되는 방식으로, R2' 및 R3'를 위치설정하는 것이 가능하다.
도 8 및 9를 참고하여 여기에 설명되는 추가적 실시예에서, 모듈(104)은 픽셀들의 총 합계가 디스어셈블리된 이미지의 합계를 초과하는 3개의 서브이미지들(R1", R2" 및 R3")을 추출한다.
구역(R1")은 도 6의 구역(R1')에 대응하는 반면, R2" 및 R3"은 구역들(R2' 및 R3')의 영역 더하기 이미지 압축 단계 동안 아티팩트들의 생성을 최소화시키도록 허용하는 부가적인 영역(Ra2 및 Ra3)을 포함한다.
따라서 세그먼트(R1")는 640×720 픽셀들의 사이즈를 갖고 디스어셈블리될 프레임(R)의 제1 열들을 점유하는 구역이다.
세그먼트(R3")는 디스어셈블리될 프레임(R)의 마지막 열들을 점유하고, 중앙 구역(R2")상에 접한다. 좌측면(R2"상에 접하는 것) 상에서 R3"는 구역(R2")과 공동으로 픽셀들을 포함하는 버퍼 스트립(Ra3)을 포함한다. 다시 말해, R2"의 마지막 열들 및 R3"의 제1 열(버퍼 스트립(Ra3)을 구성하는)은 같은 공간을 차지한다. 바람직하게, 버퍼 스트립(Ra3)의 사이즈는 컨테이너 프레임(C)에 그리고 일반적으로 그것을 포함하는 비디오 스트림에 후속하여 적용될 압축의 타입의 함수로서 선택된다. 특히, 상기 스트립은 압축 프로세스에서 사용되는 기본적인 프로세싱 유닛의 사이즈의 두 배인 사이즈를 갖는다. 예를 들어, H.264 표준은 16×16 픽셀들의 매크로블록들로 이미지를 디스어셈블링하는 것을 제공하며, 픽셀들 각각은 이 표준의 기본적인 프로세싱 유닛을 나타낸다. 이 가정에 기반하여, 스트립(Ra3)은 32 픽셀들의 폭을 갖는다. 따라서 세그먼트(R3")는 352 (320+32)×720 픽셀들의 사이즈를 갖고, 이미지(R)의 마지막 352 열들의 픽셀들을 포함한다. 세그먼트(R2")는 디스어셈블리될 이미지(R)의 중앙 부분을 점유하고, 그것의 좌측 면 상에 스트립(Ra3)과 동일한 사이즈를 갖는 버퍼 스트립(Ra2)을 포함한다. H.264 압축 표준을 고려하는 예에서, 따라서 스트립(Ra2)은 32 픽셀들 폭이며, 구역(R1")과 공동으로 픽셀들을 포함한다. 따라서 세그먼트(R2")는 352×720 픽셀들의 사이즈를 가지고, 프레임(R)의 열들 608(R1"의 640-32) 내지 978의 픽셀들을 포함한다.
(도 8에 보여지는) 모듈(104)에 의하여 출력되는 구역들(R1", R2" 및 R3")에 관한 3개의 서브이미지들은 그 후 도 9에 도시된 바와 같이 컨테이너 프레임(C)으로 입력된다. 구역들(R2" 및 R3")은 90°만큼 터닝되고, 픽셀들은 이미지들(L 및 R1")의 픽셀들을 포함하는 영역들(C1 및 C2)로부터 영역들(C3" 및 C4")을 분리하는 특정 개수의 세이프가드 픽셀들을 제공함으로써 프레임(C)(C3" 및 C4"로 지정된 영역들)의 마지막 행들로 카피된다. 도 9에 도시된 경우에, 이 세이프가드 스트립은 8 픽셀들 폭이다.
따라서 획득된 프레임(C)은 후속하여 압축되고, 저장 매체(예를 들어, DVD)에 송신되거나 저장된다. 이러한 목적으로, 이미지 또는 비디오 신호를 압축하도록 적응되는 압축 수단이 압축된 이미지 또는 비디오 신호를 레코딩 및/또는 송신하기 위한 수단과 함께 제공된다.
도 10은 수신된 컨테이너 프레임(압축되었다면)을 압축해제시키고, 2개의 우측 및 좌측 이미지들을 복원하며, 3D 콘텐츠의 결실을 허용하는 시각화 디바이스(예를 들어, 텔레비전 세트)에 대해 이미지들을 이용가능하게 하는 수신기(1100)의 블록도를 도시한다. 수신기(1100)는 텔레비전 세트에 내장된 수신기 또는 셋-탑-박스일 수 있다. 수신기(1100)에 대하여 이루어지는 동일한 리마크들은 또한 판독기(예를 들어, DVD 판독기)에 적용가능하며, 상기 판독기는 컨테이너 프레임(아마도 압축된)을 판독하고, 판독기에 의해 판독되는 컨테이너 프레임(아마도 압축된)으로 입력된 우측 및 좌측 이미지들에 대응하는 프레임들의 하나의 쌍을 획득하기 위하여 그것을 프로세싱한다.
다시 도 10을 참고하여, 수신기는 (케이블 또는 안테나를 통해) 압축된 스테레오스코픽 비디오 스트림(1101)을 수신하고, 압축해제 모듈(1102)에 의하여 그것을 압축해제하며, 이에 의하여 프레임들(C)에 대응하는 프레임들(C)의 시퀀스를 포함하는 비디오 스트림을 획득한다. 이상적 채널이 존재한다면 또는 컨테이너 프레임들이 매스 메모리 또는 데이터 매체(블루-레이, CD, DVD)로부터 판독된다면, 프레임들(C)은 압축 프로세스에 의하여 도입되는 임의의 아티팩트들을 제외하고, 우측 및 좌측 이미지들에 관한 정보를 운반하는 컨테이너 프레임들(C)에 대응한다.
이러한 프레임들(C)은 그 후 복원 모듈(1103)에 공급되고, 복원 모듈(1103)은 도 11 및 12를 참고하여 하기에서 설명되는 바와 같이 이미지 복원 방법을 실행한다.
비디오 스트림이 압축되지 않았다면, 압축해제 모듈(1102)은 생략될 수 있고, 비디오 신호가 복원 모듈(1103)에 직접 공급될 수 있다.
압축해제된 컨테이너 프레임(C)이 수신될 때, 복원 프로세스는 단계(1300)에서 시작된다. 복원 모듈(1103)은 압축해제된 프레임의 제1 720×1080 픽셀들을 컨테이너 프레임보다 작은 새로운 프레임, 예를 들어, 720p 스트림의 프레임으로 카피함으로써 좌측 이미지(L)를 추출한다(단계(1301)). 따라서 복원된 이미지(L)는 수신기(1100)에 출력된다(step 1302).
후속하여, 방법은 컨테이너 프레임(C)으로부터 우측 이미지(R)를 추출하는 것을 제공한다.
우측 이미지를 추출하는 단계는 프레임(C)에 포함되는 영역(R1")의 일부를 카피함으로써 시작된다(단계(1303)). 더욱 상세하게, R1"의 제1 624(640-16) 열들의 픽셀들은 도 11에 도시된 바와 같이, 복원된 이미지(Rout)를 나타내는 새로운 프레임의 대응하는 제1 624 열들로 카피된다. 사실상, 이것은 예를 들어, H.264 압축 표준에 의하여 실행되는 운동 추정 프로시져의 효과를 통해, 아티팩트들의 생성을 가장 심하게 겪는 R1"의 16 열들을 복원 단계로부터 제거한다.
그 후 R2"의 중앙 부분이 추출된다(단계(1304)). (전술한 바와 같이, 도 9의 프레임(C)에 대응하는) 압축해제된 프레임(C)으로부터, (소스 구역(R2")에 대응하는) 영역(C3")의 픽셀들이 선택되고, 멀티플렉서(100)에서 실행된 것과 반대되는 90° 회전이 이루어지며, 이는 원래의 행/열 조건, 즉, 도 8에 도시된 것으로 픽셀들을 다시 돌려놓는다. 이 때에, R2"의 제1 및 마지막 열여섯 개(16) 열들이 제거되고, 나머지 352-32=320 픽셀 열들은 R1"으로부터 막 카피된 것들에 인접한 자유 열들로 카피된다.
구역(R2")의 16개 최외곽 열들을 컷팅함으로써, 아티팩트들의 형성이 발생할 가능성이 가장 높은 그러한 열들은 제거된다. 컷 영역의 폭(이 경우에 16 열들)은 사용된 압축의 타입에 좌우된다. 상기 영역을 바람직하게는 압축 프로세스에 의하여 사용되는 기본적인 프로세싱 유닛과 동일하다; 본 명세서에 설명된 경우에, H.264 표준은 16×16 픽셀들의 블록들에 작용하고, 따라서 16개의 열들이 컷팅될 것이다.
R3"와 관련하여(단계(1305)), 구역(C4")의 픽셀들이 프레임(C)으로부터 추출되고, 서브이미지(R3")는 원본 행/열 포맷으로 다시 되돌려진다(도 8 참고). 그 후, 제1 16 픽셀 열들은 제거되고(영역(Ra3)의 절반에 대응), 나머지 352-16=336 픽셀 열들은 복원된 이미지의 좌측 상에 마지막 자유 열들로 카피된다. R2"와 유사하게, 또한 R3"에서 컷 영역은 압축 프로세스에 의해 사용되는 기본적인 프로세싱 유닛과 동일하다.
물론, 구역들(R2" 및 R3") 양자에 대해 회전 동작들이 가상 방식으로 실행될 수 있는데, 즉, 도 8에 도시된 컷팅될 16개 열들에 대응하는 영역(C3")(R2"라면, R3"라면 C4")의 마지막 16 행들을 제외하고, 새로운 프레임(Rout)의 열의 영역(C3")(R2"라면, R3"라면C4")의 행의 픽셀들을 복원된 프레임으로 카피함으로써 해당 픽셀들의 추출의 관점에서 동일한 결과가 획득될 수 있다. 이때, 우측 이미지(Rout)는 완전히 복원되었고, 출력될 수 있다(단계(1306)).
따라서 컨테이너 프레임(C)에 포함되는 우측 및 좌측 이미지들을 복원하기 위한 프로세스가 완료된다(단계(1307)). 수신기(1100)에 의하여 수신되는 비디오 스트림의 각각의 프레임에 대해 상기 프로세스가 반복되어, 출력은 각각 우측 이미지에 대한 그리고 좌측 이미지에 대한 2개의 비디오 스트림들(1104 및 1105)로 구성될 것이다.
도 10, 11 및 12를 참고하여 상기 설명된 우측 및 좌측 이미지들을 복원하기 위한 프로세스는 디멀티플렉서(1100)가 컨테이너 프레임(C)이 내장된 방법을 알고, 따라서 우측 및 좌측 이미지들을 추출할 수 있다는 가정에 기반한다.
물론, 이것은 멀티플렉싱 방법이 표준화된다면 가능하다.
컨테이너 프레임이 상기 설명된 방법들 중 임의의 하나의 방법 또는 첨부된 청구항들의 대상인 해법을 이용하는 방법들 중 임의의 방법으로 생성될 수 있다는 사실을 고려하기 위해, 디멀티플렉서는 합성 이미지의 컨텐츠가 분석(unpack)되어야 하는 방법 및 우측 및 좌측 이미지들을 복원하는 방법을 알기 위해 합성 이미지(예를 들어, 이전에 설명된 바와 같이, 바코드)의 미리 규정된 구역에 포함되는 시그널링 정보를 사용한다.
상기 신호를 디코딩한 이후, 디멀티플렉서는 다른 이미지가 디스어셈블리된(예를 들어, 상기 설명된 예들에서 우측 이미지) 구역들의 임의의 변화(회전, 트랜슬레이션 등) 및 위치들 뿐 아니라, 변화되지 않은 이미지(예를 들어, 상기 설명된 예들에서 좌측 이미지)의 위치를 알 것이다.
이 정보로, 따라서 디멀티플렉서는 변화되지 않은 이미지(예를 들어, 좌측 이미지)를 추출하고, 디스어셈블리된 이미지(예를 들어, 우측 이미지)를 복원할 수 있다.
본 발명이 지금까지 몇몇 선호되는 및 바람직한 실시예들을 참고로 예증되었으나, 본 발명이 상기 실시예들로 제한되지 않으며, 대상물 또는 장면의 2개의 상이한 관점들(우측 및 좌측)과 관련된 2개의 이미지들을 합성 이미지로 결합하기 원하는 본 기술분야의 당업자들에 의해 실시예들에 대한 다수의 변화들이 이루어질 수 있다는 것이 명백하다.
예를 들어, 상기 설명된 디바이스들, 특히, 디바이스(100) 및 수신기(1100)를 제공하는 전자 모듈들은 다양하게 세분되고 분포될 수 있다; 더 나아가, 그들은 하드웨어 모듈들 또는 프로세서, 특히, 수신된 입력 프레임들을 임시적으로 저장하기 위하여 적절한 메모리 영역들이 구비된 비디오 프로세서에 의해 구현되는 소프트웨어 알고리즘의 형태로 제공될 수 있다. 따라서 이러한 모듈들은 본 발명에 따른 이미지 멀티플렉싱 및 디멀티플렉싱 방법들의 비디오 프로세싱 단계들 중 하나 이상을 동시에 또는 연속적으로 실행할 수 있다. 바람직한 실시예들이 2개의 720p 비디오 스트림들을 하나의 1080p 비디오 스트림으로 멀티플렉싱하는 것을 나타내지만, 다른 포맷들이 마찬가지로 사용될 수 있다는 것이 또한 명백하다.
합성 이미지를 생성하기 위한 상이한 해법들은 특정 장점들을 가질 수 있기 때문에, 발명은 또한 합성 이미지의 특정 타입의 어레인지먼트(arrangement)로 제한되지 않는다.
예를 들어, 도 1 내지 12를 참고하여 상기 설명된 실시예들은 그들이 단지 트랜슬레이션 또는 로토트랜슬레이션 동작들을 실행하고, 따라서 단지 적은 계산 전력을 요구한다는 장점을 제공한다.
대안적으로, 도 13에 도시된 타입의 합성 이미지를 획득하기 위하여 상기 로테이션 및/또는 트랜슬레이션 동작들 외에도, 이미지들이 또한 정반사성 반전 동작들 처리되는 것으로 생각된다.
상동 픽셀들을 포함하는 구역들 사이에 경계선 페리미터(boundary perimeter)들을 최대화하고, 그에 의하여 그들 사이에 존재하는 강한 상관을 이용하고 후속 압축에 의해 도입되는 아티팩트들을 최소화시키기 위한 목적으로 이러한 부가적인 동작들이 실행된다. 도 13 및 14의 예에서, 그들이 일반적으로 약간 상이하더라도, 2개의 우측 및 좌측 이미지들이 동일한 것으로 명확히 가정되었다.
이 도면에서, 좌측 이미지(L)(도 14a에 도시된)는 제1 720 행들의 마지막 1280 픽셀들을 점유하도록, 컨테이너 프레임(C)의 상부 우측 코너에 위치설정된다. 이전에 설명된 예들에서와 같이, 따라서 이미지(L)는 컨테이너 프레임(C)으로 변화되지 않고 카피된다.
대신에, 우측 이미지(R)는 도 3의 예에 따라 디스어셈블리된다; 도 14b는 3개의 구역들(R1, R2 및 R3)로 나뉘어진 이미지(R)를 도시한다.
후속하여, 몇몇 구역들(도 14의 구역들(Rl 및 R3))은 정반사성 반전 동작을 겪는다; 반전은 수직 축(즉, 이미지의 열에 평행한)에 관해 또는 수평 축(즉, 이미지의 행에 평행한)에 대해 또는 수평 축(즉, 이미지의 열에 평행한)에 관해 발생할 수 있다.
수직 축에 대한 반전의 경우에, 열 N의 픽셀들(여기서, N은 1과 1080 사이의 정수이며, 1080은 이미지의 열들의 수임)은 열 1080+1-N으로 카피된다.
수평 축에 대한 반전의 경우에, 행 M의 픽셀들(여기서, M은 1과 720 사이의 정수이며, 720은 이미지의 행들의 수임)은 행 720+1-N으로 카피된다.
도 14c 및 14d는 이미지(R)로부터 추출된 구역(R1) 및 수직 축에 대해, 특히, 수직 면에 대해 반전된 (R1rot)를 도시한다.
반전된 구역(R1inv)은 제1 640 픽셀 행들의 제1 640 픽셀들로 입력된다. 도 13의 예에서 보여지는 바와 같이, R1inv이 컨테이너 프레임(C)으로 회전되어 입력될 때, L 상에 접하는 R1inv의 픽셀들은 R1inv상에 접하는 L의 픽셀들과 매우 유사하다. 이러한 픽셀들 사이의 공간적 상관은 아티팩트들의 형성을 감소시키는 장점을 갖는다.
도 14e 및 14f는 도 14b의 이미지(R) 및 수평 축에 대해, 특히, 수평 면에 대해 반전된 (R3inv)로부터 추출된 구역(R3)을 도시한다. 구역(R3inv)은 마지막 360 행들의 마지막 640 픽셀들로 입력된다. R3inv과 L 사이의 경계선 구역들의 픽셀들이 높은 공간적 상관을 갖는 픽셀들이기 때문에, 이것은 아티팩트들의 생성을 감소시킨다. 이 경계선 구역의 픽셀들은 사실상 이미지의 유사하거나 동일한 부분들을 감소시킨다.
컨테이너 프레임(C)은 그 후 구역(R2)을 입력함으로써 완료된다.
어떤 경우든, R 또는 L의 다른 구역에서 상동 픽셀들로 이루어진 경계선 구역과 R2의 경계선 구역과 매칭시키는 것이 가능하지 않을 것이기 때문에, 이 예에서, R2는 반전되고 및/또는 회전되지 않는다.
마침내, 우측 이미지 및 좌측 이미지가 본 발명의 보호 범위 내에 있는 상기 설명된 멀티플렉싱 프로세스들 중 하나를 반전시킴으로써 합성 이미지로부터 추출되도록 허용하는 임의의 디멀티플렉싱 방법과 관련되는 것이 또한 명백하다.
따라서 발명은 다음의 단계들을 포함하는, 합성 이미지로부터 시작되는 이미지들의 쌍을 생성하기 위한 방법과 관련된다:
- 상기 합성 이미지의 구역으로부터 인접한 픽셀들의 하나의 단일 그룹을 카피함으로써 상기 우측 및 좌측 이미지들 중 제1 이미지(예를 들어, 좌측 이미지)를 생성하는 단계,
- 상기 합성 이미지의 상이한 구역들로부터 인접한 픽셀들의 다른 그룹들을 카피함으로써 제2 이미지(예를 들어, 우측 이미지)를 생성하는 단계.
일 실시예에 따라, 상기 제2 이미지를 생성하기 위한 정보는 상기 합성 이미지의 영역으로부터 추출된다. 상기 정보는 바람직하게 바코드에 따라 인코딩된다.
우측 및 좌측 이미지들을 생성하기 위한 방법의 일 실시예에서, 합성 이미지에서 디스어셈블리된 이미지의 생성은 상기 상이한 구역들 중 하나의 구역의 픽셀들의 그룹의 정반사성 반전의 적어도 하나의 단계를 포함한다.
우측 및 좌측 이미지들을 생성하기 위한 방법의 일 실시예에서, 합성 이미지에서 디스어셈블리된 이미지의 생성은 복원될 이 이미지의 픽셀들을 포함하는 합성 이미지의 구역들 중 하나의 구역으로부터 픽셀들을 제거하는 적어도 하나의 단계를 포함한다. 특히, 픽셀들은 이 구역의 경계선 영역으로부터 제거된다.
일 실시예에서, 합성 이미지의 상이한 구역들로부터 디스어셈블리된 이미지는 복원될 이미지의 픽셀들을 포함하는 픽셀 구역들이 단지 트랜슬레이션 및/또는 회전 동작들로 처리됨으로써 복원된다.
Claims (25)
- 합성(composite) 이미지들(C)을 포함하는 스테레오스코픽(stereoscopic) 비디오 스트림(101)을 생성하기 위한 방법으로서,
상기 합성 이미지들(C)은 우측 이미지(R) 및 좌측 이미지(L)에 관한 정보를 포함하고,
상기 우측 이미지(R)의 픽셀들 및 상기 좌측 이미지(L)의 픽셀들이 선택되고,
상기 선택된 픽셀들은 상기 스테레오스코픽 비디오 스트림의 합성 이미지(C)로 입력되며,
상기 2개의 이미지들 중 하나를 변화되지 않게 남겨두고, 다른 하나의 이미지를 복수의 픽셀들을 포함하고 직사각형 형상을 가지는 구역(region)들(R1, R2, R3)로 나누고(break up), 상기 구역들을 상기 변화되지 않은 이미지에 의해 점유되지 않은 상기 합성 이미지(C) 내 영역들로 입력함으로써, 상기 우측 이미지(R)의 모든 픽셀들 및 상기 좌측 이미지(L)의 모든 픽셀들이 상기 합성 이미지(C)로 입력되고 ― 상기 좌측 및 우측 이미지들의 수평 및 수직 해상도 간 비율은 변하지 않고, 상기 합성 이미지(C)는 상기 좌측 및 우측 이미지들의 픽셀들의 합보다 더 많거나 같은 픽셀들의 수(number)를 가지는 상기 스테레오스코픽 비디오 스트림의 프레임이 됨 ―,
상기 방법은 상기 구역들의 경계선 영역 내에서 이미지 압축에 의해 야기되는 아티팩트들의 생성을 감소시키기 위해, 상기 구역들을
- 상기 다른 하나의 이미지(R)를 2개의 동일한 사이즈의 부분들로 수직적으로 나누는 단계
- 상기 2개의 동일한 사이즈의 부분들 중 하나를 2개의 추가적인 동일한 사이즈의 부분들(R2, R3)로 수평적으로 나누고, 상기 2개의 동일한 사이즈의 부분들 중 다른 하나의 부분(R1)은 추가적으로 나누지 않는 단계
를 통해 획득하는 것을 특징으로 하는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
추가적으로 나뉘지 않은 상기 2개의 동일한 사이즈의 부분들 중 다른 하나의 부분(R1)은 상기 합성 이미지(C) 내 상기 변화되지 않은 이미지(L)의 옆에 위치되고, 상기 2개의 추가적인 동일한 사이즈의 부분들(R2, R3)은 상기 합성 이미지(C) 내 상기 변화되지 않은 이미지(L)의 아래에 나란히 위치되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
상기 구역들(R1, R2, R3)은 단지 트랜슬레이션(translation) 동작들에 의하여 상기 합성 이미지로 입력되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
상기 구역들(R1, R2, R3)은 트랜슬레이션 및/또는 회전 동작들에 의하여 상기 합성 이미지(C)로 입력되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
상기 합성 이미지에서 자유롭게 남겨지는 공간의 적어도 일부는 디멀티플렉서 레벨에서 우측 및 좌측 이미지들을 복원하기(reconstruct) 위하여 필요한 신호를 입력하기 위하여 사용되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
상기 합성 이미지로 상기 구역들 중 하나를 입력하기 이전에, 상기 하나의 구역의 한 면을 따라 정반사성 반전(specular inversion) 동작이 실행되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제6항에 있어서,
동일한 공간적 영역과 관련되는 픽셀들이 사이드-바이-사이드(side-by-side) 정렬되도록, 상기 하나의 구역은 다른 이미지 또는 구역의 한 면 상에 접하는(bordering) 한 면을 갖는 상기 합성 이미지로 입력되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
상기 구역들은 상기 이미지의 픽셀들의 열들의 인접한 그룹들을 포함하는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
상기 구역들 중 적어도 2개는 공동으로(in common) 적어도 하나의 픽셀 그룹을 가지며, 상기 픽셀 그룹은 상기 구역들 중 상기 적어도 2개의 구역들 사이의 경계선 영역에 정렬되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
상기 합성 이미지로 입력되는 상기 구역들 중 적어도 하나는 상기 우측 이미지 또는 상기 좌측 이미지로부터 카피된 픽셀들을 포함하는 상기 합성 이미지의 다른 구역들과 분리되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 있어서,
우측 이미지들의 시퀀스 및 좌측 이미지들의 시퀀스가 수신되고,
상기 우측 및 좌측 이미지들의 시퀀스들로부터 시작됨으로써 합성 이미지들의 시퀀스가 생성되며,
상기 합성 이미지들의 시퀀스는 압축되는,
합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법. - 제1항에 따른 합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법으로서,
상기 합성 이미지의 구역으로부터 인접한 픽셀들의 하나의 단일 그룹을 카피함으로써 상기 우측(R) 및 좌측(L) 이미지들의 제1 이미지를 생성하는 단계;
상기 합성 이미지의 상이한 구역들(R1, R2, R3)로부터 인접한 픽셀들의 다른 그룹들을 카피함으로써 상기 우측(R) 및 좌측(L) 이미지들의 제2 이미지를 생성하는 단계 ― 상기 제2 이미지는, 상기 제1 이미지(L)와 동일한 수직 크기를 갖는 상기 상이한 구역들 중 하나의 구역(R1)을 포함하고, 상기 상이한 구역들 중 다른 구역들(R2, R3)은 상기 제2 이미지 내 상기 상이한 구역들 중 하나의 구역(R1) 옆에 하나씩 위치됨 ―
를 포함하는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 제12항에 있어서,
상기 이미지들의 쌍을 생성하기 위한 정보는 상기 합성 이미지의 영역(area)으로부터 추출되는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 제13항에 있어서,
상기 정보는 바코드에 따라 인코딩되는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 제12항 또는 제14항에 있어서,
상기 제2 이미지의 생성은 상기 상이한 구역들 중 적어도 하나의 구역의 픽셀들의 그룹의 정반사성 반전의 적어도 하나의 단계(phase)를 포함하는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 제12항에 있어서,
상기 제2 이미지의 생성은 상기 구역들 중 적어도 하나의 구역으로부터 픽셀들을 제거하는 적어도 하나의 단계를 포함하는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 제16항에 있어서,
상기 픽셀들은 상기 적어도 하나의 구역의 경계선 영역으로부터 제거되는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 제12항에 있어서,
상기 제2 이미지는 상기 픽셀 구역들을 단지 트랜슬레이션 동작들로 처리함으로써 생성되는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 제12항에 있어서,
상기 제2 이미지는 상기 픽셀 구역들을 회전 및/또는 트랜슬레이션 동작들로 처리함으로써 생성되는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 방법. - 합성 이미지들(C)을 생성하기 위한 디바이스(100)로서,
우측 이미지 및 좌측 이미지를 수신하기 위한 수단(104); 및
상기 우측 이미지 및 상기 좌측 이미지에 관한 정보를 포함하는 합성 이미지(C)를 생성하기 위한 수단(105)
을 포함하며, 제1항에 따른 방법을 구현하도록 적응되는 수단을 포함하는,
합성 이미지들(C)을 생성하기 위한 디바이스(100). - 합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 디바이스(1100)로서,
제12항에 따른 방법을 구현하는,
합성 이미지로부터 시작됨으로써 이미지들의 쌍을 복원하기 위한 디바이스(1100). - 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ITTO2009A001016A IT1397591B1 (it) | 2009-12-21 | 2009-12-21 | Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi. |
ITTO2009A001016 | 2009-12-21 | ||
PCT/IB2010/055918 WO2011077343A1 (en) | 2009-12-21 | 2010-12-17 | Method for generating, transmitting and receiving stereoscopic images, and related devices |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120106840A KR20120106840A (ko) | 2012-09-26 |
KR101788584B1 true KR101788584B1 (ko) | 2017-11-15 |
Family
ID=42333524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127019043A KR101788584B1 (ko) | 2009-12-21 | 2010-12-17 | 스테레오스코픽 이미지들을 생성하고, 송신하고, 수신하기 위한 방법 및 관련 디바이스들 |
Country Status (27)
Country | Link |
---|---|
US (1) | US20120281068A1 (ko) |
EP (1) | EP2392145B1 (ko) |
JP (1) | JP5777033B2 (ko) |
KR (1) | KR101788584B1 (ko) |
CN (1) | CN102714742B (ko) |
AU (1) | AU2010334367B2 (ko) |
BR (1) | BR112012015261B1 (ko) |
CA (1) | CA2782630A1 (ko) |
CL (1) | CL2012001662A1 (ko) |
ES (1) | ES2558315T3 (ko) |
HK (1) | HK1165152A1 (ko) |
HU (1) | HUE025793T2 (ko) |
IL (1) | IL220116A0 (ko) |
IT (1) | IT1397591B1 (ko) |
MA (1) | MA33927B1 (ko) |
MX (1) | MX2012007221A (ko) |
MY (1) | MY165185A (ko) |
NZ (2) | NZ626566A (ko) |
PE (1) | PE20130336A1 (ko) |
PL (1) | PL2392145T3 (ko) |
RU (1) | RU2573273C2 (ko) |
SG (2) | SG10201408540UA (ko) |
TN (1) | TN2012000291A1 (ko) |
TW (1) | TWI416938B (ko) |
UA (1) | UA111467C2 (ko) |
WO (1) | WO2011077343A1 (ko) |
ZA (1) | ZA201204212B (ko) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008106185A (ja) * | 2006-10-27 | 2008-05-08 | Shin Etsu Chem Co Ltd | 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法 |
IT1399417B1 (it) | 2010-04-12 | 2013-04-16 | Sisvel Technology Srl | Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica. |
JP4908624B1 (ja) * | 2010-12-14 | 2012-04-04 | 株式会社東芝 | 立体映像信号処理装置及び方法 |
RU2012138174A (ru) | 2012-09-06 | 2014-03-27 | Сисвел Текнолоджи С.Р.Л. | Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format |
ITTO20120901A1 (it) * | 2012-10-15 | 2014-04-16 | Rai Radiotelevisione Italiana | Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica |
ITTO20130503A1 (it) | 2013-06-18 | 2014-12-19 | Sisvel Technology Srl | Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale |
CN105611274B (zh) * | 2016-01-08 | 2017-07-18 | 湖南拓视觉信息技术有限公司 | 一种三维图像数据的传输方法、装置及三维成像系统 |
FI20165547A (fi) | 2016-06-30 | 2017-12-31 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
WO2019004073A1 (ja) * | 2017-06-28 | 2019-01-03 | 株式会社ソニー・インタラクティブエンタテインメント | 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム |
WO2019073113A1 (en) * | 2017-10-09 | 2019-04-18 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING |
TWI698836B (zh) * | 2019-10-21 | 2020-07-11 | 大陸商南京深視光點科技有限公司 | 具備雙倍搜索區間的立體匹配方法 |
CN113993163B (zh) * | 2021-10-26 | 2023-07-25 | 新华三信息安全技术有限公司 | 一种业务处理方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050041736A1 (en) * | 2003-05-07 | 2005-02-24 | Bernie Butler-Smith | Stereoscopic television signal processing method, transmission system and viewer enhancements |
US20080303895A1 (en) * | 2007-06-07 | 2008-12-11 | Real D | Stereoplexing for video and film applications |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3027023B2 (ja) * | 1991-04-19 | 2000-03-27 | 富士写真フイルム株式会社 | ディジタル電子スチル・カメラおよびその動作方法ならびにディジタル画像再生装置および方法 |
JPH0870475A (ja) * | 1994-06-23 | 1996-03-12 | Sanyo Electric Co Ltd | 立体動画像の符号化・復号化方法及び装置 |
DE19619598A1 (de) * | 1996-05-15 | 1997-11-20 | Deutsche Telekom Ag | Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen |
WO1998039927A1 (en) * | 1997-03-07 | 1998-09-11 | Sanyo Electric Co., Ltd. | Digital broadcast receiver and display |
JP2000308089A (ja) * | 1999-04-16 | 2000-11-02 | Nippon Hoso Kyokai <Nhk> | 立体画像符号化装置および復号化装置 |
AU2001266862A1 (en) * | 2000-06-12 | 2001-12-24 | Vrex, Inc. | Electronic stereoscopic media delivery system |
JP3789794B2 (ja) * | 2001-09-26 | 2006-06-28 | 三洋電機株式会社 | 立体画像処理方法、装置、およびシステム |
CA2380105A1 (en) | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
KR100693200B1 (ko) * | 2002-04-25 | 2007-03-13 | 샤프 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 기록 매체 및 화상기록 장치 |
EP1431919B1 (en) * | 2002-12-05 | 2010-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding three-dimensional object data by using octrees |
CN101841728B (zh) * | 2003-04-17 | 2012-08-08 | 夏普株式会社 | 三维图像处理装置 |
JP4251907B2 (ja) * | 2003-04-17 | 2009-04-08 | シャープ株式会社 | 画像データ作成装置 |
CN101820537B (zh) * | 2004-04-23 | 2013-04-03 | 住友电气工业株式会社 | 活动图像数据的编码方法、终端装置以及双向对话型系统 |
EP1813022B1 (en) * | 2004-11-18 | 2011-07-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Lossless compression of data, in particular grib1 files |
ES2602091T3 (es) * | 2005-06-23 | 2017-02-17 | Koninklijke Philips N.V. | Intercambio combinado de datos de imagen y relacionados |
WO2007040472A1 (en) * | 2005-09-16 | 2007-04-12 | Stereographics Corporation | Stereoscopic format converter |
RU2350042C2 (ru) * | 2006-12-28 | 2009-03-20 | Общество с ограниченной ответственностью "Корпорация "СпектрАкустика" | Способ и устройство для получения стереоскопических видеоизображений |
US8594180B2 (en) * | 2007-02-21 | 2013-11-26 | Qualcomm Incorporated | 3D video encoding |
US8487982B2 (en) * | 2007-06-07 | 2013-07-16 | Reald Inc. | Stereoplexing for film and video applications |
-
2009
- 2009-12-21 IT ITTO2009A001016A patent/IT1397591B1/it active
-
2010
- 2010-12-17 NZ NZ626566A patent/NZ626566A/en unknown
- 2010-12-17 EP EP10812920.6A patent/EP2392145B1/en active Active
- 2010-12-17 MY MYPI2012002573A patent/MY165185A/en unknown
- 2010-12-17 UA UAA201208974A patent/UA111467C2/uk unknown
- 2010-12-17 SG SG10201408540UA patent/SG10201408540UA/en unknown
- 2010-12-17 SG SG2012041208A patent/SG181515A1/en unknown
- 2010-12-17 WO PCT/IB2010/055918 patent/WO2011077343A1/en active Application Filing
- 2010-12-17 PE PE2012000820A patent/PE20130336A1/es not_active Application Discontinuation
- 2010-12-17 RU RU2012131323/08A patent/RU2573273C2/ru active
- 2010-12-17 NZ NZ600427A patent/NZ600427A/en unknown
- 2010-12-17 US US13/516,587 patent/US20120281068A1/en not_active Abandoned
- 2010-12-17 BR BR112012015261-0A patent/BR112012015261B1/pt active IP Right Grant
- 2010-12-17 MA MA35070A patent/MA33927B1/fr unknown
- 2010-12-17 CA CA2782630A patent/CA2782630A1/en not_active Abandoned
- 2010-12-17 PL PL10812920T patent/PL2392145T3/pl unknown
- 2010-12-17 HU HUE10812920A patent/HUE025793T2/en unknown
- 2010-12-17 AU AU2010334367A patent/AU2010334367B2/en not_active Ceased
- 2010-12-17 JP JP2012543989A patent/JP5777033B2/ja active Active
- 2010-12-17 ES ES10812920.6T patent/ES2558315T3/es active Active
- 2010-12-17 CN CN201080058867.2A patent/CN102714742B/zh active Active
- 2010-12-17 KR KR1020127019043A patent/KR101788584B1/ko active IP Right Grant
- 2010-12-17 MX MX2012007221A patent/MX2012007221A/es active IP Right Grant
- 2010-12-20 TW TW099144723A patent/TWI416938B/zh active
-
2012
- 2012-05-29 HK HK12105237.8A patent/HK1165152A1/zh not_active IP Right Cessation
- 2012-06-03 IL IL220116A patent/IL220116A0/en unknown
- 2012-06-05 TN TNP2012000291A patent/TN2012000291A1/en unknown
- 2012-06-08 ZA ZA2012/04212A patent/ZA201204212B/en unknown
- 2012-06-19 CL CL2012001662A patent/CL2012001662A1/es unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050041736A1 (en) * | 2003-05-07 | 2005-02-24 | Bernie Butler-Smith | Stereoscopic television signal processing method, transmission system and viewer enhancements |
US20080303895A1 (en) * | 2007-06-07 | 2008-12-11 | Real D | Stereoplexing for video and film applications |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101788584B1 (ko) | 스테레오스코픽 이미지들을 생성하고, 송신하고, 수신하기 위한 방법 및 관련 디바이스들 | |
EP2599319B1 (en) | Method for combining images relating to a three-dimensional content | |
KR101676504B1 (ko) | 스테레오플렉스화 필름 및 비디오 애플리케이션의 역다중화 방법 | |
KR20100031125A (ko) | 비디오 및 필름 응용을 위한 스테레오플렉싱 | |
KR20100031126A (ko) | 비디오 및 필름 응용을 위한 스테레오플렉싱 | |
JP6019520B2 (ja) | 立体画像を生成、送信、および、受信するための方法、および関連するデバイス | |
KR20150017350A (ko) | 폐색 맵의 이용에 기초한 3차원 비디오 스트림의 생성 및 복원 방법, 및 그 대응 생성 및 복원 디바이스 | |
US9571811B2 (en) | Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content | |
US20140168365A1 (en) | Method for generating, transmitting and receiving stereoscopic images, and related devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |