KR20030001758A - 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법 - Google Patents
움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법 Download PDFInfo
- Publication number
- KR20030001758A KR20030001758A KR1020010037110A KR20010037110A KR20030001758A KR 20030001758 A KR20030001758 A KR 20030001758A KR 1020010037110 A KR1020010037110 A KR 1020010037110A KR 20010037110 A KR20010037110 A KR 20010037110A KR 20030001758 A KR20030001758 A KR 20030001758A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- image
- picture
- motion
- stored
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
Abstract
1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하고자 하는 기술적 과제
본 발명은, 입체영상 전환 방식들 중 사이드 필드(Sidefields) 또는 서브 필드(Subfields)의 형태와 같이 2 프레임의 좌우 영상을 축소함으로써, 1 프레임의 좌우 영상으로 전환된 영상에 대하여 기존 MPEG 부호화를 수행할 때, 필드(field) 및 프레임(frame)의 예측 모두에 대하여 움직임 및 시차 정보를 이용하여 부호화를 수행하며, 시차 정보는 동일시간 축 상에 존재하는 다른 영상과의 시차 정보를 이용하도록 하여 보다 효율적이 시차 보상이 이루어질 수 있도록 한 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치에 적용되는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법에 있어서, 좌측영상의 프레임 및 우측영상의 프레임으로 구성되는 입체영상을 단일 프레임내에 우측영상 및 좌측영상이 포함되도록 축소 전환하는 제 1 단계; 상기 축소 전환된 단일 프레임의 좌우 영상 중 좌측영상을 기 저장된 기준영상을 토대로 움직임 보상 및 DCT에 의하여 부호화하고, 기준영상을 갱신하여 저장하는 제 2 단계; 및 상기 동일 프레임의 좌우 영상 중 우측영상을 기 저장된 기준영상을 토대로 움직임 예측에 의한 움직임 보상, 시차 예측에 의한 시차 보상 및 DCT 부호화하고, 기준영상을 갱신하여 저장하는 제 3 단계를 포함한다.
4. 발명의 중요한 용도
본 발명은 입체영상의 부호화 및 복호화 등에 사용됨.
Description
본 발명은 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 장치 및 그 방법에 관한 것으로, 보다 상세하게는 송신측에서 좌우 양안의 2 프레임의 입체영상을 1/2로 축소하여 1 프레임의 입체영상에 좌측영상 및 우측영상이 포함되도록 전환 후 움직임 및 시차 보상을 갖도록 부호화하고, 수신측에서 단일 프레임의 입체영상을 2: 1의 보간에 의해 좌측영상 및 우측영상이 각각의 프레임으로 입체영상을 갖도록 복원하기 위한 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
종래의 입체영상 부호화 기술로는 엠팩(MPEG :Motion Picture Experts Group) 시스템에서 2D(2 Dimensional)영상 부호화 기술을 확장한 다 시점프로파일(Multi-View Profile: 이하 "MVP"라고 약칭함)에 적용한 방식이 있다. 이 MVP 방식은 움직임 및 시차 보상을 이용하여 부호화가 이루어진다. 기저층(base layer)의 부호화 구조는 엠팩-2 메인 프로파일(MPEG-2 Main Profile)과 동일하게 움직임 보상만에 의해 부호화되므로, 기저층의 영상만을 복원하면 기저층에서 부호화되는 좌측영상 또는 우측영상 중 한쪽의 영상이 복원되고, 기존의 2D 비디오로써 디스플레이가 가능하므로 기존 2D용의 디코더 시스템과 호환성을 유지한다. 또한, 상기 방식은 상위층(Enhancement layer)의 영상 부호화에서는 상위층 영상간의 움직임 정보뿐만 아니라, 기저층과의 영상사이에 존재하는 상관 정보를 이용하여 움직임 및 시차보상에 의한 이산여현직교변환(Discrete Cosine Transfrom : 이하 "DCT"라고 약칭함) 부호화를 수행한다.
도 1은 종래의 입체영상 부호화에서 두개의 시차 보상을 갖는 예측 구조도이다.
도 1에 도시된 바와 같이, I(Intra-coded)-픽쳐, P(Predicted coded)-픽쳐 및 B(Bidirectionally predicted coded)-픽쳐는 엠팩(MPEG) 시스템에서 규정하고 있는 세 가지 픽쳐 형태로서, 기저층(Base layer)에만 있는 I-픽쳐(10)는 움직임 보상을 이용하지 않고 단순히 그 픽쳐만으로 부호화되며, 상기 P-픽쳐(20)에서는 I-픽쳐 또는 다른 P-픽쳐를 이용하여 움직임 보상이 이루어진다. 그리고, B-픽쳐(30,31)에서는 시간 축 상에서 앞뒤에 존재하는 I-픽쳐 또는 P-픽쳐의 두 프레임(frame)으로부터 움직임 보상을 한다. 기저층에서의 픽쳐 시퀀스(picture sequence)는 엠팩-2(MPEG-2) MP에서와 마찬가지로 ...B,B,I,B,B,P,B,B,...와 같은순서로 부호화가 진행된다.
한편, 상위층(Enhancement layer)에서는 B-픽쳐들만 있으며, 이 B-픽쳐들(35,36,37,38)은 기저층(Base layer)에 있는 프레임(frame)중에서 같은 시간상에 존재하는 프레임(frame)과 시간상 뒤에 존재하는 프레임(frame)으로부터 시차 보상을 이용하여 부호화한다.
상기와 같은 종래의 부호화 기술은 선 출원된 미국특허공개 제 5612735호(이하 ; 선행 발명 1)(Digital 3D/stereoscopic video compression technique utilizing two disparity estimates)에 개시되어 있다. 즉, 선행 발명 1에서의 부호화 방식은 시간 계위(Temporal Scalability)를 이용하여 기저층에서는 움직임 보상 및 DCT 알고리즘을 이용하여 좌측영상을 부호화하고, 상위층에서는 상위층간의 움직임 보상없이 기저층과 상위층간의 시차(Disparity) 정보만을 이용하여 우측영상을 부호화하였다.
도 2는 종래의 입체영상 부호화에서 움직임 및 시차 보상을 갖는 예측 구조도이다.
도 2에 도시된 바와 같이, 움직임 및 시차 보상을 위한 예측에서, 기저층에서의 예측은 도 1에서의 기저층의 예측과 동일하게 이루어진다. 반면, 기저층에서의 프레임(frame)이 I-픽쳐(10)일 경우, 상위층에서의 동일시간 축 상에 있는 프레임(frame)은 P-픽쳐(21)의 형태로 기저층의 I-픽쳐(10)에서 예측하여 시차 보상을 수행한다. 또한, 상위층의 B-픽쳐들(36,37)은 같은 상위층에서의 이전 프레임(frame)과 기저층에서의 동일 시간축 상의 프레임(frame)에서 예측하여 움직임 및 시차 보상을 수행한다.
상기와 같은 종래 기술은 미국특허공개 제 5619256(이하 : 선행 발명 2)(Digital 3D/stereoscopic video compression technique utilizing disparity and motion compression predictions)에 개시되어 있다. 즉, 선행 발명 2에 의하면, 시간계위(Temporal Scalability)를 이용하여 기저층에서는 움직임 보상 및 DCT 기반 알고리즘을 이용하여 왼쪽 눈에 대한 영상 즉, 좌측영상을 부호화하고, 상위층(enhancement layer)에서는 상위층간의 움직임 보상 및 기저층과 상위층간의 시차 보상을 이용하여 우측영상 부호화를 수행한다.
여기서, 도 1 및 도 2를 토대로 살펴본 예측 방법은 움직임 및 시차 정보를 이용하여 부호화함으로써 효율적인 압축 효율을 달성하지만, 부호화 구조가 복잡하여 하드웨어 구현이 어려우며, 고선명 TV 영상을 처리할 경우, 대량의 영상 데이터를 처리해야 하므로 상당량의 계산이 요구된다.
따라서, 최근에는 좌우 양안의 입체영상을 부호화하기 위하여, 좌우 각각의 영상을 1/2로 축소하여 좌우 2 프레임의 영상을 단일의 프레임 영상으로 전환하여 부호화하는 방식이 대두되고 있다.
상기 좌우 영상을 1/2로 축소하여 2D의 표준 영상으로 전환하는 방식으로는 [Andrew Woods, Tom Docherty and Rolf Koch, "3D Video Standards Conversion" Stereoscopic Displays and Applications VII, California, Feb. 1996, Proceedings of the SPIE vol. 2653A]의 논문에 5가지 방식이 제안되었으며, 상기의 기술과 관련된 미국특허공개 제 5633682 "Stereoscopic coding system")로 개시되어 있다.
상기 논문에서 첫 번째 영상 전환 방식은 왼쪽 눈에 대한 영상은 홀수 필드(odd fields)의 영상만을, 오른쪽 눈에 대한 영상은 짝수 필드(even fields)만을 선택하여 단일 프레임의 영상으로 전환하는 방식을 이용하여, 전환된 단일 프레임의 영상에 대하여 기존의 2D 영상에 대한 엠팩 부호화를 수행한다.
그러나, 상기와 같은 방식은 기존의 2D 영상에 대한 엠팩 부호화를 그대로 이용하여 움직임 및 시차 정보를 이용하여 부호화할 수 있다는 장점이 있지만, 부호화 과정에 있어서 필드(field)예측이 이루어질 때는 자연히 움직임 및 시차 정보를 이용하게 되지만, 프레임(frame) 예측이 이루어질 경우는 움직임 정보만이 이용되고 시차 정보는 고려되지 않아 압축 효율이 저하되는 문제점이 있었다.
또한, 필드(field) 예측에 있어서도 B-픽쳐의 경우, 가장 높은 상관을 갖는 영상이 동일시간에 존재하는 영상임에도 불구하고, 동일시간에 있는 다른 영상과의 시차가 아닌 B-픽쳐의 앞뒤 시간에 존재하는 I-픽쳐 또는 P-픽쳐와의 상관 정보를 이용하여 시차 보상이 이루어지므로 압축 효율이 저하되는 문제점이 있었다.
그리고, 종래의 엠팩(MPEG) 부호화에서는 디스플레이되는 영상의 순서와 부호화되는 영상의 순서가 다르므로, 부호화하기 위해서는 입력되는 영상의 순서를 재배열해야 하며, 이로 인해 디스플레이를 하고자 할 경우에 지연(delay)이 발생하는 문제점이 있었다.
이에 본 발명은, 상기와 같은 종래의 문제점을 해결하기 위해 제안된 것으로, 입체영상 전환 방식들 중 사이드 필드(Sidefields : side-by-side method) 또는 서브 필드(Subfields : over-under format)의 형태와 같이 좌우 각각의 프레임으로 구성되는 입체영상을 축소하여 단일 프레임의 좌우 영상으로 전환된 영상에 대하여 엠팩 부호화를 수행할 때, 필드(field) 및 프레임(frame) 예측 모두에 대하여 움직임 및 시차 정보를 이용하여 부호화를 수행하며, 시차 정보는 동일시간 축 상에 존재하는 다른 영상과의 시차 정보를 이용하도록 하여 보다 효율적인 시차 보상이 이루어질 수 있도록 한 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 방법과 그를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 그 목적이 있다.
도 1은 종래의 입체영상 부호화에서 두개의 시차 보상을 갖는 예측 구조도.
도 2는 종래의 입체영상 부호화에서 움직임 및 시차 보상을 갖는 예측 구조도.
도 3a 및 도 3b는 본 발명에 적용되는 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 장치의 일실시예 구성도.
도 4a 및 도 4b는 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치에서 수평/수직 방향의 축소에 의해 2 프레임의 좌우 영상이 1 프레임의 좌우 영상으로의 전환을 보여주는 도면.
도 5는 도 3b에 도시된 움직임 및 시차 보상 DCT 코덱부의 일실시예 상세 구성도.
도 6a 및 도 6b는 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 복호화 장치에서 수평/수직 방향의 복원에 의해 1 프레임의 좌우 영상이 2 프레임의 좌우 영상으로의 복원을 보여주는 도면.
도 7는 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법에 대한 일실시예 흐름도.
도 8은 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법에 대한 일실시예 흐름도.
도 9 내지 도 13은 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 방법에서 움직임 및 시차 보상을 위한 예측 과정을 설명하기 위한 도면.
상기와 같은 목적을 달성하기 위한 본 발명의 부호화 방법은, 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치에 적용되는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법에 있어서, 좌측영상의 프레임 및 우측영상의 프레임으로 구성되는 입체영상을 단일 프레임내에 우측영상 및 좌측영상이 포함되도록 축소 전환하는 제 1 단계; 상기 축소 전환된 단일 프레임의 좌우 영상 중 좌측영상을 기 저장된 기준영상을 토대로 움직임 보상 및 DCT에 의하여 부호화하고, 기준영상을 갱신하여 저장하는 제 2 단계; 및 상기 동일 프레임의 좌우 영상 중 우측영상을 기 저장된 기준영상을 토대로 움직임 예측에 의한 움직임 보상, 시차 예측에 의한 시차 보상 및 DCT 부호화하고, 기준영상을 갱신하여 저장하는 제 3 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 복호화 방법은, 움직임 및 시차 보상을 갖는 입체영상의 복호화 장치에 적용되는 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법에 있어서, 부호화된 단일 프레임의 좌우 영상에서 좌측영상을 기 저장된 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 좌측영상을 복호화하고, 기준영상을 갱신하여 저장하는 제 1 단계; 상기 부호화된 단일 프레임의 좌우 영상에서 우측영상을 기 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차를 보상하거나 기 저장된 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 우측영상을 복호화하고, 기준 우측영상을 갱신하여 저장하는 제 2 단계; 및 상기 복호화된 단일 프레임의 좌우 영상을 보간에 의해 좌측영상 및 우측영상이 각각의 프레임으로 구성되는 입체영상을 갖도록 복원하는 제 3 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 부호화 장치는, 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치에 있어서, 좌측영상의 프레임 및 우측영상의 프레임으로 구성되는 입체영상을 단일 프레임내에 우측영상 및 좌측영상이 포함되도록 축소 전환하기 위한 제 1수단; 상기 제 1 수단에 전환된 단일 프레임의 좌우 영상 중 좌측영상을 기 저장된 기준영상을 토대로 움직임 보상 및 DCT에 의하여 부호화하고, 기준영상을 갱신하여 저장하기 위한 제 2 수단; 및 상기 제 2 수단의 동일 프레임의 좌우 영상 중 우측영상을 기 저장된 기준영상을 토대로 움직임 예측에 의한 움직임 보상, 시차 예측에 의한 시차 보상 및 DCT 부호화하고, 기준영상을 갱신하여 저장하기 위한 제 3 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 복호화 장치는, 움직임 및 시차 보상을 갖는 입체영상의 복호화 장치에 있어서, 부호화된 단일 프레임의 좌우 영상에서 좌측영상을 기 저장된 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 좌측영상을 복호화하고, 기준영상을 갱신하여 저장하기 위한 제 1 수단; 상기 부호화된 단일 프레임의 좌우 영상에서 우측영상을 기 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차를 보상하거나 기 저장된 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 우측영상을 복호화하고, 기준 우측영상을 갱신하여 저장하기 위한 제 2 수단; 및 상기 복호화된 단일 프레임의 좌우 영상을 보간에 의해 좌측영상 및 우측영상이 각각의 프레임으로 구성되는 입체영상을 갖도록 복원하기 위한 제 3 수단을 포함하는 것을 특징으로 한다.
한편, 본 발명은, 움직임 및 시차 보상을 갖는 입체영상을 부호화 하기 위하여, 프로세서를 구비한 부호화 장치에, 좌측영상의 1 프레임 및 우측영상의 1 프레임의 입체영상을 단일 프레임내에 우측영상 및 좌측영상이 포함되도록 축소 전환하는 제 1 기능; 상기 전환된 단일 프레임내의 좌우 영상 중 좌측영상을 기 저장된 기준영상을 토대로 움직임 보상 및 DCT에 의하여 부호화하고, 기준영상을 갱신하여 저장하는 제 2 기능; 및 상기 동일의 단일 프레임내의 좌우 영상 중 우측영상을 기 저장된 기준영상을 토대로 움직임 보상, 시차 예측에 의한 시차 보상 및 DCT 부호화하고, 기준영상을 갱신하여 저장하는 제 3 기능을 실현시키기 위한 프로그램을기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 움직임 및 시차 보상을 갖는 입체영상을 부호화하기 위하여, 프로세서를 구비한 복호화 장치에, 부호화된 단일 프레임내의 좌우 영상 중 좌측영상을 기 저장된 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 참조하여 좌측영상을 복호화하고, 기준영상을 갱신하여 저장하는 제 1 기능; 상기 부호화된 단일 프레임내의 좌우 영상 중 우측영상을 기 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차를 보상하거나 기 저장된 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 참조하여 우측영상을 복호화하고, 기준 우측영상을 갱신하여 저장하는 제 2 기능; 및 상기 복호화된 단일 프레임내의 좌우 영상을 보간에 의해 좌측영상 및 우측영상이 각각의 프레임으로 구성되는 입체영상을 갖도록 복원하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
여기서 상술된 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 3a 및 도 3b는 본 발명에 적용되는 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 장치의 일실시예 구성도이다.
도 3a는 입력되는 좌우 2 프레임의 영상을 수평 방향으로 1/2로 축소(decimation)하여 사이드 필드(Sidefields) 형태의 1 프레임의 좌우 영상으로 전환하여 부호화 및 복호화하는 구성으로, 수평 부호화 전처리부(300), 수평 움직임 및 시차보상 DCT 코덱부(320) 및 수평 복호화 후처리부(340)를 포함한다. 여기서, 상기 사이드 필드에 대해서는 후술될 도 4a 및 도 6a를 토대로 자세히 설명한다.
상기 수평 부호화 전처리부(300)는 입력되는 좌우 양안의 입체영상을 수평 방향으로 1/2로 축소(Decimation)하여, 사이드 필드(Sidefields) 형태의 1 프레임의 좌우 영상으로 전환하여 수평 움직임 및 시차보상 DCT 코덱부(320)로 전송한다.
상기 수평 움직임 및 시차보상 DCT 코덱부(320)는 수평 부호화 전처리부(300)에서 전송된 1 프레임의 사이드 필드 즉, 좌우 영상이 함께 존재하는 1 프레임의 영상에서, 좌측영상을 먼저 움직임 보상만을 통해 DCT 부호화/복호화 한 후에 우측영상을 움직임 및 시차 보상을 통해 DCT 부호화/복호화한다.
즉, 상기 수평 움직임 및 시차보상 DCT 코덱부(320)는 이미 수평 부호화 전처리부(300)에서 좌우 영상이 이미 1 프레임의 영상으로 전환되므로, 상기 1 프레임의 영상을 좌우 순차적으로 부호화 및 복호화하여 수평 부호화 후처리부(340)로 전송한다.
여기서, 상기 수평 방향의 축소(Decimation)에 의해 만들어진 사이드 필드(Sidefields) 형태의 영상은 기존 2D 영상의 디코더와 호환성을 유지할 수 없다. 따라서, 사이드 필드 형태의 영상은 기존 디코더를 사용할 경우 좌우 영상 모두에 대하여 올바른 영상이 복원되지 못하므로 서브 필드(Subfields) 형태의 영상으로 전환하는 것이 바람직하다.
상기 수평 복호화 후처리부(340)는 수평 움직임 및 시차보상 DCT코덱부(320)에서 부호화 및 복호화된 1 프레임의 사이드 필드 영상을 수평 보간(Interpolation)에 의해 원래의 영상 즉, 좌측영상 및 우측영상이 각각 독립된 프레임의 영상이 되도록 복원한다.
도 3b는 입력되는 좌우 2 프레임의 영상을 수직 방향으로 1/2 축소(decimation)하여 서브 필드(Subfields) 형태의 1 프레임의 영상으로 전환하여 부호화 및 복호화하는 구성으로, 수직 부호화 전처리부(310), 수직 움직임 및 시차보상 DCT 코덱부(330) 및 수직 복호화 후처리부(350)를 포함한다.
상기 수직 부호화 전처리부(310)는 좌우 양안의 입체영상을 수직방향의 축소(Decimation)에 의해 1/2로 축소하여, 서브 필드(Subfields) 형태의 1 프레임을 생성하여 수직 움직임 및 시차보상 DCT 코덱부(330)로 전송한다.
상기 수직 움직임 및 시차보상 DCT 코덱부(330)는 수직 부호화 전처리부(310)에서 전송된 1 프레임의 서브 필드 즉, 좌우 영상이 함께 존재하는 1 프레임의 영상에서, 좌측영상을 먼저 움직임 보상만 하여 DCT 부호화/복호화를 수행하고 우측영상의 움직임 및 시차 보상을 하여 DCT 부호화/복호화를 한다.
즉, 상기 수직 움직임 및 시차보상 DCT 코덱부(330)는 수직 부호화 전처리부(310)에서 좌우 영상이 이미 1 프레임의 영상으로 전환되므로, 상기 1 프레임의 영상을 순차적으로 부호화 및 복호화하여 수직 복호화 후처리부(350)로 전송하는 것이다.
이때, 상기 수직 방향의 축소(Decimation)에 의해 만들어진 서브 필드(Sidefields) 형태의 영상은 기존 2D 영상의 디코더와 호환성을 유지할 수 있다. 따라서, 서브 필드 형태의 영상은 기존 디코더로 복원될 경우 1/2의 좌측영상에 대해서는 그대로 복원이 가능하여 후술될 수직 복호화 후처리부(350)에서 보간(Interpolation)을 수행하면 기존의 2D 영상은 올바른 디스플레이가 가능하다.
도 4a 및 도 4b는 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치에서 수평/수직 방향의 축소에 의해 2 프레임의 좌우 영상이 1 프레임의 좌우 영상으로의 전환을 보여주는 도면이다.
도 4a는 도 3a에 도시된 수평 부호화 전처리부에서의 처리 과정을 설명하는 도면으로, 시간적으로 동일선상에 좌측영상 프레임과 우측영상 프레임을 각각 수평 방향으로 1/2로 축소(decimation)하여, 한 프레임에 좌측영상과 우측영상이 존재하도록 영상을 전환한다.
즉, 좌측 및 우측영상의 세로 크기(V)를 유지하고, 가로 크기(H)를 각각 1/2로 축소하여 두개의 프레임을 하나의 프레임 영상으로 전환한다.
도 4b는 도 3b에 도시된 수직 부호화 전처리부에서의 처리 과정을 설명하는 도면으로, 시간적으로 동일선상에 좌측영상 프레임과 우측영상 프레임을 각각 수직 방향으로 1/2로 축소(decimation)하여, 한 프레임에 좌측영상과 우측영상이 존재하도록 영상을 전환한다.
즉, 좌측 및 우측영상의 가로 크기(H)를 유지하고, 세로 크기(V)를 각각 1/2로 축소하여 두개의 프레임을 하나의 프레임 영상으로 전환한다.
도 5는 도 3b에 도시된 수직 움직임 및 시차보상 DCT 코덱부의 일실시예 상세 구성도이다.
도 5에 도시된 바와 같이, 수직 움직임 및 시차보상 DCT 코덱부(330)는 움직임 및 시차 보상 DCT 부호화 모듈(M1)과 움직임 및 시차 보상 DCT 복호화 모듈(M2)을 포함한다.
상기 움직임 및 시차 보상 DCT 부호화 모듈(M1)은 제 1 합산기(331), 부호화측 움직임 및 시차 예측기(332), 부호화측 프레임 메모리(333), 부호화측 움직임 및 시차 보상기(334), DCT(335), 양자화기(336), 가변길이 부호화기(337), 부호화측 역양자화기(338), 부호화측 역DCT(339) 및 제 2 합산기(340)를 포함한다.
그리고, 상기 부호화측 프레임 메모리(333)는 좌측영상 저장버퍼(B1), 우측영상 저장버퍼(B2)를 포함한다.
한편, 상기 움직임 및 시차 보상 DCT 복호화 모듈(M2)은 가변길이 복화화기(341), 복호화측 움직임 및 시차 보상기(342), 복호화측 프레임 메모리(343), 복호화측 역양자화기(344), 복호화측 역DCT(345) 및 제 3 합산기(346)를 포함한다.
이하에서는 상기의 구성에 따른 움직임 및 시차 보상 동작을 자세히 살펴본다.
본 발명의 코덱은 도 5에 도시된 바와 같이 기존 MPEG-2와 동일한 코덱 구조로 구성되면서, 움직임 및 시차보상을 이용한 DCT 부호화/복호화가 수행된다.
상기 움직임 및 시차 보상 DCT 부호화 모듈(M1)은 1 프레임으로 구성되는 좌우 영상을 입력받아 먼저 입력 좌측영상 신호를 이미 이전의 시간에 처리되어 부호화측 프레임 메모리(333)의 좌측영상 저장버퍼(B1)에 저장되어 있는 복원 좌측영상 신호를 기준영상 신호로 사용하여 움직임 예측과 움직임 보상을 수행한다.
즉, 입력받은 좌측영상 신호와 좌측영상 저장버퍼(B1)에 저장되어 있는 이전의 복원 좌측영상 신호를 토대로 상기 부호화측 움직임 및 시차 예측기(332)는 움직임을 예측하여 움직임 벡터를 부호화측 움직임 및 시차 보상기(334) 및 가변길이 부호화기(337)로 각각 출력한다.
여기서, 상기 부호화측 움직임 및 시차 보상기(334)는 입력된 움직임 벡터와 좌측영상 저장버퍼(B1)로부터 입력받은 좌측영상 신호를 이용하여 움직임 보상하고, 이 움직임 보상 신호를 제 1 합산기(331) 및 제 2 합산기(340)로 출력한다.
이때, 제 1 합산기(331)는 부호화측 움직임 및 시차 보상기(334)에서 움직임 보상된 신호와 입력 좌측영상 신호를 합산하여, 두 신호간의 차인 에러 영상 신호를 추출하여, 이 추출된 에러 영상 신호를 DCT(335)로 출력한다. 상기 DCT(335)는 입력된 에러 영상 신호를 이산여현직교변환을 수행하고, 이 이산여현직교변환된 에러 영상 신호를 양자화기(336)로 출력한다. 그러면, 상기 양자화기(336)는 제공받은 신호를 양자화하고, 이 양자화된 신호를 가변길이 부호화기(337)로 출력한다.
그러면, 상기 가변길이 부호화기(337)는 양자화기(336)로부터 입력된 양자화된 신호와 부호화측 움직임 및 시차 예측기(332)에서 출력되는 움직임 벡터신호를 비트 스트림으로 부호화하여 움직임 시차보상 DCT 복호화 모듈(M2)의 가변길이 복호화기(341)로 출력한다.
한편, 상기 양자화기(336)에서 양자화된 신호는 역양자화기(338) 및 역DCT(339)를 통해 역양자화 및 이산여현직교변환을 수행하고, 이 이산여현직교변환이 수행된 신호를 제 2 합산기(340)로 출력한다. 그러면, 상기 제 2 합산기(340)는 이산여현직교변환이 수행된 신호와 부호화측 움직임 및 시차 보상기(334)로부터 입력된 움직임 보상된 신호를 합하여 좌측영상 신호를 복원하고, 이 복원된 좌측영상 신호를 부호화측 프레임 메모리(333)의 좌측영상 저장 버퍼(B1)에 저장하여, 다음 시간에 입력되는 좌측영상의 부호화에서 움직임 보상을 위한 기준영상으로, 우측영상의 부호화에서 시차 보상을 위한 기준영상으로 각각 이용한다.
다음, 입력받은 1 프레임의 좌우 영상 중 우측영상 신호는 같은 시간에 처리되어 부호화측 움직임 및 시차 예측기(332)로 입력된다. 그러면, 이 부호화측 움직임 및 시차 예측기(332)는 부호화측 프레임 메모리(333)의 좌측영상 저장버퍼(B1)에 저장되어 있는 좌측영상 신호를 기준영상으로 사용하여 입력되는 우측영상에 대해 시차 예측과 시차 보상을 수행하고, 이전의 시간에 처리되어 부호화측 프레임 메모리(333)의 우측영상 저장버퍼(B2)에 저장되어 있는 복원 우측영상 신호를 기준영상으로 하여 움직임 예측과 움직임 보상을 수행한다.
즉, 부호화측 움직임 및 시차 예측기(332)는 입력받은 우측영상 신호와 좌측영상 저장버퍼(B1)에 저장되어 있는 동일시간의 복원 좌측영상 신호를 토대로 부호화측 시차 예측을 하고, 시차 예측을 통해 얻어진 시차 벡터를 부호화측 움직임 및 시차 보상기(334)와 가변길이 부호화기(337)로 각각 출력한다.
또한, 이전 시간에 처리되어 부호화측 프레임 메모리(333)의 우측영상 저장버퍼(B2)에 저장되어 있는 복원 우측영상 신호를 부호화측 움직임 및 시차예측기(332)로 입력하여 움직임 예측을 통한 움직임 벡터를 구하여 부호화측 움직임 및 시차 보상기(334)와 가변길이 부호화기(337)로 각각 출력한다.
그러면, 상기 부호화측 움직임 및 시차 보상기(334)는 입력된 시차 및 움직임 벡터를 입력받아 좌측영상 저장버퍼(B1)로부터 입력받은 복원 좌측영상 신호를 이용하여 시차 보상하고, 상기 우측영상 저장버퍼(B2)로부터 입력받은 복원 우측영상 신호를 이용하여 움직임 보상한다. 시차 보상된 우측영상 신호와 움직임 보상된 우측영상 신호 중 입력되는 우측 원영상 신호와 차이가 적은 쪽의 보상 신호를 제 1 합산기(331) 및 제 2 합산기(340)로 각각 출력한다.
이때, 제 1 합산기(331)는 부호화측 움직임 및 시차 보상기(334)에서 출력되는 보상 신호(시차 또는 움직임 보상된 신호)와 입력 좌측영상 신호를 합산하여, 두 신호간의 차인 에러 영상 신호를 추출하여, 이 추출된 에러 영상 신호를 DCT(335)로 출력한다. 상기 DCT(335)는 입력된 에러 영상 신호를 이산여현직교변환을 수행하고, 이 이산여현직교변환된 에러 영상 신호를 양자화기(336)로 출력한다. 그러면, 상기 양자화기(336)는 제공받은 신호를 양자화하고, 이 양자화된 신호를 가변길이 부호화기(337)로 출력한다.
그러면, 이 가변길이 부호화기(337)는 DCT 및 양자화된 신호와 부호화측 움직임 및 시차 예측기(332)에서 출력되는 벡터(시차 또는 움직임 백터)를 비트 스트림으로 부호화하여 가변길이 복호화기(341)로 출력한다.
그리고, 상기 양자화기(336)에서 양자화된 신호는 역양자화기(338) 및 역DCT(339)를 통해 역양자화 및 이산여현직교변환을 수행하고, 이 이산여현직교변환이 수행된 신호를 제 2 합산기(340)로 출력한다. 그러면, 상기 제 2 합산기(340)는 이산여현직교변환이 수행된 신호와 부호화측 움직임 및 시차 보상기(334)로부터 입력된 보상 신호(시차 또는 움직임 보상된 신호)를 합하여 우측영상 신호를 복원하고, 이 복원된 우측영상 신호를 부호화측 프레임 메모리(333)의 우측영상 저장 버퍼(B2)에 저장하여, 다음 시간에 입력되는 우측영상의 부호화에서 움직임 보상을 위한 기준영상으로 이용한다.
한편, 움직임 및 시차 보상 DCT 복호화 모듈(M2)의 가변길이 복호화기(341)는 가변길이 부호화기(337)로부터 비트 스트림을 입력받아 벡터 신호(움직임 또는 시차 벡터)를 복호화측 움직임 및 시차 보상기(342)로, 양자화 및 DCT된 1 프레임의 좌우 영상 신호를 복호화측 역양자화기(344)로 출력한다.
이때, 상기 복호화측 역양자화기(344)는 양자화 및 DCT된 1 프레임의 좌우 영상 신호에서 먼저 좌측영상 신호를 복호한 뒤, 우측영상 신호를 복호한다. 따라서, 복호화측 역양자화기(344)에서 복호화된 영상 신호는 복호화측 역DCT(345)로 입력되어 역이산여현직교변환을 수행하여 제 3 합산기(346)로 출력된다.
또한, 상기 복호화측 움직임 및 시차 보상기(342)는 가변길이 복호화기(341)에서 출력되는 복호된 움직임 벡터와 복호화측 프레임 메모리(343)의 좌측영상 저장버퍼(B3)에 저장되어 있는 이전 시간의 복원 좌측영상 신호를 입력받고, 그 입력된 영상 신호에 대해 움직임 보상된 신호를 제 3 합산기(346)로 출력한다.
그러면, 상기 제 3 합산기(342)는 복호화측 역DCT(345)에서 출력되는 역이산여현직교변환된 신호와 복호화측 움직임 및 시차 보상기(342)에서 움직임 보상된 신호를 합하여 좌측영상 신호를 복원하고, 또한 좌측영상 신호를 복호화측 프레임 메모리(343)의 좌측영상 저장버퍼(B3)에 저장하여, 다음 시간에 처리될 좌측영상의 부호화에서 움직임 보상을 위한 기준영상으로, 우측영상의 부호화에서 시차 보상을 위한 기준영상으로 각각 이용한다.
다음으로, 가변길이 복호화기(341), 복호화측 역양자화기(344) 및 복호화측 역DCT(345)를 통해 DCT 및 양자화된 우측영상 신호는 동일 프레임 처리시간에 처리되어 복호화측 프레임 메모리(343)의 좌측영상 저장버퍼(B3)에 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차 보상이 이루어지거나, 이미 이전의 시간에 처리되어 복호화측 프레임 메모리(343)의 우측영상 저장버퍼(B4)에 저장되어 있는 복원 우측영상 신호를 기준영상으로 하여 움직임 보상이 이루어지도록 한다.
즉, 상기 복호화측 움직임 및 시차 보상기(342)는 가변길이 복호화기(341)에서 출력된 복호된 벡터가 시차 벡터인 경우는 시차 벡터와 좌측영상 저장버퍼(B3)에 저장되어 있는 동일 프레임내의 복원 좌측영상 신호를 입력받아 시차 보상된 신호를 출력하고, 복호된 벡터가 움직임 벡터인 경우는 움직임 벡터와 우측영상 저장버퍼(B4)에 저장되어 있는 이전의 복원 우측영상 신호를 입력받아 움직임 보상된 신호를 출력한다.
따라서, 상기 제 3 합산기(346)는 역DCT된 신호와 복호화측 움직임 및 시차 보상기에서 보상 신호(시차 또는 움직임 보상된 신호)를 합하여 우측영상 신호를 복원하고, 복호화측 프레임 메모리(343)의 우측영상 저장버퍼(B4)에 저장하여, 다음 시간에 처리될 우측영상의 부호화에서 움직임 보상을 위한 기준영상으로 이용한다.
따라서, 수직 후처리부(350)는 움직임 보상 및 DCT 복호화된 좌측영상 신호와 움직임 및 시차 보상에 의해 DCT 복호화된 우측영상 신호를 토대로 좌측 및 우측영상이 포함된 1 프레임의 좌우 영상을 2:1로 보간하여 좌측영상 및 우측영상이 각각 별도의 프레임으로 구현되도록 한다.
한편, 상기 도 3a에 도시된 수평 움직임 및 시차보상 DCT 코덱부(320)는 수평 부호화 전처리부로부터 입력되는 사이드 필드 형태의 영상에 대해서도 상기의 수직 움직임 및 시차보상 DCT 코덱부(330)와 동일한 동작을 수행함으로, 이하 본 발명에서는 수직방향으로 축소된 영상의 부호화 및 복호화에 대해서만 구체적으로 설명한다.
도 6a 및 도 6b는 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 복호화 장치에서 수평/수직 방향의 복원에 의해 1 프레임의 좌우 영상이 2 프레임의 좌우 영상으로의 복원을 보여주는 도면이다.
즉, 도 6a는 도 3a에 도시된 수평 복호화 후처리부에서의 처리 과정을 설명하는 도면으로, 수평 복호화 후처리부(340)는 상기 수평 움직임 및 시차보상 DCT 코덱부(320)를 통해 부호화 및 복호된 좌우 양안의 사이드 필드 형태인 1 프레임의 좌우 영상 데이터를 수평방향으로 2:1로 보간(Interpolation)한다. 즉, 좌측영상 및 우측영상을 각각의 원래 영상의 크기로 된 2 프레임의 좌우 영상으로 확대하는 것으로, 수평 부호화 전처리부(300)에서 영상의 가로크기가 1/2로 축소된 1 프레임의 좌우 영상을 각각 별도로 좌측영상 및 우측영상의 프레임으로 복원하는 것이다.
여기서, 좌측영상 및 우측영상이 1 프레임내의 좌측 및 우측에 나란히 존재하는 사이드 필드 형태의 영상은 좌측영상이 먼저 처리되도록 코덱 순서가 변경되어 부호화되며, 2D용 MPEG-2 코덱과 완전환 호환성을 유지하기를 원할 경우는 서브 필드 형태의 영상으로 전환하는 것이 바람직하다.
도 6b는 도 3b에 도시된 수평 복호화 후처리부에서의 처리 과정을 설명하는 도면으로, 상기 수직 복호화 후처리부(310)는 상기 수직 움직임 및 시차보상 DCT 코덱부(330)를 통해 부호화 및 복호화된 좌우 양안의 서브 필드 형태인 1 프레임의 좌우 영상 데이터를 수직방향으로 2:1로 보간(Interpolation)한다. 즉, 좌측영상 및 우측영상을 각각 원래 영상의 크기로 된 좌측영상 및 우측영상으로 확대하는 것으로, 최초 수직영상 전처리부(300)에서 영상의 세로크기가 1/2로 축소된 1 프레임의 좌우 영상을 각각 별도의 프레임으로 구성되는 좌측영상 및 우측영상으로 복원하는 것이다.
여기서, 서브 필드 형태에서는 좌측영상이 상단에, 우측영상이 하단에 존재하므로 본 발명에 따른 부호화를 적용하면 상단의 좌측영상은 그대로 복원되나, 하단 부분에 속하는 우측영상은 기존의 엠펙(MPEG)복호기로 복원이 불가능하다. 따라서, 입체영상의 디스플레이를 위해서는 본 발명에 적용되는 전용의 복호화기가 필요하다.
도 7는 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법에 대한 일실시예 흐름도이다.
본 발명은 수평 방향 및 수직 방향으로 축소된 형태로 동일한 과정의 부호화 및 복호화를 수행함으로, 여기서는 수직 방향의 축소에 의한 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화에 한정하여, 도 5에 도시된 구성을 참조하여 자세히 설명한다.
도 7에 도시된 바와 같이, 먼저 좌우 양안의 2 프레임의 입체영상을 1/2로 축소하여 1 프레임의 좌우 영상으로 전환하는데 즉, 수직 부호화 전처리부(310)에서 입력된 2 프레임의 좌우 영상을 수직방향으로 1/2로 축소하여 서브 필드 형태의 1 프레임의 좌우 영상으로 전환한다(71). 그리고, 이 전환된 서브 필드 형태의 1 프레임의 좌우 영상을 수직 움직임 및 시차보상 DCT 코덱부(330)의 움직임 및 시차보상 DCT 부호화 모듈(M1)로 입력되는데, 이때 입력된 1 프레임의 좌우 영상 중에 먼저 좌측영상 신호를 이미 이전의 시간에 처리되어 부호화측 프레임 메모리의 좌측영상 저장버퍼(B1)에 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 움직임 예측과 움직임 보상한다(72).
그 후, 복원 좌측영상 신호를 기준영상에 의해 움직임 보상된 신호와 수직 부호화 전처리부(310)에서 입력된 좌측영상 신호를 합산하여, 그 두 신호의 차인 에러 영상 신호를 DCT와 양자화한다(73).
그리고, DCT 및 양자화된 에러 영상 신호와 부호화측 움직임 및 시자 예측기(332)에서 출력되는 움직임 예측에 의한 움직임 벡터를 가변 길이로 부호화한다(74).
한편, DCT 및 양자화된 에러 영상 신호를 부호화측 역양자화기(338) 및 부호화측 역DCT(339)를 통해 역양자화와 역DCT하고, 이 역양자화하여 역DCT된 영상 신호와 부호화측 움직임 및 시차 보상기(334)에서 움직임 보상된 신호 합하여 좌측영상을 복원하고, 부호화측 프레임 메모리의 좌측영상 저장 버퍼에 저장하여 다음 시간에 입력되는 좌측영상의 부호화에서 움직임 보상을 위한 기준영상으로, 우측영상의 부호화에서 시차 보상을 위한 기준영상으로 각각 이용할 수 있도록 한다(75).
다음으로. 수직 부호화 전처리부(310)로부터 입력받은 1 프레임의 좌우 영상에서 우측영상 신호는 같은 시간에 처리되어 부호화측 프레임 메모리의 좌측영상 저장버퍼에 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차 예측과 시차 보상을 수행한다(76). 그리고, 이전의 시간에 처리되어 부호화측 프레임 메모리의 우측영상 저장버퍼에 저장되어 있는 복원 우측영상 신호를 기준영상으로 하여 움직임 예측과 움직임 보상을 수행한다(77).
부호화측 움직임 및 시차 보상기에서 시차 보상된 우측영상 신호와 움직임 보상된 우측영상 신호 중, 입력 우측 원영상 신호와 차이가 적은 쪽의 보상 신호와 입력 우측영상 신호를 합산하여, 그 두 신호간의 차인 에러 영상 신호를 DCT와 양자화한다(78). 그리고, 시차 또는 움직임 예측에 의한 벡터(시차 벡터 또는 움직임 벡터)와 DCT 및 양자화된 영상 신호를 가변길이 부호화하여 비트 스트림 형태로 전송한다(79).
그리고, DCT 및 양자화된 영상 신호는 다시 역양자화와 역DCT하여 보상 신호(시차 또는 움직임 보상된 신호)와 합하여 우측영상을 복원한다. 복원된 우측영상 신호는 부호화측 프레임 메모리의 우측영상 저장 버퍼에 저장하여, 다음 시간에입력되는 우측영상의 부호화에서 움직임 보상을 위한 기준영상으로 이용할 수 있도록 한다(80).
도 8은 본 발명에 따른 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법에 대한 일실시예 흐름도이다.
도 8에 도시된 바와 같이, 복호화측에서는 먼저, 비트 스트림으로 입력되어지는 신호를 가변길이 복호화하여 양자화 및 DCT된 좌측영상 신호와 움직임 벡터를 얻는다(81).
그리고, 이미 이전의 시간에 처리되어 복호화측 프레임 메모리의 좌측영상 저장버퍼에 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 수행한다(82). 그 후, 역양자화하여 역DCT된 신호와 복호화측 움직임 및 시차 보상기(342)에서 움직임 보상된 신호를 합하여 좌측영상을 복원하고, 복호화측 프레임 메모리의 좌측영상 저장버퍼에 저장하여, 다음 시간에 처리될 좌측영상의 복호화에서 움직임 보상을 위한 기준영상으로, 우측영상의 복호화에서 시차 보상을 위한 기준영상으로 각각 이용할 수 있도록 한다(83).
다음으로, 가변길이 복호화기(341)에서 출력된 양자화 및 DCT된 우측영상 신호는 가변길이 복호화기(341)에서 출력되는 벡터의 종류에 따라, 시차 벡터인 경우는 동일 프레임 처리시간에 처리되어 복호화측 프레임 메모리의 좌측영상 저장버퍼에 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차 보상을 수행하고, 움직임 벡터인 경우는 이미 이전의 시간에 처리되어 복호화측 프레임 메모리의 우측영상 저장버퍼에 저장되어 있는 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 수행한다(84).
또한, 가변길이 복호화기(341)에서 출력된 양자화 및 DCT된 우측영상 신호는 역양자화 및 역DCT된 신호로 변환되고, 이 변환된 역양자화 및 역DCT된 신호를 복호화측 움직임 및 시차 보상기(342)에서 보상 신호(시차 또는 움직임 보상된 신호)를 합하여 우측영상 신호를 복원하고, 복호화측 프레임 메모리의 우측영상 저장버퍼에 저장하여, 다음 시간에 처리될 우측영상의 부호화에서 움직임 보상을 위한 기준영상으로 이용할 수 있도록 한다(85).
그러면, 상기 수직 복호화 후처리부(350)에서는 움직임 및 시차 보상 DCT 복호화 모듈(M2)에서 복호된 1 프레임으로 이루어진 좌측영상 및 우측영상을 2 : 1로 보간하여 각각 별도의 프레임으로 이루어진 좌측영상 및 우측영상으로 복원한다(86).
도 9 내지 도 13은 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화 방법에서 움직임 및 시차 보상을 위한 예측 과정을 설명하기 위한 도면이다.
즉, 좌우 양안의 입체영상을 수직방향의 1/2 축소(Decimation)에 의해 서브 필드(Subfield) 형태의 영상으로 전환하는 경우에 대하여, 움직임 및 시차 보상이 이루어지는 영상의 예측에 관한 것으로, 수평방향의 1/2 축소(Decimation)에 의해 사이드 필드(Sdiefields) 형태의 영상으로 전환하는 경우에도 동일한 예측이 가능하다.
먼저, 본 발명에 사용되는 좌측영상 I-픽쳐는 좌측영상의 I-픽쳐, 좌측영상 P-픽쳐는 좌측영상의 P-픽쳐, 좌측영상 B-픽쳐는 좌측영상의 B-픽쳐를 의미하며, 우측영상 P-픽쳐는 우측영상의 P-픽쳐, 우측영상 B-픽쳐는 우측영상의 B-픽쳐를 의미한다.
그리고, 좌측영상 저장버퍼(B1,B3) 및 우측영상 저장버퍼(B2,B4)는 각각 부호화측 및 복호화측에 존재하며, 좌측영상 저장버퍼(B1,B3)의 저장된 세부적인 버퍼는 1/2의 프레임 크기로, BL1, BL2, BL3..... 로, 우측영상 저장 버퍼(B2,B4)에 저장되는 세부적인 버퍼의 순서는 BR1, BR2, BR3.... 순으로 기재하였다.
도 9에 도시된 바와 같이, 제 1 프레임(910)에서 좌측영상 I-픽쳐는 움직임 보상없이 부호화 및 복호화되고, 이 부호화 및 복호화 된 좌측영상 I-픽쳐는 부호화측 프레임 메모리(333)의 좌측영상 저장버퍼(B1) 및 복호화측 프레임 메모리(343)의 좌측영상 저장버퍼(B3)내의 BL1 버퍼에 복원하여 저장한다.
그 다음, 제 1 프레임(910)의 우측영상 P-픽쳐는 동일 시간상의 좌측영상으로 BL1 버퍼에 저장되어 있는 복원 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 시차 예측하여 시차 보상을 수행한다.
그리고, 부호화측 프레임 메모리(333)의 우측영상 저장버퍼(B2) 및 복호화측 프레임 메모리(343)의 우측영상 저장버퍼(B4)내의 BR1 버퍼에 부호화된 우측영상 P-픽쳐(RP)를 복원하여 저장한다. 여기서, 부호화측 프레임 메모리(333) 및 복호화측 프레임 메모리(343)에 각각 존재하는 BL1 버퍼 및 BR1 버퍼의 크기는 각각 1/2 프레임의 크기이다.
그리고, 제 4 프레임(940)의 좌측영상 P-픽쳐(LP)는 BL1 버퍼에 저장되어 있는 제 1 프레임(910)의 복원된 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 움직임을 예측하여 움직임 보상을 수행한 뒤, 부호측/복호화측 프레임 메모리(333,343)의 좌측영상 저장버퍼(B1,B3)내의 BL2 버퍼에 부호화된 좌측영상 P-픽쳐(LP)를 복원하여 저장한다.
제 4 프레임(940)의 우측영상 B-픽쳐(RB)는 동일 시간상의 좌측영상으로 BL2 버퍼에 저장되어 있는 제 4 프레임(940)의 복원된 좌측영상 P-픽쳐(LP)를 기준영상으로 하여 시차 예측 및 보상을 수행하고, BR1 버퍼에 저장되어 있는 제 1 프레임(910)의 복원된 우측영상 P-픽쳐(RP)를 기준영상으로 하여 움직임 예측 및 보상을 수행하여 부호화한다. 그리고, 부호화한 제 4 프레임(940)의 우측영상 B-픽쳐(RB)를 복원하여, 부호화측/복호화측 프레임 메모리(333,343)의 우측영상 저장버퍼(B2,B4)내에 각각 존재하는 BR2 버퍼에 저장한다.
상기 제 2 프레임(920) 및 제 3 프레임(930)의 좌측영상 B-픽쳐(LB), 우측영상 B-픽쳐(RB)는 엠펙-2 메인 프로파일(MPEG-2 MP)이나 MVP의 B 픽쳐와 동일한 예측을 통해 예측이 가능하다. 즉, 제 2 프레임(920)의 좌측영상 B-픽쳐(LB) 및 우측영상 B-픽쳐(RB)는 같은 측의 영상에서 시간상 이전 픽쳐로 BL1 버퍼 및 BR1 버퍼에 저장되어 있는 제 1 프레임(910)의 복원된 좌측영상 I-픽쳐(LI) 및 복원된 우측영상 P-픽쳐(RP)와 시간상 뒤에 있는 픽쳐로 BL2 버퍼 및 BR2 버퍼에 저장되어 있는 제 4 프레임(940)의 복원된 좌측영상 P-픽쳐(LP) 및 복원된 우측영상 B-픽쳐(RP)를 기준영상으로 하여 각각 움직임 예측하여 움직임 보상만을 수행하여 부호화한다.
도 10은 모든 좌측영상과 우측영상 중에서 제 1 프레임(1010)의 우측영상P-픽쳐(RP)와 제 4 프레임(1040)의 우측영상 B-픽쳐(RB)는 도 9의 예측 방식과 동일하다.
즉, 제 1 프레임(1010)에서 좌측영상 I-픽쳐는 움직임 보상없이 부호화하고, 부호화측/복호화측 프레임 메모리(333,343)의 좌측영상 저장버퍼(B1,B3)내에 각각 존재하는 BL1 버퍼에 부호화한 좌측영상 I-픽처를 복원하여 저장한다. 그 다음, 제 1 프레임(1010)의 우측영상 P-픽쳐는 상기 BL1 버퍼에 저장되어 있는 제 1 프레임(1010)의 복원 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 시차 예측하여 시차 보상을 수행한다. 그리고, 부호화측/복호화측 프레임 메모리(333,343)의 우측영상 저장버퍼(B2,B4)내에 각각 존재하는 BR1 버퍼에, 부호화된 제 1프레임(1010)의 우측영상 P-픽쳐(RP)를 복원하여 저장한다.
그리고, 제 4 프레임(1040)의 좌측영상 P-픽쳐(LP)는 BL1 버퍼에 저장되어 있는 제 1 프레임(1010)의 복원 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 움직임을 예측하여 움직임 보상을 수행하고, 부호화된 제 4 프레임(1040)의 좌측영상 P-픽쳐(LP)를 복원하여 부호화측/복호화측 프레임 메모리(333,343)의 좌측영상 저장버퍼(B1,B3)내에 존재하는 BL2 버퍼에 저장한다. 제 4 프레임(1040)의 우측영상 B-픽쳐(RB)는 동일 시간상의 좌측영상으로 BL2 버퍼에 저장되어 있는 제 4 프레임(1040)의 복원 좌측영상 P-픽쳐(LP)를 기준영상으로 하여 시차 예측 및 보상을 수행하고, BL1 버퍼에 저장되어 있는 제 1 프레임(1010)의 복원 우측영상 P-픽쳐(RP)를 기준영상으로 하여 움직임 예측 및 보상을 수행한다.
그리고, 제 2 프레임(920) 및 제 3 프레임(1030)의 좌측영상 B-픽쳐(LB)는같은 측의 영상에서 시간상 이전 픽쳐로 BL1 버퍼에 저장되어 있는 제 1 프레임(1010)의 복원 좌측영상 I-픽쳐(LI)와 시간상 뒤에 있는 픽쳐로 BL2 버퍼에 저장되어 있는 제 4 프레임(1040)의 복원 좌측영상 P-픽쳐(LP)를 기준영상으로 하여 움직임 예측하여 움직임 보상을 수행한다. 이때, 상기 제 2 프레임(1020)과 제 3프레임(1030)의 부호화된 좌측영상 B-픽쳐(LB)를 복원하여, 부호화 순서에 의해 부호화측/복호화측 프레임 메모리의 좌측영상 저장버퍼내의 동일 위치인 BL3 버퍼에 차례로 저장한다.
한편, 상기 제 2 프레임(1020) 및 제 3 프레임(1030)의 우측영상 B-픽쳐(RB)는 각각 부호화측/복호화측 프레임 메모리(333,343)의 우측영상 저장버퍼(B2,B4)내의 BR1 버퍼에 저장되어 있는 제 1 프레임(1010)의 복원 우측영상 P-픽쳐(RP)를 기준영상으로 하여 움직임 예측 및 보상을 각각 수행하고, 부호화 순서에 의해 차례적으로 BL3 버퍼에 저장되어 있는 제 2 프레임(1020)의 복원 좌측영상 B-픽쳐(LP)와 제 3 프레임(1030)의 복원 좌측영상 B-픽쳐(LB)를 기준영상으로 하여 시차 예측에 의한 시차 보상을 각각 수행한다.
도 11의 예측 방식은 도 10과 유사하며, 차이점은 우측영상의 움직임 보상을 위한 예측방식에서 제 3 프레임(1130)의 우측영상 B-픽쳐(RB)가 다음 프레임 즉, 제 4 프레임(1140)의 복원 우측영상 B-픽쳐(RB)를 이용하여 예측하는 것이며, 이를 위하여 부호화측/복호화측 프레임 메모리(333,343)의 우측영상 저장버퍼(B2,B4)내의 BR2 버퍼에 제 4 프레임(1140)의 부호화된 우측영상 B-픽쳐(RB)를 복원하여 저장해야 한다.
이외의 부호화측/복호화측 프레임 메모리내의 버퍼에 저장되는 복원 영상은 도 10에서와 동일하다. 즉, 제 1 프레임(1110)에서 좌측영상 I-픽쳐는 움직임 보상없이 부호화/복호화하고, 부호화측/복호화측 프레임 메모리의 좌측영상 저장버퍼내의 BL1 버퍼에 부호화된 좌측영상 I-픽처를 복원하여 저장한다. 그 다음, 제 1 프레임(1110)의 우측영상 P-픽쳐는 동일 시간상의 좌측영상으로 BL1 버퍼에 저장되어 있는 제 1 프레임(1110)의 복원 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 시차 예측하여 시차 보상을 수행한다. 그리고, 부호화측/복호화측 프레임 메모리의 우측영상 저장버퍼내의 BR1 버퍼에 부호화된 제 1 프레임(1110)의 우측영상 P-픽쳐(RP)를 복원하여 저장한다.
다음, 제 4 프레임(1140)의 좌측영상 P-픽쳐(LP)는 BL1 버퍼에 저장되어 있는 제 1 프레임(1110)의 복원 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 움직임을 예측하여 움직임 보상을 수행하고, 부호화측/복호화측 프레임 메모리의 좌측영상 저장버퍼내의 BL2 버퍼에 부호화된 제 4 프레임(1140)의 좌측영상 P-픽쳐(LP)를 복원하여 저장한다. 제 4 프레임(1140)의 우측영상 B-픽쳐(RB)는 동일 시간상의 좌측영상으로 BL2 버퍼에 저장되어 있는 제 4 프레임(1140)의 복원 좌측영상 P-픽쳐(LP)를 기준영상으로 하여 시차 예측 및 보상을 수행하고, BR1 버퍼에 저장되어 있는 제 1 프레임(1110)의 복원 우측영상 P-픽쳐(RP)를 기준영상으로 하여 움직임 예측 및 보상을 수행한다.
제 2 프레임(1120)과 제 3프레임(1130)의 좌측영상 B-픽쳐(LB)는 같은 좌측영상에서 시간상 이전의 픽쳐로 BL1 버퍼에 저장되어 있는 제 1 프레임(1110)의 복원 좌측영상 I-픽쳐(LI)와 시간상 뒤에 있는 픽쳐로 BL2 버퍼에 저장되어 있는 제 4 프레임(1140)의 복원 좌측영상 P-픽쳐(LP)를 기준영상으로 하여 움직임 예측하여 움직임 보상을 수행한다. 이때, 상기 제 2 프레임(1120)과 제 3프레임(1130)의 부호화된 좌측영상 B-픽쳐(LB)를 부호화/복호화 순서에 의해 부호화측/복호화측 프레임 메모리의 좌측영상 저장버퍼내의 동일 위치인 BL3 버퍼에 차례로 저장한다.
한편, 상기 제 2 프레임(1120) 및 제 3 프레임(1130)의 우측영상 B-픽쳐(RB)는 각각 부호화측/복호화측 프레임 메모리(333,343)의 우측영상 저장버퍼(B2,B4)내의 BR1 버퍼 및 BR2 버퍼에 저장되어 있는 제 1 프레임(1110)의 복원 우측영상 P-픽쳐(RP) 및 제 4 프레임(1140)의 복원 우측영상 B-픽쳐(RB)를 기준영상으로 하여 움직임 예측 및 보상을 각각 수행하고, 부호화/복호화 순서에 의해 차례로 BL3 버퍼에 저장되어 있는 제 2 프레임(1120)의 복원 좌측영상 B-픽쳐(LB)와 제 3 프레임(1130)의 복원 좌측영상 B-픽쳐(LB)에서의 시차 예측에 의한 시차 보상을 각각 수행한다.
한편, 수직방향 또는 수평방향의 축소(Decimation)에 의해 좌우 영상이 1/2 축소된 1 프레임의 좌우 영상인 경우 도 9 내지 도 11에서와 같이, 좌측영상 부분이 엠팩-2 메인 프로파일(MPEG-2 Main Profile) 및 MVP의 기저층에서와 같은 예측 방식에 의해 움직임 보상을 수행한다.
따라서, 도 9 내지 도 11에서 각 프레임의 디스플레이 순서인 제 1 프레임, 제 2 프레임, 제 3 프레임 및 제 4 프레임이 제 1 프레임의 좌측영상 I-픽쳐(LI), 제 1 프레임의 우측영상 P-픽쳐(RP), 제 4 프레임의 좌측영상 P-픽쳐(LP), 제 4 프레임 우측영상 B-픽쳐(RB), 제 2 프레임의 좌측영상 B-픽쳐(LB), 제 2프레임 우측영상 B-픽쳐(RB), 제 3 프레임의 좌측영상 B-픽쳐(LB) 및 제 3 프레임의 우측영상 B-픽쳐(RB)의 순서로 재배열되어 부호화/복호화된다. 상기와 같이 디스플레이 순서가 부호화 및 복호화시 재배열될 경우, 종래의 MVP에서는 기저층(base layer)에서만 재배열이 이루어지지만, 본 발명에서는 좌우 영상이 한 프레임내에 존재하므로 좌우 영상 모두가 자동적으로 재배열되게 된다. 따라서, 도 10과 같이 MVP에서 가능한 예측방식뿐만 아니라 도 9 및 도 11과 같이 MVP에서는 수행할 수 없는 예측방식도 가능하다.
도 12 및 도 13의 예측 방식은 좌우 양측의 영상에서 움직임 및 시차 보상을 수행하는 것으로, 도 12에서 제 1 프레임(1210)의 좌측영상 I-픽쳐(LI)는 움직임 보상없이 부호화 및 복호화되고, 부호화측 및 복호화측 프레임 메모리(33,343)의 좌측영상 저장버퍼(B1,B3)내의 BL1 버퍼에 부호화된 제 1 프레임(1210)의 좌측영상 I-픽쳐(LI)를 복원하여 저장한다.
그 다음, 제 1 프레임(1210)의 우측영상 P-픽쳐(RP)는 동일 시간상의 좌측영상으로 BL1 버퍼에 저장되어 있는 제 1 프레임(1210)의 복원 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 시차 예측하여 시차 보상을 수행한다. 그리고, 부호화측 및 복호화측 프레임 메모리(333,343)의 우측영상 저장버퍼(B2,B4)내의 BR1 버퍼에 부호화된 제 1 프레임(1210)의 우측영상 I-픽쳐(RI)를 복원하여 저장한다.
그리고, 제 2 프레임(1220)의 좌측영상 B-픽쳐(LB)는 상기 BL1 버퍼와 BR1 버퍼에 저장되어 있는 제 1 프레임(1210)의 복원된 좌측영상 I-픽쳐(LI) 및 복원된우측영상 P-픽쳐(RP)를 기준영상으로 하여 움직임 및 시차를 예측하고, 부호화측/복호화측 프레임 메모리(333,343)의 좌측영상 저장버퍼(B1,B3)내의 BL2 버퍼에 부호화된 제 2 프레임(1220)의 좌측영상 I-픽쳐(LB)를 복원하여 저장한다.
제 2 프레임(1220)의 우측영상 B-픽쳐(RB)는 상기 BR1 버퍼에 저장되어 있는 제 1 프레임(1210)의 복원된 우측영상 P-픽쳐(RP)와 동일 시간상에 존재하는 좌측영상으로 상기 BL2 버퍼에 저장되어 있는 제 2 프레임(1220)의 복원된 좌측영상 B-픽쳐(LB)를 기준영상으로 하여 움직임 및 시차 예측하여 움직임 및 시차를 보상한다. 그리고, 부호화측/복호화측 프레임 메모리(333,343)의 우측영상 저장버퍼(B2,B4)내의 BR2 버퍼에 부호화된 제 2 프레임(1210)의 우측영상 I-픽쳐(RI)를 복원하여 저장한다.
다음으로, 제 3 프레임(1230)의 좌측영상 B-픽쳐(LB)는 상기 BL2 버퍼와 BR2 버퍼에 저장되어 있는 제 2 프레임(1220)의 복원된 좌측영상 B-픽쳐(LB), 복원된 우측영상 B-픽쳐(RB)를 기준영상으로 하여 각각 움직임 및 시차 예측하고, 제 2 프레임(1220)의 복원 좌측영상 B-픽쳐(LB)가 저장되어 있던 BL2 버퍼에 부호화된 제 3 프레임(1220)의 좌측영상 I-픽쳐(LB)를 복원하여 저장한다. 상기 제 3 프레임(1230)의 우측영상 B-픽쳐(RB)는 상기 BR2 버퍼에 저장되어 있는 제 2 프레임(1220)의 복원된 우측영상 B-픽쳐(RB)와 동일 시간상에 존재하는 좌측영상으로 상기 BL2 버퍼에 저장되어 있는 제 3 프레임(1230)의 복원된 좌측영상 B-픽쳐(LB)를 기준영상으로 하여 움직임 및 시차 예측한다.
한편, 상기 제 4 프레임(1240)의 영상은 B-픽쳐에서의 예측에 의한 화질 열화를 줄이기 위하여, 상기 BL1 버퍼 및 BR1 버퍼에 저장되어 있는 제 1 프레임(1210)의 복원된 영상을 이용한다. 따라서, 제 4 프레임(1240)의 좌측영상 P-픽쳐(LP)는 제 1 프레임(1210)의 복원된 좌측영상 I-픽쳐(LI)를 기준영상으로 하여 움직임 예측하여 움직임을 보상하고, 부호화측/복호화측 프레임 메모리(333,343)의 좌측영상 저장버퍼(B1,B3)내의 BL1 버퍼에 부호화된 제 4 프레임(1240)의 좌측영상 P-픽쳐(LP)를 복원하여 저장한다. 제 4 프레임(1240)의 우측영상 B-픽쳐(RB)는 BR1 버퍼에 저장되어 있는 제 1 프레임(1210)의 복원된 우측영상 P-픽쳐(RP)와 BL1 버퍼에 저장되어 있는 제 4 프레임(1240)의 복원 좌측영상 P-픽쳐(LP)에서 움직임 및 시차 예측하여 움직임 및 시차 보상을 한다.
따라서, 부호화 및 복호화 순서는 제 1 프레임(1210)의 좌측영상 I-픽쳐(LI), 제 1 프레임(1210)의 우측영상 P-픽쳐(RP), 제 2 프레임(1220)의 좌측영상 B-픽쳐(LB), 제 2 프레임(1220)의 우측영상 B-픽쳐(RB), 제 3 프레임(1230)의 좌측영상 B-픽쳐(LB), 제 3 프레임(1230)의 우측영상 B-픽쳐(RB), 제 4 프레임(1240)의 좌측영상 B-픽쳐(LB) 및 제 4 프레임(1240)의 우측영상 B-픽쳐(RB)로 디스플레이 순서와 동일하다.
도 13에서 제 1 프레임(1310), 제 2 프레임(1320) 및 제 3 프레임(1330)의 예측 방식은 도12와 동일하며, 차이점은 제 2 프레임(1320)의 영상이 처리된 다음, BL2 및 BR2 버퍼가 아닌 제 1 프레임(1310)의 복원 좌우 영상이 저장되어 있는 BL1 및 BR1 버퍼에 제 2 프레임(1320)의 복원된 좌측영상 B-픽쳐(LB) 및 복원된 우측영상 B-픽쳐(RB)를 저장하는 것이다. 그리고, 제 3 프레임(1330)의 좌우영상 또한 각각 처리한 후, BL1 및 BR1 버퍼에 제 3 프레임(1330)의 복원된 좌측영상 B-픽쳐(LB) 및 복원된 우측영상 B-픽쳐(RB)를 저장한다. 제 4 프레임(1340)의 좌측영상 B-픽쳐(LB)는 BL1 및 BR1 버퍼에 저장되어 있는 제 3 프레임(1330)의 복원된 좌측영상 B-픽쳐(LB), 복원된 우측영상 B-픽쳐(RB)에서 움직임 및 시차를 예측하고, 제 4 프레임(1340)의 우측영상 B-픽쳐(RB)는 BR1 및 BL1 버퍼에 각각 저장되어 있는 제 3 프레임(1330)의 복원된 우측영상 B-픽쳐(RB)와 동일 시간상에 있는 제 4 프레임(1340)의 복원된 좌측영상 P-픽쳐(LP)를 기준영상으로 하여 움직임 및 시차를 예측하여 움직임 및 시차 보상을 수행한다. 여기서, 부호화/복호화 순서는 도 12와 동일하다.
즉, 부호화/복호화 순서는 제 1 프레임(1310)의 좌측영상 I-픽쳐(LI), 제 1 프레임(1310)의 우측영상 P-픽쳐(RP), 제 2 프레임(1320)의 좌측영상 B-픽쳐(LB), 제 2 프레임(1320)의 우측영상 B-픽쳐(RB), 제 3 프레임(1330)의 좌측영상 B-픽쳐(LB), 제 3 프레임(1330)의 우측영상 B-픽쳐(RB), 제 4 프레임(1340)의 좌측영상 B-픽쳐(LB) 및 제 4 프레임(1340)의 우측영상 B-픽쳐(RB)로 디스플레이 순서와 동일하다.
따라서, 도 12 및 도 13의 예측방식은 양안 입체영상의 전용 부호화라고 할 수 있으며, 부호화와 디스플레이 순서가 동일하여 재배열이 필요 없어 처리 지연(delay)을 줄일 수 있으며, 특히 도 13의 예측 방식은 다른 방식들과 비교하여 BL1버퍼와 BR1 버퍼 크기, 즉 1 프레임 크기의 버퍼만 필요하므로, 메모리를 절약할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 진술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 양안 입체영상에 대한 부호화 방식으로 복잡한 부호화 구조에 의해 하드웨어 구현이 상당히 어려운 MVP와는 달리 기존 2D 비디오의 부호화 구조와 유사하므로 하드웨어 구현이 용이하다.
또한, 본 발명에서는 필드(field) 및 프레임(frame) 예측 모두에 대하여 움직임 및 시차 정보를 이용하여 부호화를 수행하며, 시차 정보는 동일시간 축 상에 존재하는 다른 측 영상과의 시차 정보를 이용하여 효율적인 시차 보상을 할 수 있다.
Claims (21)
- 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치에 적용되는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법에 있어서,좌측영상의 프레임 및 우측영상의 프레임으로 구성되는 입체영상을 단일 프레임내에 좌측영상 및 우측영상이 포함되도록 축소 전환하는 제 1 단계;상기 축소 전환된 단일 프레임의 좌우 영상 중 좌측영상을 기 저장된 기준영상을 토대로 움직임 보상 및 DCT에 의하여 부호화하고, 기준영상을 갱신하여 저장하는 제 2 단계; 및상기 동일 프레임의 좌우 영상 중 우측영상을 기 저장된 기준영상을 토대로움직임 예측에 의한 움직임 보상, 시차 예측에 의한 시차 보상 및 DCT 부호화하고,기준영상을 갱신하여 저장하는 제 3 단계를 포함하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항에 있어서,상기 제 2 단계는,단일 프레임의 좌우 영상 중 좌측영상 신호를 이미 이전의 시간에 처리되어 저장되어 있는 복원된 좌측영상 신호를 기준영상으로 하여 움직임 예측과 움직임 보상하는 제 4 단계;상기 복원된 좌측영상 신호를 기준영상으로 하여 움직임 보상된 신호와 입력된 좌측영상 신호를 합산하여, 그 두 신호의 차인 에러 영상 신호를 DCT와 양자화하는 제 5 단계;상기 DCT 및 양자화된 에러 영상 신호와 상기 4 단계에서의 움직임 예측에 의한 움직임 벡터를 가변 길이로 부호화하는 제 6 단계; 및상기 DCT 및 양자화된 에러 영상 신호를 역양자화 및 역DCT하여 상기 4 단계에서 움직임 보상된 신호와 합하여 좌측영상을 복원하여 저장하는 제 7 단계를 포함하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항에 있어서,상기 제 3 단계는,단일 프레임의 좌우 영상 중에서 우측영상 신호를 같은 시간에 처리되어 기 저장되어 있는 복원된 좌측영상 신호를 기준영상으로 하여 시차 예측과 시차 보상을 수행하는 제 4 단계;상기 복원된 우측영상 신호를 기준영상으로 하여 움직임 예측과 움직임 보상을 수행하는 제 5 단계;상기 시차 보상된 신호 또는 움직임 보상된 신호를 입력 우측영상 신호와 합산하여 DCT 및 양자화하는 제 6 단계;상기 DCT 및 양자화된 에러 영상 신호와 제 상기 4 단계 및 제 5 단계에서시차 또는 움직임 예측에 의한 시차 또는 움직임 벡터를 가변 길이로 부호화하는 제 7 단계; 및상기 DCT 및 양자화된 에러 영상 신호를 역양자화 및 역DCT하여 상기 4 단계에서 시차 또는 움직임 보상된 신호와 합하여 우측영상을 복원하여 저장하는 제 8 단계를 포함하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,상기 갱신된 좌측영상은,다음 시간에 입력되는 좌측영상의 부호화에서 움직임 보상을 위한 기준영상 및 우측영상의 부호화에서 시차 보상을 위한 기준영상으로 이용되는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,상기 갱신된 우측 영상은,다음 시간에 입력되는 우측영상의 부호화에서 움직임 보상을 위한 기준영상으로 이용되는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항에 있어서,상기 제 3 단계에서의 움직임 및 시차 예측은, 제 1 프레임 내지 제 4 프레임이 순차적으로 입력될 경우,첫번째로 입력되는 제 1 프레임의 좌측영상 I-픽쳐는 움직임 보상없이 부호화 및 복호화하고, 제 1 프레임의 복원 좌측영상 I-픽쳐를 제 1 버퍼에 저장하고, 제 1 프레임의 우측영상 P-픽쳐는 동일한 프레임내에 있는 제 1 프레임의 좌측영상으로 제 1 버퍼에 저장되어 있는 복원 좌측영상 I-픽쳐에서 시차를 예측하여 시차의 보상을 수행하여 부호화 및 복호화하고, 제 2 버퍼에 제 1 프레임의 복원 우측영상 P-픽쳐를 저장하고, 두번째로 입력되는 제 4 프레임의 좌측영상 P-픽쳐는 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐에서 움직임을 예측하여 움직임의 보상을 수행하여 부호화 및 복호화하고, 제 3 버퍼에 제 4 프레임의 복원 좌측영상을 저장하고, 제 4 프레임의 우측영상 B-픽쳐는 동일 시간축상에 존재하는 좌측영상으로 제 3 버퍼에 기 저장된 제 4 프레임의 복원 좌측영상 I-픽쳐와 제 2 버퍼에 기 저장된 제 1 프레임의 복원 우측영상 P-픽쳐에서 각각 시차 및 움직임을 예측하여 시차 및 움직임 보상을 수행하고, 제 4 버퍼에 제 4 프레임의 복원 우측영상을 저장하고, 세번째로 입력되는 제 2 프레임의 좌측영상 B-픽쳐 및 우측영상 B-픽쳐는 시간상으로 이전 프레임으로 각각 제 1 버퍼 및 제 2 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐 및 복원 우측영상 P-픽쳐와 시간상으로 뒤에 있는 프레임으로 제 3 버퍼 및 제 4 버퍼에 각각 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐 및 복원 우측영상 B-픽쳐에서 각각 움직임을 예측하여 움직임의 보상을 수행하고, 네번째로 입력되는 제 3 프레임의 좌측영상 B-픽쳐 및 우측영상 B-픽쳐는 시간상으로 이전 프레임으로 각각 제 1 버퍼 및 제 2 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐 및 복원 우측영상 P-픽쳐와 시간상으로 뒤에 있는 프레임으로 제 3 버퍼 및 제 4 버퍼에 각각 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐 및 복원 우측영상 B-픽쳐에서 각각 움직임을 예측하여 움직임 보상을 수행하는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항에 있어서,상기 제 3 단계에서의 움직임 및 시차 예측은, 제 1 프레임 내지 제 4 프레임이 순차적으로 입력될 경우,첫번째로 입력되는 제 1 프레임의 좌측영상 I-픽쳐는 움직임 보상없이 부호화 및 복호화하고, 제 1 프레임의 복원 좌측영상 I-픽쳐를 제 1 버퍼에 저장하고, 제 1 프레임의 우측영상 P-픽쳐는 상기 제 1 프레임의 좌측영상으로 제 1 버퍼에 저장되어 있는 복원 좌측영상 I-픽쳐에서 시차를 예측하여 시차의 보상을 수행하여 부호화 및 복호화하고, 제 2 버퍼에 제 1 프레임의 복원 우측영상 P-픽쳐를 저장하며, 두번째로 입력되는 제 4 프레임의 좌측영상 P-픽쳐는 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐에서 움직임을 예측하여 움직임 보상을 수행하여 부호화 및 복호화하고, 제 3 버퍼에 제 4 프레임의 복원 좌측영상을 저장하고, 제 4 프레임의 우측영상 B-픽쳐는 동일 시간 축 상에 존재하는 좌측영상으로 제 3 버퍼에 기 저장된 제 4 프레임의 복원 좌측영상 P-픽쳐와 제 2 버퍼에 기 저장되어 있는 제 1 프레임의 복원 우측영상 P-픽쳐에서 각각 시차 및 움직임을 예측하여 시차 및 움직임 보상을 수행하여 제 4 버퍼에 제 4 프레임의 복원 우측영상을 저장하며, 세번째로 입력되는 제 2 프레임의 좌측영상 B-픽쳐는 시간상으로 이전 프레임으로 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐와 시간상으로 뒤에 있는 프레임으로 제 3 버퍼에 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐에서 움직임을 예측하여 움직임 보상을 수행하고, 제 5 버퍼에 제 2 프레임의 복원 좌측영상을 저장하고, 제 2 프레임의 우측영상 B-픽쳐는 바로 이전 프레임으로 제 2 버퍼 기 저장된 제 1 프레임의 복원 우측영상 P-픽쳐에서 움직임을 예측하여움직임 보상을 수행하고, 같은 시각축상의 좌측영상으로 제 5 버퍼에 기 저장된 제 2 프레임의 복원 좌측영상 P-픽쳐에서의 시차 예측에 의해 시차의 보상을 수행하고, 네번째로 입력되는 제 3 프레임의 좌측영상 B-픽쳐는 시간상으로 이전 프레임으로 제 1 버퍼 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐와 시간상으로 뒤에 있는 프레임으로 제 3 버퍼에 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐에서 움직임을 예측하여 움직임 보상을 수행하고, 제 2 프레임의 복원 좌측영상이 저장되어 있는 제 5 버퍼에 제 3 프레임의 복원 좌측영상을 저장하고, 제 3 프레임의 우측영상 B-픽쳐는 시간축상으로 앞에 있는 프레임으로 제 2 버퍼에 기 저장된 제 1 프레임의 복원 우측영상 B-픽쳐에서 움직임을 예측하여 움직임 보상을수행하고, 같은 시각축상의 프레임으로 제 5 버퍼에 저장되어 있는 제 3 프레임의 복원 좌측영상 B-픽쳐에서의 시차 예측에 의해 시차의 보상을 수행하여 부호화하는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항에 있어서,상기 제 3 단계에서의 움직임 및 시차 예측은, 제 1 프레임 내지 제 4 프레임이 순차적으로 입력될 경우,첫번째로 입력되는 제 1 프레임의 좌측영상 I-픽쳐는 움직임 보상없이 부호화 및 복호화하고, 제 1 프레임의 복원 좌측영상 I-픽쳐를 제 1 버퍼에 저장하고, 제 1 프레임의 우측영상 P-픽쳐는 상기 제 1 프레임의 좌측영상으로 제 1 버퍼에 저장되어 있는 복원 좌측영상 I-픽쳐에서 시차를 예측하여 시차의 보상을 수행하여 부호화 및 복호화하고, 제 2 버퍼에 제 1 프레임의 복원 우측영상 P-픽쳐를 저장하며, 두번째로 입력되는 제 4 프레임의 좌측영상 P-픽쳐는 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐에서 움직임을 예측하여 움직임 보상을 수행하여 부호화 및 복호화하고, 제 3 버퍼에 제 4 프레임의 복원 좌측영상을 저장하고, 제 4 프레임의 우측영상 B-픽쳐는 동일시간 축 상에 존재하는 좌측영상으로 제 3 버퍼에 기 저장된 제 4 프레임의 복원 좌측영상 P-픽쳐와 제 2 버퍼에 기 저장되어 있는 제 1 프레임의 복원 우측영상 P-픽쳐에서 각각 시차 및 움직임을 예측하여 시차 및 움직임 보상을 수행하여 제 4 버퍼에 제 4 프레임의 복원 우측영상을 저장하며, 세번째로 입력되는 제 2 프레임의 좌측영상 B-픽쳐는 시간상으로 이전 프레임으로 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐와 시간상으로 뒤에 있는 프레임으로 제 3 버퍼에 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐에서 움직임을 예측하여 움직임 보상을 수행하고, 제 5 버퍼에 제 2 프레임의 복원 좌측영상을 저장하고, 제 2 프레임의 우측영상 B-픽쳐는 바로 이전 프레임으로 제 2 버퍼에 기 저장된 제 1 프레임의 복원 우측영상 P-픽쳐에서 움직임을 예측하여 움직임 보상을 수행하고, 같은 시각축상의 좌측영상으로 제 5 버퍼에 기 저장된 제 2 프레임의 복원 좌측영상 P-픽쳐에서의 시차 예측에 의해 시차의 보상을 수행하고, 네번째로 입력되는 제 3 프레임의 좌측영상 B-픽쳐는 시간상으로 이전 프레임으로 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐와 시간상으로 뒤에 있는 프레임으로 제 3 버퍼에 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐에서 움직임을 예측하여 움직임의 보상을 수행하고, 제 2 프레임의 복원 좌측영상이 저장되어 있는 제 5 버퍼에 제 3 프레임의 복원 좌측영상을 저장하고, 제 3 프레임의 우측영상 B-픽쳐는 시간축상으로 뒤에 있는 프레임으로 제 4 버퍼에 기 저장된 제 4 프레임의 복원 우측영상 B-픽쳐에서 움직임의 예측에 의한 움직임 보상, 같은 시각축상의 프레임으로 제 5 버퍼에 저장되어 있는 제 3 프레임의 복원 좌측영상 B-픽쳐에서의 시차 예측에 의해 시차의 보상을 수행하여 부호화하는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,상기 프레임의 부호화 순서는,제 1 프레임의 좌측영상 I-픽쳐(LI), 제 1 프레임의 우측영상 P-픽쳐(RP), 제 4 프레임의 좌측영상 P-픽쳐(LP), 제 4 프레임의 우측영상 B-픽쳐(RB), 제 2 프레임의 좌측영상 B-픽쳐(LB), 제 2 프레임의 우측영상 B-픽쳐(RB), 제 3 프레임의 좌측영상 B-픽쳐(LB) 및 제 3 프레임의 우측영상 B-픽쳐(RB)의 순서로 재배열되는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항에 있어서,상기 제 3 단계에서의 움직임 및 시차 예측은, 제 1 프레임 내지 제 4 프레임이 순차적으로 입력될 경우,첫번째로 입력되는 제 1 프레임의 좌측영상 I-픽쳐는 움직임 보상없이 부호화 및 복호화되고, 제 1 프레임의 복원 좌측영상 I-픽쳐를 제 1 버퍼에 저장하고, 제 1 프레임의 우측영상 P-픽쳐는 제 1 프레임의 좌측영상으로 제 1 버퍼에 저장되어 있는 복원 좌측영상 I-픽쳐에서 시차를 예측하여 시차의 보상을 수행하여 부호화 및 복호화하고, 제 2 버퍼에 제 1 프레임의 복원 우측영상 P-픽쳐를 저장하고,두번째로 입력되는 제 2 프레임의 좌측영상 B-픽쳐는 상기 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐 및 제 2 버퍼에 기 저장된 제 1 프레임의 복원 우측영상 P-픽쳐에서 각각 움직임 및 시차를 예측하고 보상하여, 부호화및 복호화하고, 제 2 프레임의 복원 좌측영상 B-픽쳐를 제 3 버퍼에 저장하고, 제 2 프레임의 우측영상 B-픽쳐는 상기 제 2 버퍼에 저장된 제 1 프레임의 복원 우측영상 P-픽쳐와 동일 시간 축상의 프레임으로 제 3 버퍼에 저장되어 있는 제 2 프레임의 복원 좌측영상 B-픽쳐에서 움직임 및 시차를 예측하여 움직임 및 시차 보상을 수행하여 제 4 버퍼에 제 2 프레임의 복원 우측영상 B-픽쳐를 저장하고,세번째로 입력되는 제 3 프레임의 좌측영상 B-픽쳐는 제 3 버퍼에 기 저장된 제 2 프레임의 복원 좌측영상 B-픽쳐 및 제 4 버퍼에 기 저장된 제 2 프레임의 복원 우측영상 B-픽쳐에서 움직임 및 시차를 예측하고 보상하여, 부호화 및 복호화하고, 제 2 프레임의 복원 좌측영상이 저장되어 있는 제 3 버퍼에 제 3 프레임의 복원 좌측영상을 저장하고, 제 3 프레임의 우측영상 B-픽쳐는 제 4 버퍼에 저장된 제 2 프레임의 복원 우측영상 B-픽쳐와 동일 시간축 상에 존재하는 프레임으로 제 3 버퍼에 저장되어 있는 제 3 프레임의 좌측영상 B-픽쳐에서 움직임 및 시차를 예측하여 움직임 및 시차의 보상을 수행하고,네번째로 입력되는 제 4 프레임의 좌측영상 P-픽쳐는 상기 제 1 버퍼에 저장되어 있는 제 1 프레임의 복원 좌측영상 I-픽쳐에서 움직임을 예측하여 움직임의 보상을 수행하여 부호화 및 복호화하고, 제 3 프레임의 복원 좌측영상이 저장되어 있는 제 3 버퍼에 제 4 프레임의 복원 좌측영상을 저장하고, 제 4 프레임의 우측영상 B-픽쳐는 상기 제 2 버퍼에 저장되어 있는 제 1 프레임의 복원 우측영상 P-픽쳐와 제 3 버퍼에 기 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐에서 각각 움직임 및 시차를 예측하여 움직임 및 시차의 보상을 수행하여 부호화하는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 1 항에 있어서,상기 제 3 단계에서의 움직임 및 시차 예측은, 제 1 프레임 내지 제 4 프레임이 순차적으로 입력될 경우,첫번째로 입력되는 제 1 프레임의 좌측영상 I-픽쳐는 움직임 보상없이 부호화 및 복호화되고, 제 1 프레임의 복원 좌측영상 I-픽쳐를 제 1 버퍼에 저장하고, 제 1 프레임의 우측영상 P-픽쳐는 제 1 프레임의 좌측영상으로 제 1 버퍼에 저장되어 있는 복원 좌측영상 I-픽쳐에서 시차를 예측하여 시차의 보상을 수행하여 부호화 및 복호화하고, 제 2 버퍼에 제 1 프레임의 복원 우측영상 P-픽쳐를 저장하고,두번째로 입력되는 제 2 프레임의 좌측영상 B-픽쳐는 상기 제 1 버퍼에 기 저장된 제 1 프레임의 복원 좌측영상 I-픽쳐 및 제 2 버퍼에 기 저장된 제 1 프레임의 복원 우측영상 P-픽쳐에서 각각 움직임 및 시차를 예측하고 보상하여, 부호화 및 복호화하고, 제 1 프렘임의 복원 좌측영상 I-픽쳐가 기 저장되어 있는 제 1 버퍼에 제 2 프레임의 복원 좌측영상 B-픽쳐를 저장하고, 제 2 프레임의 우측영상 B-픽쳐는 상기 제 2 버퍼에 저장된 제 1 프레임의 복원 우측영상 P-픽쳐와 동일 시간 축상의 프레임으로 제 1 버퍼에 저장되어 있는 제 2 프레임의 복원 좌측영상 B-픽쳐에서 움직임 및 시차를 예측하여 움직임 및 시차 보상을 수행하여, 제 1 프레임의 복원 우측영상 P-픽쳐가 기 저장되어 있는 제 2 버퍼에 제 2 프레임의 복원 우측영상 B-픽쳐를 저장하고,세번째로 입력되는 제 3 프레임의 좌측영상 B-픽쳐는 제 1 버퍼에 기 저장된 제 2 프레임의 복원 좌측영상 B-픽쳐 및 제 2 버퍼에 기 저장된 제 2 프레임의 복원 우측영상 B-픽쳐에서 움직임 및 시차를 예측하고 보상하여, 부호화 및 복호화하고, 제 2 프레임의 복원 좌측영상이 저장되어 있는 제 1 버퍼에 제 3 프레임의 복원 좌측영상을 저장하고, 제 3 프레임의 우측영상 B-픽쳐는 제 2 버퍼에 저장된 제 2 프레임의 복원 우측영상 B-픽쳐와 동일 시간축 상에 존재하는 프레임으로 제 1 버퍼에 저장되어 있는 제 3 프레임의 좌측영상 B-픽쳐에서 움직임 및 시차를 예측하여 움직임 및 시차의 보상을 수행하고, 제 2 프레임의 복원 우측영상 B-픽쳐가 기 저장되어 있는 제 2 버퍼에 제 3 프레임의 복원 우측영상 B-픽쳐를 저장하고,네번째로 입력되는 제 4 프레임의 좌측영상 B-픽쳐는 상기 제 1 버퍼에 저장되어 있는 제 3 프레임의 복원 좌측영상 B-픽쳐와 제 2 버퍼에 저장되어 있는 제 3 프레임의 복원 우측영상 B-픽쳐에서 움직임 및 시차를 예측하여 움직임 및 시차 보상을 수행하여 부호화 및 복호화하고, 제 3 프레임의 복원 좌측영상이 저장되어 있는 제 1 버퍼에 제 4 프레임의 복원 좌측영상을 저장하고, 제 4 프레임의 우측영상 B-픽쳐는 상기 제 2 버퍼에 저장되어 있는 제 3 프레임의 복원 우측영상 P-픽쳐와 제 1 버퍼에 기 저장되어 있는 제 4 프레임의 복원 좌측영상 P-픽쳐에서 각각 움직임 및 시차를 예측하여 움직임 및 시차의 보상을 수행하여 부호화하는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 제 10 항 또는 제 11 항에 있어서,상기 각 프레임의 부호화는,제 1 프레임의 좌측영상 I-픽쳐, 제 1 프레임의 우측영상 P-픽쳐, 제 2 프레임의 좌측영상 B-픽쳐, 제 2 프레임 우측영상 B-픽쳐, 제 3 프레임의 좌측영상 B-픽쳐, 제 3 프레임 우측영상 B-픽쳐, 제 4 프레임의 좌측영상 B-픽쳐 및 제 4 프레임의 우측영상 B-픽쳐의 순서로 수행되는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 방법.
- 움직임 및 시차 보상을 갖는 입체영상의 복호화 장치에 적용되는 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법에 있어서,부호화된 단일 프레임의 좌우 영상에서 좌측영상을 기 저장된 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 좌측영상을 복호화하고, 기준영상을 갱신하여 저장하는 제 1 단계;상기 부호화된 단일 프레임의 좌우 영상에서 우측영상을 기 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차를 보상하거나 기 저장된 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 우측영상을 복호화하고, 기준 우측영상을 갱신하여 저장하는 제 2 단계; 및상기 복호화된 단일 프레임의 좌우 영상을 보간에 의해 좌측영상 및 우측영상이 각각의 프레임으로 구성되는 입체영상을 갖도록 복원하는 제 3 단계를 포함하는 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법.
- 제 13 항에 있어서,상기 제 1 단계는,비트 스트림으로 입력되어지는 좌측영상 신호를 가변길이 복호화하고, 상기 복호화된 좌측영상 신호를 기 저장된 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 수행하는 제 4 단계;가변길이 복호화된 좌측영상 신호를 역양자화 및 역DCT하여 상기 4 단계에서 움직임 보상된 신호를 합하여 좌측영상을 복원하는 제 5 단계; 및상기 복원된 좌측영상을 갱신하여 예측 및 보상을 위한 기준 좌측영상으로 저장하는 제 6 단계를 포함하는 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법.
- 제 13 항에 있어서,상기 제 2 단계는,비트 스트림으로 입력되는 양자화 및 DCT된 우측영상 신호를 기 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차 보상을 수행하고 기 저장된 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 수행하는 제 4 단계;상기 비트 스트림으로 입력되는 양자화 및 DCT된 우측영상 신호를 역양자화 및 역DCT된 신호로 변환하여 상기 4 단계에서 시차 또는 움직임 보상된 신호를 합하여 우측영상을 복원하는 제 5 단계; 및상기 복원된 우측영상을 갱신하여 예측 및 보상을 위한 기준 우측영상으로 저장하는 제 6 단계를 포함하는 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법.
- 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,상기 갱신된 좌측영상은,다음 시간에 입력되는 좌측영상의 복호화에서 움직임 보상을 위한 기준영상 및 우측영상의 복호화에서 시차 보상을 위한 기준영상으로 이용되는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 복호화 방법.
- 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,상기 갱신된 우측영상은,다음 시간에 입력되는 우측영상의 복호화에서 움직임 보상을 위한 기준영상으로 이용되는 것을 특징으로 하는 움직임 및 시차 보상을 갖는 입체영상의 복호화방법.
- 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치에 있어서,좌측영상의 프레임 및 우측영상의 프레임으로 구성되는 입체영상을 단일 프레임내에 좌측영상 및 우측영상이 포함되도록 축소 전환하기 위한 제1 수단;상기 제1 수단에 전환된 단일 프레임의 좌우 영상 중 좌측영상을 기 저장된 기준영상을 토대로 움직임 보상 및 DCT에 의하여 부호화하고, 기준영상을 갱신하여 저장하기 위한 제 2 수단; 및상기 제 2 수단의 동일 프레임의 좌우 영상 중 우측영상을 기 저장된 기준영상을 토대로 움직임 예측에 의한 움직임 보상, 시차 예측에 의한 시차 보상 및 DCT 부호화하고, 기준영상을 갱신하여 저장하기 위한 제 3 수단을 포함하는 움직임 및 시차 보상을 갖는 입체영상의 부호화 장치.
- 움직임 및 시차 보상을 갖는 입체영상의 복호화 장치에 있어서,부호화된 단일 프레임의 좌우 영상에서 좌측영상을 기 저장된 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 좌측영상을 복호화하고, 기준영상을 갱신하여 저장하기 위한 제 1 수단;상기 부호화된 단일 프레임의 좌우 영상에서 우측영상을 기 저장되어 있는복원 좌측영상 신호를 기준영상으로 하여 시차를 보상하거나 기 저장된 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 우측영상을 복호화하고, 기준 우측영상을 갱신하여 저장하기 위한 제 2 수단; 및상기 복호화된 단일 프레임의 좌우 영상을 보간에 의해 좌측영상 및 우측영상이 각각의 프레임으로 구성되는 입체영상을 갖도록 복원하기 위한 제 3 수단을 포함하는 움직임 및 시차 보상을 갖는 입체영상의 복호화 장치.
- 움직임 및 시차 보상을 갖는 입체영상을 부호화하기 위하여, 프로세서를 구비한 부호화 장치에,좌측영상의 프레임 및 우측영상의 프레임으로 구성되는 입체영상을 축소하여 단일 프레임내에 좌측영상 및 우측영상이 포함되도록 축소 전환하는 제 1 기능;상기 전환된 단일 프레임의 좌우 영상 중 좌측영상을 기 저장된 기준영상을 토대로 움직임 보상 및 DCT에 의하여 부호화하고, 기준영상을 갱신하여 저장하는 제 2 기능; 및상기 동일 프레임의 좌우 영상 중 우측영상을 기 저장된 기준영상을 토대로움직임 예측에 의한 움직임 보상, 시차 예측에 의한 시차 보상 및 DCT 부호화하고, 기준영상을 갱신하여 저장하는 제 3 기능을 위한 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 움직임 및 시차 보상을 갖는 입체영상을 복호화하기 위하여, 프로세서를 구비한 복호화 장치에,부호화된 단일 프레임의 좌우 영상에서 좌측영상을 기 저장된 복원 좌측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 좌측영상을 복호화하고, 기준영상을 갱신하여 저장하는 제 1 기능;상기 부호화된 단일 프레임의 좌우 영상에서 우측영상을 기 저장되어 있는 복원 좌측영상 신호를 기준영상으로 하여 시차를 보상하거나 기 저장된 복원 우측영상 신호를 기준영상으로 하여 움직임 보상을 수행하여 우측영상을 복호화하고, 기준 우측영상을 갱신하여 저장하는 제 2 기능; 및상기 복호화된 단일 프레임의 좌우 영상을 보간에 의해 좌측영상 및 우측영상이 각각의 프레임으로 구성되는 입체영상을 갖도록 복원하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020010037110A KR20030001758A (ko) | 2001-06-27 | 2001-06-27 | 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020010037110A KR20030001758A (ko) | 2001-06-27 | 2001-06-27 | 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20030001758A true KR20030001758A (ko) | 2003-01-08 |
Family
ID=27711527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020010037110A KR20030001758A (ko) | 2001-06-27 | 2001-06-27 | 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20030001758A (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100704664B1 (ko) * | 2005-06-07 | 2007-04-09 | 삼성전자주식회사 | 프레임송출장치 및 프레임수신장치 |
| KR200449658Y1 (ko) * | 2008-02-26 | 2010-07-28 | 정문희 | 공간활용성을 향상시킨 씽크대의 배수구 장치 |
| WO2010117109A1 (ko) * | 2009-04-10 | 2010-10-14 | (주)엘지전자 | 3d 영상신호에 적합한 유저 인터페이스를 제공하는 입체영상 재생장치 및 방법 |
| US8208716B2 (en) | 2007-09-03 | 2012-06-26 | Electronics And Telecommunications Research Institute | Stereo vision system and stereo vision processing method |
| KR101350676B1 (ko) * | 2006-01-09 | 2014-01-14 | 톰슨 라이센싱 | 멀티 뷰 비디오 코딩을 위한 방법 및 장치 |
| KR101433082B1 (ko) * | 2013-08-02 | 2014-08-25 | 주식회사 고글텍 | 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법 |
| WO2018115841A1 (en) * | 2016-12-23 | 2018-06-28 | Sony Interactive Entertainment Inc. | Image data encoding and decoding |
-
2001
- 2001-06-27 KR KR1020010037110A patent/KR20030001758A/ko not_active Application Discontinuation
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100704664B1 (ko) * | 2005-06-07 | 2007-04-09 | 삼성전자주식회사 | 프레임송출장치 및 프레임수신장치 |
| US9525888B2 (en) | 2006-01-09 | 2016-12-20 | Thomson Licensing | Methods and apparatus for multi-view video coding |
| KR101350676B1 (ko) * | 2006-01-09 | 2014-01-14 | 톰슨 라이센싱 | 멀티 뷰 비디오 코딩을 위한 방법 및 장치 |
| US8842729B2 (en) | 2006-01-09 | 2014-09-23 | Thomson Licensing | Methods and apparatuses for multi-view video coding |
| US9143782B2 (en) | 2006-01-09 | 2015-09-22 | Thomson Licensing | Methods and apparatus for multi-view video coding |
| US9521429B2 (en) | 2006-01-09 | 2016-12-13 | Thomson Licensing | Methods and apparatus for multi-view video coding |
| US10194171B2 (en) | 2006-01-09 | 2019-01-29 | Thomson Licensing | Methods and apparatuses for multi-view video coding |
| US8208716B2 (en) | 2007-09-03 | 2012-06-26 | Electronics And Telecommunications Research Institute | Stereo vision system and stereo vision processing method |
| KR200449658Y1 (ko) * | 2008-02-26 | 2010-07-28 | 정문희 | 공간활용성을 향상시킨 씽크대의 배수구 장치 |
| WO2010117109A1 (ko) * | 2009-04-10 | 2010-10-14 | (주)엘지전자 | 3d 영상신호에 적합한 유저 인터페이스를 제공하는 입체영상 재생장치 및 방법 |
| KR101433082B1 (ko) * | 2013-08-02 | 2014-08-25 | 주식회사 고글텍 | 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법 |
| WO2018115841A1 (en) * | 2016-12-23 | 2018-06-28 | Sony Interactive Entertainment Inc. | Image data encoding and decoding |
| GB2558277A (en) * | 2016-12-23 | 2018-07-11 | Sony Interactive Entertainment Inc | Image data encoding and decoding |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100751422B1 (ko) | 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치 | |
| KR101450670B1 (ko) | 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치 | |
| KR100760258B1 (ko) | 범용적 다시점 동영상 부호화/복호화 장치 및 방법 | |
| KR100789753B1 (ko) | 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법 | |
| US8774282B2 (en) | Illumination compensation method and apparatus and video encoding and decoding method and apparatus using the illumination compensation method | |
| KR100716992B1 (ko) | 스테레오 영상 부호화 및 복호화 방법과 그 장치 | |
| KR100738867B1 (ko) | 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법 | |
| US20070104276A1 (en) | Method and apparatus for encoding multiview video | |
| US20070064800A1 (en) | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method | |
| EP1927249B1 (en) | Apparatus and method for encoding and decoding multi-view video | |
| JP2007180981A (ja) | 画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
| JP2004519167A (ja) | 動き情報の符号化及び復号化方法 | |
| EP1927250A1 (en) | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method | |
| US9615078B2 (en) | Multi-view video encoding/decoding apparatus and method | |
| KR20120095611A (ko) | 다시점 비디오 부호화/복호화 방법 및 장치 | |
| JP2007180982A (ja) | 画像復号装置、画像復号方法、及び画像復号プログラム | |
| Yan et al. | Stereo video coding based on frame estimation and interpolation | |
| Yang et al. | An MPEG-4-compatible stereoscopic/multiview video coding scheme | |
| KR101423655B1 (ko) | 필드 픽쳐 부호화/복호화 장치 및 그 방법 | |
| JPH10191393A (ja) | 多視点画像符号化装置 | |
| KR100587952B1 (ko) | 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법 | |
| KR20030001758A (ko) | 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법 | |
| JPH04127689A (ja) | 動画像予測符号化方式 | |
| KR20070075354A (ko) | 비디오 신호의 디코딩/인코딩 방법 및 장치 | |
| Jung et al. | Efficient stereo video coding based on frame skipping for real-time mobile applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |