KR20040065014A - 다시점 영상의 압축/복원장치 및 방법 - Google Patents

다시점 영상의 압축/복원장치 및 방법 Download PDF

Info

Publication number
KR20040065014A
KR20040065014A KR1020030002116A KR20030002116A KR20040065014A KR 20040065014 A KR20040065014 A KR 20040065014A KR 1020030002116 A KR1020030002116 A KR 1020030002116A KR 20030002116 A KR20030002116 A KR 20030002116A KR 20040065014 A KR20040065014 A KR 20040065014A
Authority
KR
South Korea
Prior art keywords
image
motion
encoder
reconstructed
unit
Prior art date
Application number
KR1020030002116A
Other languages
English (en)
Other versions
KR100523930B1 (ko
Inventor
김제우
정혁구
최병호
김태완
오종대
최영식
박래홍
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR10-2003-0002116A priority Critical patent/KR100523930B1/ko
Publication of KR20040065014A publication Critical patent/KR20040065014A/ko
Application granted granted Critical
Publication of KR100523930B1 publication Critical patent/KR100523930B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다시점 영상을 보다 좋은 화질을 유지하면서 최소의 데이터 양으로 전송할 수 있도록 압축 및 복원한다.
다시점 영상의 압축은, 중앙영상 엔코더가 입력되는 중앙영상의 움직임을 추정 및 보상하면서 엔코딩하여 중앙영상 데이터 스트림을 생성함과 아울러 복원 중앙영상을 생성하고, 좌측영상 엔코더 및 우측영상 엔코더가, 각기 좌측영상과 우측영상의 움직임을 추정 및 보상함과 아울러 상기 복원 중앙영상을 기준영상으로 참조하여 변이추정 및 변이보상을 수행하면서 엔코딩하며, 다시점 영상의 복원은, 중앙영상 디코더가, 중앙영상의 데이터 스트림을 디코딩하고 움직임을 보상하여 중앙영상을 복원하고, 좌측영상 디코더 및 우측영상 디코더는 좌측영상과 우측영상을 각기 디코딩하고 디코딩한 데이터와 상기 중앙영상 디코더가 복원한 중앙영상을 기준영상으로 움직임 및 변이를 보상하여 복원한다.

Description

다시점 영상의 압축/복원장치 및 방법{Apparatus and method for compressing/decompressing multi-viewpoint image}
본 발명은 서로 다른 시점(viewpoint)을 가지는 복수의 카메라가 각기 촬영한 다시점(multi-viewpoint)의 영상들을 보다 좋은 화질을 유지하면서 최소의 데이터 양(bit rate)을 갖도록 압축 및 복원하는 다시점 영상의 압축/복원장치 및 방법에 관한 것으로 특히 3시점의 영상을 압축 및 복원하는 다시점 영상의 압축/복원장치 및 방법에 관한 것이다.
ISO/IEC13818 MPEG(Moving Pictures Expert Group)-2의 다시점 프로파일로 널리 알려져 있는 미국 특허 제5,612,735호 및 제5,619,256호의 입체영상 시스템은 두 시점의 영상 즉, 좌측 시점의 영상(이하, '좌측영상'이라고 약칭함)과 우측 시점의 영상(이하, '우측영상'이라고 약칭함)을 이용하여 3차원 영상을 구현하는 것이다.
상기 입체영상 시스템에 따르면, 좌측영상 및 우측영상들 중에서 하나의 영상 예를 들면, 좌측영상을 기준영상으로 설정하고, 그 기준영상으로 설정한 좌측영상에 대하여, 입체 엔코더 모듈이 움직임추정(Moving Estimator ; ME), 움직임보상(Moving Compensator : MC), DCT(Discrete Cosine Transform), IDCT(Inverse DCT), 양자화(Quantization), 역양자화(Dequantization), VLC(Variable Length Coder), VLD(Variable Length Decoder) 등의 기능을 수행하는 블록을 통해 일반적인 방식의 MPEG-2 영상 압축을 수행한다.
그리고 다른 시점의 영상인 우측영상에 대해서는 입체 엔코더 모듈이 움직임추정 및 움직임보상을 수행함과 아울러 상기 좌측영상을 참조하여 변이추정(Disparity Estimation : ME) 및 변이보상(Disparity Compensation : MC)을 수행하여 압축한다. 즉, 좌측영상을 기준영상으로 변이 추정을 수행하여 변이벡터를 얻고, 그 변이벡터와, 이전 또는 이후의 동일한 우측영상을 기준으로 움직임추정을 수행하여 움직임 벡터를 얻으며, 그 변이벡터와 움직임 벡터의 결과 중에서 더 나은 결과를 이용하여 압축을 수행한다.
상기 입체 엔코더 모듈이 좌측영상 및 우측영상을 압축하여 생성한 데이터 스트림들은 MPEG-2의 TS(Temporal Scalability)를 기반으로 하여 입체 디코더 모듈로 전송해야 되므로 베이스 층(base layer)과 인핸스먼트 층(enhancement layer)으로 나누어, 베이스 층으로는 좌측영상을 압축한 데이터 스트림을 전송하고, 인핸스먼트 층으로는 우측영상을 압축한 데이터 스트림을 전송한다.
여기서, 인핸스먼트 층으로 전송하는 데이터 스트림은 베이스 층의 데이터 스트림을 참조하여 복원해야 되는 것으로서 베이스 층의 데이터 스트림이 없을 경우에 인핸스먼트 층으로 전송하는 데이터 스트림은 복원할 수 없다.
이러한 종래의 기술을 도 1의 도면을 참조하여 상세히 설명한다.
도 1은 미국 특허 제5,612,735호 및 제5,619,256호에 기재되어 있는 종래의 다시점 영상의 압축/복원장치의 구성을 보인 블록도이다. 이에 도시된 바와 같이 종래의 다시점 영상의 압축/복원장치는, 좌측영상 및 우측영상을 압축하는 입체 엔코더 모듈(100)과, 상기 입체 엔코더 모듈(100)에서 압축된 좌측영상 및 우측영상의 데이터 스트림을 전송 케이블이나 무선 등을 통해 전송 받아 복원하는 입체 디코더 모듈(200)로 이루어진다.
상기 입체 엔코더 모듈(100)은, MPEG-2의 베이스 층으로 구성된 좌측영상 움직임보상 DCT 엔코더(110)와, 움직임 및 변이보상 DCT 엔코더 블록(120)과, 시스템 멀티플렉서(130)를 구비하고, 상기 움직임 및 변이보상 DCT 엔코더 블록(120)은,변이 추정기(121)와, 변이 보상기(123)와, MPEG-2의 베이스 층으로 구성된 우측영상 움직임보상 DCT 엔코더(125)를 포함한다.
그리고 상기 입체 디코더 모듈(200)은, 시스템 디멀티플렉서(210)와, MPEG-2의 베이스 층으로 구성된 좌측영상 움직임보상 DCT 디코더(220)와, 움직임 및 변이보상 DCT 디코더 블록(230)을 구비하고, 상기 움직임 및 변이보상 DCT 디코더 블록(230)은, MPEG-2의 베이스 층으로 구성된 우측영상 움직임보상 DCT 디코더(231)와, 변이 보상기(233)를 포함한다.
이러한 구성을 가지는 종래의 다시점 영상의 압축/복원장치는 좌측영상을 기준영상으로 설정하여 압축 및 복원을 수행하는 것으로서 그 기준영상인 좌측영상을 입체 엔코더 모듈(100)의 좌측영상 움직임보상 DCT 엔코더(110)가 MPEG-2 표준알고리즘에 따라 엔코딩하고, 엔코딩한 데이터 스트림을 시스템 멀티플렉서(140)로 출력함과 아울러 다음 영상 및 우측영상의 엔코딩을 위하여 복원 좌측영상을 생성하며, 생성한 복원 좌측영상을 내장되어 있는 메모리에 저장한 후 움직임 및 변이보상 DCT 엔코더 블록(120)의 변이 추정기(121)와 변이 보상기(123)로 출력한다.
그리고 우측영상은 움직임 및 변이보상 DCT 엔코더 블록(120)의 변이 추정기(121) 및 우측영상 움직임보상 DCT 엔코더(125)로 입력되는 것으로 변이 추정기(121)는 우측영상과 상기 좌측영상 움직임보상 DCT 엔코더(110)로부터 입력되는 복원 좌측영상을 비교하여 변이 벡터(Disparity vector)를 구하고, 그 구한 변이벡터는 변이 보상기(123) 및 우측영상 움직임보상 DCT 엔코더(125)로 전달된다.
상기 변이 보상기(123)는 상기 변이 추정부(121)로부터 전달받은 변이벡터와상기 좌측영상 움직임보상 DCT 엔코더(110)로부터 입력되는 복원 좌측영상을 이용하여 다음의 우측영상에 대한 보상영상을 생성하고, 생성한 보상영상을 우측영상 움직임보상 DCT 엔코더(125)로 전달한다.
상기 우측영상 움직임보상 DCT 엔코더(125)는 상기 변이 추정기(121)로부터 전달받은 변이벡터를 MPEG-2 표준의 움직임 벡터와 동일하게 엔코딩한다. 또한 상기 우측영상 움직임 보상 DCT 엔코더(125)는 상기 변이 보상기(123)에서 생성된 보상영상과 우측 원영상과의 차영상을 구하고, DCT를 이용한 MPEG-2 엔코딩 알고리즘을 통해 엔코딩하며, 엔코딩한 데이터 스트림은 시스템 멀티플렉서(130)로 출력한다.
상기 시스템 멀티플렉서(130)는 MPEG-2 시스템의 규격을 따르는 것으로서 상기 좌측영상 움직임 보상 DCT 엔코더(110) 및 우측영상 움직임 보상 DCT 엔코더(125)로부터 각기 입력되는 엔코딩된 좌측영상 및 우측영상의 데이터 스트림들을 다중화하고, 소정의 전송매체 등을 통해 입체 디코더 모듈(200)의 시스템 디멀티플렉서(210)로 전송한다.
상기 입체 디코더 모듈(200)의 시스템 디멀티플렉서(210)는 상기 시스템 멀티플렉서(130)로부터 전송 받은 다중화된 데이터 스트림을 역 다중화하여 좌측영상의 데이터 스트림과 우측영상의 데이터 스트림으로 복원하고, 복원한 좌측영상 데이터 스트림과 우측영상 데이터 스트림은 좌측영상 움직임보상 DCT 디코더(220)와, 움직임 및 변이보상 DCT 디코더 블록(230)의 우측영상 움직임보상 DCT 디코더(230)로 각기 입력된다.
그러면, 좌측영상 움직임보상 DCT 디코더(220)는 상기 입력받은 좌측영상 데이터 스트림을 MPEG-2 표준을 만족하는 알고리즘을 통해 디코딩하여 좌측영상을 복원하고, 복원한 좌측영상을 외부로 출력함과 아울러 변이 보상기(233)에 입력시킨다.
그리고 움직임 및 변이보상 DCT 디코더 블록(230)의 우측영상 움직임보상 DCT 디코더(231)는 상기 시스템 디멀티플렉서(210)로부터 입력받은 우측영상의 데이터 스트림을 디코딩하여 변이 벡터를 획득함과 아울러 변이 보상기(233)에서 후술하는 바와 같이 생성하는 좌측영상을 참조로 한 보상영상과 원영상의 차영상을 획득한다.
상기 우측영상 움직임보상 DCT 디코더(231)가 획득한 변이벡터는 변이 보상기(233)로 입력되는 것으로 변이 보상기(233)는 변이벡터와, 상기 좌측영상 움직임보상 DCT 디코더(220)에서 이전에 복원된 좌측영상을 참조하여 보상영상을 생성하고, 생성한 보상영상은 우측영상 움직임보상 DCT 디코더(231)로 입력되며, 우측영상 움직임보상 DCT 디코더(231)는 상기 변이 보상기(233)로부터 입력되는 보상영상에 상기 획득한 차영상을 합성하여 우측영상을 복원하게 된다.
그러나 상기한 종래의 기술은 좌측영상 및 우측영상의 두 영상에만 적용이 가능한 2시점 영상의 압축/복원 시스템으로서 다시점으로 압축/복원할 영상의 수가 많아질 경우에 상기한 종래의 2시점 영상의 압축/복원 시스템은 추가로 대응할 수밖에 없고, 이는 각 시점간의 데이터 중복이 발생하여 데이터 양의 낭비를 초래하게 된다.
또한 MPEG-2 표준을 그대로 사용하여 움직임추정의 결과와 변이추정의 결과 중에서 더 좋은 하나의 결과만을 코딩하므로 움직임추정과 변이추정을 동시에 이용하는 압축/복원 시스템보다 효율이 낮은 문제점이 있었다.
그러므로 본 발명의 목적은 최소 3시점의 영상을 압축 및 복원하고, 그 3시점 영상의 압축 및 복원을 기본 구조로 하여 6시점 및 9시점 등의 3의 배수 시점으로 확장할 수 있는 다시점 영상의 압축/복원장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 움직임 추정과 변이 추정을 동시에 이용하여 다시점의 영상을 압축 및 복원하는 다시점 영상의 압축/복원장치 및 방법을 제공하는데 있다.
이러한 목적을 가지는 본 발명의 다시점 영상의 압축/복원장치 및 방법의 장점은 3의 배수 시점으로 확장이 가능한 확장성에 있다. 상기한 종래의 압축/복원장치를 확장할 경우에 기준 영상을 중심으로 좌측영상 또는 우측영상을 변이추정 및 변이보상 등을 이용하여 압축한다. 예를 들면, 12시점의 영상을 기존의 양안 시스템을 이용하여 압축한다면, 6개의 MPEG 베이스 층 코딩과 6개의 MPEG 인핸스먼트 층 코딩이 되고, 상기 베이스 층 코딩의 데이터 양보다 인핸스먼트 층 코딩의 데이터 양이 적다. 본 발명에서 기본이 되는 3시점 영상 압축장치는 12시점의 영상에 대하여 4개의 MPEG 베이스층 코딩을 수행하고, 8개의 MPEG 인핸스먼트 층 코딩과 비슷하지만 성능이 더 우수한 코딩을 수행함으로써 보다 높은 화질과 보다 적은 데이터 량을 갖게 된다.
이를 위하여 본 발명의 다시점 영상 압축장치는, 중앙영상 엔코더가, 입력되는 중앙영상의 움직임을 추정하고 움직임을 보상하면서 그 중앙영상을 엔코딩하여 중앙영상 데이터 스트림을 생성함과 아울러 중앙영상을 복원한 복원 중앙영상을 기준영상으로 제공하며, 좌측영상 엔코더가, 입력되는 좌측영상의 움직임을 추정하고 움직임을 보상함과 아울러 상기 중앙영상 엔코더가 제공하는 복원 중앙영상을 기준영상으로 참조하여 변이 추정 및 변이 보상을 수행하면서 좌측영상을 엔코딩하여 좌측영상 데이터 스트림을 생성하며, 우측영상 엔코더가, 입력되는 우측영상의 움직임을 추정하고 움직임을 보상함과 아울러 상기 중앙영상 엔코더가 생성한 복원 중앙영상을 기준영상으로 참조하여 변이 추정 및 변이 보상을 수행하면서 우측영상을 엔코딩하여 우측영상 데이터 스트림을 생성하는 것을 특징으로 한다.
상기 중앙영상 엔코더는, 감산기가 입력되는 중앙영상에 움직임 보상 값을 감산하여 차영상을 생성하고, 생성한 차영상을 DCT부가 DCT하고, 양자화부가 비트율 제어신호에 따라 양자화 계수를 변경하면서 양자화하며, VLC부가 미리 저장된 VLC 테이블에 따라 VLC한 후 버퍼를 통해 외부로 출력하고, 그 버퍼에 저장된 중앙영상의 데이터 스트림에 따라 비트율 제어부가 목표 비트율에 맞도록 비트율 제어신호를 발생하여 상기 양자화부의 양자화 계수를 적응적으로 변경하고, 상기 중앙영상과 상기 양자화부의 출력신호로 움직임 보상블록이 중앙영상의 움직임 추정 및 움직임 보상을 수행하여 상기 감산기에 움직임 보상 값을 제공함과 아울러 복원 중앙영상을 상기 좌측영상 엔코더 및 우측영상 엔코더에 기준영상으로 제공하는 것을 특징으로 한다.
상기 움직임 보상블록은, 상기 양자화부의 출력신호를 역양자화부가 역양자화하고, IDCT부가 IDCT하며, 가산기가 상기 IDCT부의 출력신호에 움직임 보상 값을 가산하여 복원 중앙영상을 생성하며, 생성한 생성한 복원 중앙영상을 프레임 메모리가 저장하고 상기 좌측영상 엔코더 및 우측영상 엔코더에 기준영상으로 제공하며, 프레임 메모리에 저장된 복원 중앙영상을 참조하여 움직임 추정부가 중앙영상의 움직임을 추정하고, 상기 프레임 메모리에 저장된 복원 중앙영상을 기준으로 상기 움직임 추정부에서 추정한 움직임 추정 값에 따른 움직임 보상 값을 움직임 보상부가 생성하고 그 생성한 움직임 보상 값을 상기 감산기 및 가산기에 제공하는 것을 특징으로 한다.
상기 좌측영상 엔코더 및 우측영상 엔코더는, 감산기가 좌측영상 또는 우측영상에 움직임 및 변이 보상 값을 감산하여 차영상을 생성하고, 생성한 차영상을 DCT부가 DCT하고, 양자화부가 비트율 제어신호에 따라 양자화 계수를 변경하면서 양자화하며, VLC부가 미리 저장된 VLC 테이블에 따라 VLC한 후 버퍼를 통해 외부로 출력하며, 상기 버퍼에 저장된 좌측영상 또는 우측영상의 데이터 스트림에 따라 비트율 제어부가 목표 비트율에 맞도록 비트율 제어신호를 발생하여 상기 양자화부의 양자화 계수를 적응적으로 변경하고, 상기 좌측영상 또는 우측영상과 상기 양자화부의 출력신호 및 상기 중앙영상 엔코더의 복원 중앙영상으로 움직임/변이 보상블록이 움직임 추정 및 움직임 보상과 변이 추정 및 변이 보상을 수행하여 상기 감산기에 움직임 및 변이 보상 값을 제공하는 것을 특징으로 한다.
상기 움직임/변이 보상블록은, 상기 양자화부의 출력신호를 역양자화부가 역양자화하고, IDCT부가 IDCT하며, 가산기가 움직임/변이 보상 값을 가산하여 생성하며, 생성한 복원 좌측영상 또는 복원 우측영상을 프레임 메모리가 저장하며, 상기 프레임 메모리에 저장된 좌측 또는 우측 복원영상과 상기 중앙영상 엔코더의 복원 중앙영상으로 움직임/변이 추정부가 좌측영상 또는 우측영상의 움직임 및 변이를 추정하며, 상기 프레임 메모리에 저장된 좌측 또는 우측 복원영상 및 상기 중앙영상 엔코더의 복원 중앙영상을 기준으로 움직임 보상부가 상기 움직임 추정부에서 추정한 움직임/변이 추정 값에 따른 움직임 및 보상 값을 생성하고 그 생성한 움직임 및 변이 보상 값을 상기 감산기 및 가산기에 제공하는 것을 특징으로 한다.
그리고 본 발명의 다시점 영상 복원장치는, 중앙영상 디코더가 입력되는 중앙영상의 데이터 스트림을 디코딩하고 움직임을 보상하여 복원 중앙영상을 생성하고, 좌측영상 디코더가 입력되는 좌측영상을 각기 디코딩하고 그 디코딩한 데이터와 상기 중앙영상 디코더가 제공하는 복원 중앙영상을 기준영상으로 움직임 및 변이를 보상하여 복원 좌측영상을 생성하며, 우측영상 디코더가 입력되는 우측영상을 각기 디코딩하고 그 디코딩한 데이터와 상기 중앙영상 디코더가 제공하는 복원 중앙영상을 기준영상으로 움직임 및 변이를 보상하여 복원 우측영상을 생성하는 것을 특징으로 한다.
상기 중앙영상 디코더는, 압축된 중앙영상의 데이터 스트림을 VLD부가 VLD하고, 역양자화부가 역양자화하며, IDCT부가 IDCT하며, 상기 IDCT부의 출력신호에서 움직임 보상블록이 움직임을 보상하여 복원 중앙영상을 생성하는 것을 특징으로 한다.
상기 움직임 보상블록은, 상기 IDCT부의 출력신호에 움직임 보상 값을 가산기가 가산하여 복원 중앙영상을 생성하고, 생성한 복원 중앙영상을 프레임 메모리가 저장하고 상기 좌측영상 디코더 및 우측영상 디코더에 제공하며, 상기 프레임 메모리에 저장된 복원 중앙영상으로 움직임 보상부가 움직임을 검출하여 움직임 보상 값을 생성하고 그 생성한 움직임 보상 값을 상기 가산기에 입력시키는 것을 특징으로 한다.
상기 좌측영상 디코더 및 우측영상 디코더는, 압축된 좌측영상 또는 우측영상의 VLD부가 VLD하고, VLD의 출력신호를 역양자화부가 역양자화하고, IDCT부가 IDCT하며, 상기 IDCT부의 출력신호 및 상기 중앙영상 디코더가 제공하는 복원 중앙영상을 이용하여 움직임/변이 보상블록이 움직임 및 변이를 보상하여 복원 좌측영상 또는 우측영상을 생성하는 것을 특징으로 한다.
상기 움직임/변이 보상블록은, 상기 IDCT부의 출력신호에 움직임 보상 값을 가산기가 가산하여 복원 좌측영상 또는 우측영상을 생성하고, 가산기의 출력신호를 프레임 메모리가 저장하며, 프레임 메모리에 저장된 복원 좌측영상 또는 우측영상과 상기 중앙영상 디코더의 복원 중앙영상으로 움직임/변이 보상부가 움직임 및 변이를 검출하여 움직임/변이 보상 값을 생성하고 그 생성한 움직임/변이 보상 값을 상기 가산기에 입력시키는 것을 특징으로 한다.
본 발명의 다시점 영상의 압축/복원방법은, 중앙영상 엔코더 및 중앙영상 디코더가, 중앙영상에 대하여 I 화상으로 각기 엔코딩 및 디코딩을 수행한 후 B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 각기 수행하는 것을 반복하고, B 화상, B 화상 및 P 화상으로 엔코딩을 수행할 때 복원한 복원 중앙영상을 좌측영상 엔코더 및 우측영상 엔코더에 제공하며, 좌측영상 엔코더 및 우측영상 엔코더가, 좌측영상 및 우측영상에 대하여 각기 I 화상으로 엔코딩 및 디코딩을 수행한 후 상기 중앙영상 엔코더 및 좌측영상 디코더가 제공하는 복원 중앙영상을 기준영상으로 참조하면서 B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 수행하는 것을 반복하는 것을 특징으로 한다.
또한 다시점 영상의 압축/복원방법은, 중앙영상 엔코더 및 중앙영상 디코더가, 중앙영상에 대하여 I 화상으로 엔코딩 및 디코딩을 수행한 후 B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 수행하는 것을 반복하고, B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 수행할 때 복원한 복원 중앙영상을 좌측영상 엔코더 및 우측영상 엔코더에 제공하고, 상기 좌측영상 엔코더 및 우측영상 엔코더는, 입력되는 좌측영상 및 우측영상에 대하여 각기 I 화상으로 엔코딩 및 디코딩을 수행한 후 상기 중앙영상 엔코더가 제공하는 복원 중앙영상을 기준영상으로 참조하면서 P 화상으로 엔코딩 및 디코딩을 수행하는 것을 반복하는 것을 특징으로 한다.
도 1은 종래의 다시점 영상 압축/복원장치의 구성을 보인 블록도이고,
도 2는 본 발명의 다시점 영상 압축장치에서 3시점 영상을 압축하는 바람직한 실시 예의 구성을 보인 도면이며,
도 3 및 도 4는 본 발명에서 3시점의 영상을 압축하는 형식 및 상관관계를 보인 도면이며,
도 5는 도 2의 중앙영상 엔코더의 상세 구성을 보인 블록도이며,
도 6은 본 발명의 다시점 영상 압축장치에서 P 화상의 매크로블록 타입에 따른 VLC 테이블을 보인 도면이며,
도 7은 본 발명의 다시점 영상 압축장치에서 B 화상의 매크로블록 타입에 따른 VLC 테이블을 보인 도면이며,
도 8은 도 2의 좌측영상 엔코더 및 우측영상 엔코더의 상세 구성을 보인 블록도이며,
도 9는 본 발명의 다시점 영상 복원장치에서 3시점 영상을 복원하는 바람직한 실시 예의 구성을 보인 도면이며,
도 10은 도 9의 중앙영상 디코더의 상세 구성을 보인 블록도이며,
도 11은 도 9의 좌측영상 및 우측영상 디코더의 상세 구성을 보인 블록도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
300 : 중앙영상 엔코더 310 : 좌측영상 엔코더
320 : 우측영상 엔코더 400, 500 : 감산기
410, 510 : DCT부 420, 520 : 양자화부
430, 530 : VLC부 440, 540 : 버퍼
450, 550 : 비트율 제어부 460, 730 : 움직임 보상블록
461, 561, 710, 810 : 역양자화부 462, 562, 720, 820 : IDCT부
463, 563, 731, 831 : 가산기 464, 564, 733, 833 : 프레임 메모리
465 : 움직임 추정부 466, 735 : 움직임 보상부
560, 830 : 움직임/변이 보상블록 565 : 움직임/변이 추정부
566, 835 : 움직임/변이 보상부 600 : 중앙영상 디코더
610 : 좌측영상 디코더 620 : 우측영상 디코더
700, 800 : VLD부
이하, 첨부된 도 2 내지 도 11의 도면을 참조하여 본 발명의 다시점 영상의 압축/복원장치 및 방법을 상세히 설명한다.
도 2는 본 발명의 다시점 영상 압축장치에서 3시점 영상을 압축하는 바람직한 실시 예의 구성을 보인 도면이다. 이에 도시된 바와 같이 본 발명의 3시점 압축장치는 각기 중앙영상, 좌측영상 및 우측영상의 데이터 스트림을 생성하는 중앙영상 엔코더(300), 좌측영상 엔코더(310) 및 우측영상 엔코더(310)로 이루어진다.
상기 중앙영상 엔코더(300)는, 입력되는 중앙영상의 움직임을 추정(ME)하고 움직임을 보상(MC)하면서 그 중앙영상을 엔코딩하여 중앙영상 데이터 스트림을 생성함과 아울러 중앙영상을 복원한 복원 중앙영상을 상기 좌측영상 엔코더(310) 및 우측영상 엔코더(310)에 기준영상으로 제공한다. 상기 좌측영상 엔코더(310)는, 입력되는 좌측영상의 움직임을 추정(ME)하고 움직임을 보상(MC)함과 아울러 상기 중앙영상 엔코더(300)로부터 입력되는 복원 중앙영상을 기준영상으로 참조하여 변이추정(DE) 및 변이보상(DC)을 수행하면서 좌측영상을 엔코딩하여 좌측영상 데이터 스트림을 생성한다. 상기 우측영상 엔코더(320)는 입력되는 우측영상의 움직임을 추정(ME)하고 움직임을 보상(MC)함과 아울러 상기 중앙영상 엔코더(300)로부터 입력되는 복원 중앙영상을 기준영상으로 참조하여 변이추정(DE) 및 변이보상(DC)을 수행하면서 우측영상을 엔코딩하여 우측영상 데이터 스트림을 생성한다.
이러한 본 발명의 3시점 영상 압축장치는 인접한 영상들의 시간적, 공간적 중복성을 제거할 수 있고, 이로 인하여 데이터의 양을 줄일 수 있다.
일반적으로 MPEG2 엔코딩 방식은 공간 영역상의 엔코딩 방식(Intracoding : I 화상)과, 시간 영역상의 엔코딩 방식(Intercoding : P 화상 및 B 화상)의 조합으로 이루어진다.
상기 공간 영역상의 부호화 방식은 원영상을 DCT 및 양자화를 통하고, VLC로 압축하여 전송하는 방식이다.
상기 시간 영역상의 부호화 방식은, 공간 영역상에서 압축된 I 화상을 역양자화기 및 IDCT를 통해 복원하고, 복원한 영상을 프레임 메모리에 저장한 후 움직임 추정부를 통해 현재 입력되고 있는 영상과 비교하여 움직임을 추정하며, 추정한 움직임만큼 현재 입력되는 영상을 공간 이동 즉, 움직임을 보상하여 원 영상과의 차영상을 엔코딩한다. 이 때, 움직임을 추정하는 방법이 전방 추정(forward estimation)일 경우에 P 화상, 전방 추정과 후방 추정(backward estimation)을 모두 포함하는 경우에 B 화상이라고 한다.
그러므로 I 화상으로 코딩된 영상의 정밀도에 따라 P 화상 및 B 화상의 움직임 예측 및 보상이 영향을 받게 되고, 이렇게 부호화된 영상을 복원하는 복호화 과정은 먼저 I 화상을 올바르게 복원해야 차신호가 전송되는 B 화상 및 P 화상이 올바르게 복원된다.
본 발명의 다시점 영상 압축장치는 다시점의 영상을 엔코딩함에 있어서, 도 3에 도시된 바와 같이 중앙영상 엔코더(300)가, 입력되는 중앙영상에 대하여 I 화상으로 엔코딩을 수행한 후 B 화상, B 화상 및 P 화상으로 엔코딩을 수행하는 것을 반복하고, B 화상, B 화상 및 P 화상으로 엔코딩을 수행할 때 복원한 복원 중앙영상을 좌측영상 엔코더(310) 및 우측영상 엔코더(320)에 제공하고, 좌측영상 엔코더(310) 및 우측영상 엔코더(320)는 입력되는 좌측영상 및 우측영상에 대하여 각기 I 화상으로 엔코딩을 수행한 후 상기 중앙영상 엔코더(300)가 제공하는 복원 중앙영상을 기준영상으로 참조하면서 B 화상, B 화상 및 P 화상으로 엔코딩을 수행하는 것을 반복한다.
또한 본 발명의 다시점 영상 압축장치는 도 4에 도시된 바와 같이 중앙영상엔코더(300)가, 입력되는 중앙영상에 대하여 I 화상으로 엔코딩을 수행한 후 B 화상, B 화상 및 P 화상으로 엔코딩을 수행하는 것을 반복하고, B 화상, B 화상 및 P 화상으로 엔코딩을 수행할 때 복원한 복원 중앙영상을 좌측영상 엔코더(310) 및 우측영상 엔코더(320)에 제공하며, 좌측영상 엔코더(310) 및 우측영상 엔코더(320)는 입력되는 좌측영상 및 우측영상에 대하여 각기 I 화상으로 엔코딩을 수행한 후 상기 중앙영상 엔코더(300)가 제공하는 복원 중앙영상을 기준영상으로 참조하면서 P 화상으로 엔코딩을 수행하는 것을 반복한다.
그리고 후술하는 본 발명의 다시점 영상 복원장치는 상기한 본 발명의 다시점 영상 압축장치가 엔코딩한 순서대로 디코딩하여 복원 즉, 상기한 도 3 및 도 4에 도시된 순서로 다시점 영상을 디코딩하여 복원한다.
도 5는 도 2의 중앙영상 엔코더(300)의 상세 구성을 보인 블록도이다. 이에 도시된 바와 같이 입력되는 중앙영상에서 움직임 보상 값을 감산하여 중앙영상의 차영상을 생성하는 감산기(400)와, 상기 감산기(400)의 출력신호를 DCT하는 DCT부(410)와, 상기 DCT부(410)의 출력신호를 비트율 제어신호에 따라 양자화 계수를 변경하면서 양자화하는 양자화부(420)와, 상기 양자화부(420)의 출력신호를 미리 저장된 VLC(Variable Length Coding) 테이블에 따라 VLC하는 VLC부(430)와, 상기 VLC부(430)의 출력신호인 중앙영상의 데이터 스트림을 저장하는 버퍼(440)와, 상기 버퍼(440)에 저장된 중앙영상의 데이터 스트림에 따라 목표 비트율에 맞도록 비트율 제어신호를 발생하여 상기 양자화부(420)의 양자화 계수를 적응적으로 변경하는 비트율 제어부(450)와, 상기 중앙영상과 상기 양자화부(420)의 출력신호로 중앙영상의 움직임 추정 및 움직임 보상을 수행하여 상기 감산기(400)에 움직임 보상 값을 제공함과 아울러 중앙영상을 복원한 복원 중앙영상을 생성하여 상기 좌측영상 엔코더(310) 및 우측영상 엔코더(320)에 기준영상으로 제공하는 움직임 보상블록(460)으로 구성된다.
상기 움직임 보상블록(460)은, 상기 양자화부(420)의 출력신호를 역양자화하는 역양자화부(461)와, 상기 역양자화부(461)의 출력신호를 IDCT하는 IDCT부(462)와, 상기 IDCT부(462)의 출력신호에 움직임 보상 값을 가산하여 복원 중앙영상을 생성하는 가산기(463)와, 상기 가산기(463)가 생성한 복원 중앙영상을 저장하고 상기 좌측영상 엔코더(310) 및 우측영상 엔코더(320)에 기준영상으로 제공하는 프레임 메모리(464)와, 상기 프레임 메모리(464)에 저장된 복원 중앙영상을 참조하여 상기 입력되는 중앙영상의 움직임을 추정하는 움직임 추정부(465)와, 상기 프레임 메모리(464)에 저장된 복원 중앙영상을 기준으로 상기 움직임 추정부(465)에서 추정한 움직임 추정 값에 따른 움직임 보상 값을 생성하고 그 생성한 움직임 보상 값을 상기 감산기(400) 및 가산기(463)에 제공하는 움직임 보상부(466)로 구성된다.
이와 같이 구성된 본 발명의 중앙영상 엔코더(300)는, 입력되는 중앙영상에서 움직임 보상블록(460)이 제공하는 움직임 보상 값을 감산기(400)가 감산하여 중앙영상의 차영상을 생성한다. 상기 감산기(400)에서 생성된 중앙영상의 차영상은 DCT부(410)에서 DCT되고, 양자화부(420)에서 비트율 제어신호에 따라 양자화된 후 VLC부(430)에서 VLC가 수행되어 출력되며, 그 VLC된 데이터는 버퍼(440)에 저장된 후 중앙영상의 데이터 스트림으로 출력된다.
여기서, VLC부(430)는 전방 예측(forward predicted)을 통해 프레임간의 상관관계를 줄이는 P 화상의 매크로 블록에 대하여 도 6에 도시된 바와 같은 VLC 테이블에 따라 VLC를 수행하고, 양방향 예측(bidirectional predicted)을 프레임간의 상관관계를 줄이는 B 화상의 매크로 블록에 대해서는 도 7에 도시된 바와 같은 VLC 테이블에 따라 VLC를 수행한다.
또한 상기 버퍼(440)에 저장된 중앙영상의 데이터 스트림에 따라 비트율 제어부(450)가 비트율 제어신호를 발생하고, 그 발생한 비트율 제어신호에 따라 양자화부(420)는 DCT부(410)로부터 입력되는 데이터의 비트율을 제어하면서 양자화하여 목표 비트율을 맞추게 된다.
그리고 상기 양자화부(420)의 출력신호를 움직임 보상블록(460)의 역양자화부(461)가 역양자화하고, IDCT부(462)가 IDCT하여 출력한다. 상기 IDCT부(462)의 출력 데이터는 가산기(463)에서 움직임 보상 값이 가산되어 복원 중앙영상이 생성되고, 그 생성된 복원 중앙영상은 프레임 메모리(463)에 저장된 후 좌측영상 엔코더(310) 및 우측영상 엔코더(310)에 기준영상으로 제공된다.
여기서, 상기 입력되는 중앙영상을 B 화상, B 화상 및 P 화상으로 엔코딩하기 위해서는 최소한 2 프레임 이상의 복원 중앙영상이 필요한 것으로서 상기 프레임 메모리(464)는 적어도 2 프레임 이상의 복원 중앙영상을 저장할 수 있는 용량을 갖는다.
상기 프레임 메모리(464)에 저장된 복원 중앙영상을 기준영상으로 움직임 추정부(465)가 상기 입력되는 중앙영상의 움직임을 추정하고, 추정한 움직임을 움직임 보상부(466)로 입력시킨다. 그러면, 움직임 보상부(466)는 상기 프레임 메모리(464)에 저장된 복원 중앙영상과 움직임 추정 값으로 움직임 보상 값을 생성하고, 그 생성한 움직임 보상 값은 가산기(463)에 입력되어 상기 IDCT부(462)의 출력신호에 가산 및 복원 중앙영상이 생성하도록 함과 아울러 그 움직임 보상 값이 감산기(400)에 입력되어 입력되는 중앙영상의 차영상을 생성하게 한다.
도 8은 도 2의 좌측영상 엔코더(310) 및 우측영상 엔코더(320)의 상세 구성을 보인 블록도이다. 이에 도시된 바와 같이 입력되는 좌측영상 또는 우측영상에 움직임 및 변이 보상 값을 감산하여 차영상을 생성하는 감산기(500)와, 상기 감산기(500)의 출력신호를 DCT하는 DCT부(510)와, 상기 DCT부(510)의 출력신호를 비트율 제어신호에 따라 양자화 계수를 변경하면서 양자화하는 양자화부(520)와, 상기 양자화부(520)의 출력신호를 미리 저장된 VLC 테이블에 따라 VLC하는 VLC부(530)와, 상기 VLC부(530)의 출력신호인 좌측영상 또는 우측영상의 데이터 스트림을 저장하는 버퍼(540)와, 상기 버퍼(540)에 저장된 좌측영상 또는 우측영상의 데이터 스트림에 따라 목표 비트율에 맞도록 비트율 제어신호를 발생하여 상기 양자화부(520)의 양자화 계수를 적응적으로 변경하는 비트율 제어부(550)와, 상기 중앙영상 디코더(300)가 제공하는 복원 중앙영상을 기준영상으로 상기 좌측영상 또는 우측영상과 상기 양자화부(520)의 출력신호로 움직임 추정 및 움직임 보상과 변이 추정 및 변이 보상을 수행하여 상기 감산기(500)에 움직임 및 변이 보상 값을 제공하는 움직임/변이 보상블록(560)으로 구성된다.
상기 움직임/변이 보상블록(560)은, 상기 양자화부(520)의 출력신호를 역양자화하는 역양자화부(561)와, 상기 역양자화부(561)의 출력신호를 IDCT하는 IDCT부(562)와, 상기 IDCT부(562)의 출력신호에 움직임/변이 보상 값을 가산하여 좌측영상 또는 우측영상을 복원한 복원 좌측영상 또는 복원 우측영상을 생성하는 가산기(563)와, 상기 가산기(563)가 생성한 복원 좌측영상 또는 복원 우측영상을 저장하는 프레임 메모리(564)와, 상기 프레임 메모리(564)에 저장된 복원 좌측영상 또는 복원 우측영상과 상기 중앙영상 엔코더(300)의 복원 중앙영상으로 좌측영상 또는 우측영상의 움직임 및 변이를 추정하는 움직임/변이 추정부(565)와, 상기 프레임 메모리(564)에 저장된 복원 좌측영상 또는 복원 우측영상을 기준으로 상기 움직임 추정부(565)에서 추정한 움직임/변이 추정 값에 따른 움직임 및 보상 값을 생성하고 생성한 움직임 및 변이 보상 값을 상기 감산기(500) 및 가산기(563)에 제공하는 움직임 보상부(566)로 구성된다.
이와 같이 구성된 본 발명의 좌측영상 엔코더(310) 또는 우측영상 엔코더(320)는, 입력되는 좌측영상 또는 우측영상에 움직임/변이 보상블록(560)이 제공하는 움직임 및 변이 보상 값을 감산기(500)가 감산하여 좌측영상 또는 우측영상의 차영상을 생성하고, 그 생성한 좌측영상 또는 우측영상의 차영상을 DCT부(510)가 DCT하고, 양자화부(520)가 비트율 제어신호에 따라 양자화하며, VLC부(530)가 미리 저장된 VLC 테이블에 따라 VLC를 수행하여 출력하며, 그 VLC부(530)가 VLC한 데이터인 좌측영상 또는 우측영상의 데이터 스트림은 버퍼(540)에 저장된 후 출력된다.
또한 상기 버퍼(540)에 저장된 좌측영상 또는 우측영상의 데이터 스트림에따라 비트율 제어부(550)가 비트율 제어신호를 발생하고, 발생한 비트율 제어신호는 양자화부(520)는 DCT부(510)로부터 입력되는 데이터의 비트율을 제어하면서 양자화하여 목표 비트율에 맞추게 된다.
상기 양자화부(520)의 출력신호를 움직임/변이 보상블록(560)의 역양자화부(561)가 역양자화하고, IDCT부(562)가 IDCT하며, IDCT부(562)에서 IDCT한 데이터는 가산기(563)에 입력되어 움직임/변이 보상 값이 가산된 후 프레임 메모리(563)에 복원 좌측영상 또는 복원 우측영상으로 저장된다. 그리고 움직임/변이 추정부(565)가 상기 중앙영상 엔코더(300)로부터 입력되는 복원 중앙영상을 기준영상으로 상기 프레임 메모리(564)에 저장된 복원 좌측영상 또는 복원 우측영상의 움직임 및 변이를 추정하고, 추정한 움직임 및 변이를 움직임/변이 보상부(566)로 입력시킨다. 그러면, 움직임/변이 보상부(566)는 상기 프레임 메모리(564)에 저장된 좌측 또는 우측 복원영상과 움직임 및 변이 추정 값으로 움직임 및 변이 보상 값을 생성하고, 그 생성한 움직임 및 변이 보상 값을 가산기(563)에 입력시켜 상기 IDCT부(562)의 출력신호에 가산시킴과 아울러 감산기(500)에 입력되는 좌측영상 또는 우측영상의 움직임 및 변이를 보상하고 차영상을 생성하게 한다.
여기서, 상기 프레임 메모리(564)도 상기 프레임 메모리(464)와 마찬가지로 적어도 2 프레임 이상의 복원 좌측영상 또는 복원 우측영상을 저장할 수 있는 용량을 갖는다.
도 9는 본 발명의 다시점 영상 복원장치에서 3시점 영상을 복원하는 실시 예를 보인 도면이다. 이에 도시된 바와 같이 본 발명의 다시점 영상 복원장치는 중앙영상 디코더(600), 좌측영상 디코더(610) 및 우측영상 디코더(620)로 이루어진다.
상기 중앙영상 디코더(600)는, 입력되는 중앙영상의 데이터 스트림을 디코딩하고 움직임을 보상하여 복원 중앙영상을 생성함과 아울러 상기 좌측영상 디코더(610) 및 우측영상 디코더(620)에 제공한다. 상기 좌측영상 디코더(610)는, 입력되는 좌측영상을 각기 디코딩하고 그 디코딩한 데이터와 상기 중앙영상 디코더(600)가 제공하는 복원 중앙영상을 참조로 움직임 및 변이를 보상하여 복원 좌측영상을 생성한다. 상기 좌측영상 디코더(610)는, 우측영상 디코더(620)는, 입력되는 우측영상을 각기 디코딩하고 그 디코딩한 데이터와 상기 중앙영상 디코더(600)가 제공하는 복원 중앙영상을 참조로 움직임 및 변이를 보상하여 복원 우측영상을 생성한다.
도 10은 도 9의 중앙영상 디코더(600)의 구성을 보인 상세 블록도이다. 이에 도시된 바와 같이 중앙영상의 데이터 스트림을 VLD하는 VLD부(700)와, 상기 VLD부(700)의 출력신호를 역양자화하는 역양자화부(710)와, 상기 역양자화부(710)의 출력신호를 IDCT하는 IDCT부(720)와, 상기 IDCT부(720)의 출력신호에서 움직임을 보상하여 복원 중앙영상을 생성하는 움직임 보상블록(730)으로 이루어진다.
상기 움직임 보상블록(730)은, 상기 IDCT부(720)의 출력신호에 움직임 보상 값을 가산하여 복원 중앙영상을 생성하는 가산기(731)와, 상기 가산기(731)가 생성한 복원 중앙영상을 저장하고 상기 좌측영상 디코더(610) 및 우측영상 디코더(620)에 제공하는 프레임 메모리(733)와, 상기 프레임 메모리(733)에 저장된 복원 중앙영상으로 움직임을 검출하여 움직임 보상 값을 생성하고 그 생성한 움직임 보상 값을 상기 가산기(731)에 입력시키는 움직임 보상부(735)로 구성된다.
이와 같이 구성된 본 발명의 중앙영상 디코더(600)는, 입력되는 중앙영상의 데이터 스트림을 VLD부(700)가 VLD하고, 그 디코딩한 신호를 역양자화부(710)가 역양자화하며, IDCT부(720)가 IDCT하여 출력한다.
상기 IDCT부(720)에서 출력되는 데이터는 움직임 보상블록(730)의 가산기(731)에 입력되어 움직임 보상 값이 가산 및 복원 중앙영상이 생성되고, 그 생성된 복원 중앙영상은 프레임 메모리(733)에 저장된 후 좌측영상 및 우측영상 디코더(610)(620)에 제공되며, 또한 프레임 메모리(733)에 저장된 복원 중앙영상으로 움직임 보상부(735)가 움직임 보상 값을 생성하여 가산기(731)에 제공하게 된다.
도 11은 도 9의 좌측영상 디코더(610) 또는 우측영상 디코더(620)의 구성을 보인 상세 블록도이다. 이에 도시된 바와 같이 좌측영상 또는 우측영상의 데이터 스트림을 VLD하는 VLD부(800)와, 상기 VLD부(800)의 출력신호를 역양자화하는 역양자화부(810)와, 상기 역양자화부(810)의 출력신호를 IDCT하는 IDCT부(820)와, 상기 IDCT부(820)의 출력신호 및 상기 중앙영상 디코더(600)가 제공하는 복원 중앙영상을 이용하여 움직임 및 변이를 보상하여 복원 좌측영상 또는 우측영상을 생성하는 움직임/변이 보상블록(830)으로 이루어진다.
상기 움직임/변이 보상블록(830)은, 상기 IDCT부(820)의 출력신호에 움직임 보상 값을 가산하여 복원 좌측영상 또는 복원 우측영상을 생성하는 가산기(831)와, 상기 가산기(831)의 출력신호를 저장하는 프레임 메모리(833)와, 상기 프레임 메모리(833)에 저장된 복원 좌측영상 또는 복원 우측영상과 상기 중앙영상 디코더(600)의 복원 중앙영상으로 움직임 및 변이를 검출하여 움직임/변이 보상 값을 생성하고 그 생성한 움직임/변이 보상 값을 상기 가산기(831)에 입력시키는 움직임/변이 보상부(835)로 구성된다.
이와 같이 구성된 본 발명의 좌측영상 디코더(610) 또는 우측영상 디코더(620)는 입력되는 좌측영상 또는 우측영상의 데이터 스트림을 VLD(800)가 VLD하고, 그 디코딩한 신호를 역양자화부(810)가 역양자화하며, IDCT부(820)가 IDCT하여 출력한다.
상기 IDCT부(820)에서 출력되는 데이터는 움직임/변이 보상블록(830)의 가산기(831)에 입력되어 움직임/변이 보상 값이 가산 및 복원 좌측영상 또는 우측영상을 생성하고, 그 생성한 복원 좌측영상 또는 우측영상은 프레임 메모리(833)에 저장되며, 프레임 메모리(733)에 저장된 복원 좌측영상 또는 우측영상으로 움직임/변이 보상부(735)가 움직임 및 변이 보상 값을 생성하여 가산기(831)에 제공하게 된다.
이상에서 상세히 설명한 바와 같이 본 발명은 다시점으로의 확장에 있어서 종래의 압축/복원장치보다 데이터가 중복됨이 없이 최소의 비트율로 최대의 화질을 유지하면 확장할 수 있다. 또한 본 발명은 중앙영상 엔코더 및 디코더는 완벽하게 MPEG-2 베이스층의 코덱과 호환이 가능하므로 독립적으로 디지털 텔레비전 수상기, 디지털 캠코더, 정보 단말기 등에 적용 가능하다.

Claims (12)

  1. 입력되는 중앙영상의 움직임을 추정하고 움직임을 보상하면서 그 중앙영상을 엔코딩하여 중앙영상 데이터 스트림을 생성함과 아울러 중앙영상을 복원한 복원 중앙영상을 기준영상으로 제공하는 중앙영상 엔코더;
    입력되는 좌측영상의 움직임을 추정하고 움직임을 보상함과 아울러 상기 중앙영상 엔코더가 제공하는 복원 중앙영상을 기준영상으로 참조하여 변이 추정 및 변이 보상을 수행하면서 좌측영상을 엔코딩하여 좌측영상 데이터 스트림을 생성하는 좌측영상 엔코더; 및
    입력되는 우측영상의 움직임을 추정하고 움직임을 보상함과 아울러 상기 중앙영상 엔코더가 생성한 복원 중앙영상을 기준영상으로 참조하여 변이 추정 및 변이 보상을 수행하면서 우측영상을 엔코딩하여 우측영상 데이터 스트림을 생성하는 우측영상 엔코더로 구성된 다시점 영상 압축장치 .
  2. 제 1 항에 있어서, 상기 중앙영상 엔코더는;
    입력되는 중앙영상에 움직임 보상 값을 감산하여 차영상을 생성하는 감산기;
    상기 감산기의 출력신호를 DCT하는 DCT부;
    상기 DCT부의 출력신호를 비트율 제어신호에 따라 양자화 계수를 변경하면서 양자화하는 양자화부;
    상기 양자화부의 출력신호를 미리 저장된 VLC 테이블에 따라 VLC하는 VLC부;
    상기 VLC부의 출력신호인 중앙영상의 데이터 스트림을 저장하는 버퍼;
    상기 버퍼에 저장된 중앙영상의 데이터 스트림에 따라 목표 비트율에 맞도록 비트율 제어신호를 발생하여 상기 양자화부의 양자화 계수를 적응적으로 변경하는 비트율 제어부; 및
    상기 중앙영상과 상기 양자화부의 출력신호로 중앙영상의 움직임 추정 및 움직임 보상을 수행하여 상기 감산기에 움직임 보상 값을 제공함과 아울러 복원 중앙영상을 상기 좌측영상 엔코더 및 우측영상 엔코더에 기준영상으로 제공하는 움직임 보상블록으로 구성됨을 특징으로 하는 다시점 영상 압축장치.
  3. 제 2 항에 있어서, 상기 움직임 보상블록은;
    상기 양자화부의 출력신호를 역양자화하는 역양자화부;
    상기 역양자화부의 출력신호를 IDCT하는 IDCT부;
    상기 IDCT부의 출력신호에 움직임 보상 값을 가산하여 복원 중앙영상을 생성하는 가산기;
    상기 가산기가 생성한 복원 중앙영상을 저장하고 상기 좌측영상 엔코더 및 우측영상 엔코더에 기준영상으로 제공하는 프레임 메모리;
    상기 프레임 메모리에 저장된 복원 중앙영상을 참조하여 상기 중앙영상의 움직임을 추정하는 움직임 추정부; 및
    상기 프레임 메모리에 저장된 복원 중앙영상을 기준으로 상기 움직임 추정부에서 추정한 움직임 추정 값에 따른 움직임 보상 값을 생성하고 그 생성한 움직임보상 값을 상기 감산기 및 가산기에 제공하는 움직임 보상부로 구성됨을 특징으로 하는 다시점 영상 압축장치.
  4. 제 1 항에 있어서, 상기 좌측영상 엔코더 및 우측영상 엔코더는;
    좌측영상 또는 우측영상에 움직임 및 변이 보상 값을 감산하여 차영상을 생성하는 감산기;
    상기 감산기의 출력신호를 DCT하는 DCT부;
    상기 DCT부의 출력신호를 비트율 제어신호에 따라 양자화 계수를 변경하면서 양자화하는 양자화부;
    상기 양자화부의 출력신호를 미리 저장된 VLC 테이블에 따라 VLC하는 VLC부;
    상기 VLC부의 출력신호인 좌측영상 또는 우측영상의 데이터 스트림을 저장하는 버퍼;
    상기 버퍼에 저장된 좌측영상 또는 우측영상의 데이터 스트림에 따라 목표 비트율에 맞도록 비트율 제어신호를 발생하여 상기 양자화부의 양자화 계수를 적응적으로 변경하는 비트율 제어부; 및
    상기 좌측영상 또는 우측영상과 상기 양자화부의 출력신호 및 상기 중앙영상 엔코더의 복원 중앙영상으로 움직임 추정 및 움직임 보상과 변이 추정 및 변이 보상을 수행하여 상기 감산기에 움직임 및 변이 보상 값을 제공하는 움직임/변이 보상블록으로 구성됨을 특징으로 하는 다시점 영상 압축장치.
  5. 제 4 항에 있어서, 상기 움직임/변이 보상블록은;
    상기 양자화부의 출력신호를 역양자화하는 역양자화부;
    상기 역양자화부의 출력신호를 IDCT하는 IDCT부;
    상기 IDCT부의 출력신호에 움직임/변이 보상 값을 가산하여 좌측영상 또는 우측영상의 복원영상을 생성하는 가산기;
    상기 가산기가 생성한 좌측 또는 우측 복원영상을 저장하는 프레임 메모리;
    상기 프레임 메모리에 저장된 좌측 또는 우측 복원영상과 상기 중앙영상 엔코더의 복원 중앙영상으로 좌측영상 또는 우측영상의 움직임 및 변이를 추정하는 움직임/변이 추정부; 및
    상기 프레임 메모리에 저장된 좌측 또는 우측 복원영상 및 상기 중앙영상 엔코더의 복원 중앙영상을 기준으로 상기 움직임 추정부에서 추정한 움직임/변이 추정 값에 따른 움직임 및 보상 값을 생성하고 그 생성한 움직임 및 변이 보상 값을 상기 감산기 및 가산기에 제공하는 움직임 보상부로 구성됨을 특징으로 하는 다시점 영상 압축장치.
  6. 입력되는 중앙영상의 데이터 스트림을 디코딩하고 움직임을 보상하여 복원 중앙영상을 생성하는 중앙영상 디코더;
    입력되는 좌측영상을 각기 디코딩하고 그 디코딩한 데이터와 상기 중앙영상 디코더가 제공하는 복원 중앙영상을 기준영상으로 움직임 및 변이를 보상하여 복원 좌측영상을 생성하는 좌측영상 디코더; 및
    입력되는 우측영상을 각기 디코딩하고 그 디코딩한 데이터와 상기 중앙영상 디코더가 제공하는 복원 중앙영상을 기준영상으로 움직임 및 변이를 보상하여 복원 우측영상을 생성하는 우측영상 디코더로 구성된 다시점 영상 복원장치.
  7. 제 6 항에 있어서, 상기 중앙영상 디코더는;
    압축된 중앙영상의 데이터 스트림을 VLD하는 VLD부;
    상기 VLD부의 출력신호를 역양자화하는 역양자화부;
    상기 역양자화부의 출력신호를 IDCT하는 IDCT부; 및
    상기 IDCT부의 출력신호에서 움직임을 보상하여 복원 중앙영상을 생성하는 움직임 보상블록으로 구성됨을 특징으로 하는 다시점 영상 복원장치.
  8. 제 7 항에 있어서, 움직임 보상블록은;
    상기 IDCT부의 출력신호에 움직임 보상 값을 가산하여 복원 중앙영상을 생성하는 가산기;
    상기 가산기가 생성한 복원 중앙영상을 저장하고 상기 좌측영상 디코더 및 우측영상 디코더에 제공하는 프레임 메모리; 및
    상기 프레임 메모리에 저장된 복원 중앙영상으로 움직임을 검출하여 움직임 보상 값을 생성하고 그 생성한 움직임 보상 값을 상기 가산기에 입력시키는 움직임 보상부로 구성됨을 특징으로 하는 다시점 영상 복원장치.
  9. 제 6 항에 있어서, 상기 좌측영상 디코더 및 우측영상 디코더는;
    압축된 좌측영상 또는 우측영상의 데이터 스트림을 VLD하는 VLD부;
    상기 VLD부의 출력신호를 역양자화하는 역양자화부;
    상기 역양자화부의 출력신호를 IDCT하는 IDCT부; 및
    상기 IDCT부의 출력신호 및 상기 중앙영상 디코더가 제공하는 복원 중앙영상을 이용하여 움직임 및 변이를 보상하여 복원 좌측영상 또는 우측영상을 생성하는 움직임/변이 보상블록으로 구성됨을 특징으로 하는 다시점 영상 복원장치.
  10. 제 9 항에 있어서, 상기 움직임/변이 보상블록은;
    상기 IDCT부의 출력신호에 움직임 보상 값을 가산하여 복원 좌측영상 또는 우측영상을 생성하는 가산기;
    상기 가산기의 출력신호를 저장하는 프레임 메모리; 및
    상기 프레임 메모리에 저장된 복원 좌측영상 또는 우측영상과 상기 중앙영상 디코더의 복원 중앙영상으로 움직임 및 변이를 검출하여 움직임/변이 보상 값을 생성하고 그 생성한 움직임/변이 보상 값을 상기 가산기에 입력시키는 움직임/변이 보상부로 구성됨을 특징으로 하는 다시점 영상 복원장치.
  11. 중앙영상 엔코더 및 중앙영상 디코더가, 중앙영상에 대하여 I 화상으로 각기 엔코딩 및 디코딩을 수행한 후 B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 각기 수행하는 것을 반복하고, B 화상, B 화상 및 P 화상으로 엔코딩을 수행할 때복원한 복원 중앙영상을 좌측영상 엔코더 및 우측영상 엔코더에 제공하며,
    좌측영상 엔코더 및 우측영상 엔코더가, 좌측영상 및 우측영상에 대하여 각기 I 화상으로 엔코딩 및 디코딩을 수행한 후 상기 중앙영상 엔코더 및 좌측영상 디코더가 제공하는 복원 중앙영상을 기준영상으로 참조하면서 B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 수행하는 것을 반복하는 다시점 영상의 압축/복원방법.
  12. 중앙영상 엔코더 및 중앙영상 디코더가, 중앙영상에 대하여 I 화상으로 엔코딩 및 디코딩을 수행한 후 B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 수행하는 것을 반복하고, B 화상, B 화상 및 P 화상으로 엔코딩 및 디코딩을 수행할 때 복원한 복원 중앙영상을 좌측영상 엔코더 및 우측영상 엔코더에 제공하고,
    상기 좌측영상 엔코더 및 우측영상 엔코더는, 입력되는 좌측영상 및 우측영상에 대하여 각기 I 화상으로 엔코딩 및 디코딩을 수행한 후 상기 중앙영상 엔코더가 제공하는 복원 중앙영상을 기준영상으로 참조하면서 P 화상으로 엔코딩 및 디코딩을 수행하는 것을 반복하는 다시점 영상의 압축/복원방법.
KR10-2003-0002116A 2003-01-13 2003-01-13 다시점 영상의 압축/복원장치 KR100523930B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0002116A KR100523930B1 (ko) 2003-01-13 2003-01-13 다시점 영상의 압축/복원장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0002116A KR100523930B1 (ko) 2003-01-13 2003-01-13 다시점 영상의 압축/복원장치

Publications (2)

Publication Number Publication Date
KR20040065014A true KR20040065014A (ko) 2004-07-21
KR100523930B1 KR100523930B1 (ko) 2005-10-26

Family

ID=37355389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0002116A KR100523930B1 (ko) 2003-01-13 2003-01-13 다시점 영상의 압축/복원장치

Country Status (1)

Country Link
KR (1) KR100523930B1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069630A1 (en) * 2004-01-20 2005-07-28 Daeyang Foundation Method, medium, and apparatus for 3-dimensional encoding and/or decoding of video
KR100590025B1 (ko) * 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
WO2006062377A1 (en) 2004-12-10 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for universal coding for multi-view video
WO2006129914A1 (en) * 2005-05-31 2006-12-07 Samsung Electronics Co., Ltd. Multi-view image system and method for compressing and decompressing applied to the same
WO2007007923A1 (en) * 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100789753B1 (ko) * 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR100811649B1 (ko) * 2006-01-11 2008-03-11 연세대학교 산학협력단 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
KR100864859B1 (ko) * 2006-12-04 2008-10-23 한국전자통신연구원 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템
US8204133B2 (en) 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
KR101385884B1 (ko) * 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
CN104243851A (zh) * 2014-09-28 2014-12-24 联想(北京)有限公司 图像生成方法和电子设备
US9077966B2 (en) 2010-02-15 2015-07-07 Thomson Licensing Apparatus and method for processing video content
US9628769B2 (en) 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069630A1 (en) * 2004-01-20 2005-07-28 Daeyang Foundation Method, medium, and apparatus for 3-dimensional encoding and/or decoding of video
US7817181B2 (en) 2004-01-20 2010-10-19 Sejong Industry - Academy Cooperation Foundation Method, medium, and apparatus for 3-dimensional encoding and/or decoding of video
US8855210B2 (en) 2004-10-12 2014-10-07 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US8204133B2 (en) 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
WO2006062377A1 (en) 2004-12-10 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for universal coding for multi-view video
KR100590025B1 (ko) * 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
WO2006129914A1 (en) * 2005-05-31 2006-12-07 Samsung Electronics Co., Ltd. Multi-view image system and method for compressing and decompressing applied to the same
US8130836B2 (en) 2005-05-31 2012-03-06 Samsung Electronics Co., Ltd. Multi-view stereo imaging system and compression/decompression method applied thereto
WO2007007923A1 (en) * 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image
KR100789753B1 (ko) * 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
US9154786B2 (en) 2005-07-18 2015-10-06 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US8369406B2 (en) 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100811649B1 (ko) * 2006-01-11 2008-03-11 연세대학교 산학협력단 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
KR100864859B1 (ko) * 2006-12-04 2008-10-23 한국전자통신연구원 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR101385884B1 (ko) * 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
US9077966B2 (en) 2010-02-15 2015-07-07 Thomson Licensing Apparatus and method for processing video content
US9148646B2 (en) 2010-02-15 2015-09-29 Thomson Licensing Apparatus and method for processing video content
US9628769B2 (en) 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
US9961323B2 (en) 2012-01-30 2018-05-01 Samsung Electronics Co., Ltd. Method and apparatus for multiview video encoding based on prediction structures for viewpoint switching, and method and apparatus for multiview video decoding based on prediction structures for viewpoint switching
CN104243851A (zh) * 2014-09-28 2014-12-24 联想(北京)有限公司 图像生成方法和电子设备
CN104243851B (zh) * 2014-09-28 2017-11-03 联想(北京)有限公司 图像生成方法和电子设备

Also Published As

Publication number Publication date
KR100523930B1 (ko) 2005-10-26

Similar Documents

Publication Publication Date Title
US7738716B2 (en) Encoding and decoding apparatus and method for reducing blocking phenomenon and computer-readable recording medium storing program for executing the method
KR100523930B1 (ko) 다시점 영상의 압축/복원장치
KR100919885B1 (ko) 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
US9154786B2 (en) Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US7474699B2 (en) Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method decoding method and program usable for the same
US8817872B2 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
JP3888597B2 (ja) 動き補償符号化装置、及び動き補償符号化復号化方法
EP1029416B1 (en) Multi-layer coder/decoder
US20070104276A1 (en) Method and apparatus for encoding multiview video
EP2908529B1 (en) Video data decoding method and video data decoding apparatus
WO2005011284A1 (en) Foveated video coding and transcoding system and method for mono or stereoscopic images
WO2004059980A1 (en) Method and apparatus for encoding and decoding stereoscopic video
WO2009054596A1 (en) Method, medium, and apparatus for encoding and/or decoding video
Hewage et al. Frame concealment algorithm for stereoscopic video using motion vector sharing
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
WO2006118384A1 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
Yip et al. Joint source and channel coding for H. 264 compliant stereoscopic video transmission
EP2575364B1 (en) Methods and devices for data compression using a non-uniform reconstruction space
US20110090965A1 (en) Generation of Synchronized Bidirectional Frames and Uses Thereof
KR20070108092A (ko) 다시점 동영상을 부호화 하는 방법 및 장치
KR100587952B1 (ko) 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
Adikari et al. A H. 264 compliant stereoscopic video codec
KR20180113868A (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
KR20110118744A (ko) 쓰리디 티브이 동영상 부호화 방법, 복호화 방법
KR20090078114A (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee