KR20070075354A - 비디오 신호의 디코딩/인코딩 방법 및 장치 - Google Patents

비디오 신호의 디코딩/인코딩 방법 및 장치 Download PDF

Info

Publication number
KR20070075354A
KR20070075354A KR1020070003849A KR20070003849A KR20070075354A KR 20070075354 A KR20070075354 A KR 20070075354A KR 1020070003849 A KR1020070003849 A KR 1020070003849A KR 20070003849 A KR20070003849 A KR 20070003849A KR 20070075354 A KR20070075354 A KR 20070075354A
Authority
KR
South Korea
Prior art keywords
image
video signal
prediction
resolution
low resolution
Prior art date
Application number
KR1020070003849A
Other languages
English (en)
Inventor
양정휴
이상헌
이상화
조남익
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20070075354A publication Critical patent/KR20070075354A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호를 효율적으로 디코딩/인코딩하기 위한 방법 및 장치에 관한 것이다.
비디오 신호로부터 예측(prediction) 영상 및 차분(residual) 영상을 획득하는 단계와 상기 획득된 영상들을 이용하여 영상을 복원하는 단계를 포함하되, 상기 비디오 신호를 디코딩함에 있어서 해상도 변환을 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다. 또한, 그 역과정을 통한 비디오 신호 인코딩 방법도 제공한다. 본 발명을 통해, 비디오 신호 코딩에 있어서, 해상도를 변경하여 코딩함으로써 코딩 효율을 높일 수 있고, 보다 양질의 복호 영상을 얻을 수 있다.
다시점, 해상도

Description

비디오 신호의 디코딩/인코딩 방법 및 장치{A method and apparatus for decoding/encoding a video signal}
도 1은 본 발명을 적용한 비디오 신호의 인코딩 및 디코딩 시스템을 도시한 것이다.
도 2는 본 발명을 적용한 다시점 비디오 코딩에 있어서, 픽쳐들 간의 예측 구조의 한 예를 나타낸다.
도 3은 본 발명을 적용한 실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 흐름도를 나타낸다.
도 4는 본 발명을 적용한 실시예로서, 부호화 효율이 최적인 방식으로 부호화된 정보를 나타내는 모드 정보를 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 흐름도를 나타낸다.
도 5는 본 발명을 적용한 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 6은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 7은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 8은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 9는 본 발명을 적용한 일실시예로서, 일반적인 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 10은 본 발명을 적용한 실시예로서, 여러 가지 코딩 방식 중 코딩 효율이 최적인 방식을 선택하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명을 적용한 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 12는 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 13은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 14는 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 15는 본 발명을 적용한 일실시예로서, 일반적인 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
도 16은 본 발명을 적용한 실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 장치를 설명하기 위한 블록도를 나타낸다.
도 17은 본 발명을 적용한 실시예로서, 여러 가지 코딩 방식 중 코딩 효율이 최적인 방식을 선택하여 비디오 신호를 인코딩하는 장치를 설명하기 위한 블록도이다.
본 발명은 비디오 영상의 부호화/복호화 방법 및 장치에 관한 것이다.
현재 주류를 이루고 있는 비디오 빛 방송 영상물은 한 대의 카메라로 획득한 단일시점 영상이다. 반면, 다시점 비디오(Multi-view video)란 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 다시점 비디오는 사용자에게 3차원 입체 영상, 또는 많은 시점의 영상을 제공할 수 있으며, 한대의 카메라를 이용하여 획득할 수 있는 영상 영역에 비해 큰 영역을 포함하는 특징을 지닌다. 최근에는 이처럼 여러 대의 카메라로 찍은 다시점 영상 자체에 대한 부호화 및 전송, 복호화 그리고 디스플레이하는 시스템에 대한 연구가 활발히 진행되고 있다.
한편, 다른 시점의 공간적으로 이웃한 영상들간의 상관도를 이용하는 데에 있어서 원해상도 영상 자체에서 예측 및 부호화를 할 경우 부호화 효율이 떨어질 수 있다. 영상들 간의 높은 상관성이 존재하기 때문에, 해상도를 변환하여 신호처리를 하게 되면 훨씬 적은 비트량으로 부호화를 해도 충분히 양질의 복호 영상을 얻을 수 있게 된다. 그리고, 가장 부호화 효율이 좋은 방식을 선택할 경우에도 코 딩 효율이 좋아질 수 있다.
본 발명의 목적은 비디오 신호를 코딩함에 있어서, 해상도 스위칭 기법을 이용하여 코딩 효율이 좋은 예측 방식을 선택함으로써 효율적인 코딩을 하고자 함에 있다.
본 발명의 다른 목적은 다시점 비디오 신호를 코딩함에 있어서, 원해상도의 영상을 저해상도의 영상으로 변환한 후 공간적으로 예측부호화함으로써 코딩 효율을 높이는데 있다.
본 발명의 또 다른 목적은 상기 인코딩 과정의 역과정을 통하여 디코딩을 함으로써 양질의 원해상도 복호 영상을 얻고자 함에 있다.
상기 목적을 달성하기 위하여 본 발명은 비디오 신호로부터 예측(prediction) 영상 및 차분(residual) 영상을 획득하는 단계와 상기 획득된 영상들을 이용하여 영상을 복원하는 단계를 포함하되, 상기 비디오 신호를 디코딩함에 있어서 해상도 변환을 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.
또한, 본 발명은 현재 영상과 참조 영상으로부터 적어도 하나 이상의 예측 방식에 따라 예측된 영상(들)을 이용하여 차분 영상(들)을 획득하는 단계 및 상기 차분 영상(들)에 적용된 예측 방식 중 부호화 효율이 최적인 예측 방식을 선택하여 그에 따른 영상 정보를 코딩하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법을 제공한다.
또한, 본 발명은 해상도 변환을 이용하여 예측 영상을 생성하는 움직임 보상부와 비디오 신호로부터 추출된 차분 영상을 디코딩하는 차분 영상 디코딩부 및 상기 예측 영상과 상기 차분 영상을 이용하여 영상을 복원하는 영상 복원부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치를 제공한다.
또한, 본 발명은 현재 영상과 참조 영상으로부터 적어도 하나 이상의 예측 방식에 따라 예측 영상(들)을 생성하는 움직임 보상부와 상기 예측 영상을 이용하여 차분 영상을 획득하고, 상기 차분 영상(들)에 적용된 예측 방식 중 부호화 효율이 최적인 예측 방식을 선택하여 그에 따른 영상 정보를 코딩하는 차분 영상 인코딩부를 포함하는 것을 특징으로 하는 비디오 신호 인코딩 장치를 제공한다.
상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들를 상세히 설명한다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.
도 1은 본 발명을 적용한 비디오 신호의 인코딩 및 디코딩 시스템을 도시한 것이다. 도 1에 도시된 바와 같이, 본 발명을 적용한 비디오 신호 인코딩 시스템 은, 영상 발생부(10), 전처리부(20, preprocessing part) 및 인코딩부(30, encoding part)를 포함하여 구성된다. 또한, 디코딩 시스템은 디코딩부(40, decoding part), 후처리부(50, post processing part) 및 디스플레이부(60, display part)를 포함하여 구성된다.
상기 영상 발생부(10)는 영상 획득장치(예를 들어, 카메라 #1 ~ #N, N=1,2,3 …)를 구비하여, 각 시점별로 독립적인 영상을 획득할 수 있다. 예를 들어, N=1인 경우에는 일반 비디오 영상, 즉 한 개의 시점 영상만 획득할 수 있게 된다. 또한, N이 2이상인 경우에는 다시점 영상을 획득할 수 있게 된다. 전처리부(20)는 영상 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 영상 데이터들 간의 상관도를 높여주는 기능을 수행한다. 인코딩부(30)는 움직임(motion) 추정부, 움직임 보상부 및 시점 간의 변이(disparity) 추정부, 변이 보상부, 조명(illumination) 보상부, 비트율 제어 및 차분(residual) 영상 인코딩부 등을 포함할 수 있다. 상기 인코딩부(30)는 일반적으로 알려진 방식을 적용할 수 있다.
디코딩부(40)는 움직임 보상부, 조명 보상부, 가중치 예측부, 디블록킹 필터부 등을 포함할 수 있다. 디코딩부(40)는 전술한 방식에 의해 인코딩된 비트스트림을 수신한 후, 이를 역으로 디코딩한다. 또한, 후처리부(50)는 디코딩된 데이터의 신뢰도 및 해상도를 높여주는 기능을 수행하게 된다. 마지막으로 디스플레이부(60)는 디스플레이의 기능, 특히 다시점 영상을 처리하는 능력에 따라 다양한 방식으로 사용자에게 디코딩된 데이터를 제공하게 된다. 예를 들어, 평면 2차원 영상만을 제 공하는 2D 디스플레이(61)이거나, 2개의 시점을 입체 영상으로 제공하는 스테레오(stereo) 타입의 디스플레이(63)이거나 또는 M개의 시점(2<M)을 입체 영상으로 제공하는 디스플레이(65)일 수 있다.
도 2는 본 발명을 적용한 다시점 비디오 코딩에 있어서, 픽쳐들 간의 예측 구조의 한 예를 나타낸다.
도 2에 나타난 바와 같이 가로축의 T0 ~ T100 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 S0 ~ S7은 각각 시점에 따른 프레임을 나타낸 것이다. 예를 들어, T0에 있는 픽쳐들은 같은 시간대(T0)에 서로 다른 카메라에서 찍은 영상들을 의미하며, S0 에 있는 픽쳐들은 한 대의 카메라에서 찍은 다른 시간대의 영상들을 의미한다. 또한, 도면 상의 화살표들은 각 픽쳐들의 예측 방향과 순서를 나타낸 것으로서, 예를 들어, T0 시간대의 S2 시점에 있는 P0 픽쳐는 I0로부터 예측된 픽쳐이며, 상기 P0 픽쳐는 TO 시간대의 S4 시점에 있는 또 다른 P0 픽쳐의 참조 픽쳐가 된다. 또한, S2 시점의 T4, T2 시간대에 있는 B1, B2 픽쳐의 참조 픽쳐가 된다.
도 3은 본 발명을 적용한 실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 흐름도를 나타낸다.
비디오 신호 코딩에 있어서, 입력 프레임(또는 필드)은 매크로블록 단위로 처리된다. 각 매크로블록은 인트라 모드 또는 인터 모드로 코딩되며, 매크로블록 내의 각 블록에 대한 예측 블록은 복원된 픽쳐의 샘플에 의해 생성된다. 인트라 모드에서의 예측 블록은 이전에 인코딩되고 디코딩되어 복원된 샘플로부터 생성된다. 인터 모드에서의 예측 블록은 List0 및/또는 List1 의 참조 프레임 중 선택된 하나 또는 두 개의 참조 프레임으로부터 움직임 보상을 예측하여 생성된다. 그리고 예측 블록과 현재 블록의 차이값인 차분(residual) 블록을 생성하고, 생성된 오차 블록은 변환(transformation), 양자화를 거쳐 엔트로피 인코딩된다. 엔트로피 인코딩된 계수들은 매크로블록 내의 각 블록을 디코딩하는데 필요한 부가적인 정보들과 함께 압축된 비트스트림을 형성하게 된다. 압축된 비트스트림을 수신한 디코딩 장치에서는 엔트로피 디코딩을 수행하고, 역양자화, 역변환을 거쳐 차분(residual) 블록을 생성한다. 그리고 비트스트림으로부터 디코딩된 정보를 이용하여 인코더에서 생성된 원래의 예측 블록과 동일한 예측 블록을 생성한다. 이렇게 생성된 예측 블록에 상기 차분 블록이 더해져서 각 블록들이 복원된다. 이와 같은 코딩 과정에 있어서, 본 발명에서는 원해상도 영상을 저해상도로 변환하는 해상도 변환 과정을 이용함으로써 보다 효율적인 인코딩/디코딩이 가능할 수 있다.
먼저 비디오 신호로부터 예측 영상 및 차분 영상을 획득할 수 있다(310). 여기서, 예측 영상 및 차분 영상을 획득함에 있어서 해상도 변환 과정이 이용될 수 있다. 예를 들어, 현재 프레임 영상과 참조 프레임 영상이 주어졌을 때 각 영상을 가로, 세로 방향으로 1/N 로 다운 샘플링하여 저해상도 영상을 구할 수 있다. 다운 샘플링시 다운 샘플링 필터(Down Sampling filter)로는 여러 가지를 사용할 수 있는데, 한가지 예로 가우시안 피라미드 필터링(Gaussian Pyramid Filtering)을 적용할 수 있다. 저해상도 영상을 이용하여 움직임 벡터를 획득하고, 이를 이용하여 예측 영상을 획득할 수 있다. 이하, 본 명세서에서 언급되는 움직임 벡터는 변이 벡터의 개념을 포함한다. 또한, 복호된 프레임은 다음 프레임 코딩을 위해서 참조 프레임으로 활용될 수 있는데, 저해상도의 참조 영상 또는/및 원해상도의 참조 영상이 필요할 수 있다. 예를 들어, 저해상도의 텍스쳐로부터 원해상도의 영상을 얻어낼 때에는 원해상도의 참조 영상이 필요없을 수 있지만, 저해상도의 움직임 정보를 이용할 경우에는 원해상도의 참조 영상이 필요할 수 있다. 저해상도 영상을 코딩하는 경우 저해상도 영상을 복호화한 것을 그대로 참조 픽쳐로 이용할 수 있고, 또는 저해상도 영상을 원해상도로 복원하고 다시 저해상도로 변환한 후 참조 픽쳐로 이용할 수 있다. 이처럼 해상도 변환을 이용하여 획득된 예측 영상은 원 영상으로부터 빼져서 차분 영상을 획득할 수 있다. 그리고 상기 예측 영상과 차분 영상을 이용하여 원 영상을 복원할 수 있다(320).
도 4는 본 발명을 적용한 실시예로서, 부호화 효율이 최적인 방식으로 부호화된 정보를 나타내는 모드 정보를 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 흐름도를 나타낸다.
먼저 비디오 신호로부터 모드 정보를 추출한다(410). 여기서, 모드 정보란 예측 영상을 획득함에 있어서 적어도 하나 이상의 예측 방식에 따라 예측된 정보 중 부호화 효율이 최적인 것으로 선택된 예측 방식을 나타내는 정보를 의미할 수 있다. 상기 모드 정보에 따라, 획득된 예측 정보들을 이용하여 예측 영상을 생성할 수 있다(420). 이 때 상기 예측 정보들은 원해상도 영상을 저해상도로 변환하여, 저해상도 영상으로부터 구한 움직임 벡터를 이용하여 획득될 수 있다. 저해상도 영상으로부터 구한 예측 정보들을 이용하여 예측 영상을 획득한 경우, 비디오 신호로 부터 디코딩된 차분 영상을 이용하여 원 영상을 복원할 수 있다(430). 이 때 상기 차분 영상은 저해상도 영상으로부터 구한 예측 정보들을 이용하여 원 영상으로부터 획득될 수 있다. 이하 예측 영상을 획득하기 위한 여러 가지 예측 방식이 적용되는 실시예들을 살펴보기로 한다.
도 5는 본 발명을 적용한 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
엔트로피 디코딩부(507)에서는 엔트로피 디코딩을 수행하고, 역양자화, 역변환을 통해 모드 정보와 움직임 정보, 차분 영상에 관한 정보를 추출하게 된다. 상기 모드 정보에 따라 움직임 정보와 차분 영상에 관한 정보가 달라질 수 있다. 예를 들어, 움직임 정보는 저해상도 영상으로부터 획득된 움직임 벡터 정보일 수 있다. 현재 영상과 참조 영상이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터가 획득될 수 있다. 움직임 보상부(505)에서는 원해상도의 참조 영상(501)을 다운 샘플링(503)하여 획득된 저해상도 참조 영상과 상기 저해상도 영상의 움직임 벡터을 이용하여 움직임 보상을 수행하고, 저해상도의 예측 영상을 생성할 수 있다.
그리고 차분 영상 디코딩부(509)에서는 차분 영상에 관한 정보를 디코딩하여 제 1 영상 복원부(511)로 전송한다. 예를 들어, 차분 영상에 관한 정보는 저해상도의 현재 영상과 저해상도의 예측 영상과의 차이를 나타내는 정보일 수 있다. 저해상도 예측 영상은 저해상도 참조 영상과 저해상도 영상의 움직임 벡터를 이용하여 획득할 수 있다. 제 1 영상 복원부(511)에서는 움직임 보상부(505)로부터 획득된 저해상도 예측 영상과 차분 영상 디코딩부(509)로부터 획득된 차분 영상을 이용하여 저해상도 복원 영상을 획득할 수 있다. 그리고 상기 저해상도 복원 영상을 업 샘플링(513)함으로써 제 2 영상 복원부(515)에서는 원해상도의 복원 영상을 획득할 수 있다.
도 6은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
엔트로피 디코딩부(607)에서는 엔트로피 디코딩을 수행하고, 역양자화, 역변환을 통해 모드 정보와 움직임 정보, 차분 영상에 관한 정보를 추출하게 된다. 상기 모드 정보에 따라 움직임 정보와 차분 영상에 관한 정보가 달라질 수 있다. 예를 들어, 움직임 정보는 저해상도 영상으로부터 획득된 움직임 벡터 정보일 수 있다. 현재 영상과 참조 영상이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터가 획득될 수 있다. 움직임 보상부(605)에서는 원해상도의 참조 영상(601)을 다운 샘플링(603)하여 획득된 저해상도 참조 영상과 상기 저해상도 영상의 움직임 벡터을 이용하여 움직임 보상을 수행하고, 저해상도의 예측 영상을 생성할 수 있다. 그리고 제 1 차분 영상 디코딩부(609)에서는 차분 영상에 관한 정보를 디코딩하여 제 1 영상 복원부(613)로 전송한다. 예를 들어, 제 1 차분 영상 디코딩부(609)에서 디코딩되는 차분 영상에 관한 정보는 저해상도의 현재 영상과 저해상도의 예측 영상과의 차이를 나타내는 정보일 수 있다. 저해상도 예측 영상은 저해상도 참조 영상과 저해상도 영상의 움직임 벡터를 이용하여 획득할 수 있다. 제 1 영상 복원부(613)에서는 움직임 보 상부(605)로부터 획득된 저해상도 예측 영상과 제 1 차분 영상 디코딩부(609)로부터 획득된 차분 영상을 이용하여 저해상도 복원 영상을 획득할 수 있다. 제 2 차분 영상 디코딩부(611)에서도 차분 영상에 관한 정보를 디코딩하여 제 2 영상 복원부(617)로 전송한다. 예를 들어, 제 2 차분 영상 디코딩부(611)에서 디코딩되는 차분 영상에 관한 정보는 저해상도 복원 영상을 업 샘플링한 영상과 현재 영상과의 차이를 나타내는 정보일 수 있다. 따라서, 제 2 영상 복원부(617)에서는 상기 저해상도 복원 영상을 업 샘플링(615)한 영상과 상기 제 2 차분 영상 디코딩부(611)로부터 전송된 차분 영상을 이용하여 원해상도의 현재 영상을 복원할 수 있다.
도 7은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
본 발명의 다른 일실시예로서, 해상도 변환뿐만 아니라 움직임 벡터의 변환도 이용할 수 있다. 엔트로피 디코딩부(707)에서는 엔트로피 디코딩을 수행하고, 역양자화, 역변환을 통해 모드 정보와 움직임 정보, 차분 영상에 관한 정보를 추출하게 된다. 상기 모드 정보에 따라 움직임 정보와 차분 영상에 관한 정보가 달라질 수 있다. 예를 들어, 움직임 정보는 저해상도 영상으로부터 획득된 움직임 벡터 정보일 수 있다. 현재 영상과 참조 영상이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터가 획득될 수 있다. 움직임 보상부(703)에서는 상기 저해상도 영상의 움직임 벡터의 각 성분을 N배하여 획득한 움직임 벡터(705)와 원해상도의 참조 영상(701)을 이용하여 움직임 보상을 수행하고, 원해상도의 예측 영상을 생성할 수 있다. 그리고 차분 영상 디코딩부(709)에서는 차분 영상에 관한 정보를 디코딩한다. 예를 들어, 차분 영상에 관한 정보는 저해상도의 현재 영상과 저해상도의 예측 영상과의 차이를 나타내는 정보일 수 있다. 저해상도 예측 영상은 저해상도 참조 영상과 저해상도 영상의 움직임 벡터를 이용하여 획득할 수 있다. 영상 복원부(713)에서는 움직임 보상부(703)로부터 획득된 원해상도 예측 영상과, 차분 영상 디코딩부(709)로부터 획득된 차분 영상을 업 샘플링한 차분 영상(711)을 이용하여 원해상도 복원 영상을 획득할 수 있다.
도 8은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
본 발명의 다른 일실시예로서, 해상도 변환뿐만 아니라 움직임 벡터의 변환도 이용할 수 있다. 엔트로피 디코딩부(807)에서는 엔트로피 디코딩을 수행하고, 역양자화, 역변환을 통해 모드 정보와 움직임 정보, 차분 영상에 관한 정보를 추출하게 된다. 상기 모드 정보에 따라 움직임 정보와 차분 영상에 관한 정보가 달라질 수 있다. 예를 들어, 움직임 정보는 저해상도 영상으로부터 획득된 움직임 벡터 정보일 수 있다. 현재 영상과 참조 영상이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터가 획득될 수 있다. 움직임 보상부(803)에서는 상기 저해상도 영상의 움직임 벡터의 각 성분을 N배하여 획득한 움직임 벡터(805)와 원해상도의 참조 영상(801)을 이용하여 움직임 보상을 수행하고, 원해상도의 예측 영상을 생성할 수 있다. 그리고 제 1 차분 영상 디코딩부(809)에서는 차분 영상에 관한 정보를 디코딩한다. 예를 들어, 제 1 차분 영상 디코딩부(809)에서 디코딩되는 차분 영상에 관한 정보는 저해상도의 현재 영상과 저해상도의 예측 영상과의 차이를 나타내는 정보일 수 있다. 저해상도 예측 영상은 저해상도 참조 영상과 저해상도 영상의 움직임 벡터를 이용하여 획득할 수 있다. 제 2 차분 영상 디코딩부(811)에서도 차분 영상에 관한 정보를 디코딩하여 영상 복원부(815)로 전송한다. 예를 들어, 제 2 차분 영상 디코딩부(811)에서 디코딩되는 차분 영상에 관한 정보는 원해상도 현재 영상과 원해상도의 복원 영상과의 차이를 나타내는 정보일 수 있다. 상기 원해상도 복원 영상은 원해상도의 예측 영상과 저해상도 차분 영상을 업 샘플링한 차분 영상을 이용하여 획득될 수 있고, 상기 원해상도의 예측 영상은 저해상도 영상의 움직임 벡터를 N배하여 획득한 움직임 벡터와 원해상도 참조 영상을 이용하여 획득될 수 있다. 따라서, 영상 복원부(815)에서는 움직임 보상부(803)로부터 전송된 원해상도의 예측 영상과 제 1 차분 영상 디코딩부(809)로부터 디코딩된 차분 영상을 업 샘플링한 제 1 차분 영상(813), 그리고 제 2 차분 영상 디코딩부(811)로부터 디코딩된 제 2 차분 영상을 이용하여 원해상도의 현재 영상을 복원할 수 있다.
도 9는 본 발명을 적용한 일실시예로서, 일반적인 비디오 신호를 디코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
엔트로피 디코딩부(905)에서는 엔트로피 디코딩을 수행하고, 역양자화, 역변환을 통해 모드 정보와 움직임 정보, 차분 영상에 관한 정보를 추출하게 된다. 상기 모드 정보에 따라 움직임 정보와 차분 영상에 관한 정보가 달라질 수 있다. 예를 들어, 움직임 정보는 원해상도의 현재 영상과 원해상도의 참조 영상으로부터 획 득된 움직임 벡터 정보일 수 있다. 움직임 보상부(903)에서는 원해상도의 참조 영상(901)과 상기 원해상도 영상의 움직임 벡터을 이용하여 움직임 보상을 수행하고, 원해상도의 예측 영상을 생성할 수 있다. 그리고 차분 영상 디코딩부(907)에서는 차분 영상에 관한 정보를 디코딩하여 영상 복원부(909)로 전송한다. 예를 들어, 차분 영상에 관한 정보는 원해상도의 현재 영상과 원해상도의 예측 영상과의 차이를 나타내는 정보일 수 있다. 영상 복원부(909)에서는 움직임 보상부(903)로부터 획득된 원해상도 예측 영상과 차분 영상 디코딩부(907)로부터 획득된 차분 영상을 이용하여 원해상도 복원 영상을 획득할 수 있다. 본 실시예는 일반적인 비디오 신호의 디코딩 방법을 따르지만, 경우에 따라 일반적인 디코딩 방법이 가장 효율이 좋은 경우도 있기 때문에 본 실시예가 유용하게 사용될 수 있다.
도 10은 본 발명을 적용한 실시예로서, 여러 가지 코딩 방식 중 코딩 효율이 최적인 방식을 선택하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 흐름도이다.
먼저 부호화하려는 현재 영상과 참조 영상이 주어졌을 때, 이들로부터 적어도 하나 이상의 예측 방식에 따라 예측된 영상(들)을 획득할 수 있다. 그리고 이 예측 영상(들)을 이용하여 차분 영상(들)을 획득할 수 있다(1010). 여기서, 예측 영상 및 차분 영상을 획득함에 있어서 해상도 변환 과정이 이용될 수 있다. 예를 들어, 현재 프레임 영상과 참조 프레임 영상이 주어졌을 때 각 영상을 가로, 세로 방향으로 1/N 로 다운 샘플링하여 저해상도 영상을 구할 수 있다. 다운 샘플링시 다운 샘플링 필터(Down Sampling filter)로는 여러 가지를 사용할 수 있는데, 한가 지 예로 가우시안 피라미드 필터링(Gaussian Pyramid Filtering)을 적용할 수 있다. 저해상도 영상을 이용하여 움직임 벡터를 획득하고, 이를 이용하여 예측 영상을 획득할 수 있다. 이처럼 해상도 변환을 이용하여 획득된 예측 영상은 원 영상으로부터 빼져서 차분 영상을 획득할 수 있다. 또한, 예측 영상 및 차분 영상을 획득함에 있어서 움직임 벡터의 변환도 이용될 수 있다. 예를 들어, 원해상도의 영상들로부터 구한 움직임 벡터의 각 성분을 1/N 배하여 획득된 움직임 벡터가 이용될 수 있고, 또는 저해상도의 영상들로부터 구한 움직임 벡터의 각 성분을 N배하여 획득된 움직임 벡터가 이용될 수 있다. 여기서, 움직임 벡터를 획득함에 있어서, 움직임 추정을 수행하는 한가지 예로서 블록 매칭 움직임 추정 기법을 들 수 있다. 상기 예측 영상 및 차분 영상에 적용된 여러 가지 방식 중 부호화 효율이 최적인 방식을 선택하여 그에 대응되는 영상 정보를 코딩할 수 있다(1030). 상기 부호화 효율을 측정하는 방법에는 여러 가지 방식을 적용할 수 있다. 그 중 대표적인 예로서 율-왜곡(Rate-Distortion)관계식(이하 RD 관계식이라 한다)을 이용하는 방법이 있다. RD 관계식이란 해당 블록을 부호화할 때 생기는 부호화 비트수와 실제영상과의 오차를 나타내는 왜곡값, 이 두 성분을 가지고 비용을 계산한다. 구체적으로, 비트수에 양자화 계수에 의해 결정되는 라그랑지안 승수를 곱하고 왜곡값을 더하여 구할 수 있다. 각 방식에 대해서 결과 비용을 비교하여 비용이 최소가 되는 방식를 최적인 방식으로 선택한다. 최종적으로 선택된 방식에 따른 모드 정보와 움직임 정보 및 차분 영상에 관한 정보 등이 변환 과정(예를 들어, DCT 등), 양자화 과정, 엔트로피 부호화 등을 통해 압축된 비트스트림을 형성하게 된다.
도 11은 본 발명을 적용한 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
먼저 부호화하려는 현재 영상(1101)과 참조 영상(1105)이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들(1103,1107)을 획득할 수 있다. 움직임 추정부(1109)에서는 상기 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터를 획득할 수 있다. 상기 저해상도 영상의 움직임 벡터는 엔트로피 인코딩부(1115)로 전송되어 엔트로피 부호화된다. 움직임 보상부(1111)에서는 원해상도의 참조 영상(1105)을 다운 샘플링하여 획득된 저해상도 참조 영상(1107)과 상기 저해상도 영상의 움직임 벡터을 이용하여 움직임 보상을 수행하고, 저해상도의 예측 영상을 생성할 수 있다. 차분 영상 인코딩부(1113)에서는 저해상도 현재 영상(1103)과 상기 저해상도 예측 영상을 이용하여 그 차이값인 차분 영상을 획득할 수 있다. 이렇게 획득된 저해상도의 차분 영상은 변환 과정, 양자화 과정을 통해 엔트로피 인코딩부(1115)로 전송되어 엔트로피 부호화된다. 여기서 저해상도 영상을 부호화할 때와 원해상도 영상으로 인터폴레이션(interpolation)한 후 다시 원해상도 현재 영상과의 차이값인 차분 영상을 부호화할 때, 레이트 컨트롤(Rate-control)을 함께 고려할 수 있다. 각 매크로블록에 대해 생성되는 코딩된 비트의 수는 비디오 프레임의 내용에 따라 변하기 때문에 인코더 출력의 비트레이트를 변화시킬 필요가 있는데, 이를 레이트 컨트롤이라 한다. 일반적으로 움직임이 많은 영상은 많은 비트를 생성하고 움직임이 적은 영상은 적은 비트를 생성할 수 있다. 본 실시예에서는, 예를 들어, 저해상도 영상과 원해상도 영상을 따로 레이트 컨트 롤하는 것이 아니라 2개의 과정을 묶어서 레이트 컨트롤할 수 있다. 그 구체적 예로, 하나의 프레임에 대하여 비트량을 할당해준 후, 할당된 비트량을 원해상도 영상과 저해상도 영상에 각각 나누어줄 수 있다. 또는 원해상도 영상과 저해상도 영상 각각의 타겟 비트량에 맞게 레이트 컨트롤을 수행할 수도 있다.
도 12는 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
먼저 부호화하려는 현재 영상(1201)과 참조 영상(1205)이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들(1203,1207)을 획득할 수 있다. 움직임 추정부(1209)에서는 상기 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터를 획득할 수 있다. 상기 저해상도 영상의 움직임 벡터는 엔트로피 인코딩부(1223)로 전송되어 엔트로피 부호화된다. 움직임 보상부(1211)에서는 원해상도의 참조 영상(1205)을 다운 샘플링하여 획득된 저해상도 참조 영상(1207)과 상기 저해상도 영상의 움직임 벡터을 이용하여 움직임 보상을 수행하고, 저해상도의 예측 영상을 생성할 수 있다. 제 1 차분 영상 인코딩부(1213)에서는 저해상도 현재 영상(1203)과 상기 저해상도 예측 영상을 이용하여 그 차이값인 제 1 차분 영상을 획득할 수 있다. 이렇게 획득된 저해상도의 제 1 차분 영상은 변환 과정, 양자화 과정을 통해 엔트로피 인코딩부(1223)로 전송되어 엔트로피 부호화된다. 차분 영상 디코딩부(1215)에서는 코딩된 상기 저해상도의 제 1 차분 영상을 디코딩하여 영상 복원부(1217)로 전송한다. 영상 복원부(1217)에서는 상기 저해상도의 제 1 차분 영상과 움직임 보상부(1211)로부터 전송된 저해상도의 예측 영상을 이용하여 저해상 도의 복원 영상을 획득할 수 있다. 저해상도 복원 영상은 업 샘플링되어 원해상도의 복원 영상(1219)으로 변환된다. 제 2 차분 영상 인코딩부(1221)에서는 상기 원해상도의 복원 영상(1219)과 원해상도의 현재 영상(1201)으로부터 그 차이값인 원해상도의 제 2 차분 영상을 획득할 수 있다. 이렇게 획득된 원해상도의 제 2 차분 영상은 변환 과정, 양자화 과정을 통해 엔트로피 인코딩부(1223)로 전송되어 엔트로피 부호화된다. 엔트로피 인코딩부(1223)에서는 모드 정보와 저해상도 영상의 움직임 벡터 및 제 1, 2 차분 영상 등을 부호화할 수 있다.
도 13은 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
먼저 부호화하려는 현재 영상(1301)과 참조 영상(1305)이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들(1303,1307)을 획득할 수 있다. 움직임 추정부(1309)에서는 상기 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터를 획득할 수 있다. 상기 저해상도 영상의 움직임 벡터는 엔트로피 인코딩부(1327)로 전송되어 엔트로피 부호화된다. 제 1 움직임 보상부(1311)에서는 원해상도의 참조 영상(1305)을 다운 샘플링하여 획득된 저해상도 참조 영상(1307)과 상기 저해상도 영상의 움직임 벡터을 이용하여 움직임 보상을 수행하고, 저해상도의 예측 영상을 생성할 수 있다. 차분 영상 인코딩부(1313)에서는 저해상도 현재 영상(1303)과 상기 저해상도 예측 영상을 이용하여 그 차이값인 차분 영상을 획득할 수 있다. 이렇게 획득된 저해상도의 차분 영상은 변환 과정, 양자화 과정을 통해 엔트로피 인코딩부(1327)로 전송되어 엔트로피 부호화된다. 차분 영상 디코딩 부(1319)에서는 코딩된 상기 저해상도의 차분 영상을 디코딩하고 업 샘플링하여(1321) 영상 복원부(1323)로 전송한다. 또한 제 2 움직임 보상부(1317)에서는 상기 저해상도 영상의 움직임 벡터의 각 성분을 N배하여 획득한 움직임 벡터와 원해상도의 참조 영상(1305)을 이용하여 움직임 보상을 수행하고, 원해상도의 예측 영상을 생성할 수 있다. 이는 영상 복원부(1323)로 전송된다. 여기서, 저해상도 영상에서 구한 움직임 정보를 N배하여 원해상도 영상의 해당 블록을 가져올 때 움직임 정보를 좀더 자세히 추가적으로 획득할 수 있다. 예를 들어, 저해상도에 구한 움직임 정보를 그냥 N배하여 이용할 경우, 저해상도에서 1/4픽셀 단위까지 구한 움직임 정보가 원해상도에서는 1/2픽셀이 되므로 1/4픽셀 단위까지 추가적으로 움직임 추정을 수행할 수 있다. 상기 추가적인 움직임 정보는 부호화할 수도 있고 안할 수도 있다. 예를 들어, 부호화하게 되는 경우에 처음에 구한 움직임 정보는 프리딕터로 이용될 수 있고, 추가적인 움직임 정보는 오차(difference) 값으로 이용될 수 있다. 영상 복원부(1323)에서는 상기 원해상도의 예측 영상과 업 샘플링(1321)된 차분 영상을 이용하여 원해상도의 복원 영상을 획득할 수 있다. 이렇게 획득된 상기 원해상도의 복원 영상은 코딩되어 전송되지 않고, 복호 픽쳐 버퍼(Decoded Picture Buffer)에 저장되어 관리된다. 엔트로피 인코딩부(1325)에서는 모드 정보와 저해상도 영상의 움직임 벡터 및 차분 영상 등을 부호화할 수 있다.
도 14는 본 발명을 적용한 다른 일실시예로서, 해상도 변환을 이용하여 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
본 실시예는 상기 도 13에서 설명한 방식과 유사하게 적용된다. 먼저 부호화 하려는 현재 영상(1401)과 참조 영상(1405)이 주어졌을 때 각 영상을 1/N 로 다운 샘플링하여 변환된 저해상도 영상들(1403,1407)을 획득할 수 있다. 움직임 추정부(1409)에서는 상기 저해상도 영상들을 이용하여 저해상도 영상의 움직임 벡터를 획득할 수 있다. 상기 저해상도 영상의 움직임 벡터는 엔트로피 인코딩부(1427)로 전송되어 엔트로피 부호화된다. 제 1 움직임 보상부(1411)에서는 원해상도의 참조 영상(1405)을 다운 샘플링하여 획득된 저해상도 참조 영상(1407)과 상기 저해상도 영상의 움직임 벡터을 이용하여 움직임 보상을 수행하고, 저해상도의 예측 영상을 생성할 수 있다. 제 1 차분 영상 인코딩부(1414)에서는 저해상도 현재 영상(1403)과 상기 저해상도 예측 영상을 이용하여 그 차이값인 제 1 차분 영상을 획득할 수 있다. 이렇게 획득된 저해상도의 제 1 차분 영상은 변환 과정, 양자화 과정을 통해 엔트로피 인코딩부(1427)로 전송되어 엔트로피 부호화된다. 차분 영상 디코딩부(1419)에서는 코딩된 상기 저해상도의 제 1 차분 영상을 디코딩하고 업 샘플링하여(1421) 영상 복원부(1423)로 전송한다. 또한 제 2 움직임 보상부(1417)에서는 상기 저해상도 영상의 움직임 벡터의 각 성분을 N배하여 획득한 움직임 벡터와 원해상도의 참조 영상(1405)을 이용하여 움직임 보상을 수행하고, 원해상도의 예측 영상을 생성할 수 있다. 이는 영상 복원부(1423)로 전송된다. 여기서, 저해상도 영상에서 구한 움직임 정보를 N배하여 원해상도 영상의 해당 블록을 가져올 때 움직임 정보를 좀더 자세히 추가적으로 획득할 수 있다. 예를 들어, 저해상도에 구한 움직임 정보를 그냥 N배하여 이용할 경우, 저해상도에서 1/4픽셀 단위까지 구한 움직임 정보가 원해상도에서는 1/2픽셀이 되므로 1/4픽셀 단위까지 추가적으로 움직임 추 정을 수행할 수 있다. 상기 추가적인 움직임 정보는 부호화할 수도 있고 안할 수도 있다. 예를 들어, 부호화하게 되는 경우에 처음에 구한 움직임 정보는 프리딕터로 이용될 수 있고, 추가적인 움직임 정보는 오차(difference) 값으로 이용될 수 있다. 영상 복원부(1423)에서는 상기 원해상도의 예측 영상과 업 샘플링(1421)된 제 1 차분 영상을 이용하여 원해상도의 복원 영상을 획득할 수 있다. 원해상도의 복원 영상은 제 2 차분 영상 인코딩부(1425)로 전송된다. 제 2 차분 영상 인코딩부(1425)에서는 상기 원해상도의 복원 영상과 원해상도의 현재 영상으로부터 그 차이값인 원해상도의 제 2 차분 영상을 획득할 수 있다. 이렇게 획득된 원해상도의 제 2 차분 영상은 변환 과정, 양자화 과정을 통해 엔트로피 인코딩부(1427)로 전송되어 엔트로피 부호화된다. 엔트로피 인코딩부(1427)에서는 모드 정보와 저해상도 영상의 움직임 벡터 및 제 1, 2 차분 영상 등을 부호화할 수 있다.
도 15는 본 발명을 적용한 일실시예로서, 일반적인 비디오 신호를 인코딩하는 방법을 설명하기 위한 블록도를 나타낸다.
먼저 부호화하려는 현재 영상(1501)과 참조 영상(1503)이 주어졌을 때, 움직임 추정부(1109)에서는 상기 영상들을 이용하여 움직임 벡터를 획득할 수 있다. 상기 움직임 벡터는 엔트로피 인코딩부(1511)로 전송되어 엔트로피 부호화된다. 움직임 보상부(1507)에서는 원해상도의 참조 영상(1503)과 상기 움직임 벡터을 이용하여 움직임 보상을 수행하고, 원해상도의 예측 영상을 생성할 수 있다. 차분 영상 인코딩부(1509)에서는 원해상도 현재 영상(1501)과 상기 원해상도 예측 영상을 이용하여 그 차이값인 차분 영상을 획득할 수 있다. 이렇게 획득된 원해상도의 차분 영상은 변환 과정, 양자화 과정을 통해 엔트로피 인코딩부(1511)로 전송되어 엔트로피 부호화된다. 엔트로피 인코딩부(1511)에서는 모드 정보와 움직임 벡터 및 차분 영상 등을 부호화할 수 있다. 본 실시예는 일반적인 비디오 신호의 인코딩 방법을 따르지만, 경우에 따라 일반적인 인코딩 방법이 가장 효율이 좋은 경우도 있기 때문에 본 실시예가 유용하게 사용될 수 있다.
도 16은 본 발명을 적용한 실시예로서, 해상도 변환을 이용하여 비디오 신호를 디코딩하는 장치를 설명하기 위한 블록도를 나타낸다.
상기 비디오 신호 디코딩 장치는 움직임 보상부(1601)와 차분 영상 디코딩부(1603) 및 영상 복원부(1605)를 포함할 수 있다. 움직임 보상부(1601)에서는 비디오 신호로부터 획득된 예측 정보들을 이용하여 예측 영상을 생성할 수 있다. 이 경우, 상기 예측 정보들은 모드 정보에 따라 달라질 수 있다. 또한, 상기 예측 정보들은 해상도 변환 과정을 이용할 수 있다. 예를 들어, 상기 예측 정보들은 원해상도 영상을 저해상도로 변환하여, 저해상도 영상으로부터 구한 움직임 벡터를 이용하여 획득될 수 있다. 그리고 차분 영상 디코딩부(1603)에서는 비디오 신호로부터 차분 영상에 관한 정보를 디코딩할 수 있다. 예를 들어, 차분 영상에 관한 정보는 저해상도의 현재 영상과 저해상도의 예측 영상과의 차이를 나타내는 정보일 수 있다. 영상 복원부(1605)에서는 움직임 보상부(1601)로부터 전송된 예측 영상과 차분 영상 디코딩부(1603)로부터 전송된 차분 영상을 이용하여 영상을 복원할 수 있다. 예를 들어, 상기 저해상도 영상으로부터 구한 예측 정보들을 이용하여 예측 영상을 획득한 경우, 영상 복원부(1605)에서는 차분 영상 디코딩부(1603)로부터 디코 딩된 저해상도의 차분 영상과 상기 예측 영상을 이용하여 원 영상을 복원할 수 있다.
도 17은 본 발명을 적용한 실시예로서, 여러 가지 코딩 방식 중 코딩 효율이 최적인 방식을 선택하여 비디오 신호를 인코딩하는 장치를 설명하기 위한 블록도이다.
상기 비디오 신호 인코딩 장치는 움직임 보상부(1701)와 차분 영상 인코딩부(1703)을 포함할 수 있다. 움직임 보상부(1701)에서는 부호화하려는 현재 영상과 참조 영상이 주어졌을 때, 이들로부터 적어도 하나 이상의 예측 방식에 따라 예측된 영상(들)을 획득할 수 있다. 그리고 이 예측 영상(들)을 이용하여 차분 영상(들)을 획득할 수 있다. 여기서, 예측 영상 및 차분 영상을 획득함에 있어서 해상도 변환 과정이 이용될 수 있다. 차분 영상 인코딩부(1703)에서는 해상도 변환을 이용하여 획득된 예측 영상은 원 영상으로부터 빼져서 차분 영상을 획득할 수 있다. 또한, 예측 영상 및 차분 영상을 획득함에 있어서 움직임 벡터의 변환도 이용될 수 있다. 예를 들어, 원해상도의 영상들로부터 구한 움직임 벡터의 각 성분을 1/N 배하여 획득된 움직임 벡터가 이용될 수 있고, 또는 저해상도의 영상들로부터 구한 움직임 벡터의 각 성분을 N배하여 획득된 움직임 벡터가 이용될 수 있다. 그리고, 상기 예측 영상 및 차분 영상에 적용된 여러 가지 방식 중 부호화 효율이 최적인 방식을 선택하여 그에 대응되는 영상 정보를 코딩할 수 있다. 상기 부호화 효율을 측정하는 방법에는 예를 들어, RD 관계식 등이 있다. 각 방식에 대해서 결과 비용을 비교하여 비용이 최소가 되는 방식를 최적인 방식으로 선택한다. 최종적으 로 선택된 방식에 따른 모드 정보와 움직임 정보 및 차분 영상에 관한 정보 등이 변환 과정, 양자화 과정, 엔트로피 부호화 등을 통해 압축된 비트스트림을 형성하게 된다.
본 명세서에서 설명한 실시예들은 다시점 비디오 영상에서 뿐만 아니라, 일반 비디오 영상에서도 적용될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
본 발명은 비디오 신호를 인코딩/디코딩할 때, 시간적 또는 공간적으로 다른 영상들간의 높은 상관도를 효과적으로 이용하기 위하여 해상도를 변경하여 코딩하는 기술에 관한 것이다. 저해상도 영상이 원 영상을 충분히 반영하고 다른 시점에 있는 영상들이 상당히 상관성이 높을수록 저해상도에서의 부호화만으로도 원 영상을 효과적으로 복원하는 것이 가능하다.
또한, 제안한 발명은 특히 낮은 비트율에서 높은 부호화 성능을 보여줄 수 있으며, RD 관계식을 이용하여 부호화 효율이 최적이 되는 예측 방식을 선택함으로써 높은 비트율에서도 좋은 부호화 성능을 얻을 수 있다. 방대한 데이터량을 필요로 하는 비디오 신호 코딩에서는 높은 부호화 성능이 절실하므로 본 발명이 이에 많은 기여를 할 수 있다.

Claims (19)

  1. 비디오 신호로부터 예측(prediction) 영상 및 차분(residual) 영상을 획득하는 단계와;
    상기 획득된 영상들을 이용하여 영상을 복원하는 단계를 포함하되,
    상기 비디오 신호를 디코딩함에 있어서 해상도 변환을 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  2. 제 1항에 있어서, 상기 비디오 신호 디코딩 방법은,
    부호화 효율이 최적인 방식으로 부호화된 정보를 나타내는 모드 정보를 추출하는 단계를 더 포함하되,
    상기 예측 영상 및 차분 영상은 상기 모드 정보에 근거하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  3. 제 1항 또는 제 2항에 있어서,
    상기 예측 영상을 획득할 때, 이용되는 참조 영상(reference image)은 현재 영상(current image)의 시점과 다른 시점에 있는 영상인 것을 특징으로 하는 비디오 신호 디코딩 방법.
  4. 제 3항에 있어서,
    상기 예측 영상을 획득할 때, 영상의 시점을 나타내는 시점 식별자(view identifier)을 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  5. 제 1항 또는 제 2항에 있어서,
    상기 비디오 신호 디코딩 방법은 저해상도에서 구한 움직임 벡터와 저해상도에서 구한 차분 영상을 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  6. 제 1항 또는 제 2항에 있어서, 상기 비디오 신호 디코딩 방법은,
    상기 복원된 영상을 N배하여 원 영상을 복원하는 단계를 더 포함하고,
    상기 예측 영상은 저해상도에서 구한 움직임 벡터와 저해상도 참조 영상을 이용하여 획득되고, 상기 복원된 영상은 상기 예측 영상과 저해상도에서 구해진 차분 영상을 이용하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  7. 제 6항에 있어서, 상기 비디오 신호 디코딩 방법은,
    상기 비디오 신호로부터 원해상도에서 구해진 차분 영상을 획득하는 단계를 더 포함하고,
    상기 원 영상을 복원할 때, 상기 획득된 원해상도에서 구해진 차분 영상과 상기 복원된 영상을 N배하여 획득된 영상을 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  8. 제 1항 또는 제 2항에 있어서,
    상기 예측 영상은 저해상도에서 구한 움직임 벡터를 N배하여 획득한 움직임 벡터 및 원해상도 참조 영상을 이용하여 획득되고, 상기 복원된 영상은 상기 예측 영상과 저해상도에서 구해진 차분 영상을 N배하여 획득된 영상을 이용하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  9. 제 8항에 있어서, 상기 비디오 신호 디코딩 방법은,
    상기 비디오 신호로부터 원해상도에서 구해진 차분 영상을 획득하는 단계를 더 포함하고,
    상기 영상을 복원할 때, 상기 획득된 원해상도에서 구해진 차분 영상과 상기 획득된 예측 영상 및 상기 저해상도에서 구해진 차분 영상을 N배하여 획득된 영상을 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  10. 현재 영상과 참조 영상으로부터 적어도 하나 이상의 예측 방식에 따라 예측된 영상(들)을 이용하여 차분 영상(들)을 획득하는 단계; 및
    상기 차분 영상(들)에 적용된 예측 방식 중 부호화 효율이 최적인 예측 방식을 선택하여 그에 따른 영상 정보를 코딩하는 단계
    를 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  11. 제 10항에 있어서, 상기 비디오 신호 인코딩 방법은,
    상기 선택된 예측 방식을 나타내는 모드 정보를 코딩하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  12. 제 10항 또는 제 11항에 있어서,
    현재 영상(current image)의 시점과 다른 시점에 있는 영상을 참조 영상으로 하여 상기 예측 영상을 획득하는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  13. 제 10항 또는 제 11항에 있어서,
    상기 예측된 영상은 저해상도에서 구한 움직임 벡터와 저해상도 참조 영상을 이용하여 획득되고, 상기 차분 영상은 상기 예측된 영상과 저해상도 현재 영상을 이용하여 획득되는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  14. 제 13항에 있어서, 상기 비디오 신호 인코딩 방법은,
    상기 차분 영상을 이용하여 복원된 영상을 N배하여 획득된 영상과 원해상도 현재 영상으로부터 원해상도 차분 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  15. 제 13항에 있어서, 상기 비디오 신호 인코딩 방법은,
    상기 저해상도에서 구한 움직임 벡터를 N배하여 획득한 움직임 벡터와 원해상도 참조 영상을 이용하여 원해상도 예측 영상을 획득하고, 상기 차분 영상을 복 호하고 N배하여 획득된 영상과 상기 원해상도 예측 영상으로부터 영상을 복원하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  16. 제 15항에 있어서, 상기 비디오 신호 인코딩 방법은,
    상기 복원된 영상과 원해상도 현재 영상으로부터 원해상도 차분 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  17. 제 15항에 있어서,
    상기 원해상도 예측 영상을 획득할 때, 1/4픽셀 단위의 움직임 벡터를 더 획득하는 것을 특징으로 하는 비디오 신호 인코딩 방법.
  18. 해상도 변환을 이용하여 예측 영상을 생성하는 움직임 보상부와;
    비디오 신호로부터 추출된 차분 영상을 디코딩하는 차분 영상 디코딩부; 및
    상기 예측 영상과 상기 차분 영상을 이용하여 영상을 복원하는 영상 복원부
    를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  19. 현재 영상과 참조 영상으로부터 적어도 하나 이상의 예측 방식에 따라 예측 영상(들)을 생성하는 움직임 보상부와;
    상기 예측 영상을 이용하여 차분 영상을 획득하고, 상기 차분 영상(들)에 적용된 예측 방식 중 부호화 효율이 최적인 예측 방식을 선택하여 그에 따른 영상 정 보를 코딩하는 차분 영상 인코딩부
    를 포함하는 것을 특징으로 하는 비디오 신호 인코딩 장치.
KR1020070003849A 2006-01-12 2007-01-12 비디오 신호의 디코딩/인코딩 방법 및 장치 KR20070075354A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US75823406P 2006-01-12 2006-01-12
US60/758,234 2006-01-12
KR1020060023672 2006-03-14
KR20060023672 2006-03-14
US78751706A 2006-03-31 2006-03-31
US60/787,517 2006-03-31

Publications (1)

Publication Number Publication Date
KR20070075354A true KR20070075354A (ko) 2007-07-18

Family

ID=38500450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070003849A KR20070075354A (ko) 2006-01-12 2007-01-12 비디오 신호의 디코딩/인코딩 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20070075354A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
KR20110123070A (ko) * 2010-05-06 2011-11-14 삼성전자주식회사 영상 처리 장치 및 그 방법
KR101425602B1 (ko) * 2008-03-12 2014-07-31 삼성전자주식회사 영상 부호화/복호화 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101425602B1 (ko) * 2008-03-12 2014-07-31 삼성전자주식회사 영상 부호화/복호화 장치 및 그 방법
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
WO2011096770A3 (ko) * 2010-02-02 2011-12-29 (주)휴맥스 영상 부호화/복호화 장치 및 방법
KR20110123070A (ko) * 2010-05-06 2011-11-14 삼성전자주식회사 영상 처리 장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR100751422B1 (ko) 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
KR100919885B1 (ko) 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
EP1825690B1 (en) Method and system for decomposing multiview videos
EP2991347B1 (en) Hybrid video coding supporting intermediate view synthesis
EP2538674A1 (en) Apparatus for universal coding for multi-view video
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
CN109068143B (zh) 视频数据解码方法和视频数据解码设备
JP2007180981A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
JP5902814B2 (ja) 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
KR20080108884A (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
US8798356B2 (en) Apparatus and method for encoding and decoding multi-view image
MX2008002391A (es) Metodo y aparato para codificar video de vistas multiples.
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
KR20150135457A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
US10630973B2 (en) Generation and encoding of residual integral images
KR20080027190A (ko) 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치
KR20160072104A (ko) 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
KR20070075354A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20030001758A (ko) 움직임 및 시차 보상을 갖는 입체영상의 부호화/복호화장치 및 그 방법
KR20150137081A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
US20170105006A1 (en) Method and Apparatus for Video Coding Using Master-Slave Prediction Structure
JP2010288182A (ja) 動画像復号化方法、動画像復号化装置及び動画像復号化プログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination