KR101379190B1 - 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치 - Google Patents

적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101379190B1
KR101379190B1 KR1020090102664A KR20090102664A KR101379190B1 KR 101379190 B1 KR101379190 B1 KR 101379190B1 KR 1020090102664 A KR1020090102664 A KR 1020090102664A KR 20090102664 A KR20090102664 A KR 20090102664A KR 101379190 B1 KR101379190 B1 KR 101379190B1
Authority
KR
South Korea
Prior art keywords
resolution
current block
block
image
encoding
Prior art date
Application number
KR1020090102664A
Other languages
English (en)
Other versions
KR20110045912A (ko
Inventor
김수년
임정연
이규민
최재훈
김해광
전병우
문주희
이영렬
한종기
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020090102664A priority Critical patent/KR101379190B1/ko
Priority to PCT/KR2010/007420 priority patent/WO2011052990A2/ko
Publication of KR20110045912A publication Critical patent/KR20110045912A/ko
Application granted granted Critical
Publication of KR101379190B1 publication Critical patent/KR101379190B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하고, 원래의 해상도와 복수 개의 해상도 중 하나의 해상도를 선택하며, 선택되는 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 선택된 해상도에 대한 정보가 부호화된 해상도 데이터 및 움직임 정보가 부호화된 움직임 정보 데이터를 포함하는 비트스트림을 생성하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
본 발명에 의하면, 영상을 소정의 부호화 단위마다 해상도를 적응적으로 선택하고 선택된 해상도로 영상을 부호화하여 압축 효율을 향상시킬 수 있다.
영상, 부호화, 복호화, 압축, 해상도, 선택, 적응, SAD

Description

적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치{Adaptive Resolution Based Video Encoding/Decoding Method and Apparatus}
본 발명은 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 소정의 부호화 단위마다 해상도를 적응적으로 선택하고 선택된 해상도로 영상을 부호화하여 압축 효율을 향상시키는 방법 및 장치에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 호칭하고 MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
H.264/AVC(이하 'H.264'라 약칭함) 표준안에서는 다양한 형태의 서브블록(Subblock)을 갖는 매크로블록(Macroblock) 단위로 인트라 예측(Intra Prediction) 및/또는 인터 예측(Inter Prediction)을 수행하여 잔여 신호(Residual Signal)를 생성하며, 생성된 잔여 신호에 대해 변환(Transform) 및 양자화(Quantization)을 수행하고 부호화한다.
H.264/AVC와 같은 통상적인 영상 부호화 기술은 고정된 해상도로 영상을 부호화하고 있어서, 영상의 해상도를 적응적으로 변경하여 부호화할 수 없는 문제점이 있다. 또한, 통상적인 영상 부호화 기술에서는 16x16 화소 크기의 매크로블록과 8x8 화소 크기의 서블블록 또는 4x4 화소 크기의 서브블록 단위로 영상을 부호화하는데, 이러한 통상적인 영상 부호화 기술은 작은 크기의 영상을 부호화하는 데 적합할 수는 있어도 큰 크기의 영상을 부호화하는 데에는 효율이 좋지 않을 수 있다. 이는 큰 크기의 영상을 부호화하기 위해서는 큰 크기의 매크로블록을 이용하는 것이 효율적이지만 통상적인 영상 부호화 기술에서는 매크로블록의 크기가 16x16 크기로 제한되어 있기 때문이다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 소정의 부호화 단위마다 해상도를 적응적으로 선택하고 선택된 해상도로 영상을 부호화하여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 방법에 있어서, 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계; 원래의 해상도와 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및 선택되는 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 선택된 해상도에 대한 정보가 부호화된 해상도 데이터 및 움직임 정보가 부호화된 움직임 정보 데이터를 포함하 는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 해상도 변환기; 원래의 해상도와 복수 개의 해상도 중 하나의 해상도를 선택하는 해상도 선택기; 선택되는 해상도로 변환된 참조 픽처에서 선택된 해상도의 현재 블록의 움직임을 추정하여 움직임 정보를 생성하는 움직임 추정기; 선택되는 해상도로 변환된 참조 픽처에서 움직임 정보를 이용하여 선택되는 해상도의 현재 블록의 움직임을 보상하여 선택되는 해상도의 예측 블록을 생성하는 움직임 보상기; 선택되는 해상도의 현재 블록과 선택되는 해상도의 예측 블록을 감산하여 선택되는 해상도의 잔여 블록을 생성하는 감산기;상기 선택되는 해상도의 잔여 블록을 변환 및 양자화하는 변환기 및 양자화기; 변환 및 양자화된 잔여 블록을 부호화하여 선택된 해상도의 영상 부호화 데이터를 생성하고, 선택된 해상도에 대한 정보를 부호화하여 해상도 데이터를 생성하며, 선택되는 해상도의 움직임 정보를 부호화하여 움직임 정보 데이터를 생성하며, 영상 부호화 데이터, 해상도 데이터 및 움직임 정보 데이터를 포함하는 비트스트림을 생성하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림을 복호화하여 움직임 정보, 해상도 정보 및 잔여 블록을 복원하는 단계; 복원되는 움직임 정보에 의해 지시되는 참조 픽처를 복원되는 해상도 정보에 의해 식별되는 해상도로 변환하는 단계; 해상도가 변환된 참조 픽처에서 복원되는 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성하는 단계; 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 단계; 및 복원되는 현재 블록의 해상도를 원래의 해상도로 변환하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림을 복호화하여 움직임 정보, 해상도 정보와 변환 및 양자화된 잔여 블록을 복원하는 복호화기; 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역 양자화기 및 역 변환기; 복원되는 움직임 정보에 의해 지시되는 참조 픽처를 복원되는 해상도 정보에 의해 식별되는 해상도로 변환하는 해상도 조정기; 해상도가 변환된 참조 픽처에서 복원되는 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성하는 움직임 보상기; 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산기를 포함하되, 해상도 조정기는 복원되는 현재 블록의 해상도를 원래의 해상도로 변환하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 영상을 소정의 부호화 단위마다 해상도를 적응적으로 선택하고 선택된 해상도로 영상을 부호화하여 압축 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)과 같은 소정의 영역으로 분할된다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽 처를 참조 픽처(Reference Picture)라고 한다.
본 발명의 일 실시예에 따른 영상 부호화 장치는 Y, Cr, Cb 등과 같은 휘도 성분의 영상과 색차 성분의 영상을 포함하는 영상을 부호화할 때, 블록(Block), 슬라이스(Slice), 픽처(Picture), 픽처 그룹(GOP: Group of Picture) 등 다양한 형태의 부호화 단위별로 복수 개의 해상도 중에서 하나를 적응적으로 선택하여 선택된 해상도의 영상을 부호화한다. 예를 들어, 영상 부호화 장치에 입력되는 영상의 임의의 픽처 내의 임의의 슬라이스가 10 개의 매크로블록으로 이루어지고, 각 매크로블록의 크기가 6 개의 64x64 화소 크기의 매크로블록과 4 개의 32x32 화소 크기의 매크로블록이라고 가정하면, 영상 부호화 장치는 6 개의 64x64 화소 크기의 매크로블록에 대해서는 수평 방향 해상도와 수직 방향 해상도를 모두 4:1로 선택하여 해당 해상도의 블록인 16x16 화소 크기의 매크로블록으로 변환하여 부호화하고, 4 개의 32x32 화소 크기의 매크로블록에 대해서는 수평 방향 해상도와 수직 방향 해상도를 모두 2:1로 선택하여 해당 해상도의 블록인 16x16 화소 크기의 매크로블록으로 변환하여 부호화할 수 있다.
따라서, 본 발명의 일 실시예에 따르면, 큰 크기를 가지는 고해상도 영상을 효율적으로 부호화하기 위해, 큰 크기의 매크로블록을 다양한 해상도로 다운 샘플링하여 작은 크기의 매크로블록으로 변환한 후 작은 크기의 매크로블록 단위로 예측 부호화할 수 있다. 예를 들어, 124x124 화소 크기의 매크로블록, 64x64 화소 크기의 매크로블록, 32x32 화소 크기의 매크로블록 등을 각각 8:1, 4:1, 2:1의 해상도로 다운 샘플링하여 16x16 화소 크기의 블록으로 변환한 후 16x16 화소 크기의 블록 단위로 예측 부호화를 수행할 수 있다.
본 발명의 일 실시예에서 해상도는 1/16 해상도, 1/8 해상도, 1/4 해상도, 1/2 해상도, 1 해상도, 2 해상도, 4 해상도 8 해상도 등과 같은 1/2n(단, n은 정수임) 해상도가 될 수 있으며, 부호화하고자 하는 블록, 슬라이스, 픽처, 픽처 그룹 등과 같은 소정의 단위의 영상을 기준으로 다운 샘플링되거나 업 샘플링되는 비율을 나타낸다. 예를 들어, 부호화하고자 하는 블록이 16x16 화소 크기의 블록이라고 가정할 때, 부호화하고자 하는 블록인 16x16 화소 크기의 블록의 원래의 해상도는 1 해상도가 되며, 원래의 해상도를 1/4 해상도로 변환하면 16x16 화소 크기의 블록은 4x4 화소 크기의 블록으로 변환된다. 이와 같이 1/4 해상도의 변환은 원래의 블록을 1/4 배로 다운 샘플링함으로써 이루어질 수 있다. 또한, 부호화하고자 하는 블록이 16x16 화소 크기의 블록이라고 가정할 때, 부호화하고자 하는 블록인 16x16 화소 크기의 블록의 원래의 해상도는 1 해상도가 되며, 원래의 해상도를 4 해상도로 변환하면 16x16 화소 크기의 블록은 64x64 화소 크기의 블록으로 변환된다. 이와 같이 4 해상도의 변환은 원래의 블록을 4 배로 업 샘플링함으로써 이루어질 수 있다.
이러한 해상도는 수평 방향 해상도와 수직 방향 해상도를 포함할 수 있는데, 수평 방향 해상도와 수직 방향 해상도는 항상 동일해야 하는 것은 아니며, 각자가 독립적인 해상도를 가질 수 있다. 예를 들어, 블록의 수평 방향 해상도와 수직 방향 해상도는 모두 1/2 해상도로 동일할 수도 있지만, 수평 방향 해상도와 수직 방 향 해상도가 각각 1/2 해상도와 1/4 해상도로 서로 다를 수도 있다.
이하에서는 설명의 편의를 위해, 영상이 블록 단위로 부호화되고 영상의 해상도도 블록 단위로 선택되어 선택된 해상도에 따라 예측 부호화되는 것을 설명하지만, 반드시 블록 단위로 부호화되거나 블록 단위로 해상도가 선택되어야 하는 것은 아니며, 슬라이스 단위, 픽처 단위 또는 픽처 그룹 단위로 부호화되거나 해상도가 선택될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 해상도 변환기(Resolution Converter, 110), 해상도 선택기(Resolution Selector, 120), 움직임 추정기(Motion Estimator, 130), 움직임 보상기(Motion Compensator, 140), 감산기(Subtracter, 150), 변환기 및 양자화기(Transformer and Quantizer, 160), 부호화기(Encoder, 170), 역 양자화기 및 역 변환기(Inverse Quantizer and Inverse Transformer, 180), 가산기(Adder, 182) 및 해상도 조정기(Resolution Adjuster, 190)를 포함하여 구성될 수 있다.
해상도 변환기(110)는 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환한다. 즉, 해상도 변환기(110)는 입력 영상에서 부호화하고자 하는 블록인 현재 블록의 해상도를 변환하여 복수 개의 해상도를 가지는 현재 블록을 생성한다. 여기서, 복수 개의 해상도는 기 설정될 수도 있고, 현재 블록의 크기와 같은 입력 영상의 특성에 따라 적응적으로 결정될 수도 있다. 예를 들어, 1/2 해상도, 1/4 해 상도와 같은 두 개의 해상도가 복수 개의 해상도로서 미리 해상도 변환기(110)에 설정될 수도 있으며, 해상도 변환기(110)가 현재 블록의 크기를 기초로 1/2 해상도, 1/4 해상도, 1/8 해상도와 같은 세 개의 해상도를 복수 개의 해상도로서 설정할 수도 있다. 물론, 복수 개의 해상도는 수평 방향의 해상도와 수직 방향의 해상도가 각각 다르게 설정되거나 결정될 수도 있다. 예를 들어, 복수 개의 해상도로서 세 개의 해상도가 설정되거나 결정되는 경우, 각 해상도는 수평 방향 1/2 해상도와 수직 방향 1/2 해상도, 수평 방향 1/2 해상도와 수직 방향 1/4 해상도, 수평 방향 1/4 해상도와 수직 방향 1/2 해상도가 될 수도 있다.
도 2는 본 발명의 일 실시예에 따라 블록의 해상도를 변환하는 과정을 나타낸 예시도이다.
도 2에서는 현재 블록이 NxN 화소 크기의 블록인 경우 4 개의 해상도로 블록을 변환하는 모습을 예시적으로 나타내었다. 현재 블록은 휘도(Y) 성분의 블록과 색차(Cr, Cb) 성분의 블록에 무관하게 모두 다양한 해상도로 변환될 수 있다. 도 2에서는 4 개의 해상도로서 수평 방향 해상도 1/2과 수직 방향 해상도 1/2, 수평 방향 해상도 1/2와 수직 방향 해상도 1, 수평 방향 해상도 1/2와 수직 방향 해상도 1/4, 수평 방향 해상도 1/4와 수직 방향 해상도 1/4인 경우를 예를 들었다.
도 2에 도시한 바와 같이, NxN 화소 크기의 블록이 수평 방향 해상도 1/2과 수직 방향 해상도 1/2로 변환되면 수평 방향과 수직 방향 각각에 대해 2 배로 다운 샘플링되어 N/2xN/2 화소 크기의 블록이 될 수 있으며, NxN 화소 크기의 블록이 수평 방향 해상도 1/2과 수직 방향 해상도 1로 변환되면 수평 방향에 대해 2 배로 수 직 방향에 대해 1 배로 다운 샘플링되어 N/2xN 화소 크기의 블록이 될 수 있으며, NxN 화소 크기의 블록이 수평 방향 해상도 1/2과 수직 방향 해상도 1/4로 변환되면 수평 방향에 대해 2 배로 수직 방향에 대해 4 배로 다운 샘플링되어 N/2xN/4 화소 크기의 블록이 될 수 있으며, NxN 화소 크기의 블록이 수평 방향 해상도 1/4과 수직 방향 해상도 1/4로 변환되면 수평 방향과 수직 방향에 대해 각각 4 배로 다운 샘플링되어 N/4xN/4 화소 크기의 블록이 될 수 있다.
다시 도 1을 참조하면, 해상도 선택기(120)는 원래의 해상도와 복수 개의 해상도 중 하나의 해상도를 선택한다. 즉, 해상도 선택기(120)는 입력 영상에서 부호화하고자 하는 현재 블록의 원래의 해상도와 해상도 변환기(110)에 의해 변환된 복수 개의 해상도의 현재 블록의 복수 개의 해상도 중에서 하나의 해상도를 선택한다.
이를 위해, 해상도 선택기(120)는 일 예로, 왜곡 비용(Distortion Cost)를 이용하여 원래의 해상도와 복수 개의 해상도 중 하나의 해상도를 선택할 수도 있다. 즉, 해상도 선택기(120)는 복수 개의 해상도의 현재 블록을 원래의 해상도로 재변환하여 복수 개의 복원 블록을 생성하고, 원래의 해상도의 현재 블록과 복수 개의 복원 블록 간의 왜곡 비용을 계산하여 해상도별 왜곡 비용을 계산하며, 해상도별 왜곡 비용 중에 임계값보다 작은 왜곡 비용이 하나 이상 있는 경우, 임계값보다 작은 왜곡 비용 중 가장 작은 왜곡 비용을 가지는 해상도를 하나의 해상도로서 선택하며, 해상도별 왜곡 비용 중에 임계값보다 작은 왜곡 비용이 없는 경우, 원래의 해상도를 하나의 해상도로서 선택할 수 있다. 이때, 왜곡 비용으로서 SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference)를 이용할 수 있다. 이러한 블록의 해상도의 재변환은 해상도 선택기(120)가 수행할 수도 있지만 해상도 선택기(120)가 해상도 변환기(110)로 하여금 변환하도록 제어한 후 변환된 블록을 전달받을 수도 있을 것이다.
예를 들어, 현재 블록이 64x64 화소 크기의 블록(A 블록)이고 현재 블록의 원래의 해상도가 1 해상도이며 복수 개의 해상도가 1/4 해상도와 1/8 해상도라고 가정하면, 해상도 변환기(110)에 의해 64x64 화소 크기의 A 블록은 각각 수평 방향과 수직 방향으로 모두 2 배와 4 배로 다운 샘플링되어 16x16 화소 크기의 블록(A1/4D)과 8x8 화소 크기의 블록(A1/8D)으로 변환된다. 다운 샘플링된 블록들은 다시 각각 수평 방향과 수직 방향으로 모두 2 배와 4배로 업 샘플링되어 두 개의 64x64 화소 크기의 복원 블록(A1/8DU, A1/8DU)으로 재변환된다.
이 경우, 해상도 선택기(120)는 원래의 해상도의 현재 블록인 A 블록과 해상도가 재변환된 두 개의 복원 블록인 A1/8DU, A1/8DU 각각에 대한 왜곡 비용을 계산하여 이와 같이 계산되는 왜곡 비용이 해상도별 왜곡 비용이 된다. 이때, 왜곡 비용으로서는 SAD가 이용될 수 있다. 따라서, 해상도별 왜곡 비용은 1/4 해상도에 대한 왜곡 비용 SAD(A, A1/4D)와 1/8 해상도에 대한 왜곡 비용 SAD(A, A1/8D)로서 계산될 수 있다. 해상도 선택기(120)는 1/4 해상도에 대한 왜곡 비용 SAD(A, A1/4D)와 1/8 해상도에 대한 왜곡 비용 SAD(A, A1/8D)를 기 설정된 임계값과 비교하여 임계값보다 작은 왜곡 비용이 있는지 여부를 판단한다. 해상도 선택기(120)는 만약, 임계값보다 작은 왜곡 비용이 하나도 존재하지 않는다면 현재 블록의 원래의 해상도를 해당 블록 또는 소정의 부호화 단위에 대한 해상도로서 선택하며, 임계값보다 작은 왜곡 비용이 하나만 존재하는 경우에는 임계값보다 작은 그 왜곡 비용을 해당 블록 또는 소정의 부호화 단위에 대한 해상도로서 선택하며, 두 개 모두 임계값보다 작은 경우에는 SAD(A, A1/4D)와 SAD(A, A1/8D) 중 작은 값을 가지는 해상도를 해당 블록 또는 소정의 부호화 단위에 대한 해상도로서 선택한다.
다른 예로, 해상도 선택기(120)는 율-왜곡 비용(Rate-Distortion Cost)을 이용하여 원래의 해상도와 복수 개의 해상도 중 하나의 해상도를 선택할 수도 있다. 즉, 해상도 선택기(120)는 원래의 해상도의 현재 블록과 복수 개의 해상도의 현재 블록을 각각 예측 부호화하여 해상도별 영상 부호화 데이터를 생성하고, 해상도별 영상 부호화 데이터에 대한 부호화 비용을 계산하며, 해상도별 부호화 비용 중 가장 작은 부호화 비용을 가지는 해상도를 하나의 해상도로서 선택할 수 있다. 이와 같이 해상도별로 현재 블록을 예측 부호화하여 해상도별 영상 부호화 데이터를 생성하는 것은 해상도 선택기(120)가 수행할 수도 있지만, 움직임 추정기(130), 움직임 보상기(140), 감산기(150), 변환기 및 양자화기(160), 부호화기(170), 역 양자화기 및 역 변환기(180), 가산기(182), 해상도 조정기(190)를 통해 수행된 후, 해상도 선택기(120)가 율-왜곡 비용을 계산하기 위한 율값과 왜곡값을 움직임 보상기(140)와 부호화기(170)로부터 전달받아 율-왜곡 비용을 계산할 수도 있을 것이 다. 만약, 해상도 선택기(120)가 율-왜곡 비용을 이용하여 해상도를 선택하는 경우에는 해상도별 영상 부호화 데이터가 이미 생성되어 있으므로, 별도의 예측 부호화 과정이 수행되지 않고 부호화기(170)로 하여금 선택된 해상도의 영상 부호화 데이터가 비트스트림에 포함될 수 있다.
움직임 추정기(130)는 선택되는 해상도로 변환된 참조 픽처에서 선택된 해상도의 현재 블록의 움직임을 추정하여 움직임 정보(Motion Information)를 생성한다. 즉, 움직임 추정기(130)는 현재 블록의 움직임을 추정하여 움직임 벡터(Motion Vector)와 참조 픽처 색인(Reference Picture Index)를 포함하는 움직임 정보를 생성한다. 이때, 움직임 추정기(130)는 해상도 조정기(190) 내의 메모리(194)에 저장된 참조 픽처의 해상도가 해상도 선택기(120)에 의해 선택된 해상도로 변환된 참조 픽처를 이용하여 현재 블록의 움직임을 추정한다.
움직임 보상기(140)는 선택되는 해상도로 변환된 참조 픽처에서 움직임 정보를 이용하여 선택되는 해상도의 현재 블록의 움직임을 보상하여 선택되는 해상도의 예측 블록(Predicted Block)을 생성한다. 즉, 움직임 보상기(140)는 움직임 추정기(130)에 의해 추정된 현재 블록의 움직임 정보를 이용하여 현재 블록의 움직임을 보상함으로써 예측 블록을 생성한다. 이때, 움직임 보상기(140)는 해상도 조정기(190) 내의 메모리(194)에 저장된 참조 픽처의 해상도가 해상도 선택기(120)에 의해 선택된 해상도로 변환된 참조 픽처 중 움직임 정보의 참조 픽처 색인에 의해 지시되는 참조 픽처에서 움직임 정보의 움직임 벡터에 의해 지시되는 블록을 예측 블록으로서 생성한다.
감산기(150)는 선택되는 해상도의 현재 블록과 선택되는 해상도의 예측 블록을 감산하여 선택되는 해상도의 잔여 블록(Residual Blcok)을 생성한다. 즉, 감산기(150)는 해상도 선택기(120)에 의해 선택되는 해상도의 현재 블록과 움직임 보상기(140)에 의해 생성되는 예측 블록을 감산하여 해상도 선택기(120)에 의해 선택되는 해상도의 잔여 블록을 생성한다. 여기서 잔여 블록은 잔여 신호(Residual Signal)를 포함하는데, 잔여 신호는 선택되는 해상도의 현재 블록의 화소의 화소값과 선택되는 해상도의 예측 블록의 화소의 화소값의 차이값을 가진다.
변환기 및 양자화기(160)는 선택되는 해상도의 잔여 블록을 변환 및 양자화한다. 즉, 변환기 및 양자화기(160)는 감산기(150)에 의해 생성된 잔여 블록의 잔여 신호(Residual Signal)를 주파수 영역으로 변환하여 변환 계수(Transform Coefficient)를 가지는 변환된 잔여 블록을 생성하고 변환된 잔여 블록의 변환 계수를 양자화하여 변환 및 양자화된 잔여 블록을 생성한다. 이때, 사용되는 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform) 등과 같은 공간 영역의 화상 신호를 주파수 영역으로 변환하는 기법이 이용될 수 있으며, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
부호화기(170)는 변환 및 양자화된 잔여 블록을 부호화하여 선택된 해상도의 영상 부호화 데이터를 생성하고, 선택된 해상도에 대한 정보를 부호화하여 해상도 데이터를 생성하며, 선택되는 해상도의 움직임 정보를 부호화하여 움직임 정보 데이터를 생성하며, 영상 부호화 데이터, 해상도 데이터 및 움직임 정보 데이터를 포함하는 비트스트림을 생성한다. 즉, 부호화기(170)는 변환기 및 양자화기(160)에 의해 변환 및 양자화된 잔여 블록의 양자화된 변환 계수를 부호화하여 선택되는 해상도의 영상 부호화 데이터를 생성하고, 해상도 선택기(120)로부터 전달되는 선택되는 해상도에 대한 정보인 해상도 정보를 부호화하여 해상도 데이터를 생성하며, 움직임 추정기(130)로부터 전달되는 움직임 정보를 부호화하여 움직임 정보를 생성하며, 선택되는 해상도의 영상 부호화 데이터, 해상도 데이터 및 움직임 정보 데이터를 포함하는 비트스트림을 생성하여 출력한다. 여기서, 부호화기(170)가 양자화된 변환 계수, 선택되는 해상도에 대한 정보 및 움직임 정보를 부호화하는 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 이용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 이용될 수 있을 것이다.
한편, 해상도 선택기(120)가 왜곡 비용을 이용하여 해상도를 선택하는 경우, 움직임 추정기(130), 움직임 보상기(140), 감산기(150), 변환기 및 양자화기(160) 및 부호화기(170)는 해상도 선택기(120)에 의해 선택되는 해상도의 현재 블록에 대해서만 움직임을 추정하고 보상하여 예측 블록을 생성하고 그 잔여 블록을 생성하며 잔여 블록을 변환 및 양자화하여 부호화하여 선택되는 해상도의 영상 부호화 데이터를 생성하면 된다. 하지만, 해상도 선택기(120)가 율-왜곡 비용을 이용하여 해상도를 선택하는 경우, 움직임 추정기(130), 움직임 보상기(140), 감산기(150), 변환기 및 양자화기(160) 및 부호화기(170)는 원래의 해상도와 복수 개의 해상도 각 각에 대해 즉, 각 해상도별로 현재 블록의 움직임을 추정하고 보상하여 예측 블록을 생성하고 그 잔여 블록을 생성하며 잔여 블록을 변환 및 양자화하여 부호화하여 해상도별 영상 부호화 데이터를 생성한다. 이와 같이 생성되는 해상도별 영상 부호화 데이터 중에서 해상도 선택기(120)에 의해 선택되는 해상도의 영상 부호화 데이터가 비트스트림에 포함된다.
역 양자화기 및 역 변환기(180)는 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 선택되는 해상도의 잔여 블록을 복원한다. 즉, 역 양자화기 및 역 변환기(180)는 변환기 및 양자화기(160)로부터 전달되는 변환 및 양자화된 잔여 블록을 역 양자화하여 변환 계수를 가지는 잔여 블록을 복원하고, 변환 계수를 가지는 잔여 블록을 다시 역 변환하여 잔여 신호를 가지는 잔여 블록을 복원한다. 이때, 역 양자화기 및 역 변환기(180)는 변환기 및 양자화기(160)에서 변환 및 양자화한 방식을 역으로 수행함으로써 잔여 영상을 복원할 수 있다. 또한, 역 양자화기 및 역 변환기(180)는 변환기 및 양자화기(160)로부터 전달되는 모든 변환 및 양자화된 잔여 영상을 역 양자화고 역 변환하는 것이 아니라 해상도 선택기(120)에 의해 선택되는 해상도에 따른 변환 및 양자화된 잔여 블록만을 역 양자화 및 역 변환하여 선택되는 해상도의 잔여 영상만을 복원할 수 있다.
가산기(182)는 복원되는 잔여 블록을 선택되는 해상도의 예측 블록과 가산하여 선택되는 해상도의 현재 블록을 복원한다.
해상도 조정기(190)는 복원되는 현재 블록의 해상도를 원래의 해상도로 변환하여 참조 픽처를 저장하고, 참조 픽처를 선택되는 해상도로 변환한다. 이를 위해, 해상도 조정기(190)는 도시한 바와 같이, 업 샘플러(192), 메모리(194) 및 다운 샘플러(194)를 포함하여 구성될 수 있다. 다만, 이러한 해상도 조정기(190)의 구성은 해상도 변환기(110)가 원래의 해상도의 현재 블록을 다운 샘플링하여 복수 개의 해상도로 변환하는 경우에 따른 예일 뿐이다. 따라서, 해상도 변환기(110)가 원래의 해상도의 현재 블록을 업 샘플링하여 복수 개의 해상도로 변환하는 경우에는 업 샘플러(192)와 다운 샘플러(194)의 배치가 서로 바뀔 수 있으며, 더 나아가서 해상도 변환기(110)가 원래의 해상도의 현재 블록을 다운 샘플링할 수도 있고 업 샘플링할 수도 있다면, 업 샘플러(192)와 다운 샘플러(196)는 업 샘플링이나 다운 샘플링만을 수행하지 않고 업 샘플링과 다운 샘플링을 모두 수행할 수 있다.
업 샘플러(192)는 가산기(182)에 의해 복원되는 현재 블록을 업 샘플링하여 선택되는 해상도의 복원된 현재 블록을 원래의 해상도의 복원된 현재 블록으로 변환한다. 이를 위해, 업 샘플러(192)는 해상도 선택기(120)로부터 전달되는 해상도 정보를 이용하여 업 샘플링의 수행 여부와 업 샘플링 방식을 결정할 수 있다. 예를 들어, 해상도 선택기(120)에 의해 선택되는 해상도가 수평 방향과 수직 방향으로 모두 1/2 해상도라면 가산기(182)에 의해 복원되는 현재 블록의 해상도도 수평 방향과 수직 방향으로 모두 1/2이므로, 가산기(182)에 의해 복원되는 현재 블록을 수평 방향과 수직 방향으로 모두 2 배로 업 샘플링하여 원래의 해상도의 복원된 현재 블록으로 변환할 수 있다. 만약, 해상도 선택기(120)에 의해 선택되는 해상도가 수평 방향과 수직 방향으로 모두 1 해상도라면 즉, 원래의 해상도라면 가산기(182)에 의해 복원되는 현재 블록의 해상도는 원래의 해상도이므로, 업 샘플러(192)는 업 샘플링을 수행하지 않고 가산기(182)에 의해 복원되는 현재 블록을 메모리(194)로 바이패스할 수 있다.
메모리(194)는 참조 픽처를 저장하기 위한 메모리로서, 업 샘플러(192)로부터 전달되는 현재 블록을 픽처 단위로 누적하여 참조 픽처로서 저장된다. 메모리(194)에 저장되는 블록들은 항상 현재 블록의 원래의 해상도로 저장된다.
다운 샘플러(196)는 메모리(194)에 저장되는 참조 픽처를 해상도 선택기(120)에 의해 선택되는 해상도로 변환하기 위해, 참조 픽처를 다운 샘플링한다. 이를 위해, 다운 샘플러(196)는 해상도 선택기(120)로부터 전달되는 해상도 정보를 이용하여 다운 샘플링의 수행 여부와 다운 샘플링 방식을 결정할 수 있다. 예를 들어, 해상도 선택기(120)에 의해 선택되는 해상도가 수평 방향과 수직 방향으로 모두 1/2 해상도라면 메모리(194)에 저장되는 원래의 해상도의 참조 픽처를 1/2 해상도로 다운 샘플링하여 수평 방향과 수직 방향으로 모두 1/2 해상도로 변환된 참조 픽처를 움직임 추정기(130)와 움직임 보상기(140)로 전달한다. 만약, 해상도 선택기(120)에 의해 선택되는 해상도가 수평 방향과 수직 방향으로 모두 1 해상도라면 즉, 원래의 해상도라면 메모리(194)에 저장되는 참조 픽처의 해상도와 동일하므로, 다운 샘플러(196)는 다운 샘플링을 수행하지 않고 메모리(194)에 저장된 참조 픽처를 그대로 움직임 추정기(130) 및 움직임 보상기(140)로 전달한다.
도 1에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 인트라 예측(Intra Prediction)을 위한 인트라 예측기, 디블로킹 필터(Deblocking Filter) 등을 추가로 포함할 수 있다. 이 경우, 감산기(150)는 현 재 블록과 인트라 예측기에 의해 생성되는 예측 블록을 감산하여 잔여 블록을 생성할 수 있으며, 변환기 및 양자화기(160) 및 역 양자화기 및 역 변환기(180)는 잔여 블록에 대한 변환 및 양자화와 변환 및 양자화된 잔여 블록에 대한 역 변환 및 역 양자화를 위한 연산을 추가로 수행할 수도 있다. 또한, 부호화기(170)는 변환 및 양자화된 잔여 블록을 부호화하여 영상 부호화 데이터를 생성할 수 있으며, 이러한 데이터는 비트스트림에 포함된다. 또한, 디블로킹 필터는 복원되는 입력 영상을 디블로킹 필터링한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 부호화 방법에 따르면, 영상 부호화 장치(100)는 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하고(S310), 원래의 해상도와 복수 개의 해상도 중 하나의 해상도를 선택하며(S320), 선택되는 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 선택된 해상도에 대한 정보가 부호화된 해상도 데이터 및 움직임 정보가 부호화된 움직임 정보 데이터를 포함하는 비트스트림을 생성한다(S330).
단계 S310에서, 영상 부호화 장치(100)는 원래의 해상도의 현재 블록을 복수 개의 해상도로 다운 샘플링할 수 있다. 여기서, 해상도는 수평 방향의 해상도와 수 직 방향 해상도를 포함하되, 수평 방향의 해상도와 수직 방향 해상도는 독립적인 해상도를 가질 수 있다.
단계 S320에서, 영상 부호화 장치(100)는 왜곡 비용을 이용하여 하나의 해상도를 선택할 수 있다. 왜곡 비용을 이용하여 하나의 해상도를 선택하는 방법에 대해서는 후술하는 과정에서 도 4를 통해 상세히 설명한다.
이와 같이, 단계 S320에서 왜곡 비용을 이용하여 해상도를 선택하는 경우, 단계 S330에서, 영상 부호화 장치(100)는 선택되는 해상도로 해상도가 변환된 참조 픽처에서 선택되는 해상도의 현재 블록의 움직임을 추정하여 움직임 정보를 생성하고 움직임 정보를 이용하여 선택되는 해상도의 예측 블록을 생성하고, 선택되는 해상도의 현재 블록과 선택되는 해상도의 예측 블록을 감산하여 선택되는 해상도의 잔여 블록을 생성하며, 선택되는 해상도의 잔여 블록을 변환 및 양자화하며, 변환 및 양자화되는 잔여 블록을 부호화하여 선택되는 해상도의 영상 부호화 데이터를 생성하며, 선택되는 해상도에 대한 정보를 부호화하여 해상도 데이터를 생성하며, 움직임 정보를 부호화하여 움직임 정보 데이터를 생성하며, 선택되는 해상도의 영상 부호화 데이터, 해상도 데이터 및 움직임 정보 데이터를 포함하는 비트스트림을 생성할 수 있다. 이때, 영상 부호화 장치(100)는 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 선택되는 해상도의 잔여 블록을 복원하고, 복원되는 잔여 블록을 선택되는 해상도의 예측 블록과 가산하여 선택되는 해상도의 현재 블록을 복원하며, 복원되는 현재 블록의 해상도를 원래의 해상도로 변환하여 원래의 해상도의 참조 픽처를 저장할 수 있다.
또한, 단계 S320에서, 영상 부호화 장치(100)는 율-왜곡 비용을 이용하여 하나의 해상도를 선택할 수 있다. 율-왜곡 비용을 이용하여 하나의 해상도를 선택하는 방법에 대해서는 후술하는 과정에서 도 5를 통해 상세히 설명한다.
또한, 단계 S330에서, 영상 부호화 장치(100)는 해상도 데이터를 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에 삽입할 수 있다.
도 4는 본 발명의 일 실시예에 따라 해상도를 선택하는 방법의 일 예를 설명하기 위한 순서도이다.
도 4에는 도 3의 단계 S320에서 원래의 해상도와 복수 개의 해상도 중에서 하나의 해상도를 선택하는 방법의 일 예로서 왜곡 비용을 이용하여 해상도를 선택하는 방법을 나타내었다.
영상 부호화 장치(100)는 복수 개의 해상도의 현재 블록을 원래의 해상도로 재변환하여 복수 개의 복원 블록을 생성하고(S410), 원래의 해상도의 현재 블록과 복수 개의 복원 블록 간의 왜곡 비용을 계산하여 해상도별 왜곡 비용을 계산하며(S420), 해상도별 왜곡 비용 중에 임계값보다 작은 왜곡 비용이 하나 이상 있는지 여부를 판단하여(S430), 해상도별 왜곡 비용 중에 임계값보다 작은 왜곡 비용이 하나 이상 있는 경우에는 임계값보다 작은 왜곡 비용 중 가장 작은 왜곡 비용을 가지는 해상도를 하나의 해상도로서 선택하며(S440), 해상도별 왜곡 비용 중에 임계값보다 작은 왜곡 비용이 없는 경우에는 원래의 해상도를 하나의 해상도로서 선택할 수 있다(S450). 여기서, 왜곡 비용으로서는 SAD, SSD(Sum of Squared Difference) 등과 같은 함수가 이용될 수 있다.
도 5는 본 발명의 일 실시예에 따라 해상도를 선택하는 방법의 다른 예를 설명하기 위한 순서도이다.
도 5에는 도 3의 단계 S320에서 원래의 해상도와 복수 개의 해상도 중에서 하나의 해상도를 선택하는 방법의 다른 예로서 율-왜곡 비용을 이용하여 해상도를 선택하는 방법을 나타내었다.
율-왜곡 비용을 이용하여 해상도를 선택하는 경우, 영상 부호화 장치(100)는 원래의 해상도의 현재 블록과 복수 개의 해상도의 현재 블록을 각각 예측 부호화하여 해상도별 영상 부호화 데이터를 생성하고(S510), 해상도별 영상 부호화 데이터에 대한 부호화 비용을 계산하며(S520), 해상도별 부호화 비용 중 가장 작은 부호화 비용을 가지는 해상도를 하나의 해상도로서 선택할 수 있다(S530).
이 경우, 영상 부호화 장치(100)는 각 해상도별로 현재 블록이 예측 부호화된 해상도별 영상 부호화 데이터를 모두 가지고 있으므로, 해상도가 선택되면 선택된 해상도의 영상 부호화 데이터를 비트스트림에 포함시켜 출력하면 된다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(600)는 복호화기(Decoder, 610), 역 양자화기 및 역 변환기(620), 움직임 보상기(630), 가산기(640) 및 해상도 조정기(650)를 포함하여 구성될 수 있다.
복호화기(610)는 비트스트림을 복호화하여 움직임 정보, 해상도 정보와 변환 및 양자화된 잔여 블록을 복원한다. 즉, 복호화기(610)는 비트스트림으로부터 움직 임 정보 데이터, 해상도 데이터 및 영상 부호화 데이터를 추출하고, 움직임 정보 데이터를 복호화하여 움직임 정보를 복원하며, 해상도 데이터를 복호화하여 해상도 정보를 복원하며, 영상 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원한다. 이때, 복호화기(610)는 엔트로피 부호화와 같은 부호화 기술을 이용하여 복호화할 수 있으며, 도 1을 통해 전술한 부호화기(170)가 부호화하는 과정을 역으로 수행하여 복호화할 수 있다.
역 양자화기 및 역 변환기(620)는 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원한다. 즉, 역 양자화기 및 역 변환기(620)는 복호화기(610)에 의해 전달되는 변환 및 양자화된 잔여 블록의 양자화된 변환 계수를 역 양자화 및 역 변환하여 잔여 신호를 가지는 잔여 블록을 복원한다. 이때, 역 양자화기 및 역 변환기(620)는 도 1을 통해 전술한 변환기 및 양자화기(160)가 변환 및 양자화하는 과정을 역으로 수행하여 역 양자화 및 역 변환할 수 있다.
움직임 보상기(630)는 해상도가 변환된 참조 픽처에서 복원되는 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성한다. 즉, 움직임 보상기(630)는 복호화기(610)에 의해 복원되는 해상도 정보에 의해 식별되는 해상도에 따라 해상도가 변환된 참조 픽처에서 복호화기(610)에 의해 복원되는 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성한다.
가산기(640)는 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원한다. 즉, 가산기(640)는 역 양자화기 및 역 변환기(620)에 의해 복원되는 잔여 블록과 움직임 보상기(630)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복 원한다.
해상도 조정기(650)는 복원되는 움직임 정보에 의해 지시되는 참조 픽처를 복원되는 해상도 정보에 의해 식별되는 해상도로 변환하고, 복원되는 현재 블록의 해상도를 원래의 해상도로 변환한다. 이와 같이 복원되는 현재 블록의 해상도가 원래의 해상도로 변환되어 픽처 단위로 누적되어 복원 영상으로서 출력되거나 참조 픽처로서 저장될 수 있다.
이를 위해, 해상도 조정기(650)는 도시한 바와 같이, 업 샘플러(652), 메모리(654) 및 다운 샘플러(656)를 포함하여 구성될 수 있다. 다만, 이러한 해상도 조정기(650)의 구성은 복원되는 해상도 정보가 분수 해상도인 경우에 따른 예일 뿐이다. 따라서, 복원되는 해상도 정보가 정수 해상도인 경우에는 업 샘플러(652)와 다운 샘플러(656)의 배치가 서로 바뀔 수 있으며, 복원되는 해상도 정보가 분수 해상도일 수도 있고 정수 해상도일 수도 있다면, 업 샘플러(652)와 다운 샘플러(656)는 업 샘플링이나 다운 샘플링만을 수행하지 않고 업 샘플링과 다운 샘플링을 모두 수행할 수 있다.
업 샘플러(652)는 가산기(640)에 의해 복원되는 현재 블록을 업 샘플링하여 복원되는 해상도 정보에 의해 식별되는 해상도의 복원된 현재 블록을 원래의 해상도의 복원된 현재 블록으로 변환한다. 이를 위해, 업 샘플러(652)는 복호화기(610)로부터 전달되는 움직임 정보에 따라 업 샘플링의 수행 여부와 업 샘플링 방식을 결정할 수 있다. 예를 들어, 복원되는 해상도 정보에 의해 식별되는 해상도가 수평 방향과 수직 방향으로 모두 1/2 해상도라면 가산기(640)에 의해 복원되는 현재 블 록의 해상도도 수평 방향과 수직 방향으로 모두 1/2이므로, 가산기(640)에 의해 복원되는 현재 블록을 수평 방향과 수직 방향으로 모두 2 배로 업 샘플링하여 원래의 해상도의 복원된 현재 블록으로 변환할 수 있다. 만약, 복원되는 해상도 정보에 의해 식별되는 해상도가 수평 방향과 수직 방향으로 모두 1 해상도라면 즉, 원래의 해상도라면 가산기(640)에 의해 복원되는 현재 블록의 해상도는 원래의 해상도이므로, 업 샘플러(652)는 업 샘플링을 수행하지 않고 가산기(640)에 의해 복원되는 현재 블록을 메모리(654)로 바이패스할 수 있다.
메모리(654)는 참조 픽처를 저장하기 위한 메모리로서, 업 샘플러(652)로부터 전달되는 현재 블록은 픽처 단위로 누적되어 참조 픽처로서 저장된다. 메모리(194)에 저장되는 블록들은 항상 현재 블록의 원래의 해상도로 저장된다.
다운 샘플러(656)는 메모리(654)에 저장되는 참조 픽처를 복원되는 해상도 정보에 의해 식별되는 해상도로 변환하기 위해, 참조 픽처를 다운 샘플링한다. 이를 위해, 다운 샘플러(656)는 복호화기(610)로부터 전달되는 해상도 정보를 이용하여 다운 샘플링의 수행 여부와 다운 샘플링 방식을 결정할 수 있다. 예를 들어, 복원되는 해상도 정보에 의해 식별되는 해상도가 수평 방향과 수직 방향으로 모두 1/2 해상도라면 메모리(654)에 저장되는 원래의 해상도의 참조 픽처를 1/2 해상도로 다운 샘플링하여 수평 방향과 수직 방향으로 모두 1/2 해상도로 변환된 참조 픽처를 움직임 보상기(630)로 전달한다. 만약, 복원되는 해상도 정보에 의해 선택되는 해상도가 수평 방향과 수직 방향으로 모두 1 해상도라면 즉, 원래의 해상도라면 메모리(654)에 저장되는 참조 픽처의 해상도와 동일하므로, 다운 샘플러(656)는 다 운 샘플링을 수행하지 않고 메모리(654)에 저장된 참조 픽처를 그대로 움직임 보상기(630)로 전달한다.
도 6에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(600)는 인트라 예측을 위한 인트라 예측기, 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터기 등을 추가로 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 복호화 방법에 따르면, 영상 복호화 장치(600)는 비트스트림을 복호화하여 움직임 정보, 해상도 정보 및 잔여 블록을 복원하고(S710), 복원되는 움직임 정보에 의해 지시되는 참조 픽처를 복원되는 해상도 정보에 의해 식별되는 해상도로 변환하며(S720), 해상도가 변환된 참조 픽처에서 복원되는 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성하며(S730), 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하며(S740), 복원되는 현재 블록의 해상도를 원래의 해상도로 변환한다(S750). 원래의 해상도로 변환된 현재 블록이 픽처 단위로 누적되어 복원 영상으로 출력된다.
여기서, 해상도는 수평 방향의 해상도와 수직 방향 해상도를 포함하되, 수평 방향의 해상도와 수직 방향 해상도는 독립적인 해상도를 가질 수 있다.
단계 S710에서, 영상 복호화 장치(600)는 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에서 해상도 데이터를 추출하고 복호화하여 해상도 정보를 복원할 수 있다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 영상을 예측 부호화할 때, 블록, 슬라이스, 픽처, 픽처 그룹 등 소정의 부호화 단위마다 해상도를 적응적으로 선택하고 선택된 해상도로 영상을 부호화함으로써 큰 크기를 가지는 고해상도의 영상을 효율적으로 부호할 수 있으므로 압축 효율을 향상시킬 수 있다.
이상에서 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것 이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 동영상의 해상도를 변경하여 영상을 부호화하거나 복호화하는 영상 처리 또는 영상 압축 분야에 적용되어, 영상을 소정의 부호화 단위마다 해상도를 적응적으로 선택하고 선택된 해상도로 영상을 부호화하여 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 2는 본 발명의 일 실시예에 따라 블록의 해상도를 변환하는 과정을 나타낸 예시도,
도 3은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 4는 본 발명의 일 실시예에 따라 해상도를 선택하는 방법의 일 예를 설명하기 위한 순서도,
도 5는 본 발명의 일 실시예에 따라 해상도를 선택하는 방법의 다른 예를 설명하기 위한 순서도,
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 7은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

Claims (16)

  1. 영상을 부호화하는 장치에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 해상도 변환기;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 해상도 선택기;
    상기 선택된 해상도로 변환된 참조 픽처에서 상기 선택된 해상도의 현재 블록의 움직임을 추정하여 움직임 정보를 생성하는 움직임 추정기;
    상기 선택된 해상도로 변환된 참조 픽처에서 상기 움직임 정보를 이용하여 상기 선택된 해상도의 현재 블록의 움직임을 보상하여 상기 선택된 해상도의 예측 블록을 생성하는 움직임 보상기;
    상기 선택된 해상도의 현재 블록과 상기 선택된 해상도의 예측 블록을 감산하여 상기 선택된 해상도의 잔여 블록을 생성하는 감산기;
    상기 선택된 해상도의 잔여 블록을 변환 및 양자화하는 변환기 및 양자화기; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하여 상기 선택된 해상도의 영상 부호화 데이터를 생성하고, 상기 선택된 해상도에 대한 정보를 부호화하여 해상도 데이터를 생성하며, 상기 선택된 해상도의 움직임 정보를 부호화하여 움직임 정보 데이터를 생성하며, 상기 영상 부호화 데이터, 상기 해상도 데이터 및 상기 움직임 정보 데이터를 포함하는 비트스트림을 생성하는 부호화기
    를 포함하고, 상기 부호화기는 상기 해상도 데이터를 상기 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에 삽입하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 영상 부호화 장치는,
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 상기 선택된 해상도의 잔여 블록을 복원하는 역 양자화기 및 역 변환기;
    상기 복원된 잔여 블록을 상기 선택된 해상도의 예측 블록과 가산하여 상기 선택된 해상도의 현재 블록을 복원하는 가산기; 및
    상기 복원된 현재 블록의 해상도를 상기 원래의 해상도로 변환하여 참조 픽처를 저장하고, 상기 참조 픽처를 상기 선택된 해상도로 변환하는 해상도 조정기
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 영상을 복호화하는 장치에 있어서,
    비트스트림을 복호화하여 움직임 정보, 해상도 정보와 변환 및 양자화된 잔여 블록을 복원하는 복호화기
    상기 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역 양자화기 및 역 변환기;
    상기 복원된 움직임 정보에 의해 지시되는 참조 픽처를 상기 복원된 해상도 정보에 의해 식별되는 해상도로 변환하는 해상도 조정기;
    상기 해상도가 변환된 참조 픽처에서 상기 복원된 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성하는 움직임 보상기; 및
    상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 현재 블록을 복원하는 가산기
    를 포함하되, 상기 해상도 조정기는 상기 복원된 현재 블록의 해상도를 원래의 해상도로 변환하고,
    상기 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에서 해상도 데이터를 추출하고 복호화하여 상기 해상도 정보를 복원하는 것을 특징으로 하는 영상 복호화 장치.
  4. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고,
    상기 변환하는 단계는, 상기 원래의 해상도의 현재 블록을 복수 개의 해상도로 다운 샘플링하는 것을 특징으로 하는 영상 부호화 방법.
  5. 삭제
  6. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고, 상기 해상도는,
    수평 방향의 해상도와 수직 방향 해상도를 포함하되, 상기 수평 방향의 해상도와 상기 수직 방향 해상도는 독립적인 해상도를 가지는 것을 특징으로 하는 영상 부호화 방법.
  7. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고, 상기 하나의 해상도를 선택하는 단계는,
    SAD를 이용하여 상기 하나의 해상도를 선택하는 것을 특징으로 하는 영상 부호화 방법.
  8. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고, 상기 하나의 해상도를 선택하는 단계는,
    상기 복수 개의 해상도의 현재 블록을 상기 원래의 해상도로 재변환하여 복수 개의 복원 블록을 생성하는 단계;
    상기 원래의 해상도의 현재 블록과 상기 복수 개의 복원 블록 간의 왜곡 비용을 계산하여 해상도별 왜곡 비용을 계산하는 단계;
    상기 해상도별 왜곡 비용 중에 임계값보다 작은 왜곡 비용이 하나 이상 있는 경우, 상기 임계값보다 작은 왜곡 비용 중 가장 작은 왜곡 비용을 가지는 해상도를 상기 하나의 해상도로서 선택하는 단계; 및
    상기 해상도별 왜곡 비용 중에 상기 임계값보다 작은 왜곡 비용이 없는 경우, 상기 원래의 해상도를 상기 하나의 해상도로서 선택하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고, 상기 비트스트림을 생성하는 단계는,
    상기 선택된 해상도로 해상도가 변환된 참조 픽처에서 상기 선택된 해상도의 현재 블록의 움직임을 추정하여 상기 움직임 정보를 생성하고 상기 움직임 정보를 이용하여 상기 선택된 해상도의 예측 블록을 생성하는 단계;
    상기 선택된 해상도의 현재 블록과 상기 선택된 해상도의 예측 블록을 감산하여 상기 선택된 해상도의 잔여 블록을 생성하는 단계;
    상기 선택된 해상도의 잔여 블록을 변환 및 양자화하는 단계;
    상기 변환 및 양자화된 잔여 블록을 부호화하여 상기 선택된 해상도의 영상 부호화 데이터를 생성하는 단계;
    상기 선택된 해상도에 대한 정보를 부호화하여 해상도 데이터를 생성하는 단계;
    상기 움직임 정보를 부호화하여 움직임 정보 데이터를 생성하는 단계; 및
    상기 선택된 해상도의 영상 부호화 데이터, 상기 해상도 데이터 및 상기 움직임 정보 데이터를 포함하는 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 9 항에 있어서, 상기 영상 부호화 방법은,
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 상기 선택된 해상도의 잔여 블록을 복원하는 단계;
    상기 복원된 잔여 블록을 상기 선택된 해상도의 예측 블록과 가산하여 상기 선택된 해상도의 현재 블록을 복원하는 단계; 및
    상기 복원된 현재 블록의 해상도를 상기 원래의 해상도로 변환하여 상기 원래의 해상도의 참조 픽처를 저장하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고, 상기 하나의 해상도를 선택하는 단계는,
    율-왜곡 비용을 이용하여 상기 하나의 해상도를 선택하는 것을 특징으로 하는 영상 부호화 방법.
  12. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고, 상기 하나의 해상도를 선택하는 단계는,
    상기 원래의 해상도의 현재 블록과 상기 복수 개의 해상도의 현재 블록을 각각 예측 부호화하여 해상도별 영상 부호화 데이터를 생성하는 단계;
    상기 해상도별 영상 부호화 데이터에 대한 부호화 비용을 계산하는 단계; 및
    상기 해상도별 부호화 비용 중 가장 작은 부호화 비용을 가지는 해상도를 상기 하나의 해상도로서 선택하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  13. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 복수 개의 해상도의 현재 블록으로 변환하는 단계;
    원래의 해상도와 상기 복수 개의 해상도 중 하나의 해상도를 선택하는 단계; 및
    상기 선택된 해상도의 현재 블록이 예측 부호화된 영상 부호화 데이터, 상기 선택된 해상도에 대한 정보 및 상기 예측 부호화에 사용된 움직임 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고, 상기 비트스트림을 생성하는 단계는,
    상기 해상도 데이터를 상기 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에 삽입하는 것을 특징으로 하는 영상 부호화 방법.
  14. 영상을 복호화하는 방법에 있어서,
    비트스트림을 복호화하여 움직임 정보, 해상도 정보 및 잔여 블록을 복원하는 단계;
    상기 복원된 움직임 정보에 의해 지시되는 참조 픽처를 상기 복원된 해상도 정보에 의해 식별되는 해상도로 변환하는 단계;
    상기 해상도가 변환된 참조 픽처에서 상기 복원된 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성하는 단계;
    상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 현재 블록을 복원하는 단계; 및
    상기 복원된 현재 블록의 해상도를 원래의 해상도로 변환하는 단계
    를 포함하고,
    상기 해상도는, 수평 방향의 해상도와 수직 방향 해상도를 포함하되, 상기 수평 방향의 해상도와 상기 수직 방향 해상도는 독립적인 해상도를 가지는 것을 특징으로 하는 영상 복호화 방법.
  15. 삭제
  16. 영상을 복호화하는 방법에 있어서,
    비트스트림을 복호화하여 움직임 정보, 해상도 정보 및 잔여 블록을 복원하는 단계;
    상기 복원된 움직임 정보에 의해 지시되는 참조 픽처를 상기 복원된 해상도 정보에 의해 식별되는 해상도로 변환하는 단계;
    상기 해상도가 변환된 참조 픽처에서 상기 복원된 움직임 정보에 의해 지시되는 참조 블록을 예측 블록으로 생성하는 단계;
    상기 복원된 잔여 블록과 상기 예측 블록을 가산하여 현재 블록을 복원하는 단계; 및
    상기 복원된 현재 블록의 해상도를 원래의 해상도로 변환하는 단계
    를 포함하고,
    상기 움직임 정보, 해상도 정보 및 잔여 블록을 복원하는 단계는,
    상기 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에서 해상도 데이터를 추출하고 복호화하여 상기 해상도 정보를 복원하는 것을 특징으로 하는 영상 복호화 방법.
KR1020090102664A 2009-10-28 2009-10-28 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치 KR101379190B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090102664A KR101379190B1 (ko) 2009-10-28 2009-10-28 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
PCT/KR2010/007420 WO2011052990A2 (ko) 2009-10-28 2010-10-27 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090102664A KR101379190B1 (ko) 2009-10-28 2009-10-28 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110045912A KR20110045912A (ko) 2011-05-04
KR101379190B1 true KR101379190B1 (ko) 2014-03-31

Family

ID=43922823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090102664A KR101379190B1 (ko) 2009-10-28 2009-10-28 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101379190B1 (ko)
WO (1) WO2011052990A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220132153A1 (en) * 2019-01-02 2022-04-28 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
WO2023048464A1 (ko) * 2021-09-23 2023-03-30 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085270B1 (ko) 2013-08-12 2020-03-05 삼성전자 주식회사 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들
JP6150134B2 (ja) * 2014-03-24 2017-06-21 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
CN110572654B (zh) * 2019-09-27 2024-03-15 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、存储介质及电子装置
CN112954360B (zh) * 2021-01-28 2024-08-16 杭州网易智企科技有限公司 解码方法、解码装置、存储介质及电子设备
CN112911311B (zh) * 2021-01-28 2024-08-16 杭州网易智企科技有限公司 编码方法、编码装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039552A (ko) * 2004-06-23 2007-04-12 에이전시 포 사이언스, 테크놀로지 앤드 리서치 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100534419B1 (ko) * 2002-12-24 2005-12-07 한국전자통신연구원 웨이브렛 변환 영역에서의 움직임 벡터 예측 방법 및 장치
JP2009206911A (ja) * 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039552A (ko) * 2004-06-23 2007-04-12 에이전시 포 사이언스, 테크놀로지 앤드 리서치 그리드 움직임 추정 및 보상을 갖는 스캘러블 비디오 코딩

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220132153A1 (en) * 2019-01-02 2022-04-28 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
WO2023048464A1 (ko) * 2021-09-23 2023-03-30 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
WO2011052990A3 (ko) 2011-10-13
KR20110045912A (ko) 2011-05-04
WO2011052990A2 (ko) 2011-05-05

Similar Documents

Publication Publication Date Title
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101377660B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20190009408A (ko) 영상 부호화/복호화 방법 및 장치
KR101677480B1 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR101441903B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101379190B1 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR101648058B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20110032671A (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR20120009861A (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101449683B1 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR20160078318A (ko) 영상 부호화/복호화 방법 및 장치
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR20100092268A (ko) 영상 부호화/복호화 장치 및 방법
KR101418095B1 (ko) 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법
KR20110098089A (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101590493B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101997655B1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180307

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 7