KR101487436B1 - 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법 - Google Patents

선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR101487436B1
KR101487436B1 KR20080086733A KR20080086733A KR101487436B1 KR 101487436 B1 KR101487436 B1 KR 101487436B1 KR 20080086733 A KR20080086733 A KR 20080086733A KR 20080086733 A KR20080086733 A KR 20080086733A KR 101487436 B1 KR101487436 B1 KR 101487436B1
Authority
KR
South Korea
Prior art keywords
rectangular
block
unit
prediction
subblocks
Prior art date
Application number
KR20080086733A
Other languages
English (en)
Other versions
KR20100027712A (ko
Inventor
김하윤
문주희
이영렬
김해광
전병우
박민철
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR20080086733A priority Critical patent/KR101487436B1/ko
Priority to PCT/KR2009/004865 priority patent/WO2010027170A2/ko
Priority to US13/002,259 priority patent/US9100646B2/en
Publication of KR20100027712A publication Critical patent/KR20100027712A/ko
Application granted granted Critical
Publication of KR101487436B1 publication Critical patent/KR101487436B1/ko
Priority to US14/692,298 priority patent/US9654798B2/en
Priority to US14/833,914 priority patent/US10298954B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다.
본 발명은 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
본 발명에 의하면, 영상을 부호화하거나 복호화할 때 예측의 정확도를 높일 수 있어 영상의 부호화 효율을 향상시킬 수 있다.
영상, 부호화, 복호화, 인트라, 예측, 직사각, 방향, 전환

Description

선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법{Video Encoding/Decoding Method and Apparatus by Using Selective Encoding}
본 발명은 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 부호화 방식을 선택적으로 결정함으로써 예측의 정확도를 높여 영상의 부호화 효율을 향상시키는 장치와 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다. 이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 등 기존의 동영상 부호화와 관련된 국제 표준과는 다른 방법인 공간 예측 부호화(Spatial Predictive Coding) 방법을 사용한다.
기존의 동영상 부호화 방법에서는 이산 코사인 변환 영역(DCT Domain: Discrete Cosine Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트 라 예측(Intra Prediction)"을 사용함으로써 부호화 효율 증대를 추구하며, 그로 인해 저역 전송 비트율 대의 주관적 화질을 열화시키는 결과를 초래하였다. 하지만, H.264에서는 변환 영역(Transform Domain)이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction)을 기반으로 하는 부호화 방법을 채택하고 있다.
기존의 공간적 인트라 예측을 기반으로 하는 부호화 방법을 사용하는 부호화기(Encoder)는 이미 부호화가 완료되어 재생된 이전 블록의 정보로부터 현재 부호화하고자 하는 블록 정보를 예측하고 부호화하고자 하는 실제 블록 정보의 차이(Difference) 정보만을 부호화해서 복호화기(Decoder)로 전송한다. 이때, 블록 정보를 예측하는 데 필요한 파라미터를 복호화기로 전송하거나, 부호화기와 복호화기를 동기화시켜 예측에 필요한 파라미터를 공유하도록 함으로써 복호화기가 블록 정보를 예측하도록 할 수도 있다. 복호화기는 이미 복호화가 완료되어 재생된 주변 블록의 정보를 예측하고, 부호화기로부터 전송된 오차 정보와 예측된 주변 블록의 정보의 합을 구하여 원하는 현재 복호화하고자 하는 블록의 정보를 생성하여 재생한다. 이때도 역시 부호화기로부터 예측에 필요한 파라미터가 전송되었다면, 복호화기는 해당 파라미터를 이용하여 주변 블록의 정보를 예측하는데 이용한다.
한편, 기존의 공간적 인트라 예측 기반의 부호화 방법은 정사각형의 블록 모드만을 사용한다. 변환 효율을 높이기 위해, 4x4 변환, 8x8 변환 등 2차원 정사각형 변환을 사용하기 때문이다. 하지만, 정사각형의 블록 모드만을 사용하게 되면 블록의 오른쪽과 아래쪽 부분에 존재하는 화소들은 공간적으로 멀리 떨어진 화소로 부터 예측되기 대문에 블록의 예측의 정확도가 떨어지는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하거나 복호화하는 데 있어서, 부호화 방식을 선택적으로 결정함으로써 예측의 정확도를 높여 영상의 부호화 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 방법에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화 단계; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화 단계; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하는 블록 분할부; 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하는 직사각 예측부; 복수 개의 직사각 현재 블록에서 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성하는 직사각 감산부; 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하는 직사각 변환부; 변환된 복수 개의 직사각 잔차 블록을 양자화하는 직사각 양자화부; 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고, 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성하는 직사각 스캔부; 양자화 주파수 계수열을 부호화하여 비트스트림을 생성하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 방법에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하는 블록 분할 단계; 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하는 직사각 예측 단계; 복수 개의 직사각 현재 블록에서 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사 각 잔차 블록을 생성하는 직사각 감산 단계; 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하는 직사각 변환 단계; 변환된 복수 개의 직사각 잔차 블록을 양자화하는 직사각 양자화 단계; 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고, 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성하는 직사각 스캔 단계; 양자화 주파수 계수열을 부호화하여 비트스트림을 생성하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출부; 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부; 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하는 직사각 복원부; 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하여 출력하는 정사각 복원부; 및 비트스트림으로부터 비트스트림 식별자를 추출하고 비트스트림 식별자에 따라, 복호화부로 하여금 양자화 주파수 계수열을 직사각 복원부 및 정사각 복원부 중 하나로 출력하도록 제어하는 비트스트림 식별자 추출부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출 단계; 비트스트림으로부터 비트스트림 식별자를 추출하는 식별자 추출 단계; 비트스트림을 복 호화하여 양자화 주파수 계수열을 추출하는 복호화 단계; 및 비트스트림 식별자에 따라, 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 단계적으로 현재 블록을 복원하여 출력하거나 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하여 출력하는 복원 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하는 직사각 역 스캔부; 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하는 직사각 역 양자화부; 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하는 직사각 역 변환부; 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하는 직사각 예측부; 및 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원하는 직사각 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하는 직사각 역 스캔 단계; 복수 개의 양자화된 직사각 잔 차 블록을 역 양자화하는 직사각 역 양자화 단계부; 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하는 직사각 역 변환 단계; 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하는 직사각 예측 단계; 및 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 영상을 부호화하거나 복호화할 때 부호화 효율이 좋은 방식으로 부호화 방식을 선택할 수 있어, 예측의 정확도를 높이고 그를 통해 영상의 부호화 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 통상적인 9 가지의 4x4 인트라 예측 모드를 나타내는 예시도이다.
인트라 예측에는 인트라 4x4 예측, 인트라 16x16 예측 및 인트라 8x8 예측 등이 있는데, 각 인트라 예측에는 복수 개의 예측 모드를 포함하고 있다. 도 1에서는 인트라 4x4 예측에서의 9 가지 예측 모드를 도시하였다.
도 1을 참조하면, 인트라 4x4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다.
도시하지는 않았지만, 인트라 8x8 예측에는 인트라 4x4 예측과 동일한 예측 모드가 있으며, 인트라 16x16 예측에는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모드가 있다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 영상을 부호화하는 장치로서, 정사각 부호화부(210), 직사각 부호화부(220) 및 부호화 선택부(230)를 포함하여 구성될 수 있다.
이러한 영상 부호화 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
정사각 부호화부(210)는 입력 영상의 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력한다. 즉, 통상적인 동영상 부호화와 같이, 정해진 블록 모드에 따라 정사각형 블록 단위로 현재 블록을 예측하고 현재 블록에 대한 잔차 블록을 생성하여 잔차 블록을 변환, 양자화, 부호화함으로써 비트스트림을 출력하는데, 이와 같이 정사각형 블록 단위로 부호화되어 출력되는 비트스트림을 본 발명에서는 '정사각 부호화 비트스트림'이라 칭한다.
직사각 부호화부(220)는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력한다. 즉, 통상적인 부호화와는 달리, 정해진 블록 모드에 따른 현재 블록을 현재 블 록의 예측 방향에 따라 직사각형 블록 단위로 분할하고 각 직사각형 블록을 단계적으로 예측하고 그 잔차 블록을 변환, 양자화한 후 정사각형 블록으로 결합하고 스캔하여 부호화함으로써 비트스트림을 출력하는데, 이와 같이 직사각형 블록 단위로 단계적으로 부호화되어 출력되는 비트스트림을 본 발명에서는 '직사각 부호화 비트스트림'이라 칭한다.
부호화 선택부(230)는 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력한다. 즉, 부호화 선택부(230)는 정사각 부호화부(210)로부터 출력되는 정사각 부호화 비트스트림을 부호화하는 데에 따른 비용을 계산하고 직사각 부호화부(220)로부터 출력되는 직사각 부호화 비트스트림을 부호화하는 데에 따른 비용을 계산하여 각 비용을 비교함으로써 최소의 부호화 비용을 갖는 비트스트림을 출력한다.
도 3은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 정사각 부호화 장치는 도 2에서는 정사각 부호화부(210)로 구현될 수 있으므로, 이하에서는 정사각 부호화부(210)라 칭한다. 본 발명의 일 실시예에 따른 정사각 부호화부(210)는 정사각 감산부(310), 정사각 변환부(320), 정사각 양자화부(330), 정사각 스캔부(340), 정사각 부호화부(350), 정사각 역 양자화부(360), 정사각 역 변환부(370), 정사각 가산부(380) 및 정사각 예측부(390)를 포함하여 구성된다.
정사각 감산부(310)는 입력 영상의 현재 블록에서 정사각 예측부(380)에 의해 예측된 예측 블록을 감산하여 잔차 블록을 생성하고 출력한다. 즉, 감산부(310)는 현재 블록의 각 화소의 원 화소값(Original Pixel Value)과 정사각 예측부(380)에 의해 예측된 예측 블록의 각 화소의 예측 화소값(Predicted Pixel Value)을 감산하여 화소값의 차이의 잔차 신호(Residual Signal)를 잔차 블록으로 생성한다.
정사각 변환부(320)는 잔차 블록을 주파수 영역으로 변환하여 주파수 계수를 갖는 잔차 블록을 생성한다. 여기서, 정사각 변환부(320)는 이산 코사인 변환(DCT: Discrete Cosine Transform) 기반 변환 또는 하다마다 변환(Hadamard Transform) 등을 이용할 수도 있지만, 반드시 이에 한정되지 않고 DCT 변환을 개량 및 변형한 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있다.
정사각 양자화부(330)는 정사각 변환부(320)에서 변환된 잔차 블록을 양자화(Quantization)하여 양자화 주파수 계수를 갖는 잔차 블록을 생성한다. 이러한 양자화 방법에는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등을 이용할 수 있지만 이를 개량한 양자화 등 다양한 양자화 방법을 이용할 수 있다.
정사각 스캔부(340)는 정사각 양자화부(330)에서 양자화된 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식을 이용하여 스캔함으로써 양자화 주파수 계수열을 생성한다.
정사각 부호화부(350)는 양자화된 잔차 블록을 비트스트림으로 부호화한다. 즉, 정사각 부호화부(350)는 정사각 스캔부(340)에 의해 스캔되어 생성된 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다. 또한, 정사각 부호화부(350)는 양자화된 잔차 블록뿐만 아니라 정사각 예측부(390)에서 결정한 예측 모드 또는 예측 방향에 대한 정보를 잔차 블록과 함께 비트스트림으로 부호화할 수 있다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다. 정사각 부호화부(350)에서 출력되는 비트스트림을 본 발명에서는 정사각 부호화 비트스트림이라 한다.
정사각 역 양자화부(360)는 양자화된 잔차 블록을 역 양자화(Inverse Quantization)하여 역 양자화된 잔차 블록을 생성한다. 즉, 정사각 역 양자화부(360)는 양자화된 잔차 블록의 양자화 주파수 계수를 역 양자화하여 역 양자화된 주파수 계수를 갖는 잔차 블록을 생성한다.
정사각 역 변환부(370)는 역 양자화된 잔차 블록을 역 변환(Inverse Transform)하여 역 변환된 잔차 블록을 생성한다. 즉, 정사각 역 변환부(370)는 역 양자화된 잔차 블록의 역 양자화 주파수 계수를 시간 영역으로 역 변환하여 화소값을 갖는 역 변환된 잔차 블록을 생성한다.
정사각 가산부(380)는 정사각 예측부(390)에 의해 예측된 예측 블록과 정사각 역 변환부(370)에 의해 역 변환된 잔차 블록을 가산하여 현재 블록을 복원하고 복원된 현재 블록을 정사각 예측부(390)로 출력한다.
정사각 예측부(390)는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 정사각 예측부(390)는 정해진 블록 모드와 예측 모드에 따라서 영상에서 부호화하고 자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측함으로써 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 갖는 예측 블록을 생성한다. 이때, 현재 블록의 각 화소값을 예측하는 데에는 이전에 이미 부호화되고 복호화되어 복원된 이전 블록의 각 화소값을 이용하는데, 현재 블록 이전에 정사각 가산부(380)로부터 수신한 복원된 블록을 이용한다.
도 4는 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 직사각 부호화 장치는 도 2에서는 직사각 부호화부(220)로 구현될 수 있으므로, 이하에서는 직사각 부호화부(220)라 칭한다. 본 발명의 일 실시예에 따른 직사각 부호화부(220)는 블록 분할부(410), 직사각 감산부(420), 직사각 변환부(430), 직사각 양자화부(440), 직사각 스캔부(450), 직사각 부호화부(460), 직사각 역 양자화부(470), 직사각 역 변환부(480), 직사각 가산부(490) 및 직사각 예측부(492)를 포함하여 구성된다.
블록 분할부(410)는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력한다. 여기서, 현재 블록은 블록 모드와 부호화 모드에 따라 정사각형의 블록으로 결정되는데, 블록 분할부(410)는 인트라 예측에서 현재 블록의 화소를 더욱 가까운 인접 화소로부터 예측하여 예측의 효율을 높이기 위해, 현재 블록을 직사각형 블록으로 분할하고 분할된 각 직사각 현재 블록을 단계적으로 예측할 수 있도록 한다.
또한, 블록 분할부(410)는 정사각형의 현재 블록을 복수 개의 직사각형의 블 록으로 분할하는데 있어서, 현재 블록의 예측 모드에 따른 예측 방향에 따라 직사각형의 블록 크기를 결정할 수 있다. 즉, 블록 분할부(410)에 의해 분할되는 직사각형 현재 블록은 Nx1 블록 N개, Nx2 블록 N/2개, 1xN 블록 N개, 2xN 블록 N/2개 등이 될 수 있다. 예를 들어, 현재 블록의 블록 모드가 NxN 블록이라고 가정하면, 예측 모드에 따른 예측 방향이 수직 방향인 경우 현재 블록은 Nx1 블록 N개 등으로 분할되고, 예측 방향이 수평 방향인 경우 1xN 블록 N개 등으로 분할될 수 있으며, 예측 모드가 DC 모드인 경우 1x1 블록, 4x4 블록과 같이 MxM 블록 N/M개 등으로 분할될 수 있다.
직사각 감산부(420)는 블록 분할부(410)에 의해 분할된 복수 개의 직사각 현재 블록에서 직사각 예측부(492)에 의해 예측된 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성한다.
직사각 변환부(430)는 감산부(420)에 의해 생성된 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환한다. 즉, 직사각 변환부(430)는 DCT 기반 변환 등을 이용하여 직사각 잔차 블록의 각 화소값을 주파수 영역으로 변환하여 주파수 계수를 갖는 잔차 블록을 생성한다. 이때, 직사각형의 형태의 잔차 블록의 각 화소값을 주파수 변환하는 것은 행렬 변환 등을 통해 변환을 수행할 수 있다.
직사각 양자화부(440)는 직사각 변환부(430)에 의해 변환된 복수 개의 직사각 잔차 블록을 양자화한다. 즉, 직사각 양자화부(440)는 복수 개의 직사각 잔차 블록의 주파수 계수를 양자화하여 양자화 주파수 계수를 갖는 잔차 블록을 생성한다.
직사각 스캔부(450)는 직사각 양자화부(440)에서 양자화된 복수 개의 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성한다. 즉, 직사각 스캔부(450)는 각각 양자화된 복수 개의 잔차 블록을 현재 블록의 블록 모드와 예측 모드의 예측 방향에 따라 결합하여 정사각형 형태의 잔차 블록을 생성하고, 정사각형 형태의 잔차 블록의 각 양자화 주파수 계수들을 스캐닝 방법에 따라 스캐닝하여 양자화 주파수 계수열을 생성한다.
직사각 부호화부(460)는 직사각 스캔부(450)에 의해 생성된 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다. 즉, 직사각 부호화부(460)는 양자화 주파수 계수열들을 엔트로피 부호화(Entropy Encoding) 등의 다양한 부호화 방법을 이용하여 부호화함으로써 비트스트림을 생성한다. 이때, 직사각 부호화부(460)는 현재 블록의 예측 모드를 추가로 부호화할 수도 있다.
이와 같이 도 5를 통해 전술한 직사각 부호화 장치가 입력 영상의 현재 블록을 부호화 방법을 설명하면, 직사각 부호화 장치는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하고, 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하며, 복수 개의 직사각 현재 블록에서 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성하며, 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하고 변환된 복수 개의 직사각 잔차 블록을 양자화하며, 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고 정사 각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성한 후, 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다.
도 5는 본 발명의 일 실시예에 따른 부호화 선택 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 부호화 선택 장치는 도 2에서는 부호화 선택부(230)로 구현될 수 있으므로, 이하에서는 부호화 선택부(230)라 칭한다. 본 발명의 일 실시예에 따른 부호화 선택부(230)는 비트스트림 선택부(510) 및 비트스트림 식별자 삽입부(520)를 포함하여 구성된다.
비트스트림 선택부(510)는 직사각 부호화부(460)로부터 직사각 부호화 비트스트림을 수신하고 정사각 부호화부(350)로부터 정사각 부호화 비트스트림을 수신하면, 직사각 부호화 효율과 정사각 부호화 효율을 계산하여 더 큰 부호화 효율을 갖는 부호화에 따른 비트스트림을 출력한다. 여기서, 부호화 효율은 부호화 비용으로서 계산될 수 있으며, 부호화 비용이 최소인 부호화가 부호화 효율이 더 큰 부호화로 결정될 수 있다.
비트스트림 식별자 삽입부(520)는 비트스트림 선택부(510)에 의해 출력되는 비트스트림을 식별하기 위한 식별자를 생성하여 비트스트림 선택부(510)에서 출력되는 비트스트림에 삽입한다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(200)는 부호화하고자 하는 입력 영상의 현재 블록을 그대 로 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 생성하고(S610), 현재 블록을 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 생성한다(S620).
정사각 비트스트림과 직사각 비트스트림이 생성되면, 영상 부호화 장치(200)는 정사각 부호화 비트스트림의 부호화 효율을 계산하고 직사각 부호화 비트스트림의 부호화 효율을 계산하여 부호화 효율이 큰 부호화 비트스트림을 출력한다(S630). 여기서, 부호화 효율은 각 부호화 비트스트림을 부호화하는 데 소요되는 부호화 비용이 될 수 있으며, 부호화 비용이 작으면 부호화 효율을 큰 것으로 결정할 수 있다. 또한, 영상 부호화 장치(200)는 부호화 효율이 큰 비트스트림을 출력하면서 영상 복호화 장치에서 해당 비트스트림이 정사각 부호화를 이용하여 부호화된 비트스트림인지 또는 직사각 부호화를 이용하여 부호화된 비트스트림인지 여부를 식별할 수 있도록 비트스트림 식별자를 비트스트림에 삽입하여 출력할 수 있다.
도 7은 본 발명의 일 실시예에 따른 비트스트림 선택 과정을 설명하기 위한 순서도이다.
도 6을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 방법에서, 단계 S630과 같이 부호화 효율이 큰 비트스트림을 출력하는 단계는 도 7에 나타낸 바와 같은 과정을 통해 수행될 수 있다.
영상 부호화 장치(200)의 부호화 선택부(230)는 정사각 부호화 비트스트림과 직사각 부호화 비트스트림의 부호화 효율을 계산하기 위해, 정사각 부호화 비트스트림의 부호화 비용과 직사각 부호화 비트스트림의 부호화 비용을 계산한다(S710). 여기서, 부호화 비용은 율-왜곡 비용(RDcost: Rate-Distortion Cost)이 될 수 있지만, 다른 부호화 비용이 사용될 수 있다.
부호화 비용을 계산한 영상 부호화 장치(200)는 직사각 부호화 비용의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 비교하여(S720), 직사각 부호화 비트스트림의 부호화 비용이 정사각 부호화 비트스트림의 부호화 비용 보다 작은 경우에는 직사각 부호화 비트스트림을 출력한다(S730).
또한, 영상 부호화 장치(200)는 직사각 부호화 비트스트림으로 부호화된 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S740), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 '1'로서 생성하고 직사각 부호화 비트스트림과 함께 비트스트림 식별자를 출력하고(S750), 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 생성하고 출력하지 않을 수 있다. 즉, 해당 비트스트림의 양자화 주파수 계수가 모두 '0'인 경우에는 영상 복호화 장치에서 직사각 부호화 비트스트림과 정사각 부호화 비트스트림을 모두 정사각형 블록 단위로 복호화하는 통상적인 복호화를 통해 복호화할 수 있으므로 비트스트림 식별자를 출력하지 않으며, 그를 통해, 비트스트림 식별자를 위한 비트를 절약할 수 있다.
또한, 영상 부호화 장치(200)는 단계 S720의 비교 결과, 직사각 부호화 비트스트림의 부호화 비용이 정사각 부호화 비트스트림의 부호화 비용 보다 크거나 같은 경우에는 정사각 부호화 비트스트림을 출력한다(S760). 또한, 정사각 부호화 비트스트림으로 부호화된 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인 지 여부를 확인하여(S770), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 '0'로서 생성하고 정사각 부호화 비트스트림과 함께 비트스트림 식별자를 출력하고(S780), 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 생성하고 출력하지 않을 수 있다. 즉, 해당 비트스트림의 양자화 주파수 계수가 모두 '0'인 경우에는 영상 복호화 장치에서 직사각 부호화 비트스트림과 정사각 부호화 비트스트림을 모두 정사각형 블록 단위로 복호화하는 통상적인 복호화를 통해 복호화할 수 있으므로 비트스트림 식별자를 출력하지 않으며, 그를 통해, 비트스트림 식별자를 위한 비트를 절약할 수 있다.
도 8은 본 발명의 일 실시예에 따른 직사각 현재 블록을 나타낸 예시도이다.
도 8에서는 현재 블록의 블록 모드가 4x4 블록 모드라고 가정하고, 현재 블록을 그 예측 모드에 따라 직사각형 블록 단위로 분할하여 생성되는 직사각 현재 블록을 예시적으로 나타내었다.
현재 블록의 예측 모드가 수평 모드인 경우 직사각 현재 블록은 도시한 바와 같이, 1x4 크기의 직사각 현재 블록으로 분할되고, 현재 블록의 예측 모드가 수직 모드인 경우 4x1 크기의 직사각 현재 블록으로 분할되며, 현재 블록의 예측 모드가 대각선 오른쪽 모드인 경우 수직 모드와 유사하게 4x1 크기의 직사각 현재 블록으로 분할된다.
도 8에서 각 직사각 현재 블록 내에 있는 P0 *(m) (m = 0, 1, 2, 3)은 직사각 예측부(492)에 의해 예측되는 예측 화소를 나타내고, Pn(m) (m = 0, 1, 2, 3, n = 0, 1, …, N)은 예측 방향에 따라 직사각 현재 블록 이전에 부호화된 화소들을 나타낸다.
직사각 예측부(492)는 직사각 현재 블록을 예측하여 직사각 예측 블록을 생성할 때, 수학식 1과 같이 직사각 예측 블록의 각 화소를 예측 화소값을 계산할 수 있다.
Figure 112008062706283-pat00001
여기서, αn은 사용자에 의해서 조정될 수 있는 화소 가중치이다.
도 9는 본 발명의 일 실시예에 따라 직사각 예측부가 단계적 인트라 예측을 수행하는 과정을 설명하기 위한 예시도이다.
도 9에서는 수학식 1에서 N=1이고, α1=1이며, 예측 모드가 수평 모드인 경우, 4x4 크기의 현재 블록을 복수 개의 직사각 현재 블록으로 분할하여 단계적으로 예측하는 과정을 나타내었다.
도 9에 나타낸 바와 같이, 첫 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 A', B', C', D'를 이용하여 현재 블록의 첫번째 직사각 현재 블록의 화소 P11, P21, P31, P41을 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P11', P21', P31', P41'의 화소를 갖는다.
두 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P11', P21', P31', P41'를 이용하여 현재 블록의 두 번째 직사각 현재 블록인 화소 P12, P22, P32, P42를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P12', P22', P32', P42'의 화소를 갖는다.
세 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P12', P22', P32', P42'를 이용하여 현재 블록의 세 번째 직사각 현재 블록인 화소 P13, P23, P33, P43를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P13', P23', P33', P43'의 화소를 갖는다.
네 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P13', P23', P33', P43'를 이용하여 현재 블록의 네 번째 직사각 현재 블록인 화소 P14, P24, P34, P44를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P14', P24', P34', P44'의 화소를 갖는다.
이와 같이, 직사각 예측부(492)는 현재 블록의 복수 개의 직사각 현재 블록을 단계적으로 예측하는데, 단계적으로 예측한다고 함은 모든 직사각 현재 블록을 동시에 예측하는 것이 아니라 각 직사각 현재 블록을 예측할 때 이전에 부호화되고 복원된 직사각 이전 블록의 화소를 이용하여 예측한다는 것이다.
도 10은 본 발명의 일 실시예에 따른 직사각 스캔 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 직사각 스캔 장치는 도 4에서는 직사각 스캔부(450)로 구현될 수 있다. 이하에서는 본 발명의 일 실시예에 따른 직사각 스캔 장치를 직사각 스캔부(450)라 칭한다.
본 발명의 일 실시예에 따른 직사각 스캔부(450)는 블록 결합부(1010), 초기 스캐닝 패턴 결정부(1020), 스캐닝부(1030) 및 스캐닝 패턴 갱신부(1040)를 포함하여 구성될 수 있다.
블록 결합부(1010)는 직사각 양자화부(440)로부터 전달된 양자화된 복수 개의 직사각 잔차 블록을 현재 블록의 예측 모드에 따른 예측 방향에 따라 결합하여 정사각형 형태의 양자화된 정사각 잔차 블록을 생성한다. 예를 들어, 블록 결합부(1010)는 양자화된 복수 개의 잔차 블록을 해당 블록 모드에 따른 블록 크기에 맞도록 그리고 예측 모드의 예측 방향에 따라 결합하여 정사각형 형태의 잔차 블록을 생성할 수 있다. 즉, 양자화된 복수 개의 잔차 블록이 4x1 블록 4개라면, 4 개의 4x1 블록을 차례로 결합하되 예측 방향인 수직 방향으로 결합하여 4x4 블록 크기의 양자화된 잔차 블록을 생성할 수 있다.
초기 스캐닝 패턴 결정부(1020)는 블록 결합부(1010)에 의해 결합된 양자화된 정사각 잔차 블록의 양자화 주파수 계수를 스캐닝할 초기 스캐닝 패턴을 결정한다. 이때, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기에 따라 초기 스캐닝 패턴을 결정한다. 예를 들어, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계 수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 또한, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다.
스캐닝부(1030)는 결정된 스캐닝 패턴(초기 스캐닝 패턴 결정부(1020)에 의해 결정되는 초기 스캐닝 패턴 또는 스캐닝 패턴 갱신부(104)에 의해 결정되는 갱신 스캐닝 패턴)에 따라 양자화된 잔차 블록의 양자화 주파수 계수들을 스캐닝하여 양자화 주파수 계수열을 생성한다.
스캐닝 패턴 갱신부(1040)는 정사각 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 스캐닝 패턴을 적응적으로 갱신할 수 있다. 예를 들어, 스캐닝 패턴 갱신부(1040)는 영상 부호화 장치(200)가 현재 블록을 부호화할 때마다 정사각 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 확률이 큰 순서대로 스캐닝 순서를 결정함으로써, 스캐닝 패턴을 적응적으로 갱신할 수 있다.
도 11은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 방법을 설명하기 위한 순서도이다.
직사각 스캔부(450)는 양자화된 복수 개의 직사각 잔차 블록을 블록 모드 단위로 결합하여 정사각 잔차 블록을 생성하고(S1110), 현재 블록이 속한 영상의 크기가 기 설정된 크기 보다 큰지 여부를 확인하여(S1120), 영상의 크기가 기 설정된 크기 보다 큰 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수 와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정하고(S1130), 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정한다(S1140).
도 12는 본 발명의 바람직한 실시예에 따라 복수 개의 직사각 잔차 블록이 정사각 잔차 블록으로 결합된 것을 나타낸 예시도이다.
도 12에는 현재 블록의 예측 모드가 수직 모드인 경우, 복수 개의 직사각 잔차 블록이 4x4 블록 모드 또는 8x8 블록 모드 단위로 결합하여 생성된 정사각 잔차 블록의 양자화 주파수 계수들을 예시적으로 나타내었다.
4x4 블록 모드로 결합된 정사각 잔차 블록은 4x1 크기의 직사각 잔차 블록이 수직 방향으로 결합된 것이고, 8x8 블록 모드로 결합된 정사각 잔차 블록은 8x1 크기의 직사각 잔차 블록이 수직 방향으로 결합된 것이다.
현재 블록을 복수 개의 직사각 현재 블록을 분할하여 각 직사각 현재 블록의 잔차 블록을 변환하고 양자화하기 때문에, 양자화된 각 직사각 잔차 블록의 좌측에 DC 성분의 양자화 주파수 계수가 위치하게 된다. 따라서, 정사각형 블록 단위로 결합한 양자화된 정사각 잔차 블록의 좌측에 DC 성분의 계수가 몰리게 된다.
도 13은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 과정을 설명하기 위한 예시도이다.
통상적으로 정사각형 형태의 정사각 잔차 블록에서는 DC 성분의 계수들과 잔 차 블록의 최하단 부분의 계수들에 '0'이 아닌 값이 빈번하게 발생한다. 따라서, 스캐닝할 때 '0'이 아닌 값이 발생할 확률이 높은 DC 성분의 계수들과 최하단 부분의 계수들을 우선적으로 스캐닝하면 부호화 효율을 높일 수 있다.
한편, 영상의 크기에 따라 정사각 잔차 블록의 양자화 주파수 계수들에서 '0'이 아닌 값이 발생할 확률이 달라지는데, 영상의 크기가 커지면 DC 성분의 계수에 '0'이 아닌 값이 발생할 확률이 최하단 부분의 계수들보다 더 높아지는 특성이 있다. 따라서, 본 발명에서는 영상의 크기에 따라 초기 스캐닝 패턴을 결정한다.
예를 들어, 영상의 크기를 비교할 임계 크기를 기 설정해 놓고, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 또한, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다.
도 13에서는 영상의 크기를 비교하기 위한 기 설정된 크기가 720p인 것으로 설정될 때 결정되는 초기 스캐닝 패턴을 예시적으로 나타낸 것이다. 영상의 크기가 QCIF 또는 CIF인 경우에는 영상의 크기가 기 설정된 크기 보다 작다고 판단하여 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다. 이 경우, 도시한 화살표의 순서와 같이, DC(3)에서 시작해서 AC1(3), DC(2), DC(1), AC1(2), AC1(3), …, AC3(0)의 순서로 초기 스캐닝 패턴이 결정된다.
또한, 영상의 크기가 720p 또는 1080p인 경우에는 영상의 크기가 기 설정된 크기 보다 크거나 같다고 판단하여 DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 이 경우, 도시한 화살표 순서와 같이, DC(3), DC(2), DC(1), DC(0), AC1(3), AC1(2), …, AC3(0)의 순서로 초기 스캐닝 패턴이 결정된다.
도 14는 본 발명의 일 실시예에 따라 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도이다.
도 13에서 예를 들어 전술한 바와 같이, 초기 스캐닝 패턴이 결정되면, 직사각 스캔부(450)는 초기 스캐닝 패턴에 따라서 양자화된 정사각형 잔차 블록의 양자화 주파수 계수들을 스캐닝하여 양자화 주파수 계수열을 생성하고 직사각 부호화부(460)에서 양자화 주파수 계수열을 부호화하여 직사각 부호화 비트스트림을 생성한다. 이후, 현재 블록 이후의 다음 블록이 입력되면 다시 복수 개의 직사각 다음 블록을 분할하여 그 잔차 블록을 변환하고 양자화하여 정사각 잔차 블록을 정사각형 잔차 블록으로 결합한 후 스캐닝하는데, 이와 같은 과정을 반복할 때마다 처음에 결정된 초기 스캐닝 패턴을 사용하여 스캐닝하는 것이 아니라, 적응적으로 스캐닝 패턴을 갱신하여 스캐닝한다.
이때, 스캐닝 패턴을 갱신하는 기준은 정사각 잔차 블록의 각 위치마다 '0' 이 아닌 양자화 주파수 계수가 발생할 확률이 될 수 있다. 예를 들어, 영상의 복수 개의 블록을 부호화할 때마다, 정사각 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 그 확률이 큰 순서대로 스캐닝 순서를 결정함으로써, 스캐닝 패턴을 적응적으로 갱신할 수 있다.
도 14에 도시한 바와 같이, 초기 스캐닝 패턴이 결정되어 해당 정사각 잔차 블록에 대해 스캐닝하여 부호화가 완료되면, 다음 블록을 부호화하는 과정을 반복하면서, 적어도 1회 이상 부호화될 때마다 각 양자화 주파수 계수의 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산한다. 예를 들어, 도시한 바와 같이, 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률 분포가 계산될 수 있으며, 이때에는 그 확률 분포에 따라 확률이 높은 순서대로 차례로 스캐닝 패턴을 결정하여 갱신된 스캐닝 패턴을 결정할 수 있다.
이상에서 설명한 바와 같이, 영상 부호화 장치(200)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(1500)는 예측 모드 추출 부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530), 직사각 복원부(1540) 및 정사각 복원부(1550)를 포함하여 구성될 수 있다.
이러한 영상 복호화 장치(1500)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측 모드 추출부(1510)는 비트스트림으로부터 예측 모드에 대한 정보를 추출한다. 여기서, 예측 모드에 대한 정보는 영상 부호화 장치(200)에서 결정한 현재 블록의 예측 모드를 식별하기 위한 정보로서, 현재 블록의 예측 모드가 수평 모드인지, 수직 모드인지, DC 모드 인지 등에 대한 정보를 포함한다.
복호화부(1520)는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출한다. 복호화부(1520)는 양자화 주파수 계수열을 추출하여 출력할 때, 비트스트림 식별자 추출부(1530)의 제어에 따라 양자화 주파수 계수열을 직사각 복원부(1540)와 정사각 복원부(1550) 중 하나로 출력한다.
비트스트림 식별자 추출부(1530)는 양자화 주파수 계수열을 이용하여 비트스트림으로부터 비트스트림 식별자를 추출하고, 비트스트림 식별자에 따라 복호화 부(1520)로 하여금 양자화 주파수 계수열을 직사각 복원부(1540) 및 정사각 복원부(1550) 중 하나로 출력하도록 제어한다.
예를 들어, 비트스트림 식별자 추출부(1530)는 복호화부(1520)로부터 전달된 양자화 주파수 계수열의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 비트스트림으로부터 추출한다. 비트스트림 식별자 추출부(1530)는 추출한 비트스트림 식별자가 '1'인 경우에는 비트스트림이 직사각 부호화 비트스트림이므로 복호화부(1520)로 하여금 비트스트림을 복호화한 양자화 주파수 계수열을 직사각 복원부(1540)로 출력하도록 제어하고, 비트스트림 식별자가 '0'인 경우에는 비트스트림이 정사각 부호화 비트스트림이므로 복호화부(1520)로 하여금 비트스트림을 복호화한 양자화 주파수 계수열을 정사각 복원부(1550)로 출력하도록 제어한다. 또한, 비트스트림 식별자 추출부(1530)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 비트스트림으로부터 추출하지 않고, 복호화부(1520)로 하여금 양자화 주파수 계수열을 정사각 복원부(1550)로 출력하도록 제어한다.
직사각 복원부(1540)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하여 출력한다. 즉, 직사각 복원부(1540)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하고 역 변환하며, 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하며, 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상의 현재 블록을 복원한다.
정사각 복원부(1550)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하여 출력한다.
도 16은 본 발명의 일 실시예에 따른 직사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 직사각 복호화 장치는 도 15에서는 직사각 복원부(1540)로 구현될 수 있다. 이하에서는 본 발명의 일 실시예에 따른 직사각 복호화 장치를 직사각 복원부(1540)라 칭한다.
본 발명의 일 실시예에 따른 직사각 복원부(1540)는 직사각 역 스캔부(1610), 직사각 역 양자화부(1620), 직사각 역 변환부(1630), 직사각 예측부(1640) 및 직사각 가산부(1650)를 포함하여 구성될 수 있다.
직사각 역 스캔부(1610)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력한다.
여기서, 직사각 역 스캔부(1610)는 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하여 양자화 주파수 계수를 스캔할 수 있다. 예를 들어, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 역 스캔닝 패턴을 결정할 수 있으며, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 역 스캐닝 패턴을 결정할 수 있다.
또한, 직사각 역 스캔부(1610)는 양자화된 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 역 스캐닝 패턴을 적응적으로 갱신할 수 있는데, 예를 들면, 비트스트림을 복호화할 때마다, 양자화된 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 확률이 큰 순서대로 역 스캐닝 순서를 결정함으로써, 역 스캐닝 패턴을 적응적으로 갱신할 수 있다.
직사각 역 양자화부(1620)는 복수 개의 양자화된 직사각 잔차 블록을 역 양자화한다. 직사각 역 변환부(1630)는 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환한다.
직사각 예측부(1640)는 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성한다. 여기서, 직사각 예측부(1640)는 복수 개의 직사각 현재 블록을 비트스트림으로부터 추출된 예측 모드에 의한 예측 방향에 따라 단계적으로 예측한다.
직사각 가산부(1650)는 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원하고 복원 영상을 출력한다.
이와 같은 직사각 복원부(1540)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하며, 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하고 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하며, 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하며, 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원한다.
도 17은 본 발명의 일 실시예에 따른 정사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 정사각 복호화 장치는 도 15에서는 정사각 복원부(1550)로 구현될 수 있다. 이하에는 본 발명의 일 실시예에 따른 정사각 복호화 장치를 정사각 복원부(1550)라 칭한다.
정사각 복원부(1550)는 정사각 역 스캔부(1710), 정사각 역 양자화부(1720), 정사각 역 변환부(1730), 정사각 예측부(1740) 및 정사각 가산부(1750)를 포함하여 구성될 수 있다.
정사각 역 스캔부(1710)는 복호화부(1520)로부터 출력되는 양자화 주파수 계 수열을 역 스캔닝하여 양자화된 정사각 잔차 블록을 생성한다. 이때, 정사각 역 스캔부(1710)는 부호화하는 과정에서 스캐닝 패턴을 적응적으로 갱신할 수 있다.
정사각 역 양자화부(1720)는 양자화된 정사각 잔차 블록을 역 양자화한다. 정사각 역 변환부(1730)는 역 양자화된 정사각 잔차 블록을 시간 영역으로 역 변환한다.
정사각 예측부(1740)는 역 변환된 정사각 잔차 블록에 대응하는 정사각 현재 블록을 예측하여 정사각 예측 블록을 생성한다. 여기서, 정사각 예측부(1740)는 비트스트림으로부터 추출된 예측 모드에 의한 예측 방향에 따라 정사각 현재 블록을 예측한다.
정사각 가산부(1750)는 정사각 예측 블록에 역 변환된 정사각 잔차 블록을 가산하여 정사각 현재 블록을 복원함으로써 영상을 복원하고 복원 영상을 출력한다.
도 18은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(1500)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(1500)는 비트스트림으로부터 예측 모드에 대한 정보를 추출하고(S1810), 비트스트림을 복호화하여 양자화 주파수 계수열을 추출한다(S1820). 양자화 주파수 계수열을 추출한 영상 복호화 장치(1500)는 양자화 주파 수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인한다(S1830). 영상 복호화 장치(1500)는, 단계 S1830의 확인 결과 양자화 주파수 계수가 모두 '0'인 경우에는 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하고 출력하고(S1840), 단계 S1830의 확인 결과 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림으로부터 비트스트림 식별자를 추출한다(S1850). 비트스트림 식별자를 추출한 영상 복호화 장치(1500)는 비트스트림 식별자가 '1'인지 여부를 확인하여(S1860), 비트스트림 식별자가 '1'인 경우에는 해당 비트스트림이 직사각 비트스트림인 것으로 식별하고 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하여 출력한다(S1870). 또한, 영상 복호화 장치(1500)는 비트스트림 식별자가 '1'이 아닌 경우에는 해당 비트스트림이 정사각 비트스트림인 것으로 식별하고 단계 S1840으로 진행하여, 양자화 주파수 계수열을 이용하여 정사각 블록 단위로 예측 모드에 따라 영상의 현재 블록을 복원하고 출력한다.
도 19는 본 발명의 일 실시예에 따라 초기 역 스캐닝 패턴에 따라 역 스캐닝하는 과정을 설명하기 위한 예시도이다.
영상 복호화 장치(1500)는 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하고, 초기 역 스캐닝 패턴에 따라 양자화 주파수 계수열을 역 스캐닝하여 양자화된 잔차 블록을 구성한다. 도 19에서는 양자화 주파수 계수열이 "0, -1, 2, 0, 4, 0, 0, 0, …"이고, 영상의 크기가 CIF이며, 블록 모드가 4x4 크기이고 예측 모드가 수직 모드인 경우, 결정된 초기 스캐닝 패턴에 따라 역 스캔하여 양자화된 잔차 블 록을 구성하는 과정을 나타내었다.
영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하는 것은 도 13을 통해 전술한, 초기 스캐닝 패턴을 결정하는 것과 유사하다. 즉, 영상의 크기에 따라 정사각 잔차 블록의 양자화 주파수 계수들에서 '0'이 아닌 값이 발생할 확률이 달라지고, 영상의 크기가 커지면 DC 성분의 계수에 '0'이 아닌 값이 발생할 확률이 최하단 부분의 계수들보다 더 높아지는 특성을 이용하여, 영상의 크기에 따라 초기 스캐닝 패턴을 결정하는 것이다.
예를 들어, 영상의 크기를 비교할 임계 크기를 기 설정해 놓고, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 양자화 주파수 계수열에서 차례대로 읽어들인 양자화 주파수 계수를 양자화된 잔차 블록의 양자화 주파수 계수의 각 위치 중 DC 성분의 계수에 해당하는 위치와 양자화된 잔차 블록의 최하단 계수에 해당하는 위치에 우선 순위를 두되, DC 성분의 계수의 위치에 더 큰 우선 순위를 두어 읽어들인 양자화 주파수 계수를 배열하는 식으로 초기 역 스캔닝 패턴을 결정할 수 있다. 또한, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수의 각 위치 중 DC 성분의 계수에 해당하는 위치와 정사각 잔차 블록의 최하단 계수에 해당하는 위치에 동일한 우선 순위를 두어 초기 역 스캐닝 패턴을 결정할 수 있다.
도 19의 예에서, 기 설정된 크기가 720p이고 영상의 크기가 CIF인 경우, 영상의 크기가 기 설정된 크기 보다 작으므로 DC 성분의 계수에 해당하는 위치와 최하단 계수에 해당하는 위치에 동일한 우선 순위를 두어 역 스캐닝함으로써 도시한 바와 같은 양자화된 잔차 블록을 얻을 수 있다.
또한, 역 스캐닝되어 양자화된 잔차 블록이 구성되면 현재 블록의 예측 모드의 예측 방향인 수직 방향에 따라 양자화된 잔차 블록이 복수 개로 분할되어 복수 개의 직사각 잔차 블록이 생성된다.
도 20은 본 발명의 일 실시예에 따라 역 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도이다.
영상 복호화 장치(200)에서 스캐닝 패턴을 갱신한 것과 같이, 영상 복호화 장치(1500)도 역 스캐닝 패턴을 갱신할 수 있다. 즉, 블록을 복호화할 때마다 처음에 결정된 초기 역 스캐닝 패턴을 사용하여 역 스캐닝하는 것이 아니라, 적응적으로 역 스캐닝 패턴을 갱신하여 스캐닝한다.
이때, 역 스캐닝 패턴을 갱신하는 기준은 스캐닝 패턴을 갱신하는 기준과 유사하다. 즉, 양자화된 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률이 될 수 있다. 예를 들어, 영상의 복수 개의 블록을 복호화할 때마다, 양자화된 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 그 확률이 큰 순서대로 역 스캐닝 순서를 결정함으로써, 역 스캐닝 패턴을 적응적으로 갱신할 수 있다.
도 21은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치(2100)는 정사각 부호화부(210), 부호화 선택부(230), 예측 방향 전환부(2110) 및 직사각 부호화부(2120) 를 포함하여 구성될 수 있다.
이러한 영상 부호화 장치(2100)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
정사각 부호화부(210)와 부호화 선택부(230)는 도 2를 통해 전술한 바와 동일 또는 유사한 역할을 수행하므로, 그에 대한 상세한 설명은 생략한다.
예측 방향 전환부(2110)는 직사각 부호화부(2120)에서 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 각 직사각 현재 블록의 예측 방향을 변경한다.
이를 위해, 예측 방향 전환부(2110)는 직사각 부호화부(2120)와 연결되어 직사각 부호화부(2120)로부터 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수를 수신하여 저장한다.
직사각 부호화부(2120)는 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력한다. 이때, 직사각 부호화부(2120)는 예측 방향 전환 부(2110)에 의해 변경된 예측 방향에 따라 복수 개의 직사각 현재 블록을 예측할 수 있다.
직사각 부호화부(2120)는 도 4를 통해 전술한 직사각 부호화부(220)와 동일한 구조를 가진다. 다만, 직사각 부호화부(460)와 직사각 예측부(492)가 예측 방향 전환부(2110)에 연결되며, 직사각 부호화부(460)는 직사각 스캔부(450)로부터 전달되는 각 직사각 현재 블록의 양자화 주파수 계수를 예측 방향 전환부(2110)에 전달하고, 직사각 예측부(492)는 예측 방향 전환부(2110)로부터 전달되는 예측 방향에 따라 각 직사각 현재 블록을 예측한다. 여기서, 직사각 예측부(492)가 예측 방향 전환부(2110)로부터 수신하는 예측 방향은 현재 블록의 예측 모드의 예측 방향일 수 있지만, 직사각 이전 블록의 양자화 주파수 계수에 따라 변경된 예측 방향일 수도 있다.
도 22는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치는 도 21에서는 예측 방향 전환부(2110)로 구현될 수 있다. 이하에서는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치를 예측 방향 전환부(2110)라 칭한다.
본 발명의 다른 실시예에 따른 예측 방향 전환부(2110)는 이전 블록 계수 저장부(2210), 예측 방향 결정부(2220), 부호화 비용 계산부(2230) 및 예측 방향 식별자 출력부(2240)를 포함하여 구성된다.
이전 블록 계수 저장부(2210)는 직사각 이전 블록의 양자화 주파수 계수를 저장한다. 즉, 이전 블록 계수 저장부(2210)는 직사각 부호화부(2120)에서 각 직사각 현재 블록을 부호화할 때마다. 각 직사각 현재 블록의 양자화 주파수 계수를 수신하여 저장하는데, 이 양자화 주파수 계수가 다음번의 직사각 현재 블록을 예측하기 위한 예측 방향을 결정하는 데에 기준이 되는 직사각 이전 블록의 양자화 주파수 계수가 된다.
예측 방향 결정부(2220)는 현재 블록을 직사각형 블록 단위로 분할하여 생성된 복수 개의 직사각 현재 블록을 단계적으로 부호화할 때, 각 직사각 현재 블록에 대한 예측 방향을 변경한다. 예측 방향 결정부(2220)는 이전 블록 계수 저장부(2210)에 저장된 직사각 이전 블록의 양자화 주파수 계수의 계수값을 확인하여, 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다. 또한, 예측 방향 결정부(2220)는 직사각 이전 블록의 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 복수 개의 예측 방향 후보 중 부호화 비용이 최소(또는 부호화 효율이 최대)인 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다.
즉, 현재 예측하고자 하는 직사각 현재 블록을 부호화하기 이전에 이미 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'이었다면, 예측이 거의 완벽하게 이루어져 부호화 효율이 매우 뛰어나다는 것을 의미하므로, 직사각 이전 블록의 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정하는 것이다. 여기서, 기준 예측 방향이란 직사각 현재 블록이 분할된 현재 블록의 예측 방향이거나 직사각 이전 블록의 예측 방향을 말한다.
또한, 현재 예측하고자 하는 직사각 현재 블록을 부호화하기 이전에 이미 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값 중 적어도 하나 이상이 '0'이 아니었다면, 예측의 정확도가 떨어져서 부호화 효율이 매우 높은 것은 아니라는 것을 의미하므로, 기준 예측 방향을 그대로 사용하지 않고 예측 방향을 변경하기 위해, 복수 개의 예측 방향 후보 중 부호화 비용이 최소인 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다. 여기서, 예측 방향 후보군이란 직사각 현재 블록의 예측 방향으로 결정될 복수 개의 예측 방향으로서, 기준 예측 방향을 제외한 예측 방향을 말한다. 예측 방향 후보군은 인트라 4x4 예측의 경우 총 9가지의 예측 방향 중 기준 예측 방향을 제외한 8가지의 예측 방향이 될 수도 있다. 다만, 이와 같이 예측 방향의 개수가 많아지면 계산량이 복잡해 져서 부호화 효율이 떨어질 수 있으므로 예측 방향의 개수를 더 작은 수로 제한할 수 있다. 예를 들면, 기준 예측 방향을 중심으로 양 옆의 예측 방향을 예측 방향 후보군으로 선택할 수 있을 것이다.
부호화 비용 계산부(2230)는 복수 개의 예측 방향 후보의 각 예측 방향에 따른 부호화 비용을 계산한다. 여기서, 부호화 비용은 율-왜곡 비용이 될 수 있지만 반드시 이에 한정되지는 않을 뿐만 아니라, 부호화 비용에 한정하지 않고 부호화 효율을 측정할 수 있는 비용이 될 수 있다. 또한, 예측 방향에 따른 부호화 비용이란 해당 예측 방향으로 부호화했을 때 소요되는 비용을 의미한다.
예측 방향 식별자 출력부(2240)는 각 직사각 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력한다.
도 23은 본 발명의 일 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도이다.
예측 방향 전환부(2110)는 직사각 부호화부(2120)로부터 전달되는 직사각 이전 블록의 양자화 주파수 계수를 저장한 상태에서(S2310), 직사각 현재 블록의 예측 방향을 결정할 때에는 직사각 이전 블록의 양자화 주파수 계수를 확인하여 양자화 주파수 계수 모두가 '0'인 경우에는 현재 블록의 예측 방향을 기준 예측 방향으로 결정하고(S2330), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 기준 예측 방향을 제외한 나머지 예측 방향 즉, 예측 방향 후보군의 각 예측 방향에 따른 부호화 비용을 계산하고(S2340), 각 부호화 비용을 비교하여 최소의 부호화 비용을 갖는 예측 방향을 현재 블록의 예측 방향으로서 결정한다(S2350). 즉, 예측 방향이 기준 예측 방향에서 변경된다.
도 24 및 도 25는 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.
도 24를 참조하면, 현재 블록의 예측 모드가 수평 모드인 경우, 현재 블록의 예측 방향은 수평 방향이며, 예측 방향 후보는 현재 블록의 예측 방향인 수평 방향을 중심으로 양 옆의 방향인 대각선 오른쪽 위 방향과 대각선 오른쪽 아래 방향이 될 수 있다.
이때, 기준 예측 방향이 점선으로 표시된 수평 방향이었다고 가정하면, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수가 모두 '0'일 경우, 기준 예측 방향인 수평 방향이 그대로 직사각 현재 블록의 예측 방향이 된다. 하지만, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우, 예측 방향 후보 중에서 기준 예측 방향인 수평 방향을 제외한 옆의 방향인 대각선 오른쪽 위 방향과 대각선 오른쪽 아래 방향 중 부호화 비용이 최소가 되는 방향이 직사각 현재 블록의 예측 방향이 된다.
도 25를 참조하면, 현재 블록의 예측 모드가 대각선 오른쪽 아래 모드인 경우, 현재 블록의 예측 방향은 대각선 오른쪽 아래 방향이며, 예측 방향 후보는 현재 블록의 예측 방향인 대각선 오른쪽 아래 방향을 중심으로 양 옆의 방향인 수평 방향과 수직 방향이 될 수 있다.
이때, 기준 예측 방향이 점선으로 표시된 대각선 오른쪽 아래 방향이었다고 가정하면, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수가 모두 '0'일 경우, 기준 예측 방향인 대각선 오른쪽 아래 방향이 그대로 직사각 현재 블록의 예측 방향이 된다. 하지만, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우, 예측 방향 후보 중에서 기준 예측 방향인 대각선 오른쪽 아래 방향을 제외한 옆의 방향인 수평 방향과 수직 방향 중 부호화 비용이 최소가 되는 방향이 직사각 현재 블록의 예측 방향이 된다.
도 26은 본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)는 예측 모드 추출부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530), 예측 방향 식별자 추출부(2610), 직사각 복원부(2620) 및 정사각 복원부(1550)를 포함하여 구성될 수 있다.
이러한 영상 복호화 장치(1500)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측 모드 추출부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530) 및 정사각 복원부(1550)는 도 15를 통해 전술한 바와 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.
예측 방향 전환부(2610)는 복호화부(1520)로부터 전달되는 양자화된 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향으로 각 직사각 현재 블록에 대한 예측 방향을 변경한다.
직사각 복원부(2620)는 양자화된 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 방향 전환부(2610)에 의해 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력한다. 여기서, 직사각 복원부(2620)는 도 16을 통해 전술한 직사각 복원부(1540)와 동일한 구조를 갖는다. 다만, 직사각 복원부(2620)에서는 직사각 예측부(1640)가 예측 방향 전환부(2610)와 연결되고, 직사각 예측부(1640) 는 현재 블록의 예측 모드의 예측 방향이 아닌 예측 방향 전환부(2610)로부터 전달되는 예측 방향에 따라 직사각 현재 블록을 예측한다.
이러한 본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)는 영상을 복호화하는 방법으로서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하고, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하며, 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 모드에 따른 예측 방향을 변경하며, 비트스트림으로부터 비트스트림 식별자를 추출하며, 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 현재 블록을 복원하되, 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하며, 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하되, 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력한다.
도 27은 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치는 도 26에서는 예측 방향 전환부(2610)로 구현될 수 있다. 이하에서는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치를 예측 방향 전환부(2610)라 칭한다.
본 발명의 다른 실시예에 따른 예측 방향 전환부(2610)는 이전 블록 계수 저장부(2710), 예측 방향 결정부(2720) 및 예측 방향 식별자 추출부(2730)를 포함하여 구성될 수 있다.
이전 블록 계수 저장부(2710)는 각 직사각 현재 블록 이전에 복호화된 직사 각 이전 블록의 양자화 주파수 계수를 저장한다. 즉, 이전 블록 계수 저장부(2710)는 복호화부(1520)로부터 전달되는 양자화 주파수 계수열에서 직사각 현재 블록의 양자화 주파수 계수를 수신하여 저장하는데, 저장된 양자화 주파수 계수가 다음 직사각 현재 블록을 부호화할 때 사용되는 직사각 이전 블록의 양자화 주파수 계수가 된다.
예측 방향 결정부(2720)는 이전 블록 계수 저장부(2710)에 저장된 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정하고, 직사각 이전 블록의 양자화 주파수 계수의 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 양자화 주파수 계수열로부터 추출되는 예측 방향 식별자가 지시하는 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다.
예측 방향 식별자 추출부(2730)는 예측 방향 결정부(2720)의 제어에 따라 복호화부(1520)로부터 전달되는 양자화 주파수 계수열로부터 예측 방향 식별자를 추출한다.
여기서, 기준 예측 방향은 현재 블록의 예측 방향 및 직사각 이전 블록의 예측 방향 중 하나일 수 있으며, 예측 방향 후보는 기준 예측 방향을 기준으로 결정될 수 있다.
도 28은 본 발명의 다른 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도이다.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치 즉, 예측 방향 전환 부(2610)는 직사각 이전 블록의 양자화 주파수 계수를 저장하고(S2810), 직사각 이전 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S2820), 직사각 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 직사각 현재 블록의 예측 방향으로서 결정하고(S2830), 직사각 이전 블록의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우에는 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하고(S2840), 예측 방향 식별자에 의해 지시되는 예측 방향을 직사각 현재 블록의 예측 방향으로서 결정한다(S2850).
도 29 및 도 30은 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.
직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 기준 예측 방향을 직사각 현재 블록의 예측 방향으로 결정하거나, 예측 방향 식별자에 의해 지시되는 현재 블록의 예측 모드의 예측 방향을 기준으로 양 옆의 예측 방향 중 한 방향을 직사각 현재 블록의 예측 방향으로 결정한다.
이와 같은 실시예를 통해 다음과 같은 실시예를 응용할 수도 있다. 즉, 정사각형 블록 단위로 예측하고 변환하고 양자화할 때, 각 정사각형 블록을 예측할 때마다 해당 블록의 예측 모드의 예측 방향에 따라 예측하는 것이 아니라, 이전 정사각형 블록의 양자화 주파수 계수를 확인하여 양자화 주파수 계수의 계수값에 따라 예측 방향을 변경하여 예측함으로써, 예측의 정확도를 높여 부호화 효율을 높일 수 있다.
따라서, 본 발명의 또 다른 실시예에 따른 예측 방향 전환 장치는 영상 부호 화를 위해 영상의 현재 블록을 예측할 때, 현재 블록 이전에 부호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 부호화 비용을 계산하여 부호화 비용이 최소인 예측 방향을 현재 블록의 예측 방향으로 결정할 수 있다. 또한, 예측 방향 전환 장치는 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 예측 방향 전환 장치는 영상 복호화를 위해 영상의 현재 블록을 예측할 때, 현재 블록 이전에 복호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 현재 블록의 양자화 주파수 계수로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향을 현재 블록의 예측 방향으로서 결정할 수 있다.
여기서, 기준 예측 방향은 현재 블록의 예측 방향 및 이전 블록의 예측 방향 중 하나일 수 있으며, 예측 방향 후보는 기준 예측 방향을 기준으로 결정될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하 여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과 도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 장치와 방법과 관련된 분야에 적용되어, 영상을 부호화하거나 복호화할 때 예측의 정확도를 높일 수 있어 영상의 부호화 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 통상적인 9 가지의 4x4 인트라 예측 모드를 나타내는 예시도,
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따른 부호화 선택 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시예에 따른 비트스트림 선택 과정을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시예에 따른 직사각 현재 블록을 나타낸 예시도,
도 9는 본 발명의 일 실시예에 따라 직사각 예측부가 단계적 인트라 예측을 수행하는 과정을 설명하기 위한 예시도,
도 10은 본 발명의 일 실시예에 따른 직사각 스캔 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 11은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 방법을 설명하기 위한 순서도,
도 12는 본 발명의 바람직한 실시예에 따라 복수 개의 직사각 잔차 블록이 정사각 잔차 블록으로 결합된 것을 나타낸 예시도,
도 13은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 과정을 설명하기 위한 예시도,
도 14는 본 발명의 일 실시예에 따라 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도,
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 16은 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 17은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 18은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 19는 본 발명의 일 실시예에 따라 초기 역 스캐닝 패턴에 따라 역 스캐닝하는 과정을 설명하기 위한 예시도,
도 20은 본 발명의 일 실시예에 따라 역 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도,
도 21은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 22는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 23은 본 발명의 일 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도,
도 24 및 도 25는 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도,
도 26은 본 발명의 다른 실시예에 다른 영상 복호화 장치(2600)의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 27은 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 28은 본 발명의 다른 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도,
도 29 및 도 30은 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.

Claims (27)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 인트라 예측을 이용하여 영상을 복호화하는 장치에 있어서,
    비트스트림에 포함된 양자화 주파수 계수를 역 스캐닝하여 현재블록을 구성하는 복수 개의 서브블록에 대응하는 복수 개의 변환 및 양자화된 잔차 서브블록을 출력하는 역 스캔부;
    상기 복수 개의 변환 및 양자화된 잔차 서브블록을 역 양자화하는 역 양자화부;
    상기 복수 개의 역 양자화된 잔차 서브블록을 역 변환하여 복수 개의 잔차 서브블록을 복원하는 역 변환부;
    상기 복수 개의 서브블록을 기 복원된 주변 화소로부터 순차적으로 인트라 예측하여 상기 복수 개의 서브블록에 대응하는 복수 개의 예측 서브블록을 순차적으로 생성하는 예측부; 및
    상기 복수 개의 서브블록을 순차적으로 복원하되, 상기 각 서브블록에 대응하는 예측 서브블록과 잔차 서브블록을 가산하여 해당 서브블록을 복원하는 가산부를 포함하되,
    상기 예측부는, 상기 현재블록 내에서 이전에 복원된 서브블록 내의 화소를 상기 주변 화소로서 이용하는 것을 특징으로 하는 영상 복호화 장치.
  21. 제 20 항에 있어서, 상기 역 스캔부는,
    상기 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하여 상기 양자화 주파수 계수를 스캔하는 것을 특징으로 하는 영상 복호화 장치.
  22. 제 20 항에 있어서,
    상기 복수 개의 서브블록은 상기 현재블록으로부터 직사각 블록 단위로 분할된 것을 특징으로 하는 영상 복호화 장치.
  23. 제 20 항에 있어서,
    상기 역 변환부는, 행렬 변환에 의해 상기 복수 개의 역 양자화된 잔차 서브블록을 역변환하는 것을 특징으로 하는 영상 복호화 장치.
  24. 삭제
  25. 삭제
  26. 제 20 항에 있어서,
    상기 비트스트림으로부터 상기 현재블록의 인트라 예측 모드에 대한 정보를 추출하는 예측 모드 추출부를 포함하고,
    상기 예측부는, 상기 복수 개의 서브블록 모두를 상기 현재블록의 인트라 예측 모드에 대한 정보에 의해 지시되는 예측 모드에 따라 예측하는 것을 특징으로 하는 영상 복호화 장치.
  27. 인트라 예측을 이용하여 영상을 복호화하는 방법에 있어서,
    비트스트림에 포함된 양자화 주파수 계수를 역 스캐닝하여 현재블록을 구성하는 복수 개의 서브블록에 대응하는 복수 개의 변환 및 양자화된 잔차 서브블록을 출력하는 역 스캔 단계;
    상기 복수 개의 변환 및 양자화된 잔차 서브블록을 역 양자화하는 역 양자화 단계;
    상기 복수 개의 역 양자화된 잔차 서브블록을 역 변환하여 복수 개의 잔차 서브블록을 복원하는 역 변환 단계;
    상기 복수 개의 서브블록을 기 복원된 주변 화소로부터 순차적으로 인트라 예측하여 상기 복수 개의 서브블록에 대응하는 복수 개의 예측 서브블록을 순차적으로 생성하는 예측 단계; 및
    상기 복수 개의 서브블록을 순차적으로 복원하되, 상기 각 서브블록에 대응하는 예측 서브블록과 잔차 서브블록을 가산하여 해당 서브블록을 복원하는 가산 단계를 포함하되,
    상기 예측 단계는, 상기 현재블록 내에서 이전에 복원된 서브블록 내의 화소를 상기 주변 화소로서 이용하는 것을 특징으로 하는 영상 복호화 방법.
KR20080086733A 2008-09-03 2008-09-03 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법 KR101487436B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR20080086733A KR101487436B1 (ko) 2008-09-03 2008-09-03 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
PCT/KR2009/004865 WO2010027170A2 (ko) 2008-09-03 2009-08-31 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
US13/002,259 US9100646B2 (en) 2008-09-03 2009-08-31 Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US14/692,298 US9654798B2 (en) 2008-09-03 2015-04-21 Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US14/833,914 US10298954B2 (en) 2008-09-03 2015-08-24 Device and method for image encoding/decoding using prediction direction conversion and selective encoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080086733A KR101487436B1 (ko) 2008-09-03 2008-09-03 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140128637A Division KR101531186B1 (ko) 2014-09-25 2014-09-25 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100027712A KR20100027712A (ko) 2010-03-11
KR101487436B1 true KR101487436B1 (ko) 2015-01-29

Family

ID=42178646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080086733A KR101487436B1 (ko) 2008-09-03 2008-09-03 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101487436B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028329A1 (en) * 2011-07-22 2013-01-31 General Instrument Corporation Device and methods for scanning rectangular-shaped transforms in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128533A (ja) * 1995-11-06 1997-05-16 Fuji Xerox Co Ltd 画像符号化復号化処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128533A (ja) * 1995-11-06 1997-05-16 Fuji Xerox Co Ltd 画像符号化復号化処理装置

Also Published As

Publication number Publication date
KR20100027712A (ko) 2010-03-11

Similar Documents

Publication Publication Date Title
KR101432775B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101379185B1 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101772046B1 (ko) 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
KR101403341B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101444667B1 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101712351B1 (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
KR101379187B1 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
KR101739579B1 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
KR101379186B1 (ko) 인트라 예측 부호화/복호화 방법 및 장치
US20070058715A1 (en) Apparatus and method for image encoding and decoding and recording medium having recorded thereon a program for performing the method
KR20120074534A (ko) 주변블록의 특징벡터를 이용한 영상 부호화/복호화 방법 및 장치
KR101483497B1 (ko) 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
KR101531186B1 (ko) 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
KR101369161B1 (ko) 예측 방향 전환 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101487436B1 (ko) 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
KR20150035873A (ko) 순차적 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR20150039594A (ko) 순차적 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20150035872A (ko) 순차적 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20150035871A (ko) 순차적 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101534014B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101464949B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 6