KR20100017453A - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20100017453A
KR20100017453A KR1020097024827A KR20097024827A KR20100017453A KR 20100017453 A KR20100017453 A KR 20100017453A KR 1020097024827 A KR1020097024827 A KR 1020097024827A KR 20097024827 A KR20097024827 A KR 20097024827A KR 20100017453 A KR20100017453 A KR 20100017453A
Authority
KR
South Korea
Prior art keywords
discrete cosine
cosine transform
video signal
blocks
information
Prior art date
Application number
KR1020097024827A
Other languages
English (en)
Inventor
전병문
박승욱
박준영
박현욱
전동산
인지 피아오
이지홍
Original Assignee
엘지전자 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 한국과학기술원 filed Critical 엘지전자 주식회사
Publication of KR20100017453A publication Critical patent/KR20100017453A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호를 수신하는 단계; 상기 비디오 신호로부터 이산 코사인 변환 정보를 추출하는 단계; 및 상기 이산 코사인 변한 정보를 이용하여 역 이산 코사인 변환을 수행하는 단계를 포함하며, 상기 이산 코사인 변환 정보는 이산 코사인 변환시 블록들의 재배열 모드를 나타내는 것을 특징으로 하는 비디오 신호의 처리 방법이 개시된다.
본 발명의 비디오 신호 처리 방법에 따르면, 이산 코사인 변환 이전에 예측 모드를 고려하여 비디오 신호의 블록들을 재배열함으로써 이산 코사인 변환의 효율을 개선하고, 행 또는 열을 이동시킨 이산 코사인 변환 계수 행렬 및 이와 관련된 이동 정보를 디코딩시 이용하고, 해상도 감소 갱신(RRU) 방식을 이산 코사인 변환/역이산 코사인 변환 도메인상에서 직접적으로 수행함으로써 코딩 효율을 높이고 연산의 복잡성을 감소시킬 수 있다.

Description

비디오 신호 처리 방법 및 장치{A METHOD AND AN APPARATUS FOR PROCESSING A VIDEO SIGNAL}
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
Technical Problem
이와 같이 공간적 중복성 및 시간적 중복성을 충분히 제거하지 않으면, 비디오 신호를 부호화하는데 있어서 압축율이 낮아질 뿐만 아니라, 공간적 중복성 및 시간적 중복성을 과도하게 제거하는 경우, 비디오 신호를 디코딩하는 데 있어서 필요한 정보를 생성하지 못하기 때문에 복원율이 나빠지는 문제점이 있었다.
Technical Solution
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 블록들을 재배열하여 이산 코사인 변환을 수행함으로써 압축 효율을 증가시키는 비디오 신호 처리 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명의 또 다른 목적은, 이산 코사인 변환시 변환 계수 행렬의 행 또는 열을 이동시킴으로써 코딩 효율을 개선하는 비디오 신호 처리 방법 및 장치를 제공하는 데 있다.
Advantageous Effects
본 발명은 다음과 같은 효과와 이점을 제공한다.
첫째, 본 발명의 비디오 신호 처리 방법은, 이산 코사인 변환 이전에 비디오 신호의 블록들을 재배열함으로써 블록들의 저주파수 성분들을 왼쪽상단부로 집중시켜 코딩 효율을 개선시킬 수 있다.
둘째, 본 발명의 비디오 신호 처리 방법은, 이산 코사인 변환 이전에 블록들의 재배열시 예측모드를 고려하여 재배열 방법을 채택함으로써 압축 효율을 개선시킬 수 있다.
셋째, 본 발명의 비디오 신호 처리 방법은, 이산 코사인 변환 계수 행렬에 있어서 행 또는 열을 이동시킨 행렬 및 이와 관련된 정보를 포함하는 이동 정보를 이용함으로써 코딩 효율을 개선시킬 수 있다.
넷째, 본 발명의 비디오 신호 처리 방법은, 해상도 감소 갱신(RRU) 방식을 이산 코사인 변환 도메인상에서 직접적으로 수행하여 다운샘플링함으로써 코딩 효율을 높이고 연산의 복잡성을 감소시킬 수 있다.
도 1 은 본 발명의 일실시예에 따른 비디오 신호의 인코딩 장치를 나타내는 개략적인 블록도이다.
도 2 는 본 발명의 일실시예에 따른 비디오 신호의 디코딩 장치를 나타내는 개략적인 블록도이다.
도 3A 는 본 발명의 제 1 실시예에 따른 블록 내에서의 해상도 감소 갱신 방식을 나타내는 것이고, 도 3B 는 본 발명의 제 1 실시예에 따른 블록 경계에서의 해상도 감소 갱신 방식을 나타내는 것이다.
도 4 는 본 발명의 제 1 실시예를 수행하는 비디오 신호의 인코딩 장치를 나타내는 개략적인 블록도이다.
도 5 는 본 발명의 제 1 실시예를 수행하는 비디오 신호의 디코딩 장치를 나타내는 개략적인 블록도이다.
도 6 는 본 발명의 제 2 실시예에서 이용되는 기저 영상을 나타내는 그래프이다.
도 7 은 본 발명의 제 2 실시예에 따른 이산 코사인 변환을 이용한 해상도 감소 갱신 방식을 나타내는 그래프이다.
도 8 은 본 발명의 제 2 실시예에 따른 이산 코사인 변환을 이용한 해상도 감소 갱신 방식에 관한 순서도이다.
도 9A 내지 도 9C 는 본 발명의 제 3 실시예에 따른 레지듀얼 신호의 재배열 방법을 나타내는 것이다.
도 10A 내지 도 10D 는 본 발명의 제 3 실시예에 따른 레지듀얼 신호의 계수 및 이산 코사인 변환 계수를 나타내는 것이다.
도 11A 내지 도 11I 는 본 발명의 제 4 실시예에 따른 레지듀얼 신호의 재배열 방법을 나타내는 것이다.
도 12A 및 도 12B 는 레지듀얼 신호(A,B)의 이산 코사인 변환 계수 행렬 및 코딩시 필요한 비트수를 나타낸 것이다.
도 13 은 본 발명의 제 5 실시예에 따른 이산 코사인 변환 계수 이동 방식을 나타내는 것이다.
Best Mode for Carrying Out the Invention
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은, 비디오 신호를 수신하는 단계; 상기 비디오 신호로부터 이산 코사인 변환 정보를 추출하는 단계; 및 상기 이산 코사인 변환 정보를 이용하여 역이산 코사인 변환을 수행하는 단계를 포함하며, 상기 이산 코사인 변환 정보는 이산 코사인 변환시 블록들의 재배열 모드를 나타내는 것을 포함한다.
본 발명에 따르면, 상기 이산 코사인 변환 정보는 상기 블록들의 예측모드를 고려하지 아니하는 제 1 재배열 모드 및 상기 블록들의 예측 모드를 고려하는 제 2 재배열 모드를 포함할 수 있다.
본 발명에 따르면, 상기 제 2 재배열 모드는 상기 블록들의 인트라 예측 모드에 따른 9 가지 모드를 포함할수 있다.
본 발명에 따르면, 상기 제 1 재배열 모드 및 상기 제 2 재배열 모드는 상기 블록들의 저주파수 성분들을 왼쪽상단부로 집중시키는 것일 수 있다.
본 발명에 따르면, 상기 블록들은 8 * 8 블록 또는 4 * 4 블록일 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호를 수신하는 단계; 상기 비디오 신호로부터 이산 코사인 변환 정보 및 해상도 감소 갱신 정보를 추출하는 단계; 및 상기 이산 코사인 변환 정보 및 상기 해상도 감소 갱신 정보를 이용하여 역 이산 코사인 변환을 수행하는 단계를 포함하며, 상기 이산 코사인 변환 정보는 이산 코사인 변환시 블록들의 재배열 모드를 나타낼 수 있다.
본 발명에 따르면, 상기 해상도 감소 갱신 정보는 상기 블록들을 업샘플링하여 역 이산 코사인 변환을 수행할지 여부를 나타내는 것일 수 있다.
본 발명에 따르면, 상기 업샘플링은 이산 코사인 변환 도메인에서 수행될 수 있다.
본 발명에 따르면, 상기 업샘플링은 다운샘플링되어 인코딩시 제거된 고주파수 성분에 0 을 대입하여 수행하는 것일 수 있다.
본 발명에 따르면, 상기 다운샘플링은, 상기 비디오 신호의 인코딩시 이산 코사인 변환 도메인에서 일정 이상의 지점에 위치하는 샘플들을 제거함으로써 수행되는 것일 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호를 수신하는 단계; 상기 비디오 신호로부터 이산 코사인 변환 정보 및 이산 코사인 변환 계수 이동 정보를 추출하는 단계; 및 상기 이산 코사인 변환 정보 및 이산 코사인 변환 계수 이동 정보를 이용하여 역 이산 코사인 변환을 수행하는 단계를 포함하며, 상기 이산 코사인 변환 정보는 이산 코사인 변환시 블록들의 재배열 모드를 나타내는 것을 포함한다
본 발명에 따르면, 상기 이산 코사인 변환 계수 이동 정보는, 상기 블록들의 이산 코사인 변환시 변환 계수 행렬의 이동 여부, 이동 방향, 및 이동 정보를 나타내는 것일 수 있다.
본 발명의 비디오 신호 처리 방법에 따르면, N 개의 샘플로 이루어진 비디오 신호의 블록을 이산 코사인 변환 도메인에서 변환하는 단계; 및 상기 이산 코사인 변환 도메인상에서 N/2 이하의 지점에 존재하는 샘플만을 선택하여 다운샘플링을 수행하는 단계를 포함한다.
본 발명에 따르면, 상기 비디오 신호는, 방송 신호를 통해 수신된 것일 수 있다.
본 발명에 따르면, 상기 비디오 신호는, 디지털 매체를 통해 수신된 것일 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호를 수신하는 단계; 상기 비디오 신호로부터 이산 코사인 변환 정보를 추출하는 단계; 및 상기 이산 코사인 변환 정보를 이용하여 역 이산 코사인 변환을 수행하는 단계를 포함하며, 상기 이산 코사인 변환 정보는 이산 코사인 변환시 블록들의 재배열 모드를 나타내는 것인 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
특히, 본 발명에서 코딩이라 함은, 인코딩 및 디코딩을 모두 포함하는 개념으로 이해되어야 한다.
도 1 은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1 을 참조하면, 변환부(110), 양자화부(115), 코딩 제어부(120), 역양자화부(130), 역반환부(135), 필터링부(140), 프레임 저장부(150), 움직임 추정부(160), 인터 예측부(170), 인트라 예측부(175), 및 엔트로피 코딩부(180)을 포함한다.
변환부(110)는 화소값을 변환하여 변환 계수값을 획득하는데, 이 때 이산 코사인 변환(DCT : Discrete Cosing Transform) 또는 웨이블릿 변환 방식이 사용될 수 있다. 특히, 이산 코사인 변환는 입력된 영상 신호를 8 * 8 블록으로 나누어 적은 수의 영상 신호에 신호를 집중시켜 압축 효율을 증가시키는데, 본 발명에서 제 안하는 이산 코사인 변환의 실시예에 관하여는, 추후 도 3 이하에서 설명하고자 한다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수값을 양자화한다. 코딩 제어부(120)는 특정 블록 또는 프레임을 화면내 부호화 할 것인지, 화면간 부호화를 할 것인지를 제어한다. 역양자화부(130) 및 역변환부(135)는 변환 계수값을 역양자화하고, 역양자화된 변환 계수값을 이용하여 원래의 화소값을 복원한다.
필터링부(140)는 블록 왜곡 현상을 감소시키기 위하여 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽처의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strength)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 픽처는 출력되거나 참조 픽처로 이용하기 위해 프레임 저장부(145)에 저장된다.
움직임 추정부(160)는 프레임 저장부(145)에 저장된 참조 픽처를 이용하여, 참조 픽처 중에서 현재 블록과 가장 유사한 참조 블록을 탐색한다, 움직임 추정부(160)는 탐색된 참조 블록의 위치 정보 등을 엔트로피 코딩부(180)로 전달하여 비트스트림에 포함되도록 할 수 있다.
인터 예측부(170)는 참조 픽처를 이용하여 현재 픽처의 예측을 수행하고, 화면간 부호화정보를 엔트로피 코딩부(180)에 전달한다. 또한, 인트라 예측부(175)는 현재 픽처 내의 디코딩된 샘플로부터 화면내 예측을 수행하며, 화면내 부호화정보를 엔트로피 코딩부(180)에 전달한다.
엔트로피 코딩부(180)는 양자화된 변환 계수, 화면간 부호화 정보, 화면내 부호화 정보, 및 움직임 추정부(160)로부터 입력된 참조 블록 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다, 여기서 엔트로피 코딩부(180)에서는 가변 길이 코딩(VLC: Variable Length Coding) 방식과 산술 코딩(arithmetic coding)이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(CAVLC: Context-based Adaptive Variable Length Coding) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는 데, 산술 코딩은 각 심볼을 표현하기 위해 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(CABAC: Context-based Adaptive Binary Arithmetic Code)가 이용될 수 있다.
도 2 는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2 를 참조하면, 본 발명의 비디오 신호 디코딩 장치는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230), 프레임 저장부(240), 인터 예측부(250), 인트라 예측부(260)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 매크로블록의 변화 계수, 움직임 벡터 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다. 한편, 필터링부(230)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽처의 화질을 향상시킨다. 필터링을 거친 픽처는 출력되거나 참조 픽처로 이용하기 위하여 프레임 저장부(240)에 저장된다.
인터 예측부(260)는 프레임 저장부(240)에 저장된 참조 픽처를 이용하여 현재 픽처를 예측하는데, 이 때 도 1 과 함께 설명된 바와 마찬가지로, 참조 픽처를 이용하게 된다. 한편, 인트라 예측부(265)에서는 현재 픽처 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 인트라 예측부(265) 또는 인터 예측부(260)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 화소값이 더해져서 복원된 비디오 프레임이 생성된다.
이하에서는, 도 3A 내지 도 3B 에서 본 발명의 제 1 실시예에 따른 해상도 감소 갱신(RRU : Reduced Resolution Update)방식에 대하여 설명한 후, 도 4 내지 도 5 에서 해상도 감소 갱신(RRU) 방식을 채용한 비디오 신호의 인코딩 및 디코딩 장치에 관하여 살펴보도록 한다.
해상도 감소 갱신(RRU : Reduced Resolution Update) 방식이란, 공간적 도메인(spatial domain)에서 움직임 보상(motion compensatlon)을 통하여 얻어진 레지듀얼 값들을 다운샘플링(downsampling)하여 다운샘플링된 값들만을 변환 및 양자화하여 인코딩하는 방식을 지칭한다. 이러한 해상도 감소 갱신 방식은, 완전한 해상도에서 최종 이미지가 재구성되는 것을 허용하는 높은 해상도 기준을 사용하는 예측을 수행하면서, 감소된 해상도에서 이미지를 인코딩하는 방식을 채택한다. 따라서, 충분한 주관적인 품질을 유지하면서, 비디오 신호의 변환 및 양자화시 코딩 화상 속도를 증가시킬 수 있는 기회를 제공한다. 특히, 상기 해상도 감소 갱신(RRU) 방식은 픽처 시퀀스 내에서 무거운 움직임이 존재하는 동안 유용하며, 이는 인코더가 움직이지 않는 영역에서 높은 해상도와 품질을 유지하면서, 높은 프레임 속도를 유지하기 때문이다.
또한, 해상도 감소 갱신 방식을 채택한 경우 비디오 신호의 이미지는, 완전한 해상도로 코딩된(다운샘플링 이전의 해상도로 코딩된) 이미지에 비하여, 매크로블록 개수의 1/4를 가지고, 움직임 벡터 데이터는 각각 16 * 16 과 8 * 8 대신, 완전한 해상도의 화상의 32 * 32 와 16*16 의 블록 크기와 연관된다. 반면, 이산 코사인 변환(DCT)와 텍스처(texture) 데이터는 감소된 해상도 이미지의 8 * 8 블록과 연관되며, 최종적으로 완전한 이미지 표현을 생성하기 위하여 업샘플링 공정이 필수적이다.
상기 해상도 감소 갱신 방식은 객관적인 품질에 있어서 감소를 초래할 수 있지만, 움직임 데이터 및 감소된 레지듀얼 데이터로 인한 인코딩시 사용되는 비트의 감소에 의하여 보상되는 것이 더 많다.
도 3A 및 도 3B 는 본 발명의 제 1 실시예에 따른 해상도 감소 갱신 방식으로 다운샘플링되어 인코딩된 비디오 신호들을, 디코딩시 업샘플링(upsampling)하는 방법에 관한 것이다.
도 3A 을 참조하면, 해상도 감소 갱신 방식으로 다운샘플링되어 얻어진 화소가 A, B, C, D 이고, 이들이 블록 내부에 위치하는 경우, 인터폴레이션(interpolation)을 통하여 업샘플링되어 얻어지는 주변 화소의 값은 하기 수학식 1 과 같다.
[수학식 1]
a = (9A + 3B + 3C + D + 8)/16
b = (3A + 9B + C + 3D + 8)/16
c = (3A + B + 9C + 3D + 8)/16
d = (A + 3B + 3C + 9D + 8)/16
또한, 도 3B 는 블록 경계에 위치한 화소가 공간적 도메인에서 다운샘플링되어 인코딩된 경우를 나타내며, 이들 A, B, C, D 화소를 인터폴레이션(interpolatlon)함으로써 얻어지는 주변 화소의 값은 하기 수학식 2 와 같다.
[수학식 2]
e = A
f = (3A + B + 2)/4
g = (A + 3B + 2)/4
h = (3A + C + 2)/4
I = (A + 3C + 2)/4
도 4 및 도 5 는 상기 해상도 감소 갱신(RRU : Reduced Resolution Update) 방식을 채용한 비디오 신호의 인코딩(400) 및 디코딩 장치(500)에 관한 개략적인 블록도이다. 도 4 및 도 5 에 있어서, 변환부(410), 양자화부(415), 코딩제어부(420), 역양자화부(430,520), 역변환부(435,530), 필터링부(440,540), 프레임저장부(450,550), 움직임 추정부(460), 인터 예측부(475,560), 인트라 예측부(475,565), 및 엔트로피 디코딩부(480, 510)는 도 1 및 도 2 의 비디오 신호의 동 일한 명칭을 갖는 처리 장치들과 동일한 구성 및 목적을 가지므로 상세한 설명을 생략하고자 한다.
도 4 를 참조하면, 본 발명의 비디오 신호의 인코딩 장치(400)는, 레지듀얼의 변환 및 양자화 이전에 비디오 신호의 적어도 일부의 레지듀얼을 다운샘플링(downsampling)하기 위한 다운샘플링부(305)를 포함한다.
다운샘플링부(305)는 입력된 비디오 신호에 대하여 완전한 해상도에서 최종 이미지가 재구성되는 것을 허용하는 높은 해상도 기준을 사용하여 예측을 수행하면서, 감소된 해상도에서 이미지를 인코딩하는 것을 가능하도록 한다. 따라서, 충분한 주관적인 품질을 유지하면서, 코딩 화상 속도를 증가시킬 수 있게 된다.
또한, 도 5 를 참조하면, 본 발명의 비디오 신호의 디코딩 장치(500)는, 역변환부(530)를 거쳐 얻어진 레지듀얼 값에 대하여 업샘플링(upsampling)하기 위한 업샘플링부(535)를 포함한다. 이와 같이, 다운샘플링하여 얻어진 감소된 개수의 레지듀얼들을 역양자화부(520) 및 역변환부(530)에서 역양자화 및 역변환하고, 그 후 역변환된 레지듀얼 값을 업샘플링함으로써 모든 레지듀얼들을 역양자화 및 역변환하는 경우에 비하여 연산량을 감소시킬 수 있게 된다.
반면, 본 발명의 제 2 실시예에 따른 해상도 감소 갱신(RRU) 방식은 제 1 실시예에 따른 해상도 감소 갱신(RRU) 방식이 이산 코사인 변환 이전에 공간적 도메인(spatial domain)에서 다운샘플링이 수행되는 것과 달리, 이산 코사인 변환의 결과로 얻어진 주파수 도매인(frequency domain)에서 수행함으로써, 연산량을 감소시킬 수 있으며, 이하 도 6 내지 도 8 를 참고하여 설명하기로 한다.
먼저, 이산 코사인 변환(DCT : Discrete Cosine Transform)은 직교 교환의 하나로서, DFT(Discrete Frequency Transform)와 같은 종류라 할 수 있다. 이산 코사인 변환은 먼저 영상 데이터를 8 * 8 블록으로 나누고, 이 블록 내의 화소에 대하여 이산 코사인 변환의 연산을 수행한다. 이산 코사인 변환의 변환식 및 역변환식은 하기 수학식 3 및 4 와 같다.
[수학식 3]
Figure 112009073231515-PCT00001
[수학식 4]
Figure 112009073231515-PCT00002
상기 수학식 3 및 4 에서 (i,j)는 화소의 위치를 나타내고, (u,v)는 2 차원 주파수의 위치를 나타낸다. 또한, f(i,j)는 입력영상이고, F(u,v)은 변환영상이며, 계수 C(u) 는 다음과 같은 값을 갖는다.
Figure 112009073231515-PCT00003
이산 코사인 변환(DCT)이란 공간적 도메인상의 신호를 2 차원 주파수 성분으로 분해(변환)하는 처리이고, 도 6 은 이 때의 주파수 성분들이 표현된 기저영상을 나타낸 것이다. 좌측상단이 수평방향과 수직방향 모두 낮은 주파수 성분을 가지고, 우측하단으로 갈수록 높은 주파수 성분으로 복잡한 패턴을 이룬다. 이 때, 64 개의 2 차원의 주파수 성분 중 가장 좌측상단에 존재하는 1 개만이 직류성분(DC : Direct Current)으로 주파수가 0 인 성분이며, 나머지는 교류성분(AC : Alternate Current) 으로 낮은 주파수 성분부터 높은 주파수 성분까지 63 개로 구성된다. 자연계에서 볼 수 있는 신호(또는 패턴)들은 좌측상단의 것이 많고, 우측하단으로 갈수록 드물기 때문에 이산 코사인 변환시 압축효과를 얻을 수 있다. 이는 인간이 시각적으로 높은 주파수 성분에 대하여 오차의 감도가 낮기 때문이다. 이산 코사인 변환을 수행한다는 것은 원영상 신호의 블록에 포함된 기저성분(64 개의 기본 패턴 성분)들 각각의 크기를 구하는 것이며, 이 크기는 이산 코사인 변환계수이다.
또한, 이산 코사인 변환(DCT)은 단순히 원영상 신호를 주파수 성분으로 표현하기 위하여 사용되는 변환으로, 역변환시 주파수 성분으로부터 원래의 영상신호로 완전히 복원된다. 즉, 영상의 표현방법만을 바꾸는 것으로, 중복된 정보를 포함해 원영상에 포함된 모든 정보를 모두 보존한다.
원영상을 이산 코사인 변환하는 경우, 원영상의 진폭분포와 달리 이산 코사인 변환계수치는 0 근처의 값에 몰려서 존재하게 되므로 이를 이용하여 높은 압축효과를 얻을 수 있게 된다.
본 발명의 제 1 실시예에 따르면 해상도 감소 갱신 방식을 채택한 경우, 이산 코사인 변환을 수행하기 이전에, 공간적 도메인(spatial domain)상태에서 원영상 신호에 대한 다운샘플링을 수행하게 된다. 상기 다운샘플링은 존재하는 원영상 신호들 중 홀수(또는 짝수)번째에 존재하는 신호들을 삭제하여 수행되며, 그 후, 남아있는 원영상 신호들을 이용하여 주파수 도메인으로 변환하는 이산 코사인 변환을 수행하게 된다.
반면, 본 발명의 제 2 실시예에 따른 비디오 신호의 처리 방법 및 장치는 상기 해상도 감소 갱신(RRU) 방식을 공간적 도메인이 아닌, 이산 코사인 변환 도메인에서 수행한다.
도 7 은 이산 코사인 변환(DCT) 도메인에서 해상도 감소 갱신을 수행하는 방법을 나타내는 그래프이다. 먼저, 공간적 도메인상에 존재하는 신호 전체에 대하여 하기 수학식 5 와 같이, 이산 코사인 변환(DCT)을 수행한다.
[수학식 5]
Figure 112009073231515-PCT00004
이러한 변환을 수행하는 경우, 저주파수 대역에서는 큰 DCT 계수가 발생하게 되고, 고주파수 대역으로 갈수록 작은 값의 계수를 얻게 된다. 도 7 의 이산 코사인 변환에서는 해상도 감소를 위한 다운샘플링을 하기 수학식 6 과 같이, 변환된 이산 코사인 도메인에서 저주파수 대역에 존재하는 값만을 취함으로써 수행한다. 상기 과정에서 사용되지 아니하는 고주파수 대역은, 예를 들어, 전체 N 개의 신호 중 N/2 지점 이상에 존재하는 대역일 수 있다.
[수학식 6]
Figure 112009073231515-PCT00005
그 후, 변환된 이산 코사인 변환 도메인 상의 신호들에 대해 하기 수학식 7 과 같이 양자화를 수행하게 된다.
[수학식 7]
Figure 112009073231515-PCT00006
인코딩시 상기와 같은 해상도 감소 갱신 방식을 채택하여 이산 코사인 변환 도메인에서 다운샘플링을 수행하는 경우, 이를 나타내는 해상도 감소 갱신 정보(RRU information)를 디코더에 송신할 수 있으며, 상기 해상도 감소 갱신 정보는 이산 코사인 변환 도메인에서 다운샘플링을 수행하였는지 여부 뿐만 아니라, 다운샘플링 이전의 원영상의 해상도 정보 등을 포함할 수 있다.
또한, 디코딩시 업샘플링도 이산 코사인 변환 도메인에서 하기 수학식 8 내지 10 과 같이 수행된다. 디코더에 입력된 비디오 신호로부터 추출된 상기 해상도 감소 갱신 정보가 다운샘플링을 수행하였음을 나타내는 경우, 역 이산 코사인 변환 이후에 인코딩시 선택하지 아니한 고주파수 대역에 대하여 0 의 값을 부여한다. 상기에서 언급한 바와 같이, 이산 코사인 변환 도메인에서 고주파수 대역은 작은 값을 가지게 되므로 업샘플링시 복원된 영상은 원영상의 화질과의 적은 차이를 가져올 수 있다.
[수학식 8]
Figure 112009073231515-PCT00007
[수학식 9]
Figure 112009073231515-PCT00008
[수학식 10]
Figure 112009073231515-PCT00009
도 8 은 본 발명의 제 2 실시예에 따른 이산 코사인 변환을 이용한 해상도 감소 갱신 방식에 관한 순서를 보여주는 것이다. 도 8 을 참조하면, S810 단계 내지 S830 단계는 인코더에서 수행되는 단계로서, 앞서 도 1 과 함께 설명된 본 발명의 일실시예에 따른 비디오 신호 인코딩 장치에 의해 수행될 수 있고, S840 단계 내지 S860 단계는 디코더에서 수행되는 단계로서, 도 2 와 함께 설명된 본 발명의 일실시예에 따른 비디오 신호 디코딩 장치에 의해 수행될 수 있다.
인코더에서는 먼저 공간적 도메인(spatial domain)상에 존재하는 비디오 신호 전체에 대하여 이산 코사인 변환을 수행한다(S810단계). 이 때, 본 발명의 제 1 실시예에 따르는 이산 코사인 변환 방식은, 이산 코사인 변환 이전에 공간적 도메인상의 비디오 신호 중 일부를 선택하는 해상도 감소 단계를 포함한다. 반면, 본 발명의 제 2 실시예에 따른 이산 코사인 변환 방식은 상기와 같은 공간적 도메인상에서의 해상도 감소 단계를 생략하고, 전체 공간적 도메인상의 신호에 대하여 이산 코사인 변환을 수행한다.
이와 같이 S810 단계에서 변환된 이산 코사인 변환 도메인 상의 비디오 신호 중 저주파수 대역상에 존재하는 신호만을 선택함으로써 공간적 도메인 대신 이산 코사인 변환 도메인에서 고주파수 대역에 존재하는 샘플들을 제거함으로써 다운샘플링을 수행한다(S820 단계). 또한, S820 단계에서 다운샘플링된 이산 코사인 변환 신호들에 대하여 양자화를 수행하여 인코딩된 비디오 신호를 얻을 수 있게 된다 (S830 단계). 이 때, 해상도 감소 갱신 방식을 이산 코사인 변환 도메인에서 수행하였는지 여부 및 다운샘플링 이전의 원영상의 해상도 정보를 나타내는 해상도 감소 갱신 정보를 함께 인코딩할 수 있다.
그러면, 디코더는 해상도 감소 갱신 정보를 포함하는 비디오 신호 비트스트림을 수신하여, 역양자화를 수행한다(S840 단계). 역양자화된 이산 코사인 변환 도메인상의 신호는 저주파수 대역에만 존재하게 되며, 이 때 고주파수 대역에 0 의 값을 대입하여 원영상의 해상도로 복원하는 업샘플링을 수행한다(S850 단계). 그런 다음, 업샘플링된 이산 코사인 변환 도메인상의 신호를 공간적 도메인의 신호로 변환한다(S860 단계).
이와 같이, 이산 코사인 변환 도메인에서 인코딩시 저주파수 대역의 신호들만을 선택하거나 디코딩시 고주파수 대역의 값에 0 을 부여하는 해상도 감소 갱신 방식을 이용하는 경우, 공간적 도메인(spatial domain) 상에서의 다운샘플링 및 업샘플링을 위한 단계를 생략할 수 있다. 또한, 해상도 감소 갱신 방식의 코딩을 위한 다운샘플링 및 업샘플링을 부가적인 계산없이 수행할 수 있어 연산량을 감소할 수 있다.
한편, 본 발명의 또다른 일실시예에서는 이산 코사인 변환 이전에 영상 신호들을 재배열함으로써 비트 전송율을 감소시키고, 원 영상과의 오차를 줄이는 비디오 신호의 처리 방법에 대하여 도 9A 내지 도 11I 를 참고하여 살펴보기로 한다.
현재의 이산 코사인 변환 방식은 원영상을 2 차원 주파수 성분으로 변환하며, 변환시 원영상의 블록에 포함된 기저성분들 각각의 크기를 구한 후, 양자화하 고 지그재그 스캔(zig-zag scan)을 수행한다. 이러한 이산 코사인 변환을 수행하는 영상 신호는 원영상 신호일 수 있고, 레지듀얼 신호일 수 있다. 이 때, 이웃하는 원영상 신호 또는 레지듀얼 신호들은 변칙적이지만 유사성을 가질 수 있다. 따라서, 이산코사인 변환에 있어서, 서로 유사성 있는 원영상 신호 또는 레지듀얼 신호들을 유사성을 고려하여 재배열하는 단계를 더 포함함으로써, 일반적인 이산 코사인 변환을 수행하는 경우 보다 이산 코사인 변환 계수가 직류성분 근처에 모이도록 유도하여 압축율을 향상시킬 수 있다. 이하에서는 재배열을 수행하는 블록들이 레지듀얼 신호일 때에 대하여 설명한다.
본 발명에서는 이산 코사인 변환에 있어서, 제 3 실시예에서는 레지듀얼 신호들을 재배열하는 방법으로 예측 모드를 고려하지 않고 재배열 하는 방법인 제 1 재배열 모드와 제 4 실시예에서는 예측 모드를 고려하여 재배열하는 방법인 제 2 재배열 모드를 제안한다.
도 9A 내지 도 10D 는 본 발명의 제 3 실시예에 따른 제 1 재배열 모드를 이용한 이산 코사인 변환 방법을 나타낸 도면이고, 도 11A 내지 도 11I 는 본 발명의 제 4 실시예에 따른 제 2 재배열 모드를 이용한 이산 코사인 변환 방법을 나타내는 것이다.
먼저, 도 9A 내지 9C 는 제 1 재배열 모드를 이용하여 4 * 4 레지듀얼 신호들을 재배열하여 이산 코사인 변환하는 방법을 나타내며, 상기 제 1 재배열 모드는 재배열 방향에 따라 세가지 모드(DCTO, DCT1, DCT2)로 구성된다. 먼저, 제 1 재배열 모드를 이용하는 경우, 재배열 후에 각각의 블록에 이웃하는 4 개의 블록은 재 배열 전에 각각의 블록에 이웃하는 8 개의 블록들로부터 온 것이어야 한다. 이러한 규칙에 따르는 경우, 상기 제 1 재배열 모드는, 도 9A 에 나타난 바와 같이 재배열 없이 일반적인 방법으로 이산 코사인 변환을 수행하는 경우(DCTO), 및 도 9B 와 도 9C 와 같이, 4*4 레지듀얼 신호의 좌측에 존재하는 레지듀얼들을 상측으로 재배열하는 두 가지의 방법을 이용하는 경우(DCT1, DCT2)일 수 있다.
도 10A 내지 10d 는 4*4 레지듀얼 신호들을 제 1 재배열 모드에 의하여 재배열한 후, 이산 코사인 변환을 수행하여 얻어진 이산 코사인 계수를 나타낸 것이다. 도 10A 와 같은 계수를 갖는 동일한 4*4 레지듀얼 신호들에 대하여, 재배열 없이 이산 코사인 변환을 수행한 경우(DCT0)에는 도 10B 에 나타난 바와 같은 이산 코사인 변환계수를 갖는 것과 달리, DCT1 및 DCT2 모드로 재배열 한 후 이산 코사인 변환을 수행하는 경우에는 각각 도 10C 및 도 10D 에 나타난 바와 같은 이산 코사인 변환계수를 갖게 된다.
상기 레지듀얼 신호들을 재배열하여 이산 코사인 변환을 수행하는 방식을 채택하는 경우, 인코더는 상기 세 가지 모드에 관련된 이산 코사인 변환계수 및 재배열 정보를 모두 인코딩 한다. 또한, 인코더는 상기 세 가지 모드를 모두 수행하여 이산 코사인 변환 수행시 비트율 및 왜곡(RD cost)의 정도를 계산한다. 따라서, 디코더는 인코더에서 계산된 비트율 및 왜곡(RD cost)를 비교하여, DCT0, DCT1, 및 DCT2 모드 중 가장 비용이 적은 모드로 변환된 신호를 선택하여 디코딩한다.
한편, 도 11A 내지 도 11I 는 제 2 재배열 모드를 이용하는 4*4 레지듀얼 신호의 재배열단계를 포함하는 이산 코사인 변환 방법을 나타내는 것이며, 상기 제 2 재배열 모드는 재배열 방식에 따라 9 가지 모드로 구성된다(mode 0 ∼ 8). 레지듀얼 신호들은 예측(prediction)에 의하여 얻어지는데, 이러한 예측은 9 가지 모드를 가지고 있다. 각각 다른 예측 모드는 다른 방향성을 가지고, 각각의 화소는 이러한 다른 예측 모드를 통하여 얻어지게 되므로, 레지듀얼 신호들은 예측 모드에 따라 다른 방향성 및 유사성을 획득할수 있다. 따라서,제 2 재배열 모드는 이러한 예측 모드(prediction mode)를 고려하여 예측 모드마다 각기 다른 레지듀얼 신호들의 이산 코사인 변환 방법을구성한다.
먼저, 도 11A 내지 도 11C 를 참조하면, 제 2 재배열 모드를 구성하는 모드 0, 1, 2(mode 0, 1, 2)는 4*4 레지듀얼 신호들이 수직방향(vertical), 수평방향(horizontal), 및 평균값(DC)를 이용하여 예측되는 경우(mode 0, mode 1, mode 2)를 나타내며, 이 경우 레지듀얼 신호들의 재배열 없이 이산 코사인 변환을 수행하는 방식을 지칭한다
한편, 도 11D 내지 도 11I 를 참조하면, 도 11D 는 레지듀얼 신호가 예측모드 3 인 대각선 왼쪽-하향 방향(diagonal down-left)으로 예측되는 경우, 도 11E 는 예측모드 4 인 대각선 오른쪽-하향 방향(diagonal down-right)으로 예측되는 경우, 도 11F 는 예측모드 5 인 오른쪽-수직 방향(vertical-right)으로 예측되는 경우, 도 11G 는 예측모드 6 인 대각선 오른쪽-하향방향(diagonal down-right) 으로 예측되는 경우, 도 11H 는 예측모드 7 인 왼쪽-수직 방향(vertical-left)으로 예측되는 경우, 및 도 11I 는 예측모드 8 인 수평-상향 방향(horizontal-up)으로 예측되는 경우에 레지듀얼 신호들의 재배열 방향을 나타내는 것이다.
이와 같이, 이산 코사인 변환 이전에 예측 모드(prediction mode)에 따라, 레지듀얼 신호들을 재배열하여, 이산 코사인 변환을 수행하는 경우 이산 코사인 변환계수들이 좌측(직류성분 근처)로 몰려 분포하게 되어 보다 높은 압축효과를 얻을 수 있다.
본 발명은 제 5 실시예에서 레지듀얼 신호의 코딩 효율을 높이기 위하여 이산 코사인 변환계수 이동(DCT coefficient shitf) 방식을 제안하며, 이에 대하여 도 12 내지 도 13 를 참조하여 설명하기로 한다.
도 12A 및 도 12B 는 서로 다른 4*4 레지듀얼 데이터 A 및 B 를 변환 및 양자화하여 얻어진 이산 코사인 변환 계수를 나타내는 것이다. 코딩 효율은 이산 코사인 변환계수의 분포에 의하여 크게 의존한다. 도 12A 를 참조하면, 레지듀얼 데이터 A 에 대한 이산 코사인 변환 계수는 (1,1) 에서만 1 의 값을 가지며, 이를 나타내기 위하여 코딩시 약 5 비트를 이용한다. 반면, 도 12B 에 나타난 바와 같이, 레지듀얼 데이터 B 에 대한 이산 코사인 변환 계수는 (2,1) 에서만 1 의 값을 가지며, 이 경우 레지듀얼 데이터 A 의 경우와 달리 약 10 비트를 이용하게 된다.
상기 레지듀얼 데이터 B 의 이산 코사인 변환 계수 행렬은 열을 왼쪽으로 한번 이동시키는 경우, 레지듀얼 데이터 A 의 이산 코사인 변환 계수 행렬과 동일하다. 따라서, 본 발명의 제 5 실시예에 따른 이산 코사인 변환 이동 방식을 이용하는 비디오 신호의 처리 방법 및 장치는, 최소한의 비트율을 갖도록 행렬을 이동하고, 이와 관련된 정보인 이산 코사인 변환계수 이동 정보(shift in-formaiton)를 따로 전송함으로써 코딩 효율을 개선할수 있다.
본 발명의 제 5 실시예에 따른 이산 코사인 변환 이동 방식은, 이동하지 아니한 이산 코사인 변환계수 행렬(No shifted DCT coefficient), 행 전체를 왼쪽으로 이동시킨 이산 코사인 변환계수 행렬(Left side of row shifted DCT co-efficient), 및 열 전체를 위쪽으로 이동시킨 이산 코사인 변환계수 행렬(Up side of column shifted DCT coefficlent)를 각각 인코딩하여, 사용된 비트가 가장 적은 행렬을 선택할 수 있다.
도 13 은 본 발명의 제 5 실시예에 따른 도 12B 의 레지듀얼 B 의 이산 코사인 변환 계수 행렬을 나타낸 것이다. 레지듀얼 B 는 이산 코사인 변환 계수 행렬의 행을 왼쪽으로 이동시키는 경우, 레지듀얼 A 의 이산 코사인 변환 계수 행렬과 동일하게 되고, 이렇게 이동된 변환 계수 행렬은 약 5 비트를 이용하여 코딩될 수 있다. 또한, 레지듀얼 B 의 변환 계수 행렬이 이동되었음을 나타내는 이산 코사인 변환계수 이동 정보(shift information)을 따로 전송할 수 있으며, 이동 정보의 전송은 약 1∼2 비트로 가능하므로, 이산 코사인 변환 이동 방식을 채택하지 아니한 경우(10비트) 보다 적은 비트수(6∼7 비트)를 이용하여 이산 코사인 변환 계수 행렬을 나타낼 수 있으므로 코딩 효율을 개선할수 있다.
상기 이산 코사인 변환계수 이동 정보(shift information)는 상기 블록들의 이산 코사인 변환시 변환 계수 행렬의 이동 여부, 이동 방향 및 이동 정도에 관한 정보를 더 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명은 오디오 인코딩하고 디코딩하는 데 적용될 수 있다.

Claims (21)

  1. 비디오 신호를 수신하는 단계;
    상기 비디오 신호로부터 이산 코사인 변환 정보를 추출하는 단계; 및
    상기 이산 코사인 변환 정보를 이용하여 역 이산 코사인 변환을 수행하는 단계
    를 포함하며, 상기 이산 코사인 변환 정보는 이산 코사인 변환시 블록들의 재배열 모드를 나타내는 것을 특징으로 하는 비디오 신호의 처리 방법 .
  2. 제 1 항에 있어서,
    상기 이산 코사인 변환 정보는 상기 블록들의 예측 모드를 고려하지 아니하는 제 1 재배열 모드 및 상기 블록들의 예측 모드를 고려하는 제 2 재배열 모드를 포함하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  3. 제 2 항에 있어서,
    상기 제 2 재배열 모드는 상기 블록들의 인트라 예측 모드에 따른 9 가지 모드를 포함하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  4. 제 2 항에 있어서,
    상기 제 1 재배열 모드 및 상기 제 2 재배열 모드는 상기 블록들의 저주파수 성분들을 왼쪽상단부로 집중시키는 것을 특징으로 하는 비디오 신호의 처리 방법.
  5. 제 1 항에 있어서,
    상기 블록들은 8*8 블록인 것을 특징으로 하는 비디오 신호의 처리 방법.
  6. 제 1 항에 있어서,
    상기 블록들은 4 * 4 블록인 것을 특징으로 하는 비디오 신호의 처리 방법.
  7. 제 1 항에 있어서,
    상기 비디오 신호로부터 해상도 감소 갱신 정보를 추출하는 단계;및
    상기 해상도 감소 갱신 정보를 이용하여 역 이산 코사인 변환을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  8. 제 7 항에 있어서,
    상기 해상도 감소 갱신 정보는 상기 블록들을 업샘플링하여 역이산 코사인 변환을 수행할지 여부를 나타내는 것을 특징으로 하는 비디오 신호의 처리 방법.
  9. 제 8 항에 있어서,
    상기 업샘플링은 이산코사인 변환 도메인에서 수행되는 것을 특징으로 하는 비디오 신호의 처리 방법.
  10. 제 8 항에 있어서,
    상기 업샘플링은 다운샘플링되어 인코딩시 제거된 고주파수 성분에 0 을 대입하는 것을 특징으로 하는 비디오 신호의 처리 방법,
  11. 제 10 항에 있어서,
    상기 다운샘플링은, 상기 비디오 신호의 인코딩시 이산 코사인 변환 도메인에서 일정 이상의 지점에 위치하는 샘플들을 제거함으로써 수행되는 것을 특징으로 하는 비디오 신호의 처리 방법.
  12. 제 1 항에 있어서,
    상기 비디오 신호로부터 이산 코사인 변환 계수 이동 정보를 추출하는 단계; 및
    상기 이산 코사인 변환 계수 이동 정보를 이용하여 역 이산 코사인 변환을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  13. 제 12 항에 있어서,
    상기 이산 코사인 변환 계수 이동 정보는상기 블록들의 이산코사인 변환시 변환 계수 행렬의 이동 여부, 이동 방향, 및 이동 정도를 나타내는 것을 특징으로 하는 비디오 신호의 처리 방법.
  14. 비디오 신호를 수신하는 단계;
    상기 비디오 신호로부터 해상도 감소 갱신 정보를 추출하는 단계; 및
    상기 해상도 감소 갱신 정보를 이용하여 이산 코사인 변환 도메인에서 블록들을 업샘플링하여 역 이산 코사인 변환을 수행하는 단계
    를 포함하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  15. N 개의 샘플로 이루어진 비디오 신호의 블록을 이산 코사인 변환 도메인에서 변환하는 단계; 및
    상기 이산 코사인 변환 도메인상에서 N/2 이하의 지점에 존재하는 샘플만을 선택하여 다운샘플링을 수행하는 단계
    를 포함하는 비디오 신호의 처리 방법.
  16. 제 1 항에 있어서,
    상기 비디오 신호는, 방송 신호를 통해 수신된 것을 특징으로 하는 비디오 신호 처리 방법.
  17. 제 1 항에 있어서.
    상기 비디오 신호는, 디지털 매체를 통해 수신된 것을 특징으로 하는 비디오 신호 처리 방법.
  18. 제 1 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  19. 블록들을 포함하는 비디오 신호를 수신하는 단계;
    상기 수신된 블록들을 재배열하는 단계;
    상기 재배열된 블록들에 대하여 이산 코사인 변환을 수행하는 단계; 및
    상기 재배열여부 및 재배열방법을 나타내는 이산 코사인 변환 정보를 생성하는 단계
    를 포함하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  20. 블록 영역으로 세분화된 비디오 신호를 수신하는 수신부;
    상기 수신된 비디오 신호로부터 이산 코사인 변환 정보를 추출하는 추출부;
    상기 이산 코사인 변환 정보를 이용하여 역 이산 코사인 변환을 수행하는 역변환부
    를 포함하며, 상기 이산 코사인 변환 정보는 이산 코사인 변환시 블록들의 재배열 모드를 나타내는 것을 특징으로 하는 비디오 신호의 처리 장치.
  21. 비디오 신호를 수신하는 수신부;
    상기 수신된 비디오 신호를 일정 크기의 블록으로 영역을 나누고, 상기 블록 들을 재배열하는 블록 재배열부;
    상기 재배열된 블록들에 대하여 이산 코사인 변환을 수행하는 변환부; 및
    상기 재배열 여부 및 재배열 방법을 나타내는 이산 코사인 변환 정보를 생성하는 정보 생성부
    를 포함하는 것을 특징으로 하는 비디오 신호의 처리 장치.
KR1020097024827A 2007-05-29 2008-05-29 비디오 신호 처리 방법 및 장치 KR20100017453A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US92469407P 2007-05-29 2007-05-29
US60/924,694 2007-05-29
US92903907P 2007-06-08 2007-06-08
US60/929,039 2007-06-08
US98984207P 2007-11-22 2007-11-22
US60/989,842 2007-11-22

Publications (1)

Publication Number Publication Date
KR20100017453A true KR20100017453A (ko) 2010-02-16

Family

ID=40075278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097024827A KR20100017453A (ko) 2007-05-29 2008-05-29 비디오 신호 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US20100177819A1 (ko)
EP (1) EP2156670A4 (ko)
JP (1) JP2010528555A (ko)
KR (1) KR20100017453A (ko)
WO (1) WO2008147125A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016068467A1 (ko) * 2014-10-31 2016-05-06 삼성전자 주식회사 영상을 부호화 또는 복호화 하는 방법 및 장치

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117129A2 (en) * 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
KR101432777B1 (ko) * 2009-09-03 2014-08-22 에스케이텔레콤 주식회사 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
TW201119407A (en) * 2009-11-19 2011-06-01 Thomson Licensing Method for coding and method for reconstruction of a block of an image
KR101679233B1 (ko) * 2010-09-08 2016-11-24 삼성전자주식회사 디블록킹 필터 및 이를 포함하는 영상 표시 장치
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
WO2012148841A1 (en) 2011-04-29 2012-11-01 Google Inc. Method and apparatus for detecting memory access faults
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
CA2861043C (en) * 2012-01-19 2019-05-21 Magnum Semiconductor, Inc. Methods and apparatuses for providing an adaptive reduced resolution update mode
US9491475B2 (en) 2012-03-29 2016-11-08 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9113164B1 (en) 2012-05-15 2015-08-18 Google Inc. Constant bit rate control using implicit quantization values
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
KR101648098B1 (ko) * 2012-09-25 2016-08-12 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9210432B2 (en) 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9392286B2 (en) 2013-03-15 2016-07-12 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9794575B2 (en) 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
CN107005695B (zh) * 2014-11-28 2020-01-07 联发科技股份有限公司 用于视频编码的替代变换的方法及装置
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JP7055879B2 (ja) * 2018-09-05 2022-04-18 エルジー エレクトロニクス インコーポレイティド ビデオ信号の符号化／復号方法及びそのための装置
CN113892265A (zh) * 2019-05-30 2022-01-04 夏普株式会社 图像解码装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2861328B2 (ja) * 1990-08-21 1999-02-24 松下電器産業株式会社 高能率符号化装置
JPH04223786A (ja) * 1990-12-26 1992-08-13 Casio Comput Co Ltd 画像圧縮装置
JPH05276500A (ja) * 1991-07-19 1993-10-22 Sony Corp 動画像符号化及び復号化装置
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
US5845041A (en) * 1991-11-12 1998-12-01 Mitsubishi Denki Kabushiki Kaisha Video signal recording and reproducing apparatus with high efficiency encoding
US5424778A (en) * 1992-08-31 1995-06-13 Victor Company Of Japan, Ltd. Orthogonal transform coding apparatus and decoding apparatus
JPH09322165A (ja) * 1996-05-31 1997-12-12 Sony Corp 画像復号化装置とその方法、および、画像再生装置
US6549577B2 (en) * 1997-09-26 2003-04-15 Sarnoff Corporation Computational resource allocation in an information stream decoder
AUPP248298A0 (en) * 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
US6665344B1 (en) * 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US20010016010A1 (en) * 2000-01-27 2001-08-23 Lg Electronics Inc. Apparatus for receiving digital moving picture
JPWO2002101934A1 (ja) * 2001-06-06 2004-09-30 セイコーエプソン株式会社 復号化装置、復号化方法、ルックアップテーブルおよび復号化プログラム
US20050226322A1 (en) * 2002-05-31 2005-10-13 Van Der Vleuten Renatus J Non-scalable to scalable video conversion method, scalable to non-scalable video conversion method
US7342962B2 (en) * 2003-09-17 2008-03-11 Texas Instruments Incorporated Transcoders and methods
US20060153299A1 (en) * 2005-01-07 2006-07-13 Kabushiki Kaisha Toshiba Coded video sequence conversion apparatus, method and program product for coded video sequence conversion
TW200714077A (en) * 2005-09-20 2007-04-01 Ali Corp Image processing method and a 2-D discrete cosine transformation device thereof
US7860327B2 (en) * 2005-10-06 2010-12-28 Sony Corporation Systems and methods for enhanced coding gain

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016068467A1 (ko) * 2014-10-31 2016-05-06 삼성전자 주식회사 영상을 부호화 또는 복호화 하는 방법 및 장치

Also Published As

Publication number Publication date
EP2156670A4 (en) 2015-10-28
US20100177819A1 (en) 2010-07-15
JP2010528555A (ja) 2010-08-19
EP2156670A1 (en) 2010-02-24
WO2008147125A1 (en) 2008-12-04

Similar Documents

Publication Publication Date Title
US10979731B2 (en) Apparatus for decoding an image
KR20100017453A (ko) 비디오 신호 처리 방법 및 장치
US9549198B2 (en) Apparatus for decoding a moving picture
US20160381381A1 (en) Apparatus for encoding a moving picture
US20150139317A1 (en) Method and apparatus for encoding image, and method and apparatus for decoding image
JP2015039231A (ja) 映像を符号化する装置及び方法
KR20100081974A (ko) 비디오 신호처리 방법 및 장치
US20120082230A1 (en) Variable length coding of video block coefficients
US20130089138A1 (en) Coding syntax elements using vlc codewords
KR102005468B1 (ko) 복원 블록을 생성하는 방법 및 장치
US9473789B2 (en) Apparatus for decoding a moving picture
US9338456B2 (en) Coding syntax elements using VLC codewords
US11956427B2 (en) Method of restoration in subblock units, and video decoding apparatus
KR20230005506A (ko) 변환 계수 부호 비트 숨김을 이용한 비디오 부호화 및 복호화 방법
JP4153774B2 (ja) 動画像符号化方法とその復号化方法、およびそれらの装置
KR20200040192A (ko) 양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치
KR20190122514A (ko) 데이터 부호 정보 Hiding 검출 방법을 이용한 비디오 신호 처리 방법 및 장치
KR20120100742A (ko) 스킵 모드를 이용한 부복호화 방법 및 이러한 방법을 사용하는 장치
KR20190119459A (ko) 변환 계수 부호 정보 Hiding을 이용한 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid