KR20070029450A - 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 - Google Patents

영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR20070029450A
KR20070029450A KR1020050084240A KR20050084240A KR20070029450A KR 20070029450 A KR20070029450 A KR 20070029450A KR 1020050084240 A KR1020050084240 A KR 1020050084240A KR 20050084240 A KR20050084240 A KR 20050084240A KR 20070029450 A KR20070029450 A KR 20070029450A
Authority
KR
South Korea
Prior art keywords
subplanes
inter prediction
image
subplane
block
Prior art date
Application number
KR1020050084240A
Other languages
English (en)
Other versions
KR101215614B1 (ko
Inventor
김소영
박정훈
이상래
손유미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050084240A priority Critical patent/KR101215614B1/ko
Priority to US11/509,556 priority patent/US20070058715A1/en
Priority to CNB2006101515316A priority patent/CN100539702C/zh
Publication of KR20070029450A publication Critical patent/KR20070029450A/ko
Application granted granted Critical
Publication of KR101215614B1 publication Critical patent/KR101215614B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 영상의 압축 효율을 높일 수 있는 영상의 예측 부호화 및 복호화 방법에 관한 것으로서, 본 발명에 따른 영상 부호화 방법에서는 인트라 예측될 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하고, 분할된 서브 플레인들에 대해 영상 변환 및 양자화를 수행한 후, 영상 변환 및 양자화가 수행된 서브 플레인들 중 하나의 서브 플레인에 대해 인트라 예측을 수행하고, 인트라 예측이 수행되는 서브 플레인을 참조 플레인으로 하여, 나머지 영상 변환 및 양자화가 수행된 서브 플레인들에 대해 인터 예측을 수행하도록 하여, 예측 부호화에 따른 영상의 압축 효율을 향상시키는 효과가 있다.

Description

영상의 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기 위한 프로그램이 기록된 기록 매체{Apparatus for encoding and decoding image, and method theroff, and a recording medium storing program to implement the method}
도 1은 종래의 매크로 블록의 인트라 예측시에 이용되는 이전 매크로 블록들을 나타내는 도면
도 2는 종래 기술에 따른 H.264 부호화 방식에서의 인트라 4x4 모드에서 이용되는 인접 화소를 설명하기 위한 참고도
도 3은 종래 기술에 따른 H.264 부호화 방식에서 사용되는 인트라 4x4 모드를 나타내는 도면
도 4는 본 발명에 따른 서브 플레인 예측 부호화 장치를 도시하는 블록도
도 5(a)(b)(c)는 본 발명에 따라 분할되는 서브 플레인 타입의 예를 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따라 하나의 픽쳐를 4개의 서브 플레인으로 분할한 예를 도시하는 도면
도 7은 도 6에서 분할된 4개의 서브 플레인에 대해 영상 변환 및 양자화를 수행하여 얻어진 계수를 나타내는 도면
도 8(a)(b)(c)는 본 발명에 따른 인터 예측 방법을 설명하기 위한 도면
도 9는 도 4의 영상 부호화 장치에서 수행되는 영상 부호화 방법을 설명하기 위한 흐름도
도 10은 본 발명에 적용되는 스캔 방식을 도시하는 도면
도 11는 본 발명에 따른 영상 복호화 장치를 도시하는 블록도
도 12은 도 11의 영상 복호화 장치에서 수행되는 영상 복호화 방법을 설명하기 위한 흐름도
본 발명은 영상의 압축 부호화에 관한 것으로, 보다 구체적으로는 영상의 압축 효율을 높일 수 있는 영상의 예측 방법, 이를 이용한 부호화, 복호화 방법 및 장치에 관한 것이다.
일반적으로, MPEG-1, MPEG-2, MPEG-4 Visual, H.261, H.263, H.264 등의 주요 비디오 압축 표준안에서는 동영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그리고, H.264 부호화 인코더의 경우에는, 각각의 매크로 블록을 인터 예측에서의 모든 부호화 모드 및 인트라 예측에서의 모든 부호화 모드에서 부호화한 후에 각 부호화 모드에서 부호화에 소요되는 비트율 및 원 매크로 블록과 복호화된 매크로 블록과의 왜곡 정도를 비교한다. 그리고, 상기 비교 결과를 토대로, 적절한 부호화 모드를 하나 정해 각각의 매크로 블록을 부호화한다.
여기서 인트라 예측은, 현재 픽처의 매크로 블록을 부호화하기 위해서 참조 픽처를 참조하는 것이 아니라, 부호화하고자 하는 매크로 블록과 동일한 픽처에 포함되고 공간적으로 인접한 화소값을 이용하여 부호화하고자 하는 매크로 블록에 대한 예측값을 계산한 후, 이 예측값과 실제 화소값의 차를 부호화하는 것이다.
도 1은 종래 기술에 따라 매크로 블록(a5)의 인트라 예측시에 이용되는 이전 매크로 블록들을 나타내는 도면이다. 도 1을 참조하면, 현재 매크로 블록 a5의 인트라 예측을 위해 이전 매크로 블록 a1, a2, a3 및 a4가 이용된다. 래스터 스캔(raster scan) 방식에 따르면, 왼쪽에서 오른쪽 및 위에서 아래 방향으로 하나의 픽처에 포함된 매크로 블록들을 스캔한다. 따라서, 매크로 블록 a1,a2,a3 및 a4는 현재 매크로 블록 a5이전에 이미 스캔되어 부호화가 완료된 매크로 블록들이다.
"X"표시가 된 매크로 블록들은 아직 부호화가 되지 않았으므로 현재 매크로 블록 a5의 예측 부호화에 이용할 수 없고, "O"로 표시된 매크로 블록은 현재 매크로 블록 a5와의 상관도가 낮으므로 이용하지 않는다. 한편, 이전 매크로 블록들은 DCT(Discrete Cosine Transform) 및 양자화(quantization) 된 후 다시 역양자화(inverse quantization) 및 역DCT(inverse Discrete Cosine Transform)되어 재생된 매크로 블록들이다.
도 2는 종래 기술에 따른 H.264 표준안의 인트라 4x4 모드에서 이용되는 인접화소를 설명하기 위한 참고도이다.
도 2를 참조하면, 소문자 a ~ p는 예측의 대상이 되는 4x4 블록에 해당하는 화소들을 나타낸다. a에서 p로 이루어지는 4x4 블록의 위와 왼쪽에 있는 대문자 A ~ M으로 표시된 샘플들은, 이전에 부호화되고 재구성된 샘플들로서 4x4 블록의 예측에 필요한 인접화소들을 나타낸다.
도 3은 종래 기술에 따른 H.264 표준안에서 사용되는 인트라 4x4 모드를 나타낸 도면이다.
도 3을 참조하면, 인트라 4x4 모드에는 DC(Direct Current) 모드, 수직(Vertical) 모드, 수평(Horizontal) 모드, 대각선 왼쪽 아래(Diagonal Down-left) 모드, 대각선 오른쪽 아래(Diagonal Down-right) 모드, 수직 왼쪽(Vertical left) 모드, 수직 오른쪽(Vertical right) 모드, 수평 위쪽(Horizontal-up) 모드 및 수평 아래쪽(Horizontal-down) 모드의 총 9개의 모드가 존재한다. 상기 인트라 모드에 따라 인접 블록의 화소들인 A~M으로부터 현재 예측 대상이 되는 a~p의 화소값이 예측된다. 인코더에서 이들 모드들 중 어떤 모드를 선택하여 인트라 예측을 수행하는냐에 따라 압축 효율이 달라지는데, 가장 좋은 모드를 선택하기 위하여 모든 모드를 적용하여 블록의 예측을 수행하고, 소정의 코스트 함수를 사용하여 코스트를 계산 한 후, 코스트가 적은 모드를 선택하여 부호화를 수행함으로써 압축 효율을 향상 시키고 있다.
하지만, 고화질의 영상을 사용자에게 제공하기 위해, 압축 효율을 향상시킬 수 있는 개선된 부호화 방법이 요구되어 왔다.
따라서, 본 발명의 목적은 종래의 인트라 예측 시 압축율을 보다 향상시키기 위한 인트라 예측 부호화 및 복호화 방법과 그 장치를 제공하기 위한 것이다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 부호화 방법은 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 단계와; 상기 분할된 서브 플레인에 대해 영상 변환 및 양자화를 수행하는 단계와; 상기 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측을 수행하는 단계와; 상기 인트라 예측이 수행되는 서브 플레인을 참조 플레인으로 하여, 나머지 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측을 수행하는 단계를 포함하는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측을 수행하는 단계는 나머지 서브 플레인들 중 적어도 하나의 서브 플레인의 소정의 블록에 대해, 상기 영상 변환 및 양자화가 수행된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 예측을 수행하는 단계를 포함하는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측을 수행하는 단계는 상기 참조 블록과 상기 소정의 블록의 차를 구함으로써 수행되는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측을 수행하는 단계는 상기 소정의 블록 중 소정의 패턴에 해당하는 성분에 대해서만 이루어지는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측을 수행하는 단계는 상기 소정의 블록 중 저주파 성분에 대해서만 이루어지는 것을 특징으로 한다.
바람직하기로는, 상기 소정의 블록은 8X8 블록이며, 상기 인터 예측을 수행 하는 단계는 상기 소정의 블록 중 저주파 성분 4X4에 대해서만 이루어지는 것을 특징으로 한다.
바람직하기로는, 본 발명에 따른 영상 부호화 방법은 상기 입력 영상의 공간적 특성을 결정하는 단계를 더 포함하며, 상기 인터 예측을 수행하는 단계는, 상기 결정된 공간적 특성에 기초하여, 상기 소정의 블록 중 전부 또는 일부에 대해서만 인터 예측을 수행하도록 하는 것을 특징으로 한다.
바람직하기로는, 상기 입력 영상을 서브 플레인으로 분할하는 단계는 상기 입력 영상을 서브 샘플링하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하기로는, 상기 입력 영상은 픽쳐인 것을 특징으로 한다.
바람직하기로는, 본원 발명에 따른 영상 부호화 방법은 분할되는 서브 플레인의 크기, 서브 플레인의 개수, 및 예측에 관련된 정보 중 적어도 하나를 포함하는 모드 정보를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 기술적 과제는 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 영상 분할부와; 상기 분할된 서브 플레인에 대해 영상 변환 및 양자화를 수행하는 영상 변환 및 양자화부와; 상기 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측을 수행하는 인트라 예측 부호화부와; 상기 인트라 예측이 수행되는 서브 플레인을 참조 플레인으로 하여, 나머지 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측을 수행하는 인터 예측 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치에 의해서도 달성된다.
또한, 상기 기술적 과제는 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들에 대해 영상 변환 및 양자화를 수행하여, 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행되는 양자화된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인을 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하고, 상기 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 단계와; 상기 추출된 영상 데이터에 포함된 서브 플레인들 중 인트라 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인트라 예측 복호화를 수행하는 단계와; 상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 인터 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인터 예측 복호화를 수행하는 단계와; 상기 복호화된 서브 플레인들에 대해 역양자화 및 역변환을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법에 의해서도 달성된다.
바람직하기로는, 본원 발명에 따른 영상 복호화 방법은 상기 입력된 영상 데이터로부터 각각의 서브 플레인을 재구성하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하기로는, 본원 발명에 따른 영상 복호화 방법은 상기 복호화된 서브 플레인을 재배열하여 상기 입력 영상을 복원하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측 복호화를 수행하는 단계는 나머지 서브 플레인들 중 적어도 하나의 서브 플레인의 소정의 블록에 대해, 상기 인트라 예측 복호화된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 인터 예측 복호화를 수행하는 단계를 포함하는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측 복호화를 수행하는 단계는 상기 참조 블록의 계수값과 상기 소정의 블록의 계수값을 가산함으로써 수행되는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측 복호화를 수행하는 단계는 상기 소정의 블록 중 소정의 패턴에 해당하는 성분에 대해서만 이루어지는 것을 특징으로 한다.
바람직하기로는, 상기 인터 예측 복호화를 수행하는 단계는 상기 소정의 블록 중 저주파 성분에 대해서만 이루어지는 것을 특징으로 한다.
바람직하기로는, 상기 소정의 블록은 8X8 블록이며, 상기 인터 예측 복호화를 수행하는 단계는 상기 소정의 블록 중 저주파 성분 4X4에 대해서만 이루어지는 것을 특징으로 한다.
또한, 상기 기술적 과제는 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들에 대해 영상 변환 및 양자화를 수행하여, 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행되는 양자화된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인을 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하고, 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 엔트로피 복호화부와; 상기 엔트로피 복호화가 수행된 비트스트림의 영상 데이터에 포함된 서브 플레인들 중 인트라 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인트라 예측 복호화를 수행하는 인트라 예측 복호화부와; 상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 인터 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인터 예측 복호화를 수행하는 인터 예측 복호화부와; 상기 복호화된 서브 플레인들에 대해 역양자화 및 역변환을 수행하는 역양자화 및 역변환부를 포함하는 것을 특징으로 하는 영상 복호화 장치에 의해서도 달성된다.
또한, 상기 기술적 과제는 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 단계와; 상기 분할된 서브 플레인에 대해 영상 변환 및 양자화를 수행하는 단계와; 상기 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측을 수행하는 단계와; 상기 인트라 예측이 수행되는 서브 플레인을 참조 플레인으로 하여, 나머지 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측을 수행하는 단계를 포함하는 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
또한, 상기 기술적 과제는 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들에 대해 영상 변환 및 양자화를 수행하여, 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행되는 양자화된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인을 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하고, 상기 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 단계와; 상기 추출된 영상 데이터에 포함된 서브 플레인들 중 인트라 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인트라 예측 복호화를 수행하는 단계와; 상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 인터 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인터 예측 복호화를 수행하는 단계와; 상기 복호화된 서브 플레인들에 대해 역양자화 및 역변환을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 4는 본 발명에 따른 영상 부호화 장치를 도시하는 블록도이다.
도 4를 참조하면, 본 발명에 따른 인트라 예측 부호화 장치는 영상 분할부(410), 변환부(420), 양자화부(430), TQ 계수 예측부(440), 및 엔트로피 코딩부(450)를 포함한다. TQ 계수 예측부(440)는 인트라 예측부 및 인터 예측부 (도시되지 않음)를 더 포함한다.
이하에서는, 도 5 내지 도 8을 참조하여, 본 발명에 따른 영상 부호화 방법을 설명한다.
영상 분할부(410)는 소정의 크기의 입력된 영상, 예를 들어 픽쳐를 서브 샘플링(sub sampling)하여 소정의 개수의 서브-플레인으로 분할한다. 예를 들어, 입력 영상이 CIF 포맷인 경우, 도 5(a) 내지 (c)에 도시된 2개의 176X288, 4개의 176X144, 또는 2개의 352X144의 서브 플레인으로 분할하는 방법을 고려 할 수 있 다. 본 실시예에서는, 픽쳐를 서브 샘플링하여 복수개의 서브 플레인으로 분할하였지만, 임의의 크기의 블록을 분할하는 경우에도 본 발명의 적용이 가능하다.
여기에서, 도 5(a)(b)(c)는 본 발명에 따라 분할된 서브 플레인 타입의 예를 설명하기 위한 도면이다. 도 5(a)는 입력 영상을 수평 방향으로 서브 샘플링하여 2개의 서브-플레인을 만드는 방법을 도시하는 도면이다. 도 5(b)는 입력 영상을 서브 샘플링하여 4개의 서브-플레인을 만드는 방법을 도시하는 도면이다. 도 5(c)는 입력 영상을 수직 방향으로 서브 샘플링하여 2개의 서브-플레인을 만드는 방법을 도시하는 도면이다.
도 6는 본 발명의 일 실시예에 따라 픽쳐를 4개의 서브 플레인으로 나눈 예를 도시하는 도면이다. 도 6에 도시된 4개의 분할된 영상은 도 5b에의 서브 플레인 분할 방법에 따라 얻어질 수 있다.
도 7은 도 6에서 분할된 4개의 서브 플레인에 대해 영상 변환 및 양자화하여 얻어진 계수를 나타낸다.
영상 변환부(420) 및 양자화부(430)는 영상 분할부(410)에서 분할된 각각의 서브 플레인들에 대해 영상 변환 및 양자화를 수행한다. 본 실시예에서는 각 플레인에 속한 매크로블록을 구성하는 8×8 블록 단위로 영상 변환 및 양자화를 수행한다. 이들 기능부는 종래의 부호화 장치, 예를 들어 MPEG 4 또는 H.264 부호화기에서의 대응하는 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.
TQ 계수 예측부(440)의 인트라 예측부(도시되지 않음) 영상 변환 및 양자화 가 수행된 서브 플레인들 중 하나의 서브 플레인, 예를 들어 제1 서브 플레인에 대해 인트라 예측을 수행한다. 본 실시예에서는, MPEG 4 부호화기에서의 인트라 예측에 사용되는 AC/DC 예측 방식을 사용할 수 있다. 양자화가 수행된 서브 플레인을 구성하는 매크로블록에 속하는 8×8 블록 단위로, 블록을 구성하는 변환 및 양자화된 계수 (이하, TQ 계수라 함)들에 대해 인트라 예측을 수행한다.
인트라 예측부는 인트라 예측이 수행되는 서브 플레인의 결정은 미리 선정된 기준, 예를 들어 소정 위치의 서브 플레인을 인트라 예측이 수행될 서브 플레인으로 결정하거나, 또는 모든 서브 플레인들에 대해 인트라 예측을 수행한 후, 코스트가 가장 작은 서브 플레인을 선택함으로써 이루어질 수 있다.
즉, 모든 서브 플레인에 대해서도 동일한 방식으로 인트라 예측을 수행한 후, 해당 서브 플레인의 코스트를 결정한다. 이후, 각각의 서브 플레인들의 코스트를 비교하여, 가장 작은 코스트를 갖는 서브 플레인을 인트라 예측을 위한 서브 플레인으로 결정한다.
여기서, 상기 코스트 계산은 여러가지 방법에 의해서 수행될 수 있다. 사용되는 코스트 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference) 및 라그랑지 함수(Lagrange function) 등이 있다. SAD는 각각의 블록, 예를 들어 4×4 블록 예측 오차(residue) 값의 절대치를 취하여 그 값들을 합한 값이다. SATD는 각 4×4 블록의 예측 오차값에 하다마드 변환(Hadamard transform)을 적용하여 생성된 계수들의 절대치를 취하여 더한 값이다. SSD는 각 4×4 블록 예측 샘플의 예측 오차값을 제곱하여 더한 값이고, MAD는 각 4×4 블록 예측 샘플의 예측 오차값에 절대치를 취하여 평균을 구한 값이다. 라그랑지 함수는 코스트 함수에 비트스트림의 길이 정보를 포함하여 만들어진 새로운 함수이다.
본 실시예에서는, 분할된 서브 플레인들 중 하나의 서브 플레인에 대해서만 인트라 예측 부호화를 수행하였지만, 선택적으로 압축 효율을 높이기 위해 하나 이상의 서브 플레인, 예를 들어 분할된 서브 플레인의 수가 4개인 경우, 2개의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 나머지 2개의 서브 플레인에 대해서는 인터 예측 부호화를 수행하는 것도 가능하다.
또한, 인터 예측부 (도시되지 않음)에서는 인트라 예측이 수행되지 않은 나머지 서브 플레인들에 대해서는 인터 예측을 수행한다. 본 실시예에서는 인트라 예측부에서 얻어진 인트라 예측되는 제1 서브 플레인을 참조 플레인으로 하여 인터 예측을 수행한다. 선택적으로, 인트라 예측되는 제1 서브 플레인이 아닌, 이전에 인터 예측되는 서브 플레인을 참조 플레인으로 이용하는 것도 가능하다.
인터 예측은, 현재 인터 예측하고자 하는 서브 플레인의 소정의 블록의 TQ 계수와 참조 플레인의 대응하는 블록, 즉 참조 블록의 TQ 계수의 차를 구함으로써 수행된다. 인터 예측의 단위가 8×8 블록 단위인 경우, 도 8과 같은 인터 예측 방법이 적용될 수 있다.
이와 같이, 본 발명에 따른 영상 부호화 방법에서는 입력 영상을 공간 영역(spatial domain)에서 서브 샘플링하여 복수개의 서브 플레인을 생성하고, 생성된 복수개의 서브 플레인 각각을 영상 변환 및 양자화한 계수를 주파수 영역 (frequency domain)에서 인트라 및 인터 예측을 수행하여 압축율을 향상시키는 효과가 있다.
도 8은 본 발명에 따른 인터 예측 방법을 설명하기 위한 도면이다.
도 8(a)는 참조 블록의 저주파 4×4 성분만 인터 예측에 이용하는 예를 도시한다.
도 8(b)는 참조 블록의 전체 주파수 성분을 인터 예측에 이용하는 예를 도시한다.
도 8(c) 및 (d)는 참조 블록의 소정 패턴의 성분만 인터 예측에 이용하는 예를 도시한다. 여기에서 도시된 패턴 이외에도 영상의 공간적 특성을 고려한, 다른 패턴을 사용하는 것도 가능하다.
도 8(a)에 따른 인터 예측 방법은, 서브 샘플링에 따른 영상 분할 또는 에지에 의해 고주파 성분에 차이값이 존재하는 경우, 고주파 성분에 대해 인터 예측을 수행하는 것이 압축율을 높이는데 큰 도움이 되지 않기 때문에, 저주파 성분에 대해서만 인터 예측을 수행하는 것이다. 이 경우, 현재 인터 예측하고자 하는 블록의 저주파 4×4 성분은 인터 예측 후, 즉 참조 블록의 대응하는 저주파 4×4 성분과의 차이값을 출력하고, 나머지 고주파 성분에 대해서는 원래의 계수값을 그대로 출력한다.
또한, 도 8(c) 및 (d)는 영상의 공간적 특성을 고려하여 적응적으로 사용될 수 있다. 이때, 영상의 공간적 특성의 예로는 입력 영상의 방향성, 에지의 존재 여부, 및 에지의 방향성과 같은 정보이다.
한편, 인터 예측시, 매크로블록 단위로 도 8(a) 내지 (d)에 도시된 방식들 중 하나의 방식을 채택하여 사용하는 것이 가능하다. 선택적으로, 시퀀스 특성, 영상의 공간적 특성에 따라 시퀀스 또는 영상 단위로 하나의 방식을 채택하여 사용하는 것도 가능하다.
엔트로피 부호화부(450)는 TQ 계수 예측부(440)에서 얻어진 인트라 및 인터 예측된 데이터에 대해 엔트로피 부호화를 수행하고, 전송될 비트스트림을 생성한다.
예를 들어, 입력 영상이 픽쳐인 경우, 각각의 서브 플레인에 포함되는 모든 매크로블록에 대한 부호화가 종료되면, 서브 플레인 별로 데이터를 정렬한 후 헤더를 삽입하고, 또한 픽쳐를 구성하는 플레인들을 픽쳐 단위로 정렬하여 픽쳐 헤더를 삽입한다. 선택적으로, 비트 스트림 구성은 이와 다른 방식, 예를 들어 N개의 매크로블록 데이터를 모아서 비트스트림을 구성하는 것도 가능하다.
한편, 선택적으로 분할되는 서브 플레인 크기, 서브 플레인의 개수, 서브 플레인 타입, 분할 방식, 인트라 예측, 및 인터 예측에 관련된 정보를 포함하는 모드 정보를 픽쳐 또는 매크로블록 단위로 삽입한다.
도 9는 도 4의 영상 부호화 장치에서 수행되는 영상 부호화 방법을 설명하기 위한 흐름도이다.
단계 910에서는 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할한다.
단계 920에서는 분할된 서브 플레인에 대해 영상 변환 및 양자화를 수행한다. 본 실시예에서는 각 플레인에 속한 매크로블록을 구성하는 8×8 블록 단위로 영상 변환 및 양자화를 수행한다. 선택적으로, 매크로블록 단위 또는 소정의 크기의 블록 단위로 영상 변환 및 양자화를 수행하도록 하는 것도 가능하다.
단계 930에서는 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측을 수행한다. 본 실시예에서는, 양자화가 수행된 서브 플레인을 구성하는 매크로블록에 속하는 8×8 블록 단위로 블록을 구성하는 변환 및 양자화된 계수들에 대해 인트라 예측을 수행한다.
단계 940에서는 상기 인트라 예측이 수행되는 서브 플레인을 참조 플레인으로 하여, 나머지 영상 변환 및 양자화가 수행된 서브 플레인들에 대해 인터 예측을 수행한다. 여기에서, 인터 예측은 현재 블록과 참조 블록의 계수들 간의 차이값을 구하는 과정이다. 본 실시예에서 인터 예측은, 양자화가 수행된 서브 플레인을 구성하는 매크로블록에 속하는 8×8 블록 단위로 수행된다. 이때, 인터 예측은 도 8(a) 내지 (d)에 도시된 방식들 중 하나의 방식을 채택하여 사용하는 것이 가능하다.
선택적으로, 인트라 예측이 수행되는 서브 플레인 뿐만 아니라, 미리 인터 예측이 수행되는 서브 플레인을 참조 플레인으로 하여 인터 예측을 수행하도록 하는 것도 가능하다. 또한, 선택적으로 인터 예측은 현재 인터 예측하고자 하는 블록 중, 소정의 부분, 예를 들어 저주파 성분 또는 소정의 패턴에 해당하는 성분에 대해서만 수행되도록 하는 것도 가능하다. 즉, 현재 블록이 8×8 블록인 경우, 저주파 성분 4×4 에 대해서만 인터 예측을 수행하는 것도 가능하다.
단계 950에서는 단계 940에서 인트라 예측된 데이터 및 단계 880에서 인터 예측된 데이터에 대해 엔트로피 부호화를 수행하고, 전송될 부호화된 비트스트림을 생성한다. 선택적으로, 엔트로피 부호화 과정을 생략하는 것도 가능하다.
본 실시예에서는, 인터 예측 부호화시 참조 플레인으로 인트라 부호화가 수행되는 서브 플레인만을 이용하였지만, 선택적으로 이들 서브 플레인 뿐만 아니라 이전에 인터 부호화가 수행되는 서브 플레인들을 참조 플레인으로 이용하여 인터 예측 부호화를 수행하는 것도 가능하다.
또한, 선택적으로 단계 910 내지 단계 940에서 수행된 서브 플레인 분할과, 인트라 및 인터 예측에 대한 모드 정보를 생성하고, 생성된 모드 정보를 엔트로피 부호화시 비트스트림에 삽입하는 단계를 더 포함할 수 있다. 여기에서, 서브 플레인 분할과 관련된 정보는, 분할된 서브 플레인 타입, 분할 방식, 분할된 서브 플레인의 크기, 및 서브 플레인의 개수 등과 관련된 정보를 의미한다.
도 10은 본 발명에 사용되는 스캔 방식의 일 예를 도시하는 도면이다.
도 10(a)는 수직 샘플링 스캔 방식이며, 도 10(b)는 수평 샘플링 스캔 방식이다. 본 발명의 일 실시예에서는 입력 영상의 특성을 고려하여, 입력 영상을 소정 타입의 서브 플레인으로 분할하고, 분할된 복수개의 서브 플레인들에 대해 인트라 예측을 수행하여 얻어진 영상 데이터의 스캔을 위해 소정의 스캔 방식을 선택한다. 즉, 입력 영상을 어떤 타입의 서브 플레인으로 분할하는지에 기초해서, 스캔 방식을 적응적으로 채용한다. 입력 영상이 픽쳐 단위로 분할된 경우에는, 선택된 스캔 방식에 대한 정보를 픽쳐 단위로 삽입한다.
도 11은 본 발명에 따른 영상 복호화 장치를 도시하는 블록도이다.
도 11을 참조하면 영상 복호화 장치는 엔트로피 복호화부(1110), TQ 계수 예측부(1120), 역양자화부(1130), 역변환부(1140), 및 영상 재구성부(1150)를 포함한다. 역양자화부(1120) 및 역변환부(1130)은 종래의 복호화 장치, 예를 들어 H.264 복호화 장치에서와 동일한 기능을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다. 선택적으로, TQ 계수 예측부(1120)는 인트라 예측부 및 인터 예측부 (도시되지 않음)를 포함한다. 또한, 선택적으로 영상 복호화 장치는 서브 플레인 재구성부 (도시되지 않음)를 더 포함한다.
상기 엔트로피 복호화부(1110)는 부호화된 비트 스트림을 수신하여 엔트로피 복호화를 수행하여, 영상 데이터를 추출하고, 추출된 영상 데이터를 TQ 계수 예측부(1120)로 전송한다. 선택적으로, 비트스트림으로부터 모드 정보를 추출하고, 추출된 모드 정보를 TQ 계수 예측부(1120)로 전송하도록 하는 것도 가능하다. 모드 정보는 서브 플레인 분할과, 인트라 및 인터 예측에 대한 모드 정보를 생성하고, 생성된 모드 정보를 엔트로피 부호화시 비트스트림에 삽입하는 단계를 더 포함할 수 있다. 여기에서, 서브 플레인 분할과 관련된 정보는, 분할된 서브 플레인 타입, 분할 방식, 분할된 서브 플레인의 크기, 및 서브 플레인의 개수 등과 관련된 정보를 의미한다. 또한, 선택적으로 모드 정보는 스캔 방식을 나타내는 정보를 더 포함한다.
여기에서, 수신된 비트 스트림은 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들에 대해 영상 변환 및 양자화를 수행하여, 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행되는 양자화된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인을 예측 부호화하여 얻어진 영상 데이터를 포함한다.
TQ 계수 예측부(1120)의 인트라 예측부(도시되지 않음)는 추출된 영상 데이터에 포함된 복수개의 서브 플레인들 중 인트라 예측 부호화가 수행된 서브 플레인에 대해 인트라 예측 복호화를 수행한다. 선택적으로, TQ 계수 예측부(1120)는 비트스트림으로부터 추출된 모드 정보에 기초하여, 서브 플레인을 재구성하고, 인트라 예측부는 재구성된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해, 추출된 모드 정보에 기초하여 인트라 예측 복호화를 수행한다. 본 실시예에서는, 서브 플레인을 구성하는 매크로블록에 속하는 8×8 블록 단위로, 블록을 구성하는 변환 및 양자화된 계수들에 대해 인트라 예측을 수행한다.
TQ 계수 예측부(1120)의 인터 예측부(도시되지 않음)는 인트라 예측 복호화가 수행된 서브 플레인을 참조하여 인터 예측 복호화를 수행한다. 인터 예측 복호화는 서브 플레인의 소정의 블록에 대해, 인트라 예측 복호화된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 인터 예측 복호화를 수행함으로써 이루어진다. 이때, 인터 예측 복호화는 참조 블록의 계수 값과 소정의 블록의 계수 값을 가산함으로써 수행된다. 본 실시예에서 인터 예측은, 서브 플레인을 구성하는 매크로블록에 속하는 8×8 블록 단위로 수행된다. 선택적으로, 인터 예측 복호화는, 이전에 인터 예측 복호화가 수행된 서브 플레인을 참조 플레인으로하여 수행될 수 있다.
또한, 선택적으로, 인터 예측 복호화는 비트스트림으로부터 추출된 모드 정 보에 의해 적응적으로 결정되는 인터 예측 복호화 방식, 즉, 도 8에 도시된 인터 예측 부호화 방식에 대응되는 방식에 의해 수행될 수 있다. 즉, 인터 예측 복호화는 현재 인터 예측 복호화하고자 하는 소정의 크기의 블록의 일부, 예를 들어 8×8 블록의 저주파 성분 4×4 블록에 대해서만 수행하거나, 또는 8×8 블록 전체에 대해 수행하거나, 도 8(c)(d)에 도시된 바와 같은 소정의 패턴에 해당하는 성분에 대해서만 수행될 수 있다.
역양자화부(1130) 및 역변환부(1140)는 인트라 예측 부호화 및 인트라 예측 복호화가 수행된 각각의 서브 플레인에 대한 역양자화 및 역변환을 수행한다. 본 실시예에서는 각 플레인에 속한 매크로블록을 구성하는 소정 크기의 블록, 예를 들어 8×8 블록 단위로 영상 변환 및 양자화를 수행한다. 이들 기능부는 종래의 부호화 장치, 예를 들어 MPEG 4 또는 H.264 복호화기에서의 대응하는 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.
영상 재구성부(1150)는 역양자화 및 역변환이 수행된 서브 플레인들을 재배열하여 원래 영상을 복원한다. 즉, 도 6에 도시된 4개의 분할된 서브 플레인으로부터 원래의 입력 영상을 복원한다. 이를 위해, 비트스트림으로부터 추출된 모드 정보에 포함된 서브 플레인 분할 방식에 관련된 정보를 이용하는 것도 가능하다.
본 실시예에서는, 모드 정보가 복호화를 위한 모든 정보를 포함하고 있지만, 선택적으로 인코더 및 디코더에서, 모든 모드에 대한 정보를 포함하는 모드 테이블을 공유하도록 한 후, 이를 특정하는 인덱스만 전송하도록 하는 것도 가능하다.
도 12는 도 11에 도시된 영상 복호화 장치에서 수행되는 영상 복호화 방법을 나타낸 흐름도이다.
단계 1210에서는 부호화된 비트 스트림을 수신하고, 수신된 비트스트림에 대해 엔트로피 복호화를 수행하고, 비트스트림에 포함된 영상 데이터를 추출한다. 본 실시예에서, 부호화된 비트 스트림은 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들에 대해 영상 변환 및 양자화를 수행하여, 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행되는 양자화된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인을 예측 부호화하여 얻어진 영상 데이터를 포함한다. 선택적으로, 추출된 영상 데이터로부터 서브 플레인을 재구성한다. 선택적으로, 입력된 부호화된 비트 스트림에 대해 엔트로피 부호화가 수행되지 않은 경우에는, 상기 엔트로피 복호화 과정은 생략될 수 있다.
선택적으로, 부호화된 비트스트림은 복호화를 위한 모드 정보를 더 포함하고, 비트스트림으로부터 모드 정보를 추출한다. 여기에서, 모드 정보는 서브 플레인 분할과, 인트라 및 인터 예측에 대한 정보를 포함한다. 여기에서, 서브 플레인 분할과 관련된 정보는, 분할된 서브 플레인 타입, 분할 방식, 분할된 서브 플레인의 크기, 및 서브 플레인의 개수 등과 관련된 정보를 의미한다. 또한, 선택적으로 모드 정보는 스캔 방식을 나타내는 정보를 더 포함한다.
단계 1220에서는 추출된 영상 데이터에 포함된 서브 플레인들 중 인트라 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인트라 예측 복호화를 수행한다. 본 실시예에서는 서브 플레인을 구성하는 매크로블록에 속하는 8×8 블록 단위로, 블록을 구성하는 변환된 양자화된 계수들에 대해 인트라 예측을 수행한다.
단계 1230에서는 상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 인터 예측 복호화가 수행된 적어도 하나의 서브 플레인에 대해 인터 예측 복호화를 수행한다. 인터 예측 복호화는 서브 플레인의 소정의 블록에 대해, 인트라 예측 복호화된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 인터 예측 복호화를 수행함으로써 이루어진다. 본 실시예에서, 인터 예측은 서브 플레인을 구성하는 매크로블록에 속하는 8×8 블록 단위로 수행된다. 이때, 인터 예측 복호화는 참조 블록의 계수 값과 소정의 블록의 계수 값을 가산함으로써 수행된다. 선택적으로, 인터 예측 복호화는, 이전에 인터 예측 복호화가 수행된 서브 플레인을 참조 플레인으로하여 수행될 수 있다.
단계 1240에서는 복호화된 서브 플레인들에 대해 역양자화 및 역변환을 수행한다. 본 실시예에서는 각 플레인에 속하는 매크로블록을 구성하는 소정 크기의 블록, 예를 들어 8×8 블록 단위로 역양자화 및 역변환을 수행한다.
단계 1250에서는 역양자화 및 역변환이 수행된 서브 플레인들을 재배열하여 원래 영상, 예를 들어 픽쳐를 재구성한다. 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함 한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같은 본 발명에 의하면, 인트라 부호화하고자하는 영상을 유사한 특성을 갖는 복수개의 서브 플레인으로 분할하고, 분할된 서브 플레인에 대해 영상 변환 및 양자화를 수행하여 얻어진 TQ 계수들 간에 예측을 수행함으로써 영상의 압축율을 향상시키는 효과가 있다.
또한, 입력 영상의 공간적 특성을 고려하여, 복수개의 인터 예측 부호화 방법 중 하나를 적응적으로 선택하여 인터 예측을 수행하도록 함으로써 영상의 압축율을 증가시키는 효과가 있다.
또한, 입력 영상의 공간적 특성을 고려하여, 복수개의 스캔 방식 중 하나를 적응적으로 선택하여 부호화/ 복호화를 위한 스캔을 수행하도록 함으로써 영상의 압축율을 증가시키는 효과가 있다.

Claims (30)

  1. 영상 부호화 방법에 있어서,
    입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 단계와;
    상기 분할된 서브 플레인에 대해 영상 변환 및 양자화를 수행하는 단계와;
    상기 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측을 수행하는 단계와;
    상기 인트라 예측이 수행되는 서브 플레인을 참조 플레인으로 하여, 나머지 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 인터 예측을 수행하는 단계는
    나머지 서브 플레인들 중 적어도 하나의 서브 플레인의 소정의 블록에 대해, 상기 영상 변환 및 양자화가 수행된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제2항에 있어서,
    상기 인터 예측을 수행하는 단계는
    상기 참조 블록과 상기 소정의 블록의 차를 구함으로써 수행되는 것을 특징 으로 하는 영상 부호화 방법.
  4. 제2항에 있어서,
    상기 인터 예측을 수행하는 단계는
    상기 소정의 블록 중 소정의 패턴에 해당하는 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 부호화 방법.
  5. 제2항에 있어서,
    상기 인터 예측을 수행하는 단계는
    상기 소정의 블록 중 저주파 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 부호화 방법.
  6. 제2항에 있어서,
    상기 소정의 블록은 8X8 블록이며,
    상기 인터 예측을 수행하는 단계는
    상기 소정의 블록 중 저주파 성분 4X4에 대해서만 이루어지는 것을 특징으로 하는 영상 부호화 방법.
  7. 제2항에 있어서,
    상기 입력 영상의 공간적 특성을 결정하는 단계를 더 포함하며,
    상기 인터 예측을 수행하는 단계는,
    상기 결정된 공간적 특성에 기초하여, 상기 소정의 블록 중 전부 또는 일부에 대해서만 인터 예측을 수행하도록 하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제1항에 있어서,
    상기 입력 영상을 서브 플레인으로 분할하는 단계는 상기 입력 영상을 서브 샘플링하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 제1항에 있어서,
    상기 분할되는 서브 플레인의 크기, 서브 플레인의 개수, 및 예측에 관련된 정보 중 적어도 하나를 포함하는 모드 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 영상 부호화 장치에 있어서,
    입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 영상 분할부와;
    상기 분할된 서브 플레인에 대해 영상 변환 및 양자화를 수행하는 영상 변환 및 양자화부와;
    상기 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측을 수행하는 인트라 예측 부호화부와;
    상기 인트라 예측이 수행되는 서브 플레인을 참조 플레인으로 하여, 나머지 영상 변환 및 양자화가 수행된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측을 수행하는 인터 예측 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제10항에 있어서,
    상기 인터 예측 부호화부는
    나머지 서브 플레인들 중 적어도 하나의 서브 플레인의 소정의 블록에 대해, 상기 영상 변환 및 양자화가 수행된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  12. 제11항에 있어서,
    상기 인터 예측 부호화부는
    상기 참조 블록과 상기 소정의 블록의 차를 구함으로써 수행되는 것을 특징으로 하는 영상 부호화 장치.
  13. 제11항에 있어서,
    상기 인터 예측 부호화부는
    상기 소정의 블록 중 소정의 패턴에 해당하는 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 부호화 장치.
  14. 제11항에 있어서,
    상기 인터 예측 부호화부는
    상기 소정의 블록 중 저주파 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 부호화 장치.
  15. 영상 복호화 방법에 있어서,
    입력 영상을 분할하여 얻어진 복수개의 서브 플레인들에 대해 영상 변환 및 양자화를 수행하여, 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행되는 양자화된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인을 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하고, 상기 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 단계와;
    상기 추출된 영상 데이터에 포함된 서브 플레인들 중 인트라 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인트라 예측 복호화를 수행하는 단계와;
    상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 인터 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인터 예측 복호화를 수행하는 단계와;
    상기 복호화된 서브 플레인들에 대해 역양자화 및 역변환을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  16. 제15항에 있어서,
    상기 복호화된 서브 플레인을 재배열하여 상기 입력 영상을 복원하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  17. 제15항에 있어서,
    상기 인터 예측 복호화를 수행하는 단계는
    나머지 서브 플레인들 중 적어도 하나의 서브 플레인의 소정의 블록에 대해, 상기 인트라 예측 복호화된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 인터 예측 복호화를 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  18. 제17항에 있어서,
    상기 인터 예측 복호화를 수행하는 단계는
    상기 참조 블록의 계수값과 상기 소정의 블록의 계수값을 가산함으로써 수행되는 것을 특징으로 하는 영상 복호화 방법.
  19. 제17항에 있어서,
    상기 인터 예측 복호화를 수행하는 단계는
    상기 소정의 블록 중 소정의 패턴에 해당하는 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 복호화 방법.
  20. 제17항에 있어서,
    상기 인터 예측 복호화를 수행하는 단계는 상기 소정의 블록 중 저주파 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 복호화 방법.
  21. 제17항에 있어서,
    상기 소정의 블록은 8X8 블록이며,
    상기 인터 예측 복호화를 수행하는 단계는 상기 소정의 블록 중 저주파 성분 4X4에 대해서만 이루어지는 것을 특징으로 하는 영상 복호화 방법.
  22. 제15항에 있어서,
    상기 비트스트림은 상기 분할된 서브 플레인의 크기, 서브 플레인의 개수, 인트라 예측에 관련된 정보, 및 인터 예측에 관련된 정보 중 적어도 하나를 포함하는 모드 정보를 더 포함하고,
    상기 모드 정보를 비트스트림으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  23. 영상 복호화 장치에 있어서,
    입력 영상을 분할하여 얻어진 복수개의 서브 플레인들에 대해 영상 변환 및 양자화를 수행하여, 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행되는 양자화된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인을 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하고, 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 엔트로피 복호화부와;
    상기 엔트로피 복호화가 수행된 비트스트림의 영상 데이터에 포함된 서브 플레인들 중 인트라 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인트라 예측 복호화를 수행하는 인트라 예측 복호화부와;
    상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 인터 예측 부호화가 수행된 적어도 하나의 서브 플레인에 대해 인터 예측 복호화를 수행하는 인터 예측 복호화부와;
    상기 복호화된 서브 플레인들에 대해 역양자화 및 역변환을 수행하는 역양자화 및 역변환부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  24. 제23항에 있어서,
    상기 복호화된 서브 플레인들을 재배열하여 상기 입력 영상을 복원하는 영상 복원부를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  25. 제23항에 있어서,
    상기 인터 예측 복호화부는
    나머지 서브 플레인들 중 적어도 하나의 서브 플레인의 소정의 블록에 대해, 상기 인트라 예측 복호화된 서브 플레인의 대응하는 블록을 참조 블록으로 하여, 인터 예측 복호화를 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  26. 제25항에 있어서,
    상기 인터 예측 복호화는
    상기 참조 블록의 계수값과 상기 소정의 블록의 계수값을 가산함으로써 수행되는 것을 특징으로 하는 영상 복호화 장치.
  27. 제25항에 있어서,
    상기 인터 예측 복호화는
    상기 소정의 블록 중 소정의 패턴에 해당하는 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 복호화 장치.
  28. 제25항에 있어서,
    상기 인터 예측 복호화는 상기 소정의 블록 중 저주파 성분에 대해서만 이루어지는 것을 특징으로 하는 영상 복호화 장치.
  29. 제1항 내지 제9항 중 어느 한 항의 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  30. 제15항 내지 제22항 중 어느 한 항의 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020050084240A 2005-09-09 2005-09-09 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 KR101215614B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050084240A KR101215614B1 (ko) 2005-09-09 2005-09-09 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US11/509,556 US20070058715A1 (en) 2005-09-09 2006-08-25 Apparatus and method for image encoding and decoding and recording medium having recorded thereon a program for performing the method
CNB2006101515316A CN100539702C (zh) 2005-09-09 2006-09-11 用于图像编码和解码的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050084240A KR101215614B1 (ko) 2005-09-09 2005-09-09 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체

Publications (2)

Publication Number Publication Date
KR20070029450A true KR20070029450A (ko) 2007-03-14
KR101215614B1 KR101215614B1 (ko) 2012-12-26

Family

ID=37855068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050084240A KR101215614B1 (ko) 2005-09-09 2005-09-09 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체

Country Status (3)

Country Link
US (1) US20070058715A1 (ko)
KR (1) KR101215614B1 (ko)
CN (1) CN100539702C (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011040796A2 (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
KR101127963B1 (ko) * 2008-12-11 2012-03-26 한국전자통신연구원 Ｓａｅ 계산 장치 및 그를 포함하는 ｈ．２６４ 코딩 장치
KR20130070602A (ko) * 2010-05-14 2013-06-27 톰슨 라이센싱 그룹들에 할당된 픽셀들을 갖는 블록을 인트라 코딩하는 방법 및 장치
US9549190B2 (en) 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2733952A1 (en) * 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for encoding moving picture using adaptive scanning
US8019167B2 (en) 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware
NO326724B1 (no) * 2007-09-03 2009-02-02 Tandberg Telecom As Metode for entropikoding av transformasjonskoeffisienter i videokomprimeringssystemer
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
KR101675116B1 (ko) 2009-08-06 2016-11-10 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2019194511A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987181A (en) * 1995-10-12 1999-11-16 Sharp Kabushiki Kaisha Coding and decoding apparatus which transmits and receives tool information for constructing decoding scheme
CN1297148C (zh) * 2001-08-28 2007-01-24 株式会社Ntt都科摩 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
JP4612797B2 (ja) * 2004-03-11 2011-01-12 キヤノン株式会社 符号化装置、符号化方法
JP2005295505A (ja) * 2004-03-12 2005-10-20 Canon Inc 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
KR100727969B1 (ko) * 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127963B1 (ko) * 2008-12-11 2012-03-26 한국전자통신연구원 Ｓａｅ 계산 장치 및 그를 포함하는 ｈ．２６４ 코딩 장치
WO2011040796A2 (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
WO2011040796A3 (ko) * 2009-10-01 2011-09-29 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
US9549190B2 (en) 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
US9565444B2 (en) 2009-10-01 2017-02-07 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
US9609335B2 (en) 2009-10-01 2017-03-28 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
US9609334B2 (en) 2009-10-01 2017-03-28 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
KR20130070602A (ko) * 2010-05-14 2013-06-27 톰슨 라이센싱 그룹들에 할당된 픽셀들을 갖는 블록을 인트라 코딩하는 방법 및 장치

Also Published As

Publication number Publication date
KR101215614B1 (ko) 2012-12-26
CN100539702C (zh) 2009-09-09
US20070058715A1 (en) 2007-03-15
CN1929613A (zh) 2007-03-14

Similar Documents

Publication Publication Date Title
KR101215614B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727969B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR102343371B1 (ko) 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법
KR100727970B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100667808B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101365570B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727972B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101379187B1 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
KR100750137B1 (ko) 영상의 부호화,복호화 방법 및 장치
EP1811785A2 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
US9807425B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR20110112224A (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
KR20110062748A (ko) 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
KR100667815B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR101390195B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee