KR101432771B1

KR101432771B1 - 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법

Info

Publication number: KR101432771B1
Application number: KR1020100019996A
Authority: KR
Inventors: 임정연; 김수년; 최재훈; 이규민; 이영렬; 한종기; 문주희; 김해광; 전병우; 김대연; 서정훈; 김기오; 홍성욱
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2010-03-05
Filing date: 2010-03-05
Publication date: 2014-08-26
Also published as: WO2011108879A2; WO2011108879A3; US9232234B2; KR20110100912A; US20120328014A1

Abstract

영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법이 개시된다. 본 발명의 실시예에 따른 영상 부호화 장치는, 현재블록에 대한 블록모드를 결정하는 블록모드 결정부; 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI(Non-Coded Intra) 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 NCI 블록 인트라 부호화부; 및 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부를 포함하는 것을 특징으로 한다.

Description

영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법{Video encoding apparatus and method therefor, and video decoding apparatus and method therefor}

본 발명의 실시예는 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법에 관한 것이다. 보다 상세하게는, 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있는 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법에 관한 것이다.

MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)라고 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.

이러한 H.264/AVC(이하 'H.264'라 칭함)는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 등 종래의 동영상 코딩 국제 표준과는 다른 공간 예측 부호화 방법을 사용하고 있다. 종래의 방법에서는 DCT 변환 영역(Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트라 예측"을 사용함으로써 부호화 효율 증대를 추구하여 저역 전송 비트율 대의 주관적 화질의 열화를 발생시키는 결과를 초래하였지만, H.264에서는 변환 영역이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction) 부호화 방법을 채택하고 있다.

이와 같은 공간적 인트라 예측을 통한 부호화를 인코더 측면에서 보면, 이미 코딩이 완료되어 재생된 이전 블록의 정보로부터 현재 코딩하고자 하는 블록 정보를 예측하고 코딩하고자 하는 실제 블록 정보의 오차(difference)정보만을 코딩해서 디코더에 전송한다. 이때, 예측에 필요한 파라미터를 디코더 측에 전송하거나, 인코더와 디코더를 동기화시킴으로써 예측을 수행할 수도 있다. 디코더 측면에서 보면, 이미 복호화가 완료되어 재생된 주변 블록의 정보를 이용하여 현재 복호화하고자 하는 블록의 정보를 예측하고, 인코더측에서 전송된 오차정보와의 합을 구하여 원하는 구성정보를 재생하게 된다. 이때도 역시 예측에 필요한 파라미터가 전송되었다면 해당 파라미터를 복호화하여 이용한다.

H.264 표준에 따른 인트라 예측에는 인트라 4 x 4 예측, 인트라 8 x 8 예측 및 인트라 16 x 16 예측 등이 있으며, 각각의 인트라 예측에는 다수의 예측 모드를 포함하고 있다.

인트라 4 x 4 예측의 경우, 인접 픽셀(adjacent pixel)의 위치 및 예측의 방향성을 고려하여 도 1에 도시한 바와 같이, 수직(Vertical) 모드(모드 0), 수평(Horizontal) 모드(모드 1), DC(Direct Current) 모드(모드 2), 대각선 왼쪽(Diagonal_Down_Left) 모드(모드 3), 대각선 오른쪽(Diagontal_Down_Right) 모드(모드 4), 수직 오른쪽(Vertical_Right) 모드(모드 5), 수평 아래쪽(Horizontal_Down) 모드(모드 6), 수직 왼쪽(Vertical_Left) 모드(모드 7) 및 수평 위쪽(Horizontal_Up) 모드(모드 8)를 포함하는 9가지 예측 모드를 규정한다.

또한, 인트라 16×16 예측의 경우, 도 2에 도시한 바와 같이 수직(Vertical) 모드(모드 0), 수평(Horizontal) 모드(모드 1), DC 모드(모드 2) 및 플래인(Plane) 모드(모드 3)를 포함하는 4가지의 예측 모드를 규정한다. 인트라 8×8 예측의 경우도 인트라 16×16 예측과 유사한 4가지의 예측 모드가 있다.

도 1 및 도 2를 참조하면, 예측에 이용되는 인접 픽셀들은 좌측과 상단에 국한된다. 그 이유는, 예측에 이용될 수 있는 픽셀은 복호화 과정 후, 복원된 픽셀만을 이용할 수 있기 때문이다. 인코더는 부호화 순서에 따라 좌측에서 우측으로 그리고 위에서 아래의 순서로 블록을 부호화하고 그 블록의 압축 결과인 비트스트림 또한 순차적으로 디코더에 전송하기 때문에 현재 부호화할 블록을 기준으로 좌측과 상단에 복원된 픽셀이 존재한다.

그러나, 인트라 예측에서 사용될 수 있는 인접 픽셀이 좌측과 상단에 국한되는 점은 인트라 예측 모드에 있어서 공간적 중복성을 효과적으로 줄이지 못하여 압축 효율을 떨어뜨리는 주요한 원인이 되는 문제점이 있다.

또한, 통상적인 인터 예측 복호화는 인터 예측 부호화에 상응적으로 동작하기 때문에, 인터 예측 부호화의 압축 효율이 저하된 상태에서는 인터 예측 복호화의 효율 향상을 기대하기 어렵다는 문제점이 있다.

본 발명의 실시예는 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있는 영상 부호화 장치, 그 부호화 방법, 영상 복호화 장치 및 그 복호화 방법을 제공하는 것을 목적으로 한다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 부호화 장치는, 현재블록에 대한 블록모드를 결정하는 블록모드 결정부; 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI(Non-Coded Intra) 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 NCI 블록 인트라 부호화부; 및 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부를 포함하는 것을 특징으로 한다.

여기서, 영상 부호화 장치는, 블록모드 결정부에 의해 결정된 현재블록의 모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하는 부호화 생략부를 더 포함할 수 있다.

또한, 영상 부호화 장치는, 블록모드 결정부에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 부호화하는 인터 부호화부; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부를 더 포함할 수도 있다.

이 경우, NCI 블록 확장 인트라 부호화부는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것이 바람직하다.

또한, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 부호화를 종료하는 것이 바람직하다.

또한, 영상 부호화 장치는, 블록모드 결정부에 의해 결정된 블록모드의 타입정보를 비트화하여 전송하는 블록모드 타입 전송부를 더 포함할 수도 있다.

블록모드 결정부는, 현재블록의 모드에 대하여 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산할 수 있다.

블록모드 결정부는, 현재블록의 모드마다 비용함수를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 부호화 장치는, 현재블록에 대한 블록모드를 결정하는 블록모드 결정부; 블록모드 결정부에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 인터 부호화부; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부를 포함하는 것을 특징으로 한다.

NCI 블록 확장 인트라 부호화부는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 장치는, 수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 블록모드 타입 판단부; 블록모드 타입 판단부에 의해 복원된 현재블록의 블록모드 타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 NCI 블록 인트라 복호화부; 및 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부를 포함하는 것을 특징으로 한다.

또한, 영상 복호화 장치는, 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 복호화를 종료하는 복호화 생략부를 더 포함할 수 있다.

또한, 영상 복호화 장치는, 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 부호화하는 인터 부호화부; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 NCI 블록 확장 인트라 복호화부를 더 포함할 수도 있다.

이 경우, NCI 블록 확장 인트라 복호화부는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI 블록을 복원할 수 있다.

영상 복호화 장치는, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 복호화를 종료하는 것이 바람직하다.

전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 복호화 장치는, 현재블록에 대한 블록모드를 복호화하는 블록모드 타입 판단부; 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 인터 부호화부; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부를 포함하는 것을 특징으로 한다.

여기서, NCI 블록 확장 인트라 복호화부는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI블록을 복원할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 방법은, 현재블록에 대한 블록모드를 결정하는 단계; 블록모드 결정단계에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.

또한, 영상 부호화 방법은, 블록모드 결정부에 의해 결정된 현재블록의 모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하는 단계를 더 포함할 수 있다.

또한, 영상 부호화 방법은, 블록모드 결정단계에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 부호화하는 단계; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계를 더 포함할 수도 있다.

확장된 인트라 예측 실행단계는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정할 수 있다.

바람직하게는, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 부호화를 종료할 수 있다.

또한, 영상 부호화 방법은, 블록모드 결정단계에 의해 결정된 블록모드의 타입정보를 비트화하여 전송하는 단계를 더 포함할 수 있다.

이 경우, 블록모드 결정단계는, 현재블록의 모드에 대하여 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 부호화 방법은, 현재블록에 대한 블록모드를 결정하는 단계; 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및 블록모드 결정단계에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.

전술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 영상 부호화 방법은, 현재블록에 대한 블록모드를 결정하는 단계; 블록모드 결정단계에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 단계; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.

여기서, 확장된 인트라 예측 실행단계는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것이 바람직하다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 방법은, 수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 단계; 블록모드 타입 복호화단계에 의해 복원된 현재블록의 블록모드 타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 단계; 및 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.

영상 복호화 방법은, 블록모드 타입 복호화단계에 의해 복원된 현재블록의 모드타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 복호화를 종료하는 단계를 더 포함할 수 있다.

또한, 영상 복호화 방법은, 블록모드 타입 복호화단계에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 복호화하는 단계; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 단계를 더 포함할 수도 있다.

확장된 인트라 예측 실행단계는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI 블록을 복원할 수 있다.

영상 복호화 방법은, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 복호화를 종료할 수 있다.

전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 복호화 방법은, 수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 단계; 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및 블록모드 타입 복호화단계에 의해 복원된 현재블록의 블록모드 타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 단계를 포함하는 것을 특징으로 한다.

전술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 영상 복호화방법은, 현재블록에 대한 블록모드를 복호화하는 단계; 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 단계; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.

확장된 인트라 예측 실행단계는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI블록을 복원할 수 있다.

본 발명의 실시예에 따르면, 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 것으로 판단된 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있게 된다.

도 1은 H.264 표준에 따른 일반적인 9가지 4x4 인트라 예측모드를 나타낸 도면이다.
도 2는 H.264 표준에 따른 일반적인 4가지 16x16 인트라 예측모드를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 4는 도 3의 영상 부호화 장치에 의한 영상 부호화 방법의 일 실시예를 나타낸 흐름도이다.
도 5의 (a)는 인트라 4x4 예측에서 사용되는 픽셀들을 나타내며, (b), (c) 및 (d)는 각각 본 발명의 확장된 인트라 예측에서 사용될 수 있는 픽셀들의 예를 나타낸 도면이다.
도 6은 본 발명의 확장된 인트라 예측 시, 사용될 수 있는 양방향 예측 및 DC 예측의 예를 나타낸 도면이다.
도 7의 (a)는 현재블록의 주변블록 중 상단 블록이 NCI 블록인 경우의 예를 나타낸 도면이며, (b)는 현재블록이 인터인 경우에 상단 블록의 NCI 블록에 대해 확장된 인트라 예측을 한 경우의 예를 나타낸 도면이고, (c)는 현재블록이 인트라인 경우에 상단 블록의 NCI 블록에 대해 기존의 인트라 예측을 한 경우의 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 9은 도 8의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 블록모드 결정부(310), 블록모드 타입 전송부(320), NCI(Non-coded Intra) 블록 인트라 부호화부(330), 현재블록 인트라 부호화부(340), 부호화 생략부(350), 인터 부호화부(360) 및 NCI 블록 확장 인트라 부호화부(370)를 포함한다.

블록모드 결정부(310)는 현재블록에 대한 블록모드를 결정한다. 즉, 블록모드 결정부(310)는 다수의 후보 블록 모드에 대하여 율-왜곡 최적화 방식(Rate-Distortion Optimization: RDO) 등과 같은 비용함수를 이용하여 다수의 블록 모드 중에서 특정 블록 모드를 최적 블록 모드로서 결정한다. 이 경우, 블록모드 결정부(310)는, 현재블록의 모드마다 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다. 여기서, SAD는 각 4x4 블록 예측오차(잔차신호) 값의 절대치를 취하여 그 값들을 합한 값이며, SATD는 각 4x4 블록의 예측오차(잔차신호) 값에 Hadamard Transform을 적용하여 생성된 계수들(Coefficients)의 절대치를 취하여 더한 값이다. 또한, SSD는 각 4x4 블록 예측 샘플의 예측오차(잔차신호) 값을 제곱하여 더한 값이고, MAD는 각 4x4 블록 예측 샘플의 예측오차(잔차신호) 값에 절대치를 취하여 평균을 구한 값이다. 또한, 라그랑지안 함수는 라그랑지안 상수에 비트스트림(Bitstream)의 길이 정보를 포함하여 만들어진 비용 함수이다.

블록모드 타입 전송부(320)는 블록모드 결정부(310)에 의해 결정된 블록모드의 타입정보를 비트스트림으로 부호화하여 복호기(800: 도 8 참조)(이에 대해서는 후술한다)로 전송한다.

NCI 블록 인트라 부호화부(330)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다. 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 부호화부(330)는 주변블록에 존재하는 NCI 블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 NCI 블록을 복원한다. 여기서, NCI 블록은 잔여 계수 정보를 부호화하지 않은 블록을 말한다.

또한, 현재블록 인트라 부호화부(340)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 현재블록을 복원한다.

여기서, 도 3에는 현재블록 인트라 부호화부(340)가 NCI 블록 인트라 부호화부(330)의 실행 후에 현재블록에 대한 복원을 실행하는 것으로 도시하였으나, 이에 한정되는 것은 아니며, 현재블록 인트라 부호화부(340)는 NCI 블록 인트라 부호화부(330)와 동시에 실행되거나 NCI 블록 인트라 부호화부(330)에 선행하여 실행될 수도 있다.

NCI 블록 인트라 부호화부(330) 및 현재블록 인트라 부호화부(340)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 부호화가 종료하며 다음 블록으로 이동한다.

부호화 생략부(350)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 부호화하지 않는 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다. 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 부호화되지 않지만, 미래에 주변블록이 부호화될 때 같이 부호화될 수 있다.

블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인터인 경우, 인터 부호화부(360)는 현재블록에 대한 모션벡터 정보와 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하고, 현재블록을 복원한다. 또한, 인터 부호화부(360)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다.

현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 부호화부(370)는 현재블록의 주변블록에 존재하는 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 원본 픽셀과 좀 더 유사하도록 픽셀을 예측한다. 이때, 전술한 바와 같이 블록모드가 인트라이고 주변블록에 NCI 블록이 존재하지 않아 잔여 계수 정보가 부호화되지 않고 NCI 블록으로 처리된 블록은, 현재블록의 블록모드가 인터인 경우에 확장된 인트라 예측에 의해 부호화 및 복원된다. 즉, NCI 블록 확장 인트라 부호화부(370)는 인터 부호화부(360)에 의해 복원된 현재블록의 픽셀과 주변 인트라 블록의 이미 복원된 픽셀들을 이용하여 다양한 방향성 예측, 양방향 예측 및 보간 필터 등을 이용하여 원본 픽셀과 유사한 픽셀을 생성한다. 또한, NCI 블록 확장 인트라 부호화부(370)는 확장된 인트라 예측을 이용하여 예측된 픽셀을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 NCI 블록을 복원한다. 해당 NCI 블록이 복원되면, 현재블록에 대한 부호화를 종료하며 다음 블록으로 이동한다.

현재블록의 블록모드가 인터이며 현재블록의 주변블록에 NCI 블록이 존재하지 않을 경우, 인터 부호화부(360)는 현재블록에 대한 인터 예측을 실행한 후, 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다.

도 4는 도 3의 영상 부호화 장치에 의한 영상 부호화 방법의 일 실시예를 나타낸 흐름도이다. 도 4를 참조하여 본 발명의 실시예에 따른 영상 부호화 장치의 구성 및 동작을 상세하게 설명한다.

블록모드 결정부(310)는 다수의 후보 블록 모드에 대하여 율-왜곡 최적화 방식(Rate-Distortion Optimization: RDO) 등과 같은 비용함수를 이용하여 다수의 블록 모드 중에서 특정 블록 모드를 최적 블록 모드로서 결정한다(S401). 이 경우, 블록모드 결정부는, 현재블록의 모드마다 SAD, SATD, SSD, MAD, 라그랑지안 함수 중의 적어도 하나를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다.

블록모드 타입 전송부(320)는 블록모드 결정부(310)에 의해 율-왜곡 최적화 방식 등과 같은 비용함수에 기초하여 결정된 최적의 블록모드 타입정보만을 비트스트림으로 부호화하여 복호기(800)로 전송한다(S403). 이때, 블록모드 타입 전송부(320)에 의해 복호기(800)로 전송되는 블록모드 타입정보에는 현재블록 모드가 인트라인지 인터인지에 대한 모드정보와, 블록의 크기정보 등에 대한 정보를 포함한다.

NCI 블록 인트라 부호화부(330)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드를 판단하며(S405), 인트라인 경우 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다(S407). 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 부호화부(330)는 주변블록에 존재하는 NCI 블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 NCI 블록을 복원한다(S409).

또한, 현재블록 인트라 부호화부(340)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 현재블록을 복원한다(S411).

여기서, 주변블록에 존재하는 NCI 블록에 대해 인트라 예측을 실행하고 현재블록에 대해 인트라 예측을 실행하는 이유는, 현재블록이 인트라이고 주변블록이 NCI 블록일 경우에 현재까지 NCI 블록의 잔여 계수를 부호화하지 않아서 현재블록을 인트라 예측하기 위한 주변 픽셀들이 충분히 존재하지 않을 수 있기 때문이다. 이때, 현재블록을 먼저 부호화하고 이어서 주변블록의 NCI 블록을 부호화할 수도 있다. 이 경우는 현재블록이 기존의 인트라 예측 시 시용되는 주변 픽셀들 중 사용할 수 없는 픽셀이 존재하기 때문에 NCI 블록 인트라 부호화부(330)와 현재블록 인트라 부호화부(340)에서 변형된 인트라 예측을 사용할 수 있다.

NCI 블록 인트라 부호화부(330) 및 현재블록 인트라 부호화부(340)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 부호화가 종료하며 다음 블록으로 이동한다(S413).

부호화 생략부(350)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 부호화하지 않는 NCI 블록으로 처리하며(S415), 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다(S413). 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 부호화되지 않지만, 미래에 주변블록이 부호화될 때 같이 부호화될 수 있다. 즉, 미래에 부호화될 주변블록이 인터 블록이면 아직 잔여 계수 정보가 부호화되지 않은 NCI 블록은 확장된 인트라 예측에 의해 부호화되며, 미래에 부호화될 주변블록이 인트라 블록으로 결정되면 이 블록이 부호화되기 직전에 아직 잔여 계수 정보가 부호화되지 않은 NCI 블록이 기존의 인트라 예측에 의해 잔여 계수 정보를 전송하고 복원될 수 있다.

단계 S405의 판단 결과 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인터인 경우, 인터 부호화부(360)는 임의의 움직임 예측 방법을 이용하여 유도된 현재블록에 대한 모션벡터 정보와 그 모션벡터 정보를 이용하여 움직임을 보상하며, 움직임 보상에 의해 얻어진 블록과 원본 영상 블록 간의 차이인 잔차 신호를 변환 및 양자화하여 잔여 계수 정보를 얻고, 그 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하고, 현재블록을 복원한다(S417). 이어, 인터 부호화부(360)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다(S419).

현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 부호화부(370)는 현재블록의 주변블록에 존재하는 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 원본 픽셀과 좀 더 유사하도록 픽셀을 예측한다(S421). 이때, 전술한 바와 같이 블록모드가 인트라이고 주변블록에 NCI 블록이 존재하지 않아 잔여 계수 정보가 부호화되지 않고 NCI 블록으로 처리된 블록은, 현재블록의 블록모드가 인터인 경우에 확장된 인트라 예측에 의해 부호화 및 복원된다. 즉, NCI 블록 확장 인트라 부호화부(370)는 인터 부호화부(360)에 의해 복원된 현재블록의 픽셀과 주변 인트라 블록의 이미 복원된 픽셀들을 이용하여 다양한 방향성 예측, 양방향 예측 및 보간 필터 등을 이용하여 원본 픽셀과 유사한 픽셀을 생성한다.

도 5의 (a)는 인트라 4x4 예측에서 사용되는 픽셀들을 나타내며, (b), (c) 및 (d)는 각각 본 발명의 확장된 인트라 예측에서 사용될 수 있는 픽셀들의 예를 나타낸 도면이다. 도 5를 참조하여 본 발명의 실시예에서 사용하는 확장된 인트라 예측을 설명한다.

H.264의 인트라 4x4 예측에서 사용되는 픽셀들은 도 5(a)에 도시한 바와 같이 소문자 a 내지 p 까지의 16개의 현재블록의 픽셀들과, 대문자 A 내지 M 까지의 13개의 이전에 부호화된 주변블록의 픽셀들(인접 픽셀들)로 구분된다.

H.264 인트라 4x4 모드 예측을 위한 9가지 예측 모드를 이용하여 도 5의 (a)에 도시한 현재블록에 대한 인트라 예측을 수행하면, 이미 부호화된 A 내지 M의 픽셀 값을 이용하여 9개 방향의 예측을 수행하여 최적의 예측 방향으로 압축한다. 예를 들어, 도 1에 도시한 0번 예측 모드인 수직(Vertical) 방향의 예측 시, 첫 번째 열 a, e, i, m 픽셀은 수학식 1과 같이 예측된다.

[수학식 1]

그리고 도 1에 도시된 3번 예측 모드인 대각선 왼쪽(Diagonal down-left) 방향의 예측시, 첫 번째 열 a, e, i, m 픽셀은 수학식 2와 같이 예측된다.

[수학식 2]

그 외에 다른 예측 모드에 대해서도 유사한 방법으로 이미 압축된 인접 픽셀들의 픽셀 값을 이용해서 예측을 수행하여 잔차(Residual) 신호를 생성할 수 있다.

도 5의 (b)는 임의의 인트라 블록에서 좌측 및 상단뿐만 아니라 하단 블록이 이미 부호화가 되어 복원이 되었을 경우, 본 발명의 실시예에 따라 확장된 인트라 예측에 이용될 수 있는 인접 픽셀들을 나타낸 도면이다. 대문자 A 내지 R까지의 18개의 픽셀들은 이전에 압축된 주변 블록의 픽셀들(인접 픽셀들)이다. 이 픽셀들을 이용하여 기존의 방향성 예측뿐만 아니라, 보간 필터를 이용한 양방향 예측을 사용할 수 있다.

도 5의 (c)는 임의의 인트라 블록에서 우측 블록이 이미 부호화가 되어 복원이 되었을 경우, 본 발명의 실시예에 따라 확장된 인트라 예측에 이용될 수 있는 인접 픽셀들을 나타낸 도면이다. 대문자 A 내지 Q까지의 17개의 픽셀들은 이전에 압축된 주변 블록의 픽셀들(인접 픽셀들)이다. 이 픽셀들을 이용하여 기존의 방향성 예측뿐만 아니라, 보간 필터를 이용한 양방향 예측을 사용할 수 있다.

도 5의 (d)는 임의의 인트라 블록에서 우측과 하단 블록이 이미 부호화가 되어 복원이 되었을 경우, 본 발명의 실시예에 따라 확장된 인트라 예측에 이용될 수 있는 인접 픽셀들을 나타낸 도면이다. 대문자 A 내지 V까지의 22개의 픽셀들은 이전에 압축된 주변 블록의 픽셀들(인접 픽셀들)이다. 이 픽셀들을 이용하여 기존의 방향성 예측뿐만 아니라, 보간 필터를 이용한 양방향 예측을 사용할 수 있다.

도 6은 본 발명의 확장된 인트라 예측 시, 사용될 수 있는 양방향 예측 및 DC 예측의 예를 나타낸 도면이다.

도 6의 (a)와 (b)는 좌측 및 상단뿐만 아니라 본 발명에 의하여 하단 블록이 이미 부호화가 되어 복원이 되었을 경우에 수행될 수 있는 확장된 인트라 예측의 예를 나타낸다. 도 6의 (a)는 수직 양방향 예측을 사용하여 도 5의 (b)에 도시된 현재블록의 첫 번째 열 a, e, i, m 픽셀을 예측하는 것으로서, 수학식 3과 같이 예측될 수 있다.

[수학식 3]

또한, 도 6의 (b)에 도시한 예측 모드인 왼쪽 대각선 양방향의 예측 시, 첫 번째 행 a, b, c, d 픽셀은 수학식 4와 같이 예측될 수 있다.

[수학식 4]

본 발명의 실시예에 따른 확장된 인트라 예측 시, 수학식 3과 수학식 4는 하나의 예를 나타낸 것이며, 이 외에 하단에 복원된 픽셀들을 이용한 다양한 필터 계수를 이용한 예측 방법이 사용될 수 있다.

도 6의 (c)는 좌측 및 상단뿐만 아니라 우측 블록이 이미 부호화가 되어 복원이 되었을 경우의 본 발명의 실시예에 따른 확장된 인트라 예측의 예를 나타낸 도면이다. 이 경우에도 수학식 3과 유사하게 양방향의 픽셀을 이용하여 수평 양방향 예측할 수 있다.

도 6의 (d)는 하단과 우측 블록이 이미 부호화가 되어 복원이 되었을 경우의 본 발명의 실시예에 따른 확장된 인트라 예측의 예를 나타낸 도면이다. 이 경우는 앞선 양방향 예측뿐만 아니라 주변의 모든 픽셀들을 이용한 DC 예측을 이용하여 현재 픽셀들을 예측할 수 있다.

본 발명의 실시예에 따른 확장된 인트라 예측 시, 도 6의 예측들은 하나의 예를 나타낸 것일 뿐이며, 이 외에 다양한 양방향 예측 및 단방향 예측 등의 방법이 사용될 수 있다.

NCI 블록 확장 인트라 부호화부(370)는 전술한 바와 같이, 현재블록의 상단, 하단, 좌측, 우측, 우측 상단을 포함하는 주변블록들 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)과 같은 확장된 인트라 예측을 수행하며, 그 중 비용이 가장 작은 예측 모드를 결정한다. 이때, 비용함수로 SAD, SATD, SSD, MAD, 라그랑지안 함수 등이 이용될 수 있다.

임의의 픽셀을 예측할 때, 원본 픽셀 값과 가장 유사하게 예측하기 위해서는 두 개의 픽셀 사이에 위치한 픽셀을 예측하는 것이 최적의 방법이다. 하지만 기존의 인트라 예측에서는 블록의 부호화 순서 상, 현재 블록의 상단과 좌측의 인접 픽셀들만을 이용하여 현재블록 내의 픽셀들을 예측해야만 한다. 따라서, 이 경우에는 보간 필터 등을 이용할 수 없어 최적의 예측 픽셀을 생성하는 것이 어려웠다. 따라서, 본 발명의 실시예에서는 인트라 블록의 잔여 계수 정보의 부호화를 나중으로 미뤄서 인트라 블록의 하단에 위치한 블록이 “인터” 블록으로 부호화가 끝나고 복원이 되었을 경우, 미뤄둔 인트라 블록(NCI 블록)의 부호화를 수행한다. 이때, 이 NCI 블록은 상단과 좌측뿐만 아니라 이미 부호화된 주변 블록의 모든 픽셀들을 이용할 수 있기 때문에 보간 필터 등을 이용하여 최적의 예측 픽셀을 생성할 수 있다. 이때, 보간 필터뿐만 아니라, 하단의 인접 픽셀을 이용한 다양한 방향성 예측과 상단, 하단, 좌측, 우측의 픽셀 등을 이용한 평균치 예측 (DC 예측) 및 양방향 예측 등이 수행되어 원본과 좀 더 유사한 예측 픽셀을 생성할 수 있다. 이렇게 생성된 예측 픽셀을 이용하여 원본 신호와의 잔차 신호를 생성하여 변환 및 양자화를 거쳐 잔여 계수 정보를 생성하여 복호기(800)에 전송한다. 이 블록은 잔여 계수 정보를 전송하였기 때문에 더 이상 NCI 블록이 아니게 된다. 그리고 이 블록이 복원되고 부호화가 종료되어 다음 블록으로 이동된다.

도 7은 본 발명의 실시예에 따른 우측과 하단 블록을 이용하여 확장된 인트라 예측을 사용할 수 있는 블록의 예를 나타낸 도면이다.

도 7의 (a)는 현재블록의 주변블록 중 상단 블록이 NCI 블록인 경우의 예를 나타낸다. 도 7의 (a)와 같은 경우, 상단의 NCI 블록은 모드 정보만 부호화한 상태이며 아직 잔여 계수를 부호화하지 않은 상태이기 때문에, 상단의 블록은 복원되지 않은 상태이다. 이 경우에 현재블록이 인트라 혹은 인터 블록으로 부호화됨에 따라 상단의 블록이 확장된 인트라 혹은 기존의 인트라 방법으로 부호화된다.

도 7의 (b)는 현재블록이 인터인 경우에 상단 블록의 NCI 블록에 대해 확장된 인트라 예측을 한 경우의 예를 나타낸다. 도 7의 (b)와 같이, 현재블록이 인터 블록으로 부호화된 경우에, 상단의 NCI 블록은 도 6의 (d)와 같이 인접한 모든 픽셀을 이용하여 확장된 인트라 예측을 사용할 수 있다.

도 7의 (c)는 현재블록이 인트라인 경우에 상단 블록의 NCI 블록에 대해 기존의 인트라 예측을 한 경우의 예를 나타낸다. 도 7의 (c)와 같이, 현재블록이 인트라 블록으로 결정된 경우, 상단의 NCI 블록이 현재블록 보다 먼저 기존의 인트라 예측을 이용하여 부호화하여 잔여 계수 정보를 복호기(800)에 전송하고 복원하며, 현재블록이 상단의 복원된 픽셀을 이용하여 기존의 인트라 예측을 수행할 수 있도록 할 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다. 도 8을 참조하면, 본 발명의 실시예에 따른 영상 복호화 장치(800)는, 블록모드 타입 판단부(810), NCI 블록 인트라 복호화부(820), 현재블록 인트라 복호화부(830), 복호화 생략부(840), 인터 복호화부(850) 및 NCI 블록 확장 인트라 복호화부(860)를 포함한다.

블록모드 타입 판단부(810)는 영상 부호화 장치(300)로부터 비트스트림을 수신하며, 수신된 비트스트림으로부터 현재블록에 대한 블록모드 타입 정보를 수신하여 복호화하고, 현재블록이 인트라 모드인지 또는 인터 모드인지를 판단한다.

NCI 블록 인트라 복호화부(820)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다. 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 복호화부(820)는 수신된 비트스트림으로부터 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 NCI 블록을 복원한다.

또한, 현재블록 인트라 복호화부(830)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 수신된 비트스트림으로부터 현재블록의 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 현재블록을 복원한다.

여기서, 도 8에는 현재블록 인트라 복호화부(830)는 NCI 블록 인트라 복호화부(820)에 의해 NCI 블록이 복원된 후에 현재블록을 복원하는 것으로 도시하였으나, 이에 한정되는 것은 아니며, 현재블록 인트라 복호화부(830)는 NCI 블록 인트라 복호화부(820)와 동시에 실행되거나 NCI 블록 인트라 복호화부(820)에 선행하여 실행될 수도 있다.

NCI 블록 인트라 복호화부(820) 및 현재블록 인트라 복호화부(830)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 복호화가 종료하며 다음 블록으로 이동한다.

부호화 생략부(840)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 전송하지 않는 NCI 블록으로 처리하며, 현재블록에 대한 복호화를 종료하고 다음 블록으로 이동한다. 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 복호화되지 않지만, 미래에 주변블록이 복호화될 때 같이 복호화될 수 있다.

블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인터인 경우, 인터 복호화부(850)는 수신된 비트스트림으로부터 모션벡터 정보와 잔여 계수 정보를 복호화하여 움직임 보상 과정과, 잔여 계수의 역양자화 및 역변환 과정을 통해 현재블록을 복원한다. 또한, 인터 복호화부(850)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다.

현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 복호화부(860)는 비트스트림으로부터 해당 NCI 블록의 잔여 계수 정보를 수신하며, 수신된 잔여 계수 정보를 이용하여 역양자화 및 역변환을 통해 NCI 블록에 대한 잔차 신호를 생성한다. 또한, NCI 블록 확장 인트라 복호화부(860)는 본 발명의 실시예에 따른 확장된 인트라 예측을 이용하여 원본 픽셀과 좀 더 유사하도록 픽셀을 예측한다. 이때, 전술한 바와 같이 블록모드가 인트라이고 주변블록에 NCI 블록이 존재하지 않아 복호화되지 않고 NCI 블록으로 처리된 블록은, 현재블록의 블록모드가 인터인 경우에 확장된 인트라 예측을 이용하여 복호화된다. 즉, NCI 블록 확장 인트라 복호화부(860)는 인터 복호화부(850)에 의해 복원된 현재블록의 픽셀과 주변 인트라 블록의 이미 복원된 픽셀들을 이용하여 다양한 방향성 예측, 양방향 예측 및 보간 필터 등을 이용하여 원본 픽셀과 유사한 픽셀을 생성한다. 또한, NCI 블록 확장 인트라 복호화부(860)는 생성된 NCI 블록의 잔차 신호와 생성된 픽셀들의 픽셀 값을 더하여 NCI 블록을 복원하며, 복호화를 종료하고 다음 블록으로 이동한다.

현재블록의 블록모드가 인터이며 현재블록의 주변블록에 NCI 블록이 존재하지 않을 경우, 인터 복호화부(850)는 현재블록에 대한 인터 예측을 실행한 후, 현재블록에 대한 복호화를 종료하고 다음 블록으로 이동한다.

도 9는 도 8의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다. 도 9를 참조하여 본 발명의 실시예에 따른 영상 복호화 장치의 구성 및 동작을 상세하게 설명한다.

블록모드 타입 판단부(810)는 영상 부호화 장치(300)로부터 비트스트림을 수신하며, 수신된 비트스트림으로부터 현재블록에 대한 블록모드 타입 정보를 수신하여 복호화하고, 현재블록이 인트라 모드인지 또는 인터 모드인지를 판단한다(S901). 수신된 비트스트림에는 전술한 바와 같이, 현재블록의 블록모드가 인트라 모드인지 또는 인터 모드인지에 대한 정보와 블록의 크기에 대한 정보가 포함되어 있다.

NCI 블록 인트라 복호화부(820)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우(S903), 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다(S905). 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 복호화부(820)는 비트스트림으로부터 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 해당 NCI 블록을 복원한다(S907).

또한, 현재블록 인트라 복호화부(830)는 블록모드 타입 판단부(810)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 비트스트림으로부터 현재블록의 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 현재블록을 복원한다(S909).

이때, 현재블록이 먼저 복호화되고 이어서 주변블록의 NCI 블록을 복호화할 수도 있다. 이 경우는 현재블록이 기존의 인트라 예측 시 시용되는 주변 픽셀들 중 사용할 수 없는 픽셀이 존재하기 때문에 NCI 블록 인트라 복호화부(820)와 현재블록 인트라 복호화부(830)에서 변형된 인트라 예측이 사용될 수 있다.

NCI 블록 인트라 복호화부(820) 및 현재블록 인트라 복호화부(830)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 복호화가 종료하며 다음 블록으로 이동한다(S911).

복호화 생략부(840)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 전송하지 않는 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다(S913). 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 복호화되지 않지만, 미래에 주변블록이 복호화될 때 같이 복호화될 수 있다. 즉, 미래에 부호화될 주변블록이 인터 블록이면 아직 잔여 계수 정보가 복호화되지 않은 NCI 블록은 확장된 인트라 예측에 의해 복호화되며, 미래에 복호화될 주변블록이 인트라 블록으로 결정되면 이 블록이 복호화되기 직전에 아직 잔여 계수 정보가 복호화되지 않은 NCI 블록을 기존의 인트라 예측을 이용하여 복원할 수 있다.

블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인터인 경우, 인터 복호화부(850)는 비트스트림으로부터 모션벡터 정보를 복호화하여 움직임 보상 과정을 수행한다. 또한, 인터 복호화부(850)는 비트스트림으로부터 현재블록의 잔여 계수 정보를 복호화하여 역양자화 및 역변환 과정을 거쳐 잔차 신호를 생성하고, 움직임 보상 블록과 더하여 현재블록을 복원한다(S915). 또한, 인터 복호화부(850)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다(S917).

현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 복호화부(860)는 현재블록의 주변블록에 존재하는 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 NCI 블록을 복원한다(S919). 이를 위해, NCI 블록 확장 인트라 복호화부(860)는 비트스트림으로부터 해당 NCI 블록에 대한 잔여 계수 정보를 수신하고 역양자화 및 역변환을 거쳐 잔차 신호를 생성한다. 또한, NCI 블록 확장 인트라 복호화부(860)는 NCI 블록에 대해 확장된 인트라 예측을 실행하여 픽셀 값을 예측한다. 이때, NCI 블록 확장 인트라 복호화부(860)에 의해 실행되는 확장된 인트라 예측은 도 3의 NCI 블록 확장 인트라 부호화부(370)에 의해 실행되는 확장된 인트라 예측과 동일하므로 그에 대한 상세한 설명은 생략한다.

NCI 블록 확장 인트라 복호화부(860)는 확장된 인트라 예측에 의해 생성된 예측 픽셀과 잔차 신호를 더하여 NCI 블록을 복원하고 해당 현재블록에 대한 복호화를 종료하여 다음 블록으로 이동한다.

현재블록의 블록모드가 인터이며 현재블록의 주변블록에 NCI 블록이 존재하지 않을 경우, 인터 복호화부(850)는 현재블록에 대한 인터 예측을 실행하여 복원한 후, 현재블록에 대한 복호화를 종료하고 다음 블록으로 이동한다.

이상에서, 본 발명의 실시예에 따른 움직임 벡터 부호화 장치 및 움직임 벡터 복호화 장치는 각각이 독립적인 장치로 구현된 것으로 설명하였지만, 움직임 벡터 부호화 장치 및 움직임 벡터 복호화 장치는 하나의 영상 부/복호화 장치 내에 구현될 수도 있다. 이와 같은 영상 부/복호화 장치는 영상신호를 부호화하여 다른 영상처리 장치로 전송할 수 있을 뿐만 아니라, 다른 영상처리 장치로부터 부호화된 비트스트림을 수신하여 영상신호를 복원하여 재생하는 것이 가능하다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명의 실시예는 동영상을 압축 및 복호화하는 영상 처리 분야에 적용되어, 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 것으로 판단된 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.

300: 영상 부호화 장치
310: 블록모드 결정부
320: 블록모드 타입 전송부
330: NCI 블록 인트라 부호화부
340: 현재블록 인트라 부호화부
350: 부호화 생략부
360: 인터 부호화부
370: NCI 블록 확장 인트라 부호화부
800: 영상 복호화 장치
810: 블록모드 타입 판단부
820: NCI 블록 인트라 복호화부
830: 현재블록 인트라 복호화부
840: 복호화 생략부
850: 인터 복호화부
860: NCI 블록 확장 인트라 복호화부

Claims

삭제
영상 부호화 장치에 있어서,
현재블록에 대한 블록모드를 결정하는 블록모드 결정부;
상기 블록모드가 인트라인 경우, 상기 현재블록의 주변에 상기 현재블록을 인트라 예측하기 위한 픽셀을 갖는 NCI(Non-Coded Intra) 블록이 존재하면 상기 현재블록의 주변에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 NCI 블록 인트라 부호화부;
상기 블록모드가 인트라인 경우, 상기 현재블록의 주변에 상기 NCI 블록이 존재하면 상기 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부; 및
상기 블록모드가 인트라인 경우, 상기 현재블록의 주변에 상기 NCI 블록이 존재하지 않으면 상기 현재블록을 NCI 블록으로 설정하는 부호화 생략부
를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 2항에 있어서,
상기 인트라 예측에 필요한 블록은 주변 블록 전체이거나 미리 지정된 복수개의 위치에 존재하는 주변 블록인 것을 특징으로 하는 영상 부호화 장치.
제 2항에 있어서,
상기 블록모드가 인터인 경우, 상기 현재블록에 대한 인터 예측을 실행하여 부호화하고 복원하는 인터 부호화부; 및
상기 현재블록의 주변에 NCI 블록이 존재하면 상기 현재블록의 주변에 존재하는 NCI 블록에 대하여 상기 복원된 현재블록의 픽셀을 이용하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부
를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 4항에 있어서, 상기 NCI 블록 확장 인트라 부호화부는,
상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록의 픽셀들을 이용하여 예측을 수행하며, 그 중 비용이 가장 적은 예측방법을 상기 블록모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.
제 4항에 있어서,
상기 현재블록의 주변에 NCI 블록이 존재하지 않으면 상기 현재블록에 대한 부호화를 종료하는 것을 특징으로 하는 영상 부호화 장치.
제 2항에 있어서,
상기 블록모드의 타입정보를 비트화하여 전송하는 블록모드 타입 전송부를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 2항에 있어서, 상기 블록모드 결정부는,
상기 현재블록의 블록모드에 대하여 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산하는 것을 특징으로 하는 영상 부호화 장치.
제 2항 또는 제 8항에 있어서, 상기 블록모드 결정부는,
블록모드마다 비용함수를 이용하여 비용을 계산하고, 상기 계산된 비용이 가장 적은 블록모드를 상기 현재블록의 블록모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.
영상 부호화 장치에 있어서,
현재블록에 대한 블록모드를 결정하는 블록모드 결정부;
상기 현재블록의 블록모드가 인터인 경우, 상기 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 상기 현재블록을 부호화하고 복원하는 인터 부호화부; 및
복원된 상기 현재블록의 주변에 NCI 블록이 존재하면 상기 NCI 블록에 대하여 상기 복원된 현재블록의 픽셀을 이용하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부
를 포함하고,
상기 NCI 블록은 예측모드가 인트라로 결정되어 있되 아직 예측이 수행되지 않은 블록인 것을 특징으로 하는 영상 부호화 장치.
제 10항에 있어서, 상기 NCI 블록 확장 인트라 부호화부는,
상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록의 픽셀들을 이용하여 예측을 수행하며, 그 중 비용이 가장 적은 예측방법을 상기 블록모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.
영상 복호화 장치에 있어서,
수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 블록모드 타입 판단부;
상기 현재블록의 블록모드 타입이 인트라인 경우, 상기 현재블록의 주변에 상기 현재블록을 인트라 예측하기 위한 픽셀을 갖는 NCI 블록이 존재하면 상기 현재블록의 주변에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 NCI 블록 인트라 복호화부;
상기 현재블록에 대하여 인트라 예측을 실행하여 복호화하는 현재블록 인트라 복호화부; 및
상기 블록모드 타입이 인트라인 경우, 상기 현재블록의 주변에 상기 NCI 블록이 존재하지 않으면 상기 현재블록을 NCI 블록으로 설정하는 복호화 생략부
를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 12항에 있어서,
상기 인트라 예측에 필요한 블록은 주변 블록 전체이거나 미리 지정된 복수개의 위치에 존재하는 주변 블록인 것을 특징으로 하는 영상 복호화 장치.
제 12항에 있어서,
상기 현재블록의 블록모드 타입이 인터인 경우, 상기 현재블록에 대한 인터 예측을 실행하여 복호화하는 인터 복호화부; 및
상기 현재블록의 주변에 상기 NCI 블록이 존재하면 상기 현재블록의 주변에 존재하는 NCI 블록에 대하여 상기 복호화된 현재블록의 픽셀을 이용하여 확장된 인트라 예측을 실행하여 복호화하는 NCI 블록 확장 인트라 복호화부
를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 14항에 있어서, 상기 NCI 블록 확장 인트라 복호화부는,
상기 비트스트림으로부터 상기 NCI 블록의 잔여계수 정보를 수신하며, 수신된 상기 잔여계수 정보를 이용하고, 상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록의 픽셀들을 이용하여 예측을 수행하여 상기 NCI 블록을 복원하는 것을 특징으로 하는 영상 복호화 장치.
제 14항에 있어서,
상기 현재블록의 주변에 NCI 블록이 존재하지 않으면 상기 현재블록에 대한 복호화를 종료하는 것을 특징으로 하는 영상 복호화 장치.
영상 복호화 장치에 있어서,
수신된 비트스트림으로부터 현재블록에 대한 블록모드 타입을 복호화하는 블록모드 타입 판단부;
상기 복원된 상기 현재블록의 블록모드 타입이 인터인 경우, 상기 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 상기 현재블록을 복원하는 인터 복호화부; 및
복원된 상기 현재블록의 주변에 NCI 블록이 존재하면 상기 NCI 블록에 대하여 상기 복원된 현재블록의 픽셀을 이용하여 확장된 인트라 예측을 실행하여 복호화하는 NCI 블록 확장 인트라 복호화부
를 포함하고,
상기 NCI 블록은 예측모드가 인트라로 결정되어 있되 아직 예측이 수행되지 않은 블록인 것을 특징으로 하는 영상 복호화 장치.
제 17항에 있어서, 상기 NCI 블록 확장 인트라 복호화부는,
상기 비트스트림으로부터 상기 NCI 블록의 잔여계수 정보를 수신하며, 수신된 상기 잔여계수 정보를 이용하여 상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록의 픽셀들을 이용하여 예측을 수행하여 상기 NCI 블록을 복원하는 것을 특징으로 하는 영상 복호화 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제