KR101614767B1 - 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체 - Google Patents

Abstract

본 발명의 실시예는 벡터 양자화를 기반으로 2차 예측을 수행하여 예측 오차를 줄이는, 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체에 관한 것으로, 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 제 1 예측 에러 신호 생성하고, 상기 1차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 1 양자화하며, 상기 제 1 양자화된 신호를 역 양자화한 후 적응적으로 역 DCT 변환하여 구해진 신호의 왜곡값과 기 설정된 기준값에 근거하여 블록 단위로 2차 예측의 필요 여부를 판단하고, 상기 2차 예측이 필요한 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 중심값을 구하며, 상기 해당 블록에 대하여, 상기 1차 예측 에러 신호 및 상기 중심값을 기반으로 2차 예측 에러 신호를 생성하고, 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 2 양자화하며, 상기 제 1 양자화된 신호 또는 상기 제 2 양자화된 신호를 부호화한다.

영상, 압축, 주파수 영역, 공간 영역, 2차 예측, 왜곡, 벡터 양자화

Description

벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체{Video encoding/decoding Apparatus and Method using second prediction based on vector quantization, and Recording Medium therefor}

본 발명의 실시예는 영상 데이터 압축기술에 관한 것으로서, 보다상세하게는 벡터 양자화를 기반으로 2차 예측을 수행하여 예측 오차를 줄이는, 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체에 관한 것이다.

일반적으로, 비디오 압축 기술의 발달은 영상 매체를 보다 효율적으로 사용할 수 있는 방법의 기반을 마련하였다. 특히 H.264/AVC 동영상 부호화 기술은 이전 표준에 비해 2배 정도의 압축 성능이 향상 되었다. 이 기술은 복합형 부호화 기술에 기초하여 시간 및 공간 영역에서의 부호화 단계를 제공한다. 시간적 영역에서의 부호화 단계는 참조 프레임의 이미지로부터의 움직임 보상 예측(Motion Compensated prediction)을 통해 중복성(temporal redundancy)이 감소된다. 움직임 보상 예측은 참조 프레임의 블록과 현재 부호화 하고자 하는 이미지의 블록의 상관관계, 즉 움직임 벡터에 의해 결정되고 이를 통해 블록단위로 예측 이미지를 얻는 다. 예측 이미지와 원본 이미지의 차로서 얻어진 예측 에러는 블록 단위로 정렬되고 주파수 영역으로 변환된 후 양자화되어, DC 값을 나타내는 계수에서부터 시작하여 지그재그 스캐닝 방식으로 스캔 된다. 지그재그 스캐닝은 계수 어레이를 생성하게 되고 후속 부호화 단계는 CABAC 이나 CAVLC를 통해 최적화 될 수 있다. 하지만 블록 내의 예측 에러들이 서로 상관관계를 가질 때만, 즉 낮은 주파수 대역에 존재할 경우에만 주파수 영역으로 변환하는 DCT 변환에 의해 부호화 효율이 높다. 반면 공간 영역에서 약간만 상관되어 있는 경우 효율이 낮다.

[문헌 1] Matthias Narroschke, Hans Georg Musmann "Adaptive prediction error coding in spatial and frequency domain for H.264/AVC" VCEG- AB06, 16-20 January, 2006

이러한 문제를 해결하기 위해 [문헌 1]은 기존의 주파수 영역에서 예측 에러(prediction error)를 부호화하는 방법에 DCT 변환을 하지 않고 공간적 영역에서 예측 에러(prediction error)를 부호화하는 방법을 추가하여, 예측 에러 신호를 주파수 영역으로 변환할 것인지, 또는 부호화를 위해 예측 에러 신호를 공간 영역에서 유지할 것인지를 적응적으로 판단하여 사용하는 방법을 제안하였다.

도 1은 [문헌 1]에서 적응적으로 예측 에러(prediction error)를 부호화하는 방법을 나타내는 흐름도이다.

먼저, 움직임 보상 예측을 통해 부호화 하고자 하는 이미지의 예측 에러 신호를 얻는다(S101).

단계 S101에서 얻어진 예측 에러(prediction error)에 대하여, DCT 변환을 수행하고, 양자화를 한 후, 다시 역으로 양자화와 DCT 변환을 수행하여 왜곡(distortion)과 요구비율(rate)을 바탕으로 주파수 영역에서의 비용(cost)를 구한다(S102).

단계 S101에서 얻어진 예측 에러(prediction error)에 대하여, 양자화를 수행한 후, 역으로 양자화를 수행하여 왜곡(distortion)과 요구비율(rate)을 바탕으로 공간적 영역에서의 비용(cost)를 구한다(S103).

마지막으로, 단계 S102 및 S103에서 각각 구해진 주파수 영역에서의 비용과 공간적 영역에서의 비용을 비교하여, 비용이 더 낮은 부호화 방법을 선택하여 예측 에러 신호를 부호화한다(S104).

도 1의 방법에서는 DCT 변환을 수행하지 않을 때, DCT 변환을 할 경우보다 오히려 더 효과적인 경우가 존재한다는 것을 전제로 한다.

도 1의 방법으로 예측 에러(prediction error) 신호를 부호화 하는 기술은, H.264/AVC 동영상 부호화 기술과 비교해 더 높은 부호화 성능을 제공하였다. 그러나 블록 내 예측 에러 샘플이 공간 영역에서 상관성이 낮을 뿐만 아니라 큰 에러와 작은 에러들이 불규칙 적으로 산재되어 있는 경우, 상기 방법 또한 효율성이 떨어진다.

본 발명의 실시예는 상술된 종래의 문제점을 해결하기 위한 것으로, 그 목적은 기존의 기술(문헌 1)에 부가하여, 벡터 양자화를 기반으로 2차 예측을 수행하여 예측 오차를 줄이기 위한, 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 방법, 장치 및 기록 매체를 제공하기 위한 것이다.

전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치는, 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 제 1 예측 에러 신호 생성부 상기 1차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 1 양자화하는 제 1 양자화부 상기 제 1 양자화된 신호를 역 양자화한 후 적응적으로 역 DCT 변환하는 역 양자화부 상기 역 양자화부의 출력 신호의 왜곡값과 기 설정된 기준값에 근거하여 블록 단위로 2차 예측의 필요 여부를 판단하는 제 2 예측 판단부 상기 2차 예측이 필요한 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 중심값을 구하는 중심값 생성부 상기 해당 블록에 대하여, 상기 1차 예측 에러 신호 및 상기 중심값을 기반으로 2차 예측 에러 신호를 생성하는 제 2 예측 에러 신호 생성부 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 2 양자화하는 제 2 양자화부 및 상기 제 1 양자화된 신호 또는 상기 제 2 양자화된 신호를 부호화하는 부호화부를 포함할 수 있다. 또한, 상기 제 2 예측 판단부는 상기 역 양자화부의 출력 신호와 상기 예측 신호에 근거하여 입력 신호를 재구성하는 입력신호 재구성부 상기 재구성된 입력신호 및 상기 원 입력신호에 근거하여 상기 왜곡값을 구하는 왜곡 비교부 및 상기 왜곡값이 상기 기준값 이상인 블록을 2차 예측이 필요한 상기 해당 블록으로 판단하여 저장하는 저장부를 포함할 수 있다. 또한, 상기 중심값 생성부 는 상기 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정하는 벡터 양자화부 및 상기 해당 블록의 해당 그룹 및 해당 중심값에 대한 정보를 생성하는 그룹 표기부를 포함할 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법은, 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 제 1 예측 에러 신호 생성 단계 상기 1차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 1 양자화하는 제 1 양자화 단계 상기 제 1 양자화된 신호를 역 양자화한 후 적응적으로 역 DCT 변환하여 구해진 신호의 왜곡값과 기 설정된 기준값에 근거하여 블록 단위로 2차 예측의 필요 여부를 판단하는 제 2 예측 판단 단계 상기 2차 예측이 필요한 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 중심값을 구하는 중심값 생성 단계 상기 해당 블록에 대하여, 상기 1차 예측 에러 신호 및 상기 중심값을 기반으로 2차 예측 에러 신호를 생성하는 제 2 예측 에러 신호 생성 단계 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 2 양자화하는 제 2 양자화 단계 및 상기 제 1 양자화된 신호 또는 상기 제 2 양자화된 신호를 부호화하는 부호화 단계를 포함할 수 있다. 또한, 상기 중심값 생성 단계는, 상기 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 n개의 중심값을 설정하는 단계 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하는 단계 상기 연산된 거리에 근거하여, 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누는 단계 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정하는 단계 및 상기 해당 블록의 해당 그룹 및 해당 중심값에 대한 정보를 생성하는 단계를 포함할 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상술된 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는기록 매체가 제공될 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치는, 입력 신호가 1차 예측 부호화 신호인지 또는 2차 예측 부호화 신호인지를 판별하는 그룹표기 판별부 상기 판별된 1차 예측 부호화 신호를 제 1 역 양자화한 후 적응적으로 역 DCT 변환하는 제 1 역 양자화부 상기 판별된 2차 예측 부호화 신호를 제 2 역 양자화한 후 적응적으로 역 DCT 변환하는 제 2 역 양자화부 상기 제 2 역 양자화부로부터 출력된 2차 예측 부호화 신호 및 수신된 해당 중심값에 근거하여 1차 예측 부호화 신호를 생성하는 1차 예측 부호화 신호 생성부 및 상기 제 1 역 양자화부의 출력 신호 또는 상기 1차 예측 부호화 신호 생성부의 출력 신호를 복호화하는 복호화부를 포함할 수 있다. 또한, 상기 중심값은 해당 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 구해진 것으로, 상기 벡터 양자화는 상기 해당 1차 예측 에러 신호에 대해 n개의 중 심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정하여, 해당 블록의 해당 그룹 및 해당 중심값에 대한 정보를 생성할 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법은, 입력 신호가 1차 예측 부호화 신호인지 또는 2차 예측 부호화 신호인지를 판별하는 판별 단계 상기 판별된 1차 예측 부호화 신호를 제 1 역 양자화한 후 적응적으로 역 DCT 변환하는 제 1 역 양자화 단계 상기 판별된 2차 예측 부호화 신호를 제 2 역 양자화한 후 적응적으로 역 DCT 변환하는 제 2 역 양자화 단계 상기 제 2 역 양자화 단계로부터 출력된 2차 예측 부호화 신호에 수신된 해당 중심값을 가산하여 1차 예측 부호화 신호를 생성하는 1차 예측 부호화 신호 생성 단계 및 상기 제 1 역 양자화 단계의 출력 신호 또는 상기 1차 예측 부호화 신호 생성 단계의 출력 신호를 복호화하는 복호화 단계를 포함할 수 있다. 또한, 상기 중심값은 해당 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 구하는 것으로, 상기 벡터 양자화는 상기 해당 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정하여, 해당 블록의 해 당 그룹 및 해당 중심값에 대한 정보를 생성하는 단계를 포함할 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상술된 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는기록 매체가 제공될 수 있다.

본 발명의 실시예에 따르면, 기존의 주파수 영역 및 공간 영역에서의 적응적 부호화를 수행하여도 예측 오차가 큰 경우에 대해 추가적인 2차 예측을 수행한다. 추가적인 2차 예측 수행 여부를 결정하기 위해 기존의 주파수 영역 및 공간 영역에서의 적응적 부호화를 수행 시 예측 오차가 큰 경우를 구별해 낸다. 본 발명에 따른 구별 방법은, 주파수 및 공간 영역에서 예측 오차 신호를 부호화 했을 때 발생하는 왜곡(distortion)과 분계값 K(또는 기준값이라 칭함)와의 비교를 통해 이루어 진다. 분계값 K보다 왜곡이 작을 경우 예측 오차가 작아 압축 효율이 좋다고 판단하여 기존의 방법으로 부호화 하고, 분계값 K보다 왜곡이 클 경우 예측 오차가 크다고 판단하며, 이러한 경우에 대해 추가적인 2차 예측을 수행한다. 왜곡이 큰 예측 오차 신호는 추가적인 2차 예측을 위해 메모리에 저장되며, 적어도 한 블록 이상의 일정 단위에 대하여 위의 과정을 반복 수행한다.

이러한 방법으로 메모리에 저장된 예측 오차 신호들에 대하여 본 발명의 실시예에 따라 벡터 양자화를 수행한다. 벡터 양자화란 저장된 많은 예측 오차 신호들에 대하여 비슷한 예측 오차 신호들로 그룹화 시킨 후 분류된 각 그룹에 대해서 예측 오차 신호들을 대표할 수 있는 중심 값으로 표현하는 기법을 말한다. 본 발명의 실시예에 따르면, 벡터 양자화는 로이드(Lloyd) 알고리즘을 기반으로 수행되며, 이를 위해 초기 중심 값을 설정한다. 모든 예측 에러 신호들 중 무작위로 한 예측 에러 신호를 첫 번째 중심 값으로 설정한다. 첫 번째 중심 값으로 설정된 예측에러 신호를 제외한 모든 예측 에러 신호들 중 무작위로 한 예측 에러 신호를 두 번째 중심 값으로 설정한다. 설정된 첫 번째 중심 값과 두 번째 중심 값의 거리가 기설정된 기준값 M보다 클 경우 두 번째 중심 값은 유지되고 그렇지 못한 경우 두 번째 중심 값에 대한 설정은 취소된다. 거리는 Least square error로 구해지며 다음의 식 (1)과 같다.

식(1)

첫 번째 및 두 번째 예측 에러 신호를 제외한 모든 예측 에러 신호들 중 무작위로 세 번째 중심 값이 설정된다. 설정된 첫 번째 중심 값과 세 번째 중심 값의 거리와 두 번째 중심 값과 세 번째 중심 값과의 거리가 상기 기준값 M보다 클 경우 세 번째 중심 값은 유지되고 그렇지 못한 경우 세 번째 중심 값에 대한 설정은 취소된다. 이러한 방법을 반복적으로 수행하여, 저장된 모든 예측 에러 신호에 대하여 n개의 초기 중심 값이 설정된다.

본 발명의 실시예에 따르면, n개의 중심 값을 중심으로 n개의 그룹이 편성되고, 모든 예측에러 신호는 다음의 식 (2)와 같이 각 그룹의 중심 값과 거리를 구해 그 값이 최소가 되는 그룹으로 편성된다.

식 (2)

본 발명의 실시예에 따르면, 다음의 식(3)과 같이 편성된 각 그룹에 대하여 그룹 내 모든 예측 에러 신호의 거리에 대한 제곱의 평균이 최소화 될 수 있는 중심 값을 재설정 한다.

식 (3)

중심 값을 재설정한 후 다시 모든 예측 에러 신호와의 거리를 구해 그 값이 최소가 되는 그룹을 재편성 한다. 또한 재편성된 그룹에 대하여 다시 중심 값을 구한다. 위의 과정을 반복하면 비슷한 예측 오차를 가진 신호들끼리 그룹별로 최적화 되어 모아지게 된다. 최종적으로 분류된 각 그룹은, 그룹내의 예측 오차 신호 샘플들의 거리를 구해 그 그룹을 대표할 수 있는 중심 값을 얻는다. 중심 값은 복호화를 위해 엔트로피 부호화기에 보내진다. 각 그룹내의 예측 오차 신호들과 중심 값은 부호화 및 복호화를 위해 같은 그룹에 속해있음을 표시하도록 한다. 벡터 양자화를 통해 n개의 그룹으로 분류된 모든 예측 오차 신호들은 해당 그룹의 중심 값과의 차를 구하여 추가적인 2차 예측을 수행하고 얻어진 2차 예측 에러 신호를 양자화 시킨다.

본 발명의 실시예에 따르면, 예측 오차 신호의 복합형 부호화 기술을 이용하도록 적응 부호화기가 제공된다. 본 발명의 실시예에 따른 부호화기는 시영역 중복성(temporal redundancy)를 감소시키기 위한 움직임 보상 예측부, 주파수 영역에서 부호화 할 것인지, 공간 영역에서 부호화 할 것인지, 추가적 2차 예측을 통해 부호화 할 것인지 등의 부호화 방법을 결정하는 적응 제어 수단을 포함할 수 있다. 적 응 제어 수단은 라그랑주(Lagrange) 파라미터에 의해 가중되는 왜곡(distortion)과 요구 비율(rate)에 의해 각 부호화 방법의 비용(cost)이 계산되고, 비용이 최소가 되는 부호화 방법을 선택한다. 추가적 2차 예측 수행 시, 요구 비율은 기존 기술의 요구 비율 연산 방법 외에 추가적으로 n개의 그룹 중 자신이 속한 그룹을 표시하기 위한 정보 log₂n 비트를 포함한다.

본 발명의 실시예에 따르면, 주파수 영역에서 부호화 할 것인지, 공간 영역에서 부호화 할 것인지, 혹은 추가적 2차 예측 후 부호화 할 것인지에 대한 사이드 정보 신호가 발생하게 되는데, 8x8 블록에 대하여, 4x4블록 4개에 각각의 부호화 방법을 표기하기 위해 2비트씩 총 8비트가 요구된다. 이러한 사이드 정보 신호를 최소화 하기 위해 부호화 방법에 대한 패턴 정보를 사용할 수 있다. 4개의 4x4블록 마다 각각 세가지 방법(주파수 영역, 공간영역, 추가적 2차 예측 방법)으로 부호화가 가능 하므로 총 81가지의 경우의 수를 가지게 된다. 앞서 언급한 8 비트를 대신하여 81개의 패턴으로 나타내면 총 7비트로 표현 가능하다. 이를 통해 사이드 정보 신호를 최소화하여 압축 성능을 높일 수 있다.

본 발명의 실시예에 따르면, 상술된 부호화 기술에 대응하는 복호화 기술을 제공할 수 있다. 부호화된 예측 에러 신호의 그룹의 표시 여부를 판별하여 벡터 양자화 기반 2차 예측 수행 여부를 판단한다. 그룹의 표시가 없는 경우 1차 예측만 수행된 부호화 신호이므로 [문헌 1]과 같은 방법으로 복호화 된다. 그룹의 표시가 있는 경우 2치 예측이 수행된 부호화 신호이므로 부호화된 2차 예측 에러 신호의 해당 그룹을 찾아낸다. 부호화된 2차 예측 에러 신호의 해당 그룹을 찾은 후 그 해당 그룹의 중심 값을 찾고, 2차 예측 에러 신호화 해당 중심 값의 합을 적응적으로 역 DCT 변환한 후 역 양자화 한다. 부호화된 2차 예측 에러 신호는 벡터 양자화 기반 2차 예측을 통해 부호화된 신호이며, 이 신호와 해당 중심 값의 합은 1차 예측 한 후의 부호화 신호가 된다. 역 양자화된 예측 에러 신호는 벡터 양자화 기반 추가 예측에 따른 복호화 과정이 끝났으므로 남은 복호화 과정은 기존의 복호화 방법을 따른다.

이상과 같은 본 발명의 다양한 측면에 의하면, 벡터 양자화를 기반으로 2차 예측을 수행하여 예측 오차를 줄이는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 방법, 장치 및 기록 매체를 제공하여, 기존의 주파수 영역 및 공간 영역에서의 적응적 부호화를 수행 하여도 예측 오차가 여전히 큰 경우에는 벡터 양자화 기반 2차 예측을 수행하여 압축 효율을 향상시키는 효과가 있다.

이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 2는 본 발명의 일 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치의 블록도로, 동 도면에 도시된 바와 같이, 제 1 예측 에러 신호 생성부(210), 제 1 양자화부(220), 역 양자화부(230), 제 2 예측 판단부(240), 중심값 생성부(250), 제 2 예측 에러 신호 생성부(260), 제 2 양자화부(270), 적응적 제어부(280), 및 엔트로피 부호화부(290)를 포함한다.

상기 제 1 예측 에러 신호 생성부(210)는 입력 신호에서 예측 신호를 감산하여 1차 예측 에러 신호를 생성하는 것이다.

상기 제 1 양자화부(220)는 상기 1차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 1 양자화하는 것으로, 상기 1차 예측 에러 신호를 DCT 변환하는 DCT 변환부(221), 상기 DCT 변환된 신호를 양자화하는 양자화부(222), 및 상기 1차 예측 에러 신호를 DCT 변환 없이 양자화하는 양자화부(223)를 포함한다.

상기 역 양자화부(230)는 상기 제 1 양자화된 신호를 역 양자화한 후 적응적으로 역 DCT 변환하는 것으로, 상기 양자화부(222)의 출력 신호를 역 양자화하는 역 양자화부(231), 상기 역 양자화된 신호를 역 DCT 변환하는 역 DCT 변환부(232), 및 상기 양자화부(223)의 출력 신호를 역 양자화하는 역 양자화부(233)를 포함한다.

상기 제 2 예측 판단부(240)는 상기 역 양자화부(230)의 출력 신호의 왜곡값 및 기 설정된 기준값에 근거하여 블록 단위로 2차 예측의 필요 여부를 판단하는 것으로, 동 도면에 도시된 바와 같이, 상기 역 양자화부의 출력 신호에 상기 예측 신호를 가산하여 입력 신호를 재구성하는 입력신호 재구성부(241), 상기 원 입력신호와 상기 재구성된 입력신호를 비교하여 이들간의 차이로서 상기 왜곡값을 구하는 왜곡 비교부(242), 및 상기 왜곡값이 상기 기준값 이상인 1차 예측 신호의 블록을 2차 예측이 필요한 해당 블록으로 판단하고, 이와 같은 블록을 적어도 하나 이상의 블록을 포함하는 일정 단위로 저장하는 저장부(243)를 포함한다.

상기 중심값 생성부(250)는 2차 예측이 필요한 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 중심값을 구하기 위한 것으로, 동 도면에 도시된 바와 같이, 상기 저장부(243)에 일정 단위로 저장된 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정하는 벡터 양자화부(251), 및 상기 해당 블록의 해당 그룹 및 해당 중심값에 대한 정보를 생성하는 그룹 표기부(252)를 포함한다.

상기 제 2 예측 에러 신호 생성부(260)는 상기 해당 블록에 대하여, 상기 1차 예측 에러 신호에서 상기 중심값을 감산하여 2차 예측 에러 신호를 생성한다.

싱기 제 2 양자화부(270)는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 2 양자화하기 위한 것으로, 동 도면에 도시된 바와 같이, 상기 2차 예측 에러 신호를 DCT 변환하는 DCT 변환부(271), 상기 DCT 변환된 신호를 양자화하는 양자화부(272), 및 상기 2차 예측 에러 신호를 DCT 변환 없이 양자화하는 양자화부(273)를 포함한다.

상기 적응적 제어부(280)는 상기 1차 예측 에러 신호를 주파수 영역에서 양자화한 신호(A), 상기 1차 예측 에러 신호를 공간 영역에서 양자화한 신호(B), 상기 2차 예측 에러 신호를 공간 영역에서 양자화한 신호(C), 및 상기 2차 예측 에러 신호를 주파수 영역에서 양자화한 신호(D) 중 하나를 왜곡과 요구비율을 근거로 선택하기 위한 것이다.

상기 엔트로피 부호화부(290)는 상기 신호 A, B, C, D 중 상기 적응적 제어부(280)에 의해 선택된 하나의 신호를 엔트로피 부호화하기 위한 것이다.

도 3은 도 2의 벡터 양자화부(251)의 상세 블록도로, 동 도면에 도시된 바와 같이, 초기화부(301), 거리 연산부(302), 그룹 설정부(303), 중신값 연산부(304), 및 최적화 판단부(305)를 포함한다.

상기 초기화부(301)는 상기 저장부(243)에 저장된 일정 단위의 1차 예측 에러 신호 중에서 n개의 중심값을 설정한다.

상기 거리 연산부(302)는 n개의 중심값에 대한 상기 일정 단위의 1차 예측 에러 신호들간의 거리를 연산한다.

상기 그룹 설정부(303)는 n개의 중심값을 중심으로 상대적으로 거리가 작은 예측 에러 신호들끼리 n개의 그룹으로 편성한다.

상기 중심값 연산부(304)는 각 그룹내의 모든 예측 에러 신호와의 거리에 대한 제곱의 평균이 최소가되는 중심값을 새로 구한다

상기 최적화 판단부(305)는 상기 새로운 중심값이 이전의 중심값과 동일한지 판단하여, 동일하지 않으면 상기 새로운 중심값에 근거하여 상기 거리 연산부(302), 상기 그룹 설정부(303) 및 상기 중심값 연산부(304)에서의 과정을 순차 반복하고, 동일하면 벡터 양자화가 최적화 되었다고 판단하여 종료한다.

도 4는 도 2의 적응적 제어부(280)의 상세 블록도로, 동 도면에 도시된 바와 같이, 제 1 요구비율 연산부(401), 제 2 요구비율 연산부(402), 제 3 요구비율 연산부(403), 제 1 비용 연산부(404), 제 2 비용 연산부(405), 제 3 비용 연산부(406), 및 비용 비교부(407)를 포함한다.

상기 제 1 요구비율 연산부(401)는 주파수 영역에서의 요구 비율을 연산하고, 상기 제 2 요구비율 연산부(402)는 공간 영역에서의 요구 비율을 연산하며, 상기 제 3 요구비율 연산부(403)는 2차 예측에 따른 요구 비율을 연산한다. 상기 제 1 비용 연산부(404)는 주파수 영역에서의 왜곡과 상기 연산된 주파수 영역에서의 요구 비율을 근거로 제 1 비용을 연산하고, 상기 제 2 비용 연산부(405)는 공간 영역에서의 왜곡과 상기 연산된 공간 영역에서의 요구 비율을 근거로 제 2 비용을 연산하며, 상기 제 3 비용 연산부(406) 상기 연산된 2차 예측에 따른 요구 비율에 그 룹 표기에 따른 추가 요구 비율을 합산한 요구 비율 및 2차 예측 에러 신호의 왜곡(공간 영역에서의 왜곡 및 주파수 영역에서의 왜곡 포함)을 근거로 제 3 비용을 연산한다. 또한, 상기 비용 비교부(407)는 상기 제 1 비용, 상기 제 2 비용 및 상기 제 3 비용을 비교하여 상기 신호 A, B, C, D 중 가장 비용이 낮은 부호화 방식의 신호를 선택한다.

도 5는 본 발명의 일 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법의 흐름도로서, 일 예로 도 2의 장치에 적용될 수 있으므로 그 장치의 동작과 병행하여 설명한다.

도 5의 방법은, 동 도면에 도시된 바와 같이, 제 1 예측 에러 신호 생성 단계(S510), 제 1 양자화 단계(S520), 제 2 예측 판단 단계(S530), 중심값 생성 단계(S540), 제 2 예측 에러 신호 생성 단계(S550), 제 2 양자화 단계(S560), 및 부호화 단계(S570)를 포함한다.

상기 제 1 예측 에러 신호 생성 단계(S510)는 제 1 예측 에러 신호 생성부(210)를 통해 입력 신호에서 예측 신호를 감산하여 1차 예측 에러 신호를 생성한다.

상기 제 1 양자화 단계(S520)는 제 1 양자화부(220)를 통해 상기 1차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화한다. 즉, 상기 제 1 예측 에러 신호를 DCT 변환한 후 양자화(주파수 영역에서의 양자화)하거나, DCT 변환없이 양자화(공간 영역에서의 양자화)한다.

상기 제 2 예측 판단 단계(S530)는 역 양자화부(230)를 통해 상기 제 1 양자 화된 신호를 역 양자화한 후 적응적으로 역 DCT 변환하여 출력하고, 제 2 예측 판단부(240)를 통해 상기 역 양자화부(230)의 출력 신호의 왜곡값을 구한 후 그 왜곡값과 기 설정된 기준값에 근거하여 블록 단위로 2차 예측의 필요 여부를 판단한다. 즉, 블록 단위로 1차 예측 에러 신호에 대해 주파수 영역에서 양자화한 신호 A와 공간 영역에서 양자화한 신호 B의 왜곡이 기준보다 클 경우 해당 블록에 대해 2차 예측이 필요하다고 판단한다.

상기 중심값 생성 단계(S540)는 중심값 생성부(250)를 통해 상기 2차 예측이 필요한 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 유사한 신호끼리 그룹화하고 각 그룹을 대표하는 중심값을 구한다. 본 단계는 이후 도 6을 참조로 보다 상세히 설명한다.

상기 제 2 예측 에러 신호 생성 단계(S550)는 제 2 예측 에러 신호 생성부(260)를 통해 2차 예측이 필요한 해당 블록에 대하여 해당 1차 예측 에러 신호에서 해당 중심값을 감산하여 2차 예측 에러 신호를 생성한다.

상기 제 2 양자화 단계(S560)는 제 2 양자화부(270)를 통해 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화한다. 즉, 상기 제 2 예측 에러 신호를 DCT 변환한 후 양자화(주파수 영역에서의 양자화)하거나, DCT 변환없이 양자화(공간 영역에서의 양자화)한다.

상기 부호화 단계(S570)는 적응적 제어부(280)를 통해 상기 1차 예측 에러 신호를 주파수 영역에서 양자화한 신호(A), 상기 1차 예측 에러 신호를 공간 영역에서 양자화한 신호(B), 상기 2차 예측 에러 신호를 공간 영역에서 양자화한 신 호(C), 및 상기 2차 예측 에러 신호를 주파수 영역에서 양자화한 신호(D) 중 하나를 왜곡과 요구비율을 근거로 선택하고, 엔트로피 부호화부(290)를 통해 상기 신호 A, B, C, D 중 선택된 하나의 신호를 엔트로피 부호화한다.

도 6은 도 5의 중심값 생성 단계(S540)의 세부 흐름도로서, 일 예로 도 3의 장치에 적용되므로 그 장치의 동작과 병행하여 설명한다.

먼저, 초기화부(301)를 통해 2차 예측이 필요한 해당 블록에 대응하는 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고(S601), 거리 연산부(302)를 통해 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산한다(S602).

다음, 그룹 설정부(303)를 통해 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 유사한 신호끼리 n개의 그룹으로 나누고(S603), 중심값 연산부(304)를 통해 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정한다(S604).

다음, 최적화 판단부(305)를 통해 이전 중심값이 상기 재설정된 중심값과 동일한지를 판단하여, 동일하지 않다면 상기 재설정된 중심값에 근거하여 상기 단계 S602 내지 S605를 다시 수행하고, 동일하다면 상기 재설정된 중심값에 대한 정보 및 이에 해당하는 블록의 해당 그룹에 대한 정보를 생성한다.

이어, 도 2 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치 및 방법에 대해 부가 설명토록 한다.

본 발명의 실시예는 H.264/AVC 기술을 기본으로 하나, 기존 기술과 결합하여 수행될 수도 있다.

본 발명의 실시예에 따르면, 왜곡 비교부(242)는 주파수 영역에서 양자화된 1차 예측 에러 신호에 대한 왜곡값(distortion)과 공간 영역에서 양자화된 1차 예측 에러 신호에 대한 왜곡값을 기 설정된 기준값으로서의 분계값 K와 비교하여 추가적인 2차 예측의 수행 여부를 결정하고, 벡터 양자화부(251)는 2차 예측이 필요한 1차 예측 에러 신호에 대해 벡터 양자화를 통해 중심값을 구하며, 제 2 예측 에러 신호 생성부(260)는 현재 블록의 1차 예측 에러 신호와 해당 중심값과의 차를 통해 2차 예측 에러 신호를 생성한다.

본 발명의 실시예에 따르면, 입력신호는 움직임 추정을 거치며 예측 신호를 제공하기 위해 상기 움직임 추정에 기반하여 움직임 보상 예측이 수행되고, 제 1 예측 에러 신호 생성부(210)는 상기 예측 신호를 입력 신호로부터 차감한다. 이로부터 생성되는 1차 예측 에러 신호를 DCT 변환부(221)를 통해 주파수 영역(101)으로 변환하며 양자화부(222)를 통해 양자화 한다. 상기 양자화부(222)의 출력 신호는 역 양자화부(231)와 역 DCT 변환부(232)를 역 양자화 및 역 DCT 변환되어 움직임 보상 예측을 위해 이용된다. 본 실시예에 따르면, 1차 예측 에러 신호를 주파수 영역으로 변환하지 않고 공간 영역에서 양자화부(223)로 보내, 공간 영역에서 양자화 한 뒤, 주파수 영역과 공간 영역에서 부호화 한 1차 예측 에러 신호를 적응적으로 선택한다. 또한 1차 예측 에러 신호는 예측 신호에 부가되어 움직임 보상 및 움직임 추정을 위해 이용된다.

본 발명의 실시예에 따르면, 주파수 영역에서 양자화된 1차 예측 에러 신호와 공간 영역에서 양자화된 1차 예측 에러 신호의 왜곡이 기준보다 큰 경우에 한하 여 추가적인 2차 예측을 수행한다. 2차 예측 수행 여부 결정은 왜곡 비교부(242)에서 이루어지며, 왜곡 비교부(242)의 입력인 주파수 영역 및 공간 영역에서 양자화된 예측 오차신호와 분계값 K와의 비교를 통해 판단한다. 분계값 K는 왜곡의 크고 적음에 대한 기준이 된다. 양자화된 1차 예측 오차 신호의 왜곡이 분계값 K보다 작은 경우, 왜곡이 적어 압축 효율이 좋다는 판단 하에 기존의 기술과 같은 방법으로 주파수 영역에서 부호화 하거나 공간 영역에서 부호화 한다. 반면 양자화된 1차 예측 오차 신호의 왜곡이 분계값 K보다 큰 경우, 왜곡이 커 압축 효율이 떨어진다는 판단 하에 2차 예측을 수행하여 압축 효율을 높이도록 한다. 도 7의 A와 같은 모든 블록에 대하여 상기 기술한 비교 방법을 통해 B와 같이 2차 예측 여부를 판단하여 분류한다. B의 검은색 블록은 왜곡이 커 2차 예측을 수행할 블록을 의미하며 2차 예측을 위해 해당 1차 예측 에러 신호는 저장부(243)에 저장된다.

본 발명의 실시예에 따르면, 도 8에서 A는 무작위로 분포된 1차 예측 에러 신호들을 나타낸다. 이러한 1차 예측 에러 신호들은 저장부(243)로부터 초기화부(301)로 보내진다. 초기화부(301)에서는 무작위로 모든 예측 에러 신호들 중 한 예측 에러 신호를 첫 번째 중심 값으로 설정한다. 첫 번째 중심 값으로 설정된 예측 에러 신호를 제외한 모든 예측 에러 신호들 중 무작위로 한 예측 에러 신호를 두 번째 중심 값으로 설정한다. 설정된 첫 번째 중심 값과 두 번째 중심 값의 거리가 기 설정된 기준값으로서의 분계 값 M보다 클 경우 두 번째 중심 값은 유지되고 그렇지 못한 경우 두 번째 중심 값에 대한 설정은 취소된다. 거리는 상기 기술한 Least square error로 구하도록 한다. 첫 번째 및 두 번째 예측 에러 신호를 제외 한 모든 예측 에러 신호들 중 무작위로 세 번째 중심 값이 설정된다. 설정된 첫 번째 중심 값과 세 번째 중심 값의 거리와 두 번째 중심 값과 세 번째 중심 값과의 거리가 분계 값 M보다 클 경우 세 번째 중심 값은 유지되고 그렇지 못한 경우 세 번째 중심 값에 대한 설정은 취소된다. 이러한 방법을 반복적으로 수행하여, 저장된 모든 예측 에러 신호에 대하여 n개의 중심 값이 도 8의 A에서 y와 같이 설정된다. 벡터 양자화를 위한 초기 설정을 마치면, 거리 연산부(302)에 의하여 n개의 중심 값에 대한 모든 예측 에러 신호의 거리가 계산되고, 그룹 설정부(303)에 의하여 모든 예측 에러 신호는 도 8의 B와 같이 가장 거리가 작은 중심 값과 같은 그룹으로 편성된다. 그룹 설정을 마치면, 중심값 연산부(303)에 의하여 각 그룹에 대한 중심 값이 새로이 연산된다. 중심값은 상술된 Lloyd 알고리즘을 통한 그룹 내 모든 예측 에러 신호와의 거리에 대한 제곱의 평균이 최소가 되는 지점으로 한다. 새로이 중심 값을 구한 뒤 다시 거리 연산부(302)에 의하여 중심 값과 모든 예측 에러 신호들의 거리를 연산한 뒤, 도 8의 D와 같이 그룹 설정부(303)에 의하여 그룹이 재편성 된다. 재편성된 그룹에 대하여 다시 중심 값을 구하게 되며, 이러한 과정을 반복한다. 새로이 구해진 중심 값이 이전의 중심 값과 같으면 최적화 판단부(305)에 의하여 벡터 양자화가 최적화 되었다고 판단한 뒤 위의 반복 과정을 종료한다. 최종적으로 H와 같은 모든 예측 에러 신호에 대한 최적의 그룹화를 할 수 있게 되고, 각 그룹에 대한 예측 에러 신호들과 중심값은 그룹 표기부(252)에 의해 같은 그룹에 속해 있음을 표기한다. 이때 예측 에러 신호들은 자신이 속한 그룹에 대한 표기를 위해 도 7의 C와 같이 log₂n 비트(n개의 그룹 시)가 추가 정보 신호로 필요하다. 본 실시 예 에서는 4개의 그룹으로 분할 하였으므로 각 예측 에러 신호들은 자신이 속한 그룹에 대한 표기를 위해 2비트가 필요하다. 이는 후에 2차 예측에 대한 비용(cost) 연산에 포함된다.

본 발명의 실시예에 따르면, 앞서 기술한 과정을 통해 모든 예측 에러 신호들에 대한 그룹화가 완료되면, 제 2 예측 신호 생성부(260)는 현재 부호화 하고자 하는 1차 예측 에러와 같은 그룹에 속해 있는 중심 값의 차를 통해 2차 예측을 한다. 2차 예측이 수행된 2차 예측 에러 신호는 제 2 양자화부(270)로 주파수 영역 및 공간 영역에서 양자화된다.

본 발명의 실시예에 따르면, 주파수 영역에서 양자화된 1차 예측 오차 신호와 공간 영역에서 양자화된 1차 예측 오차 신호의 왜곡이 큰 경우에 한하여 해당 1차 예측 오차는 해당 벡터 영역의 중심값과의 차를 구해 2차 예측 오차 신호가 생성되고, 2차 예측 오차 신호는 적응적 양자화를 위해 양자화부(270)로 보내 진다. 양자화된 2차 예측 오차 신호 C,D와 주파수 영역에서 양자화된 1차 예측 오차 신호 A 및 공간 영역에서 양자화된 1차 예측 오차 신호 B 중 하나는 적응적 제어부(280)에 의한 비용(cost) 비교를 통해 적응적으로 선택된다.

본 발명의 실시예에 따르면, 적응적 제어부(280)에서 주파수 영역에서의 요구 비율 연산부(401) 및 공간 영역에서의 요구 비율 연산부(402)는 기존의 기술과 같은 방법으로 각 요구 비율을 구하며, 라그랑주(Lagrange) 파라미터에 의한 요구 비율 및 왜곡으로 비용 연산부(404,405)에 의해 각 영역에 대한 비용을 구한다. 2차 예측에 의한 비용은 상기 기술한 소속 그룹을 표현하기 위한 비용이 포함된다. 2차 예측에 따른 요구 비율 연산부(403)에 의한 요구비율과 그룹 표기에 따른 추가 요구비율의 합이 비용 연산부(406)의 요구비율 입력으로 사용된다.

도 2에서 A는 주파수 영역에서 양자화된 1차 예측 오차 신호, B는 공간 영역에서 양자화된 1차 예측 오차 신호를 나타내며, C와 D는 각각 본 발명의 실시예에 따른 2차 예측을 통해 공간 영역 및 주파수 영역에서 양자화된 예측 오차 신호이다. 적응적 제어부(280)는 예측 에러 신호 A,B,C,D 중에 비용(cost)을 최소로 하는 예측 오차 신호를 선택하고, 엔트로피 부호화기(290)는 선택된 예측 에러 신호를 엔트로피 부호화 한다.

도 9는 본 발명의 일 실시예 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치의 블록도로, 도 2의 부호화 장치에 대응하는 복호화 장치이며, 동 도면에 도시된 바와 같이, 그룹표기 판별부(910), 제 1 역 양자화부(920), 1차 예측 부호화 신호 생성부(930), 제 2 역 양자화부(940), 및 복호화부(950)를 포함한다.

상기 그룹표기 판별부(910)는 입력 신호가 1차 예측 부호화 신호인지 또는 2차 예측 부호화 신호인지를 판별하는 것으로, 현재 블록에 대하여 그룹의 표시가 있는지 여부를 판별하여, 그룹의 표시가 없으면 1차 예측 부호화 신호로 판별하고, 그룹의 표시가 있으면 2차 예측 부호화 신호로 판별한다.

상기 제 1 역 양자화부(920)는 상기 판별된 1차 예측 부호화 신호를 제 1 역 양자화한 후 적응적으로 역 DCT 변환하는 것으로, 해당 신호가 주파수 영역에서 양 자화된 부호화 신호이면 이에 대응하도록

역 양자화부(921)를 통해 역양자한 후 역 DCT 변환부(922)를 통해 역 DCT 변환한 후의 신호 A를 출력하고, 해당 신호가 공간 영역에서 양자화된 부호화 신호이면 이에 대응하도록 역 양자화부(923)를 통해 역 양자화한 후의 신호 B를 출력 한다.

상기 1차 예측 부호화 신호 생성부(930)는 상기 판별된 2차 예측 부호화 신호 및 수신된 해당 중심값에 근거하여 해당 1차 예측 부호화 신호를 생성하는 것으로, 수신된 그룹별 중심값을 저장하는 그룹별 중심값 저장부(931), 상기 2차 예측 부호화 신호의 해당 블록의 해당 그룹을 판별하는 그룹 판별부(932), 및 상기 2차 예측 부호화 신호에서 상기 해당 그룹의 해당 중심값을 가산하여 제 1 예측 부호화 신호를 생성하는 신호 생성부(933)를 포함한다.

상기 제 2 역 양자화부(940)는 해당 신호가 공간 영역에서 양자화된 부호화 신호이면 이에 대응하도록 역 양자화부(941)를 통해 역 양자화한 후의 신호 C를 출력하고, 해당 신호가 주파수 영역에서 양자화된 부호화 신호이면 이에 대응하도록 역 양자화부(942)를 통해 역양자화하고 역 DCT 변환부(943)를 통해 역 DCT 변환한 후의 신호 D를 출력한다.

상기 복호화부(950)는 상기 신호 A, B, C, D 중에 복호화 방법 선택 신호에 의해 선택된 하나의 신호를 복호화한다. 상기 복호화 방법 선택 신호는 도 2의 적응적 제어부(280)와 대응하게 상기 신호 A, B, C, D에 대한 비용 비교를 통해 생성된다.

한편, 제 2 역 양자화부(940)를 도 9와는 달리 1차 예측 부호화 신호 생성부(930)의 선단에 위치시켜 입력된 신호를 역양자화하고 적응적으로 역 DCT 변환한 후 그 출력 신호를 1차 예측 부호화 신호 생성부(930)의 입력으로 할 수 있다.

도 2의 부호화 장치를 위해 전술된 바와 같이, 상기 중심값은 부호화 시 해당 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 구해진 것이고, 상기 벡터 양자화는 상기 해당 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정하여, 해당 블록의 해당 그룹 및 해당 중심값에 대한 정보를 생성하는 것을 나타낸다.

도 10은 본 발명의 일 실시예 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법이 흐름도로서, 일 예로 도 9의 장치에 적용될 수 있으므로 그 장치의 동작과 병행하여 설명한다.

먼저, 그룹표기 판별부(910)를 통해 입력 신호가 1차 예측 부호화 신호인지 또는 2차 예측 부호화 신호인지를 판별하는데, 입력 신호의 현재 블록에 대하여 그룹의 표시가 있는지 여부를 판별하여, 그룹의 표시가 없으면 1차 예측 부호화 신호로 판별하고, 그룹의 표시가 있으면 2차 예측 부호화 신호로 판별한다(S1001).

다음, 1차 예측 부호화 신호 생성부(930)를 통해 상기 판별된 2차 예측 부호화 신호 및 수신된 해당 중심값에 근거하여 해당 1차 예측 부호화 신호를 생성하는 데, 부호화기로부터 수신된 그룹별 중심값을 그룹별 중심값 저장부(931)에 저장하고, 그룹 판별부(932)는 상기 2차 예측 부호화 신호의 해당 블록의 해당 그룹을 판별하며, 신호 생성부(933)는 상기 2차 예측 부호화 신호에서 상기 해당 그룹의 해당 중심값을 가산하여 제 1 예측 부호화 신호를 생성한다(S1002).

다음, 상기 제 2 역 양자화부(940)는, 상기 생성된 제 1 예측 부호화 신호가 공간 영역에서 양자화된 부호화 신호이면 이에 대응하도록 역 양자화부(941)를 통해 역 양자화한 후의 신호 C를 출력하고, 상기 생성된 제 1 예측 부호화 신호가 주파수 영역에서 양자화된 부호화 신호이면 이에 대응하도록 역 DCT 변환부(942)를 통해 역 DCT 변환하고 역 양자화부(943)를 통해 역양자한 후의 신호 D를 출력한다(S1003).

다음, 제 1 역 양자화부(920)를 통해 상기 판별된 1차 예측 부호화 신호를 적응적으로 역 DCT 변환한 후 역 양자화하는데, 상기 판별된 1차 예측 부호화 신호가 주파수 영역에서 양자화된 부호화 신호이면 이에 대응하도록 역 DCT 변환부(921)를 통해 역 DCT 변환하고 역 양자화부(922)를 통해 역양자한 후의 신호 A를 출력하고, 상기 판별된 1차 예측 부호화 신호가 공간 영역에서 양자화된 부호화 신호이면 이에 대응하도록 역 양자화부(923)를 통해 역 양자화한 후의 신호 B를 출력 한다(S1004).

마지막으로, 복호화부(950)를 통해 상기 신호 A, B, C, D 중에 복호화 방법 선택 신호에 의해 선택된 하나의 신호를 복호화하는데, 상기 복호화 방법 선택 신호는 도 2의 적응적 제어부(280)와 대응하게 상기 신호 A, B, C, D에 대한 비용 비 교를 통해 생성된다(S1005).

한편, 본 발명의 실시예에 따르면 도 10과는 달리 단계 S1001을 수행한 후, 단계 S1002의 수행전에 단계 S1003을 먼저 수행하고 이후 단계 S1002를 수행하도록 할 수 있다.

이어, 도 9 및 도 10을 참조하여 본 발명의 일 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치의 동작 및 이에 대응하는 방법에 대해 설명토록 한다.

본 발명의 실시예에 따르면, 상술된 부호화 장치 및 방법에 대응하는 복호화 장치 및 방법을 제공한다.

부호화된 예측 에러 신호는 그룹 표기 판별부(910)에 의하여 그룹의 표시 여부를 판별하여 벡터 양자화 기반 2차 예측 수행 여부를 판단한다. 그룹의 표시가 없는 경우 2차 예측이 없는 1차 예측 부호화 신호로 판단하여, 제 1 역 양자화부(920)를 통해 [문헌 1]과 같은 방법으로 복호화 된다. 그룹의 표시가 있는 경우 2차 예측 부호화 신호로 판단하여, 그룹 판별부(932)를 통해 현재 예측 에러 신호의 그룹을 찾아낸다. 그룹별 중심 값을 저장해 놓은 그룹별 중심값 저장부(931)로부터 해당 그룹의 중심값을 찾고, 예측 에러 신호와 해당 중심값의 합을 제 2 역 양자화부(940)로 보낸다. 본 과정에서의 부호화된 예측 에러 신호는 2차 예측을 통해 부호화된 신호이며, 이 신호와 해당 중심값의 합은 1차 예측 한 후의 부호화 신호가 된다. 역 양자화된 예측 에러 신호는 복호화 방법 선택 신호에 의해서 복호화부(950)로 보내져 움직임 예측 및 보상이 수행되어 복호화 된다.

본 발명의 실시예에 따르면, CABAC 또는 CAVLC에 따른 복호화와 스캐닝은 기존 기술과 동일한 방법으로 수행한다.

도 5-6을 참조하여 설명된 본 발명의 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법 및 도 10을 참조하여 설명된 본 발명의 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 기록 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나 지 않는 범위에서 다양한 수정및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와동등한 범위 내에있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상 설명한 바와같이, 본 발명의 실시예는 영상데이터 압축 기술 분야에 적용되어, 1차 예측에러 신호의 왜곡이 큰 경우 벡터 양자화를 기반으로 2차 예측을 수행하고 적응적으로 DCT 변환을 수행하여 예측 오차를 현저히 줄일 수 있는 매우 유용한 발명이다.

도 1은 종래 기술에 따라 적응적으로 예측 에러(prediction error)를 부호화하는 방법을 나타내는 흐름도,

도 2는 본 발명의 일 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치의 블록도,

도 3도 2의 벡터 양자화부의 상세 블록도,

도 4는 도 2의 적응적 제어부(280)의 상세 블록도,

도 5는 본 발명의 일 실시예에 따른 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법의 흐름도,

도 6은 도 5의 중심값 생성 단계의 세부 흐름도,

도 7은 본 발명의 실시예에 따른 2차 예측 블록을 나타내는 도면,

도 8은 본 발명의 일 실시예에 따른 벡터 양자화를 설명하기 위한 도면,

도 9는 본 발명의 일 실시예 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치의 블록도,

도 10은 본 발명의 일 실시예 따른 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법이 흐름도.

< 도면의 주요 부분에 대한 부호의 설명>

210: 제 2 예측 에러 신호 생성부

220,270: 적응적 양자화부

230: 적응적 역 양자화부

240: 제 2 예측 판단부

250: 중심값 생성부

260: 제 2 예측 에러 신호 생성부

280: 적응적 제어부

290: 엔트로피 부호화부

910: 그룹표기 판별부

920: 제 1 역 양자화부

930: 1차 예측 부호화 신호 생성부

940: 제 2 역 양자화부

950: 복호화부

Claims (17)

1. 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 제 1 예측 에러 신호 생성부;

   상기 1차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 1 양자화하는 제 1 양자화부;

   상기 제 1 양자화된 신호를 역 양자화한 후 적응적으로 역 DCT 변환하는 역 양자화부;

   상기 역 양자화부의 출력 신호의 왜곡값과 기 설정된 기준값에 근거하여 블록 단위로 2차 예측의 필요 여부를 판단하는 제 2 예측 판단부;

   상기 2차 예측이 필요한 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 중심값을 구하는 중심값 생성부;

   상기 해당 블록에 대하여, 상기 1차 예측 에러 신호 및 상기 중심값을 기반으로 2차 예측 에러 신호를 생성하는 제 2 예측 에러 신호 생성부;

   상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 2 양자화하는 제 2 양자화부; 및

   상기 제 1 양자화된 신호 또는 상기 제 2 양자화된 신호를 부호화하는 부호화부;

   를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치.
2. 제 1 항에 있어서,

   상기 제 2 예측 판단부는,

   상기 역 양자화부의 출력 신호와 상기 예측 신호에 근거하여 입력 신호를 재구성하는 입력신호 재구성부;

   상기 재구성된 입력신호 및 상기 원 입력신호에 근거하여 상기 왜곡값을 구하는 왜곡 비교부; 및

   상기 왜곡값이 상기 기준값 이상인 블록을 2차 예측이 필요한 상기 해당 블록으로 판단하여 저장하는 저장부;

   를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치.
3. 제 1 항에 있어서,

   상기 중심값 생성부는,

   상기 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가 되는 중심값을 재설정하는 벡터 양자화부; 및

   상기 해당 블록의 해당 그룹 및 해당 최적 중심값에 대한 정보를 생성하는 그룹 표기부;

   를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치.
4. 제 1 항에 있어서,

   상기 벡터 양자화는 로이드 알고리즘(Lloyd algorithm)을 기반으로 수행하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 장치.
5. 입력 신호가 1차 예측 부호화 신호인지 또는 2차 예측 부호화 신호인지를 판별하는 그룹표기 판별부;

   상기 판별된 1차 예측 부호화 신호를 제 1 역 양자화한 후 적응적으로 역 DCT 변환하는 제 1 역 양자화부;

   상기 판별된 2차 예측 부호화 신호를 제 2 역 양자화한 후 적응적으로 역 DCT 변환하는 제 2 역 양자화부;

   상기 제 2 역 양자화부로부터 출력된 2차 예측 부호화 신호 및 수신된 해당 중심값에 근거하여 1차 예측 부호화 신호를 생성하는 1차 예측 부호화 신호 생성부; 및

   상기 제 1 역 양자화부의 출력 신호 또는 상기 1차 예측 부호화 신호 생성부 의 출력 신호를 복호화하는 복호화부;

   를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치.
6. 제 5 항에 있어서,

   상기 중심값은 해당 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 구해진 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치.
7. 제 6 항에 있어서,

   상기 벡터 양자화는,

   상기 해당 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가 되는 중심값을 재설정하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치.
8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.

   상기 벡터 양자화는 로이드 알고리즘(Lloyd algorithm)을 기반으로 수행하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 장치.
9. 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 제 1 예측 에러 신호 생성 단계;

   상기 1차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 1 양자화하는 제 1 양자화 단계;

   상기 제 1 양자화된 신호를 역 양자화한 후 적응적으로 역 DCT 변환하여 구해진 신호의 왜곡값과 기 설정된 기준값에 근거하여 블록 단위로 2차 예측의 필요 여부를 판단하는 제 2 예측 판단 단계;

   상기 2차 예측이 필요한 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 중심값을 구하는 중심값 생성 단계;

   상기 해당 블록에 대하여, 상기 1차 예측 에러 신호 및 상기 중심값을 기반으로 2차 예측 에러 신호를 생성하는 제 2 예측 에러 신호 생성 단계;

   상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 제 2 양자화하는 제 2 양자화 단계; 및

   상기 제 1 양자화된 신호 또는 상기 제 2 양자화된 신호를 부호화하는 부호화 단계;

   를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법.
10. 제 9 항에 있어서,

    상기 중심값 생성 단계는

    상기 하나 이상의 해당 블록에 대응하는 1차 예측 에러 신호에 대해 n개의 중심값을 설정하는 제 1 단계;

    상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하는 제 2 단계;

    상기 연산된 거리에 근거하여, 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누는 제 3 단계;

    상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가되는 중심값을 재설정하는 제 4 단계; 및

    상기 재설정된 중심값이, 이전의 중심값과 다르면 그 재설정된 중심값을 기초로 상기 제 2 단계 내지 상기 제 4 단계를 반복하고, 같으면 상기 해당 블록의 해당 그룹 및 해당 중심값에 대한 정보를 생성하는 단계;

    를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법.
11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.

    제 9 항에 있어서,

    상기 벡터 양자화는 로이드 알고리즘(Lloyd algorithm)을 기반으로 수행하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법.
12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.

    입력 신호가 1차 예측 부호화 신호인지 또는 2차 예측 부호화 신호인지를 판별하는 판별 단계;

    상기 판별된 1차 예측 부호화 신호를 제 1 역 양자화한 후 적응적으로 역 DCT 변환하는 제 1 역 양자화 단계;

    상기 판별된 2차 예측 부호화 신호를 제 2 역 양자화한 후 적응적으로 역 DCT 변환하는 제 2 역 양자화 단계;

    상기 제 2 역 양자화 단계로부터 출력된 2차 예측 부호화 신호에 수신된 해당 중심값을 가산하여 1차 예측 부호화 신호를 생성하는 1차 예측 부호화 신호 생성 단계; 및

    상기 제 1 역 양자화 단계의 출력 신호 또는 상기 1차 예측 부호화 신호 생성 단계의 출력 신호를 복호화하는 복호화 단계;

    를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법.
13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.

    제 12 항에 있어서,

    상기 중심값은 해당 1차 예측 에러 신호에 대해 벡터 양자화를 수행하여 구하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법.
14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.

    제 12 항에 있어서,

    상기 벡터 양자화는,

    상기 해당 1차 예측 에러 신호에 대해 n개의 중심값을 설정하고, 상기 설정된 각 중심값과 상기 해당 1차 예측 에러 신호의 거리를 연산하며, 상기 연산된 거리에 근거하여 상기 각 중심값을 중심으로 상기 해당 1차 예측 에러 신호를 n개의 그룹으로 나누고, 상기 각 그룹내에서 모든 1차 예측 에러 신호들의 거리가 최소가 되는 중심값을 재설정하는 단계를 포함하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법.
15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.

    제 12 항에 있어서,

    상기 벡터 양자화는 로이드 알고리즘(Lloyd algorithm)을 기반으로 수행하는 것을 특징으로 하는 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법.
16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.

    제 9 항 내지 제 11 항 중 어느 한 항의 상기 벡터 양자화 기반 2차 예측을 통한 동영상 부호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.
17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.

    제 12 항 내지 제 15 항 중 어느 한 항의 상기 벡터 양자화 기반 2차 예측을 통한 동영상 복호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.

Images