KR20050012853A - 영상의 인코딩 방법 및 그 장치 그리고 영상의 디코딩방법 및 그 장치 - Google Patents

Abstract

본 발명은 하나의 프레임내에서 순차적으로 구성된 이미지데이터를 입력주기별로 분리하여 순차적으로 별도 저장하여 적어도 둘이상의 분할이미지를 생성하게 되는 분할단계와; 상기 분할단계에서 분리된 다수개의 분할이미지중 하나는 기준이미지로 나머지 분할이미지는 서브이미지로 설정한 후 기준이미지와 서브이미지들을 차분하여 각 서브이미지에 대응하는 차분이미지를 생성하는 차분단계와; 상기 기준이미지를 시간축에 따라 배열한 후 DCT와 양자화 그리고 VLC를 통해 압축하게되며 차분이미지들은 차례로 배열하여 원 이미지와 동일한 크기의 이미지로 생성한 후 시간축에 따라 배열하고 DCT와 양자화 그리고 VLC를 통해 압축하게되는 압축단계와; 상기 압축단계에서 각각 압축된 이미지를 입력받아 MUX를 통해 합치게 되는 다중화단계;로 구성되는 것을 특징으로 하는 영상 인코딩 방법에 관한 것이다.

또한 상기 방법으로 영상을 인코딩하는 장치 및 상기 인코딩된 영상을 디코딩하는 방법과 디코딩장치에 관한 것이다.

이에따라 영상의 압축시 화질의 손실이 적으면서 압축률이 매우 높다는 효과가 있다.

Description

영상의 인코딩 방법 및 그 장치 그리고 영상의 디코딩 방법 및 그 장치{method for encoding and decoding video and thereby device}

본 발명은 영상의 인코딩 방법 및 그 장치 그리고 영상의 디코딩 방법 및 그 장치에 관한 것으로 보다 상세하게는 순차적으로 입력되는 이미지데이터를 입력되는 주기별로 분리하여 다수개의 분할이미지로 생성하고 그중 하나를 기준이미지로 하며 나머지 이미지를 서브이미지로 하고 상기 기준이미지에 대해 서브이미지들을 차분하여 압축하게 되는 영상의 인코딩 방법 및 그 장치 그리고 영상의 디코딩방법 및 그 장치에 관한 것이다.

현대는 정보화 사회로 접어들어 원하는 정보를 잘 보존하고 손실없이 전달할 필요성이 증가하고 있다. 특히 최근의 정보는 기존의 아날로그 정보에서 디지털 정보로 변화하고 있는 추세로 특히 멀티미디어 정보가 증가하고 있다. 그러나 상기 멀티미디어 정보는 현재의 컴퓨터의 자료처리능력으로 볼 때 데이터의 용량이 상당히 크다. 특히 동영상은 full 사이즈, full 프레임, full 컬러 (full 사이즈는 VGA표준해상도(640X480픽셀)이상, full 프레임은 NTSC의 경우 29.971FPS(TV화면 수준), full 컬러는 24Bit RGB나 YUV를 의미)로 저장하는 경우 압축이 되지 않는다면 2기가에 2분 남짓밖에 저장할 수 없을 정도로 용량이 크므로 저장 및 전송이 곤란하다는 문제점이 있다.

이를 해결하기 위해 상기 멀티미디어 정보를 압축한 후 전송하고 상기 압축된 정보를 제공받은 측이 상기 압축된 멀티미디어 정보를 풀어 재생하도록 하는 방법이 연구 개발되고 있다. 현재 정지된 영상에서는 인접한 픽셀들은 서로 유사한 값을 가지는 공간적 중복성을 가지게 되며 동영상에서는 상기 공간적 중복성과 함께 동영상을 이루는 프레임간의 유사성을 이루는 시간적 중복성을 포함하게 되므로 상기 중복성을 제거 또는 감소시켜 압축하게 된다.

일반적으로 영상압축은 크게 손실압축과 비손실압축으로 나눌 수 있다. 이중 비손실압축은 압축전과 후의 데이터가 동일한 것으로 X-Ray사진과 같이 미세한 데이터가 중요한 경우 사용하게 된다. 그러나 상기와 같은 비손실압축은 2대1내지 3대1정도의 압축률을 가지게되므로 현재의 대용량 멀티미디어정보를 처리하는데는한계가 있다.

따라서 데이터의 손상이 어느정도 발생하나 압축률이 높은 손실압축을 사용하게 된다. 멀티미디어 정보의 경우 완벽한 원본의 보존이 필요한 경우도 있지만 대부분의 경우 내용의 이해나 영상과 음향의 질이 현저히 떨어지지 않는다면 원본에서 일부가 손실된다 하더라도 큰 문제가 없다. 손실압축의 경우 압축률과 데이터의 품질은 서로 반비례하므로 적절하게 조절하여 압축하게된다.

상기와 같은 손실압축방법으로 정지영상을 압축하는 방법으로 JPEG방식이 있다. 상기 JPEG방식은 사용하는계산량을 줄이기 위해 이미지를 소정의 매크로블럭으로 분리하고 이를 DCT를 사용하여 변환한 후 양자화 하여 압축하도록 하고 있다. 그러나 상기와 같이 블럭으로 분리한 후 압축을 수행하게되면 상기 블럭간의 경계면에서 데이터가 불연속적이므로 화상에 모자이크처리된 것과 같은 블럭이 발생하여 화질이 저하되는 현상이 발생하는 문제점이 있다.

또 다른 손실압축방법으로는 부대역 부호화방식이 있다. 상기 부대역 부호화 방식은 도2와 같이 연속으로 입력되는 이미지 데이터를 주파수가 다른 다수개의 대역으로 분리하고 각 대역의 중요도에 따라 별도의 압축방법을 사용하여 압축하도록 하여 압축효율을 높이는 방법이다. 상기와 같은 부대역 부호화방식은 블럭을 사용하지 않아 블럭간의 분연속이 발생하지 않는다는 이점이 있다. 그러나 상기와 같은 부대역 부호화 방식은 각 대역에 따라 별도의 압축방법을 사용하여야 하므로 알고리즘의 적용이 용이하지 않다는 문제점이 있다.

이를해결하기위해 본 출원인이 출원한(1번) 영상의 인코딩 방법 및 그 장치그리고 영상의 디코딩 방법 및 그 장치에 의하면 하나의 이미지에 있어서 입력주기별로 분리한 후 하나의 기준이미지에 대해 나머지 이미지를 차분하여 압축하도록 하고 있다. 상기와 같이 하면 기준이미지와 서브이미지간의 상관성이 매우 높아 압축효율이 높아진다는 효과가 있다.

상기의 방법은 기준이미지와 서브이미지들을 함께 배열한 후 VLC등을 사용하여 압축하도록 구성되어 있다. 상기와 같이 VLC를 사용하여 압축하는 경우 화질의 손상이 없으나 압축률이 떨어진다는 문제점이 있다. 특히 대부분의 값이 0으로 이루어진 서브이미지에 비해 기준이미지는 다양한 픽셀값을 가지므로 상기와 같이 동일한 방식으로 압축하는 경우 압축률이 낮아질 우려가 있다.

이를해결하기위해 본 출원인이 출원(5번)한 영상의 인코딩 방법 및 그 장치 그리고 영상의 디코딩 방법 및 그 장치에서는 기준이미지와 차분이미지를 서로 다른 DCT계수를 사용하여 압축하도록 구성하고 있다. 그러나 상기와 같이 각각의 이미지를 차분하는 경우 계산시간이 증가하게 되어 성능이 낮은 컴퓨터에서는 실시간으로 영상을 압축하거나 해제하여 출력하기 곤란한 경우가 발생할 우려가 있다.

본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로 계산 시간을 최소화하여 실시간으로 영상의 압축과 해제할 수 있는 영상의 인코딩 방법 및 그 장치 그리고 영상의 디코딩 방법 및 그 장치를 제공하는 것을 목적으로 한다.

도1 : 압축하고자하는 원이미지의 데이터 대역을 표시한 도

도2 : 원이미지를 분리하여 생성되는 분리이미지들의 데이터대역을 표시한 도

도3 : 원이미지의 각 픽셀의 값을 표현한 도

도4 : 분리이미지들의 각 픽셀의 값을 표현한 도

도5 : 차분이미지들을 하나의 이미지로 합한 상태를 표시한 도

도6 : 인코딩과정을 나타낸 순서도

본 발명은 상기의 목적을 달성하기 위해 안출된 것으로 하나의 프레임내에서순차적으로 구성된 이미지데이터를 입력주기별로 분리하여 순차적으로 별도 저장하여 적어도 둘이상의 분할이미지를 생성하게 되는 분할단계와; 상기 분할단계에서 분리된 다수개의 분할이미지중 하나는 기준이미지로 나머지 분할이미지는 서브이미지로 설정한 후 기준이미지와 서브이미지들을 차분하여 각 서브이미지에 대응하는 차분이미지를 생성하는 차분단계와; 상기 기준이미지를 시간축에 따라 배열한 후 DCT와 양자화 그리고 VLC를 통해 압축하게되며 차분이미지들은 차례로 배열하여 원 이미지와 동일한 크기의 이미지로 생성한 후 시간축에 따라 배열하고 DCT와 양자화 그리고 VLC를 통해 압축하게되는 압축단계와; 상기 압축단계에서 각각 압축된 이미지를 입력받아 MUX를 통해 합치게 되는 다중화단계;로 구성되는 것을 특징으로 하는 영상 인코딩 방법을 기술적 요지로 한다.

바람직하게는 상기 차분단계는, 차분된 차분이미지의 픽셀값중 절대값이 소정값 이하인 픽셀값을 0으로 대입하게되는 것을 특징으로 하게된다.

바람직하게는 상기 압축단계는, 차분이미지의 차례로 배열하여 하나의 이미지로 생성할 때 비어있는 영역을 하나의 값으로 대입하게 되는 것을 특징으로 하게된다.

바람직하게는 상기 압축단계는, 기준이미지와 차분이미지별로 서로 다른 가중치를 사용하여 양자화하게 되는 것을 특징으로 하게된다.

상기 영상 인코딩 방법에 따라 입력된 영상을 압축하여 출력하는 영상 인코딩 장치를 또 다른 기술적 요지로 한다.

상기 영상 인코딩 방법에 의해 압축된 영상에서 압축된 기준이미지와 합쳐져압축된 차분이미지를 분리하는 분리단계와; 상기 압축된 기준이미지와 차분이미지들을 각각 디코딩하여 기준이미지와 합쳐진 차분이미지를 생성한 후 각각의 차분이미지로 분리하게 되는 디코딩단계와; 상기 디코딩단계에서 생성된 기준이미지와 차분이미지들로부터 서브이미지를 생성하게 되는 가산단계와; 상기 가산단계에서 생성된 기준이미지와 서브이미지들로부터 데이터를 순차적으로 정렬하여 영상을 합성하게 되는 합성단계를 포함하여 구성되는 것을 특징으로 하는 영상 디코딩 방법을 또 다른 기술적 요지로 한다.

상기 영상 디코딩 방법에 따라 입력된 압축 영상을 디코딩하여 출력하게 되는 영상 디코딩 장치를 또 다른 기술적 요지로 한다.

본 발명은 영상의 압축 또는 해제시 소요되는 계산시간을 최소화 하여 실시간으로 제공할 수 있도록 하는 것을 목적으로함을 알 수있다. 이를위해 본 발명에서는 상기 기준이미지는 DCT 와 VLC알고리즘을 사용하여 압축하도록 하고 차분이미지는 모두 차례로 배열하여 하나의 이미지로 형성하도록 한 후 DCT 와 VLC알고리즘을 사용하여 압축하도록 구성하고 있다. 이는 기준이미지를 압축하는 것과 합쳐진 차분이미지를 압축하는 두번의 과정을 통해 압축이 이루어지므로 종래의 기준이미지와 차분이미지 각각에 대해 압축하는 것에 비해 계산시간이 줄어들기때문이다.

이하에서는 첨부된 도면을 참조로 하여 본 발명의 일실시예에 따른 영상의 인코딩 방법 및 그 장치 그리고 영상의 디코딩 방법 및 그 장치에 대해 상세히 설명하기로 한다.

먼저 영상의 인코딩 방법에 대해 설명하기로 한다. 본 발명의 일실시예에 따른 영상의 인코딩 방법은 크게 분할단계와 차분단계와 압축단계와 다중화단계로 나눌 수 있다.

먼저 영상의 인코딩 방법에 대해 설명하기로 한다. 본 발명의 일실시예에 따른 영상의 인코딩 방법은 크게 분할단계와 차분단계와 압축단계와 다중화단계로 나눌 수 있다.

먼저 분할단계에 대해 설명하기로 한다. 본 발명의 일실시예에서는 영상의 압축을 위해 원 이미지를 4개로 분리하게 된다. 이를위해 도3와 같이 순차적으로 입력되는 데이터를 입력순서에 따라 4개의 저장공간에 분리하여 차례로 저장하게 된다. 즉 4를 입력주기로 하여 1,5,9... 번째 데이터는 첫번째 저장공간에 저장하게 되며 2,6,10...번째 데이터는 두번째 저장공간에 저장하게되며 세번째, 네번째 저장공간에도 동일한 방법으로 저장하게 된다. 이와 같이 하면 도4에 도시된 바와 같이 각 픽셀의 값으로 이루어진 이미지는 도5에 도시된바와 같은 픽셀값을 가지는 네개의 분할이미지 정보로 나누어져 생성된다. 그러나 본 발명을 상기와 같이 하나의 이미지를 4개의 분할이미지로 분리하는 것으로 한정하는 것은 아니다. 분할이미지의 갯수는 둘이상이면 몇개로 분리하든지 무방하다. 그러나 분할이미지의 갯수가 너무 많은 경우 계산량이 증가하게되며 상관성이 감소하게 되므로 4개정도가 적절하다.

상기와 같이 4개의 분할이미지를 생성하게 되면 각각의 분할이미지는 원이미지에 대해 크기가 1/4로 줄어들게된다.

다음으로 차분단계에 대해 설명하기로 한다. 상기와 같이 다수개의 이미지로 분리된 분할이미지중 하나를 기준이미지로 두고 나머지를 서브이미지로 한다. 본 발명의 일실시예에서는 첫번째 분할이미지를 기준이미지로 두고 나머지를 서브이미지로 설정하게 된다. 여기서 기준이미지를 항상 첫번째 분할이미지로 한정하는 것은 아니다.

상기와 같이 이미지를 분할하게 되면 첫번째 분할이미지와 두번째 분할이미지는 원이미지에서 서로 인접한 픽셀이므로 유사하여 상관성이 매우 높아지게 된다. 또한 두번째 분할이미지와 세번째 분할이미지가 유사하며 세번째와 네번째도 역시 유사하게 된다. 따라서 상기 첫번째 분할이미지에 대해 두번째 분할이미지를 차분하면 대부분의 픽셀의 차분값들은 0에 가까운 값들이 나오게된다. 이를 기준이미지와 서브이미지에 차례로 적용하여 차분하게 되면 기준이미지(첫번째 분할이미지)와 첫번째 서브이미지(두번째 분할이미지)를 차분한 첫번째 차분이미지와 첫번째 서브이미지와 두번째 서브이미지를 차분한 두번째 차분이미지 그리고 두번째 서브이미지와 세번째 서브이미지를 차분한 세번째 차분이미지를 구할 수 있다.

도5는 차분하여 구해진 차분이미지들의 픽셀값을 표시한 것이다. 여기서 세개의 차분이미지는 분할이미지들의 픽셀의 값을 서로 차분한 것으로 두개의 분할이미지간의 차이를 표시하게 된다. 따라서 유사한 두개의 이미지를 차분하여 구한 것이므로 대부분의 차분값이 0 또는 0에 가까운 값을 가지게 된다. 이를 VLC등이 알고리즘으로 압축하게 되면 비교적 높은 압축률의 비손실압축이 이루어진다.

그러나 보다 압축률을 높이기위해 압축전 상기 차분값들을 슬라이싱하는 것도 무방하다. 이는 일반적으로 인간의 시각적 특성상 적당한 크기로 상한과 하한을 정해 그 범위 내에 포함되는 경우 하나의 값으로 대입하는 슬라이싱을 수행하여도 인간의 시각이 이를 잘 판별하지 못한다는 점을 이용한 것이다. 특히 그 차이가 아주 작은 값일 경우에는 원 영상과 슬라이싱된 영상의 차이를 감지하지 못한다. 따라서 본 발명의 일실시예와 같이 차분값의 절대값이 10이하인 경우에는 기준이미지의 픽셀값과 동일하다고 여겨도 인간의 시각으로 판별할 수 없으므로 전혀 문제가 없으므로 이를 0으로 대입하게 되어 런의 수를 늘리게된다. 상기와 같이 슬라이싱을 하게되면 영상의 손실이 발생하게 되나 인간의 시각으로 판별할 수 없을 정도의 손상이므로 무시할 수 있다.

다음으로 압축단계에 대해 설명하기로 한다. 상기 차분단계에서 구해진 기준이미지와 차분이미지들은 각각 별도로 JPEG 또는 MPEG압축에 사용되는 DCT와 양자화 그리고 VLC 알고리즘을 통해 압축이 이루어진다. 이때 상기 양자화시 사용되는 가중치는 기준이미지와 차분이미지들에게 각각 다른 가중치를 주는 것도 무방하다.

먼저 기준이미지는 시간축에 따라 배열한 후 매크로블록화한 후 퓨리에 변환을 통해 DCT변환을 수행하게 되다. 그후 인간이 확인하기 힘든 범위에서 DCT계수를 반올림하게 되며 인간이 확인하기 힘든 높은 주파수의 DCT계수는 0으로 대입하여 양자화하게 된다. 이때 양자화시 상기 범위는 가중치에 의해 결정되는 것으로 값이 클경우 압축률은 높아지나 영상의 손실이 발생하게 된다.

그리고 상기 차분이미지들은 차례로 배열하여 원 이미지와 동일한 크기의 이미지로 생성하게 된다. 이때 차분이미지들을 차례로 배열하게되면 상기 기준이미지만큼의 빈 공간이 발생하게 되므로 상기 빈 공간에는 0을 대입하게 된다. 상기와 같이 0을 대입하는 이유는 차분이미지의 경우 대부분의 픽셀값이 0으로 이루어져 있기때문에 중복성을 높이기 위함이다. 상기와 같이 생성된 이미지들을 시간축에 따라 배열한 후 DCT와 양자화 그리고 VLC를 통해 압축하게 된다.

다음으로 다중화 단계에 대해 설명하기로 한다. 상기와 같이 각각 DCT와 양자화 그리고 압축이 이루어진 상기 기준이미지와 차분이미지의 데이터는 MUX로 입력되어 하나로 합쳐져 출력된다. 상기 MUX는 다중화장치라고도 하며 다수개의 입력신호를 하나의 전송경로를 통해 전달하기 위해 입력된 신호를 시분할 등의 방법을 사용하도록 하는 장치이다.

다음으로 영상 디코딩 방법에 대해 설명하기로 한다. 본 발명의 일실시예에따른 상기 영상 디코딩 방법은 분리단계와 디코딩단계와 가산단계와 합성단계로 구성됨을 알 수 있다.

먼저 분리단계에 대해 설명하기로 한다. 상기 영상 인코딩 방법에 의해 압축된 영상데이터를 MUX를 통해 압축된 기준이미지와 차분이미지들로 분리하게 된다.

다음으로 디코딩단계에 대해 설명하기로 한다. 상기 디코딩단계는 상기 분리단계에서 분리된 압축된 기준이미지와 차분이미지들을 각각 압축해제와 역양자화와 역DCT단계를 수행하여 기준이미지와 차분이미지로 생성하는 단계이다. 이때 상기 차분이미지는 다수개의 차분이미지가 합쳐져 하나의 이미지를 형성하고 있으므로 이를 분리하여 각각의 차분이미지를 생성하게된다.

다음으로 가산단계에 대해 설명하기로 한다. 상기 가산단계는 상기 기준이미지와 차분이미지로부터 서브이미지를 생성하는 단계이다. 먼저 기준이미지와 첫번째 차분이미지로부터 첫번째 서브이미지를 생성하게 된다. 이는 상기 기준이미지에 상기 차분이미지의 픽셀값을 가산하여 구하게 된다. 첫번째 서브이미지와 두번째 차분이미지를 가산하게 되면 두번째 서브이미지가 구해지며 두번째 서브이미지와 세번째 차분이미지를 가산하여 세번째 서브이미지를 생성하게 된다.

다음으로 합성단계에 대해 설명하기로 한다. 상기 합성단계는 상기 가산단계에서 구해진 기준이미지와 서브이미지로부터 원 영상을 합성하는 단계이다. 상기 기준이미지와 서브이미지들이 획득된 주기에 따라 상기 기준이미지와 서브이미지의 데이터를 뽑아 합성하게 되면 원래의 영상이 구해진다.

본 발명의 영상 인코딩 장치와 영상 디코딩 장치는 상기의 영상 인코딩 방법과 영상 디코딩 방법을 수행하는 장치로 일반적인 컴퓨터내부에 상기 방법에 따라 작성된 프로그램을 설치하거나 컨트롤러 칩에 상기 방법에 따른 프로그램을 입력한 전용의 하드웨어 장치로 이루어진다.

상술한 바와 같이 본 발명은 기준이미지의 압축과 합쳐진 차분이미지의 압축을 통해 영상의 압축이 이루어지므로 계산시간이 최소화된다는 효과가 있다.

Claims (7)

1. 하나의 프레임내에서 순차적으로 구성된 이미지데이터를 입력주기별로 분리하여 순차적으로 별도 저장하여 적어도 둘이상의 분할이미지를 생성하게 되는 분할단계와;

   상기 분할단계에서 분리된 다수개의 분할이미지중 하나는 기준이미지로 나머지 분할이미지는 서브이미지로 설정한 후 기준이미지와 서브이미지들을 차분하여 각 서브이미지에 대응하는 차분이미지를 생성하는 차분단계와;

   상기 기준이미지를 시간축에 따라 배열한 후 DCT와 양자화 그리고 VLC를 통해 압축하게되며 차분이미지들은 차례로 배열하여 원 이미지와 동일한 크기의 이미지로 생성한 후 시간축에 따라 배열하고 DCT와 양자화 그리고 VLC를 통해 압축하게되는 압축단계와;

   상기 압축단계에서 각각 압축된 이미지를 입력받아 MUX를 통해 합치게 되는 다중화단계;로 구성되는 것을 특징으로 하는 영상 인코딩 방법.
2. 제1항에 있어서 상기 차분단계는,

   차분된 차분이미지의 픽셀값중 절대값이 소정값 이하인 픽셀값을 0으로 대입하게되는 것을 특징으로 하는 영상 인코딩 방법.
3. 제1항에 있어서 상기 압축단계는,

   차분이미지의 차례로 배열하여 하나의 이미지로 생성할 때 비어있는 영역을 하나의 값으로 대입하게 되는 것을 특징으로 하는 영상 인코딩 방법
4. 제1항에 있어서 상기 압축단계는,

   기준이미지와 차분이미지별로 서로 다른 가중치를 사용하여 양자화하게 되는 것을 특징으로 하는 영상 인코딩 방법
5. 제1항 내지 제5항 중 어느 하나의 항의 영상 인코딩 방법에 따라 입력된 영상을 압축하여 출력하는 영상 인코딩 장치.
6. 제1항 내지 제5항의 영상 인코딩 방법에 의해 압축된 영상에서 압축된 기준이미지와 합쳐져 압축된 차분이미지를 분리하는 분리단계와;

   상기 압축된 기준이미지와 차분이미지들을 각각 디코딩하여 기준이미지와 합쳐진 차분이미지를 생성한 후 각각의 차분이미지로 분리하게 되는 디코딩단계와;

   상기 디코딩단계에서 생성된 기준이미지와 차분이미지들로부터 서브이미지를 생성하게 되는 가산단계와;

   상기 가산단계에서 생성된 기준이미지와 서브이미지들로부터 데이터를 순차적으로 정렬하여 영상을 합성하게 되는 합성단계를 포함하여 구성되는 것을 특징으로 하는 영상 디코딩 방법.
7. 제6항의 영상 디코딩 방법에 따라 입력된 압축 영상을 디코딩하여 출력하게 되는 영상 디코딩 장치.