KR20060056558A

KR20060056558A - 영상의 인코딩 및 디코딩 방법

Info

Publication number: KR20060056558A
Application number: KR1020040095687A
Authority: KR
Inventors: 김봉종
Original assignee: 주식회사 네빌소프트
Priority date: 2004-11-22
Filing date: 2004-11-22
Publication date: 2006-05-25

Abstract

본 발명은 이미지데이터를 입력 순서별로 분리하여 순차적으로 별도 저장하여 적어도 둘이상의 분할이미지를 생성하고 그중 하나의 분할이미지는 기준이미지로, 나머지 분할이미지는 서브이미지를 설정하게되는 분할단계와; 상기 분할단계에서 설정된 기준이미지와 서브이미지들을 순차적으로 차분하여 차분이미지들을 생성하는 차분단계와; 상기 차분단계에서 차분된 이미지들을 배열하여 압축하고 압축된 영상데이터를 출력하게되는 압축단계;로 구성되는 것을 특징으로 하는 영상 인코딩 방법에 관한 것이다. 또한 상기의 방법에 의해 압축된 영상을 디코딩하는 영상 디코딩 방법에 관한 것이다.

본 발명의 인코딩방법과 디코딩방법을 사용하게되면 영상의 압축시 화질의 손실이 적으면서 압축률이 매우 높아진다는 효과가 있다.

동영상 인코딩 디코딩 압축 차분 YIQ YUV

Description

영상의 인코딩 및 디코딩 방법{encoding and decoding method for video}

도1 : 부대역 부호화 방식의 압축을 위해 원 데이터를 대역별로 분리한 도

도2 : 원이미지

도3 : 원이미지의 각 픽셀의 값을 표현한 표

도4 : 네개로 분할된 분할이미지들의 각 픽셀의 값을 표시한 표

도5 : 기준이미지와 첫번째 분할이미지를 차분한 차분이미지의 데이터값을 표시한 표

도6 : 차분이미지를 슬라이싱한 상태의 데이터값을 표시한 표

도7 : 본 발명의 일실시예에 따른 인코딩 방법의 간략한 순서도

도8 : 본 발명의 일실시예에 따른 디코딩 방법의 간략한 순서도

본 발명은 영상의 인코딩 및 디코딩 방법에 관한 것으로 보다 상세하게는 순차적으로 입력되는 이미지데이터를 입력되는 주기별로 분리하여 다수개의 분할이미지로 생성하고 그중 하나를 기준이미지로 하며 나머지 이미지를 서브이미지로 하고 상기 기준이미지에 대해 서브이미지들을 차분하여 압축하여 인코딩하게되며 그 역순으로 디코딩하게되는 영상의 인코딩 및 디코딩 방법에 관한 것이다.

현대는 정보화 사회로 접어들어 원하는 정보를 잘 보존하고 손실없이 전달할 필요성이 증가하고 있다. 특히 최근의 정보는 기존의 아날로그 정보에서 디지털 정보로 변화하고 있는 추세로 특히 멀티미디어 정보가 증가하고 있다. 그러나 상기 멀티미디어 정보는 현재의 컴퓨터의 자료처리능력으로 볼 때 데이터의 용량이 상당히 크다. 특히 동영상은 full 사이즈, full 프레임, full 컬러 (full 사이즈는 VGA표준해상도(640X480픽셀)이상, full 프레임은 NTSC의 경우 29.971FPS(TV화면 수준), full 컬러는 24Bit RGB나 YUV를 의미)로 저장하는 경우 압축이 되지 않는다면 2기가에 2분 남짓밖에 저장할 수 없을 정도로 용량이 크므로 저장 및 전송이 곤란하다는 문제점이 있다.

이를 해결하기 위해 상기 멀티미디어 정보를 압축한 후 전송하고 상기 압축된 정보를 제공받은 측이 상기 압축된 멀티미디어 정보를 풀어 재생하도록 하는 방법이 연구 개발되고 있다. 현재 정지된 영상에서는 인접한 픽셀들은 서로 유사한 값을 가지는 공간적 중복성을 가지게 되며 동영상에서는 상기 공간적 중복성과 함께 동영상을 이루는 프레임간의 유사성을 이루는 시간적 중복성을 포함하게 되므로 상기 중복성을 제거 또는 감소시켜 압축하게 된다.

일반적으로 영상압축은 크게 손실압축과 비손실압축으로 나눌 수 있다. 이중 비손실압축은 압축전과 후의 데이터가 동일한 것으로 X-Ray사진과 같이 미세한 데이터가 중요한 경우 사용하게 된다. 그러나 상기와 같은 비손실압축은 2대1내지 3대1정도의 압축률을 가지게되므로 현재의 대용량 멀티미디어정보를 처리하는데는 한계가 있다.

따라서 데이터의 손상이 어느정도 발생하나 압축률이 높은 손실압축을 사용하게 된다. 멀티미디어 정보의 경우 완벽한 원본의 보존이 필요한 경우도 있지만 대부분의 경우 내용의 이해나 영상과 음향의 질이 현저히 떨어지지 않는다면 원본에서 일부가 손실된다 하더라도 큰 문제가 없다. 손실압축의 경우 압축률과 데이터의 품질은 서로 반비례하므로 적절하게 조절하여 압축하게된다.

상기와 같은 손실압축방법으로 정지영상을 압축하는 방법으로 JPEG방식이 있다. 상기 JPEG방식은 사용하는계산량을 줄이기 위해 이미지를 소정의 매크로블럭으로 분리하고 이를 DCT를 사용하여 변환한 후 양자화 하여 압축하도록 하고 있다. 그러나 상기와 같이 블럭으로 분리한 후 압축을 수행하게되면 상기 블럭간의 경계면에서 데이터가 불연속적이므로 화상에 모자이크처리된 것과 같은 블럭이 발생하여 화질이 저하되는 현상이 발생하는 문제점이 있다.

또 다른 손실압축방법으로는 부대역 부호화방식이 있다. 상기 부대역 부호화 방식은 도1에 도시된 바와 같이 연속으로 입력되는 데이터를 주파수가 다른 다수개의 대역으로 분리하고 각 대역의 중요도에 따라 별도의 압축방법을 사용하여 압축하도록 하여 압축효율을 높이는 방법이다. 즉 도1에 도시된 바와 같이 최하측의 원데이터는 상측의 두 대역으로 분리한 후 각 대역별로 압축하여 효율을 높이도록 구성된다. 상기와 같은 부대역 부호화방식은 블럭을 사용하지 않아 블럭간의 분연속이 발생하지 않는다는 이점이 있다. 그러나 상기와 같은 부대역 부호화 방식은 각 대역에 따라 별도의 압축방법을 사용하여야 하므로 알고리즘의 적용이 용 이하지 않다는 문제점이 있다.

이를 해결하기위해 본 출원인이 출원한 대한민국특허출원번호 2004-0093424호에서 하나의 이미지에서 픽셀의 값이 입력되는 주기에 따라 다수개로 나누어 분할이미지를 생성한 후 차분하여 공간적 중복성과 시간적 중복성을 제거하여 압축효율이 높아지도록 구성한 영상의 인코딩 및 디코딩 방법에 대해 개시하고 있다.

그러나 상기 방법은 영상의 픽셀값을 그대로 압축하게됨에 따라 픽셀의 값에 포함된 중복성을 제거하지 못한다는 문제점이 있다.

본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로 픽셀의 값에 포함된 중복성을 제거하여 보다 높은 효율의 영상 인코딩 방법 및 디코딩 방법을 제공하는 것을 목적으로 한다.

본 발명은 상기의 목적을 달성하기 위해 안출된 것으로 픽셀의 값이 RGB모델로 이루어진 원 이미지데이터를 변환하여 세개의 속성으로 이루어진 YIQ 또는 YUV모델로 변환하는 변환단계와; 변환단계에서 변환된 이미지의 각 속성에 대해 데이터의 입력 순서별로 분리하고 이를 별도로 저장하여 적어도 둘이상의 분할이미지를 생성하게되며, 분할이미지중 하나는 기준이미지로, 나머지 분할이미지는 서브이미지를 설정하여 각 속성에따른 기준이미지들과 다수개의 서브이미지를 구하게되는 분할단계와; 각 속성별로 상기 분할단계에서 설정된 기준이미지와 서브이미지들을 순차적으로 차분하여 각 속성별 차분이미지들을 생성하는 차분단계와; 상기 차분단 계에서 각 속성별로 차분된 이미지들을 배열하여 압축하고 압축된 영상데이터를 출력하게되는 압축단계;로 구성되는 것을 특징으로 하는 영상 인코딩 방법을 기술적 요지로 한다.

바람직하게는 다수개의 프레임으로 이루어진 동영상의 압축시 변환단계와 분할단계와 차분단계와 압축단계로 이루어진 영상 인코딩 방법을 최초의 프레임부터 최후 프레임까지 반복하게 되는 것을 특징으로 하게된다.

또한 바람직하게는 다수개의 프레임으로 이루어진 동영상의 압축시 변환단계와 분할단계와 차분단계를 최초의 프레임부터 최후 프레임까지 반복하여 각 프레임의 속성별 기준이미지와 차분이미지를 획득한 후 한 프레임내의 모든 기준이미지와 차분이미지를 속성별로 배열하고 다시 시간축에 따라 프레임들을 모두 배열한 후 압축단계를 수행하도록 구성되는 것을 특징으로 하게된다.

그리고 상기 차분단계는, 상기 분할단계에서 설정된 현재 프레임의 각 속성별로 기준이미지와 서브이미지들을 순차적으로 차분하여 현재 프레임의 1차차분이미지들을 생성하는 1차차분단계와; 상기 1차차분단계에서 구해진 현재 프레임의 각 속성별 기준이미지와 1차차분이미지들을 이전 프레임의 각 속성별 기준이미지와 1차차분이미지에서 차분하여 차분이미지를 생성하게되는 2차차분단계;로 구성되는 것이 바람직하다.

또한 상기 차분단계는, 차분된 차분이미지의 픽셀값중 절대값이 소정값 이하인 픽셀값을 0으로 대입하게되는 것이 바람직하다.

그리고 압축단계는, VLC알고리즘을 사용하게 되는 것이 바람직하다.

영상 인코딩 방법에 의해 압축된 영상데이터의 압축을 해제하여 각 프레임의 각 속성별 기준이미지와 차분이미지를 분리하는 분리단계와; 분리단계에서 분리된 상기 기준이미지와 차분이미지들로부터 각 속성별로 기준이미지와 차분이미지들을 가산하여 각 프레임의 각 속성별 서브이미지들을 생성하게 되는 가산단계와; 상기 가산단계에서 생성된 각 프레임의 각 속성별 기준이미지와 서브이미지들로부터 각 프레임의 각 속성별 이미지를 구하고 상기 속성별 이미지를 다시 합성하여 원래의 이미지로 합성하게 되는 합성단계;를 포함하여 구성되는 영상 디코딩 방법을 또 다른 기술적 요지로 한다.

그리고 영상 인코딩 방법에 의해 압축된 영상데이터에서 각 프레임에 대해 각 속성별로 차분이미지를 복구하는 해제단계와; 상기 해제단계에서 복구된 현 프레임의 각 속성별 차분이미지와 전 프레임의 각 속성별 기준이미지 및 1차차분이미지를 더하여 현 프레임의 각 속성별 기준이미지와 1차차분이미지를 생성하는 1차가산단계와; 1차가산단계에서 생성된 각 속성별 상기 기준이미지와 1차차분이미지들의 값을 더하여 각 프레임의 속성별 서브이미지들을 생성하게 되는 2차가산단계와; 상기 2차가산단계에서 생성된 각 프레임의 속성별 기준이미지와 서브이미지들로부터 각 프레임의 속성별 이미지를 생성하고 이를 다시 합성하여 영상을 합성하게 되는 복구단계;를 포함하여 구성되는 것을 특징으로 하는 영상 디코딩 방법을 또 다른 기술적 요지로 한다.

이하에서는 첨부된 도면을 참조로 하여 본 발명의 영상의 인코딩 방법에 대해 상세히 설명하기로 한다. 본 발명의 영상 인코딩 방법은 크게 변환단계와 분할 단계와 차분단계와 압축단계로 구성된다.

상기 변환단계는 RGB로 구성되어있는 영상을 YUV모델로 변환하는 과정이다. 이는 다음과 같은 세개의 식을 사용하여 각각의 속성을 구하게 된다.

Y = 0.3R + 0.59G + 0.11B

U = (B-Y) x 0.493

V = (R-Y) x 0.877

상기와 같이 RGB모델로 이루어진 영상을 YUV로 변환하게되면 중복되는 명도등의 신호를 제거할 수 있어 약 2/3정도로 데이터의 양을 줄일 수 있다. 여기서 YUV모델을 사용하는 대신 YIQ모델을 사용하는 것도 무방하다. 상기와 같이 변환된 이미지는 각 속성별로 별도로 후술하게될 분할단계와, 차분단계를 적용하게된다.

상기 분할단계는 상기 변환단계에서 변환된 후 각 속성별로 분리된 각 픽셀의 데이터값이 입력되는 순서에 따라 분류하여 별도 저장하여 소정갯수의 분할이미지로 생성하게된다. 도3은 변환된 속성중 Y속성(휘도)의 값을 표시한 것이다. 상기와 같은 Y속성의 데이터를 4개의 분할이미지로 분할하는 경우 데이터의 입력주기에 따라 1,5,9...번째 픽셀의 데이터는 첫번째 분할이미지로 저장하게 되며, 2,6,10번째 픽셀의 데이터는 두번째 분할이미지에 할당된다. 상기와 같은 방법으 로 다수개의 분할이미지를 생성한 후 하나의 분할이미지는 기준이미지로 다른 분할이미지들은 서브이미지로 설정하게된다. 이때 첫번째 분할이미지와 두번째 분할이미지가 상관관계가 높으며 두번째와 세번째 세번째와 네번째가 상관관계가 높으므로 첫번째 분할이미지를 기준이미지로 하고 나머지 분할이미지를 서브이미지로 하는것이 바람직하다. 여기서 분할갯수는 제한이 없으나 압축률과 처리시간을 고려하여 4개정도로 하는 것이 바람직하다.

상기와 같은 분할단계를 U와 V속성에 대해서도 동일하게 적용하여 각각의 기준이미지와 분할이미지를 생성하게 된다.

다음으로 차분단계에 대해 설명하기로 한다. 상기 차분단계는 상기 분할단계에서 구해진 각 속성의 상기 기준이미지와 서브이미지의 데이터를 차분하여 공간중복성을 제거하게 된다.

먼저 상기 Y속성에 대한 기준이미지와 첫번째 서브이미지를 차분하여 기준이미지에 대한 첫번째 서브이미지의 차이를 구하게된다. 이때 기준이미지와 첫번째 서브이미지의 데이터가 유사할 수록 0에 가까운 결과값들이 나오게된다. 상기와 같이 기준이미지와 첫번째 서브이미지, 첫번째 서브이미지와 두번째 서브이미지등 차례로 차분하여 차분이미지들을 구하게 된다.

도5는 차분하여 구해진 차분이미지들의 픽셀값을 표시한 것이다. 여기서 세개의 차분이미지는 분할이미지들의 픽셀의 값을 서로 차분한 것으로 두개의 분할이미지간의 차이를 표시하게 된다. 따라서 유사한 두개의 이미지를 차분하여 구한 것이므로 대부분의 차분값이 0 또는 0에 가까운 값을 가지게 된다.

그러나 보다 압축률을 높이기위해 압축전 상기 차분값들을 슬라이싱하는 것도 무방하다.

상기와 같은 차분단계도 역시 U와 V 속성에 대해 동일하게 적용하여 두 속성에 대한 차분이미지도 생성하게된다.

여기서 상기 차분단계는 하나의 원이미지에서 기준이미지와 차분이미지를 구하여 공간중복성을 제거하도록 구성하고 있으나 다수개의 프레임으로 구성되는 동영상의 경우 전후의 프레임간의 시간중복성도 함께 제거하기위해 상기 차분단계를 1차차분단계와 2차차분단계의 두개의 단계로 나누어 처리하도록 구성하는 것도 무방하다. 이때에서 두 단계는 Y,U,V속성에 대해 별도로 수행하여 각각의 차분이미지를 생성하도록 구성된다.

상기 1차차분단계는 공간중복성을 제거하기위해 각 프레임내에서 기준이미지와 서브이미지들을 차분하여 1차차분이미지를 생성하는 단계이다.

다음으로 2차차분단계는 상기 기준이미지와 1차차분이미지들을 시간순서(각 프레임의 순서)에 따라 배열한 후 전 프레임의 기준이미지와 현 프레임의 기준이미지를 차분하고 전프레임이 1차차분이미지와 후프레임의 1차차분이미지를 차분하여 차분이미지들을 생성하게 된다.

여기서 상기 1차차분단계와 2차차분단계에서 각각 슬라이싱을 수행하도록 구성하는 것도 무방하다.

다음으로 압축단계에 대해 설명하기로 한다. 상기 압축단계는 차분단계에서 구해진 데이터를 압축하여 출력하게된다. 상기 압축단계는 각 속성의 기준이미지와 차분이미지들을 함께 배열한 후 VLC알고리즘을 사용하여 압축하게 된다. 여기서 압축하는 알고리즘을 VLC알고리즘으로 한정하는 것은 아니다. 다만 본 발명의 차분이미지는 대부분의 픽셀값이 0으로 대입되어 있어 VLC알고리즘을 적용하는 것이 유리하다. 상기와 같이 압축하게되면 정지된 영상의 압축이 이루어진다.

여기서 다수개의 프레임으로 이루어진 동영상의 경우에는 각 프레임별로 상기 변환단계를 수행한 후 각 프레임내의 각 속성에 따라 분할단계와 차분단계를 수행한 후 속성 압축단계를 수행하여 각 프레임별로 압축한 후 상기 압축된 데이터를 하나로 합쳐 출력하게된다.

그러나 상기와 같이 변환단계와 분할단계와 차분단계만을 반복적으로 수행하여 각 프레임별 기준이미지와 차분이미지를 생성한 후 이를 시간축에 따라 배열한 후 한꺼번에 압축하도록 구성하는 것도 무방하다.

그리고 상기 차분단계에서 2단계에 걸쳐 압축되어 시간적 중복성을 제거한 데이터의 경우에도 상술한 바와 같이 각 프레임별로 압축하도록 구성하거나 모든 프레임에 대해 차분이미지들을 구한 후 한번에 압축하도록 하는 두가지 방법중 어 느 하나를 사용하게 된다.

다음으로 영상 디코딩 방법에 대해 설명하기로 한다. 본 발명의 영상 디코딩 방법은 압축된 영상이 상술한 방법에 의해 공간적 중복성만을 제거한 경우 분리단계와 가산단계와 합성단계를 거쳐 디코딩이 이루어지며 공간적 중복성과 함게 시간적 중복성을 제거한 경우에는 해제단계,1차가산단계,2차가산단계,복구단계를 거쳐 디코딩된다.

먼저 공간적 중복성을 제거하여 압축한 영상의 디코딩 방법에 대해 살펴보기로 한다.

상기 분리단계에 대해 설명하기로 한다. 상기 공간적 중복성 만을 제거한 영상 인코딩 방법에 의해 압축된 영상데이터의 압축을 풀게되면 각 프레임의 속성별 기준이미지와 차분이미지를 획득할 수 있다. 이는 압축시 사용된 압축 알고리즘을 역으로 적용하여 압축을 푼 후 각 프레임의 각 속성별 기준이미지와 차분이미지영역을 분리하여 수행하게 된다.

다음으로 가산단계에 대해 설명하기로 한다. 상기 가산단계는 각 속성별 기준이미지와 차분이미지로부터 서브이미지를 생성하는 단계이다. 먼저 기준이미지와 첫번째 차분이미지로부터 첫번째 서브이미지를 생성하게 된다. 이는 상기 기준이미지에 상기 차분이미지의 픽셀값을 가산하여 구하게 된다. 첫번째 서브이미지와 두번째 차분이미지를 가산하게 되면 두번째 서브이미지가 구해지며 두번째 서브이미지와 세번째 차분이미지를 가산하여 세번째 서브이미지를 생성하게 된다.

상기와 같은 가산단계는 각속성(Y,U,V)에 대해 수행하여 각속성의 서브이미지들을 생성하게 된다.

다음으로 합성단계에 대해 설명하기로 한다. 상기 합성단계는 상기 가산단계에서 구해진 기준이미지와 서브이미지로부터 원 영상을 합성하는 단계이다.

먼저 각 속성별 상기 기준이미지와 서브이미지의 데이터를 순차적으로 뽑아 합성하게 되면 각 속성의 원래 데이터를 구하게된다. 이때 인코딩 단계에서 슬라이싱을 하지 않은 경우 완전히 동일한 영상을 얻을 수 있으나 슬라이싱을 한 경우에는 영상의 손실이 발생하게 된다. 상기와 같이 각 속성의 데이터를 구한 후 이를 취합하면 세개의 속성으로 이루어진 영상을 복구할 수 있다.

다음으로 시간적 중복성을 함께 제거하여 압축한 영상의 디코딩 방법에 대해 살펴보기로 한다.

먼저 해제단계는 압축된 동영상의 압축을 해제하게된다. 본 발명에서는 VLC알고리즘을 사용하여 압축하였으므로 이를 역으로 적용하여 압축 이전의 데이터를 구하게된다. 상기와 같이 압축이전이 데이터를 생성한 후 각 프레임별로 분리하게된다. 각 프레임은 각 속성별로 소정갯수의 차분이미지들로 구성되어 있으므로 다시 각 속성별 차분이미지들을 분리하여 원 이미지의 복구를 준비하게된다.

다음으로 1차가산단계에서는 전 프레임의 기준이미지와 1차차분이미지에 현재 프레임의 차분이미지들을 가산하여 현재 프레임의 기준이미지와 1차차분이미지 를 구하는 단계이다. 여기서 첫번째 프레임은 1차가산단계를 적용할 필요가 없다. 이는 이미 압축해제된 첫번째 프레임은 기준이미지와 1차차분이미지로 구성되어 있기때문이다.

첫 프레임의 차분이미지에 대해 두번째 프레임에서 구해진 차분이미지들을 더하여 두번째 프레임의 기준이미지와 1차차분이미지를 복구하게 되며 두번째 프레임의 기준이미지와 1차차분이미지와 세번째 프레임의 차분이미지들을 가산하여 세번째 프레임의 차분이미지를 복구하게된다. 상기와 같은 단계를 최후의 프레임까지 반복하게되면 모든 프레임의 1차차분이미지를 구할 수 있다.

다음 2차가산단계에서는 상기 1차가산단계에서 구해진 기준이미지와 1차차분이미지로부터 서브이미지를 구하게된다. 먼저 기준이미지와 첫번째 1차차분이미지를 가산하여 첫번째 서브이미지를 구하게되며 순차적으로 두번째 세번째를 구하게된다.

상기 1차가산단계와 2차가산단계는 각 속성(Y,U,V)에 대해 각각 진행하여 각 속성의 기준이미지와 서브이미지를 획득하게된다.

다음으로 복구단계에서는 각 속성별 상기 기준이미지와 서브이미지들의 데이터를 순차적으로 뽑아 속성별 데이터로 복구하게된다. 즉 기준이미지의 첫번째 값의 다음에는 첫번째 서브이미지의 첫번째 값, 두번째 서브이미지의 첫번째 값의 순으로 배열하여 복구가 이루어진다. 이후 상기 속성별 데이터를 합하여 세개의 속성으로 이루어진 완전한 영상으로 복구된다.

이하에서는 첨부된 도면을 참조로 하여 본 발명의 영상 인코딩 및 디코딩방법에 따른 실시예들을 설명하기로 한다.

<제1실시예>

제1실시예에서는 공간적 중복성만을 제거한 후 각 프레임 단위로 압축하여 출력하도록 구성하여 실시간으로 영상을 제공할 수 있도록 구성한 것이다. 즉 실시간으로 프레임단위로 압축하여 출력하고 이를 수신하여 프레임단위로 압축을 해제하여 화면에 표시하도록 하게된다.

먼저 수학식1 내지 3을 사용하여 YUV모델로 변형하게된다. 이때 상기 YUV모델은 속성별로 별도의 저장공간에 저장한 후 각 속성에 대해 다음과 같이 분할단계와 차분단계를 수행하게된다.

도와 같이 입력되는 첫프레임의 원데이터를 도와 같이 네개로 분할하게 된다. 즉 주기를 4로 하여 모든 데이터를 네개의 분할이미지로 분할한 후 분할된 이미지중 첫번째 이미지는 기준이미지가 되며 두번째부터 네번째이미지는 서브이미지로 설정하게 된다. 상기 기준이미지와 서브이미지들을 차례로 차분하여 도와 같은 세개의 차분이미지를 생성하게 된다. 그리고 상기 차분이미지들의 데이터값이 10이하인 픽셀들은 모두 0으로 슬라이싱을 수행하게된다.

이후 각 속성별 기준이미지와 슬라이싱된 차분이미지의 데이터를 순차적으로 배열하고 상기 VLC알고리즘을 사용하여 압축하게되며 압축된 데이터는 인터넷을 통해 외부로 전송된다.

이후 다음 프레임에 대해 상기의 과정을 수행하여 최종프레임까지 차례로 압축하여 프레임단위로 전송이 이루어진다.

상기 압축된 데이터를 수신한 측에서는 상기 압축영상을 풀기위해 다음과 같은 과정을 거치게된다.

각 프레임이 수신되면 압축을 해제하여 각 속성별 기준이미지와 차분이미지들을 분리하게된다. 이후 분리된 기준이미지와 차분이미지를 차례로 가산하여 속성별로 각각 세개의 서브이미지를 생성하게되며 기준이미지와 서브이미지를 순차적으로 조합하여 각 속성에 대한 원데이터를 합성한 후 세개의 속성을 취합하여 프레임을 복구하게되며 이를 화면에 표시하게된다.

다시 다음 프레임을 전송받은 후 반복하여 상기 과정을 수행하게된다.

<제2실시예>

제2실시예에서는 공간적 중복성을 제거한 후 모든 프레임을 한꺼번에 압축하여 전송하고 이를 풀어 동영상을 표시하는 방법에 관한 것이다.

다시 다음 프레임에 대해 분할한 후 차분과 슬라이싱을 수행하여 최종 프레임까지 기준이미지와 차분이미지들을 생성하게된다.

이후 각 프레임내의 각 속성별 상기 기준이미지와 슬라이싱된 차분이미지의 데이터를 순차적으로 배열한 후 다시 각 프레임간의 시간순서에 따라 배열하고 이를 VLC알고리즘을 사용하여 압축하고 압축된 데이터는 저장하게 된다.

먼저 압축을 해제하고 모든 프레임의 각 속성별 기준이미지와 차분이미지들을 분리하게된다. 이후 첫번째 프레임부터 분리된 기준이미지와 차분이미지를 차례로 가산하여 각 속성별로 세개의 서브이미지를 생성하게되며 기준이미지와 서브이미지를 순차적으로 조합하여 각 속성별로 원데이터를 합성하고 이를 취합하여 원이미지를 복구하여 화면에 표시하게된다. 다시 다음 프레임에 대해 가산과 합성을 수행하여 영상을 복구하게된다.

<제3실시예>

제3실시예는 공간적 중복성과 함께 시간적중복성을 제거하여 인코딩하고 이를 디코딩하는 방법에 관한 것이다. 여기서 제3실시예는 제1실시예와 같이 각 프레임별로 압축을 수행하도록 하여 실시간으로 동영상을 제공할 수 있는 방법에 관한 것이며 제4실시예는 제3실시예와 같이 모든 프레임을 한꺼번에 압축한 후 출력하도록 하는 방법에 관한 것이다.

도와 같이 입력되는 첫프레임의 원데이터를 도와 같이 네개로 분할하게 된다. 즉 주기를 4로 하여 모든 데이터를 네개의 분할이미지로 분할한 후 분할된 이미지중 첫번째 이미지는 기준이미지가 되며 두번째부터 네번째이미지는 서브이미지로 설정하게 된다. 그리고 상기 기준이미지와 서브이미지들을 차례로 차분하여 도와 같은 세개의 1차차분이미지를 생성하게 된다. 그리고 상기 1차차분이미지들의 데이터값이 10이하인 픽셀들은 모두 0으로 슬라이싱을 수행하게된다.

이후 각 속성의 기준이미지와 슬라이싱된 차분이미지의 데이터를 순차적으로 배열한 후 VLC알고리즘을 사용하여 압축하고 압축된 데이터는 인터넷을 통해 외부로 전송된다.

다음프레임부터는 YUV로 변환된 후 네개로 분할된 이미지로부터 기준이미지와 1차차분이미지를 생성한 후 슬라이싱이 수행되고 직전 프레임의 기준이미지와 1차차분이미지에서 현재 프레임의 기준이미지와 1차차분이미지를 차분하여 차분이미 지를 생성하게 된다. 이때 상기 차분이미지도 역시 슬라이싱을 수행하게된다. 슬라이싱이 수행된 상기 차분이미지들은 차례로 배열된 후 압축하여 전송하게된다.

각 프레임이 수신되면 압축을 해제하여 각 속성별 차분이미지들을 분리하게된다.

이후 각속성별로 다음과정을 수행하여 서브이미지를 생성하게 된다. 먼저 분리된 차분이미지를 이전프레임의 기준이미지와 1차차분이미지에 가산하여 세개의 1차차분이미지를 생성하게 되며 기준이미지와 생성된 1차차분이미지를 차례로 가산하여 서브이미지를 생성하게된다.

상기와 같이 각 속성별로 서브이미지가 생성되면 각 속성의 기준이미지와 서브이미지를 순차적으로 조합하여 각 속성별 원데이터를 복구하고 세속성의 원데이터를 취합하여 하나의 프레임을 합성하고 이를 화면에 표시하게된다. 다시 다음 프레임을 전송받은 후 반복하여 상기 과정을 수행하게된다. 이때 첫번째 프레임은 압축해제된 이미지가 기준이미지와 1차차분이미지이므로 바로 서브이미지를 구한 후 출력하도록 구성된다.

<제4실시예>

제4실시예에서는 공간적 중복성과 시간적 중복성을 제거한 후 모든 프레임을 한꺼번에 압축하여 전송하고 이를 풀어 동영상을 표시하는 방법에 관한 것이다.

먼저 수학식1 내지 3을 사용하여 YUV모델로 변형하게된다. 이때 상기 YUV모델은 속성별로 별도의 저장공간에 저장한 후 각 속성에 대해 다음과 같이 분할단계와 1차차분단계, 2차차분단계를 수행하게된다.

도와 같이 입력되는 첫프레임의 원데이터를 도와 같이 네개로 분할하게 된다. 즉 주기를 4로 하여 모든 데이터를 네개의 분할이미지로 분할한 후 분할된 이미지중 첫번째 이미지는 기준이미지가 되며 두번째부터 네번째이미지는 서브이미지로 설정하게 된다. 상기 기준이미지와 서브이미지들을 차례로 차분하여 도와 같은 세개의 1차차분이미지를 생성하게 된다. 그리고 상기 차분이미지들의 데이터값이 10이하인 픽셀들은 모두 0으로 슬라이싱을 수행하게된다.

다시 다음 프레임에 대해 분할한 후 차분과 슬라이싱을 수행하여 기준이미지와 1차차분이미지를 생성하고 이를 이전 프레임의 기준이미지와 1차차분이미지로부터 차분한 후 슬라이싱하여 현재 프레임에 대한 네개의 차분이미지를 생성하게된다.

이후 각 프레임내의 각 속성별 차분이미지의 데이터를 모두 순차적으로 배열한 후 다시 각 프레임간의 시간순서에 따라 배열하고 이를 VLC알고리즘을 사용하여 압축하고 압축된 데이터는 저장하게 된다.

먼저 압축을 해제하고 모든 프레임의 각 속성별 차분이미지들을 분리하게된다. 이때 첫번째 프레임의 차분이미지는 기준이미지와 1차차분이미지이므로 이를 가산하여 서브이미지를 생성하고 상기 기준이미지와 상기 서브이미지를 순차적으로 조합하여 프레임의 원이미지를 복구하게 된다.

그 다음 프레임부터는 차분이미지들을 이전 프레임의 기준이미지와 1차차분이미지에대해 가산하여 현재 프레임의 기준이미지와 1차차분이미지를 생성하게 되며 상기 기준이미지와 1차차분이미지를 가산하여 세개의 서브이미지를 생성하게되며 기준이미지와 서브이미지를 순차적으로 조합하여 하나의 프레임을 합성하여 현재 프레임을 복구하게된다.

여기서 상기 서브이미지의 생성은 각 속성별로 별도로 이루어지며 각 속성별로 서브이미지가 생성되면 이를 이용하여 각 속성의 원데이터를 복구하고 이를 취합하여 세개의 속성을 모두 포함하는 원 이미지를 복구하게 된다.

상술한 바와 같이 본 발명은 원영상 이미지를 먼저 YUV등의 모델로 변환하여 데이터의 양을 줄인 후 다시 각 속성별로 별도로 차분처리한 후 압력하게되어 보다 높은 압축률을 얻을 수 있다는 효과가 있다.

Claims

픽셀의 값이 RGB모델로 이루어진 원 이미지데이터를 변환하여 세개의 속성으로 이루어진 YIQ 또는 YUV모델로 변환하는 변환단계와;

변환단계에서 변환된 이미지의 각 속성에 대해 데이터의 입력 순서별로 분리하고 이를 별도로 저장하여 적어도 둘이상의 분할이미지를 생성하게되며, 분할이미지중 하나는 기준이미지로, 나머지 분할이미지는 서브이미지를 설정하여 각 속성에따른 기준이미지들과 다수개의 서브이미지를 구하게되는 분할단계와;

각 속성별로 상기 분할단계에서 설정된 기준이미지와 서브이미지들을 순차적으로 차분하여 각 속성별 차분이미지들을 생성하는 차분단계와;

상기 차분단계에서 각 속성별로 차분된 이미지들을 배열하여 압축하고 압축된 영상데이터를 출력하게되는 압축단계;로 구성되는 것을 특징으로 하는 영상 인코딩 방법.
제1항에 있어서,

다수개의 프레임으로 이루어진 동영상의 압축시 변환단계와 분할단계와 차분단계와 압축단계로 이루어진 영상 인코딩 방법을 최초의 프레임부터 최후 프레임까지 반복하게 되는 것을 특징으로 하는 영상 인코딩 방법.
제1항에 있어서,

다수개의 프레임으로 이루어진 동영상의 압축시 변환단계와 분할단계와 차분단계를 최초의 프레임부터 최후 프레임까지 반복하여 각 프레임의 속성별 기준이미지와 차분이미지를 획득한 후 한 프레임내의 모든 기준이미지와 차분이미지를 속성별로 배열하고 다시 시간축에 따라 프레임들을 모두 배열한 후 압축단계를 수행하도록 구성되는 것을 특징으로 하는 영상 인코딩 방법.
제1항에 있어서 상기 차분단계는,

상기 분할단계에서 설정된 현재 프레임의 각 속성별로 기준이미지와 서브이미지들을 순차적으로 차분하여 현재 프레임의 1차차분이미지들을 생성하는 1차차분단계와;

상기 1차차분단계에서 구해진 현재 프레임의 각 속성별 기준이미지와 1차차분이미지들을 이전 프레임의 각 속성별 기준이미지와 1차차분이미지에서 차분하여 차분이미지를 생성하게되는 2차차분단계;로 구성되는 것을 특징으로 하는 영상 인코딩 방법.
제1항내지 제4항중 어느 하나의 항에 있어서 상기 차분단계는,

차분된 차분이미지의 픽셀값중 절대값이 소정값 이하인 픽셀값을 0으로 대입하게되는 것을 특징으로 하는 영상 인코딩 방법.
제1항에 있어서 압축단계는,

VLC알고리즘을 사용하게 되는 것을 특징으로 하는 영상 인코딩 방법.
제1항 내지 제3항중 어느 하나의 항의 영상 인코딩 방법에 의해 압축된 영상데이터의 압축을 해제하여 각 프레임의 각 속성별 기준이미지와 차분이미지를 분리하는 분리단계와;

분리단계에서 분리된 상기 기준이미지와 차분이미지들로부터 각 속성별로 기준이미지와 차분이미지들을 가산하여 각 프레임의 각 속성별 서브이미지들을 생성하게 되는 가산단계와;

상기 가산단계에서 생성된 각 프레임의 각 속성별 기준이미지와 서브이미지들로부터 각 프레임의 각 속성별 이미지를 구하고 상기 속성별 이미지를 다시 합성하여 원래의 이미지로 합성하게 되는 합성단계;를 포함하여 구성되는 것을 특징으로 하는 영상 디코딩 방법.
제4항의 영상 인코딩 방법에 의해 압축된 영상데이터에서 각 프레임에 대해 각 속성별로 차분이미지를 복구하는 해제단계와;

상기 해제단계에서 복구된 현 프레임의 각 속성별 차분이미지와 전 프레임의 각 속성별 기준이미지 및 1차차분이미지를 더하여 현 프레임의 각 속성별 기준이미지와 1차차분이미지를 생성하는 1차가산단계와;

1차가산단계에서 생성된 각 속성별 상기 기준이미지와 1차차분이미지들의 값을 더하여 각 프레임의 속성별 서브이미지들을 생성하게 되는 2차가산단계와;

상기 2차가산단계에서 생성된 각 프레임의 속성별 기준이미지와 서브이미지들로부터 각 프레임의 속성별 이미지를 생성하고 이를 다시 합성하여 영상을 합성하게 되는 복구단계;를 포함하여 구성되는 것을 특징으로 하는 영상 디코딩 방법.