KR100959595B1 - 동영상 코딩 방법을 사용한 순차적 정지영상의 코딩 방법 - Google Patents

Abstract

본 발명은 동영상 코딩 방식을 사용하여 정지 영상을 순차적으로 코딩하는 방법에 관한 것으로서, 본 발명은 정지 영상인 원본 영상을 가지고서, 최저 데이터량을 갖는 최저 데이터량 영상부터 최대 데이터량을 갖는 최대 데이터량 영상에 이르기까지 단계별 영상을 생성하는 제1과정과, 상기 최저 데이터량 영상을 초반에 배치시키고 단계적으로 데이터량 많은 순서대로 프레임 배치한 영상에 대하여, 동영상 코딩 방식을 적용하여 코딩하는 제2과정을 포함한다.

정지 영상, 동영상, 코딩, 이동통신, LPF, 필터링, 데이터량

Description

동영상 코딩 방법을 사용한 순차적 정지영상의 코딩 방법{Method for coding a still picture progressively using motion picture encoding scheme}

본 발명은 동영상 코딩 방식을 사용하여 정지 영상을 순차적으로 코딩하는 방법에 관한 것이다.

최근들어 이동통신망을 이용하여 이동통신단말기간에 다양한 멀티미디어 정보를 교환한다.

이동통신망을 통해 동영상 전송이 이루어질 때, 동영상의 용량이 크기 때문에 동영상 데이터를 압축하여 전송하고, 수신 단말기는 이를 다시 복호화하여 재생한다. 이를 위해, MPEG1(Moving PictureExperts Group 1), MPEG2, MPEG4, H.261, H.263, H.264 등과 같은 다양한 코딩 방식이 동영상 압축을 위해 사용되고 있다.

이러한 동영상의 압축 전송에도 불구하고, 이동통신망 환경으로 인하여 동영상 한 프레임당 전송할 수 있는 정보량은 제한되어 있기 때문에, 프레임 당 많은 양의 데이터를 실어 전송할 수 없다.

일반적인 코딩 방식에 의해 제작되는 동영상은 초반 프레임에 너무 많은 정보량을 전송하게 되어 있어, 경우에 따라서는 이동통신단말기에서 영상에 대한 정 보를 아예 받지 못해 동영상을 올바르게 재생할 수 없는 경우가 발생한다.

예컨대, MPEG 코딩 방식의 경우 키프레임인 I프레임(Infra Frame)이 초반 프레임으로 사용되는데, 이러한 I프레임의 경우 화질이 좋은 반면에 용량이 가장 크기 때문에, 열악한 이동통신망의 환경 이유로 용량 큰 I프레임을 초반에 올바르게 전송하지 못하는 경우가 발생되면, 그 후의 P프레임, B프레임도 영향을 받게 되어 동영상을 올바르게 재생할 수 없다.

한편, 애플리케이션에 따라서는 정지 영상(정지 이미지)을 배경 음악 등과 함께 동영상으로 제작하여 전송해야 하는 경우가 있다. 일반적으로 이와 같은 동영상은 최초 I 프레임의 크기가 커서, 이동통신단말기에서 영상에 대한 정보를 아예 받지 못해 동영상을 올바르게 재생할 수 없는 경우가 발생할 수 있다.

본 발명은 정지 영상으로 동영상을 제작하는 방식을 달리하여, 프레임 정보를 전송할 때의 정보량이 작게 유지되면서 최종적인 정지 영상은 뚜렷이 재생할 수 있도록 한다.

본 발명은 정지 영상인 원본 영상을 가지고서, 최저 데이터량을 갖는 최저 데이터량 영상부터 최대 데이터량을 갖는 최대 데이터량 영상에 이르기까지 단계별 영상을 생성하는 제1과정과, 상기 최저 데이터량 영상을 초반에 배치시키고 단계적으로 데이터량 많은 순서대로 프레임 배치한 영상에 대하여, 동영상 코딩 방식을 적용하여 코딩하는 제2과정을 포함한다.

상기 제1과정은, LPF(Low Pass Filter) 마스크를 통해 상기 원본 영상을 다수회 필터링하여, 가장 많이 필터링한 최저 데이터량 영상부터 가장 적게 필터링한 최대 데이터량 영상을 차례로 생성하는 정지 영상의 동영상 코딩 방식을 이용한다.

상기 제1과정은, 정지 영상을 다수개로 분할하여 어느 일부분에 데이터값을 두지 않음으로서 데이터량이 차이나도록 하는 단계별 영상을 차례로 생성하는 정지 영상의 동영상 코딩 방식을 이용한다.

상기 제2과정은, 상기 최저 데이터량 영상을 초반 프레임에 배치시키는 제2-1과정과, 다음 단계의 데이터량 많은 영상부터 상기 최대 데이터량 영상에 이르기까지차례로 프레임에 배치시키는 제2-2과정과, 상기 최대 데이터량 영상이 배치된 이후에 원본 영상을 배치시키는 제2-3과정을 포함한다.

상기 제2-1과정에서, 상기 최저 데이터량 영상을 다수개의 초반 프레임에 배치시키며, 동영상 코딩 방식을 적용하여 코딩할 때 초반의 다수의 프레임을 I프레임으로 강제 할당하여 코딩한다.

상기 제2-3과정에서, 최대 데이터량 영상이 배치된 프레임과 원본 영상이 배치된 프레임 사이에 상기 최대 데이터량 영상의 프레임을 다수개 배치시킨다.

상기 제2과정은 배경음악 또는 안내음성을 포함하여 동영상 코딩함을 특징으로 한다.

본 발명은 정지 영상에 대해 단계별 영상을 생성한 후 최저 데이터량 영상부터 최대 데이터량 영상에 이르는 순서대로 배치하여, 초반 프레임의 데이터 전송량을 줄일 수 있는 효과가 있다. 따라서 열악한 이동통신망 환경에서도 뚜렷한 정지 영상 동영상을 전송하여 재생할 수 있는 효과가 있다.

이하, 본 발명의 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구 성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.

도 1은 본 발명의 실시 예에 따라 정지 영상의 동영상 코딩 방식을 이용한 코딩 과정을 도시한 플로차트이다.

정지 영상을 순차적(progressive)으로 코딩함에 있어, 우선, JPEG와 같은 정지 영상인 원본 영상을 데이터량이 제일 작은 영상부터 데이터량이 제일 큰 영상에 이르기까지 단계적으로 생성하여, 단계별 영상을 생성하는 과정(S11)을 가진다.

이하에서, 영상이라 함은 정지 영상(정지 이미지)을 의미한다.

하나의 영상을 가지고서 데이터량 제일 작은 영상(이하, '최저 데이터량 영상'이라 부르기로 함)부터 데이터량 제일 큰 영상(이하, '최대 데이터량 영상'이라 부르기로 함)을 단계적으로 생성하는 단계별 영상 생성(S11) 방식은 다양한 방식이 있을 수 있는데, 예컨대, 영상을 LPF 필터링한 단계별 영상 생성 방식, 영상을 다수개로 분할한 단계별 영상 생성 방식 등 다양한 방식이 있을 수 있다.

이하에서는, LPF 필터링을 통한 단계별 영상 생성 방식에 대하여 설명하고 난 후, 정지 영상을 다수개로 분할한 단계별 영상 생성 방식에 대하여 설명하기로 한다.

우선, LPF 필터링을 통해 데이터량이 단계별로 차이나도록 단계별 영상을 생성하는 과정(S11)을 살펴 보면, 단계별 영상 생성은 LPF 마스크(Low Pass Filter)에 원본 영상을 필터링시켜 이루어질 수 있다.

LPF 마스크에 의해 필터링되면 로우 패스 필터링으로 인하여 입력 전의 영상 보다 데이터량 작은 저화질을 가지게 되기 때문에, 영상을 LPF 마스크에 여러번 필터링 시킬수록 데이터량이 작아지는 저화질의 영상이 생성된다.

따라서, LPF(Low Pass Filter) 마스크를 통해 상기 원본 영상을 다수회 필터링함으로써, 가장 적게 필터링하여 최고화질을 갖는 최대 데이터량 영상부터 가장 많이 필터링하여 최저화질을 갖는 최소 데이터량 영상에 이르기까지 차례로 단계별 영상을 생성한다.

상기 원본 영상을 다수회 필터링하는 것은 다양한 방식이 있을 수 있는데, 예컨대, 한번 필터링, 세번 필터링, 다섯번 필터링하여 가장 적게 필터링한 최고화질의 최대 데이터량 영상부터 가장 많이 필터링한 최저화질의 최저 데이터량 영상을 단계별로 생성할 수 있다.

또는, LPF 필터링의 다른 실시 예로서, 차례로 연속하여 필터링하여 단계별 영상을 생성할 수 있는데, 예컨대, 원본 영상을 한번부터 N번까지 차례로 필터링하게 되면, 최대 데이터랑을 갖는 최고화질의 제1필터링 영상부터 최저 데이터량을 갖는 최저화질의 제N필터링 영상까지 차례로 생성할 수 있다.

상기 LPF 마스크는 공지된 다양한 LPF 마스크가 사용될 수 있는데, LPF 마스크의 일 예를 도 2에 도시하였다.

LPF 마스크는 가중치(W;weight)에 따라 필터링 효과를 달리하는데, 가중치가 클수록 LPF 효과가 적어진다. 따라서 이러한 가중치는 코딩 설계 시에 달리 결정될 수 있다.

도 3은 원본 영상을 LPF 마스크에 한번부터 여섯번에 걸쳐 차례로 필터링시 켜 각각 생성된 단계별 영상을 도시한 그림이다. 즉, N번의 필터링 횟수가 여섯번으로 설정되었을 때 생성되는 단계별 영상에 대한 그림이다.

원본 영상이 LPF 필터링되지 않으면 원본 영상 그대로 남게 된다.

원본 영상이 LPF 마스크를 통해 한번 필터링 되면, 도 3에 도시한 바와 같이 원본 영상보다 데이터량이 적게 되는 제1필터링 영상이 생성된다.

또한, 원본 영상이 LPF 마스크를 통해 두번 필터링되면, 상기 제1필터링 영상보다 저화질로 되는, 즉, 데이터량이 더 작아지는 영상(제2필터링 영상)이 생성된다.

마찬가지로, 원본 영상이 세번, 네번, 다섯번, 여섯번 필터링되어 단계적으로 저화질로 되는 제3,제4,제5,제6필터링 영상이 생성된다.

결국, 원본 영상이 LPF 마스크를 통해 필터링되어, 필터링 횟수에 따라 단계적으로 저화질로 되는 단계별 영상이 생성될 수 있다. LPF 필터링이 가장 많이 이루어진 제6필터링 영상이 최저화질을 갖는 최저 데이터량 영상이 될 것이다.

한편, 단계별 영상 생성(S11) 방식은 상기와 같이 PF 필터링을 통한 단계별 영상 생성 방식 이외에도, 다른 실시 예로서, 영상을 다수개로 분할하여 데이터량이 차이나도록 단계별 영상을 생성할 수도 있다.

영상을 다수개로 분할하여 데이터량이 단계별로 차이나도록 단계별 영상을 생성하는 과정(S11)을 살펴 보면, 단계별 영상 생성은 정지 영상을 다수개로 분할한 후 어느 일부분에 데이터값을 두지 않음으로서 데이터량이 차이나는 단계별 영 상을 생성할 수 있다.

예를 들어, 도 4와 같이 원본 영상을 4등분으로 분할할 경우, 분할 단계별 영상 생성 모듈은 제1분할 영상의 경우는 1사분면의 영상에 원본 데이터값을 넣지 않고 나머지 2,3,4분면의 영상은 원본 데이터값 그대로 둠으로서, 원본 영상보다 데이터량이 적은 영상을 생성할 수 있다. 1사분면의 영상에 원본 데이터값이 들어가지 않고 아무런 데이터값을 가지지 않게 되면, 데이터량없는 흑색 휘도를 갖게된다.

마찬가지로, 제2,제3,분할 영상은 추가적으로 영상의 일부분에 원본 데이터값을 넣지 않음으로써 데이터량이 단계적으로 적어지는 영상을 생성할 수 있다.

결국, 도 4와 같은 과정을 거침으로써 최저 데이터량을 갖는 영상부터 최대 데이터량 영상에 이르기까지 단계별 영상을 생성할 수 있다.

상기와 같이 단계별 영상을 생성한 후에, 상기 생성한 단계별 영상을 가지고서 최저 데이터량 영상부터 최대 데이터량 영상 순서로서 프레임 배치하고, 이들 프레임 배치한 영상에 대하여 동영상 코딩 방식을 적용하여 코딩한다.

기존의 동영상 코딩 방식의 경우 키프레임인 용량 큰 I프레임을 초반 프레임에 배치시키기 때문에, 이동통신망을 통한 동영상 전송이 올바르게 이루어지지 않을 수 있었다.

그러나 본 발명에서는 최저 데이터량 영상을 초반 프레임에 배치시키고 단계적으로 데이터량이 큰 영상을 배치시켜 나감으로써, 열악한 이동통신망 환경에서도 뚜렷한 정지 영상 동영상을 전송할 수 있다.

초반에 최저 데이터량 영상을 배치시키고 차례로 데이터량 많은 순서대로 프레임 배치하는 것은 코딩 설계에 의해 미리 약정된 위치에 배치시킨다.

이하에서는, LPF 필터링을 거쳐 생성된 단계별 영상을 가지고서 배치하는 예시를 설명하겠으나, 분할에 의해 생성된 단계별 영상을 가지고서 배치하는 것도 동일한 방식이 적용될 수 있음은 자명할 것이다.

LPF 필터링을 거쳐 생성된 단계별 영상의 배치 예시를 살펴보면, 단계별 영상 중에서 최저화질을 갖는 제6필터링 영상인 최저 데이터량 영상을 초반 프레임에 배치(S12)시킨다. 이는 이동통신망을 통한 데이터 전송 시에 데이터량이 제일 작은 최저화질 영상인 최저 데이터량 영상을 초반에 배치시킴으로써, 데이터 전송이 실패되지 않도록 하기 위함이다.

LPF 마스크를 통한 필터링 횟수(N)가 최고 여섯번 이루어졌다고 가정할 때, 제1,제2,제3,제4,제5,제6필터링 영상으로 되는 단계별 영상이 생성되는데, 이들 단계별 영상의 프레임 배치 예를 도 5에 도시하였다.

초반 세개의 프레임에 최저 데이터량 영상인 제6필터링 영상이 배치되어, 초반 데이터 전송량이 작아지도록 하였다.

상기와 같이 최저 데이터량 영상을 초반 세개의 프레임에 배치시킬 수도 있지만, 이는 하나의 실시 예로서, 이동통신망 환경이 더 열악할 시에는 초반에 세개보다 더많은 프레임들에 최저 데이터량 영상을 배치시킬 수 있다. 반대로, 이동통 신망 환경이 좋을 경우에는 초반 한개에만 최저 데이터량 영상을 배치시킬수도 있을 것이다.

한편, 동영상 코딩 방식의 경우, 키프레임으로 I프레임을 초반에 배치시키는데, 본 발명에서도 최저 데이터량 영상을 I프레임으로 강제 할당하여 코딩 구현할 수 있다. 도 5를 참조하면 초반에 3개의 I프레임을 강제로 할당하고, 이들 I프레임에 최저 데이터량 영상인 제6필터링 영상이 배치되어 있음을 알 수 있다.

I프레임으로서 최저 데이터량 영상이 배치되기 때문에 초반 데이터 전송량이 작아지는 효과를 가질 수 있다.

최저 데이터량 영상이 배치된 후에는 다음 단계의 데이터량 많은 영상부터 최대 데이터량 영상에 이르기까지 순차적으로 필터링 영상을 배치(S13)한다.

도 5를 참조하면, 초반 세개의 프레임에 최저 데이터량 영상인 제6필터링 영상이 배치된후, 다음 단계의 데이터량 많은 순서대로 제5필터링 영상, 제4필터링 영상, 제3필터링 영상, 제2필터링 영상, 제1필터링 영상이 차례로 배치됨을 알 수 있다.

그 후, 원본 영상이 마지막으로 배치(S14)되어, 최종적으로 뚜렷한 영상 데이터가 전송되도록 한다.

한편, 최대 데이터량 영상인 제1필터링 영상에 바로 이어서 원본 영상을 배치시킬수도 있지만, 이동통신망 시스템 환경을 고려하여 최대 데이터량 영상인 제1필터링 영상과 원본 영상 사이에 다수의 제1필터링 영상을 중복하여 프레임 배치할수도 있다.

한편, 상술한 방법으로 영상을 코딩할 때 배경 음악이나 안내 음성을 같이 코딩하도록 할 수 있다. 이와 같이 하면, 정지 영상이 데이터량 최저인 최저화질 화면에서 데이터량 최대인 최고 화질 화면으로 점차적으로 또렷해지는 동안 배경음악 또는 안내 음성이 나오도록 할 수 있다.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.

도 1은 본 발명의 실시 예에 따라 정지 영상의 동영상 코딩 방식을 이용한 코딩 과정을 도시한 플로차트이다.

도 2는 본 발명의 실시 예에 따른 LPF 마스크의 예시를 도시한 그림이다.

도 3은 본 발명의 실시 예에 따라 원본 영상을 LPF 마스크에 한번부터 여섯번에 걸쳐 차례로 필터링시켜 각각 생성된 단계별 영상을 도시한 그림이다.

도 4는 본 발명의 실시 예에 따라 원본 영상을 분할하여 생성된 단계별 영상을 도시한 그림이다.

도 5는 본 발명의 실시 예에 따른 단계별 영상의 프레임 배치 모습을 도시한 그림이다.

Claims (9)

1. 정지 영상인 원본 영상을 가지고서, 최저 데이터량을 갖는 최저 데이터량 영상부터 최대 데이터량을 갖는 최대 데이터량 영상에 이르기까지 단계별 영상을 생성하는 제1과정;

   상기 최저 데이터량 영상을 초반에 배치시키고 단계적으로 데이터량 많은 순서대로 프레임 배치한 영상에 대하여, 동영상 코딩 방식을 적용하여 코딩하는 제2과정

   을 포함하는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
2. 제1항에 있어서, 상기 제1과정은, LPF(Low Pass Filter) 마스크를 통해 상기 원본 영상을 다수회 필터링하여, 가장 많이 필터링한 최저 데이터량 영상부터 가장 적게 필터링한 최대 데이터량 영상을 차례로 생성하는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
3. 제2항에 있어서, 상기 LPF 마스크는, w를 가중치(weight)라 할 때,

   

   임을 특징으로 하는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
4. 제1항에 있어서, 상기 제1과정은, 정지 영상을 다수개로 분할하여 어느 일부분에 데이터값을 두지 않음으로서 데이터량이 차이나도록 하는 단계별 영상을 차례로 생성하는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
5. 제1항에 있어서, 상기 제2과정은,

   상기 최저 데이터량 영상을 초반 프레임에 배치시키는 제2-1과정;

   다음 단계의 데이터량 많은 영상부터 상기 최대 데이터량 영상에 이르기까지차례로 프레임에 배치시키는 제2-2과정;

   상기 최대 데이터량 영상이 배치된 이후에 원본 영상을 배치시키는 제2-3과정

   을 포함하는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
6. 제5항에 있어서, 상기 제2-1과정에서, 상기 최저 데이터량 영상을 다수개의 초반 프레임에 배치시키는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
7. 제5항에 있어서, 동영상 코딩 방식을 적용하여 코딩할 때 초반의 다수의 프레임을 I프레임으로 강제 할당하여 코딩하는 것을 특징으로 하는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
8. 제5항에 있어서, 상기 제2-3과정에서, 최대 데이터량 영상이 배치된 프레임과 원본 영상이 배치된 프레임 사이에 상기 최대 데이터량 영상의 프레임을 다수개 배치시키는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.
9. 제1항에 있어서, 상기 제2과정은 배경음악 또는 안내음성을 포함하여 동영상 코딩함을 특징으로 하는 정지 영상의 동영상 코딩 방식을 이용한 코딩 방법.

Images