KR19980025576A - 동영상의 내용기반 부호화시 영상객체의 움직임 특성을 이용한 데이타 압축장치 및 데이타 감축방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

동영상의 내용기반 영상객체 압축장치 및 데이타 감축방법.

2. 발명이 해결하려고 하는 기술적 과제

각 영상객체의 시퀀스를 부호화하기 전에 각 영상객체의 움직임 크기를 측정하여 움직임이 없을 동안의 영상객체의 시퀀스를 제거함으로써 영상소스 데이타량을 감축하고자 함.

3. 발명의 해결방법의 요지

이전 프레임과 현재 프레임 사이의 영상객체 움직임이 미리 정한 임의의 임계치보다 작고, 영상객체가 제거되지 않은 최신 프레임과 현재 프레임 사이의 영상객체 움직임도 임계치보다 작으면 현재 프레임의 영상객체를 제거한 후, 현재순번을 증가하고, 모두 작지 않으면 영상객체가 제거되지 않은 프레임의 순번을 현재프레임 순번으로 바꾸고, 현재 프레임 순번을 증가시키는 단계를 포함하여 이루어짐.

4. 발명의 중요한 용도

데이타 압축장치에 이용됨.

Description

동영상의 내용기반 부호화시 영상객체의 움직임 특성을 이용한 데이타 압축장치 및 데이타 감축방법

본 발명은 동영상의 내용기반 부호화시 영상객체의 움직임 특성을 이용한 데이타 압축장치 및 데이타 감축방법에 관한 것으로서, 특히 내용기반 부호화시, 장면으로 부터 영상객체들을 추출한 후, 각 영상객체의 시퀀스(sequence)를 부호화하기 전에 각 영상객체의 움직임 크기를 측정하여 움직임이 없을 동안의 영상객체의 시퀀스를 제거함으로써 영상소스 데이타량을 감축하는 방법 및 압축장치에 관한 것이다.

도 1 은 종래의 동영상 압축장치의 구성도로서, 도면과 같이 동영상 압축방법이 영상화면 전체 즉, 필드 및 프레임을 기본단위로 하여 이루어 졌다. 따라서, 압축전에 동영상 데이타량을 줄여야 할 필요가 있을 때, 예를 들어 사용하고자 하는 압축방법이 목표 압축율을 만족하지 못할 때에는 화면의 크기를 줄이거나, 화면의 프레임율을 낮추어야 했다. 그러므로 복호화된 동영상이 본래의 화면 크기보다 작거나, 낮은 프레임율로 인해 화면이 불연속적으로 출력되는 문제점들이 나타났다.

상기와 같은 종래 기술의 문제점을 해결하기 위해 현재에는 도 2 와 같은 내용기반 동영상 부호화 방법에 대한 연구가 진행되고 있다.

이는, 장면을 내용, 즉 배경, 사람, 책상 등에 따라 객체단위로 분할하여 부호화하는 방법이다. 복호화시에는 우선 각 객체를 복호화한 다음, 객체들의 장면 구성정보, 즉 위치정보와 시간정보(장면에 나타나는 시간)에 따라 객체별로 비디오 프레임에 객체의 장면 변화를 갱신(update)하여 화면을 출력하는 방법이다. 이 방법은 종래의 방법보다 높은 압축율을 얻을 뿐만아니라, 객체별로 그 속성(예: 색, 명도, 등)의 변경 및 객체의 삭제, 편집등 화면의 구성을 사용자가 상호작용(interactive)으로 다룰 수 있게 하는 장점들을 가지고 있다.

그러나, 현재에는 다양한 영상 데이타를 보다 빠른 속도로 가입자에게 전송하는 것이 요구되고 있으며, 이를 위해서는 전송할 데이타의 양을 줄여 부호화하는 것이 요구되고 있다.

따라서, 본 발명은 내용기반 부호화시, 장면으로 부터 영상객체들을 추출한 후, 각 영상객체의 시퀀스(예: 1번째 화면의 책상, 2번째 화면의 책상, ..., n번째 화면의 책상, ...)를 부호화하기 전에 각 영상객체의 움직임 크기를 측정하여 움직임이 없을 동안의 영상객체의 시퀀스를 제거함으로써 영상소스 데이타량을 줄여 내용기반 부호화전에 영상소스 데이타를 감축하는 압축장치 및 데이타 감축방법을 제공하는데 그 목적이 있다.

도 1 은 종래의 동영상 압축장치의 구성도,

도 2 는 내용기반으로 분할된 객체 압축장치의 구성도,

도 3 은 본 발명에 따른 내용기반으로 분할된 객체 압축장치의 구성도,

도 4 는 본 발명에 따른 데이타 감축방법의 흐름도.

* 도면의 주요부분에 대한 부호의 설명 *

1 : 내용기반 객체 분할부

2 : 소스 데이타 감축부

3 : 부호화부

4 : 복호화부

5 : 화면 구성 및 출력부

상기 목적을 달성하기 위한 본 발명은, 영상 프레임 시퀀스를 배경, 사람, 책상 등에 따라 객체단위로 분할하는 내용기반 객체 분할수단과 감축된 영상 시퀀스를 각 객체단위로 부호화하는 다수개의 부호화수단과 전송망을 통해 상기 다수개의 부호화수단으로부터 전송된 각 객체 영상을 복호화하는 다수개의 복호화수단 및 상기 다수개의 복호화수단으로부터 각 객체의 영상 시퀀스를 입력받아 객체들의 장면 구성정보, 즉 위치정보, 시간정보에 따라 객체별로 비디오 프레임에 객체의 장면 변화를 갱신(update)하여 화면을 출력하는 화면구성 및 출력수단을 구비한 압축장치에 있어서, 상기 내용기반 객체 분할수단으로부터 각 객체단위로 영상을 입력받아 각 영상객체의 움직임 크기를 측정하여 움직임이 없을 동안의 영상객체 시퀀스를 제거한 후, 상기 다수개의 부호화수단으로 감축된 영상 시퀀스를 각각 출력하는 다수개의 소스 데이타 감축수단을 더 포함하여 이루어진 것을 특징으로 한다.

또한, 동영상의 내용기반 부호화시 영상객체의 움직임 특성을 이용한 데이타 압축장치에 적용되는 데이타 감축방법에 있어서, 영상프레임의 현재순번과 영상객체가 제거되지 않은 영상프레임의 최신 순번을 임의의 값으로 초기화하는 제1 단계; 이전 프레임과 현재 프레임 사이의 영상객체 움직임이 미리 정한 임의의 임계치보다 작고, 영상객체가 제거되지 않은 최신 프레임과 현재 프레임 사이의 영상객체 움직임도 임계치보다 작은지를 비교하는 제2 단계; 비교결과, 모두 작으면 현재 프레임의 영상객체를 제거한 후, 현재순번을 증가하고, 모두 작지 않으면 영상객체가 제거되지 않은 프레임의 순번을 현재프레임 순번으로 바꾸고, 현재 프레임 순번을 증가시키는 제3 단계; 및 현재 영상프레임의 순번이 시퀀스의 마지막이면 종료하고, 그렇지 않으면 다시 영상객체의 움직임이 임계치보다 작은지를 비교하는 상기 제2 단계 이하를 반복하는 제4 단계를 포함하여 이루어진 것을 특징으로 한다.

이하, 첨부된 도 3 및 4를 참조하여 본 발명의 일실시예를 상세히 설명하도록 한다.

도 3 은 본 발명에 따른 내용기반으로 분할된 객체 압축장치의 구성도로서, 도면에서 1은 내용기반 객체분할부, 2는 소스데이타 감축부, 3은 부호화부, 4는 복호화부, 5는 화면구성 및 출력부를 각각 나타낸다.

내용기반 객체 분할부(1)는 영상 프레임 시퀀스를 배경, 사람, 책상 등에 따라 객체단위로 분할하여 각 객체단위로 분할된 영상을 각각의 소스 데이타 감축부(2)로 출력한다.

각각의 소스 데이타 감축부(2)는 각 객체단위로 입력된 영상으로부터 각 영상객체의 움직임 크기를 측정하여 움직임이 없을 동안의 영상객체 시퀀스를 제거하여 다수개의 부호화부(3)로 감축된 영상 시퀀스를 각각 출력한다.

부호화부(3)는 각각의 소스 데이타 감축부(2)로부터 입력된 감축된 영상 시퀀스를 부호화하여 전송망을 통해 각각의 복호화부(4)로 출력하고, 각각의 복호화부(4)는 각 객체를 복호화하여 화면구성 및 출력부(5)로 감축되고 복원화된 영상 시퀀스를 출력한다.

화면구성 및 출력부(5)는 각각의 복호화부(4)로부터 각 객체의 영상 시퀀스를 입력받아 객체들의 장면 구성정보, 즉 위치정보, 시간정보에 따라 객체별로 비디오 프레임에 객체의 장면 변화를 갱신(update)하여 화면을 출력한다.

본 발명은 내용기반으로 분할된 객체 압축장치에 부호화전 데이타를 감축하기 위한 소스 데이타 감축부(2)를 각 객체단위로 추가한 것으로, 소스 데이타 감축부(2)는 각 영상객체의 움직임(이동과 동작)의 크기를 측정하는 수단과, 영상객체들을 선택하여 제거하는 수단으로 구성된다.

각 영상객체의 움직임의 크기를 측정하는 측정수단은 이전 영상프레임내의 영상객체의 위치(영상객체의 중심점)와 현재 영상프레임내의 영상객체 위치 사이의 거리를 계산하여 이동거리를 구하고, 이전 영상프레임에서의 영상객체 경계선(boundary) 모양과 현재 영상프레임에서의 영상객체 경계선 모양의 차이를 계산하여 모양변화를 구한다. 그리고, 측정수단은 이렇게 구한 이동거리와 모양변화의 합을 계산하여 각 영상객체의 움직임의 크기를 측정한다.

여기서 한 영상객체의 이전 영상프레임에서의 위치가 (x0,y0) 이고, 현재 영상프레임에서 위치가 (x1,y1) 일 때, 영상객체의 이동거리는 (수학식1)과 같이 계산된다.

[수학식 1]

이동거리 =

그리고, 영상객체의 모양은, 360도를 n등분한 각을 θ라 하고,는 (ix θ) 각도상에 있는 객체의 경계 점(boundary point)이라 하면, 중심점 o와사이의 길이의 합인 (수학식2)에 의해 정의된다.

[수학식 2]

영상객체 모양 =

이전 영상프레임과 현재 영상프레임사이의 객체 모양변화는 (수학식2)에서 정의된 이전프레임 객체 모양값과 현재프레임 객체 모양값의 차분의 절대값으로 정의된다.

제거수단은 측정수단에서 계산된 영상객체의 움직임 크기를 미리 정한 임계치와 비교하여 작으면 움직임이 없는 것으로 간주하여 그 영상객체를 제거하여 출력한다.

도 4 는 본 발명에 따른 데이타 감축방법의 흐름도를 나타낸다.

먼저, 영상프레임의 현재순번을 '1'로하고, 영상객체가 제거되지 않은 영상프레임의 최신 순번을 '0'으로 초기화한다(101).

그리고, 이전프레임과 현재 프레임 사이의 영상객체 움직임이 임계치보다 작고, 영상객체가 제거되지 않은 최신 프레임과 현재 프레임 사이의 영상객체 움직임도 임계치보다 작은지를 비교한다(102).

비교결과(102), 모두 작으면 현재 프레임의 영상객체를 제거하고, 현재 순번을 '1'증가하고(103), 모두 작지 않으면 영상객체가 제거되지 않은 프레임의 순번을 현재 프레임 순번으로 바꾸고, 현재 프레임 순번을 '1'증가시킨다(104).

그런 다음, 현재 영상프레임의 순번이 시퀀스의 마지막이면(105) 종료하고, 그렇지 않으면 다시 영상객체의 움직임이 임계치보다 작은지를 비교하는 과정(102) 이하를 반복한다.

이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러가지 치환, 변형 및 변경이 가능하므로, 전술한 실시예 및 도면에 한정되는 것이 아니다.

상기와 같이 이루어지는 본 발명은 종래기술의 문제점들이 발생하지 않으면서, 즉 본래의 화면의 크기와 전체 화면 프레임율이 유지되면서, 동영상 소스 데이터양을 감축할 수 있어 대역폭이 작은 전송망에서도 데이타를 전송할 수 있는 효과가 있다.

Claims (8)

1. 영상 시퀀스를 배경, 사람, 책상 등에 따라 객체단위로 분할하는 내용기반 객체 분할수단(1)과 감축된 영상 시퀀스를 각 객체단위로 부호화하는 다수개의 부호화수단(3)과 전송망을 통해 상기 다수개의 부호화수단(3)으로부터 전송된 각 객체 영상을 복호화하는 다수개의 복호화수단(4) 및 상기 다수개의 복호화수단(4)으로부터 각 객체의 영상 시퀀스를 입력받아 객체들의 장면 구성정보에 따라 객체별로 비디오 프레임에 객체의 장면 변화를 갱신(update)하여 화면을 출력하는 화면구성 및 출력수단(5)을 구비한 압축장치에 있어서,

   상기 내용기반 객체 분할수단(1)으로부터 각 객체단위로 영상을 입력받아 각 영상객체의 움직임 크기를 측정하여 움직임이 없을 동안의 영상객체 시퀀스를 제거한 후, 상기 다수개의 부호화수단(3)으로 감축된 영상 시퀀스를 각각 출력하는 다수개의 소스 데이타 감축수단(2)을 더 포함하여 이루어진 압축장치.
2. 제 1 항에 있어서,

   상기 소스 데이타 감축수단(2)은,

   이전 영상프레임내의 영상객체의 위치(영상객체의 중심점)와 현재 영상프레임내의 영상객체 위치 사이의 거리를 계산하여 이동거리를 구하고, 이전 영상프레임에서의 영상객체 경계 모양과 현재 영상프레임에서의 영상객체 경계 모양의 차이를 계산하여 모양변화를 구해 이동거리와 모양변화의 합을 계산하여 각 영상객체의 움직임의 크기를 측정하는 측정수단; 및

   상기 측정수단에서 계산된 영상객체의 움직임 크기를 미리 정한 임계치와 비교하여 작으면 움직임이 없는 것으로 간주하여 그 영상객체를 제거하는 제거수단을 포함한 것을 것을 특징으로 하는 압축장치.
3. 제 2 항에 있어서,

   상기 영상객체의 이동거리는,

   한 영상객체의 이전 영상프레임에서의 위치가 (x0,y0) 이고, 현재 영상프레임에서의 위치가 (x1,y1) 일 때, x0와 x1의 차를 구해 자승을 취하고, y0와 y1의 차를 구해 자승을 취한 후, 두개의 계산된 값을 합하여 루트(√)를 취함으로써 얻어지는 것을 특징으로 하는 압축장치.
4. 제 2 항에 있어서,

   상기 이전 영상프레임과 현재 영상프레임 사이의 객체 모양변화는,

   360도를 n등분한 각을 θ라 하고,는 (ix θ) 각도상에 있는 객체의 경계 점이라 하면, 중심점 o와사이의 길이의 합을 계산하여 이전 프레임 객체 모양값과 현재 프레임 객체 모양값을 구한 후, 이전 프레임 객체 모양값과 현재 프레임 객체 모양값의 차이에 대해 절대값을 취함으로써 얻어지는 것을 특징으로 하는 압축장치.
5. 동영상의 내용기반 부호화시 영상객체의 움직임 특성을 이용한 데이타 압축장치에 적용되는 데이타 감축방법에 있어서,

   영상 프레임의 현재순번과 영상객체가 제거되지 않은 영상 프레임의 최신 순번을 임의의 값으로 초기화하는 제1 단계;

   이전 영상 프레임과 현재 영상 프레임 사이의 영상객체 움직임이 미리 정한 임의의 임계치보다 작고, 영상객체가 제거되지 않은 최신 영상 프레임과 현재 영상 프레임 사이의 영상객체 움직임도 임계치보다 작은지를 비교하는 제2 단계;

   비교결과, 모두 작으면 현재 영상 프레임의 영상객체를 제거한 후, 현재순번을 증가시키고, 모두 작지 않으면 영상객체가 제거되지 않은 영상 프레임의 순번을 현재 영상 프레임 순번으로 바꾸고, 현재 영상 프레임 순번을 증가시키는 제3 단계; 및

   현재 영상 프레임의 순번이 영상 시퀀스의 마지막이면 종료하고, 그렇지 않으면 다시 영상객체의 움직임이 임계치보다 작은지를 비교하는 상기 제2 단계 이하를 반복하는 제4 단계를 포함하여 이루어진 데이타 감축방법.
6. 제 5 항에 있어서,

   상기 이전 영상 프레임과 현재 영상 프레임 사이의 영상객체 움직임은,

   이전 영상프레임내의 영상객체의 위치(영상객체의 중심점)와 현재 영상프레임내의 영상객체 위치 사이의 거리를 계산하여 이동거리를 구하고, 이전 영상프레임에서의 영상객체 경계 모양과 현재 영상프레임에서의 영상객체 경계 모양의 차이를 계산하여 모양변화를 구해 이동거리와 모양변화의 합하여 얻어지는 것을 특징으로 하는 데이타 감축방법.
7. 제 6 항에 있어서,

   상기 영상객체의 이동거리는,

   한 영상객체의 이전 영상프레임에서의 위치가 (x0,y0) 이고, 현재 영상프레임에서 위치가 (x1,y1) 일 때, x0와 x1의 차를 구해 자승을 취하고, y0와 y1의 차를 구해 자승을 취한 후, 두개의 계산된 값을 합하여 루트(√)를 취함으로써 구해지는 것을 특징으로 하는 데이타 감축방법.
8. 제 6 항에 있어서,

   상기 이전 영상 프레임과 현재 영상프레임 사이의 객체 모양변화는,

   360도를 n등분한 각을 θ라 하고,는 (ix θ) 각도상에 있는 객체의 경계 점이라 하면, 중심점 o와사이의 길이의 합을 계산하여 이전 영상 프레임 객체 모양값과 현재 영상 프레임 객체 모양값을 구한 후, 이전 영상 프레임 객체 모양값과 현재 영상 프레임 객체 모양값의 차이에 대해 절대값을 취함으로써 구해지는 것을 특징으로 하는 데이타 감축방법.