KR20020001703A - 영상 객체 합성기 - Google Patents

Abstract

본 발명은 데이터통신을 이용한 동영상전송을 원활하게 하기 위해 영상데이터의 전송 양을 감소시킬 수 있는 영상객체합성기에 관한 것이다.

본 발명에 따른 영상객체합성기는, 동영상캡쳐장치로부터 입력되는 영상데이터를 프레임 단위로 임시 저장하기 위한 영상메모리부; 상기 영상메모리부의 영상프레임 및 제어프로그램이 저장되는 제1메모리부; 상기 제1메모리부의 제어프로그램에 의해 제어 처리하는 제1중앙처리장치; 상기 제1중앙처리장치의 제어하에 상기 제1메모리부의 순차적 영상프레임으로부터 객체데이터를 추출하기 위한 객체추출부; 상기 객체추출부로부터 전, 후 영상프레임에 대한 객체데이터의 위치정보를 비교하여 각각의 객체에 대한 움직임 변화 정도에 따라 우선순위를 매핑(mapping)하여 우선순위정보를 형성하는 객체비교및순위매핑부; 상기 객체비교및순위매핑부로부터의 객체에 대한 위치정보 및 우선순위정보를 통신망을 통해 수신받아 그 정보에 따른 각각의 객체데이터를 임시로 저장함과 동시에 제어프로그램이 내장되어 있는 제2메모리부; 상기 제2메모리부의 제어프로그램에 의해 제어 처리하는 제2중앙처리장치; 상기 제2메모리부의 객체데이터가 갱신되었는지 여부를 확인하기 위한 객체갱신부; 상기 객체갱신부로부터 갱신이 확인된 각각의 객체데이터를 저장하기 위한 객체메모리부; 및 상기 제2중앙처리장치의 제어하에 상기 객체갱신부에 의해 갱신 확인이 되면 상기 객체메모리부내의 객체데이터를 상기 우선순위정보에 따라 합성하여 그 영상프레임을 순차적으로 표시부를 통해 표시하기 위한 객체합성부로구성된다.

Description

영상 객체 합성기{Image Object Synthesizer}

본 발명은 영상객체합성기에 관한 것으로, 특히 데이터통신을 이용한 동영상전송을 원활하게 하기 위해 영상데이터의 전송 양을 감소시킬 수 있는 영상객체합성기에 관한 것이다.

일반적으로 영상을 전송하기 위해서는 많은 양의 데이터를 보내야 하므로 압축을 사용하여 보내게 된다. 하지만 압축을 하더라도 큰 영상은 여전히 데이터가 크므로 높은 속도의 통신 선로를 필요로 하게 된다. 특히 동영상의 경우는 이러한 데이터가 연속적으로 나오게 되므로 느린 속도로는 데이터를 제대로 받을 수 없게 된다.

따라서 느린 속도의 데이터통신을 이용한 동영상의 전송은 영상이 끊기거나 화질이 열악하여 대부분의 사람들이 이용하기에 불편함을 겪게 된다는 문제점이 있다.

그 이유는 순차적인 영상프레임 전체를 각각 압축하여 전송하는 방식을 사용하기 때문이다.

본 발명은 상기한 바와 같이 제반 문제점을 해결하기 위해 안출된 것으로써, 본 발명의 목적은 동영상데이터에서 객체를 추출하고 이를 각각의 메모리영역에 저장하고 객체의 상태를 계속적으로 갱신(update)하고 이들 객체를 이용하여 다시 원 영상으로 합성하여 복원시킴으로써, 배경화면 등의 변화되지 않는 부분은 초기에 한번만 전송하고 변화하는 이동 객체 부분만을 전송하게 되므로 영상데이터의 전송 양을 줄이고 느린 속도의 데이터통신에서도 원활한 영상을 받아 볼 수 있는 영상객체합성기를 제공하는 데에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 영상객체합성기는, 동영상캡쳐장치로부터 입력되는 영상데이터를 프레임 단위로 임시 저장하기 위한 영상메모리부; 상기 영상메모리부의 영상프레임 및 제어프로그램이 저장되는 제1메모리부; 상기 제1메모리부의 제어프로그램에 의해 제어 처리하는 제1중앙처리장치; 상기 제1중앙처리장치의 제어하에 상기 제1메모리부의 순차적 영상프레임으로부터 객체데이터를 추출하기 위한 객체추출부; 상기 객체추출부로부터 전, 후 영상프레임에 대한 객체데이터의 위치정보를 비교하여 각각의 객체에 대한 움직임 변화 정도에 따라 우선순위를 매핑(mapping)하여 우선순위정보를 형성하는 객체비교및순위매핑부; 상기 객체비교및순위매핑부로부터의 객체에 대한 위치정보 및 우선순위정보를 통신망을 통해 수신받아 그 정보에 따른 각각의 객체데이터를 임시로 저장함과 동시에 제어프로그램이 내장되어 있는 제2메모리부; 상기 제2메모리부의 제어프로그램에 의해 제어 처리하는 제2중앙처리장치; 상기 제2메모리부의 객체데이터가 갱신되었는지 여부를 확인하기 위한 객체갱신부; 상기 객체갱신부로부터 갱신이 확인된 각각의 객체데이터를 저장하기 위한 객체메모리부; 및 상기 제2중앙처리장치의 제어하에 상기 객체갱신부에 의해 갱신 확인이 되면 상기 객체메모리부내의 객체데이터를 상기 우선순위정보에 따라 합성하여 그 영상프레임을 순차적으로 표시부를 통해 표시하기 위한 객체합성부로 구성된다.

도 1은 본 발명에 따른 영상객체합성기에 대한 전체 구성도,

도 2 내지 도 7은 본 발명의 영상객체합성기에 의해 처리되는 과정을 나타내는 2개의 전, 후 영상프레임에 대한 일예를 나타내는 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

102 : 영상메모리부 103 : 제1중앙처리장치

104 : 제1메모리부 105 : 객체추출부

106 : 객체비교및순위매핑부 107 : 제1 이더넷 컨트롤러

110 : 제2 이더넷 컨트롤러 111 : 제2메모리부

112 : 제2중앙처리장치 113 : 객체메모리부

114 : 객체갱신부 115 : 객체합성부

이하, 첨부된 도면을 참고하여 본 발명에 따른 영상객체합성기를 보다 더 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 영상객체합성기에 대한 전체 구성도이다.

도 2 내지 도 7은 본 발명의 영상객체합성기에 의해 처리되는 과정을 나타내는 2개의 전, 후 영상프레임에 대한 일예를 나타내는 도면이다.

본 발명의 영상객체합성기는 크게 송신부(10)와 수신부(11)로 이루어진다.

송신부(10)에서, 비디오카메라 등과 같은 동영상캡쳐장치(101)는 동영상을 입력받고, 영상메모리부(102)에는 상기 영상데이터를 프레임 단위로 임시 저장한다.

제1 및 제2중앙처리장치(103, 112)는 제1 및 제2메모리부(104, 111)에 내장된 제어프로그램에 의해 영상합성기기의 각 구성부분을 제어 처리한다.

제1메모리부(104)에는 제1중앙처리장치(103)를 통해 영상메모리부(102)로부터 영상프레임이 순차적으로 저장된다.

객체추출부(object extractor)(105)는 제1중앙처리장치(103)의 제어하에 제1메모리부(104)의 순차적 영상프레임으로부터 객체데이터를 추출한다.

객체추출부(105)의 객체 추출은 움직이는 부분과 움직이지 않는 부분으로 나눈 다음, 각각의 부분에서 외곽선을 검출한 다음 움직이지 않는 부분의 객체들과 움직이는 부분에 속해 있는 객체들을 분리하여 추출한다.

예를 들면, 도2a는 전 영상프레임이고 도2b는 후 영상프레임으로서, 객체추출부(105)를 거치면 도3a에 도시된 제1객체, 즉 움직이지 안는 부분 "산"과 도3b에도시된 제2객체, 즉 움직이는 부분 "자동차"의 객체로 분리 추출된다.

객체비교및순위매핑부(106)(object comparator & priority mapping module)(106)는 객체추출부(105)에서 추출된 전, 후 영상프레임에 대한 객체데이터의 위치정보를 비교하여 각각의 객체에 대한 움직임 변화 정도, 즉 위치 변화 및 각도 변화 정도 등에 따라 우선 순위를 매핑(mapping)하여 우선순위정보를 형성한다.

우선순위결정은 바탕화면이 되는 배경과 그 위에서 움직이는 객체의 순서로 하고, 움직임이 변화함에 따라 각각 객체의 우선순위를 변경 및 조정하게 된다.

예를 들어, 도3a 및 도3b의 제1객체 및 제2객체와 같이 객체 별로 객체추출부(105)를 통해 추출된 도2a 및 도2b의 전, 후 영상프레임을 비교하면, 제1객체는 도4a에 도시한 바와 같이 움직임 변화 차이가 없고, 제2객체는 도4b에 도시한 바와 같이 상하로의 움직임은 없고 오른쪽으로 3칸 움직임 변화가 있다.

이에 따라 우선순위결정에 있어서 제1객체는 배경으로 객체메모리부(113)내의 제1객체메모리에 할당시키고, 제2객체는 제2객체메모리에 할당시킨 후, 후술되는 바와 같이 객체합성부(115)에 의해 재구성할 때 제1객체를 먼저 그린 다음 제2객체를 그린다.

객체추출부(105)와 객체비교및순위매핑부(106)는 필드 프로그래머블 어레이(Field Programmable Gate Array)로서, 자일링스 스파르탄2(Xilinx Spartan II) 등을 이용하여 구성한다.

이러한 구성에 따라 제1중앙처리장치(103)의 R/W신호에 의해제1메모리부(104)로부터의 영상프레임을 읽어와서 객체추출부(105)로 기록되고, 객체추출부(105)에서 객체가 추출되 위치정보가 형성되고 객체비교및순위매핑부(106)에서 우선순위정보가 형성되면 Ready신호를 제1중앙처리장치로 보내고, 제1중앙처리장치(103)는 상기 위치정보 및 우선순위정보를 LAN 등과 같은 제1 및 제2 이더넷 컨트롤러(ethernet controller)(107, 110)를 이용하여 인터넷 또는 PSTN 등과 같은 통신망(108)을 통해 송수신이 이루어지게 한다.

수신부(11)에서, 제2메모리부(111)는 상기 위치정보 및 우선순위정보에 따른 객체데이터를 임시로 저장한다.

객체갱신부(object update module)(114)는 제2메모리부(111)의 객체데이터가 갱신되었는지 여부를 확인하고, 갱신이 확인된 각각의 객체데이터는 객체메모리부(113)에 저장된다.

예를 들면 전영상프레임이 객체갱신부(114)에 도달 도달??을땐 객체갱신부(114)는 도 5a 및 도 5b 와 같은 객체데이터를 객체메모리부(113)에 저장시키고, 후영상프레임이 객체갱신부(114)에 도달 도달??을땐 객체갱신부(114)는 도 6a 및 도 6b 와 같은 객체데이터를 객체메모리부(113)에 저장시킨다.

객체합성부(object composition module)(115)는 제2중앙처리장치(112)의 제어하에 객체갱신부(114)에 의해 갱신 확인이 되면 객체메모리부(113)내에서 제1객체메모리 내지 제n객체메모리에 할당된 객체데이터를 우선순위의 순서대로 합성하여 완전한 하나의 영상프레임을 재구성한다.

예를 들어 도 7에 도시한 바와 같은 영상프레임이된다.

객체갱신부(114) 및 객체합성부(115)는 필드 프로그래머블 어레이(Field Programmable Gate Array)로서, 자일링스 스파르탄2(Xilinx Spartan II) 등을 이용하여 구성한다.

이러한 구성에 따라, 제2중앙처리장치(112)의 R/W신호에 의해 제2메모리부(111)로부터의 객체데이터를 읽어와서 객체갱신부(114)를 거쳐 우선순위정보에 따라 객체메모리부(113)내의 제1객체메모리 내지 제n객체메모리에 할당시켜 저장한다.

객체갱신부(114)에서 갱신됐다고 Ready신호를 보내면 제2중앙처리장치(112)는 객체갱신부(114)를 통해 객체메모리부(113) 내에 있는 객체데이터를 객체합성부(115)로 보내고 객체합성부(115)는 각각의 객체데이터를 합성하여 영상프레임을 디스플레이드라이버(116)를 통해 연결되어 있는 표시부(117)에 순차적으로 보내준다.

상기와 같은 본 발명에 의하면, 동영상데이터에서 객체를 추출하고 이를 각각의 메모리영역에 저장하고 객체의 상태를 계속적으로 갱신(update)하고 이들 객체를 이용하여 다시 원 영상으로 합성하여 복원시킴으로써, 배경화면 등의 변화되지 않는 부분은 초기에 한번만 전송하고 변화하는 이동 객체 부분만을 전송하게 되므로 영상데이터의 전송 양을 줄이고 느린 속도의 데이터통신에서도 원활한 영상을 받아 볼 수 있다는 이점이 있다.

따라서 데이터통신선로의 효율적인 사용으로 원하는 영상을 쉽게 접할 수 있게 된다.

본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 사상과 범위내에서 변형이나 변경할 수 있음은 본 발명이 속하는 분야의 당업자에게는 명백한 것이며, 그러한 변형이나 변경은 첨부한 특허청구범위에 속한다 할 것이다.

Claims (1)

1. 동영상캡쳐장치로부터 입력되는 영상데이터를 프레임 단위로 임시 저장하기 위한 영상메모리부;

   상기 영상메모리부의 영상프레임 및 제어프로그램이 저장되는 제1메모리부;

   상기 제1메모리부의 제어프로그램에 의해 제어 처리하는 제1중앙처리장치;

   상기 제1중앙처리장치의 제어하에 상기 제1메모리부의 순차적 영상프레임으로부터 객체데이터를 추출하기 위한 객체추출부;

   상기 객체추출부로부터 전, 후 영상프레임에 대한 객체데이터의 위치정보를 비교하여 각각의 객체에 대한 움직임 변화 정도에 따라 우선순위를 매핑(mapping)하여 우선순위정보를 형성하는 객체비교및순위매핑부;

   상기 객체비교및순위매핑부로부터의 객체에 대한 위치정보 및 우선순위정보를 통신망을 통해 수신받아 그 정보에 따른 각각의 객체데이터를 임시로 저장함과 동시에 제어프로그램이 내장되어 있는 제2메모리부;

   상기 제2메모리부의 제어프로그램에 의해 제어 처리하는 제2중앙처리장치;

   상기 제2메모리부의 객체데이터가 갱신되었는지 여부를 확인하기 위한 객체갱신부;

   상기 객체갱신부로부터 갱신이 확인된 각각의 객체데이터를 저장하기 위한 객체메모리부; 및

   상기 제2중앙처리장치의 제어하에 상기 객체갱신부에 의해 갱신 확인이 되면상기 객체메모리부내의 객체데이터를 상기 우선순위정보에 따라 합성하여 그 영상프레임을 순차적으로 표시부를 통해 표시하기 위한 객체합성부를 구비하는 것을 특징으로 하는 영상객체합성기.