KR20010079349A - 온라인 및 오프라인 멀티미디어 프리젠테이션에서활성화된 윈도의 이미지 정보와 이벤트 정보를 이용한컴퓨터 화면의 캡쳐와 재생 구조 및 드로잉 정보의 표현기법 - Google Patents

Abstract

본 발명은 컴퓨터를 대상으로 한 멀티미디어 프리젠테이션과 화상회의 및 원격교육에서 가장 중요한 기술인 화면 캡쳐에 관한 것으로, 빠른 화면 캡쳐속도와 재생 속도를 가지도록 하는 알고리즘과 이를 디스크에 저장하거나 네트워크를 통해 다른 시스템에 전송하는 것을 빠른 속도로 수행할 수 있게 하는 자료구조에 관한 것이다.

활성화된 윈도의 이미지 정보와 이벤트 정보를 이용한 컴퓨터 화면의 캡쳐와 재생 구조 및 드로잉을 디스플레이 하기 위하여 활성윈도의 이미지 데이터와 위치를 나타내는 좌표 및 윈도의 폭과 높이 데이터를 저장하였다가 미리 저장된 전체 윈도의 이미지위에 이를 표현하여 하나의 화면으로 구송하는 기술과 발표자의 드로잉을 나타내기 위해 캡쳐한 이미지를 현재의 화면에 대체하여 사용자의 드로잉을 표현하고 저장하는 기술과 자료구조 및 재생하는 시스템의 화면 해상도가 캡쳐하는 시스템의 화면 해상도보다 낮거나 같을 경우에 화면을 축소하지 않고 활성윈도를 화면중앙에 오도록 조정하여 깨긋한 화면을 제공하는 기술을 포함한다.

Description

온라인 및 오프라인 멀티미디어 프리젠테이션에서 활성화된 윈도의 이미지 정보와 이벤트 정보를 이용한 컴퓨터 화면의 캡쳐와 재생 구조 및 드로잉 정보의 표현 기법 { An acvtivated window based screen capture and display mechanism for online and offline multimedia presentation and a method for display of drawing information }

본 발명은 컴퓨터를 대상으로 한 멀티미디어 프리젠테이션과 화상회의 및 원격교육에서 가장 중요한 기술인 화면 캡쳐에 관한 것으로, 빠른 화면 캡쳐속도와 재생 속도를 가지도록 하는 알고리즘과 이를 디스크에 저장하거나 네트워크를 통해 다른 시스템에 전송하는 것을 빠른 속도로 수행할 수 있게 하는 자료구조에 관한 것이다.

본 발명은 멀티미디어 프리젠테이션의 분야에 속하는 것으로 특히, 멀티미디어 원격교욱 및 화상회의 시스템, 멀티미디어 통합과 동기화기술 분야에 속한다.

종래로부터 널리 알려진 이 분야의 기술은 하기와 같다.

일반적으로, 컴퓨터 화면의 캡쳐는 초당 15프레임정도의 비율로 화면을 캡쳐하여 저장하게 된다. 화면을 캡쳐하여 저장하는 방법으로, 각각의 캡쳐한 각각의 프레임을 각각 따로 이미지로 저장하는 것과, 캡쳐한 프레임을 동영상 파일로 저장하는 방법이 있다.

모션 JPEG:

모션 JPEG은 초당 약 15회의 주기로 화면을 캡쳐하여 이를 JPEG압축기술을 이용하여 저장하는 기술이다. 이 기술은 캡쳐의 원리가 비교적 간단하고 각 프레임은 다른 프레임에 대해 독립적이라는 특성이 있어 구현이 어렵지 않고 저장 및 전송시의 손실에 대한 보정이 빠르며, 캡쳐후의 영상 편집이 쉽기 때문에 많이 이용되지만, 데이터량이 너무 크다는 것과 캡쳐한 이미지 사이의 간격으로 인해 재생시의 움직임이 부드럽지 못하다는 단점이 있다. 부가적인 효과를 추가하고 영상의 편집을 지원하는 윈도를 캡쳐 시스템의 대부분이 이 방식을 사용하고 있다.

비디오 캡쳐:

비디오 캡쳐는 초당 15~30회의 주기로 화면을 캡쳐하지만 JPEG기술을 도입하는 것이 아니라 동영상 정보의 저장하기 위한 전용 CODEC을 이용하여 각 프레임을 연속적으로저장하는 기술이다. 동영상정보를 저장하기 위한 비디오 압축 CODEC은 일반적으로 영상의 일부분만을 저장하고 재생시에 나머지 부분에 대한 예측정보를 표현하는 방법을 사용하여 데이터량을 줄이고 화면의 움직임을 부드럽게 처리할 수 있다는 장점이 있지만 부가적인 효과를 추가하거나 영상을 편집하는 것이 어렵기 때문에, 화면의 움직임 만을 캡쳐하는 시스템에 많이 도입되고 있다. 일반적으로 많이 사용되는 비디오 CODEC으로는 CIF(Common Intermediate Format)와 QCIF(Quarter CIF)가 있는데, QCIF가 176x144의 해상도 (CIF 해상도의 1/4)인 반면에 CIF는 352x288 의 해상도를 지원한다.

멀티미디어 통합과 동기화:

다양한 미디어들을 하나의 환경에서 보여주는 것을 멀티미디어 통합이라 하고 각 미디어간의 시간적인 관계와 내용적인 관계를 일치시키는 것을 동기화라 한다. 일반적으로 이 기술은 여러 미디어들을 하나의 파일로 형성할 때 이용되며 강의환경에는 제한된 동기화 기술만이 사용되고 있다. 또한, 시간적인 동기화기법은 시점이나 시간간격을 기준으로 한다. 즉, 특정한 시점마다 이벤트를 기록하여 동기화를 하거나 각 이벤트간의 시간간격을 기록하여 동기화하는데, 전자는 간단하지만 데이터량이 많다는 단점이 있고, 후자는 데이터 량은 적지만 오차가 발생하면 전체에 영향을 미치게 되는 단점이 있다.

드로잉의 기록과 재생:

윈도 화면에 대한 드로잉을 처리하는 방법은 모션 JPEG기법으로 화면을 캐쳐하는 시스템에서만 지원가능하며, 캡쳐가 완료된 이후에 별도의 편집 인터페이스를 이용하여 드로잉을 화면에 추가로 그리는 과정을 거친다. 윈도를 캡쳐하지 않고 미리 준비된 이미지 자료를 사용하는 일부 프리젠테이션 도구들은 실시간으로 드로잉을 표현하지만 자신의 프로그램 내에서만 표현이 가능하고 윈도전체를 대상으로는 할 수 없다.

본 발명이 구현하고자 하는 기술적인 과제는 하기와 같다.

[1]. 활성윈도의 정보를 위주로 한 컴퓨터화면의 캡쳐하고 재생하는 기술

[2]. [1]을 위해, 활성윈도의 화면을 이미지 파일로 저장하는 모듈 개발

[3]. [1]을 위해, 활성윈도의 위치를 나타내는 좌표 및 폭과 높이를 획득하여 저장하는 모듈 개발

[4]. [1]을 위해, 미리 캡쳐된 전체 화면 이미지 위에 활성 윈도의 위치 정보에 해당 이미지 파일을 그려서 재생하는 모듈 개발

[5]. 발표자의 음성과 함께 발표자의 드로잉을 나타내고 저장하였다가 재생하는 기술

[6]. [5]를 위해 발표자의 음성을 지속적으로 녹음하여 파일로 형성하는 모듈 개발

[7]. [5]를 위해 발표자의 드로잉을 화면에 나타내고 기록하는 모듈 개발

[8]. [5]를 위해 저장된 드로잉 데이터를 화면에 나타내어 재생하는 모듈 개발

도 1

본 발명에서 음성의 녹음과 함께 활성윈도 단위로 화면을 캡쳐하고 이벤트와 드로잉을 기록하여 디스크에 저장하거나 네트워크를 통해 다른 사용자의 컴퓨터에 전송하여 디스플레이하는 체계를 보여주는 개념도

도 2

멀티미디어 프리젠테이션의 시작시에 전체화면을 캡쳐해두고 발생하는 이벤트의 종류에 따라 기록을 하거나 화면에 드로잉을 처리하는 알고리즘을 보여주는 순서도

도 3

활성윈도의 선택과 시간정보를 바탕으로 캡쳐한 이미지와 이벤트 및 드로잉정보를 기록하고 실시간 전송에 대응할 수 있는 자료구조를 보여주는 구조도.

도 4

캡쳐 시스템의 화면 해상도보다 작거나 같은 해상도를 가지는 재생 시스템에서 가상 화면과 실제 화면의 이중 구조를 이용하여 대상 윈도 위주로 화면에 나타내는 구조를 보여주는 개념도

1. 시스템 구성

본 시스템은 활성윈도 캡쳐 모듈과 이벤트 감시 및 기록 모듈, 드로잉 표시 및 재생모듈 및 디스플레이 처리 모듈로 구성된다. 사용자의 윈도 조작을 감시하여 활성화된 윈도의 이미지와 이벤트를 기록하며 재생시에 디스플레이 처리모듈에 의해 하나의 화면에 구성된다. 전체적인 흐름에 음성을 녹음하고 재생하는 기능이 기본적으로 포함되어 있다.

(도 1참조)

2. 활성윈도 캡쳐 모듈

사용자의 마우스 조작에 의해 어플리케이션이 실행되거나 특정 윈도를 선택했을 때, 그 윈도느 활성화된다. 이 과정에서 Event-Driven방식인 윈도 시스템의 특성상 이벤트가 발생된다. 이 이벤트가 발생하면 활성윈도 캡쳐 모듈이 윈도의 위치정보와 크기정보를 획득하여 해당 영역의 이미지를 주기억장치로 가지고 온다. 주기억장치로 가지고 온 이미지는 디스크에 파일로 기록되며 이미지의 속성정보는 이번테 감시 및 기록 모듈에 넘겨진다.

(도 2참조)

3. 이벤트 감시 및 기록 모듈

마우스 이동, 메뉴 선택과 같은 사용자의 조작은 윈도 메시지 시스템에 이벤트를 발생시킨다. 이 모듈은 발생한 이벤트의 종류에 따라 재생시 필요한 항목을 기록하게 되며, 화면에 새로운 데이터를 나타내는 이벤트일 경우 해당 데이터까지 기록한다. 데이터의 기록은 실행속도를 높이기 위해 주기억장치에서 이루어지지만, 일정 규모 이상이 되면 해당 데이터를 보조기억장치인 디스크로 옮기게 된다.

(도 3참조)

5. 드로잉 표시/기록 모듈

사용자가 화면에 드로잉을 나타내기 위해 도구표시줄의 해당기능을 선택하면 윈도 전체를 캡쳐하여 화면에 디스플레이이한다. 이 작업은 신속히 이루어지게 되고 이후의 사용자의 마우스 조작은 화면에 선을 긋거나 그림을 그리는 그래픽 에디터의 사용자 인터페이스와 동일한 구조를 가지게 된다. 사용자의 드로잉 조작은 별도의 이벤트 데이터로 취급하여 기록하게 되며, 드로잉 완료 기능을 선택하면 화면에 표시된 이미지를 없애고 정상적인 캡쳐작업을 수행한다.

(도 2참조)

6. 디스플레이 처리 모듈

캡쳐된 데이터는 윈도의 이미지와 이벤트 데이터 및 특수한 이벤트 데이터가 필요로 하는 이미지데이터로 이루어진다. 재생시에는 이벤트 데이터를 읽어들여서 해당 시점에서 이미지의 표시작업을 수행하는 것과 마우스 및 드로잉의 표시만으로 디스플레이를 수행할 수 있지만, 사용자의 디스플레이 영역이 캡쳐 시스템보다 작거나 같을 경우에 화면을 축소하면 손실로 인해 이미지가 흐려지게 되는데, 이를 방지하기 위해 가상화면에 전체 데이터를 구성해두고 디스플레이 영역을적절히 이동시키거나 활성윈도 이미지를 디스플레이 영역에서 나타내는 방법을 사용하여 깨긋한 이미지를 제공할 수 있도록 한다.

(도 4참조)

7. 전체적인 처리 과정

본 발명에서 사용자는 자신의 컴퓨터에서 간단한 방법으로 화면 캡쳐가 수행된다. 상항에 따라 전체화면 및 활성윈도의 캡쳐가 진행되며 사용자의 다양한 조작정보가 최소한의 크기를 가지는 데이터로 저장된다. 드로잉과 같은 특수한 처리가 필요할 경우에는 기존 화면과는 별도로 드로잉을 위한 화면을 최상위 윈도에 나타내어 드로잉을 추가할 수 있게 하며, 이러한 모든 작업은 하나의 파일로 형성되어 디스크에 저장되거나 네트워크를 통해 다른 시스템에 전송되어 디스플레이 되며, 캡쳐 시스템보다 낮은 해상도를 갖는 시스템에서도 무리없이 깨긋한 화면을 볼 수 있게 한다.

본 발명을 이용하여 멀티미디어 프리젠테이션의 컨텐츠를 제작하는 사용자는 자신의 음성과 드로잉이 포함되면서도 부드럽게 컨텐츠를 간단하고 손쉽게 제작할 수 있다. 이것보다 더욱 효과적인 것은, 이 기술에 의한 데이터는 매우 작기 때문에 디스크의 공간을 적게 차지할 뿐 아니라 인터넷과 PC통신을 통하여 제 3자에게의 전달이 비교적 용이하며, 온라인 프리젠테이션 시스템 및 실시간 프리젠테이션 시스템에 이용될 수 있다.

본 발명은 연속적인 화면의 변화를 활성윈도의 이미지와 부가적인 정보로 표현하기 때문에 정보를 합성하여 디스플레이하는 뷰어만 존재하면 컴퓨터의 종류 및 운영체제의 종류에 구애받지 않고 어느 시스템에서든 사용이 가능하다. 자바 가상머신이 탑재된 TV, 냉장고등 가전제품에서도 자바로 구현된 뷰어가 존재하면 그대로 재생이 가능하므로 언제 어디서든 프리젠테이션을 접할 수 있으며, 의미 있는 데이터가 연속되는 특수한 경우와 애니매이션의 저작과 재생등의 분야에 도입되어 현재의 TV형태를 대체할 수 있다.

Claims (1)

1. 활성화된 윈도의 이미지 정보와 이벤트 정보를 이용한 컴퓨터 화면의 캡쳐와 재생 구조 및 드로잉을 디스플레이 하기 위하여:

   가) 활성윈도의 이미지 데이터와 위치를 나타내는 좌표 및 윈도의 폭과 높이 데이터를 저장하였다가 미리 저장된 전체 윈도의 이미지위에 이를 표현하여 하나의 화면으로 구송하는 기술

   나) 발표자의 드로잉을 나타내기 위해 캡쳐한 이미지를 현재의 화면에 대체하여 사용자의 드로잉을 표현하고 저장하는 기술

   다) 재생하는 시스템의 화면 해상도가 캡쳐하는 시스템의 화면 해상도보다 낮거나 같을 경우에 화면을 축소하지 않고 가상 화면을 구성하여 디스플레이 영역을 이동하거나 활성윈도만을 화면중앙에 오도록 이동하여 깨긋한 화면을 제공하는 기술

   라) 발표자의 음성과 드로잉 데이터 및 화면데이터를 저장하고 재생하기 위한 자료구조