KR100315310B1

KR100315310B1 - 다중 데이터 동기화 방법 및 그를 이용한 다중 멀티미디어 데이터 스트리밍 방법

Info

Publication number: KR100315310B1
Application number: KR1019990033796A
Authority: KR
Inventors: 진성일; 강종규; 김계환; 허문행; 김진한
Original assignee: 이계철; 한국전기통신공사
Priority date: 1999-08-17
Filing date: 1999-08-17
Publication date: 2001-11-26
Also published as: KR20010018003A

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 다중 데이터 동기화 방법 및 그를 이용한 멀티미디어 데이터 스트리밍 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 하나의 묶음으로 이루어진 다중의 데이터에 대해 생성 시간을 기준으로 동기화하는 다중 데이터 동기화 방법 및 그를 이용하여 스트리밍 서비스를 수행하는 다중 멀티미디어 데이터 스트리밍 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 데이터 수신 시스템에 적용되는 다중의 멀티미디어 데이터 스트리밍 방법에 있어서, 동일 프리젠테이션으로의 전송을 위하여, 프레임 단위로 분할되어 패킷화된 다중의 멀티미디어 데이터를 수신하는 제 1 단계; 수신된 상기 다중의 멀티미디어 데이터 패킷으로부터 단위 프레임을 추출하여 동일 종류의 프레임에 대해 순차적으로 배열하는 제 2 단계; 및 순차적으로 배열된 다중의 멀티미디어 프레임에 대해 생성 시간을 기준으로 프리젠테이션 동기화를 수행하여 연속적으로 멀티미디어 스트림을 재생하는 제 3 단계를 포함함.

4. 발명의 중요한 용도

본 발명은 데이터 송수신 시스템 등에 이용됨.

Description

다중 데이터 동기화 방법 및 그를 이용한 다중 멀티미디어 데이터 스트리밍 방법{MULTIPLE DATA SYNCHRONIZING METHOD AND MULTIPLE MULTIMEDIA DATA STREAMING METHOD USING THE SAME}

본 발명은, 다중 데이터 동기화 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히, 프리젠테이션 등과 같이 하나의 묶음으로 구성된 다중의 데이터에 대해 동기화를 수행하는 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

또한, 본 발명은, 멀티미디어 데이터 스트리밍 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히, 두 개 이상의 멀티미디어 스트림이 한 프리젠테이션으로 전송이 될 경우 상기한 다중 데이터 동기화 방법을 이용해 스트림간의 동기화를 이루는 멀티미디어 데이터 스트리밍 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

종래의 동영상 스트리밍 서비스에서는 네트워크를 통하여 동영상 혹은 음성데이터를 다운로드 받지 않고 스트림화하여 실시간에 전송/재생을 가능하게 하였다.

그런데, 멀티미디어 스트림이 한 개가 아니라 두 개 이상이고, 그 두 개 이상의 멀티미디어 스트림이 한 개의 프리젠테이션으로 서비스된다면 실시간 전송시에 동기화가 어려운 문제점이 있었다.

즉, 하나의 프리젠테이션으로 표현되는 다중의 데이터에 대한 동기화가 구현되지 못하여 멀티미디어 스트리밍 서비스가 어려운 문제점이 있었다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 하나의 묶음으로 이루어진 다중의 데이터에 대해 생성 시간을 기준으로 동기화하는 다중 데이터 동기화 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

또한, 본 발명은, 한 개의 프리젠테이션으로 전송된 다중의 멀티미디어 스트림에 대해 상기한 다중 데이터 동기화 방법을 통해 스트리밍 서비스를 제공하는 다중 멀티미디어 데이터 스트리밍 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 다른 목적이 있다.

도 1 은 본 발명이 적용되는 멀티미디어 데이터 스트리밍 서비스 제공을 위한 데이터 송수신 시스템의 구성예시도.

도 2 는 본 발명이 적용되는 디스크에 저장되어 있는 멀티미디어 데이터를 단위 패킷으로 나누어 전송하는 송신측 스트리밍 서비스 장치에 관한 구성예시도.

도 3 은 본 발명이 적용되는 단위 패킷을 수신하여 스트림으로 변환하는 수신측 스트리밍 서비스 장치에 관한 구성예시도.

도 4 는 본 발명이 적용되는 수신된 멀티미디어 단위 프레임을 순차적으로 배열하기 위한 스트림 동기화 모듈에 대한 상세 구성예시도.

도 5 는 본 발명이 적용되는 수신된 다중 멀티미디어 스트림의 프리젠테이션 동기화를 수행하는 모듈에 대한 상세 구성예시도.

도 6 은 본 발명에 따른 다중 멀티미디어 데이터 스트리밍 방법에 대한 일실시예 흐름도.

도 7 은 본 발명에 따른 다중 멀티미디어 데이터를 패킷화하여 전송하는 과정에 대한 일실시예 상세흐름도.

도 8a 및 도 8b 는 본 발명에 따른 동일종류의 멀티미디어 데이터에 대해 순차적으로 배열하는 과정에 대한 일실시예 상세흐름도.

도 9 는 본 발명에 따른 다중의 멀티미디어 데이터에 대해 프리젠테이션 동기화를 수행하는 과정에 대한 일실시예 상세흐름도.

*도면의 주요 부분에 대한 부호의 설명

101 : 디스크 102 : 송신측 스트리밍 서비스 장치

103 : 송신측 소켓 104 : 수신측 소켓

105 : 수신측 스트리밍 서비스 장치

106 : 멀티미디어 데이터 처리 장치

상기 목적을 달성하기 위하여 본 발명은, 데이터 수신 시스템에 적용되는 다중 데이터 동기화 방법에 있어서, 소정의 크기로 분할하여 전송된 다중 데이터를 수신하여 그 생성 시간을 비교하는 제 1 단계; 상기 제 1 단계의 비교 결과, 같은 생성 시간을 갖는 다중 데이터가 아니면 저장 수단에서 같은 생성 시간의 데이터를 찾아 동기화를 구현하고, 생성 시간이 다른 데이터는 상기 저장 수단에 임시로 저장하는 제 2 단계; 및 상기 제 1 단계의 비교 결과, 같은 생성 시간을 갖는 다중 데이터이면 상기 다중 데이터에 대해 동기화를 구현하는 제 3 단계를 포함하여 이루어진 것을 특징으로 한다.

상기 다른 목적을 달성하기 위하여 본 발명은, 데이터 수신 시스템에 적용되는 다중의 멀티미디어 데이터 스트리밍 방법에 있어서, 동일 프리젠테이션으로의 전송을 위하여, 프레임 단위로 분할되어 패킷화된 다중의 멀티미디어 데이터를 수신하는 제 1 단계; 수신된 상기 다중의 멀티미디어 데이터 패킷으로부터 단위 프레임을 추출하여 동일 종류의 프레임에 대해 순차적으로 배열하는 제 2 단계; 및 순차적으로 배열된 다중의 멀티미디어 프레임에 대해 생성 시간을 기준으로 프리젠테이션 동기화를 수행하여 연속적으로 멀티미디어 스트림을 재생하는 제 3 단계를 포함하여 이루어진 것을 특징으로 한다.또한, 본 발명은, 데이터 송신 시스템에 적용되는 다중 멀티미디어 데이터 스트리밍 방법에 있어서, 하나의 프리젠테이션으로써 전송하고자 하는 다중의 멀티미디어 데이터를 소정의 단위 시간마다 프레임 단위로 분할하는 제 1 단계; 상기 다중의 멀티미디어 데이터를 단위 프레임으로 분할한 시점의 생성시간을 프레임 번호로 환산하는 제 2 단계; 상기 단위 프레임에 헤더 정보와 프레임 번호를 첨부하여 패킷을 구성하는 제 3 단계; 및 상기 다중의 멀티미디어 데이터 프레임에 대해 종류별로 엇갈리게 멀티미디어 프레임을 네트워크를 통해 전송하는 제 4 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명은, 대용량 프로세서를 구비한 데이터 수신 시스템에, 소정의 크기로 분할하여 전송된 다중 데이터를 수신하여 그 생성 시간을 비교하는 제 1 기능; 상기 제 1 기능의 비교 결과, 같은 생성 시간을 갖는 다중 데이터가 아니면 저장 수단에서 같은 생성 시간의 데이터를 찾아 동기화를 구현하고, 생성 시간이 다른 데이터는 상기 저장 수단에 임시로 저장하는 제 2 기능; 및 상기 제 1 기능의 비교 결과, 같은 생성 시간을 갖는 다중 데이터이면 상기 다중 데이터에 대해 동기화를 구현하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

또한, 본 발명은, 대용량 프로세서를 구비한 데이터 수신 시스템에, 동일 프리젠테이션으로의 전송을 위하여, 프레임 단위로 분할되어 패킷화된 다중의 멀티미디어 데이터를 수신하는 제 1 기능; 수신된 상기 다중의 멀티미디어 데이터 패킷으로부터 단위 프레임을 추출하여 동일 종류의 프레임에 대해 순차적으로 배열하는 제 2 기능; 및 순차적으로 배열된 다중의 멀티미디어 프레임에 대해 생성 시간을 기준으로 프리젠테이션 동기화를 수행하여 연속적으로 멀티미디어 스트림을 재생하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.또한, 본 발명은, 대용량 프로세서를 구비한 데이터 송신 시스템에, 하나의 프리젠테이션으로써 전송하고자 하는 다중의 멀티미디어 데이터를 소정의 단위 시간마다 프레임 단위로 분할하는 제 1 기능; 상기 다중의 멀티미디어 데이터를 단위 프레임으로 분할한 시점의 생성시간을 프레임 번호로 환산하는 제 2 기능; 상기 단위 프레임에 헤더 정보와 프레임 번호를 첨부하여 패킷을 구성하는 제 3 기능; 및 상기 다중의 멀티미디어 데이터 프레임에 대해 종류별로 엇갈리게 멀티미디어 프레임을 네트워크를 통해 전송하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 발명은 네트워크를 통한 멀티미디어 데이터 전송에 있어서 기존의 방식인 동영상을 실시간에 전송하는 스트리밍 기법에 다중 멀티미디어 스트림 실시간전송에 꼭 필요한 프리젠테이션 동기화모듈을 추가 더 발전시킨 모델이다. 기존 발명과의 차이점을 굳이 설명하자면 기존 발명은 단지 하나의 멀티미디어 스트림을 실시간 전송할 수 있는 스트림 구조만으로 이루어져 있지 두 개이상의 다중 멀티미디어 스트림이 한 개의 프리젠테이션으로 전송되었을 때 이 들의 동기를 맞춰주는 동기화모듈이 존재하지 않는다. 또 전송시 오디오 프레임과 비디오 프레임을 한 개씩 엇갈려 전송함으로써 수신측에서 수신시 보다 개선된 스트림 구조를 전송 받을 수 있도록 하였다. 본 발명에서는 동기화 모듈의 모델과 전송기법을 사용하여 기존 발명에 확장모델로서 제시하고 이를 사용하여 두 개이상의 멀티미디어 데이터 스트림의 동기화작업을 수행한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

다중의 데이터 동기화 방법에 대하여는 멀티미디어 데이터 스트리밍 서비스 중 다중의 데이터 동기화 부분인 프리젠테이션 동기화 모듈의 설명과 프리젠테이션 동기화 방법에 대한 설명을 통해 설명하도록 한다.

도 1 은 본 발명이 적용되는 멀티미디어 데이터 스트리밍 서비스 제공을 위한 데이터 송수신 시스템의 구성예시도로서, 도면에 도시된 바와 같이, 디스크(101)상에 존재하는 멀티미디어 데이터를 송신측 스트리밍 서비스 장치(102)에서 송신측 소켓(103)을 통하여 전송하면, 이를 수신측의 소켓(104)을 통해 수신측 스트리밍 서비스 장치(105)가 수신하면 연속적인 멀티미디어 스트림의 형태로 멀티미디어 데이터를 변환하여 멀티미디어 데이터 처리 장치(MDPU, 106)로 전송한다.

그러면, 멀티미디어 데이터 처리 장치(MDPU, 106)가 스트림 형태의 멀티미디어 데이터를 처리하여 출력한다.

도 2 는 본 발명이 적용되는 디스크에 저장되어 있는 멀티미디어 데이터를 단위 패킷으로 나누어 전송하는 송신측 스트리밍 서비스 장치에 관한 구성예시도이다.

영상과 음성 2개의 멀티미디어 스트림을 실시간 전송할 때 두 개의 스트림을 한 개의 프리젠테이션으로 동기화하여 송신하는 송신측 스트리밍 서비스 장치(102)의 상세 모델이다.

비디오 스트림(201)에서 비디오 단위 프레임(202)으로 분할하고, 분할된 비디오 단위 프레임(202)에 비디오 단위 프레임 헤더정보(203)와 프레임 번호(204)를 덧붙여 전송 가능한 비디오 단위 패킷(205)을 생성한다. 이때, 비디오 단위 프레임 헤더정보(203)에는 해당 비디오 프레임의 정보가 담겨있고, 프레임 번호(204)에는 비디오 스트림(201)에서 비디오 단위 프레임(202)이 분할된 시점에서의 시간 정보를 프레임의 번호로 환산한 정보가 담겨있다. 생성된 비디오 단위 패킷은 송신측 소켓(103)에서 네트워크를 통해 전송된다.

비디오 스트림(201)에서 소켓(103)으로의 패킷 생성 과정을 통해 한개의 비디오 단위 패킷(205)이 전송 완료되면, 두 번째 멀티미디어 스트림인 오디오 스트림(211)을 오픈하여 오디오 단위 프레임(212)을 추출한다. 추출된 오디오 단위 프레임(212)에 오디오 단위 프레임 헤더정보(213)와 프레임 번호(214)를 덧붙여 오디오 단위 패킷(215)을 생성 후, 송신측 소켓(103)을 통해 네트워크로 전송한다. 이렇게 되면 두개의 멀티미디어 단위 패킷을 동기화시키면서 전송할 수 있다.

도 3 은 본 발명이 적용되는 단위 패킷을 수신하여 스트림으로 변환하는 수신측 스트리밍 서비스 장치에 관한 구성예시도로서, 수신측 스트리밍 서비스 장치(105)에서 수신된 데이터 패킷들을 스트림화시키는 과정을 보여준다.

수신측 소켓(104)에서 첫 번째 데이터 패킷을 수신한다. 수신된 데이터 패킷이 비디오 단위 패킷(301)이면 비디오 단위 프레임 헤더정보(303)와 프레임 번호(304) 및 비디오 단위 프레임(302)으로 분리하고, 비디오 단위 프레임(302)은 스트림 동기화 모듈(305)을 통해 동기화되며, 동기화된 비디오 단위 프레임(302)은 비디오 버퍼(Video Buffer, 306)에 저장된 후, 수신된 다중 멀티미디어 데이터의 프리젠테이션 동기화를 수행하는 모듈(309)로 전송되어 비디오 단위 프레임(302)과 오디오 단위 프레임(312)을 프리젠테이션 동기화시켜 멀티미디어 처리 장치(106)로 송신한다.

한정된 메모리의 비디오 버퍼(306)를 통해 원활하게 멀티미디어 데이터의 스트리밍 서비스를 하기 위해 두개의 흐름제어기(307, 308)를 사용하며 이 흐름제어기(307, 308)의 역할은 다음과 같다.

우선, 제1 흐름제어기(307)는 비디오 버퍼(306)가 모두 비디오 프레임으로 차버릴 경우 전송을 차단한다. 또한, 비디오 버퍼(306)가 비어있을 경우 제1 흐름제어기(307)에서 새로운 프레임을 요구하고, 동시에 제2 흐름제어기(308)에서는 프리젠테이션 동기화 모듈(309)로의 데이터 송신을 중단하는 흐름의 적절한 제어 역활을 한다.

수신측 소켓(104)을 통해 수신된 데이터 패킷이 오디오 단위 패킷(311)이면 이에 대한 처리 절차도 비디오 단위 패킷(301)의 처리와 같은 방법으로 오디오 단위 프레임(312)이 오디오 버퍼(Audio Buffer, 316)에 순차적으로 전송되고, 오디오 버퍼(316)에서는 수신된 다중 멀티미디어 데이터의 프리젠테이션 동기화를 수행하는 모듈(309)로 전송되어 비디오 단위 프레임(302)과 오디오 단위 프레임(312)을 프리젠테이션 동기화시켜 멀티미디어 데이터 처리 장치(MDPU, 106)로 송신한다.

도 4 는 본 발명이 적용되는 수신된 멀티미디어 단위 프레임을 순차적으로 배열하기 위한 스트림 동기화 모듈에 대한 상세 구성예시도이다.

도 4 의 스트림 동기화 모듈은 도 3 의 프레임 수신 과정 중에서 동일 종류의 멀티미디어 단위 프레임을 동기화시켜주는 스트림 동기화 모듈(305, 315)에 대한 상세한 구성 예시를 보여주고 있다.

스트림 동기화 모듈은, 멀티미디어 데이터 단위 패킷에서 분리된 프레임 번호(401)를 통해, 현재의 멀티미디어 단위 프레임이 이전에 수신된 멀티미디어 단위 프레임(402)의 다음 번에 생긴 것이면 바로 수신 스트림 버퍼(403)로 멀티미디어 단위 프레임을 전송하고, 수신된 프레임의 프레임 번호(401)가 이전에 수신된 멀티미디어 단위 프레임(402)의 다음 번에 생성된 멀티미디어 단위 프레임이 아니면 임시 저장버퍼(404)에 저장하였다가, 이전에 수신된 멀티미디어 단위 프레임(403)의 다음 번에 생성된 프레임이 수신된 후에 수신 스트림 버퍼(403)로 프레임을 전송하는 기능을 수행한다.

여기서, 수신 스트림 버퍼(403)는 도 3 에서의 비디오 버퍼(306)나 오디오 버퍼(316)에 해당한다. 프레임 번호(401)는 멀티미디어 데이터 스트림에서 멀티미디어 데이터 단위 프레임이 분할된 시점에서의 시간 정보를 프레임의 번호로 환산한 것이다.

도 5 는 본 발명이 적용되는 수신된 다중 멀티미디어 스트림의 프리젠테이션 동기화를 수행하는 모듈에 대한 상세 구성예시도로서, 프리젠테이션 동기화 모듈(309)을 통해 두개 이상의 멀티미디어 데이터 스트림을 서로 동기화시켜 일정한 흐름에 따라 제공될 수 있도록 한다.

비디오 버퍼(306)와 오디오 버퍼(316)로부터 각각의 비디오 프레임과 오디오 프레임을 받아들인 후, 프레임 비교모듈(501)에서 두 프레임의 시간을 기준으로 하는 프레임 번호를 비교하여, 같으면 프리젠테이션 동기화 버퍼(502)로 동기화된 프레임을 전송하고, 만약 값이 같지 않으면 프리젠테이션 임시버퍼(503)내에 저장된 프레임들 중에 같은 시간에 만들어진 것을 나타내는 프레임 번호를 가지는 프레임이 있는지를 검색한다. 만약 프리젠테이션 임시버퍼(503)에도 같은 생성 시간을 가지는 프레임이 존재하지 않으면 현재 프레임을 임시버퍼(503)에 저장하고 비디오 버퍼(306)와 오디오 버퍼(316)로부터 각각의 비디오 프레임과 오디오 프레임을 받아들여 프레임 번호가 같은지를 확인하는 과정부터 다시 수행한다.

프리젠테이션 임시버퍼(503)에 같은 프레임번호를 가지는 프레임이 존재한다면 이 프레임은 프리젠테이션 동기화 버퍼(502)로 전송된다.

일단 프리젠테이션 동기화 버퍼(502)로 전송된 프레임들은 프리젠테이션 동기화가 되어 있기 때문에 바로 멀티미디어 데이터 처리 장치(MDPU, 106)로 전송시켜 적절한 멀티미디어 처리를 수행하면 된다.

상기한 실시예에서는 멀티미디어 데이터인 비디오 데이터와 오디오 데이터에 한정하여 설명하였는데, 이는 하나의 프리젠테이션으로써 한 묶음인 다중의 데이터에 대해서도 적용할 수 있다.

도 6 은 본 발명에 따른 다중 멀티미디어 데이터 스트리밍 방법에 대한 일실시예 흐름도이다.

디스크(101)에 존재하는 하나의 프리젠테이션인 다중 멀티미디어 데이터에 대해 송신측 스트리밍 서비스 장치(102)에서 패킷으로 만들어서 송신측 소켓(103)을 통해 전송하고(601), 수신측 소켓(104)에서는 송신측 소켓(103)에서 전송된 멀티미디어 데이터를 수신한다(602).

수신된 멀티미디어 데이터 패킷 중 동일한 종류의 멀티미디어 데이터에 대해 순차적으로 배열한 후에(603), 다중의 멀티미디어 데이터에 대해 하나의 프리젠테이션으로 동기화하여(604) 연속적인 멀티미디어 스트림 형태로 멀티미디어 데이터 처리 장치(MDPU, 106)로 전송하여 하나의 프리젠테이션인 멀티미디어 데이터를 재생한다(605).

도 7 은 본 발명에 따른 다중 멀티미디어 데이터를 패킷화하여 전송하는 과정에 대한 일실시예 상세흐름도이다.

본 실시예에서는 비디오 스트림과 오디오 스트림이라는 두 개의 다중 멀티미디어 데이터 스트림에 대해 패킷화하여 전송하는 과정을 설명하고 있다.

먼저, 송신측 스트리밍 서비스 장치에서 일정한 시간에 따라 비디오 스트림을 프레임 단위로 분할한 후에(701), 그 분할된 비디오 단위 프레임에 프레임 헤더정보와 프레임 번호를 첨부하여(702) 비디오 단위 패킷을 생성한다. 또한 일정한 시간에 따라 오디오 스트림을 프레임 단위로 분할한 후에(703), 그 분할된 오디오 단위 프레임에 프레임 헤더 정보와 프레임 번호를 첨부하여(704), 오디오 단위 패킷을 생성한다. 이때, 다중의 멀티미디어 데이터 스트림을 단위 프레임으로 분할한 시점의 생성시간을 프레임 번호로 환산하여 첨부한다.

송신측 소켓(Socket)을 통해 하나의 비디오 단위 패킷과 오디오 단위 패킷을 네트워크로 전송하고(705, 706), 전송해야할 비디오와 오디오의 다중 멀티미디어 스트림이 남아 있는지를 확인한다(707).

전송해야할 다중 멀티미디어 스트림이 남아있는지를 확인한 결과, 전송해야할 다중 멀티미디어 스트림이 있으면, 일정시간에 따라 비디오 스트림을 프레임 단위로 분할하는 과정(701)부터 반복하여 수행한다.

전송해야할 다중 멀티미디어 스트림이 남아있는지를 확인한 결과, 전송해야할 다중 멀티미디어 스트림이 없으면, 다중 멀티미디어 데이터를 패킷화하여 전송하는 과정을 종료한다.

도 8a 및 도 8b 는 본 발명에 따른 동일종류의 멀티미디어 데이터에 대해 순차적으로 배열하는 과정에 대한 일실시예 상세흐름도이다.

수신측 소켓(104)에서 수신된 패킷이 비디오 패킷인지를 확인한다(801).

비디오 패킷인지를 확인한 결과, 비디오 단위 패킷이면 비디오 단위 프레임 헤더정보, 프레임 번호 및 비디오 단위 프레임으로 비디오 단위 패킷을분리하여(802), 비디오 스트림 동기화 모듈로 전송한다(803).

비디오 스트림 동기화 모듈에 수신된 비디오 프레임이 이전에 수신된 비디오 프레임의 다음 번에 생성된 프레임인지를 확인한다(804). 이는 비디오 단위 프레임이 스트림에서 분할된 시점에서의 시간 정보를 환산한 프레임 번호를 통해 확인할 수 있다.

이전에 수신된 비디오 프레임의 다음 번에 생성된 프레임인지를 확인한 결과, 다음 번에 생성된 프레임이면 비디오 프레임이 저장되는 비디오 버퍼가 완전히 채워져 있는지를 검사한다(805).

비디오 버퍼가 완전히 채워져 있는지를 검사한 결과, 비디오 버퍼가 완전히 채워져 있으면 일정 시간 대기 후 비디오 버퍼가 완전히 채워져 있는지를 검사하는 과정(805)부터 반복 수행한다.

비디오 버퍼가 완전히 채워져 있는지를 검사한 결과, 비디오 버퍼가 완전히 채워져 있지 않아 비디오 프레임을 저장할 수 있으면 비디오 버퍼로 현재 처리 중인 비디오 프레임을 전송하여 저장토록 하고(806), 수신측 소켓(104)에 수신된 패킷이 더 있는지를 검사한다(816). 검사 결과, 수신측 소켓(104)에 수신된 패킷이 없으면 동일 종류의 멀티미디어 데이터에 대해 순차적으로 배열하는 과정(603)을 종료하고, 수신된 패킷이 더 있으면, 수신된 패킷이 비디오 패킷인지를 확인하는 과정(801)부터 반복 수행한다.

이전에 수신된 비디오 프레임의 다음 번에 생성된 프레임인지를 확인한 결과, 다음 번에 생성된 프레임이 아니면 임시 저장공간에 처리중인 비디오 프레임을저장하고(807), 임시 저장공간에 이전에 수신된 비디오 프레임의 다음 번 프레임이 있는지를 판단한다(808).

이전에 수신된 비디오 프레임의 다음 번 프레임이 있는지를 판단한 결과, 임시 저장공간에 다음 번 프레임이 있으면 비디오 프레임이 저장되는 비디오 버퍼가 완전히 채워져 있는지를 검사하는 과정(805)부터 반복 수행한다.

이전에 수신된 비디오 프레임의 다음 번 프레임이 있는지를 판단한 결과, 임시 저장공간에 다음 번 프레임이 없으면 수신측 소켓(104)에 수신된 패킷이 더 있는지를 검사한다(816). 검사 결과, 수신측 소켓에 수신된 패킷이 없으면 동일 종류의 멀티미디어 데이터에 대해 순차적으로 배열하는 과정(603)을 종료하고, 검사 결과, 수신측 소켓에 수신된 패킷이 더 있으면, 수신된 패킷이 비디오 패킷이지를 확인하는 과정(801)부터 반복 수행한다.

수신측 소켓(104)에서 수신된 패킷이 비디오 패킷인지를 확인한 결과, 비디오 패킷이 아니라 오디오 패킷이면, 오디오 단위 프레임 헤더정보, 프레임 번호 및 오디오 단위 프레임으로 오디오 단위 패킷을 분리하여(809), 오디오 스트림 동기화 모듈로 전송한다(810).

오디오 스트림 동기화 모듈에 수신된 오디오 프레임이 이전에 수신된 오디오 프레임의 다음 번에 생성된 프레임인지를 확인한다(811). 이는 오디오 단위 프레임이 스트림에서 분할된 시점에서의 시간 정보를 환산한 프레임 번호를 통해 확인할 수 있다.

이전에 수신된 오디오 프레임의 다음 번에 생성된 프레임인지를 확인한 결과, 다음 번에 생성된 프레임이면 오디오 프레임이 저장되는 오디오 버퍼가 완전히 채워져 있는지를 검사한다(812).

오디오 버퍼가 완전히 채워져 있는지를 검사한 결과, 오디오 버퍼가 완전히 채워져 있으면 일정 시간 대기 후 오디오 버퍼가 완전히 채워져 있는지를 검사하는 과정(812)부터 반복 수행한다.

오디오 버퍼가 완전히 채워져 있는지를 검사한 결과, 오디오 버퍼가 완전히 채워져 있지 않아 오디오 프레임을 저장할 수 있으면 오디오 버퍼로 현재 처리 중인 오디오 프레임을 전송하여 저장토록 하고(813), 수신측 소켓(104)에 수신된 패킷이 더 있는지를 검사한다(816). 검사 결과, 수신측 소켓에 수신된 패킷이 없으면 동일 종류의 멀티미디어 데이터에 대해 순차적으로 배열하는 과정(603)을 종료하고, 검사 결과, 수신측 소켓에 수신된 패킷이 더 있으면, 수신된 패킷이 비디오 패킷인지를 확인하는 과정(801)부터 반복 수행한다.

이전에 수신된 오디오 프레임의 다음 번에 생성된 프레임인지를 확인한 결과, 다음 번에 생성된 프레임이 아니면 임시 저장공간에 처리중인 오디오 프레임을 저장하고(814), 임시 저장공간에 이전에 수신된 오디오 프레임의 다음 번 프레임이 있는지를 판단한다(815).

이전에 수신된 오디오 프레임의 다음 번 프레임이 있는지를 판단한 결과, 임시 저장공간에 다음 번 프레임이 있으면 오디오 프레임이 저장되는 오디오 버퍼가 완전히 채워져 있는지를 검사하는 과정(812)부터 반복 수행한다.

이전에 수신된 오디오 프레임의 다음 번 프레임이 있는지를 판단한 결과, 임시 저장공간에 다음 번 프레임이 없으면 수신측 소켓(104)에 수신된 패킷이 더 있는지를 검사한다(816). 검사 결과, 수신측 소켓에 수신된 패킷이 없으면 동일 종류의 멀티미디어 데이터에 대해 순차적으로 배열하는 과정(603)을 종료하고, 검사 결과, 수신측 소켓에 수신된 패킷이 더 있으면, 수신된 패킷이 비디오 패킷인지를 확인하는 과정(801)부터 반복 수행한다.

이와 같은 과정을 거쳐 수신측 소켓(104)에서 수신된 멀티미디어 데이터 중 동일한 멀티미디어 데이터에 대해서 순차적으로 배열하게 된다.

도 9 는 본 발명에 따른 다중의 멀티미디어 데이터에 대해 프리젠테이션 동기화를 수행하는 과정에 대한 일실시예 상세흐름도이다.

비디오 버퍼와 오디오 버퍼로부터 각각 비디오 프레임과 오디오 프레임을 수신하여 수신된 비디오 프레임과 오디오 프레임이 같은 시간에 생성된 것인지를 확인하기 위해 프레임 비교 모듈에서 프레임 번호를 비교한다(901).

프레임 번호를 비교한 결과, 생성시간이 같으면 프리젠테이션 동기화 버퍼로 비디오 프레임과 오디오 프레임을 전송하고(902), 수신된 프레임이 더 있는지를 검사한다(905).

프레임 번호를 비교한 결과, 비디오 버퍼와 오디오 버퍼로부터 받아들인 비디오 프레임과 오디오 프레임이 같은 생성 시간을 갖지 않으면, 스트림 임시버퍼 내에 저장된 프레임들 중에 같은 생성 시간을 갖는 프레임이 있는지를 검사한다(903).

프리젠테이션 임시버퍼에서 같은 생성 시간을 갖는 프레임이 있는지를 검사한 결과, 있으면 같은 생성 시간의 비디오 프레임과 오디오 프레임을 프리젠테이션 동기화 버퍼로 전송한다(902). 이때, 남은 비디오 프레임이나 오디오 프레임은 프리젠테이션 임시버퍼에 저장하여 같은 생성시간의 프레임이 들어오기를 기다린다.

프리젠테이션 임시버퍼에서 같은 생성 시간을 갖는 프레임이 있는지를 검사한 결과, 없으면 비디오 프레임과 오디오 프레임을 프리젠테이션 임시버퍼에 저장하여 같은 생성시간의 프레임이 들어오기를 기다린다(904).

프레임을 프리젠테이션 임시 버퍼에 저장하거나 프리젠테이션 동기화 버퍼로 전송한 후에는, 수신된 프레임이 더 있는지를 검사한다(905).

수신된 프레임이 더 있는지를 검사한 결과, 더 있으면 수신된 비디오 프레임과 오디오 프레임이 같은 시간에 생성된 것인지를 확인하기 위해 프레임 비교 모듈에서 프레임 번호를 비교하는 과정(901)부터 반복 수행한다.

수신된 프레임이 더 있는지를 검사한 결과, 없으면 다중의 멀티미디어 데이터에 대해 프리젠테이션 동기화를 수행하는 과정(604)을 종료한다.

프리젠테이션 임시버퍼에 멀티미디어 프레임을 저장하는 경우에는 비디오 프레임과 오디오 프레임 각각은 시간 순서에 따라 순차적으로 배열된 것이므로, 프리젠테이션 임시버퍼에서도 들어온 순서대로 순차적으로 관리하도록 하여 다중 멀티미디어 동기화가 수월하고 빠르게 진행되도록 한다.

이렇게 비디오 프레임과 오디오 프레임이 생성 시간을 동기화하여 프리젠테이션 동기화 버퍼로 전송되면, 프리젠테이션 동기화 버퍼에서는 멀티미디어 데이터 처리 장치(106)로 전송하여 적절한 멀티미디어 처리를 수행하게 된다.

이와 같이 함으로써, 두 개이상의 다중 멀티미디어 스트림이 한 개의 프리젠테이션으로 전송되었을 때, 다중 멀티미디어 스트림의 동기를 맞춰줄 수 있다.

상기한 실시예는 다중 멀티미디어 스트림 뿐만 아니라 다중 데이터의 동기화에서 행해질 수 있다.상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 멀티미디어 데이터 스트리밍 서비스 제공시에 다중의 멀티미디어 데이터를 동기화함으로써 여러 개의 멀티미디어 데이터를 동시에 전송할 수 있으며, 또한 동시에 여러 멀티미디어 데이터를 전송하면서 서로 다른 데이터간에 간섭을 일으키지 않고 멀티미디어 스트리밍 서비스를 제공할 수 있는 효과가 있다.

또한, 본 발명은, 네트워크를 통한 멀티미디어 데이터 전송에 있어서 기존의 방식인 동영상을 실시간에 전송하는 스트리밍 기법에 다중 멀티미디어 스트림 실시간 전송에 꼭 필요한 프리젠테이션 동기화모듈을 추가하여 더 발전시킴으로써, 두 개이상의 다중 멀티미디어 스트림이 한 개의 프리젠테이션으로 전송되었을 때 이 들의 동기를 맞춰줄 수 있으며, 또 전송시 오디오 프레임과 비디오 프레임을 한 개씩 엇갈려 전송함으로써 수신측에서 수신할 때 보다 개선된 스트림 구조를 전송받을 수 있도록 하는 효과가 있다.

또한, 본 발명은, 수신된 다중 데이터에 대해 동기화를 수행함으로써, 여러 종류가 한꺼번에 서비스되는 멀티미디어 서비스에 효과적으로 이용될 수 있을 뿐만 아니라 동일 종류의 다중 데이터의 전송에 있어서도 동기화가 요구되는 경우에 이를 적용할 수 있는 효과가 있다.

Claims

데이터 수신 시스템에 적용되는 다중 데이터 동기화 방법에 있어서,

소정의 크기로 분할하여 전송된 다중 데이터를 수신하여 그 생성 시간을 비교하는 제 1 단계;

상기 제 1 단계의 비교 결과, 같은 생성 시간을 갖는 다중 데이터가 아니면 저장 수단에서 같은 생성 시간의 데이터를 찾아 동기화를 구현하고, 생성 시간이 다른 데이터는 상기 저장 수단에 임시로 저장하는 제 2 단계; 및

상기 제 1 단계의 비교 결과, 같은 생성 시간을 갖는 다중 데이터이면 상기 다중 데이터에 대해 동기화를 구현하는 제 3 단계

를 포함하는 다중 데이터 동기화 방법.
제 1 항에 있어서,

상기 다중 데이터는,

하나의 프리젠테이션으로 표현되는 다중 데이터인 것을 특징으로 하는 다중 데이터 동기화 방법.
제 1 항 또는 제 2 항에 있어서,

상기 제 2 단계는,

수신된 상기 다중 데이터의 생성 시간을 비교한 결과, 생성 시간이 같지 않으면 상기 저장수단에 같은 생성시간을 갖는 데이터가 있는지를 확인하는 제 4 단계;

상기 제 4 단계의 확인 결과, 상기 저장수단에 같은 생성시간을 갖는 데이터가 있으면 같은 생성시간을 갖는 데이터에 대해 동기화를 구현하고, 남은 데이터는 상기 저장수단에 저장하는 제 5 단계; 및

상기 제 4 단계의 확인 결과, 상기 저장수단에 같은 생성시간을 갖는 데이터가 없으면, 수신된 상기 다중 데이터를 상기 저장수단에 저장하는 제 6 단계

를 포함하는 다중 데이터 동기화 방법.
데이터 수신 시스템에 적용되는 다중 멀티미디어 데이터 스트리밍 방법에 있어서,

동일 프리젠테이션으로의 전송을 위하여, 프레임 단위로 분할되어 패킷화된 다중의 멀티미디어 데이터를 수신하는 제 1 단계;

수신된 상기 다중의 멀티미디어 데이터 패킷으로부터 단위 프레임을 추출하여 동일 종류의 프레임에 대해 순차적으로 배열하는 제 2 단계; 및

순차적으로 배열된 다중의 멀티미디어 프레임에 대해 생성 시간을 기준으로 프리젠테이션 동기화를 수행하여 연속적으로 멀티미디어 스트림을 재생하는 제 3 단계

를 포함하는 다중 멀티미디어 데이터 스트리밍 방법.
제 4 항에 있어서,

상기 제 2 단계는,

수신된 상기 다중의 멀티미디어 데이터 패킷으로부터 단위 프레임, 헤더 정보 및 프레임 번호를 분리하는 제 4 단계;

상기 단위 프레임을 같은 종류의 멀티미디어 데이터를 처리하는 상기 스트림 동기화 모듈로 전송하는 제 5 단계;

상기 스트림 동기화 모듈에서 상기 단위 프레임을 생성시간을 기준으로 하는 프레임 번호에 따라 같은 종류의 멀티미디어 프레임을 순차적으로 배열하는 제 6 단계; 및

상기 배열된 프레임을 같은 종류의 프레임을 저장하는 버퍼로 전송하여 저장하는 제 7 단계

를 포함하는 다중 멀티미디어 데이터 스트리밍 방법.
제 5 항에 있어서,

상기 제 7 단계는,

상기 배열된 프레임을 같은 종류의 프레임을 저장하는 버퍼로 전송하기 위해 흐름 제어기가 상기 버퍼가 완전히 채워져 있는지를 확인하는 제 8 단계;

상기 제 8 단계의 확인 결과, 상기 버퍼가 완전히 채워져 있으면, 소정의 시간 동안 대기 후 상기 제 8 단계부터 반복 수행하는 제 9 단계; 및

상기 제 8 단계의 확인 결과, 상기 버퍼가 완전히 채워져 있지 않으면, 상기 버퍼로 상기 배열된 프레임을 전송하여 저장하는 제 10 단계

를 포함하는 다중 멀티미디어 데이터 스트리밍 방법.
제 4 항 내지 제 6 항 중 어느 한 항에 있어서,

상기 제 3 단계는,

프리젠테이션 동기화 수행 모듈에서 상기 다중의 멀티미디어 프레임을 각각 받아 동일한 생성시간을 갖는지를 비교하는 제 11 단계;

상기 제 11 단계의 비교 결과, 동일한 생성시간을 가지면 다중 멀티미디어 프레임을 프리젠테이션 동기화 버퍼로 전송해, 하나의 프리젠테이션으로써 연속적인 멀티미디어 스트림 재생이 가능하도록 하는 제 12 단계;

상기 제 11 단계의 비교 결과, 동일한 생성시간을 가지지 않으면 프리젠테이션 임시 버퍼에 같은 생성시간을 갖는 프레임이 있는지를 확인하는 제 13 단계;

상기 제 13 단계의 확인 결과, 같은 생성시간을 갖는 프레임이 없으면 수신된 각각의 상기 다중 멀티미디어 프레임을 상기 프리젠테이션 임시 버퍼에 저장하는 제 14 단계; 및

상기 제 13 단계의 확인 결과, 같은 생성시간을 갖는 프레임이 있으면 이를 같이 프리젠테이션 동기화 버퍼로 전송해, 하나의 프리젠테이션으로써 연속적인 멀티미디어 스트림 재생이 가능하도록 하는 제 15 단계

를 포함하는 다중 멀티미디어 데이터 스트리밍 방법.
대용량 프로세서를 구비한 데이터 수신 시스템에,

소정의 크기로 분할하여 전송된 다중 데이터를 수신하여 그 생성 시간을 비교하는 제 1 기능;

상기 제 1 기능의 비교 결과, 같은 생성 시간을 갖는 다중 데이터가 아니면 저장 수단에서 같은 생성 시간의 데이터를 찾아 동기화를 구현하고, 생성 시간이 다른 데이터는 상기 저장 수단에 임시로 저장하는 제 2 기능; 및

상기 제 1 기능의 비교 결과, 같은 생성 시간을 갖는 다중 데이터이면 상기 다중 데이터에 대해 동기화를 구현하는 제 3 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
대용량 프로세서를 구비한 데이터 수신 시스템에,

동일 프리젠테이션으로의 전송을 위하여, 프레임 단위로 분할되어 패킷화된 다중의 멀티미디어 데이터를 수신하는 제 1 기능;

수신된 상기 다중의 멀티미디어 데이터 패킷으로부터 단위 프레임을 추출하여 동일 종류의 프레임에 대해 순차적으로 배열하는 제 2 기능; 및

순차적으로 배열된 다중의 멀티미디어 프레임에 대해 생성 시간을 기준으로 프리젠테이션 동기화를 수행하여 연속적으로 멀티미디어 스트림을 재생하는 제 3 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
데이터 송신 시스템에 적용되는 다중 멀티미디어 데이터 스트리밍 방법에 있어서,

하나의 프리젠테이션으로써 전송하고자 하는 다중의 멀티미디어 데이터를 소정의 단위 시간마다 프레임 단위로 분할하는 제 1 단계;

상기 다중의 멀티미디어 데이터를 단위 프레임으로 분할한 시점의 생성시간을 프레임 번호로 환산하는 제 2 단계;

상기 단위 프레임에 헤더 정보와 프레임 번호를 첨부하여 패킷을 구성하는 제 3 단계; 및

상기 다중의 멀티미디어 데이터 프레임에 대해 종류별로 엇갈리게 멀티미디어 프레임을 네트워크를 통해 전송하는 제 4 단계

를 포함하는 다중 멀티미디어 데이터 스트리밍 방법.
대용량 프로세서를 구비한 데이터 송신 시스템에,

하나의 프리젠테이션으로써 전송하고자 하는 다중의 멀티미디어 데이터를 소정의 단위 시간마다 프레임 단위로 분할하는 제 1 기능;

상기 다중의 멀티미디어 데이터를 단위 프레임으로 분할한 시점의 생성시간을 프레임 번호로 환산하는 제 2 기능;

상기 단위 프레임에 헤더 정보와 프레임 번호를 첨부하여 패킷을 구성하는 제 3 기능; 및

상기 다중의 멀티미디어 데이터 프레임에 대해 종류별로 엇갈리게 멀티미디어 프레임을 네트워크를 통해 전송하는 제 4 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.