KR100606785B1 - 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법 - Google Patents

네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법 Download PDF

Info

Publication number
KR100606785B1
KR100606785B1 KR20040052619A KR20040052619A KR100606785B1 KR 100606785 B1 KR100606785 B1 KR 100606785B1 KR 20040052619 A KR20040052619 A KR 20040052619A KR 20040052619 A KR20040052619 A KR 20040052619A KR 100606785 B1 KR100606785 B1 KR 100606785B1
Authority
KR
South Korea
Prior art keywords
video
data
frame
video frame
identifier
Prior art date
Application number
KR20040052619A
Other languages
English (en)
Other versions
KR20060003651A (ko
Inventor
서광덕
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20040052619A priority Critical patent/KR100606785B1/ko
Priority to JP2005196897A priority patent/JP4820592B2/ja
Priority to US11/176,618 priority patent/US20060008254A1/en
Priority to EP20050014662 priority patent/EP1615422B1/en
Priority to CNB2005101038295A priority patent/CN100562121C/zh
Publication of KR20060003651A publication Critical patent/KR20060003651A/ko
Application granted granted Critical
Publication of KR100606785B1 publication Critical patent/KR100606785B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 원격 화상 회의 시스템, 원격 화상 교육 시스템 등과 같이 네트워크를 통하여 원격으로 서비스되는 멀티미디어 서비스 제공 시스템 상에서 화면을 통하여 동시에 사용자에게 제공되어야 하는 동영상 및 이미지 데이터를 효율적으로 동기화시킬 수 있는 방법에 관한 것이다. 본 발명에 따른 동영상 및 이미지 데이터의 동기화 방법은, 네트워크를 통한 원격 멀티미티어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 이미지 데이터를 동기화(synchronization)하는 방법에 있어서, 부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 이미지 프레임의 식별자(identifier)를 삽입하는 단계; 상기 동영상 프레임에, 상기 이미지 프레임의 식별자가 포함되었음을 지시하는 정보를 삽입하는 단계 및 상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계를 포함하여 구성됨을 특징으로 한다.
MPEG, JPEG, 동기화, 인터넷, 서버, 클라이언트

Description

네트워크를 통한 원격 멀티미디어 서비스 제공 시스템에서의 동영상 및 이미지 데이터의 동기화 방법{Synchronization method of video and iamge data in system for providing remote multimedia service through network}
도 1은 본 발명의 바람직한 일 실시예에서 서버측의 시스템 구성도임.
도 2는 본 발명의 바람직한 일 실시예에서 클라이언트측의 시스템 구성도임.
본 발명은 네트워크를 통한 원격 멀티미디어 서비스 제공 시스템에서의 동영상 및 이미지 데이터의 동기화 방법에 관한 것이다. 보다 구체적으로는, 원격 화상 회의 시스템, 원격 화상 교육 시스템 등과 같이 네트워크를 통하여 원격으로 서비스되는 멀티미디어 서비스 제공 시스템 상에서 화면을 통하여 동시에 사용자에게 제공되어야 하는 동영상 및 이미지 데이터와 같은 부가 정보를 효율적으로 동기화시킬 수 있는 방법에 관한 것이다.
종래의 원격 화상 교육 시스템에서는 일반적으로 H.261, H.263, MPEG 비디오와 오디오 신호만을 이용하여 교육이 진행되는 시스템이다. 강의자료 또는 강사와 강의자료를 동시에 포함한 이미지는 동영상을 통해 전송이 되고 음성은 오디오 부 호화를 거친 후 전달된다.
그러나, 강의 도중에 정보 전달이 필요한 강의자료 등은 컬러 정지 화상의 부호화·압축 방식 국제 표준인 JPEG 등을 이용하여 부호화하여 제공한 후 강의나 회의에 이용할 필요가 있다. 일반적으로 강의자료는 움직임이 거의 없는 텍스트 영상이므로 동영상 표준인 H.261, H.263, MPEG 등의 부호화 방식을 적용하는 것은 적합하지 않다. 따라서, 강의 자료인 텍스트 영상을 JPEG로 부호화하여 동영상 자료와 함께 원격 회의 또는 교육에 활용하면 회의 및 교육의 효율성이 증대될 수 있다.
본 발명은 상기한 바와 같은 필요성에 의해 안출된 것으로서, 본 발명의 목적은 원격 회의 또는 원격 교육 시스템 상에서 동영상과 정지 화상을 하나의 화면 상에서 동시에 디스플레이시켜 제공할 수 있는 네트워크를 통한 원격 멀티미디어 서비스 제공 시스템에서의 동영상 및 이미지 데이터의 동기화 방법을 제공하는 것이다.
발명의 개요
본 발명의 일 양상으로서, 본 발명에 따른 동영상 및 이미지 데이터의 동기화 방법은, 네트워크를 통한 원격 멀티미티어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 이미지 데이터를 동기화(synchronization)하는 방법에 있어서, 부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 이미지 프레임의 식별자(identifier)를 삽입하는 단계; 및 상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계를 포함하여 구성됨을 특징으로 한다.
본 발명의 다른 양상으로서, 본 발명에 따른 동영상 및 이미지 데이터의 동기화 방법은, 네트워크를 통한 원격 멀티미티어 서비스 제공 시스템의 클라이언트 측에서 동영상 및 이미지 데이터를 동기화하는 방법에 있어서, 동기화될 이미지 프레임 번호가 삽입된 특정 필드를 포함하는 동영상 프레임을 수신하는 단계; 및 상기 특정 필드에 삽입된 이미지 프레임 번호에 해당되는 이미지 프레임을 상기 동영상 프레임과 동기화시켜 디스플레이하는 단계를 포함하여 구성됨을 특징으로 한다.
본 발명의 또 다른 양상으로서, 본 발명에 따른 동영상 및 이미지 데이터의 동기화 방법은, 네트워크를 통한 원격 멀티미티어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 이미지 데이터를 동기화(synchronization)하는 방법에 있어서, 상기 서버에서 부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 이미지 프레임의 식별자(identifier)를 삽입하는 단계; 상기 서버가 상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계; 상기 클라이언트에서 동기화될 이미지 프레임의 식별자가 삽입된 특정 필드를 포함하는 동영상 프레임을 수신하는 단계; 및 상기 클라이언트에서 상기 특정 필드에 삽입된 이미지 프레임 식별자에 해당되는 이미지 프레임을 상기 동영상 프레임과 동기화시켜 디스플레이하는 단계를 포함하여 구성됨을 특징으로 한다.
본 발명의 또 다른 양상으로서, 본 발명에 따른 동영상 및 부가 정보의 동기화 방법은, 네트워크를 통한 원격 멀티미디어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 부가 정보 데이터를 동기화(synchronization)하는 방법에 있어서, 부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 부가 정보 데이터의 식별자(identifier)를 삽입하는 단계; 상기 동영상 프레임에, 상기 부가 정보 데이터의 식별자가 포함되었음을 지시하는 정보를 삽입하는 단계; 및 상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계를 포함하여 구성됨을 특징으로 한다.
본 발명의 또 다른 양상으로서, 본 발명에 따른 동영상 및 부가 정보의 동기화 방법은, 네트워크를 통한 원격 멀티미디어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 부가 정보 데이터를 동기화(synchronization)하는 방법에 있어서, 상기 서버에서, 부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 부가 정보 데이터의 식별자(identifier)를 삽입하는 단계; 상기 서버가, 상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계; 상기 클라이언트에서, 상기 동영상 프레임을 수신하는 단계; 및 상기 클라이언트에서, 상기 수신된 동영상 프레임에 포함된 부가 정보 데이터의 식별자에 해당되는 부가 정보 데이터를 상기 동영상 프레임과 동기화시켜 출력하는 단계를 포함하여 구성됨을 특징으로 한다.
실시예
이하에서는 본 발명에 따른 네트워크를 통한 원격 멀티미디어 서비스 제공 시스템에서의 동영상 및 이미지 데이터의 동기화 방법의 바람직한 실시예를 첨부된 도면을 참조하여 설명하도록 한다.
최근에 인터넷 관련 기술의 비약적인 발달로 큰 대역폭을 요구하는 멀티미디어 서비스가 가능하게 되었다. 이러한 멀티미디어 서비스들 중 가장 대표적인 것이 원격 강의 또는 회의 서비스이다. 원격 강의 또는 회의 서비스는 실시간성을 요구하는 대표적인 멀티미디어 서비스로 강의자와 수신자 간의 동영상의 실시간성 못지 않게, 상기 동영상 데이터와 이미지 데이터인 강의 자료와의 동기화(synchronization)가 매우 중요시 되는 서비스이다. 한편, 상기 강의 자료는 상기 동영상 데이터와 관련된 부가 정보 데이터라고도 할 수 있다. 즉, 상기 부가 정보 데이터는, 이미지 데이터 뿐만 아니라 상기 동영상 데이터와 관련된 기타 데이터일 수 있으나, 상기 이미지 데이터가 가장 대표적인 예일 것이다.
이하에서 설명되는 본 발명의 바람직한 일 실시예는 인터넷을 통한 원격 강의 시스템에서 서비스 제공자(서버)와 서비스 수신자(클라이언트)가 이미 이미지 데이터 형태의 동일한 강의 자료를 가지고 있다는 가정하에, 단일 스트림을 이용하여 이미지 데이터인 강의 자료와 동영상 데이터를 동기화시키는 방법에 관한 것이다. 이하의 실시예는 본 발명의 기술적 특징에 대한 이해의 편의를 돕기 위한 목적일 뿐이므로, 본 발명의 기술적 사상이 이에 한정되어 해석되어서는 아니될 것이다. 본 발명의 기술적 특징은 인터넷 뿐만 아니라 유선 또는 무선 네트워크 상에서 구현되는 다양한 형태의 멀터미디어 제공 서비스에 응용 가능함은 당업자에게 자명하다.
본 발명은 기존 방법들이 가지고 있던 실시간 전송시의 시스템 구성의 복잡 성, 화질 저하의 문제를 극복할 수 있을 뿐 아니라, 저장용 원격 강의 시스템의 응용에서도 저장을 위한 특별한 방법 없이 사용할 수 있는 알고리즘이다. 이하에서 설명되는 실시예에 있어서는 기본적으로 MPEG 스트림을 이용하여 강의자의 영상을 전송하고, 서버 및 클라이언트가 이미 동일한 이미지 데이터인 강의 자료를 가지고 있으며, 강의 자료는 JPEG으로 인코딩되어 있어서 JPEG 브라우저를 통해서 검색할 수 있는 환경이 구축되어 있음을 가정한다.
도1은 본 발명의 바람직한 일 실시예에 있어서 원격 강의 서비스 제공 서버측에서 동영상 데이터와 이미지 데이터 간의 동기화 제어 정보를 삽입하기 위한 시스템 구성의 일예를 도시한 것이다.
도1에서, 부호화기(encoder, 11)는 입력된 동영상 데이터를 인코딩하여 동영상 프레임을 출력한다. 제어 정보 생성부(15)는 상기 부호화된 동영상 프레임에 삽입할 동기화 제어 정보를 생성한다. 상기 동기화 제어 정보는 클라이언트측에서 동영상 프레임과 이미지 데이터를 동기화시키기 위한 정보를 말한다. 상기 동기화 제어 정보는 상기 동영상 프레임의 USER_DATA 필드에 포함시키는 것이 바람직하다.
USER_DATA 필드는 현재 가장 많이 사용되는 영상 부호화 표준인 MPEG-1, MPEG-2, MPEG-4 모두에 존재하는 구문(syntax)이다. 표1은 MPEG-4 비디오 표준에 포함되어 있는 USER_DATA 필드의 구문(systax) 구조이다.
Group_of_VideoObjectPlane(){ Number of bits Mnemonic
group_vop_start_code 32 bslbf
time_code 18
closed_gov 1 bslbf
broken_link 1 bslbf
Next_start_code()
while(next_bits()==user_data_start_code){
user_data()
}
}
표1에 보이는 user_data() 함수에 동기화 제어 정보를 포함시킬 수가 있다. 상기 동기화 제어 정보는 바람직하게는 현재 USER_DATA 필드를 포함한 동영상 프레임과 동기화가 이루어져야 하는 이미지 데이터인 강의 자료의 프레임 번호 등과 같이 상기 이미지 데이터를 식별할 수 있는 데이터를 의미한다. 상기 이미지 데이터는 JPEG 계열인 것이 바람직하다.
상기 동기화 제어 정보를 동영상 프레임에 삽입함에 있어서 상기 동영상 프레임에 USER_DATA(UD) 필드가 존재하는 것을 알려주는 정보로, 도1에 도시된 바와 같은, USER_DATA_START 코드(UDSC)를 먼저 상기 동영상 프레임에 삽입하는 것이 바람직하다.
MPEG의 USER_DATA 필드에 동기화 제어 정보를 다중화하게 되면, 원래의 MPEG 스트림 형식을 그대로 유지하면서 단일 스트림으로 동영상 데이터와 동기화 제어 정보를 동시에 전송할 수 있다. 다중화를 위해, 부호화기(11)에서는 동기화 제어 정보가 발생할 때마다 동영상 프레임에 USER_DATA_START 코드(UDSC)를 삽입한다. 그런 다음, 상기 USER DATA_START 코드 바로 뒤에 오는 USER_DATA 필드에 상기 동기화 제어 정보를 삽입하여 상기 동영상 프레임과 다중화한다. 다중화된 동영상 프레임은 UDP 소켓(17)을 통하여 클라이언트측으로 전송된다.
도2는 클라이언트측에서 USER_DATA 필드에 삽입된 동기화 제어 정보를 추출하여 동영상 데이터와 미리 저장하고 있는 이미지 데이터인 강의 자료를 동기화시키는 과정을 설명하기 위한 도면이다.
클라이언트는 UDP 소켓(21)을 통해 수신된 동영상 프레임 중에서 USER DATA_START 코드(UDSC)를 발견하면, 역다중화기(23)에서 그 뒤에 오는 USER_DATA 필드를 읽어내어 JPEG 브라우저(25)로 직접 전송한다. 상기 JPEG 브라우저(25)는 상기 USER_DATA 필드에 삽입된 동기화 제어 정보가 지시하는 이미지 데이터를 실행시키고, 클라이언트는 이미지와 동영상 데이터 간의 동기화 제어를 실시하여 디스플레이한다.
강의 자료와 동영상 스트림간의 동기화가 이루어지면 강의 자료와 강사의 음성을 포함한 오디오 신호는 자동적으로 동기화가 이루어진다. 이는 기존 시스템이 기본적으로 동영상과 오디오간의 동기화를 보장해 주기 때문이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명에 의한 네트워크를 통한 원격 멀티미디어 서비스 제공 시스템에서의 동영상 및 이미지 데이터의 동기화 방법은 다중화와 역다중화 방법이 하드웨어적으 로 2채널을 하나의 채널로 만드는 복잡한 과정이 아니라, 단순히 인코더와 디코더상에서 소프트웨어적으로 이루어지는 매우 간단한 과정이어서 시스템적으로 간단하고, 따라서, 실제 적용시에도 시스템 복잡도의 증가 없이 동영상 이미지 데이터를 동기화시킬 수 있는 효과가 있다.
또한, 본 발명에 따른 방법은 앞서 설명한대로 MPEG 표준 스트림 형식을 그대로 이용할 수 있기 때문에 기존의 원격 강의 시스템에 응용시 강의자 영상과 강의 자료 간의 동기화에 전혀 문제가 발생하지 않는다. 강의자가 위 알고리즘을 이용하여 강의 자료를 MPEG 스트림으로 구성하게 되면, 이 스트림 안에 강의 자료 동기화 제어 정보가 같이 저장된다. 따라서, 수신자가 이 스트림을 받아서 재생할 경우, 스트림안에 이미 제어 정보가 저장되어 있기 때문에, 상기 제어 정보만 역 다중화하여 강의 자료 브라우저로 전송하기만 하면 쉽게 강의 자료를 동기화 할 수 있는 효과가 있다.
또한, 동기화 제어를 위한 부가적인 프로토콜이나 채널의 사용없이 하나의 동영상 채널로 영상 데이터의 전송과 동기화 제어가 이루어지므로, 스트림과 채널의 효율성을 높일 수 있는 효과가 있다.

Claims (16)

  1. 네트워크를 통한 원격 멀티미티어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 이미지 데이터를 동기화(synchronization)하는 방법에 있어서,
    부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 이미지 프레임의 식별자(identifier)를 삽입하는 단계;
    상기 동영상 프레임에, 상기 이미지 프레임의 식별자가 포함되었음을 지시하는 정보를 삽입하는 단계; 및
    상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계를 포함하는 동영상 및 이미지 데이터의 동기화 방법.
  2. 제1항에 있어서,
    상기 동영상 프레임은 MPEG 계열이고, 상기 이미지 프레임은 JPEG 계열인 것을 특징으로 하는 동영상 및 이미지 데이터의 동기화 방법.
  3. 제2항에 있어서,
    상기 특정 필드는 USER_DATA 필드인 것을 특징으로 하는 동영상 및 이미지 데이터의 동기화 방법.
  4. 삭제
  5. 제4항에 있어서,
    상기 정보는 USER_DATA_START 코드(UDSC)인 것을 특징으로 하는 동영상 및 이미지 데이터 동기화 방법.
  6. 네트워크를 통한 원격 멀티미티어 서비스 제공 시스템의 클라이언트 측에서 동영상 및 이미지 데이터를 동기화하는 방법에 있어서,
    동기화될 이미지 프레임의 식별자가 삽입된 특정 필드를 포함하는 동영상 프레임을 수신하는 단계; 및
    상기 특정 필드에 삽입된 이미지 프레임 식별자에 해당되는 이미지 프레임을 상기 동영상 프레임과 동기화시켜 디스플레이하는 단계를 포함하는 동영상 및 이미지 데이터의 동기화 방법.
  7. 제6항에 있어서,
    상기 동영상 프레임은 MPEG 계열이고, 상기 이미지 프레임은 JPEG 계열인 것을 특징으로 하는 동영상 및 이미지 데이터의 동기화 방법.
  8. 제7항에 있어서,
    상기 특정 필드는 USER_DATA 필드인 것을 특징으로 하는 동영상 및 이미지 데이터의 동기화 방법.
  9. 네트워크를 통한 원격 멀티미티어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 이미지 데이터를 동기화(synchronization)하는 방법에 있어서,
    상기 서버에서 부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 이미지 프레임의 식별자(identifier)를 삽입하는 단계;
    상기 서버가 상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계;
    상기 클라이언트에서 동기화될 이미지 프레임의 식별자가 삽입된 특정 필드를 포함하는 동영상 프레임을 수신하는 단계; 및
    상기 클라이언트에서 상기 특정 필드에 삽입된 이미지 프레임 식별자에 해당되는 이미지 프레임을 상기 동영상 프레임과 동기화시켜 디스플레이하는 단계를 포함하는 동영상 및 이미지 데이터의 동기화 방법.
  10. 제9항에 있어서,
    상기 동영상 프레임은 MPEG 계열이고, 상기 이미지 프레임은 JPEG 계열인 것을 특징으로 하는 동영상 및 이미지 데이터의 동기화 방법.
  11. 제10항에 있어서,
    상기 특정 필드는 USER_DATA 필드인 것을 특징으로 하는 동영상 및 이미지 데이터의 동기화 방법.
  12. 제9항에 있어서,
    상기 이미지 프레임 식별자를 삽입하기 전에 상기 이미지 프레임 식별자가 포함되었음을 지시하는 정보를 삽입하는 단계를 더 포함하는 동영상 및 이미지 데이터의 동기화 방법.
  13. 제12항에 있어서,
    상기 정보는 USER_DATA_START 코드(UDSC)인 것을 특징으로 하는 동영상 및 이미지 데이터 동기화 방법.
  14. 네트워크를 통한 원격 멀티미디어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 부가 정보 데이터를 동기화(synchronization)하는 방법에 있어서,
    부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 부가 정보 데이터의 식별자(identifier)를 삽입하는 단계;
    상기 동영상 프레임에, 상기 부가 정보 데이터의 식별자가 포함되었음을 지시하는 정보를 삽입하는 단계; 및
    상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계를 포함하는 동영상 및 부가 정보의 동기화 방법.
  15. 네트워크를 통한 원격 멀티미디어 서비스를 제공하는 서버(server)와 상기 서버로부터 상기 서비스를 수신하는 클라이언트(client)로 구성된 시스템에서 동영상 데이터 및 부가 정보 데이터를 동기화(synchronization)하는 방법에 있어서,
    상기 서버에서, 부호화된 동영상 프레임의 특정 필드에 상기 동영상 프레임과 동기화시킬 부가 정보 데이터의 식별자(identifier)를 삽입하는 단계;
    상기 서버가, 상기 동영상 프레임을 상기 클라이언트측으로 전송하는 단계;
    상기 클라이언트에서, 상기 동영상 프레임을 수신하는 단계; 및
    상기 클라이언트에서, 상기 수신된 동영상 프레임에 포함된 부가 정보 데이터의 식별자에 해당되는 부가 정보 데이터를 상기 동영상 프레임과 동기화시켜 출력하는 단계를 포함하는 동영상 및 부가 정보의 동기화 방법.
  16. 제 15 항에 있어서,
    상기 서버에서, 상기 동영상 프레임에, 상기 부가 정보 데이터의 식별자가 포함되었음을 지시하는 정보를 삽입하는 단계를 더 포함하는 동영상 및 부가 정보의 동기화 방법.
KR20040052619A 2004-07-07 2004-07-07 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법 KR100606785B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR20040052619A KR100606785B1 (ko) 2004-07-07 2004-07-07 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
JP2005196897A JP4820592B2 (ja) 2004-07-07 2005-07-05 動映像ストリームに静止映像を同期化させる方法
US11/176,618 US20060008254A1 (en) 2004-07-07 2005-07-06 Method of synchronizing still picture with moving picture stream
EP20050014662 EP1615422B1 (en) 2004-07-07 2005-07-06 Method of synchronizing still picture with moving picture stream
CNB2005101038295A CN100562121C (zh) 2004-07-07 2005-07-07 使静止图像与运动图像流同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20040052619A KR100606785B1 (ko) 2004-07-07 2004-07-07 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법

Publications (2)

Publication Number Publication Date
KR20060003651A KR20060003651A (ko) 2006-01-11
KR100606785B1 true KR100606785B1 (ko) 2006-08-01

Family

ID=36081061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040052619A KR100606785B1 (ko) 2004-07-07 2004-07-07 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법

Country Status (5)

Country Link
US (1) US20060008254A1 (ko)
EP (1) EP1615422B1 (ko)
JP (1) JP4820592B2 (ko)
KR (1) KR100606785B1 (ko)
CN (1) CN100562121C (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170956A1 (en) 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US7782365B2 (en) * 2005-06-02 2010-08-24 Searete Llc Enhanced video/still image correlation
US20070109411A1 (en) * 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
US9451200B2 (en) * 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US8681225B2 (en) * 2005-06-02 2014-03-25 Royce A. Levien Storage access technique for captured data
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9093121B2 (en) 2006-02-28 2015-07-28 The Invention Science Fund I, Llc Data management of an audio data stream
US20070139529A1 (en) * 2005-06-02 2007-06-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US20070222865A1 (en) * 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US20070008326A1 (en) * 2005-06-02 2007-01-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9967424B2 (en) * 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US20060274153A1 (en) * 2005-06-02 2006-12-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Third party storage of captured data
US20070203595A1 (en) * 2006-02-28 2007-08-30 Searete Llc, A Limited Liability Corporation Data management of an audio data stream
KR101281786B1 (ko) * 2006-07-10 2013-07-04 엘지전자 주식회사 동영상 편집 기능을 갖는 이동통신단말기 및 그 동영상편집 방법
US10699469B2 (en) 2009-02-03 2020-06-30 Calgary Scientific Inc. Configurable depth-of-field raycaster for medical imaging
CA2715769A1 (en) 2009-09-25 2011-03-25 Calgary Scientific Inc. Level set segmentation of volume data
US10721506B2 (en) * 2011-06-29 2020-07-21 Calgary Scientific Inc. Method for cataloguing and accessing digital cinema frame content
KR20160033721A (ko) * 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01196980A (ja) * 1988-02-02 1989-08-08 Nippon Telegr & Teleph Corp <Ntt> 動画像と他メディアの同期方式
JPH05336517A (ja) * 1992-06-03 1993-12-17 Sharp Corp テレビ会議装置
JP3232243B2 (ja) * 1996-06-07 2001-11-26 株式会社エヌ・ティ・ティ・データ マルチメディアデータ伝送方法およびシステム
JPH10145760A (ja) * 1996-11-11 1998-05-29 Matsushita Electric Ind Co Ltd 画像通信装置
US20010056478A1 (en) * 1996-12-13 2001-12-27 Two Dog Net, Inc. Coordinated internet web site and web browser using a CD-ROM
US6587127B1 (en) * 1997-11-25 2003-07-01 Motorola, Inc. Content player method and server with user profile
US6907563B1 (en) * 1999-05-27 2005-06-14 International Business Machines Corporation System and method for composing heterogeneous media components into a unified environment for rich spatio-temporal hotlink authoring and action enablement in low-bandwidth presentations
JP2001189932A (ja) * 1999-12-28 2001-07-10 Toshiba Corp 画像伝送システムおよび画像伝送方法
US20010052133A1 (en) * 2000-04-12 2001-12-13 Lg Electronics Inc. Apparatus and method for providing and obtaining product information through a broadcast signal
US7526723B2 (en) * 2000-08-25 2009-04-28 Intellocity Usa Inc. System and method for emulating enhanced and interactive streaming media delivery
US20020078220A1 (en) * 2000-12-14 2002-06-20 Rhys Ryan System and method for content synchronization over a network
US7039723B2 (en) * 2001-08-31 2006-05-02 Hinnovation, Inc. On-line image processing and communication system
US7308001B2 (en) * 2001-11-16 2007-12-11 Computer Network Technology Corporation Fibre channel frame batching for IP transmission
US20030149983A1 (en) * 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
US7530084B2 (en) * 2002-05-28 2009-05-05 Sony Corporation Method and apparatus for synchronizing dynamic graphics
JP4096670B2 (ja) * 2002-09-19 2008-06-04 富士ゼロックス株式会社 画像再生システム

Also Published As

Publication number Publication date
CN1738438A (zh) 2006-02-22
EP1615422A1 (en) 2006-01-11
EP1615422B1 (en) 2012-06-20
JP2006025424A (ja) 2006-01-26
JP4820592B2 (ja) 2011-11-24
CN100562121C (zh) 2009-11-18
US20060008254A1 (en) 2006-01-12
KR20060003651A (ko) 2006-01-11

Similar Documents

Publication Publication Date Title
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
US5594736A (en) Image-information storage regenerating device
JP4296604B2 (ja) 符号化ストリームスプライシング装置及び方法、並びに符号化ストリーム生成装置及び方法
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
US7010032B1 (en) Moving image coding apparatus and decoding apparatus
US5453780A (en) Continous presence video signal combiner
EP2469853B1 (en) Method and device for processing video image data, system and terminal for video conference
CN100531298C (zh) 用于执行画中画功能的多媒体信号匹配系统和方法
JP2010505327A (ja) デジタル放送基盤の三次元静止映像サービス方法及び装置
JP2013179664A (ja) 放送データ送信方法およびその装置
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
KR20150083012A (ko) 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
CN102326403B (zh) 利用外部图片属性标记来加快频道改变时间
KR19990057100A (ko) 엠펙 디코더 및 디코딩 제어 방법
US20220182705A1 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
EP1230802B1 (en) Mpeg-4 video specific control packet for providing a customized set of coding tools
US11356683B2 (en) Creating different video stream representations
KR101745652B1 (ko) 복호 정보 고속 취득이 가능한 방송 송신기와 수신기 및 그 방법
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR101673184B1 (ko) Sdi 포맷의 영상신호 분리처리를 통한 ip 스위칭/라우팅 장치 및 그 방법
KR20170093637A (ko) 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
JPH09307826A (ja) 小画面生成装置及び番組情報伝送システム
Jameson Multimedia in the Teaching Space
JP2007318788A (ja) 情報伝送システムにおける復号化・逆多重化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140624

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150624

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160624

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170623

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee