KR20050056070A - 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법 - Google Patents

엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20050056070A
KR20050056070A KR1020030089159A KR20030089159A KR20050056070A KR 20050056070 A KR20050056070 A KR 20050056070A KR 1020030089159 A KR1020030089159 A KR 1020030089159A KR 20030089159 A KR20030089159 A KR 20030089159A KR 20050056070 A KR20050056070 A KR 20050056070A
Authority
KR
South Korea
Prior art keywords
video
mpeg
object descriptor
image
descriptor
Prior art date
Application number
KR1020030089159A
Other languages
English (en)
Other versions
KR100576544B1 (ko
Inventor
윤국진
조숙희
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030089159A priority Critical patent/KR100576544B1/ko
Priority to AU2003289588A priority patent/AU2003289588A1/en
Priority to PCT/KR2003/002922 priority patent/WO2005057932A1/en
Priority to EP03781081A priority patent/EP1692871A4/en
Priority to US10/582,429 priority patent/US8023560B2/en
Publication of KR20050056070A publication Critical patent/KR20050056070A/ko
Application granted granted Critical
Publication of KR100576544B1 publication Critical patent/KR100576544B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 3차원 동영상의 객체기술자 구조를 제안하여 엠펙-4(MPEG-4) 객체기술자와 호환성을 유지하면서 3차원 동영상의 종류, 시점수, 미디어 스트림 개수, 다수의 디스플레이 방식에 대한 정보를 포함한 객체기술자를 클라이언트측에 제공함으로써, 엠펙-4(MPEG-4) 기반 시스템에서 현실감 및 입체감을 즐길 수 있는 3차원 동영상 서비스를 원활히 지원할 수 있는 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치 및 그 방법을 제공하고자 함.
3. 발명의 해결 방법의 요지
본 발명은, 3차원 동영상 처리 장치에 있어서, 소정의 영상 획득 장치를 통해 획득된 동영상을 저장하기 위한 저장수단; 상기 저장수단으로부터 전송된 영상에 대하여 사이즈 및 컬러변환을 수행하기 위한 3차원 동영상 생성수단; 엠펙-4(MPEG-4) 객체기술자와 장면기술자를 생성하기 위한 엠펙-4 제어신호 생성수단; 상기 3차원 동영상 생성수단과 엠펙-4 제어신호 생성수단으로부터 입력되는 3차원 동영상과 엠펙-4 제어신호를 엠펙-4 및 부호화 기법을 통해 부호화하여, 각각의 부호화 스트림(ES)을 출력하기 위한 부호화수단; 상기 부호화수단에서 출력되는 부호화 스트림의 미디어 데이터와 미디어에 대한 엠펙-4 제어신호를 입력받아, 엠펙-4 시스템 규격에 맞게 MP4 파일을 생성하기 위한 MP4 파일 생성수단; 상기 MP4 파일 생성수단에서 생성된 MP4 파일내 저장되어 있는 3차원 동영상 미디어 스트림과 엠펙-4 제어신호를 추출하여, 엠펙-4 시스템 규격에 맞게 패킷을 생성/전송하기 위한 패킷타이징수단; 상기 패킷타이징수단에서 전송된 패킷스트림을 입력받아, 헤더와 페이로드로 구성된 3차원 동영상 데이터를 복원하기 위한 디패킷타이징수단; 상기 디패킷타이징수단에서 복원된 데이터를 복호화하여, 3차원 동영상을 복원하기 위한 복호화수단; 및 상기 복호화수단에서 복원된 영상을 디스플레이하기 위한 디스플레이수단을 포함함.
4. 발명의 중요한 용도
본 발명은 엠펙-4(MPEG-4) 기반의 서버와 클라이언트 모델을 통한 3차원 동영상을 처리하는 모든 시스템에 이용됨.

Description

엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치 및 그 방법{Apparatus and Method for Processing of 3D Video using MPEG-4 Object Descriptor Information}
본 발명은 엠펙-4(MPEG-4) 객체기술자(OD: Object Descriptor) 구조를 토대로 3차원 동영상 종류, 다양한 디스플레이 방식 및 시점수 등과 같은 새롭게 요구되는 정보를 추가한 3차원 동영상 객체기술자를 정의하여 상기 정의된 3차원 객체기술자에 의해 클라이언트가 3차원 동영상에 대한 정보를 제공함으로써 사용자가 원하는 디스플레이 방식 및 시점을 선택하여 감상할 수 있도록 하기 위한, 엠펙-4(MPEG-4) 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치 및 그 방법과 상기 방법에 관한 것이다.
엠펙-4(MPEG-4)에서는 객체의 표현을 위한 정보들은 복수개의 기초스트림(ES : Elementary Stream)을 통하여 전송한다. 그리고, 이러한 각 기초스트림(ES)간의 상호관계 및 링크의 구성 정보는 엠펙-4(MPEG-4)에서 정의하고 있는 객체기술자에 의해 전송되어진다.
엠펙-4(MPEG-4) 기반으로 장면을 구성하기 위해서는 일반적으로 초기객체기술자(IOD: Initial Object Descriptor), 장면기술자(BIFS : Binary Format for Scene), 객체기술자 및 미디어 데이터들이 필요하다.
초기객체기술자(IOD)는 엠펙-4(MPEG-4) 장면을 구성하기 위해 가장 먼저 전송되어야 하는 정보로, 각 미디어의 프로파일과 레벨을 기술하고, 장면기술자(BIFS) 스트림과 객체기술자 스트림에 대한 기초스트림기술자(ES-Descriptor)를 포함한다.
객체기술자는 장면을 구성하는 각 미디어 데이터에 대한 정보를 기술하는 기초스트림기술자들의 집합으로써, 각 미디어 데이터의 기초스트림(ES)과 장면기술과의 연결을 제공한다. 또한, 장면기술자(BIFS) 스트림은 장면을 구성하는 비디오 또는 오디오 객체의 공간적/시간적 위치와 행위를 나타내는 정보이다.
현재, 엠펙-4(MPEG-4) 객체기술자는 2차원 동영상 처리에 초점을 맞추어 정의됨으로서, 현실감 및 입체감이 떨어지는 2차원 디스플레이 방식만을 서비스하고 있어, 사용자는 제한적인 서비스를 받고 있다. 또한, 급증하고 있는 3차원 동영상에 대한 연구 및 관심으로 인해 스포츠 중계, 광고, 교육, 의료, 게임 등과 같은 많은 응용분야에서 3차원 동영상을 사용하고 있으나, 엠펙-4(MPEG-4) 객체기술자와 호환성을 유지하면서 3차원 동영상의 종류, 디스플레이 방식 등과 같은 새롭게 요구되는 정보를 포함하는 객체기술자 구조는 소개된 바 없다.
즉, 3차원 동영상은 컴퓨터 및 통신기술의 발달로 인해 다양한 응용분야에서 활발히 이용되고 있으며, 또한 기존 2차원 동영상보다 현실감 및 보다 넓은 시각을 포함하고 있어, 사용자가 원하는 시점 및 보다 다양한 디스플레이 방식을 통하여 영상을 감상할 수 있는 장점을 가진다. 그러나, 현재 엠펙-4(MPEG-4)는 장면을 구성함에 있어, 2차원 동영상 및 텍스트 데이터, CG(Computer Graphics)처리에 초점을 맞추고 있어 카메라를 통해 들어온 3차원 실사 동영상에 대한 처리는 서비스하지 못하고 있으며, 결과적으로 엠펙-4(MPEG-4) 기반으로 3차원 동영상의 전송 및 디스플레이에 대한 한계성을 극복하지 못하는 문제점이 있었다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 3차원 동영상의 객체기술자 구조를 제안하여 엠펙-4(MPEG-4) 객체기술자와 호환성을 유지하면서 3차원 동영상의 종류, 시점수, 미디어 스트림 개수, 다수의 디스플레이 방식에 대한 정보를 포함한 객체기술자를 클라이언트측에 제공함으로써, 엠펙-4(MPEG-4) 기반 시스템에서 현실감 및 입체감을 즐길 수 있는 3차원 동영상 서비스를 원활히 지원할 수 있는 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 장치는, 3차원 동영상 처리 장치에 있어서, 소정의 영상 획득 장치를 통해 획득된 동영상을 저장하기 위한 저장수단; 상기 저장수단으로부터 전송된 영상에 대하여 사이즈 및 컬러변환을 수행하기 위한 3차원 동영상 생성수단; 엠펙-4(MPEG-4) 객체기술자와 장면기술자를 생성하기 위한 엠펙-4 제어신호 생성수단; 상기 3차원 동영상 생성수단과 엠펙-4 제어신호 생성수단으로부터 입력되는 3차원 동영상과 엠펙-4 제어신호를 엠펙-4 및 부호화 기법을 통해 부호화하여, 각각의 부호화 스트림(ES)을 출력하기 위한 부호화수단; 상기 부호화수단에서 출력되는 부호화 스트림의 미디어 데이터와 미디어에 대한 엠펙-4 제어신호를 입력받아, 엠펙-4 시스템 규격에 맞게 MP4 파일을 생성하기 위한 MP4 파일 생성수단; 상기 MP4 파일 생성수단에서 생성된 MP4 파일내 저장되어 있는 3차원 동영상 미디어 스트림과 엠펙-4 제어신호를 추출하여, 엠펙-4 시스템 규격에 맞게 패킷을 생성/전송하기 위한 패킷타이징수단; 상기 패킷타이징수단에서 전송된 패킷스트림을 입력받아, 헤더와 페이로드로 구성된 3차원 동영상 데이터를 복원하기 위한 디패킷타이징수단; 상기 디패킷타이징수단에서 복원된 데이터를 복호화하여, 3차원 동영상을 복원하기 위한 복호화수단; 및 상기 복호화수단에서 복원된 영상을 디스플레이하기 위한 디스플레이수단을 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 동영상 처리 장치에 적용되는 3차원 동영상 처리방법에 있어서, 3차원 동영상 전송 서버가 클라이언트로부터 접속요청이 있는지를 판단하는 제 1 단계; 상기 제 1 단계의 판단 결과, 접속요청이 없으면 대기상태를 유지하며, 접속요청이 있으면 상기 서버로부터 초기 객체기술자를 클라이언트로 전송하고, 3차원 동영상 서비스를 위한 세션을 설정하는 제 2 단계; 상기 서버가 상기 클라이언트로부터 객체기술자/장면기술자를 요청받아, 엠펙-4(MPEG-4) 객체기술자/장면기술자를 전송하는 제 3 단계; 및 상기 서버가 3차원 동영상 데이터 전송을 위한 채널을 설정하고, 상기 클라이언트로부터 3차원 동영상 데이터 요청을 받아 3차원 동영상 데이터를 전송하여, 상기 클라이언트가 3차원 동영상 데이터 복원 및 디스플레이를 수행하는 제 4 단계를 포함하는 것을 특징으로 한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 일반적인 엠펙-4(MPEG-4)의 객체기술자의 구조 및 구성요소를 나타내는 일실시예 설명도이다.
엠펙-4(MPEG-4)는 장면을 구성하기 위하여 일반적으로 초기객체기술자, 장면기술자, 객체기술자, 미디어 데이터들이 필요하다. 특히, 3차원 동영상을 지원하기 위해서는 3차원 동영상의 기초스트림에 대한 정보를 기술하는 3차원 동영상의 객체기술자에 대하여 알아야 한다.
상기 객체기술자는 장면기술에 사용되는 오디오/비주얼 객체에 대한 기초스트림을 식별, 기술, 연결시켜주는 기초스트림 기술자(ES Descriptor)들의 조합이다.
도면에서, 태그(TAG)=0x01(110)은 엠펙-4(MPEG-4) 기술자중 객체기술자임을 나타내며, 항상 고유의 값을 가진다.
길이 필드(length field)(120)는 객체기술자의 길이를 나타낸다.
오브젝트 기술자아이디(Object DescriptorID)(130)는 객체기술자의 식별값을 나타내며, "0"값은 허용하지 않는다.
유알엘_플래그(URL_Flag)(140)는 이후 유알엘스트링(URLstring)(162)이 존재한다는 것을 나타낸다.
예약(Reserved)=1111.1(150)는 예약된 비트를 나타낸다.
옵션 필드(Optional Fields)(160)는 선택영역을 나타내며, 옵션 필드(Optional Fields)(160)내에는 유알엘길이(URLlength)(161), 유알엘스트링(URLstring)(162), "esDescr[]"(163), "ociDescr[]"(164), "ipmpDescrPtr[]"(165)를 포함하고 있다.
먼저, 유알엘길이(URLlength)(161)는 유알엘스트링(URLstring)(162)의 바이트 길이를 나타낸다.
유알엘스트링(URLstring)(162)은 다른 객체기술자를 나타낸다.
"esDescr[]"(163)는 각 오디오/비주얼 기초스트림에 대한 정보를 나타낸다. 즉, 각각의 미디어 스트림에 대하여 기초스트림 기술자를 가지며, 실제로 클라이언트는 이 디스크립터를 통하여 미디어 스트림에 대한 정보를 획득한다.
"ociDescr[]"(164)는 저자 및 키워드 등 대응되는 객체기술자의 부가정보를 나타낸다.
"ipmpDescrPtr[]"(165)은 IPMP(Intellectual Property Management and Protection) 데이터가 포함되어 있는 "IPMP_Descriptor"들을 가르키는 포인터를 나타낸다. IPMP(Intellectual Property Management and Protection)는 각 기초스트림의 보호를 위하여 사용된다.
"extDescr"(170)는 확장기술자(Extension Descriptor)로서, 미래에 사용될 수 있는 부가적인 기술자들을 위하여 정의된 것으로, 사용자에 의해 정의될 수 있다.
한편, 클라이언트는 전송된 객체기술자를 분석하여 각 객체별 특징 및 미디어 간의 상관관계 정보 등을 획득한다. 그러나, 이러한 객체기술자는 2차원 동영상, 정지영상, 오디오, 텍스트, CG(Computer Graphics) 등 2차원 디스플레이 방식에 초점을 맞춤으로써, 카메라로부터 획득된 2시점 이상의 3 차원 동영상에 대한 정보를 표현하기에는 한계가 있다.
도 2 는 일반적인 양안식 3차원 동영상에 대한 디스플레이 방식을 설명하기 위한 일실시예 설명도이다.
3차원 동영상의 경우, 카메라의 수 및 배치에 따라 양안식 또는 다시점 3차원 동영상이 획득되어 진다. 또한, 그 특성상 기존 2차원 동영상과는 달리 다양한 디스플레이 방식이 가능하다.
양안식 3차원 동영상은 두 개의 시점을 포함하고 있고, 기본적으로 필드셔터링/프레임셔터링/편광 디스플레이 방식으로 영상을 감상할 수 있으며, 2차원 디스플레이 방식으로도 영상을 감상할 수 있다.
필드셔터링 방식은 같은 T시간에 좌영상의 홀수필드와 우영상의 짝수필드 영상을 하나의 프레임으로 재조합하는 방식이다.
프레임셔터링 방식은 좌영상과 우영상을 각각 T와 T+1 시간간격을 두고 디스플레이하는 방식이다.
편광방식은 동일한 T시간에 좌우영상을 겹쳐서 디스플레이하는 방식이다.
2차원 디스플레이 방식은 좌우영상 중 한 시점의 영상을 디스플레이하는 방식이다.
도 3 은 일반적인 다시점 3차원 동영상에 대한 디스플레이 방식을 설명하기 위한 일실시예 설명도로서, 스테레오 카메라 간격을 유지할 경우를 나타낸다.
다시점 3차원 동영상은 3개 이상의 시점을 포함하고 있고, 기본적으로 2차원/파노라마 디스플레이 방식을 지원하며, 만일 카메라 간격이 일반적인 스테레오카메라 간격을 유지할 경우 스테레오 디스플레이 방식인 필드셔터링/프레임셔터링/편광/2차원 디스플레이 방식을 지원한다.
파노라마 디스플레이 방식은 카메라를 통해 획득된 영상을 토대로 영상의 중복성을 제거한 후 모든 시점의 영상을 보여주는 방식으로 보다 넓은 시각을 제공한다.
도 4 는 일반적인 다시점 3차원 동영상에 대한 디스플레이 방식을 설명하기 위한 다른 실시예 설명도로서, 스테레오 카메라 간격을 유지하지 않을 경우를 나타낸다.
다시점 3차원 동영상은 3개 이상의 시점을 포함하고 있고, 기본적으로 2차원/파노라마 디스플레이 방식을 지원한다.
도 5 는 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치 및 그 방법에 대한 일실시예 설명도로서, 3차원 동영상을 처리 및 표현하기 위하여 객체기술자에 포함되는 정보 및 구조를 나타낸다.
본 발명은 엠펙-4(MPEG-4) 기반으로 3차원 동영상 전송 및 표현을 위한 3차원 객체기술자 구조에 관한 것으로, 기존 2차원 동영상 처리를 중심으로 정의되어 있는 엠펙-4(MPEG-4) 객체기술자 구조를 토대로 새롭게 요구되는 정보를 포함하여 엠펙-4(MPEG-4) 시스템 기반에서 3차원 동영상 처리가 원활히 수행되도록 한다.
여기서, 정보는 객체기술자내에 새로운 구성요소로서 추가되거나 객체기술자내에 확장기술자 부분에 새로운 기술자로서 포함된다.
오브젝트타입(ObjectType) 필드(501)는 1비트로서, 카메라수 및 배치에 따라 획득된 3차원 동영상의 종류를 나타낸다. 즉, "0"일 경우 양안식 3차원 동영상을 나타내며, "1"일 경우 다시점 3차원 동영상을 나타낸다.
뷰포인트넘버(NumberofViewpoint) 필드(502)는 10비트로서, 3차원 동영상의 시점수를 나타내며, 최대 1024시점까지 지원한다.
따라서, 클라이언트는 전송된 객체기술자에 포함된 오브젝트타입(ObjectType) 필드(501) 및 뷰포인트넘버(NumberofViewpoint) 필드(502)에 의해 3차원 동영상의 종류 및 시점수를 알게 된다.
스트림채널플래그(StreamChannelFlag) 필드(503)는 1비트로서, 시점에 따른 미디어 스트림 개수를 나타낸다. 즉, "0"일 경우 각 시점수에 따른 미디어의 기초스트림이 존재하며, "1"일 경우 각 시점에 대한 미디어의 기초스트림이 다중화되어 하나의 스트림으로 존재한다.
옵션 필드(Optionalfields)(504)의 스테레오디스플레이타입(StereoDisplayType) 필드(505)는 2비트로서, 오브젝트타입(ObjectType)=0일 경우 활성화되며, 양안식 3차원 동영상의 디스플레이 방식을 나타낸다. 즉, "00"일 경우 필드셔터링, "01"일 경우 프레임 셔터링, "10"일 경우 편광, "11"일 경우 2차원 디스플레이 방식을 나타낸다.
멀티뷰디스플레이타입(MultiviewDisplayType) 필드(506)는 2 비트로서, 오브젝트타입(ObjectType)=1(501)일 경우 활성화되며, 다시점 3차원 동영상의 디스플레이 방식을 나타낸다. 즉, "00"일 경우 파노라마 디스플레이 방식을 나타내며, "01"일 경우 단지 한 시점의 영상만을 전송하여 디스플레이하는 2차원 디스플레이 방식을 나타내며, "10"일 경우 스테레오 디스플레이 방식을 나타내며, "11"일 경우는 예약(Reserved)된 상태를 나타낸다.
상기 도 3에서 보듯이, 카메라 간격이 스테레오 간격 또는 인간의 양안 거리 간격에 의하여 획득된 다시점 3차원 동영상에 대해서만 스테레오 디스플레이 방식이 활성화된다.
스테레오 디스플레이 방식이 활성화될 경우, 모든 시점의 영상을 디스플레이하지 않고 상기 도 3과 같이 2개 시점의 영상만을 전송하여 디스플레이하며, 클라이언트는 전송된 객체기술자를 분석하여 스테레오 디스플레이가 가능한 시점을 서버에게 요구한다. 또한, 스테레오 디스플레이 방식이 활성화될 경우, 디스플레이 방식은 스테레오디스플레이타입(StereoDisplayType)(505) 정보를 따른다.
즉, 본 발명은 3차원 동영상의 객체기술자 구조를 위하여 카메라를 통해 입력되는 영상이 양안식(2시점) 또는 다시점(3시점이상) 3차원 동영상인지를 표현하기 위한 오브젝트타입(ObjectType) 정보, 카메라 수 또는 입력되는 영상의 시점수를 나타내는 뷰포인트넘버(NumberofViewpoint) 정보, 시점에 따른 미디어 스트림 개수를 나타내는 스트림채널플래그(StreamChannelFlag) 정보, 양안식 3차원 동영상에 대하여 2차원/필드셔터링/프레임셔터링/편광 디스플레이 방식을 나타내는 스테레오디스플레이타입(StereoDisplayType) 정보, 다시점 3차원 동영상에 대하여 파노라마/스테레오 디스플레이 방식을 나타내는 멀티뷰디스플레이타입(MultiviewDisplayType) 정보가 요구되며, 이러한 정보를 객체기술자에 포함되도록 정의한다.
도 6 은 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치의 일실시예 구성도이다.
도 6에 도시된 바와 같이, 본 발명에 따른 3차원 동영상 처리 장치는, 카메라를 통해 획득된 동영상을 저장하는 저장장치(601), 상기 저장장치(601)로부터 전송된 영상에 대하여 사이즈 및 컬러변환을 수행하는 3차원 동영상 생성모듈(602), 엠펙-4 객체기술자와 장면기술자를 생성하는 엠펙-4 제어신호 생성 모듈(603), 상기 3차원 동영상 생성 모듈(602)과 엠펙-4 제어신호 생성 모듈(603)로부터 입력되는 3차원 동영상 및 엠펙-4 제어신호를 엠펙-4 및 기존 부호화 기법을 통하여 부호화하고, 각각 부호화 스트림(ES : Elementary Stream)을 출력하는 부호화 모듈(604), 상기 부호화 모듈(604)에서 출력되는 부호화 스트림의 미디어 데이터 및 미디어에 대한 엠펙-4 제어신호를 입력받아 엠펙-4 시스템 규격에 정의된 MP4 파일을 생성하는 MP4 파일 생성 모듈(605), 상기 MP4 파일 생성 모듈(605)에서 생성된 MP4 파일 내 저장되어 있는 3차원 동영상 미디어 스트림 및 엠펙-4 제어 신호를 추출하여 엠펙-4 시스템 규격에 정의된 패킷을 생성 및 전송하는 패킷 타이징 모듈(606), 상기 패킷 타이징 모듈(606)에서 전송된 패킷스트림을 전송하는 네트워크(610), 상기 네트워크(610)를 통해 전송된 패킷스트림을 입력받아 헤더와 페이로드로 구성된 3차원 동영상 데이터를 복원하는 디패킷타이징 모듈(621), 상기 디패킷타이징 모듈(621)에서 복원된 데이터를 복호화하여 3차원 동영상을 복원하는 복호화 모듈(622), 그리고 상기 복호화 모듈(622)에서 복원된 영상을 디스플레이하는 디스플레이 모듈(623)을 포함한다.
상기 3차원 동영상 생성 모듈(602)은 카메라 및 저장장치(601)를 통하여 3차원 동영상을 획득 및 생성하는 모듈로서, 획득된 영상에 대하여 사이즈 및 컬러변환을 수행한다.
엠펙-4 제어신호 생성 모듈(603)은 엠펙-4 객체기술자와 장면기술자를 생성하는 모듈로서, 객체기술자는 각 영상간의 상호관계 및 링크의 구성정보를 포함한다. 이때, 기존 객체기술자와 호환성을 유지하면서 3차원 동영상에 대한 새롭게 요구되는 정보를 포함하는 객체기술자를 생성한다.
부호화 모듈(604)은 입력되는 3차원 동영상 및 엠펙-4 제어신호를 엠펙-4 및 기존 부호화 기법을 통하여 부호화하고, 각각 부호화 스트림(ES : Elementary Stream)을 출력한다.
MP4 파일 생성 모듈(605)은 부호화 모듈(604)로부터 출력되는 부호화 스트림의 미디어 데이터 및 미디어에 대한 엠펙-4 제어신호를 입력받아 엠펙-4 시스템 규격에 정의된 MP4 파일을 생성한다.
패킷타이징 모듈(606)은 MP4 파일 내 저장되어 있는 3차원 동영상 미디어 스트림 및 엠펙-4 제어 신호를 추출하여 엠펙-4 시스템 규격에 정의된 패킷을 생성 및 전송한다.
디패킷타이징 모듈(621)은 네트워크(610)를 통해 전송된 패킷스트림을 입력받아 헤더와 페이로드로 구성된 3차원 동영상 데이터를 복원하고, 이를 복호화하는 복호화 모듈(622)로 전송한다.
복호화 모듈(622)은 클라이언트의 시스템 환경 및 사용자 선택의 디스플레이 방식에 따라 3차원 동영상을 복원한다.
디스플레이 모듈(623)은 복원된 영상을 디스플레이하는 모듈로써, 사용자는 3차원 동영상을 감상할 수 있고, 기본 사용자 조작을 통한 사용자 인터페이스를 제공한다. 여기서, 기본 사용자 조작으로는 재생(Play), 정지(Stop), 순간 정지(Pause) 등이 있다.
도 7 은 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 방법에 대한 일실시예 흐름도이다.
도 7에 도시된 바와 같이, 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 방법은, 먼저 3차원 동영상 전송 서버가 클라이언트로부터 접속요청이 있는지를 판단한다(701).
상기 판단 결과, 접속요청이 없으면 대기상태를 유지하고(702), 접속요청이 있으면 상기 서버로부터 초기 객체기술자를 클라이언트로 전송하고(703), 3차원 동영상 서비스를 위한 세션을 설정한다(704).
다음으로, 상기 서버는 클라이언트로부터 객체기술자/장면기술자를 요청받아(705), 객체기술자/장면기술자를 전송한다(706).
이어서, 상기 서버는 3차원 동영상 데이터 전송을 위한 채널을 설정하고(707), 클라이언트로부터 3차원 동영상 데이터 요청을 받아(708) 3차원 동영상 데이터를 전송한다(709). 그리고, 클라이언트는 3차원 동영상 데이터 복원 및 디스플레이를 수행한다(710).
상기한 바와 같이, 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 방법은 크게 두 가지의 단계로 구성된다.
먼저, 콜-셋업(Call-Setup) 단계로서, 3차원 동영상 전송 서버가 실행되면 클라이언트로부터 접속요청을 기다린다. 그리고, 클라이언트로부터 접속요청이 있을 경우, 서버는 초기객체기술자(IOD : Initial Object Descriptor)를 전송하고, 그렇치 않을 경우 대기상태로 들어간다. 초기객체체기술자는 클라이언트에게 복원에 필요한 프로파일 및 레벨정보를 제공해주며 클라이언트는 이를 분석하여 객체기술자/장면기술자를 수신하기 위한 채널을 생성하며 이를 세션 설정이라 한다.
다음 단계는, 데이터 전송(Data Transmission) 단계로서, 클라이언트로부터 객체기술자/장면기술자 전송에 대한 요청이 오면 서버는 이를 전송하고, 마찬가지로 클라이언트는 데이터를 분석하고 실제 3차원 동영상 데이터를 수신할 수 있는 채널을 생성한다. 이때, 전송되는 객체기술자에 3차원 동영상의 디스플레이 정보 등을 포함한 기술자가 제공되며 클라이언트는 이를 보고 복원 및 디스플레이 방식을 결정한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 엠펙-4(MPEG-4) 기반으로 3차원 동영상을 서비스 하기 위한 객체기술자 구조에 관한 것으로, 2차원 동영상에 초점을 맞추어 구성된 엠펙-4(MPEG-4) 객체기술자 구조와 호환성을 유지하면서 3차원 동영상의 처리 및 표현을 위해 새롭게 요구되는 정보를 정의하고 이 정보를 포함하는 3차원 동영상의 객체기술자를 제시함으로써, 사용자에게 보다 다양한 서비스 형태를 지원할 수 있는 효과가 있다.
도 1 은 일반적인 엠펙-4(MPEG-4)의 객체기술자의 구조 및 구성요소를 나타내는 일실시예 설명도.
도 2 는 일반적인 양안식 3차원 동영상에 대한 디스플레이 방식을 설명하기 위한 일실시예 설명도.
도 3 은 일반적인 다시점 3차원 동영상에 대한 디스플레이 방식을 설명하기 위한 일실시예 설명도.
도 4 는 일반적인 다시점 3차원 동영상에 대한 디스플레이 방식을 설명하기 위한 다른 실시예 설명도.
도 5 는 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치 및 그 방법에 대한 일실시예 설명도.
도 6 은 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 장치의 일실시예 구성도.
도 7 은 본 발명에 따른 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상 처리 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
601 : 저장장치 602 : 3차원 동영상 생성 모듈
603 : 엠펙-4 제어신호 생성 모듈 604 : 부호화 모듈
605 : MP4 파일 생성 모듈 606 : 패킷타이징 모듈
610 : 네트워크 621 : 디패킷타이징 모듈
622 : 복호화 모듈 623 : 디스플레이 모듈

Claims (13)

  1. 3차원 동영상 처리 장치에 있어서,
    소정의 영상 획득 장치를 통해 획득된 동영상을 저장하기 위한 저장수단;
    상기 저장수단으로부터 전송된 영상에 대하여 사이즈 및 컬러변환을 수행하기 위한 3차원 동영상 생성수단;
    엠펙-4(MPEG-4) 객체기술자와 장면기술자를 생성하기 위한 엠펙-4 제어신호 생성수단;
    상기 3차원 동영상 생성수단과 엠펙-4 제어신호 생성수단으로부터 입력되는 3차원 동영상과 엠펙-4 제어신호를 엠펙-4 및 부호화 기법을 통해 부호화하여, 각각의 부호화 스트림(ES)을 출력하기 위한 부호화수단;
    상기 부호화수단에서 출력되는 부호화 스트림의 미디어 데이터와 미디어에 대한 엠펙-4 제어신호를 입력받아, 엠펙-4 시스템 규격에 맞게 MP4 파일을 생성하기 위한 MP4 파일 생성수단;
    상기 MP4 파일 생성수단에서 생성된 MP4 파일내 저장되어 있는 3차원 동영상 미디어 스트림과 엠펙-4 제어신호를 추출하여, 엠펙-4 시스템 규격에 맞게 패킷을 생성/전송하기 위한 패킷타이징수단;
    상기 패킷타이징수단에서 전송된 패킷스트림을 입력받아, 헤더와 페이로드로 구성된 3차원 동영상 데이터를 복원하기 위한 디패킷타이징수단;
    상기 디패킷타이징수단에서 복원된 데이터를 복호화하여, 3차원 동영상을 복원하기 위한 복호화수단; 및
    상기 복호화수단에서 복원된 영상을 디스플레이하기 위한 디스플레이수단
    을 포함하는 3차원 동영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 3차원 동영상 생성수단은,
    상기 소정의 영상 획득장치와 상기 저장수단을 통하여 3차원 동영상을 획득/생성하고, 획득된 영상에 대하여 사이즈 및 컬러변환을 수행하는 것을 특징으로 하는 3차원 동영상 처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 엠펙-4(MPEG-4) 객체기술자는,
    상기 소정의 영상 획득 장치를 통해 입력되는 영상이 양안식 혹은 다시점 3차원 동영상인지를 표현하는 정보, 카메라수/입력되는 영상의 시점수를 나타내는 정보, 시점에 따른 미디어 스트림 개수를 나타내는 정보, 양안식 3차원 동영상에 대하여 2차원/필드셔터링/프레임셔터링/편광 디스플레이 방식을 나타내는 정보, 다시점 3차원 동영상에 대하여 2차원/파노라마/스테레오 디스플레이 방식을 나타내는 정보를 포함하는 것을 특징으로 하는 3차원 동영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 엠펙-4 제어신호 생성수단은,
    상기 엠펙-4 객체기술자와 장면기술자를 생성하되,
    상기 엠펙-4 객체기술자는 각 영상간의 상호관계 및 링크의 구성정보를 포함하며, 기존 객체기술자와 호환성을 유지하면서 3차원 동영상에 대해 요구되는 정보를 포함하는 것을 특징으로 하는 3차원 동영상 처리 장치.
  5. 제 3 항에 있어서,
    상기 복호화수단은,
    클라이언트의 시스템 환경과 사용자 선택의 디스플레이 방식에 따라 3차원 동영상을 복원하는 것을 특징으로 하는 3차원 동영상 처리 장치.
  6. 제 3 항에 있어서,
    상기 디스플레이수단은,
    복원된 영상을 디스플레이하되, 상기 사용자가 3차원 동영상을 감상할 수 있도록, 기본 사용자 조작을 통해 사용자 인터페이스를 제공하는 것을 특징으로 하는 3차원 동영상 처리 장치.
  7. 동영상 처리 장치에 적용되는 3차원 동영상 처리방법에 있어서,
    3차원 동영상 전송 서버가 클라이언트로부터 접속요청이 있는지를 판단하는 제 1 단계;
    상기 제 1 단계의 판단 결과, 접속요청이 없으면 대기상태를 유지하며, 접속요청이 있으면 상기 서버로부터 초기 객체기술자를 클라이언트로 전송하고, 3차원 동영상 서비스를 위한 세션을 설정하는 제 2 단계;
    상기 서버가 상기 클라이언트로부터 객체기술자/장면기술자를 요청받아, 엠펙-4(MPEG-4) 객체기술자/장면기술자를 전송하는 제 3 단계; 및
    상기 서버가 3차원 동영상 데이터 전송을 위한 채널을 설정하고, 상기 클라이언트로부터 3차원 동영상 데이터 요청을 받아 3차원 동영상 데이터를 전송하여, 상기 클라이언트가 3차원 동영상 데이터 복원 및 디스플레이를 수행하는 제 4 단계
    를 포함하는 3차원 동영상 처리 방법.
  8. 제 7 항에 있어서,
    상기 엠펙-4(MPEG-4) 객체기술자는,
    소정의 영상 획득 장치를 통해 입력되는 영상이 양안식/다시점 3차원 동영상인지를 표현하는 정보, 카메라수/입력되는 영상의 시점수를 나타내는 정보, 시점에 따른 미디어 스트림 개수를 나타내는 정보, 양안식 3차원 동영상에 대하여 2차원/필드셔터링/프레임셔터링/편광 디스플레이 방식을 나타내는 정보, 다시점 3차원 동영상에 대하여 2차원/파노라마/스테레오 디스플레이 방식을 나타내는 정보를 포함하는 것을 특징으로 하는 3차원 동영상 처리 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 소정의 영상 획득 장치를 통해 입력되는 영상이 양안식/다시점 3차원 동영상인지를 표현하는 정보는,
    1비트로서, 카메라수 및 배치에 따라 획득된 3차원 동영상의 종류를 나타내는 것을 특징으로 하는 3차원 동영상 처리방법.
  10. 제 9 항에 있어서,
    상기 카메라수/입력되는 영상의 시점수를 나타내는 정보는,
    10비트로서, 3차원 동영상의 시점수를 나타내며, 최대 1024 시점까지 지원하는 것을 특징으로 하는 3차원 동영상 처리방법.
  11. 제 10 항에 있어서,
    상기 시점에 따른 미디어 스트림 개수를 나타내는 정보는,
    1비트로서, 시점에 따른 미디어 스트림 개수를 나타내며, 각 시점수에 따른 미디어의 기초스트림이 존재하는 경우와 각 시점에 대한 미디어의 기초스트림이 다중화되어 하나의 스트림으로 존재하는 경우를 나타내는 것을 특징으로 하는 3차원 동영상 처리방법.
  12. 제 10 항에 있어서,
    상기 양안식 3차원 동영상에 대하여 2차원/필드셔터링/프레임셔터링/편광 디스플레이 방식을 나타내는 정보는,
    2비트로서, 상기 소정의 영상 획득 장치를 통해 들어오는 영상이 양안식/다시점 3차원 동영상을 표현하기 위한 정보에 의해 활성화되며, 양안식 3차원 동영상의 디스플레이 방식인 필드셔터링, 프레임 셔터링, 편광, 2차원 디스플레이 방식을 나타내는 것을 특징으로 하는 3차원 동영상 처리방법.
  13. 제 10 항에 있어서,
    상기 다시점 3차원 동영상에 대하여 2차원/파노라마/스테레오 디스플레이 방식을 나타내는 정보는,
    2 비트로써, 상기 소정의 영상 획득 장치를 통해 들어오는 영상이 양안식/다시점 3차원 동영상인지를 표현하는 정보에 의해 활성화되며, 다시점 3차원 동영상의 디스플레이 방식인 파노라마 디스플레이 방식, 2차원 디스플레이 방식, 그리고 스테레오 디스플레이 방식을 나타내는 것을 특징으로 하는 3차원 동영상 처리방법.
KR1020030089159A 2003-12-09 2003-12-09 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법 KR100576544B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020030089159A KR100576544B1 (ko) 2003-12-09 2003-12-09 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
AU2003289588A AU2003289588A1 (en) 2003-12-09 2003-12-30 Apparatus and method for processing 3d video based on mpeg-4 object descriptor information
PCT/KR2003/002922 WO2005057932A1 (en) 2003-12-09 2003-12-30 Apparatus and method for processing 3d video based on mpeg-4 object descriptor information
EP03781081A EP1692871A4 (en) 2003-12-09 2003-12-30 DEVICE AND METHOD FOR PROCESSING 3D VIDEO BASED ON MPEG-4 OBJECT DESCRIPTOR INFORMATION
US10/582,429 US8023560B2 (en) 2003-12-09 2003-12-30 Apparatus and method for processing 3d video based on MPEG-4 object descriptor information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030089159A KR100576544B1 (ko) 2003-12-09 2003-12-09 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20050056070A true KR20050056070A (ko) 2005-06-14
KR100576544B1 KR100576544B1 (ko) 2006-05-03

Family

ID=36676259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030089159A KR100576544B1 (ko) 2003-12-09 2003-12-09 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법

Country Status (5)

Country Link
US (1) US8023560B2 (ko)
EP (1) EP1692871A4 (ko)
KR (1) KR100576544B1 (ko)
AU (1) AU2003289588A1 (ko)
WO (1) WO2005057932A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738328B1 (ko) * 2005-09-29 2007-07-12 한국전자통신연구원 Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법
WO2008153313A3 (en) * 2007-06-12 2009-02-05 Samsung Electronics Co Ltd System and method for generating and regenerating 3d image files based on 2d image media standards
WO2008153312A3 (en) * 2007-06-11 2009-02-12 Samsung Electronics Co Ltd System and method for generating and regenerating 3d image files based on 2d image media standards
US8508579B2 (en) 2007-09-07 2013-08-13 Samsung Electronics Co., Ltd System and method for generating and reproducing 3D stereoscopic image file including 2D image
US9307224B2 (en) 2009-11-23 2016-04-05 Samsung Electronics Co., Ltd. GUI providing method, and display apparatus and 3D image providing system using the same

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR100747550B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
KR101177412B1 (ko) 2006-04-20 2012-08-24 엘지전자 주식회사 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법
KR101100212B1 (ko) * 2006-04-21 2011-12-28 엘지전자 주식회사 방송 신호 전송 방법, 방송 신호 재생 방법, 방송 신호전송 장치 및 방송 신호 수신 장치
JP4179387B2 (ja) * 2006-05-16 2008-11-12 ソニー株式会社 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
US20080252719A1 (en) * 2007-04-13 2008-10-16 Samsung Electronics Co., Ltd. Apparatus, method, and system for generating stereo-scopic image file based on media standards
KR101382618B1 (ko) * 2007-08-21 2014-04-10 한국전자통신연구원 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
US20100026783A1 (en) * 2008-08-01 2010-02-04 Real D Method and apparatus to encode and decode stereoscopic video data
KR101090764B1 (ko) * 2008-11-20 2011-12-08 주식회사 넷앤티비 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법
US10448083B2 (en) * 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
GB2523555B (en) 2014-02-26 2020-03-25 Sony Interactive Entertainment Europe Ltd Image encoding and display
WO2018068213A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频数据的处理方法及装置
CN108989826B (zh) * 2017-06-05 2023-07-14 上海交通大学 视频资源的处理方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002519954A (ja) * 1998-06-26 2002-07-02 ジェネラル・インスツルメント・コーポレイション Ｍｐｅｇ−４ビデオプログラムを構成しかつ提示するためのターミナル
US6936252B2 (en) 1998-07-27 2005-08-30 Microbial Technics Limited Streptococcus pneumoniae proteins and nucleic acid molecules
KR100429838B1 (ko) * 2000-03-14 2004-05-03 삼성전자주식회사 인터랙티브 멀티미디어 콘텐츠 서비스에서 업스트림채널을 이용한 사용자 요구 처리방법 및 그 장치
KR100476541B1 (ko) * 2001-09-17 2005-03-18 삼성중공업 주식회사 액체화물과 컨테이너 및 산적화물 운송을 겸용하는 복합선박
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100476781B1 (ko) 2001-12-28 2005-03-16 삼성전자주식회사 캐싱기법을 이용한 ｍｐｅｇ-4 시스템 단말의 제어방법
KR100556826B1 (ko) 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738328B1 (ko) * 2005-09-29 2007-07-12 한국전자통신연구원 Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법
WO2008153312A3 (en) * 2007-06-11 2009-02-12 Samsung Electronics Co Ltd System and method for generating and regenerating 3d image files based on 2d image media standards
US8457386B2 (en) 2007-06-11 2013-06-04 Samsung Electronics Co., Ltd System and method for generating and regenerating 3D image files based on 2D image media standards
US8644597B2 (en) 2007-06-11 2014-02-04 Samsung Electronics Co., Ltd System and method for generating and regenerating 3D image files based on 2D image media standards
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
WO2008153313A3 (en) * 2007-06-12 2009-02-05 Samsung Electronics Co Ltd System and method for generating and regenerating 3d image files based on 2d image media standards
US8508579B2 (en) 2007-09-07 2013-08-13 Samsung Electronics Co., Ltd System and method for generating and reproducing 3D stereoscopic image file including 2D image
US9307224B2 (en) 2009-11-23 2016-04-05 Samsung Electronics Co., Ltd. GUI providing method, and display apparatus and 3D image providing system using the same

Also Published As

Publication number Publication date
EP1692871A4 (en) 2009-08-26
US20070115276A1 (en) 2007-05-24
KR100576544B1 (ko) 2006-05-03
WO2005057932A1 (en) 2005-06-23
EP1692871A1 (en) 2006-08-23
AU2003289588A1 (en) 2005-06-29
US8023560B2 (en) 2011-09-20

Similar Documents

Publication Publication Date Title
KR100576544B1 (ko) 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
KR100955578B1 (ko) 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100742674B1 (ko) 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치
KR100679740B1 (ko) 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
JP6946724B2 (ja) クライアント装置、クライアント装置の処理方法、サーバおよびサーバの処理方法
CN112219403B (zh) 沉浸式媒体的渲染视角度量
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
JP5091143B2 (ja) 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
KR20080065766A (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
KR20200020913A (ko) 미디어 정보를 처리하는 방법 및 장치
KR100738328B1 (ko) Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备
CN108271068B (zh) 一种基于流媒体技术的视频数据的处理方法及装置
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
JP7173249B2 (ja) クライアント装置、表示システム、クライアント装置の処理方法およびプログラム
CN117392047A (zh) 图像数据处理方法、装置、设备及计算机介质
KR20190045053A (ko) (초)다시점 미디어의 라이브 스트리밍 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110411

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee