KR100738328B1 - Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법 - Google Patents

Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR100738328B1
KR100738328B1 KR1020050094857A KR20050094857A KR100738328B1 KR 100738328 B1 KR100738328 B1 KR 100738328B1 KR 1020050094857 A KR1020050094857 A KR 1020050094857A KR 20050094857 A KR20050094857 A KR 20050094857A KR 100738328 B1 KR100738328 B1 KR 100738328B1
Authority
KR
South Korea
Prior art keywords
stream
object descriptor
descriptor
mpeg
independent
Prior art date
Application number
KR1020050094857A
Other languages
English (en)
Other versions
KR20070036542A (ko
Inventor
윤국진
허남호
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20070036542A publication Critical patent/KR20070036542A/ko
Application granted granted Critical
Publication of KR100738328B1 publication Critical patent/KR100738328B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술 분야
본 발명은 MPEG-4 기반의 다시점 동영상 처리 장치 및 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 다시점 동영상을 표현하는 객체타입 정보와 시점수 정보 및 다시점 동영상 압축과 관련된 기준스트림 정보 등을 포함하는 객체기술자 구조를 정의하고, 상기 객체기술자 구조를 분석하여 시점별 인터랙션을 지원하는 방법을 제시함으로써, 종래의 MPEG-4 시스템과 호환성을 유지하면서 클라이언트 측에서 시점별로 동영상을 선택하여 볼 수 있도록 하기 위한 MPEG-4 기반의 다시점 동영상 처리 장치 및 방법을 제공하는데 그 목적이 있다.
3. 발명의 해결방법의 요지
본 발명은 MPEG-4 기반의 다시점 동영상을 처리하는 방법으로서, 다시점 영상 획득 장치를 통해 다시점 동영상 데이터를 획득하는 단계; 상기 획득된 다시점 동영상 데이터를 처리함으로써, 독립적으로 복호화되는 독립스트림과 상기 독립스트림을 참조하여 복호화되는 종속스트림을 출력하는 단계; 및 상기 독립스트림과 종속스트림의 상관관계에 대한 정보를 포함하는 객체기술자를 생성하는 단계를 포함한다. 또한, 상기 객체기술자를 분석함으로써 기초스트림을 추출하는 단계; 상기 추출되는 기초스트림이 독립스트림인 경우, 상기 객체기술자의 식별값을 이용하여 독립스트림 객체기술자를 생성하는 단계; 및 상기 추출되는 기초스트림이 종속스트 림인 경우, 상기 독립스트림 객체기술자의 식별값을 이용하여 종속스트림 객체기술자를 생성하는 단계를 더 포함한다.
4. 발명의 중요한 용도
본 발명은 MPEG-4를 기반으로 하는 다시점 동영상을 처리하는 모든 시스템에 이용됨.
MPEG-4, 객체기술자(Object Descriptor), 기초스트림(ES:Elementary Stream), 객체기술자 관리자(ODM:Object Descriptor Manager), 다시점 동영상(Multi-View video)

Description

ＭΡＥＧ-4 기반의 다시점 동영상 처리 장치 및 방법{Appratus and Method for Processing Multi-View Video Image based on MPEG-4}
도 1은 일반적인 MPEG-4의 객체기술자의 구조 및 구성요소를 보여주는 일실시예 설명도,
도 2는 다시점 동영상을 획득하기 위한 카메라 배치도를 보여주는 도면,
도 3은 본 발명의 일실시예에 따른 다시점 동영상에 대한 정보를 기술하기 위한 부가정보를 보여주는 도면,
도 4는 본 발명의 일실시예에 따른 독립스트림과 종속스트림을 표현하기 위한 MPEG-4 기초스트림 기술자를 보여주는 도면,
도 5는 본 발명의 일실시예에 따른 객체 기술자의 구조를 보여주는 도면,
도 6은 본 발명에 따른 다시점 동영상에 대한 사용자 인터랙션 방법을 설명하기 위한 일실시예 흐름도,
도 7은 본 발명에 따른 MPEG-4 객체 기술자를 이용한 3차원 동영상 처리시스템의 일실시예 구성도이다.
* 도면의 주요 부분에 대한 부호의 설명
705 : 카메라부 710 : 다시점 동영상 생성부
720 : MPEG-4 제어신호 생성부 730 : 부호화부
740 : MPEG-4 파일 생성부 750 : 패킷타이징부
760 : 디패킷타이징부 780 : 복호화부
790 : 화면생성부
본 발명은 MPEG-4 기반의 다시점 동영상 처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 다시점 동영상에 대하여 요구되는 부가정보와 다시점 동영상의 기초스트림 정보를 포함하는 객체기술자 구조를 정의하고 시점별 인터랙션 지원 방법을 제공함으로써, 사용자가 원하는 시점을 선택하여 볼 수 있도록 하기 위한 MPEG-4 기반의 다시점 동영상 처리 장치 및 방법에 관한 것이다.
MPEG-4는 객체 표현을 위하여 복수개의 기초스트림 사이의 상호관계 및 링크의 구성정보로 구성된 객체기술자(OD:Object Descriptor)를 사용한다.
MPEG-4를 기반으로 장면을 구성하기 위해서는 일반적으로 초기객체기술자(IOD:Initial Object Descriptor), 장면기술자(BIF:Binary Format for Scene), 객체기술자(OD) 및 미디어 데이터들이 필요하다. 우선, 초기객체기술자(IOD)는 MPEG-4 장면을 구성하기 위해 가장 먼저 전송되어야 하는 정보로서, 미디어의 프로파일 과 레벨을 기술하며, 장면기술자(BIFS) 스트림과 객체기술자 스트림에 대한 기초스트림기술자(ES-Descriptor)를 포함하고 있다. 객체기술자(OD)는 장면을 구성하는 미디어 데이터에 대한 정보를 기술하는 기초스트림기술자들의 집합으로서, 미디어 데이터의 기초스트림(ES)과 장면기술자와의 연결 정보를 제공한다. 또한, 장면기술자(BIFS) 스트림은 장면을 구성하는 동영상 또는 오디오 객체의 공간적/시간적 위치와 행위를 나타내는 정보이다.
하지만, 현재 MPEG-4 객체기술자는 2차원 동영상 처리에 초점을 맞추어 정의되어 있어, 많은 응용분야에서 연구중인 다시점 동영상을 지원하지 못하고 있다는 문제점이 있다.
양안식 3차원 동영상을 제공하기 위한 종래 기술로 "MPEG-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송시스템 및 방법"(공개번호 10-2004-0090523)이 있다. 상기 발명은 MPEG-4 기반으로 양안식 3차원 동영상을 처리하여, 인터넷을 통해 VOD 및 생방송(LIVE) 서비스를 제공하는 인터넷 방송 시스템에 관한 것으로서, 사용자가 인터넷을 통해 2차원 또는 3차원 영상으로 콘텐츠를 감상할 수 있도록 한다. 또다른 종래 기술로서, "양안식/다시점 3차원 동영상 처리 시스템 및 그 방법"(등록번호 0397511)은 부호화기를 통하여 출력되는 부호화 스트림 가운데 사용자의 디스플레이 방식에 따른 해당 스트림만을 추출하여 단일 스트림으로 다중화하는 방법에 관한 것으로서, 상기 해당 스트림만을 전송함으로써 스트림 헤더의 중복성을 최소화하고 네트워크의 효율성을 높일 수 있도록 한다.
하지만 상기와 같은 종래 기술들은 객체기술자와 장면기술자의 부호화, 및 부호화 스트림의 다중화에 관한 것으로서, 동영상 데이터의 전송 및 디스플레이에 있어서 다시점 동영상의 특성을 고려하지 못하고 있다. 즉, 다시점 동영상을 서비스하기 위한 MPEG-4 객체기술자의 구조와 시점별 인터랙션에 대한 방법을 제시하지 못함으로써, 여전히 다시점 동영상 데이터의 전송 및 시점별 화면 구성에 있어서의 한계점을 가지고 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 다시점 동영상을 표현하는 객체타입 정보와 시점수 정보 및 다시점 동영상 압축과 관련된 기초스트림 정보 등을 포함하는 객체기술자 구조를 정의하고, 상기 객체기술자 구조를 분석하여 시점별 인터랙션을 지원하는 방법을 제시함으로써, 종래의 MPEG-4 시스템과 호환성을 유지하면서 클라이언트 측에서 시점별로 동영상을 선택하여 볼 수 있도록 하기 위한 MPEG-4 기반의 다시점 동영상 처리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은 MPEG-4 기반의 다시점 동영상을 처리하는 방법으로서, 다시점 영상 획득 장치를 통해 다시점 동영상 데이터를 획득하는 단계; 상기 획득된 다시점 동영상 데이터를 처리함으로써, 독립적으로 복호화되는 독립스트림과 상기 독립스트림을 참조하여 복호화되는 종속스트림을 출력하는 단계; 및 상기 독립스트림과 종속스트림의 상관관계에 대한 정보를 포함하는 객체기술자를 생성하는 단계를 포함한다. 상기 객체 기술자를 생성하는 단계는, 상기 다시점 동영상 데이터에 대한 부가정보를 확장기술자 내에 기술하는 단계; 및 상기 독립스트림과 종속스트림의 상관관계에 대한 정보를 기초스트림 기술자를 통해 표현하는 단계를 포함한다. 상기 다시점 동영상 데이터에 대한 부가정보는, 영상 획득 장치를 통해 획득되는 영상이 다시점 동영상인지 여부를 표현하는 정보, 상기 다시점 동영상의 시점수를 표현하는 정보, 및 상기 다시점 동영상에서 출력되는 스트림 가운데 독립적으로 복호화가 가능한 독립스트림의 식별값을 표현하는 정보를 포함하는 것을 특징으로 한다. 또한, 상기 기초스트림 기술자는, 상기 독립스트림의 식별값 정보를 포함하는 독립스트림 기술자; 및 상기 종속스트림의 식별값 정보와 상기 종속스트림이 참조하는 독립스트림의 식별값 정보를 포함하는 종속스트림 기술자를 포함한다. 한편, 상기 MPEG-4 기반의 다시점 동영상을 처리하는 방법은, 상기 객체기술자를 분석함으로써 기초스트림을 추출하는 단계; 상기 추출되는 기초스트림이 독립스트림인 경우, 상기 객체기술자의 식별값을 이용하여 독립스트림 객체기술자를 생성하는 단계; 및 상기 추출되는 기초스트림이 종속스트림인 경우, 상기 독립스트림 객체기술자의 식별값을 이용하여 종속스트림 객체기술자를 생성하는 단계를 더 포함한다.
한편, 본 발명은 MPEG-4 기반의 다시점 동영상을 생성하는 장치로서, 독립스트림과 종속스트림으로 구성되는 다시점 동영상 데이터를 획득하는 카메라부; 상기 카메라부로부터 다시점 동영상 데이터를 입력받아 사이즈 및 컬러변환을 포함하는 전처리 과정을 수행함으로써 부호화부에서 요구되는 영상포맷으로 출력하는 다시점 동영상 처리부; 객체기술자와 장면기술자를 포함하는 MPEG-4 제어신호를 생성하기 위한 MPEG-4 제어신호 생성부; 상기 다시점 동영상 처리부의 출력신호 및 MPEG-4 제어신호를 입력받아 부호화함으로써 부호화 스트림을 출력하는 부호화부; 상기 부호화 스트림의 미디어 데이터 및 상기 미디어에 대한 MPEG-4 제어신호를 입력받아 MPEG-4 시스템 규격에 정의된 MP4 파일을 생성하는 MP4 파일생성부; 및 상기 MP4 파일 내 저장되어 있는 다시점 동영상 미디어 스트림 및 MPEG-4 제어신호를 추출하여 MPEG-4 시스템 규격에 정의된 패킷을 생성하는 패킷타이징부를 포함한다. 상기 MPEG-4 제어신호 생성부는, 상기 다시점 동영상 데이터에 대한 부가정보를 객체기술자 내 확장기술자에 기술하고, 상기 독립스트림과 종속스트림의 상관관계에 대한 정보를 기초스트림 기술자를 통해 표현하는 것을 특징으로 한다.
또한, 본 발명은 다시점 동영상 생성 장치에서 독립스트림과 종속스트림 및 객체기술자와 장면기술자를 포함하는 MPEG-4 제어신호로부터 생성된 MPEG-4 패킷스트림을 전송받아 MPEG-4 기반의 다시점 동영상을 재생하는 장치로서, 상기 MPEG-4 패킷스트림으로부터 헤더와 페이로드로 구성된 데이터를 복원하여 파싱을 수행함으로써, MPEG-4 제어신호와 미디어 데이터의 부호화 스트림을 출력하는 디패킷타이징 부; 상기 디패킷타이징부의 출력신호를 입력받아 독립스트림과 종속스트림, 및 객체기술자와 장면기술자를 포함하는 MPEG-4 제어신호를 복원하는 복호화부; 및 상기 독립스트림과 종속스트림으로부터 다시점 동영상을 복원하는 화면구성부를 포함한다. 상기 화면구성부는, 상기 객체기술자를 분석함으로써 추출되는 기초스트림이 독립스트림인지 종속스트림인지 여부를 판단함으로써 독립스트림 객체기술자와 종속스트림 객체기술자를 생성하는 것을 특징으로 한다.
상술한 본 발명의 내용은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 일반적인 MPEG-4의 객체기술자의 구조 및 구성요소를 보여주는 일실시예 설명도이다.
MPEG-4는 장면을 구성하기 위하여 일반적으로 초기객체기술자, 장면기술자, 객체기술자, 미디어 데이터들을 필요로 한다. 그 중 객체기술자는 장면 기술에 사용되는 오디오/비디오 객체에 대한 기초스트림을 식별, 기술, 및 연결시켜주는 기 초스트림 기술자(ES Descriptor)들의 조합으로서, 기본적으로 각각의 미디어에 대하여 하나의 객체기술자가 할당된다. 즉, 오디오와 동영상이 각각 하나인 경우, 상기 오디오와 동영상 각각에 대하여 하나의 객체 기술자가 포함되며, 상기 포함된 객체기술자는 사용자 인터랙션을 위한 기본단위가 된다.
도 1에 도시된 객체기술자를 살펴보면, 우선 태그(TAG=0x1)(110)는 MPEG-4 기술자 가운데 객체기술자임을 나타내며 항상 고유의 값을 가진다.
길이 필드(length field)(120)는 객체기술자의 길이를 나타낸다.
오브젝트 기술자아이디(ObijectDescriptorID)(130)는 객체기술자의 식별값을 나타내며, "0"값은 허용되지 않는다.
유알엘_플래그(URL_Flag)(140)는 이후 유알엘스트링(URLstring)(162)이 존재함을 나타낸다.
예약(Reserved)(150)은 예약된 비트를 나타낸다.
옵션 필드(Optonal Fields)(160)는 선택영역을 나타내며, 유알엘길이(URLlength)(161), 유알엘스트링(URLstring)(162), "esDescr[]"(163), "ociDescr[]"(164), 및 "ipmpDescrPtr[]"(165)를 포함하고 있다.
먼저, 유알엘길이(URLlength)(161)는 유알엘스트링(URLstring)(162)의 바이트 길이를 나타낸다.
유알엘스트링(URLstring)(162)은 다른 객체기술자를 나타낸다.
"esDescr[]"(163)는 각 오디오/동영상 기초스트림에 대한 정보를 나타낸다. 즉, 객체기술자는 각각의 미디어 스트림에 대하여 기초스트림 기술자를 가지며, 실 제로 클라이언트는 상기 기술자를 통해 미디어 스트림에 대한 정보를 획득한다.
"ociDescr[]"(164)는 저자 및 키워드 등 대응되는 객체기술자의 부가정보를 나타낸다.
"ipmpDescrPtr[]"(165)는 IPMP(Intellectual Property Management and Protection) 데이터가 포함되어 있는 "IPMP_Descriptor"들을 가르키는 포인터를 나타낸다. 상기 IPMP는 각 기초스트림의 지적재산권 보호 등을 위해 사용된다.
"extDescr"(170)는 미래에 사용될 수 있는 부가적인 기술자들을 위하여 정의되는 확장기술자(Extension Descriptor)로서, 사용자에 의해 정의될 수 있다.
클라이언트는 상기와 같은 구조를 갖는 객체기술자를 분석함으로써 각 객체의 특징과 미디어와의 상관관계 등에 대한 정보를 획득한다. 하지만, 상기와 같은 종래의 객체기술자는 2차원 동영상, 정지영상, 오디오, 텍스트, CG(Computer Graphics) 등의 2차원 디스플레이 방식에 초점이 맞추어져 있기 때문에, 카메라로부터 획득되는 2시점 이상의 다시점 동영상에 대한 정보를 표현하기에는 한계가 있다.
도 2는 다시점 동영상을 획득하기 위한 카메라 배치도의 실시예를 보여주는 도면이다. 도 2의 (a)와 (b)에 평행식 카메라 배치와 수렴식 카메라 배치를 각각 나타내었다.
도 2에서 보는 바와 같이 카메라의 배치에 따라 획득되는 다시점 동영상은 상이하지만 기본적으로 획득되는 영상간에는 중복성이 존재하며, 이러한 중복성 (redundancy)을 제거하는 것이 다시점 동영상 코덱에 있어 가장 중요한 요소이다. 다시 말해, 다시점 동영상을 서비스하기 위한 MPEG-4 시스템은 각 시점간의 중복성을 제거하는 형태의 코덱 구조를 포함해야 한다. 상기 각 시점간의 중복성을 제거하는 방법은 어느 특정 시점을 기준으로 하고, 나머지 시점에 대하여 상기 기준 시점을 중심으로 압축하는 것이다. 상기 특정 시점에서는 독립스트림이 출력되며, 나머지 시점에서 종속스트림이 출력된다. 즉, 독립스트림은 자체만으로 복원이 가능한 구조를 말하며, 종속스트림은 독립스트림을 반드시 참조해야 복원되는 구조를 말한다.
도 3은 본 발명의 일실시예에 따른 다시점 동영상에 대한 정보를 기술하기 위한 부가정보를 보여주는 도면이다.
상기 부가정보는 도 3에서 보는 바와 같이 다시점기술자(Multiview Descriptor)로 정의되며, 종래 객체기술자와의 호환성을 유지하기 위하여 확장기술자(extDescr)(170) 내에서 기술된다.
도 3에서 다시점기술자(Multiview Descriptor)는 "MultiviewFlag", "Numofviewpoint", 및 "MasterES_ID"를 포함하며, 그 외의 추가사항도 포함될 수 있다.
먼저, "MultiviewFlag"는 1비트로서 다시점 동영상인지 여부를 표현하는 객체타입 정보이다.
"Numofviewpoint"는 8비트로서 다시점 동영상의 시점수를 나타낸다.
"MasterES_ID"는 16비트로서 다시점 동영상 데이터로부터 출력되는 미디어 스트림 가운데 독립스트림(기준스트림)의 식별값(ES_ID)을 나타낸다.
도 4는 본 발명의 일실시예에 따른 독립스트림과 종속스트림을 표현하기 위한 MPEG-4 기초스트림 기술자를 보여주는 도면이다.
다시점 동영상은 복수개의 2차원 동영상 사이의 유사성을 이용하여 데이터의 크기를 줄이며, 상기 복수개의 2차원 동영상 데이터의 상관관계에 따라 독립적으로 디코딩이 가능한 독립스트림과 상기 독립스트림을 참조하여 디코딩되는 종속스트림이 출력된다. 상기 독립스트림과 종속스트림은 다시점 동영상 코덱의 특성을 반영하는 것으로서, MPEG-4 기초스트림 기술자(esDesc[])(163)를 통하여 표현 가능하다. 한편, 하나의 객체기술자에는(OD:ObjectDescriptor)에는 다수의 MPEG-4 기초스트림 기술자(esDesc[])가 포함될 수 있다.
본 발명에 따른 다시점 동영상을 기술하기 위한 객체기술자에는 각각의 2차원 동영상 사이의 상관관계에 대한 정보가 반드시 포함되어야 한다. 기본적으로 독립과 종속의 상관관계는 같은 스트림 타입 간에만 존재한다. 즉, 동영상 사이 또는 오디오 사이에서만 상관관계가 존재한다.
도 4를 살펴보면, 동영상 1은 독립적으로 디코딩이 가능한 독립스트림을 나타내며, 동영상 2는 상기 동영상 1을 참조해야 디코딩이 가능한 종속 스트림을 나타낸다. 도 4에서 보는 바와 같이, 종속스트림을 표현하는 기초스트림 기술자(ES_Descriptor)는 "StreamDependenceFlag"와 "DependsOn_ES_ID"를 포함함으로써, 2차원 동영상 사이의 상관관계를 나타낼 수 있다. 상기 "StreamDependenceFlag"는 종속스트림이라는 정보를 표현하며, 상기 "DependsOn_ES_ID"는 상기 종속스트림이 참조하는 기초스트림의 식별값(ID)을 표현한다.
도 5는 본 발명의 일실시예에 따른 객체 기술자의 구조를 보여주는 도면이다. 설명의 편의를 위해 도 5에서는 객체 기술자 구조에 있어서 본 발명에 따른 다시점 동영상 사이의 상관관계를 표현하기 위한 기초스트림 기술자와 다시점 동영상에 대한 부가정보를 표현하기 위한 다시점 기술자만을 표시하였다. 도 5에 표시되지 않은 구조는 종래의 객체기술자 구조(도 1 참조)와 동일하다.
도 5의 객체기술자(OD:ObjectDescriptor)에서는 동영상 1~4에 대한 4개의 기초스트림 기술자가 독립/종속관계로 구성된다. 상기 독립/종속관계는 종속스트림에 대한 기초스트림 기술자에 포함되는 "StreamDependenceFlag"와 "DependsOn_ES_ID"를 통해 표현된다. 즉, 도 5에서 식별값 3을 가지는 동영상 1은 독립스트림을 나타내며, 동영상 2(식별값 4)와 동영상 3(식별값 5) 및 동영상 4(식별값 6)는 상기 동영상 1을 참조하는 종속스트림을 나타낸다.
또한, 본 발명에 따른 객체기술자(OD:ObjectDescriptor)는 다시점 동영상에 대한 부가정보를 확장기술자(extDescr)(170) 내에 포함한다. 상기 부가정보는 다시점기술자(MultiviewDescriptor)를 통해 기술되며, "MultiviewFlag", "Numofviewpoint", 및 "MasterES_ID"를 포함한다. 도 5의 다시점 동영상 기술자(MultiviewDescriptor)는 다시점 동영상라는 정보(MultiviewFlag TRUE), 다시점 동 영상의 시점수는 4개라는 정보(Numofviewpoint 4), 독립스트림(기준스트림)의 식별값은 3이라는 정보(MasterEX_ID 3)를 포함하고 있다.
이하에서는, 다시점 동영상을 기술하는 객체기술자에 대한 사용자 인터랙션 방법에 대하여 설명한다.
MPEG-4 시스템 규격에서 사용자 인터랙션은 객체기술자를 기반으로 이루어진다. 즉, 장면기술자는 각각의 객체기술자 식별값(ID)을 포함하고 있으므로, 사용자가 특정 객체에 대하여 인터랙션하는 경우에는 상기 객체의 객체기술자 식별값(ID)을 이용하게 된다. 하지만, 상기와 같은 종래의 인터랙션 방법은 다시점 동영상을 기술하는 객체기술자의 경우에는 적합하지 못하다. 즉, 도 5에서 제시한 바와 같이 다시점 동영상은 코덱으로부터 출력되는 기초스트림의 특성에 따라 독립스트림과 종속스트림으로 이루어지는 객체기술자 구조를 취한다. 하지만, 상기와 같은 객체기술자 구조에서 종래의 인터랙션 방법을 취하는 경우에는 사용자가 원하는 시점을 변경하고자 하더라도 각 시점에 해당하는 객체기술자가 존재하지 않으므로, 사용자 인터랙션을 지원할 수 없게 된다. 다시 말해, 종래의 인터랙션 방법은 독립/종속스트림을 이용한 특정한 다시점 포맷 영상에 대하여 On/Off 인터랙션 이상은 지원할 수 없다는 문제점이 있다. 따라서, 하나의 객체기술자 아래 다수개의 기초스트림 기술자가 구성되어 있는 경우에도 각 시점을 선택할 수 있도록 하는 사용자 인터랙션 방법이 필요하다.
도 6은 본 발명에 따른 다시점 동영상에 대한 사용자 인터랙션 방법을 설명하기 위한 일실시예 흐름도이다.
우선 전송되는 MPEG-4 파일로부터 객체기술자를 추출한다(S610). 상기 객체기술자는 새롭게 생성되는 객체기술자 관리자(ODM:Object Descriptor Manager) 내에 등록된다(S620, S630). 상기 객체기술자 관리자(ODM) 내에서 객체기술자의 등록은 객체기술자의 개수만큼 반복된다. 즉, 도 5에 제안된 객체기술자 구조는 하나의 객체 기술자를 포함하므로 객체기술자 관리자(ODM) 내의 등록이 한번만 수행된다. 이때, 생성된 ODM 내에는 도 5에서 제안된 객체기술자 구조가 그대로 입력된다. 생성된 객체기술자 관리자(ODM:Object Descriptor Manager)는 장면 생성을 위한 장면기술자(Scene List) 내에 등록된다(S640).
다음으로, 상기 객체기술자 관리자(ODM)에 등록된 객체 기술자를 분석함으로써 기초스트림을 추출한다(S650). 그리고 추출되는 각각의 기초스트림에 대한 객체기술자를 생성하기 위하여 추출되는 기초스트림이 독립스트림인지 종속스트림인지 여부를 판단한다(S660).
추출되는 기초스트림이 독립스트림인 경우, 객체기술자 관리자(ODM)에 등록된 객체기술자(OD)의 식별값(ID)을 이용하여 새로운 객체기술자(ODi)를 생성한다(S670). 이때, 생성되는 객체기술자(ODi)의 식별값(ID)은 객체기술자 관리자(ODM)에 등록된 객체기술자(OD)의 식별값(ID)을 그대로 사용하거나 일정값을 더해서 사용한다.
추출되는 기초스트림이 종속스트림인 경우에는, 상기 독립스트림으로부터 생 성된 객체기술자(ODi)의 식별값(ID)을 이용하여 새로운 객체기술자(ODd)를 생성한다(S680). 이때, 생성되는 객체기술자(ODd)의 식별값(ID)은 독립스트림으로부터 생성된 객체기술자(ODi)의 식별값(ID)과 일정크기로 다르게 한다.
한편, 상기와 같이 기초스트림별로 각각의 객체기술자(ODi, ODd)를 생성함에 있어서, 포함되어지는 기초스트림 기술자는 ODM 내에 등록된 기초스트림 기술자를 그대로 이용하도록 한다. 즉, 생성되는 객체기술자(ODi, ODd)에는 ODM 내에 등록된 기초스트림 기술자의 모든 속성이 그대로 포함된다.
도 7은 본 발명에 따른 MPEG-4 객체 기술자를 이용한 3차원 동영상 처리시스템의 일실시예 구성도이다.
우선, 카메라부(705)는 도 2에 예시한 바와 같은 다시점 동영상을 획득하기 위한 다양한 형태로 구성될 수 있다. 상기 카메라부는 독립스트림과 종속스트림으로 구성되는 다시점 동영상 데이터를 획득하여 다시점 동영상 처리부로 전달한다.
다시점 동영상 처리부(710)는 상기 카메라부에서 획득되는 다시점 동영상 데이터에 대하여 사이즈 및 컬러를 변환하는 등의 전처리 기능을 수행한다. 한편, 상기 다시점 동영상 처리부(710)는 상기와 같은 전처리 과정을 수행함으로써 부호화부에서 요구되는 영상포맷(BMP, YUV 등)의 동영상 데이터를 출력한다.
MPEG-4 제어신호 생성부(720)는 MPEG-4 제어신호를 구성하는 객체기술자와 장면기술자를 생성한다. 상기 객체기술자에는 각 영상간의 상호관계 및 링크의 구 성정보 등이 포함된다. 상기 MPEG-4 제어신호 생성부(720)는 본 발명의 실시예에 따라, 독립스트림과 종속스트림의 상관관계에 대한 정보를 기초스트림 기술자를 통해 표현함으로써, 객체기술자 내에 다시점 영상간의 상관관계에 대한 정보가 포함되도록 한다. 또한, 상기 객체기술자의 확장기술자(extDeescr)(170)에 다시점기술자(Multiview Descriptor)를 생성함으로써, 종래의 객체기술자와 호환성을 유지하면서 다시점 비디오에 대한 부가정보들을 포함하도록 한다.
부호화부(730)는 상기 다시점 동영상 처리부로부터 출력되는 각 시점의 동영상 데이터 및 MPEG-4 제어신호를 입력받아 MPEG-4 및 기존의 부호화 기법을 사용하여 부호화함으로써 부호화 스트림(ES : Elementary Stream)을 출력한다.
MPEG-4 파일 생성부(740)는 상기 부호화부로부터 출력되는 부호화 스트림의 미디어 데이터 및 상기 미디어에 대한 MPEG-4 제어신호를 입력받아 MPEG-4 시스템 규격에 정의된 MP4 파일을 생성한다.
패킷타이징부(750)는 MP4 파일 내 저장되어 있는 다시점 동영상 미디어 스트림 및 MPEG-4 제어신호를 추출하여 MPEG-4 시스템 규격에 정의된 패킷을 생성하여 네트워크(760)를 통해 전송한다.
디패킷타이징부(770)는 상기 네트워크를 통해 전송된 MPEG-4 패킷스트림을 입력받아 헤더와 페이로드로 구성된 데이터를 복원하여 파싱을 수행함으로써,MPEG-4 제어신호와 미디어 데이터의 부호화 스트림을 출력한다.
복호화부(780)는 상기 디패킷타이징부의 출력신호를 입력받아 독립스트림과 종속스트림, 및 객체기술자와 장면기술자를 포함하는 MPEG-4 제어신호를 복원한다.
화면구성부(790)는 클라이언트 시스템 환경 및 사용자가 선택하는 디스플레이 방식에 따라 상기 독립스트림과 종속스트림으로부터 다시점 동영상을 복원한다. 상기 화면구성부(790)는 본 발명의 실시예에 따라, 복원된 객체기술자를 분석함으로써 추출되는 기초스트림이 독립스트림인지 종속스트림인지 여부를 판단한다. 또한, 상기 판단 결과에 따라, 상기 추출되는 스트림이 독립스트림인 경우에는 상기 객체기술자의 식별값을 이용하여 독립스트림 객체기술자를 생성하며, 상기 추출되는 스트림이 종속스트림인 경우에는 상기 독립스트림 객체기술자의 식별값을 이용하여 종속스트림 객체기술자를 생성한다.
디스플레이(795)는 상기 화면구성부에서 복원된 영상을 화면을 표시하며, 사용자 기본 조작을 위한 인터페이스를 제공한다. 사용자의 기본 조작으로는 재생(Play), 정지(Stop), 순간정지(Pause) 등이 있다. 또한, 본 발명의 실시예에 따라 사용자는 상기 사용자 인터페이스를 통해 원하는 시점의 동영상을 선택하여 볼 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 객체기술자의 확장기술자와 기초스트림기술자를 통해 다시점 영상에 대한 부가정보와 각 영상 간의 상관관계를 기술함으로써, 종래의 MPEG-4 시스템과 호환성을 유지하면서 시점별 인터랙션을 위한 다시점 영상 정보를 제공할 수 있는 효과가 있다.
또한 본 발명은, 상기와 같은 객체기술자를 분석하여 독립스트림과 종속스트림으로부터 시점별 인터랙션을 위한 새로운 객체기술자를 생성함으로써, 클라이언트 측에서 시점별로 동영상을 선택하여 볼 수 있도록 하는 효과가 있다.

Claims (10)

  1. MPEG-4 기반의 다시점 동영상을 처리하는 방법에 있어서,
    다시점 영상 획득 장치를 통해 다시점 동영상 데이터를 획득하는 단계;
    상기 획득된 다시점 동영상 데이터를 처리함으로써, 독립적으로 복호화되는 독립스트림과 상기 독립스트림을 참조하여 복호화되는 종속스트림을 출력하는 단계; 및
    상기 독립스트림과 종속스트림의 상관관계에 대한 정보를 포함하는 객체기술자를 생성하는 단계를 포함하며,
    상기 객체 기술자를 생성하는 단계는
    상기 다시점 동영상 데이터에 대한 부가정보를 객체기술자 내 확장기술자에 기술하는 단계; 및
    상기 독립스트림과 종속스트림의 상관관계에 대한 정보를 기초스트림 기술자를 통해 표현하는 단계를 포함하고,
    상기 객체기술자는 독립스트림 객체기술자 및 종속스트림 객체기술자를 생성하는데 이용되고, 상기 독립스트림 객체기술자 및 종속스트림 객체기술자를 이용하여 인터랙션이 수행되는
    것을 특징으로 하는 다시점 동영상 처리방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 다시점 동영상 데이터에 대한 부가정보는
    상기 다시점 동영상에서 출력되는 스트림 가운데 독립적으로 복호화가 가능한 독립스트림의 식별값을 표현하는 정보를 포함하며,
    상기 기초스트림 기술자는
    상기 독립스트림의 식별값 정보를 포함하는 독립스트림 기술자; 및
    상기 종속스트림의 식별값 정보와 상기 종속스트림이 참조하는 독립스트림의 식별값 정보를 포함하는 종속스트림 기술자를 포함하는
    것을 특징으로 하는 다시점 동영상 처리방법.
  4. 삭제
  5. 제 1 항 또는 제 3 항에 있어서,
    상기 객체기술자를 분석함으로써 기초스트림을 추출하는 단계;
    상기 추출되는 기초스트림이 독립스트림인 경우, 상기 객체기술자의 식별값을 이용하여 독립스트림 객체기술자를 생성하는 단계;
    상기 추출되는 기초스트림이 종속스트림인 경우, 상기 독립스트림 객체기술자의 식별값을 이용하여 종속스트림 객체기술자를 생성하는 단계; 및
    상기 독립스트림 객체기술자 및 종속스트림 객체기술자를 이용하여 인터랙션을 수행하는 단계를
    추가로 포함하는 것을 특징으로 하는 다시점 동영상 처리방법.
  6. MPEG-4 기반의 다시점 동영상을 생성하는 장치에 있어서,
    독립스트림과 종속스트림으로 구성되는 다시점 동영상 데이터를 획득하는 카메라부;
    상기 카메라부로부터 다시점 동영상 데이터를 입력받아 사이즈 및 컬러변환을 포함하는 전처리 과정을 수행함으로써 부호화부에서 요구되는 영상포맷으로 출력하는 다시점 동영상 처리부;
    객체기술자와 장면기술자를 포함하는 MPEG-4 제어신호를 생성하기 위한 MPEG-4 제어신호 생성부; 상기 다시점 동영상 처리부의 출력신호 및 MPEG-4 제어신호를 입력받아 부호화함으로써 부호화 스트림을 출력하는 부호화부;
    상기 부호화 스트림의 미디어 데이터 및 상기 미디어에 대한 MPEG-4 제어신호를 입력받아 MPEG-4 시스템 규격에 정의된 MP4 파일을 생성하는 MP4 파일생성부; 및
    상기 MP4 파일 내 저장되어 있는 다시점 동영상 미디어 스트림 및 MPEG-4 제어신호를 추출하여 MPEG-4 시스템 규격에 정의된 패킷을 생성하는 패킷타이징부를 포함하며,
    상기 MPEG-4 제어신호 생성부는,
    상기 다시점 동영상 데이터에 대한 부가정보를 객체기술자 내 확장기술자에 기술하고, 상기 독립스트림과 종속스트림의 상관관계에 대한 정보를 기초스트림 기술자를 통해 표현하고,
    상기 객체기술자는 독립스트림 객체기술자 및 종속스트림 객체기술자를 생성하는데 이용되고, 상기 독립스트림 객체기술자 및 종속스트림 객체기술자를 이용하여 인터랙션이 수행되는
    것을 특징으로 하는 다시점 동영상 생성 장치.
  7. 제 6 항에 있어서,
    상기 다시점 동영상 데이터에 대한 부가정보는
    영상 획득 장치를 통해 획득되는 영상이 다시점 동영상인지 여부를 표현하는 정보, 상기 다시점 동영상의 시점수를 표현하는 정보, 및 상기 다시점 동영상에서 출력되는 스트림 가운데 독립적으로 복호화가 가능한 독립스트림의 식별값을 표현하는 정보를 포함하는 것을 특징으로 하는 다시점 동영상 생성 장치.
  8. 제 6 항에 있어서,
    상기 기초스트림 기술자는
    상기 독립스트림의 식별값 정보를 포함하는 독립스트림 기술자; 및
    상기 종속스트림의 식별값 정보와 상기 종속스트림이 참조하는 독립스트림의 식별값 정보를 포함하는 종속스트림 기술자를 포함하는 것을 특징으로 하는 다시점 동영상 생성 장치.
  9. 다시점 동영상 생성 장치에서 독립스트림과 종속스트림 및 객체기술자와 장면기술자를 포함하는 MPEG-4 제어신호로부터 생성된 MPEG-4 패킷스트림을 전송받아 MPEG-4 기반의 다시점 동영상을 재생하는 장치에 있어서,
    상기 MPEG-4 패킷스트림으로부터 헤더와 페이로드로 구성된 데이터를 복원하여 파싱을 수행함으로써, MPEG-4 제어신호와 미디어 데이터의 부호화 스트림을 출력하는 디패킷타이징부;
    상기 디패킷타이징부의 출력신호를 입력받아 독립스트림과 종속스트림, 및 객체기술자와 장면기술자를 포함하는 MPEG-4 제어신호를 복원하는 복호화부; 및
    상기 독립스트림과 종속스트림으로부터 다시점 동영상을 복원하는 화면구성부를 포함하며,
    상기 화면구성부는
    상기 객체기술자를 분석함으로써 추출되는 기초스트림이 독립스트림인지 종속스트림인지 여부를 판단함으로써 독립스트림 객체기술자와 종속스트림 객체기술자를 생성하는
    것을 특징으로 하는 다시점 동영상 재생 장치.
  10. 제 9 항에 있어서,
    상기 독립스트림 객체기술자의 식별값은 상기 분석되는 객체기술자의 식별값을 이용하여 생성되며, 상기 종속스트림 객체기술자의 식별값은 상기 독립스트림 객체기술자의 식별값을 이용하여 생성되는 것을 특징으로 하는 다시점 동영상 재생 장치.
KR1020050094857A 2005-09-29 2005-10-10 Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법 KR100738328B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050091560 2005-09-29
KR1020050091560 2005-09-29

Publications (2)

Publication Number Publication Date
KR20070036542A KR20070036542A (ko) 2007-04-03
KR100738328B1 true KR100738328B1 (ko) 2007-07-12

Family

ID=38158707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050094857A KR100738328B1 (ko) 2005-09-29 2005-10-10 Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100738328B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100906243B1 (ko) * 2007-06-04 2009-07-07 전자부품연구원 Ｒｇｂ 색 공간 신호의 영상 부호화 방법
KR101366250B1 (ko) 2007-06-19 2014-02-25 삼성전자주식회사 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치
KR100921686B1 (ko) * 2008-02-18 2009-10-15 전자부품연구원 입체형 비디오 파일 포맷 및 그에 따른 입체형 비디오파일을 기록한 컴퓨터로 판독 가능한 기록매체
WO2011105814A2 (ko) * 2010-02-23 2011-09-01 삼성전자 주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050056070A (ko) * 2003-12-09 2005-06-14 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050056070A (ko) * 2003-12-09 2005-06-14 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법

Also Published As

Publication number Publication date
KR20070036542A (ko) 2007-04-03

Similar Documents

Publication Publication Date Title
JP4529933B2 (ja) 多重化装置及び方法、並びに合成装置および方法
EP3018910B1 (en) Transmission device, transmission method, reception device, and reception method
KR100556826B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR101362941B1 (ko) 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP4362105B2 (ja) ２次元および３次元立体ビデオ信号の適応変換装置およびその方法
EP2735166B1 (en) Transmission of reconstruction data in a tiered signal quality hierarchy
WO2021117859A1 (ja) 画像処理装置および方法
US8023560B2 (en) Apparatus and method for processing 3d video based on MPEG-4 object descriptor information
KR100955578B1 (ko) 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
JP4389323B2 (ja) シーン記述変換装置及び方法
EP4013042A1 (en) Information processing device, reproduction processing device, and information processing method
JP2022019932A (ja) 情報処理装置および情報処理方法
KR100738328B1 (ko) Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
US20100186464A1 (en) Laundry refresher unit and laundry treating apparatus having the same
US7307553B2 (en) MPEG-4 encoding/decoding method, medium, and system
JP2022551430A (ja) 融合に適したファイルフォーマット
EP3982638A1 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
US7095444B1 (en) Method and apparatus for generating, distributing and reconstructing deconstructed video
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
KR101324427B1 (ko) 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
KR100826519B1 (ko) Ｄｍｂ 기반의 3차원 정지영상 서비스를 위한 객체 기술 및다중화 방법과, 그에 따른 복호화 장치 및 그 방법
US7538693B2 (en) Method and apparatus for updating decoder configuration
CN111837401A (zh) 信息处理设备、信息处理设备和程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20110630

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee